A equipe de governança de IA de uma empresa de serviços financeiros havia construído, ao longo de dois anos, uma estrutura interna madura de governança de IA: um sistema de classificação de riscos em níveis, um Comitê de Ética em IA que revisava todas as implantações de IA de alto risco, práticas de gestão de risco de modelos adaptadas de SR 11-7 e um programa de monitoramento que acompanhava o desempenho dos modelos de IA em relação a limiares definidos. Ao avaliar o produto de análise de crédito com IA de um fornecedor, a equipe de governança aplicou uma avaliação equivalente às próprias práticas de governança de IA do fornecedor, pedindo que ele demonstrasse uma maturidade de governança equivalente. O fornecedor apresentou sua política de ética em IA, uma descrição do seu processo de validação de modelos, a documentação da sua estrutura de gestão de risco de modelos e um resumo do mandato do seu Comitê de Ética em IA. A equipe de governança revisou os documentos, constatou que todos os elementos esperados da estrutura estavam presentes e descritos e classificou a governança de IA do fornecedor como satisfatória. Dezoito meses depois, durante a investigação de um incidente desencadeado por um comportamento inesperado do modelo, a equipe da empresa descobriu que o Comitê de Ética em IA do fornecedor não se reunia havia catorze meses: o presidente do comitê havia saído e nenhum substituto havia sido nomeado. O processo de validação de modelos descrito na documentação havia sido realizado para a implantação inicial do modelo, mas não havia sido repetido em duas atualizações posteriores. A estrutura de governança estava documentada de forma abrangente. Sua implementação havia efetivamente parado catorze meses antes. A avaliação de governança havia confirmado a documentação. Não havia confirmado a implementação.
O que são, de fato, as lacunas nas estruturas de governança de IA?
As lacunas nas estruturas de governança de IA são as diferenças entre os processos de governança de IA documentados e sua implementação operacional: as reuniões de comitê que não ocorrem na frequência declarada, as revisões de modelos realizadas na implantação inicial e omitidas nas atualizações seguintes e os programas de monitoramento descritos na política, mas não mantidos ativamente. Estruturas de governança de IA que existem como documentação sem implementação ativa dão a aparência de maturidade de governança sem entregar nenhum dos seus benefícios de redução de riscos.
A distância entre documentação e implementação é o problema fundamental. As estruturas de governança de IA exigem atividade operacional contínua para gerar seu valor de gestão de riscos: os comitês precisam se reunir, os modelos precisam ser revisados, o desempenho precisa ser monitorado e os escalonamentos precisam ser tratados. Quando as atividades operacionais param enquanto a documentação continua atualizada, a estrutura de governança fornece uma falsa garantia: confirma que a empresa pretendia implementar esses controles, e não que os controles estejam de fato gerenciando o risco.
O problema do ponto único de falha é a fragilidade específica da governança. Programas de governança de IA que dependem de pessoas específicas (um presidente de comitê que é o único a convocar reuniões, um único validador de modelos que realiza todas as revisões) são vulneráveis a interrupções operacionais quando essas pessoas saem, são realocadas ou ficam indisponíveis. O programa de governança que estava ativo e bem implementado torna-se inativo quando a pessoa-chave sai e nenhum sucessor é nomeado. A documentação continua precisa. A implementação para.
A lacuna de governança das atualizações de modelos é a dimensão de risco específica de IA. As implantações iniciais de modelos normalmente passam pela revisão de governança mais rigorosa: o modelo é novo, o caso de negócio está sendo avaliado e a atenção é alta. As atualizações posteriores (retreinamento, ajuste fino, mudanças de arquitetura) podem não receber uma revisão de governança equivalente, seja porque o processo de revisão se aplica apenas às implantações iniciais, seja porque a atualização é caracterizada como menor e o processo de revisão não é acionado. O comportamento do modelo pode mudar significativamente com as atualizações. Uma governança que se aplica apenas à implantação inicial deixa passar o risco contínuo que a evolução do modelo cria.
Por que isso importa
As lacunas nas estruturas de governança de IA são importantes para TPRM porque a documentação de governança confirma a intenção do fornecedor. As evidências de implementação confirmam a prática efetiva do fornecedor. O risco que a empresa está gerenciando é a prática efetiva, não a intenção documentada. Um fornecedor cuja estrutura de governança de IA está amplamente documentada, mas operacionalmente inativa, não proporciona nenhuma redução do risco de governança para o risco da cadeia de suprimentos relacionado à IA da empresa.
Onde a maioria das equipes erra
A falha mais recorrente é avaliar estruturas de governança de IA por meio da revisão da documentação sem solicitar evidências de implementação: registros de reuniões, registros de revisão de modelos, listas de presença do comitê e relatórios de monitoramento que demonstrem que as atividades de governança estão operacionalmente ativas.
- Documentação revisada como equivalente a evidências de implementação
- Registros das reuniões do comitê não solicitados: frequência e presença não verificadas
- Governança de atualizações de modelos não avaliada: a validação se aplica às atualizações ou apenas à implantação inicial?
- Governança com ponto único de falha não identificada: a saída do presidente do comitê interrompe o programa
- Evidências de atividades de implementação não diferenciadas da documentação de políticas
Como é uma boa prática
Programas maduros de avaliação da governança de IA solicitam evidências de implementação junto com a documentação, especificamente os registros das atividades de governança efetivamente realizadas: atas de reuniões do comitê, registros de revisão de modelos das atualizações mais recentes, exemplos de relatórios de monitoramento e evidências de que os processos de escalonamento foram acionados.
- Registros das reuniões do comitê: atas e presença dos últimos doze meses
- Registros de revisão de modelos das atualizações mais recentes, e não apenas da implantação inicial
- Exemplos de relatórios de monitoramento: demonstração de monitoramento ativo em produção
- Calendário de atividades de governança: atividades programadas para os próximos doze meses
- Avaliação de ponto único de falha: o programa de governança depende de pessoas específicas?
Ferramentas
Governança de IA: IBM OpenScale, gestão de modelos do Azure Machine Learning, registro de modelos do MLflow
As plataformas de gestão e monitoramento de modelos que mantêm registros de versões de modelos, eventos de validação e monitoramento de desempenho fornecem as evidências de implementação que os documentos de política não fornecem. Para profissionais de TPRM, perguntar se as atividades de governança de IA do fornecedor são registradas em uma plataforma de gestão de modelos, que forneça um registro auditável das atividades de validação e monitoramento, é uma pergunta específica sobre evidências de implementação.
Desafios de governança
O desafio de governança na avaliação de estruturas de governança de IA é a assimetria entre a disponibilidade da documentação e a disponibilidade da implementação. Os documentos de política estão prontamente disponíveis e são fáceis de fornecer. Os registros de implementação (atas de reuniões, relatórios de revisão de modelos, registros de monitoramento) exigem mais esforço para serem compilados e podem revelar lacunas que os documentos de política não revelam. O pedido de registros de implementação é o teste que distingue a governança ativa da documentação de governança.
- Solicite registros de implementação junto com a documentação, especificamente atas de reuniões e registros de revisão de modelos
- Pergunte se as atualizações de modelos acionam a mesma revisão de governança que a implantação inicial
- Avalie a vulnerabilidade a ponto único de falha: a saída de uma pessoa-chave interromperia o programa?
- Peça exemplos de relatórios de monitoramento que demonstrem o monitoramento ativo em produção
- Inclua evidências de atividades de governança nos requisitos de reavaliação anual
Se você faz parte de uma equipe pequena
Em qualquer avaliação de estrutura de governança de IA, faça um pedido específico de evidência: as atas das três últimas reuniões do Comitê de Ética em IA, incluindo a presença e as revisões de modelos realizadas nessas reuniões. Esse pedido revela mais sobre a implementação da governança do que qualquer revisão de documentos de política. Se os registros das reuniões não existem, o comitê não tem se reunido como descrito. Se as três últimas reuniões não incluíram revisões de modelos, a atividade de governança se desviou do processo documentado. Os registros das reuniões são a evidência de implementação que a documentação não substitui.
- Solicite as atas das três últimas reuniões do Comitê de Ética em IA
- Verifique a frequência das reuniões do comitê em relação à política documentada
- Pergunte se as atualizações de modelos acionam a revisão de governança, e não apenas as implantações iniciais
- Pergunte sobre a continuidade do programa de governança caso pessoas-chave saiam
O que exigir
Pergunte diretamente:
“Vocês podem fornecer as atas das três últimas reuniões do Comitê de Ética em IA, incluindo a presença e as revisões de modelos realizadas? E podem confirmar que o seu processo de validação de modelos se aplica a atualizações e eventos de retreinamento de modelos, e não apenas à implantação inicial?”
O que esperar como evidência
- Atas das três últimas reuniões do Comitê de Ética em IA
- Registros de revisão de modelos das atualizações mais recentes
- Confirmação de que a validação de modelos se aplica às atualizações
- Controles de continuidade do programa de governança
Um fornecedor que fornece a documentação da sua estrutura de governança de IA deve ser questionado sobre os registros de implementação. A documentação descreve a intenção. As atas de reuniões descrevem a prática. Ambas são necessárias. Apenas uma é solicitada rotineiramente.
Como comprovar
- Registros de implementação da governança de IA
- Verificação das reuniões do comitê
- Registros de governança das atualizações de modelos
- Avaliação da continuidade da governança
Principal conclusão
Política de ética em IA: presente. Processo de validação de modelos: documentado. Comitê de Ética em IA: descrito. Implementação: o comitê não se reúne há catorze meses. Validação de modelos: realizada na implantação inicial, não em duas atualizações posteriores. A documentação era precisa e abrangente. A implementação havia parado. Catorze meses de inatividade de governança enquanto a documentação continuava atualizada. Os documentos de política confirmam a intenção. Os registros de reuniões confirmam a prática. O pedido das atas das três últimas reuniões do comitê é o teste de implementação que a revisão de documentos de política não substitui. A documentação é o piso. As evidências de implementação são a prova.