O principal sistema de IA de decisão de crédito de uma fintech de crédito ao consumidor era um modelo de conjunto com reforço de gradiente, um tipo de modelo altamente preciso, mas inerentemente opaco, que produz decisões por meio de interações complexas entre centenas de valores de atributos ao longo de vários estágios de reforço. O modelo havia sido escolhido para implantação por seu desempenho preditivo superior, que se traduzia diretamente em melhor discriminação do risco de crédito e menores taxas de inadimplência. A documentação de conformidade do fornecedor era abrangente: certificação de conformidade com o GDPR, relatório SOC 2 Tipo II, certificação ISO 27001 e uma revisão interna de ética em IA. O programa de conformidade era genuíno: o fornecedor havia investido significativamente em privacidade de dados, controles de segurança e processos de revisão ética. O que o programa de conformidade não havia tratado especificamente era a conformidade do modelo com o Artigo 22 do GDPR, que cria o direito de as pessoas não ficarem sujeitas a decisões baseadas exclusivamente em tratamento automatizado que produzam efeitos jurídicos ou similarmente significativos, e o direito de obter informações significativas sobre a lógica envolvida. As decisões de crédito tomadas pelo modelo eram exatamente o tipo de decisão automatizada a que o Artigo 22 se aplica. A lógica interna do modelo (os pesos de importância dos atributos em várias árvores de reforço de gradiente, os efeitos de interação entre atributos, os valores de limiar em cada divisão) não podia ser expressa de uma forma que um leigo pudesse compreender de maneira significativa como explicação de sua decisão de crédito específica. O fornecedor tinha conformidade com o GDPR. O fornecedor não tinha conformidade com o Artigo 22 para decisões de crédito automatizadas. As duas coisas não são iguais.
O que é, de fato, a lacuna entre conformidade e segurança de IA?
A lacuna entre conformidade e segurança de IA é a distinção entre a conformidade de um sistema de IA com os regulamentos gerais de proteção de dados e de segurança (o GDPR para o tratamento de dados, o SOC 2 para controles de segurança, a ISO 27001 para a gestão da segurança da informação) e a sua conformidade com os requisitos específicos aplicáveis a sistemas de IA que tomam decisões automatizadas relevantes: obrigações de explicabilidade, requisitos de supervisão humana, exigências de avaliação de equidade e requisitos regulatórios específicos de IA. Um sistema de IA pode estar em plena conformidade com os requisitos gerais de proteção de dados e segurança e, ao mesmo tempo, em desconformidade com os regulamentos específicos que regem a tomada de decisão automatizada.
O problema de explicabilidade do Artigo 22 é a lacuna de conformidade específica de IA mais significativa na operação. O Artigo 22 do GDPR cria o direito de os titulares dos dados não ficarem sujeitos a decisões baseadas exclusivamente em tratamento automatizado que produzam efeitos jurídicos ou similarmente significativos, e o direito de obter informações significativas sobre a lógica envolvida nessas decisões. Muitos modelos de IA de alto desempenho (conjuntos com reforço de gradiente, redes neurais profundas, métodos complexos de conjunto) produzem decisões por meio de interações que não se expressam naturalmente na forma de uma explicação significativa que um leigo possa compreender. Implantar esses modelos para decisões de crédito, seguros, emprego ou outras decisões com efeitos individuais significativos cria obrigações de conformidade com o Artigo 22 que os modelos podem ser estruturalmente incapazes de cumprir.
A dimensão de conformidade em equidade é uma segunda lacuna regulatória específica de IA. Os reguladores de serviços financeiros (o CFPB nos EUA, a FCA no Reino Unido, reguladores em toda a UE) têm aplicado cada vez mais requisitos antidiscriminação às decisões de crédito e de seguros tomadas por IA. Um modelo de IA que produz impacto desproporcional sobre classes protegidas, mesmo que nenhum atributo de classe protegida esteja incluído nas entradas do modelo, pode violar os requisitos de crédito justo. A conformidade geral com o GDPR e a conformidade de segurança não tratam da equidade. Modelos que não foram testados especificamente quanto a impacto desproporcional podem estar violando os requisitos de crédito justo, mesmo estando em plena conformidade com os requisitos de proteção de dados.
Os requisitos para sistemas de alto risco da Lei de IA da UE criam a terceira dimensão de conformidade. A categoria de alto risco da Lei de IA da UE inclui sistemas de IA usados em pontuação de crédito, bem como sistemas usados em decisões de emprego, educação, saúde e aplicação da lei. Os sistemas de IA de alto risco têm requisitos obrigatórios (avaliações de impacto sobre direitos fundamentais, documentação técnica, registro do funcionamento, transparência para as pessoas afetadas, supervisão humana) que vão substancialmente além dos requisitos dos regulamentos gerais de proteção de dados. Um sistema de IA em conformidade com o GDPR pode, ao mesmo tempo, estar em desconformidade com os requisitos para sistemas de alto risco da Lei de IA da UE.
Por que isso importa
A lacuna entre conformidade e segurança de IA é importante para TPRM porque a empresa que implanta o sistema de IA de um fornecedor em um caso de uso regulado herda as obrigações de conformidade desse caso de uso, independentemente de a documentação de conformidade do fornecedor cobrir essas obrigações. A empresa cujas decisões de crédito são tomadas pelo sistema de IA de um fornecedor que não consegue fornecer explicações nos termos do Artigo 22 tem responsabilidade nos termos do Artigo 22, independentemente da certificação GDPR do fornecedor.
Onde a maioria das equipes erra
A falha mais recorrente é aceitar certificações gerais de conformidade (GDPR, SOC 2, ISO 27001) como evidência de conformidade regulatória específica de IA. As certificações gerais abrangem requisitos gerais. Os regulamentos específicos de IA impõem obrigações específicas que as certificações gerais não tratam.
- Conformidade geral aceita como conformidade específica de IA
- Explicabilidade nos termos do Artigo 22 não avaliada para modelos de decisão automatizada
- Testes de equidade não avaliados para modelos de crédito, seguros e emprego
- Requisitos de alto risco da Lei de IA da UE não avaliados para os sistemas aplicáveis
- Capacidade de explicabilidade do modelo não compatibilizada com a obrigação regulatória
Como é uma boa prática
Programas maduros de conformidade de IA avaliam cada sistema de IA em relação aos regulamentos específicos aplicáveis ao seu caso de uso, e não apenas em relação aos padrões gerais de proteção de dados e segurança, e validam se a capacidade de explicabilidade do modelo atende às obrigações legais de explicação que o caso de uso cria.
- Avaliação de conformidade específica do caso de uso: Artigo 22, crédito justo, Lei de IA da UE, por caso de uso
- Capacidade de explicabilidade compatível com a obrigação: tipo de modelo avaliado em relação aos requisitos de explicação
- Testes de equidade para impacto desproporcional sobre classes protegidas
- Avaliação de alto risco segundo a Lei de IA da UE para os casos de uso aplicáveis
- Documentação das lacunas de conformidade: onde as obrigações de conformidade não são atendidas atualmente
Ferramentas
Explicabilidade: SHAP, LIME, IBM Watson OpenScale para explicações em conformidade com o GDPR
As ferramentas de explicabilidade de modelos, SHAP (SHapley Additive exPlanations) e LIME (Local Interpretable Model-Agnostic Explanations), geram explicações da contribuição dos atributos para decisões individuais que podem servir de base para as explicações exigidas pelo Artigo 22. Para profissionais de TPRM, perguntar se o modelo de decisão automatizada do fornecedor usa ferramentas de explicabilidade capazes de gerar explicações individuais juridicamente adequadas é uma pergunta específica sobre a conformidade com o Artigo 22.
Testes de equidade em IA: AI Fairness 360 (IBM), Fairlearn (Microsoft) para avaliação de impacto desproporcional
As estruturas de testes de equidade avaliam modelos quanto a impacto desproporcional sobre classes protegidas, um requisito para sistemas de IA usados em crédito, seguros, emprego e outras decisões reguladas. Para profissionais de TPRM, perguntar se o modelo do fornecedor foi avaliado quanto a impacto desproporcional com uma estrutura de testes de equidade é uma pergunta específica sobre conformidade com as regras de crédito justo.
Desafios de governança
O desafio de governança das lacunas de conformidade de IA é a complexidade regulatória entre jurisdições. O Artigo 22 se aplica na UE. Os requisitos de crédito justo se aplicam nos EUA. A Lei de IA da UE se aplica em todos os Estados-membros da UE, com cronogramas de implementação diferentes. Um produto de IA implantado em várias jurisdições pode enfrentar obrigações de conformidade diferentes em cada uma. A solução de governança é a avaliação de conformidade baseada no caso de uso: avaliar cada caso de uso específico de IA em relação a todos os regulamentos aplicáveis em todas as jurisdições relevantes.
- Realize uma avaliação de conformidade específica do caso de uso para cada implantação de IA
- Avalie a explicabilidade nos termos do Artigo 22 para decisões automatizadas
- Realize testes de equidade em modelos de crédito, seguros e emprego
- Avalie os requisitos de alto risco da Lei de IA da UE para os sistemas aplicáveis
- Mapeie as obrigações de conformidade por jurisdição nas implantações transfronteiriças
Se você faz parte de uma equipe pequena
Para cada sistema de IA de fornecedor que toma ou influencia de forma significativa decisões com efeitos relevantes sobre pessoas (crédito, seguros, emprego, saúde, educação), faça duas perguntas específicas de conformidade. Primeira: este sistema gera explicações individuais em conformidade com o Artigo 22 para cada decisão, e vocês podem fornecer um exemplo de explicação no formato que forneceriam a uma pessoa afetada? Segunda: este sistema foi testado quanto a impacto desproporcional sobre classes protegidas, e vocês podem fornecer os resultados da avaliação de impacto desproporcional? Essas duas perguntas revelam as lacunas de conformidade específicas de IA que as certificações gerais não tratam.
- Peça um exemplo de explicação individual nos termos do Artigo 22
- Peça os resultados da avaliação de impacto desproporcional
- Avalie a classificação de alto risco segundo a Lei de IA da UE
- Mapeie as obrigações de conformidade específicas do caso de uso
O que exigir
Pergunte diretamente:
“Para a sua IA de decisão de crédito, vocês podem fornecer um exemplo da explicação individual em conformidade com o Artigo 22 que forneceriam a um solicitante? E podem fornecer os resultados mais recentes da sua avaliação de impacto desproporcional sobre classes protegidas?”
O que esperar como evidência
- Exemplo de explicação individual nos termos do Artigo 22
- Resultados da avaliação de impacto desproporcional
- Avaliação de alto risco segundo a Lei de IA da UE
- Documentação da metodologia de explicabilidade
Um fornecedor que confirma conformidade com o GDPR deve ser questionado sobre o exemplo de explicação do Artigo 22. A conformidade com o GDPR abrange o tratamento de dados. A conformidade com o Artigo 22 abrange a tomada de decisão automatizada. O mesmo regulamento, obrigações diferentes.
Como comprovar
- Registros de avaliação de conformidade com o Artigo 22
- Registros de testes de impacto desproporcional
- Avaliação de conformidade com a Lei de IA da UE
- Documentação de conformidade específica do caso de uso
Principal conclusão
Conformidade com o GDPR: confirmada. SOC 2: confirmado. Direito à explicação do Artigo 22 para decisões de crédito automatizadas: o conjunto com reforço de gradiente não consegue fornecê-lo. A conformidade com o GDPR e a conformidade com o Artigo 22 são ambas obrigações do GDPR. Elas tratam de coisas diferentes. A conformidade no tratamento de dados e a conformidade na tomada de decisão automatizada são ambas exigidas. Certificar uma não certifica a outra. A avaliação de conformidade específica do caso de uso (Artigo 22 para decisões automatizadas, crédito justo para crédito e seguros, requisitos de alto risco da Lei de IA da UE para os sistemas aplicáveis) é a camada adicional que as certificações gerais de conformidade não fornecem. Peça o exemplo de explicação do Artigo 22. Peça os resultados de impacto desproporcional. As certificações gerais são o piso. A conformidade específica do caso de uso é a obrigação.