Monitoramento do uso de dados

Uma empresa farmacêutica contratou um fornecedor de análise de dados com base em um DPA que limitava especificamente o uso dos dados à análise de inteligência competitiva para o escopo contratado. Dois anos após o início da relação, um ex-funcionário do fornecedor revelou, em uma entrevista de desligamento, que conjuntos de dados de clientes, inclusive os da empresa farmacêutica, eram usados rotineiramente como insumos no pipeline interno de treinamento de modelos do fornecedor, que produzia produtos de análise preditiva vendidos a outros clientes. O ex-funcionário havia encontrado a configuração do pipeline por acaso e a mencionou de passagem. O DPA proibia esse uso. O monitoramento interno do uso de dados do fornecedor era insuficiente para detectar ou impedir a violação de escopo. A empresa farmacêutica não tinha nenhum mecanismo para monitorar como seus dados estavam sendo usados no ambiente do fornecedor: o DPA especificava o uso autorizado, mas nenhum monitoramento técnico ou operacional confirmava se esse uso era o uso real. Quando a revelação veio à tona, a empresa farmacêutica não conseguiu determinar havia quanto tempo o uso não autorizado ocorria, quais modelos tinham sido treinados com seus dados nem quais produtos que incorporavam seus dados tinham sido vendidos. O DPA era claro. O monitoramento não existia. A violação ocorreu sem ser detectada por um período indeterminado.

O que é, de fato, o problema do monitoramento do uso de dados?

O monitoramento do uso de dados é a capacidade de observar como os dados estão de fato sendo tratados no ambiente de um fornecedor: quais consultas são executadas sobre eles, quais pipelines os consomem, quais produtos os referenciam e se seu uso real é coerente com a especificação contratual de uso. É a diferença entre especificar o uso permitido em um DPA e ter visibilidade sobre se o uso permitido é o que está ocorrendo. Sem monitoramento de uso, um DPA é um instrumento de governança que documenta o uso autorizado e não tem nenhum mecanismo para detectar usos não autorizados.

A lacuna entre confiar e verificar é o problema estrutural. A maioria das relações de DPA é regida pela confiança: o fornecedor concorda em usar os dados somente para finalidades autorizadas, e o cliente confia que o fornecedor está cumprindo esse acordo. A confiança não é, em si, irrazoável em relações consolidadas com fornecedores. Ela é uma governança insuficiente quando as consequências de sua quebra incluem violações regulatórias, divulgação de inteligência competitiva e treinamento não autorizado de modelos que não pode ser remediado depois do fato. O monitoramento do uso de dados converte o modelo de governança da confiança para a verificação, fornecendo evidências técnicas do que está de fato acontecendo, em vez de depender da autocertificação de conformidade pelo fornecedor.

O problema da descoberta de usos não autorizados é onde a governança baseada em confiança falha de forma recorrente. Os usos não autorizados de dados de clientes (treinamento de modelos, benchmarking competitivo, desenvolvimento de funcionalidades de produtos) não resultam de fornecedores anunciando suas intenções. Eles surgem de decisões normais de desenvolvimento de produtos que, dentro da organização do fornecedor, podem não ser reconhecidas como violações do DPA. Um engenheiro de dados que inclui um conjunto de dados de cliente em um pipeline de treinamento por ser a fonte de dados mais facilmente disponível para uma tarefa de desenvolvimento de modelo pode não saber, ou não considerar, se o DPA desse conjunto de dados permite o uso para treinamento de modelos. A violação é real. Não é necessariamente deliberada. E, sem monitoramento, ela continua até que algo externo (uma revelação de um funcionário, uma auditoria regulatória, a resposta a uma DSAR) a torne visível.

Nenhum monitoramento no nível das consultas: ausência de visibilidade técnica sobre quais consultas são executadas sobre os dados do cliente
Nenhum monitoramento do uso por pipelines: incapacidade de detectar se dados do cliente são consumidos por pipelines de análise ou de treinamento de modelos além do escopo autorizado
Nenhum monitoramento de atribuição a produtos: ausência de mecanismo para detectar se dados do cliente contribuem para produtos comerciais do fornecedor
Conformidade com o DPA não aplicada tecnicamente: uso autorizado especificado em contrato sem controles técnicos que imponham a restrição de escopo
Nenhum mecanismo de visibilidade para o cliente: o cliente não tem acesso a logs nem a relatórios de uso que confirmem o uso autorizado

Por que isso importa

O monitoramento do uso de dados importa para TPRM porque é o mecanismo que transforma um DPA de uma declaração de uso autorizado em um instrumento de governança exequível. Um DPA sem monitoramento de uso especifica o uso autorizado e cria meios jurídicos de reparação se a especificação for violada. Um DPA com monitoramento de uso oferece a capacidade de detecção que permite descobrir as violações antes que se tornem ampliações de escopo prolongadas e não descobertas.

A dimensão de IA e ML torna isso cada vez mais urgente. À medida que os fornecedores integram recursos de IA aos seus produtos, a tentação de usar conjuntos de dados ricos de clientes como insumo de treinamento é comercialmente relevante: dados de clientes produzem modelos melhores, modelos melhores produzem produtos melhores e produtos melhores geram mais receita. O incentivo para usar dados de clientes além do escopo contratado existe em larga escala no mercado de fornecedores de análise, IA e SaaS. O monitoramento é o mecanismo que distingue os fornecedores que honram os compromissos do DPA daqueles que, de um jeito ou de outro, chegam aos dados que lhes convêm.

Para profissionais de TPRM, o monitoramento do uso de dados representa uma lacuna de governança relevante na maioria dos programas de TPRM atuais: o monitoramento de uso raramente é avaliado porque raramente existe, e sua ausência é normalizada como o padrão para o compartilhamento de dados regido por DPA. Pedir esse monitoramento eleva o nível da governança e cria um sinal de mercado de que o monitoramento importa.

Onde a maioria das equipes erra

A falha mais recorrente é tratar o DPA como o instrumento completo de governança do uso de dados. O DPA especifica o uso autorizado. O monitoramento confirma se o uso autorizado é o uso real. Um não substitui o outro. Um DPA sem monitoramento é documentação de governança sem verificação de governança. O DPA da empresa farmacêutica era claro. A clareza não detectou o pipeline de treinamento.

Tratar o DPA como governança completa sem monitoramento
Nenhum requisito de monitoramento de uso no DPA: uso autorizado especificado sem obrigações de monitoramento
Nenhuma visibilidade do cliente sobre os logs de uso: o fornecedor mantém os dados de uso sem acesso do cliente
Uso para treinamento de ML não proibido nem monitorado especificamente: um uso secundário que se torna cada vez mais padrão
Governança do DPA baseada em confiança, e não em verificação

Como é uma boa prática

Programas maduros de governança do uso de dados dão ao cliente visibilidade sobre como seus dados estão sendo usados: logs de uso, relatórios de consultas, atribuição de pipelines e confirmação regular de que o uso real corresponde ao uso autorizado. No mínimo, o fornecedor tem um monitoramento interno que detecta violações de escopo. Idealmente, o cliente tem acesso a relatórios de uso que permitem uma verificação independente.

Monitoramento interno de uso: logs de consultas, atribuição de pipelines e monitoramento do uso em produtos capazes de detectar violações de escopo
Relatórios de uso para o cliente: relatórios periódicos que confirmam o uso real dos dados em relação ao escopo autorizado
Monitoramento de dados de treinamento de ML: detecção específica de dados do cliente que entrem em pipelines de treinamento de modelos
Monitoramento da conformidade com o DPA: detecção automática de padrões de uso incompatíveis com o escopo autorizado
Alertas de anomalias de uso: alertas automáticos sobre padrões de uso que se desviam da especificação de uso contratada

Ferramentas

Governança de acesso a dados: Imperva, Varonis, IBM Guardium

Plataformas de monitoramento de atividade de banco de dados e de governança de acesso a dados capturam dados de uso no nível das consultas, que podem ser analisados quanto à coerência com as especificações de uso autorizado. Para profissionais de TPRM, perguntar se a plataforma de DAM do fornecedor consegue gerar relatórios de uso específicos por cliente que confirmem que as consultas de dados estavam dentro do escopo autorizado é uma pergunta específica sobre a capacidade de transformar o monitoramento em visibilidade para o cliente.

Governança de pipelines de ML: MLflow, Weights & Biases, Neptune.ai

Plataformas de rastreamento de experimentos de ML registram a proveniência dos dados de treinamento, documentando quais conjuntos de dados foram usados em cada execução de treinamento de modelos. Para profissionais de TPRM, perguntar se a infraestrutura de ML do fornecedor registra uma linhagem de dados capaz de detectar o uso não autorizado de conjuntos de dados de clientes no treinamento de modelos é uma pergunta específica de monitoramento do escopo de AI/ML.

Desafios de governança

O desafio de governança do monitoramento do uso de dados é a sofisticação operacional necessária. Monitorar quais consultas são executadas sobre um conjunto de dados na escala de produção exige infraestrutura de DAM. Monitorar quais pipelines consomem um conjunto de dados exige ferramentas de linhagem de dados. Monitorar quais produtos referenciam um conjunto de dados exige infraestrutura de atribuição a produtos. Trata-se de um investimento técnico considerável que a maioria dos fornecedores de análise não fez especificamente para fins de conformidade com o escopo dos dados dos clientes.

Inclua um requisito de monitoramento de uso no DPA: obrigação do fornecedor de manter e fornecer logs de uso
Exija relatórios de uso para o cliente: confirmação periódica do uso real em relação ao escopo autorizado
Inclua o monitoramento da proibição de uso de dados para treinamento de ML: obrigação específica de detectar e impedir o uso não autorizado de dados para treinamento
Pergunte sobre a detecção interna de violações de escopo: o monitoramento do fornecedor detectaria o cenário do pipeline de treinamento?
Inclua o monitoramento de uso nas reavaliações de fornecedores, confirmando que a capacidade de monitoramento existe e está em operação

Se você faz parte de uma equipe pequena

Inclua um requisito nos seus DPAs de maior risco na próxima renovação: o fornecedor deve manter logs de todas as consultas executadas sobre os dados do cliente e deve fornecer um relatório trimestral de uso que confirme que todas as consultas registradas estavam dentro do escopo de uso autorizado especificado no DPA. Esse único requisito transforma o DPA de uma governança baseada em confiança em uma governança baseada em verificação. O fornecedor que não consegue cumpri-lo não consegue demonstrar conformidade com o DPA que assinou.

Inclua relatórios trimestrais de uso nas renovações de DPA de maior risco
Pergunte se o fornecedor tem monitoramento interno capaz de detectar o cenário do pipeline de treinamento de modelos
Pergunte se o uso de dados do cliente para treinamento de ML é especificamente registrado e monitorado
Peça um relatório de uso de exemplo que demonstre o que o monitoramento captura

O que exigir

Pergunte diretamente:

"Vocês mantêm logs de todas as consultas e processos de pipeline executados sobre os nossos dados, e podem nos fornecer relatórios periódicos de uso que confirmem que todo o uso esteve dentro do escopo autorizado especificado no nosso DPA?"

"Se os nossos dados fossem incluídos em um pipeline de treinamento de modelos sem autorização, qual monitoramento técnico detectaria isso e geraria um alerta, e esse monitoramento já foi acionado para os dados de algum cliente?"

"Qual é o seu processo para confirmar que o uso dos dados do cliente permanece continuamente dentro do escopo do DPA: vocês dependem de confiança e de obrigações contratuais ou têm monitoramento técnico que verifica a conformidade com o escopo?"

O que esperar como evidência

Confirmação do monitoramento interno de uso: logs de consultas e atribuição de pipelines
Exemplo de relatório de uso para o cliente
Descrição do monitoramento de dados de treinamento de ML
Descrição da capacidade de detecção de violações de escopo

Um fornecedor que responde à pergunta sobre monitoramento com 'nossa equipe conhece as restrições do DPA' descreveu uma governança baseada em confiança. Pergunte especificamente qual monitoramento técnico detectaria se a equipe de engenharia de dados incluísse dados do cliente em um pipeline de treinamento sem autorização. A resposta mostra se o monitoramento existe ou se o DPA depende de que todos conheçam e sigam as regras.

Como comprovar

Documentação do requisito de monitoramento de uso no DPA
Registros dos relatórios de uso para clientes
Confirmação da capacidade de monitoramento de violações de escopo
Evidências de monitoramento de dados de treinamento de ML

Principal conclusão

O DPA especifica o uso autorizado. O monitoramento confirma se o uso autorizado é o uso real. Sem monitoramento, o instrumento de governança que define o limite não tem nenhum mecanismo para detectar quando o limite é ultrapassado. Os dados da empresa farmacêutica passaram por um pipeline de treinamento de modelos durante um período indeterminado enquanto o DPA dizia que isso não era permitido. O DPA era preciso sobre o que estava autorizado. O pipeline de treinamento era real quanto ao que estava acontecendo. Entre a autorização e a realidade, houve dois anos de violação de escopo não detectada, descoberta por meio de uma entrevista de desligamento. O monitoramento fecha essa lacuna. Ele transforma o DPA de uma declaração de intenções em uma relação governada e verificada. O DPA é o limite. O monitoramento é a cerca.