Une entreprise pharmaceutique recevait chaque semaine des rapports de surveillance de la sécurité par l’IA de son prestataire de services de sécurité managés, dont le programme de surveillance reposait sur une plateforme SIEM et de détection fondée sur l’IA. Les rapports étaient présentés de manière professionnelle, remis régulièrement et contenaient des données réelles : volumes d’alertes par catégorie, délai moyen de détection de la semaine écoulée, taux de résolution des alertes et statistiques de couverture par domaine technologique surveillé. La direction de la sécurité de l’entreprise examinait les rapports lors de sa réunion de sécurité hebdomadaire et les jugeait généralement satisfaisants : les indicateurs étaient dans les plages attendues et les voyants de couverture au vert suggéraient une surveillance exhaustive. Ce que les rapports ne contenaient pas, c’était un état sincère des limites du programme : les catégories de techniques sans couverture de détection active, les systèmes et environnements précis non intégrés à la surveillance, les catégories d’alertes dont les taux de faux positifs étaient assez élevés pour nuire à l’efficacité des analystes, les domaines dans lesquels la logique de détection de l’IA était connue pour avoir une confiance plus faible, et les circonstances précises dans lesquelles un complément d’analystes humains était nécessaire parce que l’IA ne pouvait pas classer le comportement de manière fiable. Les rapports décrivaient ce que le programme détectait. Ils ne décrivaient pas ce que le programme ne détectait pas, ne pouvait pas détecter ou détectait de manière peu fiable. Après la découverte d’une intrusion qui se développait depuis six semaines dans un environnement non couvert par le programme de surveillance, la direction de la sécurité de l’entreprise a relu six semaines de rapports de surveillance entièrement au vert qui n’avaient donné aucune indication de l’existence de cette lacune.
Qu’est-ce qu’une surveillance exhaustive de la sécurité par l’IA, au fond ?
Une surveillance exhaustive de la sécurité par l’IA exige non seulement que le programme de surveillance rende compte de ce qu’il détecte, mais aussi qu’il dresse un état sincère de ce qu’il ne détecte pas, des domaines où sa confiance de détection est plus faible et des activités d’analystes humains nécessaires pour compenser les limites de l’IA. Un rapport de surveillance qui ne montre que les réussites du programme (ce qui a été détecté, en combien de temps, avec quel taux de résolution) sans dévoiler ses angles morts, ses lacunes de couverture et ses limites de confiance donne une image systématiquement optimiste qui empêche l’entreprise de comprendre sa véritable posture de sécurité.
Le problème du reporting des lacunes de couverture est le principal déficit de responsabilité. Les programmes de surveillance de la sécurité par l’IA qui fonctionnent avec des lacunes de couverture connues (catégories de techniques sans couverture de détection, systèmes non intégrés, environnements non surveillés) devraient signaler ces lacunes à l’entreprise qui reçoit le service de surveillance. Un rapport de surveillance qui affiche des voyants de couverture au vert pour toutes les catégories configurées, sans indiquer que des catégories de techniques importantes ne sont pas configurées, donne une fausse assurance. Les voyants verts décrivent la couverture configurée. La couverture non configurée est invisible : elle n’apparaît ni en rouge ni en orange sur le tableau de bord, elle est tout simplement absente.
Le problème du reporting des limites de confiance est le deuxième déficit de responsabilité. Les systèmes de détection par IA ont une confiance variable selon les catégories de techniques : certains comportements sont détectés avec une confiance élevée (correspondances exactes de signatures), d’autres avec une confiance plus faible (anomalies comportementales qui nécessitent un contexte supplémentaire pour être classées de manière fiable). Les rapports de surveillance qui présentent toutes les alertes comme également fiables, sans indiquer les variations de confiance par catégorie, empêchent l’entreprise d’appliquer un examen approprié aux alertes de plus faible confiance. Une alerte de faible confiance qui exige une investigation humaine supplémentaire avant d’être classée doit être signalée comme telle, et non présentée au même titre que les alertes de confiance élevée comme une preuve équivalente de couverture de sécurité.
Le problème de la variation des taux de faux positifs est la dimension de l’efficacité opérationnelle. Les plateformes de surveillance de la sécurité par l’IA produisent des alertes faussement positives à des taux qui varient selon la catégorie d’alertes : certaines catégories ont des taux de faux positifs très faibles, d’autres des taux si élevés que la plupart des alertes de la catégorie sont des faux positifs. Des taux de faux positifs élevés dans certaines catégories dégradent l’efficacité des analystes pour ces catégories : le signal est noyé dans le bruit. Les rapports de surveillance qui ne présentent que des taux globaux de faux positifs, sans ventilation par catégorie, dissimulent les catégories dans lesquelles l’IA génère plus de bruit que de signal.
Pourquoi c’est important
Une surveillance exhaustive de la sécurité par l’IA est importante pour la TPRM car l’assurance de sécurité qu’apportent les rapports de surveillance dépend de leur capacité à représenter fidèlement à la fois les capacités et les limites du programme. Des rapports de surveillance entièrement au vert qui ne décrivent que ce qui fonctionne donnent une fausse assurance : ils confirment que le programme fonctionne dans ses paramètres configurés tout en dissimulant les lacunes que les attaquants déterminés ciblent précisément.
Là où la plupart des équipes se trompent
L’échec le plus constant consiste à accepter des rapports de surveillance qui décrivent les performances du programme sans demander de rapports décrivant ses limites. Les rapports de performance confirment ce qui fonctionne. Les rapports sur les limites permettent à l’entreprise de comprendre où un complément humain, des contrôles supplémentaires ou une couverture étendue sont nécessaires.
- Rapports de surveillance examinés sans demande de communication des lacunes
- Reporting des lacunes de couverture non exigé : lacunes non communiquées dans les rapports hebdomadaires
- Taux de faux positifs par catégorie non communiqués : taux agrégés uniquement
- Variations de confiance par catégorie non communiquées
- Besoins de complément humain absents des rapports de surveillance
À quoi ressemblent les bonnes pratiques
Un reporting mature de la surveillance de la sécurité par l’IA comprend à la fois des indicateurs de performance et la communication des limites, plus précisément les lacunes de couverture, les variations de confiance par catégorie d’alertes, les taux de faux positifs par catégorie et les circonstances précises dans lesquelles un complément d’analystes humains est nécessaire.
- Communication des lacunes de couverture : catégories de techniques non configurées explicitement signalées
- Taux de faux positifs par catégorie, et pas seulement les taux agrégés
- Communication des variations de confiance : catégories d’alertes à plus faible confiance de détection identifiées
- Besoins de complément humain : situations où l’IA ne peut pas classer de manière fiable sans examen par un analyste
- Suivi de la correction des lacunes : progrès vers la résorption des lacunes de couverture identifiées
Outils
Reporting de sécurité : tableaux de bord Splunk avec indicateurs de lacunes, classeurs Microsoft Sentinel pour l’analyse de la couverture
Les plateformes de reporting de sécurité configurables pour signaler les lacunes de couverture en plus des performances de couverture fournissent l’image complète de la surveillance que les tableaux de bord de performance standard n’offrent pas. Pour les praticiens de la TPRM, demander si les rapports de surveillance du fournisseur incluent la communication des lacunes de couverture et des taux de faux positifs par catégorie, en plus des indicateurs de performance standard, constitue une question précise sur l’exhaustivité du reporting.
Enjeux de gouvernance
Le défi de gouvernance posé par un reporting exhaustif de la surveillance de la sécurité par l’IA est le désalignement des incitations des fournisseurs. Les fournisseurs de surveillance de la sécurité ont un intérêt commercial à présenter leurs programmes sous le jour le plus favorable, en mettant en avant ce qui fonctionne et en limitant la communication des lacunes et des limites. Exiger la communication des lacunes dans les obligations contractuelles de reporting est le mécanisme de gouvernance qui aligne le reporting du fournisseur sur les besoins d’assurance de l’entreprise.
- Exiger contractuellement la communication des lacunes dans le reporting de surveillance
- Demander les taux de faux positifs par catégorie, et pas seulement les taux agrégés
- Demander la communication des variations de confiance par catégorie d’alertes
- Demander quelles activités d’analystes humains complètent la surveillance par l’IA
- Exiger un reporting de la correction des lacunes de couverture assorti d’échéances
Si vous êtes une petite équipe
Demandez un ajout au format standard du rapport de surveillance : une section sur les limites qui indique, pour la période couverte, les trois principales catégories de techniques ou les trois principaux environnements sans couverture de détection active, les catégories d’alertes présentant les taux de faux positifs les plus élevés et les circonstances dans lesquelles un examen par un analyste humain est nécessaire à la place d’une classification automatisée par l’IA. Cette section transforme un rapport de performance en rapport de surveillance complet. Son absence révèle la lacune dans ce que le programme de surveillance juge digne d’être signalé.
- Demander une section sur les limites dans les rapports de surveillance : lacunes de couverture, catégories à taux de FP élevé, besoins de complément humain
- Demander les taux de faux positifs par catégorie
- Demander la communication des lacunes de couverture en plus des performances de couverture
- Exiger contractuellement la communication des lacunes dans le reporting de surveillance
Ce qu’il faut exiger
Demandez directement :
« Vos rapports de surveillance hebdomadaires peuvent-ils inclure une section sur les limites indiquant les principales lacunes de couverture, les catégories d’alertes présentant les taux de faux positifs les plus élevés et les circonstances nécessitant un complément d’analystes humains, en plus des indicateurs de performance standard ? »
Preuves attendues
- Communication des lacunes de couverture dans les rapports de surveillance
- Taux de faux positifs par catégorie
- Communication des variations de confiance par catégorie d’alertes
- Communication des besoins de complément humain
Un fournisseur qui remet des rapports hebdomadaires de surveillance par l’IA doit être invité à y ajouter une section sur les limites. Les indicateurs de performance décrivent ce qui fonctionne. La communication des limites décrit ce que les indicateurs de performance ne montrent pas. Les deux sont nécessaires à un rapport de surveillance de la sécurité sincère.
Comment le prouver
- Format de rapport de surveillance avec communication des limites
- Dossiers de suivi des lacunes de couverture
- Reporting du taux de FP par catégorie
- Documentation des besoins de complément humain
À retenir
Six semaines de rapports de surveillance entièrement au vert. Six semaines de développement d’une intrusion dans un environnement non surveillé. Les rapports étaient exacts pour ce qu’ils montraient. Ce qu’ils montraient, c’était la couverture configurée fonctionnant dans ses paramètres. Ce qu’ils ne montraient pas, c’était l’environnement non intégré à la surveillance, les catégories de techniques sans configuration de détection et les domaines précis où un complément d’analystes humains était nécessaire. Un rapport qui ne montre que ce qui fonctionne est une synthèse de performance. Un rapport de surveillance montre à la fois ce qui fonctionne et ce qui ne fonctionne pas. La communication des lacunes de couverture, les taux de faux positifs par catégorie et les besoins de complément humain sont les limites qui complètent l’image que les indicateurs de performance ne montrent pas.