L'évaluation de sécurité annuelle d'un fournisseur de services cloud comprenait une demande de preuves concernant l'application de l'MFA. Le fournisseur a fourni une capture d'écran du panneau d'administration de sa plateforme d'identité montrant les paramètres d'MFA avec le statut « Obligatoire » pour le rôle Administrateur. L'évaluateur TPRM a enregistré la preuve comme satisfaisant l'exigence d'application de l'MFA et est passé à l'élément suivant. Un auditeur expérimenté qui a examiné ultérieurement le dossier de preuves a relevé quatre problèmes dans la capture d'écran. La capture d'écran montrait un seul rôle, Administrateur, avec l'MFA obligatoire. La plateforme d'identité comptait douze rôles, et la capture d'écran ne montrait pas les paramètres d'MFA des onze autres. L'environnement visible dans la barre d'URL de la capture d'écran semblait être, d'après la structure du sous-domaine, un environnement de test et non l'environnement de production. Les métadonnées de la capture d'écran indiquaient une date de création antérieure de onze mois à l'évaluation. Enfin, l'application de l'MFA pour le rôle Administrateur était configurée comme « Obligatoire » pour les nouvelles authentifications, mais la plateforme permettait aux sessions existantes de se poursuivre sans nouvelle authentification, de sorte que l'exigence ne s'appliquait pas aux sessions déjà établies. La capture d'écran était authentique et montrait fidèlement ce qu'elle représentait. Ce qu'elle représentait n'était pas ce que la demande de preuves visait à démontrer.
Qu'est-ce réellement que le problème de la qualité des preuves d'audit ?
La qualité des preuves d'audit est la mesure dans laquelle les preuves fournies pour un contrôle de sécurité démontrent réellement ce qu'elles sont censées démontrer, à savoir que le contrôle est mis en œuvre, fonctionne efficacement et s'applique à tous les systèmes et utilisateurs concernés, et pas seulement qu'un paramètre existe dans une configuration capturée à un moment donné. Des preuves de qualité apportent une assurance solide que le contrôle fonctionne comme prévu. Des preuves de faible qualité confirment seulement que des preuves ont été fournies, sans apporter d'assurance significative sur l'efficacité du contrôle.
Les captures d'écran sont le type de preuve le plus souvent fourni, et le plus souvent insuffisant, dans les évaluations de sécurité des fournisseurs. Les captures d'écran confirment une configuration au moment de la capture, dans l'environnement où elle a été prise, pour l'utilisateur ou le rôle visible dans la capture. Elles ne confirment ni la persistance du paramètre dans le temps, ni son application à l'ensemble des utilisateurs et des systèmes concernés, ni sa présence dans l'environnement où les données des clients sont réellement traitées. Une capture d'écran peut représenter fidèlement ce que le fournisseur affirme qu'elle représente sans rien démontrer de la posture de sécurité réelle des systèmes pertinents pour le risque du client.
L'écart de couverture est la limite la plus importante des captures d'écran. Des contrôles de sécurité appliqués à un rôle, à un système ou à un panneau de configuration, alors que les autres rôles, systèmes et panneaux de configuration n'apparaissent pas dans les preuves, ne démontrent pas une couverture complète du contrôle. Un évaluateur qui accepte une capture d'écran montrant l'MFA activée pour le rôle Administrateur comme preuve que l'MFA est imposée n'a pas confirmé que l'MFA s'applique aux onze autres rôles, aux comptes de service ou aux chemins d'authentification susceptibles de contourner le flux d'authentification standard. La capture d'écran prouve le paramètre pour ce qui est montré. Elle ne dit rien de ce qui ne l'est pas.
- Captures d'écran portant sur un seul rôle ou un seul système : couverture partielle présentée comme preuve complète
- Captures d'écran d'environnements de test : configurations d'environnements hors production présentées comme preuves de production
- Captures d'écran anciennes : captures prises des mois avant la demande de preuves, ne confirmant pas l'état actuel
- Application aux sessions ou aux nouvelles authentifications : configurations appliquées aux nouvelles authentifications mais pas aux sessions existantes
- Preuves acceptées sans évaluation de leur qualité : captures d'écran enregistrées comme satisfaisant les exigences sans évaluation de leur couverture ni de leur actualité
Pourquoi c’est important
La qualité des preuves est importante pour la TPRM, car l'assurance apportée par une évaluation achevée ne vaut que par les preuves qui la fondent. Une évaluation qui accepte des preuves de faible qualité (captures d'écran partielles, configurations anciennes, captures d'environnements de test) produit une notation des risques fondée sur une documentation qui ne démontre pas réellement les contrôles qu'elle est censée prouver. La notation des risques semble bien étayée. Les contrôles sous-jacents ne sont peut-être pas dans l'état que suggèrent les preuves.
La conséquence lors des examens d'audit est directe. Les examinateurs des autorités de réglementation qui examinent des dossiers de preuves évaluent la qualité des preuves, c'est-à-dire si les preuves démontrent ce qu'elles sont censées démontrer. Un dossier de preuves composé de captures d'écran partielles d'environnements de test ne répondra pas aux attentes d'un examinateur en matière de qualité des preuves, quelle que soit la note attribuée à ces preuves lors de l'évaluation TPRM. L'examinateur posera les questions sur la qualité des preuves que l'évaluation n'a pas posées.
Là où la plupart des équipes se trompent
L'erreur la plus constante consiste à accepter des preuves qui démontrent quelque chose (un paramètre existe quelque part) sans confirmer qu'elles démontrent ce qu'elles devaient démontrer (le paramètre s'applique de manière complète et est actuellement maintenu). Accepter des preuves sans en évaluer la qualité confirme l'exhaustivité de la documentation plutôt que l'assurance sur les contrôles.
- Accepter des preuves sans en évaluer la qualité : confirmer que des preuves ont été fournies plutôt que ce qu'elles démontrent
- Couverture non évaluée : preuves portant sur un seul système ou un seul rôle acceptées à l'appui d'affirmations de couverture complète
- Environnement non vérifié : il n'est pas confirmé que les captures d'écran représentent l'environnement de production
- Actualité non confirmée : preuves anciennes acceptées sans confirmation de l'état actuel
- Limites des preuves non documentées : preuves de faible qualité acceptées sans consigner leurs limites
À quoi ressemblent les bonnes pratiques
Les programmes matures de qualité des preuves définissent des critères de qualité des preuves pour chaque contrôle demandé, en précisant la couverture, l'actualité et la confirmation de l'environnement requises, et évaluent les preuves fournies au regard de ces critères avant de les accepter comme satisfaisant l'exigence de contrôle.
- Critères de qualité des preuves définis pour chaque contrôle : couverture, actualité et environnement que les preuves doivent démontrer
- Confirmation de la couverture exigée : tous les rôles, systèmes et chemins d'accès concernés sont montrés ou explicitement confirmés
- Confirmation de l'environnement de production : URL, indicateur d'environnement ou confirmation explicite que les preuves représentent la production
- Confirmation de l'actualité : preuves datées d'une période récente définie ou accompagnées d'une attestation d'actualité
- Limites des preuves documentées : lorsque des preuves sont acceptées malgré des lacunes, ces limites sont consignées avec le contexte compensatoire
Outils
Preuves de conformité automatisées : Drata, Vanta, Secureframe
Les plateformes de conformité automatisées recueillent les preuves par programme plutôt que par captures d'écran, en interrogeant les API de configuration pour confirmer les paramètres actuels de l'ensemble des systèmes et des rôles concernés. Pour les professionnels de la TPRM, demander si les fournisseurs peuvent fournir des résultats d'outils de conformité automatisés plutôt que des captures d'écran manuelles constitue une question précise d'amélioration de la qualité des preuves.
Rapports de configuration : AWS Config, rapports de conformité Azure Policy
Les rapports de gestion de la configuration cloud fournissent des preuves complètes en termes de couverture, à jour et vérifiées en production, en montrant la conformité de toutes les ressources aux politiques définies plutôt qu'une capture d'écran des paramètres d'une seule ressource. Pour les professionnels de la TPRM, demander des rapports de conformité cloud plutôt que des captures d'écran permet d'obtenir des preuves supérieures sur les trois dimensions de qualité.
Enjeux de gouvernance
Le défi de gouvernance posé par la qualité des preuves est le temps nécessaire pour en évaluer la qualité plutôt que d'en confirmer simplement la réception. Les programmes de TPRM soumis à la pression du volume, qui doivent évaluer de nombreux fournisseurs dans un délai défini, se contentent par défaut de confirmer que des preuves ont été fournies au lieu de consacrer le temps nécessaire à l'évaluation de leur qualité. La réponse de gouvernance consiste à hiérarchiser l'examen de la qualité des preuves : appliquer une évaluation rigoureuse de la qualité aux preuves des contrôles les plus à risque et des relations les plus à risque avec des fournisseurs, et accepter un examen plus succinct pour les éléments moins risqués.
- Définir des critères de qualité des preuves pour les contrôles les plus à risque : MFA, chiffrement, revue des accès, tests d'intrusion
- Exiger une confirmation de l'environnement de production pour toutes les captures d'écran de configuration
- Fixer une ancienneté maximale des preuves : les captures d'écran de plus de six mois nécessitent une confirmation de leur actualité
- Exiger une confirmation de la couverture : tous les rôles ou systèmes concernés sont confirmés, et pas un seul exemple
- Demander des résultats d'outils de conformité automatisés plutôt que des captures d'écran pour les contrôles de portée générale
Si vous êtes une petite équipe
Lors de votre prochain examen des preuves, appliquez trois questions de qualité à chaque capture d'écran fournie comme preuve. Premièrement : cette capture d'écran montre-t-elle le périmètre complet du contrôle (tous les rôles, tous les systèmes, tous les chemins d'accès) ou seulement un exemple ? Deuxièmement : s'agit-il de l'environnement de production ? Troisièmement : quand cette capture d'écran a-t-elle été prise, et représente-t-elle l'état actuel ? Ces trois questions, posées systématiquement, feront immédiatement apparaître les lacunes de couverture, d'environnement et d'actualité que présentent couramment les captures d'écran. Les documents qui ne satisfont pas à l'une de ces trois questions doivent être signalés pour suivi avant que le contrôle ne soit enregistré comme satisfait.
- Demander : la capture d'écran montre-t-elle le périmètre complet, ou un seul exemple ?
- Demander : s'agit-il de l'environnement de production ?
- Demander : quand cette capture a-t-elle été prise, et représente-t-elle l'état actuel ?
- Demander des résultats d'outils de conformité automatisés au lieu de captures d'écran pour les contrôles de portée générale
Ce qu’il faut exiger
Demandez directement :
« Concernant les preuves d'application de l'MFA que vous avez fournies, la capture d'écran montre le rôle Administrateur. Pouvez-vous confirmer si l'MFA est exigée pour tous les rôles de votre plateforme, et pas seulement pour le rôle Administrateur, et si cette capture d'écran représente votre environnement de production plutôt qu'un environnement de test ? »
Preuves attendues
- Confirmation de la couverture : tous les rôles confirmés ou capture d'écran d'une politique globale
- Confirmation de l'environnement de production
- Confirmation de l'actualité : les preuves représentent l'état actuel
- Résultats d'outils de conformité automatisés préférés aux captures d'écran manuelles
Un fournisseur qui fournit une capture d'écran de l'MFA activée pour le rôle Administrateur doit se voir poser trois questions : l'MFA s'applique-t-elle à tous les rôles, s'agit-il de l'environnement de production et quand cette capture a-t-elle été prise ? La capture d'écran prouve ce qu'elle montre. Les questions établissent si ce qu'elle montre est ce qui compte.
Comment le prouver
- Documentation des critères de qualité des preuves
- Registres d'évaluation de la couverture et de l'actualité pour les contrôles clés
- Registres de confirmation de l'environnement de production
- Demandes de résultats d'outils de conformité automatisés et résultats obtenus
À retenir
La capture d'écran montrait l'MFA activée pour le rôle Administrateur dans un environnement de test, capturée onze mois plus tôt, avec une exception de continuité de session qui fait que les sessions existantes ne sont pas soumises à nouveau au contrôle. La capture d'écran était authentique. Ce qu'elle démontrait n'était pas ce qu'elle était censée démontrer. La qualité des preuves est la mesure dans laquelle les preuves démontrent réellement ce qu'elles sont censées démontrer : il ne s'agit pas de savoir si des preuves existent, mais si les preuves existantes prouvent ce que l'évaluation du contrôle exige. Les captures d'écran prouvent qu'un paramètre existait dans l'environnement représenté au moment de la capture. Elles ne prouvent ni une couverture complète, ni un déploiement en production, ni un maintien actuel. Définissez des critères de qualité des preuves. Évaluez la couverture, l'environnement et l'actualité. Demandez des résultats d'outils de conformité automatisés lorsque les captures d'écran sont insuffisantes.