En six ans, l’environnement logiciel d’une entreprise de distribution de technologies avait évolué vers une configuration d’entreprise classique : Salesforce CRM avec Einstein AI, HubSpot pour l’automatisation marketing avec génération de contenu par IA, Workday pour les RH avec présélection des candidats par IA, ServiceNow pour les opérations informatiques avec AIOps, et Microsoft 365 Copilot dans les outils de productivité. Rien de tout cela n’était particulièrement inhabituel pour une entreprise de cette taille et de ce niveau de maturité. Ce qui était inhabituel, c’est la découverte, lors d’un inventaire de routine de l’IA déclenché par les travaux de préparation de l’équipe juridique au règlement européen sur l’IA, que l’entreprise n’avait jamais évalué aucune de ces capacités d’IA intégrées en tant que systèmes d’IA. Chaque plateforme avait été acquise selon le processus d’achat SaaS : revue de sécurité de la plateforme, DPA signé, rapport SOC 2 examiné, approbation accordée. Les capacités d’IA de chaque plateforme avaient été traitées comme des fonctionnalités du produit SaaS évalué et non comme des systèmes d’IA nécessitant une évaluation distincte. L’inventaire de l’IA a recensé onze systèmes d’IA distincts en production dans l’environnement SaaS de l’entreprise, des systèmes qui prenaient ou influençaient des décisions concernant les prospects commerciaux, l’engagement marketing, les candidats à l’emploi, les incidents informatiques et la productivité des salariés. Plusieurs de ces systèmes portaient sur des décisions susceptibles de relever de la classification à haut risque du règlement européen sur l’IA. Aucun n’avait été évalué au regard de la conformité au règlement européen sur l’IA, des pratiques relatives aux données d’entraînement, des biais ou de l’équité, ni des exigences particulières de gouvernance de l’IA adoptées par l’entreprise.
Que sont réellement les risques liés aux intégrations d’IA de tiers ?
Les risques liés aux intégrations d’IA de tiers sont les risques de sécurité, de conformité, de gouvernance et opérationnels créés lorsque des plateformes SaaS d’entreprise intègrent des capacités d’IA (fonctionnalités reposant sur des modèles d’apprentissage automatique, des grands modèles de langage ou une automatisation pilotée par l’IA) dans leurs produits. Ces capacités d’IA intégrées peuvent traiter les données opérationnelles les plus sensibles de l’entreprise, prendre ou influencer des décisions à fort enjeu concernant des salariés, des clients ou des partenaires, et entraîner des obligations de conformité réglementaire particulières, distinctes de celles de la plateforme SaaS elle-même. Le risque n’est pas que les fonctionnalités d’IA soient malveillantes : ce sont des fonctionnalités légitimes du produit. Le risque est qu’elles soient évaluées au moyen d’un cadre d’évaluation SaaS qui n’est pas conçu pour identifier les risques propres à l’IA.
L’écart entre l’évaluation SaaS et l’évaluation de l’IA est le cœur du problème. Les processus d’achat SaaS des entreprises évaluent les contrôles de sécurité, les pratiques de traitement des données, les certifications de conformité et les protections contractuelles applicables aux données traitées par la plateforme SaaS. Ces évaluations conviennent au risque lié à la plateforme SaaS. Elles ne traitent pas les dimensions propres à l’IA des fonctionnalités d’IA intégrées : provenance des données d’entraînement, exactitude et équité du modèle, explicabilité des décisions à fort enjeu, classification à haut risque au titre du règlement européen sur l’IA, et manières précises dont l’automatisation pilotée par l’IA modifie le profil de risque des données traitées par la plateforme SaaS.
Le problème de l’activation par défaut aggrave la lacune de gouvernance. De nombreuses fonctionnalités d’IA intégrées dans les SaaS d’entreprise sont activées par défaut au lieu de nécessiter une activation explicite : notation des prospects dans Salesforce, suggestions de contenu dans HubSpot, classement des candidats dans Workday. L’entreprise qui acquiert une plateforme SaaS et accepte les paramètres par défaut peut déployer des capacités d’IA qui traitent des données sensibles et influencent des décisions à fort enjeu sans avoir jamais décidé expressément d’adopter ces capacités. L’approbation d’achat SaaS couvre la plateforme. Les capacités d’IA qu’elle contient sont héritées par défaut.
Le problème de l’extension de l’exposition des données est le risque de sécurité spécifique. Les fonctionnalités d’IA intégrées nécessitent souvent un accès à des données allant au-delà de ce qu’exigent les fonctionnalités SaaS de base : des fonctionnalités d’IA entraînées sur des données provenant de l’ensemble de l’environnement SaaS de l’entreprise, ou alimentées par ces données, peuvent étendre la surface d’exposition des données du système dorsal d’IA de la plateforme. Salesforce Einstein entraîné sur les données CRM de l’entreprise, l’IA de HubSpot traitant les données d’engagement de toute la clientèle et Microsoft Copilot accédant aux documents de l’ensemble de l’environnement Microsoft 365 créent chacun, vis-à-vis des systèmes dorsaux d’IA des plateformes concernées, une exposition des données qui peut dépasser celle de la plateforme SaaS de base.
Pourquoi c’est important
Les intégrations d’IA de tiers comptent pour le TPRM, car l’IA la plus lourde de conséquences dans l’environnement d’une entreprise est souvent intégrée dans des plateformes SaaS standard plutôt que déployée sous forme de produits d’IA autonomes. L’IA qui influence les décisions d’embauche, note les prospects commerciaux, rédige les communications avec les clients et gère les opérations informatiques est celle que l’évaluation SaaS manque le plus souvent.
Là où la plupart des équipes se trompent
L’erreur la plus constante consiste à traiter les fonctionnalités d’IA intégrées comme des fonctionnalités d’une plateforme SaaS évaluée, plutôt que comme des systèmes d’IA nécessitant une évaluation distincte. L’évaluation SaaS couvre la plateforme. L’IA intégrée exige une gouvernance propre à l’IA.
- IA intégrée évaluée comme des fonctionnalités SaaS et non comme des systèmes d’IA
- Activation par défaut de l’IA non examinée avant l’achat SaaS
- Inventaire de l’IA incomplet : l’IA intégrée n’est pas incluse
- Évaluation du haut risque au titre du règlement européen sur l’IA non appliquée à l’IA intégrée dans des cas d’usage réglementés
- Extension de l’exposition des données due aux fonctionnalités d’IA non évaluée
À quoi ressemblent les bonnes pratiques
Les programmes matures d’évaluation de l’IA de tiers incluent une étape de découverte de l’IA intégrée dans chaque achat SaaS, afin d’identifier les fonctionnalités d’IA incluses dans la plateforme et de savoir si certaines seront activées par défaut, et appliquent une évaluation de gouvernance propre à l’IA à toute fonctionnalité d’IA qui traite des données sensibles ou influence des décisions à fort enjeu.
- Découverte de l’IA intégrée lors de l’achat SaaS : quelles fonctionnalités d’IA existent et lesquelles sont activées par défaut
- Évaluation propre à l’IA pour les fonctionnalités d’IA à fort enjeu : données d’entraînement, équité, explicabilité, règlement européen sur l’IA
- Inventaire de l’IA incluant l’IA intégrée, et pas seulement les systèmes d’IA autonomes
- Examen des fonctionnalités d’IA par défaut avant la mise en service d’un SaaS
- Évaluation de l’exposition des données pour les systèmes dorsaux des fonctionnalités d’IA
Outils
Salesforce Einstein AI : documentation de l’inventaire des fonctionnalités d’IA et du périmètre d’accès aux données
Salesforce fournit une documentation sur l’accès aux données d’Einstein AI, ses pratiques d’entraînement et le périmètre de ses fonctionnalités d’IA. Pour les praticiens TPRM, demander la documentation du modèle Einstein AI en plus de la revue de sécurité standard de Salesforce permet l’évaluation propre à l’IA que la seule revue SaaS ne fournit pas.
Microsoft Copilot : Microsoft Purview pour la gouvernance des données dans le périmètre de Copilot
Microsoft Purview fournit des contrôles de gouvernance des données pour les données Microsoft 365 auxquelles Copilot accède. Pour les praticiens TPRM, évaluer le périmètre d’accès aux données de Copilot au regard de la politique de classification des données de l’entreprise constitue une évaluation précise de l’exposition des données à l’IA.
Enjeux de gouvernance
La difficulté de gouvernance des intégrations d’IA de tiers tient au volume considérable d’IA intégrée dans l’environnement SaaS d’une entreprise moderne. Appliquer une revue complète de gouvernance de l’IA à chaque fonctionnalité intégrée de chaque plateforme SaaS n’est pas réaliste. La solution de gouvernance est une évaluation hiérarchisée selon le risque : revue complète de gouvernance de l’IA pour les fonctionnalités d’IA qui prennent ou influencent des décisions à fort enjeu concernant des personnes ou qui traitent des données sensibles au plus haut point, revue allégée pour les fonctionnalités à moindre risque.
- Ajouter la découverte de l’IA intégrée à la liste de contrôle des achats SaaS
- Réaliser un inventaire de l’IA incluant l’IA intégrée aux SaaS
- Appliquer une évaluation de l’IA hiérarchisée selon le risque : revue complète pour l’IA intervenant dans des décisions à fort enjeu
- Examiner l’activation par défaut des fonctionnalités d’IA avant la mise en service d’un SaaS
- Évaluer les conséquences en matière de haut risque au titre du règlement européen sur l’IA pour l’IA intégrée dans les RH, le crédit et les autres domaines réglementés
Si vous êtes une petite équipe
Réalisez en une journée un inventaire de l’IA intégrée dans vos cinq plateformes SaaS les plus à risque. Pour chaque plateforme, répondez à trois questions : quelles fonctionnalités d’IA sont incluses dans votre abonnement, lesquelles sont activées par défaut, et lesquelles traitent des données sensibles ou influencent des décisions concernant des salariés ou des clients ? Cet inventaire révélera l’IA déployée sans évaluation propre à l’IA. Hiérarchisez l’évaluation selon la sensibilité des données traitées et les conséquences des décisions influencées.
- Inventorier les fonctionnalités d’IA intégrées dans les cinq principales plateformes SaaS
- Identifier les fonctionnalités activées par défaut
- Hiérarchiser l’évaluation selon la sensibilité des données et l’enjeu des décisions
- Appliquer une gouvernance propre à l’IA à l’IA intégrée prioritaire
Ce qu’il faut exiger
Demandez directement :
« Pouvez-vous fournir un inventaire de toutes les fonctionnalités d’IA incluses dans votre plateforme, en précisant lesquelles sont activées par défaut, à quelles données chaque fonctionnalité accède et, pour toute fonctionnalité d’IA qui influence des décisions concernant des personnes, quelle documentation sur les données d’entraînement et l’évaluation de l’équité vous pouvez fournir ? »
Preuves attendues
- Inventaire des fonctionnalités d’IA avec périmètre d’accès aux données
- Divulgation des fonctionnalités d’IA activées par défaut
- Documentation sur les données d’entraînement pour les fonctionnalités d’IA à fort enjeu
- Évaluation de l’équité des fonctionnalités d’IA ayant une incidence sur des personnes
Il convient de demander l’inventaire des fonctionnalités d’IA à un fournisseur SaaS qui confirme une évaluation de sécurité. L’évaluation de sécurité couvre la plateforme. L’inventaire des fonctionnalités d’IA révèle quelle IA la plateforme contient et quelles données elle traite.
Comment le prouver
- Dossiers d’inventaire de l’IA intégrée
- Évaluation propre à l’IA pour l’IA intégrée à fort enjeu
- Dossiers d’examen des fonctionnalités par défaut
- Évaluation au titre du règlement européen sur l’IA pour les cas d’usage réglementés de l’IA intégrée
À retenir
Onze systèmes d’IA. Aucun évalué en tant qu’IA. Salesforce Einstein note les prospects. L’IA de HubSpot rédige des e-mails. L’IA de Workday classe les candidats. ServiceNow AIOps décide de la priorité des incidents. Microsoft Copilot couvre tout l’environnement de productivité. Tous évalués en tant que SaaS. Aucun évalué en tant qu’IA. L’achat SaaS couvrait la plateforme. La lacune de gouvernance de l’IA, ce sont les onze systèmes qu’elle contient. La découverte de l’IA intégrée est la première étape. L’évaluation de l’IA hiérarchisée selon le risque constitue le cadre de gouvernance. L’IA qui influence les décisions les plus lourdes de conséquences est souvent intégrée dans les plateformes SaaS les plus courantes. Trouvez-la. Évaluez-la. Gouvernez-la.