Le programme de TPRM d’une entreprise de biens de consommation avait adopté une plateforme de notation des risques fournisseurs reposant sur l’IA, qui produisait des scores de risque numériques pour toutes les relations fournisseurs, mis à jour chaque mois à partir de données de surveillance continue. L’intégration de la plateforme au processus de TPRM avait considérablement réduit l’effort manuel de surveillance des fournisseurs, et les scores de risque offraient une base cohérente pour prioriser les réévaluations et les activités de due diligence. Lors d’une revue trimestrielle de TPRM, un responsable des risques expérimenté a demandé à l’équipe TPRM de présenter la méthodologie de notation de trois fournisseurs situés dans la tranche de score de risque 70-80 et signalés pour une réévaluation accélérée. L’équipe a présenté les scores et la description catégorielle du risque fournie par la plateforme. Le responsable a posé quatre questions auxquelles la plateforme ne pouvait pas répondre : quelle était l’exactitude historique du modèle pour les prédictions dans la tranche 70-80 ? Quel était l’intervalle de confiance de chaque score ? Comment le score de chaque fournisseur avait-il évolué au cours des six derniers mois ? Quels signaux précis déterminaient le score élevé de chaque fournisseur, au-delà de la description générale de la méthodologie ? La plateforme produisait des scores numériques précis mis à jour chaque mois. Elle ne produisait ni les données de calibrage, ni les intervalles de confiance, ni l’historique des tendances, ni l’attribution des signaux qui auraient permis à un responsable des risques de juger si le score était fiable, s’il s’améliorait ou se dégradait, et quelles mesures précises pourraient traiter le risque.
Qu’est-ce que la fiabilité de la notation des risques par l’IA, au fond ?
La fiabilité de la notation des risques par l’IA est la mesure dans laquelle un score de risque généré par l’IA prédit avec exactitude le risque qu’il prétend mesurer, ainsi que la disponibilité des métadonnées, des données de calibrage et de la quantification de l’incertitude qui permettent aux praticiens du risque de juger si le score est digne de confiance pour la décision précise qu’il sert à étayer. Un score de risque fiable n’est pas seulement un chiffre précis : c’est un chiffre accompagné d’assez d’informations contextuelles pour en évaluer l’exactitude, l’incertitude et la tendance.
Le problème du calibrage est la question de fiabilité fondamentale. Un modèle est bien calibré si ses probabilités prédites correspondent aux fréquences empiriques : s’il prédit que 30% des fournisseurs dont le score se situe dans la tranche 70-80 connaîtront un événement défavorable dans les douze prochains mois, alors environ 30% de ces fournisseurs devraient effectivement en connaître un sur cette période. Les modèles mal calibrés produisent des scores précis mais systématiquement faux : ils peuvent surestimer ou sous-estimer le risque pour certaines tranches de score. Sans données de calibrage ventilées par tranche de score, les praticiens du risque ne peuvent pas juger si les prédictions du modèle sont fiables pour les tranches sur lesquelles ils fondent leurs décisions.
Le problème de l’absence d’intervalle de confiance est la dimension de l’incertitude. Les modèles d’IA produisent des prédictions comportant une incertitude inhérente : le même modèle appliqué aux mêmes données à des jours différents peut produire des scores légèrement différents, et le niveau de risque réel peut couvrir une plage de scores plutôt qu’un point précis. Des estimations ponctuelles présentées sans intervalle de confiance créent une fausse précision : un score de 73 suggère un niveau de certitude que le modèle n’a peut-être pas réellement. Un fournisseur noté 73 avec un intervalle de confiance de 60-86 exige un traitement différent de celui d’un fournisseur noté 73 avec un intervalle de confiance de 71-75. La largeur de l’intervalle indique le degré de confiance du modèle dans sa propre estimation.
Le problème de l’absence de tendance est la dimension directionnelle. Un score de 73 aujourd’hui indique à un praticien du risque que le fournisseur présente un risque élevé. Il ne lui dit pas si le fournisseur était à 85 il y a six mois et s’améliore, ou à 60 et se dégrade. La tendance est souvent plus importante que le score absolu pour les décisions de gestion des risques : un fournisseur dont le risque augmente nettement exige une attention différente de celle d’un fournisseur au même niveau de score qui est stable depuis douze mois. Les plateformes de notation des risques qui ne conservent ni ne présentent l’historique des scores suppriment le signal de tendance indispensable à une gestion efficace des risques.
Pourquoi c’est important
La fiabilité de la notation des risques par l’IA est importante pour la TPRM car des scores de risque considérés comme fiables alors qu’ils ne sont ni calibrés, ni assortis d’une quantification de la confiance, ni suivis dans le temps conduisent à une allocation des ressources systématiquement erronée : trop d’attention aux fournisseurs à score élevé qui ne présentent pas réellement de risque élevé, trop peu aux fournisseurs à score faible qui présentent en réalité un risque élevé, et aucun signal sur les fournisseurs qui évoluent dans une direction préoccupante.
Là où la plupart des équipes se trompent
L’échec le plus constant consiste à considérer la précision d’un score de risque par IA comme équivalente à sa fiabilité. Un score à quatre chiffres significatifs n’est pas plus fiable qu’un score à un chiffre : la précision reflète le format de sortie du modèle, pas son exactitude. Les données de calibrage sont la preuve de fiabilité que la précision n’apporte pas.
- Précision assimilée à la fiabilité
- Aucune donnée de calibrage par tranche de score
- Aucun intervalle de confiance : estimations ponctuelles présentées comme certaines
- Aucune évolution historique du score : score actuel sans indication de tendance
- Aucune attribution des signaux au niveau du fournisseur : description de la méthodologie uniquement
À quoi ressemblent les bonnes pratiques
Les programmes matures de notation des risques par l’IA fournissent des données de calibrage par tranche de score, des intervalles de confiance ou des estimations d’incertitude pour chaque score, l’historique des scores de chaque fournisseur et une attribution au niveau des signaux qui identifie les points de données précis déterminant le score individuel, et pas seulement la méthodologie générale.
- Données de calibrage par tranche de score : exactitude historique pour chaque décile
- Intervalles de confiance : quantification de l’incertitude en complément des estimations ponctuelles
- Évolution historique du score : au moins six mois d’historique de score pour chaque fournisseur
- Attribution au niveau des signaux : points de données précis qui déterminent le score individuel de chaque fournisseur
- Suivi des résultats : événements défavorables mis en corrélation avec les niveaux de risque prédits
Outils
Calibrage de la notation des risques : mise à l’échelle de Platt, régression isotonique pour le calibrage des modèles de ML
Des techniques de calibrage peuvent être appliquées aux modèles de notation des risques pour aligner les probabilités prédites sur les fréquences empiriques. Pour les praticiens de la TPRM, demander si le modèle de notation des risques par IA du fournisseur a été calibré, et si des données de calibrage par tranche de score sont disponibles, constitue une question précise sur la fiabilité des scores.
Enjeux de gouvernance
Le défi de gouvernance posé par la fiabilité de la notation des risques par l’IA est le décalage entre précision et confiance que créent des scores d’apparence sophistiquée. Un tableau de bord affichant des scores numériques précis mis à jour en temps réel suggère un niveau de fiabilité que le modèle sous-jacent n’a peut-être pas. La solution de gouvernance consiste à exiger une documentation de fiabilité en complément des scores, plus précisément des données de calibrage, des intervalles de confiance et l’historique des tendances.
- Demander des données de calibrage par tranche de score : exactitude historique au niveau de score actuel du fournisseur
- Demander si des intervalles de confiance sont disponibles pour les scores individuels
- Exiger l’historique des scores dans la plateforme de gestion des risques fournisseurs : au moins six mois
- Demander une attribution au niveau des signaux pour les scores élevés
- Demander un suivi des résultats : corrélation entre les taux d’événements défavorables et les niveaux de score
Si vous êtes une petite équipe
Pour toute plateforme de notation des risques par l’IA, posez les quatre questions de fiabilité : quelle est l’exactitude historique des prédictions dans cette tranche de score ? Quel est l’intervalle de confiance de ce score ? Quel était le score de ce fournisseur il y a six mois ? Et quels signaux précis déterminent le score de ce fournisseur, au-delà de la méthodologie générale ? Une plateforme incapable de répondre à l’une ou l’autre de ces questions produit des scores précis sans la documentation de fiabilité qui les rend exploitables. Sans calibrage, la précision n’est pas du renseignement sur les risques : c’est un chiffre.
- Demander l’exactitude historique dans la tranche de score actuelle du fournisseur
- Demander l’intervalle de confiance des scores individuels
- Demander l’évolution du score sur six mois pour les fournisseurs signalés
- Demander une attribution au niveau des signaux pour les scores élevés
Ce qu’il faut exiger
Demandez directement :
« Pour vos scores de risque par IA, pouvez-vous fournir des données de calibrage montrant l’exactitude historique des prédictions dans les tranches de score de nos fournisseurs, des intervalles de confiance pour les scores individuels et l’évolution des scores sur six mois ? Et pour les fournisseurs dont le score dépasse 70, pouvez-vous fournir une attribution au niveau des signaux pour le score individuel de chacun ? »
Preuves attendues
- Données de calibrage par tranche de score
- Intervalle de confiance ou quantification de l’incertitude
- Évolution historique du score : au moins six mois
- Attribution au niveau des signaux pour les scores élevés
Un fournisseur qui confirme une notation des risques par l’IA objective doit être invité à fournir des données de calibrage et des intervalles de confiance. Le score décrit le résultat. Les données de calibrage et les intervalles de confiance indiquent si ce résultat est digne de confiance.
Comment le prouver
- Dossiers d’évaluation des données de calibrage
- Documentation des intervalles de confiance
- Données d’évolution historique
- Attribution des signaux pour les décisions de risque élevé
À retenir
Score de risque : 73. Exactitude historique dans cette tranche : inconnue. Intervalle de confiance : non produit. Évolution sur six mois : non disponible. Attribution des signaux : au niveau de la méthodologie uniquement. Le score est précis, mis à jour chaque mois et cohérent. Savoir s’il est fiable, c’est-à-dire si un score de 73 prédit réellement ce qu’il prétend prédire, avec quel degré de certitude, et si le fournisseur se dégrade ou s’améliore, est impossible à partir du seul score. Les données de calibrage sont la preuve de l’exactitude. Les intervalles de confiance sont la preuve de l’incertitude. L’évolution historique est la preuve de la tendance. L’attribution des signaux est la preuve de l’exploitabilité. Sans ces éléments, un score de risque n’est qu’un chiffre. Avec eux, c’est du renseignement sur les risques.