كان مورّد نظام تخطيط موارد المؤسسة لدى شركة تصنيع قد نشر عدة قدرات للذكاء الاصطناعي عبر منصته خلال العامين السابقين. وكانت قدرات الذكاء الاصطناعي لدى المورّد موثقة جيدًا في مواد المنتج: كشف الحالات الشاذة في تدفقات بيانات الإنتاج، وتوصيات الصيانة التنبؤية، وتحسين المخزون، وتوقع الطلب. وقد قيّم تقييم TPRM الذي أجرته شركة التصنيع أمن منتجات الذكاء الاصطناعي لدى المورّد، فراجع ممارسات بيانات التدريب ووثائق النماذج وأمن API لكل ميزة من ميزات الذكاء الاصطناعي المُفصح عنها. وكان التقييم شاملًا لحالات استخدام الذكاء الاصطناعي المُفصح عنها. أما ما لم يكشفه التقييم فهو برنامج الذكاء الاصطناعي الداخلي لدى المورّد، وهو مجموعة من النماذج التي استخدمها المورّد تشغيليًا لإدارة علاقاته مع العملاء، لا لتشغيل ميزات المنتج. وشملت هذه النماذج نموذجًا لتقييم صحة العملاء يحلل أنماط استخدام المؤسسة وسجل تذاكر الدعم وسلوك تجديد العقود للتنبؤ باحتمال التوقف عن التعامل؛ ونموذجًا للقيمة الدائمة للعميل يصنّف العملاء في فئات تؤثر في كيفية تخصيص موارد الدعم؛ ونموذجًا لتبني المنتج يحدد الميزات التي يُرجح أن يشتريها كل عميل ويوجّه أنشطة التسويق والمبيعات وفقًا لذلك. وكانت البيانات التشغيلية لشركة التصنيع، أي أنماط استخدامها وتفاعلاتها مع الدعم وسجل عقودها، تُستخدم كبيانات تدريب ومدخلات استدلال لبرنامج الذكاء الاصطناعي الداخلي لدى المورّد. ولم تُبلَّغ المؤسسة قط بحالات الاستخدام هذه، ولم توافق قط على هذا الاستخدام لبياناتها التشغيلية، ولم تكن لديها أي رؤية لكيفية تأثير هذه النماذج في الخدمة التي تتلقاها.
ما شفافية استخدام المورّدين للذكاء الاصطناعي حقًا؟
شفافية استخدام المورّد للذكاء الاصطناعي هي إطار الإفصاح والمساءلة الذي يشمل جميع الطرق التي يستخدم بها المورّد الذكاء الاصطناعي على نحو يؤثر في العميل المؤسسي، بما في ذلك ميزات المنتج المدعومة بالذكاء الاصطناعي التي تُسوَّق للعميل، وأنظمة الذكاء الاصطناعي الداخلية التي تستخدم بيانات العميل لأغراض تشغيلية خاصة بالمورّد، مثل تقييم العملاء وتصنيف القيمة الدائمة للعميل والتنبؤ بالتوقف عن التعامل وتوجيه الدعم واستخبارات المبيعات. وتتطلب الشفافية الكاملة في الذكاء الاصطناعي الإفصاح عن البعدين كليهما: ما يفعله الذكاء الاصطناعي من أجل العميل وما يفعله بشأنه.
تمثل مشكلة غموض برامج الذكاء الاصطناعي الداخلية جوهر فجوة الشفافية. فالمورّدون يستخدمون الذكاء الاصطناعي داخليًا بصورة متزايدة لإدارة علاقاتهم مع العملاء وتحسين عملياتهم، وهي أنشطة تجارية مشروعة تمامًا. وتنشأ مشكلة الغموض حين تُستخدم البيانات التشغيلية للعميل، أي أنماط استخدامه وتفاعلاته مع الدعم وسجل اتصالاته وسلوكه التعاقدي، كبيانات تدريب أو مدخلات استدلال لهذه النماذج الداخلية دون علم العميل أو موافقته. فالعميل عادةً ما وافق على أن يعالج المورّد بياناته لغرض تقديم الخدمة، لكنه لم يوافق عادةً على استخدام بياناته لبناء نماذج تصنّفه كعميل وتؤثر في الخدمة التي يتلقاها.
يمثل خطر الخدمة المتفاوتة النتيجة المحددة لذلك. فأنظمة تصنيف العملاء المعتمدة على الذكاء الاصطناعي التي تخصص موارد الدعم وترتب أولويات طلبات الميزات وتوجّه أنشطة نجاح العملاء بناءً على القيمة الدائمة المتوقعة للعميل أو احتمال توقفه عن التعامل تُنتج جودة خدمة متفاوتة، إذ يتلقى العملاء المصنفون على أنهم ذوو قيمة عالية معاملة تختلف عن العملاء المصنفين على أنهم ذوو قيمة منخفضة. والعميل المؤسسي الذي لا يعلم بوجود نظام التصنيف هذا لا يستطيع تقييم ما إذا كان يُعامل بإنصاف أو ما إذا كان التصنيف دقيقًا. وقد تتلقى شركة تصنيع صُنفت على أنها منخفضة القيمة الدائمة لأن أنماط استخدامها توحي بأنها قد لا تجدد العقد استجابة أبطأ من الدعم، وأولوية أدنى لطلبات الميزات، وتفاعلًا أقل من فريق نجاح العملاء، دون أي شفافية بشأن السبب.
ينطبق البعد المتعلق بـGDPR والبعد التنظيمي حين تكون البيانات الشخصية معنية. فإذا كانت البيانات التشغيلية التي يستخدمها المورّدون في الذكاء الاصطناعي الداخلي تتضمن بيانات شخصية، كعناوين البريد الإلكتروني للموظفين في تذاكر الدعم، أو الأسماء في سجلات الاستخدام، أو المعرّفات الشخصية في مسارات التدقيق، فإن استخدام تلك البيانات في نمذجة الذكاء الاصطناعي الداخلية يتطلب أساسًا قانونيًا بموجب GDPR. ومعالجة البيانات الشخصية لغرض تقديم خدمة لا تجيز تلقائيًا معالجة تلك البيانات الشخصية لبناء نماذج لتصنيف العملاء. والمورّدون الذين لم يقيّموا الأساس القانوني لاستخدام ذكائهم الاصطناعي الداخلي للبيانات التشغيلية للعملاء قد يُنشئون تعرضًا تنظيميًا لأنفسهم وللمؤسسة على حد سواء.
لماذا يهم هذا
تكتسب شفافية استخدام المورّدين للذكاء الاصطناعي أهمية في TPRM لأن بيانات المؤسسة، أي أنماط استخدامها وسجل الدعم وسلوكها التشغيلي، قد تستخدمها أنظمة الذكاء الاصطناعي لدى المورّد بطرق تؤثر في الخدمة التي تتلقاها المؤسسة، والأسعار المعروضة عليها، والقرارات الاستراتيجية التي يتخذها المورّد بشأن العلاقة. والمؤسسة التي لا تعلم بهذه الاستخدامات لا تستطيع تقييم إنصافها أو دقتها أو أثرها في العلاقة التجارية.
أين تخطئ معظم الفرق
الإخفاق الأكثر تكرارًا هو قصر تقييم شفافية الذكاء الاصطناعي على ميزات المنتج، أي الذكاء الاصطناعي الذي يسوّقه المورّد ويفصح عنه. أما أنظمة الذكاء الاصطناعي الداخلية التي تستخدم بيانات المؤسسة لأغراض تشغيلية خاصة بالمورّد فلا يُفصح عنها عادةً في وثائق المنتج، ولا تشملها عادةً التقييمات المعتادة لمورّدي الذكاء الاصطناعي.
- تقييم الذكاء الاصطناعي مقصور على ميزات المنتج المُفصح عنها
- برنامج ذكاء اصطناعي داخلي يستخدم بيانات المؤسسة دون إفصاح أو تقييم
- عدم تقييم خطر الخدمة المتفاوتة الناتج عن تصنيف العملاء
- عدم تقييم الأساس القانوني لاستخدام الذكاء الاصطناعي الداخلي لبيانات العملاء
- اتفاقية معالجة بيانات لا تغطي استخدام الذكاء الاصطناعي الداخلي للبيانات التشغيلية
كيف تبدو الممارسة الجيدة
تطلب تقييمات شفافية الذكاء الاصطناعي الناضجة من المورّدين الإفصاح عن جميع أنظمة الذكاء الاصطناعي التي تعالج بيانات المؤسسة، لا ميزات المنتج فحسب، وتشترط التزامات تعاقدية بشأن الاستخدامات المسموح بها للبيانات التشغيلية للمؤسسة في تدريب نماذج الذكاء الاصطناعي الداخلية والاستدلال بها.
- اطلب الإفصاح عن جميع أنظمة الذكاء الاصطناعي التي تعالج البيانات التشغيلية للمؤسسة
- اشترط قيودًا على استخدام الذكاء الاصطناعي الداخلي في اتفاقية معالجة البيانات
- اسأل عن أنظمة تصنيف العملاء وأثرها في تقديم الخدمة
- قيّم الأساس القانوني لاستخدام الذكاء الاصطناعي الداخلي للبيانات التشغيلية
- اشترط الإخطار بالاستخدامات الجديدة لبيانات المؤسسة في الذكاء الاصطناعي الداخلي
الأدوات
شفافية الذكاء الاصطناعي: أطر الامتثال لقانون الذكاء الاصطناعي الأوروبي، وNIST AI RMF
يفرض قانون الذكاء الاصطناعي الأوروبي متطلبات شفافية على أنظمة الذكاء الاصطناعي المستخدمة في العلاقات التجارية التي قد تؤثر في الأفراد والمؤسسات. وبالنسبة إلى ممارسي TPRM الذين يقعون ضمن نطاق الامتثال لقانون الذكاء الاصطناعي الأوروبي، فإن فهم أنظمة الذكاء الاصطناعي الداخلية لدى المورّدين التي تُعد أنظمة ذكاء اصطناعي بموجب القانون، وما إذا كانت تستوفي متطلبات الشفافية فيه، يوفر إطارًا تنظيميًا لمتطلبات الإفصاح عن الذكاء الاصطناعي.
تحديات الحوكمة
يتمثل تحدي الحوكمة في شفافية الذكاء الاصطناعي لدى المورّدين في الحساسية التجارية للإفصاح عن برامج الذكاء الاصطناعي الداخلية. فقد يرفض المورّدون الإفصاح عن نماذجهم الداخلية لتقييم العملاء وتصنيفهم بحجة حساسيتها التجارية. ويكمن حل الحوكمة في اشتراط الإفصاح عن استخدامات البيانات بدلًا من تفاصيل النماذج، إذ يحق للمؤسسة أن تعلم أن بياناتها التشغيلية تُستخدم في الذكاء الاصطناعي الداخلي، حتى لو كانت بنية النموذج حساسة تجاريًا.
- اشترط الإفصاح عن جميع استخدامات بيانات المؤسسة في تدريب الذكاء الاصطناعي والاستدلال
- أدرج قيودًا على استخدام الذكاء الاصطناعي الداخلي في DPA
- اسأل تحديدًا عن أنظمة تقييم العملاء وتصنيفهم وتوجيههم
- اشترط الإخطار بالاستخدامات الجديدة للذكاء الاصطناعي الداخلي
- تقييم الأساس القانوني للبيانات الشخصية الواردة في البيانات التشغيلية المستخدمة في الذكاء الاصطناعي الداخلي
إذا كنت فريقًا صغيرًا
أضف سؤالًا واحدًا إلى كل تقييم لمورّدي الذكاء الاصطناعي: بخلاف ميزات الذكاء الاصطناعي في منتجكم، هل تستخدمون داخليًا أي أنظمة ذكاء اصطناعي تعالج بياناتنا التشغيلية، بما في ذلك أنماط استخدامنا أو تذاكر الدعم أو سجل العقود أو سجلات الاتصالات، لأغراض مثل تقييم العملاء أو نمذجة القيمة الدائمة للعميل أو التنبؤ بالتوقف عن التعامل أو توجيه الدعم؟ وهل تلزم موافقتنا على تلك الاستخدامات؟ هذا السؤال يكشف برنامج الذكاء الاصطناعي الداخلي الذي تغفله تقييمات ميزات المنتج.
- اسأل عن أنظمة الذكاء الاصطناعي الداخلية التي تعالج البيانات التشغيلية للمؤسسة
- اسأل تحديدًا عن تقييم العملاء وتصنيفهم وتوجيههم
- اسأل عما إذا كانت موافقة المؤسسة مطلوبة لاستخدامات الذكاء الاصطناعي الداخلية
- أدرج قيودًا على استخدام الذكاء الاصطناعي الداخلي في DPA
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«بخلاف ميزات الذكاء الاصطناعي في منتجكم، هل تستخدمون داخليًا أي أنظمة ذكاء اصطناعي تعالج بياناتنا التشغيلية، بما في ذلك أنماط الاستخدام أو سجل الدعم أو السلوك التعاقدي، لأغراض مثل تقييم العملاء أو التنبؤ بالتوقف عن التعامل أو توجيه الدعم؟ وهل تشمل اتفاقية معالجة البيانات المبرمة بيننا تلك الاستخدامات؟»
ما تتوقعه دليلًا
- الإفصاح عن أنظمة الذكاء الاصطناعي الداخلية فيما يخص استخدامات بيانات المؤسسة
- تغطية اتفاقية معالجة البيانات لاستخدامات الذكاء الاصطناعي الداخلية
- الإفصاح عن تصنيف العملاء وتوجيههم
- الأساس القانوني لاستخدام الذكاء الاصطناعي الداخلي للبيانات التشغيلية
ينبغي سؤال المورّد الذي يؤكد شفافية الذكاء الاصطناعي في منتجه عن شفافية الذكاء الاصطناعي الداخلي. فالذكاء الاصطناعي في المنتج هو ما يفصح عنه المورّد، والذكاء الاصطناعي الداخلي هو ما يستخدمه المورّد. وكلاهما يستخدم بيانات المؤسسة، لكن أحدهما فقط هو ما يُقيَّم عادةً.
كيف تُثبت ذلك
- سجلات تقييم الإفصاح عن الذكاء الاصطناعي الداخلي
- تغطية DPA لاستخدامات الذكاء الاصطناعي الداخلية
- تقييم الأساس القانوني للبيانات التشغيلية في الذكاء الاصطناعي الداخلي
- سجلات الإفصاح عن تصنيف العملاء
الخلاصة الرئيسية
ميزات الذكاء الاصطناعي في المنتج: مُفصح عنها ومُقيَّمة ومؤمَّنة. الذكاء الاصطناعي الداخلي، أي تقييم صحة العملاء وتصنيف القيمة الدائمة للعميل وتوجيه الدعم: غير مُفصح عنه وغير مُقيَّم ويستخدم البيانات التشغيلية للمؤسسة. كانت المؤسسة تعلم ما يفعله الذكاء الاصطناعي من أجلها، لكنها لم تكن تعلم ما يفعله الذكاء الاصطناعي بشأنها. شفافية الذكاء الاصطناعي هي الصورة الكاملة: ما يفعله الذكاء الاصطناعي لدى المورّد من أجل العميل وما يفعله بشأنه. كلاهما يستخدم بيانات المؤسسة، وكلاهما يؤثر في العلاقة التجارية، وكلاهما يتطلب الإفصاح. ويجب أن تشمل DPA التي تغطي ميزات المنتج برنامج الذكاء الاصطناعي الداخلي أيضًا، ويجب أن يسأل التقييم الذي يقيّم الذكاء الاصطناعي في المنتج عن الذكاء الاصطناعي التشغيلي أيضًا.