نشرت شركة تصنيع منتجًا لمراقبة أمن الشبكات يعمل بالذكاء الاصطناعي من مورد متخصص، وهو نظام يستخدم تعلم الآلة لاكتشاف حركة البيانات الشاذة في الشبكة وتوليد تنبيهات أمنية ليحقق فيها المحللون. وكان المقياس المعلن للمورد معدل اكتشاف بنسبة 94% عبر مجموعة بيانات الاختبار لديه. وكانت المؤسسة قد أجرت إثباتًا للمفهوم كشف عدة سيناريوهات هجوم محاكاة، ورضيت عن أداء المنتج. وبعد النشر في بيئة الإنتاج، ولّد النظام سبعة عشر تنبيهًا خلال أربعة عشر يومًا. كانت ثلاثة منها حوادث أمنية حقيقية: خادم سيئ التهيئة، ومحطة عمل مخترقة، ومحاولة حركة جانبية. وكانت أربعة عشر منها إيجابيات كاذبة. واستهلك التحقيق في التنبيهات السبعة عشر جميعها اثنتين وستين ساعة من عمل المحللين. وكانت الحوادث الحقيقية الثلاث من النوع نفسه الذي ركزت عليه بيانات التدريب والاختبار لدى المورد. أما ما لم يحدده النموذج فكان ثلاثًا وعشرين حالة شذوذ لاحظها محلل أول أثناء مراجعة تقرير موجز لحركة البيانات بعد أسبوعين: تنفيذ عن بُعد عبر WMI من مصادر غير معتادة، وإساءة استخدام أدوات إدارية مشروعة، وأنماط استطلاع بطيء منخفض الوتيرة كانت كل منها منفردة ضمن الحدود الطبيعية، لكنها مجتمعةً تدل على مهاجم طويل البقاء يستخدم أساليب العيش على موارد النظام. لم تكن تلك الأساليب ضمن مجموعة بيانات التدريب، ولم تحددها عتبة الثقة في النموذج. وظلت لوحة المعلومات تعرض معدل اكتشاف بنسبة 94% طوال الوقت. وكانت حالات الشذوذ الثلاث والعشرون التي أُغفلت غير مرئية في كل مقياس مُبلغ عنه.
ما حقيقة ثغرات إضافات أمن الذكاء الاصطناعي؟
ثغرات إضافات الذكاء الاصطناعي في سياق الأدوات الأمنية المعتمدة على الذكاء الاصطناعي هي النقاط العمياء البنيوية والقيود التشغيلية لأنظمة الاكتشاف القائمة على تعلم الآلة، وهي ليست إخفاقات في تطبيق التقنية، بل قيود متأصلة في طريقة عمل تعلم الآلة الخاضع للإشراف تُنشئ فجوات منهجية بين مقاييس الاكتشاف المنشورة والتغطية الأمنية الفعلية. وتنشأ هذه الفجوات لأن نماذج ML تؤدي جيدًا مع المدخلات المشابهة لبيانات تدريبها وضعيفًا مع المدخلات الخارجة عنها، ولأن الخصوم يتكيفون تحديدًا لتجنب أنماط الاكتشاف، ولأن معدلات الإيجابيات الكاذبة تفرض تكاليف تشغيلية تقلص قدرة المحللين المتاحة لتعويض قيود الذكاء الاصطناعي.
فجوة توزيع التدريب هي القيد التأسيسي. فكل منتج أمني قائم على ML يُدرَّب على مجموعة بيانات من الأمثلة المُصنّفة: أنماط هجوم مصنفة على أنها خبيثة، ونشاط حميد مصنف على أنه طبيعي. ويتعلم النموذج اكتشاف الأنماط المشابهة لما دُرّب عليه، ويواجه صعوبة مع الأنماط المختلفة عنه. ومعدل الاكتشاف البالغ 94% في مجموعة بيانات الاختبار لدى المورد يقيس الأداء مقابل بيانات اختبار مأخوذة من التوزيع نفسه الذي أُخذت منه بيانات التدريب. ولا يقيس الأداء مقابل الأساليب المستجدة حقًا، أو التي كانت ممثلة تمثيلًا ناقصًا في التدريب، أو التي صُممت خصيصًا لتجنب منطق الاكتشاف الذي تعلمه النموذج. فالمقياس المعلن وفجوة التغطية الفعلية كلاهما حقيقي، لكنهما يقيسان أشياء مختلفة.
تمثل النقطة العمياء لأساليب العيش على موارد النظام فجوة محددة وموثقة جيدًا في توزيع التدريب لدى منتجات أمن الشبكات المعتمدة على الذكاء الاصطناعي. فهجمات العيش على موارد النظام تستخدم أدوات إدارية مشروعة، مثل WMI وPowerShell وPsExec وcertutil وMshta، لتنفيذ عمليات خبيثة بطرق تشبه إحصائيًا النشاط الإداري المشروع. والنموذج المُدرَّب على اكتشاف أنماط الشبكة الخبيثة من خلال اختلافها الإحصائي عن الأنماط الحميدة سيواجه صعوبة مع أساليب LOTL تحديدًا لأن الإشارات الفردية تقع ضمن نطاق النشاط المشروع. ويتطلب اكتشاف LOTL الربط بين إشارات متعددة يقع كل منها منفردًا ضمن النطاق الطبيعي على مدى الوقت، وهي مهمة تُعجز النماذج المُدرّبة على تصنيف الأحداث الفردية.
تعمل آلية التكيف العدائي على تضخيم فجوة التدريب بمرور الوقت. فالجهات المهددة المتمرسة تبحث في أدوات الاكتشاف التي ينشرها أهدافها وتكيّف أساليبها لتجنبها. والنموذج المعروف باكتشاف أنماط شبكية محددة لأن مورده نشر منطق الاكتشاف الخاص به سيتهرب منه المهاجمون الذين يستخدمون أنماطًا بديلة. وتصبح بيانات التدريب التي كانت حديثة عند تطوير النموذج أقل تمثيلًا تدريجيًا للأساليب التي يستخدمها الخصوم المتمرسون فعليًا. ويظل مقياس معدل الاكتشاف، المقيس مقابل مجموعة بيانات الاختبار الأصلية، مستقرًا بينما تتراجع الفعالية الفعلية للنموذج في مواجهة أساليب الخصوم الحالية.
مشكلة تكلفة الإيجابيات الكاذبة هي العاقبة التشغيلية التي تفاقم فجوة الاكتشاف. فمنتجات أمن الذكاء الاصطناعي التي تولّد أحجامًا كبيرة من التنبيهات الإيجابية الكاذبة تفرض أعباء تحقيق على فرق المحللين، إذ يتطلب كل تنبيه إيجابي كاذب وقتًا من المحللين للتحقيق فيه وإغلاقه. ويأتي هذا الوقت من قدرة المحللين التي كانت ستُستخدم لولا ذلك في البحث اليدوي عن التهديدات، ومراجعة حركة البيانات، والتحليل البشري الذي يعوّض النقاط العمياء للذكاء الاصطناعي. فالنموذج الذي يولّد أربعة عشر إيجابيًا كاذبًا من كل سبعة عشر تنبيهًا يستهلك ستًا وخمسين ساعة من عمل المحللين في التحقيق في الضجيج، وهي بالضبط الساعات التي ربما كانت ستكشف حالات الشذوذ الثلاث والعشرين التي أغفلها النموذج.
لماذا يهم هذا
تهم ثغرات إضافات أمن الذكاء الاصطناعي TPRM لأن المراقبة الأمنية القائمة على الذكاء الاصطناعي تُقدَّم على نحو متزايد بوصفها طبقة الاكتشاف الأساسية، فتحل محل مراجعة المحللين البشريين أو تقلصها كثيرًا. وعندما ينشر الموردون منتجات أمن الذكاء الاصطناعي بوصفها قدرة الاكتشاف الأساسية لديهم، تصبح الفجوات في تغطية تلك المنتجات تعرضًا للمؤسسة. والمورد الذي يتمتع منتج أمن الذكاء الاصطناعي لديه بمعدل اكتشاف 94% ويغفل منهجيًا عن أساليب العيش على موارد النظام لديه فجوة اكتشاف كبيرة في فئة الهجمات التي يفضلها تحديدًا الخصوم المتمرسون في سلاسل التوريد.
خطر الإزاحة هو الشاغل المحدد في سلسلة التوريد. فإذا كان منتج أمن الذكاء الاصطناعي لدى المورد يحل محل قدرة المحللين بدلًا من أن يكمّلها، أي إذا قُلّص فريق المحللين الذي كان يراجع حركة البيانات يدويًا لأن الذكاء الاصطناعي يتولى الاكتشاف، فقد يكون الأثر الصافي لنشر الذكاء الاصطناعي انخفاض التغطية الأمنية لفئات الأساليب التي لا يكتشفها الذكاء الاصطناعي جيدًا. فالذكاء الاصطناعي لم يزد التغطية، بل نقلها نحو الأساليب التي يكتشفها جيدًا وبعيدًا عن الأساليب التي لا يكتشفها.
أين تخطئ معظم الفرق
يتمثل الإخفاق الأكثر تكرارًا في قبول المقياس المعلن لمعدل الاكتشاف دون تقييم نطاق الأساليب في الاختبار الذي أنتجه. فالمقياس دقيق بالنسبة إلى ذلك النطاق، والنطاق هو ما يحدد ما إذا كان المقياس ذا دلالة في مشهد التهديدات الذي يواجهه المورد فعليًا.
- قبول معدل الاكتشاف دون تقييم نطاق مجموعة بيانات الاختبار
- عدم تقييم معدل الإيجابيات الكاذبة بوصفه تكلفة تشغيلية: ساعات عمل المحللين المطلوبة
- عدم تقييم تغطية أساليب العيش على موارد النظام تحديدًا
- عدم إجراء اختبار التهرب العدائي: هل يكتشف الذكاء الاصطناعي الهجمات المصممة لتجنبه
- عدم تحديد التكامل مع المحللين البشريين لسد فجوات تغطية الذكاء الاصطناعي
كيف تبدو الممارسة الجيدة
تقيّم التقييمات الناضجة لمنتجات أمن الذكاء الاصطناعي ثلاث فئات من الاكتشاف إلى جانب معدلات الإيجابيات الكاذبة: أنماط الهجوم المعروفة من توزيع التدريب، والأساليب المستجدة خارج توزيع التدريب، ومحاولات التهرب المصممة عدائيًا، فتحدد التغطية الفعلية بما يتجاوز المقياس المُعلن.
- تقييم من ثلاث فئات: أساليب التهرب المعروفة والمستجدة والمصممة عدائيًا
- تقييم صريح لتغطية أساليب LOTL: اكتشاف إساءة استخدام WMI وPowerShell والأدوات الإدارية
- معدل الإيجابيات الكاذبة بوصفه تكلفة تشغيلية: ساعات عمل المحللين شهريًا بحجم التنبيهات في بيئة الإنتاج
- تحديد التكامل مع المحللين البشريين: التحليل اليدوي الذي يعوّض فجوات الذكاء الاصطناعي
- فريق أحمر للتهرب العدائي: فريق أحمر بهدف صريح هو التهرب من الذكاء الاصطناعي
الأدوات
تقييم أمن الذكاء الاصطناعي: MITRE ATLAS لـ ML العدائي، وAtomic Red Team للتحقق من اكتشاف LOTL
يوفر MITRE ATLAS إطارًا لتقييم تهديدات تعلم الآلة العدائي، بما فيها الأساليب المصممة خصيصًا للتهرب من الاكتشاف القائم على الذكاء الاصطناعي. ويوفر Atomic Red Team تطبيقات اختبارية لأساليب ATT&CK، بما فيها أنماط LOTL، يمكن من خلالها التحقق مما إذا كان المنتج الأمني يكتشفها. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كان منتج أمن الذكاء الاصطناعي لدى المورد قد قُيّم في مواجهة أساليب LOTL في MITRE ATT&CK باستخدام اختبارات Atomic Red Team يوفر سؤالًا محددًا عن التغطية الفعلية.
أمن الشبكات: Darktrace وVectra وExtraHop مع تغطية صريحة لـ LOTL والشذوذ السلوكي
تتفاوت منتجات أمن الشبكات المعتمدة على الذكاء الاصطناعي تفاوتًا كبيرًا في تغطيتها لأساليب العيش على موارد النظام وأساليب الاستطلاع البطيء منخفض الوتيرة. فالمنتجات التي تركز تحديدًا على خطوط الأساس السلوكية واكتشاف الشذوذ المترابط متعدد الإشارات أنسب لاكتشاف LOTL من المنتجات المُحسّنة لتصنيف الأنماط المعروفة بأحجام كبيرة. وبالنسبة إلى ممارسي TPRM، فإن السؤال عن الكيفية التي يكتشف بها منتج أمن الشبكات المعتمد على الذكاء الاصطناعي لدى المورد أساليب LOTL تحديدًا، وطلب عرض توضيحي باستخدام حالات اختبار LOTL من Atomic Red Team، يوفر تقييمًا ملموسًا للتغطية.
تحديات الحوكمة
يتمثل تحدي الحوكمة في قيود منتجات أمن الذكاء الاصطناعي في مشكلة الثقة في المقاييس. فمقاييس معدل الاكتشاف المرتفعة تولّد ثقة في تغطية الذكاء الاصطناعي قد لا تكون مبررة بالنسبة إلى الأساليب المحددة التي تقلق المؤسسة أكثر من غيرها. والحل الحوكمي هو تقييم التغطية الخاصة بكل أسلوب، أي تقييم تغطية المنتج لأنماط الهجوم المحددة ذات الصلة بنموذج التهديدات لدى المؤسسة، لا المقياس الإجمالي فقط.
- قيّم التغطية الخاصة بكل أسلوب في ضوء نموذج التهديدات لدى المؤسسة
- قيّم قدرة اكتشاف LOTL صراحةً، فهي من TTP الشائعة لدى المهاجمين المتمرسين
- احسب التكلفة التشغيلية للإيجابيات الكاذبة: ساعات عمل المحللين بأحجام الإنتاج
- حدد التكامل مع المحللين البشريين: ما لا يستطيع الذكاء الاصطناعي تغطيته يجب أن يغطيه التحليل البشري
- أجرِ تقييمًا للتهرب العدائي: إطار MITRE ATLAS
إذا كنت فريقًا صغيرًا
في أي تقييم لمنتج أمن ذكاء اصطناعي، اطرح سؤالين لن يجيب عنهما العرض التوضيحي للمورد. أولًا: هل نطاق الأساليب التي تغطيها مجموعة بيانات الاختبار لديكم معلن، وهل يتضمن تحديدًا أنماط العيش على موارد النظام وأساليب التهرب المصممة عدائيًا؟ ثانيًا: ما معدل الإيجابيات الكاذبة الشهري المتوقع في مؤسسة بحجمنا وتعقيد شبكتنا، وكم ساعة من عمل المحللين يترتب على ذلك؟ يكشف السؤال الأول فجوة التغطية، ويكشف الثاني التكلفة التشغيلية. ومعًا يصفان التغطية الأمنية الفعلية التي يوفرها المنتج.
- اسأل عما إذا كانت مجموعة بيانات الاختبار تتضمن أساليب LOTL والتهرب العدائي
- اسأل عن معدل الإيجابيات الكاذبة في بيئة الإنتاج وما يترتب عليه من ساعات عمل المحللين بحجم مؤسستك
- أجرِ اختبار Atomic Red Team لأساليب LOTL خلال إثبات المفهوم
- حدد التكامل مع المحللين البشريين لفجوات التغطية المحددة
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«هل تتضمن مجموعة بيانات الاختبار لمنتج أمن الذكاء الاصطناعي لديكم تحديدًا أساليب العيش على موارد النظام وأنماط التهرب المصممة عدائيًا، وما الحجم الشهري المتوقع للإيجابيات الكاذبة وساعات عمل المحللين في مؤسسة بحجمنا؟»
ما تتوقعه دليلًا
- نطاق تغطية الأساليب في مجموعة بيانات الاختبار
- تأكيد تغطية LOTL والتهرب العدائي
- معدل الإيجابيات الكاذبة في بيئة الإنتاج لدى مؤسسات مماثلة
- إرشادات التكامل مع المحللين البشريين
ينبغي أن يُسأل المورد الذي يؤكد معدل اكتشاف بنسبة 94% عن نطاق الأساليب الذي أنتج هذا المعدل. فالمقياس دقيق بالنسبة إلى ذلك النطاق، والنطاق هو ما يحدد دلالة المقياس على التغطية في الواقع.
كيف تُثبت ذلك
- سجلات تقييم نطاق مجموعة بيانات الاختبار
- تقييم تغطية أساليب LOTL
- تقييم معدل الإيجابيات الكاذبة وتكلفة المحللين
- توثيق التكامل مع المحللين البشريين
الخلاصة الرئيسية
معدل اكتشاف 94%. سبعة عشر تنبيهًا. ثلاثة حقيقية. أربعة عشر إيجابيًا كاذبًا. ست وخمسون ساعة من عمل المحللين. ثلاث وعشرون حالة شذوذ LOTL أُغفلت. لم تُحدَّد، ولم تظهر في لوحة المعلومات. كان معدل الاكتشاف حقيقيًا بالنسبة إلى توزيع التدريب، وكانت حالات الشذوذ التي أُغفلت حقيقية بالنسبة إلى الأساليب الخارجة عنه. واستهلك التحقيق في الإيجابيات الكاذبة بالضبط ساعات المحللين التي كانت المراجعة اليدوية لحركة البيانات ستستخدمها للعثور على الحالات الثلاث والعشرين المُغفلة. منتجات أمن الذكاء الاصطناعي لا تُلغي الحاجة إلى حكم المحلل البشري، بل تعيد توجيهه. اختبر نطاق الأساليب. احسب تكلفة الإيجابيات الكاذبة. حدد التكامل البشري. يصف مقياس 94% تغطية الذكاء الاصطناعي لما دُرّب على اكتشافه، ويصف التقييم ثلاثي الفئات تغطيته لما يستخدمه الخصم فعليًا.