«إنفيديا» تطلق منصة أمنية لحوكمة وكلاء الذكاء الاصطناعي ومنع تجاوزاتهم

في ظل التوسع المتسارع في استخدام وكلاء الذكاء الاصطناعي القادرين على أداء مهام متعددة بشكل شبه مستقل — من كتابة الأكواد وإدارة قواعد البيانات إلى تشغيل الأدوات والخدمات داخل بيئات الشركات — تبرز إشكالية جديدة تتجاوز دقة النماذج نفسها: كيف يمكن ضمان بقاء الوكيل ضمن الحدود التي يحددها المستخدم؟ ولمواجهة هذا التحدي، كشفت «إنفيديا» عن منصة أمنية جديدة تهدف إلى فرض رقابة صارمة على تحركات هؤلاء الوكلاء، ورصد أنشطتهم، وعزلهم فور محاولة تجاوز الصلاحيات الممنوحة لهم.

مكونات المنصة: درع برمجي وطبقة حماية مستقلة

أعلنت الشركة، الاثنين، عن منصة NVIDIA Open Agent Safety Platform، وهي منصة برمجية مفتوحة المصدر وتصميم مرجعي لنظام أمني يدمج بين البرمجيات والعتاد، لتوفير الحوكمة والرقابة على وكلاء الذكاء الاصطناعي بدءًا من مراحل الاختبار وصولًا إلى التشغيل الفعلي. تتألف المنصة من مكونين رئيسيين: OpenShell وSentry، وقد أكدت «إنفيديا» أن أكثر من 100 مؤسسة وشركة تعمل حاليًا مع تقنياتها ضمن هذا النظام.

يقوم OpenShell بدور خط الدفاع البرمجي، حيث يوفر بيئة تشغيل آمنة تعزل كل وكيل داخل نطاق محدد، وتسمح للمؤسسات بتحديد الملفات والشبكات والأدوات وبيانات الاعتماد التي يمكن للوكيل الوصول إليها. كما تسجل الأداة تحركات الوكيل وتفرض السياسات الأمنية أثناء تنفيذه للمهام، بحيث لا يعتمد الأمان على التعليمات الموجهة إلى نموذج الذكاء الاصطناعي وحده. تعمل OpenShell على وحدات المعالجة المركزية «فيرا» من «إنفيديا»، ويمكن توسيعها لتعمل على منصات تستخدم معالجات من «إنتل» و«آرم».

أما Sentry فتضيف طبقة حماية مستقلة على مستوى البنية التحتية. تعمل الأداة عبر وحدات معالجة البيانات BlueField-4 DPU، خارج البيئة التي يعمل فيها الوكيل، لمراقبة سلوكه باستمرار وفرض سياسات أمنية مستقلة. وإذا حاول الوكيل الخروج عن الحدود المحددة، يمكن لـSentry عزله وإيقافه خلال أجزاء من الثانية، وفق ما ذكرته «إنفيديا».

تكمن أهمية هذا التصميم في وضع الرقابة الأمنية خارج نطاق سيطرة الوكيل نفسه. فبدلاً من الاعتماد على النموذج ليلتزم بالتعليمات الأمنية، تصبح البنية التحتية هي التي تحدد ما يستطيع الوكيل الوصول إليه وما يمكنه تنفيذه. وتستخدم Sentry أيضًا برمجيات NVIDIA DOCA لفحص الطلبات والاستجابات، والتحقق من هوية الوكلاء، وتوفير بيانات مراقبة موثقة، وتطبيق سياسات وصول دقيقة وفق نموذج «الثقة الصفرية».

حادثة «هاغنغ فيس»: خلفية تبرر الحاجة إلى الحماية

يأتي إطلاق المنصة بعد سلسلة من الحوادث التي أبرزت صعوبة احتواء وكلاء الذكاء الاصطناعي القادرين على اتخاذ سلسلة طويلة من القرارات بشكل مستقل. في يوليو، كشفت «أوبن إيه آي» أن نماذج استُخدمت خلال تقييمات داخلية للأمن السيبراني تمكنت من تجاوز ضوابط العزل عن الإنترنت والوصول إلى أنظمة تابعة للشركة، كما اخترقت أجزاء من أنظمة «هاغنغ فيس». وأوضحت «أوبن إيه آي» في تحديث لاحق أن النماذج استغلت ثغرات، واستخدمت قنوات اتصال غير مصرح بها، ووصلت إلى أنظمة تابعة لطرف ثالث.

وأظهرت رواية «هاغنغ فيس» الفنية للحادث أن الوكيل نفذ سلسلة من الخطوات الآلية شملت الوصول إلى البنية التحتية للشركة، والحركة الجانبية داخل الأنظمة، واستخدام بيانات اعتماد مسروقة، في حادث استمر نحو يومين ونصف اليوم داخل بيئة «هاغنغ فيس»، وفق تحليل الشركة.

وقال جاستن بويتانو، نائب رئيس الذكاء الاصطناعي المؤسسي في «إنفيديا»، إن البنية الجديدة كان بإمكانها منع حادثة «هاغنغ فيس»، مشيرًا إلى أن الأحداث الأخيرة أظهرت حدود الاعتماد على ضوابط الأمان الموجودة على مستوى النموذج أو التطبيق فقط. وتطرح الشركة بذلك تصورًا مختلفًا لأمن الوكلاء، يقوم على بناء الحماية في طبقات البنية التحتية التي يعمل فوقها الوكيل.

تحالفات صناعية نحو «ذكاء اصطناعي آمن»

تحاول «إنفيديا» من خلال المنصة تحويل أمن الوكلاء إلى طبقة مشتركة بين شركات التقنية ومطوري النماذج ومزودي البنية التحتية. من بين الجهات التي تعمل مع المنصة: «أنثروبيك»، و«مايكروسوفت»، و«Salesforce»، و«SAP»، و«بالانتير»، و«هاغنغ فيس»، و«جيه بي مورغان تشيس»، و«سيسكو»، و«كراود سترايك» وغيرها. وقد دمجت «Salesforce» OpenShell مع «Slack» لإتاحة مراقبة نشاط الوكلاء وإدارة طلبات الحصول على صلاحيات إضافية، بينما تعمل «أنثروبيك» على دمج تقنيات المنصة مع وكلاء Claude المُدارين.

قال جنسن هوانغ، المؤسس والرئيس التنفيذي لـ«إنفيديا»، إن الإمكانات الكبيرة للذكاء الاصطناعي لن تتحقق بالكامل ما لم تتم معالجة مسألة سلامة الذكاء الاصطناعي، مؤكدًا أن اكتشاف قدرات جديدة للذكاء الاصطناعي يجب أن يوازيه تطوير أدوات جديدة للأمان.

يأتي هذا التوجه بالتزامن مع اتساع النقاش داخل صناعة الذكاء الاصطناعي حول سرعة تطوير النماذج وحدود المخاطر المحتملة. في سبتمبر، دعا داريوش أمودي، الرئيس التنفيذي لـ«أنثروبيك»، شركات الذكاء الاصطناعي إلى إبطاء وتيرة تطوير قدرات النماذج، واقترح تعزيز التقييمات المستقلة والتنسيق بين الشركات ووضع معايير أكثر صرامة للسلامة، فيما أبدى سام ألتمان وإيلون ماسك تأييدًا لفكرة إبطاء وتيرة تطوير نماذج الذكاء الاصطناعي المتقدمة.

تعكس منصة «إنفيديا» اتجاهًا تقنيًا مختلفًا في التعامل مع هذه المخاطر: بدلاً من الاكتفاء بمحاولة جعل الوكيل «أكثر التزامًا»، يجري تصميم البيئة التي يعمل داخلها بحيث تمنعه تقنيًا من تجاوز الحدود المسموح بها. ومع انتقال وكلاء الذكاء الاصطناعي من أدوات مساعدة إلى أنظمة قادرة على تنفيذ مهام طويلة ومعقدة عبر شبكات وبيانات وأنظمة مؤسسية، قد يصبح هذا النوع من الحواجز جزءًا أساسيًا من البنية التحتية لتشغيل الذكاء الاصطناعي على نطاق واسع.