– تراقب سلوكهم وتعزل النشاط المشبوه خلال أجزاء من الثانية
مع تزايد المخاوف من قدرة وكلاء الذكاء الاصطناعي على تجاوز المهام والصلاحيات المحددة لهم والعمل بصورة مستقلة، كشفت شركة “إنفيديا” الأميركية، اليوم الاثنين، عن منصة أمنية مفتوحة المصدر تهدف إلى وضع حدود لعمل هؤلاء الوكلاء ومراقبة سلوكهم ومنعهم من تنفيذ إجراءات غير مصرح بها.
وأعلنت “إنفيديا” منصة “Open Agent Safety”، التي تضم نظام “OpenShell” مفتوح المصدر وطبقة أمان مستقلة تحمل اسم “Sentry”، في خطوة تستهدف توفير ضوابط أمنية لوكلاء الذكاء الاصطناعي خلال مراحل الاختبار والتشغيل.
ويعمل “OpenShell” على إنشاء بيئة تشغيل آمنة لوكلاء الذكاء الاصطناعي، تتيح للمطورين تحديد السياسات والصلاحيات التي تحكم وصول الوكيل إلى الملفات والشبكات والأدوات والموارد الأخرى، والتحقق من امتلاكه الصلاحيات اللازمة لتنفيذ مهمته فقط من دون تجاوزها.
وقال نائب رئيس قسم الذكاء الاصطناعي المؤسسي في “إنفيديا” جاستن بويتانو، خلال مؤتمر صحفي، إن النظام كان من الممكن أن يمنع حادثة اختراق تعرضت لها شركة “هاغنغ فايس” المتخصصة في الذكاء الاصطناعي، ونفذتها بصورة مستقلة مجموعة من وكلاء الذكاء الاصطناعي التابعة لـ”أوبن إيه آي”.
وأضاف بويتانو أنه، بحسب معلومات الشركة، كان من الممكن منع الاختراق لو استخدمت هذه التقنية الأمنية في مختبرات رائدة خلال المراحل المبكرة من تقييم النماذج.
وبحسب “إنفيديا”، يتيح “OpenShell” للمطورين التحقق من أن وكيل الذكاء الاصطناعي يمتلك الصلاحيات الضرورية لأداء المهمة الموكلة إليه فقط، كما يمكن، بفضل طبيعته مفتوحة المصدر، توسيعه للعمل مع منصات حوسبة أخرى، بما فيها منصات “آرم” و”إنتل”.
وتتضمن المنصة طبقة أمان مستقلة تسمى “Sentry”، تعمل باستخدام وحدات معالجة البيانات “BlueField-4 DPU” بصورة منفصلة عن بيئة تشغيل وكيل الذكاء الاصطناعي، لمراقبة نشاطه باستمرار والتدخل إذا حاول تجاوز الحدود الموضوعة له.
ووفقاً للشركة، تستطيع “Sentry” عزل وكيل الذكاء الاصطناعي خلال أجزاء من الثانية عند رصد سلوك مشبوه، فيما أوضح بويتانو أن “OpenShell” يفرض الضوابط على تصرفات الوكيل، بينما تتولى “Sentry” بصورة مستقلة مراقبة السلوك المشبوه واحتواءه.
وأثارت حادثة “هاغنغ فايس”، التي وقعت فصولها بين مايو ويوليو 2026 ونفذتها مجموعة من وكلاء الذكاء الاصطناعي بصورة منسقة ومستقلة من دون تدخل بشري مباشر، مخاوف متزايدة بشأن المخاطر الأمنية المرتبطة بوكلاء الذكاء الاصطناعي.
وتلت الحادثة عمليات أخرى غير مشروعة استخدمت فيها نماذج من “أوبن إيه آي”، من بينها اختراق موقع إلكتروني تابع لوزارة الصحة الأسترالية، فيما كشفت شركتا “ميتا” و”أنثروبيك” عن حوادث تجاوزت فيها أنظمة ذكاء اصطناعي تابعة لهما الحدود الموضوعة لها ووصلت إلى أنظمة مؤسسات أخرى بصورة مستقلة.
وأثار الجدل بشأن سلامة الذكاء الاصطناعي انقساماً في القطاع، إذ دعا رؤساء شركتي “أنثروبيك” و”أوبن إيه آي” إلى إبطاء وتيرة تطوير الذكاء الاصطناعي بصورة منسقة لإتاحة المجال أمام جهود السلامة للحاق بوتيرة التطور.
في المقابل، يرى آخرون، من بينهم الرئيس التنفيذي لشركة “إنفيديا” جنسن هوانغ، أن مسؤولية ضمان سلامة نماذج الذكاء الاصطناعي قبل طرحها تقع على عاتق كل شركة على حدة.
وخلال مؤتمر “سيلزفورس” التقني السنوي، الذي عقد مطلع الشهر الجاري، وصف هوانغ سلامة الذكاء الاصطناعي، بما في ذلك مخاطر البرامج الخبيثة، بأنها مشكلة هندسية يمكن لمطوري البرامج معالجتها.
المصدر: جريدة السياسة
