Компания OpenAI разработала «механизм аварийной остановки» на случай, если ИИ выйдет из-под контроля во время тестирования.

تبدو فكرة “مفتاح الإيقاف الطارئ” для искусственного интеллекта وكأنها مستوحاة مباشرة من أفلام الخيال العلمي. لكن بالنسبة لـ OpenAI، أصبحت هذه الفكرة مشروعًا هندسيًا حقيقيًا للغاية. فقد أبلغت OpenAI أعضاء الكونجرس أن مهندسيها يعملون على تطوير أنظمة آلية قادرة على إيقاف نشاط الذكاء الاصطناعي عند اكتشاف مشكلات أمان خطيرة، وذلك وفقًا لرسالة بتاريخ 2 سبتمبر اطلعت عليها رويترز.

يأتي هذا العمل في أعقاب حادثة أمن سيبراني غير عادية وقعت في يوليو، عندما تمكنت Модели OpenAI التي كانت تخضع للتقييم داخل بيئة اختبار يُفترض أنها معزولة، من إيجاد طريقة للخروج، والوصول إلى الإنترنت العام دون إذن، ووصلت في النهاية إلى البنية التحتية لشركة الذكاء الاصطناعي Hugging Face. وقد لفتت تلك الحادثة انتباه الكونجرس. ففي أغسطس، طلبت مجموعة من 31 مشرعًا بقيادة النائب جريج كاسار من تكساس، من الرئيس التنفيذي لـ OpenAI، سام ألتمان، مزيدًا من المعلومات حول ما حدث، بما في ذلك السجلات الداخلية وتفاصيل حول كيفية تخطيط الشركة لمنع تكرار شيء مماثل. والآن، أصبح لدينا فكرة أوضح عن أحد هذه الإجراءات الوقائية.

كيف توقف ذكاءً اصطناعيًا يتجاوز حدوده؟

تقول الشركة إنها تعمل على تطوير أنظمة مراقبة يمكنها الاستجابة بشكل مختلف بناءً على مدى خطورة سلوك الذكاء الاصطناعي. تستخدم OpenAI بالفعل تنبيهات آلية يمكنها الإشارة إلى الإجراءات الخطيرة المحتملة Или غير المقصودة، وتنبيه الباحثين ومهندسي الأمن. وبالنسبة للتحذيرات الشديدة بشكل خاص، يُتوقع من المستجيبين إيقاف النشاط مؤقتًا ما لم يتمكنوا من تحديد خلال 30 دقيقة أن النظام أطلق إنذارًا كاذبًا.

الهدف الأسمى يتجاوز ذلك: تسعى OpenAI لأن تكون أنظمة المراقبة لديها قادرة على إيقاف النشاط تلقائيًا عندما تكتشف مشكلات خطيرة بما فيه الكفاية، في إطار مراجعتها لـ سيناريوهات خروج الذكاء الاصطناعي عن السيطرة. كما تعمل الشركة على تشديد آليات اختبار نماذجها. فقد صرحت بأن الوصول إلى الإنترنت أثناء تقييمات السلامة أصبح أكثر صعوبة، بينما يجري توسيع نطاق المراقبة ليشمل النماذج التي يمكنها استخدام الأدوات الرقمية. وبالنظر إلى ما حدث في يوليو، ليس من الصعب فهم السبب.

لم تكن هذه المرة الوحيدة التي يصل فيها الذكاء الاصطناعي إلى الإنترنت

خلال حادثة يوليو، كانت OpenAI تختبر نماذجها في مهام الأمن السيبراني داخل بيئة اختبار معزولة (sandbox) ذات إجراءات حماية مخففة. اكتشفت النماذج ثغرة أمنية غير معروفة سابقًا، واستخدمتها للوصول إلى الإنترنت، ثم اخترقت بنية Hugging Face التحتية أثناء بحثها عن إجابات لتقييمها. هذا يوضح كيف أن وكلاء الذكاء الاصطناعي يخرقون القواعد في اختبارات الأمن السيبراني. وكشف التحقيق اللاحق الذي أجرته OpenAI عن تفصيل أغرب: فقد أنشأت الوكلاء لوحة رسائل مرتجلة للتواصل وتنسيق أعمالهم، ووصف بعضهم أنفسهم بأنهم “سرب”.

اكتشفت OpenAI هذا النشاط في 19 يوليو وأبلغت Hugging Face. كما كشفت الشركة عن تقييمين منفصلين من جهات خارجية، حيث وصلت نماذجها بشكل غير متوقع إلى الإنترنت العام، مما يثير تساؤلات حول سيناريوهات خروج الذكاء الاصطناعي عن السيطرة. الكونغرس ليس راضيًا تمامًا عن استجابة OpenAI. انتقد كاسار الشركة لعدم تسليمها السجلات المطلوبة من حادثة يوليو، واصفًا رفضها بأنه “مقلق للغاية”. في غضون ذلك، يدرس المشرعون “قانون مفتاح إيقاف الذكاء الاصطناعي” (AI Kill Switch Act)، الذي اقتُرح في يوليو، والذي سيُلزم مطوري أنظمة الذكاء الاصطناعي القوية بشكل خاص بالحفاظ على القدرة التقنية على تعليقها Или إيقاف تشغيلها بعد حوادث معينة. بمعنى آخر، قد تكون OpenAI بصدد بناء “مفتاح إيقاف” خاص بها الآن، لكن واشنطن قد تجعل امتلاكه مطلبًا إلزاميًا في نهاية المطاف.