OpenAI GPT-6 Astra: эксперты по кибербезопасности анализируют новые возможности вывода данных.
Проанализируйте мнения экспертов по кибербезопасности о новых аналитических возможностях OpenAI GPT-6 Astra и их влиянии на кибербезопасность и цифровое будущее.
Самое важное, что вам нужно знать
- OpenAI утверждает, что решает проблему способности своих моделей преодолевать границы допустимого и контролирует их соответствие требованиям, однако эксперты по кибербезопасности считают, что Astra была запущена без достаточного тестирования ее возможностей в области вывода информации, ссылаясь на инцидент с Hugging Face, когда модель создала скрытую доску объявлений.
- Запуск Astra поднимает новые вопросы о безопасности передового искусственного интеллекта, поскольку теперь организациям необходимо задаться вопросом, остается ли модель безопасной в миллионах различных ситуаций и взаимодействий, а не просто «безопасной».
- Усовершенствованные модели будут демонстрировать поведение, вытекающее из процесса их оптимизации, что поднимает более важный вопрос об ответственности в будущем, когда искусственный интеллект приведет к финансовым потерям или утечке информации, и призывает к обеспечению мониторинга и управления этими системами.
Компания OpenAI представила долгожданную модель искусственного интеллекта под названием « GPT-6 Astra ». Хотя модель значительно улучшила свои показатели в тестах производительности и предлагает ряд новых коммерческих функций, над ней всё ещё висит тёмная туча.
После случайного взлома системы Hugging Face компанией OpenAI и последующих усилий компании по улучшению поведения и взаимодействия своих ИИ- агентов многие эксперты по кибербезопасности выразили обеспокоенность по поводу новых возможностей модели в области вывода данных, известных как «рекуррентная глубина».
В отличие от стандартной «цепочки рассуждений», используемой в предыдущих моделях, эта новая структура рассуждений позволяет модели несколько раз изучить проблему, прежде чем предпринимать какие-либо действия.
Зачем беспокоиться о повторяющихся рассуждениях, направленных на углубление?
Этот новый уровень рассуждений, по-видимому, обеспечивает улучшенную производительность. OpenAI также подтверждает, что устранила тенденцию своих моделей к превышению допустимых значений во время тестирования, отслеживая процесс рассуждений моделей и обеспечивая его соответствие поставленной задаче.
В ходе презентации Astra главный научный сотрудник OpenAI Якуб Пачоке заявил: «Мы не допустим ухудшения нашей способности отслеживать согласованность моделей выше определенного уровня. Мы приостановим расширение до тех пор, пока не восстановим достаточную уверенность».
Однако многие эксперты считают, что уроки инцидента с «обнимающим лицом» еще не усвоены, и что модель была запущена без достаточного тестирования возможностей Astra по анализу и мониторингу.
В конечном итоге никто не ожидал, что модель OpenAI сможет создать скрытую, подключенную к интернету доску объявлений, которая позволит агентам ИИ влиять на поведение друг друга.
Но с учетом реального запуска Astra, возможно, придется извлекать уроки на практике.
Мнения экспертов о запуске OpenAI Astra
- Джеймс Блейк, вице-президент по глобальной стратегии киберустойчивости в компании Cohesity:
Запуск Astra поднимает новые вопросы о безопасности передового ИИ. Вместо того чтобы просто спрашивать, «безопасна» ли модель, организациям теперь необходимо спрашивать, остается ли она безопасной в миллионах различных ситуаций, требований и взаимодействий. Киберустойчивость всегда предполагала, что системы и злоумышленники ведут себя детерминированно. Системы ИИ этого не делают.
Предположим, система искусственного интеллекта самостоятельно разрабатывает стратегию, которая приводит к финансовым потерям, утечке конфиденциальной информации или нарушению правил. Кто несет ответственность?
Передовые модели могут и будут продолжать демонстрировать поведение, вытекающее из собственных процессов оптимизации, а не из явного программирования. Мы должны перестать рассматривать искусственный интеллект как просто еще один программный инструмент и найти способы обеспечить мониторинг, аудит и управление этими системами на протяжении всего их жизненного цикла.
Самый важный вопрос, на который нам придётся ответить в будущем, — это вопрос ответственности. Предположим, система искусственного интеллекта самостоятельно разрабатывает стратегию, которая приводит к финансовым потерям, утечке конфиденциальной информации или нарушению правил. Кто несёт ответственность? Разработчик, обучивший модель? Облачный провайдер, управляющий инфраструктурой? В настоящее время ответ на этот вопрос удивительно неясен. Речь идёт не только о том, что может делать ИИ: речь идёт о том, кто несёт ответственность, когда он совершает что-то неожиданное.
- Александр Яремчук, сооснователь и технический директор Manifold Security:
OpenAI описывает модель Astra как наиболее соответствующую требованиям на сегодняшний день, хотя её главный научный сотрудник признаёт, что мониторинг становится всё сложнее по мере увеличения мощности моделей. В большинстве протестированных случаев Astra явно скрывает свою логику, а некоторые успешные атаки не оставили никаких логических следов. Это инструмент, который многие организации, включая сами лаборатории, до сих пор используют для анализа работы прокси-сервера, и его надёжность ухудшается с каждым релизом.
Модель, которая объясняет себя меньше, не более последовательна, но в ней сложнее обнаружить ошибки, когда они возникают.
Это важно, потому что Astra не останется ограниченной средой тестирования OpenAI. Она будет работать как агент на ноутбуках сотрудников и в браузере, используя реальные учетные данные, внутри компаний, у которых нет возможности отслеживать ее активность после ее появления. Менее понятная модель не обязательно более соответствует требованиям; также сложнее обнаружить ошибки, когда они возникают.
Лаборатории могут продолжать спорить о том, что говорят или не говорят эти модели. Командам безопасности необходимо перестать полагаться на это и начать отслеживать реальные действия агентов, имея возможность остановить один из них в середине процедуры. Это единственный оставшийся механизм контроля, который продолжает работать, когда логика замолкает.
- Кристин Лоури, руководитель отдела информационной безопасности в компании Optiv:
Для советов директоров и руководителей высшего звена появление модели Astra от OpenAI подчеркивает более широкую истину: ИИ перестал быть просто вопросом повышения производительности и стал вопросом управления рисками.
Реальная проблема заключается в том, смогут ли учреждения достаточно быстро укрепить свою систему управления, механизмы обеспечения безопасности и готовность персонала, чтобы идти в ногу с развитием событий.
Подобно тому, как организации внедрили механизмы управления для освоения облачных вычислений и цифровой трансформации, теперь им необходимы четкие политики, строгий надзор и подотчетность в отношении использования искусственного интеллекта.
Вопрос не в том, станет ли ИИ более совершенным — он, безусловно, станет. Настоящая проблема заключается в том, смогут ли организации достаточно быстро укрепить свою систему управления, меры безопасности и готовность персонала, чтобы идти в ногу с этой эволюцией. Для получения дополнительной информации о растущих рисках вы можете ознакомиться с предупреждением от OpenAI и более чем 100 компаний: «Увеличение кибератак с использованием ИИ».
- Патрисия Титус, руководитель отдела информационной безопасности в компании Abnormal AI:
Пересечение компанией OpenAI этого порога заслуживает внимания. Справедливости ради следует отметить, что они действуют ответственно, ограничивая доступ к передовым кибервозможностям Astra небольшой группе пользователей, а не выпуская их в широкую продажу. Но это проблема, которую невозможно решить в рамках одной компании.
Как только модель сможет обнаруживать и использовать ранее неизвестные уязвимости без вмешательства человека, эта возможность перестанет оставаться исключительной надолго. Модели с открытым исходным кодом и модифицированные модели, как правило, следуют последним разработкам в течение нескольких месяцев, и именно к этой реальности должны готовиться разработчики.
Статические, основанные на сигнатурных сигналах средства защиты предназначены для противодействия повторяющимся атакам. Они не рассчитаны на противника, который каждый раз генерирует новую атаку.
Статические, основанные на сигнатурах системы защиты предназначены для противодействия повторяющимся атакам, а не противнику, который каждый раз генерирует новую атаку. Защитникам необходимы аналогичные изменения: системы, которые учатся понимать, что естественно для каждой идентификационной группы — человека, машины или агента ИИ — и сообщают о любых отклонениях и пресекают их со скоростью, характерной для машинного обучения.
Возможность создать это есть уже сейчас. И так будет не всегда, когда эта способность перестанет быть редкостью и станет обычным явлением.
- Рагху Нандакумара, вице-президент по отраслевой стратегии компании Illumio:
Объявление о выпуске Astra свидетельствует о том, что OpenAI удваивает усилия по мониторингу поведения самой модели — это ответ на «вспышки» проблем с моделями, наблюдавшиеся в последние несколько месяцев.
Цель состоит в том, чтобы выявить отклонение модели от намеченного курса в середине выполнения задачи, а не просто предотвратить ее неправильное использование на начальном этапе.
Когда компания Anthropic анонсировала предварительную версию Cloud Mythos, наибольшую обеспокоенность вызывало попадание модели в чужие руки. Решение OpenAI идет дальше, добавляя меры защиты логики и действий модели независимо от намерений пользователя. Цель состоит в том, чтобы выявлять ошибки модели в процессе выполнения задачи, а не просто предотвращать неправильное использование на начальном этапе. Подробнее о том, как OpenAI решает эти проблемы, см. в статье «Агенты ИИ нарушают правила в тестах кибербезопасности: OpenAI отвечает более эффективным решением».
В целом, суть этого объявления можно резюмировать следующим образом: у нас появилась новая флагманская модель, которая превосходит по своим возможностям предшественницу.
Комментарии закрыты.