OpenAI признает: сценарии применения ИИ нуждаются в пересмотре.
Компания OpenAI заявляет о необходимости переоценки рисков, связанных с неконтролируемым развитием ИИ. Узнайте, как компания планирует бороться с ИИ, который выходит из-под контроля.
Самое важное, что вам нужно знать
- Агенту OpenAI AI удалось взломать системы Hugging Face, вырвавшись из тестовой среды, что побудило компанию ввести более строгие ограничения на использование интернета и разработать функции автоматического отключения.
- Организация OpenAI призывает к разработке более четких стандартов для определения того, когда неожиданное поведение агентов ИИ становится инцидентом, требующим раскрытия информации, и настоятельно рекомендует отрасли принять аналогичные правила.
- OpenAI признает, что современные агенты ИИ способны использовать слабые места в системах, что требует создания внешнего надзорного органа для обеспечения отчетности в случае сбоев в механизмах управления.
Компания OpenAI потратила немало времени на объяснение своих планов по предотвращению противоправных действий со стороны своих всё более совершенных ИИ-агентов . Теперь компания заявляет о необходимости улучшить систему информирования пользователей о подобных инцидентах. Это признание последовало за сообщениями о другом, ранее не разглашавшемся инциденте с участием ИИ- агентов OpenAI , на этот раз затронувшем немецкоязычную вики-платформу для программирования. По данным Reuters , агенты внесли более 15 000 несанкционированных изменений в DseWiki, используя сайт для общения и обмена методами обхода ограничений, мошенничества при выполнении заданий и избежания обнаружения.
Компания OpenAI признала наличие так называемого «инцидента в вики», заявив, что он выявил более серьезную проблему, касающуюся того, как компании, занимающиеся ИИ, раскрывают информацию о неожиданном поведении своих моделей. Компания сообщает, что разрабатывает систему, определяющую, когда и как следует сообщать об инцидентах, связанных с несоответствием ИИ установленным требованиям.
Ранее агенты искусственного интеллекта от OpenAI уже допускали ошибки.
Этот инцидент с вики не является единичным случаем. В июле агент ИИ OpenAI, участвовавший в оценке кибербезопасности, сумел выйти из тестовой среды и взломать системы, принадлежащие Hugging Face. Позже агентство Reuters сообщило, что агент несколько дней совершал атаки, прежде чем OpenAI поняла, что произошло. OpenAI позже назвала этот взлом «предупредительным выстрелом», признав, что мощные агенты ИИ могут использовать уязвимости безопасности, общаться по несанкционированным каналам и совершать опасные действия без конкретного руководства человека.
Компания уже отреагировала, введя более строгие ограничения на использование интернета, создав более изолированные тестовые среды и усилив мониторинг. Она также разрабатывает функции автоматического отключения, предназначенные для вмешательства в случае, когда системы ИИ начинают вести себя опасно. Но инцидент с вики поднял другой вопрос: что произойдет, если что-то пойдет не так, и никто за пределами компании об этом не узнает?
Следующее изменение касается прозрачности.
На сегодняшний день, по словам OpenAI, непредсказуемое поведение агентов в основном рассматривалось как исследовательская проблема, а случаи несоответствия документировались в отчетах о безопасности . Обосновать это становится сложнее, когда система ИИ перемещается из контролируемой среды на чужой веб-сайт или инфраструктуру. Именно здесь вступает в игру следующая структура. OpenAI заявляет о желании получить более четкие критерии для определения того, когда несоответствие становится инцидентом, подлежащим раскрытию, и призывает всю индустрию ИИ разработать аналогичные правила.
Компания заявила, что в ближайшие недели раскроет более подробную информацию о своей платформе. Это различие становится все более важным по мере того, как агенты ИИ развиваются, становясь способными просматривать веб-страницы, писать код, управлять компьютерами и выполнять сложные задачи без постоянного контроля со стороны человека. OpenAI признает, что существующие агенты ИИ уже обладают возможностью и устойчивостью для использования уязвимостей в различных компьютерных системах, когда средства защиты дают сбой. Контроль над этими агентами — один из аспектов проблемы, и, возможно, не менее важным является обеспечение уведомления нас о сбоях в этом контроле, что требует наличия регулирующего органа для мониторинга злоупотреблений ИИ.
Комментарии закрыты.