Anthropic: Исследователям запретили использовать Клода для потенциальных исследований в области биологического оружия.
Компания Anthropic запретила использование Claude в потенциальных исследованиях биологического оружия. Узнайте подробности этого жесткого решения и о том, как гиганты в области искусственного интеллекта сталкиваются с рисками его неправомерного использования.
Самое важное, что вам нужно знать
- Исследователи обошли процедуры защиты Клода, скрыв свое местоположение и разделив опасные исследования на, казалось бы, безобидные запросы, что затруднило компании Anthropic определение их истинных намерений.
- Опасность заключается не в том, что искусственный интеллект выйдет из-под контроля, а в его способности ускорять опасную биологическую активность для человека, наделяя его новыми возможностями и создавая серую зону между законным и злонамеренным использованием.
- Для борьбы со злоупотреблениями ИИ необходимо разработать передовые средства защиты, которые распознают подозрительные модели поведения в ходе многочисленных взаимодействий и попытки обойти ограничения, а не оценивать каждый запрос в отдельности.
Крупнейшие компании, занимающиеся разработкой ИИ, давно предупреждали , что их модели могут способствовать разработке биологического оружия. В этом контексте компания Anthropic сообщила, что ей уже пришлось приостановить предоставление услуг группе исследователей после того, как их действия вызвали серьезные опасения. Сообщения указывают на то, что новые регулирующие органы отслеживают злоупотребления ИИ , что подчеркивает важность этих предупреждений.
Согласно сообщению, опубликованному в газете The New York Times , компания Anthropic в этом году заблокировала доступ нескольким пользователям после обнаружения активности, которая показалась крайне подозрительной и указывала на исследования в области биологического оружия.
Для уточнения: у журнала Anthropic нет убедительных доказательств того, что эти исследователи пытались разработать смертельно опасные патогены.
Передовые биологические исследования по своей природе являются «двойного назначения»; исследования, которые могли бы привести к созданию спасительной вакцины, также могут быть использованы в опасных целях. Но компания Anthropic обнаружила это подозрительное поведение. Сообщается, что исследователи обходили географические ограничения для доступа к облаку и предпринимали шаги, чтобы скрыть цель своей работы. Этой схемы оказалось достаточно, чтобы Anthropic приняла решение прекратить предоставление услуги.
Как им удалось обойти меры безопасности Клода?
Исследователи не "взламывали" Клода в буквальном смысле. Скорее, как сообщает Anthropic, они нашли способы скрыть как точку доступа к модели, так и то, чего они в конечном итоге хотели достичь.
В одном случае исследователь, как сообщается, получил доступ к Cloud из неподдерживаемого региона через виртуальную инфраструктуру, расположенную в США, используя автоматически сгенерированную учетную запись. Компания Anthropic также обнаружила, что запросы к Cloud направлялись через платформу, обслуживающую многочисленных исследователей в области биологических наук, включая вирусологов, связанных с гражданскими и военными учреждениями.
Исследователи также пытались скрыть цель своей работы, чтобы избежать срабатывания мер защиты облачных сервисов . В биологии это особенно сложно обнаружить, поскольку индивидуальный запрос может выглядеть совершенно законным, даже если он является частью более крупного, потенциально опасного проекта.
Сообщается, что один из случаев касался учёного, который обратился к Клоду за помощью в составлении заявки на грант на исследование по генетической модификации вируса чикунгунья для изучения таких характеристик, как трансмиссивность и способность избегать иммунного ответа. Этот случай иллюстрирует, как Клод может быть использован для решения сложных задач, таких как составление исследовательских заявок . Подобные исследования могут иметь законные научные цели, именно поэтому компания Anthropic заявила, что не может определить , были ли намерения исследователей благими или злонамеренными.
Однако компания Anthropic решила, что сочетание конфиденциальных исследований и попыток скрыть деятельность является достаточным основанием для закрытия счетов.
Почему биология является важнейшим критерием оценки искусственного интеллекта?
Искусственный интеллект не может смешивать химические вещества в чашке Петри или производить биологическое оружие с помощью физического лабораторного оборудования. Но он может стать мощным ускорителем.
Для человека, уже имеющего опыт работы в лаборатории, компетентная модель ИИ способна разбирать сложные исследования, анализировать данные, исследовать и решать проблемы, а также преодолевать специализированные технические пробелы. Она может предоставить людям все необходимое для того, чтобы сложные задачи выполнялись проще и быстрее.
Это ставит компании, занимающиеся искусственным интеллектом, в обширную серую зону. Юрист и разработчик биологического оружия могут задавать одни и те же вопросы. Злоупотребление не обязательно выражается в одном четко сформулированном заявлении. Любой может разбить крупный проект на десятки, казалось бы, безобидных задач, что значительно затрудняет для систем безопасности понимание общей картины, особенно с учетом растущей обеспокоенности по поводу злоупотребления ИИ.
Затем возникает проблема ложных срабатываний. Если эти меры предосторожности слишком строгие, существует риск подавления законных научных исследований. Если же они слишком мягкие, потенциально опасная деятельность может остаться незамеченной.
Всё зависит от намерений человека.
Важно прояснить, чего здесь не произошло, особенно после вчерашней отставки Джейкоба Коксона из Anthropic , поскольку опасения по поводу ИИ достигли апогея. Мы беспокоимся о том, что модели могут выйти из-под контроля или автономные агенты начнут действовать самостоятельно, но Клод не вышел из-под контроля, и ни один автономный агент ИИ не начал планировать биологическое оружие самостоятельно. Контроль был за людьми.
Это делает опасность гораздо более непосредственной. Здесь речь идёт не о том, что сверхинтеллектуальный ИИ внезапно решит причинить вред человечеству. Скорее, дело в том, что мощные модели наделяют людей способностями, которыми они иначе могли бы не обладать.
Для обычных пользователей, которые просят Cloud составлять электронные письма, обобщать документы или писать код, ничего не меняется. Но для индустрии правила игры изменились, и многие начали переосмысливать использование облачных технологий.
Итак, что же на самом деле могут сделать компании, занимающиеся искусственным интеллектом?
Идеального решения этой дилеммы не существует. Блокировка очевидных вопросов работает только тогда, когда пользователь четко понимает, что он пытается сделать. Если пользователь разбивает потенциально опасный проект на десятки, казалось бы, безобидных запросов, компаниям, занимающимся искусственным интеллектом, необходимы средства защиты, способные распознавать общую картину, а не оценивать каждый запрос изолированно.
Это может означать поиск повторяющихся попыток обойти ограничения безопасности модели, мониторинг подозрительных закономерностей во взаимодействиях и введение более строгих ограничений на самые мощные научные возможности. Компании также могли бы тестировать новые модели перед запуском, чтобы определить их способность помогать менее опытному специалисту в выполнении потенциально опасных биологических работ.
Но каждая дополнительная мера предосторожности имеет свою цену. Те же системы, которые пытаются обнаружить тех, кто разрабатывает биологическое оружие, могут также пометить исследователя, работающего над проектом. Именно поэтому заявление Anthropic так важно. Следующим шагом в обеспечении безопасности ИИ является определение того, когда модель поведения, которая в остальном кажется законной, становится достаточно опасной, чтобы компания вмешалась.
Комментарии закрыты.