Модель Google Gemini используется во вредоносных целях: возможность взлома и управления системами умного дома

Раньше утечки данных попадали в заголовки новостей, но сейчас они стали настолько обыденным явлением, что большинство людей уже не удивляются. Такие новости привлекают внимание только тогда, когда речь идёт о крупной компании и затрагивает миллионы людей, как это было в случае с утечкой данных в T-Mobile, которая затронула 64 миллиона клиентов . Поскольку существует множество способов компрометации ваших данных, почти каждый вид цифровых услуг или продуктов имеет средства защиты, предотвращающие это.

Конечно, эти продукты не идеальны, и всегда есть способы осуществить вредоносные атаки, если злоумышленник достаточно умен. С появлением больших языковых моделей (LLM), таких как Gemini от Google, всегда существует потенциал использования этих инструментов ИИ в злонамеренных целях. Хотя пока не было никаких серьезных сообщений на эту тему, Wired осветил исследовательский проект , в котором Gemini используется для доступа к вашей жизни способами, которые вы бы и не могли себе представить. Это исследование демонстрирует, как Gemini может быть использован для управления различными аспектами вашей цифровой жизни, включая потенциально умные устройства в вашем доме, что вызывает опасения по поводу безопасности и конфиденциальности в эпоху искусственного интеллекта.

Этот тип атак может стать более опасным.

Бен Наси, Став Коэн и Ор Яир из Тель-Авивского университета представили свой проект « Приглашение — это все, что вам нужно », который использует Gemini для доступа и управления умным домом. Интересный аспект заключается в том, что атака осуществляется не изнутри самого дома, а с помощью другого, не связанного с ним продукта Google, который инициирует процесс.

Проще говоря, нежелательная процедура запускается, когда пользователь взаимодействует с Gemini, используя определенную подсказку. Хитрость в том, что она скрыта и невидима для пользователя. Исследовательская группа подробно объясняет, как это работает , раскрывая, что «программа-подсказка» использует большую языковую модель (LLM) для выполнения вредоносных действий.

Используя «кратковременное отравление контекста» и «долговременное отравление памяти», исследователи обнаружили, что могут заставить Gemini выполнять действия, изначально не предусмотренные в подсказке. Это может привести к удалению событий из различных приложений Google, открытию вызова в Zoom, предоставлению местоположения пользователя, управлению устройствами умного дома и многому другому. Этот тип атаки, известный как «косвенное внедрение подсказки», использует уязвимости во взаимодействии больших языковых моделей с внешними данными.

Исследовательская группа также демонстрирует, как всё это работает, с помощью потрясающих обучающих видеороликов. Это простой и эффективный способ разрушить чью-то жизнь без его ведома. Люди больше склонны к традиционным методам взлома, а значит, подобное может оказаться крайне неожиданным.

К счастью, исследовательская группа сообщила об этих проблемах Google в феврале и также встретилась с командой, чтобы исправить их. Google сообщает, что «развернула многоуровневую защиту, включая: улучшенные подтверждения пользователей для конфиденциальных действий; надежную обработку URL-адресов с помощью политик очистки и уровня доверия; а также расширенное обнаружение внедрения заявок с помощью классификаторов контента».

В проекте рассматриваются «теоретические методы косвенного введения утверждений, влияющие на работу помощников, работающих на основе больших языковых моделей», которые могут стать более распространёнными в ближайшем будущем по мере развития инструментов ИИ. Эта проблема также находится на начальной стадии развития и требует более тщательного мониторинга, чтобы предотвратить более серьёзный ущерб в будущем. Поскольку мы всё больше полагаемся на ИИ в повседневной жизни, понимание и минимизация этих потенциальных рисков становятся критически важными.

Если вас интересуют уязвимости в системе безопасности, вы всегда можете отправить свои находки в Google через программу Bug Hunters. Существует множество способов внести свой вклад, поскольку искусственный интеллект — лишь малая часть того, что в настоящее время отслеживается. Если речь идёт о чём-то более серьёзном, Google также предлагает вознаграждение за вашу работу, что делает ваши усилия ещё более ценными.