Модель Google Gemini используется во вредоносных целях: возможность взлома и управления системами умного дома

Раньше новости о хакерских атаках попадали в заголовки газет, но теперь это стало настолько обыденным, что уже не удивляет большинство людей. Только когда это касается крупной компании и затрагивает миллионы людей, это привлекает внимание, как это случилось в… Взлом T-Mobile затронул 64 миллиона клиентовПоскольку существует множество способов компрометации ваших данных, практически каждый тип цифровой услуги или продукта имеет меры защиты, предотвращающие это.

Конечно, эти продукты не идеальны, и всегда найдутся способы провести вредоносную атаку, если злоумышленник достаточно умен. С появлением больших языковых моделей (LLM), таких как Gemini от Google, всегда существует вероятность, что эти инструменты ИИ могут быть использованы во вредоносных целях. Хотя мы пока не видели серьёзных сообщений о подобных случаях, они есть. Wired осветил исследовательский проект Gemini используется для доступа к вашей жизни способами, которые вы даже не могли себе представить. Это исследование демонстрирует, как Gemini может быть использован для контроля различных аспектов вашей цифровой жизни, включая, возможно, и умные устройства в вашем доме, что вызывает опасения по поводу безопасности и конфиденциальности в эпоху искусственного интеллекта.

Этот тип атак может стать более опасным.

Бен Насси, Став Коэн и Ор Яир из Тель-Авивского университета представили свой проект:Приглашение — это все, что вам нужно«Которая использует Gemini для доступа к умному дому и управления им. Интересно то, что атака начинается не внутри дома, а использует другой, не связанный с ним продукт Google для запуска процесса.

Проще говоря, когда пользователь использует Gemini с определённым запросом, происходит нежелательное действие. Самое интересное, что оно скрыто, и пользователь его не видит. Он объясняет: Исследовательская группа подробно рассказывает, как это работает., где «promptware» использует большую языковую модель (LLM) для выполнения вредоносных действий.

Используя «кратковременное отравление контекста» и «долговременное отравление памяти», исследователи обнаружили, что могут заставить Gemini выполнять действия, изначально не предусмотренные в подсказке. Это может привести к удалению событий из различных приложений Google, открытию вызова в Zoom, предоставлению местоположения пользователя, управлению устройствами умного дома и многому другому. Этот тип атаки, известный как «косвенное внедрение подсказки», использует уязвимости во взаимодействии больших языковых моделей с внешними данными.

Исследовательская группа также демонстрирует, как всё это работает, с помощью потрясающих обучающих видеороликов. Это простой и эффективный способ разрушить чью-то жизнь без его ведома. Люди больше склонны к традиционным методам взлома, а значит, подобное может оказаться крайне неожиданным.

К счастью, исследовательская группа сообщила об этих проблемах Google в феврале и также встретилась с командой, чтобы исправить их. Google сообщает, что «развернула многоуровневую защиту, включая: улучшенные подтверждения пользователей для конфиденциальных действий; надежную обработку URL-адресов с помощью политик очистки и уровня доверия; а также расширенное обнаружение внедрения заявок с помощью классификаторов контента».

В проекте рассматриваются «теоретические методы косвенного введения утверждений, влияющие на работу помощников, работающих на основе больших языковых моделей», которые могут стать более распространёнными в ближайшем будущем по мере развития инструментов ИИ. Эта проблема также находится на начальной стадии развития и требует более тщательного мониторинга, чтобы предотвратить более серьёзный ущерб в будущем. Поскольку мы всё больше полагаемся на ИИ в повседневной жизни, понимание и минимизация этих потенциальных рисков становятся критически важными.

Если вы интересуетесь уязвимостями безопасности, вы всегда можете Отправьте то, что вы нашли, в Google Благодаря программе Bug Hunters существует множество способов внести свой вклад, поскольку ИИ — лишь малая часть того, что сейчас отслеживается. Если же проблема более серьёзная, Google также предлагает вознаграждение за вашу работу, что делает её ещё более ценной.