Уязвимость в Google Gemini используется для превращения сводок электронных писем, созданных с помощью искусственного интеллекта, в инструмент фишинга.

В системе безопасности обнаружена серьезная уязвимость Google Gemini для рабочего пространства, которые злоумышленники могут использовать для внедрения вредоносного кода в электронные письма. Эти инструкции могут заставить инструмент ИИ вводить пользователей в заблуждение и перенаправлять их на Фишинговые сайты.

Согласно отчету Спящий компьютерЭта уязвимость основана на создании дайджестов электронных писем, которые выглядят совершенно нормально, но содержат скрытые вредоносные инструкции или предупреждения. Эти инструкции автоматически выполняются Gemini при формировании дайджеста сообщения.

Механизм атаки основан на внедрении невидимых директив Gemini в электронное письмо. Это достигается путём скрытия инструкций в конце текста сообщения с помощью кода HTML и CSS, установки размера шрифта на ноль и белого цвета. Поскольку этот дополнительный текст не содержит вложений или ссылок, он не будет обнаружен и не помечен даже лучшими антивирусами или почтовыми программами, что повышает вероятность попадания письма в почтовый ящик потенциальной жертвы.

Когда целевой пользователь открывает письмо и просит Gemini кратко изложить его содержимое, ИИ-программа автоматически выполняет обнаруженные скрытые инструкции. Пользователи часто доверяют способности Gemini обрабатывать контент в рамках Workspace, поэтому оповещение воспринимается как законное предупреждение, а не как вредоносная инъекция.

За последний год было зафиксировано несколько подобных атак, и, несмотря на некоторые превентивные меры, предпринимаемые для блокировки вводящих в заблуждение ответов, этот метод в целом остается успешным, что объясняет его дальнейшее использование.

Bleeping Computer сообщил, что когда они спросили Google о средствах защиты от подобных атак, представитель компании ответил, что Блог Что касается атак с внедрением кода, он пояснил, что некоторые превентивные меры уже приняты или будут приняты в ближайшее время. Google также подтвердила, что пока нет никаких свидетельств того, что эта атака действительно имела место.

Фигероа, руководитель программы вознаграждений за ошибки GenAI компании Mozilla, которая обнаружила эту уязвимость, предлагает несколько идей по предотвращению этой угрозы: специалисты по безопасности должны удалять, нейтрализовать или игнорировать контент, предназначенный для сокрытия в теле сообщения. В качестве альтернативы можно реализовать фильтры, которые будут сканировать Gemini на наличие срочных сообщений, URL-адресов и номеров телефонов, помечая их для дальнейшего изучения пользователями.

Пока что будьте осторожны, используя Gemini для краткого изложения электронных писем, ведь никогда не знаешь, что может скрываться внутри. Мы надеемся, что Google выпустит исправление для этого нового типа атак как можно скорее.