Новое исследование показывает, почему ChatGPT продолжает фальсифицировать информацию.

Однажды я обменивался идеями с ChatGPT Внезапно он начал рассказывать длинную выдуманную историю, не имевшую никакого отношения к моим подсказкам. Это было настолько нелепо, что я рассмеялся. В последнее время я редко встречал подобные ошибки в текстовых подсказках, но всё ещё довольно регулярно сталкиваюсь с ними при генерации изображений.

Почему чат-боты продолжают гадать, когда им это не положено?

Исследования показывают, что причиной этих галлюцинаций является структурная проблема; корень проблемы кроется в стандартах и ​​таблицах лидеров, которые оценивают модели ИИ и поощряют уверенные ответы.

Другими словами, когда чат-бот отвечает «Я не знаю», он получает штрафные баллы в тесте. Это означает, что модели активно поощряются всегда давать ответ, даже если они не уверены в его правильности.

На практике это приводит к тому, что ваш умный помощник с большей вероятностью будет угадывать, а не признавать неопределённость. Для простых повседневных запросов это может быть безвредно. Но в более деликатных ситуациях, от медицинских вопросов до финансовых консультаций, эти ошибки, вызванные уверенностью, могут быстро обернуться реальными рисками.

Как опытный пользователь, я всегда проверяю факты и спрашиваю чат-бота об источнике. Иногда, если информация кажется неправдоподобной, и я спрашиваю об источнике, чат-бот отвечает что-то вроде: «Верно подмечено!» или что-то подобное, не признавая своей ошибки.

Более новые модели не застрахованы от этого.

Интересно, что в исследовании OpenAI было обнаружено, что модели, ориентированные на вывод, такие как o3 и o4-mini, на самом деле галлюцинируют чаще, чем некоторые старые модели. Почему? Потому что они, как правило, делают больше заявлений, а значит, и больше возможностей для ошибок.

Таким образом, то, что модель «умнее» в выводах, не обязательно делает ее более правдивой в отношении того, чего она не знает.

Как решить эту проблему?

Исследователи считают, что решение кроется в изменении способа оценки и измерения ИИ. Вместо того, чтобы наказывать модели за слова «я не уверен», более качественные тесты должны поощрять выверенные ответы, указания на неопределенность или возможность ссылаться на другие источники.

Это может означать, что ваш будущий чат-бот будет более уклончивым в своих ответах, меньше полагаясь на подход «Вот ответ» и больше на подход «Я так думаю, но не уверен». Это может показаться медленнее, но может значительно снизить количество опасных ошибок. Это доказывает, что критическое мышление с нашей стороны по-прежнему важно.

Насколько это важно для вас?

Если вы пользуетесь популярными чат-ботами, такими как ChatGPT, Gemini, Claude или Grok, вы, вероятно, уже сталкивались с «галлюцинациями». Это исследование показывает, что дело не столько в самой модели, сколько в способе её тестирования — своего рода азартной игре, где нужно проверить, кто из них окажется прав в большинстве случаев.

Для пользователей это означает, что нам следует быть осторожными и рассматривать ответы ИИ как первое предложение, а не как окончательное решение. Для разработчиков это знак того, что пришло время переосмыслить методы оценки успеха, чтобы будущие ИИ-помощники могли распознавать то, чего они не знают, а не совершать критические ошибки.