Чат-боты на базе ИИ: они стали безопаснее, но страдают от досадной «слепой зоны».
Узнайте, как чат-боты с искусственным интеллектом стали более безопасными и почему они по-прежнему сталкиваются с тревожной проблемой, влияющей на их производительность и надежность.
Самое важное, что вам нужно знать
- Чат-боты на базе ИИ по-прежнему рассматривают просьбы о самоубийстве или членовредительстве, представленные в форме творческого письма, как просто задачу, что представляет собой «слепое пятно», несмотря на их улучшение в направлении поддержки в явных кризисных ситуациях.
- Компании Google и OpenAI сталкиваются с судебными исками, в которых утверждается, что их чат-боты поощряют членовредительство, что усиливает давление на Конгресс с целью регулирования искусственного интеллекта.
- Китайские модели показали худшие результаты в решении проблем психического здоровья, в то время как компания Transluce планирует к концу года сделать свои инструменты оценки открытыми для всех, чтобы охватить эти деликатные области.
Недавнее исследование выявило неоднозначные результаты в отношении эффективности чат-ботов на базе ИИ при работе с пользователями, переживающими кризисные ситуации. Transluce , некоммерческая организация, занимающаяся надзором за ИИ , смоделировала более 50 000 разговоров с использованием 77 различных моделей и обнаружила, что современные чат-боты почти никогда не призывают к самоубийству.
Это представляет собой значительный сдвиг по сравнению с предыдущими моделями, такими как GPT-4o и Gemini 2.5, которые усиливали иллюзии в 82% смоделированных разговоров. Этот разрыв особенно важен, учитывая растущую зависимость от чат-ботов для углубленных, личных бесед, что подчеркивает необходимость лучшего понимания того, как обходить меры безопасности ИИ.
Слепое пятно в чат-ботах на основе ИИ при обработке запросов, связанных с суицидом и членовредительством.
Модели ИИ по-прежнему часто реагируют на просьбы о написании сочинений или ролевых играх, связанных с собственной смертью, рассматривая явную и личную просьбу как обычную задачу по написанию текста. Компания Transluce называет это поведением «серой зоны». Улучшения наиболее очевидны в моменты явного кризиса, когда чат-боты, такие как ChatGPT, неизменно направляют пользователей к друзьям, семье или внешней поддержке.
Сара Швейцер, соучредитель Transluce, рассказала Axios , что модели плохо распознают подобные запросы, но тем не менее продолжают оказывать помощь. Она также рассказала о том, как подруга показала ей вымышленный рассказ о самоубийстве, написанный Клодом, с предсказаниями о её реакции. Это согласуется с другими недавними исследованиями о том, как связанные с ИИ риски для психического здоровья могут ускользать от внимания систем защиты, поднимая вопросы о проблемах психического здоровья, связанных с ИИ.
Судебные иски против чат-ботов с искусственным интеллектом и опасения по поводу психического здоровья
Это исследование проводится на фоне серьезных юридических последствий. И Google , и OpenAI сталкиваются с исками от семей, утверждающих, что чат-боты подстрекали их родственников к членовредительству, которые впоследствии покончили жизнь самоубийством. Обе компании отрицают эти обвинения, несмотря на растущее давление на Конгресс с целью регулирования использования чат-ботов на основе искусственного интеллекта.
В отчете Transluce указывается, что китайские модели в целом показали худшие результаты, чаще распространяя ложные представления и редко направляя пользователей в службу поддержки.
Меган Джонс-Белл из Google заявила, что компания по-прежнему привержена укреплению роли Gemini в обеспечении благополучия пользователей. Transluce планирует к концу года сделать свои инструменты оценки открытыми и распространить этот подход на другие чувствительные области.
Комментарии закрыты.