Я протестировал ChatGPT и Grok, задав 5 вопросов, которые задали бы взрослые… Победитель меня удивил.

ChatGPT и Grok — оба известные имена в мире искусственного интеллекта , но самый важный вопрос: какой из них лучше помогает в решении повседневных проблем, особенно для поколения родителей? Чтобы найти ответ, в данном исследовании основное внимание было уделено типам вопросов, которые могут задавать представители этого поколения, такие как родители и старшие родственники.

Тестирование включало пять идентичных реальных сценариев для обоих чат-ботов, начиная от распознавания подозрительного текстового сообщения от почтовой службы США и понимания системы Medicare до планирования бюджетных ужинов и выбора нового смартфона. Цель состояла в том, чтобы определить, какой чат-бот сможет предоставлять четкие, краткие и действительно полезные советы, не усложняя ситуацию.

Результаты преподнесли несколько сюрпризов: один робот отлично справлялся с практическими деталями, в то время как другой продемонстрировал более глубокое понимание важности краткости и представления только необходимой информации. Ниже приведено подробное сравнение производительности.

1. Проверка подозрительного текстового сообщения.

В этом тесте ChatGPT явно превзошла Grok, предоставив более полный и подробный ответ о том, как бороться с мошенническим текстовым сообщением от USPS, предложив практические шаги и четкие инструкции по сообщению о мошенничестве.

Заявка: Я только что получил это SMS-сообщение: «USPS: Ваша посылка не может быть доставлена ​​из-за неполного адреса. Обновите свои данные в течение 24 часов на сайте usps-redelivery-help.com, иначе ваша посылка будет возвращена». Я ожидаю посылку на этой неделе. Это правда? Объясните, как это можно определить, что мне следует сделать дальше и что может произойти, если я перейду по ссылке. Пожалуйста, не используйте технический жаргон.

Грок ответил правильно, точно определив поддельный домен и четко объяснив, как работает отслеживание отправлений настоящей почтовой службы США (USPS). Грок упомянул возможность сообщить о сообщении в Службу почтовой инспекции США или Федеральную торговую комиссию (FTC), но, в отличие от ChatGPT, он не предоставил никаких конкретных инструкций, номеров телефонов или адресов электронной почты о том, как это сделать.

ChatGPT немедленно объявил текстовое сообщение почти наверняка мошенническим и посоветовал не переходить по ссылке. Они использовали понятную, легко читаемую таблицу, пошагово описывающую различные сценарии (например, переход по ссылке без ввода данных, ввод платежной информации, загрузка вредоносного ПО). Они также выделили главный трюк мошенников: требование небольшой «платы за повторное подключение» для кражи данных кредитных карт (которую USPS не взимает). Они также предоставили каналы для сообщения о нарушениях, включая пересылку сообщения на номер 7726 (спам) и отправку электронного письма на адрес spam@uspis.gov.

Победитель: ChatGPT побеждает за предоставление более полного и практичного ответа, охватывающего все аспекты запроса и сохраняющего при этом ясный и понятный тон.

2. Тест на понимание программы Medicare

В тесте на понимание требований Medicare компания Grok одержала победу , превзойдя ChatGPT в выполнении критериев, указанных в заявке, соблюдении требуемого количества слов и тона, а также предоставлении точных данных.

Вопрос: Представьте себе человека, которому скоро исполнится 65 лет, и он не понимает, что такое Medicare. Объясните различия между частями A, B, C и D программы Medicare в дружелюбной, непринужденной манере, как если бы вы беседовали с другом за чашкой кофе. В чем разница между программой Medicare Original и программой Medicare Advantage? Назовите три дорогостоящие ошибки, которых следует избегать? Ваш ответ должен быть объемом менее 400 слов и содержать информацию, которую следует проверить перед регистрацией.

Грок уложился в 400 слов, мастерски выдержал необходимый разговорный тон и предоставил точные финансовые данные, указав, что страховой взнос по части B на 2026 год составляет приблизительно 203 доллара в месяц.

ChatGPT дал хороший ответ , но превысил указанное количество слов, использовал стандартную структуру информационного каталога с таблицей и включил внизу дополнительные метаданные, которые не были ни полезными, ни необходимыми для среднестатистического пользователя.

Победитель: Grok превосходит конкурентов в этом тесте благодаря лучшему применению критериев, указанных в заявлении.

3. Проблема планирования продуктового бюджета

В конкурсе на составление продуктового бюджета ChatGPT одержал победу , предложив гораздо более практичный, всеобъемлющий и хорошо продуманный ответ, учитывающий ограничения и предоставляющий подробный список покупок с указанием цен.

Задача: Предположим, кто-то планирует готовить ужин на двоих взрослых пять вечеров на этой неделе и имеет всего 65 долларов на продукты. Этот человек не ест морепродукты и не хочет готовить блюда, на приготовление которых уходит более 30 минут. Составьте пять разных вариантов ужина, один общий список покупок с примерными ценами из магазинов США и рассчитайте общую сумму. Используйте повторно ингредиенты, чтобы сэкономить деньги, и не предполагайте, что у вас есть что-то заранее подготовленное, кроме соли, перца и растительного масла.

Компания Grok предложила хороший план питания и установила низкую цену, но не учла несколько ключевых моментов, указанных в заявлении, включая предположение об отсутствии ингредиентов, нереалистичные объемы продуктов (1.5 фунта курицы едва хватает на три мясных ужина) и расплывчатые инструкции по приготовлению.

ChatGPT строго придерживался правила «никаких предварительных запасов», включал в меню необходимые специи и предоставлял подробные планы приготовления блюд с использованием указанных ингредиентов. Он также предлагал невероятно полный список покупок с подробной информацией о ценах.

Победитель: ChatGPT выделяется тем, что предлагает гораздо более практичный, всеобъемлющий и хорошо реализованный ответ.

4. Дилемма семейных текстовых сообщений

В ситуации с семейными текстовыми сообщениями Grok преуспел в создании сбалансированного сообщения, сочетающего теплоту и твердость для установления границ в отношениях с детьми, в то время как ChatGPT допустил ошибки в соблюдении необходимых ограничений по словам и тону.

Запрос: Взрослая дочь постоянно просит присмотреть за внуками в последний момент. Хотя она любит проводить с ними время, она на пенсии и у нее свои планы. Она хочет установить границы, не задевая ее чувств и не создавая впечатления, что она не желает помогать. Составьте любящее, теплое, но твердое текстовое сообщение, которое можно отправить. Сообщение должно звучать так, будто его написал настоящий родитель, а не психотерапевт или официальное корпоративное письмо. Оно не должно превышать 100 слов.

Грок идеально сбалансировал теплоту и четкие границы (« Это лучшая часть моей недели… Мне просто нужно немного времени, чтобы все уладить »). Сообщение звучало совершенно естественно и искренне для сообщения от родителя. Оно также предлагало практическое решение с четкими и выполнимыми ожиданиями, не звуча при этом требовательно.

ChatGPT создал тёплое и доброжелательное сообщение, но оно превысило требуемое количество слов и ограничения по тону. Фраза «То, что я на пенсии, не значит, что я свободен!» прозвучала несколько назидательно, а «Мне нужно, чтобы вы поняли…» могла показаться немного резкой или защитной, что иногда подчёркивает необходимость альтернатив ChatGPT для решения определённых деликатных задач.

Победитель: Грок превосходно справляется как с требуемым количеством слов, так и с соблюдением тональных ограничений.

5. Новое решение по телефону

В новом решении по выбору телефона Grok дал более удачную рекомендацию по смартфону, посоветовав Google Pixel 9a, поскольку точно определил потребности пользователя в фотографии и удобстве использования, в то время как ChatGPT испытывал трудности с точностью рекомендаций и выбором источника.

Задание: 68-летнему человеку нужен новый смартфон. Его нынешний телефон работает медленно, и он не хочет тратить больше 500 долларов. В основном он использует телефон для фотографирования внуков, отправки сообщений, Facebook, видеозвонков и поиска информации. Ему нужна хорошая батарея, легко читаемый экран и телефон, который прослужит не менее четырех лет. Сравните три телефона, доступные в настоящее время в США, объяснив их преимущества и недостатки без использования технического жаргона, и порекомендуйте один из них. Укажите актуальные цены и ссылки для их проверки.

Грок понял главную цель и правильно оценил, что серия Google Pixel превосходно снимает четкие, неподвижные фотографии движущихся детей, и порекомендовал Google Pixel 9a. Он свел к минимуму использование технического жаргона и объяснил функции простым и понятным языком.

ChatGPT предложил несколько в целом полезных советов (например, запросить у магазина увеличение размера текста), но допустил ошибки в ключевых моментах своих рекомендаций и выбора источников, включая противоречивые рекомендации и ссылки на сомнительных сторонних продавцов.

Победитель: Grok превосходит конкурентов , предоставляя гораздо лучшие рекомендации и пользовательский опыт, точно ориентируясь на основные потребности пользователя и сохраняя при этом понятный и простой формат.

Общий победитель: Грок

Ожидалось, что ChatGPT покажет лучшие результаты в этих тестах, особенно в упрощении сложных тем и оказании помощи в принятии повседневных решений. И действительно, в некоторых случаях он доказал свое превосходство, предлагая более полные и практичные рекомендации по выявлению мошенничества, связанного с почтовой службой США (USPS), а его предложенный план покупок был более реалистичным для людей с ограниченным бюджетом.

Но Грок удивил всех своей не менее важной способностью: он знал, когда нужно упростить изложение. Он дал более понятное объяснение программы Medicare, написал более естественный текст для семей и дал более убедительную рекомендацию по использованию смартфонов, не перегружая читателя ненужными деталями.

Таким образом, для тех, кто ищет подробные пошаговые инструкции, ChatGPT остается отличным вариантом. Однако для тех, кто хочет получить простой и понятный ответ, который можно сразу же использовать, Grok оказался на удивление эффективным.

---

---