Я помню, когда это появилось. ChatGPT Впервые все начали говорить: «Роль писателей окончена». Люди начали предполагать, что новостные сайты, блоги и практически весь письменный контент в Интернете будут генерироваться ИИ, и хотя эти прогнозы казались мне чрезмерными, я был также впечатлен текстом, который мог бы генерировать GPT.
Разумеется, мне пришлось опробовать этот удивительный новый инструмент на себе, но вскоре я обнаружил, что результаты оказались не такими впечатляющими, как казалось. Прошло более двух лет, и, судя по моему опыту и вариантам использования, ничего не изменилось: всякий раз, когда я использую ChatGPT для написания текстов, он только замедляет меня и расстраивает. На самом деле я считаю, что использование таких инструментов, как ChatGPT, в профессиональной письменной речи часто приводит к некачественным результатам, особенно когда речь идет о точности и стиле.
Почему у меня не работает ChatGPT?
ChatGPT может генерировать действительно хороший контент. Он может воспроизводить естественный, связный и даже интеллектуальный и интересный язык. Но большинство ярких примеров, которые вы, как правило, видите, исходят из очень простых подсказок — типа «напишите стихотворение о покупках в Walmart, но в стиле Уильяма Шекспира», которое все делали в 2023 году. Однако при работе со сложными задачами или конкретными требованиями ChatGPT часто демонстрирует ограничения в понимании контекста и предоставлении точных и релевантных ответов. Этот недостаток делает его неэффективным в сценариях, требующих глубокого анализа или особого творчества.
Извините, я просто не могу относиться цинично к технологии, способной это осуществить. pic.twitter.com/yjlY72eZ0m
— Томас Х. Птачек (@tqbf) 2 декабря 2022
Когда вы заказываете что-то подобное, результат отчасти становится замечательным именно потому, что он неожиданный. По сути, вы просите его удивить вас, и в большинстве случаев ему это удастся.
С другой стороны, когда вы пытаетесь использовать ChatGPT для выполнения скучной старой письменной работы, это совсем другая история. Во-первых, для таких статей это бесполезно. Все, что я сейчас пишу, основано на моем собственном опыте и мнении — ИИ не может написать это за меня. Некоторые могут утверждать, что это может помочь вам в планировании, мозговом штурме или улучшении аргументов, но я никогда не нуждался в помощи в таких вещах.
Тип работы, для которой я на самом деле пробовал использовать ChatGPT, — это корпоративные блоги. Вы знаете этот тип — пояснительные, практические и рекомендательные посты, охватывающие темы, связанные с компанией и ее продукцией (с некоторой долей скрытой саморекламы). Когда вы пишете что-то подобное, вам часто предъявляют множество требований: руководство по стилю языка и грамматики, ключевые слова, которые нужно включить, источники, которые нужно включить, источники, которых нужно избегать, а также план содержания с уже определенными заголовками, структурой и основными моментами.
Если мне нужна пригодная для использования копия, я не могу просто предоставить GPT однострочное приглашение и позволить ему работать на свой страх и риск. Поэтому я попробовал такую структуру:
- Первоначальная «контекстная» подсказка, объясняющая, что я пишу и о чем я буду просить, а также пример абзаца, демонстрирующий желаемый мной стиль языка.
- Последующие подсказки с «кратким изложением содержания» содержали один или два заголовка вместе с маркированными пунктами о том, что следует осветить.
Я никогда не просил бы слишком многого сразу, и поскольку я не доверял ему добавлять статистику и источники, я оставлял все это с намерением сделать это самостоятельно позже.
Но как бы я ни старался разбить работу на небольшие части и дать предельно четкие инструкции, я всегда сталкивался с одними и теми же проблемами:
- ChatGPT ужасный Слушая инструкции.
- У него плохая привычка доводить всё до крайностей.
- В копию часто просачивается неверная или неактуальная информация.
- Его «стиль письма» очень быстро становится однообразным и банальным.
- При возникновении любой из вышеперечисленных проблем практически невозможно заставить большую языковую модель (LLM) успешно проверить или исправить ее выходные данные.
Позвольте мне объяснить, что я имею в виду.
1. Слабость ChatGPT в понимании подробных инструкций
При попытке получить точные и конкретные результаты от ChatGPT возникает необходимость дать четкие и подробные инструкции. Однако, похоже, чем больше требований, тем больше вероятность, что модель проигнорирует некоторые из них. Например, подсказки могут включать заголовки, маркированные списки, необходимое количество слов, инструкции по форматированию и необходимость чат-бота запомнить инструкции по стилю с самого начала сеанса. Я перепробовал много разных способов упростить ситуацию, но мне всегда казалось, что ChatGPT не справится с таким количеством инструкций.
В частности, у меня часто возникали трудности с подсчетом слов и маркированными списками. Большая языковая модель (LLM) редко выдавала мне запрошенное мной количество слов (обычно гораздо меньше запрошенного) и никогда не обращала внимания на то, нужны ли мне какие-либо точечные элементы.
Иногда это можно исправить — например, если вы запросили 200 слов с маркированным списком, а получили 300 слов без маркированного списка. Сравнительно легко вычеркнуть несколько слов и добавить несколько тезисов. К сожалению, мне всегда казалось, что именно мне доводилось допускать ошибки, которые труднее всего исправить.
Когда вы заказываете 500 слов без маркированных списков, а получаете 200 слов с маркированными списками, вам, по сути, приходится выполнять большую часть работы самостоятельно. Это требует обширного рефакторинга и значительных усилий, что снижает эффективность использования ChatGPT в этих случаях.
2. Склонность к преувеличению: проблема ChatGPT
Когда вы просите ChatGPT сделать что-то конкретное, например, использовать дружелюбный язык или второе лицо, он имеет тенденцию цепляться за эти концепции и заметно злоупотреблять ими. Это преувеличение считается одним из самых выдающихся Недостатки ChatGPT.
Дружелюбный язык превращается в полноценный текстовый чат с эмодзи, а режим второго лица каким-то образом превращается в вопросы и чрезмерные обращения к читателю с целью максимально частого использования местоимения «ты». Это один из Проблемы ChatGPT В понимании контекста.
У вас также возникнут трудности, если вам понадобится большое количество примеров или цитат. Если вы просто попросите GPT предоставить «много» или «много» чего-либо, он, скорее всего, даст вам вдвое или втрое больше желаемого количества. Если вы назовете ему конкретное число, он, скорее всего, его полностью проигнорирует и назовет вам что-то случайное. Другими словами, вы вряд ли сможете контролировать результат. Эта проблема в управлении выходом рассматривается Слабость ChatGPT Эту проблему необходимо решить.
3. В текст часто просачивается неверная или неактуальная информация.
Мы все знаем, что ИИ иногда «галлюцинирует» и случайно ошибается в фактах. Это случается настолько часто, что вам приходится дважды проверять все, что он говорит, а это отнимает много времени и влияет на количество времени, которое вы можете сэкономить с его помощью. «Галлюцинации ИИ» — одна из самых больших проблем, с которой приходится сталкиваться при его использовании в написании контента.
Чтобы бороться с этим, я изначально не просил фактов или цифр. Сначала я пробовал несколько раз, но процесс проверки фактов оказался настолько утомительным, что вскоре мне стало все равно.
Проблема в том, что GPT будет добавлять в свои ответы случайную неточную информацию независимо от того, запрашиваете ли вы факты и цифры или нет. Это означает, что вы не можете просто проверить, насколько хорошо читается текст или довольны ли вы тем, что пытаетесь донести, — вы должны проверять и обдумывать все, что говорите. Это очень раздражает. Валидация является основополагающей частью процесса использования больших языковых моделей (LLM).
Поскольку я говорю об ошибках и галлюцинациях, я мог бы также упомянуть «худшие сценарии». Иногда большая языковая модель (LLM) сбивается с пути, и хотя это случается не всегда, если это происходит, вам приходится прерывать сеанс и тратить время на вставку своих подсказок в новый чат, а затем начинать все сначала. Я лично не видел, чтобы ChatGPT сходил с ума каким-то особенно забавным образом, но мой друг однажды получил вот такую прелесть:
4. Стиль письма ChatGPT: повторяющийся и быстро превращающийся в клише
На первый взгляд может показаться странным, насколько «человечным» звучит ChatGPT. Но по мере того, как вы будете использовать его все больше и больше, вы поймете, что он не просто выглядит как человек, он выглядит как «нормальный человек».
Наборы данных OpenAI включают большую часть интернет-контента — миллионы статей и персональных форумов на Reddit. Мне жаль это говорить, но большая часть этого контента — просто мусор. Но поскольку ChatGPT обучен на этом, он выявляет все наиболее распространенные вредные привычки.
Итак, когда вы генерируете большой объем текста с помощью ChatGPT, вы начнете замечать, что некоторые структуры предложений и фразы становятся очень повторяющимися. Для меня двумя худшими примерами были следующие две структуры предложений:
- «От А и В до С и D и т. д. и т. п.» (пример: В мире TikTok найдется место для каждого — от любителей DIY и экспертов по красоте до любителей домашних животных и учителей.)
- «Неважно, А вы или Б и т. д. и т. п.» (пример: Независимо от того, только ли вы начинаете или хотите выйти на новый уровень, использование разумных стратегий для создания реальной вовлеченности является ключом к тому, чтобы выделиться.)
ChatGPT так любит эти две структуры предложений, что я был почти уверен, что в каждом сеансе услышу три или четыре из них. Даже эти два примера взяты из одного и того же абзаца в одном из его ответов. Фраза «в мире…» в первом примере — это еще один из его любимых способов начать предложение. Все это скучно, банально и нелепо избито (что, конечно, является главной причиной того, что ChatGPT создает их так часто). Я даже пытался явно запретить определенные фразы и типы предложений, начиная каждую подсказку с этого небольшого списка:
Говорят, что в наши дни практически невозможно отличить текст, созданный искусственным интеллектом, от текста, написанного человеком, но я с этим не согласен. Если вы попробуете использовать эти инструменты искусственного интеллекта самостоятельно и испытаете все проблемы и вредные привычки, вы заметите множество характерных признаков. Когда люди смешивают контент ИИ с написанным человеком материалом и значительно редактируют большую часть вывода ChatGPT, вы можете полностью это скрыть. Но контент, который пришел непосредственно из языковой модели и был опубликован практически как есть, — это видно. Вы можете это довольно легко выяснить.
5. Сложность успешной отладки или изменения выходных данных больших языковых моделей (LLM).
Настоящая проблема в том, что ChatGPT редко способен самостоятельно устранять неполадки. Когда что-то идет не так, попытки объяснить проблему и запросить повторную проверку часто оказываются безуспешными.
Например, когда просят изменить количество слов, часто получается то же самое число. Когда просят убрать точки, подчёркивается необходимость изменения, а затем ставится знак «плюс». Когда просят изменить тон или стиль, сложно реализовать изменение комплексно, что приводит к несогласованности.
Решением может быть повторение подсказок и повторная генерация ответов ChatGPT до тех пор, пока не будет достигнут желаемый результат. Однако писателям использование ChatGPT вынуждает брать на себя роль редактора.
Это может быть проблемой не для всех (многие авторы занимаются редактированием в рамках своей работы), но других это беспокоит. Идея редактирования чужой работы или вывода GPT нежелательна.
Что касается частоты ошибок, то в каждом сеансе, который длится несколько часов и содержит более 30 подсказок, всегда существует вероятность столкнуться с каким-либо препятствием.
Результат: я сдался.
В 2023 году я потратил несколько месяцев, пытаясь научиться пользоваться ChatGPT, и вернулся к нему после крупных обновлений в течение следующих двух лет, но мои впечатления так и не изменились. Были опробованы и другие большие языковые модели (LLM), но даже более новые модели, которые используют «вывод» и запускают внутренний монолог перед ответом, по-прежнему страдают от тех же проблем с удобством использования.
Текущие модели LLM Это не ускоряет процесс написания — все, что я делаю, — это заставляет меня тратить время на то, что я ненавижу, вместо того, чтобы уделять его тому, что мне нравится. Если вы ненавидите печатать и не хотите этого делать, ChatGPT определенно может вам помочь. Но если писательство для вас хобби или способ заработка, то оно, скорее всего, сведет вас с ума.
В конечном счете, я никогда не публиковал ничего, что можно было бы назвать «сгенерированным ИИ». Каждый раз, когда я пытался, как говорится, «интегрировать это в свой рабочий процесс», я в конечном итоге бился головой о стену, терял кучу времени, а затем закрывал программу, когда понимал, что ничего не сделал, а дедлайн уже не за горами.
Комментарии закрыты.