Внедрение искусственного интеллекта в организациях: что показывают данные об использовании.

Многие публичные дискуссии об искусственном интеллекте по-прежнему вращаются вокруг рейтингов: какая модель занимает первое место, какой поставщик является «победителем» и какой показатель в бенчмарке наиболее важен. Но для организаций, которые фактически разрабатывают и внедряют решения на основе ИИ, эти вопросы становятся менее актуальными, чем понимание того, как ИИ используется в реальных сценариях.

Одна из причин — растущие споры вокруг концепции «токенмаксинга» — практики, направленной на максимальное использование искусственного интеллекта, часто обусловленной внутренними целями внедрения, стимулами или конкуренцией на основе рейтинговых таблиц.

Однако сосредоточение внимания на потреблении токенов может стимулировать активность ради самой активности, а не измерять истинную коммерческую ценность, которую предлагает искусственный интеллект.

Недавние примеры, включая сообщения о том, что Amazon закрыла внутренний рейтинг лидеров в области ИИ, а Uber ограничила расходы своих сотрудников на ИИ после того, как быстро исчерпала годовой бюджет, подчеркивают риски, связанные с тем, что использование ИИ рассматривается как основной показатель успеха.

Однако последние данные указывают на более сложную картину. Согласно данным Vercel AI Gateway за июль, объем токенов в июне вырос на 29%, а расходы — на 27%, при этом средняя цена токена осталась стабильной. Вместо простого использования ИИ организации все чаще более тщательно определяют, где следует развертывать различные модели и как сбалансировать затраты и производительность.

Команды, разрабатывающие настоящие системы искусственного интеллекта, все чаще переходят к динамической маршрутизации задач между несколькими моделями в зависимости от стоимости, надежности и возможностей вывода. Например, недорогая модель может быть полезна для обобщения задач, в то время как высокопроизводительная модель для вывода предназначена для принятия важных решений.

На практике искусственный интеллект в большей степени связан с координацией уровней в рамках множества моделей, чем с построением систем на основе одного единственного поставщика.

Последние данные AI Gateway показывают, что организации распределяют рабочие нагрузки между различными категориями моделей, а не полагаются на одного поставщика. На модели с открытым весом сейчас приходится 29% токенов шлюза, при этом они составляют менее 4% расходов, а перспективные модели продолжают доминировать в задачах вывода, имеющих высокую ценность.

Вместо того чтобы придерживаться универсального подхода, организации выбирают разные модели в зависимости от поставленной задачи.

Превзошли вершины рейтингов.

На начальных этапах внедрения ИИ в компаниях командам рекомендовалось активно экспериментировать, разрабатывать прототипы и исследовать новые варианты использования. Это помогло ускорить внедрение, которое требует перехода от экспериментальной стадии к практическому применению ИИ, но также породило упрощенное предположение: что больше ИИ автоматически означает большую ценность.

Объем токенов и объем расходов выросли примерно на 30% в июне; однако средняя цена токена осталась стабильной. Организации продолжают активно инвестировать в ИИ, но становятся все более стратегически подходить к распределению рабочей нагрузки между моделями с низкими и высокими затратами.

Эта тенденция отражает более ранние технологические сдвиги, такие как начало эры облачных вычислений, когда компании агрессивно расширялись, прежде чем повышать эффективность. Внедрение ИИ следует аналогичной траектории, но гораздо более быстрыми темпами.

Для команд, занимающихся разработкой ИИ, наиболее полезным показателем является не стоимость, а результаты, которые являются основой успеха ИИ . Рабочий процесс, способный автоматизировать недели инженерной работы, может быть гораздо эффективнее, чем более дешевый рабочий процесс, который дает ненадежные результаты и приводит к последующим эксплуатационным расходам, превышающим первоначальную экономию.

Вопрос не в том, насколько мало искусственного интеллекта может использовать команда, а в том, насколько эффективно его можно задействовать для решения важных задач.

Искусственный интеллект меняет рабочие нагрузки.

Традиционные чат-боты работают по относительно простым схемам: ввод команды и получение ответа. Агентные системы, представляющие собой более интеллектуальных агентов искусственного интеллекта , ведут себя совершенно иначе.

Искусственный интеллект мыслит, вызывает инструменты, выполняет код, извлекает информацию, запрашивает базы данных и повторяет операции в несколько этапов, прежде чем завершить задачу. Каждое из этих действий потребляет токены.

В результате задачи искусственного интеллекта все больше управляются агентами. Один запрос теперь может включать в себя цепочки вызовов инструментов, циклы проверки и переключения поставщиков, происходящие в фоновом режиме, что полностью меняет экономику.

Агенты бэк-офиса являются самыми дорогими токенами на портал, составляя 5% от общего количества токенов, но 14% от общей суммы расходов. Более сложные и чувствительные к бизнес-процессам задачи требуют большего объема вычислительных ресурсов, чем более простые задачи искусственного интеллекта.

Это означает, что увеличение использования не всегда является показателем неэффективности. Во многих случаях это отражает растущую сложность и возможности самих систем искусственного интеллекта.

Инфраструктура как фактор, отличающий компанию от конкурентов.

Поскольку организации все чаще полагаются на множество моделей искусственного интеллекта и поставщиков услуг, поддержание надежности становится все более сложной задачей.

Задачи вывода, многоагентные рабочие процессы и сложные цепочки координации могут создавать значительную нагрузку на поставщиков моделей. Если одна модель выйдет из строя в середине выполнения, весь рабочий процесс может рухнуть.

В результате маршрутизация с резервным маршрутом стала ключевой инфраструктурой ИИ в производственных средах. В майском отчете Vercel об AI Gateway было показано, что примерно 3.5% запросов требуют перемаршрутизации из-за сбоев, тайм-аутов или проблем с определением скорости.

Без динамической маршрутизации между поставщиками услуг эти запросы просто будут завершаться с ошибкой. А для конечных пользователей нестабильность поставщика услуг незаметна; их не волнует источник проблемы, а только то, продолжает ли приложение функционировать.

Таким образом, по мере того как системы искусственного интеллекта становятся все более способными функционировать как независимые агенты, гибкость и координация приобретают такое же важное значение, как и возможности самой модели, что подчеркивает важность перехода ИИ к более интеллектуальным агентам.

Конец эры одной модели.

Стратегии, основанные на зависимости от одного поставщика услуг, стало сложно поддерживать. Постоянно появляются новые модели, цены быстро меняются, а разные модели демонстрируют лучшие результаты в зависимости от типа задачи.

Лучшая сегодня модель программирования может оказаться не лучшей для задач поиска информации, поддержки клиентов или рабочих процессов вывода завтра.

Речь идёт не о выборе одной модели в качестве единственного победителя. Речь идёт о создании систем искусственного интеллекта, способных адаптироваться и усваивать лучшую модель в течение любой конкретной недели, потому что эти предпочтения быстро меняются и будут продолжать меняться.

Команды, которые рассматривают многомодельное форматирование как инфраструктуру, не будут нуждаться в перестройке своих систем при запуске новой модели.