Мой личный опыт: запуск реального чат-бота на основе искусственного интеллекта локально на iPhone

Чат-боты на базе искусственного интеллекта, такие как: ChatGPT и Gemini...полагаться на облачные вычисления для своей работы. Но что, если бы можно было запустить большую языковую модель (LLM) прямо на iPhone, без подписки, подключения к интернету и даже без передачи данных за пределы устройства? Благодаря набору лёгких, компактных приложений и моделей это уже возможно.

Я сам это попробовал, и вот что вам нужно знать.

Запустите ИИ локально на iPhone

Теперь вы можете запускать модели с открытым исходным кодом, такие как Лама и Qwen Прямо на iOS. Эти модели обрабатываются с помощью процесса, называемого квантизацией, который сжимает их для размещения в памяти мобильного устройства без существенного влияния на производительность.

Но есть важный момент: производительность сильно зависит от вашего устройства. Например, iPhone 15 Pro или 15 Pro Max, оснащённые новейшим чипом Apple, могут работать с моделями с параметрами до 7 или 8 миллиардов (например, Llama 3.1 8B), в то время как более старые телефоны больше подходят для моделей меньшего размера с параметрами от 1 до 3 миллиардов.

Приложения, которые делают это возможным

LLM Farm (бесплатно): Самый простой способ начать. Вы можете скачать небольшую модель (например, Phi-3.5 Instruct) и запустить её офлайн всего одним щелчком мыши. Это удивительно удобно для быстрых запросов.
Чат MLC (бесплатно):
Вот приложение, которым я пользовался. Я хотел попробовать LLM Farm, но по какой-то причине его не было в Apple App Store. Поскольку оно бесплатное, я попробовал, и оно отлично сработало.
Частная программа магистра права (общественный проект): Этот вариант больше подходит для самостоятельного изготовления, чем для обычного пользователя. В приложении есть подробные руководства по загрузке таких моделей, как Llama 3.1 и Qwen, на ваш iPhone. Если вы любите экспериментировать и мастерить, обязательно попробуйте.
Аполлон (платный): Я слышал о нём много хорошего, но сам не пробовал. Расскажите в комментариях, что вы думаете об этом приложении, ориентированном на конфиденциальность.

Как запустить модель локально

После загрузки выбранного приложения откройте его. В списке встроенных моделей выберите одну (например, Phi-3.5 Instruct Q4 quantized). Я выбрал Qwen 2.5 по той простой причине, что давно им не пользовался.

После загрузки форма появится на вашем устройстве (размер варьируется от нескольких сотен мегабайт до нескольких гигабайт). Просто начните общаться.

Будьте реалистами: сейчас не время просить о глубоком анализе или длинных, подробных планах. Обратите внимание на следующее:

скорость: Небольшие модели (1–3 миллиарда параметров) реагируют быстрее, тогда как большие модели могут тратить секунды на обработку одного символа.
Контекст: Не вставляйте целые статьи; делайте подсказки короче.
Выход: Локальные большие языковые модели могут быть менее точными, чем ChatGPT, но они полезны для ведения заметок, составления резюме, вопросов и ответов, а также легкого чернового текста.

Мне было интересно попробовать некоторые подсказки. Ничего сложного; я просто хотел посмотреть, какие ответы я получу на локальный запрос. Вы сразу заметите скорость. Удивительно, как быстро реагирует большая языковая модель.

Я попробовал следующие утверждения и в целом мне понравились результаты.

Кратко изложите Декларацию независимости в трех пунктах.
«Напишите короткую сказку на ночь о роботе и коте».
«Придумайте три идеи для ужина с использованием курицы, риса и брокколи».

Запуск большой локальной языковой модели — это не то же самое, что общение с ЧатGPT-5Это, безусловно, кажется примитивным и примитивным. Если вы попробуете это, не забывайте делать подсказки короткими, так как контекстные окна гораздо более ограничены, чем при использовании обычной версии чат-бота. Вы почувствуете, что ответы стали медленнее, если перегрузить локальную большую языковую модель.

Зачем вам это нужно?

Абонентская плата не взимается. Вам не нужно тратить весь свой кредит, просто чтобы попробовать.
Встроенная конфиденциальность. Все остается на вашем устройстве.
Удивительно разносторонний. Я был поистине поражён количеством задач, которые могла выполнить эта миниатюра. Каждый раз, когда я проверял её возможности, она с лёгкостью справлялась с любой задачей.

Суть

Если у вас iPhone 15 или более поздней версии и вы хотите изучить, как выглядит ИИ «изнутри», начните с этого. Это может быть LLM Farm Или MLCChat Быстрый и бесплатный способ начать. Если вы заботитесь о конфиденциальности, приложение Аполлон Стоит попробовать. Если вы любите эксперименты и кастомизацию, Частный LLM Позволяет вам глубже изучить пользовательские настройки.

Помните, что это не полноценные чат-боты, к которым вы привыкли, поэтому не ждите результатов, похожих на ChatGPT. Но запустить собственный ИИ на iPhone — это довольно круто и футуристично.