Как запустить большую локальную языковую модель на телефоне: и почему это может вам понадобиться.
Узнайте, как запустить большую языковую модель (LLM) локально на своем мобильном телефоне и какие преимущества вы получите от этого опыта.
Самое важное, что вам нужно знать
- Запуск больших языковых моделей локально на вашем телефоне обеспечивает полную конфиденциальность и доступ в автономном режиме, снижая зависимость от облачных сервисов.
- Для эффективного локального запуска моделей LLM вашему телефону требуется не менее 6 ГБ оперативной памяти, предпочтительно 8 ГБ или больше для более крупных моделей, при этом модели с 1-2 миллиардами параметров являются оптимальным выбором для телефонов с меньшим объемом памяти.
- Такие приложения, как Atomic Chat или PocketPal AI, могут использоваться для запуска моделей обработки малых языков (SLM), таких как Gemma, Llama или Phi-4, ориентированных на модели с меньшим количеством параметров для достижения лучшей совместимости и производительности на телефоне.
Дэвид Нилд
Дэвид Нилд
внештатный писатель
Опыт
Дэвид Нилд — технологический журналист из Манчестера, Великобритания, который пишет об инструментах и приложениях уже более 20 лет.
Он получил степень бакалавра английской литературы в Даремском университете, где также работал редактором отмеченной наградами студенческой газеты «Palatinate». Его журналистская карьера началась в печатных СМИ, где он участвовал в редактировании многочисленных журналов и технических книг, продававшихся в Великобритании и за рубежом.
В последнее время он работал внештатным автором для крупнейших технологических изданий в интернете, освещая самые разные темы: от репортажей с мест событий о запуске продуктов до подробных обзоров и руководств по приложениям, инструментам и платформам. Его экспертные знания охватывают широкий спектр потребительских технологий, включая смартфоны, ноутбуки, носимые устройства и искусственный интеллект.
مجالات الخبرة
Развлечения
Технологии
Прочитайте полную биографию
18 августа 2026 г.
Источник: Lifehacker
Оглавление
В настоящее время доступны большие языковые модели (LLM), достаточно бесплатные, чтобы сделать их локальный запуск на компьютере обычным делом, и в некотором смысле даже лучшим вариантом — они более конфиденциальны, поскольку вам не нужно ничего отправлять в облако, и они работают в автономном режиме.
Запуск этих продвинутых моделей ИИ на телефонах не всегда был простым (поэтому для самых продвинутых функций Siri AI требуются новейшие модели iPhone), но сейчас мы достигли того уровня, когда большинство мобильных телефонов достаточно мощные, а некоторые модели достаточно компактны и эффективны, чтобы это стало практически возможным. Подробнее об этом можно прочитать в нашей статье о запуске локальной модели ИИ на iPhone .
Преимущества аналогичны тем, что вы получаете на настольном компьютере: у вас есть собственная большая, постоянно доступная и приватная языковая модель (LLM), без отправки каких-либо данных в Google, OpenAI, Anthropic или любую другую третью сторону. Недостатки заключаются в том, что ваш ИИ будет работать медленнее и с меньшими ресурсами, поскольку вы будете иметь дело с меньшими и менее мощными моделями, а также вы можете заметить влияние на время автономной работы (такие диалоги с ИИ могут быть очень ресурсоемкими).
Даже с учетом этих компромиссов, встроенный ИИ, который вы сможете запускать на своем телефоне, все равно будет способен эффективно выполнять повседневные задачи и вести диалоги, а это значит, что вы можете расслабиться, используя Gemini или Siri (и, возможно, другие ваши подписки на ИИ).
Телефон, необходимый для запуска локальной модели обработки больших языков (LLM).
Любой iPhone или Android-смартфон, выпущенный за последние два года, должен хорошо справляться с локальной большой языковой моделью (LLM); развитие искусственного интеллекта побудило производителей разрабатывать свои устройства с учетом такого рода задач. Более старые телефоны также могут работать, но вам могут понадобиться более компактные модели, и производительность может быть ниже.
Оперативная память (RAM) на самом деле является более важным фактором, чем производительность процессора (чипсета), когда речь идёт о запуске модели ИИ. Для удовлетворительной производительности вам потребуется 6 ГБ или больше, а для больших моделей лучше 8 ГБ или больше. Если у вас меньше 8 ГБ оперативной памяти, используйте модели с 1-2 миллиардами параметров (B), где B означает миллиард и описывает количество параметров в модели (что, по сути, отражает её интеллект и универсальность).
В телефонах, подобных Pixel 11 Pro, есть встроенные модели искусственного интеллекта, но они недоступны пользователю напрямую.Источник: Google
Что касается места для хранения, особо беспокоиться не о чем. Даже самые большие модели, использующие 7-8 миллиардов параметров, не займут более 5 ГБ на вашем телефоне, поэтому вы можете хранить на устройстве несколько моделей ИИ и переключаться между ними по мере необходимости.
Если вы сегодня купите новый флагманский iPhone или Android-смартфон, он будет поставляться с предустановленными моделями искусственного интеллекта для выполнения быстрых задач в автономном режиме (без подключения к интернету). Однако эти модели, созданные Apple и Google, недоступны вам напрямую как пользователю; они используются, когда Siri AI и Gemini считают их наилучшим вариантом.
Приложения и модели, необходимые для работы с локальной большой языковой моделью (LLM)
Существует несколько приложений , которые позволяют запускать модели искусственного интеллекта на вашем телефоне. Среди наиболее популярных — Atomic Chat ( для Android или iOS ) и PocketPal AI ( для Android или iOS ). Между ними есть некоторые различия; например, Atomic Chat проще масштабировать для включения моделей LLM на настольных компьютерах, в то время как PocketPal AI немного легче, но оба отлично подходят для начала работы с нативным ИИ на вашем телефоне.
Что касается самих моделей — иногда их называют SLM или малыми языковыми моделями, поскольку они предназначены для работы в ограниченных условиях — здесь у вас тоже есть множество вариантов. Например, Gemma — это общий термин для моделей с открытым исходным кодом, которые Google предоставляет бесплатно, и некоторые из них специально разработаны для работы в стесненных условиях и с меньшими ресурсами (например, с вашим телефоном).
PocketPal AI поможет вам найти подходящую местную модель, отвечающую вашим потребностям.Источник: Lifehacker
У Meta есть собственные модели искусственного интеллекта с открытым исходным кодом под названием Llama, а у Microsoft — модели Phi-4, которые также высоко ценятся за эффективность. Просто ищите версии с наименьшим количеством параметров перед буквой «B» (или те, в названии которых есть слово «mini»), чтобы найти пакеты, которые лучше всего подойдут для вашего телефона.
В настоящее время эти небольшие языковые модели (SLM) в основном основаны на тексте, хотя некоторые более новые, более крупные и продвинутые модели могут анализировать изображения и файлы. Если вы хотите создавать изображения и видео, вам придется использовать традиционные облачные модели искусственного интеллекта, по крайней мере, до следующего технологического прорыва.
Эксперименты с локальной большой языковой моделью (LLM) на вашем телефоне
Чтобы оценить полезность одной из этих встроенных моделей ИИ на телефоне, я установил PocketPal AI и одну из более компактных моделей Gemma от Google на свой Pixel 9 Pro — это уже не флагманский телефон, но и не слишком старый. Меня впечатлил небольшой мастер выбора, который открывает PocketPal AI, и который сразу же направляет вас к подходящей для вашего телефона модели ИИ.
После загрузки и установки нескольких шаблонов, их легко было загрузить и начать использовать. PocketPal AI также предоставляет доступ к дополнительным «компаньонам» (отсюда и название приложения), которые могут настраивать шаблоны ИИ под ваши нужды — вариант «картинка в картинке» по умолчанию кажется подходящей альтернативой тому, к чему вы, возможно, привыкли в стандартных приложениях с ИИ, таких как Gemini или Siri . Функции навигации и отслеживания работают безупречно, а история ваших чатов сохраняется по умолчанию.
Эти небольшие, но мощные языковые модели (LLM) лучше всего подходят для быстрых ответов и запросов информации.Источник: Lifehacker
При запуске моделей LLM на телефоне наблюдается заметное (и ожидаемое) замедление отклика, а также очевидная разница в размерах моделей ИИ — выбор меньшей модели даст гораздо более быстрые ответы, даже если они не такие интеллектуальные или полные. Стоит поэкспериментировать с несколькими моделями, чтобы найти оптимальный баланс производительности и скорости, который подходит именно вам.
Учитывая отсутствие возможностей веб-поиска или актуальных знаний, этот вариант идеально подходит для мозгового штурма, анализа и уточнения существующих текстов, создания новых, быстрого сбора фактов или проведения сравнений (например, «Предложите фильм, похожий на...»). Как всегда, следует остерегаться «галлюцинаций», которые могут создавать эти модели, и любую информацию, предоставляемую ИИ, никогда не следует считать гарантированно точной.
Комментарии закрыты.