Perplexity: Локальный компьютерный ИИ, запрашивающий разрешение до обращения в облако.

Большинство ИИ- помощников требуют отправки ваших вопросов, файлов и других данных на серверы сторонних разработчиков. Но новый портативный компьютер Perplexity переворачивает эту концепцию с ног на голову, запуская всю систему ИИ на ваших собственных устройствах.

Портативный компьютер был анонсирован во вторник, и теперь интеллектуальная компьютерная платформа Perplexity доступна для Nvidia DGX Spark и других устройств на базе Linux с совместимыми видеокартами Nvidia.

Компания отмечает, что каждая задача начинается на вашем устройстве. Если локальная модель достигает этапа, требующего более сложного анализа, Portable Computer запрашивает разрешение, прежде чем отправить этот отдельный этап в расширенную модель в облаке. Затем ответ отправляется обратно в локальный рабочий процесс, в то время как файлы и другая конфиденциальная информация могут оставаться на устройстве.

Это может сделать его привлекательным для тех, кто хочет получить простого в использовании ИИ-агента, не передающего автоматически все свои задачи поставщику облачных услуг.

Однако есть и недостаток — довольно высокая стоимость.

Это больше, чем просто локально установленный чат-бот.

Вы уже можете загрузить и запустить шаблоны с открытым исходным кодом на свой компьютер. Но сложность заключается в том, чтобы превратить один из этих шаблонов в агента искусственного интеллекта, способного работать с файлами, использовать инструменты и выполнять многоэтапные задачи.

Как правило, это включает в себя поиск и настройку механизма вывода, а также подключение агента, песочницы и любых необходимых коннекторов для доступа к внешним приложениям. Вы также несете ответственность за обеспечение совместной работы всех этих компонентов.

Portable Computer объединяет эти компоненты в единую систему. Она включает в себя локальную модель, механизм вывода, инструменты прокси, коннекторы приложений и изолированную среду (песочницу), где она может выполнять код и использовать инструменты.

Искусственный интеллект может работать с файлами, хранящимися на вашем компьютере, читать PDF-файлы, выполнять команды командной оболочки, принимать диктовку и осуществлять поиск в интернете. Пользователи также могут интегрировать такие сервисы, как Google Drive, Gmail, Slack и GitHub.

Согласно Perplexity, код и инструменты используются в локальной изолированной среде. Это обеспечивает некоторую изоляцию между агентом ИИ и остальной частью машины, хотя мне хотелось бы получить больше подробностей о том, к чему именно он имеет доступ и как контролируются эти разрешения.

Он знает, когда нужно попросить о помощи.

Гибридная маршрутизация, пожалуй, является самой интересной особенностью портативного компьютера.

Для поиска файла, извлечения информации из PDF-файла или выполнения ряда простых шагов может быть достаточно небольшой локальной модели. Однако она вряд ли сможет сравниться с возможностями вывода данных более крупных моделей от OpenAI , Anthropic или Google.

Решение Perplexity заключается в том, чтобы оставлять задачу локальной до тех пор, пока модель не столкнется с чем-то, с чем она не может надежно справиться. Затем портативный компьютер может запросить разрешение на отправку этого шага облачной модели.

Пользователям не нужно определять настройки конфиденциальности или создавать собственные правила маршрутизации. Система принимает решения по мере работы, но пользователь все равно должен одобрить передачу управления. Система искусственного интеллекта, которая предположительно работает локально, становится гораздо менее конфиденциальной, если она незаметно возвращается в облако всякий раз, когда задача становится сложной. Чтобы узнать больше о том, как защитить свою личную информацию, вы можете ознакомиться с нашим сравнением политик конфиденциальности ChatGPT, Gemini, Cloud и Perplexity.

Компания Perplexity также отмечает, что работа, выполненная локально, не будет расходовать средства, указанные в счете-фактуре. В счет использования облачных ресурсов будет учитываться только та часть работы, которая отправлена ​​в облако.

На момент запуска пользователи смогут выбирать между моделью Qwen с 27 миллиардами параметров или более поздней, собственной версией Perplexity, получившей название PPLX 27B. Ожидается, что за ней последует модель Nvidia Nemotron 3.5 Lightning. Пользователи также смогут использовать собственную модель и сервер для вывода результатов.

Проблема заключается в оборудовании.

Портативный компьютер может работать на вашем компьютере, но не на любом компьютере.

Программа сначала запускается на Linux и требует наличия оборудования Nvidia с как минимум 24 ГБ видеопамяти. Она поддерживает настольные компьютеры с Nvidia DGX Spark, а также совместимые компьютеры под управлением DGX OS или Ubuntu на ARM или x64 оборудовании.

Поддержка Windows планируется к появлению в сентябре. Компания Perplexity пока не объявила о поддержке macOS.

Портативные компьютеры будут доступны подписчикам Perplexity Pro, Max, Enterprise Pro и Enterprise Max. Даже при наличии совместимой подписки у большинства людей не будет необходимого оборудования под столом.

Это делает первоначальный релиз более актуальным для энтузиастов ИИ, разработчиков и компаний, которые уже владеют высокопроизводительными системами Nvidia, по сравнению с теми, кто выбирает между ChatGPT и Perplexity на обычном ноутбуке.

Однако лежащая в основе идея может охватить гораздо более широкую аудиторию. Искусственные интеллекты получают доступ ко всё большему объёму личной информации, включая электронные письма, рабочие документы и файлы, хранящиеся на наших устройствах. Running Plus предоставляет пользователям ещё один способ контролировать, что и когда покидает их устройства.

Портативный компьютер пока не готов заменить облачный чат-бот для большинства людей. Однако он дает представление о том, как может выглядеть более персонализированный ИИ-помощник, когда необходимое для его работы оборудование станет доступным по цене.