Приложение HuggingSnap AI: посмотрите на мир через камеру вашего телефона

Краткое содержание:

• Компания Hugging Face запустила HuggingSnap — приложение для iOS, которое может анализировать и описывать то, что видит камера вашего iPhone.
• Приложение работает в автономном режиме и никогда не отправляет данные в облако.
• HuggingSnap не идеален, но он показывает, что можно сделать на устройстве.

Предоставление ИИ возможности «видеть» становится все более распространенным явлением с появлением таких инструментов, как ChatGPT, Microsoft Copilot и Google Gemini, которые расширяют возможности ИИ. Hugging Face запустил собственное приложение для iOS под названием HuggingSnap, которое позволяет вам видеть мир через камеру вашего iPhone и описывать то, что вы видите, без подключения к интернету. Приложение работает в автономном режиме, что делает его идеальным для использования в районах с плохим интернет-соединением.

Представьте себе, что у вас есть личный гид, который умеет хранить молчание. HuggingSnap работает полностью в автономном режиме, используя внутреннюю модель зрения Hugging Face, smolVLM2, что позволяет мгновенно распознавать объекты, описывать сцены, читать текст и делать общие наблюдения за окружающим миром, не отправляя при этом никаких данных в пустоту Интернета.

Возможность работы в автономном режиме делает HuggingSnap особенно полезным в ситуациях, когда соединение нестабильно. Если вы отправляетесь в поход по дикой местности, путешествуете за границу без надежного интернета или просто находитесь в продуктовом магазине, где по непонятной причине пропадает сотовая связь, наличие этой функции на вашем телефоне станет настоящим благословением. Кроме того, приложение позиционируется как сверхэффективное, то есть оно не будет разряжать аккумулятор так, как это делают облачные модели искусственного интеллекта.

HuggingSnap смотрит на мой мир

Я решил попробовать приложение HuggingSnap. Сначала я направил его на экран ноутбука, когда в браузере была открыта моя биография на TechRadar. Поначалу приложение хорошо справлялось с транскрипцией текста и объяснением того, что оно видит. Однако он был ошеломлен, когда увидел заголовки и другие подробности моего резюме. HuggingSnap посчитал, что упоминания новых компьютерных чипов в заголовке являются указанием на то, на каком процессоре работает мой ноутбук, и, похоже, посчитал, что некоторые имена в заголовках относятся к другим людям, использующим мой ноутбук.

Затем я направила камеру на игровую площадку моего сына, полную игрушек, которые я еще не убрала. И снова ИИ отлично справился с описанием игровой зоны и игр в ней в целом. Он правильно определял цвета и даже текстуры при распознавании мягких игрушек и кубиков. Но он также ошибся в некоторых деталях. Например, он описал медведя как собаку и, по-видимому, считал, что стопочное кольцо — это мяч. В целом, я считаю, что HuggingSnap хорош для описания ситуации другу, но недостаточно хорош для полицейского отчета.

Смотри в будущее

Именно локальный подход HuggingSnap отличает его от встроенных возможностей iPhone. Хотя устройство может определять виды растений, копировать текст с фотографий и сообщать вам, является ли паук на вашей стене тем типом, который должен заставить вас пошевелиться, оно всегда отправляет некоторую информацию в облако.

HuggingSnap — уникальное приложение в мире, где большинство приложений пытаются отслеживать практически все о вас. Однако Apple вкладывает значительные средства в технологии искусственного интеллекта для будущих iPhone. Но на данный момент, если вам нужна конфиденциальность с возможностью отслеживания с помощью ИИ, HuggingSnap может вам подойти идеально.