Следующая эра конкуренции за камеры: суть гонки заключается в их способности понимать происходящее.

Демонстрация, которая меня убедила, состоялась в художественной галерее, которую я построил сам.

У нас не было команды гидов, поэтому я разработал побочный проект, чтобы их заменить. Там не было поля ввода или чего-либо подобного. Вы наводили телефон на что-то, и он показывал, что вы видите. Потом выставка закончилась, но люди все равно продолжали ею пользоваться.

Они указывали ему на здания, цветы, детские игрушки, плакаты на улице, но ничто из этого не имело никакого отношения к выставке.

Они решили, что без чьей-либо просьбы камера должна объяснить им мир.

Теперь ответственность за выполнение этого ожидания лежит на отрасли, и это происходит в то время, когда искусственный интеллект переходит от задачи обучения к задаче вывода, где большая часть реальной работы выполняется на самом устройстве, пока кто-то направляет свой телефон в несовместимый с ним реальный мир.

Для модели от кадра требуются иные вещи, чем для вашего глаза: опора для контуров и восстановление структуры, когда снимок полон бликов или размытия. Цвета и контраст, которые делают фотографию привлекательной, для модели часто являются препятствием.

Для сенсора, необходимого для человека, и для сенсора, необходимого для модели, требуются разные конструкции.

Проблема сенсора стала проблемой восприятия, и разработчики систем машинного зрения в реальном времени теперь обеспокоены ею так же, как раньше беспокоились фотографы.

Откуда взялся этот датчик?

Активный пиксельный CMOS-сенсор, изобретенный Эриком Фоссумом и разработанный в начале 1990-х годов, — вот почему сегодня практически в каждом кармане есть функциональная камера.

Его более поздние работы развиваются в совершенно другом направлении: квантовый датчик изображения, который подсчитывает отдельные фотоны. Эта траектория иллюстрирует то, что происходит сейчас с искусственным интеллектом: он переходит от захвата кадра, который может понравиться человеку, к захвату наиболее чистого сигнала для обработки машиной.

Датчик становится инструментом восприятия, и фотография — лишь одно из его применений.

Почему рассуждения меняют характер работы?

Именно процесс вывода делает проблему неотложной. Ранее, когда ИИ был в основном связан с обучением, роль камеры была косвенной: она производила данные, которые затем классифицировались и на основе которых осуществлялось обучение, в неторопливом темпе. Вывод не медленный. Он происходит в режиме реального времени, на устройстве с недостаточной мощностью и уже сильно нагревающемся устройстве, как это бывает в критически важных по времени приложениях ИИ.

Когда системе необходимо распознать что-либо, пока камера еще направлена ​​на это, и отреагировать, прежде чем станет слишком поздно, самым слабым звеном является то, что доходит до самой модели, и это устанавливает предел всем возможностям продукта.

Часть индустрии по-прежнему делает ставку не на то. Предполагается, что достаточно большая модель сама справится со всем, что ей подаёт камера. Я наблюдаю, как это препятствует разработке продуктов уже два года подряд, и я не думаю, что это противоречит законам физики.

Модель любого размера не сможет восстановить детали, уже уничтоженные размытием от движения или бликами, или те, которые были отброшены в процессе обработки с приоритетом красоты еще до того, как модель увидит кадр. Узкое место теперь смещается вверх, к сенсору и тому, что находится между ним и моделью.

Что же на самом деле делают эти устройства?

В настоящее время некоторые датчики выполняют часть обработки непосредственно на чипе, поэтому первоначальные вычисления происходят до того, как данные покидают массив пикселей. Датчики, основанные на событиях, иногда называемые нейроморфными, записывают только изменяющиеся части сцены, что гораздо лучше подходит для восприятия в реальном времени, чем потоковая передача полных кадров. Глобальные затворы также помогают уменьшить искажения, вызванные движением, которые могут искажать показания прибора.

Даже технология расширенного динамического диапажа (HDR), долгое время предназначенная для эффектной визуализации неба, теперь перекалибровывается, чтобы соответствовать тому, что модель может четко считывать в условиях высокой контрастности. Несмотря на различия, все эти технологии указывают в одном направлении: к версии мира, которую модель может обработать.

От идентификации до заключения

Наиболее интуитивно понятным решением является визуальный поиск: наведите камеру на объект, и он получит метку. Но когда вы наводите телефон на меню, вам нужна помощь в выборе блюда; при наведении на плакат полезным шагом может быть сохранение события в календарь. Распознавание объектов — это только отправная точка. Суть продукта заключается в понимании того, что должно произойти дальше. Именно здесь датчик становится первым звеном в более длинной цепочке интерпретации, выходящей за рамки простого сбора информации.

Я никогда не планировал создавать фотоаппарат; всё началось как дешёвый способ избежать найма гидов на одну выставку. Но этот небольшой проект научил меня, что это желание уже есть. Следующая задача в мире фототехники будет связана со всей системой: сенсором, процессом обработки изображений, периферийными вычислениями , форматированием модели и тем, что система в конечном итоге делает.

Производители оборудования годами улучшали качество изображения, и им придется столь же серьезно относиться к качеству обработки информации. Разработчики программного обеспечения не могут рассматривать захват сигнала как чужую проблему: то, как сигнал захватывается и маршрутизируется, определяет результат задолго до того, как его увидит пользователь. Старые границы между аппаратным и программным обеспечением становятся менее важными по мере того, как мы все глубже погружаемся в восприятие в реальном времени.

Здесь еще есть место для стартапов. Их преимущество — скорость выявления проблемы: они формулируют ее до того, как крупные игроки закончат спорить о ней. Саму способность общей модели защищать становится все сложнее. Вопрос в том, что произойдет, когда единая система сможет видеть, прогнозировать и реагировать на одно и то же событие, и кто первым создаст полностью функциональный продукт?

Человеческие глаза против машинного разума

Я предполагаю, что в ближайшие несколько лет компании разделятся на два лагеря: те, кто оптимизирует производительность для человеческого глаза, и те, кто оптимизирует производительность для того, что должна считывать машина. В рамках флагманского телефона эти цели всё ещё достаточно пересекаются, чтобы замаскировать разницу.

Но в качестве стратегии эти цели уже начали расходиться. Наиболее устойчивой позицией окажется та, которая позволит преобразовать хаотичный реальный мир в максимально чистый сигнал, из которого машина сможет сделать выводы.

Начинается всё с датчика.

Мы провели обзор, оценку и составили рейтинг лучших телефонов с камерой.