Беспроводные наушники Google Pixel Buds уже давно предлагают превосходный перевод в реальном времени . За последние несколько лет такие бренды, как Timkettle, представили аналогичные наушники для корпоративных клиентов. Однако все эти решения могут обрабатывать только один аудиопоток одновременно для перевода.
Команда называет свое нововведение «пространственным переводом речи» и реализует его с помощью бинауральных наушников. Для тех, кто не знаком, технология бинаурального звука пытается имитировать звуковые эффекты точно так, как их слышит человеческое ухо. Для записи на голову манекена помещают микрофоны, расположенные с каждой стороны на таком же расстоянии друг от друга, как и уши человека. Эта технология основана на записи звука из двух разных источников для создания эффекта 3D-прослушивания.
Такой подход имеет решающее значение, поскольку наши уши не только слышат звук, но и помогают нам определить направление его источника. Общая цель — создать естественную звуковую сцену со стереоэффектом, способную обеспечить живое, концертное ощущение. Или, в современном контексте, пространственное слушание. Эта технология улучшает пользовательский опыт, обеспечивая реалистичный объемный звук.
Эта работа стала результатом работы команды под руководством профессора Шьяма Голлакоты, в послужном списке которого — приложения для установки подводного GPS на умные часы, превращения жуков в фотографов, мозговые имплантаты, взаимодействующие с электронными устройствами, мобильное приложение, способное «слышать» инфекции, и Plus. Эти достижения подтверждают экспертные знания профессора Голлакоты в области инновационных технологий.
Как работает многоязычный перевод?
«Впервые мы сохранили голос каждого человека и направление, откуда он исходил», — объясняет Голкота, нынешний профессор Школы компьютерных наук и инженерии имени Пола Г. Аллена при институте.
Команда сравнивает свою технологию с радаром, который сначала определяет количество говорящих в окружающей местности, а затем обновляет это число в режиме реального времени по мере того, как люди входят и выходят из зоны слышимости. Этот подход полностью основан на использовании устройств и не предполагает отправки голосовых потоков пользователей на облачный сервер для перевода. О, конфиденциальность!
Помимо перевода речи, система также сохраняет «выразительные качества и громкость каждого говорящего». Кроме того, при перемещении говорящего по комнате производится регулировка направления и громкости. Интересно, что, по сообщениям, Apple также разрабатывает систему, которая позволит AirPods переводить речь в режиме реального времени.
Как достигается мгновенный перевод с помощью искусственного интеллекта?
Команда Вашингтонского университета (UW) протестировала возможности перевода интеллектуальных наушников на базе искусственного интеллекта почти в дюжине помещений и на открытом воздухе. С точки зрения производительности система может принимать, обрабатывать и воспроизводить переведенный звук в течение 12–2 секунд. Участники тестирования, похоже, предпочитают задержку в 4–3 секунды, но команда работает над ускорением процесса перевода.
Пока команда протестировала только переводы на испанский, немецкий и французский языки, но надеется добавить Plus в свой пакет. Технически им удалось объединить слепое разделение источника, локализацию, выразительный перевод в реальном времени и бинауральную доставку в единый поток, что является весьма впечатляющим достижением. Эта интеграция передовых технологий представляет собой качественный скачок в области синхронного перевода.
Для этой системы команда разработала модель перевода речи, способную работать в режиме реального времени на чипе Apple M2, обеспечивая вывод в реальном времени. За звук отвечали наушники Sony WH-1000XM4 с шумоподавлением и бинауральный USB-микрофон Sonic Presence SP15C.
И вот самое интересное. «Проверочный машинный код доступен другим для дальнейшего развития», — говорится в пресс-релизе фонда. Это означает, что научное сообщество и сообщество разработчиков программного обеспечения с открытым исходным кодом могут учиться и развивать более продвинутые проекты, основанные на фундаменте, заложенном командой Вашингтонского университета. Это открывает двери для будущих разработок в области технологий перевода с использованием искусственного интеллекта.
Комментарии закрыты.