Обзор Adobe Firefly: Насколько хороши три новых аудиоинструмента на основе искусственного интеллекта?

---

• Компания Adobe выпускает три новых инструмента для работы со звуком. С искусственным интеллектом Внутри Светлячка
• Теперь создатели контента могут использовать функции «Генерация музыки», «Генерация речи» и «Генерация звуковых эффектов».
• Я протестировал его, чтобы посмотреть, как он работает при создании видео.

---

После периода бета-тестирования Adobe Firefly выпустила три новых аудиоинструмента на основе искусственного интеллекта, обещающих «звук студийного качества», доступных всем создателям контента. Я протестировал каждый из них, чтобы проверить, соответствуют ли результаты заявленным характеристикам — и в целом они соответствовали, за исключением нескольких незначительных проблем.

Функции «Создание музыки», «Создание звуковых эффектов» и «Создание речи» — это новейшие возможности обработки звука, появившиеся на браузерной платформе искусственного интеллекта от Adobe (их функции понятны из названий).

По моему опыту работы со всеми тремя инструментами, Generate Music выделяется среди остальных; он намного лучше, чем я ожидал, и я считаю, что маркетологи и создатели контента получат от него огромную пользу. Вы можете попробовать его сами, перейдя по этой ссылке.

Ну и что нового?

Теперь каждому доступны три инструмента искусственного интеллекта. Их функции в основном понятны сами собой, но вот что вам нужно знать:

• Создать музыку Это позволяет создавать лицензированные музыкальные треки, соответствующие продолжительности и настроению ваших видеороликов.
• Генерировать речь Письменные тексты преобразуются в голосовые комментарии.
• Создание звуковых эффектов Как вы уже догадались, программа генерирует звуковые эффекты, соответствующие движению и темпу видео.

Но действительно ли это так хорошо?

Ранее я уже писал о своем скептицизме в отношении искусственного интеллекта в целом и о своих опасениях по поводу его использования в творческих работах. Это всего лишь имитация искусства.

Однако инструменты Adobe впечатлили даже самых ярых скептиков в отношении ИИ в моей команде – особенно такие функции, как Generative Extend в их программном обеспечении для видеомонтажа. А я человек с открытым умом, поэтому решил попробовать эти инструменты сам и посмотреть, на что они способны на самом деле.

В данном случае, по крайней мере на данный момент, основное внимание уделяется ускорению творческого процесса как для маркетологов, так и для создателей контента .

Создание музыки с помощью искусственного интеллекта

Я начал с использования инструмента «Создать музыку» , где можно свободно вводить текстовые команды или загружать видеоклип, и ИИ попытается угадать тип музыки, которую вы хотите. Я использовал короткий 27-секундный клип, который записал для обзора reMarkable Paper Pure (потому что он все еще находился в папке загрузок).

Исходя из этого, Firefly предложила команду скрипта для «спокойной, глубокой, атмосферной электронной композиции для демонстрации продукта».

Я нажал кнопку «Сгенерировать», и через несколько секунд — скорость была поистине поразительной — мне предложили на выбор четыре трека, все разные, но с одинаковой атмосферой. Они были… приемлемыми. Немного шаблонными, но могут подойти в крайнем случае или для быстрого завершения проекта. (Более подробную информацию о влиянии ИИ на музыкальную индустрию можно найти в нашей статье о том, как Apple Music требует от артистов помечать музыку с помощью ИИ .)

Я решил добавить в команду скрипта несколько других терминов, таких как «джаз» и «кинематографический», для использования в «влоге» и «трейлере». Я изменил настройку «Энергия» с «низкая» на «средняя». Результаты оказались намного лучше.

Как и во всех инструментах искусственного интеллекта, чем точнее текстовые команды, тем лучше результат. Также есть возможность самостоятельно описать атмосферу, стиль и цель, если у вас есть конкретная идея.

Отсюда вы можете скачивать музыку и видео, или только музыку.

Создание озвучки с помощью ИИ.

Переходя к инструменту «Генерация речи» , я сначала воспользовался боковой панелью, чтобы выбрать модель ИИ для использования; на момент написания статьи были доступны коммерчески безопасная модель Firefly от Adobe и модель Multilingual V2 от партнера ElevenLabs.

Затем я выбрала докладчика из списка из 45 вариантов, каждый из которых был описан по-разному: мужчина, женщина, небинарная личность, молодой, среднего возраста, пожилой и так далее.

Наконец, я вставил свой текст в текстовое поле; Firefly может определить используемый мной язык, но у вас есть возможность выбрать его самостоятельно. Я использовал стихотворение «Озимандия» (приношу свои искренние извинения Шелли).

Мне понравилось то, что после ввода текста можно добавить дополнительный текст или указать ИИ остановиться в определенных местах.

Чтобы прослушать аудиозапись целиком, мне пришлось выделить весь клип и воспользоваться контекстным меню; там же можно исправить произношение и отрегулировать тембр голоса.

Учитывая все разговоры об ускорении рабочих процессов, мне это кажется ошибкой. Все, что нужно, — это кнопка «Пуск» внизу экрана.

Мне пришлось отрегулировать интервалы пауз, чтобы дать тексту «дышать», и после того, как я их настроил, я мог изменить время, нажав кнопку паузы на экране предварительного просмотра. По какой-то причине именно слово «land» сбило с толку ИИ, который произнес его как « lan ».

Создание звуковых эффектов (SFX) с помощью искусственного интеллекта

Для этого теста я снова использовал видео, которое снял для обзора reMarkable – на этот раз это был 12-секундный ролик, сравнивающий reMarkable 2 и Paper Pure.

Этот процесс гораздо сложнее, то есть ИИ не сможет угадать возможные звуковые эффекты. Мне пришлось вручную описать то, что я хотел. Затем я нажал на «Улучшить подсказку», что добавило дополнительные описания.

В итоге у нас получился «скользящий свисток, плавно опускающийся с едва слышным металлическим звоном». Нажатие кнопки «Сгенерировать» быстро выдало четыре разных, оглушительных варианта. Я не буду показывать вам эти результаты. Это несправедливо по отношению ко всем.

Вместо этого утверждение было изменено на более тихий «звук сверчков в поле» на 12 секунд, чтобы заполнить продолжительность видео.

Главная особенность опции «Звуковые эффекты» (SFX) заключается в возможности добавления нескольких звуковых дорожек и использования маркеров для регулировки их положения.

Благодаря временной шкале, проходящей вдоль нижней части экрана, создается ощущение, что это настоящий аудиоредактор (по крайней мере, в некоторой степени). Перетаскивая ползунки регулировки громкости, вы можете настроить громкость или удалить дорожку.

Стоит ли это усилий?

В целом, я бы хотел увидеть здесь некоторые доработки пользовательского интерфейса, чтобы ускорить производственный процесс.

Я не думаю, что это в ближайшее время заменит профессиональных звукорежиссеров, композиторов и музыкантов. Но, исходя из моего опыта работы в маркетинге, я вижу в этом место для маркетологов и для повседневного создания видео.

Со времен роботизированных голосов, похожих на голоса персонажей Microsoft Sam, разговорный язык значительно изменился, но для точного воспроизведения голоса ничто не сравнится с профессиональным исполнителем в студии.

Однако звуковые эффекты (SFX) предоставляют гораздо больше преимуществ. В самых разных поколениях игр я не мог отличить звуки, сгенерированные искусственным интеллектом, от звуков, воспроизводимых на старом диске со звуковыми эффектами, который у меня был.

Настоящим хитом здесь стала функция «Создание музыки». Даже при использовании базовых функций звук получился вполне уместным для демонстрации продукта, обзора, бизнес-объяснения или чего-либо подобного. И качество звука улучшалось с каждым выполненным мной созданием музыки.

Таким образом, это обновление заслуживает внимания при быстром создании видеоконтента.