Ключевые моменты
- NVIDIA и AMD улучшают игровой процесс с помощью технологии генерации кадров (Frame Generation), которая создает дополнительные кадры для более плавной игры. NVIDIA использует сложные, специфичные для оборудования методы, в то время как более простая технология AFMF от AMD работает на уровне драйверов и не требует вмешательства со стороны разработчиков игр.
- Неясно, будет ли NVIDIA внедрять технологию генерации кадров на основе рабочих параметров, подобную AFMF от AMD. Ее нынешняя технология в значительной степени опирается на более новые графические процессоры и сочетает в себе несколько методов для повышения качества, что указывает на возможное нежелание менять свою стратегию.
- Оба метода повышают частоту кадров, но могут вызывать визуальные ошибки или задержки. Технология AFMF от AMD более гибкая, но может быть менее точной, в то время как подход NVIDIA отдает приоритет качеству и может развиваться с выходом новых графических процессоров.
К настоящему моменту все мы, вероятно, уже слышали новое модное слово в мире игр, придуманное NVIDIA и AMD: « Генерация кадров ». Эта технология, которую критики и сторонники называют будущим игр, нуждается в доработке, прежде чем станет « идеальным » решением для повышения производительности.
Технология AFMF от AMD устанавливает новый стандарт для простого инструмента генерации кадров по принципу « нажми и играй ». Последует ли NVIDIA примеру AMD и внедрит ли универсальное решение для генерации кадров на основе определений воспроизведения? Давайте разберемся.
Создаст ли NVIDIA решение для генерации кадров на основе операционных определений?
Прежде чем перейти к основной теме, давайте вспомним, как работают методы масштабирования и генерации кадров, а также некоторые важные термины, которые необходимо понимать.
DLSS расшифровывается как Deep Learning Super Sampling (суперсэмплинг на основе глубокого обучения ) и была представлена компанией NVIDIA в 2018 году в рамках серии графических процессоров RTX . Проще говоря, DLSS сканирует и собирает данные из предыдущих кадров и использует эти данные для заполнения недостающих пикселей в новом кадре. С помощью искусственного интеллекта вы получаете улучшенное (масштабированное) изображение с повышенной производительностью.
В отличие от этого, технология AMD FSR или Fidelity FX Super Resolution может работать практически на любом графическом процессоре. Она использует собственный алгоритм пространственного масштабирования с открытым исходным кодом для повышения разрешения игры с более низкого до более высокого уровня. Она гораздо практичнее, чем DLSS, поскольку не зависит от аппаратного обеспечения.
Некоторые важные термины и введение в генерацию кадров.
Вместе с серией RTX 40 появились DLSS 3.0 и технология генерации кадров NVIDIA . Что именно означает «генерация кадров»? В простейшем виде генерация кадров — это вставка кадра между двумя другими кадрами. Этот процесс называется интерполяцией . Это был распространенный метод в телевизорах для увеличения частоты кадров отображаемого контента в соответствии с частотой обновления телевизора.
Масштабирование изображения просто улучшает его качество и повышает производительность. В отличие от этого, генерация кадров (FG) создает совершенно новый кадр между двумя существующими кадрами, отображает их и угадывает следующий кадр, при этом сохраняя приемлемое время отклика.
Для применения этой сложной методики необходимо понимание двух фундаментальных концепций в данной области: анализа оптического потока и векторов движения . Рассмотрим их по очереди:
1) Анализ оптического потока
Этот метод берет серию изображений и оценивает, как будет выглядеть следующая версия изображения. Оценка производится путем анализа скорости, цвета и яркости объектов на изображении. Вместо получения четкого и конкретного результата вы получаете лишь приблизительную оценку.
Представьте себе мяч, катящийся по земле вправо. Мяч достигает своей цели за пять отдельных шагов. Предполагая, что его движение квазилинейно и по прямой линии, вы можете предсказать его конечную точку. Если вы изучали аналитическую геометрию , вы, вероятно, сталкивались с формулой двух точек:
y - y1 = (x-x1)(y2-y1) / (x2-x1)По двум точкам можно определить уравнение данной прямой. Поскольку наклон постоянен, предсказать следующее положение изображения/точки несложно. Следует отметить, что реальная методика гораздо сложнее.
Самое важное, что анализ оптического потока не требует доступа к данным игрового движка. Он может применяться на уровне драйвера , где драйвер интерполирует (вставляет) кадры, прогнозируя движение на экране. Проще говоря, анализ оптического потока не взаимодействует с игровым движком.
Недостатком является то, что драйвер не способен различать пользовательский интерфейс (UI) и реальную 3D- среду , поэтому могут возникать неожиданные искажения. Кроме того, результат никогда не будет отполирован, поскольку используются необработанные данные кадров.
2) Векторы движения в игровом движке
Векторы движения — это направленные векторы, указывающие на перемещение объектов от одного кадра к другому. Они являются фундаментальным компонентом игровых движков и представляют собой трансформацию и движение объектов. Это более мощный способ представления движения, чем просто «угадывание» положения объекта.
Если вам интересно, векторы движения являются важной частью генерации кадров. Однако для работы с этими данными необходима совместимость между драйвером и игровым движком. Достижение этой совместимости требует реализации со стороны разработчиков игры.
Таким образом, хотя векторы движения превосходят анализ оптического потока, они очень ограничены по своему охвату и масштабируемости, а это значит, что эта функция будет доступна не во всех играх. Если вы играете в старую игру 2010-х годов , крайне маловероятно, что решения для генерации кадров (FG), поддерживаемые векторами движения (такие как DLSS FG и FSR3 FG), будут доступны.
Сравнение генерации кадров DLSS и генерации кадров FSR.
Теперь давайте посмотрим, как соотносятся современные технологии генерации кадров у команд «зеленых» и «красных».
↪ NVIDIA:
В версии NVIDIA для генерации кадров используется комбинация векторов движения и анализа оптического потока. Ускоритель оптического потока в графических процессорах серии RTX 40 анализирует два кадра. Затем он определяет информацию, не включенную в векторы движения игры, такую как частицы, отражения, тени и так далее. В приведенном ниже примере анализ оптического потока обеспечивает точное отслеживание теней.
В отличие от этого, компонент вектора движения отслеживает трехмерную среду и геометрию сцены. В примере с велосипедом векторы движения могут математически определить точное будущее положение велосипедиста или дороги. Однако они не могут определить тень, которая является предметом анализа оптического потока. Поэтому для получения точного изображения необходимо, чтобы эти два компонента работали вместе.
- Требует Поддержка разработчиков игры
- يستخدم смешивание Из Анализ оптического потока وВекторы движения
- ограниченный с оборудованием На графических процессорах RTX 40
- Невозможно Внедрение этого на Уровень программы водителя
↪ AMD:
Технология генерации кадров FSR 3 очень похожа на технологию генерации кадров DLSS от NVIDIA. Помимо некоторых изменений в названии, эта технология также объединяет анализ визуального потока и векторы движения . По понятным причинам, обе технологии требуют поддержки со стороны разработчиков игр.
- Требует Поддержка разработчиков игры
- يستخدم смешивание Из Анализ оптического потока وВекторы движения
- Эту функцию можно включить на графических процессорах данной серии. RX 5000/6000 وRTX 20/30/40
- Невозможно Внедрение этого на Уровень программы водителя
Аномалия: Кадры движения жидкости AMD (AFMF)
Наиболее близким аналогом инструмента генерации кадров, определяемого игроком, является AMD Fluid Motion Frames . AFMF никак не взаимодействует с игрой. Он полагается исключительно на анализ визуального потока или прогнозирование следующего кадра.
Это позволяет ему работать практически со всеми играми, поддерживающими DirectX 11/12 , поскольку он не требует никакой программной поддержки. AFMF фактически не увеличивает частоту кадров, но делает игру более плавной, поскольку вы увидите «плюс » кадров на экране.
Итак, в чем же недостатки? Ну, AFMF даже близко не сравнится с DLSS FG или FSR FG. Кроме того, пользователям придется мириться с ошибками в пользовательском интерфейсе. Однако, поскольку он работает на аппаратном уровне, это очень хороший вариант, если вы готовы мириться с любыми возможными ошибками.
- لا يتطلب Поддержка разработчиков игр
- يستخدم Только анализ оптического потока
- Он поддерживает только графические процессоры. РДНА2 или последний
- Работает чисто على Уровень определения оператора
Ответит ли NVIDIA на запрос AFMF?
Очевидный ответ — « мы не знаем », потому что NVIDIA пока не делала никаких заявлений по поводу такой возможности. Аарон Штейнман из AMD подтверждает, что их шаг подтолкнет NVIDIA к разработке чего-то подобного AFMF в ближайшее время.
«Мне любопытно посмотреть, посчитает ли NVIDIA теперь, что ей следует последовать нашему примеру и сделать некоторые из этих решений определяемыми драйверами».
Аарон Стейнман , для PC Gamer
Интересно, что мы не видели версии AFMF от NVIDIA, особенно после того, как с гордостью заявлялось, что серия RTX 40 имеет лучший ускоритель оптического потока по сравнению с Ampere (RTX 30). Это была главная причина, по которой NVIDIA FG (использование оптического потока + векторов движения) можно было включить только на Ada Lovelace.
С другой стороны, NVIDIA, возможно, потребуется обучить для этого проекта новую модель с нуля, что повлечет за собой значительные дополнительные затраты.
↪ Стоит ли это того?
Генерация кадров с использованием как анализа оптического потока, так и векторов движения не лишена недостатков. Задержка ввода, создаваемая этими функциями, делает их крайне непривлекательными для геймеров. С другой стороны, AFMF на основе драйверов ничем не лучше, поскольку он потребляет частоту кадров (FPS) из-за интерполяции, при этом он непоследователен и подвержен визуальным сбоям и ошибкам.
Более уместный вопрос: « Разве NVIDIA не следует сначала улучшить генерацию кадров DLSS ?» Учитывая, что ИИ, как правило, совершенствуется со временем, проблема задержки должна быть в значительной степени решена. Если NVIDIA не ограничена строго своими моделями данных, создание решения для генерации кадров на уровне драйвера не должно быть сложным, но стоит ли это того?
↪ Будет ли это бессмысленно?
Где по умолчанию можно использовать версию AFMF от NVIDIA? Вероятно, NVIDIA ограничит эту функцию видеокартами серии RTX 40 и выше, которые и так достаточно мощны для запуска старых игр с отличной частотой кадров. В новых играх часто присутствует поддержка DLSS 3 FG/FSR 3 FG.
Мобильные графические процессоры — это другой случай, но подход на уровне драйверов был бы очень полезен для более старых архитектур, таких как Pascal , Maxwell , Kepler и Fermi . К сожалению, по техническим причинам расширить эту функцию на эти устройства практически невозможно. У них отсутствуют тензорные ядра , и CUDA мало что может с ними сделать. Даже AFMF работает только с архитектурами RDNA2 или более поздними.
Надежды на RTX 50 'Blackwell'
По слухам, серия RTX 50 дебютирует в четвертом квартале 2024 года. Ожидается множество анонсов, которые могут включать, а могут и не включать, универсальное решение для генерации кадров. Несмотря на ожидаемую привязку к аппаратному обеспечению серии RTX 40/50, NVIDIA не известна отставанием ни в одной области. Однако это всего лишь предположения, и никаких слухов, указывающих на подобные планы NVIDIA, нет.
Заключение
Несмотря на беспрецедентный рост искусственного интеллекта (ИИ), для его обработки и ускорения необходимы достаточно мощные аппаратные средства. Если ядра вашего графического процессора недостаточно быстры, интерполяция кадров в реальном времени просто невозможна. Можно было бы перенести эту обработку на сервер, но это потребовало бы подписки и привело бы к очень высокой задержке. Производителям графических процессоров важно найти баланс. Что вы думаете по этому поводу? Поделитесь своим мнением в комментариях.
Общие вопросы
Что такое генерация кадров на основе драйверов простыми словами?
Проще говоря, генерация кадров на уровне детализации — это универсальное решение для создания кадров внутри кадров без необходимости поддержки со стороны разработчиков игр.
Если это решение когда-нибудь будет выпущено, будет ли NVIDIA ограничивать использование своего решения для генерации кадров на уровне драйверов только видеокартами серии RTX 40 или более высокими версиями?
Скорее всего, да. Поскольку DLSS 3 FG требует видеокарт серии RTX 40 из-за нового «ускорителя оптического потока», следует ожидать, что официальные драйверные решения будут иметь аналогичные требования.
Произведёт ли линейка RTX 50 революцию в технологии генерации кадра, какой мы её знаем?
Подтвержденных слухов по этому поводу нет. Только время покажет, особенно учитывая, что большинство из нас не были знакомы с технологией генерации кадров до того, как NVIDIA анонсировала её два года назад.
Комментарии закрыты.