Что такое DLSS 3? Можно ли использовать его на имеющемся оборудовании?

NVIDIA выпустила свои новые графические процессоры в октябре 2022 года. Благодаря новой архитектуре обработки графики на более компактных четырехнанометровых транзисторах, новые графические процессоры серии 4000 имеют множество преимуществ.

Что еще лучше, новые графические процессоры также оснащены DLSS 3 — технологией повышения качества изображения на основе искусственного интеллекта, которая может экспоненциально повысить частоту кадров на вашем компьютере.

Но что такое DLSS 3.0, и стоит ли обновляться? Что ж, давайте узнаем.

Что такое DLSS 3.0?

Сокращение от Deep Learning Super Sampling, DLSS — это технология нейронной графики, которая использует возможности искусственного интеллекта (ИИ) для повышения частоты кадров в вашей системе.

Супердискретизация в DLSS означает технику сглаживания, используемую для улучшения качества видео путем рендеринга игровых кадров в более высоком разрешении и последующего понижения дискретизации, что улучшает качество видео за счет уменьшения алиасинга. Тем не менее, рендеринг кадров с высоким разрешением сильно нагружает графический процессор, а использование функций сглаживания обычно снижает FPS. В конце концов, графический процессор должен обработать больше пиксельных данных и понизить их до исходного разрешения.


И вот на этом моменте в дело вступает «глубокое обучение» в DLSS. Видите ли, в традиционных методах сглаживания графический процессор должен рендерить кадры с более высоким разрешением, но при глубоком обучении графический процессор может пропустить этот шаг. Вместо этого ему нужно лишь генерировать кадры в исходном разрешении, а затем тензорные ядра GPU предсказывают, как кадр должен выглядеть при рендеринге в более высоком разрешении.

Этот подход снижает вычислительные затраты при рендеринге кадров в более высоком разрешении за счет вмешательства ИИ. Таким образом, проще говоря, DLSS рендерит ваши игры в более высоком разрешении с помощью искусственного интеллекта.


DLSS 3.0, с другой стороны, является третьей итерацией той же технологии. Она улучшает DLSS, предсказывая полные кадры, а не просто увеличивает разрешение кадра, что повышает FPS в геометрической прогрессии.

Как работает DLSS 3?

Прежде чем перейти к DLSS 3, важно понять, как работают старые версии и как DLSS 3 развивает их.

Как объяснялось ранее, DLSS использует искусственный интеллект для рендеринга изображений с более высоким разрешением. Это означает, что графический процессор не программируется на увеличение разрешения кадров. Вместо этого GPU обучается, показывая изображения с более низким и более высоким разрешением, чтобы запрограммировать себя.

У себя «на заводах» NVIDIA запускает конволюционную нейронную сеть (CNN) для обучения на своих суперкомпьютерах. Затем на вход этой сети подаются изображения игры, запущенной в более низком разрешении. Одновременно на выходе сети показываются те же изображения с разрешением в 64 раза больше, с включенным и выключенным сглаживанием.

В дополнение к изображениям высокого и низкого разрешения, CNN также обучается с помощью временной обратной связи. Эта обратная связь предоставляет сети информацию о том, как объекты на изображении перемещаются по кадрам относительно их исходного изображения и изображения с более высоким разрешением. Это позволяет CNN предсказывать появление следующих кадров заблаговременно, что обеспечивает лучшую частоту кадров и качество изображения.


Постоянная бомбардировка сети данными об изображениях тренирует ее, позволяя мгновенно увеличивать разрешение игр. После обучения эта сеть отправляется в графические процессоры NVIDIA через обновления драйверов, позволяя им увеличивать разрешение изображений с помощью обученных нейронных сетей.


Благодаря такому подходу GPU приходится обрабатывать гораздо меньше данных, и, если верить NVIDIA, при включенном DLSS 3 GPU обрабатывает только 1/8 часть кадра. Все остальное предсказывает ИИ. Именно этот способ с помощью ИИ позволяет в четыре раза ускорить FPS по сравнению с традиционными методами рендеринга.


Но как DLSS 3 предсказывает целые кадры? Все благодаря новой архитектуре NVIDIA Ada Lovelace, работающей на новых тензорных ядрах четвертого поколения, которая позволяет генерировать кадры с помощью ИИ.

Вот как все работает.

Генерация кадров с использованием искусственного интеллекта на DLSS 3

Как и DLSS, DLSS 3 использует тензорные ядра для повышения разрешения кадров, но также имеет специальные ускорители оптического потока, которые помогают GPU предсказывать кадры. Чтобы предсказать кадры, ускоритель оптического потока получает несколько кадров данных высокого разрешения, сгенерированных DLSS. Затем ускоритель оптического потока использует эти данные для генерации поля оптического потока.


Это поле оптического потока определяет, как изменяются данные пикселей между двумя кадрами, и эти данные вместе с векторами геометрического движения используются для генерации кадров AI. Поэтому, используя оптический поток, графические процессоры серии NVIDIA RTX 4000 могут помещать новые кадры, сгенерированные с помощью ИИ, между кадрами, сгенерированными с помощью традиционного подхода, что повышает FPS.


Однако чередование кадров, сгенерированных ИИ, в игре имеет свои проблемы, и самая большая из них — задержка ввода (Input Lag). В конце концов, GPU не может предсказать пользовательский ввод, сгенерированном с помощью ИИ.

Чтобы решить эту проблему, NVIDIA использует свою технологию Reflex.

DLSS 3 и NVIDIA Reflex

Прежде чем перейти к NVIDIA Reflex, важно понять, как движения вашей мыши достигают GPU. Когда вы двигаете мышью или нажимаете клавишу для перемещения персонажа в игре, мышь посылает информацию о наведении на CPU. Тот обрабатывает ее и отправляет в очередь рендеринга. Отсюда данные отправляются на графический процессор, который передает информацию о наведении на экран.


Этот традиционный конвейер ввода данных создает большие задержки, так как пользовательские данные могут дольше оставаться в очереди рендеринга, из-за чего вы можете пропустить хедшот в той же CS:GO. Для решения этой проблемы у нас есть NVIDIA Reflex — технология, которая устраняет очередь рендеринга и отправляет данные непосредственно на GPU от CPU, сокращая задержку ввода данных на 80 процентов.

Можно ли использовать DLSS 3 на старых графических процессорах?

NVIDIA выпустила DLSS 3 для своих GPU серии RTX 4000, и если у вас есть более старая видеокарта RTX, которая поддерживает DLSS, вам может быть интересно, улучшит ли DLSS 3 ваш игровой опыт.

Самое главное, что DLSS на старых системах улучшится с DLSS 3, поскольку в ней используется искусственный интеллект, а нейронные сети должны стать лучше с новыми обновлениями. При этом технология генерации кадров на старых системах не будет поддерживаться, так как она использует новые тензорные ядра четвертого поколения вместе с ускорителями оптического потока, которые можно найти только на NVIDIA RTX 4000-Series.

Тем не менее, согласно теме на Reddit, генерацию кадров можно включить на старых системах RTX путем внесения изменений в конфигурационные файлы. Однако у нас не было возможности проверить, работает ли это.

---

Стоит ли обновлять видеокарту ради DLSS 3?

DLSS 3 использует искусственный интеллект для увеличения разрешения игр, в которые вы играете. Такой подход не только обеспечивает более высокую частоту кадров, но и делает игры с высоким разрешением возможными на графических процессорах более низкого класса.

Поэтому, если вы хотите наслаждаться высоким FPS, играя в требовательные игры в разрешении 4k, обновление до DLSS 3 стоит того.