Трассировка лучей делает игры реалистичнее, но за это приходится платить производительностью. В AMD решили проверить другой подход: вместо расчёта каждого отражения предложить ИИ самому сгенерировать итоговое освещение.
Разработчики назвали метод «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии». Основой стала Stable Diffusion 2.1 Turbo, которой на вход подают кадр с прямым светом, а затем нейросеть восстанавливает глобальное освещение сцены.
Для обучения AMD подготовила 31 000 синтетических кадров интерьеров. В каждом было от 1 до 30 источников света и движущиеся объекты, а набор данных прогнали 50 раз на ускорителях AMD Instinct MI210.
Но одной генерации изображения оказалось недостаточно. Модели передают сведения о свете, материалах и геометрии, чтобы результат соответствовал сцене. Дополнительно используется временной VAE, который сопоставляет кадры по движению и сохраняет предыдущие результаты — это должно уменьшить мерцание.
По словам разработчиков, технология способна восстанавливать мягкие тени и отражённый свет. При этом AMD утверждает, что некоторые другие методы дают визуальные искажения и фактически «галлюцинируют» детали сцены.
Звучит впечатляюще, но до игр ещё далеко. На RTX 3090 один кадр обрабатывается за 0,29 секунды — это около 3,45 кадра в секунду при разрешении 512 × 512 и потреблении 8-9 ГБ видеопамяти.
Причём речь идёт только о глобальном освещении, а не обо всём рендеринге. Пока это скорее демонстрация направления, но если ИИ научится делать такую работу быстрее, разработчики получат ещё один способ экономить вычислительные ресурсы без полного отказа от реалистичного света.
