Инженеры Google запустили Doom в Stable Diffusion

Чудовищная технология называется GameNGen.

Google активно, прямо ударными темпами развивает искусственный интеллект. Плоды этого развития достигают нас лишь через абсолютно коммерческие продукты на подобии виртуального помощника Gemini.

Но есть и другая сторона Google, где талантливые специалисты занимаются безумными вещами. Так, одна из команд Google всерьез озаботилась игровыми движками, работающими в реальном времени (real-time game engines).

Так получился движок GameNGen. И первой игрой на нем стала классическая Doom. Процесс разработки происходил так: сперва одна нейросеть научилась играть в Doom; затем ученые записали прохождение Doom; прохождение разбили на кадры и скормили Stable Diffusion 1.4.


Что дальше? Модель генерирует игровой процесс с частотой в районе 20 кадров/с. в ответ на команды от игрока. Артефакты почти неразличимы, так что отличить сгенерированный геймплей от реального сложно.

Модель уверенно держит значения на интерфейсе и даже «запоминает» уничтоженных противников, не отображая их после возвращения в локацию. Длительных тестов никто не устраивал, но энтузиасты возбудились конкретно.

---

Идея давно плавала в умах, одиночки пытались сгенерировать игровой процесс различных игр. Но вот в дело вступил малый научный коллектив, все красиво оформил и получил внятные результаты.