Нейросеть xVASynth решила проблему озвучки модификаций Skyrim и других игр Bethesda

Генерация голосов должна упростить разработку глобальных сюжетных модификаций для Skyrim, Fallout 4 и всего остального.

Развитие серий TES и Fallout поставило перед создателями сюжетных модификаций непростую задачу. Если раньше один человек мог записать все реплики текстом, то новое поколение игр требует озвучку. Любой игрок резко ощутит переход из живой оригинальной среды с десятками голосов в немую зону фанатской поделки.

Справляются ли самые продвинутые фанаты с озвучкой? Они могут нарезать реплики из существующих игр или нанять актеров. Увы, интеграция такого материала в игру всегда оказывается неровной: обязательно либо налажают озвучальщики, либо напортачит звукарь. Любительская озвучка ранит уши неестественными интонациями, изоляцией голоса от окружающего мира и прочими огрехами, для исправления которых требуется слишком много усилий и средств.


Не могу подтвердить, что создатель xVASynth, Дэн Рута из университета Суррея, задумывался о тонкостях озвучки. Тем не менее, он использовал английские реплики из шести игр Bethesda для обучения нейросети. На достижение удовлетворительного результата и выпуска версии 1.0 ушло около 2 лет. Женские голоса получились замечательными, а вот мужские все еще страдают от искажений – фраза «Stop right there, criminal scum!» звучит удручающе бездушно.

Чтобы мододелам было проще жить, Дэн Рута выложил свою разработку в виде отдельных модулей для каждой игры: Morrowind, Oblivion, Skyrim, Fallout 3, Fallout: New Vegas и Fallout 4. Вероятно, некоторые талантливые разработчики смогут исправить недостатки генерации с помощью грамотного мастеринга, но пока что нейросеть используется только для мемов.

---

Прочитать техническое описание xVASynth можно в статье от разработчика. Сам инструмент мирно лежит на NexusMods.

Это не первая подобная разработка: например, есть шуточный сайт, позволяющий озвучить любой текст голосами известных актеров из игр и фильмов.