Будущее контента в геймдеве

Появилась новая работа по улучшению графики игр с помощью нейронных сетей. На этот раз на примере GTA V. В ролике можно посмотреть на полученный результат и на описание структуры сети.

Я уже в шутку писал об изменении pipeline арта. В этот раз сделаю более серьёзный прогноз.

Посмотрим на краткое описание системы из видео:

1. Используется две нейронки.
2. Одна сеть обучена оценивать соответствие изображения стилю. Обучающая выборка взята из набора фотографий реального города. Выход этой сети используется как оценочная функция второй нейронки.
3. Вторая сеть непосредственно трансформирует стиль графики. Она получает на вход изображение из игры сразу в нескольких форматах:
   1. итоговое отрендеренное изображение;
   2. глубина объектов;
   3. типы материалов объектов;
   4. etc.
4. Вторая сеть состоит из блоков, которые работают с разными наборами входных данных. То есть учитывает топологию изображения.

В итоге у нас получается инструмент, который формирует итоговое изображение исходя из его топологии и желаемого стиля.

На сколько я представляю, сейчас подготовка контента — это последовательная работа, каждый из этапов которой ограничен другими этапами и ограничивает их же. Например, указывая свойства материала мы должны учитывать в каких местах он будет встречаться, как будет освещаться, сколько будет объектов с таким материалов в кадре. Это затратно.

Если у нас появляется описанный инструмент, разработка контента разделится на две специализированные части:

1. Разработку топологии контента, при которой перестают быть важны детализация, нормали, углы падения света и прочее. Останутся только вещи, которые непосредственно влияют на геймплей: что где находится и из чего состоит.
2. Разработку стилистики игры, а-ля концепт-арт, только круче. Пропадёт часть ограничения топологии: «художник» будет рисовать так, как считает лучше для стилистики. Пропадут требования к оптимизации графики, поскольку эта часть нужна только для разработки.

Итоговая работа ускоряется, так как не надо синхронизировать куча ограничений:

• Художники начинают рисовать так, как считают правильным.
• Дизайнеры и архитекторы начинают проектировать так, как считают правильным.

Более того, может снизиться потребление ресурсов играми. Вместо тонн текстур и чрезмерно детализированных моделей с игрой будет поставляться одна (или несколько) обученных моделей.

Добавим сюда процедурную генерацию контента, тот же Houdini, и получим огромный скачок в количестве и качестве контента.

Какие выводы можно сделать:

1. Пора учить machine learning — велика вероятность, что лет через пять он станет обязательной технологией в геймдеве.
2. Пора делать лопаты — первый, кто создаст готовый инструмент для улучшения стиля в играх, сорвёт куш.