Больше новостей о процедурной генерации

На этот раз Open AI рассказали о новой нейронке (на русском) а-ля GPT-3, но для изображений. Пример её работы можно видеть на заглавной картинке. Изображения сформированы для фразы «A capybara made of voxels sitting in a field» (капибара из вокселей, которая сидит в поле).

На странице с анонсом можно посмотреть другие примеры работ, включая разные способы изображения (3D рендер, изометрию, низкополигональные модели, etc).

Результаты, конечно, кривоваты. Но, надо учесть два нюанса:

• Это первый подход к подобной архитектуре с подобными деньгами.
• Это сеть общего назначения, не натасканная на геймдев.

А вот если бы её допилить, специализировать на фэнтези, да подключить к Сказке… Но у меня столько денег нет :-) А у кого-нибудь обязательно найдутся.

Постепенно вырисовывается новый пайплайн для арта:

• нейронка для постановки задания;
• нейронка для генерации контента;
• нейронка для устранения неточностей на картинке;
• нейронка для стилизации;
• нейронка для вылизывания;
• нейронка для выделения 3D меша;
• нейронка для оптимизации меша;
• нейронка для анимации;

Интеграция контента, позиционирование камер, цвет, свет, звук и прочее — тоже нейронки. Ну вы поняли :-D

Товарищи, которые научатся делать эти лопаты, сорвут большой куш.

Процедурную генерацию в массы!

Google выпустил экспериментальную нейронку, которая создаёт изображения новых существ «по чертежу». «Пример чертежа» на заглавной картинке.

То есть на генерации аватарок развитие нейронок не остановилось и даже не запнулось. Грядут большие перемены, как минимум, на рынке мультимедиа.

Но одна вещь меня пугает: что дозволено Юпитеру, не дозволено быку. Нейронки и процедурная генерация способны очень на многое, но насколько эти технологии будут доступны рядовым разработчикам?

Далее

Процедурная генерация и прочая математика

Открыл для себя доклады, которые Squirrel Eiserloh делал для математической секции GDC. Очень наглядно и доступно рассказывает о процедурной генерации, случайности и прочей математике.

Доклады:

• Процедурная генерация (смотреть по порядку): 1, 2, 3, 4, 5, 6
• Случайность основанная на шуме (например, Перлина)
• Работа с камерой
• Нелинейные преобразования
• Математика RGB(A)
• Матричные операции
• Генерация случайных чисел и шумов

Доклады о процедурной генерации особенно интересны.

Нейронный сети научили генерировать полноценные анимэшные аватарки

Пример можно найти на картинке и по ссылкам:

сайт с генератором

краткий отчёт по разработке

статья

Но куда интереснее не сам результат, а способ его получения:

1. Сырую обучающую выборку слили с сайта об японских играх (изображения персонажей).
2. На этих изображениях сторонней нейронной сетью распознали лица.
3. Другой сторонней нейронной сетью назначили полученным портретам теги (цвет волос, глаз, etc).
4. Обучили свою сеть, которая по параметрам генерирует картинки.
5. Использовали сеть из пункта 3 для расчёта оценочной функции (на сколько полученная картинка соответствует требованиям).
6. Конечный результат получается генерацией нескольких аватарок и выбором одной с лучшим значением оценочной функции.

То есть в работе задействовано 3 нейронные сети, 2 из которых — обучены ранее другими людьми. По этому поводу можно было бы расписать много интересного, но просто оставлю как факт.