Используем DALL-E для геймдева
DALL-E: "Vrubel-style painting of an indie game developer working on her game, like The Demon Seated."
Получил доступ к DALL-E и попробовал применить его к чему-нибудь полезному — геймдеву. В конце-концов, к чему ещё прикручивать процедурную генерацию.
Сначала тезисно расскажу об общих впечатлениях, а потом посмотрим для чего в геймдеве можно использовать этот инстрмент прямо сейчас. А для чего пока не получится.
Осторожно, много трафика — DALL-E отдаёт png файлы размером 1-2 мегабайта. Я немного пожал их, но качество старался сохранить на максимуме, поэтому картинки всё-равно тяжёлые.
Процедурную генерацию в массы!
Пример процедурной генерации.
Google выпустил экспериментальную нейронку, которая создаёт изображения новых существ «по чертежу». «Пример чертежа» на заглавной картинке.
То есть на генерации аватарок развитие нейронок не остановилось и даже не запнулось. Грядут большие перемены, как минимум, на рынке мультимедиа.
Но одна вещь меня пугает: что дозволено Юпитеру, не дозволено быку. Нейронки и процедурная генерация способны очень на многое, но насколько эти технологии будут доступны рядовым разработчикам?
Процедурная генерация и прочая математика
Открыл для себя доклады, которые Squirrel Eiserloh делал для математической секции GDC. Очень наглядно и доступно рассказывает о процедурной генерации, случайности и прочей математике.
Доклады:
- Процедурная генерация (смотреть по порядку): 1, 2, 3, 4, 5, 6
- Случайность основанная на шуме (например, Перлина)
- Работа с камерой
- Нелинейные преобразования
- Математика RGB(A)
- Матричные операции
- Генерация случайных чисел и шумов
Доклады о процедурной генерации особенно интересны.
Генерация текста на русском по шаблонам
И пять лет не прошло (на самом деле прошло), как у меня дошли руки рассказать чем генерируются тексты в Сказке (хабр).
Стастья о python библиотеке для генерации текстов с учётом зависимости слов и их грамматических особенностей.
Github: https://github.com/the-tale/utg PyPi: https://pypi.org/project/UTG/
Нейронный сети научили генерировать полноценные анимэшные аватарки
Пример сгенерированных нейронной сетью аватарок
Пример можно найти на картинке и по ссылкам:
Но куда интереснее не сам результат, а способ его получения:
- Сырую обучающую выборку слили с сайта об японских играх (изображения персонажей).
- На этих изображениях сторонней нейронной сетью распознали лица.
- Другой сторонней нейронной сетью назначили полученным портретам теги (цвет волос, глаз, etc).
- Обучили свою сеть, которая по параметрам генерирует картинки.
- Использовали сеть из пункта 3 для расчёта оценочной функции (на сколько полученная картинка соответствует требованиям).
- Конечный результат получается генерацией нескольких аватарок и выбором одной с лучшим значением оценочной функции.
То есть в работе задействовано 3 нейронные сети, 2 из которых — обучены ранее другими людьми. По этому поводу можно было бы расписать много интересного, но просто оставлю как факт.