OpenAI Chat для геймдева
Vrubel-style painting of how a game designer work on game texts (c) DALL-E
Раз поигрался с DALL-E и смотрел предыдущие текстовые нейронки для Сказки, то надо и OpenAI Chat посмотреть.
Глубоко не копал, так как концептуально возможности и ограничения были понятны уже из экспериментов с DALL-E.
Приведу пример, как одну из следующих версий этой сетки можно будет использовать для Сказки.
Если вам интересны более детальные демонстрации и выводы, смотрите пост про DALL-E для геймдева.
Используем DALL-E для геймдева
DALL-E: "Vrubel-style painting of an indie game developer working on her game, like The Demon Seated."
Получил доступ к DALL-E и попробовал применить его к чему-нибудь полезному — геймдеву. В конце-концов, к чему ещё прикручивать процедурную генерацию.
Сначала тезисно расскажу об общих впечатлениях, а потом посмотрим для чего в геймдеве можно использовать этот инстрмент прямо сейчас. А для чего пока не получится.
Осторожно, много трафика — DALL-E отдаёт png файлы размером 1-2 мегабайта. Я немного пожал их, но качество старался сохранить на максимуме, поэтому картинки всё-равно тяжёлые.
Будущее контента в геймдеве
Улучшаем графику до реалистичной с помощью нейронных сетей.
Появилась новая работа по улучшению графики игр с помощью нейронных сетей. На этот раз на примере GTA V. В ролике можно посмотреть на полученный результат и на описание структуры сети.
Я уже в шутку писал об изменении pipeline арта. В этот раз сделаю более серьёзный прогноз.
Процедурную генерацию в массы!
Пример процедурной генерации.
Google выпустил экспериментальную нейронку, которая создаёт изображения новых существ «по чертежу». «Пример чертежа» на заглавной картинке.
То есть на генерации аватарок развитие нейронок не остановилось и даже не запнулось. Грядут большие перемены, как минимум, на рынке мультимедиа.
Но одна вещь меня пугает: что дозволено Юпитеру, не дозволено быку. Нейронки и процедурная генерация способны очень на многое, но насколько эти технологии будут доступны рядовым разработчикам?
Нейронный сети научили генерировать полноценные анимэшные аватарки
Пример сгенерированных нейронной сетью аватарок
Пример можно найти на картинке и по ссылкам:
Но куда интереснее не сам результат, а способ его получения:
- Сырую обучающую выборку слили с сайта об японских играх (изображения персонажей).
- На этих изображениях сторонней нейронной сетью распознали лица.
- Другой сторонней нейронной сетью назначили полученным портретам теги (цвет волос, глаз, etc).
- Обучили свою сеть, которая по параметрам генерирует картинки.
- Использовали сеть из пункта 3 для расчёта оценочной функции (на сколько полученная картинка соответствует требованиям).
- Конечный результат получается генерацией нескольких аватарок и выбором одной с лучшим значением оценочной функции.
То есть в работе задействовано 3 нейронные сети, 2 из которых — обучены ранее другими людьми. По этому поводу можно было бы расписать много интересного, но просто оставлю как факт.