Пара слов о GitHub Сopilot
DALL-E: "Vrubel style painting of pair programming Robot + Human. An robot is writing code, a human is reviewing code".
Последние несколько недель использовал GitHub Сopilot, благо для Emacs есть плагин. Поделюсь впечатлениями.
Для справки, я уже лет 15 осознанно не использовал умное автодополнение. Всё моё автодополнение — это DynamicAbbreviations, по сути — дополнение написанного слова на основе словаря из открытых исходников.
Причина отказа такая: используя «умное» автодополнение (например, подсказку аттрибутов/методов объекта) перестаёшь понимать проект. Начинаешь на автомате брать предлагаемые варианты методов/переменных, не разбираясь что они конкретно делают и есть ли альтернатинвые варианты.
В краткосрочной перспективе отказ от автодополнения повышает нагрузку на человека (особенно на память) и замедляет работу, но в доглосрочной даёт глубокое понимание проекта, возможнсоть крутить его в голове как угодно, что с лихвой окупает потери на скорости в моменте. А поскольку я работаю только над долгими проектами, долгосрочная выгода важнее.
С Copilot я, похоже, вернуcь к умному автодополнению, в его более правильном варианте.
Итак, давайте посмотрим чего умеет и не умеет Copilot.
Write Your Own Adventure
Я уже публиковал концепт документы игр. В этот раз будет не концепт, a скорее white paper игр нового поджанра. Несколько его представителей уже есть, со временем их будет становиться больше.
О чём-то похожем я уже говорил, когда писал про будущее контента в геймдеве.
Write Your Own Adventure — WYOA — по аналогии с Choose Your Own Adventure — CYOA.
В WYOA игрок не ограничен небольшим количеством предопределённых вариантов действий, как приходится делать в CYOA из-за сложности поддержки дерева сюжета. Количество выборов будет либо очень большим либо бесконечным. Благодаря нейронным сетям, конечно, но о них позже.
(Анти?)утопия науки
Я нахожусь далеко от науки, особенно от хардкорной. Да и сроки прогноза неопределённо долгие. Поэтому предлагаю смотреть на эссе, как на описания одного из множества вариантов отдалённого будущего.
Если копнуть в историю науки, можно заметить, что не существует чёткого момента её возникновения. Такого, чтобы: «вот досюда не было науки, а после она уже есть».
Тем более, если смотреть на науку как на движитель прогресса. Если прогресс обеспечивается только наукой, то как он происходил до неё, как она могла возникнуть без прогрессивных изменений?
Очевидно, и до появления концепции научной деятельности, люди познавали мир, улучшали его. Более того, совершенствовали инструменты познания, пока те не оформились в то, что мы зовём наукой.
Фактически, наука — абстракция — мемплекс, который собрал под общим названием набор инструментов для манипуляций реальностью. Набор оказался удачным: результаты его применения усиливают эффективность будущих применений и приносят побочную пользу. Возникшая обратная связь и привела, вкупе с некоторыми другими штуками, к взрывному росту технологий.
Как любой мемплекс, набор концепций науки не фиксирован навечно, он меняется, иногда существенно. Например, критерий фальсифицируемости бы сформулирован относительно недавно — в 1935 году, и привёл к большим сдвигам в научной деятельности. А до этого как-то без него обходились.
То есть изменение даже базовых принципов науки нормально, фатальной катастрофой не грозит, происходило и будет происходить в будущем.
Возможности одного такого изменения и посвящено эссе.
Будущее контента в геймдеве
Улучшаем графику до реалистичной с помощью нейронных сетей.
Появилась новая работа по улучшению графики игр с помощью нейронных сетей. На этот раз на примере GTA V. В ролике можно посмотреть на полученный результат и на описание структуры сети.
Я уже в шутку писал об изменении pipeline арта. В этот раз сделаю более серьёзный прогноз.
Больше новостей о процедурной генерации
Примеры генерации 3D модели по запросу "A capybara made of voxels sitting in a field"
На этот раз Open AI рассказали о новой нейронке (на русском) а-ля GPT-3, но для изображений. Пример её работы можно видеть на заглавной картинке. Изображения сформированы для фразы «A capybara made of voxels sitting in a field» (капибара из вокселей, которая сидит в поле).
На странице с анонсом можно посмотреть другие примеры работ, включая разные способы изображения (3D рендер, изометрию, низкополигональные модели, etc).
Результаты, конечно, кривоваты. Но, надо учесть два нюанса:
- Это первый подход к подобной архитектуре с подобными деньгами.
- Это сеть общего назначения, не натасканная на геймдев.
А вот если бы её допилить, специализировать на фэнтези, да подключить к Сказке… Но у меня столько денег нет :-) А у кого-нибудь обязательно найдутся.
Постепенно вырисовывается новый пайплайн для арта:
- нейронка для постановки задания;
- нейронка для генерации контента;
- нейронка для устранения неточностей на картинке;
- нейронка для стилизации;
- нейронка для вылизывания;
- нейронка для выделения 3D меша;
- нейронка для оптимизации меша;
- нейронка для анимации;
Интеграция контента, позиционирование камер, цвет, свет, звук и прочее — тоже нейронки. Ну вы поняли :-D
Товарищи, которые научатся делать эти лопаты, сорвут большой куш.