Математики добрались до нейронных сетей
На arxiv.org выложен интересный препринт: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine.
Как видно из названия, исследователи утверждают, что нейронные сети, обученные методом градиентного спуска (один из самых распространённых вариантов обучения) близки такой штуке как kernel machines — одной из техник машинного обучения «предыдущего поколения».
У kernel machines есть несколько интересных особенностей:
- Техника хорошо проработана математически.
- Требует значительно менее дорогих вычислений.
- Вместо «выделения» признаков «напрямую» использует обучающую выборку.
Из этого может неслучиться несколько интересных вещей.
- «Готовая» математика упростит сети и/или улучшит их результат и/или ускорит/удешевит обучение.
- Область возможностей сетей очертится более чётко — окажется, что они не выделяют никакие новые признаки, а используют только «запутанные» данные из обучающей выборки.
Оба варианта выглядят довольно интересно.
Процедурную генерацию в массы!
Пример процедурной генерации.
Google выпустил экспериментальную нейронку, которая создаёт изображения новых существ «по чертежу». «Пример чертежа» на заглавной картинке.
То есть на генерации аватарок развитие нейронок не остановилось и даже не запнулось. Грядут большие перемены, как минимум, на рынке мультимедиа.
Но одна вещь меня пугает: что дозволено Юпитеру, не дозволено быку. Нейронки и процедурная генерация способны очень на многое, но насколько эти технологии будут доступны рядовым разработчикам?
Русскоязычная GPT-2+ от Сбера vs «Сказка»
Сбер выпусти свой генератор текста, основанный на GPT-2. Я попробовал скормить ему сказочные описания действий героев. Проверял на jupiter note, опубликованной в вебе, так что вы тоже можете с ней поиграть.
Обновлено: говорят, использовали на GPT-3, а GPT-2 с доработками.
Получилось средненько — не на тех текстах всё-таки нейронка обучалась. Вот если бы ей фэнтези скормили… Текст получается осмысленный, но чувствуется явная нехватка контекста.
Самые интересные примеры под катом.
Нейронный сети научили генерировать полноценные анимэшные аватарки
Пример сгенерированных нейронной сетью аватарок
Пример можно найти на картинке и по ссылкам:
Но куда интереснее не сам результат, а способ его получения:
- Сырую обучающую выборку слили с сайта об японских играх (изображения персонажей).
- На этих изображениях сторонней нейронной сетью распознали лица.
- Другой сторонней нейронной сетью назначили полученным портретам теги (цвет волос, глаз, etc).
- Обучили свою сеть, которая по параметрам генерирует картинки.
- Использовали сеть из пункта 3 для расчёта оценочной функции (на сколько полученная картинка соответствует требованиям).
- Конечный результат получается генерацией нескольких аватарок и выбором одной с лучшим значением оценочной функции.
То есть в работе задействовано 3 нейронные сети, 2 из которых — обучены ранее другими людьми. По этому поводу можно было бы расписать много интересного, но просто оставлю как факт.