Математики добрались до нейронных сетей

На arxiv.org выложен интересный препринт: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine.

Как видно из названия, исследователи утверждают, что нейронные сети, обученные методом градиентного спуска (один из самых распространённых вариантов обучения) близки такой штуке как kernel machines — одной из техник машинного обучения «предыдущего поколения».

У kernel machines есть несколько интересных особенностей:

• Техника хорошо проработана математически.
• Требует значительно менее дорогих вычислений.
• Вместо «выделения» признаков «напрямую» использует обучающую выборку.

Из этого может неслучиться несколько интересных вещей.

• «Готовая» математика упростит сети и/или улучшит их результат и/или ускорит/удешевит обучение.
• Область возможностей сетей очертится более чётко — окажется, что они не выделяют никакие новые признаки, а используют только «запутанные» данные из обучающей выборки.

Оба варианта выглядят довольно интересно.

Обсуждение на ycombinator.com

Неожиданно поучаствовал в подкасте портала mmozg.net

Поговорили про новости ММО игр, некоторые вопросы их дизайна и особенности опыта, который они дают игрокам.

Меня в подкасте не очень много, но что-то полезное вроде говорю :-)

Хронометраж можно найти на странице ролика в YouTube, на сайте mmozg.net и в этом посте (украден с mmozg.net).

Далее

Русскоязычная GPT-2+ от Сбера vs «Сказка»

Сбер выпусти свой генератор текста, основанный на GPT-2. Я попробовал скормить ему сказочные описания действий героев. Проверял на jupiter note, опубликованной в вебе, так что вы тоже можете с ней поиграть.

Обновлено: говорят, использовали на GPT-3, а GPT-2 с доработками.

Получилось средненько — не на тех текстах всё-таки нейронка обучалась. Вот если бы ей фэнтези скормили… Текст получается осмысленный, но чувствуется явная нехватка контекста.

Самые интересные примеры под катом.

Далее

Про символы

Хочу поделиться некоторыми мыслями о природе символов. Даже не столько мыслями, сколько очевидными фактами, которые по непонятным мне причинам некоторым не известны.

Под символом будем понимать любой знак или его эквивалент в широком смысле: флаги, движения, гербы, песни, здания — что угодно, что может «символизировать».

Далее

О книге «Фрикономика»

Долго игнорировал эту книгу, но постепенно у меня сложилось впечатление, что она пользуется хорошей репутацией у множества неглупых людей. Я повёлся и купил. Не могу сказать, что потратил деньги зря, но и пользы не получил.

Фрикономика — книга для скучающих домохозяек, студентов, школьников. Для всех, кому скучно или кто ещё не сталкивался с реальной сложностью нашего мира. На последних книга действительно может произвести некоторое впечатление, но системной пользы не нанесёт.

Собрание баек, сдобренное отступлениями авторов с похвалой себя любимых. Никакой общей темы или теории в ней не излагается.

Далее