Математики добрались до нейронных сетей

На arxiv.org выложен интересный препринт: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine.

Как видно из названия, исследователи утверждают, что нейронные сети, обученные методом градиентного спуска (один из самых распространённых вариантов обучения) близки такой штуке как kernel machines — одной из техник машинного обучения «предыдущего поколения».

У kernel machines есть несколько интересных особенностей:

• Техника хорошо проработана математически.
• Требует значительно менее дорогих вычислений.
• Вместо «выделения» признаков «напрямую» использует обучающую выборку.

Из этого может неслучиться несколько интересных вещей.

• «Готовая» математика упростит сети и/или улучшит их результат и/или ускорит/удешевит обучение.
• Область возможностей сетей очертится более чётко — окажется, что они не выделяют никакие новые признаки, а используют только «запутанные» данные из обучающей выборки.

Оба варианта выглядят довольно интересно.

Обсуждение на ycombinator.com

Тарантога: мемплексы

Про метаинформацию поговорили, теперь можно поговорить и про тексты. Затронем в том числе и поднятый в предыдущем эссе вопрос: является ли текст отдельной сущностью или утверждением метаинформации.

По названию поста уже можно сделать вывод, что говорить мы будем не совсем про тексты, но давайте не забегать вперёд.

Сначала определимся с тем что такое текст.

Я немного схитрил в предыдущих постах, когда говорил, что экзокортекс управляет текстами. Важны не только тексты, но и картинки, видеоролики, звукозаписи, чертежи и так далее.

Поэтому под текстами я имел в виду не «последовательность символов», а скорее «текстовый документ», который может содержать разнородную информацию, включающую и сам текст и какие-то медиа-объекты.

Далее под текстом я буду понимать именно «текстовый документ», если явно не будет указано обратное.

Далее

О механиках сбора ресурсов

На mmozg.net случилось обсуждение механик сбора ресурсов: какие нравятся, какие не нравятся и так далее. Вынесу в отдельный пост своё веское мнение по этому поводу.

Думаю неправильно ставить вопрос о механиках сбора ресурсов: мы играем не чтобы собирать ресурсы, мы собираем ресурсы, чтобы усиливать игровой опыт.

Поэтому вопрос не в том, какие механики для сбора ресурсов делать, а в том, какие механики сопровождать сбором ресурсов и какие сопутствующие механики-спутники для этого подходят.

Далее

Экзокортекс: метаинформация

Прежде чем собирать что-то работающее, следует разобраться с центральным элементом всей системы — информацией, которой она управляет. В этом посте я поговорю про метаинформацию текстов, а в следующем про них самих.

Но сначала внесём некоторую ясность в терминологию. Я тут пишу «экзокортекс то», «экзокортекс сё», но ведь софт, о котором я говорю, является только частью экзокортекса. Говорить про него как про целый экзокортекс в корне неправильно. Это, в конце-концов, путает.

Поэтому софту нужно отдельное название: Тарантога. В честь известного профессора. Сначала я думал назвать его Ийоном, но пришёл к выводу, что оригинальный Ийон имеет довольно посредственное отношение к управлению информацией, в отличии от его известного друга. При этом контекст этих персонажей хорошо соответствует уровню бреда, который может породить подобная система.

Напомню примерный перечень метаинформации из описания минимальной функциональности Тарантоги:

• Уникальные сущности, которые упоминаются в тексте: компании, продукты, персоны, географические объекты, события.
• Источник текста: полный url, идентификатор источника (например, «Хабр»).
• Тип текста: комментарий, пост, etc.
• Характер текста. На Хабре это может быть «урок», «перевод».
• Темы текста. Можно определить по хабу на Хабре, разделу форума или упоминаемым сущностям.
• Время создания, обновления.

Далее

Экзокортекс 3.5

Продолжаю думать о доработке своего экзокортекса. Я уже описывал его текущее состояние. Сейчас попробую прикинуть, как должен выглядеть правильный экзокортекс в 20-ых годах XXI века.

Для начала отметим несколько банальностей:

• Экзокортекс — это инструменты для работы именно с информацией. Протез руки или, там, автомобиль — это экзоскелет.
• Вид экзокортекса определяется компромиссом между потребностями человека и возможностями технологий.

Долгое время — тысячелетия — роль экзокортекса выполняли всевозможные библиотеки, картотеки, архивы. Нельзя сказать, что они были неэффективным и не развивались. Уверен, история библиотечного и архивного дела вещь интересная.

Но из-за технологических ограничений, экзокортекс был удовольствием для богатых. Можно сказать, качественный экзокортекс был недоступен рядовому жителю Земли большую часть нашей истории.

Тем ярче видны изменения, которые приносит увеличение доступности технологий экзокортекса. Достаточно посмотреть на влияние книгопечатания на становление науки.

Ситуацию изменило появление персонального компьютера. Автоматизация вычислений небывало удешевила обработку информации, последствия чего мы ещё не осознаём в полной мере, так как вычислительная техника продолжает развиваться быстрее, чем мы осваиваем новые возможности.

Поэтому, первое, что слудует отметить: экзокортекс будущего — это софт для управления личной информацией.

Термин «управление» я выбрал специально. Информацию необходимо не только хранить, но и передавать, редактировать, искать — нам приходится организовывать полный жизненный цикл информации, то есть управлять ей.

Под личной информацией я имею в виду информацию, с которой человек уже взаимодействал и счёл её полезной, или его софт счёл её полезной. Управлять всей информацией, само-собой, в обозримом будущем вряд ли получится.

Далее