Архив метки: Теория

Математики добрались до нейронных сетей

На arxiv.org выложен интересный препринт: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine.

Как видно из названия, исследователи утверждают, что нейронные сети, обученные методом градиентного спуска (один из самых распространённых вариантов обучения) близки такой штуке как kernel machines — одной из техник машинного обучения «предыдущего поколения».

У kernel machines есть несколько интересных особенностей:

  • Техника хорошо проработана математически.
  • Требует значительно менее дорогих вычислений.
  • Вместо «выделения» признаков «напрямую» использует обучающую выборку.

Из этого может неслучиться несколько интересных вещей.

  • «Готовая» математика упростит сети и/или улучшит их результат и/или ускорит/удешевит обучение.
  • Область возможностей сетей очертится более чётко — окажется, что они не выделяют никакие новые признаки, а используют только «запутанные» данные из обучающей выборки.

Оба варианта выглядят довольно интересно.

Обсуждение на ycombinator.com

Отключать SWIFT — плохая идея?

Тезисно, так как прецедентов отключения SWIFT мало, каждый из них уникален, а значит предсказать реальные последствия затруднительно.

Читать далее

О деградации фана

источник изображения

На mmozg.net появился любопытный пост о динамике поведения разработчиков и игроков в EVE, по крайней мере я так его тему увидел. Пост хорош сам по себе, но затрагивает куда более широкую тему, которую я и вынес в заголовок.

А поскольку я разрабатываю как раз мини аналог EVE — ММО с единственным игровым сервером без ресетов — мне есть чего добавить по теме. Это эссе развивает мои комментарии к оригинальному посту.

Следующие соображения справедливы для всех игр, но сильнее всего относятся к ММО. Через призму разработки многопользовательской песочницы с персистентным миром я и буду рассказывать.

Читать далее

Тарантога: мемплексы

Про метаинформацию поговорили, теперь можно поговорить и про тексты. Затронем в том числе и поднятый в предыдущем эссе вопрос: является ли текст отдельной сущностью или утверждением метаинформации.

По названию поста уже можно сделать вывод, что говорить мы будем не совсем про тексты, но давайте не забегать вперёд. 

Сначала определимся с тем что такое текст.  

Я немного схитрил в предыдущих постах, когда говорил, что экзокортекс управляет текстами. Важны не только тексты, но и картинки, видеоролики, звукозаписи, чертежи и так далее. 

Поэтому под текстами я имел в виду не «последовательность символов», а скорее «текстовый документ», который может содержать разнородную информацию, включающую и сам текст и какие-то медиа-объекты. 

Далее под текстом я буду понимать именно «текстовый документ», если явно не будет указано обратное.

Читать далее

Беларусь: три месяца после выборов

Все статьи о кризисе в Беларуси.

С выборов прошло уже почти три месяца, тенденции прояснились, поэтому попробую описать картину происходящего. 

Явный прогноз делать не буду, так как не могу определиться с временными рамками процессов. Но из текста вполне можно самостоятельно понять к чему всё идёт на мой взгляд. Не ясно только сколько займёт движение и сколько взлётов и падений будет по дороге.

Читать далее