Поругайте (или похвалите) меня
Но лучше всё-таки поругайте. Похвалить я и сам могу ;-)
Бложику нужна обратная связь от читателей.
Мне нравится как он изменился за последний год: посерьёзнел, обрёл некоторую самобытность. Как мне кажется. Подробнее об этом я постараюсь рассказать в отдельном посте.
А, и самое главное — блог читают о_О Привет читатели!
Чтобы и мне и бложику развиваться дальше, необходимо исправлять слабые места и находить новые возможности. Некоторые вещи я вижу, но определённо не все и не в том свете, в котором видите вы.
Поэтому я буду очень благодарен за пару слов с критикой или советами от вас мне:
- как сделать бложик лучше;
- как не сделать хуже;
- о чём писать, о чём не писать;
- и так далее…
Пишите где вам удобно: в комментариях к посту, в телеграмме, в facebook, на почту, etc.
Заодно, принимаю заказы на посты. Пишите интересующие вас темы, постараюсь их раскрыть, если получится :-)
Математики добрались до нейронных сетей
На arxiv.org выложен интересный препринт: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine.
Как видно из названия, исследователи утверждают, что нейронные сети, обученные методом градиентного спуска (один из самых распространённых вариантов обучения) близки такой штуке как kernel machines — одной из техник машинного обучения «предыдущего поколения».
У kernel machines есть несколько интересных особенностей:
- Техника хорошо проработана математически.
- Требует значительно менее дорогих вычислений.
- Вместо «выделения» признаков «напрямую» использует обучающую выборку.
Из этого может неслучиться несколько интересных вещей.
- «Готовая» математика упростит сети и/или улучшит их результат и/или ускорит/удешевит обучение.
- Область возможностей сетей очертится более чётко — окажется, что они не выделяют никакие новые признаки, а используют только «запутанные» данные из обучающей выборки.
Оба варианта выглядят довольно интересно.
Процедурную генерацию в массы!
Пример процедурной генерации.
Google выпустил экспериментальную нейронку, которая создаёт изображения новых существ «по чертежу». «Пример чертежа» на заглавной картинке.
То есть на генерации аватарок развитие нейронок не остановилось и даже не запнулось. Грядут большие перемены, как минимум, на рынке мультимедиа.
Но одна вещь меня пугает: что дозволено Юпитеру, не дозволено быку. Нейронки и процедурная генерация способны очень на многое, но насколько эти технологии будут доступны рядовым разработчикам?
Тарантога: мемплексы
Про метаинформацию поговорили, теперь можно поговорить и про тексты. Затронем в том числе и поднятый в предыдущем эссе вопрос: является ли текст отдельной сущностью или утверждением метаинформации.
По названию поста уже можно сделать вывод, что говорить мы будем не совсем про тексты, но давайте не забегать вперёд.
Сначала определимся с тем что такое текст.
Я немного схитрил в предыдущих постах, когда говорил, что экзокортекс управляет текстами. Важны не только тексты, но и картинки, видеоролики, звукозаписи, чертежи и так далее.
Поэтому под текстами я имел в виду не «последовательность символов», а скорее «текстовый документ», который может содержать разнородную информацию, включающую и сам текст и какие-то медиа-объекты.
Далее под текстом я буду понимать именно «текстовый документ», если явно не будет указано обратное.
Экзокортекс: метаинформация
Прежде чем собирать что-то работающее, следует разобраться с центральным элементом всей системы — информацией, которой она управляет. В этом посте я поговорю про метаинформацию текстов, а в следующем про них самих.
Но сначала внесём некоторую ясность в терминологию. Я тут пишу «экзокортекс то», «экзокортекс сё», но ведь софт, о котором я говорю, является только частью экзокортекса. Говорить про него как про целый экзокортекс в корне неправильно. Это, в конце-концов, путает.
Поэтому софту нужно отдельное название: Тарантога. В честь известного профессора. Сначала я думал назвать его Ийоном, но пришёл к выводу, что оригинальный Ийон имеет довольно посредственное отношение к управлению информацией, в отличии от его известного друга. При этом контекст этих персонажей хорошо соответствует уровню бреда, который может породить подобная система.
Напомню примерный перечень метаинформации из описания минимальной функциональности Тарантоги:
- Уникальные сущности, которые упоминаются в тексте: компании, продукты, персоны, географические объекты, события.
- Источник текста: полный url, идентификатор источника (например, «Хабр»).
- Тип текста: комментарий, пост, etc.
- Характер текста. На Хабре это может быть «урок», «перевод».
- Темы текста. Можно определить по хабу на Хабре, разделу форума или упоминаемым сущностям.
- Время создания, обновления.