Итоги 2020 года для меня и блога

Расскажу чем занимался весь год, сколько чего прочитал, сколько написал, какие посты считаю лучшими и что планирую на год следующий.

Далее

Поругайте (или похвалите) меня

Но лучше всё-таки поругайте. Похвалить я и сам могу ;-)

Бложику нужна обратная связь от читателей.

Мне нравится как он изменился за последний год: посерьёзнел, обрёл некоторую самобытность. Как мне кажется. Подробнее об этом я постараюсь рассказать в отдельном посте.

А, и самое главное — блог читают о_О Привет читатели!

Чтобы и мне и бложику развиваться дальше, необходимо исправлять слабые места и находить новые возможности. Некоторые вещи я вижу, но определённо не все и не в том свете, в котором видите вы.

Поэтому я буду очень благодарен за пару слов с критикой или советами от вас мне:

• как сделать бложик лучше;
• как не сделать хуже;
• о чём писать, о чём не писать;
• и так далее…

Пишите где вам удобно: в комментариях к посту, в телеграмме, в facebook, на почту, etc.

Заодно, принимаю заказы на посты. Пишите интересующие вас темы, постараюсь их раскрыть, если получится :-)

Математики добрались до нейронных сетей

На arxiv.org выложен интересный препринт: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine.

Как видно из названия, исследователи утверждают, что нейронные сети, обученные методом градиентного спуска (один из самых распространённых вариантов обучения) близки такой штуке как kernel machines — одной из техник машинного обучения «предыдущего поколения».

У kernel machines есть несколько интересных особенностей:

• Техника хорошо проработана математически.
• Требует значительно менее дорогих вычислений.
• Вместо «выделения» признаков «напрямую» использует обучающую выборку.

Из этого может неслучиться несколько интересных вещей.

• «Готовая» математика упростит сети и/или улучшит их результат и/или ускорит/удешевит обучение.
• Область возможностей сетей очертится более чётко — окажется, что они не выделяют никакие новые признаки, а используют только «запутанные» данные из обучающей выборки.

Оба варианта выглядят довольно интересно.

Обсуждение на ycombinator.com

О книге «Сильнейшие»

Всю карьеру мне периодически казалось, что мои взгляды на управление компаниями, людьми и на производственную культуру, мягко говоря, фрические. Вроде как технарские загоны, которые ничего общего с реальностью не имеют. Тем более, мне сложно для них быстро находить убедительные аргументы — всё-таки не моя специализация.

Благодаря книге «Сильнейшие: бизнес по правилам Netflix» и Патти МакКорд я теперь так не думаю. Оказывается, действительно крутые компании и зарплаты не скрывают, и с сотрудниками не нянчатся как с детсадовцами. В этой части убеждений я таки оказался прав, что радует. К сожалению, подобная культура всё ещё большая редкость.

Это книга — не мемуары о создании Netflix. Это гид по созданию высокорезультативный культуры, способной отвечать на вызовы быстро изменяющегося в наши дни бизнеса, написанный для руководителей команд всех уровней.

Патти МакКорд

Всё так и есть. Если вы построите описанную в книге культуру, ваша компания преодолеет любые вызовы.

Далее

Экзокортекс 3.5

Продолжаю думать о доработке своего экзокортекса. Я уже описывал его текущее состояние. Сейчас попробую прикинуть, как должен выглядеть правильный экзокортекс в 20-ых годах XXI века.

Для начала отметим несколько банальностей:

• Экзокортекс — это инструменты для работы именно с информацией. Протез руки или, там, автомобиль — это экзоскелет.
• Вид экзокортекса определяется компромиссом между потребностями человека и возможностями технологий.

Долгое время — тысячелетия — роль экзокортекса выполняли всевозможные библиотеки, картотеки, архивы. Нельзя сказать, что они были неэффективным и не развивались. Уверен, история библиотечного и архивного дела вещь интересная.

Но из-за технологических ограничений, экзокортекс был удовольствием для богатых. Можно сказать, качественный экзокортекс был недоступен рядовому жителю Земли большую часть нашей истории.

Тем ярче видны изменения, которые приносит увеличение доступности технологий экзокортекса. Достаточно посмотреть на влияние книгопечатания на становление науки.

Ситуацию изменило появление персонального компьютера. Автоматизация вычислений небывало удешевила обработку информации, последствия чего мы ещё не осознаём в полной мере, так как вычислительная техника продолжает развиваться быстрее, чем мы осваиваем новые возможности.

Поэтому, первое, что слудует отметить: экзокортекс будущего — это софт для управления личной информацией.

Термин «управление» я выбрал специально. Информацию необходимо не только хранить, но и передавать, редактировать, искать — нам приходится организовывать полный жизненный цикл информации, то есть управлять ей.

Под личной информацией я имею в виду информацию, с которой человек уже взаимодействал и счёл её полезной, или его софт счёл её полезной. Управлять всей информацией, само-собой, в обозримом будущем вряд ли получится.

Далее