Computational mechanics & ε- (epsilon) machines

Открыл для себя новые направления для мониторинга.

Computational mechanics

Авторам минус за тавтологию. Есть вычислительная механика, которая занимается численным моделированием механических процессов и про неё есть статься на вики. Этот пост не про неё.

Этот пост про computational mechanics, которая изучает абстракции сложных процессов: как эмерджентное поведения возникает из суммарного поведения / статистики низкоуровневых процессов. Например, почему стабильно Большое Красное Пятно на Юпитере, или, почему результат вычислений процессора не зависит от свойств каждого электрона в нём.

ε- (epsilon) machine

Концепт устройства, которое может существовать в конечном множестве состояний и может предсказывать своё будущее состояние (или распределения состояний?) на основе текущего.

Computational mechanics позволяет (или должно позволять) представить сложные системы как иерархию ε-machine. Тем самым появляется формальный язык для описания сложных систем и эмерджентного поведения.

Для примера, наш мозг можно представить как ε-machine. Формально, состояние мозга никогда не повторяется (напряжения на нейронах, позиции молекул нейромедиаторов, etc), но существует огромное количество ситуаций, когда мы делаем одно и то же в одних и тех же условиях.

Научно-популярное изложение: https://www.quantamagazine.org/the-new-math-of-how-large-scale-order-emerges-20240610/

P.S. Попробую копнуть в научные статьи. Расскажу, если найду что-нибудь интересное и прикладное. P.P.S. Давно думаю в сторону похожей штуки. К сожалению, повороты жизненного пути не позволяет серьёзно копать в науку и математику. Всегда радуюсь, когда сталкиваюсь с результатами копания других людей.

Feature Programming

Эссе по итогам нырка в Deep Learning, но не о DL и даже не совсем о Machine Learning, а о новой парадигме программирования, которая рождается из него.

Собственно, нейронные сети я смотрел не потому, что интересуюсь именно ими, а потому что они сейчас демонстрируют наибольший прогресс и характерные черты этой парадигмы.

В следствие выбранной темы, эссе получилось футурологическим и абстрактным. Например, я не буду перечислять области применения DL и достигнутые в них результаты — этим итак всё инфопространство забито.

Оговорка раз: я определённо не эксперт в машинном обучении. Эссе в большей степени отражает мой опыт и картину мира, нежели знания и понимание ML и DL.

Оговорка два: термины «признак», «feature» будут использоваться достаточно вольно.

Далее

Экзокортекс 3.5

Продолжаю думать о доработке своего экзокортекса. Я уже описывал его текущее состояние. Сейчас попробую прикинуть, как должен выглядеть правильный экзокортекс в 20-ых годах XXI века.

Для начала отметим несколько банальностей:

• Экзокортекс — это инструменты для работы именно с информацией. Протез руки или, там, автомобиль — это экзоскелет.
• Вид экзокортекса определяется компромиссом между потребностями человека и возможностями технологий.

Долгое время — тысячелетия — роль экзокортекса выполняли всевозможные библиотеки, картотеки, архивы. Нельзя сказать, что они были неэффективным и не развивались. Уверен, история библиотечного и архивного дела вещь интересная.

Но из-за технологических ограничений, экзокортекс был удовольствием для богатых. Можно сказать, качественный экзокортекс был недоступен рядовому жителю Земли большую часть нашей истории.

Тем ярче видны изменения, которые приносит увеличение доступности технологий экзокортекса. Достаточно посмотреть на влияние книгопечатания на становление науки.

Ситуацию изменило появление персонального компьютера. Автоматизация вычислений небывало удешевила обработку информации, последствия чего мы ещё не осознаём в полной мере, так как вычислительная техника продолжает развиваться быстрее, чем мы осваиваем новые возможности.

Поэтому, первое, что слудует отметить: экзокортекс будущего — это софт для управления личной информацией.

Термин «управление» я выбрал специально. Информацию необходимо не только хранить, но и передавать, редактировать, искать — нам приходится организовывать полный жизненный цикл информации, то есть управлять ей.

Под личной информацией я имею в виду информацию, с которой человек уже взаимодействал и счёл её полезной, или его софт счёл её полезной. Управлять всей информацией, само-собой, в обозримом будущем вряд ли получится.

Далее

Воля как артефакт модели реальности

Какое пафосное название я придумал, можно даже пост не писать :-D

Пока читал Я, мозг и возникновение сознания появилась следующая гипотеза:

• Мозг поддерживает модель реальности и активно ей пользуется (строит прогнозы, обновляет её).
• Моделируются внешний мир, собственное тело и даже сам мозг (мы можем задуматься о том, что подумали бы в гипотетической ситуации).
• Составляющими модели являются, в том числе, все наши: ценности, идеи, мысли, желания — всё, что нас определяет.

Тогда что первично: информация о нас в модели реальности или информация о нас в мозге вне модели?

И следующий вопрос: а есть ли информация о нас вне этой модели?

Далее

О книге «Я, мозг и возникновение сознания»

Если вы, как и я, слабо представляете физическое устройство мозга, не можете сходу сказать какие отделы с какими связываются и за что отвечают, то книга будет вам малополезна. Вы просто будете вне контекста. Это не значит, что вы не поймёте мысли Антонио Дамасио, скорее не сможете в них погрузиться достаточно глубоко, чтоб почерпнуть что-нибудь действительно новое и интересное.

Если же вы знакомы с устройством мозга, то может быть эта книга откроет для вас свои секреты. Если они в ней есть :-)

Для меня это тот случай, когда получаешь совсем не то, что ожидаешь.

Далее