О книге «Piranesi»

«Piranesi» одновременно продолжение магических историй Сюзанны Кларк и независимая книга.

Прямой связи с миром английской магии из «Джонатан Стрендж и мистер Норрелл» нет. При большом желании связь можно найти и даже сказать, что мир один и тот же, только в разные времена: события «Piranesi» происходят в начале 2000-ых. Но автор не дала никаких намёков на это. Поэтому я пока считаю, что миры разные.

При этом Сюзанна продолжает очень упорно и результативно копать даже не в сторону анимизма, как основы мировосприятия, а в сторону крайне холистического взгляда на мир, в противовес доминирующему нынче редукционизму.

И от последнего, меня как технаря (а значит интуитивного редукциониста в виду профессиональной деформации), жуть как штырит. Читая «Джонатана Стренджа» и «Piranesi» я ощущал как Кларк, аки Пётр Первый, рубит мне в мозгу окно в другую картину мира, иное мировосприятие. И это прекрасно.

Кстати, не путайте холистику со, скажем, инженерным взглядом на мир, а-ля системной инженерией или даже наукой. Последние про декомпозицию реальности на составные части с чёткими границами и синтез из них «чистых» моделей мира, в то время как холистика про то, что у частей нет чётких границ и они проникают друг в друга.

Но это моя интерпретация, есть интерапретации когда холистика — просто альтернативное название системного мышления/взгляда — сейчас туго с литературой на эту тему, поэтому мне сложно сказать где правда.

Итак, «Piranesi».

Далее

Computational mechanics & ε- (epsilon) machines

Открыл для себя новые направления для мониторинга.

Computational mechanics

Авторам минус за тавтологию. Есть вычислительная механика, которая занимается численным моделированием механических процессов и про неё есть статься на вики. Этот пост не про неё.

Этот пост про computational mechanics, которая изучает абстракции сложных процессов: как эмерджентное поведения возникает из суммарного поведения / статистики низкоуровневых процессов. Например, почему стабильно Большое Красное Пятно на Юпитере, или, почему результат вычислений процессора не зависит от свойств каждого электрона в нём.

ε- (epsilon) machine

Концепт устройства, которое может существовать в конечном множестве состояний и может предсказывать своё будущее состояние (или распределения состояний?) на основе текущего.

Computational mechanics позволяет (или должно позволять) представить сложные системы как иерархию ε-machine. Тем самым появляется формальный язык для описания сложных систем и эмерджентного поведения.

Для примера, наш мозг можно представить как ε-machine. Формально, состояние мозга никогда не повторяется (напряжения на нейронах, позиции молекул нейромедиаторов, etc), но существует огромное количество ситуаций, когда мы делаем одно и то же в одних и тех же условиях.

Научно-популярное изложение: https://www.quantamagazine.org/the-new-math-of-how-large-scale-order-emerges-20240610/

P.S. Попробую копнуть в научные статьи. Расскажу, если найду что-нибудь интересное и прикладное. P.P.S. Давно думаю в сторону похожей штуки. К сожалению, повороты жизненного пути не позволяет серьёзно копать в науку и математику. Всегда радуюсь, когда сталкиваюсь с результатами копания других людей.

Конспект по статистике

Юля — моя половинка, сейчас учится на курсах переподготовки Института Биоинформатики.

За прошлый семестр у неё получился хороший конспект по статистике, которым и делимся.

Осторожно, долго грузится.

Feature Programming

Эссе по итогам нырка в Deep Learning, но не о DL и даже не совсем о Machine Learning, а о новой парадигме программирования, которая рождается из него.

Собственно, нейронные сети я смотрел не потому, что интересуюсь именно ими, а потому что они сейчас демонстрируют наибольший прогресс и характерные черты этой парадигмы.

В следствие выбранной темы, эссе получилось футурологическим и абстрактным. Например, я не буду перечислять области применения DL и достигнутые в них результаты — этим итак всё инфопространство забито.

Оговорка раз: я определённо не эксперт в машинном обучении. Эссе в большей степени отражает мой опыт и картину мира, нежели знания и понимание ML и DL.

Оговорка два: термины «признак», «feature» будут использоваться достаточно вольно.

Далее

Жизнь и работа с моделями

Продолжение жизни и работы с ошибками — обсудим штуки на уровень выше.

Эссе получилось большим, но точно найдутся упущенные моменты. Если я что-то забыл — пишите. Буду благодарен и за более интересные примеры.

Итак. Давайте подумаем, как мы предсказываем будущее всякое.

Предсказаниями мы занимаемся постоянно — это буквально суть нашего существования:

• Переходя из комнаты в комнату мы знаем предполагаем, что мебель будет расставлена аналогично прошлому посещению.
• В холодильнике мы ожидаем увидеть еду, которая, по нашему прогнозу, утолит голод.
• Мы ожидаем, что участники дорожного движения будут вести себя в рамках общеизвестных правил. Если машина даёт сигнал поворота, мы прогнозируем, что она повернёт.

Это примеры «гарантированных» предсказаний, но даже они могут не исполнится:

• Мебель в комнате могла быть переставлена во время нашего отсутствия. В некоторых случаях самой комнаты может уже не быть.
• Супруг мог подъесть оставшуюся еду или та могла испортиться.
• Водитель мог включить поворотник из-за ошибки, а может он просто человек такой.

Фактически, мы никогда не знаем актуальное состояние мира вокруг нас:

• Не воспринимаем весь спектр информации об окружении, например, не видим в инфракрасном свете.
• Сигналы до органов восприятия и от них до мозга передаются не мгновенно.
• Мозг тоже работает не мгновенно.

Мы даже не обладаем всей информацией о прошедших событиях.

Поэтому.

Каждое наше решение и действие основывается на предположениях о прошлом, настоящем и будущем.

Штуки, которыми мы создаём предсказания, называются моделями.

Далее