Обзор книги «Сигнал и Шум» en ru

Нейт Сильвер — автор «Сигнала и Шума» — широко известен благодаря своим удачным прогнозам, например, выборов в США. Неудивительно, что книга стала бестселлером.

Собственно, прогнозам книга и посвящена: подходам к прогнозированию, сложностям, ошибкам, заблуждениям и так далее.

Как обычно, я рассчитывал на более теоретическое изложение, в духе Масштаба, но автор выбрал другой путь и подаёт свои идеи через разбор конкретных случаев: один случай на главу. Каждая глава описывает большую задачу, например, предсказание погоды, и с помощью неё даёт несколько призм для взгляда на прогнозирование. Это определённо делает материал доступнее, но лично я хотел бы больше системности и теории.

Из-за подхода через изложение кейсов, сделать краткую выдержку из книги сложно. Это возможно, было бы даже интересно попробовать, но объём работы слишком большой — автор не ставил целью свести всё в цельную систему или короткий набор тезисов.

Поэтому дам отзыв на книгу в целом, примерный перечень призм и набор прикольных фактов.

Впечатления от книги

Интересное, последовательное изложение опыта автора в прогнозировании, его мыслей и убеждений.

Сильной стороной книги является широкий охват темы. Для каждого аспекта прогнозирования Нейт выбирает подходящий реальный пример из нашей жизни, который лучше всего отражает проблему.

Автор считает, что прогнозирование — это не работа экспертов, а ежедневное занятие каждого человека. Поэтому уметь в прогнозы должен каждый.

Многое из изложенного в книге перекликается с моими постами о моделях и ошибках. Поэтому не могу её не рекомендовать :-)

Нейт последовательный байесианец и даёт хорошее описание байесовского взгляда на вероятность простыми словами. Я редко встречал доступный рассказ про байесовское принятие решений, за это однозначный плюс книге.

Из минусов я бы выделил странное позиционирование книги — она застраля где-то между научной и научно-популярной сферами. Непонятно какой уровень знаний автор ожидает от читателя. Общий стиль изложения предполагает отсутствие глубоких знаний, в то же время Нейт слишком легко, без пояснения, вводит специфические термины: модель, обратная связь, etc. Это может слегка усложнить восприятие книги новичками.

Также обратите внимание, что по многим вопросам автор придерживается вполне конкретной точки зрения, правильной с его стороны. Я с ним обычно солидарен, но надо понимать, что это предвзятое изложение. Книга скорее отражает взгляды и опыт автора, чем даёт независимую объективную картину.

В каких случаях «Сигнал и Шум» будет вам интересна:

• Вы хотите расширить кругозор в прогнозировании и областях, затронутых в главах.
• Вы хотите приземлить теорию в своей голове, соотнести её с реальными ситуациями.

Если же вы хотите улучшить свою теорию, то книга может вам не подойти, но:

• во-первых, книга будет хороша как отправная точка для поиска;
• во-вторых, я не уверен, что есть альтернативы с лучшей теорией :-)

Структура книги

Нейт делит книгу на две части:

• Первая: диагностика проблем предсказания.
• Вторая: изучение и применение теоремы Байеса.

Но я бы не сказал, что эти темы так уж явно выделяются.

Также, во введении автор даёт более детальное резюме главам, но мне оно тоже не нравится. Не потому, что плохое (автору виднее), а потому, что я придумал лучше :-D

Как я упоминал, книга следует структуре: одна глава — один кейс — несколько призм, которые хорошо отображает этот кейс. Не во всех главах легко выделить призмы, плюс, сама идея пришла ко мне после прочтения, поэтому что-то мог забыть/упустить. Но вот как я вижу структуру «Сигнала и Шума»:

Полезные факты

Несколько фактов, которые сразу немного подправят вашу картину мира.

• Даже когда эксперты-политологи заявляли о полной невозможности определённого события, примерно в 15% случаев оно происходило.
• Модели, предсказывавшие американские выборы без учёта опросов избирателей (на основе экономических показателей, etc.) ошибались значительно чаще/сильнее, чем те, которые использовали результаты опросов.
• В 90-ых экономисты смогли предсказать только 2 из 60 рецессий.
• Базовые экономические показатели часто существенно пересматриваются (ретроспективно, по мере поступления новых данных), что делает их очень неточными.
• В некоторых экономических прогнозах вероятность экономического кризиса 2008 года была оценена в 200 раз меньше оценок пост-фактум.
• Ручная постобработка экспертами способна увеличить точность компьютерных прогнозов осадков на 25%, а прогнозов погоды на 10%. Эта статистика не меняется со временем, то есть не зависит от используемых технологий.
• Коммерческие синоптики редко говорят, что вероятность дождя равна 50% — это может быть свидетельством неуверенности для потребителей. Вместо этого подбрасывают монетку и выбирают 40% или 60%.
• Анонимность экспертов уменьшает качество их прогнозов.
• Официальная позиция USGS по землетрясениям: невозможно предсказать, но можно спрогнозировать.
• Если в процессе игры в покер вы не можете выявить 1-2 плохих игроков за столом, то лучше отказаться от игры.

Агрегирующие прогнозы vs индивидуальные

• Агрегирующий прогноз всегда лучше большинства индивидуальных, но не обязательно будет хорошим.
• Агрегирующий прогноз хорошо работает когда индивидуальные прогнозы сначала делаются независимо, а потом объединяются. Если работает механизм а-ля рынок, когда люди уточняют прогнозы, на основе предыдущего агрегированного прогноза, то значительно усиливается влияние группового поведения и качество падает.
• Агрегирующий прогноз не всегда лучше лучшего из индивидуальных.

Про хорошие прогнозы

• Ваши прогнозы могут и должны меняться со временем.
• Отличительная черта хорошего вероятностного прогноза в том, что каждая из его вероятностей может реализоваться в долгосрочной перспективе.
• Вероятность события в Х% говорит, что на большом интервале времени / при проверки большого количества аналогичных ситуаций это событие будет случаться в X% случаев. Если это не выполняется — прогноз был плох.
• Полезно взвешивать качественную информацию. Например, после собеса может быть не так важна конкретная полученная информация, сколько её сумма: количество красных флагов, общее впечатление. Следую этому правилу на своих собесах.

Немного про торговлю на бирже

• Сейчас торговля устроена так, что менеджеры и трейдеры заинтересованы только в краткосрочном планировании (90 дней). Им важно, что прямо сейчас делают конкуренты, и чтобы их не уволили клиенты за ошибки в этом промежутке.
• Трейдеры склонны принимать решения, которые приведут к потери денег их фирмами, если это позволит им «слиться с толпой» и, тем самым, уменьшит шансы стать козлом отпущения.
• Рынок может продолжать оставаться нерациональным дольше, чем вы — платёжеспособным.

Оценка качества прогнозов

Качество прогнозов можно оценивать по-разному. Метрикой качества могут быть:

• качество/правильность — на сколько прогноз выполнился;
• последовательность/честность — был ли прогноз лучшим из возможных, использовал ли он все данные;
• экономическая ценность — удалось ли использовать прогноз для экономической выгоды.

Варианты могут противоречить друг другу. Например, очень точный прогноз может быть сделан на основе плохих данных или не принести выгоду, потому что предсказал всё, кроме того единственного, что надо было.

Забавные факты

• В одном из первых печатных изданий библии была опечатка в заповеди: вместо «не прелюбодействуй» напечатали «прелюбодействуй».
• Оказывается, бейсбольные игры проходят на нестандартных аренах — каждый стадион уникален по своим параметрам. Видимо по той же причине, по которой в США не переходят на СИ.
• В 00-х в Сан-Франциско росла заболеваемость половыми заболеваниями, но не СПИД-ом. Это ставило всех в тупик, так как он раньше очень хорошо коррелировал с ними. Оказалось, изменилось поведение людей: они начали выбирать партнёров с тем же СПИД статусом, что разрушило предыдущие модели распространения СПИДа.
• Из-за доверительного интервала в 95% в статистическом тесте, исследователи значительно чаще сообщают о результатах, которые попадают в интервал 95.1% чем в 94.9%
• Инвестиции членов Конгресса США дают прибыль на 5-10% в год выше среднего. Гипотетически, из-за инсайдерской информации, которая попадает к ним при лоббировании интересов компаний.