Как делают прогнозы

===
This suggests the next hike could be earlier than May. But no single month leaps out. This
left no option but to arrange a ‘forecasting’ session: Tim’s dart hit February, Dario’s
landed in April and mine pierced May. This left Rob with the deciding dart. He threw it
at Dario and told us to forecast a February hike.
===
© адын крупный западный банк
ГЫЫЫЫ

---

Нейт Сильвер
Сигнал и шум. Почему одни прогнозы сбываются, а другие нет

Весной 2009 года на итальянский городок Л’Акуила обрушилось землетрясение магнитудой шесть с лишним баллов, уничтожившее треть городских построек и унесшее жизни 300 человек. Землетрясению предшествовали несколько более слабых толчков, а также – и в данном случае это самое важное – одно весьма впечатляющее предсказание. За пару недель до трагедии скромный инженер Джанпаоло Джулиани утверждал, что зафиксировал в регионе сильную концентрацию газа радона. Это обстоятельство в сочетании с тем фактом, что система Земля – Луна оказалась на одной прямой с планетой Венерой, давало, по его мнению, веские основания ожидать сильного землетрясения. Надо ли говорить, что после того, как Л’Акуила в самом деле была разрушена, из городского сумасшедшего Джулиани в одночасье превратился в суперзвезду, а его способ предсказания подвергся самому пристальному изучению. Однако результаты принесли сплошное разочарование: мало того, что при ближайшем рассмотрении прогнозы Джулиани оказались не особо точными (он предсказывал землетрясение не в Л’Акуиле, а в соседнем городе, и не в апреле, а в марте), так еще и примененная им методика больше напоминала шаманские танцы с бубном. Впрочем, всё это не помешало медийной карьере Джулиани: он и сегодня выступает на телевидении и в газетах в качестве видного «эксперта по землетрясениям».

Эта история, которую приводит в своей книге «Сигнал и шум» Нейт Сильвер, весьма красочно иллюстрирует главную проблему с прогнозами, существующую сегодня. Человеческий мозг устроен таким образом, чтобы максимально быстро и эффективно вычленять из окружающей его информации повторяющиеся шаблоны, – в этом, собственно, состоит одно из наших главных эволюционных преимуществ. Однако беда в том, что чем больше становится информации, тем легче мы находим закономерности – в том числе там, где их нет, и делаем на их основе предсказания. Иными словами, большие объемы информации парадоксальным образом не только не способствуют более точному прогнозу, но даже препятствуют ему. Хуже того, если (как в случае с Джулиани) впоследствии ложные предсказания получают хоть какое-то подтверждение, это приводит к тиражированию и многократному воспроизводству единожды допущенной ошибки.

Книга Сильвера – это, в сущности, развернутый ответ на вопрос, почему же несмотря на неимоверные массивы накопленных данных и огромные вычислительные мощности человечеству до сих пор не удалось активировать демона Лапласа и наладить сколько-нибудь приличную систему прогнозов хотя бы в том, что касается землетрясений, – уж не говоря о сложных многофакторных событиях вроде экономического кризиса. По мнению автора, причин тут несколько. Во-первых, это уже упомянутая специфика человеческого мозга, склонного собирать модели и шаблоны из любого информационного «мусора». Во-вторых, очень часто верному прогнозированию мешает банальный страх – именно страх (ну, и еще алчность) не дали рейтинговым агентствам в 2008 году своевременно предупредить мир о надвигающейся экономической буре. В-третьих, медийная сущность нынешней цивилизации выводит на авансцену экспертов, делающих предсказания четкие, внятные и парадоксальные, – словом, именно такие, какие сбываются реже всего. В-четвертых, человечество так и не научилось отличать риск (прогнозируемый и просчитываемый) от неопределенности, никакому прогнозированию не подлежащей. Всё это в совокупности делает существующую нынче систему предсказаний драматически неэффективной. (ох уж эти мне набившие оскомину кальки-англицизмы!!! Нет чтоб по-русски - "чудовищно неэффективной"! - F.)

Однако есть и хорошая новость: если не гнаться за внешними эффектами, а вместо этого честно рассчитывать вероятность того или иного результата в соответствии с теоремой Байеса (ей посвящена добрая половина книги), то результат будет вполне пристойный. И хотя утверждение, что «данное событие случится с вероятностью 11 %», звучит не слишком завлекательно, опыт самого Сильвера, в 2008 году именно таким способом правильно предсказавшего исход президентских выборов в 49 штатах из 50, убедительно доказывает: именно за такими – неброскими и надежными – прогнозами будущее.

---

Тут как бы напрашиваются мысли, что вот ИИ животворящий всё разрулит, но... Не исключено, что только запутает и усугубит положение. Так как "видеть закономерности" ему еще легче, чем человеку - и он вполне способен высмотреть еще больше куда более утончённых ложных псевдозакономерностей.
Сами по себе они могут быть и ценными, но нужен алгоритм отбора. И это уже надо делать почти наверняка средствами естественного интеллекта - как минимум на ближайшие десятилетия.