Сигнал и Шум - Сильвер Нейт - E-Book

Сигнал и Шум E-Book

Сильвер Нейт

0,0
8,99 €

Beschreibung

Нейт Сильвер изучает мир прогнозов и исследует, как мы можем выделять подлинный сигнал в переполненной шумом Вселенной данных. Общаясь со специалистами самых разных направлений - от метеорологии до бейсбола, от покера до фондового рынка, от экономистов до работников служб национальной безопасности, - Сильвер выявляет главный парадокс: современные технологии позволяют гораздо лучше анализировать данные, но, как правило, приводят к плохим прогнозам, потому что уделяют много внимания случайным колебаниям. Чем скромнее мы оцениваем свою способность прогнозировать и чем прилежнее учимся на собственных ошибках, тем лучше превращаем информацию в знание, а данные - в точные прогнозы. Почему большинство прогнозов ошибочны и как повысить их точность? Как отделять сигналы, несущие смысл, от информационного шума? Как мыслят и ведут себя люди, оценивая вероятность событий? Какова специфика прогнозов в различных областях знаний и сферах деятельности? Как теорема, сформулированная в XVIII веке, помогает решать вопросы глобального потепления и защиты от терроризма в XXI веке? 

Das E-Book können Sie in Legimi-Apps oder einer beliebigen App lesen, die das folgende Format unterstützen:

EPUB

Seitenzahl: 854

Bewertungen
0,0
0
0
0
0
0



Содержание

Сигнал и шум : Почему одни прогнозы сбываются, а другие — нет
Выходные данные
Посвящение
Введение
Чем больше информации, тем больше проблем
Парадокс продуктивности
Обещания и подводные камни «Больших данных»
Почему нас шокирует будущее
Что можно сказать о предсказании
Короткая дорожная карта
Катастрофически неудачные прогнозы
Худшее из возможных предсказаний
«Не думаю, что они хотели, чтобы музыка перестала играть»
В чем ошиблись рейтинговые агентства
Акт I. Пузырь на жилищном рынке
Акт II. Леверидж, леверидж, леверидж
Антракт. Смятение как проявление алчности
Акт III. И вновь все как обычно
Что общего между всеми неудачными прогнозами
За пределами выборки — за пределами мышления, или Формула неудачного предсказания
Ошибки, которые мы совершили, — и чему они учат
Кто умнее: вы или «эксперты» из телевизионных передач?
Действительно ли политологи лучше «экспертов»?
Чтобы делать более верные прогнозы, нужно стать лисой
Почему из «ежей» получаются хорошие гости телешоу
Почему политические предсказания обычно оказываются неудачными
«Лисий» подход к прогнозированию
Принцип 1. Учитывайте вероятностность события
Принцип 2. Сегодняшний ваш прогноз — это первый прогноз из тех, что еще будут в вашей жизни
Принцип 3. Ищите консенсус
Остерегайтесь чудодейственных прогнозов
Взвешивайте качественную информацию
Быть объективным непросто
Все, что меня интересует, — это победы и поражения
Создание системы прогнозирования для бейсбола
Самый масштабный набор данных в мире
Берегитесь — кривая старения!
Можем ли мы все ужиться?
PECOTA против скаутов — победа остается за скаутами
Предубеждения скаутов и статистиков
Не только «Пять инструментов»
«Информация» как новое название игры
Почему предрекали, что Педройю постигнет неудача…
…и как он выиграл вопреки всем прогнозам
Реальные уроки «Moneyball»
Вы столько лет говорили нам, что дождь — зеленый
Прогноз погоды от суперкомпьютера
Очень короткая история прогнозирования погоды
Матрица
Почему теория хаоса так напоминает безумие
Важность ви́дения
Вероятность погибнуть от удара молнии становится все меньше
Что делает прогноз хорошим?
Когда конкуренция приводит к тому, что прогнозы становятся хуже
Как понять, что ваш прогноз неверен
Конус хаоса
В отчаянных поисках сигнала
Что мы делаем, если наши устои пошатнулись
Волшебные жабы и поиск Святого Грааля
Что мы знаем о том, как часто и какими бывают землетрясения
Искушение сейсмологов
Парад неудачных прогнозов
Между молотом и наковальней
Оверфиттинг: самая важная научная проблема, о которой вы никогда не слышали
Применялась ли в Японии модель с оверфиттингом?
Что ограничивает наши знания о землетрясениях
Красота шума
Суд над наукой
Как утонуть на метровой глубине
Почему важно сообщать о неопределенности
Рациональны ли экономисты?
«Никто даже не представляет себе…»
Корреляция без причинно-следственной зависимости
Постоянно меняющаяся экономика
Экономические данные переполнены шумом
Бабочка машет крыльями в Бразилии, и кто-то в Техасе теряет работу
Когда предвзятые прогнозы оказываются рациональными
Преодоление искажений
Ролевые модели
Фиаско свиного гриппа, часть вторая?
Опасность экстраполяции
Самореализующиеся и самоотменяющиеся предсказания
Простота без изощренности
Система имитационного моделирования Sim в действии
Что делать, когда прогнозы неутешительны
Все меньше, и меньше, и меньше неточностей
Насколько хорошо думают азартные игроки
Невероятное наследие Томаса Байеса
Вероятность и прогресс
Простая математика теоремы Байеса
Проблема ложноположительного срабатывания
Когда статистика отклонилась от принципов Байеса
Данные без контекста бесполезны
Боб — байесовец
Байесовский путь к снижению неправоты
Восстание против машин
Рождение шахматного компьютера
Шахматы, предсказания и эвристика
Неудачное предсказание Каспарова
В начале было…
Дилемма шахматиста: ширина против глубины
Стратегия против тактики
Начало конца
Эдгар Аллан Каспаров
Как заставить моргнуть шахматиста
Характерная особенность или сбой?
Что компьютеры умеют делать хорошо?
Когда метод проб и ошибок действительно работает
Преодоление технологических слепых пятен
Покерный пузырь
Начало покерной мечты
Как игроки в покер предсказывают раздачу
Небольшой рассказ о техасском холдеме
Не так уж и проста эта покерная раздача
Покерная рука Шредингера
Как стать непредсказуемым
Кривая обучаемости в области предсказаний
Экономика покерного пузыря
Как лопнул покерный пузырь
Удача против навыков в покере
Наши заблуждения, связанные с покером
Почему мы впадаем в «тилт»
Вне рамок представлений, ориентированных на результат
Если вы не можете их переиграть…
Путешествие в Байесландию
Невидимая байесовская рука
Джастин Вольферс как «полицейский» на рынке предсказаний
Преимущества (и ограничения) групповых прогнозов
Истоки гипотезы эффективного рынка
Результаты прошлого не способны предсказать будущее
Страдания «чартистов»
Три формы гипотезы эффективного рынка
Статистический тест гипотезы эффективного рынка
Эффективные рынки и иррациональный оптимизм
Панический страх, превращающий людей в стадо
Почему мы сбиваемся в стада
Самоуверенность и проклятие победителя
Почему пузырю так сложно лопнуть
Цена не всегда бывает справедливой
Шум на финансовых рынках
Покупайте дорого, продавайте дешево
Остальные 10 %
Два рынка в одном
Климат здорового скептицизма
Шум и сигнал
Парниковый эффект уже здесь
Это вам не бином Ньютона!
Три типа климатического скептицизма
Прогнозист критикует прогнозы глобального потепления
Все климатологи согласны с некоторыми выводами
Скептическое отношение климатологов к компьютерным моделям
Наука о климате и сложные моменты
Прогнозирование — это не книга готовых рецептов
Неопределенность в климатических прогнозах
Температурные рекорды
Предсказания Джеймса Хансена
Предсказания МГЭИК, 1990 г.
Уроки «глобального охлаждения»
Простой климатический прогноз
Неудобная правда о температурных данных
Еще одна причина, по которой так важно учитывать неопределенность
«Наши отношения с этими людьми — это состояние постоянной драки»
Различие между наукой и политикой
То, о чем ты не знаешь, может тебе навредить
Сигналы, ни о чем не сигнализирующие
Неизвестное и маловероятное
Было ли 11 сентября известным неизвестным?
Масштаб событий 11 сентября
Математика терроризма: почему 11 сентября не было обособленным событием
Определение и оценка масштабов терроризма
Терроризм магнитудой 9 баллов
Подумаем о терроризме более широко
Почему террористы не взрывают торговые центры?
Израильский подход к предотвращению терроризма
Как трактовать сигналы террористов
Заключение
Думайте в категориях вероятности
Знайте, откуда идете
Пробуйте и ошибайтесь
Наше восприятие предсказуемости
Благодарности

Nate Silver

The Signal and the Noise

Why so many predictions fail — but some don’t

Перевод с английскогоП. Миронова

Сильвер Н.

Сигнал и шум : Почему одни прогнозы сбываются, а другие — нет / Нейт Сильвер ; пер. с англ. П. Миронова. — М. : КоЛибри, Азбука-Аттикус, 2015.

ISBN978-5-389-09938-8

16+

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование — это планирование в условиях неопределенности.

© Nate Silver, 2012

© Миронов П., перевод на русский язык, 2014

© Оформление, издание на русском языке. ООО «Издательская Группа «Азбука-Аттикус», 2015 КоЛибри®

Посвящается маме и папе

Введение

В этой книге рассказывается о работе с информацией, о технологиях и научном прогрессе. О конкуренции, свободных рынках и эволюции идей. О том, что делает нас умнее любого компьютера, и о человеческих ошибках. О том, как мы постепенно, шаг за шагом, учимся воспринимать объективный мир и почему иногда делаем шаги назад.

Эта книга — о предсказаниях и прогнозах, оказывающихся в точке пересечения всех этих идей, и о том, почему одни из них сбываются, а другие — нет. Я надеюсь, что благодаря ей мы сможем немного лучше разобраться в том, как планировать свое будущее, и (возможно) будем реже повторять прежние ошибки.

Чем больше информации, тем больше проблем

По сути, революция в области информационных технологий совершилась благодаря печатному прессу, а вовсе не микрочипу. Изобретение Иоганна Гутенберга, сделанное им в 1440 г., позволило информации стать доступной широким массам людей, а возникший в результате этого взрыв новых идей привел к неожиданным последствиям и непредсказуемым эффектам. В том числе и к начавшейся в 1775 г. промышленной революции1, в результате которой цивилизация достаточно быстро перешла от состояния практически полного отсутствия научного или экономического прогресса к привычным для нашего времени и происходящим с огромной скоростью переменам. Изобретение печатного пресса способствовало развитию событий, которые в конечном итоге привели к эпохе Просвещения в Европе и основанию республики в Америке.

Однако появление печатного пресса способствовало еще и развязыванию священных религиозных войн, которые не прекращались на протяжении столетий. Как только человечество поверило в то, что оно способно предсказывать и даже выбирать собственную судьбу, началась самая кровавая эпоха в истории человечества2.

Книги существовали и до Гутенберга, однако их мало изготавливали и мало читали. Они выступали, скорее, в роли предмета роскоши для благородных семейств и создавались переписчиками, способными одновременно делать лишь одну копию3. Ставка за копирование манускрипта составляла примерно один флорин (золотая монета, стоимость которой на сегодняшний день эквивалентна примерно 200 долл. США) за пять страниц4, то есть производство книги, подобной той, что вы читаете сейчас, могло обойтись примерно в 20 тыс. долл. Зачастую в книгах содержалось немало ошибок, поскольку при копировании их число увеличивалось и они видоизменялись с каждой новой версией книги.

Все это невероятно усложняло процесс накопления знаний. Требовались поистине героические усилия, чтобы объем знаний не начал уменьшаться, поскольку книги часто приходили в негодность быстрее, чем их успевали воспроизводить. До нашего времени дошли лишь разные издания Библии, а также небольшое количество канонических текстов Платона и Аристотеля. Однако целые пласты человеческого знания и мудрости утрачены в веках5, поскольку не были зафиксированы в письменном виде.

Погоня за знанием казалась почти бесполезной, если не напрасной, с самого начала. Как сказано в прекрасных строках Экклезиаста, нет «ничего нового под солнцем» — не потому, что все уже открыто, но еще и потому, что все, что мы знаем, будет забыто6.

Печатный пресс изменил эту ситуацию бесповоротно, раз и навсегда. Почти моментально затраты на создание книги снизились примерно в 300 раз7. Книга, стоимость изготовления которой совсем незадолго до этого составляла 20 тыс. долл. (в нынешних ценах), теперь могла стоить всего 70 долл. Печатные прессы из Германии быстро распространились по всей Европе, и к 1470 г. они уже были в Риме, Севилье, Париже и Базеле, а еще через 10 лет — почти во всех остальных крупных европейских городах8. Производство книг стало увеличиваться в геометрической прогрессии и выросло в течение первых 100 лет после изобретения печатного пресса почти в 30 раз9. Хранилище человеческого знания стало увеличиваться в размерах, и довольно быстро (рис. В. 1).

Однако в тот период, как и в первые годы существования Всемирной паутины, качество информации было довольно неоднозначным. Хотя появление печатного станка сразу же принесло свою пользу, скажем, позволив изготавливать более качественные географические карты10, список изданных бестселлеров моментально возглавили еретические религиозные и псевдонаучные тексты11. Ошибки воспроизводились в массовых масштабах, например в так называемой «Греховной Библии», содержавшей чуть ли не самую злосчастную ошибку в истории, одна из заповедей звучала как «прелюбодействуй»12. Кроме того, доступ к огромному количеству новых идей порождал смятение в умах. Объем информации рос значительно быстрее, чем понимание людьми того, что с ней делать, или их способность отличить верную информацию от неверной13. Как ни парадоксально, но результатом увеличения объема общедоступного знания стал рост изоляции между нациями и конфессиями. Обладая слишком большим объемом информации, мы инстинктивно склонны относиться к ней избирательно, отбирать то, что нам нравится, и игнорировать все остальное, превращая в союзников тех, кто разделяет наше мнение, и относясь ко всем остальным как к врагам.

С наибольшим энтузиазмом восприняли печатный станок те, кто использовал его, чтобы проповедовать свои взгляды. «95 тезисов» (Ninety-five Theses) Мартина Лютера сами по себе были не настолько радикальными, близкие изложенным в книге идеи обсуждались до этого множество раз. По мнению Элизабет Эйзенштейн, на этот раз революционный элемент состоял в том, что «тезисы Лютера не остались приколоченными к церковной двери»14. Вместо этого они были размножены как минимум 300 тыс. раз с помощью печатного станка Гутенберга15 — невероятно большим тиражом даже по современным стандартам.

Раскол, возникший в результате протестантской Реформации Лютера, вскоре вверг Европу в войну. В период с 1524 по 1648 г. произошли Крестьянская война в Германии, Шмалькальденская война, Нидерландская революция, Тридцатилетняя война, религиозные войны во Франции, ирландские конфедеративные войны, гражданские войны в Шотландии и Англии — причем многие из них одновременно. Не стоит забывать и об испанской инквизиции, деятельность которой началась в 1480 г., или о войне Священной Лиги 1508–1516 гг., хотя они были в меньшей степени связаны с распространением протестантизма. В ходе одной лишь Тридцатилетней войны погибло не менее трети населения Германии16, и XVII век мог по степени своей кровавости сравниться разве что с началом века XX17.

Однако даже в этих условиях печатный станок постепенно способствовал развитию науки и образования. Галилей начал делиться своими (просмотренными цензурой) идеями, а Шекспир — публиковать свои пьесы.

Пьесы Шекспира, как и многих других авторов, часто обращаются к теме судьбы. Особый их трагизм связан с разрывом между тем, чего могли бы достичь персонажи, и тем, что может уготовить им судьба. Во времена Шекспира идея контроля своей судьбы казалась вполне естественной частью человеческого сознания, однако понимания, как это можно сделать, не было. Напротив, тот, кто хотел испытать свою судьбу, обычно находил лишь смерть18.

Наиболее ярко эти идеи нашли свое отражение в пьесе «Юлий Цезарь». В первой половине пьесы Цезарь получает всевозможные предупредительные сигналы, которые сам называет «знамениями»19 («остерегись ид мартовских»), о том, что его коронация превратится в бойню. Разумеется, Цезарь игнорирует эти знаки, гордо настаивая на том, что они указывают на смерть кого-то другого, или же трактует эти знаки в высшей степени избирательно. А затем Цезаря убивают.

«Но ведь по-своему толкуют люди явленья, смысла их не понимая», — предупреждает нас Шекспир устами Цицерона — и это вполне хороший совет любому человеку, стремящемуся разобраться с недавно обретенным обилием информации. Отличить сигнал от шума не всегда просто. Зачастую данные рассказывают нам именно ту историю, которую мы хотим услышать, и обычно мы уверены, что у истории должен быть счастливый конец.

И все же, если трагедия «Юлий Цезарь» ибыла посвящена древней идее предсказания, связанной с фатализмом, гаданием и суеверием, в ней прозвучала и более современная и значительно более радикальная мысль о том, что мы должны интерпретировать эти знаки так, чтобы получать какие-нибудь преимущества. «Порой своей судьбою люди правят. Не звезды, милый Брут, а сами мы виновны в том, что сделались рабами», — говорит Кассий, надеясь убедить Брута принять участие в заговоре против Цезаря.

Идея человека — хозяина своей судьбы — быстро набрала популярность. Слова предсказание (prediction) и прогноз (forecast) в наши дни используются чуть ли не как синонимы, однако во времена Шекспира они обозначали разные вещи. Предсказаниями занимались прорицатели, а прогноз напоминал идеи Кассия.

Слово прогноз (forecast) в английском языке имеет германские корни20, а слово predict (предсказывать) пришло из латыни21. Прогнозирование отражало скорее новый мирской протестантский взгляд на мир, приземленность, а не ту отрешенность от мира сего, что была характерна для Священной Римской империи. Создание прогноза обычно предполагало работу в условиях неопределенности. Оно основывалось на благоразумии, мудрости и трудолюбии и больше напоминало процесс, который мы в наши дни часто связываем с понятием предвидения22.

Теологические последствия этой идеи достаточно сложны23. Однако они не были довольно значимыми для тех, кто надеялся обрести благо в земном мире. Эти качества оставались тесно сплетены с протестантской рабочей этикой, которую Макс Вебер воспринимал как основу зарождения капитализма и промышленной революции24. Подобное определение прогнозирования непосредственно связано с понятием прогресса. Вся информация, содержавшаяся в массе книг, должна была помочь так планировать свою жизнь, чтобы получить прибыль.

Протестанты, пережившие столетия священных войн, учились использовать накопленное ими знание с целью изменения общества. Промышленная революция началась в протестантских странах и в странах со свободной прессой, в которых и религиозные, и научные идеи могли распространяться без оглядки на цензуру25.

Важность промышленной революции сложно переоценить. На протяжении практически всей человеческой истории экономический рост составлял около 0,1 % в год. Этого было достаточно для обеспечения постепенного прироста населения, но не для роста уровня жизни на душу населения26. А затем внезапно, почти на пустом месте возник прогресс (рис. В. 2). Экономический рост начал происходить значительно быстрее, чем темпы роста населения (так продолжается и по сей день, если не обращать внимания на краткосрочный глобальный финансовый кризис)27.

Как оказалось, взрывообразный рост информации, возникший благодаря появлению печатного станка, принес нам массу хорошего. Однако для того, чтобы все это благо реализовалось, потребовалось 330 лет — и миллионы погибших на полях сражений по всей Европе.

1 В различных источниках приводятся разные даты начала Промышленной революции: от середины XVIII до начала XIX в. Я довольно произвольно выбрал 1775 г., поскольку именно в этот год Джеймсом Уаттом был изобретен паровой двигатель… и вообще это приятное круглое число.

2 Steven Pinker, The BetterAngels of Our Nature: Why Violence Has Declined (New York: Viking, Kindle edition, 2011); locations 3279–3282.

3В основном манускрипты писали и переписывали в монастырях. Так как в Бельгии было много монастырей, то у этой страны один из самых высоких показателей количества манускриптов на душу населения. Избавившись от необходимости создавать манускрипты, некоторые из монастырей изменили характер своей деятельности и начали варить отличное траппистское пиво. Вот вам пример еще одного непредвиденного последствия изобретения Гутенберга: хотя и косвенным образом, но оно несет долю ответственности за повышение качества пива в мире.

4 Albania De la Mare, Vespasiano da Bisticci Historian and Bookseller (London: London University, 2007), p. 207.

5 Elizabeth Eisenstein, The Printing Revolution inEarly Modern Europe (Cambridge, England: Cambridge University Press, 1993), p. 16.

6 Что было, то и будет, и что творилось, то творится, И нет ничего нового под солнцем. Бывает, скажут о чем-то: смотри, это новость! А уже было оно в веках, что прошли до нас. Не помнят о прежнем — так и о том, что будет, — О нем не вспомнят те, кто будет позднее.

Экклезифые 1: 9-11

7 De la Mare, Vespasiano da Bisticci Historian andBookseller, p. 207.

8 Eisenstein, ThePrinting Revolution inEarly Modern Europe, p. 17.

9 Eltjo Burnigh and Jan Luiten Van Zanden, «Charting the ”Rise of the West”: Manuscripts and Printed Books in Europe, a Long-Term Perspective from the Sixth Through Eighteenth Centuries», Journal of EconomicHistory, vol. 69, issue 2; June 2009.

10 «Recognizing and Naming America», The Library of Congress, Washington, DC. http:// www.loc.gov/rr/geogmap/waldexh.html.

11 Eisenstein, ThePrinting Revolution in Early ModernEurope, p. 209.

12 Louis Edward Inglebart, PressFreedoms: A Descriptive Calendarof Concepts, Interpretations, Events, and Court Actions, from 4000 B.C.to the Present (Westport, CT: Greenwood Publishing, 1987).

13 Renato Rosadlo, «The Cultural Impact of the Printed Word: A Review Article», in Andrew Shyrock, ed. Comparative Studies in Society and History, vol. 23, 1981, pp. 508–513. http://journals.cambridge.org/action/displayJournal?jid=CSS.

14 Eisenstein, The Printing Revolution inEarly Modern Europe, p. 168.

15 Arthur Geoffrey Dickens, Reformation and Societyin Sixteenth Century Europe (New York: Harcourt, Brace & World, 1970), p. 51. http://www.goodreads.com/book/show/3286085-reformation-and-society-in-sixteenth-century-europe.

16 Pinker, The Better Angels of Our Nature, Kindle locations 3279–3282.

17 «War and Violence on Decline in Modern Times», National Public Radio (transcript), December 7, 2011.http://www.npr.org/2011/12/07/143285836/war-and-violence-on-the-decline-in-modern-times.

18 Simon Augustine Blackmore, TheRiddles of Hamlet (Stratford, England: Stratford and Company, 1917). http://www.shakespeare-online.com/plays/hamlet/divineprovidence.html.

19 Как можно избежать Судьбы, нам предназначенной богами? Нет, Цезарь выйдет; знамения эти даны не только Цезарю, а всем. 

У. Шекспир Юлий Цезарь. Акт II, сцена II. У. Шекспир

20 Douglas Harper, Online Etymology Dictionary. http://www.etymonline.com/index.php?term=forecast.

21 www.etymonline.com/index.php?term=predict.

22 В одном довольно представительном тексте XVII в. слово «прогноз» использовалось в следующем контексте: Представители разных областей коммерции изучают… где лучше покупать и что лучше всего продавать, и прогнозируют в своих мыслях, какие пути и способы лучше всего помогут им достичь успеха в их занятиях. John Kettlewell, Five Discourses on SoMany Very Important Points of Practical Religion (A. and J. Churchill, 1696); http://books.google.com/books?id=ADo3AAAAMAAJ&dq.

23 Не в последнюю очередь потому, что кальвинисты и протестанты верили в судьбу и предначертание.

24 Max Weber, The ProtestantEthic and the Spirit of Capitalism (Abingdon, Oxon, England: Routledge Classics, 2001). Издана на русском языке: Вебер М. Протестантская этика и дух капитализма. — М.: Прогресс, 1990.

25 Eisenstein, The Printing Revolution in Early Modern Europe, p. 269.

26 J. Bradford DeLong, Estimating World GDP, One Million B. C. — Present (Berkeley, CA: University of California Press, 1988). http://econ161.berkeley.edu/TCEH/1998_Draft/World_GDP/Estimating_World_GDP.html.

27 Рис. 1.2 основан на расчетах Делонга, однако данные пересчитаны в доллары США по состоянию на 2010 г. с долларов на 1990 г. (как в оригинале).

Парадокс продуктивности

Всякий раз, когда информационный рост происходит быстрее, чем развивается наше понимание того, как именно обрабатывать получаемые данные, нас поджидает опасность. Последние 40 лет человеческой истории показывают, что для превращения информации в полезное знание может потребоваться немалое время и что если мы не будем достаточно осторожны, то легко сможем сделать шаг назад.

Понятие «информационная эпоха» вряд ли можно считать таким уж новым. Оно получило определенное распространение уже в конце 1970-х годов. Другой похожий термин — «компьютерная эра» — использовался даже несколько раньше, примерно с 1970 г.28. В то время компьютеры уже начали более широко применяться в лабораториях и других научных учреждениях, хотя еще и не стали привычным предметом бытовой техники. В этот раз нам не понадобились 300 лет для того, чтобы рост в области информационных технологий начал приносить человеческому обществу весомые преимущества. Однако нам все равно потребовалось от 20 до 30 лет.

1970-е гг. были (выражаясь словами Пола Кругмана29) «звездным часом множества теорий, созданных вокруг невероятно небольших объемов данных». Мы начали использовать компьютеры для создания моделей мира, однако нам потребовалось время, чтобы понять, насколько неточными и основанными на предположениях они были. Мы не сразу осознали, что точность, на которую способны компьютеры, не может заменить правильность прогнозов. В эту эпоху мы выдвигали множество смелых предположений в целом ряде областей, начиная от экономики и заканчивая эпидемиологией, и очень часто эти предположения оказывались ошибочными. Например, в 1971 г. было заявлено о том, что в течение следующего десятилетия мы научимся достаточно точно предсказывать землетрясения30, однако прошло 40 лет, а мы так и не приблизились к решению этой проблемы.

На самом деле компьютерный бум 1970-х и 1980-х гг. привел к временному снижению экономической и научной производительности. Экономисты назвали это «парадоксом продуктивности». «Влияние компьютерной эпохи можно было увидеть во всем, за исключением статистики продуктивности», — писал экономист Роберт Солоу в 1987 г.31. В период между 1969 и 1982 гг. Соединенные Штаты столкнулись с четырьмя явными рецессиями32. Конец 1980-х гг. был более сильным периодом в экономическом плане для США, но не для многих других стран мира.

Научный прогресс значительно сложнее поддается оценке, чем экономический33. Однако одним из его индикаторов может служить количество выданных патентов, особенно в области инвестиций в исследовательскую деятельность. Если после внедрения нового изобретения происходит снижение цен на тот или иной продукт, то это значит, что мы мудро используем имеющуюся информацию и успешно превращаем ее в знание. Если же цены начинают расти, это дает основания считать, что мы видим сигналы в шуме и напрасно тратим время, двигаясь в неверном направлении.

В 1960-х гг. в Соединенных Штатах было потрачено около 1,5 млн долл. (с учетом инфляции34) на каждую патентную заявку35, поданную американским изобретателем. Однако на заре информационной эпохи эта цифра скорее росла, а не снижалась, а пиковое значение, достигнутое в 1986 г., составило примерно 3 млн долл. (рис. В. 3)36.

По мере того как мы начали более реалистично оценивать пользу от применения новых технологий, ситуация стала вновь улучшаться в 1990-е гг. Мы реже оказывались в тупиковых ситуациях; компьютеры сделали нашу повседневную жизнь лучше и стали помогать нашей экономике. Зачастую то, что выглядело прогрессивным в будущем, в скором времени приводило к регрессу. То, что кажется предсказуемым в долгосрочной перспективе, способно нарушить наши самые продуманные планы в настоящем.

28 Google Books Ngram Viewer. http://books.google.com/ngrams/graph?content=information+age%2C+computer+age&year_start=1800&year_end=2000&corpus=0&smoothing=3.

29 Пол Робин Кругман — американский экономист и публицист, профессор экономики Принстонского университета, лауреат Нобелевской премии по экономике (2008). (Здесь и далее, если не сказано иное, — Прим. ред.)

30 Susan Hough, Predicting the Unpredictable: The Tumultuous Science of Earthquake Prediction (Princeton: Princeton University Press, Kindle edition, 2009), locations 862–869.

31 Robert M. Solow, «We’d Better Watch Out», New York Times Book Review, July 12, 1987. http://www.standupeconomist.com/pdf/misc/solow-computer-productivity.pdf.

32 «U.S. Business Cycle Expansions and Contractions», National Bureau of Economic Research, http://www.nber.org/cycles.html.

33 Хотя, как мы позднее объясним в книге, экономическая статистика гораздо менее точна, чем принято считать.

34 Цифры приведены к долларам по состоянию на 2005 г.

35 Для расчета этого показателя я использую количество патентных заявок, а не выданных патентов, поскольку выдача патентов может затянуться из-за бюрократических проволочек. Единственным серьезным достижением межпартийных собраний 112 Конгресса стало принятие в сентябре 2011 г. законопроекта «America Invents Act», получившего поддержку в Сенате большинством голосов (89–9) и позволившего ускорить рассмотрение патентных заявок.

36 Данные по расходам США на исследования и разработки приведены в «U.S. and International Research and Development: Funds and Alliances», National Science Foundation.

Обещания и подводные камни «Больших данных»

В наши времена модным стал термин «Большие данные»37. По расчетам компании IBM, мы ежедневно создаем 2,5 квинтильона байтов данных, а 90 % информации, имеющейся в нашем распоряжении, было получено за последние два года38.

Этот экспоненциальный рост информации, как и компьютеры в 1970-е гг., порой представляется нам лекарством от всех болезней. Крис Андерсон, редактор журнала Wired, писал в 2008 г., что сам по себе огромный объем данных способен заменить собой теорию и даже научный метод39.

Книга, которую я написал, стои2т на стороне науки и технологии, и я считаю подобную позицию вполне оптимистичной. Однако следует помнить, что мы склонны допускать массу ошибок. Цифры сами по себе не умеют говорить. Именно мы говорим за них. Мы наполняем их смыслом. Как и Цезарь, мы можем трактовать их в свою пользу, что порой уводит нас слишком далеко от объективной реальности.

Управляемые данными предсказания способны обеспечить нам успех — или привести к неудаче. Шансы на неудачу возрастают, когда мы отрицаем собственную роль в процессе. Перед тем как потребовать большего от данных, мы должны потребовать больше от себя.

Если вы знаете мою предысторию, то такая точка зрения может показаться вам довольно странной. Многие слышали о том, что я умею работать с данными и статистически их обрабатывать. Я использую имеющуюся информацию для создания довольно успешных прогнозов. В 2003 г., когда мне уже порядком надоело консультировать клиентов, я занялся созданием системы, получившей название PECOTA, цель которой состояла в предсказании результатов игроков Главной бейсбольной Лиги. Она имела целый ряд инноваций (например, ее прогнозы носили вероятностный характер, и в них указывался диапазон возможных исходов для каждого игрока). Сравнив наши результаты с соответствующими результатами конкурирующих систем, мы обнаружили, что смогли их переиграть. В 2008 г. я создал веб-сайт FiveThirtyEight, призванный предсказать результаты надвигавшихся выборов. Прогнозы FiveThirtyEight правильно назвали победителя президентского голосования в 49 из 50 штатов, а также победителей голосования в 35 штатах по итогам выборов в Сенат.

После выборов со мной связалось несколько издателей, желавших заработать на издании пользовавшихся успехом книг типа «Moneyball» и «Фрикономика»40 (в которых были приведены истории «ботаников», завоевавших мир). Они хотели, чтобы и в моей книге рассказывалось бы о чем-то подобном, то есть о предсказаниях, основанных на данных в различных областях, начиная от бейсбола и заканчивая финансами и национальной безопасностью.

Однако, пообщавшись в течение четырех лет более чем с сотней экспертов в десятке областей, прочитав сотни журнальных статей и книг и пропутешествовав в ходе своего расследования от Лас-Вегаса до Копенгагена, я постепенно понял, что предсказания в условиях эры Больших данных оказываются не особенно успешными. Мне же повезло сразу на нескольких уровнях: во-первых, из-за того, что я достиг успеха, несмотря на огромное количество сделанных ошибок (о которых я поговорю позднее), и, во-вторых, из-за того, что я правильно выбирал свои битвы.

Бейсбол, например, — уникальный, исключительный случай. Можно сказать, что это особенно яркое и открывающее нам глаза исключение, и в книге объясняется, почему это так и почему через десяток лет после выхода «Moneyball» фанаты статистики и скауты сотрудничают между собой в условиях, близких к полной гармонии.

В книге приведены и некоторые другие примеры, вселяющие в нас надежду. Один из них — прогнозирование погоды, требующее и человеческих суждений, и компьютерных мощностей. Метеорологи имеют довольно плохую репутацию, однако им удалось достичь заметного прогресса в работе: они способны предсказать место появления центра урагана в три раза точнее, чем четверть века назад. Кроме этого, мне довелось встречаться с игроками в покер и людьми, делавшими ставки на спортивные события и переигрывавшими Лас-Вегас. Встречался я и с программистами, создавшими для компании IBM компьютер Deep Blue, который смог обыграть чемпиона мира по шахматам.

Однако все эти примеры прогресса в области прогнозирования с лихвой уравновешиваются массой примеров неудач.

Если бы мне нужно было назвать единственную определяющую черту американцев — то, что делает нас исключительными, — я бы назвал веру в идею Кассия, в то, что мы сами контролируем собственную судьбу. Наша страна была создана на заре промышленной революции религиозными бунтарями, считавшими, что свободный поток идей помогает распространять не только религиозные, но и научные и коммерческие убеждения. Значительная доля наших сильных и слабых черт — нашей изобретательности и нашего трудолюбия, нашего высокомерия и нашего нетерпения — проистекает из непоколебимой веры в идею о том, что мы сами выбираем собственный путь.

Однако новое тысячелетие началось для американцев отвратительно. Мы не ожидали атак 11 сентября. Основная проблема заключалась в нежелании увидеть информацию. Как и в случае с нападением на Перл-Харбор шестью десятилетиями ранее, у нас имелись все сигналы. Однако мы не сопоставили одни сигналы с другими. При отсутствии достойной теории о поведении террористов мы оказались слепы к данным, а атаки оказались для нас «неизвестным неизвестным».

Немало неудачных предсказаний было связано и с недавним глобальным финансовым кризисом. Наша наивная вера в модели и неспособность понять, насколько сильно они полагаются на довольно хрупкие предположения, уже привела к разрушительным результатам. Кроме этого, я обнаружил, что даже в более рутинных условиях мы неспособны спрогнозировать рецессии более чем за несколько месяцев — и совсем не потому, что не стараемся этого сделать.

Несмотря на значительный прогресс в контроле уровня инфляции, можно сказать, что во всех остальных важных вопросах творцы нашей экономической политики действуют вслепую.

Модели прогнозирования, опубликованные политологами в преддверии президентских выборов 2000 г., предсказали убедительную победу Ала Гора, причем с большим перевесом41.

Однако выборы выиграл Джордж У. Буш. Неверные прогнозы такого рода вряд ли можно считать аномальными — они довольно типичны для политических предсказаний. Многолетнее исследование, проведенное Филипом Э. Тэтлоком из Пенсильванского университета, показало, что даже после того, как политологи заявляли о полной невозможности определенного политического события, оно тем не менее происходило примерно в 15 % случаев (при этом результаты политологов зачастую оказываются лучше, чем выводы аналитиков, мелькающих в телевизионных шоу).

В последнее время, как и в 1970-х гг., предпринимался ряд попыток предсказать землетрясения, в основном с помощью математических методов, предполагающих управление данными.

Однако в результате некоторые предсказанные землетрясения так и не произошли, но были другие, к которым мы не смогли подготовиться. Конструкция ядерного реактора в Фукусиме предусматривала возможность выдерживать землетрясение магнитудой 8,6 балла, отчасти потому, что некоторые сейсмологи посчитали, что более сильные землетрясения просто невозможны. Однако в марте 2011 г. произошло самое ужасное в истории Японии землетрясение магнитудой 9,1 балла.

Существует целый ряд научных дисциплин, в которых предсказания часто оказываются неверными, и порой это обходится обществу очень дорого. Достаточно рассмотреть отрасль биомедицинских исследований. В 2005 г. уроженец Афин, медицинский исследователь по имени Джон П. Иоаннидис опубликовал довольно противоречивую работу под названием «Почему самые широко публикуемые выводы исследований неверны»42.

В работе изучались выводы, полученные другими исследователями, точнее, были приведены описания различных медицинских гипотез, выдвинутых в рамках лабораторных экспериментов. По мнению автора, большинство этих выводов показало бы свою несостоятельность в условиях реального мира. Не так давно компания Bayer Laboratories подтвердила гипотезу Иоаннидиса. При проведении собственных экспериментов компании не удалось повторить около двух третей результатов, о которых сообщалось в медицинских журналах43.

Большие данные действительно приведут к прогрессу, но лишь со временем. Насколько быстро это произойдет, и возможен ли дальнейший регресс, будет зависеть от нас самих.

37 Большие данные (Big Data) в информационных технологиях — серия подходов, инструментов и методов обработки разнообразных структурированных и неструктурированных данных огромных объемов для получения воспринимаемых человеком результатов.

38 «What Is Big Data?», IBM. http://www-01.ibm.com/software/data/bigdata/.

39 Chris Anderson, «The End of Theory: The Data Deluge Makes the Scientific Method Obsolete», Wired magazine, June 23, 2008. http://www.wired.com/science/discoveries/magazine/16–07/pb_theory.

40 Книги изданы на русском языке: Льюис М. Moneyball. Как математика изменила самую популярную спортивную лигу в мире. М.: Манн, Иванов и Фербер, 2013 (Moneyball: The Art of Winning an Unfair Game); Левитт С., Дабнер С. Фрикономика. М.: Манн, Иванов и Фербер, 2010 (Freaconomics).

41 Nate Silver, «Models Based on ”Fundamentals” Have Failed at Predicting Presidential Elections», FiveThirtyEight, New York Times, March 26, 2012. http://ivethirtyeight.blogs.nytimes.com/2012/03/26/models-based-on-fundamentals-have-failed-at-predicting-presidential-elections/.

42 John P. A. Ioannidis, «Why Most Published Research Findings Are False», PLOS Medicine, 2, 8 (August 2005), e124. http://www.plosmedicine.org/article/info: doi/10.1371/journal.pmed.0020124.

43 Brian Owens, «Reliability of ”New Drug Target” Claims Called into Question, NewsBlog,Nature, September 5, 2011. http://blogs.nature.com/news/2011/09/reliability_of_new_drug_target.html.

Почему нас шокирует будущее

С биологической точки зрения мы не очень сильно отличаемся от своих предков. Однако некоторые из сильных сторон каменного века превратились в условиях информационной эпохи в слабости.

У людей довольно мало естественных защитных механизмов. Мы относительно медлительны и не особенно сильны. У нас нет когтей, клыков или брони. Мы не можем плевать ядом или маскироваться. Мы не умеем летать. Вместо всего этого мы выживаем благодаря своим мозгам. Мы способны быстро мыслить. Мы умеем находить закономерности и легко реагировать на появляющиеся возможности и возникающие угрозы.

«Эта потребность в поиске закономерностей проявляется у людей значительно сильнее, чем у других животных», — рассказал мне Томассо Поджио, специалист по неврологии из Массачусетского технологического института, изучающий, как наш головной мозг обрабатывает информацию. «Узнавание объектов в сложных ситуациях предполагает определенную степень обобщения. Новорожденный ребенок способен узнавать очертания лиц. И это не индивидуальный навык, а способность, приобретенная нами в ходе эволюции».

По словам Поджио, проблема состоит в том, что эти эволюционные инстинкты иногда заставляют нас видеть закономерности там, где их нет. «Люди постоянно находят закономерности в случайном шуме», — считает Поджио.

Человеческий мозг — невероятно интересная вещь; по некоторым данным, он способен хранить до трех терабайтов информации44. Однако этот огромный объем представляет собой около одной миллионной от той информации, которая, по данным IBM, производится в мире каждыйдень. Поэтому мы должны быть в высшей степени избирательны по отношению к информации, которую нам нужно помнить.

Элвин Тоффлер, автор вышедшей в 1970 г. книги «Шок будущего» (Alvin Toffler «Future Shock»)45, предсказал некоторые последствия того, что он называл «информационной перегрузкой». По его мнению, лучший защитный механизм состоит в том, чтобы упрощать мир в соответствии со своими предубеждениями, хотя сам по себе мир становится все более разнообразным и комплексным46.

Наши биологические инстинкты не всегда хорошо адаптируются к современному обществу, переполненному информацией. И пока мы не начнем активно изучать собственные предубеждения, польза от дополнительной информации будет ничтожной или даже превратится во вред.

Информационная перегрузка, возникшая после рождения печатного пресса, привела к росту сектантства. Теперь все различные религиозные идеи можно было тестировать с помощью большего объема информации, с большей убежденностью, с бо2льшим количеством «доказательств» — и со значительно меньшей терпимостью к иным мнениям. То же самое явление разворачивается в наши дни. Разделение по политическим партиям в США начало активно развиваться примерно тогда же, когда Тоффлер написал «Шок будущего», и его темпы ускорились с появлением интернета47.

Подобные партийные убеждения могут легко нарушить справедливость утверждения о том, что чем больше информации, тем ближе мы становимся к истине. Недавнее исследование, проведенное журналом Nature, показало, что чем больше информации оглобальном потеплении получали рьяные приверженцы той или иной партии, тем меньше они соглашались со своими оппонентами48.

Кроме этого, даже при том, что объем информации ежедневно увеличивается на 2,5 квинтильона байт, с объемом полезной информации ситуация совершенно иная. Основная масса ежедневного прироста представляет собой обычный шум, растущий быстрее сигнала. У нас есть масса гипотез, требующих тестирования, и куча информационных массивов для тестирования — однако объем той информации, которую можно считать объективной истиной, остается практически неизменным.

Печатный пресс изменил наш способ совершать ошибки. Более редкими стали обычные ошибки переписчиков. Однако, если ошибка возникала, она могла воспроизводиться множество раз, как произошло с «Греховной Библией».

Этим свойством отличаются сложные системы типа Всемирной паутины. Возможно, они дают сбой не так часто, как более простые системы, но если этот сбой происходит, он оказывается в высшей степени значительным. Капитализм и интернет — две системы, невероятно эффективные с точки зрения пропаганды, позволяют плохим идеям распространяться точно в такой же степени, что и хорошим. Плохие идеи могут вызвать непропорционально сильный эффект. В преддверии финансового кризиса система была настолько искаженной, что любое недостаточно точное предположение в моделях, созданных кредитными рейтинговыми агентствами, сыграло огромную роль в кризисе всей глобальной финансовой системы.

Один из путей решения этой проблемы состоит в регулировании. Однако я подозреваю, что это — всего лишь попытка отказаться от того, чтобы обратиться за ответами внутрь самих себя. Нам нужно остановиться и признать, что у нас, у людей, есть проблема с предсказаниями. Мы любим заниматься ими, но не очень хорошо умеем это делать.

44 Этот расчет взят у Роберта Бирджа из Сиракузского университета, http://www.sizes.com/people/brain.htm.

45 Издана на русском языке: Тоффлер Э. Шок будущего. М.: АСТ, 2008.

46 Alvin Tofler, FutureShock (New York: Bantam Books, 1990), p. 362.

47 «The Polarization of the Congressional Parties», VoteView.com. http://voteview.com/political_polarization.asp.

48 Dan M. Kahan, et al., «The Polarizing Impact of Science Literacy and Numeracy on Perceived Climate Change Risks», Nature ClimateChange, May 27, 2012. http://www.nature.com/nclimate/journal/vaop/ncurrent/full/nclimate1547.html.

Что можно сказать о предсказании

Предсказание можно считать одновременно и основной проблемой этой книги, и основным ее решением.

Предсказания — это неотъемлемая часть нашей жизни. Каждый раз, когда мы выбираем маршрут движения на работу, размышляем о том, стоит ли идти на второе свидание или нужно ли отложить некоторую сумму на черный день, мы делаем прогноз о том, как будут развиваться события в нашем будущем и каким образом наши планы повлияют на вероятность позитивного исхода.

Тщательного осмысливания требуют решения далеко не всех этих повседневных вопросов; мы можем выделить на принятие каждого решения лишь ограниченное время. Тем не менее в течение дня каждый из нас делает множество предсказаний, вне зависимости от того, отдает ли он себе в этом отчет.

Именно по этой причине данная книга рассматривает предсказание как некий общечеловеческий опыт, а не функцию, которую реализует избранная группа экспертов или практиков. Конечно, всегда забавно потешаться над экспертами, когда их предсказания не сбываются. Однако нам не стоит слишком уж злорадствовать. Заявлять о том, что наши собственные предсказания ничуть не хуже, чем предсказания экспертов, — значит налагать на себя проклятие неоправданной похвалы.

При этом стоит отметить, что предсказания играют достаточно важную роль в науке.

Кому-то из вас может показаться дискомфортной мысль, на которую я намекал выше и которую теперь хочу высказать максимально прямо: мы никогда не сможем создавать идеально объективные предсказания. Они всегда будут искажены вследствие нашей субъективной точки зрения.

Однако эта книга категорически против нигилистической точки зрения, согласно которой объективной истины не существует. Скорее, она утверждает, что убеждение в наличии объективной истины — и приверженность ее достижению — представляет собой первое необходимое условие для создания качественного предсказания. Следующее, что должен признать любой прогнозист, — это тот факт, что его картина мира неидеальна.

Предсказание важно, поскольку оно позволяет соединить субъективную и объективную реальности. Эту точку зрения разделял философ науки Карл Поппер49. Для него гипотеза не считалась научной, когда ее нельзя было сфальсифицировать — иными словами, когда ее можно было протестировать в реальном мире путем прогнозирования.

В то же время мы должны понять, что далеко не все наши идеи могут или даже должны подвергнуться проверке. В экономике гораздо проще протестировать прогноз уровня безработицы, чем делать заявления об эффективности расходов на стимулирование бизнеса. В политических науках мы можем тестировать модели, использующиеся для предсказания исхода выборов, но, допустим, верификация теории о том, как могут повлиять изменения в политических учреждениях на общую политику, может занять десятилетия.

Я не хочу идти так же далеко, как Поппер, и утверждать, что эти теории — ненаучны или что в них отсутствует какая-либо ценность. Однако тот факт, что лишь немногие из теорий, которые мы можем проверить, показывают довольно плохие результаты, должен приводить нас к мысли о том, что многие из идей, которые мы не тестировали, могут также оказаться неверными. Вне всякого сомнения, мы живем с иллюзиями, которых даже не понимаем.

Однако нам есть куда двигаться. Возможное решение покоится не на довольно сырых политических идеях — особенно с учетом того, что я рассматриваю нашу нынешнюю политическую систему как значительную часть проблемы. Скорее, решение требует изменения нашего отношения.

Это новое отношение воплощается в так называемой теореме Байеса, о которой я расскажу в главе 8. Эта теорема, по сути, выглядит как математическая формула, но в реальности она представляет собой нечто гораздо более масштабное. Она предполагает, что мы должны думать о своих идеях (и том, как их проверять) иначе. Мы должны почувствовать себя более комфортно в условиях вероятности и неопределенности. Мы должны тщательнее размышлять о предположениях и убеждениях, с которыми связана проблема.

Данная книга делится примерно на две половины. Первые семь глав посвящены диагностике проблемы предсказания, а последние шесть — изучению и применению теоремы Байеса.

Каждая глава ориентирована на освещение конкретного вопроса и описывает его с определенной степенью глубины. Не буду отрицать, что эта книга достаточно детальна — отчасти потому, что в деталях часто кроется дьявол, а отчасти из-за моей убежденности в том, что достаточная степень погружения в предмет позволит понять его несоизмеримо лучше, чем короткое резюме.

Выбранная мной тематика связана с наличием обширной общедоступной информации. Известны примеры того, как прогнозисты создавали предсказания, основанные на закрытой информации (например, в случаях, когда компании используют данные о своих покупателях для прогнозирования спроса на новый продукт). Я же предпочитаю рассказывать о тех объектах, в отношении которых можно не верить мне на слово, а самостоятельно проверить результаты.

49 Karl Popper, The Logic of Scientific Discovery (Abingdon, Oxon, England: Routledge Classics, 2007), p. 10.

Короткая дорожная карта

В этой книге вы найдете много примеров из различных областей знаний (естественных и общественных наук), а также из спорта и азартных игр. В ней приведены как сравнительно прямолинейные примеры, в которых проще всего провести различие между успешным и неудачным предсказанием, так и другие, требующие чуть больше мастерства.

В главах 1–3 рассмотрены случаи неудачного предсказания в таких вопросах, как недавний финансовый кризис, успехи в бейсболе и в области политики, показано, где одни подходы сработали хорошо, а другие — нет. Их цель состоит в том, чтобы заставить вас задуматься о некоторых самых фундаментальных вопросах, лежащих в основе проблемы предсказания. Каким образом можем мы применить свои суждения в отношении данных, не поддаваясь при этом предубеждениям? В каких условиях рыночная конкуренция позволяет сделать лучшие прогнозы и за счет чего она способна их ухудшить? Каким образом мы можем сочетать необходимость использования знания прошлого как руководства к действию с признанием того, что будущее может быть совершенно иным?

В главах 4–7 основное внимание уделено динамическим системам: поведению земной атмосферы, влияющему на формирование той или иной погоды; движению тектонических плит планеты, способному вызвать землетрясения; комплексным взаимодействиям между людьми, влияющим на поведение американской экономики, а также распространению инфекционных заболеваний. Эти системы изучаются некоторыми из наших лучших ученых. Однако прогнозировать процессы, протекающие в динамических системах, достаточно сложно, и предсказания в этих областях далеко не всегда оказываются верными.

Главы 8–10 обращаются к решениям: сначала мы познакомим вас с человеком, делающим ставки на исходы спортивных мероприятий и применяющим теорему Байеса более умело, чем многие экономисты или ученые, а затем поговорим о двух видах спорта — о шахматах и покере.

Спорт и игры, подчиняющиеся четко определенным правилам, представляют собой отличную лабораторию для тестирования наших прогностических навыков. Они помогают нам лучше понимать смысл случайности и неопределенности, а также учат тому, как превращать информацию в знание.

Однако теорема Байеса может применяться и к значительно более важным проблемам. В главах 11–13 рассмотрены три примера: глобальное потепление, терроризм и пузыри на финансовых рынках. Эти проблемы достаточно важны и сложны для прогнозистов и общества в целом. Однако если мы решим принять брошенный нам вызов, то сможем сделать нашу страну, нашу экономику и нашу планету немного безопаснее.

Мир прошел долгий путь со времени изобретения печатного пресса. Информация перестала быть дефицитным продуктом; теперь ее у нас невероятно много, и мы не всегда знаем, что с ней делать. Однако по-настоящему полезной можно считать сравнительно небольшую ее часть. Мы воспринимаем ее избирательно, субъективно и не придаем значения возникающим в результате искажениям. Мы думаем, что нам нужна информация, хотя на самом деле нам нужно знание.

Сигнал — это правда. А шум — это то, что отвлекает нас от правды. Эта книга расскажет вам и о сигналах, и о шумах.

Глава 1

Катастрофически неудачные прогнозы

Наступило 23 октября 2008 г. Фондовый рынок находился в состоянии свободного падения, обвалившись за предшествующие пять недель почти на 30 %. Некогда уважаемая компания Lehman Brothers оказалась банкротом. Кредитные рынки практически перестали работать. Дома в Лас-Вегасе потеряли 40 % от своей стоимости50. Безработица подскочила до невероятно высокого уровня. Сотни миллиардов долларов, находившихся в распоряжении обанкротившихся финансовых фирм, моментально исчезли. Уровень доверия к правительству оказался самым низким за весь период его оценок51. А через две недели должны были состояться президентские выборы.

Конгресс, работа которого в обычных условиях затихала перед выборами, развил лихорадочную деятельность. Рассматриваемые в нем законопроекты о помощи финансовым организациям обещали стать непопулярными52, и Конгрессу нужно было создать впечатление, что все те, кто вел себя «неправильно», будут наказаны. Комитет США по надзору приказал главам трех основных агентств, занимавшихся составлением кредитных рейтингов, — Standard&Poor’s (S&P), Moody’s и Fitch Ratings — дать показания на парламентских слушаниях. Рейтинговые агентства были обвинены в неверной оценке вероятности того, что триллионы долларов в ценных бумагах, обеспеченных закладными, попадут под дефолт. Мягко говоря, возникло впечатление, что они оказались скомпрометированными.

50 «S&P/Case-Shiller Home Price Index: Las Vegas, NV» http://ycharts.com/indicators/case_shiller_home_price_index_las_vegas.

51 Jeffrey M. Jones, «Trust in Government Remains Low», Gallup.com, September 18, 2008. http://www.gallup.com/poll/110458/trust-government-remains-low.aspx.

52 Хотя на момент принятия законопроектов было неизвестно, кто за них голосовал, проведенный позднее статистический анализ показал, что члены Конгресса, голосовавшие за них, имели больше шансов потерять свои места. См., к примеру: Nate Silver, «Health Care and Bailout Votes May Have Hurt Democrats», FiveThirtyEight,New York Times, November 16, 2011. http://fivethirtyeight.blogs.nytimes.com/2010/11/16/health-care-bailout-votes-may-have-hurt-democrats/.

Худшее из возможных предсказаний

Кризис конца 2000-х гг. часто воспринимают какпровал, поражение наших политических и финансовых учреждений. Очевидно, что этодействительно было огромным поражением с экономическойточки зрения. Даже в 2011 г., через четыре года после официального начала Великой рецессии,американская экономикаработала на уровне в 800 млрд долл. нижесвоего производственного потенциала53.

Однако я убежден, что правильнее оценивать финансовый кризис как провал в оценке состояния экономики или катастрофическую ошибку предсказания. Проблемы с прогнозами носили широкомасштабный характер, возникали практически на каждом шагу до, во время и после кризиса и вовлекали в себя массу участников — от ипотечных брокеров до Белого дома.

И самое страшное заключается в том, что «провалившиеся» предсказания обычно имеют много общих черт. Мы ориентируемся на сигналы, рассказывающие не о реально существующем мире, а о том, что мы хотим видеть. Мы игнорируем риски, которые сложнее всего измерить, даже когда они представляют собой величайшие угрозы нашему благосостоянию. Мы создаем приблизительное представление о мире, значительно более грубое, чем наше восприятие. Мы ненавидим неопределенность, даже когда она является неотъемлемой частью проблемы, которую мы пытаемся решить. Если мы хотим добраться до истинной причины финансового кризиса, нам следует начать с выявления самого «провального» предсказания, которое и привело ко всем последующим ошибкам.

Рейтинговые агентства давали рейтинг AAA (обычно зарезервированный для горстки наиболее платежеспособных стран и отлично управляемых компаний нашего мира) тысячам ценных бумаг, обеспеченных закладными, — финансовым инструментам, позволявшим инвесторам делать ставку на вероятность того, что кто-то не сможет расплатиться по закладной на свой дом.

Рейтинги, выпускавшиеся этими компаниями, были, по сути дела, предсказаниями, то есть расчетами вероятности того, что часть долга подвергнется дефолту54. Например, компания Standard&Poor’s озвучивала инвесторам, что рейтинг AAA у особенно сложного типа ценных бумаг, называемых облигациями, обеспеченных долговыми обязательствами (CDO)55, означает, что невозможность выплаты по ним в течение следующих пяти лет составляет всего 0,12 %, или 1 шанс из 85056. По сути, это делало подобный инструмент столь же безопасным, как и корпоративные облигации57 с рейтингом AAA58, и более безопасным, чем казначейские обязательства США (по мнению S&P)59. Рейтинговые агентства будто забыли о существовании колоколообразных кривых распределения вероятности.

В реальности, судя по внутренним данным S&P, дефолту подверглось 28 % CDO с рейтингом AAA60 (по некоторым независимым оценкам, этот показатель был еще выше61). Это значит, что реальные показатели дефолта для CDO оказались более чем в 200 раз выше, чем предсказывала S&P (рис. 1.1)62.

Пожалуй, это пример чуть ли не самого серьезного провала, который только можно сделать в области предсказаний, — триллионы долларов в инвестициях, считавшихся почти полностью безопасными, обернулись чем-то диаметрально противоположным. Представьте себе, что прогноз погоды обещает вам +25 °С и солнце, а на вас внезапно обрушивается метель. Если вы сделаете неудачное предсказание, у вас есть несколько вариантов его последующего объяснения. Первый — обвинить внешние обстоятельства — то, что мы часто называем «невезением». Иногда это разумно и даже правильно. Когда Национальная служба погоды говорит о том, что вероятность безоблачной погоды составляет 90 %, а на улице начинается дождь, испортивший вам проведение турнира по гольфу, ее не стоит в этом винить. Исторические данные за многие десятилетия свидетельствуют, что когда Служба погоды говорит, что вероятность дождя составляет 1 к 10, то в долгосрочной перспективе дождь действительно идет всего в 10 % случаев63.

Однако подобное объяснение внушает куда меньше доверия, когда у человека, делающего прогноз, за плечами нет истории успешных предсказаний и когда масштаб его ошибки значительно больше. В таких случаях проблема чаще связана с моделью мира, созданной прогнозистом, а не с миром как таковым.

В случае с CDO рейтинговые агентства вообще не имели никакой истории, на которую можно было бы опираться, — это были новые и мало кому знакомые ценные бумаги, а показатели уровня дефолта, заявленные S&P, основывались не на исторических данных, а на предположениях, вытекающих из неправильной статистической модели. При этом масштаб ошибок был огромным: на практике шансы на дефолт у CDO с рейтингом AAA оказались в 200 раз выше, чем в теории.

Правильное решение для рейтинговых агентств заключалось в том, чтобы признать ошибочность используемых моделей. Однако на слушаниях в Конгрессе они попытались снять с себя ответственность и заявили, что им просто не повезло. Они обвинили в случившемся внешние непредвиденные обстоятельства, а именно пузырь на жилищном рынке.

«S&P была не единственной компанией, которая внезапно столкнулась с резким падением на рынках жилья и ипотек», — сообщил Конгрессу в октябре того же года Девен Шарма, глава Standard&Poor’s64. «Почти никто — ни домовладельцы, ни финансовые учреждения, ни рейтинговые агентства, ни регуляторы, ни инвесторы — не мог предвидеть, что ждет их впереди».

Никто не мог предвидеть, что ждетих впереди. Если вы не можете заявить о своей невиновности, говорите о невежестве — зачастую это становится самой первой версией защиты в случае неудачного прогноза65. Однако заявление Шармы оказалось ложью, вполне типичной для слушаний в Конгрессе. Помните «У меня не было сексуальных отношений с этой женщиной» или «Я никогда не использовал стероиды»?66

Что же касается пузыря на жилищном рынке, то следует отметить тот факт, что очень многие замечали его развитие — и говорили об этом задолго до того, как он лопнул. Роберт Шиллер, экономист из Йеля, заметил начало развития пузыря еще в 2000 г., написав об этом в книге «Иррациональное изобилие» (Robert J. Shiller. «Irrational Exuberance»)67. Дин Бейкер, экономист из Центра по экономическим и политическим исследованиям, писал о пузыре в августе 2002 г.68. Корреспондент журнала Economist, известный своей степенной прозой, говорил о «крупнейшем пузыре в истории» уже в июне 2005 г.69. Пол Кругман, экономист и лауреат Нобелевской премии, писал о пузыре и его неминуемом крахе в августе 2005 г.70. «Происходившее полностью вписывалось в систему, — рассказывал мне впоследствии Кругман. — Крах на рынке жилья не был черным лебедем. Он был настоящим слоном в посудной лавке».

Озабоченность проявляли и обычные американцы. Количество поисков в Google по запросу «housing bubble» («пузырь на жилищном рынке») выросло с января 2004 г. по лето 2005 г. примерно в 10 раз71. Наибольший интерес к этому термину проявляли в штатах типа Калифорнии, где наблюдался самый значительный рост цен на жилье72 и где, по всей видимости, могло произойти самое значительное их падение. В сущности, существование пузыря на удивление широко обсуждалось. И если выражение «пузырь на жилищном рынке» появлялось в 2001 г. всего в восьми новостных сообщениях73, то к 2005 г. уже в 3447. Пузырь на жилищном рынке обсуждался в заслуживающих уважения газетах и периодических изданиях примерно десять раз в день74.

И тем не менее рейтинговые агентства, работа которых заключается в оценке риска на финансовых рынках, утверждали, что они ничего не заметили. И то обстоятельство, что они считали это своей лучшей линией защиты, многое говорит о том, что проблемы с их предсказаниями значительно глубже, чем мы могли бы предположить.

53 Измерено путем сравнения реального и потенциального ВВП. По состоянию на четвертый квартал 2011 г. разница составила примерно 778 млрд долл., или немногим более 2500 долл. на каждого гражданина США. «Real Potential Gross Domestic Product», Congressional Budget Office, United States Congress. http://research.stlouisfed.org/fred2/data/GDPPOT.txt.

54 С технической точки зрения, рейтинг S&P принимает во внимание лишь возможность дефолта в любой сумме, а две другие компании также учитывают потенциальный масштаб дефолта.

55 CDO (collateralized debt obligation) — финансовая или банковская облигация, обеспеченная долговыми обязательствами, — обобщающее понятие для различных типов облигаций, обеспеченных пулом долговых обязательств, принадлежащих эмитенту, например пулом облигаций, выданных кредитов или ипотек и т.д.

56 Anna Katherine Barnett-Hart, «The Story of the CDO Market Meltdown: An Empirical Analysis», thesis, Harvard University, p. 113. http://www.hks.harvard.edu/m-rcbg/students/dunlop/2009-CDOmeltdown.pdf.

57 Корпоративная облигация — долговой инструмент, выпускаемый компанией. В отличие от большинства муниципальных и государственных облигаций, которые не обращаются на основных фондовых биржах и не являются объектами налогообложения, корпоративные облигации обращаются на основных торговых площадках, и уплачиваемый по ним процент облагается налогом.

58 Diane Vazza, Nicholas Kraemer and Evan Gunter, «2010 Annual U. S. Corporate Default Study and Rating Transitions», Standard & Poor’s, March 30, 2011. http://www.standardandpoors.com/ratings/articles/en/us/?articleType=HTML&assetID=1245302234800.

59 S&P снизила рейтинг Казначейских обязательств США до уровня AA+ в 2011 г.

60 Mark Adelson, «Default, Transition, and Recovery: A Global Cross-Asset Report Card of Ratings Performance in Times of Stress», Standard & Poor’s, June 8, 2010. http://www.standardandpoors.com/products-services/articles/en/us/?assetID=1245214438884.

61 Barnett-Hart, «The Story of the CDO Market Meltdown: An Empirical Analysis».

62 Большинство CDO, не подвергшихся дефолту сразу же, на данный момент почти не имеют цены; свыше 90 % ценных бумаг, обеспеченных закладными и выпущенных в 2006 и 2007 гг., имеют низкий рейтинг, не рекомендующий инвестиции в них. (BlackRock Solutions, по состоянию на 7 мая 2010 г.; по данным презентации, представленной автору Анилом Кашьяпом из Чикагского университета).

63 Это справедливо в отношении прогнозов Национальной службы погоды, но не ваших местных телевизионных метеорологов. Порой они заинтересованы в том, чтобы завысить вероятность дождя для повышения своих рейтингов. Мы поговорим об этом детальнее в главе 4. — Прим. авт.

64 «Testimony of Deven Sharma, President of Standard & Poor’s, Before the Committee on Oversight and Government Reform», United States House of Representatives, October 22, 2008. http://oversightarchive.waxman.house.gov/documents/20081022125052.pdf.

65 Такая позиция остается основной линией защиты S&P и в наши дни. После того как я обратился к спикеру S&P Кэтрин Мэтиз в октябре 2011 г. с просьбой об интервью на тему рейтингов ипотечных долговых обязательств, она ответила мне почти такими же словами. «Вы должны отметить, что мы были не одни, — написала она мне в ответном электронном письме. — Многие домовладельцы, финансовые учреждения, политики и инвесторы не ожидали того, что рынок жилья в США сократится так сильно и так быстро». S&P отказала мне в просьбе о полноценном интервью. Дополнительные свидетельства об этом вопросе можно найти в Kristopher S. Gerardi, Andreas Lehnert, Shane M. Sherlund and Paul S. Willen, «Making Sense of the Subprime Crisis», Public Policy Discussion Papers No. 09–1, Federal Reserve Bank of Boston, December 22, 2008. http://www.bos.frb.org/economic/ppdp/2009/ppdp0901.htm.

66 Первая — известная фраза президента Билла Клинтона, прозвучавшая во время скандального рассмотрения его отношений с Моникой Левински. Вторую фразу произнес знаменитый бейсболист Рафаэль Пальмейро во время слушаний в Конгрессе в связи с употреблением им стероидов. В обоих случаях эти громкие заявления были опровергнуты новыми фактами. — Прим. пер.

67 Robert J. Shiller, Irrational Exuberance (Princeton, NJ: Princeton University Press, 2000).

68 Dean Baker, «The Run-Up in Home Prices: Is It Real or Is It Another Bubble?» Center for Economic and Policy Research, August. 2002. http://www.cepr.net/index.php/publications/reports/the-run-up-in-home-prices-is-it-real-or-is-it-another-bubble/.

69 «In Come the Waves», The Economist, June 16, 2005. http://www.economist.com/node/4079027?story_id=4079027.

70 Paul Krugman, «That Hissing Sound», New York Times, August 8, 2005. http://www.nytimes.com/2005/08/08/opinion/08krugman.html.

71 Google «Insights for Search» бета-проект; «housing bubble» (поиск по всему миру). http://www.google.com/insights/search/#q=housing%20bubble&cmpt=q.

72 Google «Insights for Search» бета-проект; «housing bubble» (по США). http://www.google.com/insights/search/#q=housing+bubble&cmpt=q&geo=US.

73 Поиск по сайту Newslibrary.com только по источникам в США.

74 Уровень обсуждения этого вопроса в новостных СМИ сопоставим с происходившим в конце 1990-х гг. перед крахом «пузыря на фондовом рынке». За период между 1994 и 1999 гг. упоминание термина выросло в 10 раз, достигнув пика всего за год до краха на рынках.

«Не думаю, что они хотели, чтобы музыка перестала играть»

Ни один из известных мне экономистов и инвесторов, с которыми я беседовал перед написанием этой главы, не высказывал теплых чувств по отношению к рейтинговым агентствам. Однако при объяснении причин неудачи рейтингов — алчность или невежество? — мнения моих собеседников разделились.

Возможно, Джулса Кролла можно считать одним из самых авторитетных специалистов в данном вопросе, поскольку он сам управляет рейтинговым агентством. В 2011 г., когда я встретился с ним в нью-йоркском офисе его компании Kroll Bond Ratings (основанной в 2009 г.), она как раз выпустила в свет свой первый рейтинг, связанный с ипотекой для строителей гигантского торгового центра в Арлингтоне, штат Виргиния.

Кролл видит основную причину ошибок рейтинговых агентств в отсутствии «надзора». Достаточно иронично слышать это слово от Кролла, который, перед тем как заняться рейтингами, управлял умеренно известной (и невероятно прибыльной) компанией Kroll, выступавшей в роли своеобразного детективного агентства, расследовавшего случаи корпоративного мошенничества. Эти люди знали, как найти преступников, например, однажды им удалось выловить похитителей одного миллиардера и владельца хеджевого фонда после того, как те воспользовались его кредитной картой, чтобы купить себе пиццу75. На момент нашей встречи Кроллу было 69 лет, однако его инстинкты ищейки остались столь же сильными, что и в прошлом, — и они пробудились, как только он занялся изучением деятельности рейтинговых агентств.

«Надзор — это термин, который можно рассматривать как своего рода искусство в рейтинговой отрасли, — сказал мне Кролл. — Суть его заключается в том, что вы постоянно информируете инвесторов о том, что видите. Каждый месяц вы получаете tape76 — информацию о событиях типа дефолтов по закладным или досрочном их погашении, — короче, массу данных. По сути, это своеобразная система раннего оповещения: становятся ли дела лучше или хуже? И весь мир ждет, что вы будете держать его в курсе».

Иными словами, рейтинговые агентства должны были одними из первых обнаружить проблемы на жилищном рынке, так как обладали значительно более полной информацией, чем кто-либо еще: они знали, удается ли тысячам заемщиков вовремя делать выплаты по закладным. Однако вплоть до 2007 г., пока проблемы не проявились в полный рост, а уровень неплатежей не вырос почти в два раза, агентства не понижали рейтинг множества ценных бумаг, обеспеченных закладными77.

«Они отнюдь не дураки, — сказал мне Кролл. — Они все знали. Я думаю, что они просто не хотели, чтобы эта музыка перестала играть».

Kroll Bond Ratings — одна из десяти зарегистрированных NRSRO78, то есть признанных в национальном масштабе статистических рейтинговых организаций, получивших от Комиссии по ценным бумагам и биржам право оценивать долговые ценные бумаги. Однако Moody’s, S&P и Fitch — трое из множества игроков — имели почти всю долю рынка; S&P и Moody’s независимо друг от друга оценивали почти 97 % CDO, выпускавшихся до финансового коллапса79.

Одна из причин, по которым S&P и Moody’s пользовались подобным доминирующим присутствием на рынке, состоит в том, что они слишком долго были «членами клуба». Иными словами, они представляют собой часть узаконенной олигополии; доступ же в эту отрасль ограничивается правительством.

Кроме этого, получение одобрения со стороны S&P и Moody’s часто требуют внутренние правила крупных пенсионных фондов80: примерно в двух третях случаев81 в правилах прямо указано, что перед тем, как пенсионный фонд купит ту или иную ценную бумагу, она должна пройти оценку S&P, Moody’s или обеих компаний82.

S&P и Moody’s воспользовались преимуществом своего избранного статуса, чтобы получить исключительно высокую прибыль, несмотря на то что на них часто работали люди, не нашедшие себе места на Уолл-стрит83.

Доходы Moody’s84 от составления так называемых рейтингов структурированного финансирования увеличились за период между 1997 и 2007 гг. более чем на 800 %. В годы роста пузыря именно эти продукты были основными для агентства при работе в индустрии рейтингов85. Они обеспечили Moody’s в тот период на жилищном рынке самую высокую маржу прибыли по сравнению с любой компанией из списка S&P 500, причем в течение пяти лет подряд86. (В 2010 г., даже после того как пузырь лопнул и проблемы с рейтинговыми агентствами стали очевидными, Moody’s умудрялось зарабатывать прибыль на уровне 25 %87.)