10,99 €
Mehr erfahren.
- Herausgeber: Питер
- Kategorie: Wissenschaft und neue Technologien
- Sprache: Russisch
Нужно решить конкретную задачу, а перед вами куча непонятных данных, в которой черт ногу сломит? «Байесовская статистика» расскажет, как принимать правильные решения, задействуя свою интуицию и простую математику. Пора забыть про заумные и занудные университетские лекции! Эта книга даст вам полное понимание байесовской статистики буквально «на пальцах» — с помощью простых объяснений и ярких примеров. Чтобы узнать, как применить байесовские подходы к реальной жизни, вы отправитесь на охоту за НЛО, поиграете в «Лего», рассчитаете вероятность выживания Хана Соло при полете через поле астероидов, а также узнаете, как оценить вероятность того, что вы не заболели (ковидом?!), несмотря на то, что нагуглили все симптомы родильной горячки. Прикладные задачи и упражнения помогут закрепить материал и заложить фундамент для работы с широким спектром задач: от невероятных текущих событий до ежедневных сюрпризов делового мира. Вы научитесь: •Работать с распределениями и неопределенностями. •Сравнивать гипотезы и делать надежные выводы. •Использовать теорему Байеса. •Делать оценку апостериорной вероятности и проверять правильность собственных выводов. Всегда выбирайте лучшее!
Das E-Book können Sie in Legimi-Apps oder einer beliebigen App lesen, die das folgende Format unterstützen:
Seitenzahl: 301
Veröffentlichungsjahr: 2023
Ähnliche
Переводчики , Е. Матвеев, С. Черников
Литературные редакторы А. Потапова , А. Руденко
Художник В. Мостипан
Корректоры С. Беляева, Г. Шкатова
Уилл Курт
Байесовская статистика: Star Wars, LEGO, резиновые уточки и многое другое. — СПб.: Питер, 2021.
ISBN 978-5-4461-1655-3
© ООО Издательство "Питер", 2021
Все права защищены. Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.
Оглавление
Мелани, которая пробудила во мне страсть к писательству
Об авторе
Уилл Курт (Will Kurt) — специалист по данным в Wayfair, уже больше пяти лет использует байесовскую статистику для решения реальных задач бизнеса. Он часто пишет о вероятности на своем веб-сайте CountBayesie.com. Курт является автором «Программируй на Haskell» (изд. «ДМК Пресс»), в настоящее время живет в Бостоне, штат Массачусетс.
О научном редакторе
Челси Парлетт-Пеллерити (Chelsea Parlett-Pelleriti) — аспирантка в области науки о вычислениях и data science и давняя любительница всего забавного и статистического. Автор текстов о статистике, участница различных проектов, включая серию «Краткий курс статистики» (Crash Course Statistics) на YouTube и «Подготовка к экзамену по статистике (углубленная программа)» (Cracking the AP Statistics Exam)в The Princeton Review. В настоящее время живет в Южной Калифорнии.
Благодарности
Написание книги — это действительно невероятное усилие, которое складывается из труда многих людей. Ниже я упомянул лишь некоторых людей, благодаря которым появилась эта книга. Хотел бы начать с благодарности сыну Арчеру за то, что он всегда сохранял во мне любопытство и вдохновлял меня.
Я очень люблю книги No Starch, и для меня большая честь поработать вместе с удивительной командой, которая теперь издает и мою книгу. Я очень благодарен своим редакторам, рецензентам и невероятной команде No Starch. Лиз Чедвик (Liz Chadwick) в самом начале обратилась ко мне с просьбой о создании этой книги и давала рекомендации на протяжении всего процесса ее написания. Лорел Чан (Laurel Chun) позаботилась о том, чтобы весь процесс перехода от черновых записей с заметками по R к полноценной книге прошел гладко. Челси Парлетт-Пеллерити вышла далеко за рамки требований научного редактора и постаралась сделать эту книгу как можно лучше. Фрэнсис Соу (Frances Saux) добавила много важных комментариев к последующим главам.
Отдельная благодарность Биллу Поллоку (Bill Pollock) за создание такого восхитительного издательства.
Будучи специалистом по английской литературе, я и представить себе не мог, что напишу книгу, связанную с математикой. Хотел бы упомянуть нескольких людей, которые помогли мне увидеть чудо математики. Я всегда буду благодарен моему соседу по комнате в колледже Грегу Мюллеру (Greg Muller), который показал сумасшедшему знатоку английской филологии, насколько захватывающим и интересным может быть мир математики. Профессор Анатолий Темкин (Anatoly Temkin) из Бостонского университета открыл мне двери в математическое мышление, научив меня всегда отвечать на вопрос «что это значит». И, конечно же, огромное спасибо Ричарду Келли (Richard Kelley), который, когда я потерялся в пустыне, стал оазисом математических разговоров и подсказок. Также хотел бы поблагодарить команду по науке о данных в Bombora, особенно Патрика Келли (Patrick Kelley) — с ним мы провели множество увлекательных бесед, и некоторые из них нашли свое отражение в книге. Я также всегда буду благодарен читателям своего блога Count Bayesie, которые подбрасывали замечательные вопросы и идеи. Среди читателей я особенно хотел бы поблагодарить комментатора под ником Nevin, который помог исправить некоторые недоразумения, возникшие вначале.
Наконец хочу поблагодарить выдающихся авторов текстов о байесовской статистике, книги которых во многом способствовали моему собственному развитию в этой области. «Doing Bayesian Data Analysis» Джона Крушке (John Kruschke) и «Bayesian Data Analysis» Эндрю Гельмана (Andrew Gelman) — отличные книги, которые стоит прочитать каждому. Безусловно, книга, которая больше всего повлияла на мое мышление, — это феноменальная «Probability Theory: The Logic of Science» Э.Т. Джейнса (E. T. Jaynes). И еще я хотел бы поблагодарить Обри Клейтона (Aubrey Clayton) за серию лекций об этой сложной книге, которая действительно помогла мне разобраться в непонятных темах.
Введение
Практически все в жизни в некоторой степени неопределенно. Это может показаться преувеличением, но чтобы в этом убедиться, проведите быстрый эксперимент. В начале дня запишите то, что, по вашему мнению, произойдет в следующие полчаса, час, три часа и шесть часов. Затем проверьте, какие из этих пунктов осуществились именно так, как вы себе представляли. Вы быстро поймете, что ваш день полон неопределенностей. Даже что-то такое предсказуемое, как «я почищу зубы» или «я выпью чашку кофе», может по тем или иным причинам не произойти, вне зависимости от ваших ожиданий.
В большинстве случаев, даже несмотря на неопределенность, мы можем достаточно хорошо спланировать свой день. Например, даже если из-за пробок вы будете добираться на работу дольше, чем обычно, то можете довольно точно оценить, во сколько нужно выходить из дома, чтобы успеть. Если у вас очень важная утренняя встреча, можете выйти раньше, чтобы учесть возможные задержки. У всех нас есть врожденное чувство того, как справляться с неопределенными ситуациями и рассуждать о неопределенности. Когда вы думаете так, вы думаете вероятностно.
Зачем изучать статистику?
Байесовская статистика помогает лучше рассуждать о неопределенности, так же как изучение логики в школе помогает увидеть ошибки в повседневном логическом мышлении. Учитывая, что практически каждый имеет дело с неопределенностью в жизни, о чем мы только что говорили, аудитория читателей этой книги становится довольно широкой. Специалисты по работе с данными и исследователи, уже использующие статистику, извлекут выгоду из более глубокого понимания и интуиции насчет работы этих инструментов. Инженеры и программисты узнают много нового о том, как лучше количественно оценивать решения, которые им приходится принимать (я даже использовал байесовский анализ для определения причин ошибок программного обеспечения!). Маркетологи и продавцы могут применять идеи, изложенные в этой книге, при проведении A/B-тестов, пытаясь понять свою аудиторию и лучше оценить возможные сделки. Любой, кто принимает решения на высоком уровне, должен иметь хотя бы базовое чувство вероятности, чтобы можно было быстро сделать предварительные оценки затрат и выгод от неопределенных решений. Я бы хотел, чтобы генеральный директор мог изучить эту книгу во время полета. К моменту приземления у него будет прочный фундамент в статистике, позволяющий лучше оценивать варианты, связанные с вероятностями и неопределенностью.
Я искренне верю, что всем будет полезно думать о проблемах байесовским способом. С помощью байесовской статистики вы можете использовать математику для моделирования неопределенности, чтобы сделать лучший выбор, учитывая ограниченную информацию. Допустим, вам нужно вовремя прийти на работу к особенно важной встрече и вы можете выбрать два разных маршрута. Первый маршрут обычно более короткий, но из-за оживленного движения могут возникнуть пробки. Второй маршрут в целом занимает больше времени, но пробок там не предвидится. Какой маршрут выбрать? Какого типа информация понадобится, чтобы принять решение? И насколько вы можете быть уверены в своем выборе? Даже небольшая добавленная сложность требует дополнительных размышлений и техники. Обычно, когда люди думают о статистике, они думают об ученых, работающих над новым лекарством, экономистах, следящих за тенденциями на рынке, аналитиках, предсказывающих следующие выборы, менеджерах по бейсболу, пытающихся создать лучшую команду, и т.д. Хотя все это, безусловно, увлекательное использование статистики, понимание основ байесовских рассуждений поможет в гораздо большем количестве областей жизни. Если вы когда-нибудь сомневались в новостях, не спали ночами и шерстили интернет в поисках ответа на вопрос «есть ли у вас редкое заболевание» или спорили с родственником по поводу их иррациональных убеждений о мире, изучение байесовской статистики поможет рассуждать лучше.
Что такое байесовская статистика?
Что это за байесовский метод? Если вы когда-либо посещали занятия по статистике, скорее всего, они основывались на частотной статистике. Частотная статистика базируется на идее, что вероятность представляет собой частоту, с которой что-то происходит. Если вероятность выпадения орла при броске одной монетки равна 1 к 2, это означает, что после броска одной монетки мы можем получить половину орла (после двух бросков мы можем получить целого орла, что имеет больше смысла).
Байесовская статистика, с другой стороны, связана с тем, как вероятности отражают неопределенность полученной нами информации. С точки зрения Байеса, если вероятность выпадения орла при подбрасывании монетки равна 0,5, это означает, что мы в равной степени не уверены в том, получим мы орла или решку. Для таких проблем, как подбрасывание монеток, и частотный, и байесовский подходы кажутся разумными, но при выражении уверенности в том, что ваш кандидат победит на следующих выборах, байесовская интерпретация имеет гораздо больший смысл. В конце концов, выборы всего одни, поэтому говорить о том, как часто будет побеждать этот кандидат, не имеет смысла. При проведении байесовской статистики мы просто пытаемся точно описать, что мы думаем об окружающем мире, учитывая имеющуюся у нас информацию.
Поскольку мы можем рассматривать байесовскую статистику просто как рассуждение о неопределенных вещах, то все инструменты и методы имеют интуитивный смысл. Байесовская статистика — это поиск проблемы, с которой вы столкнулись, выяснение того, как можно описать ее математически, а затем использование причины возникновения проблемы для ее решения. Нет никаких загадочных тестов, дающих результаты, в которых вы не совсем уверены, нет распределений, которые нужно запомнить, и нет традиционных экспериментов, которые вы должны идеально воспроизвести. Хотите ли вы выяснить вероятность того, что новый дизайн сайта привлечет больше клиентов, что ваша любимая команда победит в следующей игре или что мы действительно одни во Вселенной, байесовская статистика позволит начать рассуждать об этом математически, используя всего несколько простых правил и новый взгляд на проблемы.
Структура книги
Вот краткое описание книги.
Часть I. Введение в теорию вероятностей
Глава 1. Байесовские рассуждения в обычной жизни
Первая глава знакомит вас с байесовскими рассуждениями и показывает, насколько они схожи с критическим мышлением. Основываясь на своих знаниях о мире, мы рассмотрим вероятность того, что яркий свет в окне ночью — это НЛО.
Глава 2. Измеряем неопределенность
В этой главе будем подбрасывать монетку, чтобы выразить фактические значения неопределенности в виде вероятностей: это будут числа в интервале 0 и 1, которые показывают степень уверенности в своем мнении относительно чего-либо.
Глава 3. Логика неопределенности
В логике для объединения истинных и ложных выражений используются операторы И, НЕ и ИЛИ. Оказывается, для этих операторов вероятность имеет схожие понятия. Мы рассмотрим, как обосновать выбор транспорта, чтобы добраться до места встречи, и шансы на получение штрафа.
Глава 4. Как получить биноминальное распределение вероятностей
Используя правила для вероятностей как логику, в этой главе вы построите свое собственное распределение вероятностей — биномиальное распределение, которое можно будет применить ко многим вероятностным задачам, имеющим схожую структуру. Мы попытаемся предсказать вероятность получения определенной известной коллекционной карточки из игры «гача»1.
Глава 5. Бета-распределение
Здесь вы впервые столкнетесь с непрерывным распределением вероятностей и узнаете, чем статистика отличается от теории вероятности. Практическая часть статистики включает в себя попытки выяснить, какие неизвестные вероятности могут быть основаны на данных. Мы рассмотрим загадочную коробочку для раздачи монет и шансы заработать денег больше, чем потерять.
Часть II. Байесовские и априорные вероятности
Глава 6. Условная вероятность
В этой главе определим вероятности на основе имеющейся информации. Например, если мы знаем, мужчина перед нами или женщина, это позволяет предположить, страдает ли этот человек дальтонизмом. Вы также познакомитесь с теоремой Байеса, которая позволяет «обратить» условные вероятности.
Глава 7. Теорема Байеса и Lego
Здесь визуализируем теорему Байеса на примерах деталек Lego! Эта глава даст вам пространственное представление о том, что теорема Байеса делает математически.
Глава 8. Априорная, апостериорная вероятности и правдоподобие в теореме Байеса
Теорема Байеса обычно разбивается на три части, каждая из которых в байесовских рассуждениях имеет свою цель. В этой главе вы узнаете, как они называются и как их использовать, на примере изучения ограбления со взломом: было ли это преступлением или просто серией совпадений.
Глава 9. Байесовские априорные вероятности и распределение вероятностей
В этой главе посмотрим, как можно использовать теорему Байеса, чтобы лучше понять классическую сцену с астероидом из «Звездных войн: Империя наносит ответный удар». Здесь мы углубимся в априорные вероятности в байесовской статистике. Вы также увидите, как можно использовать целые распределения как априорные вероятности.
Часть III. Оценка параметров
Глава 10. Введение в усреднение и оценку параметров
Оценка параметров — это метод, который применяется для формулирования наилучшего предположения для неопределенного значения. Основной инструмент в оценке параметров — простое усреднение наблюдений. В этой главе мы проанализируем уровни снегопада и увидим, почему это работает.
Глава 11. Измерение разброса данных
Поиск среднего значения — полезный первый шаг в оценке параметров, но нам также нужен способ для учета разброса наблюдений. Здесь вы познакомитесь со средним абсолютным отклонением (Mean Absolute Deviation, MAD), дисперсией и стандартным отклонением как способами измерения разброса наблюдений.
Глава 12. Нормальное распределение
Комбинируя среднее значение и стандартное отклонение, мы получаем очень полезный инструмент для оценки: нормальное распределение. В этой главе вы узнаете, как использовать нормальное распределение, чтобы не только оценить неизвестные значения, но и узнать степень уверенности в оценках. Применим эти новые навыки, чтобы рассчитать время побега при ограблении банка.
Глава 13. Инструменты оценки параметров: PDF, CDF и квантильная функция
Здесь вы узнаете о функции плотности вероятности (PDF), кумулятивной функции распределения (CDF) и квантильной функции, чтобы лучше понять выполняемые вами оценки параметров. С помощью этих инструментов вы оцените коэффициенты конверсии рассылки и увидите, на что они влияют.
Глава 14. Оценка параметров с априорными вероятностями
Хороший способ улучшить оценки параметров — добавить априорную вероятность. В этой главе вы узнаете, как добавление априорной информации об успешном использовании коэффициента переходов в письме поможет лучше оценить реальный коэффициент конверсии для новых рассылок.
Часть IV. Проверка гипотез: сердце статистики
Глава 15. От оценки параметров к проверке гипотез: построение байесовских А/В-тестов
Теперь, когда мы можем оценивать неопределенные значения, нужно найти способ их сравнения для проверки гипотез. Вы создадите A/B-тест, чтобы определить степень уверенности в новом методе электронного маркетинга.
Глава 16. Введение в коэффициент Байеса и апостериорные шансы: конкуренция идей
Было ли у вас такое, что вы не спали полночи, гугля симптомы редкой болезни, которая, как вам кажется, у вас есть? В этой главе мы представим другой подход к проверке идей, который поможет определить, стоит ли волноваться.
Глава 17. Байесовские рассуждения в «Сумеречной зоне»
Вы верите в экстрасенсорные способности? В этой главе будем развивать собственные навыки чтения мыслей, проанализировав ситуацию из эпизода «Сумеречной зоны».
Глава 18. Когда данные не убеждают
Иногда кажется, что данных недостаточно, чтобы изменить чье-то мнение или выиграть спор. Узнайте, как переубедить друга в том, с чем вы не согласны, и почему не стоит тратить время на споры с воинственным дядей!
Глава 19. От проверки гипотез к оценке параметров
Здесь мы вернемся к оценке параметров и узнаем, как сравнить ряд гипотез. Вы рассмотрите первый пример статистики — бета-распределение, используя инструменты, которые мы изучили для простых проверок гипотез, чтобы проанализировать честность конкретной игры.
Приложение A. Краткое введение в язык R
В этом небольшом приложении даны основы языка программирования R.
Приложение Б. Математический минимум
Здесь мы рассмотрим математику на уровне, достаточном для того, чтобы понимать расчеты, приведенные в книге.
Приложение В. Ответы к упражнениям
Здесь вы найдете все упражнения и ответы к ним.
Для некоторых упражнений есть несколько способов решения, поэтому я дам как минимум один вариант.
Что стоит знать, прежде чем приступить к чтению
Единственным требованием к читателю является знание основ алгебры средней школы. Далее в книге вы увидите несколько примеров вычислений, но не особенно сложных. Мы будем использовать немного кода на языке программирования R. Необходимости изучать R заранее нет, я расскажу обо всем по ходу дела. Мы также коснемся высшей математики, но опять же никакого опыта не требуется: в приложениях дано достаточно информации для понимания темы.
Другими словами, эта книга призвана помочь вам начать думать математически, не требуя значительных математических знаний. Когда вы закончите чтение, то сможете даже написать уравнения для описания проблем, с которыми сталкиваетесь в жизни!
Если у вас действительно есть серьезный опыт в статистике (даже в байесовской статистике), думаю, вы все равно весело проведете время с этой книгой. Я считаю, что лучший способ хорошо понять тему — пересматривать основы раз за разом, каждый раз в ином свете. Даже я, автор этой книги, обнаружил в процессе работы много всего нового, что меня удивило!
Отправляемся в приключение!
Вы увидите, что байесовская статистика не только очень полезна, но и может доставлять массу удовольствия! Чтобы изучить байесовские рассуждения, поговорим о Lego, «Сумеречной зоне», «Звездных войнах» и о многом другом. Вскоре вы обнаружите, что начинаете думать о задачах вероятностно и повсюду использовать байесовскую статистику. Эта книга — для быстрого и приятного чтения, поэтому смело переворачивайте страницу и отправляйтесь в путешествие по миру байесовской статистики!
От издательства
Ваши замечания, предложения, вопросы отправляйте по адресу [email protected] (издательство «Питер», компьютерная редакция).
Мы будем рады узнать ваше мнение!
На веб-сайте издательства www.piter.com вы найдете подробную информацию о наших книгах.
1 Изначально автомат по продаже игрушек для получения различных коллекционных предметов. Зародилась в Японии. — Примеч. ред.
Часть I. Введение в теорию вероятностей
2. Измеряем неопределенность
В первой главе мы рассмотрели основные приемы рассуждений, которыми пользуемся интуитивно, и поняли, как данные влияют на наши представления о мире.
Но важный вопрос остался нерешенным: как измерять? В теории вероятностей недостаточно просто слов о «высокой» и «низкой» вероятности — нужны числа. Тогда можно создавать численные модели мира и видеть, насколько данные меняют наши представления, решать, когда поменять мнение, и четко понимать, в чем и насколько мы уверены. В этой главе событиям будут присвоены численные вероятности.
Что такое вероятность?
С идеей вероятности мы встречаемся ежедневно. Мы говорим: «Это маловероятно!», или «Уж наверняка!», или «Не уверен». Вероятность — мера нашей убежденности в чем-либо. В предыдущей главе мы описывали наши убеждения размытыми формулировками. Но чтобы по-настоящему понять, как возникают и меняются наши представления о мире, надо формально определить P (X) как число. Это число покажет, насколько мы убеждены в X. В каком-то смысле вероятность — расширение логики. В логике у нас есть истина и ложь — обе выражают абсолютную убежденность. Мы говорим, что нечто истинно, когда совершенно уверены в этом. Логика полезна во многих задачах, но мы редко считаем нечто стопроцентно истинным или ложным, почти в каждом нашем решении есть момент неуверенности. Вероятности расширяют логику до промежуточных значений между истиной и ложью.
