Александр Киреев (kireev) wrote,
Александр Киреев
kireev

Categories:

538 vs Unskewed Polls

Я бы хотел написать о двух людях. Первый многим знаком - это Нэйт Сильвер, создатель сайта 538. Второй это Дин Чамберс, создатель сайта Unskewed Polls.

Эти выборы явились прямо звездным часом Сильвера. Его прогнозы были сильны и раньше, но сейчас он просто попал в точку. Даже  в последний момент вероятность победы Обамы во Флориде стала чуточку больше 50% и он действительно там победил с отрывом в 0.5%. Я думаю не только мне, но и другим людям, которым интересны опросы и статистика, было все эти месяцы просто невероятно интересно читать этот блог.

silver

При этом Сильвер подвергался критике. Основные направления тут были два. Первое: откуда у Обамы может быть такая высокая вероятность победы? Откуда такой разрыв в голосах, если общенациональные опросы показывают равенство?  Причины непонимания были разные. Иногда банальное непониманием статистики. Такое часто встречается даже у образованных людей: в моем только блоге дикие примеры встречались неоднократно. Что, кстати, мне напоминает о толковом предложении учить статистике в школе, потому что это как раз то, что в жизни может пригодиться. Иногда непонимание было вызвано тем, что общенациональные опросы не учитывают то, что президент избирается коллегией выборщиков, и даже при равенстве по общнециональным опросам у Обамы было просто больше геогрфаических путей к достижению необходимых для победы 270 голосов выборщиков. Другая причина: Нэйт Сильвер уделял большое внимание опросах в штатах. Они ведь тоже дают представление об общенациональной популярности кандидатов, если таких опросов много. А их было просто невероятно много. И опросы в штатах отличались на этот раз от общенациональных опросов тем, что показывали лучшую ситуцию для Обамы, чем для Ромни. Если смотреть только на общенациональные опросы, то Обама выигрывал у Ромни с отрывом может быть в 1%, а если на опросы по штатам, то где-то на 2.5 - 3%. В последний раз такое было в 2000 г. Опросы в штатах показывали равенство между Гором и Бушем. А общенациональные опросы показывали преимущество Буша 2-3%. Более верную картину показали в тот раз опросы по штатам: Гор во многом тогда сенсационно даже с минимальным отрывом выиграл popular vote. Сейчас тоже опросы по штатам были несколько точнее. Это не значит, что надо использовать только их, а не общенациональные опросы. Но важно понять, что они имеют не менее важное значение в определении общенациональных тенденций, как и общенациональные опросы. Этот тезис Сильвера блестяще подтвердился на этих выборах. Но если смотреть только на общенациональные опросы, да еще на опросы, которые выбирает RealClearPolitics, одбрасывая часть опросов, которые почему-то чаще более благоприятны для демократов, то создавалось впечатление равенства шансов Обамы и Ромни, а то и преимущества Ромни. Поэтому такая высокая вероятность победы Обамы при опросах которые вроде как показывают другое, вызывало недоумение и даже подозрения.

Второе направление атак: Сильвер - гомосексуалист и либерал. Понятное дело, его статистика работает в пользу Обамы. Да, я такое реально читал. Люди, которые так говорили, на мой взгляд, и тогда и тем более сейчас просто сгореть от стыда. Нэйт Сильвер поднял объективность анализа на какой-то новый уровень. Во-вторых, он сам опросы не придумывает, он их лишь статистически обрабатывает. Хотя, есть и некотие фундаментальные основы более долгосрочных прогнозов. Скажем, он как-то писал, что экономические показатели должны дать перевес инкумбенту в 3%. Правда, при приближении даты выборов экономическая составляющая прогноза уменьшалась вплоть до нуля к дню выборов и увеличивалась опросная составляющая прогноза вплоть до 100% к дню выборов. Учитываться и история опросов: у кого-то больше демократический уклон, а у кого-то больше республиканский.

Плюс, Сильвера явно недолюбливали некоторые политические комментаторы, потому что по сравнением с ним они действительно выглядят шарлатанами. Некоторые, как Джо Скарборо и Дэвид Брукс вообще отвергали идею, что статистические модели могут что-то нам сказать об этих выборах. Особенно запонился случай с ведующим политического ток-шоу Джо Скарборо, который сказал:
JOE SCARBOROUGH (10/23/2012): Nate Silver says this is a 76.3% chance the President's going to win? ... Anybody that thinks that this race is anything but a tossup right now is such an ideologue, they should be kept away from typewriters ... because they're jokes.
На что Сильвер просто ответил: All you have to do is take an average, and count to 270. It's a pretty simple set of facts. I'm sorry that Joe is math-challenged.

Мне бы хотелось сравнить сайт 538 и другой сайт, который в последнее время перед выборами получил некоторую известность http://unskewedpolls.com/ Это наглядная демонстрация разницы между человеком, который занимается настоящим, профессиональным и объективным анализом реальности, и человеком, который создает для себя и для других людей свою, альтернативную реальность, которая им больше нравится. Весь сайт, название которого можно перевести как “неперекошенные опросы" построен на неверной идее, что опросы намеренно включали в выборку много демократов, что неименуемо создавало перевес Обаме. Это просто не так, как основная масса опросов лишь взвешивает выборку по демографческим характеристикам: пол, раса, возраст и т.д., коим партийное самоопределение не является, так как люди его сами для себя определяют и по своему желанию меняют. Автор сайта Дин Чамберс спокойно брал опросы, смотрел какой там перевес у демократов, сам решал, что такого быть не может, вычитал лишний процент демократов и соответственно перекос в пользу Обамы, и приходил к “настоящему” результату. Мне даже было интересно как он будет после выборов выкручиться. Но спасибо хоть он признал, что ошибался, а Нэйт Сильвер был прав. Это же целый сайт, тысячи цифр, недели скрупулезной работы... спокойненько берем, сворачиваем и опускаем в мусорное ведро. Спасибо большое за то, что все это время морочил тысячам людей голову.

Какие из всего этого выводы? Я бы сделал два. Во-первых, статистика и выборы совместимы. Я сам постоянно использую цифры и статистику в анализе результатов выборов и фальсификаций в России. Поэтому разумеется мои симпатии тут были на стороне Сильвера. Второй вывод: "You can evade reality, but you cannot evade the consequences of evading reality". Ayn Rand.



Tags: президентские выборы в США 2012
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 58 comments