> ## Content Index
> Fetch the complete content index at: https://holod.media/llms.txt
> Use this file to discover other available public pages before exploring further.

# В ФБК заявили, что за Путина — уже меньшинство. К их подсчетам есть вопросы
- URL: https://holod.media/2023/12/06/reiting-putina-fbk/
- Published: 2023-12-06T00:01:00.000Z
- Updated: 2026-10-14T09:37:58.000Z
- Description: Объясняем, что не так с «новой методикой» соцопросов сторонников Навального
- Author: Лаша Чаргазия
- Tags: Общество, Мнения и интервью, #wp, #wp-post

Поддержка Путина в России составляет не более 48% — заявили в Фонде борьбы с коррупцией. Сторонники Навального провели соцопрос по «новой методике», реализовав известный в социологии «списочный эксперимент». Что это такое? Можно ли верить его результатам? И насколько вообще научны данные ФБК? Докторант мюнхенского Института экономических исследований Лаша Чаргазия обнаружил в социологии Леонида Волкова и его товарищей много уязвимостей. По просьбе «Холода» он объясняет, в чем они заключаются. 

Людям нравятся простые новости с цифрами. «Доллар подешевел на 10 рублей» — значит, мы стали богаче; «Число оправдательных приговоров в России упало до 0,33%» — суды нас не защищают; «рейтинг Путина — 48%» — действующего президента поддерживает меньшинство. 

Далеко не всегда люди задумываются о том, как и откуда эти числа возникают. Например, о том, что растущий рубль может свидетельствовать о растущем [дефиците (и подорожании) импортных товаров](https://echofm.online/opinions/obvinyat-czentrobank-v-nyneshnej-situaczii-v-padenii-ili-v-roste-kursa-dollara-glupo?ref=holod.media). Или о том, что доля оправдательных приговоров [высчитывается от доли дел, дошедших до суда](https://youtu.be/9H3E9FRjAzk?t=730&ref=holod.media), а шанс до него не дойти составляет около 20%. Или о том, что «рейтинг Путина», опубликованный ФБК, — это не что-то наблюдаемое напрямую, а продукт «хитрого» и крайне требовательного исследовательского дизайна — списочного эксперимента. И если в описании того, в чем состоит «хитрость», Леонид Волков однозначно [преуспел](https://youtu.be/1zQMNoS8jqs?t=281&ref=holod.media), то в описании потенциальных проблем и ограничений метода — к сожалению, нет. Сейчас объясню почему. 

Измерение поддержки политических лидеров в авторитарных режимах — это нетривиальная задача. Люди боятся озвучивать свое настоящее мнение — даже в анонимных опросах. Точно так же, как респонденты в демократических странах опасаются [отвечать](https://holod.media/2023/02/01/russians-against-democracy/) «социально неодобряемо» на вопросы, связанные с правами меньшинств. Именно для того, чтобы преодолеть эту проблему, ученые применяют списочные эксперименты. С их помощью, например, измеряются распространенность [расизма](https://onlinelibrary.wiley.com/doi/abs/10.1111/imig.12519?ref=holod.media) и [домашнего насилия](https://www.frontiersin.org/articles/10.3389/fpubh.2022.928469/full?ref=holod.media), [использования секс-услуг](https://www.sciencedirect.com/science/article/abs/pii/S0047235219300595?ref=holod.media) и[ употребления наркотиков](https://academic.oup.com/ijpor/article-abstract/33/2/255/6029620?ref=holod.media). 

#### Как проводятся списочные эксперименты?

Дизайн списочных экспериментов не имеет четких правил и скорее интуитивен. Выборка респондентов (скажем, 1000 человек) случайным образом разбивается на две равные подвыборки (по 500 человек в каждой). Одной из них («контрольной группе») предлагается список из небольшого числа нейтральных («нечувствительных») пунктов:

*Я читал «Преступление и наказание»*

*Я стараюсь ходить в театр как минимум раз в месяц*

*Я посещал футбольные матчи во время чемпионата мира в России*

*В этом месяце я жертвовал деньги благотворительным организациям*

Для второй же подвыборки («экспериментальной группы») к этому списку добавляется еще один пункт, содержащий информацию о том, что мы хотим измерить:

*Я читал «Преступление и наказание»*

*Я стараюсь ходить в театр как минимум раз в месяц*

*Я посещал футбольные матчи во время чемпионата мира в России*

*В этом месяце я жертвовал деньги благотворительным организациям*

*Я поддерживаю политику нашего президента*

В обоих случаях респондентов не просят сказать, с какими именно пунктами они согласны — только назвать количество таких пунктов в представленном списке.

Далее из среднего значения в экспериментальной группе вычитается среднее значение в контрольной группе, и в результате мы получаем красивую и несмещенную оценку «поддержки политики президента».

Неслучайно, однако, было упомянуто, что списочный эксперимент — это крайне требовательный исследовательский дизайн, в основе которого лежат несколько важных предположений как о качествах выборки, так и о поведении респондентов в ходе опроса. Вот что получилось и не получилось у ФБК. 

### Выборка: все-таки взвешенная или стратифицированная? И в чем разница?

К тому, как социологи ФБК отбирают респондентов для своих опросов, всегда было много претензий. И претензий зачастую справедливых. Еще в августе команде Навального приходилось отбиваться от [комментаторов](https://twitter.com/igorsushko/status/1691519002726789123?ref=holod.media) после публикации откровенно неудачного исследования[ европейского общественного мнения](https://twitter.com/leonidvolkov/status/1691490561604071425?s=46&t=Dwx%5FWyNQBetDm8kLp54tIw&ref=holod.media): его результаты шли вразрез со всеми уважаемыми социологическими службами региона.

[«Думаю, фиг он выиграет у меня голосование»Максим Кац — о конкуренции с Навальным, строительстве новой партии и переговорах с военными преступниками![](https://storage.ghost.io/c/dd/26/dd2677a6-3a80-4373-accf-ef7b2aa06114/content/images/holod-media/wp-content/uploads/2023/07/193234818_517848639344258_126477823890026427_n-gigapixel-standard-scale-2_00x-1.jpg)](https://holod.media/2023/07/31/maksim-kats-interview-partiia/)

Нынешнее исследование, к большому сожалению, исключением не стало. Леонид Волков, рассказавший об итогах опроса в видеоролике, очевидно, не является социологом и не всегда понимает значение слов, которые произносит. Поэтому когда Волков [говорит](https://youtu.be/1zQMNoS8jqs?t=423&ref=holod.media) о *случайной* выборке в 1000 человек, *взвешенной* по определенным характеристикам и *опрошенной* в соответствии с распространением этих характеристик в населении России, — у любого профессионального социолога непроизвольно возникает когнитивный диссонанс. 

И вот почему.

Случайность выборки в рамках телефонного опроса — практически невероятное явление. В первую очередь из-за смещения вследствие отказа. То есть случайность нарушается из-за того, что люди, которые отказались от участия в исследовании, могут систематически отличаться в своих взглядах и характеристиках от тех, кто на прохождение опроса согласился. Чтобы показать, насколько выборка случайна, социальные ученые нередко публикуют статистику о числе отказов от прохождения опроса: чем выше это число, тем более вероятно, что выборка смещена.  
  
Выборка, которая строится на основании заранее известных характеристик, называется «стратифицированной», а не «взвешенной» — и именно ее, скорее всего, имел в виду Леонид Волков. Стратифицированная выборка — это отличное начало для того, чтобы достигнуть репрезентативности, однако одной стратификации для этой задачи недостаточно. На репрезентативность также могут влиять образование респондентов, доходы их домохозяйств и прочие характеристики, которые зачастую невозможно узнать до того, как люди сами расскажут о них в ходе опроса.

[Почему в России не работают акции протеста?Дело, конечно, не в «рабском менталитете». Объясняем с точки зрения политической науки![](https://storage.ghost.io/c/dd/26/dd2677a6-3a80-4373-accf-ef7b2aa06114/content/images/holod-media/wp-content/uploads/2023/04/russia_protest_42186-d2dae.jpg)](https://holod.media/2023/04/04/pochemu-protest-te-rabotaet/)

Взвешивание выборки проводится именно для того, чтобы учесть распределение таких характеристик — и только после сбора данных. С помощью незамысловатых [математических техник](https://en.wikipedia.org/wiki/Iterative%5Fproportional%5Ffitting?ref=holod.media) каждому наблюдению в выборке (то есть каждому человеку) присваивается свой «вес», который отражает то, насколько этот человек «репрезентативен» для населения. С помощью «весов» все результаты анализа, включая средние значения, поправляются, и мы получаем более репрезентативные выводы (подробнее можно почитать [здесь](https://www.pewresearch.org/methods/2018/01/26/how-different-weighting-methods-work/?ref=holod.media#:~:text=For%20example%2C%20a,their%20specified%20targets)).

Наконец, финальная проблема — это масштаб выборки. Конечно, он не должен выбираться «с потолка» или «потому что 1000 — это круглое и красивое число». Для определения размера выборки ученые проводят анализ статистической мощности и выясняют, сколько респондентов им необходимо опросить для проверки своих гипотез. Публикация результатов этого анализа является обязательной для подобных социологических исследований.

Суммируя претензии к выборке: Леонид Волков (специально или нет) не показывает зрителями социально-демографические характеристики респондентов, не показывает результаты взвешивания (если оно вообще применялось) и не приводит анализ статистической мощности. Я вовсе не заявляю, что это обязательно нужно делать в формате ознакомительного видеоролика, но сопроводительный документ исследования — абсолютно необходим для сколько-нибудь экспертного обсуждения результатов. Верить на слово тому, что все «хорошо и честно, и репрезентативно» — это плохая практика даже в научном мире, а в политическом — тем более.

![Владимир Путин в телевизоре на Первом канале. Рейтинг Путина](https://storage.ghost.io/c/dd/26/dd2677a6-3a80-4373-accf-ef7b2aa06114/content/images/holod-media/wp-content/uploads/2023/12/afp_339p7bk.jpg)

Фото: Юрий Кадобнов / AFP / Scanpix

### А как вообще проводился этот списочный эксперимент?

Я убежден, что даже самый плохо организованный списочный эксперимент дает более правдивую оценку, чем прямой вопрос о поддержке Владимира Путина. В этом смысле то, что ФБК начинают использовать «продвинутые» научные методы в своей работе — это уже огромный шаг вперед. Тем не менее, даже если мы делаем предположение о репрезентативности выборки, утверждать, что результат ФБК надежен, при всем желании не приходится.

В первую очередь это связано с тем, что мы ничего не знаем о том, какие именно «нечувствительные» пункты были использованы в эксперименте, однако те примеры, что были[ перечислены Леонидом Волковым](https://youtu.be/1zQMNoS8jqs?t=344&ref=holod.media) — например, «Я считаю, что судебная система защищает интересы простого человека» или «Я считаю, что имидж России на международной арене за последний год улучшился», — далеко не нейтральны. Во время широких репрессий [критика](https://holod.media/2023/04/04/pochemu-protest-te-rabotaet/) в отношении решений или действий власти может ничем не отличаться от критики самой власти — и каждый пункт может восприниматься респондентами как «чувствительный».

Еще одна проблема — это формулировка «чувствительного» пункта, который используется в списке для экспериментальной группы: «Я хотел бы, чтобы Путин оставался президентом после марта 2024 года». Используя такую формулировку, ФБК совершает небольшую манипуляцию. Говоря о поддержке Путина в 48%, нам оставляют додумать, что оставшиеся 52% — против. Однако в этих же 52% и Z-патриоты, мечтающие о президенте Стрелкове, и живущие прошлым коммунисты, и даже те, кто поддерживают «Единую Россию» — просто хотят президента помоложе; то есть все те, для кого Путин — это «нормально», но просто не «первый выбор». 

Проще говоря, хотеть не-Путина и не хотеть Путина — это фундаментально разные позиции. Как упомянул Волков, ФБК провели два списочных эксперимента, используя разные «нечувствительные» пункты. Хорошей практикой было бы также изменить «чувствительный» пункт в одном из опросов на «Я не хотел бы, чтобы Путин оставался президентом после 2024 года» и посмотреть, сложилась ли бы сумма в 100%.

Кроме того, остается вопрос о том, как был озвучен порядок пунктов и был ли он рандомизирован на уровне респондентов. Одно из важнейших предположений списочного эксперимента: на ответы не должен влиять порядок озвучивания пунктов. Иными словами, в подгруппе респондентов, которая услышала «Я хотел бы, чтобы Путин оставался президентом после марта 2024 года» первым пунктом в списке, среднее значение должно быть таким же, как и в подгруппе, которая услышала его последним (или вторым, третьим и так далее).

Наконец, вероятно, самый важный недочет в проведенном исследовании: ФБК разделили выборку всего на две подвыборки — контрольную и экспериментальную. Таким образом, никому из респондентов не задавался прямой вопрос о поддержке Путина, с которым можно было бы сравнить результаты списочного эксперимента, и который, в свою очередь, можно было бы сравнить с результатами других опросов (в том числе проведенных «провластным» ВЦИОМом). Может быть, респондент [сторонников](https://holod.media/2022/10/11/pevchikh-hotsenko/) Навального действительно против Путина и даже этого не скрывает. ФБК предоставили крайне мало информации о том, как проводился опрос, и без этой информации делать какие-либо выводы о качествах результата — попросту невозможно.

### Верно ли все посчитали?

Последний, но, возможно, самый важный блок вопросов к ФБК касается диагностики результатов. Под диагностикой ученые понимают все, что делается после получения выводов с целью убедиться в их надежности. Основной угрозой для списочных экспериментов считаются[ floor и ceiling effects](https://scholar.harvard.edu/sites/scholar.harvard.edu/files/aglynn/files/sts.pdf?ref=holod.media), которые можно грубо перевести на русский язык как «эффекты нижней и верхней границы». Описать эти эффекты проще, используя наглядные примеры. Представьте себе два списка, предоставленных контрольной группе:

Проблемы обоих списков достаточно легко обнаружить. В первом случае значимая доля респондентов выберет все четыре пункта, в то время как во втором — ноль. В обоих случаях, однако, респонденты лишаются чувства «защищенности», на котором строится списочный эксперимент. Если они выбрали все четыре пункта, то мы доподлинно знаем, какие именно пункты они выбрали; если они не выбрали ни один, то мы доподлинно знаем, какие — нет.

Таким образом, когда мы добавляем к этим спискам «чувствительный» пункт, респонденты из экспериментальной группы не будут чувствовать себя защищенно и могут солгать. А респонденты из контрольной группы в случае нейтральных пунктов не чувствуют, что им необходимо лгать. Эта асимметрия приводит к искажению в результатах. Именно поэтому статистические тесты на отсутствие данных эффектов — важнейшая часть хорошего списочного эксперимента, их надо проводить регулярно. А в ролике Волкова эта необходимость полностью игнорируется.

[Россияне отрицают демократию? Что говорит социологияВыводы политолога Григория Голосова из международного исследования национальных ценностей![](https://storage.ghost.io/c/dd/26/dd2677a6-3a80-4373-accf-ef7b2aa06114/content/images/holod-media/wp-content/uploads/2023/01/sociology.jpg)](https://holod.media/2023/02/01/russians-against-democracy/)

Второй большой вопрос, касающийся диагностики результатов, — это отсутствие [плацебо-эксперимента](https://www.tandfonline.com/doi/abs/10.1080/1060586X.2023.2187195?ref=holod.media), состоящего целиком из нейтральных пунктов, касающихся известных характеристик респондентов. В случае если результаты плацебо-эксперимента не соответствуют объективной реальности — в дизайне эксперимента или процессе формирования выборки есть серьезные изъяны, на которые нужно обратить внимание. Хороший пример плацебо-эксперимента можно посмотреть [тут](https://www.levada.ru/2022/11/01/doverie-oprosam-o-spetsoperatsii/?ref=holod.media#:~:text=%D0%A2%D0%B0%D0%BA%2C%20%D0%BC%D1%8B%20%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BB%D0%B8%20%D0%B4%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD%20%D0%BF%D0%BB%D0%B0%D1%86%D0%B5%D0%B1%D0%BE%2D%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%2C%20%D0%BE%D0%BF%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9%20%D0%B2%20%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B5%20%D0%A2%D0%B8%D0%BC%D0%BE%D1%82%D0%B8%20%D0%A4%D1%80%D0%B0%D1%8F%20%D0%B8%20%D1%81%D0%BE%D0%B0%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%B2).

Наконец, неизвестно, какие вопросы задавались респондентам*до с*писочного эксперимента. Определенные вопросы, особенно связанные с политическим предпочтениями, могут создавать эффект «прайминга» (предвзятости), и в подобных случаях важно проводить специальные тесты, чтобы утверждать о его отсутствии.

К сожалению, диагностика результатов не упоминается ни в видео Леонида Волкова, ни в его же «[душном и длинном социологическим треде](https://x.com/leonidvolkov/status/1730348580253082076?s=20&ref=holod.media)». И я более чем допускаю, что она попросту не проводилась, потому что fun fact, но ученые ненавидят возиться с диагностикой.

Подведем итог. ФБК использовали хорошо известный и распространенный в науке метод, приправив его некорректной презентацией результатов и крайне спорной политической интерпретацией. Это важно не только для нас — аудитории, — но и для самого ФБК, потому что, если верить Леониду Волкову, их [политическая стратегия базируется на внутренней социологии](https://youtu.be/1zQMNoS8jqs?t=899&ref=holod.media). Главная проблема заключается в том, что у «внутренней социологии» есть один большой и часто замалчиваемый минус, о котором знают все, кто читал о том, как спецслужбы готовят Путину «папочки»: [за ширмой чисел — все очень и очень плохо](https://meduza.io/feature/2020/07/16/chto-chitaet-putin?ref=holod.media). 

Рассказывать о своей деятельности широкой аудитории простым языком — это здорово и важно. Но куда важнее сохранять прозрачность, открыто говорить о своих ограничениях и позволять людям воспроизводить вашу работу. Это то, как работает и развивается наука: то, как другие люди помогают вашему исследованию, и то, как вы помогаете другим людям. В противном случае 48% ФБК ничем не отличаются от 75% [ЦИК](https://holod.media/2023/03/22/churov-umer/).