[EAI OPINION REVIEW] Дискуссия о методологии опросов общественного мнения на местных выборах 2 июня

EAI OPINION Review № 201006-05

Проблемы и предложения по улучшению методов опросов общественного мнения на выборах

Разрыв между опросами общественного мнения и общественным мнением

Не удивился ли народ по крайней мере дважды сразу после местных выборов 2 июня? Вероятно, они были удивлены, увидев, насколько суровым оказалось «народное мнение» по отношению к президенту и правящей партии всего за одну ночь, и снова удивились, обнаружив, насколько сильно «общественное мнение», которое они предполагали на основе опросов, отличалось от реальности. Однако, поскольку значительная часть того, что большинство людей ошибочно оценило «народное мнение» на этих местных выборах, была вызвана ошибочным пониманием «общественного мнения» на основе результатов опросов, опубликованных в СМИ до выборов, можно с уверенностью сказать, что два больших удивления сразу после выборов были в конечном итоге вызваны опросами общественного мнения до выборов, которые не смогли должным образом отразить народное мнение. В условиях, когда предвыборные опросы, проведенные с использованием различных методов в ключевых избирательных округах, таких как столичный регион, за шесть дней до выборов или в день выборов или за 2-3 дня до них, не смогли предсказать победителей, даже возникла теория о бесполезности опросов общественного мнения.

Конечно, есть точка зрения, что в течение шести дней перед выборами, когда публикация результатов опросов была запрещена, произошли резкие изменения в общественном мнении, отличающиеся от предыдущих тенденций (EAI OPINION REVIEW № 2; «Сенсация в столичном регионе: скрытые голоса или изменившиеся голоса?» 24.06.2010). С другой стороны, утверждается, что проблема заключается в самих методах опросов, особенно в телефонных опросах, поскольку существуют примеры, когда значительные тенденции изменения общественного мнения были предсказаны в опросах, проведенных в течение шести дней запрета на публикацию, но не опубликованных. Хотя я в значительной степени согласен с убедительностью этих утверждений, я считаю, что настало время серьезно рассмотреть проблемы методов опросов общественного мнения, которые были приняты в практике предвыборных опросов общественного мнения в Корее. В этой статье мы сосредоточимся на причинах, по которым телефонные опросы общественного мнения, которые в основном использовались в качестве метода предвыборных опросов общественного мнения, не смогли должным образом представить избирательное мнение избирателей, и предложим одно альтернативное решение.

Две проблемы, выявленные опросами общественного мнения на выборах: неточность и нестабильность

Проблемы, которые вызвали путаницу в опросах общественного мнения, опубликованных в СМИ во время этих выборов, можно свести к двум основным: «проблема неточности» и «проблема нестабильности».

[Рисунок 1] Типы проблем в опросах общественного мнения на местных выборах 2 июня (единица измерения: %)

f2e34dd1a320d063

f2e34dd1a320d063

f2e34dd1a320d063

Источник: Результаты телефонных опросов (Hankook Ilbo от 12 мая, 3 июня), результаты опросов ARS с веб-сайта компании B

Во-первых, наиболее критикуемой проблемой на этих выборах была неточность. В основном это критика результатов опросов, проведенных методом телефонного опроса. Согласно результатам опросов, опубликованным до 7 дней до выборов, начиная с 8 мая, кандидат О Се Хун стабильно имел значительное преимущество над кандидатом Хан Мён Сук. Особенно, даже в опросе за неделю до выборов, рейтинг поддержки кандидата О Се Хуна опережал рейтинг кандидата Хан Мён Сук на 17,8%. Однако, в опросах, проведенных с 29 по 31 мая, в период запрета на публикацию результатов опросов, разрыв сократился до 11,2%, а в опросе на пост мэра Инчхона кандидат Ан Сан Су получил 41,2%, а кандидат Сон Ён Гиль — 38,3%, что показывает, что произошли реальные изменения. Тем не менее, тот факт, что не удалось предсказать крайне напряженную борьбу в Сеуле с окончательным результатом 47,4% против 46,8%, означает, что нельзя полностью избежать критики за неточность. В частности, в опросе с 29 по 31 мая разрыв в рейтингах между кандидатом Ким Мун Су и кандидатом Ю Си Мином в провинции Кёнги составил 14,7%, что затрудняет обвинение только системы ограничения публикации опросов.

Во-вторых, проблема нестабильности. Проблема возникла около 15 мая, когда опрос, проведенный методом автоматического ответа (ARS: Automatic Response System или IVR: Interactive Voice Response), а не методом телефонного опроса с интервьюером, показал, что разрыв между кандидатом О Се Хуном и кандидатом Хан Мён Сук сократился до 7,5%, в то время как обычные телефонные опросы показывали разницу в 15-20%. Возникли слухи о том, что телефонные опросы благоприятствуют кандидатам от партии Ханнара, а опросы ARS — кандидатам от Демократической партии, что усилило споры (Chosun Ilbo, «Основные организации по проведению опросов не проводят ARS-опросы» от 18 мая). Однако, анализ тенденций результатов автоматического ответа до и после этого периода выявляет неточности и нестабильность, которые трудно объяснить реальными изменениями общественного мнения. Фактически, в опросе от 8 мая той же организации за неделю до этого разрыв составлял 20,3%, а в опросе от 15 мая он сократился до 7,5%. Через неделю после этого (22 мая) в опросе разрыв снова увеличился до 25,8%, что показывает еще больший разрыв по сравнению с фактическими результатами подсчета голосов, чем при телефонных опросах. Результат 57,1% (опрос от 22 мая), полученный кандидатом О Се Хуном, что на 5-6% выше, чем 50,4% (опрос от 24-26 мая) в телефонном опросе примерно в то же время, обесценил даже оценку того, что это опрос, благоприятствующий Демократической партии.

Таким образом, хотя результаты опросов общественного мнения на местных выборах 2 июня, полученные различными методами, были опубликованы без фильтрации через различные СМИ на протяжении всей избирательной кампании, ни один метод опроса не смог предсказать крайне напряженную борьбу в Сеульском регионе, что было достаточно, чтобы вызвать недоверие ко всем опросам общественного мнения.

Проблема репрезентативности

Каковы же причины проблем? Здесь мы сосредоточимся на проблемах телефонных опросов общественного мнения, а не на методе опросов ARS (IVR). Хотя проблемы ненаучности метода опросов ARS (IVR) обсуждались неоднократно, проблемы метода телефонных опросов практически никогда не становились предметом широкого обсуждения. В частности, поскольку результаты телефонных опросов, которые считаются наиболее авторитетным методом оценки рейтингов поддержки в предвыборной борьбе, воспринимаются как источник путаницы в ходе этих выборов, представляется необходимым более подробное объяснение. Однако, несколько недавних вопросов, связанных с опросами ARS (IVR), будут кратко рассмотрены во введении.

Проблема репрезентативности выборки (sampling frame)

Хотя существует множество обсуждений проблем телефонных опросов общественного мнения, с точки зрения исследователя ответ неожиданно прост: респонденты опроса (выборка) не смогли представить всех людей (генеральную совокупность, избирателей в предвыборных опросах), которых они намеревались охватить. Опросы ситуации, проводимые до выборов, должны отбирать респондентов таким образом, чтобы они представляли всех избирателей, имеющих право голоса. Аналогично, предвыборные опросы, публикуемые в день выборов, должны отбирать респондентов таким образом, чтобы они представляли всех проголосовавших. Если бы эти учебные принципы соблюдались, то не только экзит-поллы, проводимые среди голосующих избирателей, но и телефонные опросы ситуации или предвыборные опросы не могли бы давать результаты, которые кардинально отличаются от реального общественного мнения или настроений народа. Однако, из-за практических ограничений в соблюдении этих учебных принципов возникла ситуация, подобная нынешней.

Прежде всего, структурные ограничения, связанные с репрезентативностью телефонных опросов общественного мнения, можно обобщить тремя основными пунктами.

Во-первых, выборка (sampling frame), которую используют исследовательские компании для связи с респондентами телефонных опросов, не включает в себя достаточную часть генеральной совокупности. В настоящее время телефонные опросы общественного мнения проводятся среди телефонных номеров домохозяйств, зарегистрированных в KT, для которых абоненты дали согласие на раскрытие своих телефонных номеров. По состоянию на октябрь 2009 года количество таких телефонных номеров составляло около 7,6 миллиона. Согласно переписи населения 2005 года, в Корее насчитывалось более 15,8 миллиона домохозяйств, поэтому доля телефонных номеров, зарегистрированных в KT и разрешенных для раскрытия абонентами, составляет менее 50% от общего числа домохозяйств. Это означает, что при проведении телефонных опросов охват домохозяйств, которые могут участвовать в опросе, ограничен менее чем 50% от общего числа домохозяйств.

Во-вторых, домохозяйства, разрешившие публикацию своих телефонных номеров KT, не представляют все домохозяйства. Даже если бы доля раскрываемых телефонных номеров среди телефонных номеров KT составляла менее 50%, если бы можно было предположить, что эти домохозяйства представляют все домохозяйства, то 7,6 миллиона телефонных линий могли бы считаться достаточным числом, и их можно было бы принять в качестве выборки. Однако, если предположить, что домохозяйства с высоким уровнем образования и дохода реже раскрывают свои телефонные номера, чем домохозяйства с низким уровнем образования и дохода, то раскрытые телефонные номера среди зарегистрированных в KT телефонных номеров не могут представлять все домохозяйства или членов домохозяйств по таким переменным, как уровень образования и доход. Кроме того, по состоянию на 2010 год доля домохозяйств, состоящих из одного человека, в Сеуле достигла 20,8%. Многие из них — молодые неженатые люди в возрасте от 20 до середины 30 лет, которые в основном пользуются только мобильными телефонами, не имея стационарных телефонов. В последнее время все больше домохозяйств, включая новобрачные пары, не устанавливают стационарные телефоны и пользуются только мобильными телефонами для каждого члена семьи. Кроме того, растет число домохозяйств, которые подписываются на услуги, отличные от KT, такие как интернет-телефония и телефония Hanaro. Учитывая эти факторы, можно предположить, что около 7,6 миллиона телефонных номеров, используемых исследовательскими компаниями среди зарегистрированных в KT телефонных номеров, не охватывают равномерно все 15,8 миллиона домохозяйств.

В-третьих, нельзя гарантировать, что респонденты, участвующие в телефонных опросах, представляют свой социальный слой. Телефонные опросы не проводятся после 21:00 из соображений конфиденциальности частной жизни респондентов. Другими словами, респонденты телефонных опросов — это люди, которые возвращаются домой не позднее 21:00. В этом отношении можно предположить, что молодые люди или люди, активно работающие, которые участвуют в телефонных опросах, могут иметь иные политические предпочтения, чем те же молодые люди или люди, активно работающие, которые возвращаются домой после 21:00.

Преимущества и ограничения метода RDD (Random Digit Dialing)

В сложившихся условиях опросов метод телефонных опросов применялся в таком виде, и его результаты использовались в обществе без каких-либо особых вопросов или проверок. Конечно, исследовательские компании и соответствующие специалисты в Корее не лишены проблем в отношении этих условий опроса. Чтобы преодолеть ограничения телефонных номеров KT, они обращают внимание на применение метода RDD (Random Digit Dialing, метод, при котором последние 4 цифры номера генерируются случайным образом, кроме кода города и префикса, для попытки проведения телефонного опроса) (Heo Myung-hoe et al. 2008).

Однако, поскольку это все еще начальный этап, есть еще моменты, которые необходимо доработать. Несмотря на то, что метод RDD является альтернативой для обеспечения репрезентативности при телефонных опросах домохозяйств, существуют практические трудности, препятствующие его полному внедрению: стоимость опросов методом RDD примерно в 1,5-2 раза выше, чем стоимость обычных телефонных опросов, и его нелегко провести за один день. Для универсального применения метода RDD в телефонных опросах общественного мнения необходимо совместное усилие исследователей, заказчиков опросов и соответствующих специалистов.

Между тем, метод RDD, основанный на телефонных номерах домохозяйств KT, может считаться теоретическим решением проблемы выборки телефонных опросов, но этого недостаточно. Это связано с тем, что метод RDD на основе телефонных номеров домохозяйств KT не может охватить слои населения, использующие только мобильные телефоны, а абоненты интернет-телефонии или телефонии Hanaro изначально исключаются из числа объектов опроса. В конечном итоге, единственной альтернативой, которая может развеять споры о репрезентативности телефонных опросов общественного мнения, является использование мобильных телефонов, охват которых превышает 100%. Хотя существуют ограничения на полномасштабные опросы пользователей мобильных телефонов из-за юридических ограничений, связанных с защитой личной информации, необходимо разработать практическое решение.

Проблема метода отбора респондентов и альтернативы

Выше мы рассмотрели проблемы существующего метода телефонных опросов домохозяйств и альтернативы, в основном с точки зрения выборки. Теперь мы обсудим текущую ситуацию и альтернативы в процессе отбора респондентов.

Опросы общественного мнения с использованием телефонных номеров домохозяйств проходят в основном два этапа. Первый этап — отбор телефонных номеров домохозяйств, а второй этап — отбор подходящих респондентов из этих домохозяйств для участия в опросе. Условия повышения надежности опроса различаются в зависимости от особенностей каждого этапа. Первый этап отбора телефонных номеров домохозяйств тесно связан со структурными условиями, называемыми выборкой, поэтому для повышения надежности опроса требуются вышеупомянутые усилия. С другой стороны, второй этап отбора респондентов и просьбы об участии в опросе тесно связаны с исследовательской средой нашего общества.

В случае предвыборных опросов общественного мнения, которые в основном обсуждались на этих местных выборах, период опроса обычно составляет один день, и опросы проводились в основном в будние дни. Эти условия могут привести к тому, что респонденты не смогут должным образом представить всю генеральную совокупность. Как обсуждалось выше, телефонные опросы общественного мнения с использованием телефонных номеров домохозяйств имеют тенденцию к тому, что респонденты должны быть дома, чтобы стать объектом опроса. Однако, многие студенты и работающие люди возвращаются домой после 21:00, когда телефонные опросы общественного мнения заканчиваются. Учитывая это, не только трудно опросить достаточное количество представителей этих слоев населения в течение ограниченного периода опроса в один день, но и высока вероятность того, что участвующие респонденты будут иметь определенные наклонности или образ жизни.

Техническая альтернатива: корректировка графика и продолжительности опроса

Для решения этих проблем необходимо продлить период опроса до 2-3 дней и проводить опросы в выходные дни, а не в будние. Продление периода опроса до 2-3 дней позволяет проводить опросы в вечернее время в другие дни с большей гибкостью, а также позволяет более точно охватить слои населения, которые трудно охватить, такие как студенты, офисные/профессиональные работники, производственные/технические/рабочие работники. Необходимость проведения опросов в выходные дни, а не в будние, также связана с тем, что вероятность того, что эти слои населения будут дома, выше в выходные дни, чем в будние. Причина, по которой такие базовые условия опроса не учитываются на практике, также связана с ситуацией заказчиков опросов, таких как политические круги и СМИ, которые действуют в условиях цейтнота. Другими словами, изменение восприятия заказчиками опросов также является одним из важных предварительных условий в отношении периода и дней проведения опроса.

Проблема уровня отклика — квотная выборка (quota sampling) является ненаучным методом выборки

В настоящее время в телефонных опросах общественного мнения в Корее применяется не метод простой случайной выборки (simple random sampling) или стратифицированной случайной выборки (stratified random sampling), а метод квотной выборки (quota sampling). Метод стратифицированной случайной выборки или квотной выборки, используемый при наличии различных слоев в составе генеральной совокупности, одинаков в том, что он определяет количество респондентов, которые должны участвовать в опросе заранее, и исследователь заполняет это целевое количество респондентов, определяя общий состав респондентов (Singleton and Straits 1999). Причина, по которой последний не признается научным методом выборки, заключается в том, что он нарушает случайность (randomness), которая является ключом к научному обеспечению репрезентативности выборки, поскольку процесс окончательного отбора респондентов определяется удобством исследователя (организации) (Erikson and Tedin 2005: 26). С другой стороны, первый метод, после распределения выборки, стремится получить максимальное количество ответов от случайно отобранных домохозяйств, не заменяя их по усмотрению исследователя, тем самым минимизируя чрезмерное представительство респондентов с определенными наклонностями (политически активных избирателей) или недостаточное представительство респондентов, избегающих опросов.

Когда первоначально отобранное домохозяйство (респондент) произвольно заменяется, возникает проблема уровня отклика. Применение квотной выборки в телефонных опросах общественного мнения означает, что если попытка связаться с первоначально случайно отобранным домохозяйством (респондентом) не удалась или было получен отказ, респондент может быть немедленно заменен до тех пор, пока не будет достигнуто целевое количество. Если при звонке в домохозяйство ищут мужчину в возрасте 20 лет, а подходящего респондента нет дома, можно позвонить в другое домохозяйство, чтобы найти мужчину в возрасте 20 лет и заполнить квоту, вместо того чтобы снова звонить в это домохозяйство. Или, если респондент колеблется отвечать, немедленная замена может привести к систематическому исключению слоев населения, которым необходимо покинуть дом в определенное время, или к чрезмерному представительству политически активных респондентов. Для исследовательских компаний, которым необходимо заполнить целевое количество респондентов в ограниченное время, этот метод является эффективным, но он фундаментально нарушает теоретические основы выборки и теорию вероятностей, которые являются предпосылками научного опроса общественного мнения.

Конечно, квотная выборка с низким уровнем отклика не является методом, который следует полностью исключать или считать бесполезным. Она по-прежнему применяется не только в Корее, но и в других странах из-за ее методологических преимуществ, и, как будет объяснено далее, существуют соответствующие меры по ее дополнению. Однако важно подчеркнуть, что нельзя чрезмерно оправдывать ее, игнорируя ограничения квотной выборки, и следует проявлять большую осторожность при интерпретации результатов опросов.

Усиление повторных звонков (Call Back)

Учитывая, что использование первоначально случайно отобранного домохозяйства в качестве действительной выборки опроса является основным условием для обеспечения репрезентативности, необходимо более строго применять повторные звонки (call back), пытаясь связаться с респондентом путем повторного звонка в другое время или в другой день, минимизируя замену выборки в случае занятости линии или отсутствия подходящего респондента. В Таблице 1 ниже подтверждено, что существуют различия между результатами, полученными после одного контакта, и результатами, полученными после двух контактов, для одной и той же генеральной совокупности (Cho Seong-gyeom et al. 2007). Как видно из таблицы, при двух контактах процент успешных ответов среди молодых людей в возрасте до 30 лет в вечернее время значительно увеличивается.

[Таблица 1] Соотношение респондентов по возрасту при первом и втором контакте (единица измерения: %)

*Источник: Чо Сонгём и др. (2007)

Применение соответствующих переменных квотирования: применение квоты по профессии или уровню образования

Повышение уровня отклика опросов является долгосрочной мерой, требующей совместных усилий заказчиков опросов, СМИ и исследовательских компаний. Однако, в краткосрочной перспективе, отход от текущей практики в процессе распределения выборки и присвоения весов, а также учет факторов, влияющих на политические установки избирателей, при распределении выборки, является краткосрочной и реалистичной мерой.

Теоретически, чем больше переменных квотирования используется, тем выше может быть надежность исследования. В настоящее время в избирательных опросах, проводимых в нашей стране, большинство использует пол, возраст и регион в качестве переменных квотирования. Причина использования пола, возраста и региона в качестве переменных квотирования заключается в том, что можно точно определить количество людей, обладающих этими характеристиками. Однако, по мере того как наше общество становится все более сложным, а капитализм и демократия развиваются, становится все труднее представить генеральную совокупность только с помощью переменных пола, возраста и региона в опросах общественного мнения. Теперь необходимо учитывать не только профессию и доход в маркетинговых исследованиях, но и в политических исследованиях, а также уровень образования, который нельзя игнорировать. В случае Gallup в США веса присваиваются не только по полу, возрасту и региону, но и по расе, этнической принадлежности и уровню образования; в наших исследованиях также необходимо рассмотреть расширение переменных квотирования. В последнее время в Корее профессия, влияющая на политические установки избирателей, активно рассматривается в качестве критерия для квотирования выборки.

Как показано в Таблице 2, на этих местных выборах наблюдались явные различия в предпочтениях кандидатов в зависимости от профессии. Кандидат О Се Хун имел более высокий рейтинг поддержки среди самозанятых, домохозяек и безработных/пенсионеров/не ответивших, в то время как кандидат Хан Мён Сук имел более высокий рейтинг поддержки среди синих воротничков и студентов. Разрыв в рейтингах поддержки между двумя кандидатами был невелик среди офисных/профессиональных работников. Учитывая, что общий рейтинг поддержки кандидата О Се Хуна был на 12% выше, чем у кандидата Хан Мён Сук, разница в рейтингах поддержки по профессиям весьма значительна.

[Таблица 2] Кандидат поддержки по профессии: выборы мэра Сеула (единица измерения: %)

*Источник: 한국리서치 (Korea Research) (май 2010 г.)

Фактически, как показано в Таблице 3, если профессия не используется в качестве переменной квотирования, самозанятые и домохозяйки, которые, вероятно, находятся дома в часы проведения опроса, имеют тенденцию к чрезмерному представительству, в то время как белые воротнички и синие воротнички имеют тенденцию к недостаточному представительству. Эта тенденция была более выражена в опросах, проводимых в будние дни, чем в выходные. Другими словами, это приведет к недооценке поддержки оппозиционной партии и завышению поддержки правящей партии. Учитывая эти моменты, Korea Research с момента президентских выборов 2007 года проводит опросы в соответствии с таблицей распределения по профессиям, составленной самостоятельно, и в конечном итоге присваивает веса по профессиям (для таблицы распределения по профессиям, используемой в качестве основы для присвоения весов по регионам, см. Приложение 2).

[Таблица 3] Различия в распределении по профессиям в зависимости от дня недели опроса в Сеульском регионе (единица измерения: %)

*Источник: Компания A (май 2010 г.)

Недоразумения вокруг споров о скрытых голосах

Не следует искать причины неточности телефонных опросов общественного мнения во время этих местных выборов в подавляющем характере нашего общества, или приписывать их стратегическому выбору респондентов или их неспособности выразить свое мнение. В противном случае это приведет к отрицанию самих телефонных опросов общественного мнения, независимо от намерений. Нет убедительных оснований утверждать, что наши граждане хуже выражают свое мнение, чем граждане США, Японии или Германии. Это тем более верно в отношении политики. Кроме того, нельзя сказать, что выходные опросы, которые требуют личного контакта и указания на избирательное поведение, менее обременительны, чем телефонные опросы, где достаточно выразить намерение голосовать, не встречаясь лицом к лицу. То, что выходные опросы смогли предсказать результаты выборов ближе к реальности, чем телефонные опросы, связано с тем, что они проводились среди реальных избирателей с использованием строгих процедур выборки, а не потому, что респонденты дали более честные ответы из-за меньшей нагрузки. Наши граждане бросили очень значительный вызов не только политическому истеблишменту, но и индустрии опросов во время этих местных выборов. Хотя нам предстоит увидеть, как отреагирует политический истеблишмент, ответ индустрии опросов ясен. Проблема не в самих телефонных опросах общественного мнения, а в методах и среде телефонных опросов общественного мнения в нашем обществе. Для улучшения этого необходимо совместное усилие всех, кто участвует в опросах.■

Ким Чхунсок из Hankook Research · Чон Хан-уль из Центра анализа общественного мнения EAI

Список литературы

Чо Сонгём, Ким Чжиён, На Юнджон, Ли Мёнчжин. 2007. «Проблемы и направления улучшения опросов общественного мнения по выборам: на примере телефонных опросов на местных выборах 2006 года». <Исследование опросов> Том 8, № 1. стр. 31-54.

Хо Мёнхуи, Ким Ёнуон. 2008. «Выборка по случайному цифровому набору (RDD) против выборки из телефонной книги: исследование прецедентов прогнозирования президентских выборов 2007 года». <Исследование опросов> Том 9, № 3. стр. 55-69.

Erikson, Robert A. and Kent L. Tedin, 2005. American Public Opinion: It's Origins, Contents and Impact. New York: Pearson Longman.

Singleton, Jr. Royce A. and Bruce C. Straits, 1999. Approches to Social Research: Third Edition. New York: Oxford University Press.