[EAI 观点评论] 2012年大选民意调查，问题何在？

f2e34dd1a320d063

f2e34dd1a320d063

f2e34dd1a320d063

1. 每日涌现的民意调查，可信度下降的悖论

每日都有关于大选的民意调查涌现。2012年的总统大选民意调查与过去相比有一个不同之处。许多调查采用了每日滚动平均（daily rolling average）的调查方式，即每隔2至3天将总目标样本均等分配，每日招募一部分新样本替换旧样本（与剩余样本合并后重新计算平均值）。此外，还有每月定期调查、不定期发布的调查，以及由作者所属机构主办的追踪同一应答者变化的追踪调查等。调查方法比以往任何时候都更加多样化，并公布了根据当时事件变化的舆论。

与1980年代末民主化初期媒体在进行选举民意调查后却无法准确发布候选人支持率的情况相比，如今已是天壤之别。尽管仍存在投票前一周禁止公布民意调查结果或出口民调距离限制等需要解决的调查监管问题，但如今几乎每天都能通过媒体接触到民意调查相关信息。如果假设民意调查的数量能够反映民意的话，那么本次大选是在比以往任何一次选举都更有利于反映民意的环境下进行的。

数量的增加是否也意味着准确性的提高？尽管调查方法日趋多样化，信息量也日益增多，但利用民意调查结果来选择候选人的选民反而减少了。甚至出现了对民意调查结果不信任的声音越来越高的悖论性局面。实际上，根据EAIㆍSBSㆍ中央日报ㆍ韩国研究联合选举追踪调查结果显示，在2006年地方选举中，表示“在选择候选人时利用了民意调查结果报道”的应答者比例仍高达44.6%。此后，在2007年大选、2008年国会议员选举以及2010年地方选举中，这一比例下降至27.5%。

[图1] 近期选举中“选择候选人时受民意调查结果影响”的应答者比例（%）

资料来源：EAI·SBS·中央日报·韩国研究联合选举追踪调查（2006-2010）

2. 混乱的调查结果

近期大选民意调查报道中，令普通选民感到困惑的案例可以归纳为以下几种类型。

每日调查中各调查机构的差异

近期大选民意调查结果报道中，令选民感到困惑的案例可以归纳为以下几种类型。

首先，在同一时期进行的民意调查，各机构之间存在差异。本次大选中，定期发布每日滚动平均调查的《韩国盖洛普》和《峨山政策研究院ㆍResearch & Research (R&R)》于10月11日发布的调查结果（参见[表1]）是典型例子。以韩国盖洛普于10月8日至10日进行的为期3天的调查为例。在两人对决中，新世界党候选人朴槿惠获得49%的支持率，无党派候选人安哲秀获得45%。朴槿惠（51%）也以较大优势领先于文在寅候选人（42%）。在野党单一候选人支持度调查中，文在寅获得49%，大幅领先于安哲秀（35%）。

然而，在同一时期，峨山政策研究院和Research & Research的调查显示，在两人对决中，安哲秀和文在寅均领先于朴槿惠。安哲秀（50.6%）比朴槿惠（41.7%）高出约9个百分点，文在寅（48.2%）也比朴槿惠（44.3%）高出近4个百分点。另一方面，在野党单一候选人支持度方面，安哲秀39%，文在寅39%，结果持平。

JTBC和Realmeter于10月9日至10日进行的为期两天的调查结果，与峨山政策研究院的调查结果类似，显示朴槿惠落后于安哲秀。分别为43%（朴槿惠）对49%（安哲秀），45%（朴槿惠）对47%（安哲秀）。在单一候选人支持度方面，安哲秀以42%对35%领先文在寅7个百分点，显示出差异。

[表1] 10月11日发布的主要每日调查结果及调查方法差异

资料来源：韩国盖洛普[每日政治指标] 2012年10月8-10日调查结果，JTBC․Realmeter[2012选举每日民意调查]，

峨山政策研究院官网及YTN新闻[峨山政策研究院民意调查]

注：粗体表示超出误差范围的差异，红色表示领先的候选人

引起混乱的 추석（中秋节）民心调查

其次，引起政界关注的 추석（中秋节）民心调查，在10家媒体机构之间也存在参差不齐的情况。各媒体为追踪 추석（中秋节）民心变化，在 추석（中秋节）后即10月1日至3日之间，通过一天或两天进行了民意调查（[表2]），并实施了上述每日定期滚动调查。

首先，在10家媒体机构的调查中，有9家调查显示安哲秀在两人对决中领先于朴槿惠。其中，5家调查（MBCㆍ韩国研究，韩国日报ㆍ韩国研究，JTBCㆍRealmeter，时事周刊ㆍRealmeter，View & PollㆍResearch View）显示安哲秀领先朴槿惠超出误差范围，4家调查（朝鲜日报ㆍMedia Research，峨山政策研究院ㆍResearch & Research，东亚日报ㆍResearch & Research，Herald经济ㆍRealmeter）显示安哲秀在误差范围内领先。相反，仅在国民日报ㆍGlobal Research的调查中，朴槿惠在误差范围内领先于安哲秀。

另一方面，在朴槿惠对文在寅的对决中，仅有2家调查（View & PollㆍResearch View，时事周刊ㆍRealmeter）显示文在寅领先朴槿惠超出误差范围，5家调查（MBCㆍ韩国研究，韩国日报ㆍ韩国研究，Herald经济ㆍRealmeter，JTBCㆍRealmeter，峨山政策研究院ㆍResearch & Research）显示文在寅的领先在误差范围内。相反，朴槿惠领先的调查有3家，其中朝鲜日报ㆍMedia Research，东亚日报ㆍResearch & Research的调查在误差范围内，国民日报ㆍGlobal Research的调查结果超出误差范围。总体而言，误差范围内的调查较多，且排名出现交叉的调查也有，确实存在一定程度的混乱。

[表2] 추석（中秋节）后各媒体实施的调查结果比较

注：粗体表示超出误差范围的差异，红色表示领先的候选人

同一时间、同一机构进行的调查之间存在差异

第三，在 추석（中秋节）后的各种大选民意调查报道中，即使是同一机构的调查，根据发布媒体的不同也存在差异，加剧了混乱。

以Research & Research于10月1日至3日进行的民意调查为例。10月2日进行的民意调查由东亚日报发布，10月1日至3日进行的民意调查由峨山政策研究院发布。在安哲秀领先的朴槿惠与安哲秀两人对决中，东亚日报为4.5%p，峨山政策研究院为2.0%p，差距不大。然而，在朴槿惠与文在寅两人对决中，东亚日报显示朴槿惠47.4%，文在寅44.5%，朴槿惠领先；而峨山政策研究院的每日定期调查显示朴槿惠42.9%，文在寅44.5%，排名则发生了逆转。

Realmeter于10月3日进行的时事周刊发布资料和JTBC于10月2日至3日进行的每日定期调查之间也存在显著差异。在Realmeter的调查中，虽然朴槿惠对安哲秀、朴槿惠对文在寅的两人对决排名没有改变，但差距却相当大。首先，在朴槿惠对安哲秀的对决中，JTBC调查显示朴槿惠44.9%，安哲秀50.0%，仅相差5.1%p；而在时事周刊的调查中，朴槿惠获得37.7%，落后于获得51.5%的安哲秀13.8%p。在朴槿惠与文在寅的假想对决中，JTBC调查显示朴槿惠47.2%，文在寅47.7%，差距极小；而在时事周刊的调查中，则为38.6%（朴槿惠）对45.6%（文在寅），差距达到7%p。同样，仅看朴槿惠的支持率，差距为8.6%p。

相比之下，MBC于10月2日调查并于3日晚发布的结果，以及韩国日报于4日发布的由韩国研究负责的调查，则显示出相对的一致性。在两人对决中，韩国日报（朴槿惠41.1%，安哲秀49.7%）和MBC（朴槿惠40.8%，安哲秀47.7%）均显示安哲秀领先朴槿惠超出误差范围。在朴槿惠与文在寅的两人对决中，韩国日报和MBC均显示文在寅在误差范围内领先朴槿惠。

结果是，在10月4日前后的 추석（中秋节）民心调查以及10日前后的调查中，即使是同一调查机构也出现了相当大的偏差。当然，这些调查结果的比较并不能成为断定某个调查存在决定性缺陷或某个调查机构更值得信赖的依据。此外，对民意调查方法论的普遍不信任的扩散也是不应发生的。然而，选民有理由对民意调查及报道的可靠性产生疑问。即使是同一民意调查机构的调查结果，如果根据不同媒体的报道，候选人的排名发生变化，选民也会感到困惑。

[图2] 10月4日相似时间点同一机构进行的调查结果差异

案例1. 10月4日发布的东亚日报调查及峨山政策研究院调查结果

注：东亚日报调查于10月2日进行，1000人；峨山政策研究院调查于10月1-3日进行，1000人

案例2. 10月4日发布的JTBC/Realmeter每日调查及时事周刊/Realmeter当日调查

注：JTBC调查于10月2-3日进行，1500人；时事周刊调查于10月3日进行，1000人

案例3. 10月4日发布的韩国日报/韩国研究当日调查及MBC/韩国研究当日调查

注：两项调查均为10月2日进行，1000人面访电话调查（固定电话50%+手机50%）

3. 问题何在？

在这些民意调查及报道过程中，混乱加剧的原因是什么？首先可以指出调查方法上的问题。

随意的调查方法

笔者想稍加夸张地说，韩国选举民意调查方法论可谓处于无政府状态。问题在于随意采用各种调查方法。可以说，韩国选举民意调查在经历了2010年地方选举后，正迎来调查方法上的一种转型期。RDD（random digit dialing）随机拨号方式被引入，除了家庭电话之外，还并用手机调查，或者迅速转向完全采用手机调查。这种变化是在2010年6月6日地方选举中，此前预测大国家党将获胜的民意调查结果大相径庭之后，对民意调查方法论进行根本性反思的产物。

在2011年之前，韩国国内大多数民意调查机构都采用从KT家庭电话登记号码簿中随机抽取样本的方式。从KT家庭电话登记簿中抽取号码时，以070开头的KT以外的电话或不愿公开电话号码信息的家庭号码，从根本上被排除在抽样框（sampling frame）之外。更何况，随着以一人家庭为中心，不拥有家庭电话而只拥有手机的个人日益增多，这些人也从根本上被排除在民意调查抽样框之外。据了解，这样从民意调查抽样框中被排除的家庭和个人占总体的近一半。因此，原有的调查方式从根本上就可能侵犯“代表性”原则，即抽取的样本应能公平代表全体选民。

因此，作为替代方案，引入了不从KT家庭电话中抽取对象，而是随机拨号，将未在KT登记的家庭也纳入抽样对象的RDD方式，并且采用手机调查方式的调查也随之增多。

问题在于，在对RDD引入方式以及手机调查是否能成为实际替代方案进行验证或讨论完全未进行的情况下，各调查机构就开始竞争性地推出差异化的调查方法。在前述调查机构中，韩国盖洛普和Research View采用了100%手机RDD方式，而韩国研究或Media Research等则将家庭电话RDD方式和手机RDD调查方式各占50%混合使用。进行每日调查的Realmeter则采用了80%家庭电话和20%手机RDD的方式。问题在于，在目前的情况下，100%、50%、20%的手机比例，无论哪种都无法得到理论上的验证。

100%手机调查方式，尽管手机持有率有所增加，但在低收入、高龄层中仍有不持有手机的选民，这会引发另一层面的样本代表性问题。相反，拥有两个以上手机的重复持有者，与只拥有一部手机或根本不拥有的选民相比，可能被过度代表。在并用家庭电话和手机调查时，由于不知道仅拥有手机而没有家庭电话的选民的整体分布情况，其混合比例是根据调查机构的任意判断来确定的。

此外，原则上应排除拥有家庭电话的手机应答者，但这一原则是否得到遵守也令人怀疑。原则上，手机调查是为了代表那些仅拥有手机而没有家庭电话的选民群体而引入的，但实际统计数据却缺失。因此，无法从根本上阻止某些应答者被过度代表或代表不足的问题。如果说得严厉一些，目前的调查方法是在解决了家庭电话代表性问题的同时，又带来了手机代表性问题。

错误的传言蔓延：“手机/未登记家庭RDD调查是否偏向进步派？”

调查方法如此仓促地转变，选举新闻业也起到了一定作用。自2011年1月峨山政策研究院首次发布了KT登记家庭电话调查、未登记家庭电话调查、手机调查的比较结果以来，媒体在未进行充分验证和确认的情况下，就转向了手机及未登记家庭电话调查。在峨山政策研究院的调查中，KT登记家庭电话调查的总统支持率为48%，而未登记家庭电话调查为42%。基于这些结果，有人解读为未登记家庭电话偏向在野党、进步派。这被理解为证明了在野党隐藏的选票的存在。此后，“KT登记家庭比未登记家庭和没有家庭电话仅拥有手机的个人更偏向在野党、进步派，由于这些隐藏的选票，地方选举的民意调查预测失误了”的说法通过媒体大肆传播。

[表3] 登记家庭/未登记家庭应答者国政支持率差异及各调查的年龄层构成比（%）

将这些结果直接解释为登记家庭和未登记家庭调查的差异是有问题的。首先，以1000人调查为基准，6%的差异属于统计误差范围。即，两个群体应答比例的差异，在无法视为有意义的差异的水平上，但当时的媒体新闻业却将其过度解读为实际差异。其次，有必要审查两个群体支持率的差异是否是调查方式差异未实际显现的中间变量。也就是说，在相同社会特征的应答者条件下，例如，即使是同为20多岁，如果 KT电话簿中抽取的20多岁人群倾向保守，而从手机或未登记家庭中抽取的20多岁人群倾向进步，得到证实，那么“手机、未登记家庭电话偏向进步派”的假设才能得到证实。

然而，登记电话调查的应答者中高龄层被大量抽取，而在未登记电话调查中则低龄层被过度代表。特别是30、40多岁人群，在登记家庭应答者中分别占11.5%、19.2%，低于整体平均水平；相反，60岁以上人群中占29.5%为登记家庭，高于整体平均水平。结果是，登记家庭电话=亲执政党，未登记家庭ㆍ手机家庭电话=亲在野党倾向，与其说是调查方法上的差异，不如说是从登记家庭中抽取了大量亲执政党的倾向的高龄层，而在未登记家庭中过度代表了“亲在野党的年龄层”的结果。最终，将两个调查结果中显示的政治态度差异视为世代效应，而非调查方法差异，可能更为恰当。

即使是比较手机、未登记家庭、已登记家庭调查结果的2011年3月峨山政策研究院调查结果（[图3]），也能确认这种模式。在赋予权重之前，样本构成中，手机、未登记家庭电话中20-30多岁人群被过度代表，而在已登记家庭调查中，50-60多岁人群被过度代表。在赋予与选民年龄构成比例相符的权重后，当时负责调查的Media Research的手机调查和Research & Research的手机调查，以及Research & Research的已登记家庭电话调查之间的国政支持率差异，均在误差范围内，未发现显著意义。

[图3] 手机、家庭电话的总统支持率差异（%）

资料来源：峨山政策研究院3月新闻资料（手机为Media Research、R&R同时进行的调查）

尽管如此，当时的媒体和相关业界并未对“2010年民意调查可信度危机的原因在于‘手机ㆍ未登记家庭中存在亲在野党隐藏选票’”的传言产生多少疑问。此后，未经充分验证的调查方法，在没有充分准备的情况下，作为能够找到亲在野党隐藏选票的方式，RDD方式和手机并用或100%手机方式，在短短一年内完全取代了KT家庭登记号码调查方法，迎来了2012年国会议员选举和大选。现在，KT家庭登记号码调查方法消失后，民意调查的可信度危机是否已得到解决？为抓住在野党隐藏选票而引入的手机调查或未登记家庭调查是否正在产生预期的效果？然而，从目前的调查结果来看，似乎并非如此。实际上，采用100%手机方式的韩国盖洛普调查结果显示，与部分包含手机比例的其他机构的调查结果相比，执政党朴槿惠候选人的竞争力得到了相对较高的评价。相反，另一家采用100%手机方式进行调查的机构，在4月11日国会议员选举前发布的调查结果中预测，由于存在其他调查方式未能捕捉到的6%的亲在野党选票，在野党将占优势。然而，选举最终以新世界党获胜告终。

ARS/IVR调查是美国盖洛普使用的方式？

另一个问题是所谓的低成本“自动应答”调查方法的可靠性，这种方法被称为自动语音应答（ARS）或交互式语音应答（IVR）调查，而不是由人工访员进行。采用此方法的调查机构声称，他们在2010年地方选举中证明了其准确性。他们还声称，美国盖洛普等机构也使用此方法。2010年，许多媒体在未经核实的情况下报道了这些说法，导致这些错误信息被固定为既定事实。

然而，在选举民意调查中应谨慎使用ARS调查方法。首先，正如在4·11国会选举中野党候选人提名过程中发生的统合进步党民意调查干预事件中所揭示的那样，人工访员无法从根本上确认应答者的基本信息（例如，通过语音区分性别和年龄）或过滤掉无效应答。因此，从方法论的严格标准来看，ARS调查方法不被认为是科学的调查方法。其次，由于应答拒绝率高或调查中途停止率高而导致的低应答率问题，也是削弱调查可信度的因素。第三，正如ARS调查机构所声称的那样，先进国家的有信誉的民意调查机构，如美国盖洛普，并不在选举民意调查中使用IVR调查。盖洛普公司建议将其仅限于营销领域的特殊目的，例如接收客户投诉。实际上，关于IVR调查项目的介绍被归类为营销领域的一个子菜单，并且在美国总统大选或国会选举等主要公职选举中根本不使用。经本研究员咨询，我们已确认美国盖洛普公司在其包括总统选举民意调查在内的盖洛普民意调查研究中不使用IVR方法（Gallup does not use IVR technology for its public opinion research which includes our predisential polls.图4）。

[图4] 关于是否使用总统大选ARS（IVR）调查方法的提问，美国盖洛普的回复（截图）

4. 必须克服赛马式选举新闻业

虽然应注意调查方法本身的问题，但也不能不指出选举新闻业在不具备对民意调查方法最基本理解的情况下，对调查结果进行煽动性报道的惯例。如果对民意调查结果进行审慎解释，并考虑到误差范围，则可以很大程度上消除认知上的混淆。民意调查基本上是通过1000至1500个样本来衡量4000万全体选民的舆论分布。在此过程中会产生各种误差。

首先存在抽样误差。这是在收集1000至1500个样本的过程中产生的误差。“95%置信水平下，抽样误差为±X%”中的误差就是抽样误差。通常，以随机抽样为前提，1000个样本的误差范围被设定为±3.1%。然而，除了由样本量决定的误差范围外，还有许多因素会扩大这一范围。考虑到韩国民意调查的低应答率和短调查周期，民意调查机构使用配额抽样（quota sampling）方法，根据调查机构的便利性更改应答者，而不是科学的随机抽样。在这种情况下，海外调查方法论教科书指出，配额抽样的误差范围应比随机抽样更宽。

区域单位分析的样本数量少于全国单位分析，抽样误差更大。例如，在区域单位分析中，人口相对较多的釜山和庆南占全体选民的15%，以1000人为基准，大约相当于150人。也就是说，通过150人来解读600万釜山和庆南全体选民的分布存在局限性和误差。最近，普遍认为安哲秀候选人和文在寅候选人在湖南地区的差距缩小了，但仅凭一次性调查结果很难准确把握。

除了这些抽样误差之外，在收集数据以及将其累积、整理、转换为数据过程中，还会因调查员的熟练程度或调查机构的专业知识和管理系统而产生各种非抽样误差。从这个角度来看，最好是评估通过民意调查得出的数据，并充分考虑其潜在的误差范围。

然而，目前的媒体报道习惯于将误差范围内的变化也评估为实际舆论的变化，而不是在广泛考虑误差范围的情况下进行审慎分析。“误差范围”意味着“该范围内的数值差异在统计学上不显著”。也就是说，误差范围内的排名竞争在统计学上实际上没有意义，因此“误差范围内的优势”或“误差范围内的劣势”的说法在严格意义上也不成立。然而，我们的媒体更进一步，积极解读一两天内1%或2%的变化或差异，热衷于赛马式的排名。

例如，让我们看看去年中秋节后，Research & Research进行的，由《东亚日报》和峨山政策研究院发布的民意调查结果。在朴槿惠候选人和文在寅候选人的两人对决中，《东亚日报》报道朴候选人占优（47.4%对44.5%），而峨山政策研究院则报道文候选人占优（44.5%对42.9%）。两次调查结果的差异在允许的误差范围内。在夸大误差范围内差异的当前媒体报道风气下，这种相互矛盾的排名显得刺眼且令人困惑。从媒体应对当前民意调查报道过程中混乱的态度来看，我担心会重演2010年的情况。一旦出现问题，媒体往往急于寻找追究责任的对象，而不是充分验证和核实哪些是问题，哪些不是问题。

舆论的戏剧性变化吸引读者的关注并激发兴趣。我能理解调查机构和媒体机构希望利用这一点的心态和生存本能。然而，信任危机无法通过这种方式解决。首先，应该坦诚地揭示通过民意调查可以解释什么，不可以解释什么。然后，即使绕远路，一步一个脚印地准确解读，才是恢复信任的捷径。舆论是可变的，但并非无缘无故地波动。只有当长期的努力得到持续的积累时，不信任才能被克服。最重要的问题是，随着各种调查方法的引入和调查数量的增加，我们必须反思对选民舆论的理解是否也相应加深了。不仅政治本身，政治民意调查也正陷入危机。■