[EAI 评论评论] 6·2 지방 선거民意调查方法论争议

EAI OPINION Review No. 201006-05

选举民意调查方法的问题与改进建议

民意调查与民意之间的差距

在6·2 지방 선거结束后，民众至少两次感到惊讶。一次是惊讶于对总统和执政党如此严峻的“民心”，一夜之间得到了戏剧性的确认；另一次是惊讶于之前通过民意调查所推测的“民意”与实际情况大相径庭。然而，大多数民众对此次 지방 선选“民心”的误判，很大程度上源于对选前媒体报道的民意调查结果的错误认知，因此，可以说选后两次巨大的惊讶，最终都归咎于未能准确反映民心的选前民意调查。在首都圈等主要激战区，选前六天进行的调查，以及投票当天或前两三天进行的各种调查技术，在预测当选者方面均告失败，甚至出现了“民意调查无用论”。

当然，也有观点认为，在无法公布民意调查结果的选前六天内，存在着与此前趋势不同的急剧民意变化（EAI Opinion Review 第2期 “首都圈的意外，是隐藏的选票还是变化的选票？” 2010.6.24）；也有观点认为，尽管在民意调查公布禁令期间进行了调查，但未公布的调查中已预测到相当大的民意变化迹象，因此，将民意调查，特别是电话调查方法本身视为问题，是站不住脚的。尽管笔者对这些观点的说服力有相当程度的认同，但仍认为现在是严肃审视韩国选举民意调查惯例中被容忍的民意调查方法问题的时候了。本文旨在探讨在选举民意调查中主要采用的电话民意调查未能准确代表选民意愿的原因，并提出一个替代方案。

选举民意调查呈现的两个问题：不准确性和不稳定性

此次选举中，媒体公布的民意调查之所以令我们感到困惑，主要可以归结为两个问题：一是“不准确性（inaccuracy）的问题”，二是“不稳定性（unstability）的问题”。

[图1] 6·2 지방 선거民意调查问题类型（单位：％）

f2e34dd1a320d063

f2e34dd1a320d063

f2e34dd1a320d063

出处：电话调查结果（韩国日报5月12日、6月3日），ARS调查结果来自B公司主页

首先，此次选举中最受批评的是不准确性问题。这主要是对电话调查方法（telephone survey）结果的批评。从5月8日开始允许公布的选前七天进行的民意调查结果来看，吴世勋候选人大幅领先韩明淑候选人，并且结果稳定。特别是仅看选前一周的调查，吴世勋候选人的支持率领先韩明淑候选人17.8个百分点。当然，在民意调查公布禁令期间（5月29日至31日）进行的调查中，差距缩小到11.2个百分点，在仁川市长选举调查中，安相洙候选人以41.2%对宋永吉候选人38.3%的差距被追赶，这确实表明了实际的变化。然而，未能预测到首尔地区最终以47.4%对46.8%的超近距离胜负，使得其无法摆脱不准确性的批评。特别是29日至31日的调查显示，京畿道地区金文洙候选人与柳时敏候选人的支持率差距高达14.7个百分点，这使得我们难以仅仅归咎于民意调查公布限制制度。

其次，是不稳定性问题。问题的开端是，在5月15日前后，通过非面访员电话调查的自动应答方式（ARS: Automatic Response System 或 IVR: Interactive Voice Response 调查方式）进行的调查中，吴世勋候选人与韩明淑候选人的差距缩小到7.5个百分点，而当时普通电话民意调查显示差距在15%至20%之间，由此引发了争议（朝鲜日报，“主要民意调查机构不进行ARS调查” 5月18日）。然而，前后自动应答方式结果的趋势表明，存在无法用实际民意变动来解释的不准确性和不稳定性。事实上，在一周前同一机构的5月8日调查中，差距为20.3个百分点，到15日的调查中缩小到7.5个百分点。之后一周的调查（22日）结果显示，差距再次扩大到25.8个百分点，这比实际开票结果显示的差距还要大。在相似的调查时间点，电话调查中吴世勋候选人获得了50.4%（24-26日调查），而22日的调查结果为57.1%，这使得“对民主党有利的调查”的评价也变得苍白无力。

由此可见，尽管各种调查方法得出的6·2 지방 선거民意调查结果在整个选举期间未经过滤地通过各种媒体发布，但没有一种调查方法能够预测到首尔地区近距离的竞争态势，这足以引发对整个民意调查的不信任。

代表性问题

那么，问题的原因是什么呢？在此，我们暂不深入探讨ARS（IVR）调查方法的问题，而是集中分析电话民意调查方法的问题。虽然关于ARS（IVR）调查方法非科学性的批评已多次展开讨论，但关于电话调查方法的问题却几乎没有得到充分的公开讨论。特别是，在选举竞争中被认为是预测支持率最权威的方法的电话调查结果，在此次选举过程中被视为混乱的根源，因此有必要进行更集中的阐述。不过，关于ARS（IVR）调查的近期几个争论点，将在附录中简要提及。

抽样框（sampling frame）的代表性问题

尽管关于电话民意调查的问题有很多讨论，但从调查者的角度来看，答案却出乎意料地简单。这是因为民意调查的应答者（样本）未能代表所有被调查的对象（总体，选举调查中的选民）。选前进行的态势调查，必须选择能够代表所有有投票权的选民的应答者。同样，在选举当天公布的预测调查，也必须选择能够代表所有投票者的应答者。只要遵守这些教科书般的原则，无论是投票后进行的出口调查，还是通过电话进行的态势调查或预测调查，都不可能产生与实际民意或民心相去甚远的结果。然而，由于在遵守这些教科书般的原则方面存在现实限制，才发生了此次事件。

首先，与电话民意调查的代表性相关的结构性限制可以概括为三个方面。

第一，调查公司为接触电话调查应答者所使用的抽样框（sampling frame）未能充分包含总体。目前，电话民意调查以KT（韩国电信）登记的家庭电话号码中，用户同意公开其电话号码的号码为对象进行。截至2009年10月，此类电话号码约有760万个。根据2005年人口普查，韩国家庭数超过1580万户，与总户数相比，KT登记的电话号码中用户同意公开电话号码的比例不足50%。这意味着，在进行电话调查时，能够参与调查的家庭仅限于总家庭数的一半以下。

第二，作为民意调查对象的KT电话号码公开号码未能代表全部家庭。即使KT电话号码的公开号码比例不足50%，但如果假定这些家庭能够代表全部家庭，那么760万的电话线路数量也足以作为抽样框被接受。然而，如果假设高学历、高收入阶层比低学历、低收入阶层更不愿意公开电话号码，那么KT登记的公开电话号码在学历和收入等变量上就无法代表全部家庭或家庭成员。此外，截至2010年，首尔市一人家庭比例达到20.8%，其中大部分是20多岁至30多岁的中青年未婚者，他们大多不安装固定电话，只使用手机。如今，以新婚家庭为中心，即使是两人及以上的家庭，也越来越多地不安装固定电话，而是每个家庭成员只使用手机。此外，使用KT以外的电话，如互联网电话、一体化电话等的家庭也在逐渐增加。考虑到这些因素，可以假定KT登记的760万余个电话号码未能均匀地包含1580万个家庭。

第三，参与电话调查的应答者不能保证代表其所属阶层。电话调查考虑到对隐私的侵犯等因素，通常在晚上9点以后不进行。也就是说，电话调查的应答者至少是能在晚上9点前回家的家庭成员。从这个角度来看，参与电话调查的年轻群体或经济活动群体，可能与晚上9点后才回家的同类群体在政治倾向方面存在差异。

RDD（Random Digit Dialing）方式的优点与局限

在上述调查现实下，目前这种电话调查方法得以通行，并且其结果在社会上未经任何问题提出或验证过程就被利用。当然，韩国的调查公司或相关专家并非没有意识到这些调查条件的问题。为了克服KT家庭电话号码的限制，他们关注RDD（Random Digit Dialing，通过随机生成区号和局号以外的后4位数字来尝试电话调查的方式）的应用（许明会等，2008）。

然而，由于仍处于初期阶段，仍有需要完善之处。尽管RDD方式作为保证代表性的一种替代方案，但未能全面推广存在现实困难，即RDD方式的调查费用比现有电话调查费用高出1.5至2倍，且不易在一天内完成调查。要普遍采用RDD方式进行电话民意调查，调查者、委托方和相关专家需要共同努力。

另一方面，以KT家庭电话号码为对象的RDD方式，在理论上可以在一定程度上解决电话民意调查的抽样框问题，但并不充分。这是因为KT家庭电话RDD方式无法涵盖仅使用手机的群体，并且互联网电话或一体化电话用户从一开始就被排除在调查对象之外。最终，能够平息电话民意调查代表性争议的唯一对策是利用普及率超过100%的手机，虽然目前由于个人信息保护等法律限制，以手机用户为对象的全面调查存在局限，但仍需制定现实可行的方案。

应答者选择方式的问题与对策

以上我们主要从抽样框方面探讨了现有家庭电话调查方法的问题和对策。接下来，我们将讨论应答者选择过程中的现状和对策。

利用家庭电话号码进行的民意调查大致分为两个阶段。第一阶段是选择家庭电话号码的阶段，第二阶段是选择该家庭的适宜应答者并使其参与调查的阶段。根据各阶段的特点，提高调查可靠性的条件也不同。家庭电话号码的选择阶段与抽样框这一结构性条件密切相关，因此为了提高调查的可靠性，需要上述努力。而选择应答者并请求其参与调查的第二阶段，则与我们社会的调查环境密切相关。

此次 지방 선거中主要引起争议的媒体选举民意调查，调查时间通常为一天，调查主要在工作日进行。这种条件可能导致参与调查的应答者未能充分代表所有应答者。如前所述，利用家庭电话号码的电话民意调查，应答者只有在家时才有可能成为调查对象。然而，学生或上班族大多在晚上9点后才回家。考虑到这一点，在一天这一有限的调查期间，不仅难以按照目标数量完成对这些群体的调查，而且参与调查的人也可能具有特定的倾向或生活方式。

技术性对策：调整调查日程和时间

为解决这些问题，需要将调查时间延长至2-3天，并将调查安排在周末而非工作日进行。将调查时间延长至2-3天，可以在其他日期的晚间更从容地进行调查，并且能够更接近目标数量地抽样到学生、办公室/专业人士、生产/技术/劳务人员等难以抽样的群体。选择周末而非工作日进行调查的原因是，这些群体在周末比工作日更有可能在家。之所以未能考虑到这些基本调查环境而进行实际调查，也与争分夺秒的政治圈或媒体等民意调查委托机构的情况有关。也就是说，关于调查时间及调查日期的调整，调查委托方的观念转变也是重要的先决条件之一。

调查应答率问题——配额抽样（quota sampling）是非科学的抽样方法

目前，韩国的电话民意调查并非采用科学的抽样方法，如简单随机抽样（simple random sampling）或分层随机抽样（stratified random sampling），而是采用了配额抽样（quota sampling）。当总体内部构成包含多种层次时，分层随机抽样或配额抽样方法在事先掌握总应答者构成，并预先指定参与调查的应答者数量，然后由调查者去完成目标数量的应答者方面是相同的（Singleton and Straits 1999）。后者之所以不被认为是科学的抽样方法，是因为最终应答者选择过程由调查者（机构）根据便利性自行决定和替换，从而损害了科学确保样本代表性的关键——随机性（randomness）（Erikson and Tedin 2005: 26）。而前者，在样本分配后，调查者不随意替换随机选定的对象，而是尽可能地争取应答，从而最大限度地减少特定倾向的应答者（政治上觉醒的选民）被过度代表或不愿接受调查的应答者被代表不足的方法。

当随意替换最初选定的家庭（应答者）时，就会出现应答率的问题。电话民意调查采用配额抽样方法意味着，如果无法联系到最初随机选定的家庭（应答者）或遭到拒绝，就可以立即替换应答对象，直到填满目标数量为止。例如，在联系到的家庭中寻找20多岁的男性，如果该应答者外出，则无需再次联系该家庭，而是可以联系其他家庭寻找20多岁的男性来填补。或者，如果应答者犹豫不决，也可以立即替换，这使得那些需要在特定时间段离家的群体被系统性地排除，或者政治上觉醒的应答者被过度代表的可能性增加。对于需要在有限时间内完成目标应答者数量的调查公司来说，这种方法虽然有效，但从根本上侵犯了科学民意调查的前提——抽样理论和概率论。

当然，应答率低的配额抽样方法并非绝对不可取或无效，它因方法论上的优点，不仅在韩国，在其他国家也仍在实施，并且正如后面将要解释的，也有其相应的补充措施。但我想强调的是，不应过度辩护而忽视配额抽样方法的局限性，并且在解释调查结果时应更加谨慎。

加强回访（Call Back）

考虑到将随机选定的初始家庭作为有效调查样本是保证代表性的基本要求，在电话占线或适宜的应答者不在的情况下，应尽量减少样本替换，并在其他时间、其他日期再次尝试联系应答者，即加强回访（call back）的适用。我们在下表[表1]中确认了仅进行一次接触和进行两次接触的结果在年龄构成比上存在差异（赵成谦等，2007）。如上表所示，进行二次接触时，晚上时段30岁以下年轻人的应答成功率大幅上升。

[表1] 1次接触和2次接触的年龄别应答者构成比（单位：%）

*资料来源：赵成谦等（2007）

适用适当的样本配额变量：职业配额或学历配额的应用

通过调查委托机构、媒体、调查行业等共同努力提高调查应答率是长期的对策。然而，短期内，在样本分配和权重赋予过程中，摆脱以往的惯例，并考虑影响选民政治态度的因素来分配样本，是短期且现实的方案。

理论上，配额变量越多，调查的可靠性就越高。目前韩国的选举调查大多以性别、年龄、地区作为配额变量。之所以以性别、年龄、地区作为配额变量，是因为可以明确确认这些变量的人数。然而，随着我们社会日益复杂化，资本主义和民主主义的成熟，仅凭性别、年龄和地区变量已难以代表总体。现在，不仅是市场调查，政治调查也应将职业和收入作为主要变量考虑，学历也不容忽视。美国盖洛普公司在性别、年龄、地区之外，还赋予了人种、西班牙裔、教育水平等权重，而韩国的调查也应考虑扩大配额变量。最近，在中国，职业变量对选民政治态度的影响被积极视为样本分配的标准。

正如[表2]所示，此次 지방 선거中，职业尤其在候选人支持倾向方面表现出明显的差异。吴世勋候选人在个体工商户、全职家庭主妇、无业/退休/未回答的群体中支持率较高，而韩明淑候选人在蓝领和学生群体中支持率较高。在办公室/专业人士群体中，两位候选人的支持率差距不大。考虑到整体支持率吴世勋候选人比韩明淑候选人高12%，职业别支持率的差异非常有意义。

[表2] 职业别支持候选人：首尔市长选举（单位：%）

*资料来源：韩国研究（2010.5）

实际上，如[表3]所示，如果不以职业作为配额变量，那么在调查时间段内更有可能在家的个体工商户和家庭主妇会被过度抽样，而白领和蓝领则会被低估。这种趋势在工作日调查中比周末调查更明显。换句话说，这最终会导致在野党支持率被低估，执政党支持率被高估。考虑到这一点，韩国研究公司从2007年大选预测调查开始，根据韩国研究公司自行编制的职业分布表进行调查，并最终赋予职业权重（以职业分布表作为地区别权重赋予的标准，请参考[附录2]）。

[表3] 首尔地区调查日别职业分布差异（单位：%）

*资料来源：A公司（2010.5）

隐藏民意调查争议的虚实

此次地方选举电话民意调查不准确的原因，不应归咎于我们社会的压抑性，或归咎于受访者的战略性选择或表达能力不足。因为这样做，无论意图如何，都会导致否定电话民意调查本身的结果。没有令人信服的理由可以断言，与美国、日本或德国的国民相比，我们国民的表达能力较差。尤其是在与政治相关的领域。此外，与面对面进行投票行为的出口民意调查相比，电话民意调查只需表明投票意向即可，受访者负担并不小。然而，出口民意调查比电话民意调查更能准确地预测选举结果，是因为它以实际投票者为对象，通过严格的抽样程序进行了调查，而不是因为受访者负担比电话民意调查小，受访者做出了更诚实的回答。我们国民通过此次地方选举，不仅向政界，也向调查界提出了非常有意义的议题。政界将如何回应有待观察，但调查界的答案很明确。问题不在于电话民意调查本身，而在于我们社会的电话民意调查方法和环境。为了改善这一点，参与调查的人员需要共同努力。■

韩国研究_金春石 · EAI舆论分析中心_郑汉郁

参考文献

赵成谦･金智演･罗润贞･李明珍. 2007. “选举民意调查的问题点与改善方向：以2006年地方选举电话调查为中心”. 《调查研究》第8卷第1期. pp.31-54.

许明会･金永元. 2008. “RDD抽样与电话簿抽样：2007年总统选举预测案例研究”. 《调查研究》第9卷第3期. pp.55-69.

Erikson, Robert A. and Kent L. Tedin, 2005. American Public Opinion: It's Origins, Contents and Impact. New York: Pearson Longman.

Singleton, Jr. Royce A. and Bruce C. Straits, 1999. Approches to Social Research: Third Edition. New York: Oxford University Press.