AI幻觉引发对华军事行动误报案例及韩国的验证体系构建课题

执行摘要

今年春天，美军依据一份由AI聊天机器人协助撰写的情报报告，准备对中东海域的一艘中国船只采取拦截与捕获行动，但在战斗机已经出动的情况下，于最后一刻中止了行动。错误的根源并非来自敌国的欺骗，而是美军自身的情报生产过程。一个粗糙的结论通过标准报告格式获得了制度性信任，并在指挥系统内迅速传播，这是其核心缺陷。当前正在讨论的中美AI对话机制侧重于通报对方国家的AI事故，因此无法从结构上涵盖此次事件这类本国内部错误。此外，半导体出口管制等核心冲突变量也被排除在议程之外，其实际效果有限。此次事件表明，危机稳定性的关键不在于通报渠道，而在于人类验证程序的时机。韩国应将确保对流入韩美联合情报体系的AI生成信息拥有独立的验证程序和原始数据访问权，作为一项首要任务来推进。此外，韩国有必要在这一问题上发挥外交努力，引领包括中美在内的国际社会共同应对。

I. 事件背景分析

AI幻觉引发对华军事行动误报案例的背景分析

1. 事件背景与经过

事件的起因可以追溯到今年春天伊朗战争期间。美军收到一份情报报告，称一艘航行在中东海域的中国货船上装载有与核武器计划相关的零部件[7][11]。这份报告是在AI聊天机器人的帮助下撰写的[1][4]。问题在于，这个结论并非事实。据美国有线电视新闻网（CNN）引述的四位消息人士透露，该报告通过标准情报报告格式，在美军指挥系统内部迅速传播[11]。克罗地亚媒体甚至报道称，报告的流传时间仅为几分钟[11]。

基于这一情报，美军指挥部确实制定了针对该船只的拦截与捕获行动计划[11]。战斗机已经出动，在飞机已升空的状态下，就是否中止行动进行了最终审查[1][9]。行动在最后一刻被取消[1][4][9]。瑞士《新苏黎世报》（NZZ）将此事件定义为“致命的精确错误”，并评价称，这是一个因对不准确数据的错误技术信任而可能导致灾难性后果的案例[4]。

这一事件并非孤例。同一时期，帕兰提尔（Palantir）公司的“专家”（Maven）AI目标选择系统将伊朗米纳布市的一所小学错误地指定为目标，导致包括120名儿童在内的150多人死亡的误炸事件也一同受到关注[3][6][14]。奥地利《标准报》（Der Standard）在并列报道这两起事件时，同时提出了帕兰提尔AI在伊朗空袭时可能将已经消失的影像资料误认为最新资料的可能性[14]。这两起事件都暴露出一个共同的结构性缺陷：人类的验证程序未能跟上AI产出物的传播速度。

2. 当前状况

9月18日，CNN独家报道了这一事实，事件随之公之于众[1][12]。报道的时机恰好在特朗普总统宣布对CNN、MS NOW、Politico等媒体采取白宫出入限制措施之前[14]。美国国防当局尚未就事件经过发表官方解释。该报道迅速传播至法语区西非媒体[13]、芬兰[9]、爱沙尼亚[16]、克罗地亚[11]、印度[12]、巴西[7]等世界各地媒体。这表明，中美关系中由AI引发意外冲突的可能性，已不仅仅是华盛顿与北京之间的双边问题，而是被视为整个国际社会普遍关注的议题。

中国官方媒体《环球时报》将此事件作为支持中美AI安全合作紧迫性的论据。该报援引中国专家的话评价称，“由美方虚假生成的情报差点导致美军对中国船只采取武力行动”这一事实本身，就显示了两国间AI安全合作的紧迫性[15]。这可以被解读为，中国不愿将此事件拖入追究自身责任的争论，而是将其定性为美国内部情报体系的缺陷，并以此作为参与对话机制的理由。

另一方面，美国财政部长贝桑特已透露，中美之间已另外启动了关于建立AI对话机制的磋商[17]。该磋商机制旨在建立一个两国在发生可能威胁国家安全的AI事故时相互通报的机制[17]。但恰逢此事件被曝光，外界立即对该对话机制是否能真正涵盖此次这类事故提出了疑问。

3. 主要行为体及立场

美军指挥系统是此次事件最直接的当事方。问题的根源并非来自敌国的欺骗或黑客攻击，而是产生于本国情报生产流程内部[1][4]。标准报告格式未能过滤掉错误，反而起到了赋予其制度性信任的通道作用，这表明美军内部的情报验证体系本身存在结构性弱点。这一点在之前帕兰提尔“专家”系统的误炸事件中也曾被共同指出[3][14]，并引出了美军引入AI的速度已超过其验证体系完善速度的评价。

中方选择了通过官方媒体展开舆论论述，而非通过官方外交渠道提出抗议。《环球时报》将事件定性为美国的技术缺陷，并以此作为强调中美在AI安全领域合作必要性的论据[15]。鉴于此次事件并未导致针对本国船只的直接军事行动，中国有动机选择合作框架而非升级应对。

美国财政部及相关部门已另外推动建立中美AI对话机制[17]。然而，该对话机制从设计阶段起就将半导体出口管制等中美AI竞争的核心议题排除在议程之外。其焦点集中于就国家安全级别的AI事故进行相互通报，因此，像此次事件这样在本国情报生产过程中产生的错误，其事前捕捉或预防功能从一开始就不在设计范围之内。

中等强国行为体作为中等强国，韩国虽非此次事件的直接当事方，但鉴于韩美联合情报体系中潜藏着类似的结构性风险，因而具有利害关系。已有观点另外指出，帕兰提尔“专家”系列系统以标准化形式供应给多个盟国，这种结构本身就内含了错误传导的可能性[3]。

4. 核心争议点

第一个争议点是错误的发生点。此次事件并非源于敌国的欺骗战术或网络渗透，而是由本国AI工具生成的虚假结论，在未经检验的情况下通过标准报告格式得以传播[1][4][11]。这表明，在中美AI竞争格局中，威胁并非必然只来自外部。

第二个争议点是验证程序的位置。对错误的实质性验证是在飞机已经出动后、行动即将开始前才进行的[1][9]。此次案例再次证实，危机管理的关键不在于事后通报渠道，而在于事前人类验证程序的稳固性。

第三个争议点是正在进行中的中美AI对话机制的实际效果。该对话机制侧重于相互通报机制[17]，因此难以从结构上涵盖此次事件这类在成为通报对象之前阶段发生的本国内部情报生产错误。半导体出口管制等AI竞争的根本变量被排除在议程之外，这一点也限制了该对话机制发挥实际的危机预防功能。

第四个争议点是盟国及中等强国面临的风险。美军基于AI的情报与目标系统的错误可能传导至盟国联合作战体系，这一点在帕兰提尔“专家”案例中已得到证实[3]。包括韩国在内的盟国，在接受美国主导的基于AI的指挥与控制（C2）标准的过程中，有必要将确保对原始数据的访问权和独立的验证程序作为首要任务进行研究。

II. 事件深度分析

AI幻觉引发对华军事行动误报案例的深度分析

1. 根本原因分析

此次事件的错误根源并非来自敌国的欺骗或黑客攻击，而是美军自身情报生产过程中产生的幻觉[1][4]。一份由AI聊天机器人协助撰写的情报报告，将中国货船的货物误判为核武器计划的零部件[7][11]。这一结论缺乏依据。尽管如此，它还是通过了标准情报报告的格式审查[11]。形式上的程序合规，并不能保证内容的可靠性。

核心问题由此暴露。AI生成的文本采用了标准化的报告格式。这种格式本身就对审查者起到了传递信任信号的作用。克罗地亚《晨报》（Jutarnji list）报道称，该报告在美军指挥系统内部仅用几分钟就触发了最高级别的戒备状态[11]。信息的传播速度超过了其真伪验证的速度。瑞士《新苏黎世报》将其描述为“致命的精确错误”，并评价称，这是一个因对不准确数据的错误技术信任而可能导致灾难性后果的案例[4]。

同样的结构性缺陷在伊朗米纳布市小学的误炸事件中也得到了证实。帕兰提尔“专家”目标选择系统在38天内识别约13000个目标的过程中，被指可能将已经消失的影像资料误认为最新资料[3][14]。奥地利《标准报》在同一天并列报道这两起事件，指出了其共同点[14]：AI目标选择和情报分析的处理速度压缩了人类验证所需的时间。这应被视为AI引入后整个军事决策结构的问题，而不仅仅是单个系统的缺陷。

2. 结构性背景

伊朗战争这一高强度危机状况成为错误发生的背景。美军在与伊朗交战期间，同时执行着控制中东海域船只的任务[7][13]。在危机局面下，情报生产和消费的周期会缩短。指挥官被要求迅速做出判断。在这种环境下，AI提供的快速信息整合能力是一种极具吸引力的工具，但同时也成为省略验证程序的诱因。战斗机已经出动后才发现错误这一事实[1][9]，意味着验证并非在行动开始前的阶段进行，而是在临界点前夕才得以完成。

从中美关系的框架来看，此事件预示了意外军事冲突的一种新路径。以往的中美军事紧张主要围绕台湾海峡、南中国海的近距离接触或灰色地带挑衅展开讨论。此次事件表明，即使没有实际的物理接触或挑衅行为，仅凭情报生产阶段的错误就可能导致局势升级至武力行动的前夕。布鲁金斯学会在提及2023年侦察气球事件时曾指出，在没有热线等安全保障机制的情况下，基于AI的无人机和无人舰艇未来可能引发更多意外升级[2]。此次事件证实，同样的风险不仅存在于无人平台，也存在于情报分析阶段。

中美两国正在另外推进的AI对话机制，未能充分涵盖这一结构性风险。财政部长贝桑特提到的中美AI对话机制，侧重于就可能威胁国家安全的AI事故向对方国家进行通报的机制[17]。这是一个两国在事故发生后相互告知的体系。然而，像此次事件这样在本国情报生产过程中产生的幻觉，从一开始就没有向对方国家通报的动机。该对话机制所处理的“事故”定义本身，就使其在设计上难以从结构上捕捉到这类错误。此外，像半导体出口管制这样中美AI竞争的核心变量，也被排除在该对话机制的议程之外。这意味着通报渠道的实际效果从一开始就受到限制。

3. 历史先例及类似案例比较

最接近的比较对象是同年发生的米纳布市小学误炸事件。在该事件中，帕兰提尔AI目标选择系统的错误导致了实际打击，造成150多人死亡[3][6][14]。联合国真相调查团认为这可能构成战争罪。然而，白宫立即否认了调查结果[3]。此次对华行动案例与米纳布事件的决定性差异在于结果是否显现。米纳布事件中，验证失败最终导致了实际的人员伤亡。而对华行动则因最后一刻的干预避免了物理损害。将两起事件并列来看，可以发现AI错误是否导致实际悲剧，几乎是一个偶然的时间点问题，而非因为系统设计阶段从结构上保障了人类验证。

更早的先例是布鲁金斯学会提到的2023年侦察气球事件[2]。该事件是一个未涉及AI的传统误判案例。尽管如此，中美两国间危机沟通渠道的缺失加剧了紧张局势，这一点留下了结构性的教训。当时事后也提出了建立热线的必要性，但实质性进展缓慢。此次AI幻觉事件中，中美AI对话机制的讨论再次浮出水面，这是一种相似的模式：危机发生后才触发沟通机制的讨论，这种方式正在重演。

与冷战时期的误报案例进行比较也同样有效。在1983年苏联预警系统误报导弹来袭的事件中，值班军官的个人判断阻止了局势升级。此次事件的不同之处在于，错误并非由特定个人的判断发现，而是在飞机已经出动后的最终审查阶段才被捕捉到[1][9]。从人类干预更接近于偶然发现而非系统设计中保障的程序来看，可以说此次案例暴露了比冷战时期更为脆弱的危机管理结构。

4. 事件发展的核心变量

第一个变量是美军情报体系内部验证程序的改革与否。错误信息通过标准报告格式获得信任并得以传播[11]，这表明当时并未对AI生成的信息设置单独的标记或评级体系。未来美军是否会引入区分AI产出物和经人类验证信息的程序，以及是否会将验证环节提前至行动开始前，将是关键所在。

第二个变量是中美AI对话机制的议程是否会扩展。目前讨论的框架仅限于相互通报[17]。这一框架是否会扩展到要求对本国内部错误保持透明，还是会停留在形式化的渠道层面，将是左右危机稳定性的变量。中方正将此事件作为中美AI安全合作的理由加以利用[15]，这表明北京有动机积极参与这一讨论。但只要半导体出口管制等实质性竞争变量被排除在议程之外，对话机制的政治象征意义与其实际效果之间的差距就很可能持续存在。

第三个变量是舆论和政治后果。CNN的独家报道恰好在特朗普总统对该媒体采取白宫出入限制措施之前发布[14]，这使得该事件有可能与美国国内政治中的媒体管制争议交织在一起。在美国国防当局尚未发表官方解释的情况下，是否会有进一步的爆料或国会层面的调查要求，将决定事件的影响力。

第四个变量是对盟国层面的影响。美军基于AI的情报体系与包括韩美联合情报体系在内的多个盟国网络相连。如果此次事件所暴露的验证空白扩散为盟国共享情报的可靠性问题，那么盟国在接受美国主导的AI指挥与控制（AI-C2）标准的过程中，要求获得独立验证权的动机将会增强。