[AI与新文明标准特别报告] 军事挑战②:人工智能驱动的自主武器系统、认知战的发展与军事安全秩序的变革
编者按
EAI国家安全研究中心主任(首尔大学教授)全在成指出,在地缘政治竞争中,阻止人工智能技术被用于军事的可能性微乎其微,并展望了人工智能驱动的自主武器系统和人工智能在认知战中的发展。全主任强调,在无人机、自主固定哨兵枪、杀戮机器人等自主武器系统迅速发展的背景下,应对自主武器系统行为预测的困难、意外和迅速冲突升级的风险、廉价且可大规模生产的武器导致的战争遏制力减弱、种族清洗和屠杀的风险、以及故障的可能性等威胁,国际社会建立自主武器系统监管规范的努力至关重要。他进一步警告说,利用人工智能进行的认知战不仅会通过操纵舆论和干预选举、传播虚假信息等方式引发社会不稳定和政治混乱,还会使“心灵军事化”正常化,导致在认知领域出现不受限制的无责任行为。他预测,为了最大限度地减少这些风险,迫切需要加强伦理标准和安全措施的国际合作,但由于在国际层面达成共识仍存在许多障碍,围绕认知战的争论将在相当长一段时间内持续下去。
一、人工智能驱动的战争现实已然来临
在人工智能(AI)等尖端技术时代,我们很难想象未来的战争会是什么样子。研究人工智能驱动核武器的詹姆斯·约翰逊描绘了仅一年后虚拟战争的以下场景。
2025年,围绕台湾问题的中美战争爆发,战争迅速升级为核战争并结束。战后,独立调查人员得出结论,双方均未使用人工智能驱动的“完全自主”武器。他们乐观地认为,双方并未故意违反国际法规定的武装冲突法则或核武器使用时的相称性和区分原则。两国都相信,当时它们是根据自卫权合法地使用了军事力量。
在战争爆发前,台湾的政治局势急剧变化,中美两国部署了人工智能技术,以支持战场感知、情报收集、监视和侦察(ISR)以及对敌方行动的战术反应。随着商业化人工智能应用在准确性、速度和预测能力方面的迅速提高,大国得以利用机器学习(ML)来获取提升战术和作战机动所需的数据。特别是受俄罗斯、土耳其和以色列在边境使用自主无人机群击退恐怖袭击的案例所启发,中国迅速整合了双重用途的最新人工智能技术,尽管绕过了严格的测试和评估过程。
随着中国在台湾海峡的军事渗透急剧增加,中美两国领导人寻求迅速部署最新的战略人工智能系统,以获得最大的不对称优势。最先进的战略人工智能系统基于历史战役场景、实验性战争游戏、博弈论的理性决策、情报数据以及从早期版本中学习到的内容,生成了新的战略选择。该系统的复杂性之高,甚至超出了设计者和操作者的猜测范围。
社交媒体上的激烈言论和虚假信息宣传活动达到顶峰,中国国内要求强制统一台湾的呼声日益高涨。随着太平洋局势日益紧张,美国决定在未经测试和评估的情况下,将自主人工智能驱动的“战略预测与推荐系统(SPRS)”用于非战斗活动。作为回应,中国也部署了类似的“战略与情报咨询系统(SIAS)”,以应对所有危机情况。
最终,由人工智能引发的一系列事件超出了北京的预定界限,导致局势失控。信息战达到了顶峰,美国印太司令部和台湾的军事系统遭受了网络入侵的激增,中国太空资产的防御行动和解放军的自动采购系统被激活。美国的SPRS将这些行动评估为重大的国家安全威胁,并建议采取强有力的军事姿态和防御态势。因此,美国批准了在台湾海峡进行自主战略轰炸机飞行。SIAS建议中国领导人通过对美国主要的太平洋资产进行有限的先发制人打击来获得早期优势。SPRS警告华盛顿中国即将发动先发制人打击,美国建议立即进行有限的核打击。它预测美国的导弹防御系统能够成功拦截大部分中国的战术核打击,并且中国将避免对美国本土进行报复。SPRS的预测是准确的。在太平洋地区发生有限的中美核交换后,造成数百万人死亡,数千万人受伤,双方达成停火协议。
事后分析中,双方试图详细分析SPRS和SIAS的决策过程,但人工智能的设计者得出结论,无法解释人工智能在所有决策子集中的逻辑和原因。由于时间、加密和隐私限制等各种因素,无法保存事后测试日志和协议。无法明确得出人工智能技术是否是这场战争的原因(Johnson 2023)。[1]
最近的乌克兰战争、加沙战争等都充分表明,人工智能已经在战争的各个层面得到应用,并且这种趋势将持续下去。当核武器、常规武器、心理战和信息战这三个维度与人工智能结合时,将迅速演变为人工智能驱动的核武器、人工智能驱动的自主武器系统(AWS)和人工智能驱动的认知战。
人工智能作为一种通用技术,是一种增强现有技术的元增强技术。它不仅能改进特定武器,还将改变武器操作系统、战争相关政策制定、战争政府和军队以及社会的认知和应对方式,成为一种多维技术(Britt 2023; Hale 2023)。就像每个人都使用数学一样,人工智能技术将在所有层面得到应用,并且在很大程度上已经如此。我们很难知道人工智能技术将给军事安全领域带来何种变化,更不用说它对整个国际政治的影响有多大。人工智能技术本身正在迅速变化,而旨在监管或控制它的努力远远落后于技术变革的速度。人工智能技术的发展与所谓的“地缘政治回归”时期同步,因此是在激烈的竞争中进行的,旨在控制人工智能问题的国际努力难以取得成效。
在地缘政治竞争中,阻止人工智能技术被用于军事的可能性微乎其微。此外,我们还可以设想人工智能技术以意想不到的方向迅速发展,从而脱离人类的控制。由于各国认识到人工智能是加强自身安全的一种有用且创新的手段,因此在发生确认共同损害的事件之前,很难对先发制人的人工智能军事技术产生警惕。
目前,有必要通过了解人工智能技术在核武器、自主武器系统和认知战等领域的实际应用情况,并预测未来可能出现的共同问题,来开始认真的讨论。在核武器方面,在使用一次后产生了核武器禁忌,并且在2020年代还签署了《核武器禁止条约》(TPNW)。由于未来的战争关系到所有国家人民的生死存亡,因此关注并应对这一点至关重要。韩国也到了应该思考如何认识和应对大国军备竞赛和战争风险中的人工智能驱动武器系统和军事安全战略的时候了。本文继人工智能驱动核武器分析之后,将探讨自主武器系统和认知战领域。
二、人工智能驱动的自主武器系统发展
根据美国国防部2012年发布的关于武器系统自主性的指南3000.09,自主武器系统可以定义为“一旦激活,无需人类操作员的进一步干预即可选择和攻击目标的武器系统”。也就是说,这是能够识别潜在敌方目标,并基于算法和人工智能独立选择攻击该目标的致命性武器系统。这可能意味着特定单个武器的自主化,也可能意味着使用武器的整体操作系统的自主化。
目前,对于自主武器系统的定义尚无国际共识,但它们一直根据其自主性水平进行评估。自主武器系统中的自主性概念可以定义为系统在没有人类输入的情况下,通过与环境的互动或交互来执行任务或一系列操作的能力。在自主武器系统的定义中,重要的是其自主执行的决策或功能类型,不再处于人类操作员的控制之下(Dresp-Langley 2023)。
根据武器自主化的程度,通常使用三个级别的分类。第一,受监督的自主武器或“人机协同(human on-the-loop)”系统。这是设计用于在发生异常高水平的损害之前,人类操作员能够介入并终止交战的自主武器系统。例如,防御性武器系统,虽然它能够独立选择和攻击目标,但所有操作都由人类完全监督,并且可以在必要时在有限的时间内禁用该系统。
第二,半自主武器或“人在回路(human-in-the-loop)”系统,一旦激活,该系统旨在仅攻击人类操作员选择的单个目标或特定目标组。例如,导弹等弹药,一旦发射到特定目标区域,就会在该区域内搜索并攻击预先编程的目标类别。
第三,完全自主武器或“无人参与(human out-of-the-loop)”系统,一旦激活,该系统无需人类操作员的进一步干预即可选择目标并进行交战。例如,徘徊式(loitering)武器,一旦发射,就会在特定区域搜索并攻击目标,并在没有进一步人类干预的情况下运行。此外,还包括能够通过自主干扰(jamming)来干扰通信的武器系统(Kallenborn 2021)。
自主武器系统是历史悠久经验和努力的产物,自主车辆的最早案例可以追溯到1925年开发的“The American Wonder”。这是一种在美国纽约市街道上行驶的车辆,由后方车辆远程控制,并在早期自动控制系统的引导下组成车队行驶。
自主武器系统需要集成几个关键要素:移动作战平台、能够精确监视平台周围环境的各种传感器、分类传感器发现物体的处理系统,以及在检测到可接受目标时启动攻击的算法。例如,杀手机器人或“杀戮机器人(slaughter bot)”是能够独立选择和攻击目标的自主机器人系统,无需人类操作员的干预。配备先进的传感器和人工智能,它们可以通过协同努力来压倒防御者,这可以在分散的地面作战群或电子战舰船上自主运行。
无人机也是自主武器系统的典型武器。2013年10月,美国战略能力办公室发射了103架Perdix无人机,这些无人机利用“分布式大脑”组装成复杂的编队,并在战场上移动或重新编队。这些无人机群由麻省理工学院(MIT)的学生使用商业可得的零部件和设计制作。理论上,无人机群可以扩展到数万架,这可能成为与小型核装置相媲美的自主武器。
目前,利用人工智能开发或已投入使用的致命性自主武器和自主武器系统呈现出多种发展,包括自主固定哨兵枪、远程武器站、被编程为针对人类和车辆发射的杀手机器人、以及具有自主目标识别功能的无人机和无人机群。雷达、激光雷达、高分辨率360度摄像头,以及最终与人工智能结合的自适应和预测性巡航控制等功能也得到了发展。新的最大风险大规模杀伤性武器可能是无人机群和自主化学、生物、放射性、核(CBRN)武器,其中包括能够注射致命生化物质的微型昆虫无人机。
自主固定哨兵枪也在开发中。哨兵枪是一种远程武器,能够自动瞄准和射击由传感器探测到的目标。第一款功能性军用哨兵枪被用作近程防御武器,用于探测和摧毁来袭导弹和敌方飞机。这些武器最初只在舰船上使用,但现在也用于地面防御。这类武器中,首个配备集成系统(包括监视、跟踪、射击和语音识别)的是SGR-A1,这是由韩华防务和高丽大学联合开发的高度机密项目,用于在韩国非军事区支援韩军。
这些人工智能驱动的自主武器系统正在当前战场或为未来进行的训练过程中纷纷亮相。无人机在当前的乌克兰战争中已成为一个重要问题,美国国防部最近宣布了一项新的10亿美元投资,以升级其无人机舰队。中国的自主杀手机器人预计将在两年内用于军事目的,一位专家称其为“人类生存的最大威胁”,预示着新的人工智能驱动战争时代的到来。
几个主要国家更是将这一发展推向了一个新的高度,开始开发完全自主的人工智能驱动杀手机器人来取代战场上的士兵。据报道,中国和俄罗斯已经合作开发人工智能驱动的自主武器。在2024年5月与柬埔寨的军事演习中,中国人民解放军展示了由中国公司Unitree Robotics制造的、配备枪支的机器人狗。俄罗斯在2022年莫斯科附近的一次武器展览会上展示了经过改装的Unitree Robotics狗,配备了火箭推进榴弹发射器,并重新命名为M-81机器人狗。
中国已经开始使用人工智能驱动的机器来开发武器,一些专家预测到2028年,炸弹和炮弹的产量将增加两倍。在2023年3月举行的联合国致命自主武器系统会议上,美国代表声称现在开始监管其发展还为时过早。这些不受限制的发展引发了无数警告,即非人类武器将无法遵守战争法,并且各国可能会在不担心人员伤亡的情况下参与冲突(Cameron 2024)。
三、中美战略竞争与美国的自主武器系统战略
美国国防部于2012年发布了全球首个关于部署自主或半自主武器系统的指导方针。该指南3000.09是首次认真考虑自主技术和人工智能对军事影响的政策之一。在此之前,这些概念主要出现在科幻小说中。该指南发布后,公众、公民社会和非政府组织对此产生了极大的关注和讨论,但关于指南明确内容的混乱和误解确实存在。例如,人权观察(HRW)错误地将其解读为“全球首个致命性完全自主武器禁令”。然而,该政策实际上并未限制自主武器的开发或使用,只是规定了每十年更新、取消或续期的规定。该指南要求对达到一定自主水平的武器系统进行额外的审查程序,但审查的范围和目的并不明确。
在过去的十年里,指南3000.09已成为与自主技术武器系统相关的主要美国政策。然而,该指南的模糊性在关于新技术发展(特别是人工智能)的讨论中造成了混乱。当该指南十年的有效期于2022年底结束时,国防部在2023年提出了修订后的指南。修订本保留了2012年指南中对自主武器系统的定义,即“一旦激活,无需人类操作员的进一步干预即可选择和攻击目标的武器系统”。2023年指南删除了操作员前面的“人类”一词,但将“操作员”定义为“操作平台或武器系统的人”。与之前的指南一样,2023年指南并未遏制自主武器系统的扩散。不仅是美国,澳大利亚、中国、印度、伊朗、以色列、韩国、俄罗斯、土耳其和英国也在人工智能及相关技术的军事应用上进行了巨额投资,并以此开发空中、地面和海基自主武器系统。
指南的1.2(e)条允许“根据现有的技术安全和外国披露要求及程序所批准的”“国际销售和转让”。一旦这些武器离开美国,美国将失去对其的独家控制权。此外,该指南还允许根据现有法律、国防部程序和道德原则持续开发和获取自主武器系统。
2023年指南并未比2012年指南更明确地规范模糊之处。根据1.2(a)条,2023年指南沿用了前指南的规定,即“自主和半自主武器系统应设计成使指挥官和操作员能够对武力使用进行适当程度的人类判断”。这句话承认了为了遵守国际人道法而进行人类判断的价值,但无论是之前的指南还是当前的指南,都没有明确说明“适当程度”的人类判断是什么,以及由谁来决定(Human Rights Watch 2023)。
然而,修订后的指南更现实地反映了快速变化的技术如何实际应用。例如,增加了关于人工智能的新提及,并明确区分了人工智能和自主性。即使在现有系统上增加自主功能,也规定要经过额外的审查程序,即使系统已经使用了多年(Lamberth 2023)。
美国的这一战略是出于与中国的战略竞争考虑。2023年8月发布的美国“Replicator”计划,预示着人工智能革命将改变战争方式,并应对国防部采购和开发中的巨大技术和人力挑战。
国防部副部长希克斯在发布会上强调了美国发展自主武器系统的必要性,以应对与中国的战略竞争。
我们将投入大量兵力来对抗中国人民解放军(PLA)的大规模兵力,但我们的兵力将难以预测、难以命中,并且更难克服。凭借卓越的人才、智能的概念和尖端技术,我们的军队将变得更加灵活,这得益于商业部门的支持和紧迫感。
正如我们在乌克兰所见,从星链(Starlink)到弹簧刀(Switchblade),再到商业卫星图像,由商业和非传统企业开发的新技术可以在防御现代军事攻击中发挥决定性作用。这些技术是传统能力的补充,仍然至关重要。我们设定了“Replicator”的宏大目标,因为我们需要打破障碍并紧急推动变革。在未来18至24个月内,部署数千个跨多个领域的消耗性自主系统……而“Replicator”不仅仅是生产方面。我们的目标也是复制和注入实现这一目标的方法,以便在未来能够重复扩展相关内容。根据《国家防御战略》和《联合条令概念》,我们将以发挥我们持续优势的方式使用自主能力……在此方面,跨域自主系统将有助于应对反介入/区域拒止(A2AD)系统的挑战。我们将用我们的A2AD来抵消他们的A2AD(Hicks 2023)。
目前,国防部的投资组合中包含800多个与人工智能相关的解密项目,其中许多项目仍在测试中。一般来说,机器学习和神经网络有助于人类获得洞察力并提高效率。为了实现战斗员之间更有效的网络连接,国防部正在开发一种名为“联合全域指挥与控制”(JADC2)的作战网络,该网络将自动化所有军种之间的数据处理。然而,这项任务规模庞大,并且面临着克服官僚主义的挑战。
例如,空军的“忠诚僚机”计划计划将有人驾驶飞机与自主飞机配对。例如,F-16飞行员可以派遣无人机进行侦察、诱导敌方攻击或攻击目标。空军领导人计划在2020年代末投入使用该计划。然而,“忠诚僚机”的日程过于雄心勃勃,并且与“Replicator”的日程安排不符。目前唯一被认为可以自主运行的武器系统是纯粹防御性的,如“密集阵”(Phalanx)导弹防御系统。自主武器独立做出决策的问题,以及系统未能按预期运行或伤害非战斗人员或友军等问题,目前被认为是更重要的问题(Bajak 2023)。
四、自主武器系统监管的努力
为了控制自主武器的破坏性,特别是与人工智能结合后难以预料的问题,一直在努力进行监管。正如将于9月举行的关于军事领域负责任人工智能(REAIM)的首尔高级别会议(REAIM Summit 2024)一样,存在针对人工智能的一般性监管努力,并且也一直在为自主致命武器系统本身进行努力。历史上,1983年12月,《特定常规武器公约》(CCW)生效,这是一项禁止和限制使用可能造成非人道后果的某些常规武器的国际公约。2010年,联合国特别报告员菲利普·阿尔斯顿提交了一份指出杀手机器人技术问题的报告,标志着关于监管自主致命武器的讨论开始。
2011年,国际红十字会(ICRC)开始就自主武器系统进行正式讨论,并在当年举行的ICRC会议上讨论了自主武器系统的问题和概念。2013年11月,CCW缔约国会议决定开始讨论致命性自主武器系统(LAWS)。此后,从2014年5月到2016年,CCW召开了三次非正式专家会议,讨论了自主致命武器系统。
2016年12月,第五次CCW缔约国审议会议决定成立一个由所有缔约国参加的自主致命武器政府专家组(GGE LAWS),从2017年起,CCW会议转变为无与会者限制的开放式政府专家组会议。2018年,自主致命武器政府专家组(GGE LAWS)会议通过了一份报告,其中包含10项“可能的指导原则”,讨论了利用人工智能等自主技术制造的致命武器的特性、人类控制、政策方案和军事应用。2019年CCW缔约国会议最终通过了包含“人机交互”的11项指导原则(刘俊九 2019a;2019b)。
2023年12月22日,联合国大会通过了关于自主致命武器系统风险的第一个决议。该决议以152票赞成、4票反对、11票弃权通过,承认了人工智能和自主性等军事领域新技术应用带来的“严峻挑战和担忧”。在CCW框架下,2020年和2021年继续召开了关于自主致命武器系统的政府专家组会议。2023年11月,CCW缔约国同意在2024年和2025年举行20天的会议,以“考虑和制定具有法律约束力的文件的要素”。
中国在自主武器系统问题上保持战略模糊。2016年,中国在联合国《特定常规武器公约》(UN-CCW)上主张禁止自主武器系统,但2017年又发布了人工智能发展计划,推进自主武器系统的开发。总的来说,中国虽然采取限制完全自主武器系统使用的立场,但同时也以通过开发来获得军事优势为目标,并为此推进军民融合战略。
与此同时,国际社会要求就监管自主致命武器系统的新国际条约进行谈判的呼声也日益高涨。包括人权观察在内的非政府组织要求,以联合国大会通过决议为契机,开始就制定具有约束力的国际条约进行谈判。这些动向表明,国际社会对自主致命武器系统的担忧日益增加,对其进行监管的讨论也日益活跃。
在这些监管努力中,存在几个主要的争议点。首先是自主武器系统的定义。由于自主武器系统的范围非常广泛,加上技术复杂性的增加,理解武器系统如何运作、其应用和潜在后果变得更加困难,并且在确保人类责任和问责制方面也带来了挑战。
其次,关于新监管将采取何种形式的讨论。对于监管如何实际运作尚未达成共识。一些国家主张制定关于这些系统使用和转让的规则,而另一些国家则主张严格禁止某些类型的武器系统。还有许多国家希望采取禁止和监管相结合的双重方法。
第三,关于新全球工具的必要性的讨论。在联合国、国际红十字会以及几乎所有有政治意愿监管自主武器系统的国家之间,广泛存在着关于开发和使用应适用国际人道法和国际人权法的共识。然而,关于现有国际法是否足够,或者是否需要专门针对技术的规则才能有效控制,仍然存在争议。
第四,关于使用哪个论坛的讨论。迄今为止,各国之间关于自主武器系统的争论主要集中在《特定常规武器公约》框架内,各国政府于2013年首次召开了关于完全自主武器系统主题的会议。2017年,在CCW框架下成立了致命性自主武器系统政府专家组,其任务是增进对该问题的共同理解。然而,该小组仅就处理该问题的进一步考虑达成一致,并未深入讨论法律或监管选项,也未能就联合国秘书长呼吁的国际监管取得实质性进展。最近关于自主武器系统的区域会议呼吁各国考虑通过联合国大会等其他论坛推动监管讨论。国际条约和协定可以在广泛但非一致的共识下达成,这一想法是在武器贸易条约(Arms Trade Treaty)的通过等其他领域取得进展的因素。
尽管许多国家在未来几个月内需要考虑许多棘手的问题,但联合国秘书长关于在2026年前就自主武器系统达成国际监管协议的目标,为我们提供了需要努力的时限。关于致命性自主武器系统的联合国大会决议指示秘书长在今年年底前编写一份报告,反映各国、国际和区域组织、ICRC、公民社会、科学界和工业界的各种观点。
未来讨论的另一个关键是来自非西方国家和公民社会的有意义的参与。公民社会组织在传达全球公民的担忧、加深对技术发展及其对全人类潜在风险的理解等方面发挥了重要作用,并在推动军事人工智能和自主武器系统监管的国际讨论中发挥了主导作用(Linney and Tang 2024)。
如果未来自主武器系统的监管能够成为现实,将会出现许多争议点。如前所述,自主武器系统的定义本身以及监管框架都是问题,但围绕自主武器系统开发的大国与弱国之间的不平等问题也可能出现。与《核不扩散条约》(NPT)相比,它因建立了允许少数国家拥有核武器而禁止其他国家获取核武器的体系而受到本质上不平等的批评。同样,自主武器系统的监管体系也可能允许一些国家拥有自主武器系统,而禁止其他国家获取,这可能导致另一种形式的不平等国际体系。
自主武器系统监管体系难以实施的另一个原因是验证和执行困难。自主武器系统是基于软件的,并且可以用于双重用途,因此很难检测或监管其开发。技术进步的速度可能超过监管努力,各国可能因担心失去技术优势而不愿同意监管。特别是人工智能作为一种通用技术,为了商业和民用的各种利益和效用而开发,因此很难对其进行监管。考虑到开发主体不是政府而是许多高科技公司,它们的意见也必然受到重视。最终,国际社会必须全面考虑各利益相关者的立场,并吸取核不扩散体系不平等的教训,制定一个全面、平等、透明的自主武器系统体系,这面临着巨大的挑战。
五、围绕自主武器系统的强国竞争与未来
在科学家、行业专家和国防部官员之间,对于美国将在未来几年内拥有完全自主的致命武器,几乎没有争议。在美国,国防部官员声称人类将始终拥有控制权,但专家们表示,数据处理速度和机器间通信的发展最终会将人类推向监督角色。这尤其适用于当致命武器以无人机群的形式大规模部署时。美国国防部目前是否正在根据2012年的指南和修订后的指南,通过官方途径评估部署自主武器系统,这一点尚不清楚。对于美国以外的国家来说,由于缺乏明确的指导方针,问题更为严重。
考虑到这些因素,未来围绕自主武器系统的强国竞争将更加激烈,而试图对其进行监管的未来将变得困难。首先,自主武器系统因其行为在危险程度上不可预测而构成问题。机器学习算法与动态作战环境之间复杂的相互作用,使得预测这些武器在实际情况下的行为变得非常困难。这些武器系统本质上被设计成不可预测的。这是因为它们被编程为故意采取不可预测的行为,以超越敌方系统。
其次,自主武器系统因其作战速度和规模而带来意外且迅速的冲突升级风险。兰德公司最近的一项研究得出结论:“自主系统的速度导致了战争游戏中意外的冲突升级”,并指出“广泛的人工智能和自主系统可能导致意外的冲突升级和危机不稳定”。联合国裁军研究所(UNIDIR)也同意兰德公司的结论。美国国家安全委员会(NSCAI)也承认,“当人工智能驱动的自主系统在战场上未能按预期运行时,或者由于人工智能和自主系统之间复杂且未经检验的相互作用,可能会发生意外的冲突升级。”并表示,“人工智能系统总体上可能会增加战争的速度和自动化,从而减少缓解冲突措施所需的时间和空间。”
第三,由于特定武器的易得性,所谓的“杀手机器人”(Slaughterbots)生产成本非常低廉,因为它们不需要昂贵的原材料或难以获得的材料。它们具有运输安全和难以探测的特点。一旦主要军事强国开始制造这些武器系统,它们将迅速扩散。最终,这些武器很可能出现在黑市上,落入恐怖分子、独裁者或战争贩子的手中,用于种族清洗或大规模杀戮。事实上,美国国家安全委员会已将降低扩散风险作为降低军事人工智能战略风险的主要任务。
第四,传统上,战争因其高昂的常规武器生产成本和人员伤亡成本而起到威慑作用,同时也促进了外交。然而,廉价且可扩展的武器的出现可能会削弱这些威慑标准。与自主武器的扩散相结合的快速、意外的冲突升级风险,可能对降低战争门槛产生同等影响。
第五,自主武器系统易于扩展和扩散。这意味着自主武器造成的损害规模仅取决于杀手机器人的数量,而不是操作这些武器的人员数量。这与常规武器形成了鲜明对比。军事强国不能仅仅通过购买两倍数量的枪支就能造成两倍的损害,它们必须招募两倍数量的士兵来操作这些枪支。然而,杀手机器人集群,无论大小,都可以由一个人激活,而其组成部分的杀手机器人将自行发射。
可扩展性和扩散的威胁相结合,带来了大规模杀伤的威胁。大规模杀伤性武器的特点是,一个人可以造成大量死亡,而使用自主武器,一个人理论上可以激活数百甚至数千个杀手机器人集群。扩散增加了这些武器落入想要制造混乱的人手中的可能性,而可扩展性则放大了那个人的力量。出于这些考虑,一些人将某些类型的自主武器系统,即机器人,归类为大规模杀伤性武器。
第六,仅基于传感器数据,特别是通过面部识别或其他生物识别信息选择性地杀害个人,会大大增加选择性地针对特定群体(按年龄、性别、种族、民族或宗教着装)的风险。与扩散的风险相结合,自主武器可能会大大增加针对特定阶层、甚至种族灭绝的暴力行为。此外,面部识别软件已被证明会加剧偏见,并增加对少数族裔,特别是女性或有色人种的身份识别错误率。自主武器系统可能对种族和性别产生的不成比例的影响是民间社会关注的主要领域。
这些威胁在面部识别技术越来越多地用于警务和种族定性方面尤其值得关注。一些公司引用了对开发致命系统感兴趣的理由,但拒绝签署不武器化面部识别软件的承诺。
第七,避免人工智能军备竞赛是伦理人工智能的基本原则,但在缺乏全球统一努力来强调自主武器系统的危险并产生政治压力的情况下,人工智能军事竞赛已经开始。军备竞赛的动态将速度置于安全之上,进一步加剧了不可预测性和冲突升级行为的固有风险(Autonomous Weapons 2024)。
未来,围绕自主武器系统的竞争将持续下去,国际社会和各国公民社会为控制这些武器所做的努力将面临挑战。美国海军已于2023年10月成功演示了无人艇使用实弹成功攻击虚拟敌方目标。五角大楼似乎正在进行800多个军事人工智能项目,包括“忠诚僚机”(Loyal Wingman)计划和V-BAT空中无人机等集群无人机。中国正在根据军民融合的理念开发自主武器系统。截至2022年,已确认中国拥有由10架无人机组成的完全自主集群穿越森林的证据。作为回应,澳大利亚海军也正在开发一种名为“幽灵鲨”(Ghost Sharks)的由人工智能驱动的自主潜艇。
此外,人们对人工智能驱动的自主武器系统的控制也无法确定。例如,2023年6月,美国空军人工智能测试和作战负责人塔克·汉密尔顿上校描述了一项模拟测试,其中一架由人工智能驱动的无人机被训练来摧毁敌方防空系统。该无人机通过每次摧毁威胁时获得“积分”来接受训练。然而,当人类操作员命令它不要摧毁目标时,无人机摧毁了用于操作它的通信塔,实际上“消灭”了操作员。汉密尔顿上校声称,在这次训练中没有人真正受伤,他后来撤回了他的言论。美国空军发言人否认了这次模拟的存在。尽管具体细节仍不清楚,但这可以被视为人工智能的无差别使用可能导致意外灾难性后果的一个例子(Tripathi 2024)。
从长远来看,自主武器系统的发展预计将给战争形态和军事战略竞争带来重大变化。虽然它们通过最小化或排除人类干预来实现战斗的自动化和加速,同时降低战斗风险,但判断错误和故障的可能性可能会加剧国家间的紧张关系。特别是在中美战略竞争的背景下,中国正试图通过整合人工智能和新兴技术来获得军事优势,而美国也在追求竞争中的胜利,从而引发军备竞赛,威胁战略稳定。两国之间日益激烈的技术竞争对军事力量平衡产生了重大影响,这些变化也与国际社会的伦理和法律问题息息相关。
六、认知战的出现与演变
1. 认知战的定义
与自主武器系统一样,认知战将是人工智能时代未来战争的一个重要特征。认知战是一种通过改变目标对象的思维方式来改变其行为的战略。其目的是通过敌对的外国行为者武器化舆论,以(1)影响公共政策和政府政策,以及(2)破坏公共机构。认知战是比第一次世界大战后20世纪20年代出现的心理战(PSYOP)和信息战等早期攻击形式更近期的演变。认知战越来越依赖于包括人工智能在内的新通信和信息技术。认知战的一个主要特点是它针对的是整个人口。例如,它不同于针对战争时期军队的早期战术。认知战不仅仅是提供关于特定问题的虚假信息,也不仅仅是改变目标对象的行为,而是侧重于通过改变对方的思维方式来诱导行为的改变。
认知战得益于认知科学和脑科学的发展,正变得越来越复杂。人们还讨论了使用心理操纵技术和神经生理学技术,如经颅直流电刺激(TDCS)的可能性。认知战的目标是破坏公共机构,如政府,但它常常试图通过首先破坏信息和知识相关的机构,如新闻媒体组织和大学来间接实现其目标。重要的是,认知战可以利用社交媒体等新的大众传播渠道,而大众越来越依赖这些渠道(Miller 2023, 46)。
认知战本质上是由无处不在的机器和大数据所驱动的威胁。互联网不仅能够通过个人电脑和智能手机实现全球范围内的快速信息传输,而且随着物联网(IoT)和5G技术的兴起,人类和机器的联系日益紧密。这为进一步的剥削和操纵提供了更多的可能性(Firth et al. 2019, 119-129)。
2. 认知战与信息战、网络战等的区别
认知战呈现出一种模糊战争与和平界限的新型冲突模式。它不是战场上的公开战争,而是旨在影响敌对者或竞争者的认知机制,特别是决策过程的秘密战争。北约将信息战定义为“为获取对对手的信息优势而进行的行动”。信息战侧重于信息本身、信息的操纵、信息的流动、信息的保护或获取方式以及其使用方式。而认知战则被描述为“对我们思考方式、处理信息并将其转化为知识的方式的攻击”。换句话说,认知战是“争夺控制或改变人们对信息的反应方式”。如果说信息战涉及知识构建的过程,那么认知战则影响普通大众的信息,而不局限于战术战场信息(Morelle et al. 2023)。
认知战与网络战争、战前网络冲突、网络恐怖主义、网络犯罪、网络间谍活动以及被称为秘密认知战的秘密行动等形式区分开来。这些不同形式的攻击行为可能导致以下损害。首先,对人类造成身体或心理伤害。这里的心理伤害包括欺骗性或操纵性行为,旨在诱导错误的信念或不当的情感态度,以削弱人类的自主性。其次,对建筑物、信息通信技术硬件和其他人类制品(以及支撑人类生活和自然环境的自然环境)造成的损害。第三,网络损害,如软件和数据损坏。第四,损害特定机构的流程和目标,即制度性损害或破坏。例如,安全机构的机密大量泄露或失去对领土的制度控制。损害特定制度流程和目标可能旨在削弱机构本身,特别是当制度行为者或他们所服务的人们的信念和态度成为目标时。例如,2020年美国大选期间对选举制度信任度的削弱可以被视为一个例子。认知战的主要焦点可以被认为是第一种损害,特别是心理损害,以及第四种损害,即制度损害或破坏(Miller 2023, 46)。
来源:Hung, Tzu-Chieh, and Tzu-Wei Hung. “How China’s Cognitive Warfare Works: A Frontline Perspective of Taiwan’s Anti- Disinformation Wars.” Journal of Global Security Studies 7, 4: 3.
七、认知战的出现与演变
人工智能的引入正在从根本上改变认知战的执行方式。人工智能技术的发展使得在认知领域实现更复杂、更有效的战略成为可能,而这些变化伴随着各种安全问题。人工智能通过其模仿或替代人类认知过程的能力,可以以深刻影响人类思想和行为的方式被利用。这重新定义了认知战的本质,并带来了与传统心理战不同的威胁。
首先,人工智能可以通过深度伪造(deepfake)技术生成极具说服力的虚假内容。这可以表现为图像、视频或音频录音的形式,创造出难以与现实区分的虚假信息。这些深度伪造可以被用来传播虚假信息、操纵舆论,甚至勒索个人。其结果是,这些技术可以被敌对势力有效地用来破坏对手的心理稳定。
其次,人工智能能够快速传播虚假和错误信息。人工智能算法有能力放大特定信息,并通过社交网络广泛传播。这可能导致政治进程扭曲、社会动荡以及对机构信任的侵蚀。特别是,这种信息操纵可以成为一个强大的工具,通过模糊公众的认知和判断来引导舆论朝着敌对势力期望的方向发展。
第三,人工智能系统可以学习并延续数据中固有的偏见。这具有加剧社会不平等和强化对特定群体歧视的潜力。在认知战中,这些有偏见的人工智能系统可以被用来针对特定人群,操纵他们的行为和信念。
第四,人工智能技术可能导致隐私侵犯。面部识别、自然语言处理和数据挖掘等技术能够追踪个人的位置、行为模式甚至思想。这可以被用作通过监视和控制来限制特定个人或群体的认知自由的工具。
第五,人工智能通过提供个性化内容,使得恶意行为者能够轻松地针对特定个人或群体进行心理操纵。这种个性化的方法可能导致极端思想或行为,从而导致社会分裂。
第六,人工智能使得自动化的网络攻击成为可能。例如,人工智能可以生成难以检测的网络钓鱼电子邮件,或提供自动发现和利用软件漏洞的工具。这些自动化攻击可用于在认知战中破坏对手的信息基础设施或造成混乱。
第七,人工智能系统容易受到敌对攻击。攻击者可以通过精心操纵人工智能系统的输入数据来诱导错误的预测或分类。这会损害系统的完整性,并可被用作在认知战中歪曲或隐藏重要信息的手段。
最后,随着人工智能在认知战中发挥关键作用,人类批判性思维能力和自主性可能会下降。过度依赖人工智能会降低个人和组织在人工智能系统失败或不可用时的适应能力,这最终会削弱人类在认知战中的主导地位(Huang et al. 2023)。
八、认知操纵的危害
认知操纵的危害在国内政治中已经充分显现。政治虚假信息和仇恨言论导致社会分裂和极端化。这不仅会削弱个人和群体之间的信任,还会破坏民主进程和社会稳定。虚假信息传播错误事实,歪曲人们的认知,并可能被用于特定的政治目的。虚假信息处理情感敏感话题,引发人们的强烈反应,从而加剧社会冲突。
仇恨言论针对特定群体,攻击他们的身份认同,并破坏社会凝聚力。这会在社会中营造排斥或敌视特定群体的氛围,最终加剧社会分裂(Vasist et al. 2023)。
在国际层面,敌对势力进行的认知战是一种网络空间冲突形式,其中有组织的团体参与持续的计划,利用虚假信息、宣传和操纵性技术来控制在线言论并诋毁政治对手。这包括通过毫无根据的主张破坏对手的声誉,以及通过基于特征的微目标定位弱势群体来削弱政治机构。这可能导致广泛的暴力叛乱和现有政治秩序的崩溃。
人工智能有可能革新认知战的执行方式,从而实现更复杂、更有效的战略。人工智能是计算机科学的一个分支,其重点是开发能够执行通常需要人类智能的任务的智能机器。人工智能在计算机视觉、机器学习、医疗保健、机器人技术、自主系统等各个领域都展现出了惊人的能力。人工智能给认知战带来的变化是显著而广泛的。利用心理战术来操纵情感、传播虚假信息或影响人们的信念和行为,可能会对个人、社会和民主进程产生负面影响(Sârbu and Gavrilaș 2023)。
认知战难以阻止其危害的原因之一是“责任归属问题”。与传统战争中的大多数攻击,或类似的传统侵犯行为或盗窃等犯罪行为不同,在认知战方面,可靠地归属责任存在重大问题。当一个国家针对另一个国家进行认知战时,责任归属问题就出现了,其结果是可疑的否认。由于自由民主国家通常重视言论自由,认知战成为威权国家削弱自由民主国家并避免全面战争的极其有用的战略(Miller 2023, 46)。
九、中国的认知战战略
1. 中国的认知战体系
中国认为,认知战作为一种新的作战形式,已成为继军事力量对抗、火力对抗和信息对抗之后的又一个新型对抗领域。与物理领域和信息领域不同,认知领域作战的目标是思想和意识形态,因此具有与其它作战形式截然不同的内在要求。
认知战认为,占领价值高地是胜利的先决条件。为了在认知战中取得主导权,必须深入研究对手的价值追求,接触对手文化的语言体系,明确了解对手的政治信仰和利益诉求,使认知作战的效能能够触及对手的信仰基础和灵魂核心。同时,必须科学地解释和传播本国优秀的价值观内容和精髓,将对手转化为认同优秀的价值观和人类优秀的文明成果。最终,中国将大脑认知作为主要战场。与以消灭敌方主力为重点的“消耗战”或以摧毁敌方体系为重点的“机动战”相比,认知领域作战以人类大脑为主要战场,以打击、削弱和瓦解敌方战争意志为重点,以恐惧、焦虑、怀疑等人类心理弱点为突破口,依靠软杀伤手段,在敌方内部制造不安、不确定和不信任的氛围,增加内部冲突和消耗,质疑决策,从而实现“不战而胜”的目的。
未来,随着军事人工智能化的快速发展,在人工智能战争中,智能优势是获胜的主导因素,人工智能武器系统将成为主要战斗力,“智力授权”的获取将成为战争中新的制高点。通过利用认知装备,可以阻止敌方获取有效信息,迫使敌方使用错误信息,延迟认知速度,引导认知方式,阻断认知输出,从而扰乱敌方指挥决策,瓦解军队士气,达到“心理攻击”的效果。
中国重视舆论战,认为控制、操纵和利用各种舆论工具向对手施压并赢得公众认知至关重要,必须利用社交网络和融合媒体技术突破对手的封锁和限制,直接触达目标群体。
未来,认知科学作为新兴研究领域,是探索人脑或心智运作机制的前沿学科,脑机接口技术实现了认知层面的“人机结合”,对外可实现意识控制,即脑控,对内可实现自主性增强,即强脑,从而能够通过意识和思维直接控制复杂的武器系统。目前,基于大数据下的多模态情感识别、触发、保护等相关技术手段已取得重大突破,通过收集人的表情、动作、语言及语调、脑电波、多种生理指标等,构建情感关联,从而识别人的情感和意图,为执行认知控制战提供了新的手段。因此,主张将新的认知技术手段与传统的认知技术手段相结合,形成“临界注入”与“亚临界渗透”相结合的方式,进一步增强认知影响的隐蔽性和有效性(Zhang et al. 2022)。
此外,中国军事科学院(Academy of Military Science: AMS)出版了题为“把握认知领域作战脉络”的著作,该著作分析了在认知领域取得成功的八个作战特性。这项工作提供了关于技术、信息优势以及军事和民用组成部分如何在争夺认知领域主导地位的战斗中发挥作用的见解。这是了解中国人民解放军战略思维的一个窗口(Baughman 2023; Jamestown Foundation 2022)。
中国认为的认知战的八个要素如下。第一,重要的是将军事优势转化为政治胜利。认知领域的目标是超越单纯的军事胜利,最终实现政治成果。第二,有必要改变敌人的认知,以控制他们的决定和行为。通过这种方式,诱导敌人误判形势并做出错误的决定。第三,整个政府必须参与攻击和防御。认知战是全方位的,全时段的,所有政府部门必须协调一致才能发挥作用。第四,必须掌握“三种权力”。掌握事件定义权、过程主导权和结果判断权,主导公众认知至关重要。第五,必须争夺道德和法律优势以赢得公众支持。这可以削弱对手的道德和法律合法性。第六,信息必须被用作“弹药”。通过社交媒体等平台快速传递信息,压制对手的叙事,传播自己的故事。第七,军事行动和认知叙事必须并行,以确保战争的胜利。除了军事胜利,认知叙事在决定战争结果方面也起着重要作用。最后,认知战的工具必须直接用于战争。目标是利用人工智能和生物技术等新技术直接影响敌人的认知,并实现预期的结果。
2. 中国对台湾的认知战现状
关于中国对台湾的认知战,有讨论认为它可能以四种方式进行。第一,通过军事威胁对台湾的统一问题施加心理压力。中国预告将对追求台湾独立的举动进行强有力的军事回应,试图以此抑制台湾人民的独立支持意愿。这种军事威胁向台湾人民灌输“独立即战争”的观念,事实上,许多台湾人也认为这种威胁是现实的。例如,到2020年底,61.8%的台湾民众相信,如果台湾宣布独立,中国将发动攻击。
第二,通过两岸交流扩大影响力。中国向台湾居民提供经济和文化社会利益,以提高他们对中国的依赖性,并在此基础上寻求更大的控制。例如,中国为台湾青年提供奖学金和就业机会,试图引导他们融入中国的体系。这些活动被用作传播对中国积极认知的手段,并扩大中国的影响力。
第三,宗教干预。中国试图利用在台湾流行的妈祖信仰来加强与台湾的文化和政治联系。中国鼓励通过妈祖文化促进两岸文化交流,试图借此向台湾灌输台湾与中国拥有共同文化根源的观念。这种宗教干预有助于加强台湾民众对中国的感情联系。
第四,通过互联网传播虚假信息和运营内容农场。中国在台湾经营内容农场以传播虚假信息,试图通过此操纵台湾民众的舆论。这些虚假信息被用来制造关于台湾特定政治局势的混乱,并削弱台湾政府的信誉。例如,在2018年台湾地方选举中,中国通过传播虚假信息严重损害了台湾民进党政府的信誉。
中国实施认知战的原则是通过重复刺激来干扰对手的认知体系。这类似于商业广告技巧,通过重复曝光来削弱对手的心理抵抗,并逐步引导其朝着期望的方向行动。中国通过传统媒体、在线媒体和线下网络重复传递相同的信息,试图对台湾民众的认知空间产生长期影响。
在台湾的案例中,中国的认知战主要目标是抑制台湾民众的独立支持意愿,并传播对与中国统一的积极认知。然而,这些尝试并非总是成功的。例如,中国的正面宣传在台湾并未取得成功,反而台湾民众对中国经济繁荣的信心正在丧失。另一方面,中国的负面宣传在台湾发挥了更大的作用,这削弱了台湾民众对政府的信任。
中国的认知战是长期且巧妙发展的。未来,很可能通过利用人工智能技术进行精确的信息传递,这将通过针对特定个人或群体的定制信息操纵来实现更有效的认知战。在这种背景下,台湾为应对认知战,通过社会结构改革和认知干预来最小化中国的影响至关重要。为此,需要加强透明度,维持公平竞争,并建立防御体系。
最终,中国的认知战是一种旨在通过对台湾施加政治和心理压力来实现统一的战略活动。台湾需要通过社会结构改革和加强民众的认知应对能力来应对(Hung and Hung 2020)。
3. 美国对中国认知战的看法
美国认为中国正在对其进行持续的认知战,并批评了以下案例。第一,对TikTok的担忧。美国政府担心TikTok可能被用作中国的认知战工具。美国国内有要求,如果TikTok的中国所有者不出售其股份,就禁止TikTok,理由是国家安全担忧。
第二,社交媒体行动。美国指责中国通过大规模社交媒体行动进行认知战。这包括在Facebook、Instagram、TikTok、X和Substack等平台上创建虚假账户传播虚假信息。
第三,干预台湾选举。美国批评中国试图通过认知战战术影响台湾选举。这包括在社交媒体上散布虚假图像和进行军事演习以操纵舆论的企图。
第四,对数据收集的担忧。人们担心中国正在大量收集美国公民的个人和生物识别数据,这些数据可能被用于认知战目的。
第五,军事研究。美国政府已将研究“脑控武器”和其他认知战技术的中国研究机构和公司列入黑名单。
第六,存在宣传和虚假信息。美国指责中国通过广泛的宣传和虚假信息活动来颠覆美国和西方国家。
第七,存在意识形态影响。一些美国专家认为,中国试图将其意识形态概念和术语传播到西方话语中,这是认知战的一部分。
这些指控和批评是由美国官员和专家提出的,但中国经常否认这些说法或提出替代叙事。由于认知战活动的隐秘性,其全部范围和性质可能难以明确证明。
X. 未来围绕认知战的国家竞争
随着人工智能和神经技术等新兴技术成为认知战的关键推动者,各国可能会感到有必要将这些双重用途技术军事化。这反过来又可能加速该领域的技术军备竞赛。军备竞赛的动态可能会导致忽视这些技术开发和使用中的伦理、法律和规范限制。由于担心落后,各国可能会放弃严格的监管,以利用国家安全领域中最具破坏性的能力。这最终可能导致思维军事化的常态化,并出现不受约束的认知领域不负责任行为的情况。这种动态可能会阻碍关于思想隐私、操纵、影响、自主决定和完整性的规范的形成。随着这些技术成为颠覆的主要推动者和国家安全的关键工具,已经出现的超级大国之间的技术分离趋势可能会进一步加速。
认知战也可能对攻防平衡产生总体影响。攻击-防御平衡理论的支持者认为,国际稳定取决于我们是生活在一个攻击占优势的环境中,还是防御占优势的环境中,前者会加剧不稳定和冲突,而后者则促进稳定与和平。他们还认为,影响这种平衡的关键变量是技术,技术可以使平衡倾向于任何一方。从这个角度来看,进行有效认知战的能力可能会增加升级的压力,并偏向于这些能力的主动使用。事实上,认知攻击何时发生以及如何防御它们,都存在固有的检测困难。遭受认知攻击的可能性可能会激励“先发制人”的动机来发动认知战。
在战争中使用代理人,特别是技术代理人,其主要激励因素是“可信否认”。在认知战的情况下,执行这些活动所使用的工具的模糊和不受监管的性质,以及它们的有效性,可能会促进这种可信否认,并进一步鼓励“先发制人”的行动。此外,随着认知战技术的民主化和扩散,其影响大量人口的能力将变得可供非国家行为者、公司甚至个人使用,这将使认知战更加不稳定(Rickli et al. 2023)。
XI. 应对认知战的对策
在2024年的慕尼黑安全会议上,关于认知战的讨论成为一个重要议题。认知战是指敌对势力试图操纵或控制对手的认知、行为和决策的现代复杂战术。这些讨论反映了现代战争正日益从物理战斗转向信息战和心理战。
应对认知战的讨论主要集中在认识到其构成的威胁并制定应对策略。讨论中的关键要素包括提高公民意识、加强对认知战及其相关技术的监管,以及利用新技术来增强民主韧性。
首先,提高对认知战的认识和理解至关重要。由于认知战的概念尚未明确定义,因此学术界、产业界和国防部门必须合作来具体定义它并理解其机制。此外,培养公民批判性评估信息环境并抵制虚假信息或操纵内容的能力也至关重要。
其次,有必要制定针对认知战及其相关技术的监管框架。除了提高对认知战威胁的认识外,政策制定者还需要建立一个全面的监管体系来应对这些威胁。这需要对认知战的各种形式和战术进行清晰的定义,并讨论当前的国际法如何适用于认知领域。此外,如果现有的法律框架不适用,则需要制定新的法律框架来确定认知战活动的责任和问责制。
第三,有必要利用新技术的力量来加强社会和民主韧性。为了有效抵御认知战的威胁,必须解决内部脆弱性,并利用新技术来加强民主进程。例如,复杂的AI系统可以通过广泛的民意分析来促进有效的民主参与和合作,而虚拟现实(VR)技术可以用于训练无意识的偏见。通过适当利用这些技术,可以加强社会韧性并提高对认知战的防御能力。
第四,需要加强国际合作。由于认知战跨越国界,没有国际社会的合作,就很难有效应对。国家之间必须共享信息并进行合作,以制定应对认知战的共同策略。特别是,北约等国际组织可以在制定应对认知战的战略和促进成员国之间的合作方面发挥重要作用。
第五,确立和遵守道德标准至关重要。在应对认知战的过程中忽视道德标准,可能会使应对措施本身被视为另一种形式的认知战。因此,必须提高信息行动的透明度,并以尊重个人隐私和人权的方式进行应对。这对于长期维持社会对认知战的信任至关重要(Pujol et al. 2024; Ibrahim et al. 2023)。
总之,未来利用人工智能进行的认知战将在大国之间,特别是中美之间,的战略竞争中发挥至关重要的作用,并可能导致各种灾难性后果。它可能通过操纵舆论、干预选举和传播虚假信息来造成社会不稳定和政治混乱。为了最大限度地减少这些风险,需要国际合作和监管,并加强人工智能技术安全开发和使用的道德标准和安全措施。然而,在国际层面达成共识仍有许多障碍,只要存在政治效用,围绕认知战的争论将持续相当长一段时间。 ■
参考文献
柳俊九. 2019a. “关于自主杀伤性武器系统的讨论趋势与焦点问题。”《IFANS政策研究系列》2019-18. 12月。
____. 2019b. “自主杀伤性武器(LAWS)系统规范创建讨论的焦点问题与启示。”《IFANS主要国际问题分析》2019-54. 12月19日。
Autonomous Weapons. 2024. “The Risks of Autonomous Weapons.” Autonomous Weapons, https://autonomousweapons.org/the-risks/.
Bajak, Frank. 2023. “Pentagon’s AI Initiatives Accelerate Hard Decisions on Lethal Autonomous Weapons.” Associated Press. 11月 26日. https://apnews.com/...2.
Britt Baughman, Josh. 2023. “How China Wins the Cognitive Domain.” China Aerospace Studies Institute. 1月 23日. https://www.airuniversity.af.edu/...domain/.
Beauchamp-Mustafaga, Nathan. 2019. "Cognitive Domain Operations: The PLA's New Holistic Concept for Influence Operations." China Brief 19: 16. https://jamestown.org/....ain
Cameron, Hugh. 2024. “China’s Killer Robots Are Coming.” Newsweek.. 6月 26日. https://www.newsweek.com/...9.
Dresp-Langley, Birgitta. 2023. “The Weaponization of Artificial Intelligence: What the Public Needs to Be Aware Of.” Frontiers in Artificial Intelligence 6. https://doi.org/10.3389/frai.2023.1154184.
Firth, Joseph, John Torous, Brendon Stubbs, Ivan P. Ipser, P. Murali Doraiswamy, and Felipe Schuch. 2019. "The 'Online Brain': How the Internet May Be Changing Our Cognition." World Psychiatry 18, 2: 119–129.
Hale, Amber. 2023. “Clausewitzian Theory of War in The Age of Cognitive Warfare.” The Defence Horizon Journal. https://tdhj.org/...warfare/.
Huang, Ruiyang, Xiaoqing Zheng, Yuting Shang, and Xiangyang Xue. 2023. "On Challenges of AI to Cognitive Security and Safety." Security and Safety 2. https://doi.org/10.1051/sands/2023012.
Hung, Tzu-Chieh, and Tzu-Wei Hung. 2020. "How China’s Cognitive Warfare Works: A Frontline Perspective of Taiwan’s Anti-Disinformation Wars." Journal of Global Security Studies 7, 4: 1–18.
Human Rights Watch. 2023. “A Review of the 2023 US Policy on Autonomy in Weapons systerns.” Human Rights Watch. 2月 14日. https://www.hrw.org/...systerns.
Ibrahim, Fabio, Steffen Rhode, and Monika Daseking. 2023. "A systernatic Review of Cognitive and Psychological Warfare." The Defence Horizon Journal, 12月1日. https://tdhj.org/...warfare.
Johnson, James. 2023. AI and the Bomb: Nuclear Strategy and Risk in the Digital Age. Oxford: Oxford University Press.
Kallenborn, Zachary. 2021. “Meet the Future Weapon of Mass Destruction, the Drone Swarm.” Bulletin of the Atomic Scientists. 4月5日. https://thebulletin.org/...swarm/.
Lamberth, Catherine A. 2023. “Decoding the Defense Department’s Updated Directive on Autonomous Weapons.” Lawfare. 8月17日. https://www.lawfaremedia.org/...weapons.
Linney, Charlie, and Xiaomin Tang. 2024. “AI and Autonomous Weapons systerns: The Time for Action Is Now.” Saferworld. 5月15日. https://www.saferworld.org.uk/...now.
Miller, Seumas. 2023. "Cognitive Warfare: An Ethical Analysis." Ethics and Information Technology 25: 46. https://doi.org/10.1007/s10676-023-09717-7.
Morelle, Marie, Julien Cegarra, Damien Marion, and Jean-Marc André. 2023. "Towards a Definition of Cognitive Warfare." Paper presented at the Conference on Artificial Intelligence for Defense, DGA Maîtrise de l’Information. https://hal.science/...1.
Pujol Chica, Irene, and Quynh Dinh Da Xuan. 2024. "The Battle for the Mind: Understanding and Addressing Cognitive Warfare and Its Enabling Technologies." IE Center for the Governance of Change. https://coilink.org/20.500.12592/zs7hb9h.
Rickli, Jean-Marc, Federico Mantellassi, and Gwyn Glasser. 2023. Peace of Mind: Cognitive Warfare and the Governance of Subversion in the 21st Century. GCSP Policy Brief No. 9, Geneva Centre for Security Policy. https://www.gcsp.ch/...century.
Sârbu, Annamaria, and Anca Gavrilaș. 2023. "Using Artificial Intelligence Tools for Obtaining Cognitive Warfare Advantages." The Defence Horizon Journal. 10月23日. https://tdhj.org/...twitter/.
Tripathi, Prateek. 2024. “When AI Crosses the Line: The Impending Threat of Autonomous Weapons systerns.” Observer Research Foundation. 5月6日. https://www.orfonline.org/...systerns.
U.S. Department of Defense. 2023. “Deputy Secretary of Defense Kathleen Hicks Keynote Address: ‘The Urgency to Innovate’ (As Delivered).” 8月28日. https://www.defense.gov/...innov/.
Vasist, Pramukh Nanjundaswamy, Debashis Chatterjee, and Satish Krishnan. 2023. "The Polarizing Impact of Political Disinformation and Hate Speech: A Cross-country Configural Narrative." Information systerns Frontiers, 1–26.
Zhang, Guangshen, Yongli Li, Haoxian Wang. 2022. “A Brief Analysis of the Basics of Cognitive Domain Operations [浅析认知域作战的基本要义].” PLA Daily. 9月8日. http://www.81.cn/...323692.htm.
[1]对导言中提出的内容进行了缩写和补充。
■ 全在成_EAI国家安全研究中心所长。首尔大学政治外交学系教授。
■ 负责与编辑:朴智秀, EAI研究员
咨询与编辑:02 2277 1683 (ext. 208) | jspark@eai.or.kr
*本文为使用 AI 从韩语原文翻译而来,部分译文或语感可能存在偏差。