【深度评论】深度搜索引发的AI战争2.0时代:我们的应对策略
编者按
东亚研究所(EAI)于2月20日(周四)举办了题为“深度搜索冲击:中美AI竞争与韩国的应对战略”的研讨会,旨在讨论尽管美国实施了强有力的技术管制,中国仍成功开发出类似ChatGPT的深度搜索(DeepSeek)所带来的启示。Naver Cloud AI Innovation Center的负责人河正宇(Ha Jeong-woo)解释了中国能够以较低成本开发出高性能模型的专家混合(Mixture-of-Experts: MoE)方法,并预测随着人工智能(AI)霸权竞争的加剧,安全性讨论将退居次位,进入无限竞争的局面。
YouTube 链接 : https://www.youtube.com/watch?v=XEw7Yypb9uY
视频脚本
您好。我是Naver Cloud的Seongwoo。我认为,除了Deepseek技术内容之外,人工智能已经成为我们这个时代的重要议题。从去年开始,我们看到了这方面的急剧变化,我想就此进行阐述。我与首尔大学的Kim Sang-bae教授等人进行了深入交流。在讨论人工智能对国际关系的影响时,我想分享我的想法。在正式开始之前,我们必须指出人工智能技术正在经历一场重大的范式转变。我想在座的各位教授和专家可能都在使用像GPT这样的生成式AI。特别是像GPT-4或Anthropic Claude 3.5 Sonnet、Claude 2.0这样的模型,它们会进行大量的记忆式学习。模型参数的数量,也就是模型的大小,被极大地
扩大,可以理解为超过10万亿个token,即单词的数量。它们通过大量记忆互联网上的数据,以遮盖和预测单词的形式进行海量学习。这被称为预训练,然后通过专家创建的数据进行指令微调,就变成了大家正在使用的GPT等模型。它们以知识为基础,非常理解语言,也很好地理解上下文,并具备基本的推理能力。我们将此定义为第一代知识型AI。
第二代思考型AI的出现
在韩国,有Naver的HyperCLOVA X,以及LG AI研究院发布的Exaone系列。然而,随着去年9月Exaone的发布,我们进入了一个新的阶段、新的时代,我称之为第二代。我将其称为思考型AI,而非知识型AI。之所以命名为‘思考型’,是因为它超越了擅长写作和拥有丰富知识的水平,能够进行逻辑思考。它能够独立解决逻辑问题
通过第一代模型中记录的“思维链”(Chain of Thought)的长逻辑流程数据和强化学习,需要大量的GPU。通过这样的学习,就能产生具有出色思考能力的“思考型AI”。第一个思考型AI是OpenAI的GPT-4,最近也发布了GPT-4o。Deepseek V3通过相同的方法,使用V3来制造R1并公开发布。因此,目前只有美国和中国拥有第二代人工智能技术。中国也才刚刚开始。让我简单介绍一下Deepseek公司,这是一家名为Highflyer的中国对冲基金、量化公司。他们赚了很多钱。很有钱。
他们拥有大量的GPU。早在2020年,他们就拥有超过1万张A100,据多方证词称,如果将H100、H800、A100、H20等加起来,他们拥有的GPU数量约为5万至6万张。因此,美国政府介入调查Nvidia,询问“这些出口管制真的到位了吗?”。Deepseek不是突然出现的。去年1月,V1首次发布,之后在5月发布了V2,12月发布了V3,技术进步的速度非常惊人。Deepseek V3拥有强大的知识型AI,通过前面提到的强化学习和长逻辑流程数据(COT数据),发布了Deepseek R1。
中国AI技术发展与Deepseek
之后,他们通过聊天机器人服务,如ChatGPT的Android和iOS应用程序,在全球范围内推广,并在美国应用商店市场占据了榜首。有人称之为工程学的胜利,但实际上,需要大量的GPU,以及100到200名顶尖的AI工程师,他们也提出各种新方法。在过去的一年里,他们确实创造了许多可以改进现有方法的算法,当然,这些改进并非凭空出现,而是在巨人的肩膀上进行的。这些算法构成了可以显著降低整体成本的技术。就V1而言,可以说V1发布时给人的感觉是:又出现了一个中国的开源AI公司,仅此而已。当时,它与阿里巴巴云的Qwen模型相比毫无优势。然而,从V2模型开始,出现了一些创新性的东西。
Deepseek V3的核心技术是“多头架构”(Multihead Architecture),与其他Transformer模型不同,简单来说,当输入一个查询时,它不是使用整个模型,而是根据查询内容,调用特定领域的专家部分,只用这部分进行计算。例如,在V2中,总参数量为260亿,当接收到法律相关的查询时,只使用与法律相关的部分参数,即210亿个参数进行计算。通过这种方式进行训练,与拥有相同260亿参数的单一模型相比,训练成本大大降低。然而,运营成本却会增加。这是因为每次实际输入时,都只用210亿参数进行计算,与只使用210亿参数的模型相比,运营成本可能高出六倍以上。因为无论如何,模型必须在硬件上运行,在内存中加载。因此,为了降低运营成本,采用了各种优化工程技术。V3的基本结构没有太大变化,模型规模扩大了约三倍。同样采用了“混合专家”(Mixture of Experts)模型。此外,训练过程中还引入了一些新的技术,训练数据量也增加到15万亿token。然而,全世界对Deepseek V3感到震惊的是表1。它就来源于这里。
80亿元人民币即可实现。虽然这似乎是故意的,但有点误导。请看表格。名为“训练成本”(Training Cost),分为“预训练”(Pre-training)、“上下文扩展”(Context Extension)和“后训练”(Post-training)。可以理解为各个训练阶段。表格中列出了使用H800 GPU的时间。总共使用了约278.8万小时的GPU。可以设想,使用了将248个H800 GPU连接起来的超级计算机。在这种情况下,使用了278.8万小时,而H800在云端每小时租用成本为2美元。这是将成功训练过程中使用的GPU成本换算为GPU时间成本,而不是开发成本。
Deepseek V3与MoE架构
一次性成功是不可能的,寻找成功秘诀的过程中经历了无数次的试错、人力成本、数据构建成本都没有包含在内。甚至论文中也有提及。因此,考虑到GPU等所有因素,可以预测投资成本可能在几百亿到1-2万亿韩元之间。此外,他们利用V3制造了R1模型,该模型擅长推理。无论是制造V3模型还是R1模型,看起来都像是从OpenAI模型中提取数据并利用其知识进行学习。他们声称并非如此,但有一些证据表明这一点。我不知道我是否在后面的幻灯片中包含了这些证据,但我们来看看。
例如,输入内容,然后输入一些奇怪的指令,它会回答“您要求的政策违反OpenAI的隐私政策”。这当然意味着他们复制了数据。总之,这项技术之所以令人震惊,是因为它是在中国而非美国或中国之外的国家开发的。而且,许多AI公司,包括我们自己,都很好奇OpenAI的GPT-4是如何开发出如此擅长推理的AI的。虽然我们有所猜测,但没有实验是无法准确实现的。但每次新的尝试都会产生巨额成本,这让人望而却步。而现在,他们公开了技术报告,说明只需要“SFT-GPT”等,其他都不需要等等。他们公开了全部细节的80%。
全球无数公司,美国、中国以外的法国、韩国、日本等等,都可以效仿。这就是它产生了巨大影响的原因。另外,成本大幅降低的原因是,在开发OpenAI GPT-4时,不得不雇佣人类专家来创建那些长篇的COT数据。这需要花费大量时间和金钱。然而,中国公司可以通过使用R1来生成数据,从而大大降低成本。考虑到这些因素,相对较低的成本,而不是像美国那样天文数字般的投资,我们也能承受的投资水平,就能开发出最高性能的推理AI。而且,不仅仅是Deepseek。
技术公开与成本节约效应
具有类似能力的MiniMax、Moonshot、Deepal、Alibaba Cloud以及许多其他公司也开始推出几乎同等水平的AI。不仅在中国,在美国也开始出现高价产品。OpenAI的GPT-4不再是独占的了。现在进入了时间竞赛的阶段。第二代模型。因此,总结一下,这些信息真的准确吗?事实上,考虑到很多因素,80亿元人民币的开发成本是一个误解,难道任何人只要有80亿元人民币就能做到吗?并非如此。
只有拥有足够的第一代知识型AI能力的企业和国家才能做到。这样的国家大约有10个。那么,这些国家都会涌入吗?真的要以如此低廉的性价比来尝试吗?事实上,这个价格并非如此便宜。因为如果与美国提供的同款模型价格相比,几乎贵了一倍。有廉价的原因。虽然他们可能拥有自己的优化技术,但很可能以低于成本价的价格提供,出于其他目的。这些目的可能是通过向全球推广开源AI来掌控开源AI生态系统的霸权,以及人工智能写作能力,特别是擅长推理的人工智能,将基于其内在价值观输出内容,没有比这更好的方法来宣传世界秩序了。
AI竞争加剧与中国战略
人们自然会提问和回答,内容自然会传播出去。他们当然会判断,通过将这些开源,向全球施加影响,并奠定生态系统的基础。同时,人们使用时,数据会不断积累。数据保存在Deepseek内部。而Deepseek存储的数据可以被中国政府使用。考虑到这些因素。GPU内存的增长将远超预期。未来,将有更多的国家为了制造第二代AI而购买昂贵的设备。为了将具有出色推理能力的AI知识转移到更小的模型中,并将其具象化为AI代理,即所谓的帮助人们工作的AI代理,这是显而易见的。
它将深入汽车、机器人、智能手机、眼镜、家电等各个领域。因此,内存和AI半导体的需求将非常大,市场也将非常广阔。从这个角度来看,这无疑对我们韩国也有益。最近,拜登总统、副总统曾说过。AI半导体只能在美国制造。考虑到那个市场以及在供应链管理方面的霸权。个人信息方面,这是众所周知的,并且符合现状。决定AI特征的是它所学习的数据。在美国制造的AI可以在全球使用,但它代表美国的立场。因为它是用在美国制造的文件进行训练的。在中国制造的AI可以在全球使用,但它代表中国的立场。全球竞争将日趋激烈。稳定性相对较差。与Meta的Llama、闭源AI的ChatGPT或Anthropic的Claude相比,在许多方面都存在一些弱点。
根据思科最近的外部攻击成功率报告,他们似乎并未充分关注这些脆弱环节。在GPT发布之前,在Deepseek R1发布之前,拜登政府在特朗普政府时期发布了相关政策。AI GPU,特别是以GPU为中心的AI半导体出口管制,将分为不同等级。在韩国、东亚地区,包括韩国、日本、台湾以及欧洲部分国家,只有5G国家不受GPU出口管制。黄色区域将实施配额制,红色区域为出口禁令。有趣的是,这些措施也适用于AI模型的使用。也就是说,黄色区域的国家将无法随意使用GPT-4或GPT-4o等模型。因为存在数据泄露的风险。尽管采取了这些措施,但政府换届了。并且下达了行政命令,要求在180天内制定更严格的措施,并取消了这些措施。
AI技术霸权竞争与各国立场
与此同时,一位共和党议员提出的法案令人震惊。‘从敌国下载AI模型并在公共领域使用,将处以20年监禁’。虽然这是一项不寻常的法案,但它反映了某种哲学或方向。现在,这已经超越了保护主义,进入了冷战水平。这是由于人工智能技术的竞争。此外,在美国2月10日于巴黎举行的AI峰会上,该峰会实际上是为了讨论安全性,美国批评道:“你们因为监管而无法发展”。美国和英国通常会在峰会结束后发表宣言,但他们没有签字退出。虽然预料到特朗普上台后美国会这样做,但英国作为AI安全秩序的领导者,竟然退出了。他们似乎认为“我们也需要找到自己的出路”。
这已经变成了劳动。在AI方面,我们致力于加强人工智能能力,投资基础设施,甚至创建专门的“主权AI”组织。欧盟也宣布投资300万亿韩元。并宣布将投资30万亿韩元用于计算基础设施和联合AI研发。虽然美国是“千兆国家”,可以理解,但与我们处于相似水平的中国、法国、日本、台湾、加拿大等国家也是如此。都在全力冲刺。监管、安全,先放在一边。如果在这个领域被甩下,就完了。他们之所以这样想,是因为过去美国独自领跑,其他国家跟随,但现在中国做得和美国一样好,让他们觉得“我们也能做到,需要做得更多”。欧盟也制定了AI库和数据隐私法规。他们意识到这些法规可能会阻碍自身发展。
AI监管与各国投资竞争
的。与此同时,共和党议员提出了一项令人匪夷所思的法案:“下载敌国的人工智能模型并在公共领域使用,将被判处20年监禁”。尽管这项法案荒谬绝伦,但它似乎反映了一种哲学或方向。我认为,由于人工智能技术的竞争,保护主义已经超越了贸易保护主义,进入了冷战的水平。在此背景下,美国于2月10日在巴黎举行的AI峰会——一个本应讨论安全性的会议——上,强烈批评了“你们的监管阻碍了发展”。美国和英国通常会在峰会结束后发表一份联合声明,但这次他们拒绝签署并退出了。虽然特朗普上台后美国会这样做可以预料,但英国一直是人工智能安全秩序的领导者,却也选择退出。我认为,他们似乎开始考虑“我们也要找到自己的出路”。这已经转化为劳动。就人工智能而言,我们一直在努力加强人工智能能力,并投资于基础设施
从我们的角度来看,当然需要大力投资基础设施,并通过充分的基础设施投资来培养具有竞争力的国家级AI企业。最近,代理总统也宣布了相关项目。国家AI委员会认为,需要各种政策来确保人工智能能够很好地融入各个行业。我认为,在中美竞争的背景下,其他中东、东南亚、南美国家也希望提高人工智能竞争力。然而,他们可能会担心技术上的不足,以及缺乏本国语言数据。韩国拥有丰富的数据积累和获取经验,并有以韩语为中心的AI开发经验。此外,还拥有相关的AI半导体、数据中心建设及产业培育经验。因此,如果通过建立同盟来获得技术领导力,即使国力较弱,我们也能联手与中美竞争。
加强韩国AI竞争力与同盟战略
从我们的角度来看,理应大力投资基础设施,并通过充分的基础设施投资来培养具有竞争力的国家代表性AI企业。最近,代理总统也宣布了旨在实现这一目标的计划。国家AI委员会认为,需要制定多项政策,以确保人工智能能够很好地融入各产业。在中美竞争的背景下,中东、东南亚、南美等国也希望提升人工智能竞争力。然而,它们可能对技术差距、本国语言数据不足等问题感到担忧。韩国在数据积累和获取方面拥有丰富的经验,并且有以韩语为中心开发人工智能的经验。此外,韩国在相关AI半导体、数据中心建设及产业培育方面也积累了经验。因此,如果通过构建同盟来确保技术领导力,即使国力相对较弱,我们也能携手与中美竞争,我认为这是值得尝试的。
这些国家不与中美合作的原因是担心被其支配。然而,我们认为,可以通过伙伴关系而不是支配,充分建立联盟。
*本文为使用 AI 从韩语原文翻译而来,部分译文或语感可能存在偏差。