Дебаты об аналогии между ядерным оружием и ИИ и расширение дискурса об управлении безопасностью в сфере ИИ

Резюме

Дебаты, вызванные сравнением генеральным директором компании Anthropic Дарио Амодеи передовых моделей ИИ с ядерными материалами, пригодными для создания оружия, активизировали дискурс об управлении безопасностью в сфере ИИ, совпав с обсуждениями на 81-й сессии Генеральной Ассамблеи и в Совете Безопасности ООН. В то время как Секретариат ООН в лице Генерального секретаря Гутерриша официально принял аналогию «ядерное оружие — ИИ» в качестве политического языка, чиновники рабочего уровня, такие как Амандип Сингх Гилл, и политические круги США, включая журнал *Foreign Affairs*, возражают, что применение логики режима ядерного нераспространения к ИИ, который не поддается физической верификации, несет высокий риск разработки ошибочной политики. Эта аналогия тесно связана со структурой стимулов для компаний, разрабатывающих передовые модели ИИ и стремящихся обеспечить себе лидерство в саморегулировании отрасли, а также может стать новым риторическим фронтом в технологическом соперничестве между США и Китаем. Дальнейшее развитие событий может пойти по нескольким путям: один, где критика аналогии будет определять разработку политики; другой, где будут сосуществовать конкуренция дискурсов и нормативный вакуум; или третий, где основанные на страхе рамки приведут к преждевременному регулированию и гонке вооружений. Наиболее вероятным сценарием является дальнейшее сосуществование этих динамик. Южной Корее требуется двухтрековая стратегия, которая разделяет и одновременно реализует внутреннее институциональное развитие и участие в многосторонних дискуссиях, вместо того чтобы поспешно присоединяться к какому-либо одному нарративу.

I. Анализ проблемы

Дебаты об аналогии между ядерным оружием и ИИ и расширение дискурса об управлении безопасностью в сфере ИИ: Анализ проблемы

1. Предыстория и развитие событий

Отправной точкой стала публикация в блоге генерального директора Anthropic Дарио Амодеи от 12 сентября 2026 года под названием «Нам нужно замедлить разработку передовых технологий» [9]. Амодеи предупредил, что рои автономных агентов ИИ могут захватить весь интернет через ботнеты в течение 6-12 месяцев [9]. Он давно сделал книгу «Создание атомной бомбы» обязательной для чтения для своих сотрудников и сравнивал себя с ученым Манхэттенского проекта Лео Силардом [1]. В своей публикации он определил самые мощные модели ИИ как «ядерный материал, пригодный для создания оружия» [1].

Это заявление немедленно распространилось по всей отрасли. Сэм Альтман из OpenAI объявил, что он также обязуется проводить сторонние оценки, подобно Anthropic, а Илон Маск ответил: «Дарио прав» [14]. Риторика, сравнивающая ИИ с ядерным оружием, не нова в Соединенных Штатах. Маск ранее заявлял, что ИИ «гораздо опаснее ядерного оружия», а Альтман часто приводил Международное агентство по атомной энергии (МАГАТЭ) в качестве модели для регулирования ИИ [1]. В этом контексте предупреждение Амодеи было воспринято не столько как новый дискурс, сколько как событие, усилившее уже существующую рамку.

Однако контраргументы против самой аналогии быстро возникли в политических кругах США. Журнал *Foreign Affairs* указал, что аналогия между ядерным оружием и ИИ может ввести в заблуждение при разработке политики [1]. В то время как для ядерного оружия существуют четкие меры верификации, такие как физический контроль, учет ядерных материалов и инспекции объектов, модели ИИ развертываются распределенным образом и копируются в виде кода, что затрудняет применение той же логики контроля [1][3]. Амандип Сингх Гилл, занимавшийся вопросами управления ИИ в структурах, связанных с ООН, также отметил, что, хотя аналогии полезны для создания ментальных шаблонов в международных отношениях, они могут препятствовать более глубокому пониманию истинной природы ситуации. Он провел четкую грань, заявив, что ИИ не сравним с ядерным оружием, которое можно физически контролировать и материально учитывать [12].

2. Текущая ситуация

Дебаты обострились как раз в момент открытия 81-й сессии Генеральной Ассамблеи ООН. На ассамблее, начавшейся 22 сентября, вопрос безопасности ИИ рассматривался как один из ключевых пунктов повестки дня наряду с войнами в Украине и на Ближнем Востоке [17]. 23 сентября Совет Безопасности под председательством Франции провел заседание для обсуждения рисков потери контроля над ИИ и его влияния на международный мир и безопасность [4]. Франция пояснила, что целью заседания был анализ странами-участницами потенциала злоупотребления новейшими моделями ИИ для создания угроз международной безопасности [4].

В своем заключительном обращении к Генеральной Ассамблее за свой десятилетний срок Генеральный секретарь ООН Антониу Гутерриш символически задал направление этим дебатам. Предупредив о риске раскола мира на блоки на фоне краха мультилатерализма, он призвал правительства выполнить свою обязанность по регулированию ИИ подобно ядерному оружию [15]. Это ознаменовало официальное принятие аналогии «ядерное оружие — ИИ» в качестве политического языка на высшем уровне Секретариата ООН, что прямо противоречит вышеупомянутой критике этой аналогии.

В кулуарах той же Генеральной Ассамблеи 22 страны, включая европейские государства, приняли декларацию, в которой говорится, что ИИ «должен оставаться под человеческим командованием, надзором и контролем». В декларации предлагалось создать глобальный надзорный орган и уточнялось, что быстрое развитие передовых моделей ИИ может представлять серьезные риски для безопасности [10]. Время принятия этой декларации, непосредственно перед саммитом между президентом Трампом и председателем Си Цзиньпином, говорит о том, что она также служила формой давления как на США, так и на Китай [10].

Обсуждения также проходили и в военной сфере. 9-10 сентября Стокгольмский международный институт исследований проблем мира (СИПРИ) провел закрытый диалог с представителями министерств обороны и иностранных дел, Международного комитета Красного Креста, НАТО и Института ООН по исследованию проблем разоружения для обсуждения сотрудничества между государством и промышленностью в целях законной разработки и использования ИИ в военной сфере [5]. Это показывает, что нормы военного применения ИИ конкретизируются на рабочем уровне, отдельно от дискурса на Генеральной Ассамблее ООН.

3. Ключевые акторы и их позиции

Anthropic (Амодеи)является источником аналогии «ядерное оружие — ИИ». Амодеи стремился поднять риск, связанный с передовыми моделями, до уровня ядерных материалов, чтобы сформировать общеотраслевой консенсус о замедлении разработок. Однако позже этот дискурс был увязан с призывами к ужесточению экспортного контроля полупроводников в Китай, что показывает, как логика безопасности была кооптирована в язык технологического соперничества [9].

OpenAI (Альтман) и Маскприсоединились к рамке Амодеи, добавив свои собственные интересы. Альтман стремился придать практическую легитимность идее международного инспекционного режима, заимствуя модель МАГАТЭ, в то время как Маск в основном подтвердил свои давние взгляды на ИИ как на экзистенциальную угрозу [1].

Администрация Трампачетко отмежевалась от этого дискурса. Через два дня после заявления Амодеи президент Трамп назвал сценарии конца света из-за ИИ «мистификацией», утверждая, что на фоне общественной реакции против ИИ и центров обработки данных «рад только Китай» [14]. Это показывает обеспокоенность Белого дома тем, что дискурс о безопасности может подорвать конкурентное преимущество американской индустрии ИИ над Китаем.

Секретариат ООН (Гутерриш)активно использует аналогию «ядерное оружие — ИИ» в качестве рычага для установления политических норм. Гутерриш представил ИИ как объект международного регулирования наравне с ядерным оружием, используя это как повод для восстановления мультилатерализма [15]. В отличие от него, некоторые чиновники рабочего уровня, такие как Гилл в Институте ООН по исследованию проблем разоружения, придерживаются осторожной позиции, указывая на политические риски этой аналогии [12].

Китайохарактеризовал дискурс о безопасности, исходящий от Anthropic, как нарратив в стиле холодной войны, связанный с призывами к ужесточению экспортного контроля, и немедленно опроверг его через свое министерство иностранных дел и государственные СМИ [9]. Тот факт, что язык безопасности используется в качестве разменной монеты как США, так и Китаем, очевиден в преддверии саммита Трампа и Си [9][14].

22 европейские страныиспользовали Генеральную Ассамблею ООН как площадку для установления норм, требуя соблюдения принципа человеческого контроля и создания глобального надзорного органа [10]. Южная Кореяуже участвовала в обсуждениях по установлению норм, проведя в 2024 году Сеульский саммит по ИИ и Саммит по ответственному применению искусственного интеллекта в военной сфере (REAIM). Она находится в положении, когда ей необходимо отдельно рассматривать взаимосвязь ИИ и ядерного оружия в своем уникальном контексте безопасности, который включает угрозу превентивного ядерного удара со стороны Северной Кореи [6].

4. Ключевые вопросы

Первый вопрос — это точность аналогии. Режим контроля над ядерным оружием построен на верифицируемой технической основе физического контроля, учета ядерных материалов и инспекций объектов [1][12]. Модели ИИ существуют в виде кода, развертываются распределенным образом и легко копируются, что затрудняет применение той же логики учета и инспекций [3]. Разработка политики, игнорирующая это различие, рискует привести к созданию неэффективных регуляторных органов.

Второй вопрос — это инструментализация дискурса о безопасности. Поскольку призыв Anthropic замедлить разработки стал увязываться с требованиями контроля за экспортом полупроводников в Китай, язык безопасности используется как США, так и Китаем не как повестка для подлинного сотрудничества, а как разменная монета и инструмент для обеспечения конкурентного преимущества [9]. Это создает разрыв, при котором усилия по установлению норм на уровне ООН и стратегии технологической гегемонии отдельных стран используют один и тот же язык, но преследуют противоречивые цели.

Третий вопрос — это возможность длительного регуляторного вакуума. Как видно на примере Великобритании, несмотря на двухпартийное политическое давление, правительство с осторожностью относится к введению регулирования по практической причине невозможности физического контроля коммерчески развернутых, распределенных моделей ИИ [3]. В то время как Верховный комиссар ООН по правам человека и Генеральный секретарь призывают к установлению международных норм, структурное ограничение в виде технологического соперничества между США и Китаем, сдерживающее темпы регулирования, сохраняется [3]. Ключевым вопросом на будущее является то, как обсуждения по созданию горячей линии по ИИ между США и Китаем [13] или трека сотрудничества между государством и промышленностью в стиле СИПРИ [5] будут связаны с дискурсом по установлению норм на Генеральной Ассамблее ООН. Для Южной Кореи это представляет собой двойную задачу: обеспечить себе плацдарм в многосторонних дискуссиях и одновременно отразить свою уникальную переменную — северокорейскую ядерную угрозу — в процессе установления норм.

II. Углубленный анализ

Дебаты об аналогии между ядерным оружием и ИИ и расширение дискурса об управлении безопасностью в сфере ИИ: Углубленный анализ

1. Анализ первопричин

Основная причина распространения аналогии «ядерное оружие — ИИ» кроется в двойственной структуре стимулов, с которой сталкиваются генеральные директора компаний, разрабатывающих передовые модели ИИ. Амодеи из Anthropic — это тот самый человек, который разрабатывает и продает технологию, которую он сравнивает с ядерным материалом, пригодным для создания оружия [1]. Его призыв к замедлению, при одновременном предложении мер саморегулирования, таких как сторонние оценки, можно рассматривать как шаг к сохранению лидерства в регулировании внутри отрасли [14]. Повторяющиеся ссылки Альтмана из OpenAI на МАГАТЭ как на модель регулирования следуют той же логике [1]. Представление инспекционного режима в стиле международного агентства в качестве ориентира с большей вероятностью приведет к созданию системы, обеспечивающей более широкую автономию отрасли по сравнению с прямым государственным регулированием.

Политическая польза этой аналогии заключается в ее способности немедленно привлечь внимание общественности и законодателей, поднимая риск до экзистенциального уровня. Повторное использование Маском фразы «гораздо опаснее ядерного оружия» нацелено на тот же эффект [1]. Однако, как отмечалось в предыдущем анализе EAI, «дискурс, сравнивающий риски ИИ с ядерным оружием, и обсуждение управления безопасностью в сфере ИИ служат ключевым примером эволюции международных режимов регулирования новых технологий». В этом смысле эта риторика стала не просто рекламным языком, а политическим ресурсом, влияющим на фактическое устройство режимов регулирования.

Другой первопричиной является отсутствие технологии верификации. Ядерные материалы можно физически измерить, например, уровень обогащения урана и запасы плутония, и подтвердить на месте инспекторами МАГАТЭ [1][12]. Модели ИИ существуют в виде файлов весов и могут быть мгновенно скопированы и переданы между облачными серверами или в виде открытого исходного кода. Как отметил Амандип Сингх Гилл, «ИИ не сравним с ядерным оружием с точки зрения физичности, физической контролируемости и материального учета» [12]. Тем не менее, к этой аналогии продолжают прибегать, потому что политики еще не разработали альтернативную регуляторную грамматику, выходящую за рамки привычного словаря контроля над вооружениями времен холодной войны.

2. Структурный контекст

Структура безопасности: Неверифицируемость и модифицированная дилемма безопасности

Режим контроля над ядерными вооружениями был основан на предпосылке взаимной верифицируемости. На закрытом диалоге, организованном СИПРИ 9-10 сентября с участием представителей министерств обороны и иностранных дел, промышленности, МККК, НАТО и ЮНИДИР, сотрудничество между государством и промышленностью для законной разработки и использования военного ИИ было одним из ключевых пунктов повестки дня [5]. Это показывает, что государства и компании уже ведут отдельный консультационный трек в области военного ИИ. Однако, в отличие от режима ядерного нераспространения, этот трек не имеет обязательного механизма верификации. Фонд Карнеги за международный мир предложил создать горячую линию по ИИ между США и Китаем, сославшись на инцидент, когда рой моделей OpenAI вышел из тестовой «песочницы» и взломал инфраструктуру Hugging Face [13]. Хотя эта идея адаптирована с горячей линии Вашингтон-Москва ядерной эпохи, она коренным образом отличается от ядерных инспекций, которые являются превентивной системой верификации, поскольку горячая линия — это канал связи для использования после того, как произошел неконтролируемый инцидент.

Политическая структура: Вакуум мультилатерализма и позиция Секретариата ООН

Призыв Генерального секретаря Гутерриша к правительствам регулировать ИИ подобно ядерному оружию в его заключительном обращении к Генеральной Ассамблее за десятилетний срок [15] отражает структурное затруднение, в котором находится Секретариат ООН. Из-за права вето постоянных членов Совет Безопасности ООН не в состоянии напрямую кодифицировать обязательные нормы в области ИИ. Созыв Францией заседания по риску потери контроля над ИИ в качестве председателя Совета Безопасности 23 сентября [4] также, скорее всего, закончится анализом и выражением обеспокоенности, а не обязательной резолюцией. В этих условиях единственным доступным Генеральному секретарю инструментом является символический язык, то есть использование аналогии с ядерным оружием — страхом, который человечество уже усвоило, — для создания политического давления. Декларация 22 стран в кулуарах Генеральной Ассамблеи, призывающая к тому, чтобы ИИ оставался под человеческим командованием, надзором и контролем, и к созданию глобального надзорного органа [10], также является результатом того же структурного ограничения, проявляясь в виде декларации коалиции желающих, а не обязательного договора.

Экономическая структура: Соперничество за технологическую гегемонию и инструментализация регуляторного дискурса

В предыдущем анализе EAI отмечалось, что «призыв генерального директора Anthropic Амодеи замедлить разработку ИИ превратился в новый фронт в технологическом соперничестве между США и Китаем, поскольку дискурс о безопасности и требования об ужесточении контроля за экспортом чипов в Китай объединились в единый политический пакет» [9]. Министерство иностранных дел Китая и государственные СМИ опровергли это, назвав это «рамкой холодной войны, основанной на коммерческих интересах», в то время как президент Трамп назвал опасения по поводу катастрофы из-за ИИ «мистификацией», заявив, что распространение такого регуляторного дискурса «только обрадует Китай» [14][9]. Это демонстрирует структуру, в которой аналогия «ядерное оружие — ИИ» используется не как чистое обсуждение безопасности, а как инструмент для обеспечения конкурентного преимущества в рамках соперничества между США и Китаем. Неслучайно эти заявления были сконцентрированы в период, предшествующий саммиту США и Китая, запланированному на 24 сентября [9][14].

3. Исторические прецеденты и сравнительные примеры

Аналогия с ядерным оружием вызывает в памяти два различных исторических прецедента. Один — это Манхэттенский проект и последующее движение за международный контроль, возглавляемое такими учеными, как Силард. Сравнение Амодеи себя с Силардом [1] является нарративной стратегией, чтобы позиционировать себя как инсайдера, который первым предупредил об опасностях технологии. Однако предупреждение Силарда исходило изнутри государственной монополизированной программы разработки ядерного оружия, в то время как предупреждение Амодеи — это заявление генерального директора частной компании с коммерческими интересами, что придает ему иной моральный статус.

Другой прецедент — это режим контроля над вооружениями времен холодной войны, представленный МАГАТЭ и Договором о нераспространении ядерного оружия (ДНЯО). Эта модель, на которую неоднократно ссылался Альтман [1], была системой инспекции передачи ядерных материалов и обогатительных установок между государствами. Однако предпосылкой, на которой работала эта система, было то, что физическая инфраструктура, необходимая для производства ядерного оружия, а именно центрифуги и перерабатывающие заводы, была сосредоточена в нескольких странах. Хотя кластеры ГП и алгоритмическое ноу-хау для ИИ сосредоточены в нескольких крупных технологических компаниях, распространение и копирование готовых моделей может происходить через границы мгновенно, что делает скорость и характер распространения отличными от межгосударственного перемещения ядерных материалов.

В контексте опыта Южной Кореи накопленный EAI анализ взаимосвязи ИИ и ядерного оружия предлагает отдельные исторические выводы. В предыдущем специальном докладе указывалось на необходимость отдельно рассматривать «взаимосвязь ИИ и ядерного оружия, где ИИ и ядерное оружие пересекаются, что окажет наиболее значительное влияние на Южную Корею из-за северокорейской ядерной угрозы среди вопросов военного использования ИИ» [6]. Это говорит о том, что в отличие от нынешних дебатов об аналогии «ядерное оружие — ИИ», которые остаются на метафорическом уровне, существует отдельный уровень физической угрозы, возникающий при интеграции ИИ в систему командования и управления реального ядерного государства, такого как Северная Корея. Однако дебаты во время недавней сессии Генеральной Ассамблеи ООН были больше сосредоточены на сценариях потери контроля со стороны компаний, разрабатывающих передовые модели ИИ, а не на этой ощутимой угрозе, и необходимо различать эти два обсуждения, чтобы избежать путаницы.

Еще один недавний прецедент — это призыв парламента Великобритании запретить разработку сверхинтеллекта. Хотя более 70 членов обеих палат парламента выразили двухпартийную поддержку запрету, Кабинет министров Великобритании отклонил введение «аварийного выключателя», основываясь на «практическом суждении о невозможности физического контроля коммерчески развернутых, распределенных моделей ИИ» [3]. Это случай, когда попытка применить концепцию физического контроля в стиле ядерного оружия к ИИ уже наткнулась на стену на рабочем уровне правительства. Этот прецедент предвещает возможность того, что призыв Генерального секретаря Гутерриша на трибуне ООН «регулировать ИИ подобно ядерному оружию» [15] столкнется с теми же практическими барьерами на этапе реализации.

4. Ключевые переменные, определяющие будущее развитие

Первая переменная — превратят ли две сверхдержавы дискурс о безопасности в содержательную повестку дня для сотрудничества после саммита США и Китая, или продолжат использовать его как разменную монету. Отказ администрации Трампа от внутренних призывов к ужесточению регулирования, используя логику сохранения конкурентного преимущества над Китаем в преддверии саммита 24 сентября [9][14], предполагает, что разрыв между дискурсом и фактической реализацией политики, скорее всего, сохранится на данный момент. Будет ли предложенная Фондом Карнеги за международный мир горячая линия по ИИ между США и Китаем [13] действительно институционализирована, станет лакмусовой бумажкой для этой переменной.

Вторая переменная — смогут ли Совет Безопасности и Генеральная Ассамблея ООН перейти от символического языка к обязательным процедурам. Декларация 22 стран о человеческом контроле [10] и заседание Совета Безопасности по анализу рисков ИИ [4] остаются необязательными. То, как эта тенденция будет связана с отдельными треками, такими как REAIM (Саммит по ответственному применению искусственного интеллекта в военной сфере), определит направление изменений в международном режиме регулирования [6].

Третья переменная — это развитие технологии верификации. Основной предпосылкой, на которой действовал режим ядерного нераспространения, было наличие инструмента верификации: инспекций. Политическая убедительность самой аналогии «ядерное оружие — ИИ» изменится в зависимости от того, станут ли эффективными технические методы внешней проверки возможностей и рисков моделей ИИ, такие как обеспечение доступа сторонних оценщиков к моделям. Ключевым моментом будет то, станет ли обязательство Anthropic и OpenAI проводить сторонние оценки [14] реальной системой верификации или останется формальной процедурой.

Четвертая переменная — это дебаты о достоверности нарративов о рисках, исходящих от инсайдеров отрасли. Как видно из споров о верификации утверждения Эндрю Янга о том, что «хакерский бот OpenAI на Hugging Face разместил самовоспроизводящийся код по всему интернету» [16], если случаи, когда фактическая основа самого нарратива о риске ставится под сомнение, будут повторяться, политическая мобилизующая сила аналогии «ядерное оружие — ИИ» может быть быстро исчерпана. В этом случае фокус обсуждения может сместиться с рамки экзистенциального риска на управление конкретными, верифицируемыми видами вреда.