Случай ошибочного военного приказа против Китая из-за галлюцинации ИИ и задача Южной Кореи по созданию системы верификации

Резюме

Этой весной вооруженные силы США подготовили операцию по перехвату и захвату китайского судна на Ближнем Востоке на основании разведывательного доклада, в составлении которого участвовал чат-бот с искусственным интеллектом. Операция была отменена в последнюю минуту, уже после того как в воздух были подняты истребители. Источником ошибки стал не обман со стороны противника, а собственный процесс производства разведывательных данных в вооруженных силах США. Ключевой недостаток заключался в том, что слабо обоснованный вывод приобрел институциональное доверие благодаря оформлению в виде стандартного отчета, а затем был быстро распространен по командной цепи. Обсуждаемый в настоящее время американо-китайский диалог по ИИ сосредоточен на уведомлении другой страны об инцидентах, связанных с ИИ, — это рамочная структура, которая структурно не охватывает подобные внутренние ошибки. Ее эффективность также ограничена исключением из повестки дня ключевых переменных конфликта, таких как контроль над экспортом полупроводников. Этот инцидент демонстрирует, что ключ к стабильности в кризисных ситуациях заключается не в каналах уведомления, а в своевременности процедур верификации человеком. Приоритетом Южной Кореи должно стать обеспечение независимых процедур верификации и доступа к исходным данным для информации, сгенерированной ИИ и поступающей в объединенную разведывательную систему РК-США. Кроме того, Южная Корея должна предпринять дипломатические усилия, чтобы возглавить международное сообщество, включая США и Китай, в решении этого вопроса.

I. Ситуационный анализ

Ситуационный анализ ошибочного военного приказа против Китая, вызванного галлюцинацией ИИ

1. Предыстория и хронология

Инцидент произошел этой весной, во время продолжающейся войны с Ираном. Вооруженные силы США получили разведывательный отчет, в котором говорилось, что китайское грузовое судно, следовавшее в водах Ближнего Востока, перевозило компоненты, связанные с программой создания ядерного оружия [7][11]. Этот отчет был написан с помощью чат-бота с ИИ [1][4]. Проблема заключалась в том, что этот вывод был ложным. По данным четырех источников, на которые ссылается Си-эн-эн, отчет был быстро распространен в командной цепи вооруженных сил США после того, как был оформлен в виде стандартного разведывательного доклада [11]. Хорватское СМИ также сообщило, что документ был распространен всего за несколько минут [11].

На основании этой информации командование вооруженных сил США действительно разработало план операции по перехвату и захвату судна [11]. В воздух были подняты истребители, и окончательное решение о прекращении операции рассматривалось, когда самолеты уже находились в воздухе [1][9]. Операция была отменена в последний момент [1][4][9]. Швейцарская газета NZZ охарактеризовала это событие как «фатально точную ошибку», оценив его как случай, продемонстрировавший, как неуместное технологическое доверие к неточным данным может привести к катастрофическим последствиям [4].

Это был не единичный случай. О нем стало известно наряду с ошибочным ударом, нанесенным в тот же период, когда система наведения ИИ Maven компании Palantir неверно определила начальную школу в иранском городе Минаб в качестве цели, что привело к гибели более 150 человек, включая 120 детей [3][6][14]. Австрийская газета Der Standard сообщила об обоих инцидентах вместе, высказав предположение, что ИИ Palantir мог принять уже уничтоженные видеозаписи за актуальные данные во время авиаудара по Ирану [14]. Оба случая выявили общую структурную уязвимость: процессы верификации человеком не успевали за скоростью распространения результатов, сгенерированных ИИ.

2. Текущая ситуация

Инцидент стал достоянием общественности, когда 18 сентября телеканал Си-эн-эн эксклюзивно сообщил об этой истории [1][12]. По стечению обстоятельств, сообщение появилось незадолго до того, как тогдашний президент Трамп объявил об ограничениях на доступ в Белый дом для СМИ, включая Си-эн-эн, MS NOW и Politico [14]. Представители Министерства обороны США не опубликовали официального объяснения обстоятельств инцидента. Сообщение быстро распространилось в мировых СМИ, в том числе во франкоязычной Западной Африке [13], Финляндии [9], Эстонии [16], Хорватии [11], Индии [12] и Бразилии [7]. Это указывает на то, что возможность случайного конфликта между США и Китаем, вызванного ИИ, воспринимается не просто как двусторонняя проблема Вашингтона и Пекина, а как вопрос, вызывающий озабоченность всего международного сообщества.

Китайское государственное издание Global Times использовало этот инцидент в качестве доказательства срочной необходимости американо-китайского сотрудничества в области безопасности ИИ. Ссылаясь на китайского эксперта, оно пришло к выводу, что сам факт того, что «ложные разведывательные данные США едва не привели к разработке американского военного плана по применению силы против китайского судна», демонстрирует острую необходимость сотрудничества между двумя странами в области безопасности ИИ [15]. Это можно интерпретировать как стремление Китая представить инцидент как недостаток во внутренней разведывательной системе США и использовать его в качестве оправдания для участия в диалоге, а не эскалировать его в спор о собственной ответственности.

Тем временем министр финансов США Бесант объявил, что уже начались отдельные консультации по созданию американо-китайского диалога по ИИ [17]. Этот консультативный орган нацелен на создание механизма взаимного уведомления в случае инцидентов с ИИ, которые могут угрожать национальной безопасности [17]. Однако после раскрытия информации об инциденте сразу же возникли вопросы о том, сможет ли такой диалог на самом деле охватывать инциденты подобного типа.

3. Ключевые акторы и их позиции

Командная цепь вооруженных сил СШАявляется наиболее непосредственно вовлеченной стороной в этом инциденте. Корень проблемы заключался не в обмане со стороны противника или хакерской атаке, а возник внутри собственного процесса производства разведывательных данных [1][4]. Тот факт, что стандартный формат отчета не смог отфильтровать ошибку, а вместо этого послужил каналом для придания ей институционального доверия, указывает на структурную уязвимость во внутренней системе верификации информации вооруженных сил США. Эта проблема также была отмечена в ранее произошедшем ошибочном ударе системы Palantir Maven [3][14], что привело к оценкам, согласно которым темпы внедрения ИИ в вооруженных силах США опережают скорость, с которой они могут создавать системы верификации.

Китайпредпочел формирование дискурса через свои государственные СМИ, а не выражение протеста по официальным дипломатическим каналам. Global Times представило инцидент как технический недостаток со стороны Соединенных Штатов, используя его в качестве основы для подчеркивания необходимости американо-китайского сотрудничества в области безопасности ИИ [15]. Поскольку инцидент не привел к прямым военным действиям против его судна, у Китая есть стимул выбрать рамки сотрудничества, а не эскалационный ответ.

Министерство финансов США и связанные с ним ведомствауже отдельно занимались вопросом создания американо-китайского диалога по ИИ [17]. Однако с самого этапа проектирования этот диалог исключал из своей повестки дня ключевые вопросы американо-китайской конкуренции в области ИИ, такие как контроль над экспортом полупроводников. Его основное внимание уделяется взаимному уведомлению об инцидентах с ИИ на уровне национальной безопасности, что означает, что функции по превентивному выявлению или предотвращению ошибок, возникающих в процессе производства внутренней информации страны, как в данном случае, выходят за рамки его первоначального замысла.

Державы среднего уровнятакие как Южная Корея, не являются прямыми участниками этого инцидента, но они заинтересованы в нем из-за возможности возникновения аналогичных структурных рисков в рамках объединенной разведывательной системы РК-США. Уже отдельно отмечалось, что сама структура поставки систем серии Palantir Maven нескольким союзникам в стандартизированной форме несет в себе неотъемлемый риск распространения ошибок [3].

4. Ключевые вопросы

Первый вопрос — это источник ошибки. Этот инцидент был вызван не тактикой обмана противника или киберпроникновением, а ложным выводом, сгенерированным внутренним инструментом ИИ, который был распространен без проверки после оформления в виде стандартного отчета [1][4][11]. Это показывает, что в контексте американо-китайской конкуренции в области ИИ угрозы не обязательно исходят только извне.

Второй вопрос — это место процесса верификации в цепочке событий. Верификация ошибки по существу произошла только после того, как самолеты уже были подняты в воздух, непосредственно перед оперативной фазой [1][9]. Этот случай вновь подтвердил, что ключ к управлению кризисами заключается не в каналах уведомления постфактум, а в надежности превентивных процедур верификации человеком.

Третий вопрос — это эффективность текущего американо-китайского диалога по ИИ. Этот диалог сосредоточен на механизме взаимного уведомления [17], что делает структурно сложным охват ошибок внутреннего производства информации, которые происходят до того, как они становятся предметом уведомления, как это было в данном случае. Тот факт, что фундаментальные переменные конкуренции в области ИИ, такие как контроль над экспортом полупроводников, исключены из повестки дня, также ограничивает способность диалога выполнять подлинную функцию предотвращения кризисов.

Четвертый вопрос — это подверженность риску для союзников и держав среднего уровня. Возможность распространения ошибок в системах разведки и наведения на основе ИИ вооруженных сил США на объединенные оперативные системы союзников является проблемой, уже выявленной в случае с Palantir Maven [3]. Союзникам, включая Южную Корею, необходимо рассматривать обеспечение доступа к исходным данным и независимые процедуры верификации как предварительное условие при принятии стандартов разведки и управления на основе ИИ под руководством США.

II. Углубленный анализ

Углубленный анализ ошибочного военного приказа против Китая, вызванного галлюцинацией ИИ

1. Анализ первопричин

Источником ошибки в этом инциденте стал не обман со стороны противника или хакерская атака. Это была галлюцинация, произошедшая в рамках собственного процесса производства разведывательных данных вооруженных сил США [1][4]. Разведывательный отчет, подготовленный при поддержке чат-бота с ИИ, неверно идентифицировал груз китайского судна как компоненты программы создания ядерного оружия [7][11]. Этот вывод был слабо обоснован. Тем не менее, он прошел через стандартный формат разведывательного отчета [11]. Тот факт, что он прошел формальную процедуру, не гарантировал достоверности его содержания.

Здесь и возникает основная проблема. Текст, сгенерированный ИИ, имеет форму стандартизированного отчета. Сам этот формат служит сигналом достоверности для проверяющих. Хорватская газета Jutarnji list сообщила, что отчет вызвал высочайший уровень тревоги в командной цепи вооруженных сил США всего за несколько минут [11]. Скорость распространения опередила проверку подлинности информации. Швейцарская NZZ охарактеризовала это как «фатально точную ошибку». Это была оценка того, что данный случай продемонстрировал, как неуместное технологическое доверие к неточным данным может привести к катастрофическим последствиям [4].

Та же структурная уязвимость была выявлена и при ошибочном ударе по начальной школе в Минабе в Иране. Было высказано предположение, что система наведения Palantir Maven в процессе идентификации примерно 13 000 целей за 38 дней могла принять уже уничтоженные видеозаписи за актуальные данные [3][14]. Австрийская газета Der Standard сообщила об обоих инцидентах в один и тот же день, подчеркнув их общий знаменатель [14]. Скорость обработки данных ИИ при наведении на цель и анализе разведданных сократила время, доступное для верификации человеком. Это следует рассматривать не как недостаток отдельной системы, а как проблему, охватывающую всю структуру принятия военных решений после внедрения ИИ.

2. Структурный контекст

Фоном для ошибки послужила ситуация кризиса высокой интенсивности — война в Иране. В то время, когда вооруженные силы США были вовлечены в конфликт с Ираном, они одновременно выполняли миссию по контролю судоходства в водах Ближнего Востока [7][13]. В условиях кризиса цикл производства и потребления разведывательных данных сокращается. От командиров требуется принимать быстрые решения. В такой обстановке способность ИИ к быстрому синтезу информации является привлекательным инструментом. В то же время это также служит стимулом для обхода процедур верификации. Тот факт, что ошибка была обнаружена только после того, как истребители уже были подняты в воздух [1][9], означает, что верификация произошла не до начала операции, а непосредственно перед критическим моментом.

Если рассматривать этот инцидент через призму американо-китайских отношений, он иллюстрирует новый путь к случайному военному конфликту. Ранее военная напряженность между США и Китаем обсуждалась в основном в контексте опасных сближений или провокаций в «серой зоне» в Тайваньском проливе и Южно-Китайском море. Этот инцидент показал, что можно оказаться на грани применения силы исключительно из-за ошибки на этапе производства разведывательных данных, без какого-либо фактического физического контакта или провокационного акта. Брукингский институт, ссылаясь на инцидент с разведывательным аэростатом в 2023 году, ранее указывал, что без механизмов безопасности, таких как «горячая линия», беспилотные летательные аппараты и беспилотные надводные аппараты на базе ИИ, вероятно, будут провоцировать больше случайных эскалаций в будущем [2]. Этот инцидент подтвердил, что такой же риск существует и на этапе анализа разведданных, а не только с беспилотными платформами.

Диалог по ИИ, который США и Китай ведут отдельно, не покрывает адекватно этот структурный риск. Американо-китайский диалог по ИИ, упомянутый министром финансов Бесантом, сосредоточен на механизме уведомления другой страны об инцидентах с ИИ, которые могут угрожать национальной безопасности [17]. Это система, в рамках которой две страны информируют друг друга об инцидентах после того, как они произошли. Однако в случаях, подобных этому инциденту, когда галлюцинация произошла в рамках собственного процесса производства разведывательных данных страны, стимулов для уведомления другой страны практически нет. Само определение «инцидента», охватываемого диалогом, разработано таким образом, что структурно затрудняет выявление ошибок такого типа. Более того, ключевые переменные американо-китайской конкуренции в области ИИ, такие как контроль над экспортом полупроводников, исключены из повестки дня этого диалога. Это означает, что эффективность канала уведомления ограничена с самого начала.

3. Исторические прецеденты и сравнительные случаи

Ближайшим сравнением является ошибочный удар по начальной школе в Минабе, произошедший в том же году. В том случае ошибка системы наведения ИИ Palantir привела к реальному удару, в результате которого погибло более 150 человек [3][6][14]. Миссия ООН по установлению фактов определила, что это может представлять собой военное преступление. В ответ Белый дом немедленно опроверг выводы расследования [3]. Решающее различие между этим случаем, связанным с операцией против Китая, и инцидентом в Минабе заключается в том, материализовались ли последствия. В случае с Минабом сбой верификации привел к реальным жертвам. В операции против Китая вмешательство в последнюю минуту предотвратило физический ущерб. Если поставить эти два инцидента рядом, становится ясно, что то, приведет ли ошибка ИИ к реальной катастрофе, было делом почти случайного стечения обстоятельств. Это произошло не потому, что верификация человеком была структурно гарантирована в конструкции системы.

Более ранним прецедентом является инцидент с разведывательным аэростатом 2023 года, упомянутый Брукингским институтом [2]. Тот инцидент был случаем обычной ошибки идентификации без участия ИИ. Тем не менее, он оставил структурный урок: отсутствие канала связи в кризисных ситуациях между США и Китаем усилило напряженность. В то время после инцидента была поднята необходимость создания «горячей линии», но существенный прогресс был медленным. Возобновление дискуссий об американо-китайском диалоге по ИИ после этого инцидента с галлюцинацией ИИ следует схожей схеме. Повторяется модель инициирования обсуждений механизмов связи только после того, как кризис уже произошел.

Также уместно сравнение со случаями ложной тревоги времен холодной войны. В инциденте 1983 года, когда советская система раннего предупреждения ложно зафиксировала запуск ракеты, эскалацию предотвратило личное суждение дежурного офицера. Недавний инцидент отличается тем, что ошибка была обнаружена не благодаря суждению отдельного человека, а на этапе окончательной проверки после того, как самолеты уже были подняты в воздух [1][9]. В том, что вмешательство человека было скорее случайным обнаружением, чем процедурой, гарантированной конструкцией системы, этот случай можно рассматривать как выявление структуры управления кризисами, которая на самом деле более хрупкая, чем во времена холодной войны.

4. Ключевые переменные, формирующие будущее развитие событий

Первая переменная — будут ли реформированы внутренние процедуры верификации разведывательных данных в вооруженных силах США. Тот факт, что ошибка была распространена после того, как приобрела доверие, пройдя через стандартный формат отчета [11], предполагает отсутствие отдельной системы маркировки или классификации для информации, сгенерированной ИИ. Ключевым моментом будет то, введут ли вооруженные силы США в будущем процедуры для разграничения результатов, сгенерированных ИИ, и информации, проверенной человеком, и перенесут ли они эту верификацию на этап, предшествующий началу операций.

Вторая переменная — будет ли расширена повестка дня американо-китайского диалога по ИИ. Обсуждаемая в настоящее время рамочная структура ограничена взаимным уведомлением [17]. Будет ли эта структура расширена для включения требований о прозрачности в отношении внутренних ошибок, или же она останется формальным каналом, — это переменная, которая определит стабильность в кризисных ситуациях. Тот факт, что китайская сторона использует этот инцидент в качестве оправдания для американо-китайского сотрудничества в области безопасности ИИ [15], показывает, что у Пекина есть стимул для активного участия в этой дискуссии. Однако до тех пор, пока существенные переменные конкуренции, такие как контроль над экспортом полупроводников, исключены из повестки дня, разрыв между политическим символизмом диалога и его практической эффективностью, вероятно, сохранится.

Третья переменная — общественное мнение и политические последствия. Тот факт, что эксклюзивный репортаж Си-эн-эн вышел незадолго до объявления тогдашним президентом Трампом об ограничениях на доступ в Белый дом для этого СМИ [14], подразумевает, что этот инцидент может оказаться вплетенным во внутриполитические дебаты о контроле над СМИ в Соединенных Штатах. Поскольку Министерство обороны США еще не опубликовало официального объяснения, то, последуют ли дальнейшие разоблачения или требования Конгресса о проведении расследования, определит влияние инцидента.

Четвертая переменная — волновой эффект для союзников. Система разведки на основе ИИ вооруженных сил США связана с различными сетями союзников, включая объединенную разведывательную систему РК-США. Если пробел в верификации, выявленный этим инцидентом, распространится и станет проблемой доверия к информации, передаваемой союзникам, у союзных государств появится больший стимул требовать права на независимую верификацию в процессе принятия стандартов ИИ-У2 (управления и контроля) под руководством США.