El caso de una orden militar errónea contra China por una alucinación de IA y la tarea de Corea del Sur de construir un sistema de verificación

Resumen ejecutivo

Esta primavera, el ejército estadounidense preparó una operación de interdicción e incautación contra un buque chino en Oriente Medio basándose en un informe de inteligencia coescrito por un chatbot de IA. La operación fue abortada en el último minuto, después de que los cazas ya hubieran sido desplegados. El origen del error no fue un engaño del adversario, sino el propio proceso de producción de inteligencia del ejército estadounidense. Un fallo clave fue que una conclusión poco fundamentada obtuvo credibilidad institucional al ser formateada como un informe estándar y luego difundida rápidamente a través de la cadena de mando. El diálogo sobre IA entre Estados Unidos y China que se discute actualmente se centra en notificar al otro país los incidentes relacionados con la IA, un marco que estructuralmente no cubre errores internos como este. Su eficacia también se ve limitada por la exclusión de su agenda de variables de conflicto centrales, como los controles a la exportación de semiconductores. Este incidente demuestra que la clave para la estabilidad en situaciones de crisis no reside en los canales de notificación, sino en el momento en que se aplican los procedimientos de verificación humana. La prioridad de Corea del Sur debería ser asegurar procedimientos de verificación independientes y el acceso a los datos fuente de la información generada por IA que entra en el sistema de inteligencia combinado de la República de Corea y Estados Unidos. Además, Corea del Sur debería emprender esfuerzos diplomáticos para liderar a la comunidad internacional, incluidos Estados Unidos y China, a la hora de abordar este problema.

I. Análisis de la situación

Análisis de la situación de la orden militar errónea contra China causada por una alucinación de IA

1. Antecedentes y cronología

El incidente se remonta a esta primavera, durante la guerra en curso con Irán. El ejército estadounidense recibió un informe de inteligencia que afirmaba que un carguero chino que navegaba por aguas de Oriente Medio transportaba componentes relacionados con un programa de armas nucleares [7][11]. Este informe fue redactado con la ayuda de un chatbot de IA [1][4]. El problema era que esta conclusión era falsa. Según cuatro fuentes citadas por la CNN, el informe fue difundido rápidamente dentro de la cadena de mando del ejército estadounidense tras ser formateado como un informe de inteligencia estándar [11]. Un medio de comunicación croata también informó de que el documento circuló en tan solo unos minutos [11].

Basándose en esta información, el mando militar estadounidense llegó a elaborar un plan para una operación de interdicción e incautación contra el buque [11]. Se desplegaron cazas y la decisión final sobre si detener la operación se revisó mientras las aeronaves ya estaban en el aire [1][9]. La operación fue cancelada en el último momento [1][4][9]. El periódico suizo NZZ describió el suceso como un «error fatalmente preciso», evaluándolo como un caso que demostraba cómo una confianza tecnológica fuera de lugar en datos inexactos podía acarrear consecuencias catastróficas [4].

No se trató de un incidente aislado. Salió a la luz junto con un ataque erróneo durante el mismo periodo en el que el sistema de selección de objetivos por IA Maven de Palantir designó incorrectamente como objetivo una escuela primaria en Minab, Irán, lo que provocó la muerte de más de 150 personas, entre ellas 120 niños [3][6][14]. El periódico austriaco Der Standard informó sobre ambos incidentes conjuntamente, planteando la posibilidad de que la IA de Palantir pudiera haber confundido imágenes de vídeo ya destruidas con datos actuales durante el ataque aéreo en Irán [14]. Ambos casos revelaron un fallo estructural común: los procesos de verificación humana no lograron seguir el ritmo de la velocidad a la que se difundían los resultados generados por la IA.

2. Situación actual

El incidente se hizo público cuando la CNN publicó la noticia en exclusiva el 18 de septiembre [1][12]. La fecha del reportaje coincidió, casualmente, con el momento justo antes de que el entonces presidente Trump anunciara restricciones de acceso a la Casa Blanca para medios de comunicación como la CNN, MS NOW y Politico [14]. Los funcionarios de defensa de Estados Unidos no han publicado una explicación oficial de las circunstancias del incidente. La noticia se difundió rápidamente a medios de comunicación de todo el mundo, incluyendo África Occidental francófona [13], Finlandia [9], Estonia [16], Croacia [11], India [12] y Brasil [7]. Esto indica que la posibilidad de un conflicto accidental impulsado por IA en las relaciones entre Estados Unidos y China no se percibe simplemente como un asunto bilateral para Washington y Pekín, sino como un motivo de preocupación para toda la comunidad internacional.

El medio de comunicación estatal chino, Global Times, utilizó el incidente como prueba para respaldar la urgencia de la cooperación en seguridad de la IA entre Estados Unidos y China. Citando a un experto chino, evaluó que el mero hecho de que «la inteligencia estadounidense generada falsamente casi condujera a un plan militar estadounidense para el uso de la fuerza contra un buque chino» demuestra la necesidad urgente de cooperación en seguridad de la IA entre ambos países [15]. Esto puede interpretarse como un intento de China de enmarcar el incidente como un fallo en el sistema de inteligencia interno de EE. UU. y utilizarlo como justificación para participar en el diálogo, en lugar de escalarlo a una disputa sobre su propia responsabilidad.

Mientras tanto, la Secretaria del Tesoro de EE. UU., Besant, anunció que ya habían comenzado consultas por separado para establecer un diálogo sobre IA entre Estados Unidos y China [17]. Este órgano consultivo tiene como objetivo crear un mecanismo de notificación mutua en caso de incidentes de IA que puedan amenazar la seguridad nacional [17]. Sin embargo, con la revelación del incidente, surgieron inmediatamente dudas sobre si dicho diálogo podría realmente cubrir incidentes de este tipo.

3. Actores clave y posturas

La cadena de mando militar de EE. UU.es la parte más directamente implicada en este incidente. La raíz del problema no fue el engaño del adversario o la piratería informática, sino que se originó dentro de su propio proceso de producción de inteligencia [1][4]. El hecho de que el formato de informe estándar no lograra filtrar el error y, en cambio, sirviera como un canal para conferir credibilidad institucional sugiere una vulnerabilidad estructural en el sistema interno de verificación de la información del ejército estadounidense. Este fue un problema también señalado en el anterior ataque erróneo del sistema Maven de Palantir [3][14], lo que ha llevado a evaluaciones de que el ritmo de adopción de la IA por parte del ejército estadounidense está superando la velocidad a la que puede establecer sistemas de verificación.

Chinaoptó por el desarrollo del discurso a través de sus medios de comunicación estatales en lugar de presentar una protesta por los canales diplomáticos oficiales. El Global Times enmarcó el incidente como un fallo técnico por parte de Estados Unidos, utilizándolo como base para enfatizar la necesidad de cooperación entre Estados Unidos y China en materia de seguridad de la IA [15]. Dado que el incidente no condujo a una acción militar directa contra su buque, China tiene un incentivo para elegir un marco de cooperación en lugar de una respuesta de escalada.

El Departamento del Tesoro de EE. UU. y autoridades relacionadasya han estado buscando por separado el establecimiento de un diálogo sobre IA entre Estados Unidos y China [17]. Sin embargo, desde su fase de diseño, este diálogo ha excluido de su agenda cuestiones centrales de la competencia en IA entre Estados Unidos y China, como los controles a la exportación de semiconductores. Su enfoque se centra en la notificación mutua de incidentes de IA a nivel de seguridad nacional, lo que significa que las funciones para detectar o prevenir de forma preventiva los errores que surgen del proceso interno de producción de información de un país, como se vio en este caso, quedan fuera de su alcance de diseño original.

Actores de potencias mediascomo Corea del Sur no son partes directas en este incidente, pero tienen un interés en él debido al potencial de riesgos estructurales similares dentro del sistema de inteligencia combinado de la República de Corea y Estados Unidos. Ya se ha señalado por separado que la propia estructura de suministrar sistemas de la serie Maven de Palantir a múltiples aliados de forma estandarizada conlleva un riesgo inherente de propagación de errores [3].

4. Cuestiones clave

La primera cuestión es el punto de origen del error. Este incidente no fue causado por tácticas de engaño de un adversario o infiltración cibernética, sino por una conclusión falsa generada por una herramienta de IA nacional que circuló sin verificación tras ser formateada como un informe estándar [1][4][11]. Esto demuestra que, en el contexto de la competencia en IA entre Estados Unidos y China, las amenazas no provienen necesariamente solo del exterior.

La segunda cuestión es la ubicación del proceso de verificación. La verificación sustantiva del error se produjo solo después de que las aeronaves ya hubieran sido desplegadas, justo antes de la fase operativa [1][9]. Este caso reafirmó que la clave para la gestión de crisis no reside en los canales de notificación post-hoc, sino en la solidez de los procedimientos preventivos de verificación humana.

La tercera cuestión es la eficacia del diálogo sobre IA en curso entre Estados Unidos y China. Este diálogo se centra en un mecanismo de notificación mutua [17], lo que dificulta estructuralmente la cobertura de errores internos en la producción de información que ocurren antes de ser sujetos a notificación, como fue el caso aquí. El hecho de que variables fundamentales de la competencia en IA, como los controles a la exportación de semiconductores, estén excluidas de la agenda también limita la capacidad del diálogo para desempeñar una genuina función de prevención de crisis.

La cuarta cuestión es la exposición al riesgo para los aliados y las potencias medias. El potencial de que los errores en los sistemas de inteligencia y selección de objetivos basados en IA del ejército estadounidense se propaguen a los sistemas de operaciones combinadas de los aliados es un problema ya identificado en el caso del Maven de Palantir [3]. Los aliados, incluida Corea del Sur, deben considerar la obtención de acceso a los datos fuente y procedimientos de verificación independientes como un prerrequisito al adoptar los estándares de inteligencia y mando y control basados en IA liderados por Estados Unidos.

II. Análisis en profundidad

Análisis en profundidad de la orden militar errónea contra China causada por una alucinación de IA

1. Análisis de las causas fundamentales

El origen del error en este incidente no fue el engaño del adversario o la piratería informática. Fue una alucinación que se produjo dentro del propio proceso de producción de inteligencia del ejército estadounidense [1][4]. Un informe de inteligencia apoyado por un chatbot de IA identificó erróneamente la carga de un buque chino como componentes de un programa de armas nucleares [7][11]. Esta conclusión estaba poco fundamentada. Sin embargo, pasó por el formato estándar de informe de inteligencia [11]. El hecho de que pasara por un procedimiento formal no garantizó la credibilidad de su contenido.

Aquí surge el problema central. El texto generado por IA adopta la forma de un informe estandarizado. Este formato en sí mismo actúa como una señal de credibilidad para los revisores. El periódico croata Jutarnji list informó de que el informe desencadenó el más alto nivel de alerta dentro de la cadena de mando militar estadounidense en tan solo unos minutos [11]. La velocidad de difusión superó la verificación de la autenticidad de la información. El suizo NZZ lo describió como un «error fatalmente preciso». Fue una evaluación de que este caso demostraba cómo una confianza tecnológica fuera de lugar en datos inexactos podía acarrear consecuencias catastróficas [4].

El mismo fallo estructural se identificó en el ataque erróneo a la escuela primaria de Minab en Irán. Se ha sugerido que el sistema de selección de objetivos Maven de Palantir, en el proceso de identificar aproximadamente 13.000 objetivos en 38 días, pudo haber confundido imágenes de vídeo ya destruidas con datos actuales [3][14]. El periódico austriaco Der Standard informó sobre ambos incidentes el mismo día, destacando su denominador común [14]. La velocidad de procesamiento de la selección de objetivos y el análisis de inteligencia por IA comprimió el tiempo disponible para la verificación humana. Esto no debe verse como un fallo en un sistema individual, sino como un problema que abarca toda la estructura de toma de decisiones militares tras la introducción de la IA.

2. Contexto estructural

La situación de crisis de alta intensidad de la guerra de Irán sirvió como telón de fondo para el error. En un momento en que estaba inmerso en un conflicto con Irán, el ejército estadounidense llevaba a cabo simultáneamente una misión para controlar el tráfico marítimo en aguas de Oriente Medio [7][13]. En una crisis, el ciclo de producción y consumo de inteligencia se acorta. Se exige a los comandantes que emitan juicios rápidos. En un entorno así, la rápida capacidad de síntesis de información que ofrece la IA es una herramienta atractiva. Al mismo tiempo, también actúa como un incentivo para eludir los procedimientos de verificación. El hecho de que el error se descubriera solo después de que los cazas ya hubieran sido desplegados [1][9] significa que la verificación tuvo lugar no antes del inicio de la operación, sino justo antes del momento crítico.

Visto a través del prisma de las relaciones entre Estados Unidos y China, este incidente ilustra una nueva vía hacia el conflicto militar accidental. Las tensiones militares anteriores entre Estados Unidos y China se han discutido principalmente en el contexto de encuentros cercanos o provocaciones en la zona gris en el estrecho de Taiwán y el mar de la China Meridional. Este incidente demostró que es posible llegar al borde del uso de la fuerza simplemente por un error en la etapa de producción de inteligencia, sin ningún contacto físico real o acto de provocación. La Brookings Institution, en referencia al incidente del globo de reconocimiento de 2023, ya había señalado que, sin mecanismos de seguridad como una línea directa, es probable que los vehículos aéreos no tripulados y los buques de superficie no tripulados basados en IA desencadenen más escaladas accidentales en el futuro [2]. Este incidente confirmó que el mismo riesgo existe en la etapa de análisis de inteligencia, no solo con las plataformas no tripuladas.

El diálogo sobre IA que Estados Unidos y China están llevando a cabo por separado no cubre adecuadamente este riesgo estructural. El diálogo sobre IA entre Estados Unidos y China mencionado por la Secretaria del Tesoro Besant se centra en un mecanismo para notificar al otro país los incidentes de IA que podrían amenazar la seguridad nacional [17]. Se trata de un sistema para que los dos países se informen mutuamente de los incidentes una vez que han ocurrido. Sin embargo, en casos como este incidente, donde la alucinación se produjo dentro del propio proceso de producción de inteligencia de un país, hay poco incentivo para notificar al otro país en primer lugar. La propia definición de «incidente» cubierta por el diálogo está diseñada de una manera que dificulta estructuralmente capturar este tipo de error. Además, las variables clave de la competencia en IA entre Estados Unidos y China, como los controles a la exportación de semiconductores, están excluidas de la agenda de este diálogo. Esto significa que la eficacia del canal de notificación está limitada desde el principio.

3. Precedentes históricos y casos comparativos

La comparación más cercana es el ataque erróneo a la escuela primaria de Minab que ocurrió en el mismo año. En ese caso, un error del sistema de selección de objetivos por IA de Palantir condujo a un ataque real, matando a más de 150 personas [3][6][14]. Una misión de investigación de la ONU determinó que esto podría constituir un crimen de guerra. En contraste, la Casa Blanca negó inmediatamente las conclusiones de la investigación [3]. La diferencia crucial entre este caso que involucra la operación contra China y el incidente de Minab es si las consecuencias se materializaron. En el caso de Minab, el fallo de verificación resultó en víctimas reales. En la operación contra China, la intervención de último minuto evitó daños físicos. Cuando se comparan los dos incidentes, queda claro que el hecho de que un error de la IA condujera o no a un desastre real fue una cuestión de tiempo casi accidental. No fue porque la verificación humana estuviera garantizada estructuralmente en el diseño del sistema.

Un precedente más antiguo es el incidente del globo de reconocimiento de 2023 mencionado por la Brookings Institution [2]. Ese incidente fue un caso de identificación errónea convencional sin la participación de la IA. Sin embargo, dejó una lección estructural en el sentido de que la ausencia de un canal de comunicación de crisis entre Estados Unidos y China amplificó las tensiones. En ese momento, se planteó la necesidad de establecer una línea directa, pero el progreso sustantivo fue lento. El resurgimiento de las discusiones sobre un diálogo de IA entre Estados Unidos y China a raíz de este incidente de alucinación de IA sigue un patrón similar. Se está repitiendo el modo de iniciar discusiones sobre mecanismos de comunicación solo después de que ha ocurrido una crisis.

También es válida una comparación con los casos de falsa alarma de la era de la Guerra Fría. En el incidente de 1983, en el que el sistema de alerta temprana soviético detectó falsamente un lanzamiento de misiles, el juicio personal del oficial de servicio evitó la escalada. Este incidente reciente es diferente en que el error fue detectado no por el juicio de un individuo, sino durante una etapa de revisión final después de que las aeronaves ya hubieran sido desplegadas [1][9]. En el sentido de que la intervención humana estuvo más cerca de un descubrimiento accidental que de un procedimiento garantizado por el diseño del sistema, este caso puede considerarse que revela una estructura de gestión de crisis que es en realidad más frágil que la de la era de la Guerra Fría.

4. Variables clave que configuran los desarrollos futuros

La primera variable es si se reformarán los procedimientos internos de verificación de inteligencia del ejército estadounidense. El hecho de que el error circulara tras ganar credibilidad al pasar por el formato de informe estándar [11] sugiere que no existía un sistema de etiquetado o clasificación separado para la información generada por IA. La clave será si el ejército estadounidense introduce en el futuro procedimientos para distinguir entre los resultados generados por IA y la información verificada por humanos, y si traslada esa verificación a una etapa anterior al inicio de las operaciones.

La segunda variable es si se ampliará la agenda del diálogo sobre IA entre Estados Unidos y China. El marco que se discute actualmente se limita a la notificación mutua [17]. Si este marco se ampliará para incluir exigencias de transparencia con respecto a los errores internos, o si seguirá siendo un canal formalista, es una variable que determinará la estabilidad en situaciones de crisis. El hecho de que la parte china esté utilizando este incidente como justificación para la cooperación en seguridad de la IA entre Estados Unidos y China [15] muestra que Pekín tiene un incentivo para participar activamente en esta discusión. Sin embargo, mientras las variables competitivas sustantivas como los controles a la exportación de semiconductores queden excluidas de la agenda, es probable que persista la brecha entre el simbolismo político del diálogo y su eficacia práctica.

La tercera variable es la opinión pública y las consecuencias políticas. El hecho de que el informe exclusivo de la CNN se publicara justo antes del anuncio del entonces presidente Trump de restricciones de acceso a la Casa Blanca para dicho medio de comunicación [14] implica que este incidente podría enredarse con el debate político interno sobre el control de los medios en Estados Unidos. Dado que el Departamento de Defensa de EE. UU. aún no ha emitido una explicación oficial, el impacto del incidente dependerá de si se producen nuevas revelaciones o exigencias de investigación por parte del Congreso.

La cuarta variable es el efecto expansivo sobre los aliados. El sistema de inteligencia basado en IA del ejército estadounidense está vinculado con diversas redes de aliados, incluido el sistema de inteligencia combinado de la República de Corea y Estados Unidos. Si la brecha de verificación revelada por este incidente se extiende hasta convertirse en un problema de credibilidad para la información compartida con los aliados, habrá un mayor incentivo para que las naciones aliadas exijan derechos de verificación independientes en el proceso de adopción de los estándares de IA-C2 (Mando y Control) liderados por Estados Unidos.