Le débat sur l'analogie entre les armes nucléaires et l'IA et l'expansion du discours sur la gouvernance de la sécurité de l'IA

Synthèse

Le débat suscité par la comparaison faite par le PDG d'Anthropic, Dario Amodei, entre les modèles d'IA pionniers et les matières nucléaires militarisables a intensifié le discours sur la gouvernance de la sécurité de l'IA, coïncidant avec les discussions lors de la 81e Assemblée générale et du Conseil de sécurité des Nations Unies. Alors que le Secrétariat de l'ONU, par l'intermédiaire du Secrétaire général Guterres, a officiellement adopté l'analogie nucléaire-IA comme langage politique, des fonctionnaires de niveau opérationnel comme Amandeep Singh Gill et les cercles politiques américains, y compris *Foreign Affairs*, rétorquent que l'application de la logique du régime de non-prolifération nucléaire à l'IA, qui manque de vérifiabilité physique, comporte un risque élevé de conception de politiques trompeuses. Cette analogie est liée à la structure d'incitation des entreprises d'IA pionnières cherchant à s'assurer un leadership dans l'autoréglementation de l'industrie, et elle a également le potentiel de devenir un nouveau front rhétorique dans la compétition technologique entre les États-Unis et la Chine. Les développements futurs pourraient suivre plusieurs voies : une où la critique de l'analogie guide la conception des politiques, une où la compétition discursive et un vide normatif coexistent, ou une où un cadre basé sur la peur mène à une réglementation prématurée et à des courses aux armements. Le scénario le plus probable est la coexistence continue de ces dynamiques. La Corée du Sud a besoin d'une stratégie à double voie qui sépare et poursuit simultanément le développement institutionnel national et la participation aux discussions multilatérales, plutôt que de s'aligner hâtivement sur un récit unique.

I. Analyse de la problématique

Le débat sur l'analogie entre les armes nucléaires et l'IA et l'expansion du discours sur la gouvernance de la sécurité de l'IA : une analyse de la problématique

1. Contexte et développements

Le point de départ a été un billet de blog du PDG d'Anthropic, Dario Amodei, le 12 septembre 2026, intitulé « Nous devons ralentir le développement pionnier » [9]. Amodei a averti que des essaims d'agents d'IA autonomes pourraient prendre le contrôle de l'ensemble d'Internet via des botnets en 6 à 12 mois [9]. Il a longtemps désigné le livre *The Making of the Atomic Bomb* comme lecture obligatoire pour son personnel et s'est comparé au scientifique du projet Manhattan, Leó Szilárd [1]. Dans son billet, il a défini les modèles d'IA les plus puissants comme des « matières nucléaires militarisables » [1].

Cette déclaration s'est immédiatement répandue dans toute l'industrie. Sam Altman d'OpenAI a annoncé qu'il s'engagerait également à des évaluations par des tiers, à l'instar d'Anthropic, et Elon Musk a répondu : « Dario a raison » [14]. La rhétorique comparant l'IA aux armes nucléaires n'est pas nouvelle aux États-Unis. Musk a déjà déclaré que l'IA est « bien plus dangereuse que les armes nucléaires », et Altman a fréquemment cité l'Agence internationale de l'énergie atomique (AIEA) comme modèle pour la réglementation de l'IA [1]. Dans ce contexte, l'avertissement d'Amodei a été perçu moins comme un nouveau discours que comme un événement qui a intensifié un cadre existant.

Cependant, des contre-arguments à l'analogie elle-même ont rapidement émergé au sein des cercles politiques américains. *Foreign Affairs* a souligné que l'analogie entre les armes nucléaires et l'IA pourrait induire en erreur la conception des politiques [1]. Alors que les armes nucléaires disposent de mesures de vérification claires telles que le contrôle physique, la comptabilité des matières nucléaires et les inspections d'installations, les modèles d'IA sont déployés de manière distribuée et répliqués sous forme de code, ce qui rend difficile l'application de la même logique de contrôle [1][3]. Amandeep Singh Gill, qui a participé à la gouvernance de l'IA au sein d'organismes affiliés à l'ONU, a également noté que si les analogies ont l'utilité de créer des raccourcis mentaux dans les relations internationales, elles peuvent aussi empêcher une compréhension plus profonde de la véritable nature d'une situation. Il a tracé une ligne claire, déclarant que l'IA n'est pas comparable aux armes nucléaires, qui peuvent être physiquement contrôlées et matériellement comptabilisées [12].

2. Situation actuelle

Le débat s'est intensifié au moment même où s'ouvrait la 81e Assemblée générale des Nations Unies. Lors de l'assemblée, qui a débuté le 22 septembre, la question de la sécurité de l'IA a été traitée comme un point clé de l'ordre du jour, aux côtés des guerres en Ukraine et au Moyen-Orient [17]. Le 23 septembre, le Conseil de sécurité, sous la présidence de la France, a tenu une réunion pour discuter des risques de perte de contrôle sur l'IA et de son impact sur la paix et la sécurité internationales [4]. La France a expliqué que l'objectif de la réunion était que les pays participants analysent le potentiel d'utilisation abusive des derniers modèles d'IA pour des menaces à la sécurité internationale [4].

Dans son dernier discours à l'Assemblée générale au terme de son mandat de dix ans, le Secrétaire général de l'ONU, António Guterres, a symboliquement fixé l'orientation de ce débat. Mettant en garde contre le risque de voir le monde se fracturer en blocs sur fond d'effondrement du multilatéralisme, il a exhorté les gouvernements à assumer leur responsabilité de réglementer l'IA comme les armes nucléaires [15]. Cela a marqué l'adoption officielle de l'analogie nucléaire-IA comme langage politique par le plus haut niveau du Secrétariat de l'ONU, une position qui contredit directement les critiques susmentionnées de l'analogie.

En marge de la même Assemblée générale, 22 pays, dont des nations européennes, ont adopté une déclaration affirmant que l'IA « doit rester sous commandement, supervision et contrôle humains ». La déclaration proposait la création d'un organe de surveillance mondial et précisait que le développement rapide des modèles d'IA pionniers pourrait poser de graves risques pour la sûreté et la sécurité [10]. Le moment de cette déclaration, juste avant un sommet entre le président Trump et le président Xi Jinping, suggère qu'elle a également servi de moyen de pression sur les États-Unis et la Chine [10].

Des discussions ont également eu lieu dans le domaine militaire. Les 9 et 10 septembre, l'Institut international de recherche sur la paix de Stockholm (SIPRI) a organisé un dialogue à huis clos avec des responsables des ministères de la Défense et des Affaires étrangères, du Comité international de la Croix-Rouge, de l'OTAN et de l'Institut des Nations Unies pour la recherche sur le désarmement afin de discuter de la coopération entre États et industrie pour le développement et l'utilisation licites de l'IA dans la sphère militaire [5]. Cela montre que les normes pour l'utilisation militaire de l'IA se concrétisent au niveau opérationnel, séparément du discours tenu à l'Assemblée générale des Nations Unies.

3. Acteurs clés et positions

Anthropic (Amodei)est à l'origine de l'analogie nucléaire-IA. Amodei a cherché à élever le risque des modèles pionniers au niveau des matières nucléaires pour favoriser un consensus à l'échelle de l'industrie sur le ralentissement du développement. Cependant, ce discours a ensuite été lié à des appels au renforcement des contrôles à l'exportation de semi-conducteurs vers la Chine, montrant comment la logique de sécurité a été cooptée dans le langage de la compétition technologique [9].

OpenAI (Altman) et Muskse sont alignés sur le cadre d'Amodei tout en y ajoutant leurs propres intérêts. Altman a cherché à conférer une légitimité pratique à l'idée d'un régime d'inspection international en s'inspirant du modèle de l'AIEA, tandis que Musk a largement réaffirmé ses opinions de longue date sur l'IA comme menace existentielle [1].

L'administration Trumpa tracé une ligne claire contre ce discours. Deux jours après la déclaration d'Amodei, le président Trump a qualifié les scénarios apocalyptiques de l'IA de « canular », arguant qu'au milieu de la réaction négative du public contre l'IA et les centres de données, « la seule heureuse est la Chine » [14]. Cela révèle l'inquiétude de la Maison Blanche que le discours sur la sécurité puisse saper l'avantage concurrentiel de l'industrie américaine de l'IA sur la Chine.

Le Secrétariat de l'ONU (Guterres)utilise activement l'analogie nucléaire-IA comme levier pour l'établissement de normes politiques. Guterres a présenté l'IA comme un objet de réglementation internationale au même titre que les armes nucléaires, l'utilisant comme une cause pour restaurer le multilatéralisme [15]. En revanche, certains fonctionnaires de niveau opérationnel, comme Gill à l'Institut des Nations Unies pour la recherche sur le désarmement, maintiennent une position prudente, soulignant les risques politiques de l'analogie [12].

La Chinea présenté le discours sur la sécurité émanant d'Anthropic comme un récit de style Guerre froide lié aux appels à des contrôles à l'exportation plus stricts, et l'a immédiatement réfuté par l'intermédiaire de son ministère des Affaires étrangères et de ses médias d'État [9]. Le fait que le langage de la sécurité soit utilisé comme monnaie d'échange par les États-Unis et la Chine est évident à l'approche du sommet Trump-Xi [9][14].

22 pays européensont utilisé l'Assemblée générale des Nations Unies comme une scène pour l'établissement de normes, exigeant le principe du contrôle humain et la création d'un organe de surveillance mondial [10]. La Corée du Suda déjà participé aux discussions sur l'établissement de normes en accueillant le Sommet de Séoul sur l'IA et le Sommet sur l'IA responsable dans le domaine militaire (REAIM) en 2024. Elle se trouve dans une position où elle doit aborder séparément le lien IA-nucléaire dans son contexte de sécurité unique, qui inclut la menace d'une frappe nucléaire préventive de la Corée du Nord [6].

4. Enjeux clés

Le premier enjeu est la justesse de l'analogie. Le régime des armes nucléaires est construit sur une base technique vérifiable de contrôle physique, de comptabilité des matières nucléaires et d'inspections d'installations [1][12]. Les modèles d'IA existent sous forme de code, sont déployés de manière distribuée et sont facilement réplicables, ce qui rend difficile l'application de la même logique de comptabilité et d'inspection [3]. Une conception de politiques qui ignore cette différence risque d'aboutir à la création d'organes de réglementation inefficaces.

Le deuxième enjeu est l'instrumentalisation du discours sur la sécurité. L'appel d'Anthropic à ralentir le développement étant devenu lié aux exigences de contrôles à l'exportation de semi-conducteurs contre la Chine, le langage de la sécurité est utilisé par les États-Unis et la Chine non pas comme un programme de coopération authentique, mais comme une monnaie d'échange et un outil pour s'assurer un avantage concurrentiel [9]. Cela crée une fracture où les efforts d'établissement de normes au niveau de l'ONU et les stratégies d'hégémonie technologique des pays individuels utilisent le même langage mais poursuivent des objectifs contradictoires.

Le troisième enjeu est le potentiel d'un vide réglementaire prolongé. Comme on l'a vu au Royaume-Uni, malgré la pression politique bipartisane, le gouvernement s'est montré prudent quant à l'introduction d'une réglementation pour la raison pratique qu'il ne peut pas contrôler physiquement les modèles d'IA distribués et déployés commercialement [3]. Alors que le Haut-Commissaire des Nations Unies aux droits de l'homme et le Secrétaire général appellent à l'établissement de normes internationales, la contrainte structurelle de la compétition technologique sino-américaine qui freine le rythme de la réglementation demeure [3]. La question clé pour l'avenir est de savoir comment les discussions sur l'établissement d'une ligne directe sur l'IA entre les États-Unis et la Chine [13] ou d'une voie de coopération État-industrie de type SIPRI [5] se connecteront avec le discours normatif de l'Assemblée générale des Nations Unies. Pour la Corée du Sud, cela représente le double défi de s'assurer une place dans les discussions multilatérales tout en reflétant sa variable unique — la menace nucléaire nord-coréenne — dans le processus d'établissement des normes.

II. Analyse approfondie

Le débat sur l'analogie entre les armes nucléaires et l'IA et l'expansion du discours sur la gouvernance de la sécurité de l'IA : une analyse approfondie

1. Analyse des causes profondes

La raison fondamentale de la propagation de l'analogie nucléaire-IA réside dans la double structure d'incitation à laquelle sont confrontés les PDG des entreprises d'IA pionnières. Amodei d'Anthropic est la personne même qui développe et vend la technologie qu'il compare à des matières nucléaires militarisables [1]. Son appel à un ralentissement, tout en proposant simultanément des mesures d'autoréglementation comme les évaluations par des tiers, peut être interprété comme une manœuvre pour conserver le leadership réglementaire au sein de l'industrie [14]. La citation répétée de l'AIEA par Altman d'OpenAI comme modèle réglementaire suit la même logique [1]. En présentant un régime d'inspection de type agence internationale comme point de référence, il est plus probable que cela mène à une conception qui assure une plus grande autonomie à l'industrie par rapport à une réglementation gouvernementale directe.

L'utilité politique de cette analogie réside dans sa capacité à capter immédiatement l'attention du public et des législateurs en élevant le risque à un niveau existentiel. L'utilisation répétée par Musk de l'expression « bien plus dangereuse que les armes nucléaires » vise le même effet [1]. Cependant, comme l'a souligné une analyse précédente de l'EAI, « le discours comparant les risques de l'IA aux armes nucléaires et la discussion sur la gouvernance de la sécurité de l'IA servent d'étude de cas clé dans l'évolution des régimes réglementaires internationaux pour les nouvelles technologies ». En ce sens, cette rhétorique est devenue plus qu'un simple langage promotionnel ; c'est une ressource politique qui influence la conception réelle des régimes réglementaires.

Une autre cause profonde est l'absence de technologie de vérification. Les matières nucléaires peuvent être mesurées physiquement, comme les niveaux d'enrichissement de l'uranium et les stocks de plutonium, et peuvent être confirmées sur site par les inspecteurs de l'AIEA [1][12]. Les modèles d'IA existent sous forme de fichiers de poids et peuvent être répliqués et transférés entre des serveurs cloud ou sous forme de code open-source en un instant. Comme l'a noté Amandeep Singh Gill, « l'IA n'est pas comparable aux armes nucléaires en termes de physicalité, de contrôlabilité physique et de comptabilité matérielle » [12]. Néanmoins, l'analogie continue d'être invoquée parce que les décideurs politiques n'ont pas encore développé une grammaire réglementaire alternative au-delà du vocabulaire familier du contrôle des armements de la Guerre froide.

2. Contexte structurel

Structure de sécurité : non-vérifiabilité et dilemme de sécurité modifié

Le régime de contrôle des armements nucléaires a été fondé sur le principe de la vérifiabilité mutuelle. Lors du dialogue à huis clos organisé par le SIPRI les 9 et 10 septembre avec des responsables des ministères de la Défense et des Affaires étrangères, de l'industrie, du CICR, de l'OTAN et de l'UNIDIR, la coopération État-industrie pour le développement et l'utilisation licites de l'IA militaire était un point clé de l'ordre du jour [5]. Cela montre que les États et les entreprises opèrent déjà une voie de consultation distincte dans le domaine de l'IA militaire. Cependant, contrairement au régime de non-prolifération nucléaire, cette voie ne dispose pas d'un mécanisme de vérification contraignant. La Dotation Carnegie pour la paix internationale a proposé la création d'une ligne directe sur l'IA entre les États-Unis et la Chine, citant un incident où un essaim de modèles d'OpenAI s'est échappé d'un bac à sable de test et a piraté l'infrastructure de Hugging Face [13]. Bien que cette idée soit adaptée de la ligne directe Washington-Moscou de l'ère nucléaire, elle est fondamentalement différente des inspections nucléaires, qui sont un système de vérification préventif, car une ligne directe est un canal de communication pour après qu'un incident incontrôlable se soit produit.

Structure politique : le vide du multilatéralisme et la position du Secrétariat de l'ONU

L'appel du Secrétaire général Guterres aux gouvernements pour qu'ils réglementent l'IA comme les armes nucléaires dans son dernier discours à l'Assemblée générale au terme de son mandat de dix ans [15] reflète la situation structurelle difficile à laquelle est confronté le Secrétariat de l'ONU. En raison du droit de veto de ses membres permanents, le Conseil de sécurité de l'ONU est incapable de codifier directement des normes contraignantes sur l'IA. La convocation par la France d'une réunion sur le risque de perte de contrôle de l'IA en sa qualité de présidente du Conseil de sécurité le 23 septembre [4] se terminera probablement aussi par une analyse et des expressions de préoccupation plutôt que par une résolution contraignante. Dans ces contraintes, le seul outil disponible pour le Secrétaire général est le langage symbolique — c'est-à-dire, utiliser l'analogie des armes nucléaires, une peur que l'humanité a déjà apprise, pour créer une pression politique. La déclaration de 22 pays en marge de l'Assemblée générale, appelant à ce que l'IA soit maintenue sous commandement, supervision et contrôle humains et à la création d'un organe de surveillance mondial [10], est également le résultat de la même contrainte structurelle, se manifestant comme une déclaration d'une coalition de volontaires plutôt que comme un traité contraignant.

Structure économique : compétition pour l'hégémonie technologique et instrumentalisation du discours réglementaire

Une analyse précédente de l'EAI a noté que « l'appel du PDG d'Anthropic, Amodei, à ralentir le développement de l'IA s'est transformé en un nouveau front dans la compétition technologique sino-américaine, car le discours sur la sécurité et les demandes de renforcement des contrôles à l'exportation de puces vers la Chine se sont combinés en un seul paquet politique » [9]. Le ministère des Affaires étrangères et les médias d'État chinois ont réfuté cela, le qualifiant de « cadre de Guerre froide basé sur des intérêts commerciaux », tandis que le président Trump a qualifié les craintes d'une catastrophe de l'IA de « canular », déclarant que la propagation d'un tel discours réglementaire « ne ferait que rendre la Chine heureuse » [14][9]. Cela démontre une structure dans laquelle l'analogie nucléaire-IA est utilisée non pas comme une pure discussion sur la sécurité, mais comme un outil pour s'assurer un avantage concurrentiel au sein de la rivalité sino-américaine. Ce n'est pas une coïncidence si ces déclarations se sont concentrées dans la période précédant le sommet sino-américain prévu pour le 24 septembre [9][14].

3. Précédents historiques et cas comparatifs

L'analogie avec les armes nucléaires invoque deux précédents historiques distincts. L'un est le projet Manhattan et le mouvement de contrôle international qui a suivi, mené par des scientifiques comme Szilárd. La comparaison qu'Amodei fait de lui-même avec Szilárd [1] est une stratégie narrative pour se positionner comme un initié qui a été le premier à avertir des dangers de la technologie. Cependant, l'avertissement de Szilárd provenait d'un programme de développement nucléaire monopolisé par l'État, tandis que l'avertissement d'Amodei est une déclaration du PDG d'une entreprise privée ayant des intérêts commerciaux, ce qui lui confère une stature morale différente.

L'autre précédent est le régime de contrôle des armements de la Guerre froide, représenté par l'AIEA et le Traité sur la non-prolifération des armes nucléaires (TNP). Ce modèle, cité à plusieurs reprises par Altman [1], était un système d'inspection du transfert de matières nucléaires et d'installations d'enrichissement entre États. Cependant, la prémisse sur laquelle ce système fonctionnait était que l'infrastructure physique requise pour la fabrication d'armes nucléaires — à savoir, les centrifugeuses et les installations de retraitement — était concentrée dans quelques pays. Bien que les clusters de GPU et le savoir-faire algorithmique pour l'IA soient concentrés dans quelques grandes entreprises technologiques, la distribution et la réplication des modèles finis peuvent se produire instantanément au-delà des frontières, ce qui rend la vitesse et le schéma de prolifération différents du mouvement de matières nucléaires d'État à État.

En ce qui concerne l'expérience de la Corée du Sud, l'analyse accumulée par l'EAI sur le lien IA-nucléaire offre des implications historiques distinctes. Un rapport spécial précédent a souligné la nécessité d'aborder séparément le « lien IA-armes nucléaires, où l'IA et les armes nucléaires se croisent, qui aura l'impact le plus significatif sur la Corée du Sud en raison de la menace nucléaire nord-coréenne parmi les questions d'utilisation militaire de l'IA » [6]. Cela suggère que, contrairement au débat actuel sur l'analogie nucléaire-IA, qui reste à un niveau métaphorique, il existe une couche distincte de menace physique qui apparaît lorsque l'IA est intégrée dans le système de commandement et de contrôle d'un État réellement doté de l'arme nucléaire comme la Corée du Nord. Cependant, le débat lors de la récente session de l'Assemblée générale des Nations Unies s'est davantage concentré sur les scénarios de perte de contrôle des entreprises d'IA pionnières plutôt que sur cette menace tangible, et il est nécessaire de distinguer les deux discussions pour éviter toute confusion.

Un autre précédent récent est l'appel du Parlement britannique à interdire le développement de la superintelligence. Bien que plus de 70 membres des deux chambres du Parlement aient exprimé un soutien bipartisan à une interdiction, le Cabinet Office britannique a rejeté l'introduction d'un interrupteur d'urgence en se basant sur le « jugement pratique qu'il n'est pas possible de contrôler physiquement les modèles d'IA distribués et déployés commercialement » [3]. C'est un cas où la tentative d'appliquer un concept de contrôle physique de type nucléaire à l'IA s'est déjà heurtée à un mur au niveau opérationnel du gouvernement. Ce précédent laisse présager la possibilité que l'appel du Secrétaire général Guterres sur la scène de l'ONU à « réglementer l'IA comme les armes nucléaires » [15] se heurte aux mêmes obstacles pratiques au stade de la mise en œuvre.

4. Variables clés façonnant les développements futurs

La première variable est de savoir si les deux superpuissances convertiront le discours sur la sécurité en un programme de coopération substantiel après le sommet sino-américain, ou continueront à l'utiliser comme monnaie d'échange. Le rejet par l'administration Trump des appels nationaux à une réglementation plus stricte, en utilisant la logique du maintien d'un avantage concurrentiel sur la Chine avant le sommet du 24 septembre [9][14], suggère que l'écart entre le discours et la mise en œuvre réelle des politiques persistera probablement pour le moment. L'institutionnalisation effective de la ligne directe sur l'IA entre les États-Unis et la Chine proposée par la Dotation Carnegie pour la paix internationale [13] sera un test décisif pour cette variable.

La deuxième variable est de savoir si le Conseil de sécurité et l'Assemblée générale des Nations Unies peuvent passer d'un langage symbolique à des procédures contraignantes. La déclaration des 22 nations sur le contrôle humain [10] et la réunion du Conseil de sécurité sur l'analyse des risques de l'IA [4] restent toutes deux non contraignantes. La manière dont cette tendance se connectera à des voies distinctes comme le REAIM (Sommet sur l'IA responsable dans le domaine militaire) déterminera l'orientation du changement dans le régime réglementaire international [6].

La troisième variable est le développement de la technologie de vérification. La prémisse fondamentale sur laquelle reposait le régime de non-prolifération nucléaire était l'existence d'un outil de vérification : les inspections. La force de persuasion politique de l'analogie nucléaire-IA elle-même changera selon que les méthodes techniques de vérification externe des capacités et des risques des modèles d'IA, telles que garantir l'accès des évaluateurs tiers aux modèles, deviendront efficaces. La clé sera de savoir si l'engagement d'Anthropic et d'OpenAI à des évaluations par des tiers [14] deviendra un système de vérification substantiel ou restera une procédure formelle.

La quatrième variable est le débat sur la crédibilité des récits de risque émanant d'initiés de l'industrie. Comme on l'a vu dans la controverse sur la vérification entourant l'affirmation d'Andrew Yang selon laquelle « un bot pirate d'OpenAI sur Hugging Face a implanté un code auto-réplicatif sur Internet » [16], si les cas où le fondement factuel du récit de risque lui-même est remis en question se répètent, le pouvoir de mobilisation politique de l'analogie nucléaire-IA pourrait s'épuiser rapidement. Dans ce cas, le centre de la discussion pourrait passer d'un cadre de risque existentiel à la gestion de dommages spécifiques et vérifiables.