Commentaire visible : L'ère de la Guerre de l'IA 2.0 déclenchée par DeepSeek et notre stratégie de réponse

Lien YouTube : https://www.youtube.com/watch?v=XEw7Yypb9uY

Script vidéo

Bienvenue. Je suis Seong-woo de Naver Cloud. Je pense que l'intelligence artificielle est déjà devenue un agenda important de notre époque, avec des aspects techniques de DeepSeek. À partir de l'année dernière, nous avons observé des changements rapides dans cette perspective, et je souhaite vous en parler. J'ai eu de nombreuses discussions avec le professeur Sangbae Kim de l'Université nationale de Séoul et d'autres. Je souhaite partager mes réflexions tout en discutant de l'impact de l'intelligence artificielle sur les relations internationales. Avant d'entrer dans le vif du sujet, il est important de souligner le changement de paradigme majeur dans la technologie de l'IA. Je pense que les professeurs et les experts présents utilisent déjà l'IA générative comme GPT. En particulier, les modèles tels que GPT-4 ou Anthropic Claude 3.5 Sonnet, Claude 2.0, s'engagent dans un apprentissage intensif de type mémorisation. Ils apprennent énormément en augmentant considérablement le nombre de paramètres d'un modèle d'IA, c'est-à-dire la taille du modèle, à plus de 10 billions de tokens, ce qui peut être considéré comme des mots, en mémorisant d'énormes quantités de données sur Internet, sous forme de masquage et de prédiction de mots. Ceci est appelé pré-entraînement, et après une formation de“course” avec des données créées par des experts, cela devient ce que vous utilisez, comme GPT. Il est basé sur la connaissance, comprend très bien le langage, comprend bien le contexte et possède des capacités de raisonnement de base. Nous avons défini cela comme la première génération d'IA basée sur la connaissance.

L'émergence de l'IA de deuxième génération, axée sur la réflexion

En Corée, il existe HyperCLOVA X de Naver et la série EXAONE publiée par LG AI Research. Cependant, avec la sortie d'EXAONE en septembre dernier, nous sommes entrés dans une nouvelle étape, une nouvelle ère, que j'appelle la deuxième génération. Je la qualifie d'IA axée sur la réflexion, plutôt que d'IA basée sur la connaissance, car elle est capable de raisonnement logique autonome, allant au-delà de la simple capacité à bien écrire et à posséder beaucoup de connaissances. Elle résout la logique par elle-même.

En Corée, il existe HyperCLOVA X de Naver et la série EXAONE publiée par LG AI Research. Cependant, avec la sortie d'EXAONE en septembre dernier, nous sommes entrés dans une nouvelle étape, une nouvelle ère, que j'appelle la deuxième génération. Je la qualifie d'IA axée sur la réflexion, plutôt que d'IA basée sur la connaissance, car elle est capable de raisonnement logique autonome, allant au-delà de la simple capacité à bien écrire et à posséder beaucoup de connaissances. Elle résout la logique par elle-même.

Ils possèdent un nombre considérable de GPU. Dès 2020, ils possédaient déjà plus de 10 000 A100, et selon divers témoignages, ils détiendraient entre 50 000 et 60 000 GPU au total, en incluant les H100, H800, A100 et H20. C'est pourquoi le gouvernement américain a ouvert une enquête sur Nvidia, se demandant : 'Est-ce que les restrictions d'exportation sont bien appliquées ?' Deepseek n'est pas apparu soudainement. V1 est sorti pour la première fois en janvier de l'année dernière, suivi de V2 en mai et de V3 en décembre, avec des progrès technologiques remarquables et rapides. Deepseek a annoncé R1 en utilisant une IA sophistiquée basée sur la connaissance comme Deepseek V3, ainsi que l'apprentissage par renforcement et des données de flux logique long (données COT).

Par conséquent, ils ont lancé des services de chatbot, des applications Android et iOS comme ChatGPT dans le monde entier, atteignant la première place sur le marché de l'App Store américain. Certains disent que c'est une victoire de l'ingénierie, mais en réalité, un grand nombre de GPU et environ 100 à 200 ingénieurs en IA de haut niveau, très intelligents, ont également proposé diverses nouvelles méthodes. Au cours de la dernière année, ils ont effectivement créé de nombreux algorithmes qui, bien que n'étant pas entièrement nouveaux, ont permis d'améliorer les méthodes existantes en s'appuyant sur les avancées antérieures. Ces algorithmes comprennent des techniques qui peuvent entraîner une réduction globale des coûts. Concernant V1, quand il est sorti, le sentiment était le suivant : 'Encore une entreprise chinoise d'IA open source de plus.' Rien de plus, rien de moins. À l'époque, il n'y avait aucune supériorité par rapport au modèle Qwen d'Alibaba Cloud. Cependant, à partir du modèle V2, des innovations ont commencé à apparaître.

Développement de la technologie de l'IA en Chine et DeepSeek

Parmi les techniques clés utilisées dans Deepseek V3, il y a l''architecture multi-têtes'. Avec de telles techniques, contrairement aux transformeurs traditionnels, pour simplifier, lorsqu'une entrée est donnée, le modèle n'utilise pas l'ensemble du modèle ; il examine la question et calcule en utilisant uniquement la partie experte dans un domaine spécifique. Par exemple, pour V2, le nombre total de paramètres est de 26 milliards. Si la question concerne le droit, il utilise uniquement les 21 milliards de paramètres liés au droit pour le calcul. En entraînant ainsi, le coût d'entraînement est considérablement réduit par rapport à un modèle unique ayant les mêmes 26 milliards de paramètres. Cependant, le coût d'exploitation devient plus élevé. En effet, à chaque fois qu'une entrée est reçue, le calcul est effectué en utilisant seulement 21 milliards de paramètres, mais par rapport aux modèles qui utilisent seulement ces 21 milliards, le coût d'exploitation peut être plus de six fois supérieur. Car le modèle, après tout, doit rester chargé sur le matériel.

dans la mémoire. Par conséquent, toutes sortes de techniques d'ingénierie d'optimisation sont déployées pour réduire ces coûts d'exploitation. La structure de base de V3 n'est pas très différente, mais la taille du modèle est environ triplée. De même, il utilise des modèles 'Mixture of Experts' (mélange d'experts). De plus, de nouvelles techniques d'apprentissage sont intégrées, et la quantité de données d'apprentissage est considérablement augmentée, atteignant 15 billions de tokens. Cependant, ce qui a choqué le monde entier à propos de Deepseek V3, c'est le Tableau 1. C'est de là que cela vient.

Il est indiqué que cela peut être réalisé pour 8 milliards de yuans. Bien que cela semble intentionnel, c'est une forme de désinformation. Regardons le tableau. Il est indiqué 'Coût d'entraînement', avec les sections 'Pré-entraînement', 'Extension de contexte' et 'Post-entraînement'. Vous pouvez considérer cela comme les phases d'apprentissage. Il est indiqué combien d'heures de GPU H800 sont utilisées pour chaque section. Au total, il est indiqué que 2,788 millions d'heures de GPU ont été utilisées. Et on peut imaginer qu'un superordinateur, composé de 248 GPU H800 interconnectés en réseau, a été utilisé. Cela représente 2,788 millions d'heures. Le coût de location d'un H800 dans le cloud est de 2 dollars par heure. Il s'agit du coût des GPU nécessaires à un entraînement réussi, converti en heures de GPU, et non du coût de développement.

DeepSeek V3 et l'architecture MoE

Il est peu probable que cela ait réussi du premier coup, et d'innombrables essais et erreurs pour trouver cette recette de succès, les coûts de main-d'œuvre, et les coûts de construction des données ne sont pas inclus. C'est même indiqué dans le document. Par conséquent, en tenant compte de tous les GPU et autres, on peut estimer que le coût d'investissement a été de plusieurs centaines de milliards de yuans, voire de 1 à 2 billions de yuans. Et à partir de ce V3, ils ont créé un modèle appelé R1, capable d'un raisonnement inférentiel très performant. Lors de la création de ce modèle V3, ainsi que du modèle R1, il semble qu'ils aient extrait des données des modèles d'OpenAI pour apprendre avec ces connaissances. Bien qu'ils disent que ce n'est pas le cas, plusieurs preuves émergent. Je ne sais pas si j'ai inclus les diapositives suivantes, mais regardons.

Par exemple, je devrai probablement omettre cela. En bref, lorsque j'ai entré une requête, et que j'ai demandé quelque chose d'un peu étrange, la réponse était : 'La politique que vous avez demandée enfreint la politique de confidentialité d'OpenAI.' Cela signifie naturellement qu'ils ont obtenu les données et les ont utilisées. Quoi qu'il en soit, ce qui est choquant dans cette technologie, c'est qu'elle a été créée. Elle a été créée en Chine, et non aux États-Unis ou en Chine. De plus, de nombreuses entreprises d'IA, y compris nous-mêmes, se demandaient comment créer une IA capable d'un raisonnement inférentiel aussi performant que GPT-4 d'OpenAI. Nous avions des estimations, mais il était impossible de le faire sans expérimentation. Cependant, chaque nouvelle tentative entraînait des coûts très élevés, ce qui était une charge. Mais ils ont publié dans leur rapport technique des détails tels que 'SFT-GPT', 'SFT-GPT', et que rien d'autre n'est nécessaire, etc. Ils ont divulgué environ 80 % des détails. En regardant cela,

les entreprises du monde entier, y compris en France, en Corée, au Japon, etc., ont pu le reproduire. C'est ce qui a eu un impact considérable. De plus, la réduction des coûts a été possible car, lors de la création de GPT-4 d'OpenAI, les données COT (Chain of Thought) longues devaient nécessairement être créées par des experts humains, ce qui prenait beaucoup de temps et coûtait énormément cher. Mais les Chinois ont pu créer les données en utilisant R1, ce qui a considérablement réduit ces coûts. En tenant compte de tout cela, il est possible de créer une IA capable d'un raisonnement inférentiel de pointe avec un investissement relativement faible, un niveau d'investissement que nous pouvons supporter, contrairement aux investissements astronomiques des États-Unis. Et il n'y a pas que Deepseek. Dans le même ordre d'idées,

Divulgation technologique et effets de réduction des coûts

des entreprises comme MiniMax, Moonshot, Deel, Alibaba Cloud, et bien d'autres, ont commencé à produire des IA aux capacités similaires. Non seulement en Chine, mais aussi aux États-Unis, des produits plus chers ont commencé à apparaître. GPT-4 d'OpenAI n'est plus un privilège exclusif. La course contre la montre a commencé pour les modèles de deuxième génération. Donc, les informations résumées sont-elles vraiment exactes ? En réalité, en tenant compte de nombreux facteurs, le coût de développement de 8 milliards de yuans est une mauvaise compréhension. Alors, n'importe qui peut-il le faire avec seulement 8 milliards de yuans ? Non.

Seules les entreprises et les pays disposant de capacités suffisantes en IA de première génération peuvent le faire. Il y a environ une dizaine de ces pays. Alors, tous ces pays vont-ils se lancer ? Voulons-nous vraiment essayer de le faire à un coût très bas ? En réalité, ce n'est pas si bon marché. En effet, si l'on compare le prix proposé par les États-Unis pour le même modèle, il est près de deux fois plus cher. Il y a une raison pour ce prix bas. Bien qu'ils aient leurs propres techniques d'optimisation, il est probable qu'ils le proposent en dessous du coût pour d'autres raisons. Ces raisons pourraient être la prise de contrôle de l'hégémonie de l'écosystème de l'IA open source en diffusant l'IA open source dans le monde entier, et la valeur intrinsèque d'une IA capable de raisonnement inférentiel, qui produira du contenu basé sur ses propres valeurs. Il n'y a pas de meilleure méthode pour la propagande du système mondial.

Intensification de la concurrence en matière d'IA et stratégie de la Chine

Naturellement, les gens poseront des questions et obtiendront des réponses, qui seront naturellement exportées. Ils ont naturellement pris la décision de diffuser ces éléments en open source dans le monde entier pour exercer une influence et établir les bases de l'écosystème. Et à mesure que les gens les utilisent, les données continueront de s'accumuler. Dans Deepseek. Et les données stockées dans Deepseek peuvent être utilisées par le gouvernement chinois. Il semble que tout cela ait été pris en compte. La mémoire GPU devrait encore croître considérablement. À l'avenir, de plus en plus de pays chercheront à acheter des équipements coûteux pour créer cette IA de deuxième génération, et il est évident que les connaissances de cette IA dotée d'un raisonnement inférentiel exceptionnel seront transférées à des modèles plus petits, se matérialisant sous la forme d'agents IA, c'est-à-dire des IA qui aident les gens dans leurs tâches.

Naturellement, cela s'infiltrera dans les voitures, les robots, les smartphones, les lunettes et les appareils électroménagers. Par conséquent, la demande de mémoire et de semi-conducteurs d'IA sera très forte et le marché pourrait devenir très vaste. Cet aspect est sans aucun doute bénéfique pour la Corée. Récemment, le président Biden, le vice-président Biden, ont déclaré : 'Les semi-conducteurs d'IA doivent être fabriqués uniquement aux États-Unis.' Il semble que cela ait été pris en compte du point de vue du marché et de la gestion de la chaîne d'approvisionnement. Les informations personnelles sont bien connues, et la situation actuelle est bien sûr en cours. Ce qui détermine les caractéristiques d'une IA, c'est les données avec lesquelles elle a été entraînée. Une IA créée aux États-Unis peut être utilisée dans le monde entier, mais elle représente les intérêts américains. Car elle a été entraînée avec des documents créés aux États-Unis. Une IA créée en Chine peut être utilisée dans le monde entier, mais elle représente les intérêts chinois. La concurrence mondiale s'intensifiera. La stabilité est relativement faible. Par rapport à Llama de Meta, ou aux IA fermées comme ChatGPT d'OpenAI et Claude d'Anthropic, il existe de nombreuses vulnérabilités.

C'est ce que montrent également divers rapports. Cisco a récemment calculé le taux de réussite des attaques externes, et il semble qu'ils n'aient pas accordé beaucoup d'attention à ces vulnérabilités. Avant la publication de GPT, et avant la publication de Deepseek R1, l'administration Biden, avant de passer le relais à l'administration Trump, avait annoncé ceci : elle allait diviser en niveaux les restrictions d'exportation de GPU d'IA, en particulier les GPU, et les semi-conducteurs d'IA. La Corée, l'Asie de l'Est, y compris la Corée, le Japon, Taïwan, et certaines parties de l'Europe, ainsi que les pays 5G, n'auraient aucune restriction sur l'exportation de GPU. Les pays en jaune introduiraient des quotas, et ceux en rouge seraient soumis à une interdiction d'exportation. Ce qui est intéressant, c'est que ces mesures s'appliquent également à l'utilisation des modèles d'IA. Autrement dit, les pays en jaune ne seraient pas autorisés à utiliser librement des modèles comme GPT-4 ou GPT-4o. Car ils pourraient extraire des données. Ces mesures ont été mises en place, mais le gouvernement a changé. Et ces mesures ont été annulées, avec une directive administrative exigeant l'élaboration de mesures plus strictes dans les 180 jours.

Compétition pour la suprématie technologique en IA et positions des pays

Il existe une loi présentée par un membre du Congrès républicain qui est stupéfiante : 'Vingt ans de prison pour le téléchargement et l'utilisation de modèles d'IA d'un pays ennemi dans le secteur public'. Bien que ce soit une loi absurde, elle reflète une certaine philosophie ou orientation. Il semble que nous passions de la protection du marché à un niveau de guerre froide, en raison de la concurrence dans la technologie de l'IA. Par conséquent, le 10 février, lors du sommet sur l'IA à Paris, qui visait en réalité à discuter de la sécurité, les États-Unis ont critiqué vivement, disant : 'Vous ne pouvez pas progresser à cause de vos réglementations.' Et les États-Unis et le Royaume-Uni, qui d'habitude publient une déclaration après ce sommet, n'ont pas signé et se sont retirés. On s'attendait à ce que les États-Unis fassent cela sous Trump, mais le Royaume-Uni, qui était pourtant un leader dans l'établissement de l'ordre en matière de sécurité de l'IA, a dit 'Nous ne le ferons pas' et s'est retiré. Il semble qu'ils aient pensé : 'Nous devons trouver notre propre voie.' Le travail a été transformé. En ce qui concerne l'IA, nous avons fait des efforts pour renforcer nos capacités en IA et investir dans les infrastructures.

Nous allons investir dans l'infrastructure, et même créer une organisation dédiée à l'IA souveraine. L'UE a également annoncé un investissement de 300 milliards d'euros, dont 30 milliards d'euros pour l'infrastructure informatique et la recherche et le développement conjoints en IA. Bien que les États-Unis soient une superpuissance, la Chine, la France, le Japon, Taïwan, le Canada, qui sont à un niveau similaire au nôtre, sont tous en pleine course. La réglementation, la sécurité, nous y penserons plus tard. Si nous sommes exclus de ce jeu, c'est la fin. Et la raison pour laquelle ils pensent ainsi, c'est que, contrairement à avant où seuls les États-Unis menaient la course et les autres suivaient, maintenant que la Chine est au même niveau que les États-Unis, ils se disent : 'Nous pouvons le faire aussi, nous devons en faire plus.' Par conséquent, l'UE a également mis en place des réglementations sur les bibliothèques d'IA et la confidentialité des données. Il existe des réglementations qui semblent entraver leur progression.

Réglementation de l'IA et concurrence en matière d'investissement par pays

De notre point de vue, il est naturel d'investir massivement dans les infrastructures et de favoriser des entreprises nationales d'IA compétitives grâce à des investissements suffisants. Le président par intérim a récemment annoncé un projet allant dans ce sens. Le Comité national de l'IA estime que diverses politiques sont nécessaires pour que l'IA s'intègre bien dans chaque secteur industriel. Je pense que les pays du Moyen-Orient, d'Asie du Sud-Est et d'Amérique du Sud, qui ne sont ni les États-Unis ni la Chine, souhaitent également renforcer leur compétitivité en IA. Cependant, ils auront de nombreuses préoccupations concernant les lacunes techniques et le manque de données dans leur langue. La Corée possède une vaste expérience dans l'accumulation et l'acquisition de données, ainsi qu'une expérience dans le développement d'IA centrées sur le coréen. De plus, nous avons de l'expérience dans la construction et le développement de l'industrie des semi-conducteurs d'IA et des centres de données associés. Par conséquent, si nous établissons des alliances pour obtenir un leadership technologique, même si notre puissance nationale est faible, nous pouvons rivaliser avec les États-Unis et la Chine en unissant nos forces.

La raison pour laquelle ces pays ne coopèrent pas avec les États-Unis et la Chine est qu'ils pourraient devenir dépendants. Cependant, nous pensons que nous pouvons établir une alliance sous forme de partenariat, et non de dépendance.

Renforcement de la compétitivité de la Corée en matière d'IA et stratégie d'alliance

De notre point de vue, il est naturel d'investir massivement dans l'infrastructure et de favoriser des entreprises coréennes d'IA compétitives grâce à des investissements suffisants dans l'infrastructure. Le président par intérim a récemment annoncé un projet allant dans ce sens. Le Comité national de l'IA estime que diverses politiques sont nécessaires pour que l'intelligence artificielle s'intègre bien dans chaque secteur industriel. Dans un contexte de rivalité entre les États-Unis et la Chine, d'autres pays du Moyen-Orient, d'Asie du Sud-Est et d'Amérique latine souhaitent également renforcer leur compétitivité en matière d'IA. Cependant, ils auront de nombreuses préoccupations concernant les lacunes technologiques et le manque de données dans leur langue respective. La Corée possède une vaste expérience dans l'accumulation et l'acquisition de données, ainsi qu'une expérience dans le développement d'IA centrées sur le coréen. De plus, elle possède une expérience dans la construction d'infrastructures de centres de données et de semi-conducteurs d'IA connexes, ainsi que dans le développement industriel. Par conséquent, si nous construisons une alliance pour assurer un leadership technologique, même si notre puissance nationale est faible, nous pouvons rivaliser avec les États-Unis et la Chine en unissant nos forces.

Ces pays ne coopèrent pas avec les États-Unis et la Chine car ils risquent de devenir dépendants. Cependant, nous pensons que nous pouvons établir une alliance sous forme de partenariat, et non de dépendance.