Comentario Visible: La Era de la Guerra de IA 2.0 Desencadenada por DeepSeek y Nuestra Estrategia de Respuesta

Enlace de YouTube : https://www.youtube.com/watch?v=XEw7Yypb9uY

Guion de video

Es un placer. Soy Sung Woo de Naver Cloud. Creo que la inteligencia artificial se ha convertido en una agenda importante de nuestro tiempo, junto con aspectos técnicos de DeepSeek. Desde el año pasado, hemos visto cambios drásticos en este sentido, y me gustaría hablar sobre estos puntos. He estado conversando mucho con el profesor Sangbae Kim de la Universidad Nacional de Seúl y otros. Me gustaría compartir las ideas que he tenido al discutir el impacto de la inteligencia artificial en las relaciones internacionales. Antes de entrar en materia, creo que es necesario señalar el gran cambio de paradigma en la tecnología de inteligencia artificial. Probablemente, los profesores y expertos aquí presentes también estén utilizando IA generativa como GPT. En particular, modelos como GPT-4 o Anthropic Claude 3.5 Sonnet, Claude 2.0, se dedican a la educación memorística. Aumentan enormemente el número de parámetros de un modelo de inteligencia artificial, es decir, el tamaño del modelo, y aprenden de forma masiva a partir de más de 10 billones de tokens, que se pueden pensar como palabras, en un formato de ocultar y adivinar palabras. Esto se llama preentrenamiento, y luego, después de un entrenamiento de ajuste fino con datos creados por expertos, se convierten en lo que ustedes utilizan, como GPT. Se basan en el conocimiento, comprenden muy bien el lenguaje, entienden el contexto y poseen capacidades básicas de razonamiento. Hemos definido esto como IA de conocimiento de primera generación.

La llegada de la IA de razonamiento de segunda generación.

La llegada de la IA de razonamiento de segunda generación

En Corea, existen HyperCLOVA X de Naver y la serie EXAONE presentada por LG AI Research. Sin embargo, con la llegada de EXAONE en septiembre del año pasado, entramos en una nueva etapa, una nueva era, a la que yo llamo la segunda generación. No es una IA basada en el conocimiento, sino una IA de razonamiento, y la llamo 'de razonamiento' porque va más allá de escribir bien y tener mucho conocimiento, es una IA capaz de realizar un razonamiento lógico por sí misma. Resolver la lógica por sí misma

Poseen una gran cantidad de GPUs. Ya en 2020, poseían más de 10.000 A100, y según varios testimonios, se sabe que poseen entre 50.000 y 60.000 GPUs en total, incluyendo H100, H800, A100 y H20. Por esta razón, el gobierno de EE. UU. inició una investigación sobre Nvidia, preguntando '¿Se están aplicando correctamente las restricciones de exportación?'. DeepSee no apareció de repente. V1 se lanzó por primera vez en enero del año pasado, seguido por V2 en mayo y V3 en diciembre, y la tecnología ha avanzado rápidamente a un nivel notable. Con una IA de conocimiento potente como DeepSee V3, y utilizando el aprendizaje por refuerzo y datos de flujo lógico extenso (datos COT) como mencioné, han presentado DeepSee R1.

Luego, lanzaron servicios de chatbot, aplicaciones para Android e iOS como ChatGPT, a nivel mundial, y alcanzaron el primer puesto en el mercado de aplicaciones de EE. UU. Algunos dicen que es una victoria de la ingeniería, pero en realidad, un gran número de GPUs y entre 100 y 200 ingenieros de IA de primer nivel, muy inteligentes, han propuesto diversas técnicas nuevas. En el último año, han desarrollado muchos algoritmos que, aunque no son completamente nuevos, mejoran los métodos existentes sobre los hombros de gigantes. Estos algoritmos incluyen técnicas que pueden reducir los costos generales. Si miramos V1, la sensación cuando se lanzó V1 fue la siguiente: Yo también leí el texto completo, y pensé que era solo otra empresa china de IA de código abierto, nada más. En ese momento, no era mejor que el modelo Qwen de Alibaba Cloud. Sin embargo, a partir del modelo V2, comenzaron a aparecer cosas innovadoras.

Desarrollo de la tecnología de IA en China y DeepSeek

Una de las técnicas clave utilizadas en DeepSee V3 es la 'arquitectura multi-cabeza'. Con esta técnica, a diferencia de los Transformers tradicionales, en lugar de usar todo el modelo para una entrada, se analiza la pregunta y se calcula utilizando solo una parte experta en un área específica. Por ejemplo, en V2, el número total de parámetros es de 26 mil millones. Si la pregunta es sobre derecho, se calculan utilizando solo 21 mil millones de parámetros relacionados con el derecho. Si se entrena de esta manera, el costo de entrenamiento se reduce significativamente en comparación con un modelo único con los mismos 26 mil millones de parámetros. Sin embargo, el costo operativo aumenta. Esto se debe a que, cada vez que se recibe una entrada, se calcula utilizando solo 21 mil millones de parámetros. En comparación con modelos que utilizan solo estos 21 mil millones, el costo operativo puede ser hasta seis veces mayor. Esto se debe a que el modelo grande, de todos modos, debe permanecer en la memoria del hardware.

Por lo tanto, se emplean todo tipo de técnicas de ingeniería optimizadas para mitigar este costo operativo. La estructura básica de V3 no difiere mucho, y el tamaño del modelo se triplica aproximadamente. De manera similar, se utilizan modelos que combinan expertos ('Mixture of Experts'). Además, se incorporan técnicas de aprendizaje más nuevas, y la cantidad de datos de entrenamiento se incrementa considerablemente hasta 15 billones de tokens. Sin embargo, lo que impactó al mundo con DeepSee V3 fue la Tabla 1. De ahí provino.

Comenzamos a ver cosas como la 'arquitectura de múltiples cabezas', que puede considerarse la técnica central utilizada en DeepSeek V3. Si se explica de forma sencilla, a diferencia del Transformer existente, estas técnicas no utilizan todo el modelo para una entrada dada, sino que, al ver la pregunta, calculan utilizando solo una parte específica de expertos en un área determinada. En V2, el número total de parámetros es de 26 mil millones. Cuando entra una pregunta, si está relacionada con la ley, por ejemplo, calcula utilizando solo una parte de los parámetros relacionados con la ley, 21 mil millones. Entrenar de esta manera reduce significativamente el costo de entrenamiento en comparación con un modelo único con los mismos 26 mil millones de parámetros. Sin embargo, el costo operativo aumenta. Esto se debe a que, en la práctica, cada vez que entra una entrada, el cálculo se realiza utilizando solo 21 mil millones de parámetros. En comparación con los modelos que utilizan solo 21 mil millones de parámetros, el costo operativo puede ser más de seis veces mayor. Porque el modelo grande, de alguna manera, debe residir en el hardware.

DeepSeek V3 y la arquitectura MoE

Debe estar en la memoria. Por lo tanto, se emplean todo tipo de técnicas de ingeniería de optimización para mitigar ese costo operativo. La estructura básica de V3 no es muy diferente, y el tamaño del modelo se triplica aproximadamente. De manera similar, se utilizan 'Mixture of Experts', modelos donde se interconectan expertos. Además, se incorporan técnicas más nuevas durante el entrenamiento, y la cantidad de datos de entrenamiento aumenta considerablemente hasta 15 billones de tokens. Sin embargo, lo que impactó al mundo sobre DeepSeek V3 es precisamente la Tabla 1. De ahí proviene.

Se puede crear por 8 mil millones de wones. Si bien esto parece intencionado, es un poco engañoso. Veamos la tabla. Se titula 'Costo de Entrenamiento', y tiene secciones para 'Preentrenamiento', 'Extensión de Contexto' y 'Postentrenamiento'. Pueden considerarse como las partes de aprendizaje. Cada una indica cuántas horas de GPU H800 se utilizan. En total, se indica que se utilizaron 2.788.000 horas de GPU. Y se utilizó una supercomputadora donde 248 GPUs H800 estaban interconectadas en una red potente. Con esto, se utilizan 2.788.000 horas. El costo de alquilar una de estas H800 en la nube es de 2 dólares por hora. Esto representa el costo de la GPU en horas para un entrenamiento exitoso, no el costo de desarrollo.

Es poco probable que haya sido exitoso a la primera, y no incluye los innumerables intentos y errores, los costos laborales ni los costos de construcción de datos para encontrar esa receta de éxito. Incluso está escrito en el artículo. Por lo tanto, considerando todas las GPUs y otros factores, se puede estimar que la inversión total fue de cientos de miles de millones a 1 o 2 billones de wones. Además, con V3, crearon R1, un modelo que es realmente bueno en el razonamiento deductivo. Al crear este modelo V3 y también el modelo R1, parece que utilizaron datos extraídos de modelos de OpenAI para aprender con ese conocimiento. Aunque ellos dicen que no es así, hay varias pruebas que lo sugieren. No estoy seguro de si he incluido las diapositivas posteriores, pero veamos.

Divulgación tecnológica y efectos de reducción de costos

Por ejemplo, creo que tendré que omitir esto. En resumen, cuando introduje algo un poco extraño, respondió: 'La política que usted solicitó infringe la política de privacidad de OpenAI'. Bueno, eso naturalmente significa que obtuvieron datos y los utilizaron. En cualquier caso, el impacto de esta tecnología radica en que fue creada. Fue creada en China, no en Estados Unidos o China. Además, muchas empresas de IA, incluida la nuestra, tenían curiosidad sobre cómo crear una IA que fuera tan buena en el razonamiento deductivo como GPT-4 de OpenAI. Teníamos algunas suposiciones, pero no podíamos hacerlo sin experimentación. Sin embargo, cada nuevo intento implicaba un costo muy alto, lo que era una carga. Pero publicaron los detalles técnicos, como 'SFT-GPT', 'SFT-GPT', y dijeron que solo se necesita esto y nada más. Publicaron aproximadamente el 80% de los detalles. Con eso,

numerosas empresas a nivel mundial, no solo en Estados Unidos y China, sino también en Francia, Corea, Japón y muchos otros países, pudieron seguirles. Ese fue un gran efecto. Y la razón por la que los costos se redujeron significativamente es que, para crear GPT-4 de OpenAI, tuvieron que usar expertos humanos para crear esos largos datos COT, lo que requirió mucho tiempo y un costo enorme. Pero los chinos pudieron reducir ese costo al crear datos usando R1. Incluyendo todo esto, con una inversión relativamente pequeña, no la inversión astronómica que se ve en Estados Unidos, sino una inversión que nosotros también podemos permitirnos, se creó una IA con capacidad de razonamiento deductivo de máximo rendimiento. Y no solo DeepSee existe en este contexto.

Intensificación de la competencia en IA y la estrategia de China

Empresas como Minimax, Moonshot, Deel, Alibaba Cloud y muchas otras están produciendo IA con capacidades similares. No solo en China, sino también en Estados Unidos están surgiendo modelos caros. GPT-4 de OpenAI ya no es un monopolio. Ahora ha comenzado una carrera contrarreloj. Modelos de segunda generación. Entonces, ¿es realmente como se describe? De hecho, considerando muchos factores, el costo de desarrollo de 8 mil millones de wones es una comprensión errónea. ¿Cualquiera puede hacerlo con solo 8 mil millones de wones? No.

Solo las empresas y países que tienen capacidades suficientes de IA de conocimiento de primera generación pueden hacerlo. Hay alrededor de 10 de esos países. Entonces, ¿todos esos países se involucrarán? ¿Intentarán hacerlo con una excelente relación costo-beneficio? De hecho, este no es un precio tan bajo. Porque si comparamos el precio ofrecido en Estados Unidos para el mismo modelo, es casi el doble de caro. Hay una razón para el precio bajo. Por supuesto, incluso si tienen sus propias técnicas de optimización, es probable que lo ofrezcan por debajo del costo por otros motivos. El motivo es apoderarse de la hegemonía del ecosistema de IA de código abierto al distribuir IA de código abierto a nivel mundial, y la IA que escribe, especialmente una IA con gran capacidad de razonamiento, generará contenido basándose en sus valores inherentes. No hay mejor manera de hacer propaganda para el sistema mundial. Es un método muy bueno para la propaganda del sistema mundial.

Naturalmente, las personas harán preguntas y obtendrán respuestas, y se exportarán de forma natural. Decidieron extender su influencia a nivel mundial y establecer las bases del ecosistema distribuyendo esto como código abierto. Y a medida que la gente lo usa, los datos se acumulan continuamente dentro de DeepSee. Y los datos almacenados en DeepSee pueden ser utilizados por el gobierno chino. Se considera que todo esto ha sido tenido en cuenta. Se espera que la memoria de GPU crezca mucho más. En el futuro, más países intentarán comprar equipos costosos para crear IA de segunda generación, y será obvio que el conocimiento de IA con capacidades de razonamiento deductivo superior se transferirá a modelos más pequeños, y se materializará en forma de agentes de IA, es decir, agentes de IA que ayudan en las tareas de las personas.

Competencia por la hegemonía en tecnología de IA y las posturas de cada país

Se integrará en automóviles, robots, teléfonos inteligentes, gafas y electrodomésticos. Por lo tanto, la demanda de memoria y semiconductores de IA será muy alta y el mercado podría crecer considerablemente. Este aspecto sin duda beneficia a nuestro país. Recientemente, el presidente Biden y la vicepresidenta Biden dijeron: 'Los semiconductores de IA solo deben fabricarse en Estados Unidos'. Se considera que esto tiene en cuenta la hegemonía en ese mercado y en la cadena de suministro. La información personal es demasiado conocida, y el estado actual es, por supuesto, como está. Lo que determina las características de una IA es qué datos se utilizaron para entrenarla. Las IA creadas en Estados Unidos pueden ser utilizadas a nivel mundial, pero son IA que representan la postura de Estados Unidos. Porque fueron creadas con documentos de Estados Unidos. Las IA creadas en China pueden ser utilizadas por todo el mundo, pero son IA que representan la postura de China. La competencia global será feroz. La estabilidad es relativamente deficiente. En comparación con Llama de Meta, y las IA cerradas como ChatGPT de OpenAI o Claude de Anthropic, hay muchas áreas vulnerables en varios aspectos.

Se puede ver en varios informes. Cisco realizó recientemente un estudio sobre la tasa de éxito de ataques externos, y observaron que no se presta suficiente atención a estas áreas vulnerables. Antes de la publicación de GPT, y antes de la publicación de DeepSee R1, la administración de Biden, antes de la transición a la administración de Trump, publicó esto: 'Implementaremos niveles de regulación de exportación de IA para GPUs, especialmente semiconductores de IA centrados en GPUs'. En Corea y Asia Oriental, se incluyeron Corea, Japón, Taiwán y algunas partes de Europa, y solo los países 5G no tendrían control de exportación de GPU. Los países en amarillo introducirían cuotas, y los países en rojo tendrían prohibición de exportación. Lo interesante es que estas medidas, así como el uso de modelos de IA. Es decir, a los países en amarillo se les impediría usar modelos como GPT-4 o GPT-4o libremente. Porque podrían extraer datos. Se tomaron tales medidas, pero el gobierno cambió. Y se emitió una directiva administrativa para cancelar estas medidas y crear medidas más estrictas en 180 días.

Regulación de la IA y competencia de inversión por país

Y hay un proyecto de ley presentado por un congresista republicano que es asombroso: '20 años de prisión por descargar modelos de IA de países enemigos y utilizarlos en el sector público'. Es un proyecto de ley descabellado, pero parece reflejar la filosofía o la dirección. Parece que estamos yendo más allá del proteccionismo comercial hacia un nivel de Guerra Fría debido a la competencia en tecnología de inteligencia artificial. Al mismo tiempo, el 10 de febrero, en la Cumbre de IA de París celebrada en París, que en realidad era una cumbre para discutir la seguridad, criticaron duramente diciendo: 'No podemos progresar debido a sus regulaciones'. Y Estados Unidos y el Reino Unido, que normalmente elaboran una declaración conjunta después de estas cumbres, no firmaron ni se retiraron. Se esperaba que Estados Unidos se retirara si entraba Trump, pero el Reino Unido, que era un país líder en el orden de la seguridad de la IA, dijo: 'No participaremos' y se retiró. Parece que han decidido que 'debemos encontrar nuestro propio camino'. El trabajo ha cambiado. En cuanto a la IA, hemos hecho todo lo posible para fortalecer nuestra capacidad de IA, invertir en infraestructura, e incluso crear una organización dedicada a la 'IA Soberana'. Por su parte, la UE también invertirá 300 billones de wones. Y han declarado que invertirán 30 billones de wones en infraestructura de computación e investigación y desarrollo conjunto de IA. Si bien se puede entender que Estados Unidos, como potencia celestial, lo haga, países como China, Francia, Japón, Taiwán y Canadá, que están a un nivel similar al nuestro, están compitiendo. Están comenzando una carrera. Regulación, seguridad, pensemos en ello más tarde. Si nos quedamos atrás en esta competencia, se acabó. Y la razón por la que piensan así es que, en el pasado, cuando solo Estados Unidos corría y los demás lo seguían, se sentía como '¿No ha sido siempre así?', pero ahora que China está al mismo nivel que Estados Unidos, han cambiado a pensar: 'Nosotros también podemos hacerlo, debemos hacer más'. Mientras tanto, la UE también ha implementado regulaciones sobre bibliotecas de IA y privacidad de datos. Hay regulaciones que podrían obstaculizarles.

Desde nuestra perspectiva, es natural que debamos invertir mucho en infraestructura y fomentar empresas de IA representativas competitivas a través de una inversión suficiente en infraestructura. El presidente interino también anunció recientemente un proyecto para hacer precisamente eso. El Comité Nacional de IA considera que se necesitan varias políticas para que la inteligencia artificial se integre bien en cada industria. Yo creo que, en la situación de competencia entre Estados Unidos y China, los países restantes de Oriente Medio, Sudeste Asiático y Sudamérica también quieren aumentar su competitividad en inteligencia artificial. Sin embargo, probablemente tengan muchas preocupaciones sobre las deficiencias técnicas y la falta de datos en sus idiomas. Corea tiene una gran experiencia en acumulación y obtención de datos, y experiencia en el desarrollo de IA centrada en el coreano. También tenemos experiencia en la construcción y promoción de la industria de semiconductores de IA y centros de datos relacionados. Por lo tanto, si construimos una alianza y aseguramos el liderazgo tecnológico, creo que podemos competir con Estados Unidos y China uniendo fuerzas, aunque nuestra fuerza nacional sea menor.

Fortalecimiento de la competitividad de la IA en Corea y estrategia de alianzas

Desde nuestra perspectiva, es natural invertir mucho en infraestructura y fomentar empresas coreanas de IA competitivas a través de inversiones suficientes en infraestructura. Recientemente, el presidente interino también anunció un proyecto para hacer precisamente eso. El Comité Nacional de IA considera necesarias diversas políticas para que esta inteligencia artificial se integre bien en cada industria. En la situación de competencia entre Estados Unidos y China, otros países de Oriente Medio, el Sudeste Asiático y América Latina también desean mejorar su competitividad en inteligencia artificial. Sin embargo, probablemente tengan muchas preocupaciones sobre las deficiencias técnicas y la falta de datos en sus idiomas. Corea tiene una gran experiencia en la acumulación y obtención de datos, así como experiencia en el desarrollo de IA centrada en el coreano. Además, tiene experiencia en la construcción de centros de datos y la promoción de la industria de semiconductores de IA relacionados. Por lo tanto, si construimos alianzas y aseguramos el liderazgo tecnológico, creo que, aunque nuestra fuerza nacional sea débil, podemos competir con Estados Unidos y China uniendo fuerzas.

Estos países no cooperan con Estados Unidos y China porque podrían volverse dependientes. Sin embargo, creemos que podemos construir una alianza en forma de asociación, no de dependencia.