[Наглядный комментарий] Эпоха «AI-войны 2.0», вызванная DeepSeek: наша стратегия реагирования

Ссылка на YouTube : https://www.youtube.com/watch?v=XEw7Yypb9uY

Скрипт видео

Здравствуйте. Меня зовут Сон У из Naver Cloud. Я считаю, что искусственный интеллект, наряду с техническими аспектами Deepseek, уже стал важной повесткой дня нашей эпохи. С прошлого года наблюдаются стремительные изменения в этом направлении, и я хотел бы рассказать об этом. Я постоянно общаюсь с профессором Ким Сан Бэ из Сеульского национального университета и другими. Я хотел бы поделиться мыслями, которые возникли у меня в ходе обсуждения влияния искусственного интеллекта на международные отношения. Прежде чем перейти к сути, я хотел бы отметить, что происходит большая парадигмальная трансформация в технологиях искусственного интеллекта. Я думаю, что профессора и эксперты, присутствующие здесь, уже используют генеративный ИИ, такой как GPT. В частности, такие модели, как GPT-4 или Anthropic Claude 3.5 Sonnet, Claude 2.0, усердно занимаются запоминающим обучением. Они учатся, значительно увеличивая количество параметров ИИ, то есть размер модели, и запоминая огромное количество данных из Интернета, более 10 триллионов токенов, что можно представить как слова, путем маскирования и угадывания слов. Это называется предварительным обучением, а затем, после коучинга с использованием данных, созданных экспертами, получаются такие модели, как GPT, которые вы используете. Они основаны на знаниях, очень хорошо понимают язык, контекст и обладают базовыми способностями к рассуждению. Мы определили это как ИИ первого поколения, основанный на знаниях.

Появление ИИ второго поколения, основанного на мышлении

Во втором поколении ИИ, основанном на мышлении

В Корее есть HyperCLOVA X от Naver и серия EXAONE, представленная LG AI Research. Однако с появлением EXAONE в сентябре прошлого года начался новый этап, новая эра, которую я называю вторым поколением. Я называю это не ИИ, основанным на знаниях, а ИИ, основанным на мышлении, потому что это ИИ, который может самостоятельно мыслить логически, выходя за рамки простого написания текстов и обладания обширными знаниями. Он может самостоятельно решать логические задачи.

Модель создается с использованием данных о длинной цепочке рассуждений, называемой «Chain of Thought», записанных в модели первого поколения, и обучения с подкреплением, что также требует большого количества GPU. При таком обучении создается «мыслящий ИИ» с выдающимися способностями к мышлению. Первым мыслящим ИИ является GPT-4 от OpenAI, а недавно был представлен GPT-4o. Deepseek создает R1 на основе V3 тем же методом и публикует его. Таким образом, на данный момент можно сказать, что только США и Китай обладают технологией искусственного интеллекта второго поколения. Китай также только начинает осваивать ее. Позвольте мне немного рассказать о компании Deepseek. Это китайский хедж-фонд и квантовая компания под названием Highflyer. Они заработали много денег. У них много денег.

У них огромное количество GPU. Уже в 2020 году у них было более 10 000 A100, и, по некоторым свидетельствам, общее количество GPU, включая H100, H800, A100 и H20, составляет от 50 000 до 60 000. Из-за этого правительство США начало расследование в отношении Nvidia, задавая вопрос: «Действительно ли экспортные ограничения соблюдаются?» Deepseek появился не внезапно. V1 был впервые выпущен в январе прошлого года, затем V2 в мае, а V3 в декабре, и технология стремительно развивалась. Используя мощный ИИ, основанный на знаниях, такой как Deepseek V3, и, как я уже упоминал, обучение с подкреплением и данные длинных цепочек рассуждений (данные COT), был представлен Deepseek R1.

Развитие технологий ИИ в Китае и Deepseek

В результате сервис чат-ботов, таких как ChatGPT, приложения для Android и iOS распространяются по всему миру, занимая первое место на рынке американских магазинов приложений. Некоторые называют это победой инженерии, но на самом деле это результат совместных усилий очень большого количества GPU и 100-200 высококлассных инженеров по искусственному интеллекту, которые также предложили различные новые методы. За последний год они действительно создали множество алгоритмов, которые, хотя и не являются совершенно новыми, позволяют улучшить существующие методы, опираясь на плечи гигантов. Эти алгоритмы включают методы, которые могут привести к общему снижению затрат. Если посмотреть на V1, то когда он вышел, это было примерно так: я тоже прочитал полный текст, и это было просто еще одно китайское стартап-предприятие с открытым исходным кодом в области ИИ, не более того. В то время он ничем не отличался от модели Qwen от Alibaba Cloud. Однако начиная с модели V2 начали появляться некоторые инновационные

вещи. Одной из ключевых технологий, используемых в Deepseek V3, является «многоголовая архитектура». При использовании таких методов, в отличие от обычных трансформеров, если входные данные поступают в модель, она не использует всю модель, а анализирует запрос и использует только часть, относящуюся к экспертной области, для вычислений. Например, в случае V2 общее количество параметров составляет 26 миллиардов, но когда поступает запрос, например, связанный с юриспруденцией, он использует только часть параметров, связанных с юриспруденцией, в 21 миллиард для вычислений. Обучение таким образом значительно снижает затраты на обучение по сравнению с одной моделью с теми же 26 миллиардами параметров. Однако эксплуатационные расходы возрастают. Это связано с тем, что при каждом поступлении входных данных вычисления производятся только с использованием 21 миллиарда параметров, но эксплуатационные расходы могут быть в шесть раз выше по сравнению с моделями, использующими только эти 21 миллиард. Это связано с тем, что модель, в любом случае, должна оставаться в памяти на оборудовании.

Поэтому для покрытия этих эксплуатационных расходов мобилизуются всевозможные передовые инженерные методы. Основная структура V3 не сильно отличается, и размер модели увеличивается примерно в три раза. Аналогично используются модели «Mixture of Experts», где эксперты связаны между собой. Кроме того, при обучении используются несколько новые методы, а объем обучаемых данных значительно увеличивается до 15 триллионов токенов. Однако то, что шокировало мир в Deepseek V3, — это Таблица 1. Именно оттуда это взялось.

Deepseek V3 и архитектура MoE

8 миллиардов юаней. Но это, похоже, было сделано намеренно, но это вводит в заблуждение. Давайте посмотрим на таблицу. Она называется «Стоимость обучения», но разделена на «Предварительное обучение», «Расширение контекста» и «Пост-обучение». Просто считайте это частями обучения. Там указано, сколько часов GPU H800 используется для каждой части. В общей сложности получается около 2,788 миллиона часов использования GPU. И считается, что использовался суперкомпьютер, состоящий из 248 GPU H800, объединенных в одну мощную сеть. При этом затрачено 2,788 миллиона часов, а аренда одного H800 в облаке стоит 2 доллара в час. Это стоимость GPU, рассчитанная в часах GPU, затраченных на успешное обучение, а не стоимость разработки.

Это не значит, что они добились успеха с первой попытки, и сюда не включены многочисленные пробные и ошибочные попытки, затраты на рабочую силу и затраты на создание данных, которые были предприняты для поиска этого успешного рецепта. Это даже указано в статье. Поэтому, учитывая все упомянутые GPU и т. д., можно оценить инвестиционные затраты примерно в сотни миллиардов или 1-2 триллиона вон. И на основе этой модели V3 они создали модель R1, которая очень хорошо справляется с рефлексивным мышлением. При создании этой модели V3, а также модели R1, кажется, что данные были извлечены из моделей OpenAI и обучены с использованием этих знаний. Хотя они сами это отрицают, есть несколько доказательств. Я не знаю, включил ли я их в следующие слайды, но давайте посмотрим.

Например, я, вероятно, должен это пропустить. Одним словом, когда я ввел запрос, и он был немного странным, я получил ответ вроде: «Политика, которую вы запросили, нарушает политику конфиденциальности OpenAI». Ну, это, конечно, означает, что они получили данные и использовали их. В любом случае, эта технология произвела фурор, потому что она была создана. Она была создана не в США, а в Китае. Кроме того, многие компании, занимающиеся ИИ, включая нас, задавались вопросом, как создать ИИ, который так хорошо справляется с рефлексивным мышлением, как GPT-4 от OpenAI. Мы имели некоторое представление, но не могли провести эксперименты, чтобы точно узнать, как это сделать. Однако каждый раз, когда мы пытались что-то новое, это требовало больших затрат, что было обременительно. Но они опубликовали детали в техническом отчете, такие как «SFT-GPT», «SFT-GPT» и так далее, и сказали, что ничего другого не нужно. Они опубликовали около 80% всех деталей. Используя это,

Публикация технологий и эффект снижения затрат

многие компании по всему миру, не только в США и Китае, но и во Франции, Корее, Японии и других странах, смогли скопировать это. Это оказало очень большое влияние, и снижение затрат стало возможным потому, что при создании GPT-4 от OpenAI им приходилось использовать данные длинных цепочек рассуждений (COT), созданные людьми-экспертами. Это заняло много времени и стоило огромных денег. Однако китайцы смогли использовать R1 для создания данных, что значительно снизило затраты. Учитывая все это, стало возможным создать ИИ с высочайшей производительностью в рефлексивном мышлении за относительно небольшие затраты, не такие астрономические, как инвестиции в США, а на уровне, который мы можем себе позволить. И Deepseek — не единственная такая компания.

Компании, такие как Minimax, Moonshot, Deel, Alibaba Cloud и многие другие, обладающие схожими возможностями, начали выпускать ИИ примерно того же уровня. Не только в Китае, но и в США начали появляться дорогие аналоги. GPT-4 от OpenAI больше не является эксклюзивом. Теперь началась гонка на время. Модели второго поколения. Итак, действительно ли приведенные данные верны? Учитывая многие факторы, стоимость разработки в 8 миллиардов юаней является ошибочным пониманием. Может ли кто-нибудь сделать это всего за 8 миллиардов юаней? Нет.

Усиление конкуренции в области ИИ и стратегия Китая

Только компании и страны, обладающие достаточными возможностями ИИ первого поколения, основанного на знаниях, могут это сделать. Таких стран около десяти. Значит ли это, что все эти страны будут участвовать? Попробуем ли мы сделать это с очень низкой стоимостью и высокой эффективностью? На самом деле, это не так дешево. Потому что, если посмотреть на цену, предлагаемую в США за ту же модель, она почти в два раза дороже. Есть причина, по которой они делают это дешево. Хотя у них, вероятно, есть свои методы оптимизации, можно предположить, что они предлагают ее ниже себестоимости по другим причинам. Эти причины включают захват гегемонии в экосистеме ИИ с открытым исходным кодом путем распространения ИИ с открытым исходным кодом по всему миру, а также то, что ИИ, генерирующий тексты, особенно ИИ, способный к рефлексивному мышлению, будет выдавать контент, основанный на его ценностях. Нет лучшего способа для пропаганды мирового строя.

Естественно, люди будут задавать вопросы и получать ответы, и это будет естественным образом экспортироваться. Они, естественно, будут стремиться к тому, чтобы распространить это в виде открытого исходного кода по всему миру, оказать влияние и заложить основу экосистемы. И поскольку люди используют его, данные будут постоянно накапливаться. Внутри Deepseek. А данные, хранящиеся в Deepseek, могут использоваться китайским правительством. Учитывая все это, можно предположить, что объем памяти GPU будет расти еще больше. В будущем все больше стран будут стремиться приобрести дорогостоящее оборудование для создания ИИ второго поколения, и знания этого ИИ, обладающего выдающимися способностями к рефлексивному мышлению, будут переданы в более мелкие модели, что приведет к созданию ИИ-агентов, то есть ИИ, помогающих людям в их работе. Это очевидно.

Они, естественно, проникнут в автомобили, роботов, смартфоны, очки и бытовую технику. Таким образом, спрос на память и ИИ-полупроводники будет очень высоким, и рынок может стать очень большим. Этот аспект, несомненно, выгоден и для нашей страны. Недавно президент Байден, вице-президент Байден говорили об этом. ИИ-полупроводники должны производиться только в США. Можно предположить, что это было сделано с учетом гегемонии на этом рынке и в цепочке поставок. Личная информация, конечно, хорошо известна и, естественно, обрабатывается. Характеристики ИИ определяются тем, какие данные использовались для обучения. ИИ, созданный в США, может использоваться во всем мире, но он представляет позицию США. Потому что он был создан на основе документов, созданных в США. ИИ, созданный в Китае, может использоваться во всем мире, но он представляет позицию Китая. Глобальная конкуренция будет ожесточенной. Стабильность относительно низкая. По сравнению с Meta Llama, а также с закрытыми ИИ, такими как OpenAI, ChatGPT или Anthropic Claude, существует множество уязвимостей.

Гонка за технологическое превосходство в области ИИ и позиции стран

Это видно из различных отчетов. Cisco недавно провела внешнюю атаку и оценила процент успешных атак. Похоже, что они не уделяли особого внимания этим уязвимым местам. Фактически, до того, как GPT был выпущен, до того, как был выпущен Deepseek R1, администрация Байдена, до передачи власти администрации Трампа, объявила следующее: экспортные ограничения на ИИ GPU, особенно на ИИ-полупроводники, основанные на GPU, будут разделены на уровни. В Южной Корее, Восточной Азии — Корея, Япония, Тайвань, а также некоторые европейские страны, и только страны 5G не будут иметь контроля над экспортом GPU. Желтый цвет означает введение квот, красный — запрет на экспорт. Интересно, что эти меры, а также использование моделей ИИ. То есть, странам желтой зоны будет запрещено свободно использовать такие модели, как GPT-4 или GPT-4o. Потому что они могут извлечь данные. Были приняты такие меры, но правительство сменилось. И было издано распоряжение об отмене этих мер и разработке более строгих мер в течение 180 дней.

В то же время существует законопроект, внесенный конгрессменом-республиканцем, который просто поражает: «20 лет тюремного заключения за загрузку и использование моделей искусственного интеллекта вражеских стран в государственных учреждениях». Это законопроект, который не имеет аналогов, но он дает представление о философии и направлении. Похоже, что мы переходим от протекционизма к уровню холодной войны. Из-за конкуренции в области технологий искусственного интеллекта. В то же время, 10 февраля этого года в Париже состоялась саммит по ИИ в Париже, который, по сути, был саммитом для обсуждения безопасности, но США заявили: «Вы не можете развиваться из-за ваших правил регулирования» и подвергли это резкой критике. В результате США и Великобритания, которые обычно подписывают декларацию после завершения саммита, не подписали ее и вышли. Мы ожидали, что США поступят так, если придет Трамп, но Великобритания, которая обычно была лидером в установлении порядка безопасности ИИ, сказала: «Мы не будем этого делать» и вышла. Похоже, они решили: «Нам тоже нужно найти свой путь». Работа была изменена. В отношении ИИ, чтобы усилить наши возможности в области ИИ, мы приложили все усилия, инвестировали в инфраструктуру.

Регулирование ИИ и инвестиционная конкуренция между странами

и даже создали специальную организацию «Суверенный ИИ». И ЕС также объявил об инвестициях в размере 300 триллионов вон. И они объявили об инвестициях в размере 30 триллионов вон в вычислительную инфраструктуру и совместные исследования и разработки в области ИИ. США, конечно, являются сверхдержавой, но Китай, Франция, Япония, Тайвань, Канада, находящиеся на том же уровне, что и мы, — все они начали гонку. Давайте сначала подумаем о регулировании и безопасности. Если мы отстанем в этой гонке, это конец. И причина, по которой они так думают, заключается в том, что раньше США бежали в одиночку, а остальные следовали за ними, и это было похоже на то, как всегда было. Но теперь, когда Китай достиг уровня США, они подумали: «Мы тоже можем это сделать, нам нужно делать больше». В результате ЕС также ввел правила в отношении библиотек ИИ и конфиденциальности данных. Существуют правила, которые могут помешать им.

С нашей точки зрения, естественно, необходимо инвестировать в инфраструктуру и развивать ведущие национальные компании в области ИИ за счет достаточных инвестиций в инфраструктуру. Недавно исполняющий обязанности президента объявил о проекте, который предусматривает именно это. Национальный совет по ИИ считает, что необходимы различные политики, чтобы ИИ мог хорошо интегрироваться в каждую отрасль. Я считаю, что в условиях конкуренции между США и Китаем другие страны Ближнего Востока, Юго-Восточной Азии и Южной Америки также хотят повысить свою конкурентоспособность в области ИИ. Однако они, вероятно, обеспокоены техническими недостатками и нехваткой данных на местных языках. Наша страна имеет большой опыт накопления и получения данных, а также опыт разработки ИИ на корейском языке. Кроме того, у нас есть опыт в области соответствующих ИИ-полупроводников, создания центров обработки данных и развития промышленности. Поэтому, если мы построим альянс и добьемся технологического лидерства, мы сможем конкурировать с США и Китаем, объединив усилия, даже если наша национальная мощь невелика.

Укрепление конкурентоспособности Кореи в области ИИ и стратегия альянсов

С нашей точки зрения, очевидно, что необходимо инвестировать в инфраструктуру и развивать конкурентоспособные национальные ИИ-компании путем достаточных инвестиций в инфраструктуру. Недавно исполняющий обязанности президента объявил о проекте, который будет способствовать этому. Национальный комитет по ИИ считает, что необходимы различные политики для обеспечения интеграции ИИ в различные отрасли. В условиях конкуренции между США и Китаем, другие страны Ближнего Востока, Юго-Восточной Азии и Латинской Америки также хотят повысить свою конкурентоспособность в области ИИ. Однако они, вероятно, обеспокоены недостатком технических возможностей и нехваткой данных на своих языках. Корея имеет большой опыт накопления и получения данных, а также опыт разработки ИИ, ориентированного на корейский язык. Кроме того, у нас есть опыт в создании соответствующих ИИ-полупроводников, дата-центров и развитии промышленности. Поэтому, если мы построим альянсы и обеспечим технологическое лидерство, мы сможем конкурировать с США и Китаем, объединив усилия, даже если наша национальная мощь невелика.

Эти страны не сотрудничают с США и Китаем, потому что они могут стать зависимыми. Однако мы считаем, что можем построить альянс в форме партнерства, а не зависимости.