Я провёл выходные, анализируя технический отчёт DeepSeek-R1, и как человек, видевший изнутри самые мощные кластеры NVIDIA, могу сказать прямо: земля содрогнулась. Пока индустрия готовилась к будущему, где конкурировать смогут только проекты суверенного ИИ стоимостью 100 миллиардов долларов, команда из Ханчжоу показала, что алгоритмическая элегантность может превзойти грубую вычислительную силу.

«Момент Спутника» для эффективности

Заголовки сосредоточены на бенчмарках — на том, как R1 сравнялся с OpenAI o1 в логике и математике, — но настоящая революция заключается в стоимости. Они обучили передовую модель примерно за 5 миллионов евро. Для понимания: это лишь малая доля того, что западные гиганты тратят только на электричество для одного обучения.

Как им это удалось? (Физика разреженности)

С точки зрения вычислительной архитектуры DeepSeek не просто купил больше GPU — он использовал их умнее. Были задействованы Multi-Head Latent Attention (MLA) и сложная архитектура Mixture-of-Experts (MoE).

• Преимущество MoE: Вместо активации всех 671 миллиарда параметров для каждого слова модель задействует лишь небольшую часть. Это как огромная библиотека, где вызываются только нужные эксперты.
• Преимущество FP8: Обучение ведётся в формате 8-битной плавающей запятой. С точки зрения физики данных это как переход от тяжёлых громоздких контейнеров к лёгким карбоновым структурам. Это даёт больший throughput на ватт.

Революция open-source

Они сделали веса модели открытыми. Одним шагом они демократизировали продвинутое рассуждение. Любой исследователь с достойным локальным кластером теперь может анализировать, экспериментировать и строить решения на базе модели, сопоставимой с самыми защищёнными проприетарными системами Кремниевой долины.

Реальность железа

NVIDIA научила меня, что железо — это судьба, но оптимизированное программное обеспечение не менее важно. DeepSeek последовал этому принципу: столкнувшись с ограничениями на импорт GPU H100, они оптимизировали код на уровне, редко встречающемся на Западе. Они не просто нашли обходной путь — они нашли лучший способ построить двигатель.

Это не просто очередной релиз модели. Это сигнал всем лабораториям ИИ в мире: эпоха «добавь больше GPU» официально закончилась. Началась эпоха границы эффективности.