Le changement de vibe dans mon terminal cette semaine a été tectonique. Alors que les marchés financiers paniquent face aux valorisations des GPU, j’ai passé les dernières 72 heures à exécuter des tests d’inférence en face à face entre DeepSeek-R1 et GPT-4o. Si vous pensiez que l’ère de saturer le GPU était le seul moyen d’atteindre l’AGI, ces benchmarks vont vous faire changer d’avis.
1. Le moteur de raisonnement : mathématiques et code
Dans le benchmark MATH (l’un des plus difficiles pour les LLM), R1 a atteint un impressionnant 97,3 %. À titre de comparaison, GPT-4o se situe généralement autour de 90-92 % selon la version.
- La différence : R1 est un modèle de raisonnement, similaire à o1 d’OpenAI. Il utilise un processus de Chain of Thought (CoT). Lorsque je lui demande d’optimiser un kernel pour une interface capteur, il ne se contente pas de produire du code ; il raisonne dans un espace de travail caché. Il explore des impasses, corrige sa logique, puis fournit une solution optimisée.
- Codage : Dans les tests HumanEval (codage Python), R1 est pratiquement à égalité avec les meilleurs modèles occidentaux. Ce n’est plus une alternative bon marché ; c’est un pair.
2. Latence et coût des tokens : l’écart économique
C’est ici que la réalité de l’ingénierie frappe fort.
- API DeepSeek-R1 : ~$0,55 par million de tokens.
- API GPT-4o : ~$5,00 par million de tokens (entrée) / $15,00 (sortie).
Nous observons une différence d’un ordre de grandeur en termes de coûts pour des performances presque identiques dans les tâches à forte intensité logique. Pour un développeur construisant un agent nécessitant 10 000 appels par jour, GPT-4o devient un produit de luxe, tandis que R1 est un service utilitaire.
3. Le facteur « paresse »
Nous nous sommes tous plaints du fait que GPT-4o soit devenu paresseux — raccourcissant le code ou disant à l’utilisateur de le faire lui-même. Comme R1 a des poids ouverts et utilise une stratégie différente de reinforcement learning (RL), notamment le GRPO (Group Relative Policy Optimization), il tend à être beaucoup plus exhaustif. Il ne se fatigue pas des longues explications techniques.
4. Le revers de la médaille : nuances et sécurité
Où GPT-4o continue-t-il de gagner ? Dans les vibes généralistes et la multimodalité.
GPT-4o est toujours plus fluide dans l’écriture créative, le roleplay nuancé et l’interaction vocale fluide. DeepSeek-R1 peut sembler un peu robotique et se concentre fortement sur la chaîne logique. De plus, ses filtres de sécurité sont configurés différemment ; il refuse certains sujets que GPT-4o gère avec des guardrails plus nuancés (bien que parfois frustrants).
Le verdict de l’ingénieur
Si vous construisez une pipeline logique/codage/mathématiques : DeepSeek-R1 est le nouveau roi, surtout parce que vous pouvez l’héberger vous-même.
Si vous développez une application créative orientée client : GPT-4o reste le produit le plus abouti.
Le monopole est terminé. Nous entrons dans une ère où l’intelligence est devenue une commodity.