Le comeback des modèles open source américains ? (Meta, Thinking Machines, Grok..)

Écouter sur :

Face à la pression des modèles open source chinois qui grappillent des parts de marché, les entreprises américaines se recentrent sur l'open source afin de les concurrencer. Meta, Thinking Machines, Grok : on fait le point sur ce comeback.

Rejoins le Discord : https://discord.gg/CqUzSvEkB

N'hésitez pas à mettre 5 étoiles au podcast si vous voulez le soutenir !

Transcription brute générée automatiquement par Whisper — peut contenir des imprécisions.

Transcription

Bonjour à tous, bienvenue dans ce nouveau podcast de Génération IA et je suis très heureux de vous retrouver aujourd'hui en plein mois d'août. Peut-être que vous êtes en vacances, peut-être que vous revenez de vacances, dans tous les cas j'espère que vous êtes bien reposés. Peut-être que vous ne prenez pas de vacances puisque en ce moment dans l'IA il y a énormément de choses à faire comme depuis quelques années mais ça s'accélère. Et donc j'aimerais revenir dans ce podcast sur l'épisode précédent et notamment faire une sorte d'extension sur l'épisode puisqu'il y a eu pas mal de nouvelles depuis deux semaines qui en fait parlent de ce dont j'avais parlé dans l'épisode précédent. Donc j'aimerais revenir là-dessus, notamment sur les modèles open source. J'ai eu pas mal de questions à ce propos sur le Discord du podcast.

Merci à ceux qui ont rejoint, je vous mets le lien dans la description de l'épisode. Vous pouvez me poser directement toutes vos questions et l'idée c'est de construire une communauté autour de ce podcast afin de s'entraider. Vous savez qu'il y a énormément d'informations, que ça bouge très vite, que c'est très difficile à suivre. Et donc grâce à ce Discord on va pouvoir tous ensemble échanger. Donc n'hésitez pas à rejoindre, n'hésitez pas également à mettre la note de 5 étoiles à ce podcast. Ça aide énormément au développement.

Et donc on passe tout de suite au sujet du jour puisque j'avais beaucoup parlé, les deux derniers épisodes précédents d'ailleurs, des modèles fermés contre les modèles ouverts qui s'apparentaient à une espèce de guerre entre les modèles américains et les modèles chinois. Or, depuis l'épisode précédent, on a eu Meta, l'entreprise fondée par Mark Zuckerberg qui a sorti ses propres modèles. Vous savez que Meta a créé une sorte de laboratoire en interne qui s'appelle Meta Super Intelligence Lab.

J'avais reçu Stéphane Collot sur ce podcast qui a travaillé trois ans chez Meta et qui a participé au développement des modèles Llama de Meta. Stéphane nous annonçait déjà le modèle. Meta Muse Spark qui était en cours de construction avec ce laboratoire dirigé par Alexander Wang qui est un personnage intéressant dont on avait parlé avec Stéphane. Et ils avaient recruté les plus grosses pointures, vous savez, à coût de millions, comme si c'était un mercato de football. On se battait les meilleurs chercheurs. Ils avaient démarché certains chercheurs de l'entreprise Thinking Machines, d'autres d'eux, certainement Google, DeepMind, etc. Même potentiellement d'Anthropic et d'OpenAI, même si quitter Anthropic, ce n'est pas forcément un bon move. Il y a plus de gens qui rejoignent et qui quittent parce que la valorisation explose.

Mais Meta a cook, comme on dit. Ils ont cuisiné, ils ont travaillé. Ils ont sorti Meta Muse Spark et ils ont sorti un autre modèle qui s'appelle Muse Glimmer qui est adapté pour... En fait, les... Les tâches agentiques, c'est-à-dire des tâches qui demandent l'appel à des outils, qui demandent d'avoir une continuité dans le raisonnement à travers les différents appels successifs parce qu'au final, un agent, c'est simplement un LLM qui est appelé de façon récursive sur lui-même et qui peut appeler des outils.

J'avais déjà expliqué tout ça dans d'autres épisodes, donc n'hésitez pas à revenir un peu en arrière si nécessaire. Et donc, Meta se relance dans la course à l'IA, mais contrairement à OpenAI, Anthropic et même Google, même si Google a fait Gemma, qui est un modèle aussi open source et très petit, mais tous les modèles Gemini ne sont pas open source, eh bien Meta, eux, ont choisi la stratégie open source. Comme je l'avais dit, c'est souvent une stratégie d'outsider parce que quand on est un peu derrière, ben c'est... ça fait plaisir à la communauté, chacun peut le déployer sur son infrastructure, être propriétaire de ses données.

Et donc, les États-Unis en général, qui voient qu'ils sont en train de perdre la course puisque l'écart entre les frontières modèles américains qui sortent et les modèles chinois se réduisait de jour en jour, décident de sortir des modèles open source. Et on a aussi Thinking Machines, l'entreprise fondée par l'ancienne CTO d'OpenAI, je crois qu'elle est albanaise, qui s'appelle Mira Murati, qui a 35 ans et qui était CTO d'OpenAI, donc vraiment une femme vraiment forte et très influente, 37 ans, pardon, je viens de voir l'information sous mes yeux, et une femme inspirante, puisqu'il y a peu de femmes dans la tech, dans les postes à responsabilité en général, elle en fait partie, donc c'est... c'est possible de le faire, et donc n'hésitez pas, s'il y a des femmes qui écoutent ce podcast, vous avez votre place, autant que les hommes, et Mira Murati en est un parfait exemple.

Être CTO à 35 ans d'OpenAI, puis monter son entreprise qui s'appelle Thinking Machines et qui est valorisée à des milliards de dollars en à peine un an, franchement, respect. Et d'ailleurs, j'aime beaucoup son approche de Thinking Machines, c'est par créer une API pour entraîner, fine-tuner des modèles pour les chercheurs, donc elle avait identifié un problème au sein d'OpenAI qu'elle a résolu, qui devait être certainement le manque de compute, le manque de GPU, etc., pour entraîner les modèles pour les chercheurs, et il n'y avait pas forcément de solution adaptée à leur use case à eux, donc elle a créé cette entreprise, puis ils ont sorti leur propre modèle en open source, qui s'appelle, alors, je ne l'ai pas sous les yeux, je fais la recherche en direct, je ne l'ai pas testé celui-là, mais il était multimodal, il s'appelle Inkling, il y a une version plus petite, donc avec moins de paramètres, et donc potentiellement plus rapide, mais un peu moins intelligente.

Donc, voilà pour Thinking Machines, qui est une entreprise vraiment à suivre. On avait aussi, l'entreprise Safe Super Intelligence, je crois qu'il s'appelle comme ça, et qui, elle, était aussi fondée par un ancien directeur d'OpenAI, qui est Ilya, je ne me souviens plus exactement de son nom, ah oui, Ilya Sudskever, c'est un peu difficile à prononcer, il est d'origine russe, il avait travaillé au Canada, je crois, et lui, c'était un peu le cerveau, derrière la recherche, il a aussi créé son entreprise Safe Super Intelligence, levée des milliards de dollars, et n'est pas encore sortie du bois, comme on dit, c'est-à-dire qu'il n'a pas encore sorti ses premiers modèles, etc.

Donc, ça fait peut-être un an qu'il bosse dessus également, il a 39 ans, donc lui aussi est relativement jeune, et donc, quand ils vont sortir quelque chose, ça va faire mal, parce qu'ils doivent travailler dans l'ombre depuis des années, il a levé peut-être un milliard de dollars également, donc c'est également une entreprise à suivre, il l'a appelée Safe Super Intelligence, donc potentiellement, il avait identifié des problèmes d'alignement potentiel au sein d'OpenAI, alignement des modèles, et donc, ça démultiplie les entreprises qui créent des modèles d'intelligence artificielle, d'ailleurs, ça devient un problème à gérer tous ces modèles, on s'en sort plus tellement en tant qu'ingénieur IA, parce que si on veut faire une évaluation sur certains modèles, il y a tellement de fournisseurs que du coup, on ne peut pas tous les évaluer, ça coûterait trop cher, donc on doit avoir des critères de sélection, mais en tout cas, très intéressant à suivre, le comeback des US dans l'open source, et notamment au niveau des frontières models, c'est assez intéressant, on a aussi Grok, les modèles, vous savez, développés par XS, xAI, qui est maintenant SpaceX xAI, avec Grok 4.5 qui a été sorti, maintenant Grok 4.6 qui est quasiment un frontière model, donc quasiment le meilleur, et je ne crois pas qu'il est open source, cependant, il y a pas mal de contributions open source de SpaceX xAI, ils ont mis en open source leur propre harness de coding qui s'appelle GrokBuild, qui est l'équivalent de Claude Code, mais en open source, et en Rust, donc potentiellement, ils ont voulu maximiser la vitesse d'exécution, je l'ai testé, je le trouve plutôt correct, même si Claude Code reste très très compétitif là-dessus, mais SpaceX xAI aussi met beaucoup d'open source dans leurs algorithmes, etc.

Donc il y a pas mal de contributions, je pense qu'il y a aussi des questions de sécurité quand on met des modèles open source, il y a des garde-fous qu'on peut mettre en place, qu'on doit mettre en place, donc ça prend parfois plus de temps que nécessaire, mais bon, on a SpaceX xAI qui revient aussi très fort dans la course, et derrière on a OpenAI qui est très actif parce qu'ils ont sorti leur GPT 5.6, etc., qui sont très forts, Codex, leur app pour coder qui est très forte également, et leur modèle Astra qui n'est pas encore sorti, mais qui prouve des théorèmes mathématiques à la pelle, c'est super intéressant. D'ailleurs, Anthropic aussi a revendiqué qu'il y a un modèle de Claude qui a apporté des améliorations de précision dans un théorème mathématique qui s'appelle l'hypothèse de Riemann, il ne l'a pas encore prouvé, mais on est passé, de 44% à 60% en termes de données découvertes, donc je ne suis pas un expert sur ce théorème, mais en tout cas, ce modèle d'IA d'Anthropic a considérablement avancé la recherche sur l'hypothèse de Riemann, qui est un des problèmes les plus mythiques du siècle.

Vous savez que, dans le dernier épisode, j'ai expliqué que les modèles d'OpenAI avaient démontré des théorèmes, et ça continue, et donc dans le papier d'Anthropic qui explique comment ils ont obtenu les résultats avec l'hypothèse de Riemann, écoutez bien, c'est un chercheur qui a simplement encouragé le modèle en lui disant, par exemple, tu es capable, tu peux le faire, continue, jusqu'à ce que le modèle trouve des solutions, et je trouve ça fascinant parce que le chercheur n'a pas guidé le modèle en termes mathématiques, ne lui a pas donné des pistes d'exploration, mais par contre, il a dû l'encourager, comme si l'IA se comportait vraiment comme un humain, et avait besoin d'encouragement pour aller plus loin dans ses résultats, et c'est assez fascinant et lunaire de voir ça, donc on peut l'appliquer dans nos techniques de prompte, lorsque l'IA bloque sur un problème, on peut l'encourager, faites-le une ou deux fois, en follow-up, si ça ne marche pas, l'idée, ce n'est pas non plus de cramer énormément de tokens en recherchant dans tous les sens, mais je trouve ça méga intéressant, et donc j'ai mené une expérience la semaine dernière, j'ai utilisé mon abonnement Codex à 200€ par mois, j'ai utilisé tous les tokens pour démontrer un théorème, donc je lui ai demandé de chercher un problème non résolu, et je lui ai cherché de demander un problème qui, intuitivement, est difficile à résoudre par IA, pour pas qu'il travaille sur les mêmes problèmes que les autres choisiraient, et donc j'ai itéré comme ça en l'encourageant toute la semaine, ou en le relançant à chaque fois qu'il arrivait à un résultat, et puis je suis allé très très loin, à tel point que j'ai aussi obtenu des résultats qui ne sont pas encore publiés, mais qui ont été vérifiés par un logiciel qui s'appelle Lean, je crois, et qui permet de vérifier des preuves mathématiques, donc Lean a bien confirmé ses résultats, donc c'était pas un gros théorème, mais c'était certaines avancées, par exemple une refactorisation d'un problème compliqué en problème simple, et donc le modèle de A à Z a travaillé 100% en autonomie, je lui ai simplement trouvé un problème à résoudre qui, potentiellement, n'est pas intuitif et que d'autres personnes ne travaillent pas forcément dessus, et d'essayer de le résoudre. Donc il a divisé son travail en sous-tâches, trouver un problème, chercher une solution, regarder la littérature, etc.

J'ai fait ça sur Codex, qui est le coding harness de OpenAI, mais ça peut potentiellement marcher sur d'autres harness, d'ailleurs je conseille généralement d'utiliser des agents qui sont agnostiques au niveau des modèles, c'est-à-dire sur lequel on peut pluguer n'importe quel modèle d'IA, parce que il n'y a aucune fidélité de l'utilisateur dans le modèle, c'est ce qu'on a remarqué, les utilisateurs ne sont pas attachés à un modèle en particulier, à tel point que s'il y a un modèle plus puissant qui sort d'un concurrent une semaine après, ils sont très bien capables d'abandonner un modèle pour un autre pour avoir plus de performance, qui est logique, mais un peu surprenant qu'il n'y ait pas forcément de fidélité au fournisseur du point de vue de l'utilisateur final. Et donc c'est bien d'utiliser des outils qui sont compatibles avec tous les modèles pour pouvoir changer rapidement si jamais on souhaite changer de modèle. Et ce problème de fidélité de l'utilisateur, c'est un problème énorme pour OpenAI et Anthropic, c'est-à-dire que les gens sont prêts à switcher pour un modèle OpenSource chinois du jour au lendemain, mais même s'ils utilisent les modèles d'Anthropic Claude depuis deux ans, par exemple.

Et donc du jour au lendemain, il suffit qu'il y ait un concurrent chinois qui sorte un modèle puissant, ils peuvent perdre 10% de leurs utilisateurs en 48 heures. Peut-être que j'exagère, mais on n'en est pas loin et c'est complètement fou pour eux. Il y a beaucoup de gens qui annoncent que ces deux entreprises sont à risque parce qu'elles n'ont pas de business model. Il y avait carrément le CEO de Palantir qui avait accusé les labs de voler les données de leurs clients pour pouvoir même les concurrencer, ce qui est complètement fou. Mais effectivement, ils n'ont pas de business model sur le papier, c'est pour ça qu'ils créent plein de verticales, avec par exemple Claude qui avait sorti Claude Design pour concurrencer Figma, etc. Sauf que du coup, tout est fait un peu moyennement. Construire un bon produit, ça demande vraiment du focus, de la détermination, de la résilience et d'itérer avec les utilisateurs pendant des mois et des mois pour avoir un produit qui convienne parfaitement à un cas d'usage.

Et donc, en voulant concurrencer certains produits, mais un peu tout en même temps, il y a des gens dont j'en fais un peu partie qui pensent que ça va être très compliqué pour eux de réussir dans ces domaines-là. Même Claude Code, qui est un outil formidable dont j'ai commencé à parler il y a plus d'un an dans les podcasts, peut complètement être disrupté. On a vu qu'il y a GrogBuild qui est sorti, il y a DeepSeek qui sort un harness en open source également. Il y a OpenCode qui est un logiciel open source modèle agnostique qui marche très bien aussi pour avoir un équivalent de Claude Code.

ça, c'est un très gros problème pour ces énormes acteurs. Et c'est pour moi ce qu'on appelle la bulle IA. C'est vraiment ça. Pour moi, il n'y a pas de bulle IA au sens où les gens pensent qu'il y a une bulle IA. L'adoption est réelle. Les entreprises sont en train de se transformer. Les entreprises veulent de l'IA. Les particuliers, quoi qu'on en dise, également. Il y a peut-être un milliard d'utilisateurs de ChaJPT, Gemini, etc.

Bien que certains râlent contre l'IA, et je peux comprendre pourquoi sous certains aspects, c'est totalement légitime, mais il ne faut pas tout confondre. Il y a une demande pour l'intelligence artificielle et c'est pour ça que les infrastructures sont en train d'être reconstruites. Donc, il n'y a pas de bulle de l'IA là-dessus. L'IA générative est en train de révolutionner le monde comme l'électricité l'a fait avant. C'est toute la biographie de ce podcast, la description de ce podcast en général où j'explique ça. Et donc, il n'y a pas de bulle de l'IA à proprement parler, mais il y a une bulle autour de OpenAI et Anthropic et tous ceux qui font des modèles fondationnels qui n'ont pas de business model à proprement parler. Donc, ou qui peuvent se faire concurrencer via une technique qui s'appelle la distillation où un modèle puissant entraîne un modèle moins puissant à faire la même chose, mais en moins cher. Et donc, il y a une bulle autour de ces deux acteurs. Alors, un scénario optimiste est probable et qu'ils vont se faire racheter OpenAI potentiellement par Microsoft, par exemple, et Anthropic par Amazon, qui sont eux-mêmes des investisseurs historiques de ces deux entreprises.

Il y a un autre scénario où ils perdent la course et c'est Google, SpaceX, AI qui gagnent cette course aux Etats-Unis. En tout cas, il n'y aura pas forcément de la place pour tout le monde. On va voir ce qui va se passer. Mais voilà où on en est dans cette course folle à l'IA. Alors, du côté de l'Europe, on a Mistral. J'ai presque envie de dire on avait Mistral. Mistral, malheureusement, ou heureusement d'ailleurs, ne continue pas la course des frontières modèles LLM. Ils sortent d'autres modèles. Là, j'ai vu un modèle de modération, un OCR pour détecter des textes dans des documents, etc., qui sont très forts et qui sont très utiles. Mais on peut regretter qu'ils aient un peu abandonné cette course pour faire les meilleurs LLM à tel point qu'ils vont maintenant proposer le modèle chinois GLM 5.2 sur leur propre serveur parce que ce modèle est open source, donc ils peuvent le déployer sur leur infrastructure et le proposer à leurs clients, ce qui est très bien pour leurs clients. Mais un petit aveu d'échec pour Mistral qui déploie un modèle chinois sur son infrastructure au lieu de ses propres modèles.

Mais d'un côté, est-ce qu'on peut leur en vouloir, sachant qu'on vient d'expliquer qu'il n'y a pas vraiment de business model à faire ces modèles frontières uniquement? Et donc Mistral a choisi de se recentrer plutôt sur les infrastructures. Est-ce qu'on peut leur en vouloir? Leur revenu explose, ils s'implantent dans toutes les entreprises en Europe et ça reste un énorme acteur, même si l'ordre de grandeur sur lequel ils veulent opérer n'a rien à voir avec les ordres de grandeur des compagnies américaines ou chinoises. Dans la Silicon Valley, on parle déjà de data center dans l'espace, etc., pendant que nous, on va en construire bel et bien sur Terre, mais c'est déjà bien, j'ai envie de dire, mais pas suffisant si on veut être le leader de cette course.

Je pense qu'il y aura quand même de la place pour Mistral parce que c'est très important d'être souverain là-dessus et d'avoir ses données en Europe si on opère en Europe, etc. Et donc, ne pas dépendre de puissances étrangères sur l'IA, c'est primordial. Mais voilà, à voir comment ça évolue. L'écosystème américain avec les Google Cloud, etc., AWS est quand même bien ancré dans toutes les entreprises, y compris européennes. Donc, c'est une bataille qui n'est pas facile à gagner loin de là. Et d'autant plus qu'au niveau des investissements dans les startups, ça n'a rien à voir entre l'Europe et les Etats-Unis, malheureusement.

J'en profite d'ailleurs pour vous annoncer une plutôt bonne nouvelle. C'est que je vais participer à un événement dans l'incubateur Y Combinator, qui est le meilleur incubateur de startups du monde. Et donc, je vais participer le week-end prochain à un hackathon sur le thème du futur de l'ingénierie logicielle avec mon équipe à Manifest, avec Bruno et Seb. Donc, on va à San Francisco vendredi pendant quelques jours et je lance un appel sur ce podcast. Si vous êtes dans le coin, si vous voulez qu'on aille boire un café ou si vous voulez m'introduire à des gens qui sont à San Francisco et qui travaillent dans les startups IA, n'hésitez pas à me contacter.

Ce serait avec grand plaisir et ça peut même faire un invité pour le podcast, puisque j'avais des invités, j'en aurai à nouveau. Ne vous inquiétez pas, à la rentrée, je continue et j'aurai certainement des invités super intéressants. Mais c'est toujours une bonne opportunité de se rencontrer. Donc, n'hésitez pas à me mettre en contact et je vous ferai un épisode pour vous raconter cette aventure à San Francisco et à Y Combinator.

C'est la Mecque de l'IA. Donc, je pars un peu en pèlerinage avec mon bâton de pèlerin. Et autant vous dire, je suis très très content et un petit peu stressé parce que c'est un événement hackathon qui va se dérouler là-bas avec vraiment les meilleurs du monde. Donc, ça va être génial. Et il va falloir que je me donne à fond là-dessus. Je vous ferai un petit débrief sur ce qu'on construit parce que c'est dans le thème de l'IA.

Parce que je trouve ça intéressant que quand on parle de ça, on soit aussi les mains dedans. Quand on fait un podcast sur l'IA, sauf si on a des invités en permanence, c'est toujours bien de mettre les mains dedans et de savoir de quoi on parle. Vous avez l'exemple de certains candidats à la présidentielle qui ont jamais utilisé par exemple ne serait-ce que Tchadjipiti ou une seule fois en 2023.

Et donc, ils ne savent vraiment pas de quoi ils parlent. C'est assez inquiétant, sachant que c'est un des plus gros sujets à venir. Donc, c'est toujours important de manipuler, de mettre les mains dedans. Je vous encourage vraiment à tester le maximum de choses. Ça prend du temps, c'est chronophage. Mais vous pouvez tourner ça à votre avantage sur un projet qui vous plaît. N'hésitez pas, si vous avez des idées, par exemple, vous avez des enfants, vous voulez les aider à faire leur devoir avec l'IA, vous pouvez très bien vibecoder un petit logiciel pour faire ça. On a tous des problématiques et on peut faire des micro-logiciels pour faire ça.

Tester des modèles, tester des outils, écouter ce podcast, lire. Restons informés, il y a beaucoup de bruit. Mais voilà, super content de vous partager cette nouvelle. Et donc, voilà, je vais m'arrêter là. Je vous souhaite encore des bonnes vacances. Je vous dis à bientôt. Rejoignez le Discord pour qu'on discute directement. C'était Guillaume, dans Génération IA. Ciao!