Le modèle d’IA de nouvelle génération de xAI n’est pas arrivé à temps, s’ajoutant à une tendance croissante dans l’industrie. De plus en plus de modèles d’IA phares ratent les calendriers de lancement initialement annoncés.
L’été dernier, Elon Musk, fondateur et PDG de l’entreprise d’intelligence artificielle xAI, avait promis que Grok 3, le prochain modèle révolutionnaire de la société, serait disponible « d’ici la fin de l’année 2024 ». Grok, positionné comme le concurrent direct de modèles comme GPT-4o d’OpenAI ou Gemini de Google, est conçu pour analyser des images, répondre à des questions complexes et alimenter plusieurs fonctionnalités sur X, le réseau social de Musk.
« Grok 3, une fois entraîné sur 100 000 H100 d’ici la fin de l’année, devrait être quelque chose de vraiment spécial », avait écrit Musk en juillet dernier. Il avait également affirmé en décembre que ce modèle représenterait « un bond majeur en avant ».
Mais aujourd’hui, début janvier 2025, Grok 3 n’a toujours pas vu le jour, et aucun indice ne laisse supposer que son déploiement est imminent.
Un modèle intermédiaire en préparation
Selon un code repéré sur le site de xAI l’expert Tibor Blaho, un modèle intermédiaire nommé « Grok 2.5 » pourrait être lancé avant Grok 3. Ce ne serait pas la première fois que Musk se montre trop optimiste dans ses annonces de calendrier, ce qui est bien documenté. En août dernier, dans une interview avec le podcasteur Lex Fridman, Musk avait d’ailleurs nuancé son optimisme en indiquant que Grok 3 arriverait « si nous avons de la chance ».
Une tendance inquiétante
Le retard de Grok 3 s’inscrit dans une tendance plus large. En 2024, la startup Anthropic n’a pas réussi à livrer son modèle Claude 3.5 Opus, initialement prévu pour la fin de l’année. La société a même supprimé toute mention de ce modèle dans sa documentation développeur. Selon certains rapports, Claude 3.5 Opus a bien été entraîné, mais Anthropic aurait décidé que le lancer n’était pas économiquement viable.
Des géants comme Google et OpenAI auraient également rencontré des difficultés similaires avec leurs modèles phares ces derniers mois, ce qui soulève des questions sur les limites actuelles des lois de mise à l’échelle en IA.
Les limites des approches traditionnelles
Autrefois, il était possible d’obtenir des gains de performance significatifs en augmentant la puissance de calcul et les volumes de données utilisés pour entraîner les modèles. Aujourd’hui, ces gains se réduisent, forçant les entreprises à explorer d’autres approches pour améliorer leurs modèles.
Musk lui-même a reconnu ces défis lors de l’interview avec Fridman. Lorsque ce dernier lui a demandé si Grok 3 serait à la pointe de la technologie, Musk a répondu : « Espérons-le. C’est l’objectif. Mais nous pourrions échouer dans cet objectif. »
Une équipe plus petite et des ambitions élevées
Le retard de Grok 3 pourrait également s’expliquer la taille relativement réduite de l’équipe de xAI rapport à ses concurrents. Malgré tout, ce décalage dans le calendrier s’ajoute aux indices selon lesquels les méthodes conventionnelles d’entraînement des modèles d’IA atteignent leurs limites, marquant peut-être la fin d’une époque pour l’innovation rapide dans ce domaine.