Plus de données. Plus de paramètres. Plus de puissance de calcul. Appliquée à l’intelligence artificielle, l’approche « toujours plus » a donné ces dernières années des résultats spectaculaires. Elle est à l’origine des grands modèles de langage (LLM, « large language models ») dits « modèles de fondation », comme GPT d’OpenAI, Gemini de Google ou Claude d’Anthropic, qui représentent aujourd’hui le nec plus ultra de l’IA. Mais, deux ans après le lancement de ChatGPT, la course à la taille pourrait marquer le pas.
La dernière version majeure du modèle d’OpenAI, GPT-4, remonte à mars 2023. Depuis, son successeur GPT-5 ne cesse d’être retardé, et Sam Altman a reconnu fin octobre, lors d’une session de questions-réponses sur Reddit, qu’il n’arriverait pas cette année.
Le patron d’OpenAI explique ce délai par la priorité donnée à des variations du modèle actuel, avec des versions spécialisées dans le raisonnement ou la résolution de problèmes, comme GPT o1, lancé en septembre dernier. « Tous ces modèles sont devenus très complexes, et nous ne pouvons pas lancer autant de choses en même temps que nous le souhaiterions », a-t-il justifié sur Reddit.

Des délais qui s’allongent
Mais ce n’est probablement pas la seule raison. Selon une enquête du site américain The Information, le délai serait dû avant tout à des performances insuffisantes, notamment pour la génération de code informatique, et à une amélioration globale jugée bien plus faible que le saut qualitatif observé entre GPT-3 (175 milliards de paramètres) et GPT-4 (plus de 1.000 milliards), pour des coûts d’entraînement bien supérieurs. Après plusieurs années de progrès constants, certains experts estiment que les grands modèles arrivent aujourd’hui à un plateau.
OpenAI n’est pas le seul acteur de l’IA générative confronté à ce phénomène. Dario Amodei, CEO d’Anthropic, a récemment reconnu que la prochaine version majeure de son LLM Claude était repoussée à une date inconnue. Selon Bloomberg, Google ferait face lui aussi à des performances décevantes avec le successeur de Gemini 1.5.
Ces retards viennent remettre en question une théorie jusqu’ici très répandue chez les pionniers de l’IA générative, connue sous le nom de « scaling laws » (« lois de passage à l’échelle ») : l’augmentation exponentielle de la puissance de calcul, du nombre de paramètres du modèle, de la durée d’entraînement et de la quantité de données fournies au modèle doit se traduire par une augmentation équivalente des performances.

« Les gens parlent de lois, mais ce terme est trompeur, car il s’agit plutôt d’une observation empirique », expliquait mi-octobre Dario Amodei.

Des « lois » remises en cause
Outre qu’elle entraîne une explosion des besoins de processeurs spécialisés (pour le plus grand bonheur de Nvidia), et donc d’énergie et de capital, la mise en oeuvre des « scaling laws » se heurte à un autre obstacle : le manque de données de qualité pour entraîner les modèles de fondation.
La génération précédente de LLM s’était appuyée sur de gigantesques jeux de données publiques et sur la richesse des contenus accessibles sur le Web (textes, mais aussi photos, vidéos, etc.), quitte à les aspirer sans respecter les ayants droit. Or, pour alimenter la prochaine génération, les données produites par des humains ne seraient plus disponibles en quantité suffisante.
Certains acteurs, dont OpenAI, tentent d’y répondre en nouant des accords avec des éditeurs pour accéder à des contenus de qualité sans risquer de procès – mais cela nécessite plus de temps et d’argent que de simplement récolter les données sur le Web. En parallèle, il est aussi possible de répondre à la pénurie en entraînant les nouveaux modèles sur des données dites « de synthèse », produites grâce à l’IA générative, mais cela peut se traduire par une dégradation des performances ou une augmentation du temps de vérification.
Pour OpenAI et ses concurrents, la course à l’innovation ne se fait donc plus seulement sur la taille du modèle, mais sur ses capacités dans des domaines précis, comme le raisonnement ou la planification de tâches. Le développement des agents d’intelligence artificielle, capables de coordonner et d’automatiser différentes actions, par exemple pour rédiger un rapport ou planifier des voyages, fait partie de cette stratégie.

Des modèles plus petits
Beaucoup de start-up et d’acteurs de l’open source misent aussi sur des modèles de taille réduite (SLM, « small language models ») et très spécialisés, donc nécessitant moins de ressources, qui peuvent se montrer tout aussi performants que les grands modèles pour des utilisations basiques, comme les résumés de documents, l’analyse d’images ou la reconnaissance vocale.
Comme l’expliquait l’an dernier aux « Echos » Clément Delangue, cofondateur de la plateforme de modèles open source Hugging Face : « Des modèles plus petits, donc moins coûteux et plus rapides, peuvent convenir à la plupart des cas d’usage. Si l’on veut développer un chatbot de relation client pour une banque, ce n’est pas nécessaire qu’il sache parler de Shakespeare ou du sens de la vie ! »

Lire l’article complet sur : www.lesechos.fr