Les IA conversationnelles, ou grands modèles de langages, sont parfois vues comme la porte à l’intelligence artificielle générale. ChatGPT sait par exemple répondre à des questions posées aux Olympiades internationales de mathématiques. Et pourtant, sur d’autres questions, en apparence beaucoup plus simples, ChatGPT fait de surprenantes fautes. Quels aspects de l’intelligence des IA conversationnelles expliquent leur capacité à résoudre certains problèmes et pas d’autres ?

Thomas McCoy et ses co-auteurs conjecturent que c’est lié à leur modèle sous-jacent d’autorégression : techniquement, ces IA sont entraînées à compléter des textes trouvés sur Internet. Si une IA est très bonne pour calculer (9/5) x + 32, mais pas (7/5) x + 31, c’est parce que la première formule correspond à la conversion de degrés Celsius vers Fahrenheit, une conversion très fréquente sur Internet, tandis que la deuxième ne correspond pas à une formule particulière. Les IA conversationnelles seraient donc bonnes à reproduire ce qu’elles ont déjà vu. En effet, des nombreux travaux ont montré qu’elles avaient une certaine tendance à reproduire des bribes de textes connus. Donc, si l’IA sait résoudre des problèmes des Olympiades internationales de mathématiques, est-ce tout simplement parce qu’elle a mémorisé la réponse ?

Faire du nouveau
En termes d’intelligence, inventer une nouvelle démonstration mathématique demande de maîtriser des abstractions et de savoir enchaîner un raisonnement logique compliqué avec un départ et une arrivée imposés. Cela semble beaucoup plus difficile que de mémoriser une démonstration. C’est une des oppositions traditionnelles en apprentissage machine, la lignée de recherche qui a donné naissance aux IA actuelles : mémoriser est une chose, savoir généraliser en est une autre. Par exemple, si je mémorise toutes les additions entre deux nombres plus petits que dix, je ne sais extrapoler au-delà. Pour aller plus loin, il faut que je maîtrise la logique de l’addition… ou que je mémorise plus.
Et justement, les IA conversationnelles ont une énorme capacité de mémorisation, et ont été entraînées sur presque tout Internet. Etant donné une question, elles peuvent souvent piocher dans leur mémoire pour trouver des éléments de réponses. Sont-elles donc intelligentes ou ont-elles juste une grande mémoire ? Les scientifiques débattent encore de l’importance de la mémorisation pour leurs capacités. Certains avancent que leur capacité de stockage est finalement limitée par rapport à la taille d’Internet. D’autres se demandent à quel point les succès impressionnants mis en avant ne sont pas sur des tâches déjà résolues sur Internet, questionnant leur capacité à faire du nouveau.

Mais la mémorisation serait-elle un aspect de l’intelligence ? En 1987, Lenat et Feigenbaum conjecturaient que pour un agent cognitif, accumuler du savoir permet de résoudre de nouvelles tâches en ayant moins à apprendre. Peut-être l’intelligence de l’IA conversationnelle est de savoir piocher les bonnes bribes d’information, et les combiner.

Lire l’article complet sur : www.lesechos.fr