L'ascension météoritique de l'IA remise en question : "Nous n'en tirons pas d'améliorations intelligentes"
Les modèles d'intelligence artificielle (IA) générative sont-ils dans une impasse? Depuis le lancement de ChatGPT il y a deux ans, les progrès exponentiels de la technologie laissent espérer l'avènement de machines à l'intelligence quasi humaine. Mais les doutes s'accumulent.
- Publié le 18-11-2024 à 07h52
Les leaders de l'industrie promettent des gains de performance si importants et si rapides qu'une "intelligence artificielle générale", selon l'expression du patron d'OpenAI (ChatGPT) Sam Altman, devrait bientôt émerger.
Ils fondent cette conviction sur des lois de passage à grande échelle: il suffirait d'alimenter les modèles avec toujours plus de données et de puissance de calcul informatique pour qu'ils gagnent en capacités.
Cette stratégie a si bien fonctionné jusqu'à présent que de nombreux acteurs du secteur ont eu peur que cela n'aille trop vite et que l'humanité ne se retrouve dépassée.
Microsoft (principal investisseur d'OpenAI), Google, Amazon, Meta et d'autres ont dépensé des milliards de dollars et lancé des outils qui produisent facilement des textes, images et vidéos de qualité bluffante, et qui font aussi désormais la conversation à l'oral.
xAI, la société d'IA d'Elon Musk, est en train de lever 6 milliards de dollars, d'après CNBC, pour acheter 100.000 puces Nvidia, les composants électroniques de pointe qui font tourner les grands modèles.
OpenAI a conclu début octobre une levée de fonds majeure de 6,6 milliards de dollars, qui la valorise à 157 milliards.
"Les valorisations élevées reposent en grande partie sur l'idée que les modèles de langage deviendront, grâce à une expansion continue, des IA générales", a déclaré Gary Marcus, expert souvent critique de l'industrie. "Comme je l'ai toujours dit, ce n'est qu'un fantasme."
Limites
La presse américaine a récemment rapporté que les nouveaux modèles en développement semblent avoir atteint des plateaux, notamment chez Google, Anthropic (Claude) et OpenAI.
"Nous augmentons (la puissance de calcul) au même rythme, mais nous n'en tirons pas d'améliorations intelligentes", a récemment déclaré Ben Horowitz, cofondateur de a16z, une société de capital risque actionnaire d'OpenAI et investisseur dans des sociétés concurrentes, dont Mistral.
Orion, le dernier-né d'OpenAI, pas encore public, dépasse ses prédécesseurs. Mais "l'augmentation de la qualité a été bien moindre par rapport au bond entre GPT-3 et GPT-4", les deux derniers modèles phare de l'entreprise, selon des sources citées par The Information.
Plusieurs experts interrogés par l'AFP estiment que les lois d'échelle ont atteint leurs limites.
"Certains laboratoires se sont trop concentrés sur l'ajout d'un plus grand nombre de textes, pensant que la machine allait devenir de plus en plus intelligente", souligne Scott Stevenson, patron de Spellbook, une société spécialisée dans l'IA générative juridique.
Grâce à un entraînement à base de montagnes de données collectées en ligne, les modèles parviennent à prédire, de façon très convaincante, des suites de mots ou des arrangements de pixels. Mais les entreprises commencent à manquer de nouveaux matériaux pour les alimenter.
Et ce n'est pas qu'une question de connaissances: pour progresser, il faudrait surtout que les machines parviennent d'une certaine façon à comprendre le sens de leurs phrases ou de leurs images.
"Bébé" IA
Les patrons du secteur contestent l'idée d'un ralentissement.
"Si on regarde le rythme auquel les capacités augmentent, on peut penser que nous arriverons (à l'IA générale) d'ici 2026 ou 2027", a assuré Dario Amodei, le patron d'Anthropic, sur le podcast de l'informaticien Lex Fridman.
"Il n'y a pas d'impasse", a de son côté écrit Sam Altman jeudi sur X. OpenAI a néanmoins retardé la sortie du successeur de GPT-4.
Et, en septembre, la start-up star de la Silicon Valley a opéré un changement de stratégie en présentant o1, un modèle censé répondre à des questions plus complexes, notamment mathématiques, grâce à un entraînement qui repose moins sur l'accumulation de données et plus sur le renforcement de sa capacité à raisonner.
Selon Scott Stevenson, o1 "passe plus de temps à réfléchir qu'à réagir", conduisant à des "améliorations radicales".
Il compare l'évolution de la technologie à la découverte du feu: plutôt que d'ajouter du carburant sous forme de données et de puissance informatique, il est temps de développer l'équivalent d'une lanterne ou d'une machine à vapeur. Comme des agents IA auxquels les humains vont pouvoir déléguer des tâches en ligne.
"Le bébé de l'IA était un chatbot qui faisait beaucoup d'improvisation" et donc beaucoup d'erreurs, abonde Walter De Brouwer, professeur à l'université de Stanford. "L'approche de l'homo sapiens, qui consiste à réfléchir avant de sauter, est en train d'arriver."
