L’AGI pourrait arriver en 2030… mais pas avec les IA actuelles, prévient Demis Hassabis patron de Google DeepMind

Interviewé par le média Y Combinator, Demis Hassabis ne mâche pas ses mots. Pour le patron de Google DeepMind et prix Nobel de chimie, l’intelligence artificielle générale (AGI) sera une réalité aux alentours de 2030.

Cette ligne d’horizon oblige dès aujourd’hui les géants de l’IA et les chercheurs à repenser leurs feuilles de route. Sinon, ils risquent de toucher un plafond de verre. Pour Hassabis, les fondations d’une AGI sont déjà présentes, mais il existe des verrous pour l’atteindre. Et rien n’est vraiment fait pour les briser. Autrement dit, OpenAI, Anthropic et les autres grands compétiteurs se trompent en misant tout sur les LLM. Pourtant, ils disposent déjà des fondations de l’édifice des AGI. Celles-ci reposent sur l’entraînement à grande échelle, le raisonnement en chaîne, c’est-à-dire décomposer le raisonnement en étapes intermédiaires, et l’apprentissage par renforcement à partir de retours humains (RLHF).

Mais les blocages pour atteindre l’AGI restent difficiles à éliminer. Il existe selon lui trois entraves :

l’apprentissage continu ;le raisonnement à long terme ;la gestion de la mémoire.

Pour cette dernière, l’architecture des LLM pose un gros problème. Celle-ci est chargée avec tout et n’importe quoi sans aucun discernement. De fait, on y trouve beaucoup d’informations inutiles ou erronées. Un gâchis invraisemblable qui présente un vrai frein.

Un raisonnement en dents de scie

Du côté du raisonnement, ce n’est pas vraiment mieux. L’intelligence fonctionne « en dents de scie ». Ainsi, un même modèle peut décrocher une médaille d’or aux Olympiades de mathématiques, puis buter sur une simple opération arithmétique si la formulation change légèrement.

Demis Hassabis donne justement un exemple concret de ce phénomène en faisant jouer Gemini aux échecs. Lorsque le modèle perçoit qu’un coup est mauvais et qu’il ne trouve pas d’alternative, il revient quand même sur ce déplacement après avoir tourné en rond. Tant que ce comportement ne sera pas réglé, l’AGI ne pourra pas être atteinte.

Lors de son interview pour le podcast Y Combinator, le patron de DeepMind prend AlphaFold comme modèle phare capable d’atteindre l’AGI dans des domaines spécialisés. Il considère que c’est reproductible et qu’en mixant ce « cerveau » avec d’autres types d’IA, l’AGI sera atteignable d’ici quatre ans. © Y Combinator, YouTube

Le test d’Einstein

Dernièrement, Futura a évoqué Talkie, une IA dont la base de connaissances est bloquée à 1930. En ramenant cette limite à 1911, les chercheurs qui l’ont développée souhaitent vérifier si, avec son corpus, elle pourrait redécouvrir d’elle-même les travaux de la théorie de la relativité générale établie par Einstein en 1915.

Hassabis a réalisé la même expérience en entraînant un système uniquement sur les connaissances disponibles jusqu’en 1901. Il lui a ensuite demandé de redécouvrir seul les travaux d’Einstein de 1905, sur la relativité restreinte. Dans tous les cas, aucun LLM ne parvient à élaborer ces deux théories. Et pour Hassabis, ce test est essentiel. Tant que ce cap ne sera pas franchi, ces IA n’auront pas la capacité d’inventer. C’est justement ce qui caractérise une AGI.

Pourquoi cela ne fonctionne pas ? Tout repose sur les limites structurelles des grands modèles de langage. Pour atteindre l’AGI, il ne s’agit pas de mieux prédire des séquences, mais de raisonner sur des observations physiques contradictoires avec les théories existantes. Or, le gros frein des LLM, c’est que ces modèles ne comprennent pas le monde réel et qu’ils sont limités aux seules descriptions textuelles. Par exemple, ils savent que les balles tombent, mais ne modélisent pas la gravité.

Au lieu d’un seul gros cerveau, pour atteindre l’AGI, il faudra combiner une constellation d’IA spécialisées. © SB, ChatGPT

Yann LeCun en embuscade

Ce que décrit Hassabis ressemble davantage à ce que les chercheurs appellent un « world model ». C’est justement ce système que prône le Français Yann LeCun avec sa nouvelle société AMI Labs basée à Paris.

Les world models ne se limitent pas uniquement au texte ; à force de mathématiques, ils réalisent une modélisation complète du monde réel. Cela permet de simuler des situations jamais vues, de transférer des connaissances entre domaines et de formuler des hypothèses nouvelles. C’est totalement impossible d’accéder à cette dimension avec les LLM actuels. C’est bien pour cette raison que Demis Hassabis prétend que les LLM ne suffiront pas, à eux seuls, à atteindre l’AGI.

Sa vision repose plutôt sur une architecture hybride, mêlant les LLM, l’apprentissage par renforcement, les world models et l’application d’une mémoire structurée. D’ailleurs, le modèle AlphaFold – développé par DeepMind – n’est pas un LLM. Ce modèle prisé par les biologistes a révolutionné le secteur, car c’est un système spécialisé, entraîné sur un corpus gigantesque, capable de faire des liens avec un objectif clair : minimiser l’énergie libre d’une protéine. Il fonctionne pratiquement comme un world model, mais reste ultra spécialisé.

La prochaine étape d’AlphaFold est de créer un simulateur capable de modéliser dynamiquement le comportement cellulaire. Hassabis estime que ce sera fonctionnel d’ici dix ans.

Un conseil aux acteurs des IA

Le message que cherche à faire passer le patron de DeepMind auprès des géants des LLM lors de cette interview, c’est qu’il est nécessaire d’anticiper dès aujourd’hui la mise en place de ce type de modèle hybride.

Pour y parvenir, il vaut mieux privilégier des domaines précis avec une IA spécialisée, comme le fait DeepMind, et ajouter des LLM et d’autres types de modèles pour tout orchestrer. Autrement dit, contrairement à la course actuelle aux LLM, l’avenir de l’IA n’est pas celui d’un gros cerveau unique, mais d’une constellation de systèmes experts orchestrés par des modèles généraux.