Une nouvelle étude affirme que l’IA générative n’a pas une compréhension cohérente du monde. Les grands modèles de langage (LLM) les plus performants ne font rien que du calcul à grande vitesse. Ils peuvent donner de bons résultats dans un contexte donné mais « halluciner » si l’environnement initial n’est modifié que très légèrement.
Par exemple, l’équipe de recherche a ajouté des détours sur le plan de la ville de New York afin d’observer comment se comportent les LLM pour assurer une navigation fluide, en dépit des obstacles imposés : « Nous sommes surpris de la rapidité avec laquelle les performances des LLM se détériorent dès que nous ajoutons une déviation. Si nous fermons seulement 1% des rues, la précision de l’IA chute de quasi 100% à 67% ».
« Souvent, nous voyons ces modèles faire des choses impressionnantes et nous pensons qu’ils doivent avoir compris quelque chose au monde mais ce n’est pas le cas », conclut l’équipe de recherche.