Une enquête menée par le journal Computing auprès de 107 responsables informatiques et DSI au Royaume Uni révèle que 60% du panel est préoccupé (30%), voire très préoccupé (30%), par la hausse des coûts d’abonnement à l’intelligence artificielle (IA). Seul 8% ne s’en alarme pas.
La hausse des coûts de l’IA est, de loin, le principal sujet de mécontentement des personnes interrogées vis-à-vis de l’IA (43%). Et ce, dans un contexte où ces personnes estiment que de nombreux projets d’IA n’ont pas encore de retour sur investissement (ROI) positif. Les problèmes de conformité et de traitement des données arrivent loin derrière (25%) dans la liste de leurs préoccupations actuelles.
Les fournisseurs en intelligence artificielle font valoir que leurs prix sont en réalité en baisse. Sur la base du coût par jeton (token), c’est vrai. Mais l’IA se généralise à de plus en plus de personnes dans les entreprises et il faut de plus en plus de jetons pour faire faire des tâches complexes par une IA. Dans plus de la moitié des organisations interrogées dans le cadre de l’étude, les outils d’IA sont désormais utilisés à l’échelle de l’organisation entière.
Tandis que cet usage se généralise, les fournisseurs d’IA s’éloignent des modèles tarifaires à bas coût. A tel point que ce qui semble simple et peu coûteux lors de la phase pilote d’un projet d’IA peut s’avérer bien plus complexe et onéreux lors du passage en production.
Si la consommation de jetons augmente de manière spectaculaire à mesure que les projets prennent de l’ampleur, les effectifs des entreprises interrogées n’ont qu’une visibilité très limitée sur leur consommation réelle. L’étude relève que quelques entreprises, principalement des éditeurs de logiciels, ont encouragé une utilisation intensive des jetons d’IA, une pratique baptisée « tokenmaxxing », dans l’espoir d’obtenir un avantage concurrentiel. Elles en reviennent, constatant que l’IA est une boite noire, et qu’il est difficile de corriger ou d’alléger du code produit par une IA. Ce phénomène de délégation de tâche à une IA sans compréhension de ce qu’elle produit réellement et comment elle le fait a été baptisé « dette cognitive ».
L’étude rappelle que les agents d’IA orchestrent les flux de travail en faisant appel à plusieurs modèles et outils d’IA, ce qui peut augmenter considérablement la consommation de jetons.