Google vient de lancer un mini-modèle d’IA sobre en énergie pour les équipes de développement. D’une taille de 270 millions de paramètres, Gemma 3 270M offre une fenêtre contextuelle de 32.000 tokens, prend en charge l’image et le texte en 140 langues, et fonctionne sur un smartphone ou un Raspberry Pi.
Sur la base de tests réalisés en interne sur un smartphone Pixel 9 Pro, la firme de Mountain View déclare que le modèle n’a consommé que 0,75% de batterie pour 25 conversations en version quantifiée INT4, « ce qui en fait notre modèle Gemma le plus économe en énergie ». Selon elle, Gemma 3 270M est « le point de départ idéal pour créer une flotte de petits modèles spécialisés, chacun expert dans sa propre mission », c’est-à-dire des usages embarqués, de l’edge computing ou des environnements contraints.
Ce modèle, « combinant faible latence, coût minimal et exécution locale possible », selon son créateur, est notamment disponible sur les plateformes Hugging Face, Kaggle, LM Studio ou encore Docker.
Comme quoi, même les GAFAM (Google, Apple, Facebook, Amazon, Microsoft) ont bien compris que les grands modèles de langage (LLM) énergivores ont un avenir compromis et se mettent à miser sur les Small Language Models (SLM).