L’IA Gemini de Google s’est introduite sans autorisation dans les systèmes d’information de trois entreprises lors d’un test de cybersécurité en mai dernier. Le géant de MountainView l’a confirmé en toute discrétion au milieu de l’été. Le relai médiatique de cet incident provient du Wall Street Journal.
Le test d’intrusion de mai a été réalisé par le lab israélien Irregular, spécialisé dans l’audit de comportement d’agents d’IA. Irregular était également en charge d’auditer les agents d’OpenAI quand ils se sont introduits sans autorisation dans la plateforme de Hugging Face durant l’été.
Dans les trois cas, Gemini est parvenue à trouver une connexion internet en toute autonomie pour sortir de son environnement fermé de test mais a arrêté ses intrusions après avoir identifié que les entreprises ciblées étaient bien réelles et non fictives. Les entreprises touchées ont été notifiées et le protocole de test modifié. Google n’en dévoile pas les noms.
« Lors d’un test standard, le modèle a trouvé des informations publiques en ligne et a deviné des identifiants pour accéder à des sites qu’il pensait faire partie du test. Dans les trois cas, le modèle s’est arrêté de lui-même », souligne Heather Adkins (cf. photo), responsable de la sécurité informatique chez Google, dans un communiqué.
Ce type d’intrusions involontaires amène les géants de l’IA à demander aux gouvernements d’instaurer un cadre mondial de l’IA, similaire à celui régulant le nucléaire.
