L’IA générative est à double-tranchant en matière de cybersécurité. Cinq chercheurs informaticiens affiliés à l’Université de l’Illinois à Urbana-Champaign (UIUC) ont démontré que des grands modèles de langage d’IA générative (LLM) étaient capables de compromettre des sites web vulnérables sans intervention humaine.
Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan et Daniel Kang ont publié les résultats de leur recherche dans un article intitulé « Les agents LLM peuvent pirater des sites web de manière autonome ». Pour effectuer leurs tests, ils ont utilisé trois outils principaux : l’API d’assistants OpenAI, LangChain et le cadre de test de navigateur Playwright.
« Ces agents peuvent effectuer des attaques complexes de type SQL union, qui impliquent un processus en plusieurs étapes (38 actions) d’extraction d’un schéma de base de données, d’extraction d’informations de la base de données sur la base de ce schéma, et d’exécution du piratage final », précise Daniel Kang, professeur adjoint à l’UIUC, auprès du Register. « Les agents sont ce qui m’effraie le plus en termes de sécurité future » (…) « Ce qui m’inquiète vraiment à propos des futurs modèles très performants, c’est la capacité de faire des piratages autonomes et d’essayer plusieurs stratégies différentes à l’échelle ».
Auparavant, la société OpenAI avait minimisé les capacités de GPT-4 à faciliter des cyberattaques, affirmant que le modèle « n’offre que des capacités limitées et progressives pour les tâches de cybersécurité malveillantes au-delà de ce qui est déjà réalisable avec des outils publiquement disponibles, non alimentés par l’IA ». A présent, un porte-parole de la société déclare : « Nous ne voulons pas que nos outils soient utilisés à des fins malveillantes et nous cherchons constamment à rendre nos systèmes plus robustes contre ce type d’abus. Nous remercions les chercheurs d’avoir partagé leur travail avec nous ».
D’ailleurs, l’équipe de surveillance des menaces de Microsoft et OpenAI ont récemment observé cinq acteurs malveillants d’Etats-nation qui utilisent ChatGPT pour renforcer leurs attaques : les chinois Charcoal Typhoon et Salmon Typhoon, l’iranien Crimson Sandstorm, le nord-coréen Emerald Sleet et le russe Forest Blizzard (APT28).
Dans une étude intitulée « Cyber Signals », le conseiller en chef pour la cybersécurité chez Microsoft, Bret Arsenault, rappelle que « l’IA a le potentiel de permettre aux organisations de vaincre les cyberattaques à la vitesse de la machine et de favoriser l’innovation et l’efficacité dans la détection des menaces, la chasse et la réponse aux incidents, mais les adversaires peuvent aussi utiliser l’IA dans le cadre de leurs exploits ».