Alors que les interrogations sur la sûreté des modèles d’IA de pointe se multiplient, Anthropic renforce ses dispositifs de contrôle externe. Le concepteur de Claude s’associe à Accenture pour intégrer des évaluateurs indépendants au cœur de ses équipes de développement.

Les deux groupes prévoient de consacrer au moins 2 milliards de dollars sur cinq ans à cette initiative, à raison d’un milliard de dollars minimum chacun.

Accenture va constituer une équipe d’« évaluateurs intégrés » chargée de travailler aux côtés des équipes d’Anthropic et de ses partenaires spécialisés dans la sécurité. Leur mission couvrira notamment les tests des modèles, les exercices de red teaming, l’évaluation de leur alignement et la vérification de l’efficacité des garde-fous mis en place.

L’annonce intervient dans un contexte de vigilance accrue autour du comportement des modèles les plus avancés. Anthropic a notamment documenté ces derniers mois plusieurs incidents survenus lors d’évaluations de cybersécurité. Son dirigeant, Dario Amodei, appelle désormais à freiner le développement de l’IA et à renforcer les mécanismes de contrôle indépendant.

La mission sera pilotée par Faculty, spécialiste britannique de l’IA racheté cette année par Accenture. Finalisée en mars, cette acquisition avait apporté au groupe plus de 400 spécialistes de l’IA, notamment dans les domaines de la sûreté et de l’évaluation des modèles. Faculty travaillait déjà avec plusieurs grands laboratoires d’IA avant son rachat.

Le dispositif entend aller plus loin que les évaluations externes classiques. Les équipes d’Accenture pourront suivre les modèles pendant leur entraînement, examiner certaines décisions liées à leur développement et à leur déploiement et échanger directement avec les équipes d’Anthropic.

Anthropic reconnaît toutefois que l’évaluation intégrée est une nouveauté, dont le cadre reste à formaliser. Le partenariat n’est pas exclusif. Anthropic indique être en discussion avec METR et d’autres organismes spécialisés pour expérimenter certains volets de ce modèle d’évaluation, et prévoit d’annoncer d’autres partenaires dans les prochaines semaines.

Nos lecteurs ont lu ensuite