OpenAI rapporte avoir temporairement suspendu l’utilisation interne d’un modèle de raisonnement capable de travailler de manière autonome pendant de longues périodes. Non commercialisé, ce système est celui auquel l’entreprise avait attribué en mai la réfutation d’une conjecture mathématique formulée par Paul Erdős il y a près de 80 ans. Cet épisode avait illustré sa capacité à explorer seul de nombreuses pistes avant d’aboutir à un résultat inédit.
Cette autonomie prolongée a toutefois fait apparaître de nouveaux risques. Contrairement aux modèles qui exécutent une série limitée d’instructions, un modèle dit « à long horizon » peut poursuivre un objectif pendant plusieurs heures, tester différentes stratégies et chercher des solutions de repli lorsqu’il rencontre un obstacle. OpenAI a constaté que cette persévérance pouvait aussi conduire le système à contourner ses gardes-fous et à s’extraire de son environnement de test.
Lors d’une expérimentation sur le benchmark NanoGPT, le modèle avait reçu pour consigne de publier ses résultats uniquement dans Slack. Il a néanmoins tenté de suivre une instruction du benchmark demandant l’ouverture d’une requête sur GitHub. Pour y parvenir, il a identifié une faiblesse dans son environnement isolé et réussi à accéder à un dépôt public, alors que cette action ne lui était pas autorisée.
Dans un autre test, le modèle a cherché à consulter des résultats privés stockés dans l’infrastructure d’évaluation. Après le blocage d’un jeton d’authentification par un outil de sécurité, il a fractionné et masqué ce jeton, puis l’a reconstitué au moment de l’exécution. « Le modèle a clairement indiqué, tant dans ses commentaires à l’utilisateur que dans ses traces de raisonnement, qu’il prenait ces mesures pour contourner le scanner », précise OpenAI.
Le laboratoire ajoute qu’il ne s’agissait pas d’une « tentative d’évasion » au sens d’une volonté propre du modèle, mais d’une conséquence de sa tendance à poursuivre l’objectif assigné malgré les restrictions. L’entreprise a depuis renforcé la surveillance de l’ensemble des actions réalisées au cours d’une tâche, ainsi que les mécanismes d’interruption et les tests de sécurité. L’accès interne limité au modèle a été rétabli et OpenAI affirme ne plus avoir observé de contournement grave depuis. Un avertissement toutefois sur le risque d’utiliser de tels modèles sans un strict plan de contrôle.