Votre agent a les droits root. Et un caractère très confiant.

Ceci est une conversation pour illustrer le problème, pas la transcription d’un incident produit particulier. Les systèmes n’ont pas tous les mêmes contrôles. Le mode de défaillance sous-jacent, l’injection indirecte de prompt, est assez réel pour mériter un modèle de menace plutôt qu’une photo de stock avec un œil rouge.

Le document aimerait une promotion

Un agent qui navigue peut rencontrer un contenu écrit par quelqu’un d’autre que son utilisateur. Ce contenu peut chercher à réorienter son comportement. Le problème n’est pas que chaque page suspecte réussisse. C’est que le système doit traiter un contenu antagoniste sans lui laisser prendre autorité sur les outils, le contexte privé ou les actions à venir.

Une page peut être utile à une recherche et rester une source d’instructions non fiable. La pertinence n’est pas une promotion. Un emballage JSON n’est pas un uniforme. Un fichier nommé skill.md reste un fichier que quelqu’un a écrit.

« Mais c’était marqué officiel »

Les mises à jour distantes ne sont pas mauvaises en soi. Beaucoup de systèmes ordinaires récupèrent des instructions ou une configuration. Les questions portent sur la provenance, l’intégrité, le périmètre et l’approbation : qui peut publier une mise à jour, quelles capacités elle change, et quels changements exigent une revue humaine explicite. Un parcours d’intégration commode n’y répond pas du seul fait qu’il est commode.

De même, une clé d’API n’est pas un trait de caractère. C’est une autorité. La ranger là où un outil peut la lire est parfois nécessaire. Laisser un contenu récupéré, sans rapport avec elle, décider de son usage est une autre décision de conception, souvent prise par accident.

L’écran de confirmation humaine

Une approbation sérieuse a besoin d’une action concrète : quelle ressource, quelle destination, quelle permission, quelle conséquence. Un bouton n’est pas une supervision si la personne qui clique ne comprend pas ce qu’elle autorise. Confirmer sans cesse des actions triviales n’aide pas davantage. Cela entraîne le lecteur à écarter celle qui compte.

La conception utile ne consiste pas à « tout demander ». Elle contraint les actions ordinaires, isole les entrées non fiables, limite l’autorité des outils et rend les conséquences exceptionnelles examinables. Les journaux et les tests comptent aussi. Le récit qu’un système fait de ses actes est plus facile à évaluer lorsqu’une trace existe en dehors de son propre résumé, si confiant soit-il.

Une fin moins cinématographique

Il n’existe pas de correctif universel en une ligne contre l’injection de prompt. Les contrôles adaptés dépendent de la tâche, du modèle, des outils et de l’environnement. Mais un assistant étroit, qui opère dans des limites explicites, est une proposition bien plus lisible qu’un assistant général tenant toutes les clés et lisant Internet pour recevoir la suite des ordres.

L’Opérateur a révisé la conception. La recherche est passée en lecture seule par défaut. Les actions sensibles ont reçu des étapes de revue précises. Le contenu externe a cessé d’être traité comme un canal de mise à jour de l’autorité. La démonstration est devenue un peu moins spectaculaire. L’explication de ce que le système pouvait faire est devenue nettement plus honnête.