Un agent est un assistant autorisé à enchaîner des étapes et à utiliser des outils : rechercher dans une base documentaire, appeler un service interne, produire un document. Cette autonomie partielle change la façon de concevoir : la difficulté n'est plus la rédaction du texte, mais la définition du périmètre et des contrôles. Voici le déroulé que nous suivons en atelier.
Étape 1 — Délimiter la mission de l'agent
Un agent utile a une mission étroite : répondre aux questions sur un corpus précis, préparer un brouillon de réponse, vérifier la complétude d'un dossier. Une mission large produit un assistant imprévisible et impossible à évaluer.
- Une mission, un public, un corpus.
- Liste explicite des actions autorisées et interdites.
- Comportement attendu quand l'information est absente : dire qu'elle est absente.
Étape 2 — Préparer le corpus avant l'agent
Le corpus doit être délimité, à jour et découpé en unités cohérentes, avec pour chaque document une source, une date et un responsable. Les droits d'accès se décident ici : un agent ne doit jamais restituer un contenu que l'utilisateur n'a pas le droit de lire.
Étape 3 — Donner des outils, un par un
Chaque outil est ajouté séparément, avec un contrat clair : ce qu'il attend, ce qu'il renvoie, ce qu'il ne fait pas. Toute action ayant un effet durable — envoyer, enregistrer, modifier — reste soumise à validation humaine tant que la fiabilité n'est pas démontrée.
Étape 4 — Évaluer avec des cas d'échec, pas seulement des cas idéaux
Ce jeu de cas difficiles constitue la base d'évaluation, rejouée à chaque évolution. C'est lui qui révèle les régressions, jamais les démonstrations réussies.
- Questions hors périmètre : l'agent doit refuser clairement.
- Questions dont la réponse n'est pas dans le corpus : il doit le dire.
- Documents contradictoires : il doit signaler la contradiction.
- Formulations ambiguës ou fautives : il doit demander une précision.
Étape 5 — Encadrer avant d'ouvrir
Un agent mis à disposition sans journalisation ni canal de signalement ne peut pas être amélioré : les erreurs restent invisibles.
- Journalisation des questions, des sources utilisées et des actions déclenchées.
- Limites d'usage et coût par utilisateur surveillés.
- Mention visible du caractère assisté des productions.
- Point de contact humain pour signaler une réponse erronée.
À retenir
- Une mission étroite, un corpus délimité, des actions listées.
- Le corpus et ses droits d'accès se traitent avant l'agent.
- Les outils s'ajoutent un par un ; les actions durables restent validées par un humain.
- L'évaluation se construit sur des cas d'échec, pas sur des démonstrations réussies.