Aller au contenu

Déterminisme et contrôle

Comment gérez-vous les hallucinations en production ?

Aucun harnais ne supprime les hallucinations : elles appartiennent au modèle. Ce qu'un harnais peut faire, c'est réduire la surface où elles produisent un effet — imposer un schéma de sortie, interdire les lectures implicites, et exiger une validation humaine avant tout acte qui engage l'entreprise.

Mise à jour le

Trois réductions de surface, aucune promesse magique :

  • Un schéma de sortie obligatoire. Une facture inventée avec un montant en toutes lettres ne passe pas un schéma qui attend un nombre et une devise. Beaucoup d'erreurs meurent là.
  • Pas de lecture implicite. L'agent ne va pas chercher un contexte de sa propre initiative : ce qu'il voit est ce que l'étape lui a donné. Une hallucination fondée sur un document imaginaire n'a nulle part où naître.
  • La validation humaine par défaut sur tout effet engageant, jusqu'à ce que les chiffres d'accord sur le domaine réellement observé justifient de la retirer.

Et quand ça passe quand même : le journal permet de retrouver l'appel exact, de corriger le prompt, et de rejouer les cas passés contre la nouvelle version avant de la déployer.

Le sujet en entier : déterminisme