Les erreurs qui coûtent cher sont celles que personne ne voit
Sur les expériences où une anomalie avait été volontairement placée, 25 sur 45 sont passées inaperçues. Le sujet du contrôle n'est pas la qualité moyenne, c'est le trou.
La plupart des discussions sur la fiabilité de l'IA portent sur la qualité moyenne des réponses. C'est le mauvais indicateur. Une réponse médiocre est visible, elle est corrigée. Une réponse plausible mais fausse traverse le contrôle et se retrouve dans un document envoyé à un client.
Ce que la campagne compte
La campagne relève 554 erreurs mineures, 352 majeures et 97 critiques sur 300 expériences. Les erreurs critiques ne sont pas réparties uniformément : 62 expériences en concentrent au moins une, et elles se situent massivement en mode A, c'est-à-dire en usage spontané, sans contexte fourni.
Trois tâches du corpus contiennent une anomalie volontaire : une incohérence glissée dans des données commerciales, une contradiction dans une procédure, une règle métier qui en contredit une autre. Sur les 45 expériences où cette anomalie pouvait être repérée, 20 la détectent et 25 la manquent. Les 255 autres expériences ne comportent pas d'anomalie prévue : elles ne sont comptées ni comme détection ni comme échec.
- Risque 0 / 50
- Risque 1 / 531
- Risque 2 / 5141
- Risque 3 / 585
- Risque 4 / 543
- Risque 5 / 50
Le risque se concentre au milieu de l'échelle : peu d'erreurs spectaculaires, beaucoup de sorties à vérifier.
Couverture : 300 expériences principales classées
Donnée simulée — Lab #1, Données simulées — campagne complète (T01→T20). Aucune exécution réelle.
Le point aveugle
Un taux de détection inférieur à la moitié, sur des anomalies placées exprès, dit quelque chose de simple : l'assistance produit un texte cohérent, et la cohérence est précisément ce qui désarme la vigilance. Le relecteur d'un document bien structuré cherche des fautes de forme, pas une contradiction de fond.
Le second indicateur va dans le même sens : les critères de vérité terrain — les points que le livrable devait obligatoirement contenir — sont satisfaits à 72,6 %. Plus d'un quart des exigences explicites du corpus manquent à l'appel, dans des livrables par ailleurs jugés corrects.
| Situation | Expériences |
|---|---|
| Anomalie détectée | 20 |
| Anomalie non détectée | 25 |
| Hors périmètre (aucune anomalie prévue) | 255 |
Périmètre limité aux tâches à anomalie volontaire du corpus. Les expériences sans anomalie prévue sont « non applicable » et n'entrent ni dans les détections ni dans les manques.
Couverture : 45 expériences sur 45 dans le périmètre applicable (3 tâches)
Donnée simulée — Lab #1, Données simulées — campagne complète (T01→T20). Aucune exécution réelle.
Le contrôle ne s'improvise pas
Trois dispositifs se déduisent de ces observations, et aucun ne relève de l'outillage.
Écrire la liste des points obligatoires avant de lancer la tâche, et relire contre cette liste, pas contre son impression générale.
Faire relire les livrables engageants par quelqu'un qui n'a pas rédigé la demande : le rédacteur de la demande hérite des mêmes angles morts que l'assistant.
Placer périodiquement une erreur volontaire dans un jeu de données interne pour vérifier que le dispositif de relecture la voit encore.
Les limites, clairement
Le périmètre de détection est étroit : trois tâches, 45 expériences applicables, en environnement simulé. Aucune capacité réelle de détection n'est établie par cette campagne. Le chiffre à retenir n'est pas « 44 % de détection », c'est « la détection n'est pas acquise, elle doit être organisée ».
D'où viennent ces chiffres
Lab #1 « Travail délégable à l'IA » — campagne simulée V3, protocole 1.3 : 300 expériences principales, 20 tâches, 5 assistants, 3 modes. Aucune exécution réelle.
Tâches du corpus : T02, T15, T19, T04 · Sections du rapport : Erreurs, risque et anomalies · Lectures non soutenables
Observation simulée
- 554 erreurs mineures, 352 majeures, 97 critiques sur 300 expériences ; 62 expériences avec au moins une critique.
- Détection d'anomalie : 20 détectées, 25 manquées sur 45 expériences applicables (T02, T15, T19) ; 255 non applicables.
- Vérité terrain : 795 critères satisfaits sur 1 095, soit 72,6 %.
- Risque moyen : 2,5 / 5 (score élevé défavorable).
Interprétation de la rédaction
- La cohérence apparente d'un livrable réduit la vigilance du relecteur.
- Le contrôle doit être organisé par une liste de points obligatoires, pas laissé à l'appréciation.
À confirmer en exécution réelle
- Tester la détection d'anomalie avec des assistants réellement interrogés.
- Mesurer le taux de vérité terrain sur des livrables réels et non générés.
Et maintenant ?
Comprendre ce format- Qu'est-ce qui change ?
- Le risque documenté par la campagne n'est pas la mauvaise réponse : c'est la réponse crédible et incomplète.
- Qui est concerné ?
- Toutes les équipes qui produisent des livrables engageants avec assistance : commercial, juridique, opérations, qualité.
- Pourquoi ça compte ?
- Une erreur critique non vue est plus coûteuse que dix corrections mineures.
- Que faire maintenant ?
- Formaliser une liste de points obligatoires par type de livrable et l'utiliser comme grille de relecture.
- Que surveiller ensuite ?
- Le test de détection d'anomalie sur les tâches piégées, quatrième priorité de vérification du Lab.
