Deux évaluateurs, deux verdicts : pourquoi juger une IA est difficile
Sur le sous-échantillon doublement évalué de notre campagne, deux évaluateurs à l'aveugle tombent d'accord sur le verdict dans 56,7 % des cas. La mesure est moins stable que le résultat qu'elle prétend établir.
Un comparatif d'outils IA se lit toujours de la même manière : un score, un classement, un gagnant. Ce que ces publications ne disent presque jamais, c'est ce qui se passe quand on refait le même test, ou quand on demande à une deuxième personne d'évaluer la même sortie. Le Lab #1 a intégré ces deux contrôles dans son protocole. Les résultats sont inconfortables — y compris pour nous.
Ce que la double évaluation montre
Trente expériences du corpus ont été évaluées deux fois, indépendamment, sans que le second évaluateur connaisse la première note. Sur ces trente cas, les deux évaluations aboutissent au même verdict dans 56,7 % des cas. L'écart moyen de qualité entre les deux notes est de 0,8 point sur 5, et 22 écarts sont classés significatifs par le protocole.
Autrement dit : sur une échelle de qualité à cinq niveaux, deux évaluateurs regardant la même sortie s'écartent en moyenne de près d'un point, et ne convergent sur la conclusion qu'un peu plus d'une fois sur deux.
| Lecture | Valeur |
|---|---|
| Expériences doublement évaluées | 30 / 30 |
| Accord sur le verdict | 56,7 % |
| Écart moyen de qualité entre les deux évaluations | 0,8 point sur 5 |
| Écarts classés significatifs | 22 |
Accord observé sur le sous-échantillon doublement évalué. Ne constitue pas une preuve d'objectivité générale de l'évaluation.
Couverture : 30 expériences sur 30
Donnée simulée — Lab #1, Données simulées — campagne complète (T01→T20). Aucune exécution réelle.
Ce que les rejeux ajoutent
Le second contrôle est le rejeu : on relance la même tâche, avec le même assistant et le même mode, et on compare. Soixante rejeux ont été produits. Trente et un donnent exactement la même note de qualité que l'exécution d'origine ; vingt-neuf s'en écartent d'au moins un point. L'écart absolu moyen est de 0,5 point, et la reproductibilité moyenne du corpus s'établit à 3,5 sur 5.
La conclusion est double. La variabilité vient à la fois de la sortie, qui n'est pas identique d'une exécution à l'autre, et du jugement porté sur elle, qui n'est pas identique d'un évaluateur à l'autre. Ces deux bruits s'additionnent.
- Note identique31
- Écart d'au moins 1 point29
- Écart d'au moins 2 points1
L'écart absolu moyen entre un rejeu et son origine est de 0,5 point : le bruit vient aussi de la sortie, pas seulement de l'évaluateur.
Couverture : 60 rejeux sur 60
Donnée simulée — Lab #1, Données simulées — campagne complète (T01→T20). Aucune exécution réelle.
Ce que cela signifie pour un décideur
Un chiffre unique — « 4,2 sur 5 » — n'est pas une mesure : c'est une estimation avec une incertitude que presque personne ne publie. Quand deux outils sont séparés par 0,3 point dans un comparatif et que l'écart entre deux évaluateurs atteint 0,8 point, l'écart annoncé n'est pas interprétable.
Cela ne veut pas dire qu'il faut renoncer à mesurer. Cela veut dire qu'il faut mesurer autrement : plusieurs exécutions plutôt qu'une, deux évaluateurs sur les cas serrés, et une décision qui ne se joue jamais sur un dixième de point.
Les trois questions à poser devant un comparatif
Combien d'exécutions par cas ? Une seule exécution ne dit rien de la stabilité de l'outil.
Combien d'évaluateurs, et quel taux d'accord entre eux ? Sans ce chiffre, le score n'a pas d'intervalle.
Quels critères d'évaluation, écrits avant le test ? Une grille écrite après coup s'ajuste au résultat.
Ces trois questions valent aussi bien pour un comparatif de fournisseur que pour un test interne. Elles s'appliquent à notre propre campagne, et c'est pour cela que nous publions ces chiffres.
Les limites, clairement
L'aveugle est déclaré par le générateur de la campagne : aucune anonymisation humaine n'est attestée. L'accord porte sur un sous-échantillon de trente expériences simulées, pas sur un panel d'évaluateurs réels. Ce que ces chiffres établissent n'est pas un taux d'accord humain : c'est la démonstration qu'un protocole sérieux doit prévoir la mesure de son propre bruit.
D'où viennent ces chiffres
Lab #1 « Travail délégable à l'IA » — campagne simulée V3, protocole 1.3 : 300 expériences principales, 20 tâches, 5 assistants, 3 modes. Aucune exécution réelle.
Tâches du corpus : T03, T09, T13 · Sections du rapport : Rejeux et doubles évaluations · Limites et reproductibilité
Observation simulée
- Double évaluation : 30 / 30 expériences, accord de verdict 56,7 %, écart de qualité moyen 0,8 point, 22 écarts significatifs.
- Rejeux : 60 / 60, écart absolu moyen 0,5 point, 31 rejeux identiques, 29 à au moins 1 point d'écart.
- Reproductibilité moyenne du corpus : 3,5 / 5.
Interprétation de la rédaction
- Le bruit de mesure de la campagne est du même ordre de grandeur que les écarts publiés dans les comparatifs d'outils.
- Un comparatif sans double évaluation ni rejeu ne permet pas de trancher entre deux produits proches.
À confirmer en exécution réelle
- Mesurer un taux d'accord entre deux évaluateurs humains réels, sur des sorties réelles.
- Vérifier la stabilité des sorties en conditions réelles, à prompt strictement identique.
Et maintenant ?
Comprendre ce format- Qu'est-ce qui change ?
- La stabilité d'un test compte autant que son résultat — et elle est rarement publiée.
- Qui est concerné ?
- Tout dirigeant qui reçoit un comparatif d'outils, interne ou fourni par un prestataire.
- Pourquoi ça compte ?
- Un choix d'outil arbitré sur un écart plus petit que le bruit de mesure est un choix arbitraire.
- Que faire maintenant ?
- Exiger, pour tout comparatif : nombre d'exécutions, nombre d'évaluateurs, taux d'accord, critères écrits avant le test.
- Que surveiller ensuite ?
- L'exécution réelle du protocole, qui remplacera ces taux d'accord simulés par des taux mesurés.
