AnalysesDécryptage•6 min de lecture
Le gain de temps de l'IA existe, mais il est petit et inégal
5,1 minutes de gain net moyen par expérience, 19 tâches gagnantes sur 20, et une tâche où l'assistance coûte 3,6 minutes de plus. La moyenne ne dit presque rien.
AnalysesDécryptage•6 min de lecture
Plus la tâche engage une décision, moins l'assistance est fiable
De la production de contenu à la décision stratégique, la qualité passe de 3,95 à 3,04 sur 5 et la supervision requise grimpe de 2,07 à 3,40. La pente est régulière.
AnalysesDécryptage•6 min de lecture
Les erreurs qui coûtent cher sont celles que personne ne voit
Sur les expériences où une anomalie avait été volontairement placée, 25 sur 45 sont passées inaperçues. Le sujet du contrôle n'est pas la qualité moyenne, c'est le trou.
AnalysesDécryptage•7 min de lecture
Deux évaluateurs, deux verdicts : pourquoi juger une IA est difficile
Sur le sous-échantillon doublement évalué de notre campagne, deux évaluateurs à l'aveugle tombent d'accord sur le verdict dans 56,7 % des cas. La mesure est moins stable que le résultat qu'elle prétend établir.