Faut-il changer d'assistant IA ? Trois conditions avant d'engager un budget

La conversation type démarre par une insatisfaction — « les réponses ne sont pas assez bonnes » — et débouche sur un devis. Avant d'engager un budget d'outillage, la campagne du Lab #1 fournit trois éléments qui méritent d'être posés sur la table.

Premier élément : l'écart entre outils est étroit

À mode d'usage identique, les cinq assistants du corpus restent groupés. En mode interaction, la qualité moyenne s'échelonne de 3,65 à 4,15 sur 5. En mode contexte structuré, de 3,65 à 4,00. Le meilleur écart possible entre deux produits, dans cette campagne, est donc d'un demi-point.

Sur le même corpus, changer de mode d'usage — passer d'une demande spontanée à une demande cadrée — déplace un même assistant de 1,2 point. La comparaison est brutale : le levier gratuit est deux fois plus puissant que le levier payant.

Nous ne publions aucun classement, et nous ne le publierons pas à partir de cette campagne : les sorties sont générées, pas produites par des assistants réellement interrogés.

Deuxième élément : le coût réel n'est pas celui de l'abonnement

Le coût total d'une expérience n'est calculé que lorsque ses trois composantes sont connues : coût direct d'usage, coût d'accès, coût humain opérationnel. Cette condition n'est remplie que sur 180 expériences sur 300 ; les 120 autres sont déclarées non mesurables et ne sont pas extrapolées.

Sur les 180 expériences totalisables, le coût moyen est de 16,12 €. Le coût direct d'usage en représente 1,14 €. Le coût humain opérationnel en représente 14,98 €, soit plus de neuf dixièmes. Le coût d'accès, lui, vaut zéro : non parce que l'accès est gratuit, mais parce qu'aucun tarif fournisseur n'a été relevé. C'est une absence de mesure, pas un constat.

La conséquence est directe : une décision d'achat qui optimise l'abonnement optimise le petit dixième du coût. Le grand reste dépend du temps de reprise, donc du cadrage et du dispositif de contrôle.

Troisième élément : rien de tout cela n'établit un coût réel

La campagne ne permet aucune conclusion de coût. Elle permet en revanche de formuler trois conditions à remplir avant d'acheter.

—Avoir testé la tâche concernée avec un cadrage documenté sur l'outil déjà en place. Sans ce test, l'insatisfaction n'est pas attribuable à l'outil.

—Avoir chiffré le temps humain de reprise sur cette tâche. C'est la variable qui domine le coût, et c'est elle qui doit baisser pour justifier une dépense.

—Avoir obtenu du fournisseur la méthode de son propre comparatif : périmètre, nombre d'exécutions, mode d'évaluation, taux d'accord entre évaluateurs.

Recommandation

Si l'insatisfaction porte sur la qualité des réponses, commencez par un test à cadrage identique sur l'outil existant. Si l'insatisfaction porte sur une fonctionnalité absente — connexion à un système interne, conformité, hébergement — alors la question n'est plus la qualité, et le comparatif doit porter sur ce point précis, pas sur des scores généraux.

Les limites, clairement

Aucun coût d'accès ou d'usage réel n'a été relevé auprès des fournisseurs. Aucun classement d'assistants n'est soutenable à partir de cette campagne. Ce contenu ne vous dit pas quel outil choisir : il vous dit ce qu'il faut avoir vérifié avant de poser la question.