Une capture d'écran ne prouve rien : ce que la répétition change à la mesure de la visibilité IA

Un dirigeant reçoit une capture d'écran : un assistant IA, interrogé sur « les meilleurs cabinets comptables à Bruxelles », cite son concurrent en premier. Faut-il s'inquiéter, investir, changer de stratégie ? La réponse dépend d'une question que la capture ne pose pas : si l'on repose la même question, obtient-on la même réponse ?

Nous avons construit le Lab #2 pour mesurer cette variabilité. Le protocole interroge chaque formulation trois fois, à chaque vague, pendant trois vagues espacées d'un mois. Nous l'avons exécuté en simulation : 5 400 réponses générées à partir d'hypothèses explicites, codées comme le seraient de vraies réponses. Ce que la simulation montre ici n'est pas le comportement réel d'un assistant ; c'est ce qu'une variabilité plausible fait à une mesure.

La question

Combien d'interrogations faut-il pour savoir si une entreprise est réellement visible dans les réponses d'un assistant, et que vaut une observation isolée ?

Ce que l'on sait déjà

La variabilité des assistants n'est pas une hypothèse d'école. SparkToro a fait poser des demandes de recommandation de marques par 600 volontaires à ChatGPT, Claude et aux réponses IA de Google, soit 2 961 réponses : la probabilité d'obtenir deux fois la même liste de marques était inférieure à une chance sur cent. Ces réponses portaient sur des marques et des requêtes américaines ; aucune étude publique équivalente ne décrit des questions de PME belges en français.

Ce que montre notre simulation : une interrogation ne suffit pas

Nous avons regroupé, pour chaque formulation et chaque système, les neuf interrogations du scénario (trois répétitions × trois vagues), puis compté à quel moment chaque entreprise apparaît pour la première fois. Une seule interrogation fait apparaître en moyenne 28,6 % des entreprises vues sur les neuf. Après trois interrogations, 59,2 %. Après six, 84,3 %.

L'effet est le même pour tous les systèmes simulés, parce que nous leur avons donné des volatilités du même ordre de grandeur. Ce qui compte, c'est l'ordre de grandeur : dans un monde où les réponses varient, la première capture montre une minorité du paysage.

La tête de liste est un tirage

Deux répétitions de la même question, posées le même jour au même système simulé, placent la même entreprise en première position dans 36,1 % des cas. Et 59,2 % des entreprises nommées dans un groupe de trois répétitions n'y apparaissent qu'une seule fois. L'indice de Jaccard moyen entre répétitions — 1 si les mêmes entreprises reviennent à chaque fois, 0 si aucune — s'établit à 0,37.

Autrement dit, dans notre scénario, être cité en tête sur une capture n'est pas un résultat : c'est un événement. Ce qui devient un résultat, c'est la fréquence à laquelle une entreprise apparaît sur plusieurs répétitions.

Ce que le temps ajoute

Nous avons aussi fait dériver la notoriété des acteurs d'un mois à l'autre. Résultat : 58,3 % des entreprises nommées en vague 1 reviennent en vague 2, et 57,4 % en vague 3. Dans le même temps, la part des réponses qui nomment au moins une entreprise reste comprise entre 69,7 % et 70,1 % d'une vague à l'autre.

C'est le piège le plus courant des tableaux de bord : un taux global stable peut masquer un renouvellement important des noms cités. Suivre « sa part de visibilité » sans suivre les noms qui l'occupent revient à regarder la température moyenne d'une pièce dont on ouvre les fenêtres.

Ce que cela signifie

Si les vrais assistants varient autant que ceux de notre scénario — et les observations publiques de SparkToro vont dans ce sens —, trois conséquences s'imposent. Une capture unique ne permet aucune conclusion, ni positive ni négative. Un indicateur de visibilité doit être une fréquence calculée sur des répétitions, pas une position. Et le suivi doit porter sur les noms, pas seulement sur des taux.

Les options

—Ignorer la variabilité et réagir aux captures : c'est l'option la plus fréquente, et la plus coûteuse en décisions mal fondées.

—Acheter un outil de suivi : utile s'il répète chaque requête et publie ses effectifs ; trompeur s'il agrège une seule interrogation par mot-clé.

—Mesurer soi-même avec répétition : une dizaine de questions, trois systèmes, trois répétitions, puis la même grille un mois plus tard.

Notre recommandation

Ne tirez aucune conclusion d'une interrogation isolée. Posez chaque question au moins trois fois, dans une nouvelle conversation, et notez la fréquence d'apparition de votre entreprise et de vos concurrents. Refaites l'exercice un mois plus tard avec les mêmes questions. Notre guide pas à pas décrit la grille à utiliser.

Les limites

Tous les chiffres Lab de cet article proviennent de notre simulation : nous avons fixé les hypothèses du modèle, puis généré les réponses, les codages et les arbitrages. Les écarts entre systèmes y reproduisent nos hypothèses d'entrée ; ils ne décrivent pas le comportement réel de ChatGPT, Gemini, Claude, Perplexity ou des Aperçus IA de Google. Ce que la simulation illustre, c'est la méthode et l'effet de la variabilité sur une mesure.

La dérive des acteurs est modélisée comme une marche aléatoire : aucune mise à jour de produit, aucun événement d'actualité. Les vrais systèmes peuvent être plus stables sur certaines questions et beaucoup plus instables sur d'autres.

Et maintenant ?

La variabilité réelle reste à mesurer : c'est la première chose qu'une collecte réelle du protocole devra établir, système par système. En attendant, la règle de prudence vaut pour toute PME : pas de décision sur une seule capture.