Quel assistant surveiller en priorité ? Ne choisissez pas sur une seule vague
Dans notre simulation, le système qui nomme le plus souvent une entreprise change d'une vague à l'autre dans 3 secteurs sur 4, sans qu'aucun paramètre n'ait changé. Choisir où surveiller demande d'autres critères qu'un classement.
Faut-il suivre sa présence dans ChatGPT, Gemini, Claude, Perplexity et les Aperçus IA de Google ? Pour une PME, surveiller cinq systèmes chaque mois n'est pas réaliste. La tentation est de choisir « celui où l'on est le moins bien placé », ou « celui qui cite le plus ». Notre simulation montre pourquoi ces choix sont fragiles.
La question
Sur quels assistants une PME doit-elle concentrer sa veille, et sur quelle base décider ?
Ce que l'on sait
Les éditeurs documentent des comportements différents. Perplexity indique que chaque réponse comporte des citations numérotées. OpenAI décrit des réponses avec liens lorsque la recherche est utilisée, et ajoute un paramètre de suivi aux liens envoyés vers les sites. Google décrit ses Aperçus IA comme affichés lorsque ses systèmes les jugent utiles. Ces différences portent sur la façon de citer, pas sur la fréquence à laquelle une entreprise donnée sera nommée.
Ce que montre notre simulation : un classement sur un petit échantillon est un tirage
Nous avons donné à chaque système simulé un profil d'hypothèses. Malgré ces écarts d'entrée, un pilote de 150 réponses ne permet pas de les distinguer : avec 15 à 24 réponses par système, l'intervalle de confiance à 95 % de la part des réponses qui nomment une entreprise couvre 33 à 43 points. En campagne, avec 597 à 847 réponses par système, il se resserre à 6 à 8 points.
Plus parlant encore : par secteur et par vague, avec 41 à 72 réponses par case, le système en tête change d'une vague à l'autre dans 3 secteurs sur 4. Rien n'a changé dans le modèle entre les vagues, à part la dérive aléatoire des acteurs. Un tableau de bord qui annoncerait « Gemini passe devant Perplexity dans le commerce local » ne décrirait qu'une fluctuation.
| Système | Pilote : présence [IC 95 %], n | Campagne : présence [IC 95 %], n |
|---|---|---|
| ChatGPT | 71 % [51 – 85] · n = 24 | 73 % [70 – 76] · n = 841 |
| Gemini | 71 % [50 – 86] · n = 21 | 69 % [66 – 72] · n = 823 |
| Claude | 63 % [43 – 79] · n = 24 | 67 % [64 – 70] · n = 823 |
| Perplexity | 75 % [55 – 88] · n = 24 | 77 % [74 – 79] · n = 847 |
| Aperçus IA de Google | 67 % [42 – 85] · n = 15 | 60 % [56 – 64] · n = 597 |
Avec 15 à 24 réponses par système au pilote, l'intervalle couvre 33 à 43 points : aucun écart entre systèmes n'est lisible. Avec 597 à 847 réponses en campagne, il se resserre à 6 à 8 points.
Donnée simulée — Youpi Lab #2, scénario S1 (graine 20261030). Aucune plateforme n'a été interrogée.
Ce que cela signifie
Comparer des assistants demande des effectifs importants et des répétitions. À l'échelle d'une PME — quelques dizaines de réponses —, aucun classement de systèmes n'est fiable. Le choix de ce qu'on surveille doit donc reposer sur d'autres critères que leur « performance » observée.
| Secteur | Vague 1 | Vague 2 | Vague 3 |
|---|---|---|---|
| Services B2B aux PME | ChatGPT (75,4 %) | ChatGPT (77,1 %) | Perplexity (79,7 %) |
| Logiciels SaaS | Gemini (77,6 %) | Perplexity (80,3 %) | Perplexity (78,6 %) |
| Commerce local | Perplexity (75,7 %) | Gemini (77,1 %) | Gemini (76,1 %) |
| Formation professionnelle | Perplexity (82,9 %) | Perplexity (80,3 %) | Perplexity (76,1 %) |
41 à 72 réponses par système, secteur et vague. Dans 3 secteurs sur 4, le système en tête change d'une vague à l'autre alors qu'aucun paramètre du modèle n'a changé entre les vagues, hormis la dérive aléatoire des acteurs.
Donnée simulée — Youpi Lab #2, scénario S1 (graine 20261030). Aucune plateforme n'a été interrogée.
Les options
Surveiller les cinq : exhaustif, mais intenable sans outil et sans répétition.
Surveiller celui où l'on est absent : réagit souvent à un tirage défavorable.
Choisir sur des critères stables : l'usage réel de vos clients, et la manière dont le système cite ses sources.
Notre recommandation
Retenez deux systèmes. Le premier : celui que vos clients utilisent réellement — demandez-le-leur, ou regardez vos statistiques de visites pour repérer le trafic identifiable, comme utm_source=chatgpt.com. Le second : un système qui affiche systématiquement ses sources, parce qu'il vous montre d'où viennent les réponses sur votre secteur et donc où agir. Suivez ces deux systèmes chaque mois avec la même grille, et ne lisez pas un écart entre eux tant que vos effectifs ne se comptent pas en centaines.
Les limites
Tous les chiffres Lab de cet article proviennent de notre simulation : nous avons fixé les hypothèses du modèle, puis généré les réponses, les codages et les arbitrages. Les écarts entre systèmes y reproduisent nos hypothèses d'entrée ; ils ne décrivent pas le comportement réel de ChatGPT, Gemini, Claude, Perplexity ou des Aperçus IA de Google. Ce que la simulation illustre, c'est la méthode et l'effet de la variabilité sur une mesure.
Les largeurs d'intervalle dépendent des taux du scénario ; elles restent un bon ordre de grandeur pour une proportion autour de 60 à 80 %.
Et maintenant ?
Une collecte réelle devra dire si les systèmes diffèrent réellement, et sur quoi. D'ici là, la bonne question n'est pas « lequel est le meilleur ? », mais « lequel mes clients utilisent-ils, et lequel me montre ses sources ? ».
D'où viennent ces chiffres
Lab #2 « Qui devient visible quand l'IA répond ? » — campagne simulée, scénario S1 (graine 20261030) : pilote de 150 observations et campagne de 5 400 observations, protocole v1.1. Aucune plateforme n'a été interrogée ; les entreprises du scénario sont fictives.
Sections du protocole : Accord inter-codeurs (précision) · Évolution entre vagues
Ce que montre notre simulation
- Intervalle de confiance de la présence par système : 33 à 43 points au pilote (15 à 24 réponses), 6 à 8 points en campagne (597 à 847 réponses).
- Système en tête par secteur : change d'une vague à l'autre dans 3 secteurs sur 4 (41 à 72 réponses par case).
Ce que nous en déduisons
- Un classement d'assistants sur un petit échantillon reflète surtout le hasard.
- Les critères de choix utiles sont l'usage des clients et la transparence des sources.
Ce qu'il faudrait mesurer en réel
- Les écarts réels entre systèmes, avec des effectifs suffisants et des répétitions.
- Les assistants réellement utilisés par les clients des PME belges.
Et maintenant ?
Comprendre ce format- Qu'est-ce qui change ?
- Aucun classement d'assistants n'est fiable sur quelques dizaines de réponses : le choix de veille doit reposer sur l'usage des clients et la manière de citer.
- Qui est concerné ?
- Les responsables marketing qui organisent une veille de visibilité IA.
- Pourquoi ça compte ?
- Au pilote simulé, l'intervalle de confiance couvre 33 à 43 points par système ; le système en tête change de vague en vague dans 3 secteurs sur 4.
- Que faire maintenant ?
- Retenir deux systèmes — celui de vos clients et un système qui affiche ses sources — et les suivre chaque mois avec la même grille.
- Que surveiller ensuite ?
- La provenance du trafic identifiable dans vos statistiques de visites.
