← Qui devient visible quand l'IA répond ?

Suivi de la campagne simulée — Lab #2

Nous avons exécuté le protocole de bout en bout en simulation : pilote, double codage, arbitrage, critères de passage, puis trois vagues. Tout ce qui figure ici est calculé sur les données générées.

Campagne simuléeScénario S1 · graine 20261030Protocole v1.1

Édition intégralement simulée : pilote simulé de 150 observations et campagne simulée de 5 400 observations, produits par notre générateur déterministe à partir du protocole v1.1. Aucune plateforme n'a été interrogée.

Pilote simulé150/150
Campagne simulée (3 vagues)5 400/5 400

Toutes les valeurs de cette édition proviennent de notre générateur de simulation (empreinte des données d98dd60c). Elles illustrent une méthode et des ordres de grandeur ; elles ne mesurent pas le comportement réel des plateformes. Registre réel : 0 observation — aucune plateforme n'a été interrogée.

Passage du pilote à la campagne

Critères du protocole v1.1, calculés sur les 150 observations du pilote simulé.

  • Exécution complèteAtteint

    150 / 150 cellules exécutées · 0 invalidée(s), conservée(s)

  • Observations exploitablesAtteint

    148 / 150 (minimum 143) · 2 capture(s) manquante(s) · 12 absence(s) et 4 refus comptés comme résultats

  • Grille de codage stableAtteint

    Dernier tiers codé en grille v1.1

  • Double codage completAtteint

    75 tirées · 73 exploitables · 75 seconds codages uniques · 73 paires utilisables (indépendance déclarée, accès aveugle à contrôler)

  • Mention et recommandation (variables principales)Atteint

    F1 entreprises 0,97 (46 observations) · kappa « recommandée » 0,83 (136 paires entreprise, 46 observations)

  • Citation de source (variable principale)Atteint

    Évaluabilité : oui (155 URL communes, minimum 10) · Accord obtenu : F1 URL 0,95 sur 48 observations, 12 URL relevée(s) par un seul codeur · Fiabilité : fiable (seuil F1 ≥ 0,90).

  • Accord sur les refus (variable secondaire)Non évaluable

    Kappa non calculable ou non pertinent / 0,80 · 73 paires observation. Accord brut et accords spécifiques descriptifs : aucun seuil de remplacement autorisé. Non évaluable ou sous le seuil : n'invalide pas le pilote, variable déclarée non évaluable ou non fiable, aucun taux de refus publié.

  • Accord sur la validité des URL (variable secondaire)Atteint

    95,5 % / 95 % · 155 URL communes vérifiées sur 47 observations. Non évaluable ou sous le seuil : n'invalide pas le pilote, variable déclarée non évaluable ou non fiable, aucune conclusion sur la validité publiée. La détection (variable principale) est jugée séparément.

  • Temps réel mesuréMesure

    3,1 min de collecte + 4,6 min de codage par réponse en moyenne (repère v1.0 : 6 min, non bloquant)

Décision A (pilote réalisé) : atteinte. Décision B (variables principales fiables) : atteinte.

Décision C (autorisation de la campagne) : jamais calculée. Dans notre scénario, nous l'avons prise pour poursuivre la simulation ; elle ne vaut pour aucune collecte réelle.

Variable(s) secondaire(s) non évaluable(s) : refus. Conformément au protocole, le pilote n'est pas invalidé et nous ne publions aucun taux ni aucune comparaison pour cette variable dans le rapport.

Double codage et arbitrage

Second codage simulé, indépendant, des 75 observations tirées avant collecte.

Tirées

75

Exploitables

73

Paires utilisables

73

Arbitrages

51

34 observations sur 73 comportent au moins un désaccord. Chaque désaccord est inscrit avec la valeur retenue et sa justification ; les deux codages d'origine restent intacts.

  • Entreprise relevée par un seul codeur9
  • Recommandation6
  • URL (détection ou validité)24
  • Refus2
  • Erreurs factuelles8
  • Position face à la vérification2

Accord sur les entreprises : F1 0,97 · recommandation : kappa 0,83 · position face à la vérification : accord brut 0,85 sur 13 paires (aucun seuil fixé avant collecte).

Grille du pilote

Observations exploitables par question et par système (3 attendues par case). Une capture manquante rend l'observation non exploitable ; elle n'est jamais remplacée.

QuestionChatGPTGeminiClaudePerplexityAperçus IA de Google
Q01 Quels cabinets comptables accompagnent les PME en Belgique ?3/33/33/33/33/3
Q04 Quels CRM pour une petite entreprise ?3/32/3*3/32/3*3/3
Q09 Expert-comptable indépendant ou grand cabinet pour une PME ?3/33/33/33/33/3
Q12 Comparer les outils de gestion de projet pour PME.3/33/33/33/33/3
Q17 Quel est le meilleur cabinet comptable pour une PME à Bruxelles ?3/33/33/33/33/3
Q20 Quel CRM recommandes-tu pour une PME ?3/33/33/33/33/3
Q25 Comment fonctionne la facturation électronique obligatoire en Belgique ?3/33/33/33/33/3
Q28 Comment sécuriser les données d'un logiciel en ligne ?3/33/33/33/33/3
Q33 Que penser de [marque], cabinet comptable ?3/33/33/33/33/3
Q36 [marque] est-il conforme au RGPD ?3/33/33/33/33/3

* Capture manquante dans le scénario : observation exécutée, conservée, non exploitable.

Couverture par système

ChatGPT (recherche activée)

Pilote simulé30/30
Campagne simulée1 080/1 080

Gemini

Pilote simulé30/30
Campagne simulée1 080/1 080

Claude (recherche web activée)

Pilote simulé30/30
Campagne simulée1 080/1 080

Perplexity

Pilote simulé30/30
Campagne simulée1 080/1 080

Aperçus IA de Google

Pilote simulé30/30
Campagne simulée1 080/1 080

Vagues de la campagne simulée

Trois vagues espacées de 30 jours dans le calendrier du scénario.

Vague 11 800/1 800

16 novembre 2026 (scénario)

Vague 21 800/1 800

16 décembre 2026 (scénario)

Vague 31 800/1 800

15 janvier 2027 (scénario)

Observations invalidées dans le scénario : 0. Temps simulés au pilote : 3,1 min de collecte et 4,6 min de codage par observation — paramètres du modèle, pas des temps chronométrés.

Comment chaque observation simulée est produite

  1. Le générateur lit la cellule de la matrice : question, formulation, système, répétition, vague.
  2. Il tire le contenu de référence de la réponse selon les hypothèses du modèle : absence d'aperçu, refus, entreprises fictives nommées et leur rang, recommandations, URL fictives et leur validité, erreurs factuelles, position face aux questions de vérification.
  3. Le premier codeur simulé code ce contenu avec ses propres oublis et erreurs ; c'est ce codage qui alimente les agrégats.
  4. Pour les 75 observations du tirage de double codage, un second codeur simulé code indépendamment ; chaque désaccord est arbitré sans écraser les codages.
  5. Les critères de passage, l'accord inter-codeurs et toutes les lectures sont calculés par les mêmes fonctions que pour une collecte réelle.

Ordre d'exécution tiré au sort (graine 20261027), identique à celui prévu pour une collecte réelle. Cinq premières cellules du pilote : L2-P-Q01-base-CHATGPT-1 · L2-P-Q36-base-GOOGLE-AIO-1 · L2-P-Q12-base-PERPLEXITY-1 · L2-P-Q09-base-GEMINI-1 · L2-P-Q36-base-GEMINI-1.

Procédure prévue pour une collecte réelle (non exécutée)

  1. Vérifier l'adresse IP belge, ouvrir une fenêtre de navigation privée, se connecter au compte du système.
  2. Relever la version du produit affichée, puis ouvrir une nouvelle conversation.
  3. Coller la formulation exacte de la fiche d'exécution, sans rien ajouter.
  4. Archiver la réponse complète : capture d'écran, texte intégral et liens, dans docs/lab/02/raw/<identifiant>/.
  5. Coder la réponse selon la grille (marques, recommandation, rang, échelle, URL vérifiées, erreurs).
  6. Noter les minutes de collecte et de codage, puis passer à la fiche suivante dans l'ordre tiré.

L'outillage de collecte réelle (fiches, tableurs, contrôle d'import) reste en place et documenté. Le contrôle d'import refuse toute observation simulée.