Suivi de la campagne simulée — Lab #2
Nous avons exécuté le protocole de bout en bout en simulation : pilote, double codage, arbitrage, critères de passage, puis trois vagues. Tout ce qui figure ici est calculé sur les données générées.
Édition intégralement simulée : pilote simulé de 150 observations et campagne simulée de 5 400 observations, produits par notre générateur déterministe à partir du protocole v1.1. Aucune plateforme n'a été interrogée.
Toutes les valeurs de cette édition proviennent de notre générateur de simulation (empreinte des données d98dd60c). Elles illustrent une méthode et des ordres de grandeur ; elles ne mesurent pas le comportement réel des plateformes. Registre réel : 0 observation — aucune plateforme n'a été interrogée.
Passage du pilote à la campagne
Critères du protocole v1.1, calculés sur les 150 observations du pilote simulé.
- Exécution complèteAtteint
150 / 150 cellules exécutées · 0 invalidée(s), conservée(s)
- Observations exploitablesAtteint
148 / 150 (minimum 143) · 2 capture(s) manquante(s) · 12 absence(s) et 4 refus comptés comme résultats
- Grille de codage stableAtteint
Dernier tiers codé en grille v1.1
- Double codage completAtteint
75 tirées · 73 exploitables · 75 seconds codages uniques · 73 paires utilisables (indépendance déclarée, accès aveugle à contrôler)
- Mention et recommandation (variables principales)Atteint
F1 entreprises 0,97 (46 observations) · kappa « recommandée » 0,83 (136 paires entreprise, 46 observations)
- Citation de source (variable principale)Atteint
Évaluabilité : oui (155 URL communes, minimum 10) · Accord obtenu : F1 URL 0,95 sur 48 observations, 12 URL relevée(s) par un seul codeur · Fiabilité : fiable (seuil F1 ≥ 0,90).
- Accord sur les refus (variable secondaire)Non évaluable
Kappa non calculable ou non pertinent / 0,80 · 73 paires observation. Accord brut et accords spécifiques descriptifs : aucun seuil de remplacement autorisé. Non évaluable ou sous le seuil : n'invalide pas le pilote, variable déclarée non évaluable ou non fiable, aucun taux de refus publié.
- Accord sur la validité des URL (variable secondaire)Atteint
95,5 % / 95 % · 155 URL communes vérifiées sur 47 observations. Non évaluable ou sous le seuil : n'invalide pas le pilote, variable déclarée non évaluable ou non fiable, aucune conclusion sur la validité publiée. La détection (variable principale) est jugée séparément.
- Temps réel mesuréMesure
3,1 min de collecte + 4,6 min de codage par réponse en moyenne (repère v1.0 : 6 min, non bloquant)
Décision A (pilote réalisé) : atteinte. Décision B (variables principales fiables) : atteinte.
Décision C (autorisation de la campagne) : jamais calculée. Dans notre scénario, nous l'avons prise pour poursuivre la simulation ; elle ne vaut pour aucune collecte réelle.
Variable(s) secondaire(s) non évaluable(s) : refus. Conformément au protocole, le pilote n'est pas invalidé et nous ne publions aucun taux ni aucune comparaison pour cette variable dans le rapport.
Double codage et arbitrage
Second codage simulé, indépendant, des 75 observations tirées avant collecte.
Tirées
75
Exploitables
73
Paires utilisables
73
Arbitrages
51
34 observations sur 73 comportent au moins un désaccord. Chaque désaccord est inscrit avec la valeur retenue et sa justification ; les deux codages d'origine restent intacts.
- Entreprise relevée par un seul codeur9
- Recommandation6
- URL (détection ou validité)24
- Refus2
- Erreurs factuelles8
- Position face à la vérification2
Accord sur les entreprises : F1 0,97 · recommandation : kappa 0,83 · position face à la vérification : accord brut 0,85 sur 13 paires (aucun seuil fixé avant collecte).
Grille du pilote
Observations exploitables par question et par système (3 attendues par case). Une capture manquante rend l'observation non exploitable ; elle n'est jamais remplacée.
| Question | ChatGPT | Gemini | Claude | Perplexity | Aperçus IA de Google |
|---|---|---|---|---|---|
| Q01 Quels cabinets comptables accompagnent les PME en Belgique ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q04 Quels CRM pour une petite entreprise ? | 3/3 | 2/3* | 3/3 | 2/3* | 3/3 |
| Q09 Expert-comptable indépendant ou grand cabinet pour une PME ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q12 Comparer les outils de gestion de projet pour PME. | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q17 Quel est le meilleur cabinet comptable pour une PME à Bruxelles ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q20 Quel CRM recommandes-tu pour une PME ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q25 Comment fonctionne la facturation électronique obligatoire en Belgique ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q28 Comment sécuriser les données d'un logiciel en ligne ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q33 Que penser de [marque], cabinet comptable ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Q36 [marque] est-il conforme au RGPD ? | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
* Capture manquante dans le scénario : observation exécutée, conservée, non exploitable.
Couverture par système
ChatGPT (recherche activée)
Gemini
Claude (recherche web activée)
Perplexity
Aperçus IA de Google
Vagues de la campagne simulée
Trois vagues espacées de 30 jours dans le calendrier du scénario.
16 novembre 2026 (scénario)
16 décembre 2026 (scénario)
15 janvier 2027 (scénario)
Observations invalidées dans le scénario : 0. Temps simulés au pilote : 3,1 min de collecte et 4,6 min de codage par observation — paramètres du modèle, pas des temps chronométrés.
Comment chaque observation simulée est produite
- Le générateur lit la cellule de la matrice : question, formulation, système, répétition, vague.
- Il tire le contenu de référence de la réponse selon les hypothèses du modèle : absence d'aperçu, refus, entreprises fictives nommées et leur rang, recommandations, URL fictives et leur validité, erreurs factuelles, position face aux questions de vérification.
- Le premier codeur simulé code ce contenu avec ses propres oublis et erreurs ; c'est ce codage qui alimente les agrégats.
- Pour les 75 observations du tirage de double codage, un second codeur simulé code indépendamment ; chaque désaccord est arbitré sans écraser les codages.
- Les critères de passage, l'accord inter-codeurs et toutes les lectures sont calculés par les mêmes fonctions que pour une collecte réelle.
Ordre d'exécution tiré au sort (graine 20261027), identique à celui prévu pour une collecte réelle. Cinq premières cellules du pilote : L2-P-Q01-base-CHATGPT-1 · L2-P-Q36-base-GOOGLE-AIO-1 · L2-P-Q12-base-PERPLEXITY-1 · L2-P-Q09-base-GEMINI-1 · L2-P-Q36-base-GEMINI-1.
Procédure prévue pour une collecte réelle (non exécutée)
- Vérifier l'adresse IP belge, ouvrir une fenêtre de navigation privée, se connecter au compte du système.
- Relever la version du produit affichée, puis ouvrir une nouvelle conversation.
- Coller la formulation exacte de la fiche d'exécution, sans rien ajouter.
- Archiver la réponse complète : capture d'écran, texte intégral et liens, dans docs/lab/02/raw/<identifiant>/.
- Coder la réponse selon la grille (marques, recommandation, rang, échelle, URL vérifiées, erreurs).
- Noter les minutes de collecte et de codage, puis passer à la fiche suivante dans l'ordre tiré.
L'outillage de collecte réelle (fiches, tableurs, contrôle d'import) reste en place et documenté. Le contrôle d'import refuse toute observation simulée.

