Méthodologie — protocole v1.1 et modèle de simulation

Ce qui est réel, ce qui est simulé

Le générateur

Scénario S1, graine 20261030. Chaque tirage dérive de la graine et de l'identifiant de la cellule : le résultat ne dépend ni de l'ordre de calcul, ni de la date, ni de la machine. Le scénario compte 150 observations de pilote, 5 400 de campagne, 75 seconds codages et 51 arbitrages ; empreinte des données d98dd60c. Le site ne génère rien : il lit un instantané versionné, que nos tests recalculent et comparent à l'identique à chaque modification.

1. Pour chaque question, un ensemble d'acteurs fictifs : une partie des acteurs internationaux et nationaux du secteur, plus des acteurs locaux propres à la question, chacun avec une notoriété de départ.
2. Pour chaque système, une préférence propre et stable pour chaque acteur, puis une dérive mensuelle aléatoire de cette notoriété (vague 1, 2, 3).
3. Pour chaque réponse : absence d'aperçu, refus, nombre d'entreprises nommées et ordre de citation (tirage pondéré sans remise), recommandations, URL citées et leur validité, erreurs factuelles, position face aux questions de vérification.
4. Codage de cette réponse par un premier codeur simulé, puis, pour les 75 observations tirées, par un second.
5. Arbitrage de chaque désaccord, inscrit à côté des codages sans les modifier.

Hypothèses par système

Paramètres d'entrée, pas des mesures. La simulation retrouve ces écarts parce que nous les y avons placés.

• ChatGPT : Citation : liens fournis lorsque la recherche est utilisée (documentation OpenAI). Autres paramètres : hypothèses de scénario.
• Gemini : Hypothèses de scénario : citation moins systématique, volatilité plus élevée.
• Claude : Citation : liens fournis lorsque la recherche web est utilisée (documentation Anthropic). Autres paramètres : hypothèses de scénario.
• Perplexity : Citation : citations numérotées à chaque réponse (documentation Perplexity). Autres paramètres : hypothèses de scénario.
• Aperçus IA de Google : Citation : liens affichés dans les Aperçus IA (documentation Google). Absence d'aperçu selon l'intention : hypothèse de scénario, non vérifiée en Belgique.

Effets d'intention

Effets de formulation et de secteur

• Base : Référence. (recommandation × 1, acteurs locaux × 1)
• Courte : Requête brève : un peu moins d'acteurs, moins de recommandations, aperçus un peu plus rares. (recommandation × 0,8, acteurs locaux × 0,85)
• Contextualisée : Contexte de la personne : davantage de recommandations et d'acteurs locaux. (recommandation × 1,3, acteurs locaux × 1,35)
• Services B2B aux PME : Réseaux internationaux et cabinets nationaux visibles, cabinets locaux nombreux. (4 acteurs internationaux, 6 nationaux et 6 locaux par question)
• Logiciels SaaS : Marché dominé par des éditeurs internationaux ; comparateurs très présents. (7 acteurs internationaux, 4 nationaux et 2 locaux par question)
• Commerce local : Acteurs locaux nombreux ; annuaires et plateformes d'avis dominants. (2 acteurs internationaux, 3 nationaux et 9 locaux par question)
• Formation professionnelle : Organismes nationaux et institutions publiques très présents. (3 acteurs internationaux, 6 nationaux et 4 locaux par question)

Codage simulé

Chaque codeur lit le même contenu de référence avec ses propres erreurs, tirées indépendamment : entreprise oubliée (2 % pour le premier codeur, 4 % pour le second), recommandation mal lue (2 % / 2 %), URL oubliée (3 % / 5 %), validité mal jugée (1 % / 2 %). L'arbitre retient la valeur du contenu de référence. Ces taux supposent des codeurs formés ; le scénario aboutit à un pilote concluant, ce qu'une collecte réelle ne garantirait pas.

Tous les paramètres sont publiés dans hypotheses.json. Le registre réel et son outillage de collecte restent en place et vides : aucune réponse réelle n'a été collectée, et aucune donnée simulée ne peut y être importée.

Plan de référence de 5 400 réponses, non approuvé. Volume final décidé après le pilote, à partir du temps mesuré, de l'accord entre codeurs, de la variabilité observée, des contraintes de collecte, d'un calcul tenant compte des mesures répétées et du budget. Option réduite documentée : 2 répétitions par vague, soit 3 600 réponses.

• ChatGPT (recherche activée)

  Compte gratuit neuf, mémoire désactivée, aucun historique

  Accès : chatgpt.com, navigateur, recherche web activée par l'icône dédiée

• Gemini

  Compte Google neuf, activité des applications désactivée

  Accès : gemini.google.com, navigateur, modèle par défaut

• Claude (recherche web activée)

  Compte gratuit neuf, mémoire désactivée, aucun projet, aucune préférence personnelle

  Accès : claude.ai, navigateur, recherche web activée si l'option est proposée ; sinon recherche déclenchée par Claude, relevée telle quelle

• Perplexity

  Compte gratuit neuf, mode par défaut

  Accès : perplexity.ai, navigateur, mode de recherche par défaut

• Aperçus IA de Google

  Configuration à valider après comparaison hors corpus connecté / non connecté, IP belge et français identiques ; historique et personnalisation désactivés si connecté

  Accès : google.be, fenêtre privée ; Aperçus IA uniquement, jamais Mode IA ; absence d'aperçu codée « aucune réponse IA », jamais relancée ni remplacée

• Langue : français, interface en français
• Localisation : Belgique (adresse IP belge vérifiée avant chaque session)
• Comptes neufs créés pour le Lab, mémoire, personnalisation et historique désactivés
• Navigation privée, cache vidé, aucune extension
• Recherche web activée lorsque l'option existe ; modèle affiché relevé à chaque réponse
• Un compte dont le plafond d'usage gratuit est atteint n'est plus utilisé avant sa remise à zéro : aucune réponse produite par un modèle de repli n'est conservée comme valide
• Nouvelle conversation pour chaque répétition
• Version du produit relevée à chaque session
• Collecte de chaque vague dans une fenêtre de 48 heures

Présence

Chaque entreprise nommée est relevée, avec son nom normalisé (sans forme juridique, sans accents).

Recommandation

Oui si la réponse conseille explicitement l'entreprise (« je recommande », « le meilleur choix », mise en avant unique). Une simple liste n'est pas une recommandation.

Rang

Ordre de première apparition dans le texte, de 1 à n, sans saut.

Échelle

Local, national ou international, codé à partir du site officiel et des registres publics. « Inconnu » si non vérifiable.

Citation

Chaque URL fournie est ouverte : valide si la page existe et correspond au sujet ; « soutient » si elle confirme l'affirmation qui la cite.

Type de source

Site de l'entreprise, Média, Annuaire ou plateforme d'avis, Institution publique, Forum ou communauté, Encyclopédie, Comparateur ou classement, Autre.

Erreur factuelle

Affirmation vérifiable et fausse sur une entreprise (adresse, offre, statut, existence). Comptée une fois par affirmation.

Refus / absence

Refus : le système décline de répondre. Absence : aucune réponse IA affichée (aperçu IA non déclenché). Aucune marque relevée dans ces deux cas.

Seuils d'accord entre codeurs

• F1 moyen sur les entreprises relevées ≥ 0,9
• « Recommandée », calculée sur l'union des entreprises relevées par les deux codeurs : kappa de Cohen ≥ 0,7 lorsqu'il est pertinent ; sinon (recommandations rares) accord spécifique positif ≥ 0,8
• Kappa de Cohen sur « refus » ≥ 0,8
• Accord sur la validité des URL ≥ 95 %
• Citation de source : au moins 10 URL communes pour être évaluable, puis F1 sur les URL ≥ 0,9 pour être jugée fiable

Seuils proposés, à valider avant le pilote. Chaque mesure est publiée avec l'accord brut et un intervalle d'incertitude à 95 %. Double codage du pilote : 75 observations tirées avant collecte, codées à l'aveugle ; les désaccords sont arbitrés par écrit sans modifier les codages d'origine. Repère : Landis et Koch (1977), où 0,61 à 0,80 correspond à un accord substantiel.

Passage du pilote à la campagne

• Exécution complète : les 150 cellules exécutées une seule fois, aucune remplacée.
• Observations exploitables ≥ 95 % des 150 programmées.
• Grille de codage stable : le dernier tiers du pilote (ordre chronologique) est codé avec la version de grille gelée.
• Double codage complet : les 75 observations tirées au sort sont codées à l'aveugle par le second codeur.
• Variables principales — mention : F1 entreprises ≥ 0.9 ; recommandation : kappa ≥ 0.7 si pertinent, sinon accord spécifique positif ≥ 0.8.
• Variables principales — citation : trois étapes distinctes. 1) Évaluabilité : au moins 10 URL communes (minimum exploratoire). 2) Accord obtenu : F1 moyen sur les URL relevées, publié avec son intervalle. 3) Fiabilité : F1 ≥ 0.9, même règle que la mention. Atteindre l'effectif minimal ne rend jamais la variable fiable.
• Variables secondaires — refus : kappa pertinent ≥ 0.8 ; validité des URL : accord brut ≥ 95 % sur les URL communes vérifiées. Une variable secondaire non évaluable ou évaluée sous son seuil n'invalide pas le pilote : elle est déclarée non évaluable ou non fiable, sans taux ni conclusion publiés. Son inclusion dans une campagne est une décision humaine documentée.
• Évaluabilité : 10 cas positifs = minimum exploratoire, jamais garantie de fiabilité ; effectifs de paires, cas négatifs, distribution, intervalles et pertinence de l'indicateur publiés. En dessous, recours à un jeu de calibrage distinct (cf. calibrationSet).
• Une variable principale non évaluable empêche toute conclusion sur elle et bloque le passage ; effectifs tirés, exploitables et utilisables par mesure publiés séparément.
• Temps réel de collecte et de codage mesuré et publié : sert à dimensionner la suite, pas à juger le pilote.

Comptage des observations

Programmées :

Les 150 cellules de la matrice du pilote, tirées avant collecte.

Exécutées :

Observations enregistrées, quel que soit leur statut. Chaque cellule est exécutée une seule fois.

Exploitables :

Exécutées, statut « valide » et capture archivée.

Captures manquantes :

Exécutées sans capture archivée : non exploitables.

Absences et refus :

Exploitables sans réponse IA affichée ou avec refus : comptées comme résultats, jamais relancées.

Invalidation

• Changement majeur de version d'un système pendant une vague : la vague est reprise pour ce système, sous de nouveaux identifiants de version.
• Condition d'exécution non respectée (IP hors Belgique, mauvais compte, historique, modèle de repli après plafond) : l'observation est enregistrée « invalidée » avec son motif.
• Aucune observation invalidée n'est supprimée ni remplacée silencieusement : elle reste dans le registre et compte dans les observations exécutées.
• L'absence d'Aperçu IA ou un refus est un résultat, pas une invalidation : l'observation reste exploitable.

• Les noms des entreprises sont relevés tels quels dans l'archive brute et le registre, pour permettre la vérification.
• Politique validée : les 8 entreprises choisies pour Q33–Q40 peuvent être identifiées dans la méthodologie ; marques spontanées en statistiques agrégées. Q33–Q40 sont analysées séparément, jamais incluses dans la découverte spontanée. Les marques exactes restent documentées dans l'archive et le registre.
• Une réponse IA n'est jamais une preuve de conformité juridique, de fiabilité ni de mauvaise réputation. Consultation documentée des archives nominatives sur demande motivée : périmètre, autorisation, accès contrôlé, éléments consultés et date consignés ; données de compte exclues. Publication nominative hors des huit entreprises soumise à décision écrite et relecture juridique.

• v1.0 (retirée avant collecte) — Première rédaction : 120 formulations, 5 systèmes, pilote 150, double codage 10 %, seuils d'accord, critère de temps ≤ 6 min. Déclarée gelée à tort alors que des choix méthodologiques restaient ouverts ; aucune réponse collectée sous cette version.
• v1.1 (projet, non gelé) — Corrections validées par le propriétaire avant collecte : statut « non gelé » ; double codage du pilote porté à 50 % (75 observations, tirage stratifié fixé) ; accord brut, F1, kappa seulement lorsqu'il est pertinent, intervalles d'incertitude ; accord « recommandée » calculé sur l'union des entreprises relevées ; arbitrage documenté sans écraser les codages ; temps mesuré mais retiré des critères de passage ; définitions programmé / exécuté / exploitable ; aucun remplacement d'observation ; position face à la vérification (Q33–Q40) codée ; Aperçus IA de Google observés sur compte connecté (condition d'accès Google) ; campagne de 5 400 non approuvée. Passe du 28/10 : règle des mesures non évaluables — variables principales (mention, recommandation, citation) et secondaires (refus, validité des URL, rang, position de vérification) distinguées ; 10 cas positifs = minimum exploratoire, pas garantie de fiabilité ; jeu de calibrage distinct autorisé sous conditions ; autorisation de la campagne = décision humaine séparée subordonnée aussi à la faisabilité, aux limites des systèmes, à la stabilité, aux temps et coûts mesurés et au dimensionnement statistique.
• v1.1-S (exécutée en simulation) — Décision du propriétaire : l'édition fonctionne intégralement en simulation, comme le Lab #1. Le protocole v1.1 (corpus, matrice, grille de codage, double codage, critères de passage, agrégations) est conservé à l'identique et exécuté par un générateur déterministe (scénario S1). Aucune plateforme n'est interrogée, aucun compte n'est créé, aucune personne ne code de réponse. Le registre réel reste vide et son outillage reste documenté.

• Personnalisation résiduelle impossible à exclure totalement.
• Les produits évoluent pendant la collecte ; la version est relevée mais pas contrôlée.
• Les 4 secteurs ne représentent pas toute l'économie.
• Les réponses ne sont pas déterministes : la stabilité est mesurée, pas supposée.
• La localisation par adresse IP ne reproduit pas tous les signaux d'un utilisateur belge réel.
• Aucune mesure de trafic ni de conversion.
• Formules gratuites : le modèle par défaut et les plafonds peuvent changer sans préavis ; ils sont relevés, pas contrôlés.
• Aperçus IA de Google : disponibilité annoncée pour tous les utilisateurs ; présence effective en Belgique et français à vérifier hors corpus en modes connecté et non connecté, configuration unique à valider avant le pilote.