---
title: "Votre visibilité IA est de 22 % ±26. Voici pourquoi nous imprimons le second chiffre."
description: "Réponses IA aléatoires : chaque question posée cinq fois, un intervalle à 95 % sur chaque chiffre, et un mouvement ne compte que s'il dépasse le bruit."
canonical: https://see-geo.com/fr/blog/ai-visibility-with-error-bars
language: fr
published: 2026-10-21
author: "SeeGeo Team"
publisher: SeeGeo
alternates:
  en: https://see-geo.com/blog/ai-visibility-with-error-bars
  de: https://see-geo.com/de/blog/ai-visibility-with-error-bars
---

# Votre visibilité IA est de 22 % ±26. Voici pourquoi nous imprimons le second chiffre.

> Réponses IA aléatoires : chaque question posée cinq fois, un intervalle à 95 % sur chaque chiffre, et un mouvement ne compte que s'il dépasse le bruit.

**Réponse courte : un « score de visibilité IA » est l'estimation d'une probabilité — la fréquence à laquelle un moteur vous nomme quand un acheteur pose sa question — et toute estimation a une barre d'erreur. La plupart des outils impriment le chiffre et cachent la barre. Depuis cette semaine, SeeGeo pose chaque question cinq fois par moteur, rapporte la part des réponses qui vous ont nommé avec un intervalle à 95 %, et n'appelle un mouvement d'une semaine à l'autre « un vrai changement » que lorsqu'un test apparié sur vos questions montre qu'il dépasse le bruit. Notre propre dernière lecture : Claude 22 % ±26, ChatGPT 11 % ±16, Gemini 11 % ±16. Le second chiffre est l'honnête. C'est aussi celui qui va rétrécir à mesure que la méthode fait son travail.**

Cet article est la méthodologie derrière ce changement : ce que dit la recherche sur l'audit des réponses IA, ce que nous avons construit, l'arithmétique, et la seule chose que nous n'avons pas résolue.

## Le problème en une phrase

Demandez trois fois à ChatGPT « meilleur comptable pour un freelance à Lyon » et vous obtenez trois listes différentes. Nous l'avons [mesuré nous-mêmes en septembre](https://see-geo.com/blog/same-question-100-times) : 1 000 questions identiques, le trio de tête verrouillé, tous les autres à pile ou face. Une réponse isolée n'est donc pas un fait sur votre entreprise. C'est un tirage dans une distribution, et la seule chose qui mérite d'être rapportée, c'est la distribution.

Trois groupes de chercheurs sont arrivés à la même conclusion cette année par des chemins différents.

- Une [décomposition de la variance](https://arxiv.org/pdf/2607.13304) des réponses de marque attribue l'essentiel de la variation totale — de l'ordre des trois quarts dans la version que nous avons lue — au simple fait de reposer la même question au même modèle. La combinaison modèle-question, celle sur laquelle vous pouvez agir, est la part minoritaire de ce qui bouge.
- Un [audit à échantillon fini](https://arxiv.org/pdf/2609.05059) de requêtes répétées rend la conséquence explicite : l'ensemble des marques observées grandit avec le nombre d'appels, donc un rapport qui ne donne pas son nombre d'appels n'est pas une mesure.
- Une [revue de portée](https://www.researchsquare.com/article/rs-11390685/v1) des audits de visibilité de marque propose une liste de validité dont les premiers critères sont « au moins cinq tirages par question et par condition » et « variance rapportée ». Une [étude de fiabilité](https://blog.pebblous.ai/blog/llm-brand-audit-iteration-count/en/) distincte chiffre le nombre de tirages : environ 0,58 à cinq itérations, 0,74 à dix, 0,81 à quinze. Trois passages, ce que nous utilisions jusqu'à cette semaine et ce que la plupart des outils utilisent quand ils répètent, se situe sous le bas de ce tableau.

Rien d'exotique là-dedans. C'est la statistique ordinaire de l'estimation d'une proportion à partir d'échantillons, appliquée à un secteur qui vend des estimations ponctuelles comme si c'étaient des classements.

## Ce que fait le scan désormais

### Cinq tirages par question, aux réglages par défaut du moteur

Chaque question de votre panel est posée cinq fois par moteur et par scan, aux réglages par défaut du moteur — parce que c'est ce que reçoit votre client. Nous ne baissons pas la température pour rendre les chiffres plus stables ; un chiffre plus stable qui ne décrit pas le produit que vos acheteurs utilisent est un chiffre moins bon. La recherche web ne tourne que sur le premier tirage : les citations qu'un moteur récupère changent à l'échelle du web, et nous avons montré plus tôt que [les répétitions avec recherche renvoient des citations quasi identiques](https://see-geo.com/blog/how-we-score-ai-visibility). Les quatre tirages supplémentaires coûtent des tokens, pas des frais de recherche, ce qui permet cinq passages sur toutes les offres.

### L'intervalle vient de vos questions, pas du tas de réponses

Voici l'erreur facile à commettre. Vingt questions fois cinq passages font cent réponses. Cent pile ou face donnent une proportion avec un joli intervalle de ±10 points. Pourquoi ne pas écrire 40 % ±10 ?

Parce que les cent réponses ne sont pas indépendantes. Les cinq réponses à une même question se ressemblent bien plus qu'elles ne ressemblent à celles d'une autre question. Dans nos données de septembre, une question qui nommait une marque une fois avait tendance à la nommer à chaque fois, et une question qui ne la nommait pas, jamais. La vraie taille d'échantillon est plus proche du nombre de *questions* que du nombre de *réponses*.

L'intervalle est donc construit comme les statisticiens d'enquête traitent les échantillons en grappes. Chaque question reçoit son propre taux — cinq sur cinq, deux sur cinq, zéro sur cinq. La visibilité du scan reste le taux agrégé sur toutes les lectures, exactement comme avant, pour que votre courbe reste continue. Mais l'incertitude est la dispersion de ces taux par question divisée par la racine carrée du nombre de questions. Lorsque cette dispersion est nulle (une seule question, ou chaque question exactement à 0 % ou 100 %), nous revenons à l'intervalle de Wilson classique sur le comptage agrégé, pour que la barre ne s'effondre jamais à zéro.

Un exemple chiffré, avec une arithmétique vérifiable. Vingt questions, cinq passages chacune. Huit questions vous nomment à chaque fois ; douze jamais. Visibilité agrégée : 40 réponses sur 100, 40 %.

| Comment vous calculez l'intervalle à 95 % | Résultat |
|---|---|
| Traiter les 100 réponses comme des pile ou face indépendants (Wilson, n = 100) | 40 % ±10 |
| Traiter les 20 questions comme l'échantillon (dispersion entre questions ÷ √20) | 40 % ±22 |

La barre naïve fait moins de la moitié de la barre honnête. Un outil qui imprime la première ne ment pas sur le 40 ; il ment sur sa certitude.

### Un changement n'est un changement que s'il dépasse la barre

La semaine dernière 30 %, cette semaine 38 %. Huit points de plus. Vraiment ?

Les scans partagent un même panel de questions, donc nous pouvons poser la bonne question : pour chaque question, son taux a-t-il monté ou baissé, et ces différences par question sont-elles cohérentes ? C'est une comparaison appariée — la moyenne des différences rapportée à leur propre dispersion, sur les questions posées dans les deux scans. Si la moyenne dépasse environ deux erreurs standard, la page du projet et le résumé hebdomadaire disent **un vrai changement**. Sinon, ils disent **dans la bande de bruit**, et l'objet de l'e-mail dit « stable » même si le chiffre agrégé a bougé. Moins de trois questions communes, c'est intestable, et ce n'est jamais rapporté comme un changement.

C'est la ligne que nous tenions le plus à tracer. « Visibilité ChatGPT en hausse de 8 points » est la phrase qui fait ouvrir un rapport, et c'est la phrase que nous refusons désormais d'écrire si l'arithmétique ne la soutient pas.

### Le modèle qui a répondu fait partie du dossier

Chaque scan enregistre les identifiants de modèle qui ont répondu pour chaque moteur. Les fournisseurs changent de modèle sous un nom de produit stable, et ce changement déplace les réponses plus que tout ce que vous pouvez faire à votre site. Quand un saut coïncide avec un nouvel identifiant de modèle, c'est l'explication, et le dossier est là pour le montrer.

### Ce qui n'a pas changé

Une lecture ne compte comme mention que si le *texte* de la réponse vous nomme ; être lié est une mesure distincte, « cité », évaluée seulement quand la réponse portait des citations. Un rang n'est rapporté que lorsque la réponse contenait une liste explicitement classée, étiqueté comme la position dans cette seule réponse. Un appel API en échec est exclu de toute statistique plutôt que compté comme invisibilité. Rien de nouveau là-dedans ; tout est sur la [page de méthodologie](https://see-geo.com/methodology), qui décrit maintenant aussi les intervalles.

## Nos propres chiffres, avec la barre

Nous publions notre visibilité [en direct](https://see-geo.com/live), mesurée par le même scanner que celui de nos clients. La lecture du 21 octobre, sur dix questions à trois passages chacune (le dernier scan avant le changement) :

| Moteur | Visibilité | Intervalle à 95 % |
|---|---|---|
| Claude | 22 % | ±26 |
| ChatGPT | 11 % | ±16 |
| Gemini | 11 % | ±16 |

Lu sans détour : nous sommes un domaine de quelques mois dans une catégorie avec des acteurs installés, et avec un panel de dix questions nous ne pouvons pas distinguer 22 % de 0 % ni de 45 %. La barre est plus large que la lecture. Ce n'est pas un défaut de la méthode ; c'est à ça que sert la méthode. L'ancienne page affichait « 22 % » et vous laissait imaginer que ça voulait dire quelque chose. Le prochain scan fait cinq tirages, et un panel de vingt questions réduirait encore la largeur d'environ un tiers. Nous préférons publier un ±26 honnête et le regarder rétrécir qu'un 22 confiant qui n'a jamais existé.

## La réserve que nous n'avons pas encore levée

La répétition corrige un type de bruit. Elle ne corrige pas la formulation. La même intention d'achat posée avec d'autres mots peut renvoyer d'autres marques : une [grande étude d'éditeur](https://www.searchenginejournal.com/ai-prompt-intent-keywords-peec-spa/576201/) sur près de 38 000 réponses trouve des mentions stables tant que l'intention tient, avec une baisse d'environ 2,4 points dès que la formulation dérive ; un [prépublié sur la fragilité aux paraphrases](https://arxiv.org/html/2605.27440) trouve des écarts bien plus grands, les ensembles recommandés ne se recouvrant qu'à 14–29 % entre paraphrases naturelles contre 50–61 % entre simples répétitions. Les études divergent sur l'ampleur et convergent sur la forme : les classements bougent plus que les appartenances, et une formulation est un échantillon de un.

La solution est un autre modèle de questions, pas une autre statistique — un panel de formulations par intention, avec l'intention comme grappe. Nous ne l'avons pas encore construit. D'ici là, le mieux à faire est ce que la méthodologie suggère déjà : écrivez votre panel comme des clients différents poseraient réellement la question, pas la même question en dix variantes.

## Pourquoi cela compte pour le chiffre que vous payez

Chaque outil de visibilité IA vend un chiffre. La question à poser à chacun d'eux, nous compris, est celle qu'un scientifique poserait : combien de fois avez-vous demandé, à quel point les réponses différaient-elles, et qu'auriez-vous dit si le mouvement n'était que du bruit ? Si un produit ne peut pas répondre à ces trois questions, sa courbe est une marche aléatoire avec un logo dessus.

La nôtre y répond désormais sur la page, dans l'e-mail et dans l'export. Lancez l'[audit gratuit](https://see-geo.com/fr) pour savoir si les moteurs peuvent vous lire ; puis suivez un panel des questions de vos clients et regardez changer les barres — pas seulement les chiffres.

## Questions fréquentes

**Pourquoi cinq passages et pas dix ?**
Dix serait mieux, et la courbe de fiabilité le dit. Cinq est le plancher demandé par les protocoles publiés, et c'est ce qui tient sur toutes les offres au coût actuel d'un tirage. Les tirages avec recherche sont les coûteux et nous en gardons un par question ; les quatre répétitions coûtent des tokens. Nous augmenterons le nombre quand l'économie des offres le permettra, et l'intervalle sur la page vous montrera l'amélioration plutôt que nous ne vous la racontions.

**Ma visibilité est passée de 30 % à 38 % et la page dit « dans la bande de bruit ». Le chiffre est-il faux ?**
Non. Les deux chiffres sont les taux agrégés corrects de leurs scans. « Dans la bande de bruit » signifie qu'en comparant question par question, les différences ne concordent pas assez pour exclure le hasard propre aux moteurs. Gardez le panel, continuez à scanner ; un vrai déplacement apparaît comme une hausse cohérente sur les questions, et l'étiquette bascule.

**Pourquoi ne pas baisser la température pour stabiliser les réponses ?**
Parce que vos clients ne le font pas. Le scan mesure le produit que les acheteurs utilisent, avec les réglages qu'ils utilisent. Un chiffre stable qui décrit un autre produit est un chiffre moins bon, et la température zéro n'est de toute façon pas déterministe en inférence de production.

**L'intervalle s'applique-t-il à la surface Google ?**
Google est un seul tirage par question, par conception : la première page est la réponse et ne se retire pas au sein d'un scan. Son intervalle vient uniquement de la dispersion entre questions, et le test apparié fonctionne de la même façon d'un scan à l'autre.

**Où puis-je voir le calcul ?**
Le module statistique est un fichier pur unique avec ses propres tests, et la page de méthodologie énonce chaque règle en langage clair. Si vous trouvez un cas où l'intervalle ou le verdict induit en erreur, dites-le-nous : le moteur est versionné, et les corrections sont livrées avec une entrée de changelog.