Kurze Antwort: Ein „KI-Sichtbarkeits-Score" ist die Schätzung einer Wahrscheinlichkeit — wie oft eine Engine Sie nennt, wenn ein Käufer fragt — und jede Schätzung hat einen Fehlerbalken. Die meisten Tools drucken die Zahl und verstecken den Balken. Seit dieser Woche stellt SeeGeo jede Frage fünfmal pro Engine, berichtet den Anteil der Antworten, die Sie genannt haben, mit einem 95-%-Intervall und nennt eine Bewegung von Woche zu Woche nur dann „eine echte Veränderung", wenn ein gepaarter Test über Ihre Fragen zeigt, dass sie das Rauschen übersteigt. Unser eigener aktueller Messwert: Claude 22 % ±26, ChatGPT 11 % ±16, Gemini 11 % ±16. Die zweite Zahl ist die ehrliche. Sie ist auch die, die schrumpfen wird, sobald die Methode ihre Arbeit tut.
Dieser Beitrag ist die Methodik hinter dieser Änderung: was die Forschung zum Auditieren von KI-Antworten sagt, was wir gebaut haben, die Arithmetik und die eine Sache, die wir nicht gelöst haben.
Das Problem in einem Satz
Fragen Sie ChatGPT dreimal nach dem „besten Steuerberater für Freelancer in Köln" und Sie bekommen drei verschiedene Listen. Wir haben das im September selbst gemessen: 1.000 identische Fragen, die ersten drei Marken festgeschrieben, alle darunter ein Münzwurf. Eine einzelne Antwort ist also keine Tatsache über Ihr Unternehmen. Sie ist eine Ziehung aus einer Verteilung, und das Einzige, was sich zu berichten lohnt, ist die Verteilung.
Drei Forschungsgruppen kamen dieses Jahr auf verschiedenen Wegen zum selben Schluss.
- Eine Varianzzerlegung von Markenantworten führt den Großteil der Gesamtvariation — in der von uns gelesenen Fassung etwa drei Viertel — schlicht darauf zurück, dieselbe Frage demselben Modell erneut zu stellen. Die Kombination aus Modell und Frage, also das, worauf Sie Einfluss haben, ist der kleinere Teil dessen, was sich bewegt.
- Ein Audit mit endlicher Stichprobe wiederholter Anfragen macht die naheliegende Folge explizit: Die Menge der beobachteten Marken wächst mit der Zahl der Aufrufe, also ist ein Bericht, der seine Aufrufzahl nicht nennt, keine Messung.
- Ein Scoping Review von Marken-Sichtbarkeits-Audits schlägt eine Validitäts-Checkliste vor, deren erste Punkte „mindestens fünf Ziehungen pro Frage und Bedingung" und „Varianz berichtet" lauten. Eine separate Reliabilitätsstudie beziffert die Ziehungszahl: etwa 0,58 bei fünf Iterationen, 0,74 bei zehn, 0,81 bei fünfzehn. Drei Durchläufe — was wir bis diese Woche nutzten und was die meisten Tools nutzen, wenn sie überhaupt wiederholen — liegen unterhalb dieser Tabelle.
Nichts davon ist exotisch. Es ist die gewöhnliche Statistik der Schätzung eines Anteils aus Stichproben, angewandt auf eine Branche, die Punktschätzungen verkauft, als wären sie Rankings.
Was der Scan jetzt tut
Fünf Ziehungen pro Frage, mit den Standardeinstellungen der Engine
Jede Frage Ihres Panels wird pro Engine und Scan fünfmal gestellt, mit den Standardeinstellungen der Engine — denn das bekommt Ihr Kunde. Wir senken nicht die Temperatur, damit die Zahlen ruhiger aussehen; eine ruhigere Zahl, die nicht das Produkt beschreibt, das Ihre Käufer nutzen, ist eine schlechtere Zahl. Die Websuche läuft weiterhin nur bei der ersten Ziehung: Die Zitate, die eine Engine abruft, ändern sich im Takt des Webs, und wir haben früher gezeigt, dass Wiederholungen mit Suche nahezu identische Zitate liefern. Die vier zusätzlichen Ziehungen kosten Tokens, keine Suchgebühren — so passen fünf Durchläufe in jeden Tarif.
Das Intervall kommt aus Ihren Fragen, nicht aus dem Antworthaufen
Hier der Fehler, der leicht passiert. Zwanzig Fragen mal fünf Durchläufe sind hundert Antworten. Hundert Münzwürfe ergeben einen Anteil mit einem ordentlichen Intervall von ±10 Punkten. Warum also nicht 40 % ±10 ausweisen?
Weil die hundert Antworten nicht unabhängig sind. Die fünf Antworten auf eine Frage stimmen untereinander weit stärker überein als mit den Antworten auf eine andere Frage. In unseren Septemberdaten nannte eine Frage, die eine Marke einmal nannte, sie meist jedes Mal — und eine, die es nicht tat, nie. Die echte Stichprobengröße liegt näher an der Zahl der Fragen als an der Zahl der Antworten.
Das Intervall wird deshalb so gebaut, wie Umfragestatistiker geclusterte Stichproben behandeln. Jede Frage bekommt ihre eigene Rate — fünf von fünf, zwei von fünf, null von fünf. Die Sichtbarkeit des Scans bleibt die gepoolte Rate über alle Messungen, genau wie bisher, damit Ihre Trendlinie durchgehend bleibt. Die Unsicherheit aber ist die Streuung dieser Raten je Frage, geteilt durch die Wurzel der Fragenzahl. Ist diese Streuung zufällig null (eine einzige Frage, oder jede Frage exakt bei 0 % oder 100 %), fallen wir auf das klassische Wilson-Intervall über die gepoolte Zählung zurück, damit der Balken nie auf nichts zusammenfällt.
Ein Rechenbeispiel, das Sie nachprüfen können. Zwanzig Fragen, je fünf Durchläufe. Acht Fragen nennen Sie jedes Mal; zwölf nie. Gepoolte Sichtbarkeit: 40 von 100 Antworten, 40 %.
| So berechnen Sie das 95-%-Intervall | Ergebnis |
|---|---|
| Die 100 Antworten als unabhängige Münzwürfe behandeln (Wilson, n = 100) | 40 % ±10 |
| Die 20 Fragen als Stichprobe behandeln (Streuung zwischen Fragen ÷ √20) | 40 % ±22 |
Der naive Balken ist weniger als halb so breit wie der ehrliche. Ein Tool, das den ersten druckt, lügt nicht über die 40; es lügt darüber, wie sicher es ist.
Eine Veränderung ist nur eine, wenn sie den Balken schlägt
Letzte Woche 30 %, diese Woche 38 %. Acht Punkte mehr. Wirklich?
Scans teilen sich ein Fragenpanel, also können wir die richtige Frage stellen: Ist die Rate jeder einzelnen Frage gestiegen oder gefallen, und stimmen diese Unterschiede je Frage überein? Das ist ein gepaarter Vergleich — der Mittelwert der Differenzen gegen ihre eigene Streuung, über die Fragen, die beide Scans gestellt haben. Übersteigt der Mittelwert etwa zwei Standardfehler, sagen Projektseite und Wochenbericht eine echte Veränderung. Wenn nicht, sagen sie innerhalb des Rauschens, und die Betreffzeile der E-Mail sagt „stabil", auch wenn sich die gepoolte Zahl bewegt hat. Weniger als drei gemeinsame Fragen sind nicht testbar und werden nie als Veränderung berichtet.
Das ist die Linie, die wir am dringendsten ziehen wollten. „ChatGPT-Sichtbarkeit um 8 Punkte gestiegen" ist der Satz, der einen Bericht öffnen lässt — und der Satz, den wir jetzt nicht mehr schreiben, wenn die Arithmetik ihn nicht trägt.
Das Modell, das geantwortet hat, gehört zur Akte
Jeder Scan speichert, welche Modell-IDs für jede Engine geantwortet haben. Anbieter tauschen Modelle unter gleichbleibenden Produktnamen aus, und ein solcher Tausch bewegt Antworten mehr als alles, was Sie an Ihrer Website tun können. Fällt ein Sprung mit einer neuen Modell-ID zusammen, ist das die Erklärung — und die Akte ist da, um es zu zeigen.
Was sich nicht geändert hat
Eine Messung zählt nur dann als Erwähnung, wenn der Text der Antwort Sie nennt; verlinkt zu werden ist ein eigenes Maß, „zitiert", und wird nur bewertet, wenn die Antwort überhaupt Zitate enthielt. Ein Rang wird nur berichtet, wenn die Antwort eine explizit geordnete Liste enthielt, und als Position in genau dieser einen Antwort gekennzeichnet. Ein fehlgeschlagener API-Aufruf wird aus jeder Statistik ausgeschlossen statt als Unsichtbarkeit gewertet. Nichts davon ist neu; alles steht auf der Methodikseite, die jetzt auch die Intervalle beschreibt.
Unsere eigenen Zahlen, mit Balken
Wir veröffentlichen unsere Sichtbarkeit live, gemessen mit demselben Scanner, den unsere Kunden bekommen. Der Messwert vom 21. Oktober, aus zehn Fragen mit je drei Durchläufen (dem letzten Scan vor der Änderung):
| Engine | Sichtbarkeit | 95-%-Intervall |
|---|---|---|
| Claude | 22 % | ±26 |
| ChatGPT | 11 % | ±16 |
| Gemini | 11 % | ±16 |
Nüchtern gelesen: Wir sind eine wenige Monate alte Domain in einer Kategorie mit etablierten Anbietern, und mit einem Panel von zehn Fragen können wir 22 % weder von 0 % noch von 45 % unterscheiden. Der Balken ist breiter als der Messwert. Das ist kein Fehler der Methode; genau dafür ist die Methode da. Die alte Seite zeigte „22 %" und ließ Sie glauben, das bedeute etwas. Der nächste Scan macht fünf Ziehungen, und ein Panel mit zwanzig Fragen würde die Breite noch einmal um etwa ein Drittel verringern. Wir veröffentlichen lieber ein ehrliches ±26 und sehen ihm beim Schrumpfen zu als eine selbstbewusste 22, die nie da war.
Der Vorbehalt, den wir noch nicht ausgeräumt haben
Wiederholung behebt eine Art von Rauschen. Sie behebt nicht die Formulierung. Dieselbe Kaufabsicht in anderen Worten kann andere Marken liefern: Eine große Anbieterstudie über fast 38.000 Antworten fand stabile Erwähnungen, solange die Absicht gleich blieb, mit einem Rückgang von etwa 2,4 Punkten, sobald die Formulierung abdriftete; ein Preprint zur Paraphrasen-Brüchigkeit fand weit größere Ausschläge — die Empfehlungsmengen überschnitten sich zwischen natürlichen Paraphrasen nur zu 14–29 %, gegenüber 50–61 % bei bloßen Wiederholungen. Die Studien sind sich über das Ausmaß uneins und über die Form einig: Rankings bewegen sich stärker als Zugehörigkeit, und eine Formulierung ist eine Stichprobe von eins.
Die Lösung ist ein anderes Fragenmodell, keine andere Statistik — ein Panel von Formulierungen je Absicht, mit der Absicht als Cluster. Das haben wir noch nicht gebaut. Bis dahin ist das Beste, was Sie tun können, was die Methodik ohnehin empfiehlt: Schreiben Sie Ihr Panel so, wie verschiedene Kunden tatsächlich fragen würden, nicht dieselbe Frage in zehn Varianten.
Warum das für die Zahl zählt, die Sie bezahlen
Jedes KI-Sichtbarkeits-Tool verkauft eine Zahl. Die Frage an jedes davon, uns eingeschlossen, ist die eines Wissenschaftlers: Wie oft haben Sie gefragt, wie weit lagen die Antworten auseinander, und was hätten Sie gesagt, wenn die Bewegung Rauschen gewesen wäre? Kann ein Produkt diese drei Fragen nicht beantworten, ist seine Trendlinie ein Zufallspfad mit Logo.
Unsere beantwortet jetzt alle drei — auf der Seite, in der E-Mail und im Datenexport. Starten Sie das kostenlose Audit, um zu sehen, ob Engines Sie lesen können; dann verfolgen Sie ein Panel aus den Fragen Ihrer Kunden und beobachten Sie, wie sich die Balken verändern — nicht nur die Zahlen.
Häufige Fragen
Warum fünf Durchläufe und nicht zehn? Zehn wären besser, und die Reliabilitätskurve sagt das auch. Fünf sind die Untergrenze, die die veröffentlichten Protokolle verlangen, und das, was bei den aktuellen Kosten einer Ziehung in jeden Tarif passt. Ziehungen mit Suche sind die teuren, und davon machen wir weiterhin eine pro Frage; die vier Wiederholungen kosten Tokens. Wir erhöhen die Zahl, sobald die Tarifökonomie es erlaubt — und das Intervall auf der Seite zeigt Ihnen die Verbesserung, statt dass wir davon erzählen.
Meine Sichtbarkeit ist von 30 % auf 38 % gestiegen und die Seite sagt „innerhalb des Rauschens". Ist die Zahl falsch? Nein. Beide Zahlen sind die korrekten gepoolten Raten ihrer Scans. „Innerhalb des Rauschens" heißt: Vergleicht man Frage für Frage, stimmen die Unterschiede nicht genug überein, um die eigene Zufälligkeit der Engines auszuschließen. Behalten Sie das Panel, scannen Sie weiter; eine echte Verschiebung zeigt sich als gleichmäßiger Anstieg über die Fragen, und das Etikett kippt.
Warum nicht die Temperatur senken, damit die Antworten stabil sind? Weil Ihre Kunden das nicht tun. Der Scan misst das Produkt, das Käufer nutzen, mit den Einstellungen, mit denen sie es nutzen. Eine stabile Zahl, die ein anderes Produkt beschreibt, ist eine schlechtere Zahl — und Temperatur null ist in der Produktionsinferenz ohnehin nicht deterministisch.
Gilt das Intervall auch für die Google-Oberfläche? Google ist konstruktionsbedingt eine Ziehung pro Frage: Seite eins ist die Antwort und würfelt innerhalb eines Scans nicht neu. Ihr Intervall stammt allein aus der Streuung zwischen Fragen, und der gepaarte Test funktioniert über Scans hinweg genauso.
Wo kann ich die Rechnung sehen? Das Statistikmodul ist eine einzelne reine Datei mit eigenen Tests, und die Methodikseite nennt jede Regel in klaren Worten. Wenn Sie einen Fall finden, in dem Intervall oder Urteil in die Irre führen, sagen Sie es uns: Der Motor ist versioniert, und Korrekturen erscheinen mit einem Changelog-Eintrag.