KI-Crawler

Was ist Google-Extended?

Google-Extended ist der Crawler für KI-Trainingsdaten von Google. Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews.

Was macht Google-Extended mit Ihren Inhalten?

Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews. Wie die meisten KI-Crawler liest Google-Extended Ihre Seiten als reines HTML — er führt kein JavaScript aus — Inhalte, die erst nach dem Ausführen von Skripten erscheinen, sind für ihn also unsichtbar.

Sollten Sie Google-Extended blockieren?

Google-Extended zu blockieren nimmt Ihre Inhalte ausschließlich aus dem Training der Gemini-Modelle. Es entfernt Sie NICHT aus der Google-Suche oder den AI Overviews — beide laufen über den Googlebot. Wenn Ihr Ziel ist, in Google sichtbar zu bleiben und zugleich dem Modelltraining zu widersprechen, ist das Blockieren von Google-Extended eine sinnvolle, risikoarme Entscheidung.

Wie erlauben oder blockieren Sie Google-Extended in der robots.txt?

Fügen Sie einen dieser Ausschnitte in die robots.txt im Wurzelverzeichnis Ihrer Website ein. Der erste erlaubt Google-Extended ausdrücklich überall; der zweite blockiert ihn vollständig.

# Google-Extended erlauben
User-agent: Google-Extended
Allow: /

# Google-Extended blockieren
User-agent: Google-Extended
Disallow: /

Reicht die robots.txt aus?

Nicht immer. CDNs und Firewalls (insbesondere Cloudflare) können Crawler auf Netzwerkebene blockieren, ganz gleich was die robots.txt sagt — Cloudflare blockiert KI-Crawler bei vielen Konten standardmäßig. Wenn Google-Extended Ihre Website erreichen soll, prüfen Sie auch die Bot-Einstellungen Ihres CDN. Der kostenlose SeeGeo-Audit prüft beides.

Wie prüfe ich, ob Google-Extended meine Website gerade lesen kann?

Zwei Prüfungen, beide nötig: Lesen Sie Ihre robots.txt auf eine Gruppe, die Google-Extended nennt (oder die *-Gruppe, auf die er zurückfällt), und rufen Sie dann Ihre Startseite mit dem User-Agent von Google-Extended ab — Sie sollten einen 200 mit Ihrem echten HTML bekommen, keinen 403 und keine Challenge-Seite. Der kostenlose Crawler-Check von SeeGeo macht beides in wenigen Sekunden.

Kostenlosen KI-Crawler-Check starten

Wie schneidet Google-Extended im Vergleich zu ähnlichen Crawlern ab?

Google-Extended ist einer von 16 Crawlern, die der SeeGeo-Audit einzeln prüft. Die nächstliegenden Vergleiche:

CrawlerBetreiberRolleFührt JavaScript aus?
Google-ExtendedGoogleCrawler für KI-TrainingsdatenNein
GooglebotGoogleSuchmaschinen-CrawlerVerzögertes Rendering
GPTBotOpenAICrawler für KI-TrainingsdatenNein
ClaudeBotAnthropicCrawler für KI-TrainingsdatenNein
CCBotCommon CrawlCrawler für KI-TrainingsdatenNein

Alle 16 Crawler im Vergleich · Was ist ein KI-Crawler?

Warum zählt der Crawler-Zugang? Die Zahlen

Beim Crawler-Zugang beginnt oder endet KI-Sichtbarkeit: Ein blockierter Crawler kann Sie nicht lesen, und eine KI, die Sie nicht lesen kann, kann Sie nicht empfehlen.

  • Besucher, die über KI-Assistenten kommen, konvertieren im Schnitt rund 4,4-mal besser als klassische organische Suche (Semrush, branchenübergreifend, 2026).
  • Verweise von KI-Assistenten machen weiterhin nur etwa 1 % des gesamten Web-Traffics aus — wenig, aber der am schnellsten wachsende gemessene Akquisekanal (mehrere Studien 2026).
  • Adobe Digital Insights (Q1 2026) maß bei KI-Besuchern eine um 42 % bessere Conversion als bei Nicht-KI-Traffic — eine vollständige Umkehr gegenüber dem Vorjahr.
  • Cloudflare blockiert KI-Crawler bei vielen Konten standardmäßig, sodass Websites oft für KI unsichtbar sind, ohne dass jemand das entschieden hätte.
  • Allein inhaltliche Änderungen — Statistiken, Quellen, zitierfähige Struktur — können die KI-Sichtbarkeit um rund 30–40 % erhöhen (Princeton-GEO-Studie, KDD 2024).

Häufige Fragen

Was ist Google-Extended?

Google-Extended ist der Crawler für KI-Trainingsdaten von Google. Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews.

Sollte ich Google-Extended blockieren?

Google-Extended zu blockieren nimmt Ihre Inhalte ausschließlich aus dem Training der Gemini-Modelle. Es entfernt Sie NICHT aus der Google-Suche oder den AI Overviews — beide laufen über den Googlebot.

Führt Google-Extended JavaScript aus?

Nein. Google-Extended liest wie die meisten KI-Crawler rohes HTML, ohne JavaScript auszuführen. Wenn Ihre Inhalte nur clientseitig gerendert werden, sind sie für ihn faktisch unsichtbar.

Kann Google-Extended meine Website lesen?

Nur wenn zwei Dinge zutreffen: Ihre robots.txt verbietet Google-Extended nicht, und Ihr Server oder CDN liefert die Seite tatsächlich aus, wenn Google-Extended sie anfragt. Firewalls können ihn unabhängig von der robots.txt blockieren; verlässlich ist nur, die Startseite als Google-Extended abzurufen — genau das tut der kostenlose Check auf see-geo.com/ai-crawler-check.

Beeinflusst das Blockieren von Google-Extended die Google-Rankings?

Nein. Google-Extended steuert allein das Gemini-Modelltraining. Google-Suche und AI Overviews nutzen den Googlebot — das Blockieren von Google-Extended hat auf beides keine Auswirkung.

Ist Ihre Website für KI gerade lesbar? Der kostenlose SeeGeo-Audit prüft Crawler-Zugang (alle 16 Bots), Struktur und Extrahierbarkeit der Inhalte in unter einer halben Minute.

Kostenlosen Audit starten

Verwandte Seiten