KI-Crawler

Was ist Google-Extended?

Google-Extended ist der robots.txt-Token für die KI-Nutzung (kein Crawler) von Google. Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews.

Was macht Google-Extended mit Ihren Inhalten?

Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews. Google-Extended besucht Ihre Website nie selbst: Der Googlebot ruft die Seiten ab, und Google-Extended ist der robots.txt-Schalter für die KI-Nutzung dieser Inhalte.

Sollten Sie Google-Extended blockieren?

Google-Extended zu blockieren nimmt Ihre Inhalte ausschließlich aus dem Training der Gemini-Modelle. Es entfernt Sie NICHT aus der Google-Suche oder den AI Overviews — beide laufen über den Googlebot. Wenn Ihr Ziel ist, in Google sichtbar zu bleiben und zugleich dem Modelltraining zu widersprechen, ist das Blockieren von Google-Extended eine sinnvolle, risikoarme Entscheidung.

Wie erlauben oder blockieren Sie Google-Extended in der robots.txt?

Fügen Sie einen dieser Ausschnitte in die robots.txt im Wurzelverzeichnis Ihrer Website ein. Der erste erlaubt Google-Extended ausdrücklich überall; der zweite blockiert ihn vollständig.

# Google-Extended erlauben
User-agent: Google-Extended
Allow: /

# Google-Extended blockieren
User-agent: Google-Extended
Disallow: /

Sehen Sie Google-Extended in Ihren Server-Logs?

Nein. Google-Extended ist ein robots.txt-Token, kein Crawler: Google dokumentiert keinen eigenen User-Agent dafür. Abgerufen werden die Seiten vom Googlebot; die Google-Extended-Regel entscheidet nur, ob Google das Gesammelte für KI nutzen darf.

Dokumentation von Google zu Google-Extended

Reicht die robots.txt aus?

Nicht immer. CDNs und Firewalls (insbesondere Cloudflare) können Crawler auf Netzwerkebene blockieren, ganz gleich was die robots.txt sagt — Cloudflare blockiert KI-Crawler bei vielen Konten standardmäßig. Wenn Google-Extended Ihre Website erreichen soll, prüfen Sie auch die Bot-Einstellungen Ihres CDN. Der kostenlose SeeGeo-Audit prüft beides.

Wie prüfe ich, ob Google-Extended meine Website gerade lesen kann?

Hier zählt nur die robots.txt: Suchen Sie eine Gruppe, die Google-Extended nennt. Eine Anfrage gibt es nicht zu testen, weil Google-Extended nichts abruft. Ob der Googlebot Zugriff hat, ist eine eigene Frage, die der kostenlose Crawler-Check von SeeGeo beantwortet.

Kostenlosen KI-Crawler-Check starten

Wie schneidet Google-Extended im Vergleich zu ähnlichen Crawlern ab?

Google-Extended ist einer von 17 Crawlern, die der SeeGeo-Audit einzeln prüft. Die nächstliegenden Vergleiche:

CrawlerBetreiberRolleFührt JavaScript aus?
Google-ExtendedGoogleCrawler für KI-Trainingsdatenentfällt (robots.txt-Token)
GooglebotGoogleSuchmaschinen-CrawlerVerzögertes Rendering
GPTBotOpenAICrawler für KI-TrainingsdatenNein
ClaudeBotAnthropicCrawler für KI-TrainingsdatenNein
CCBotCommon CrawlCrawler für KI-TrainingsdatenNein

Alle 17 Crawler im Vergleich · Was ist ein KI-Crawler?

Warum zählt der Crawler-Zugang? Die Zahlen

Beim Crawler-Zugang beginnt oder endet KI-Sichtbarkeit: Ein blockierter Crawler kann Sie nicht lesen, und eine KI, die Sie nicht lesen kann, kann Sie nicht empfehlen.

  • Besucher, die über KI-Assistenten kommen, konvertieren im Schnitt rund 4,4-mal besser als klassische organische Suche (Semrush, branchenübergreifend, 2026).
  • Verweise von KI-Assistenten machen weiterhin nur etwa 1 % des gesamten Web-Traffics aus — wenig, aber der am schnellsten wachsende gemessene Akquisekanal (mehrere Studien 2026).
  • Adobe Digital Insights (Q1 2026) maß bei KI-Besuchern eine um 42 % bessere Conversion als bei Nicht-KI-Traffic — eine vollständige Umkehr gegenüber dem Vorjahr.
  • Cloudflare blockiert KI-Crawler bei vielen Konten standardmäßig, sodass Websites oft für KI unsichtbar sind, ohne dass jemand das entschieden hätte.
  • Allein inhaltliche Änderungen — Statistiken, Quellen, zitierfähige Struktur — können die KI-Sichtbarkeit um rund 30–40 % erhöhen (Princeton-GEO-Studie, KDD 2024).

Häufige Fragen

Was ist Google-Extended?

Google-Extended ist der robots.txt-Token für die KI-Nutzung (kein Crawler) von Google. Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews.

Sollte ich Google-Extended blockieren?

Google-Extended zu blockieren nimmt Ihre Inhalte ausschließlich aus dem Training der Gemini-Modelle. Es entfernt Sie NICHT aus der Google-Suche oder den AI Overviews — beide laufen über den Googlebot.

Führt Google-Extended JavaScript aus?

Die Frage stellt sich nicht: Google-Extended ruft nichts ab. Der Googlebot ruft Ihre Seiten ab, und das Token Google-Extended entscheidet nur, ob Google sie für KI nutzen darf.

Kann Google-Extended meine Website lesen?

Google-Extended liest Ihre Website nie, das tut der Googlebot. Google-Extended ist nur eine robots.txt-Regel, die entscheidet, ob Google diese Inhalte für KI nutzen darf. Prüfen Sie also Ihre robots.txt.

Beeinflusst das Blockieren von Google-Extended die Google-Rankings?

Nein. Google-Extended steuert allein das Gemini-Modelltraining. Google-Suche und AI Overviews nutzen den Googlebot — das Blockieren von Google-Extended hat auf beides keine Auswirkung.

Ist Ihre Website für KI gerade lesbar? Der kostenlose SeeGeo-Audit prüft Crawler-Zugang (alle 17 Bots), Struktur und Extrahierbarkeit der Inhalte in unter einer halben Minute.

Kostenlosen Audit starten

Verwandte Seiten