Was ist Claude-SearchBot?

Was macht Claude-SearchBot mit Ihren Inhalten?

Crawls the web to improve Claude's search results — blocking it can keep you out of what Claude finds when it searches. Wie die meisten KI-Crawler liest Claude-SearchBot Ihre Seiten als reines HTML — er führt kein JavaScript aus — Inhalte, die erst nach dem Ausführen von Skripten erscheinen, sind für ihn also unsichtbar.

Sollten Sie Claude-SearchBot blockieren?

Claude-SearchBot zu blockieren macht Ihr Unternehmen für die KI von Anthropic unsichtbar, wenn Kunden sie um Empfehlungen bitten. Wenn Sie gefunden werden möchten, lassen Sie ihn zu; blockieren Sie ihn nur, wenn Sie einen konkreten Grund haben, die KI von Anthropic von Ihren Inhalten fernzuhalten.

Wie erlauben oder blockieren Sie Claude-SearchBot in der robots.txt?

Fügen Sie einen dieser Ausschnitte in die robots.txt im Wurzelverzeichnis Ihrer Website ein. Der erste erlaubt Claude-SearchBot ausdrücklich überall; der zweite blockiert ihn vollständig.

# Claude-SearchBot erlauben
User-agent: Claude-SearchBot
Allow: /

# Claude-SearchBot blockieren
User-agent: Claude-SearchBot
Disallow: /

Wie erkennen Sie Claude-SearchBot in Ihren Server-Logs?

Anthropic veröffentlicht das Token Claude-SearchBot, aber keinen vollständigen User-Agent-String. Suchen Sie in Ihren Access-Logs nach „Claude-SearchBot“.

Einen User-Agent-String kann jeder kopieren. Prüfen Sie deshalb die IP-Adresse der Anfrage gegen die Liste, die Anthropic für Claude-SearchBot veröffentlicht.

Dokumentation von Anthropic zu Claude-SearchBot · Von Anthropic veröffentlichte IP-Bereiche

Reicht die robots.txt aus?

Nicht immer. CDNs und Firewalls (insbesondere Cloudflare) können Crawler auf Netzwerkebene blockieren, ganz gleich was die robots.txt sagt — Cloudflare blockiert KI-Crawler bei vielen Konten standardmäßig. Wenn Claude-SearchBot Ihre Website erreichen soll, prüfen Sie auch die Bot-Einstellungen Ihres CDN. Der kostenlose SeeGeo-Audit prüft beides.

Wie prüfe ich, ob Claude-SearchBot meine Website gerade lesen kann?

Zwei Prüfungen, beide nötig: Lesen Sie Ihre robots.txt auf eine Gruppe, die Claude-SearchBot nennt (oder die *-Gruppe, auf die er zurückfällt), und rufen Sie dann Ihre Startseite mit dem User-Agent von Claude-SearchBot ab — Sie sollten einen 200 mit Ihrem echten HTML bekommen, keinen 403 und keine Challenge-Seite. Der kostenlose Crawler-Check von SeeGeo macht beides in wenigen Sekunden.

Kostenlosen KI-Crawler-Check starten

Wie schneidet Claude-SearchBot im Vergleich zu ähnlichen Crawlern ab?

Claude-SearchBot ist einer von 17 Crawlern, die der SeeGeo-Audit einzeln prüft. Die nächstliegenden Vergleiche:

Alle 17 Crawler im Vergleich · Was ist ein KI-Crawler?

Warum zählt der Crawler-Zugang? Die Zahlen

Beim Crawler-Zugang beginnt oder endet KI-Sichtbarkeit: Ein blockierter Crawler kann Sie nicht lesen, und eine KI, die Sie nicht lesen kann, kann Sie nicht empfehlen.

• Besucher, die über KI-Assistenten kommen, konvertieren im Schnitt rund 4,4-mal besser als klassische organische Suche (Semrush, branchenübergreifend, 2026).
• Verweise von KI-Assistenten machen weiterhin nur etwa 1 % des gesamten Web-Traffics aus — wenig, aber der am schnellsten wachsende gemessene Akquisekanal (mehrere Studien 2026).
• Adobe Digital Insights (Q1 2026) maß bei KI-Besuchern eine um 42 % bessere Conversion als bei Nicht-KI-Traffic — eine vollständige Umkehr gegenüber dem Vorjahr.
• Cloudflare blockiert KI-Crawler bei vielen Konten standardmäßig, sodass Websites oft für KI unsichtbar sind, ohne dass jemand das entschieden hätte.
• Allein inhaltliche Änderungen — Statistiken, Quellen, zitierfähige Struktur — können die KI-Sichtbarkeit um rund 30–40 % erhöhen (Princeton-GEO-Studie, KDD 2024).

Was ist Claude-SearchBot?

Claude-SearchBot ist der Crawler für den KI-Suchindex von Anthropic. Crawls the web to improve Claude's search results — blocking it can keep you out of what Claude finds when it searches.

Sollte ich Claude-SearchBot blockieren?

Claude-SearchBot zu blockieren macht Ihr Unternehmen für die KI von Anthropic unsichtbar, wenn Kunden sie um Empfehlungen bitten. Wenn Sie gefunden werden möchten, lassen Sie ihn zu; blockieren Sie ihn nur, wenn Sie einen konkreten Grund haben, die KI von Anthropic von Ihren Inhalten fernzuhalten..

Führt Claude-SearchBot JavaScript aus?

Nein. Claude-SearchBot liest wie die meisten KI-Crawler rohes HTML, ohne JavaScript auszuführen. Wenn Ihre Inhalte nur clientseitig gerendert werden, sind sie für ihn faktisch unsichtbar.

Kann Claude-SearchBot meine Website lesen?

Nur wenn zwei Dinge zutreffen: Ihre robots.txt verbietet Claude-SearchBot nicht, und Ihr Server oder CDN liefert die Seite tatsächlich aus, wenn Claude-SearchBot sie anfragt. Firewalls können ihn unabhängig von der robots.txt blockieren; verlässlich ist nur, die Startseite als Claude-SearchBot abzurufen — genau das tut der kostenlose Check auf see-geo.com/ai-crawler-check.

Wie lautet der User-Agent von Claude-SearchBot?

Anthropic veröffentlicht das Token Claude-SearchBot, aber keinen vollständigen User-Agent-String. Suchen Sie in Ihren Access-Logs nach „Claude-SearchBot“. Einen User-Agent-String kann jeder kopieren. Prüfen Sie deshalb die IP-Adresse der Anfrage gegen die Liste, die Anthropic für Claude-SearchBot veröffentlicht.