KI-Crawler

Jeder Bot, der über Ihre KI-Sichtbarkeit entscheidet

Ob ChatGPT, Claude, Perplexity oder Google Ihr Unternehmen lesen — und empfehlen — können, hängt an einer Handvoll Crawler. Was jeder tut, und ob Sie ihn hereinlassen sollten.

KI-Such-Crawler

OpenAI

OAI-SearchBot

Builds the index behind ChatGPT search — this is the bot that decides if ChatGPT can cite you.

Perplexity

PerplexityBot

Indexes pages for Perplexity's answer engine — Perplexity cites sources on almost every answer.

Amazon

Amazonbot

Feeds Alexa and Amazon's AI answers.

DuckDuckGo

DuckAssistBot

Powers DuckDuckGo's AI-assisted answers.

KI-Abrufer auf Zuruf

OpenAI

ChatGPT-User

Fetches your page live when a ChatGPT user asks about you in a conversation.

Anthropic

Claude-User

Fetches your page live during a Claude conversation.

Perplexity

Perplexity-User

Fetches your page live when a Perplexity user asks.

KI-Trainings-Crawler

OpenAI

GPTBot

Collects pages to train ChatGPT's underlying models.

Anthropic

ClaudeBot

Crawls pages for Claude's models and search index.

Google

Google-Extended

Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews.

Common Crawl

CCBot

Builds a public web archive that many AI companies train models on. Blocking it quietly removes you from future models' knowledge.

ByteDance

Bytespider

Trains ByteDance's models (Doubao).

Apple

Applebot-Extended

Controls whether Apple may use your content for Apple Intelligence.

Meta

Meta-ExternalAgent

Collects pages to train Meta's Llama models.

Such-Crawler

Google

Googlebot

Google's main crawler. Powers Google Search AND the AI Overviews box at the top of results.

Microsoft

Bingbot

Bing's crawler. Also feeds AI assistants that use Bing's index (including parts of ChatGPT's search), so blocking it hurts more than Bing.

Welche davon erreichen Ihre Website tatsächlich? Der kostenlose SeeGeo-Audit prüft Ihre robots.txt gegen jeden Crawler auf dieser Seite — dazu Ihr CDN und das JavaScript-Rendering.

Kostenlosen Audit starten

Häufige Fragen

Wie prüfe ich, ob KI-Crawler wie GPTBot meine Website lesen können?

Prüfen Sie zwei Dinge: dass Ihre robots.txt den Crawler nicht ausschließt, und dass Ihr Server oder CDN die Seite tatsächlich ausliefert, wenn eine Anfrage mit dem User-Agent dieses Crawlers eintrifft. Die zweite Prüfung zählt, weil Firewalls wie Cloudflare KI-Bots unabhängig von der robots.txt blockieren können. SeeGeos kostenloser Crawler-Check macht beides für GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot in wenigen Sekunden.

Welche KI-Crawler sollte ein kleines Unternehmen erlauben?

Erlauben Sie die Such-Crawler, die die Antworten speisen, die Kunden sehen — OAI-SearchBot und ChatGPT-User für ChatGPT, Googlebot für Googles AI Overviews, PerplexityBot und ClaudeBot — denn wer sie blockiert, verschwindet aus den Empfehlungen. Die reinen Trainings-Crawler (GPTBot, Google-Extended, CCBot) sind eine echte Abwägung: erlaubt, wissen künftige Modelle, dass es Sie gibt; blockiert, bleiben Ihre Inhalte aus den Trainingsdaten.

Reicht die robots.txt, um KI-Crawler zu steuern?

Nein. Die robots.txt ist eine Bitte, die sich wohlverhaltende Crawler befolgen, aber Ihr CDN oder Ihre Firewall kann einen Crawler blockieren, den die robots.txt erlaubt, und ein Crawler kann erlaubt sein, während Ihre Seiten nur mit JavaScript erscheinen, das er nie ausführt. Zugang ist erst real, wenn der Abruf gelingt und der Inhalt im HTML steht.