Tous les robots qui décident de votre visibilité IA
Que ChatGPT, Claude, Perplexity ou Google puissent lire — et recommander — votre entreprise dépend d'une poignée de robots. Ce que fait chacun, et s'il faut le laisser entrer.
Robots d'index IA
OAI-SearchBot
Builds the index behind ChatGPT search — this is the bot that decides if ChatGPT can cite you.
AnthropicClaude-SearchBot
Crawls the web to improve Claude's search results — blocking it can keep you out of what Claude finds when it searches.
PerplexityPerplexityBot
Indexes pages for Perplexity's answer engine — Perplexity cites sources on almost every answer.
AmazonAmazonbot
Crawls pages to improve Amazon's products and services; Amazon says the content may also train its AI models.
DuckDuckGoDuckAssistBot
Powers DuckDuckGo's AI-assisted answers.
Récupérateurs IA à la demande
Robots d'entraînement IA
GPTBot
Collects pages to train ChatGPT's underlying models.
AnthropicClaudeBot
Collects public web pages that Anthropic may use to train Claude. Claude's search results come from a separate agent, Claude-SearchBot.
GoogleGoogle-Extended
Controls whether Google may train Gemini on your content. Blocking it does NOT affect Google Search or AI Overviews.
Common CrawlCCBot
Builds a public web archive that many AI companies train models on. Blocking it quietly removes you from future models' knowledge.
ByteDanceBytespider
Widely reported to gather training data for ByteDance's AI models; ByteDance publishes no documentation for it.
AppleApplebot-Extended
Controls whether Apple may use your content for Apple Intelligence.
MetaMeta-ExternalAgent
Collects pages to train Meta's Llama models.
Robots de recherche
Lesquels atteignent réellement votre site ? L'audit gratuit SeeGeo évalue votre robots.txt face à chaque robot de cette page — plus votre CDN et le rendu JavaScript.
Lancer un audit gratuitQuestions fréquentes
Comment savoir si les robots IA (GPTBot, ClaudeBot) peuvent lire mon site ?
Vérifiez deux choses : que votre robots.txt n'interdit pas le robot, et que votre serveur ou votre CDN renvoie bien la page quand la requête arrive avec l'user-agent de ce robot. La seconde vérification compte parce qu'un pare-feu comme Cloudflare peut bloquer les robots IA quel que soit le robots.txt. Le vérificateur gratuit de SeeGeo fait les deux pour GPTBot, OAI-SearchBot, ClaudeBot et PerplexityBot en quelques secondes.
Quels robots IA une petite entreprise doit-elle autoriser ?
Autorisez les robots de type recherche, ceux qui alimentent les réponses que voient les clients — OAI-SearchBot et ChatGPT-User pour ChatGPT, Googlebot pour les AI Overviews de Google, PerplexityBot et ClaudeBot — car les bloquer vous retire des recommandations. Les robots d'entraînement seuls (GPTBot, Google-Extended, CCBot) sont un vrai choix : les autoriser aide les futurs modèles à savoir que vous existez, les bloquer garde votre contenu hors des données d'entraînement.
Le robots.txt suffit-il pour contrôler les robots IA ?
Non. Le robots.txt est une demande que les robots bien élevés respectent, mais votre CDN ou votre pare-feu peut bloquer un robot que le robots.txt autorise, et un robot peut être autorisé alors que vos pages ne s'affichent qu'avec du JavaScript qu'il n'exécute jamais. L'accès n'est réel que si la requête aboutit et que le contenu est dans le HTML.