Qu'est-ce que CCBot ?
CCBot est le robot de collecte pour l'entraînement d'IA de Common Crawl. Builds a public web archive that many AI companies train models on. Blocking it quietly removes you from future models' knowledge.
Que fait CCBot de votre contenu ?
Builds a public web archive that many AI companies train models on. Blocking it quietly removes you from future models' knowledge. Comme la plupart des robots d'IA, CCBot lit vos pages en HTML brut — il n'exécute pas JavaScript — donc tout contenu qui n'apparaît qu'après l'exécution des scripts lui est invisible.
Faut-il bloquer CCBot ?
CCBot alimente Common Crawl, une archive publique sur laquelle s'entraînent de nombreux laboratoires d'IA. Le bloquer vous retire discrètement des données d'entraînement des futurs modèles — ceux à qui vos clients demanderont des recommandations dans quelques années. L'arbitrage est réel : autorisez-le pour la visibilité IA, bloquez-le si garder votre contenu hors des données d'entraînement compte davantage.
Comment autoriser ou bloquer CCBot dans robots.txt ?
Ajoutez l'un de ces extraits au fichier robots.txt à la racine de votre site. Le premier autorise explicitement CCBot partout ; le second le bloque complètement.
# Autoriser CCBot
User-agent: CCBot
Allow: /
# Bloquer CCBot
User-agent: CCBot
Disallow: /Le robots.txt suffit-il ?
Pas toujours. Les CDN et pare-feux (Cloudflare en particulier) peuvent bloquer les robots au niveau réseau, quoi que dise le robots.txt — Cloudflare bloque les robots d'IA par défaut sur de nombreux comptes. Si vous voulez que CCBot atteigne votre site, vérifiez aussi les réglages anti-bots de votre CDN. L'audit gratuit SeeGeo contrôle les deux.
Comment CCBot se compare-t-il aux robots similaires ?
CCBot fait partie des 16 robots que l'audit SeeGeo vérifie un par un. Les comparaisons les plus proches :
| Robot | Opérateur | Rôle | Exécute JavaScript ? |
|---|---|---|---|
| CCBot | Common Crawl | robot de collecte pour l'entraînement d'IA | Non |
| GPTBot | OpenAI | robot de collecte pour l'entraînement d'IA | Non |
| ClaudeBot | Anthropic | robot de collecte pour l'entraînement d'IA | Non |
| Google-Extended | robot de collecte pour l'entraînement d'IA | Non | |
| Bytespider | ByteDance | robot de collecte pour l'entraînement d'IA | Non |
Pourquoi l'accès des robots compte-t-il ? Les chiffres
L'accès des robots est le point où la visibilité IA commence ou s'arrête : un robot bloqué ne peut pas vous lire, et une IA qui ne peut pas vous lire ne peut pas vous recommander.
- Les visiteurs venus d'assistants IA convertissent environ 4,4 fois mieux que la recherche organique traditionnelle en moyenne (Semrush, tous secteurs, 2026).
- Les recommandations d'assistants IA ne représentent encore qu'environ 1 % du trafic web total — faible, mais le canal d'acquisition qui croît le plus vite (plusieurs études 2026).
- Adobe Digital Insights (T1 2026) a mesuré des visiteurs venus d'IA convertissant 42 % mieux que le trafic non-IA — un renversement complet par rapport à l'année précédente.
- Cloudflare bloque les robots d'IA par défaut sur de nombreux comptes : des sites sont donc invisibles pour l'IA sans que personne ne l'ait décidé.
- Les seules modifications de contenu — statistiques, sources citées, structure citable — peuvent augmenter la visibilité IA de l'ordre de 30 à 40 % (étude GEO de Princeton, KDD 2024).
Frequently asked questions
Qu'est-ce que CCBot ?
CCBot est le robot de collecte pour l'entraînement d'IA de Common Crawl. Builds a public web archive that many AI companies train models on. Blocking it quietly removes you from future models' knowledge.
Dois-je bloquer CCBot ?
CCBot alimente Common Crawl, une archive publique sur laquelle s'entraînent de nombreux laboratoires d'IA. Le bloquer vous retire discrètement des données d'entraînement des futurs modèles — ceux à qui vos clients demanderont des recommandations dans quelques années.
CCBot exécute-t-il JavaScript ?
Non. CCBot, comme la plupart des robots d'IA, lit le HTML brut sans exécuter JavaScript. Si votre contenu ne s'affiche que côté client, il lui est de fait invisible.