Connecter Cloudflare : les visites des robots

À quoi ça sert

Kaiku mesure déjà ce qui sort des IA : quand elles vous citent. Cloudflare montre ce qui entre : quels robots des IA (GPTBot d'OpenAI, ClaudeBot d'Anthropic, PerplexityBot…) et des moteurs (Googlebot, bingbot) viennent lire vos pages, lesquelles, et avec quelle réponse. En croisant les deux, l'onglet Se classer › Audit technique › Visites des robots dit si un problème vient de l'accès (technique) ou du contenu. Ce ne sont pas des visiteurs humains : pour votre audience, GA4 et Search Console restent la référence. Sur l'Accueil, une ligne discrète « Pourquoi » sous les notes SEO et GEO reprend ce que Cloudflare explique pour la période choisie (robots IA bloqués ou refusés, erreurs servies à Google et Bing, ou accès sans problème) : Cloudflare explique les notes, il n'entre jamais dans leur calcul.

Créer le jeton pas à pas

• Connectez-vous à dash.cloudflare.com et ouvrez la page des jetons d'API de votre profil (en anglais : Profile › API Tokens), par l'icône de profil en haut à droite.
• Cliquez sur le bouton de création de jeton (en anglais : Create Token), puis, tout en bas, sur celui du jeton personnalisé (en anglais : Create Custom Token).
• Dans les autorisations (en anglais : Permissions), ajoutez deux lignes, ici avec leurs libellés anglais : Zone · Analytics · Read et Zone · Zone · Read. Recommandée, une troisième ligne : Zone · Bot Management · Read, pour que Kaiku vérifie si Cloudflare bloque les robots IA.
• Dans les ressources de zone (en anglais : Zone Resources), incluez une zone précise (en anglais : Include · Specific zone) : votre domaine (par exemple exemple.ca).
• Passez au résumé (en anglais : Continue to summary), puis créez le jeton (Create Token). Copiez-le : Cloudflare ne l'affiche qu'une fois.

Le saisir dans Kaiku

• Dans Réglages › Connexions, descendez à la carte Connexion Cloudflare.
• Collez le jeton, puis cliquez sur Enregistrer le jeton. Il est chiffré en base et ne revient jamais en clair dans le navigateur.
• Kaiku choisit le site (la « zone ») qui correspond au domaine du projet. S'il y a plusieurs sites possibles, choisissez-le dans la liste, puis cliquez sur Enregistrer le site.
• Le premier relevé récupère les 29 derniers jours complets (la limite de Cloudflare, avec une marge) ; il prend en général quelques minutes. Ensuite, Kaiku relève les nouvelles visites chaque dimanche.
• Si le premier relevé n'aboutit pas, la page Visites des robots l'indique ; le propriétaire du projet peut alors cliquer sur Relancer le relevé.
• Déconnecter Cloudflare retire le jeton et le site du projet ; les visites déjà relevées restent conservées.

« DNS seulement » : aucune donnée, et ce n'est pas une erreur

Cloudflare ne voit que le trafic qui passe par lui. Si le site est en mode DNS seulement (nuage gris dans les réglages DNS de Cloudflare), les visites vont directement à votre hébergeur : Cloudflare n'a rien à rapporter, et la page le dit. C'est fréquent quand l'hébergeur gère son propre réseau. Pour mesurer les robots, l'enregistrement DNS du site doit passer par le proxy de Cloudflare (nuage orange), si votre hébergeur le permet.

31 jours chez Cloudflare, tout l'historique chez Kaiku

Cloudflare ne garde que 31 jours de statistiques. Kaiku les relève chaque dimanche, en chevauchant les jours déjà relevés pour rattraper un relevé manqué, et conserve tout : la page suit la période choisie en haut du hub, même au-delà de 31 jours, et dit depuis quand l'historique existe. Changer de site ou déconnecter Cloudflare n'efface aucune donnée.

Comment les robots sont reconnus

Chaque robot est reconnu par le nom qu'il déclare (son « user-agent ») : GPTBot, OAI-SearchBot et ChatGPT-User pour OpenAI, ClaudeBot et Claude-User pour Anthropic, PerplexityBot, Google-Extended, Googlebot, bingbot, etc. L'usage est indiqué pour chacun : Entraînement (nourrit les futurs modèles), Recherche (alimente les réponses avec sources), Demande d'un utilisateur (page ouverte à la volée pour répondre à une question), Indexation (moteurs de recherche).

Lire les cinq diagnostics

• Robots bloqués ou en erreur : un robot IA reçoit un refus (401, 403), une limite de débit (429) ou une panne du serveur (5xx) sur une page. C'est technique : vérifiez le pare-feu, les règles de sécurité de Cloudflare et le serveur. Un 404 compte comme une erreur, pas comme un blocage.
• Lues mais jamais citées : les robots d'un éditeur (par exemple OpenAI) lisent la page, mais son moteur (ChatGPT) ne la cite dans aucune réponse aux requêtes que Kaiku suit pour ce projet, sur la période. Ce n'est donc pas « jamais citée nulle part » : seulement dans vos requêtes suivies. L'accès fonctionne : c'est le contenu qu'il faut renforcer. Seuls les moteurs suivis dans le projet sont croisés.
• Jamais visitées par les IA : une page importante (avec des clics ou des impressions dans Search Console ou Bing, ou déjà citée par une IA) qu'aucun robot IA n'a lue. Liez-la depuis des pages déjà visitées et soumettez-la avec IndexNow.
• Erreurs servies à Google et Bing : Googlebot ou bingbot reçoit une erreur (401, 403, 404, 410, 429 ou 5xx) sur une page ; les redirections n'en font pas partie. Corrigez le lien qui y mène ou rétablissez la page ; une page supprimée volontairement peut rester en 404 ou 410. Sans erreur, le bloc montre la part des visites servies à Google et à Microsoft.
• Interdites par robots.txt, mais visitées : Kaiku relève votre robots.txt à chaque relevé Cloudflare et vérifie, robot par robot, si les pages visitées lui étaient interdites (règle la plus précise, comme Google). Le robots.txt n'est qu'une consigne : pour vraiment bloquer, ajoutez une règle de sécurité Cloudflare. Un robot qui ignore la consigne peut aussi être un imposteur qui emprunte son nom. Sans robots.txt, tout est permis aux robots. Chaque visite est jugée avec le robots.txt relevé au plus tard la veille (un robot peut garder le fichier en mémoire 24 heures), et seulement sur l'adresse du site où il a été lu : les visites antérieures au premier relevé ne sont pas jugées. Les robots déclenchés par un utilisateur (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot…) ne sont pas jugés non plus : ils ouvrent une page à la demande d'une personne, et leurs éditeurs indiquent qu'ils n'appliquent pas, ou pas toujours, le robots.txt.

Cloudflare bloque-t-il les IA ?

Cloudflare propose des réglages qui bloquent les robots des IA, parfois actifs sans qu'on le sache. Avec la permission recommandée Zone · Bot Management · Read, Kaiku les lit à chaque relevé et à l'enregistrement du jeton, et affiche un bandeau en haut de la page Visites des robots : rouge si tous les robots IA sont bloqués (ChatGPT, Claude, Perplexity et les autres ne peuvent ni lire ni citer le site), orange si une catégorie est bloquée (robots de recherche des IA, visites demandées par leurs utilisateurs) ou si le blocage ne vise que les pages avec publicité, et une note discrète pour ce qui est sans gravité (entraînement des modèles exclu, labyrinthe anti-IA, robots.txt complété par Cloudflare).

• Pour lever le blocage : dans Cloudflare, ouvrez votre domaine, puis AI Crawl Control (ou Sécurité › Bots), et désactivez le blocage des robots IA (en anglais : Block AI bots).
• Sans cette permission, la page le signale par une petite note : ajoutez-la au jeton dans Cloudflare (le jeton reste en lecture seule).
• Le bandeau indique la date du relevé des réglages. Si des robots IA lisent encore vos pages malgré le blocage, il le dit au conditionnel : ceux qui ne sont pas encore bloqués pourraient l'être.