anthropic-ai

anthropic-ai est un agent utilisateur secondaire d'Anthropic, la société créatrice de Claude. Il complète ClaudeBot pour le crawl web, principalement pour la collecte de données de recherche et l'entraînement des modèles. Les deux bots fonctionnent en parallèle et doivent tous les deux être autorisés pour une visibilité maximale dans l'écosystème Claude.

Pourquoi c'est important pour le GEO

Beaucoup d'entreprises autorisent ClaudeBot mais oublient anthropic-ai. C'est une erreur qui peut limiter partiellement l'indexation de votre site par Anthropic. Pour être pleinement visible dans Claude Search et les réponses Claude, les deux agents doivent être acceptés dans votre robots.txt.

La distinction entre les deux bots reflète l'architecture d'Anthropic : ClaudeBot sert les produits Claude en production (recherche en temps réel, réponses aux utilisateurs), tandis qu'anthropic-ai sert les équipes de recherche et le développement des futurs modèles. Autoriser les deux maximise votre présence sur l'ensemble des surfaces Claude.

Comment optimiser

Ajoutez les deux directives dans votre fichier robots.txt :

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

Vérifiez que ces lignes ne sont pas annulées par une règle Disallow: / générique placée plus haut dans le fichier. L'ordre des règles dans robots.txt est important.

Exemple concret

Un éditeur de logiciel RH autorise ClaudeBot mais pas anthropic-ai. Ses pages sont partiellement indexées. Après avoir ajouté la règle manquante, le nombre de citations dans Claude pour des requêtes liées aux logiciels RH augmente de façon mesurable sur les trois mois suivants.

Distinction entre les deux bots Anthropic

• ClaudeBot : bot principal, alimente les produits Claude (Search, réponses en temps réel)
• anthropic-ai : bot secondaire, utilisé pour la recherche et l'amélioration des modèles

Erreurs fréquentes

• Autoriser uniquement ClaudeBot : négliger anthropic-ai laisse une partie de l'écosystème Anthropic sans accès
• Confusion avec le produit : "anthropic-ai" est le nom de l'agent utilisateur du bot, pas l'entreprise ni le modèle
• Robots.txt mal ordonné : une règle générique avant les règles spécifiques peut écraser vos autorisations
• Ne pas tester après modification : chaque changement dans robots.txt doit être validé avec un outil de test