robots.txt

robots.txt est un fichier standard qui indique aux robots d'exploration quelles pages ils peuvent ou ne peuvent pas crawler. Pour le GEO, ce fichier détermine si les bots IA peuvent accéder à votre contenu.

Pourquoi c'est important pour le GEO

Un robots.txt mal configuré peut bloquer GPTBot, ClaudeBot ou PerplexityBot, rendant votre site invisible pour les recherches IA. C'est la première vérification de tout audit GEO.

Comment optimiser

Configuration recommandée pour GEO:

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /