User-agent: *
# Empêcher l'indexation de la configuration et documents internes
Disallow: /conf/
Disallow: /inc/
Disallow: /document/
# Empêcher les pages d'erreur orphelines d'être indexées
Disallow: */erreur/
# Autoriser les images pour Google Images et Bing
Allow: /image/
Allow: /style/font/
Allow: /js/

# Google Image Bot
User-agent: Googlebot-Image
Disallow:

# Google Ads Bot
User-agent: AdsBot-Google
Disallow:

# Crawl delay (120 secondes par défaut, à adapter selon la capacité du serveur)
Crawl-delay: 1

# Google Ads
User-agent: AdsBot-Google
Disallow:

# Google Images
User-agent: Googlebot-Image
Disallow:

# OpenAI (ChatGPT)
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google (Gemini / Vertex AI)
User-agent: Google-Extended
Allow: /

# Apple
User-agent: Applebot-Extended
Allow: /

# Amazon
User-agent: Amazonbot
Allow: /

# Common Crawl
User-agent: CCBot
Allow: /

# Sitemap (à créer après optimisation)
Sitemap: https://www.belle-environnement.fr/sitemap.php