Generateur robots.txt
Créez votre fichier robots.txt facilement avec notre générateur visuel. Configurez les règles de crawl pour les moteurs de recherche. Gratuit et sans inscription.
Disallow
Allow
Pourquoi un fichier robots.txt ?
Le fichier robots.txt est un élément fondamental du SEO technique. Il permet de guider les robots des moteurs de recherche et d'optimiser votre budget de crawl en empechant l'exploration de pages inutiles (admin, API, fichiers temporaires). Un robots.txt bien configure améliore l'efficacité de l'indexation de votre site.
Bonnes pratiques
- Ne bloquez pas le CSS et JS — Google en a besoin pour comprendre le rendu de vos pages
- Bloquez les pages d'admin — /admin/, /wp-admin/, /dashboard/ n'ont pas besoin d'être crawlees
- Bloquez les APIs — les endpoints /api/ ne sont pas destines aux moteurs de recherche
- Ajoutez votre sitemap — la directive Sitemap aide les moteurs à découvrir toutes vos pages
- Testez votre robots.txt — utilisez l'outil de test dans Google Search Console
Questions fréquentes
Qu'est-ce que le fichier robots.txt ?
Le fichier robots.txt est un fichier texte place à la racine de votre site web qui donne des instructions aux robots des moteurs de recherche. Il indique quelles parties du site peuvent ou ne peuvent pas être explorees (crawlees).
Le robots.txt bloque-t-il l'indexation ?
Non, le robots.txt empeche le crawl mais pas necessairement l'indexation. Si d'autres pages pointent vers une URL bloquee par robots.txt, Google peut quand meme l'indexer. Pour bloquer l'indexation, utilisez la balise meta robots avec "noindex".
Ou placer le fichier robots.txt ?
Le fichier robots.txt doit etre place a la racine de votre domaine : https://example.com/robots.txt. Il ne fonctionne pas dans les sous-repertoires.
Qu'est-ce que le Crawl-delay ?
Le Crawl-delay indique aux robots le delai minimum (en secondes) entre deux requetes. Cela evite de surcharger votre serveur. Google ne respecte pas cette directive mais Bing et d'autres si.