Generateur robots.txt
Creez votre fichier robots.txt facilement avec notre generateur visuel. Configurez les regles de crawl pour les moteurs de recherche. Gratuit et sans inscription.
Disallow
Allow
Pourquoi un fichier robots.txt ?
Le fichier robots.txt est un element fondamental du SEO technique. Il permet de guider les robots des moteurs de recherche et d'optimiser votre budget de crawl en empechant l'exploration de pages inutiles (admin, API, fichiers temporaires). Un robots.txt bien configure ameliore l'efficacite de l'indexation de votre site.
Bonnes pratiques
- Ne bloquez pas le CSS et JS — Google en a besoin pour comprendre le rendu de vos pages
- Bloquez les pages d'admin — /admin/, /wp-admin/, /dashboard/ n'ont pas besoin d'etre crawlees
- Bloquez les APIs — les endpoints /api/ ne sont pas destines aux moteurs de recherche
- Ajoutez votre sitemap — la directive Sitemap aide les moteurs a decouvrir toutes vos pages
- Testez votre robots.txt — utilisez l'outil de test dans Google Search Console
Questions frequentes
Qu'est-ce que le fichier robots.txt ?
Le fichier robots.txt est un fichier texte place a la racine de votre site web qui donne des instructions aux robots des moteurs de recherche. Il indique quelles parties du site peuvent ou ne peuvent pas etre explorees (crawlees).
Le robots.txt bloque-t-il l'indexation ?
Non, le robots.txt empeche le crawl mais pas necessairement l'indexation. Si d'autres pages pointent vers une URL bloquee par robots.txt, Google peut quand meme l'indexer. Pour bloquer l'indexation, utilisez la balise meta robots avec "noindex".
Ou placer le fichier robots.txt ?
Le fichier robots.txt doit etre place a la racine de votre domaine : https://example.com/robots.txt. Il ne fonctionne pas dans les sous-repertoires.
Qu'est-ce que le Crawl-delay ?
Le Crawl-delay indique aux robots le delai minimum (en secondes) entre deux requetes. Cela evite de surcharger votre serveur. Google ne respecte pas cette directive mais Bing et d'autres si.