Générateur Robots.txt
Créez votre fichier robots.txt facilement. Configurez les règles par user-agent et ajoutez votre sitemap.
Questions fréquentes
Qu'est-ce que le fichier robots.txt ?
Le fichier robots.txt est un fichier texte placé à la racine d'un site web qui indique aux robots d'exploration (crawlers) quelles pages ou sections peuvent être explorées.
Il suit le Robots Exclusion Protocol (REP). Ce fichier est lu avant tout par Google, Bing et les autres moteurs de recherche.
Où placer le fichier robots.txt ?
Le fichier robots.txt doit toujours être placé à la racine du domaine : https://votresite.com/robots.txt. Il ne peut pas être dans un sous-dossier. Si votre site utilise plusieurs sous-domaines, chaque sous-domaine doit avoir son propre fichier robots.txt.
Disallow: / bloque-t-il vraiment tout ?
La directive Disallow: / interdit à un robot d'explorer toutes les pages du site. Cependant, Google peut quand même afficher l'URL dans les résultats s'il la découvre via un lien externe, sans en connaître le contenu.
Pour empêcher l'indexation, utilisez plutôt la balise meta robots noindex.
Comment autoriser un seul moteur de recherche ?
Utilisez des blocs User-agent séparés. Par exemple : User-agent: Googlebot suivi de Allow: / autorise Google, puis User-agent: * suivi de Disallow: / bloque tous les autres robots.
L'ordre des blocs n'a pas d'importance, chaque robot s'applique les règles de son bloc.
La directive Sitemap est-elle obligatoire ?
Non, la directive Sitemap est optionnelle mais fortement recommandée. Elle indique aux moteurs de recherche où trouver votre sitemap XML, ce qui accélère la découverte et l'indexation de vos pages.
Vous pouvez inclure plusieurs URLs de sitemap dans un même fichier robots.txt.
Découvrez nos autres outils pour développeurs :
Robots Exclusion Protocol (REP). Référence : RFC 9309 — Robots Exclusion Protocol (IETF, 2022). Valider votre fichier avec Google Search Console > Inspection de l'URL.