Générateur de robots.txt en ligne

Robots.txt Seo Crawler Indexation Generateur Outil En Ligne De Génération De Robots.txt

🤖

Générateur de robots.txt

Présets rapides

URL du sitemap

Crawl-delay (optionnel, en secondes)

User-agent

Disallow (un chemin par ligne) Allow (un chemin par ligne)

Résultat — robots.txt

Créez votre fichier robots.txt en quelques clics : configurez les règles pour les crawlers, bloquez des chemins, ajoutez votre sitemap et téléchargez le fichier prêt à déployer.

Qu'est-ce que le robots.txt ?

Le fichier robots.txt est un fichier texte placé à la racine de votre site web qui indique aux robots d'indexation (crawlers) quelles pages ils sont autorisés ou non à explorer. Il fait partie du protocole Robots Exclusion Standard.

Il est lu par les moteurs de recherche comme Google, Bing, ou des crawlers tiers avant qu'ils ne commencent à explorer votre site.

Important : Le robots.txt est une directive, pas une protection. Un robot malveillant peut l'ignorer. Pour protéger du contenu sensible, utilisez une authentification ou des règles serveur.

Les directives principales

Un fichier robots.txt est composé de blocs User-agent + règles. Voici les directives disponibles :

User-agent : le robot ciblé (* = tous)
Disallow : chemin interdit au crawl
Allow : chemin explicitement autorisé (override d'un Disallow)
Sitemap : URL vers votre sitemap XML
Crawl-delay : délai entre deux requêtes (en secondes)

User-agent: *
Disallow: /admin/
Allow: /public/

Sitemap: https://exemple.com/sitemap.xml

Bonnes pratiques SEO

Toujours indiquer l'URL de votre sitemap.xml dans le robots.txt
Bloquer les dossiers inutiles : /admin/, /tmp/, /private/
Ne pas bloquer vos fichiers CSS et JS — Google en a besoin pour le rendu
Éviter de bloquer des pages que vous souhaitez indexer (erreur fréquente)
Tester votre fichier avec le Google Search Console

Note : Le robots.txt est accessible publiquement à https://votredomaine.com/robots.txt. Ne l'utilisez pas pour cacher des informations confidentielles.

Exemples concrets

Site WordPress standard

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://exemple.com/sitemap.xml

Bloquer un robot spécifique

User-agent: AhrefsBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://exemple.com/sitemap.xml

E-commerce (bloquer filtres et panier)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /?s=

Sitemap: https://exemple.com/sitemap.xml