🤖 Robots.txt Generator
Construisez visuellement votre fichier robots.txt avec des règles par user-agent. Génération en temps réel.
Préréglages :
🛠 Règles User-Agent
🔗 Options supplémentaires
📋 Fichier généré
💡 Rappel : Le fichier robots.txt doit être placé à la racine de votre site web :
https://www.exemple.com/robots.txt
Description
Générateur visuel de fichier robots.txt pour contrôler l'accès des robots d'indexation à votre site web.
Fonctionnalités
- Constructeur visuel avec ajout/suppression dynamique de règles par user-agent
- Support des directives Allow et Disallow pour chaque user-agent
- Champ Sitemap pour indiquer l'emplacement de votre plan de site XML
- Champ Crawl-delay pour limiter la fréquence de crawl
- 4 préréglages : Tout autoriser, Tout bloquer, WordPress, SEO Standard
- Téléchargement direct du fichier robots.txt
Utilisation
- Cliquez sur « Ajouter un User-Agent » pour créer une nouvelle section de règles
- Sélectionnez le user-agent (*, Googlebot, Bingbot ou personnalisé) et ajoutez des chemins Allow/Disallow
- Utilisez les préréglages pour démarrer rapidement avec une configuration type
- Cliquez sur « Copier » ou « Télécharger » pour récupérer le fichier généré
Astuces
- Le user-agent
*s'applique à tous les robots qui ne sont pas spécifiquement mentionnés - Un
Disallow: /bloque l'accès à tout le site pour le user-agent concerné - Un
Disallow:vide (sans chemin) autorise l'accès à tout le site - Le Crawl-delay n'est pas supporté par Google mais est respecté par Bing et Yandex
Copié !