Générateur de robots.txt
Créez des fichiers robots.txt adaptés au SEO pour contrôler l'accès au crawler
🌐 Informations sur le site Web
🤖 Contrôle de crawler
Sélectionnez les crawlers à configurer :
🚫 Règles du chemin
⏱ ️ Retard de crawl (facultatif)
Définir le retard d'exploration pour des bots spécifiques (secondes entre les demandes) :
📄 robots.txt Aperçu
⚠ ️ Important : Placez votre fichier robots.txt dans le répertoire racine de votre domaine (par exemple, https://example.com/robots.txt )
Qu'est-ce qu'un fichier robots.txt?
A robots.txt file est un fichier texte situé dans le répertoire racine de votre site Web qui indique aux robots de recherche quelles pages ou fichiers ils peuvent ou ne peuvent pas demander à votre site.
Cela fait partie du Protocole d'exclusion des robots (REP)Un groupe de normes Web qui réglementent la façon dont les robots parcourent et indexent le Web.
Bien que robots.txt ne soit pas une mesure de sécurité (les utilisateurs avisés peuvent toujours accéder à des pages interdites), il est essentiel pour:
- Prévenir les problèmes de contenu en double
- Gérer le budget de crawl
- Garder les pages internes privées
- Diriger les crawlers vers votre sitemap
Syntaxe de base
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Meilleures pratiques
Faire
- Placer dans le répertoire racine
- Utiliser un boîtier cohérent
- Référence à votre sitemap
- Test avec Google Search Console
Ne le fais pas.
- Bloquer les fichiers CSS ou JS
- Utiliser noindex comme substitut
- Désactiver tout le site
- Bloquer les pages de résultats de recherche
Conseils Pro
- * Wildcards () sont pris en charge
- Utiliser $ pour la fin de l'URL
- Le crawl-delay n'est qu'une suggestion
- Vérifier les journaux pour l'activité du bot