Robots.txt Generator
Maak SEO-vriendelijke robots.txt-bestanden om de toegang tot crawlers te beheren
🌐 Website informatie
🤖 Crawler Controle
Selecteer welke crawlers u wilt configureren:
🚫 Padregels
⏱ ️ Crawlvertraging (facultatief)
Stel crawlvertraging in voor specifieke bots (seconden tussen aanvragen):
📄 robots.txt Voorbeeld
⚠ ️ Belangrijk: Plaats uw robots.txt-bestand in de root-map van uw domein (bijv. https://example.com/robots.txt )
Wat is een Robots.txt bestand?
A robots.txt Een bestand is een tekstbestand dat zich in de rootdirectory van uw website bevindt en dat zoekmachines vertelt welke pagina's of bestanden ze van uw site kunnen of niet kunnen aanvragen.
Het maakt deel uit van de Protocol voor uitsluiting van robots (REP)Een groep webstandaarden die regelen hoe robots het web crawlen en indexeren.
Hoewel robots.txt geen beveiligingsmaatregel is (verstandige gebruikers kunnen nog steeds toegang krijgen tot verboden pagina's), is het essentieel voor:
- Problemen met dubbele inhoud voorkomen
- Crawlbudget beheren
- Interne pagina's privé houden
- Crawlers naar uw sitemap sturen
Basissyntax
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Beste praktijken
Doen
- Plaats in de rootmap
- Gebruik consistente behuizing
- Verwijzing naar uw sitemap
- Test met Google Search Console
Niet doen.
- Blokkeer CSS- of JS-bestanden
- Gebruik noindex als vervanger
- Gehele site uitschakelen
- Pagina's met zoekresultaten blokkeren
Pro Tips
- * Wildcards () worden ondersteund
- Gebruik $ voor het einde van de URL
- Crawl-delay is slechts een suggestie
- Controleer logs voor botactiviteit