Robots.txt Generator
Erstellen Sie SEO-freundliche robots.txt-Dateien zur Kontrolle des Crawler-Zugriffs
🌐 Website Informationen
🤖 Crawler Steuerung
Wählen Sie, welche Crawler konfiguriert werden sollen:
🚫 Pfadsregeln
⏱ ️ Crawl-Verzögerung (optional)
Setzen Sie die Crawl-Verzögerung für bestimmte Bots (Sekunden zwischen Anfragen):
📄 robots.txt Vorschau
⚠ ️ Wichtig: Legen Sie Ihre robots.txt-Datei im Stammverzeichnis Ihrer Domain (z.B. https://example.com/robots.txt )
Was ist eine Robots.txt Datei?
A Roboter.txt Eine Datei ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinencrawlern mitteilt, welche Seiten oder Dateien sie von Ihrer Website anfordern können oder nicht.
Es ist Teil des Roboter-Ausschlussprotokoll (REP)Eine Gruppe von Web-Standards, die regulieren, wie Roboter das Web crawlen und indexieren.
Obwohl robots.txt keine Sicherheitsmaßnahme ist (erfahrene Benutzer können immer noch auf verbotene Seiten zugreifen), ist es wichtig für:
- Probleme mit doppelten Inhalten verhindern
- Crawlbudget verwalten
- Interne Seiten privat halten
- Crawler auf Ihre Sitemap lenken
Grundsyntaxe
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Beste Praktiken
Tun
- Platz im Stammverzeichnis
- Verwenden Sie consistent casing
- Verweisen Sie Ihre Sitemap
- Testen mit der Google Suchen Console
Nicht!
- Blockieren von CSS- oder JS-Dateien
- Verwenden Sie noindex as a substitute
- Die gesamte Website nicht zulassen
- Suchergebnisseiten blockieren
Pro Tipps
- * Wildcards () werden unterstützt
- Verwenden Sie $ for end of URL
- Crawl-Delay ist nur ein Vorschlag
- Prüfen Sie Protokolle für Bot-Aktivitäten