Robots.txt erstellen
Kostenlos · Ohne Anmeldung
🌐 Website Informationen
🤖 Crawler Steuerung
Wählen Sie, welche Crawler konfiguriert werden sollen:
🚫 Pfadsregeln
Noch keine Regeln hinzugefügt. Klicken Sie auf "Regel hinzufügen", um zu starten.
⏱ ️ Crawl-Verzögerung (optional)
Setzen Sie die Crawl-Verzögerung für bestimmte Bots (Sekunden zwischen Anfragen):
Googlebot Sekunden
Bingbot Sekunden
Yandex Sekunden
📄 robots.txt Vorschau
⚠ ️ Wichtig: Legen Sie Ihre robots.txt-Datei im Stammverzeichnis Ihrer Domain (z.B. https://example.com/robots.txt )
Was ist eine Robots.txt Datei?
A Roboter.txt Eine Datei ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinencrawlern mitteilt, welche Seiten oder Dateien sie von Ihrer Website anfordern können oder nicht.
Es ist Teil des Roboter-Ausschlussprotokoll (REP)Eine Gruppe von Web-Standards, die regulieren, wie Roboter das Web crawlen und indexieren.
Obwohl robots.txt keine Sicherheitsmaßnahme ist (erfahrene Benutzer können immer noch auf verbotene Seiten zugreifen), ist es wichtig für:
- Probleme mit doppelten Inhalten verhindern
- Crawlbudget verwalten
- Interne Seiten privat halten
- Crawler auf Ihre Sitemap lenken
Grundsyntaxe
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Beste Praktiken
✅
Tun
- Platz im Stammverzeichnis
- Verwenden Sie consistent casing
- Verweisen Sie Ihre Sitemap
- Testen mit der Google Suchen Console
❌
Nicht!
- Blockieren von CSS- oder JS-Dateien
- Verwenden Sie noindex as a substitute
- Die gesamte Website nicht zulassen
- Suchergebnisseiten blockieren
💡
Pro Tipps
- * Wildcards () werden unterstützt
- Verwenden Sie $ for end of URL
- Crawl-Delay ist nur ein Vorschlag
- Prüfen Sie Protokolle für Bot-Aktivitäten