Robots.txt-generator
Skapa SEO-vänliga robots.txt-filer för att styra crawler-åtkomsten
Information på webbplatsen
Krålarstyrning
Välj vilka kryddare som ska ställas in:
Regler för tågläge
Inga regler har lagts till ännu. Klicka på "Lägg till regel" för att starta.
⏱ ️ Crawl fördröjning (valfritt)
Ange crawlfördröjning för specifika bots (sekunder mellan förfrågningar):
Googlebot
Sekundär
Bingbot
Andraårsnivå
Yandex
Sekundärt
Robots.txt Förhandsgranskning
Viktigt: Placera din robots.txt-fil i rotkatalogen för din domän (t.ex. https://example.com/robots.txt )
Vad är en Robots.txt-fil?
A Robotar.txt En fil är en textfil som finns i din webbplatss rotkatalog som berättar för sökmotors sökare vilka sidor eller filer de kan eller inte kan begära från din webbplats.
Det är en del av Protokoll för uteslutning av robotar (REP), En grupp av webbstandarder som reglerar hur robotar kryper och indexerar webben.
Även om robots.txt inte är en säkerhetsåtgärd (kunniga användare kan fortfarande komma åt otillåtna sidor), är det viktigt för:
- Förhindra dubblerade innehållsfrågor.
- Hanterar budget
- Hålla interna sidor privata
- Rikta crawlers till din webbkartan
Grundläggande syntax
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Bästa praxis
✅
Ordförande
- Placera och rotkatalogg
- Använd enhetlig höljning
- Referens din webbplatskarta
- Testa med Google-sökkonsolen
❌
Gör inte
- Blockera CSS- eller JS- filer
- Använd noindex som ersättning
- Förhindra hela webbplatsen
- Blockera sökresultat sidor
💡
Proffstips
- * Wildcards () stöds
- Använd $ för slutet av webbadress
- Crawl-fördröjning är bara ett förslag.
- Kontrollera loggar för bot- aktivitet