Generator robotów.txt
Tworzenie przyjaznych dla SEO plików robots.txt do kontroli dostępu do crawlera
🌐 Informacje o stronie internetowej
🤖 Sterowanie gębieczkami
Wybierz, które crawlery skonfigurować:
🚫 Zasady ścieżki
⏱ ️ Opóźnienie Crawl (opcjonalne)
Ustaw opóźnienie przeszukiwania dla określonych botów (sekundy między żądaniami):
📄 robots.txt Podgląd
⚠ ️ Ważne: Umieść plik robots.txt w katalogu głównym domeny (np. https://example.com/robots.txt )
Czym jest plik Robots.txt?
A roboty.txt plik jest plikiem tekstowym znajdującym się w katalogu głównym Twojej witryny internetowej, który mówi wyszukiwarkom, które strony lub pliki mogą lub nie mogą żądać z Twojej witryny.
Jest częścią Protokół wykluczenia robotów (REP)Grupa standardów internetowych, które regulują, jak roboty przeszukują i indeksują sieć.
Chociaż robots.txt nie jest środkiem bezpieczeństwa (inteligentni użytkownicy nadal mogą uzyskać dostęp do niedozwolonych stron), jest niezbędny do:
- Zapobieganie problemom z podwójnymi treściami
- Zarządzanie budżetem crawlera
- Utrzymanie prywatności stron wewnętrznych
- Kierowanie crawlerów do mapy witryny
Podstawowa sintaksja
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Najlepsze praktyki
Zrób
- Miejsce w katalogu głównym
- Użyj spójnej obudowy
- Odniesienie do mapy witryny
- Testowanie z Google Search Console
Nie!
- Blokowanie plików CSS lub JS
- Użyj noindex jako zastępcy
- Zablokuj całą stronę
- Blokowanie stron wyników wyszukiwania
Pro Porady
- * Wspierane są wildcards ()
- Użyj $ do końca adresu URL
- Crawl-delay to tylko sugestia
- Sprawdź dzienniki aktywności botów