Robots.txt Generator
Crawler erişimini kontrol etmek için SEO dostu robots.txt dosyaları oluşturun
🌐 Web Sitesi Bilgileri
🤖 Crawler Kontrolü
Hangi tarayıcıları yapılandırmak için seçin:
🚫 Yol Kuralları
⏱ ️ Crawl Delay (İsteğe bağlı)
Belirli botlar için tarama gecikmesini ayarlayın (istekler arasındaki saniye):
📄 robots.txt Önizleme
⚠ ️ Önemli olan: Robots.txt dosyanızı alanınızın kök dizinine yerleştirin (örneğin, https://example.com/robots.txt)
Bir Robots.txt Dosyası Nedir?
A robots.txt Web sitenizin kök dizininde bulunan bir metin dosyasıdır ve arama motoru tarayıcılarına sitenizden hangi sayfaları veya dosyaları talep edebileceklerini veya istemeyeceklerini söyler.
Bu, bir parçası Robotlar Dışlama Protokolü (REP)Robotların web'i nasıl taramalarını ve indekslemelerini düzenleyen bir grup web standartlarıdır.
robots.txt bir güvenlik önlemi olmasa da (savvy kullanıcılar izin verilmeyen sayfalara erişebilir), aşağıdakiler için gereklidir:
- Duplicate Content Sorunları Önlemek
- Crawl bütçesi yönetimi
- İç sayfaları özel tutmak
- Tarayıcıları sitemapınıza yönlendirmek
Basic Syntax
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt En İyi Uygulamalar
Do Do
- Yerin root dizinine
- Tutarlı casing kullanın
- Sitemap ' ı referans edin
- Google Search Console ile deneme
- Hayır, hayır
- CSS veya JS dosyalarını engelle
- Noindex kullanmak yerine
- Tüm siteyi kaldırın
- Arama sonuçları sayfalarını engelle
Pro Tipler
- * Wildcards () destekliyor
- URL ' nin sonu için $
- Crawl-delay sadece bir öneridir
- Bot etkinliği için günlükleri kontrol edin