Generator Robots.txt
Buat file robots.txt ramah SEO untuk mengontrol akses crawler
🌐 Informasi Situs Web
🤖 Kontrol Crawler
Pilih crawler mana yang akan dikonfigurasi:
🚫 Aturan Jalur
⏱ ️ Penundaan Crawl (Opsional)
Tetapkan penundaan crawl untuk bot tertentu (detik antara permintaan):
📄 robots.txt Pratinjau
⚠ ️ Penting: Tempatkan file robots.txt Anda di direktori akar domain Anda (misalnya, https://example.com/robots.txt )
Apa itu Robots.txt File?
A robots.txt (bahasa Inggris) file adalah file teks yang terletak di direktori akar situs web Anda yang memberi tahu crawler mesin pencari halaman atau file mana yang dapat atau tidak dapat mereka minta dari situs Anda.
Ini adalah bagian dari Protokol Pengecualian Robot (REP)Sekelompok standar web yang mengatur bagaimana robot merangkak dan mengindeks web.
Meskipun robots.txt bukan langkah keamanan (pengguna cerdas masih dapat mengakses halaman yang tidak diizinkan), penting untuk:
- Mencegah masalah konten duplikat
- Mengelola anggaran crawl
- Menjaga halaman internal pribadi
- Mengarahkan crawler ke sitemap Anda
Sintaksis Dasar
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Praktik Terbaik
Lakukan
- Tempat di direktori akar
- Gunakan casing yang konsisten
- Referensi sitemap Anda
- Pengujian dengan Google Search Console
Jangan
- Memblokir file CSS atau JS
- Gunakan noindex sebagai pengganti
- Menolak seluruh situs
- Memblokir halaman hasil pencarian
Tips Pro
- * Wildcard () didukung
- Gunakan $ untuk akhir URL
- Crawl-delay hanya saran
- Periksa log untuk aktivitas bot