เครื่องกําเนิดไฟฟ้า Robots.txt - เครื่องมือออนไลน์

Robots.txt Generator

สร้างไฟล์ robots.txt ที่เป็นมิตรกับ SEO เพื่อควบคุมการเข้าถึงของเครื่องรวบรวมข้อมูล

🌐 ข้อมูลเว็บไซต์

🤖 การควบคุม Crawler

Select which crawlers to configure:

🚫 กฎเส้นทาง

ยังไม่มีการเพิ่มกฎคลิก "เพิ่มกฎ" เพื่อเริ่มต้น

⏱ ️ ความล่าช้าในการรวบรวมข้อมูล (อุปกรณ์เสริม)

ตั้งค่าความล่าช้าในการรวบรวมข้อมูลสําหรับบอทที่เฉพาะเจาะจง (วินาทีระหว่างคําขอ):

Googlebot วินาที
Bingbot วินาที
ยานเด็กซ์ วินาที

📄 robots.txt ตัวอย่าง

⚠ ️ สําคัญ: วางไฟล์ robots.txt ของคุณไว้ในไดเรกทอรีรากของโดเมนของคุณ (เช่นhttps://example.com/robots.txt)

ไฟล์ Robots.txt คืออะไร?

A robots.txt ไฟล์ไฟล์เป็นไฟล์ข้อความที่อยู่ในไดเรกทอรีรากของเว็บไซต์ของคุณที่บอกเครื่องมือค้นหาที่รวบรวมข้อมูลหน้าหรือไฟล์สามารถหรือไม่สามารถร้องขอจากไซต์ของคุณ

มันเป็นส่วนหนึ่งของ โปรโตคอลการยกเว้นหุ่นยนต์ (REP), กลุ่มมาตรฐานเว็บที่ควบคุมวิธีการรวบรวมข้อมูลและดัชนีของหุ่นยนต์บนเว็บ

ในขณะที่ robots.txt ไม่ได้เป็นมาตรการรักษาความปลอดภัย (ผู้ใช้ที่เข้าใจยังสามารถเข้าถึงหน้าเว็บที่ไม่ได้รับอนุญาตได้) แต่ก็จําเป็นสําหรับ:

  • ป้องกันปัญหาเนื้อหาที่ซ้ํากัน
  • การจัดการงบประมาณการรวบรวมข้อมูล
  • การรักษาหน้าเว็บภายในให้เป็นส่วนตัว
  • การกํากับตัวรวบรวมข้อมูลไปยังแผนที่ไซต์ของคุณ

ไวยากรณ์พื้นฐาน

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Robots.txt แนวทางปฏิบัติที่ดีที่สุด

✅

Do

  • วางในไดเรกทอรีราก
  • ใช้ปลอกที่สม่ําเสมอ
  • อ้างอิงแผนผังไซต์ของคุณ
  • ทดสอบด้วย Google Search Console
❌

อย่า

  • บล็อกไฟล์ CSS หรือ JS
  • ใช้ noindex แทน
  • ไม่อนุญาตเว็บไซต์ทั้งหมด
  • บล็อกหน้าผลการค้นหา
💡

เคล็ดลับโปร

  • * สนับสนุนการ์ด ( )
  • ใช้ $ สําหรับจุดสิ้นสุดของ URL
  • การล่าช้าการรวบรวมข้อมูลเป็นข้อเสนอแนะเท่านั้น
  • ตรวจสอบบันทึกสําหรับกิจกรรมบอท