Robots.txt مولد
إنشاء ملفات robots.txt صديقة للسيو للتحكم في الوصول إلى الزحف
🌐 معلومات الموقع
🤖 التحكم الزاحف
حدد المزاحف التي تريد تكوينها:
🚫 قواعد المسار
لم يتم إضافة أي قواعد بعد. انقر فوق "إضافة قاعدة" للبدء.
⏱ ️ تأخير الزحف (اختياري)
حدد تأخير الزحف للروبوتات المحددة (ثوان بين الطلبات):
جوجلبوت ثانية
بينغبوت ثانية
ياندكس ثانية
📄 robots.txt المعاينة
⚠ ️ مهمة: ضع ملف robots.txt في الدليل الجذري لنطاقك (على سبيل المثال، https://example.com/robots.txt )
ما هو ملف Robots.txt؟
A الروبوتات.txt الملف هو ملف نصي موجود في الدليل الجذري لموقعك الإلكتروني يخبر الزاحفين في محركات البحث الصفحات أو الملفات التي يمكنهم أو لا يمكنهم طلبها من موقعك الإلكتروني.
إنه جزء من بروتوكول استبعاد الروبوتات (REP)مجموعة من معايير الويب التي تنظم كيف تزحف الروبوتات وتفهرس الويب.
في حين أن robots.txt ليس إجراء أمني (لا يزال المستخدمون ذوو الذكاء يمكنهم الوصول إلى الصفحات غير المسموح بها) ، فهو ضروري لـ:
- منع مشاكل المحتوى المكرر
- إدارة ميزانية الزحف
- الحفاظ على خصوصية الصفحات الداخلية
- توجيه الزاحف إلى خريطة الموقع الخاصة بك
النحو الأساسي
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt أفضل الممارسات
✅
فعل
- وضع في دليل الجذر
- استخدم غلاف متسق
- ارجع إلى خريطة الموقع الخاصة بك
- اختبار باستخدام Google Search Console
❌
لا
- حظر ملفات CSS أو JS
- استخدم noindex كبديل
- منع الموقع بأكمله
- حظر صفحات نتائج البحث
💡
نصائح المحترفين
- * Wildcards () مدعومة
- استخدم $ لنهاية عنوان URL
- تأخير الزحف هو اقتراح فقط
- تحقق من سجلات نشاط الروبوت