مولد ملف robots.txt

إنشاء وضبط قواعد توجيه عناكب محركات البحث في ملف robots.txt مع دعم المسارات والخرائط.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

حول مولد ملف robots.txt — الدليل التفصيلي

الفئة: DevOps والمعايير معالجة محلية 100% في المتصفح

ينشئ مولّد ملف robots.txt (robots.txt Generator) قواعد بروتوكول استبعاد روبوتات الويب (`robots.txt`) بصرياً لتوجيه زواحف الويب وعناكب محركات البحث. ويتيح استهداف روبوتات معينة (مثل Googlebot وBingbot وBaiduspider) أو وكلاء المستخدم العامين (`User-agent: *`) باستخدام توجيهات السماح (Allow) والحظر (Disallow).

يمكنك ضبط فترات تأخير الزحف `Crawl-delay` لتخفيف الضغط على الخادم، وتحديد مسارات خرائط مواقع XML Sitemap، والاستفادة من القوالب المدمجة لأنظمة إدارة المحتوى (CMS) الشهيرة مثل WordPress وDrupal—مع إمكانية تصدير ملفات `robots.txt` القياسية فوراً.

#robots #seo #txt #website #generator

الميزات والقدرات الرئيسية

  • تهيئة توجيهات مخصصة لزواحف محركات البحث العامة (`*`) أو المحددة
  • إدخال مرئي لأنماط مسارات السماح (Allow) والحظر (Disallow) لحماية الأدلة الإدارية الخاصة
  • خيارات مدمجة لضبط توقيت تأخير الزحف Crawl-delay وتحديد روابط خرائط المواقع Sitemap بوضوح
  • قوالب مسبقة لمنصات الويب الشائعة مع معاينة فورية وخيارات نسخ وتنزيل سريعة للملف

طريقة الاستخدام

  1. 1

    اختر وكيل المستخدم (User-agent) المستهدف (أو احتفظ بالقيمة الافتراضية `User-agent: *`).

  2. 2

    أضف قواعد الحظر Disallow للمسارات الخاصة (مثل `/admin/` و`/api/`) وقواعد السماح Allow للمسارات العامة.

  3. 3

    حدد رابط خريطة موقع XML وانقر على تنزيل robots.txt لحفظ الملف في المجلد الجذري لنطاقك.

حالات الاستخدام الشائعة

  • ← منع محركات البحث من فهرسة لوحات التحكم الإدارية وروابط نتائج البحث المكررة
  • ← الإعلان عن الموقع الرسمي لخريطة موقع XML لتتمكن الزواحف من اكتشاف كافة الصفحات المحدثة
  • ← حظر نطاقات الاختبار وما قبل الإنتاج بالكامل لمنع ظهورها في فهارس البحث العضوي

أدوات ذات صلة

الأسئلة الشائعة والخصوصية

هل يمكن استخدام ملف robots.txt كآلية أمنية لحماية الملفات الخاصة؟

لا. ملف robots.txt متاح للعامة ويمكن لأي شخص قراءته. وهو ليس سوى دليل إرشادي طوعي لروبوتات الويب الموثوقة، ولا يفرض أي قيود مصادقة أو حماية للوصول.

كيف يمكنني حظر جميع الزواحف من الوصول إلى موقع الاختبار الخاص بي؟

حدد `User-agent: *` متبوعاً بـ `Disallow: /` لتوجيه الروبوتات الملتزمة بالمعايير إلى عدم الزحف لأي محتوى على النطاق.