מחולל robots.txt

יצירת קובץ robots.txt מותאם אישית להנחיית סורקי מנועי חיפוש עם קישור ל-Sitemap.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

אודות מחולל robots.txt — מדריך מפורט

קטגוריה: DevOps ותקנים 100% מקומי בדפדפן

מחולל robots.txt יוצר באופן חזותי כללים בהתאם לפרוטוקול אי-הכללת הרובוטים (Robots Exclusion Protocol בקובץ `robots.txt`) כדי להנחות סורקי רשת ועכבישי מנועי חיפוש. כוון לבוטים ספציפיים (Googlebot, Bingbot, Baiduspider) או לכלל הסוכנים (`User-agent: *`) באמצעות הוראות Allow ו-Disallow.

הגדר מרווחי `Crawl-delay` להקלת עומסי תעבורה פתאומיים על השרת, הצהר על נתיבי XML Sitemap, ונצל תבניות מובנות עבור פלטפורמות CMS פופולריות כגון WordPress ו-Drupal—תוך ייצוא מיידי של קובצי `robots.txt` תקניים.

#robots #seo #txt #website #generator

תכונות ויכולות עיקריות

  • הגדרת הוראות מותאמות אישית עבור סורקים כלליים (`*`) או סורקי מנועי חיפוש ממוקדים
  • הזנה חזותית של תבניות נתיבי Allow ו-Disallow להגנה על תיקיות ניהול פרטיות
  • פרמטרים מובנים לתזמון Crawl-delay והצהרה מפורשת על כתובת Sitemap URL
  • הגדרות מוכנות מראש לפלטפורמות אינטרנט מובילות עם תצוגה מקדימה חיה, העתקה מהירה והורדת קובץ

כיצד להשתמש

  1. 1

    בחר את ה-User-agent המיועד (או השאר את ברירת המחדל `User-agent: *`).

  2. 2

    הוסף כללי Disallow עבור תיקיות פרטיות (למשל `/admin/`, `/api/`) וכללי Allow עבור נתיבים ציבוריים.

  3. 3

    ציין את כתובת ה-URL של ה-XML sitemap שלך ולחץ על Download robots.txt כדי לשמור את הקובץ עבור שורש הדומיין.

שימושים נפוצים

  • ← מניעת יצירת אינדקס במנועי חיפוש של ממשקי ניהול וכתובות שאילתת חיפוש כפולות
  • ← הצהרה על המיקום הרשמי של ה-XML sitemap כדי שסורקים יגלו את כל הדפים החדשים באתר
  • ← חסימה מוחלטת של דומיינים בסביבות staging וטרום-ייצור מאינדקס החיפוש האורגני

כלים קשורים

שאלות נפוצות ופרטיות

האם ניתן להשתמש ב-robots.txt כמנגנון אבטחה לקבצים פרטיים?

לא. קובץ ה-robots.txt נגיש לציבור הרחב. הוא מהווה אך ורק הנחיה וולונטרית עבור בוטים לגיטימיים ואינו אוכף אימות או הגבלות גישה.

כיצד אוכל לחסום את כל הסורקים מאתר ה-staging שלי?

ציין `User-agent: *` ולאחריו `Disallow: /` כדי להנחות בוטים תואמים שלא לסרוק שום תוכן בדומיין.