אודות מחולל robots.txt — מדריך מפורט
מחולל robots.txt יוצר באופן חזותי כללים בהתאם לפרוטוקול אי-הכללת הרובוטים (Robots Exclusion Protocol בקובץ `robots.txt`) כדי להנחות סורקי רשת ועכבישי מנועי חיפוש. כוון לבוטים ספציפיים (Googlebot, Bingbot, Baiduspider) או לכלל הסוכנים (`User-agent: *`) באמצעות הוראות Allow ו-Disallow.
הגדר מרווחי `Crawl-delay` להקלת עומסי תעבורה פתאומיים על השרת, הצהר על נתיבי XML Sitemap, ונצל תבניות מובנות עבור פלטפורמות CMS פופולריות כגון WordPress ו-Drupal—תוך ייצוא מיידי של קובצי `robots.txt` תקניים.
תכונות ויכולות עיקריות
- הגדרת הוראות מותאמות אישית עבור סורקים כלליים (`*`) או סורקי מנועי חיפוש ממוקדים
- הזנה חזותית של תבניות נתיבי Allow ו-Disallow להגנה על תיקיות ניהול פרטיות
- פרמטרים מובנים לתזמון Crawl-delay והצהרה מפורשת על כתובת Sitemap URL
- הגדרות מוכנות מראש לפלטפורמות אינטרנט מובילות עם תצוגה מקדימה חיה, העתקה מהירה והורדת קובץ
כיצד להשתמש
- 1
בחר את ה-User-agent המיועד (או השאר את ברירת המחדל `User-agent: *`).
- 2
הוסף כללי Disallow עבור תיקיות פרטיות (למשל `/admin/`, `/api/`) וכללי Allow עבור נתיבים ציבוריים.
- 3
ציין את כתובת ה-URL של ה-XML sitemap שלך ולחץ על Download robots.txt כדי לשמור את הקובץ עבור שורש הדומיין.
שימושים נפוצים
- ← מניעת יצירת אינדקס במנועי חיפוש של ממשקי ניהול וכתובות שאילתת חיפוש כפולות
- ← הצהרה על המיקום הרשמי של ה-XML sitemap כדי שסורקים יגלו את כל הדפים החדשים באתר
- ← חסימה מוחלטת של דומיינים בסביבות staging וטרום-ייצור מאינדקס החיפוש האורגני
כלים קשורים
מחולל תגיות Meta (SEO)
יצירת תגיות מטא מלאות עבור Open Graph, Twitter Cards ותגיות SEO בסיסיות.
מחולל .gitignore
יצירת קובצי .gitignore מותאמים אישית לשפות פיתוח, סביבות עבודה ומערכות הפעלה.
מחולל רישיונות קוד פתוח
יצירת קובצי רישיון פופולריים (MIT, Apache 2.0, GPL v3, BSD) עם פרטי הפרויקט.
מחולל README.md
יצירת תבנית README מקיפה ומעוצבת לפרויקטים בקוד פתוח עם סמלילים ותיאורים.
מחולל הודעות Conventional Commits
יצירת הודעות Git Commit תקניות לפי מפרט Conventional Commits (feat, fix, chore וכו').
מחשבון גרסאות SemVer
חישוב ובדיקת גרסאות סמנטיות (Semantic Versioning), טווחי תאימות ושדרוגים.
שאלות נפוצות ופרטיות
האם ניתן להשתמש ב-robots.txt כמנגנון אבטחה לקבצים פרטיים?
לא. קובץ ה-robots.txt נגיש לציבור הרחב. הוא מהווה אך ורק הנחיה וולונטרית עבור בוטים לגיטימיים ואינו אוכף אימות או הגבלות גישה.
כיצד אוכל לחסום את כל הסורקים מאתר ה-staging שלי?
ציין `User-agent: *` ולאחריו `Disallow: /` כדי להנחות בוטים תואמים שלא לסרוק שום תוכן בדומיין.