robots.txt ജനറേറ്റർ

തിരയൽ എഞ്ചിൻ ക്രോളറുകൾക്കായി ശരിയായ വാക്യഘടനയോടെ robots.txt ഫയലുകൾ നിർമ്മിക്കുക.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

robots.txt ജനറേറ്റർ — വിശദമായ ഗൈഡ്

വെബ് ക്രോളറുകളെയും സെർച്ച് എഞ്ചിൻ സ്പൈഡറുകളെയും നയിക്കുന്നതിനായി Robots Exclusion Protocol നിയമങ്ങൾ (`robots.txt`) robots.txt Generator വിഷ്വലായി സൃഷ്ടിക്കുന്നു. Allow, Disallow നിർദ്ദേശങ്ങൾ ഉപയോഗിച്ച് നിർദ്ദിഷ്ട ബോട്ടുകളെയോ (Googlebot, Bingbot, Baiduspider) സാർവത്രിക യൂസർ-ഏജന്റുകളെയോ (`User-agent: *`) ലക്ഷ്യമിടുക.

സെർവർ ട്രാഫിക് വർദ്ധിക്കുന്നത് നിയന്ത്രിക്കാൻ `Crawl-delay` ഇടവേളകൾ കോൺഫിഗർ ചെയ്യുക, XML Sitemap പാത്തുകൾ പ്രഖ്യാപിക്കുക, WordPress, Drupal തുടങ്ങിയ ജനപ്രിയ CMS പ്ലാറ്റ്‌ഫോമുകൾക്കായുള്ള ഇൻബിൽറ്റ് ടെംപ്ലേറ്റുകൾ പ്രയോജനപ്പെടുത്തുക—സ്റ്റാൻഡേർഡൈസ്ഡ് `robots.txt` ഫയലുകൾ തത്സമയം എക്‌സ്‌പോർട്ട് ചെയ്യുക.

#robots #seo #txt #website #generator

പ്രധാന സവിശേഷതകളും കഴിവുകളും

  • സാർവത്രിക (`*`) അല്ലെങ്കിൽ നിർദ്ദിഷ്ട സെർച്ച് എഞ്ചിൻ ക്രോളറുകൾക്കായി കസ്റ്റം ഡയറക്റ്റീവുകൾ കോൺഫിഗർ ചെയ്യുന്നു
  • സ്വകാര്യ അഡ്മിനിസ്ട്രേറ്റീവ് ഡയറക്ടറികൾ സംരക്ഷിക്കുന്നതിനായി Allow, Disallow പാത്ത് പാറ്റേണുകൾ നൽകാനുള്ള വിഷ്വൽ ഇൻപുട്ട്
  • Crawl-delay ടൈമിംഗിനും വ്യക്തമായ Sitemap URL ഡിക്ലറേഷനുകൾക്കുമുള്ള ഇൻബിൽറ്റ് പാരാമീറ്ററുകൾ
  • തത്സമയ പ്രിവ്യൂ, വേഗത്തിലുള്ള കോപ്പി, ഫയൽ ഡൗൺലോഡ് എന്നിവയോടുകൂടിയ ജനപ്രിയ വെബ് പ്ലാറ്റ്‌ഫോമുകൾക്കായുള്ള പ്രീസെറ്റുകൾ

ഉപയോഗിക്കേണ്ട വിധം

  1. 1

    ടാർഗെറ്റ് User-agent തിരഞ്ഞെടുക്കുക (അല്ലെങ്കിൽ ഡിഫോൾട്ട് `User-agent: *` നിലനിർത്തുക).

  2. 2

    സ്വകാര്യ ഡയറക്ടറികൾക്കായി Disallow റൂളുകളും (ഉദാ: `/admin/`, `/api/`), പബ്ലിക് പാത്തുകൾക്കായി Allow റൂളുകളും ചേർക്കുക.

  3. 3

    നിങ്ങളുടെ XML സൈറ്റ്മാപ്പ് URL നൽകി ഡൊമെയ്ൻ റൂട്ടിൽ ഫയൽ സേവ് ചെയ്യാൻ Download robots.txt ക്ലിക്ക് ചെയ്യുക.

സാധാരണ ഉപയോഗങ്ങൾ

  • → അഡ്മിനിസ്ട്രേറ്റീവ് കൺസോളുകളും ഇരട്ട സെർച്ച് ക്വറി URL-കളും സെർച്ച് എഞ്ചിനുകൾ ഇൻഡക്സ് ചെയ്യുന്നത് തടയൽ
  • → ക്രോളറുകൾ പുതിയ വെബ് പേജുകൾ കണ്ടെത്താനായി ഔദ്യോഗിക XML സൈറ്റ്മാപ്പ് ലൊക്കേഷൻ വ്യക്തമാക്കൽ
  • → ഓർഗാനിക് സെർച്ച് ഇൻഡക്സുകളിൽ നിന്ന് സ്റ്റേജിംഗ്, പ്രീ-പ്രൊഡക്ഷൻ ഡൊമെയ്നുകൾ പൂർണ്ണമായും ഒഴിവാക്കൽ

ബന്ധപ്പെട്ട ടൂളുകൾ

പതിവ് ചോദ്യങ്ങളും സ്വകാര്യതയും

സ്വകാര്യ ഫയലുകൾക്കുള്ള ഒരു സുരക്ഷാ സംവിധാനമായി `robots.txt` ഉപയോഗിക്കാൻ കഴിയുമോ?

ഇല്ല. robots.txt ഫയൽ ആർക്കും പരസ്യമായി ലഭ്യമാകുന്ന ഒന്നാണ്. ഇത് മാന്യമായ വെബ് ബോട്ടുകൾക്കായുള്ള ഒരു സ്വമേധയാ ഉള്ള മാർഗ്ഗനിർദ്ദേശം മാത്രമാണ്, കൂടാതെ ഓതന്റിക്കേഷനോ ആക്സസ് നിയന്ത്രണങ്ങളോ നടപ്പിലാക്കുന്നില്ല.

എന്റെ സ്റ്റേജിംഗ് വെബ്‌സൈറ്റിൽ നിന്ന് എല്ലാ ക്രോളറുകളെയും എങ്ങനെ തടയാം?

ഡൊമെയ്നിലെ ഒരു ഉള്ളടക്കവും ക്രോൾ ചെയ്യരുതെന്ന് ബോട്ടുകൾക്ക് നിർദ്ദേശം നൽകാൻ `User-agent: *` നൽകിയ ശേഷം `Disallow: /` എന്ന് വ്യക്തമാക്കുക.