robots.txt ਫਾਈਲ ਜਨਰੇਟਰ

ਖੋਜ ਇੰਜਣ ਕ੍ਰਾਲਰਾਂ ਅਤੇ ਇੰਡੈਕਸਿੰਗ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਨ ਲਈ ਕਸਟਮ robots.txt ਫਾਈਲਾਂ ਬਣਾਓ।

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

robots.txt ਫਾਈਲ ਜਨਰੇਟਰ ਬਾਰੇ — ਵਿਸਤ੍ਰਿਤ ਗਾਈਡ

ਸ਼੍ਰੇਣੀ: DevOps ਅਤੇ ਮਿਆਰ 100% ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਲੋਕਲ

robots.txt Generator ਵੈੱਬ ਕ੍ਰੌਲਰਾਂ ਅਤੇ ਖੋਜ ਇੰਜਨ ਸਪਾਈਡਰਾਂ ਦੀ ਅਗਵਾਈ ਕਰਨ ਲਈ Robots Exclusion Protocol ਨਿਯਮਾਂ (`robots.txt`) ਨੂੰ ਦ੍ਰਿਸ਼ਟੀਗਤ ਰੂਪ ਵਿੱਚ ਬਣਾਉਂਦਾ ਹੈ। Allow ਅਤੇ Disallow ਨਿਰਦੇਸ਼ਾਂ ਦੇ ਨਾਲ ਖਾਸ ਬੋਟਾਂ (Googlebot, Bingbot, Baiduspider) ਜਾਂ ਯੂਨੀਵਰਸਲ ਯੂਜ਼ਰ-ਏਜੰਟਾਂ (`User-agent: *`) ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਓ।

ਸਰਵਰ ਟ੍ਰੈਫਿਕ ਸਪਾਈਕਸ ਨੂੰ ਘੱਟ ਕਰਨ ਲਈ `Crawl-delay` ਅੰਤਰਾਲਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰੋ, XML Sitemap ਮਾਰਗਾਂ ਦਾ ਐਲਾਨ ਕਰੋ, ਅਤੇ WordPress ਅਤੇ Drupal ਵਰਗੇ ਪ੍ਰਸਿੱਧ CMS ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਬਿਲਟ-ਇਨ ਟੈਂਪਲੇਟਾਂ ਦਾ ਲਾਭ ਉਠਾਓ—ਮਿਆਰੀ `robots.txt` ਫਾਈਲਾਂ ਤੁਰੰਤ ਨਿਰਯਾਤ ਕਰੋ।

#robots #seo #txt #website #generator

ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਸਮਰੱਥਾਵਾਂ

  • ਯੂਨੀਵਰਸਲ (`*`) ਜਾਂ ਨਿਸ਼ਾਨਾਬੱਧ ਖੋਜ ਇੰਜਨ ਕ੍ਰੌਲਰਾਂ ਲਈ ਕਸਟਮ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਦਾ ਹੈ
  • ਨਿੱਜੀ ਪ੍ਰਬੰਧਕੀ (administrative) ਡਾਇਰੈਕਟਰੀਆਂ ਦੀ ਸੁਰੱਖਿਆ ਲਈ Allow ਅਤੇ Disallow ਮਾਰਗ ਪੈਟਰਨਾਂ ਲਈ ਵਿਜ਼ੂਅਲ ਇਨਪੁੱਟ
  • Crawl-delay ਸਮੇਂ ਅਤੇ ਸਪੱਸ਼ਟ Sitemap URL ਘੋਸ਼ਣਾਵਾਂ ਲਈ ਬਿਲਟ-ਇਨ ਮਾਪਦੰਡ
  • ਰੀਅਲ-ਟਾਈਮ ਪੂਰਵਦਰਸ਼ਨ, ਤੁਰੰਤ ਕਾਪੀ, ਅਤੇ ਫਾਈਲ ਡਾਊਨਲੋਡ ਦੇ ਨਾਲ ਪ੍ਰਸਿੱਧ ਵੈੱਬ ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਪ੍ਰੀਸੈੱਟ

ਵਰਤੋਂ ਕਿਵੇਂ ਕਰੀਏ

  1. 1

    ਨਿਸ਼ਾਨਾ User-agent ਚੁਣੋ (ਜਾਂ ਡਿਫੌਲਟ `User-agent: *` ਰੱਖੋ)।

  2. 2

    ਨਿੱਜੀ ਡਾਇਰੈਕਟਰੀਆਂ (ਉਦਾਹਰਨ ਲਈ `/admin/`, `/api/`) ਲਈ Disallow ਨਿਯਮ ਅਤੇ ਜਨਤਕ ਮਾਰਗਾਂ ਲਈ Allow ਨਿਯਮ ਸ਼ਾਮਲ ਕਰੋ।

  3. 3

    ਆਪਣਾ XML ਸਾਈਟਮੈਪ URL ਨਿਰਧਾਰਿਤ ਕਰੋ ਅਤੇ ਆਪਣੇ ਡੋਮੇਨ ਰੂਟ ਲਈ ਫਾਈਲ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ Download robots.txt 'ਤੇ ਕਲਿੱਕ ਕਰੋ।

ਆਮ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ

  • → ਖੋਜ ਇੰਜਣਾਂ ਨੂੰ ਪ੍ਰਬੰਧਕੀ ਕੰਸੋਲ ਅਤੇ ਡੁਪਲੀਕੇਟ ਖੋਜ ਪੁੱਛਗਿੱਛ URLs ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ ਤੋਂ ਰੋਕਣਾ
  • → ਅਧਿਕਾਰਤ XML ਸਾਈਟਮੈਪ ਸਥਾਨ ਦਾ ਐਲਾਨ ਕਰਨਾ ਤਾਂ ਜੋ ਕ੍ਰੌਲਰ ਸਾਰੇ ਨਵੇਂ ਵੈੱਬ ਪੰਨਿਆਂ ਦੀ ਖੋਜ ਕਰ ਸਕਣ
  • → ਸਟੇਜਿੰਗ ਅਤੇ ਪ੍ਰੀ-ਪ੍ਰੋਡਕਸ਼ਨ ਡੋਮੇਨਾਂ ਨੂੰ ਆਰਗੈਨਿਕ ਖੋਜ ਸੂਚਕਾਂਕ ਤੋਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਬੰਦ (ਲਾਕ) ਕਰਨਾ

ਸਬੰਧਤ ਟੂਲ

SEO ਅਤੇ ਸੋਸ਼ਲ ਮੈਟਾ ਟੈਗ ਜਨਰੇਟਰ

ਖੋਜ ਇੰਜਣਾਂ ਅਤੇ ਸੋਸ਼ਲ ਨੈੱਟਵਰਕਾਂ ਲਈ Open Graph, Twitter Cards ਅਤੇ ਜ਼ਰੂਰੀ SEO ਮੈਟਾ ਟੈਗ ਤਿਆਰ ਕਰੋ।

.gitignore ਫਾਈਲ ਜਨਰੇਟਰ

Node.js, Python, Java, Go, Rust, macOS, Windows ਅਤੇ ਦਰਜਨਾਂ ਵਾਤਾਵਰਣਾਂ ਲਈ .gitignore ਫਾਈਲਾਂ ਤਿਆਰ ਕਰੋ।

ਓਪਨ ਸੋਰਸ ਲਾਇਸੈਂਸ ਜਨਰੇਟਰ

ਆਪਣੇ ਨਾਮ ਅਤੇ ਸਾਲ ਨਾਲ ਮਿਆਰੀ ਓਪਨ ਸੋਰਸ ਲਾਇਸੈਂਸ (MIT, Apache 2.0, GPL v3, BSD) ਤਿਆਰ ਕਰੋ।

README.md ਫਾਈਲ ਜਨਰੇਟਰ

ਬੈਜ, ਸਥਾਪਨਾ ਨਿਰਦੇਸ਼ਾਂ ਅਤੇ ਸੈਕਸ਼ਨਾਂ ਦੇ ਨਾਲ GitHub ਪ੍ਰੋਜੈਕਟਾਂ ਲਈ ਪੇਸ਼ੇਵਰ README ਦਸਤਾਵੇਜ਼ ਬਣਾਓ।

Conventional Commits ਸਹਾਇਕ

Conventional Commits ਨਿਯਮਾਂ (feat, fix, chore, docs, ਆਦਿ) ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹੋਏ ਮਿਆਰੀ ਗਿਟ ਕਮਿਟ ਸੰਦੇਸ਼ ਬਣਾਓ।

SemVer ਕੈਲਕੁਲੇਟਰ ਅਤੇ ਤੁਲਨਾਕਾਰ

ਸਿਮੈਂਟਿਕ ਵਰਜ਼ਨ (SemVer) ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ, ਵਰਜਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ ਅਤੇ ਅਗਲੇ ਵਰਜਨ ਵਾਧੇ (major, minor, patch) ਦੀ ਗਣਨਾ ਕਰੋ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ ਅਤੇ ਪਰਦੇਦਾਰੀ

ਕੀ robots.txt ਨੂੰ ਨਿੱਜੀ ਫਾਈਲਾਂ ਲਈ ਇੱਕ ਸੁਰੱਖਿਆ ਵਿਧੀ ਵਜੋਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ?

ਨਹੀਂ। robots.txt ਫਾਈਲ ਕਿਸੇ ਲਈ ਵੀ ਜਨਤਕ ਤੌਰ 'ਤੇ ਪਹੁੰਚਯੋਗ ਹੈ। ਇਹ ਸਤਿਕਾਰਤ ਵੈੱਬ ਬੋਟਾਂ ਲਈ ਸਿਰਫ਼ ਇੱਕ ਸਵੈ-ਇੱਛੁਕ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਹੈ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਜਾਂ ਪਹੁੰਚ ਪਾਬੰਦੀਆਂ ਲਾਗੂ ਨਹੀਂ ਕਰਦਾ ਹੈ।

ਮੈਂ ਆਪਣੀ ਸਟੇਜਿੰਗ ਵੈੱਬਸਾਈਟ ਤੋਂ ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰਾਂ?

ਅਨੁਕੂਲ ਬੋਟਾਂ ਨੂੰ ਡੋਮੇਨ 'ਤੇ ਕਿਸੇ ਵੀ ਸਮੱਗਰੀ ਨੂੰ ਕ੍ਰੌਲ ਨਾ ਕਰਨ ਦਾ ਨਿਰਦੇਸ਼ ਦੇਣ ਲਈ `User-agent: *` ਤੋਂ ਬਾਅਦ `Disallow: /` ਨਿਰਧਾਰਿਤ ਕਰੋ।