Генератор robots.txt датотека

Креирајте исправне robots.txt директиве за веб пауке и претраживаче уз верификацију правила.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

О алату Генератор robots.txt датотека — Детаљан водич

Категорија: DevOps и стандарди 100% локално у прегледачу

Генератор robots.txt датотека (robots.txt Generator) визуелно креира правила протокола за искључивање робота (Robots Exclusion Protocol — `robots.txt`) којим се усмеравају веб пауци и претраживачки роботи. Задајте правила за одређене ботове (Googlebot, Bingbot, Baiduspider) или универзалне корисничке агенте (`User-agent: *`) помоћу Allow и Disallow директива.

Подесите интервале кашњења индексирања (`Crawl-delay`) да бисте ублажили скокове у саобраћају на серверу, наведите путање до XML мапа сајта и искористите уграђене шаблоне за популарне CMS платформе попут WordPress-а и Drupal-а — уз тренутни извоз стандардизованих `robots.txt` датотека.

#robots #seo #txt #website #generator

Кључне функције и могућности

  • Конфигурисање прилагођених директива за универзалне (`*`) или циљане претраживачке ботове
  • Визуелни унос шаблона путања за Allow и Disallow директиве ради заштите приватних административних директоријума
  • Уграђени параметри за временско кашњење пузања (Crawl-delay) и експлицитно дефинисање URL-а мапе сајта (Sitemap)
  • Унапред припремљени шаблони за популарне веб платформе са прегледом уживо, брзим копирањем и преузимањем датотеке

Како се користи

  1. 1

    Изаберите циљни User-agent (или задржите подразумевани `User-agent: *`).

  2. 2

    Додајте Disallow правила за приватне директоријуме (нпр. `/admin/`, `/api/`) и Allow правила за јавне путање.

  3. 3

    Наведите URL своје XML мапе сајта и кликните на „Download robots.txt” да бисте сачували датотеку за коренски директоријум домена.

Уобичајени случајеви употребе

  • → Спречавање претраживача да индексирају административне конзоле и дуплиране URL-ове резултата претраге
  • → Навођење званичне локације XML мапе сајта како би веб пауци лако пронашли све нове странице
  • → Потпуно блокирање индексирања staging и предпродукционих домена у органским резултатима претраге

Сродни алати

Честа питања и приватност

Може ли се датотека robots.txt користити као безбедносни механизам за приватне датотеке?

Не. Датотека robots.txt је јавно доступна свима. Она представља само добровољну смерницу за исправне веб ботове и не спроводи аутентификацију нити ограничења приступа.

Како да блокирам све претраживачке ботове на свом staging веб сајту?

Наведите `User-agent: *` праћено линијом `Disallow: /` да бисте упутили ботове који поштују правила да не прегледају никакав садржај на домену.