О алату Генератор robots.txt датотека — Детаљан водич
Генератор robots.txt датотека (robots.txt Generator) визуелно креира правила протокола за искључивање робота (Robots Exclusion Protocol — `robots.txt`) којим се усмеравају веб пауци и претраживачки роботи. Задајте правила за одређене ботове (Googlebot, Bingbot, Baiduspider) или универзалне корисничке агенте (`User-agent: *`) помоћу Allow и Disallow директива.
Подесите интервале кашњења индексирања (`Crawl-delay`) да бисте ублажили скокове у саобраћају на серверу, наведите путање до XML мапа сајта и искористите уграђене шаблоне за популарне CMS платформе попут WordPress-а и Drupal-а — уз тренутни извоз стандардизованих `robots.txt` датотека.
Кључне функције и могућности
- Конфигурисање прилагођених директива за универзалне (`*`) или циљане претраживачке ботове
- Визуелни унос шаблона путања за Allow и Disallow директиве ради заштите приватних административних директоријума
- Уграђени параметри за временско кашњење пузања (Crawl-delay) и експлицитно дефинисање URL-а мапе сајта (Sitemap)
- Унапред припремљени шаблони за популарне веб платформе са прегледом уживо, брзим копирањем и преузимањем датотеке
Како се користи
- 1
Изаберите циљни User-agent (или задржите подразумевани `User-agent: *`).
- 2
Додајте Disallow правила за приватне директоријуме (нпр. `/admin/`, `/api/`) и Allow правила за јавне путање.
- 3
Наведите URL своје XML мапе сајта и кликните на „Download robots.txt” да бисте сачували датотеку за коренски директоријум домена.
Уобичајени случајеви употребе
- → Спречавање претраживача да индексирају административне конзоле и дуплиране URL-ове резултата претраге
- → Навођење званичне локације XML мапе сајта како би веб пауци лако пронашли све нове странице
- → Потпуно блокирање индексирања staging и предпродукционих домена у органским резултатима претраге
Сродни алати
Генератор HTML Meta ознака
Креирајте SEO мета ознаке, Open Graph (OG) за друштвене мреже и Twitter Cards са прегледом уживо.
Генератор .gitignore датотека
Генеришите прилагођене .gitignore конфигурације за Node.js, Python, Java, Go, Rust, macOS и IDE.
Генератор софтверских лиценци
Генеришите пуне текстове популарних отворених лиценци (MIT, Apache 2.0, GPL, BSD, MPL).
Генератор README датотека
Направите професионални README.md са значкама, упутствима за инсталацију и лиценцом.
Генератор Conventional Commits
Креирајте стандардизоване Git комит поруке (feat, fix, chore, docs) према спецификацији.
SemVer калкулатор верзија
Парсирајте, упоредите и верификујте семантичке верзије (SemVer) и компатибилност са опсезима npm/Cargo.
Честа питања и приватност
Може ли се датотека robots.txt користити као безбедносни механизам за приватне датотеке?
Не. Датотека robots.txt је јавно доступна свима. Она представља само добровољну смерницу за исправне веб ботове и не спроводи аутентификацију нити ограничења приступа.
Како да блокирам све претраживачке ботове на свом staging веб сајту?
Наведите `User-agent: *` праћено линијом `Disallow: /` да бисте упутили ботове који поштују правила да не прегледају никакав садржај на домену.