O orodju Generator datotek robots.txt — Podroben vodnik
Generator datotek robots.txt (robots.txt Generator) vizualno ustvarja pravila protokola za izključitev robotov (Robots Exclusion Protocol — `robots.txt`), ki usmerjajo spletne pajke in iskalne robote. Ciljajte na določene robote (Googlebot, Bingbot, Baiduspider) ali univerzalne uporabniške posrednike (`User-agent: *`) z direktivama Allow in Disallow.
Nastavite intervale `Crawl-delay` za zmanjšanje prometnih konic na strežniku, navedite poti do zemljevidov XML Sitemap ter izkoristite vgrajene predloge za priljubljene platforme CMS, kot sta WordPress in Drupal — s takojšnjim izvozom standardiziranih datotek `robots.txt`.
Ključne funkcije in zmogljivosti
- Konfiguracija direktiv po meri za univerzalne (`*`) ali specifične spletne pajke iskalnikov
- Vizualni vnos vzorcev poti za direktivi Allow in Disallow za zaščito zasebnih skrbniških imenikov
- Vgrajeni parametri za časovne razmike Crawl-delay in izrecno navajanje naslovov URL za Sitemap
- Prednastavitve za priljubljene spletne platforme s predogledom v realnem času, takojšnjim kopiranjem in prenosom datoteke
Kako uporabljati
- 1
Izberite ciljni User-agent (ali ohranite privzeto vrednost `User-agent: *`).
- 2
Dodajte pravila Disallow za zasebne imenike (npr. `/admin/`, `/api/`) in pravila Allow za javne poti.
- 3
Navedite URL svojega zemljevida spletnega mesta XML in kliknite Prenesi robots.txt, da shranite datoteko za korensko mapo svoje domene.
Pogosti primeri uporabe
- → Preprečevanje iskalnikom, da bi indeksirali skrbniške konzole in podvojene naslove URL iskalnih poizvedb
- → Določanje uradne lokacije zemljevida spletnega mesta XML, da spletni pajki odkrijejo vse nove spletne strani
- → Popolna zaščita testnih (staging) in predprodukcijskih domen pred organskimi iskalnimi indeksi
Sorodna orodja
Generator meta oznak za SEO in Open Graph
Ustvarjajte oznake SEO, Open Graph (Facebook) in Twitter Cards za optimalno deljenje spletnih strani.
Generator datotek .gitignore
Ustvarite prilagojene datoteke .gitignore za Node.js, Python, Go, Rust, macOS, Windows in priljubljene IDE.
Generator odprtokodnih licenc
Izberite in ustvarite standardne odprtokodne licence (MIT, Apache 2.0, GPL v3, BSD) za svoje projekte.
Generator datotek README.md
Hitro sestavite profesionalne predstavitvene datoteke README.md za projekte na GitHubu s predlogami in značkami.
Generator sporočil Conventional Commits
Sestavljajte standardizirana sporočila o uveljavitvah v Gitu (feat, fix, docs, refactor) po specifikaciji.
Kalkulator semantičnega različičenja (SemVer)
Preverjajte in primerjajte različice SemVer ter preizkušajte razpone združljivosti npm.
Pogosta vprašanja in zasebnost
Ali se datoteka robots.txt lahko uporablja kot varnostni mehanizem za zasebne datoteke?
Ne. Datoteka robots.txt je javno dostopna vsem. Je le prostovoljno navodilo za ugledne spletne robote in ne uveljavlja preverjanja pristnosti ali omejitev dostopa.
Kako preprečim vsem spletnim pajkom dostop do svojega testnega spletnega mesta?
Navedite `User-agent: *`, ki mu sledi `Disallow: /`, s čimer skladnim robotom sporočite, naj ne pregledujejo nobene vsebine na domeni.