O alatu robots.txt Generator — Detaljni vodič
Generator robots.txt datoteka (robots.txt Generator) vizualno stvara pravila Robots Exclusion protokola (`robots.txt`) za usmjeravanje web indeksatora (crawlers) i pauka tražilica. Ciljajte specifične botove (Googlebot, Bingbot, Baiduspider) ili univerzalne korisničke agente (`User-agent: *`) pomoću direktiva Allow i Disallow.
Konfigurirajte intervale `Crawl-delay` radi smanjenja vršnih opterećenja poslužitelja, deklarirajte putanje XML sitemap datoteka i iskoristite ugrađene predloške za popularne CMS platforme poput WordPressa i Drupala — uz trenutačni izvoz standardiziranih `robots.txt` datoteka.
Ključne značajke i mogućnosti
- Konfigurira prilagođene direktive za univerzalne (`*`) ili ciljane indeksatore tražilica
- Vizualni unos uzoraka putanja Allow i Disallow radi zaštite privatnih administrativnih direktorija
- Ugrađeni parametri za Crawl-delay vremenske razmake i eksplicitne deklaracije Sitemap URL-ova
- Predlošci za popularne web platforme s pretpregledom u stvarnom vremenu, brzim kopiranjem i preuzimanjem datoteke
Kako koristiti
- 1
Odaberite ciljni User-agent (ili zadržite zadani `User-agent: *`).
- 2
Dodajte pravila Disallow za privatne direktorije (npr. `/admin/`, `/api/`) i pravila Allow za javne putanje.
- 3
Navedite URL svoje XML sitemap datoteke i kliknite Preuzmi robots.txt kako biste spremili datoteku za korijenski direktorij svoje domene.
Uobičajeni slučajevi upotrebe
- → Sprječavanje tražilica u indeksiranju administratorskih konzola i dupliciranih URL-ova internog pretraživanja
- → Deklariranje službene lokacije XML sitemap datoteke kako bi indeksatori otkrili sve nove web stranice
- → Potpuna blokada testnih i predprodukcijskih domena od indeksiranja u organskim rezultatima pretraživanja
Povezani alati
Generator Meta Oznaka
Stvorite optimizirane HTML meta oznake, Open Graph i Twitter Card podatke za SEO.
.gitignore Generator
Brzo preuzmite standardne .gitignore predloške za Node.js, Python, Java, Go i druge jezike.
Generator Softverskih Licenci
Odaberite i generirajte tekst otvorenih licenci (MIT, Apache 2.0, GPL v3, BSD).
README.md Generator
Stvorite profesionalne README.md datoteke s opisom, uputama za instalaciju i značkama.
Conventional Commits Pomoćnik
Sastavite standardne Git poruke u skladu s specifikacijom Conventional Commits.
SemVer Kalkulator Verzija
Izračunajte sljedeće semantičke verzije (Major, Minor, Patch) i provjerite valjanost raspona.
Česta pitanja i privatnost
Može li se robots.txt koristiti kao sigurnosni mehanizam za privatne datoteke?
Ne. Datoteka robots.txt javno je dostupna svima. Ona je samo dobrovoljna smjernica za dobronamjerne web botove i ne provodi autentifikaciju niti nameće ograničenja pristupa.
Kako mogu blokirati sve indeksatore sa svoje testne (staging) web stranice?
Navedite `User-agent: *` nakon čega slijedi `Disallow: /` kako biste uputili usklađene botove da ne indeksiraju nikakav sadržaj na domeni.