Par Robots.txt failu ģenerators — Detalizēta rokasgrāmata
Robots.txt ģenerators vizuāli izveido robotu izslēgšanas protokola kārtulas (`robots.txt`), lai vadītu tīmekļa pārmeklētājus un meklētājprogrammu robotus. Norādiet konkrētus robotus (Googlebot, Bingbot, Baiduspider) vai universālus lietotāja aģentus (`User-agent: *`) ar Allow un Disallow direktīvām.
Konfigurējiet `Crawl-delay` intervālus servera trafika noslodzes mazināšanai, deklarējiet XML Sitemap ceļus un izmantojiet iebūvētās veidnes populārām CMS platformām, piemēram, WordPress un Drupal, acumirklī eksportējot standartizētus `robots.txt` failus.
Galvenās funkcijas un iespējas
- Konfigurē pielāgotas direktīvas universāliem (`*`) vai mērķētiem meklētājprogrammu pārmeklētājiem
- Vizuāla ievade Allow un Disallow ceļu šabloniem, lai aizsargātu privātos administrēšanas direktorijus
- Iebūvēti parametri Crawl-delay intervāliem un skaidrām Sitemap URL deklarācijām
- Sākotnējie iestatījumi populārām tīmekļa platformām ar reāllaika priekšskatījumu, tūlītēju kopēšanu un faila lejupielādi
Kā lietot
- 1
Izvēlieties mērķa User-agent (vai saglabājiet noklusējumu `User-agent: *`).
- 2
Pievienojiet Disallow kārtulas privātiem direktorijiem (piem., `/admin/`, `/api/`) un Allow kārtulas publiskiem ceļiem.
- 3
Norādiet savu XML sitemap URL un noklikšķiniet uz "Lejupielādēt robots.txt", lai saglabātu failu domēna saknes direktorijā.
Biežākie lietošanas gadījumi
- → Meklētājprogrammu bloķēšana no administrācijas paneļu un dublētu meklēšanas vaicājumu URL indeksēšanas
- → Oficiālās XML vietnes kartes atrašanās vietas deklarēšana, lai pārmeklētāji atklātu visas jaunās lapas
- → Izstrādes (staging) un pirmsizlaides domēnu pilnīga noslēgšana no organiskās meklēšanas indeksiem
Saistītie rīki
HTML meta tagu un SEO ģenerators
Ģenerējiet pareizus HTML meta tagus, Open Graph un Twitter Cards sociālajiem tīkliem un meklētājiem.
Gitignore failu ģenerators
Ģenerējiet pilnīgus .gitignore failus pēc operētājsistēmas, valodas un izstrādes rīka.
Atvērtā koda licenču ģenerators
Izvēlieties un ģenerējiet MIT, Apache 2.0, GPL, BSD un citas atvērtā koda licences savam projektam.
README failu veidotājs
Izveidojiet profesionālus projekta README.md dokumentus ar nozīmītēm, sadaļām un instrukcijām.
Conventional Commits veidotājs
Formatējiet standartizētus Git commit ziņojumus atbilstoši Conventional Commits standartam.
Semver versiju kalkulators
Aprēķiniet nākamo semantisko versiju (major, minor, patch) un pārbaudiet atbilstību diapazoniem.
Biežāk uzdotie jautājumi un privātums
Vai robots.txt var izmantot kā drošības mehānismu privātiem failiem?
Nē. Fails robots.txt ir publiski pieejams ikvienam. Tās ir tikai labprātīgas vadlīnijas uzticamiem tīmekļa robotiem, un tās nenodrošina autentifikāciju vai piekļuves ierobežojumus.
Kā bloķēt visus pārmeklētājus no manas testa (staging) vietnes?
Norādiet `User-agent: *`, kam seko `Disallow: /`, lai standartus ievērojošiem robotiem norādītu nepārmeklēt nekādu saturu šajā domēnā.