Penjana Fail robots.txt

Bina peraturan fail robots.txt untuk mengawal perangkak enjin carian dan pautan peta laman.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Perihal Penjana Fail robots.txt — Panduan Terperinci

Kategori: DevOps & Piawaian 100% Setempat dalam Pelayar

Penjana robots.txt mencipta peraturan Protokol Pengecualian Robot (`robots.txt`) secara visual untuk membimbing perangkak web dan lelabah enjin carian. Sasarkan bot tertentu (Googlebot, Bingbot, Baiduspider) atau ejen pengguna sejagat (`User-agent: *`) dengan arahan Allow dan Disallow.

Konfigurasikan selang `Crawl-delay` untuk meredakan lonjakan trafik pelayan, isytiharkan laluan Peta Laman XML, dan manfaatkan templat terbina dalam untuk platform CMS popular seperti WordPress dan Drupal—mengeksport fail `robots.txt` yang diseragamkan serta-merta.

#robots #seo #txt #website #generator

Ciri dan Keupayaan Utama

  • Mengkonfigurasi arahan tersuai untuk perangkak enjin carian sejagat (`*`) atau sasaran
  • Input visual untuk corak laluan Allow dan Disallow bagi melindungi direktori pentadbiran peribadi
  • Parameter terbina dalam untuk pemasaan Crawl-delay dan pengisytiharan URL Peta Laman yang jelas
  • Pratetap untuk platform web popular dengan pratonton masa nyata, salinan segera, dan muat turun fail

Cara Menggunakan

  1. 1

    Pilih User-agent sasaran (atau kekalkan lalai `User-agent: *`).

  2. 2

    Tambah peraturan Disallow untuk direktori peribadi (cth. `/admin/`, `/api/`) dan peraturan Allow untuk laluan awam.

  3. 3

    Nyatakan URL peta laman XML anda dan klik Muat turun robots.txt untuk menyimpan fail bagi punca domain anda.

Kes Penggunaan Lazim

  • → Menghalang enjin carian daripada mengindeks konsol pentadbiran dan URL pertanyaan carian pendua
  • → Mengisytiharkan lokasi peta laman XML rasmi supaya perangkak menemui semua halaman web baharu
  • → Mengunci domain pementasan dan pra-pengeluaran sepenuhnya daripada indeks carian organik

Alat Berkaitan

Soalan Lazim dan Privasi

Bolehkah robots.txt digunakan sebagai mekanisme keselamatan untuk fail peribadi?

Tidak. Fail robots.txt boleh diakses secara terbuka oleh sesiapa sahaja. Ia hanyalah garis panduan sukarela untuk bot web yang mematuhi etika dan tidak menguatkuasakan pengesahan atau sekatan akses.

Bagaimanakah saya menyekat semua perangkak daripada laman web pementasan saya?

Nyatakan `User-agent: *` diikuti dengan `Disallow: /` untuk mengarahkan bot yang patuh agar tidak merangkak sebarang kandungan pada domain tersebut.