ตัวสร้าง robots.txt

สร้างไฟล์ robots.txt มาตรฐานพร้อมกฎ Allow/Disallow สำหรับเว็บครอว์เลอร์

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

เกี่ยวกับ ตัวสร้าง robots.txt — คู่มือการใช้งาน

หมวดหมู่: DevOps และมาตรฐาน ประมวลผลบนเบราว์เซอร์ 100%

เครื่องมือสร้าง robots.txt (robots.txt Generator) ช่วยสร้างกฎตามข้อกำหนด Robots Exclusion Protocol (`robots.txt`) แบบเห็นภาพเพื่อชี้นำโปรแกรมรวบรวมข้อมูลเว็บ (web crawlers) และสไปเดอร์ของเสิร์ชเอนจิน กำหนดเป้าหมายบอทเฉพาะเจาะจง (Googlebot, Bingbot, Baiduspider) หรือยูสเซอร์เอเจนต์ทั่วไป (`User-agent: *`) ด้วยคำสั่ง Allow และ Disallow

ตั้งค่าช่วงเวลา `Crawl-delay` เพื่อลดภาระปริมาณการเข้าชมที่พุ่งสูงขึ้นบนเซิร์ฟเวอร์, ประกาศพาธ XML Sitemap และใช้ประโยชน์จากเทมเพลตในตัวสำหรับแพลตฟอร์ม CMS ยอดนิยม เช่น WordPress และ Drupal—ส่งออกเป็นไฟล์ `robots.txt` มาตรฐานได้ทันที

#robots #seo #txt #website #generator

คุณสมบัติและความสามารถหลัก

  • กำหนดคำสั่งเฉพาะสำหรับบอททั่วไป (`*`) หรือบอทของเสิร์ชเอนจินที่เจาะจง
  • ระบุรูปแบบพาธ Allow และ Disallow ผ่านส่วนติดต่อผู้ใช้แบบภาพเพื่อปกป้องไดเรกทอรีผู้ดูแลระบบที่เป็นส่วนตัว
  • มีพารามิเตอร์ในตัวสำหรับกำหนดเวลา Crawl-delay และการประกาศ URL ของ Sitemap อย่างชัดเจน
  • มีพรีเซ็ตสำหรับแพลตฟอร์มเว็บยอดนิยม พร้อมแสดงตัวอย่างแบบเรียลไทม์, คัดลอกได้ทันที และดาวน์โหลดไฟล์ได้สะดวก

วิธีใช้งาน

  1. 1

    เลือก User-agent เป้าหมาย (หรือใช้ค่าเริ่มต้น `User-agent: *`)

  2. 2

    เพิ่มกฎ Disallow สำหรับไดเรกทอรีส่วนตัว (เช่น `/admin/`, `/api/`) และกฎ Allow สำหรับพาธสาธารณะ

  3. 3

    ระบุ URL ของ XML sitemap แล้วคลิก Download robots.txt เพื่อบันทึกไฟล์สำหรับวางไว้ที่รูทของโดเมน

ตัวอย่างการใช้งานทั่วไป

  • → ป้องกันไม่ให้เสิร์ชเอนจินจัดทำดัชนีคอนโซลผู้ดูแลระบบและ URL การค้นหาที่ซ้ำซ้อน
  • → ประกาศตำแหน่งทางการของ XML sitemap เพื่อให้บอทค้นพบหน้าเว็บใหม่ๆ ได้ครบถ้วน
  • → ล็อกโดเมน Staging และสภาพแวดล้อมก่อนการใช้งานจริง ไม่ให้ปรากฏในดัชนีการค้นหาแบบออร์แกนิกอย่างสมบูรณ์

เครื่องมือที่เกี่ยวข้อง

คำถามที่พบบ่อยและความเป็นส่วนตัว

สามารถใช้ robots.txt เป็นกลไกความปลอดภัยสำหรับไฟล์ส่วนตัวได้หรือไม่?

ไม่ได้ เนื่องจากทุกคนสามารถเข้าถึงไฟล์ robots.txt ได้อย่างเปิดเผย ไฟล์นี้เป็นเพียงข้อแนะนำโดยสมัครใจสำหรับเว็บมาสเตอร์บอทที่มีมาตรฐานเท่านั้น และไม่ได้บังคับใช้การตรวจสอบสิทธิ์หรือจำกัดสิทธิ์การเข้าถึงใดๆ

ฉันจะบล็อกบอททั้งหมดไม่ให้เข้ามาเก็บข้อมูลเว็บไซต์ Staging ได้อย่างไร?

ระบุ `User-agent: *` ตามด้วย `Disallow: /` เพื่อสั่งให้บอทที่ปฏิบัติตามมาตรฐานไม่เก็บข้อมูลเนื้อหาใดๆ บนโดเมนนั้น