เกี่ยวกับ ตัวสร้าง robots.txt — คู่มือการใช้งาน
เครื่องมือสร้าง robots.txt (robots.txt Generator) ช่วยสร้างกฎตามข้อกำหนด Robots Exclusion Protocol (`robots.txt`) แบบเห็นภาพเพื่อชี้นำโปรแกรมรวบรวมข้อมูลเว็บ (web crawlers) และสไปเดอร์ของเสิร์ชเอนจิน กำหนดเป้าหมายบอทเฉพาะเจาะจง (Googlebot, Bingbot, Baiduspider) หรือยูสเซอร์เอเจนต์ทั่วไป (`User-agent: *`) ด้วยคำสั่ง Allow และ Disallow
ตั้งค่าช่วงเวลา `Crawl-delay` เพื่อลดภาระปริมาณการเข้าชมที่พุ่งสูงขึ้นบนเซิร์ฟเวอร์, ประกาศพาธ XML Sitemap และใช้ประโยชน์จากเทมเพลตในตัวสำหรับแพลตฟอร์ม CMS ยอดนิยม เช่น WordPress และ Drupal—ส่งออกเป็นไฟล์ `robots.txt` มาตรฐานได้ทันที
คุณสมบัติและความสามารถหลัก
- กำหนดคำสั่งเฉพาะสำหรับบอททั่วไป (`*`) หรือบอทของเสิร์ชเอนจินที่เจาะจง
- ระบุรูปแบบพาธ Allow และ Disallow ผ่านส่วนติดต่อผู้ใช้แบบภาพเพื่อปกป้องไดเรกทอรีผู้ดูแลระบบที่เป็นส่วนตัว
- มีพารามิเตอร์ในตัวสำหรับกำหนดเวลา Crawl-delay และการประกาศ URL ของ Sitemap อย่างชัดเจน
- มีพรีเซ็ตสำหรับแพลตฟอร์มเว็บยอดนิยม พร้อมแสดงตัวอย่างแบบเรียลไทม์, คัดลอกได้ทันที และดาวน์โหลดไฟล์ได้สะดวก
วิธีใช้งาน
- 1
เลือก User-agent เป้าหมาย (หรือใช้ค่าเริ่มต้น `User-agent: *`)
- 2
เพิ่มกฎ Disallow สำหรับไดเรกทอรีส่วนตัว (เช่น `/admin/`, `/api/`) และกฎ Allow สำหรับพาธสาธารณะ
- 3
ระบุ URL ของ XML sitemap แล้วคลิก Download robots.txt เพื่อบันทึกไฟล์สำหรับวางไว้ที่รูทของโดเมน
ตัวอย่างการใช้งานทั่วไป
- → ป้องกันไม่ให้เสิร์ชเอนจินจัดทำดัชนีคอนโซลผู้ดูแลระบบและ URL การค้นหาที่ซ้ำซ้อน
- → ประกาศตำแหน่งทางการของ XML sitemap เพื่อให้บอทค้นพบหน้าเว็บใหม่ๆ ได้ครบถ้วน
- → ล็อกโดเมน Staging และสภาพแวดล้อมก่อนการใช้งานจริง ไม่ให้ปรากฏในดัชนีการค้นหาแบบออร์แกนิกอย่างสมบูรณ์
เครื่องมือที่เกี่ยวข้อง
ตัวสร้าง Meta Tags สำหรับ SEO
สร้างแท็ก Open Graph, Twitter Cards และ SEO Meta Tags สำหรับเว็บไซต์
ตัวสร้าง .gitignore
สร้างไฟล์ .gitignore มาตรฐานสำหรับภาษา โปรแกรมแก้ไข และเฟรมเวิร์กต่างๆ
ตัวสร้างสัญญาอนุญาตโอเพนซอร์ส
สร้างไฟล์ LICENSE โอเพนซอร์สมาตรฐาน (MIT, Apache 2.0, GPLv3, BSD, ISC)
ตัวสร้างไฟล์ README
สร้างโครงร่างเอกสาร README.md ระดับมืออาชีพสำหรับโปรเจกต์ GitHub พร้อมแบดจ์
ตัวสร้างข้อความ Conventional Commit
สร้างข้อความ Git commit ตามมาตรฐาน Conventional Commits (feat, fix, docs, refactor)
เครื่องคำนวณ Semantic Versioning
เปรียบเทียบเวอร์ชัน ตรวจสอบช่วงเงื่อนไข (Range) และเพิ่มเวอร์ชัน Major/Minor/Patch
คำถามที่พบบ่อยและความเป็นส่วนตัว
สามารถใช้ robots.txt เป็นกลไกความปลอดภัยสำหรับไฟล์ส่วนตัวได้หรือไม่?
ไม่ได้ เนื่องจากทุกคนสามารถเข้าถึงไฟล์ robots.txt ได้อย่างเปิดเผย ไฟล์นี้เป็นเพียงข้อแนะนำโดยสมัครใจสำหรับเว็บมาสเตอร์บอทที่มีมาตรฐานเท่านั้น และไม่ได้บังคับใช้การตรวจสอบสิทธิ์หรือจำกัดสิทธิ์การเข้าถึงใดๆ
ฉันจะบล็อกบอททั้งหมดไม่ให้เข้ามาเก็บข้อมูลเว็บไซต์ Staging ได้อย่างไร?
ระบุ `User-agent: *` ตามด้วย `Disallow: /` เพื่อสั่งให้บอทที่ปฏิบัติตามมาตรฐานไม่เก็บข้อมูลเนื้อหาใดๆ บนโดเมนนั้น