關於 robots.txt 生成 的詳細介紹
robots.txt 生成器是一款視覺化配置網路爬蟲漫遊協議(Robots Exclusion Protocol)的站長必備工具。支援針對各大主流搜尋引擎蜘蛛(如 Googlebot、Bingbot、Baiduspider)或全域爬蟲(User-agent: *)分別設定允許(Allow)與禁止抓取(Disallow)的路徑規則。
支援設定抓取延遲間隔(Crawl-delay)以舒緩高頻抓取對伺服器造成的負載壓力,支援宣告 Sitemap 網站地圖路徑,並內建常見內容管理系統(WordPress、Drupal 等)的現成範本,一鍵匯出標準 `robots.txt` 檔案。
核心功能與特色
- 支援針對個別搜尋引擎爬蟲或全域蜘蛛(*)自訂精準的存取控制規則
- 視覺化新增 Allow 與 Disallow 路徑,防止管理後台與敏感端點遭到索引
- 提供 Crawl-delay 延遲秒數配置與 Sitemap 絕對路徑宣告語法整合
- 內建熱門 CMS 最佳實踐範本,支援即時文字預覽、一鍵複製與直接下載
使用步驟
- 1
挑選欲指派規則的爬蟲類型(或直接套用預設的全部爬蟲 `*`)。
- 2
新增欲禁止檢索之目錄(例如 `/admin/`、`/cart/`)或單一特殊檔案。
- 3
於 Sitemap 欄位填入網站地圖 URL,點擊下載將檔案放置於網站伺服器根目錄。
常見應用場景
- → 避免搜尋引擎收錄購物車結帳頁、使用者登入表單與動態篩選產生的重複內容
- → 在公開的 robots.txt 檔案中正確指引爬蟲讀取 sitemap.xml 以提升檢索效率
- → 為 Staging 測試站台設定完全封鎖,防止開發中內容被 Google 誤收錄造成 SEO 扣分
同類推薦工具
Meta 標籤生成
生成 SEO 友好的 Meta 標籤,支持 Open Graph 和 Twitter Card
.gitignore 生成
選擇語言/框架/IDE,生成最佳實踐 .gitignore 文件
License 生成
MIT/Apache/GPL/BSD/ISC 等開源協議,填入作者/年份,下載 LICENSE 文件
README 生成
Markdown README 模板生成器,徽章選擇,章節自由組合
提交信息生成
Conventional Commits 格式提交信息生成器,選擇類型/scope/描述
SemVer 計算器
語義版本範圍計算,^/>=/<=解析,版本對比與排序
常見問題與隱私說明
robots.txt 檔案必須放置在何處?
必須嚴格放置於網站頂層根目錄(如 `https://example.com/robots.txt`),放在子目錄下將無法被搜尋引擎識別。
Disallow 路徑有區分大小寫嗎?
有的。URL 路徑嚴格區分大小寫,`/Admin/` 與 `/admin/` 在 robots.txt 規範中被視為兩個完全不同的路徑。