robots.txt 生成

可視化配置robots.txt,支持規則預覽

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

關於 robots.txt 生成 的詳細介紹

所屬分類: 開發規範 純瀏覽器本地運算

robots.txt 生成器是一款視覺化配置網路爬蟲漫遊協議(Robots Exclusion Protocol)的站長必備工具。支援針對各大主流搜尋引擎蜘蛛(如 Googlebot、Bingbot、Baiduspider)或全域爬蟲(User-agent: *)分別設定允許(Allow)與禁止抓取(Disallow)的路徑規則。

支援設定抓取延遲間隔(Crawl-delay)以舒緩高頻抓取對伺服器造成的負載壓力,支援宣告 Sitemap 網站地圖路徑,並內建常見內容管理系統(WordPress、Drupal 等)的現成範本,一鍵匯出標準 `robots.txt` 檔案。

#robots #seo #txt #website #generator

核心功能與特色

  • 支援針對個別搜尋引擎爬蟲或全域蜘蛛(*)自訂精準的存取控制規則
  • 視覺化新增 Allow 與 Disallow 路徑,防止管理後台與敏感端點遭到索引
  • 提供 Crawl-delay 延遲秒數配置與 Sitemap 絕對路徑宣告語法整合
  • 內建熱門 CMS 最佳實踐範本,支援即時文字預覽、一鍵複製與直接下載

使用步驟

  1. 1

    挑選欲指派規則的爬蟲類型(或直接套用預設的全部爬蟲 `*`)。

  2. 2

    新增欲禁止檢索之目錄(例如 `/admin/`、`/cart/`)或單一特殊檔案。

  3. 3

    於 Sitemap 欄位填入網站地圖 URL,點擊下載將檔案放置於網站伺服器根目錄。

常見應用場景

  • → 避免搜尋引擎收錄購物車結帳頁、使用者登入表單與動態篩選產生的重複內容
  • → 在公開的 robots.txt 檔案中正確指引爬蟲讀取 sitemap.xml 以提升檢索效率
  • → 為 Staging 測試站台設定完全封鎖,防止開發中內容被 Google 誤收錄造成 SEO 扣分

同類推薦工具

常見問題與隱私說明

robots.txt 檔案必須放置在何處?

必須嚴格放置於網站頂層根目錄(如 `https://example.com/robots.txt`),放在子目錄下將無法被搜尋引擎識別。

Disallow 路徑有區分大小寫嗎?

有的。URL 路徑嚴格區分大小寫,`/Admin/` 與 `/admin/` 在 robots.txt 規範中被視為兩個完全不同的路徑。