robots.txt 生成

可视化配置robots.txt,支持规则预览

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

关于 robots.txt 生成 的详细介绍

所属分类: 开发规范 纯浏览器本地处理

robots.txt 生成器是一款用于可视化配置网络爬虫与搜索引擎漫游协议(Robots Exclusion Protocol)的站长工具。支持针对特定搜索引擎爬虫(如 Googlebot、Bingbot、Baiduspider、Yandexbot)或所有全局爬虫(User-agent: *)分别设置允许(Allow)与禁止抓取(Disallow)的目录路径。

支持配置爬取延迟(Crawl-delay)以减轻服务器抓取并发压力,支持声明站点地图文件路径(Sitemap: ...),并内置常见 CMS(WordPress、Joomla、Drupal、Typecho 等)的最佳实践预设规则,一键导出标准的 `robots.txt` 文本。

#robots #seo #txt #website #generator

核心功能与特性

  • 支持为通用爬虫(*)或主流独立搜索引擎漫游器分别指定独立的抓取规则
  • 可视化配置 Allow 允许路径与 Disallow 禁止抓取路径,防止管理后台被索引
  • 支持配置 Crawl-delay 抓取延迟秒数与 Sitemap 站点地图绝对路径声明
  • 内置 WordPress 等主流 CMS 预设模板,实时预览并一键复制或下载 robots.txt

使用步骤

  1. 1

    选择目标搜索引擎爬虫(默认为所有爬虫 `User-agent: *`)。

  2. 2

    添加禁止抓取的私有路径(如 `/admin/`、`/private/`)或允许抓取的公开目录。

  3. 3

    填入网站 sitemap.xml 的绝对地址,确认无误后点击复制或下载 robots.txt 文件。

常见应用场景

  • → 阻止百度、谷歌等搜索引擎抓取网站后台管理页面、搜索结果动态页与私有 API
  • → 向搜索引擎蜘蛛明确声明 sitemap.xml 站点地图的具体位置以加快全站收录
  • → 在测试环境或暂未上线的暂存服务器上配置全局 Disallow 防止内容提前外泄

同类推荐工具

常见问题与隐私说明

robots.txt 可以用来保护网站敏感文件不被黑客发现吗?

绝对不能。robots.txt 是完全公开可访问的纯文本文件,它仅是搜索引擎爬虫自觉遵守的友好协议,不能作为任何安全防护或权限控制手段。

如何配置全站禁止任何爬虫抓取(例如在内测环境)?

配置 `User-agent: *` 并在下一行加上 `Disallow: /` 即可告知所有遵守规范的爬虫不得抓取本站任何页面。