CN技术 SEO 工具更新于 2026-11-16

站长工具 robots 生成 评测

站长之家 robots.txt 在线生成器免费、免登录,选好蜘蛛填几条规则就能下载 txt,适合上线前快速配好;它只生成不做抓取验证,复杂规则和动态路径仍要手工改。

适合

新站上线前需要一份能用的 robots.txt、又不想手写规则的运营和前端

不适合

有大量参数页、需要按 UA 分流或写复杂通配规则的电商站与技术站

优点

  • 打开页面就能用,不需要注册登录,选蜘蛛、填目录、点生成,三步出一份可下载的 txt
  • 内置的蜘蛛列表覆盖百度、谷歌、搜狗、360、必应、神马、字节、Yandex 常用 UA,不用自己查名字
  • 生成结果带语法注释,允许与禁止的写法一眼能看明白,给新人当教学样例也合适
  • 完全免费,不限制生成次数,项目上线前改十遍也不会有成本

缺点

  • 只能按模板拼规则,不支持通配符组合、正则和条件判断,复杂站点仍要手写
  • 不做抓取验证,生成的规则对不对只能自己去搜索引擎后台用抓取诊断试
  • 页面广告密度高,移动端打开时生成按钮容易被挤到下面
  • 没有版本记录,生成的 txt 覆盖之后找不回上一版,团队协作要自己存

结论先行

推荐给新站,总分 7.8,免费且不用登录。 站长之家的 robots.txt 生成器解决的是「上线前十分钟要交一份规则」这种场景:选搜索引擎、勾要屏蔽的目录、点生成、下载,一套动作不到两分钟。

它的能力边界也很清楚:本质是个模板拼接器,不做语法深度校验,也不跑抓取测试。真正的难点从来不是写 Allow 和 Disallow,而是想清楚哪些目录该屏蔽、屏蔽之后会不会连带把重要页面挡掉。这部分判断工具替不了你,生成的只是骨架。

这篇评测基于什么数据

  • 工具页面:2026-11 打开站长之家 robots.txt 生成器页面,核对可选项、蜘蛛列表、输出格式与下载方式。
  • 规则依据:robots.txt 的语法与语义按 Google 与百度的官方文档说明整理,包括通配符、User-agent 分组、crawl-delay 的支持差异。
  • 对比基准:横向对比 Screaming Frog SEO Spider 的 robots 测试能力和百度搜索资源平台的抓取诊断。
  • 实测边界:未做不同 CMS 上的自动化接入测试,文中关于生成速度与操作步骤的描述基于页面实际操作。

核心功能

选蜘蛛与按 UA 分流

页面第一项是选择目标搜索引擎。下拉列表里能看到的包括 Baiduspider、Googlebot、Sogou web spider、360Spider、Bingbot、YisouSpider、Bytespider、YandexBot,基本覆盖了国内外常见的抓取程序。选一个,生成的规则就写在对应的 User-agent 段落下。

也可以选「所有蜘蛛」,生成的是一段 User-agent: *,所有抓取程序都按这套规则走。多数站点用这一条就够;需要单独对待某个引擎时,比如只允许 Google 抓图片、屏蔽百度抓某个目录,再追加单独的段落。顺序上,单独段落的规则优先级高于通配段,写反了容易互相覆盖。

目录屏蔽与结果输出

主体是允许和禁止两类输入框。填 /admin/、/search/、/tmp/ 这类路径,工具会自动补上 Disallow: 前缀,生成对应行。屏蔽目录是最常见的用法,参数页、搜索结果页、后台入口、临时文件目录都属于该屏蔽的范畴。

生成后可以直接复制,也可以下载成 txt。文件内容通常是标准的纯文本格式,每段以 User-agent 开头,后面跟若干条规则,段与段之间空一行。这个格式浏览器和所有主流引擎都认,上传到站点根目录、确认 https://域名/robots.txt 能打开就算上线。

语法提示与常见写法

页面里附了简短的语法说明,讲清了两个容易被误解的点:Disallow 后面的路径是前缀匹配,/tmp/ 会连 /tmp/a/b.html 一起挡;斜杠开头是站内绝对路径,不能写完整 URL。这些提示对第一次配规则的运营很有用。

它还给了几组常见示例:全站禁止抓取用 Disallow: /,全站放开用 Allow: / 或者干脆不写规则,只屏蔽单个文件直接写文件路径。这些示例的正确性没问题,但要注意「全站禁止」不等于「从搜索结果里消失」——页面已经被收录的话,屏蔽抓取反而让引擎没法读 noindex,结果可能是只显示 URL 的裸结果。

不足之处:只生成不验证

工具不做抓取模拟,也不检查规则之间的冲突。比如你同时写了 Disallow: /tag/ 和 Allow: /tag/seo/,按最长匹配原则前者不会生效,但页面不会提醒你。这类问题只能去搜索引擎后台用抓取诊断或者 robots 测试工具验证。

另一个缺口是通配符和结尾匹配。主流引擎支持 * 和 $,比如 Disallow: /*?sort= 能挡掉所有带排序参数的 URL,这个生成器给不了,得手工加。对参数多的电商站,手工写反而比用模板快。

评分明细

功能完整度:6.8/10

选蜘蛛、填目录、生成、下载四件事做得干脆,常见写法都覆盖。扣分在于不支持通配符、正则和条件规则,也没有校验与测试环节,功能只到「够用」为止。

易用性:9.3/10

打开即用,不需要注册,界面把输入项排成一条直线,新手两分钟能出结果。这一项几乎是这类小工具的天花板。

数据质量:7.6/10

输出的语法正确,前缀匹配和分组写法符合规范,示例也没错。扣分在于不判断规则逻辑是否合理,给你的是合法但不一定正确的文件。

性价比:9.8/10

免费、不限次数、不用登录。没有任何成本,也就谈不上不值。

客户支持:5.4/10

工具类页面没有客服,出问题只能看页面上的说明文字或者去搜索引擎的官方文档。站长之家有论坛,但和这个工具没有直接绑定。

定价说明

项目价格说明
robots.txt 生成免费无需注册,打开页面即可使用
结果下载免费生成后复制或下载 txt,无次数限制
语法说明免费页面内附常见写法示例

完全免费,没有付费墙,也没有会员限制。 站长之家的收入来自广告和周边服务,工具本身是引流入口,这也是页面广告多的原因。使用上要注意一点:生成的文件不要直接覆盖线上版本,先下载、比对、再上传,避免把已经调好的规则冲掉。

和竞品对比

维度站长工具 robots 生成Screaming Frog SEO Spider百度搜索资源平台
价格免费免费版限 500 条 URL,付费 £199/年免费
规则生成模板拼接,支持常用路径不生成,只解析与测试不生成
语法校验无有,能标出冲突与无效行抓取诊断间接验证
上手成本两分钟需安装,半天熟悉需验证站点

怎么选:只想快速拿到一份能用的 robots.txt,用这个生成器,两分钟收工;想确认规则有没有写错、会不会挡掉重要页面,用 Screaming Frog 的 robots 测试,或者把 URL 丢进百度、必应的抓取诊断里看蜘蛛的实际行为。两件事不冲突,先后做一遍最稳。

FAQ

Q: 生成的文件上传后多久生效?

A: 上传后立刻可以被访问,但搜索引擎不会实时重读。快的话几小时,慢的几天,取决于各家的抓取周期。急着验证的话,去搜索引擎后台的抓取诊断里抓一次首页,看返回内容里有没有读到新规则。

Q: 我把页面 Disallow 了,为什么搜索结果里还能看到?

A: 因为 robots.txt 管的是抓取,不是收录。已经被收录的页面,即使后来禁止抓取,引擎也可能保留一个只有标题和 URL 的结果;而且禁止抓取之后,引擎读不到页面上的 noindex,反而没法把它移出索引。要下架页面,正确顺序是先允许抓取、页面加 noindex,等索引移除后再屏蔽。

Q: 一个 robots.txt 里能写多个 Sitemap 吗?

A: 能。Sitemap: 指令可以写多行,放在文件任意位置,不受 User-agent 分组影响。要注意的是地址必须是完整的绝对 URL,而且同一个 sitemap 不要重复声明。生成器默认不带这一行,需要自己补。

评测方法说明

元析评测围绕功能完整度、易用性、数据质量、性价比、客户支持五个核心维度打分,每项满分 10 分,加权折算为总分。本文的功能项与蜘蛛列表于 2026-11 对照站长之家工具页面核对,规则语义按 Google 与百度官方文档说明整理,未做跨 CMS 的自动化测试。

最后更新:2026-11-16

定价补充

在线工具免费使用,无付费版本;页面带广告,无需注册即可生成。价格与功能于 2026-11 核对官网。

价格核对于 2026-11-16,以厂商官网结算页为准。

运营方

工具挑好了,增长还得有人落地

评测内容免费看。元析智能给软件公司做 SEO 和 GEO,评测和服务分开算,评测判断不受客户关系影响。