站长工具 robots 生成 评测
站长之家 robots.txt 在线生成器免费、免登录,选好蜘蛛填几条规则就能下载 txt,适合上线前快速配好;它只生成不做抓取验证,复杂规则和动态路径仍要手工改。
新站上线前需要一份能用的 robots.txt、又不想手写规则的运营和前端
有大量参数页、需要按 UA 分流或写复杂通配规则的电商站与技术站
优点
- 打开页面就能用,不需要注册登录,选蜘蛛、填目录、点生成,三步出一份可下载的 txt
- 内置的蜘蛛列表覆盖百度、谷歌、搜狗、360、必应、神马、字节、Yandex 常用 UA,不用自己查名字
- 生成结果带语法注释,允许与禁止的写法一眼能看明白,给新人当教学样例也合适
- 完全免费,不限制生成次数,项目上线前改十遍也不会有成本
缺点
- 只能按模板拼规则,不支持通配符组合、正则和条件判断,复杂站点仍要手写
- 不做抓取验证,生成的规则对不对只能自己去搜索引擎后台用抓取诊断试
- 页面广告密度高,移动端打开时生成按钮容易被挤到下面
- 没有版本记录,生成的 txt 覆盖之后找不回上一版,团队协作要自己存
结论先行
推荐给新站,总分 7.8,免费且不用登录。 站长之家的 robots.txt 生成器解决的是「上线前十分钟要交一份规则」这种场景:选搜索引擎、勾要屏蔽的目录、点生成、下载,一套动作不到两分钟。
它的能力边界也很清楚:本质是个模板拼接器,不做语法深度校验,也不跑抓取测试。真正的难点从来不是写 Allow 和 Disallow,而是想清楚哪些目录该屏蔽、屏蔽之后会不会连带把重要页面挡掉。这部分判断工具替不了你,生成的只是骨架。
这篇评测基于什么数据
- 工具页面:2026-11 打开站长之家 robots.txt 生成器页面,核对可选项、蜘蛛列表、输出格式与下载方式。
- 规则依据:robots.txt 的语法与语义按 Google 与百度的官方文档说明整理,包括通配符、User-agent 分组、crawl-delay 的支持差异。
- 对比基准:横向对比 Screaming Frog SEO Spider 的 robots 测试能力和百度搜索资源平台的抓取诊断。
- 实测边界:未做不同 CMS 上的自动化接入测试,文中关于生成速度与操作步骤的描述基于页面实际操作。
核心功能
选蜘蛛与按 UA 分流
页面第一项是选择目标搜索引擎。下拉列表里能看到的包括 Baiduspider、Googlebot、Sogou web spider、360Spider、Bingbot、YisouSpider、Bytespider、YandexBot,基本覆盖了国内外常见的抓取程序。选一个,生成的规则就写在对应的 User-agent 段落下。
也可以选「所有蜘蛛」,生成的是一段 User-agent: *,所有抓取程序都按这套规则走。多数站点用这一条就够;需要单独对待某个引擎时,比如只允许 Google 抓图片、屏蔽百度抓某个目录,再追加单独的段落。顺序上,单独段落的规则优先级高于通配段,写反了容易互相覆盖。
目录屏蔽与结果输出
主体是允许和禁止两类输入框。填 /admin/、/search/、/tmp/ 这类路径,工具会自动补上 Disallow: 前缀,生成对应行。屏蔽目录是最常见的用法,参数页、搜索结果页、后台入口、临时文件目录都属于该屏蔽的范畴。
生成后可以直接复制,也可以下载成 txt。文件内容通常是标准的纯文本格式,每段以 User-agent 开头,后面跟若干条规则,段与段之间空一行。这个格式浏览器和所有主流引擎都认,上传到站点根目录、确认 https://域名/robots.txt 能打开就算上线。
语法提示与常见写法
页面里附了简短的语法说明,讲清了两个容易被误解的点:Disallow 后面的路径是前缀匹配,/tmp/ 会连 /tmp/a/b.html 一起挡;斜杠开头是站内绝对路径,不能写完整 URL。这些提示对第一次配规则的运营很有用。
它还给了几组常见示例:全站禁止抓取用 Disallow: /,全站放开用 Allow: / 或者干脆不写规则,只屏蔽单个文件直接写文件路径。这些示例的正确性没问题,但要注意「全站禁止」不等于「从搜索结果里消失」——页面已经被收录的话,屏蔽抓取反而让引擎没法读 noindex,结果可能是只显示 URL 的裸结果。
不足之处:只生成不验证
工具不做抓取模拟,也不检查规则之间的冲突。比如你同时写了 Disallow: /tag/ 和 Allow: /tag/seo/,按最长匹配原则前者不会生效,但页面不会提醒你。这类问题只能去搜索引擎后台用抓取诊断或者 robots 测试工具验证。
另一个缺口是通配符和结尾匹配。主流引擎支持 * 和 $,比如 Disallow: /*?sort= 能挡掉所有带排序参数的 URL,这个生成器给不了,得手工加。对参数多的电商站,手工写反而比用模板快。
评分明细
功能完整度:6.8/10
选蜘蛛、填目录、生成、下载四件事做得干脆,常见写法都覆盖。扣分在于不支持通配符、正则和条件规则,也没有校验与测试环节,功能只到「够用」为止。
易用性:9.3/10
打开即用,不需要注册,界面把输入项排成一条直线,新手两分钟能出结果。这一项几乎是这类小工具的天花板。
数据质量:7.6/10
输出的语法正确,前缀匹配和分组写法符合规范,示例也没错。扣分在于不判断规则逻辑是否合理,给你的是合法但不一定正确的文件。
性价比:9.8/10
免费、不限次数、不用登录。没有任何成本,也就谈不上不值。
客户支持:5.4/10
工具类页面没有客服,出问题只能看页面上的说明文字或者去搜索引擎的官方文档。站长之家有论坛,但和这个工具没有直接绑定。
定价说明
| 项目 | 价格 | 说明 |
|---|---|---|
| robots.txt 生成 | 免费 | 无需注册,打开页面即可使用 |
| 结果下载 | 免费 | 生成后复制或下载 txt,无次数限制 |
| 语法说明 | 免费 | 页面内附常见写法示例 |
完全免费,没有付费墙,也没有会员限制。 站长之家的收入来自广告和周边服务,工具本身是引流入口,这也是页面广告多的原因。使用上要注意一点:生成的文件不要直接覆盖线上版本,先下载、比对、再上传,避免把已经调好的规则冲掉。
和竞品对比
| 维度 | 站长工具 robots 生成 | Screaming Frog SEO Spider | 百度搜索资源平台 |
|---|---|---|---|
| 价格 | 免费 | 免费版限 500 条 URL,付费 £199/年 | 免费 |
| 规则生成 | 模板拼接,支持常用路径 | 不生成,只解析与测试 | 不生成 |
| 语法校验 | 无 | 有,能标出冲突与无效行 | 抓取诊断间接验证 |
| 上手成本 | 两分钟 | 需安装,半天熟悉 | 需验证站点 |
怎么选:只想快速拿到一份能用的 robots.txt,用这个生成器,两分钟收工;想确认规则有没有写错、会不会挡掉重要页面,用 Screaming Frog 的 robots 测试,或者把 URL 丢进百度、必应的抓取诊断里看蜘蛛的实际行为。两件事不冲突,先后做一遍最稳。
FAQ
Q: 生成的文件上传后多久生效?
A: 上传后立刻可以被访问,但搜索引擎不会实时重读。快的话几小时,慢的几天,取决于各家的抓取周期。急着验证的话,去搜索引擎后台的抓取诊断里抓一次首页,看返回内容里有没有读到新规则。
Q: 我把页面 Disallow 了,为什么搜索结果里还能看到?
A: 因为 robots.txt 管的是抓取,不是收录。已经被收录的页面,即使后来禁止抓取,引擎也可能保留一个只有标题和 URL 的结果;而且禁止抓取之后,引擎读不到页面上的 noindex,反而没法把它移出索引。要下架页面,正确顺序是先允许抓取、页面加 noindex,等索引移除后再屏蔽。
Q: 一个 robots.txt 里能写多个 Sitemap 吗?
A: 能。Sitemap: 指令可以写多行,放在文件任意位置,不受 User-agent 分组影响。要注意的是地址必须是完整的绝对 URL,而且同一个 sitemap 不要重复声明。生成器默认不带这一行,需要自己补。
评测方法说明
元析评测围绕功能完整度、易用性、数据质量、性价比、客户支持五个核心维度打分,每项满分 10 分,加权折算为总分。本文的功能项与蜘蛛列表于 2026-11 对照站长之家工具页面核对,规则语义按 Google 与百度官方文档说明整理,未做跨 CMS 的自动化测试。
最后更新:2026-11-16
定价补充
在线工具免费使用,无付费版本;页面带广告,无需注册即可生成。价格与功能于 2026-11 核对官网。
价格核对于 2026-11-16,以厂商官网结算页为准。
还能对比这几款
Google Search Console
技术 SEO 工具Google · 更新 2026-07-20
Google Search Console 是 Google 官方免费 SEO 工具,提供搜索性能、索引状态、技术问题、反链数据等核心数据。所有做 Google SEO 的站点必须接入,免费但功能强大。无中文界面,数据有 2-3 天延迟。
必应站长平台
技术 SEO 工具Microsoft · 更新 2026-11-16
必应站长平台是微软官方免费工具,支持从 Google Search Console 一键导入站点,中文后台,提供 URL 提交、IndexNow 推送、索引诊断与免费关键词数据;数据体量比 GSC 小,收录速度依赖站点权重。
百度搜索资源平台
技术 SEO 工具百度 · 更新 2026-11-16
百度搜索资源平台是百度官方免费后台,普通收录提供 API 推送、sitemap 与手动提交三条通道,抓取诊断能直接看到蜘蛛返回码;新站推送配额低、快速收录需权限,数据口径偏粗。