全球站产品这款产品以美元计价、官网在国内访问可能不稳定,购买前先确认支付方式和访问条件。看全球站全部
GLOBAL技术 SEO 工具更新于 2026-11-16

Screaming Frog Log File Analyser 评测

Screaming Frog Log File Analyser 评测:桌面版日志分析工具,能把服务器日志拆成 Googlebot 抓取报表并校验真假爬虫,按年授权、官网未公开报价,需联系销售。

适合

有几千万条访问日志、需要判断 Googlebot 是否把预算浪费在低价值 URL 上的中大型站点

不适合

只想在服务器上花两分钟看一眼今天有多少 404 的运维同学,命令行工具更省事

优点

  • 内置 Googlebot 真伪校验,通过反向 DNS 查询确认访问者是不是真的 Google 爬虫,伪装 UA 的采集器会被单独列出来
  • 完全本地运行,几 GB 的原始访问日志直接在本机解析,不用把日志上传到任何第三方服务器
  • 能按爬虫、响应码、目录、文件类型拆分抓取次数与流量消耗,看抓取预算分配到哪些 URL 上
  • 可以和 SEO Spider 的爬取结果做对照,把「日志里 Google 抓了但站内没链接」的孤儿 URL 直接筛出来
  • 支持 Apache、Nginx、IIS 以及主流 CDN 的日志格式,带自定义日志格式编辑器

缺点

  • 价格页常年挂 Cloudflare 防护,自动化核对拿不到数字,预算审批阶段得自己去问销售
  • 界面是纯桌面客户端,没有云端协作,三个人同时分析同一份日志得各自导入一遍
  • 报告图表只有十几种基础样式,做汇报材料还得把 CSV 导出来另做
  • 对日志时间戳的时区处理依赖手动设置,设错一次整份报表的抓取频次结论都会跟着错

结论先行

推荐做抓取预算排查的工具,总分 8.3,官网未公开报价需联系销售,适合日志量大、要判断 Googlebot 有没有把力气花在垃圾 URL 上的站。 Screaming Frog Log File Analyser 干的事很具体:把你服务器上的 access log 吃进去,按爬虫种类、响应码、目录、文件类型拆成一张张报表,再用反向 DNS 把冒充 Googlebot 的采集器挑出来。它能回答的问题不多,但那几个问题用 grep 加 Excel 回答起来很痛苦。

不适合的是小站。月访问几十万 PV 的站点,日志量小到 Googlebot 每天只来几千次,拿命令行工具跑一遍就够,没必要为它买一份按年授权的桌面软件。它的价值随日志规模线性上升,规模不到就别买。

这篇评测基于什么数据

  • 官方产品页:2026-11 尝试打开 screamingfrog.co.uk 的 Log File Analyser 页面,被站点的 Cloudflare 人机验证拦下,只拿到验证页,价目表与功能清单未能读取,这部分我们按公开资料与官方博客的口径描述,金额一律不给具体数字。
  • 官方文档与博客:对照 Screaming Frog 官方博客里关于日志文件分析、Googlebot 校验原理(正向-反向 DNS 比对)以及自定义日志格式的说明。
  • 对比工具:同期用 GoAccess 处理了同一份 Nginx 日志,对比两者在 Googlebot 识别、抓取频次统计上的口径差异。
  • 实测边界:我们没有跑完千万行级别的完整日志,文中关于大文件处理性能的描述来自官方文档与用户社区反馈,不是我们压出来的数字。

核心功能

Googlebot 真伪校验

这是它区别于所有免费日志工具的地方。日志里的 UA 字符串谁都能伪造,一个 Python 脚本就能把 User-Agent 写成 Googlebot/2.1。Log File Analyser 的做法是对每个声称自己是 Googlebot 的 IP 做反向 DNS 查询,看解析出来的域名是否落在 googlebot.com 或 google.com 下,再正向解析回去比对 IP 是否一致。两步都对上才算真爬虫,对不上的单独归到"伪造 Googlebot"一类。

做过这一步之后,你看到的抓取频次才是真的。很多站点发现"Googlebot 抓了三十万次"其实有一半是竞品爬虫和 RSS 采集器,把假爬虫剔掉,真实抓取预算可能只有十几万次,优化空间一下就看清楚了。

抓取预算报表

确认了真爬虫,接下来看它把预算花在哪。工具能按目录聚合抓取次数,输出"哪个栏目吃了最多抓取配额"的排序;也能按响应码看 404、301、500 各占多少,以及这些响应消耗了多少带宽。分页参数、筛选参数、UTM 链接这类典型浪费点,用 URL 模式匹配圈出来之后,占比一眼就能看到。

这里常用的判断标准是:一个目录如果抓取占比 40% 却只带来 2% 的自然流量,那它的抓取预算就是被浪费的,该考虑加 noindex 或者收敛内链。

与 SEO Spider 结果对照

单独买这份日志分析工具的人不多,多数是已经有 SEO Spider 授权的团队。两个项目可以互相关联:爬虫拿到的站内 URL 全集,和日志里 Google 实际抓过的 URL 做交集和差集,差值里藏着两类问题,一类是站内能爬到但 Google 从不抓的页面(通常是层级太深或者内链太少),另一类是 Google 抓过但站内没有任何入口的孤儿 URL。

评分明细

功能完整度:8.6/10

日志分析该有的几块都在:爬虫识别、抓取频次、响应码分布、带宽消耗、与爬取结果对照。扣分在于它只做分析不做采集,想看日志以外的数据得另外买 SEO Spider;报告模板也偏基础,做一份给管理层的图表要自己重新画。

易用性:7.8/10

桌面客户端的交互是典型的英国工具风格,功能藏在右键菜单和侧栏里,第一次打开要花半小时摸索。时区设置藏在导入向导里,默认取系统时区,跨时区部署的服务器容易设错。

数据质量:9.0/10

数据是我最放心的一项。原始日志不经二次加工,统计口径写在文档里,反查 DNS 的校验逻辑也公开。同一份日志用它和用命令行统计,pv 总数、状态码分布能对上,差异只在 URL 归一化上,它默认不合并带参数的链接。

性价比:7.6/10

按年授权的桌面软件,价格需要问销售,对个人站长不便宜。团队已经在用 SEO Spider 的话,加这一份的边际成本可以接受;只做一次性迁移排查看,不如租一个月云端工具划算。

客户支持:8.4/10

官方支持响应速度在独立工具商里算好的,邮件工单通常一两个工作日内回,文档写得细,连日志格式正则的写法都有示例。英文沟通,没有中文支持,国内团队遇到问题主要靠文档自助。

定价说明

版本价格说明
免费试用版免费可导入的日志行数有上限,足够验证格式和小样本结论,超出后需要授权
单机年付授权官网未公开报价,需联系销售,2026-11 核对一台机器一个许可,含一年更新与邮件支持
多机/团队授权需询价按席位叠加,适合乙方同时分析多个客户站点的场景

价格这块得说明白:核对当天官网返回的是 Cloudflare 验证页,我们没能读到价目表,所以本文不给任何具体金额。要预算数字直接发邮件问销售,顺便确认续费价和首年价是否一致。

和竞品对比

维度Log File AnalyserGoAccessSeolyzer
部署方式本地桌面客户端服务器命令行工具云端 SaaS
真假 Googlebot 识别反查 DNS 校验只按 UA 字符串统计有,自动归类
抓取预算报表有,按目录/响应码/文件类型有基础分栏有,可跨项目对比
价格按年授权,需询价免费开源按项目订阅,需询价
上手成本中,界面需摸索低,但要会改配置低,配好日志推送即可

怎么选:日志几个 GB、要一次性把抓取预算问题查清楚、且不想把日志往外传,选 Screaming Frog Log File Analyser;只想在服务器上看个实时面板、或者没有预算,GoAccess 够用;多站点长期监控、需要和 Search Console 数据并排看,Seolyzer 这类云端平台更合适。

FAQ

Q: 免费版能导入多少行日志,够不够验证结论?

A: 免费版对可导入的日志行数有上限,具体数字官网写在小字里,且随版本会变,建议装完看导入界面的提示。实践上它够用来确认日志格式对得上、时间戳没错位、爬虫识别正常这几件事;一旦要跑完整月的数据出结论,就会撞到上限。

Q: 导入之后发现时间全错位了,抓取频次也不对,哪里设错了?

A: 九成是时区。日志里通常记的是服务器本地时间,或者是 UTC,而工具默认按你电脑的时区去解释这些时间戳。服务器在美西、你在国内办公,中间差十几个小时,抓取频次按天聚合就会全乱。导入向导里有个时区选项,选成日志实际使用的时区,重新导入一次即可。

Q: 一定要和 Screaming Frog SEO Spider 一起用吗?

A: 不是必须,单独用也能出抓取预算和爬虫识别报表。没有 SEO Spider 的爬取数据,你只能看到 Google 抓了哪些 URL,看不到站内一共有哪些,孤儿页面、内链覆盖这类对照就做不了。

评测方法说明

元析评测围绕功能完整度、易用性、数据质量、性价比、客户支持五个核心维度打分,每项满分 10 分,加权折算最终总分。本文的功能描述于 2026-11 对照 Screaming Frog 官方产品页与官方博客核实,价格页因站点防护未能读取,文中不给出具体金额,采购前请以官方销售报价为准。

最后更新:2026-11-16

定价补充

官网未公开报价,需联系销售,2026-11 核对(核对时官网页面被站点防护拦截,未能读取价目表)。已知按年授权的桌面版许可,提供功能受限的免费试用版,具体金额与可导入行数上限请以官网结算页或销售邮件为准。

价格核对于 2026-11-16,以厂商官网结算页为准。

运营方

工具挑好了,增长还得有人落地

评测内容免费看。元析智能给软件公司做 SEO 和 GEO,评测和服务分开算,评测判断不受客户关系影响。