AI爬虫该不该封？这个指标可能算错了
当出版商评估是否屏蔽 AI 爬虫时，一个被广泛引用的指标常被视为判断依据。但 Search Engine Journal 的文章《Everyone Is Quoting The Same Number And Getting Different Answers》最先揭示：这个指标存在结构性缺陷——分母中缺失了份额未知的推荐流量。也就是说，人们以为自己在看完整流量图景，实际却是在不完整的分母上计算比例，而误差方向与幅度都难以确定。
指标背后的盲区
出版商通常会用某项指标来估算 AI 爬虫带来的流量压力或推荐价值，例如 AI 爬虫请求量在整体流量中的占比，或 AI 来源推荐在总推荐中的份额。问题在于，这个指标的分母并不完整。大量推荐来源无法被准确追踪：AI 助手、聊天机器人、摘要产品、社交平台内置浏览器、邮件客户端、隐私设置、无 referrer 跳转、UTM 缺失等，都可能让推荐流量“消失”或落入“直接流量”等模糊分类。
当这些流量没有被计入分母时，比例就会被扭曲。根据指标的具体定义，AI 爬虫的占比可能被高估，也可能因推荐价值被低估而得出相反结论。更麻烦的是，缺失份额究竟有多大，往往无人知晓。于是，出版商看到的不是精确测量，而是一个带有未知误差范围的近似值。
为何同一个数字得出不同结论
不同平台、不同工具在计算同一指标时，对缺失流量的处理方式并不一致。服务器日志、前端分析工具、第三方监测面板和平台后台，各自能看到的数据范围不同；对爬虫识别、机器人过滤、去重、采样、归因窗口和跨域追踪的规则也各不相同。
有些工具把无法识别的推荐归入直接流量，有些归入自然搜索，有些直接丢弃。结果就是，同一个被广泛引用的数字，在不同人手中被推导出截然相反的答案：有人认为 AI 爬虫必须拦截，有人认为推荐流量被误伤，而各方都认为自己的解读才是正确的。这里不仅有技术差异，也有团队目标与激励的差异——SEO、产品、法务、广告和收入团队关注的重点并不相同。
对内容策略的启示
如果连基础数据都存在结构性缺口，那么基于它做出的屏蔽决策就可能偏离真实收益与代价。出版商需要更透明的归因方法，才能在拦截 AI 爬虫与保留推荐流量之间做出明智取舍。具体而言，可以从以下几个方面入手：
- 审计数据分母：明确哪些流量被计入、哪些被遗漏，尤其是推荐流量的来源与分类逻辑。
- 建立第一方追踪：结合服务器端日志、第一方分析、引用域名和 UTM 参数，减少对单一工具的依赖。
- 区分爬虫类型：训练爬虫、检索爬虫、用户触发的抓取和实时浏览代理，对内容策略的意义不同。
- 做增量实验：按页面、地区或爬虫类型进行测试，观察屏蔽前后推荐、订阅、转化和收入的变化。
- 评估隐性成本与机会：除了带宽与抓取成本，还要考虑品牌可见性、潜在推荐、授权合作和内容控制。
- 定期复核指标：AI 产品和平台规则变化很快，归因方法也需要持续更新。
从缺陷指标到可行动框架
围绕 AI 爬虫的封锁决策，不应只依赖一个被反复引用却定义不清的数字。更稳妥的做法，是先把分母补完整，把推荐流量的去向说清楚，再用可验证的实验衡量真实影响。只有当出版商能够区分“被拦截的爬虫”与“被保留的推荐流量”，并理解两者在收入、可见性和长期内容生态中的不同作用，才能在开放与封锁之间做出更理性的选择。
