404错误排查：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b4eeaa275639.html
📄
404错误排查：批量页面只有一部分被发现时怎样划分对照组
先给结论：不要按“已发现”和“未发现”直接分组，而要先找出一个能解释差异的单一变量，再围绕它建立对照组。最常用的切入点是链接来源：把同一批页面按“是否被站内其他已收录页面链接”分成两组，如果差异明显，优先处理链接结构；如果两组接近，再转向抓取预算、站点地图或响应状态。
为什么“已发现”和“未发现”不能直接当对照组
这两组的划分依据本身就是结果，不是原因。一个页面未被发现，可能因为缺少内链、被 robots.txt 拦截、返回了非 200 状态、站点地图未包含，或者只是抓取队列还没轮到它。把这些原因混在一组里，任何对比都得不出可执行结论。
更麻烦的是，多个角色对“为什么这批没被发现”会有不同判断。运营可能认为是内容质量，开发可能认为是服务器响应，SEO 可能认为是内链不足。与其争论，不如把分歧转成可以核对的项目：每个人提出一个可验证的假设，然后设计一个只改变该变量的对照。
按链接来源划分：最优先核对的对照组
假设有一批 200 个新页面，其中约 60 个已被发现。先不要动这批页面本身，而是回到站内其他页面，检查这 200 个页面各自被多少条内链指向。
- 对照组 A：有至少一条来自已收录页面的内链。
- 对照组 B：没有任何来自已收录页面的内链，只出现在站点地图里。
如果 A 组的发现比例明显高于 B 组，那么下一步动作是给 B 组补充内链，而不是反复提交站点地图。补充内链后观察一段时间，如果 B 组的发现比例开始上升，说明链接来源是主要变量；如果仍然不动，再考虑抓取预算或响应问题。
这里要注意：站点地图不保证收录，它只是提供发现线索。把页面放进站点地图，和让页面被实际抓取、索引，是两件事。所以对照组 B 里“只出现在站点地图”是一个需要被单独标记的状态，不能和“有内链但也进了站点地图”混在一起。
按响应状态和抓取限制划分：排除技术性阻断
如果链接来源两组接近，下一步按响应状态划分。这里要特别小心 robots.txt：它对抓取的 disallow 限制，不等于可靠的索引移除。一个页面被 robots.txt 拦截抓取，仍可能因为外部链接而被索引；反过来，解除拦截也不代表马上会被抓取。
可以这样分：
- 对照组 C：返回 200 且未被 robots.txt 限制。
- 对照组 D：返回 200 但被 robots.txt 限制，或返回 3xx、4xx、5xx。
如果 D 组的未发现比例显著更高，优先修状态码和抓取限制。修完后重新观察，而不是同时改内链和状态码——同时改两个变量，就无法判断是哪一个起了作用。
按入口类型划分：区分站内路径与外部路径
当页面同时有站内入口和外部入口时，可以再分一层。站内入口指导航、列表页、相关推荐；外部入口指其他站点链接或平台分享。这两类入口的抓取节奏通常不同，混在一起会掩盖真实原因。
假设一批页面中，一部分只从站内列表页可达，另一部分还额外被外部页面链接。如果后者发现比例更高，说明外部链接在帮助发现；如果两者接近，说明站内路径已经足够，问题可能出在抓取频率或页面本身。
这一步的实际动作是：给每个页面记录入口类型，而不是只记录“有没有链接”。记录后，如果发现某类入口的页面长期未被发现，就把资源集中到该类入口的补充上，而不是全站平均用力。
保留、改写还是退出：根据对照结果决定
对照做完后，会得到三种典型结果，对应三种取舍：
- 保留：两组差异来自可修复的链接或状态问题，且页面本身有独立价值。此时补链接、修状态，继续观察。
- 改写：页面内容与已有页面高度重叠，导致抓取优先级低。此时合并或改写，减少重复入口。
- 退出：页面无搜索需求、无内链价值、也无外部引用。此时从站点地图和内链中移除，避免占用抓取预算。
判断依据不是“有没有被发现”这一个指标，而是“修复后是否值得继续投入”。如果修复动作的成本高于页面本身的价值，退出比保留更合理。
最后提醒一点：请求量、抓取量或某项统计归零，不能单独证明处理正确。它也可能是抓取周期波动、日志采样变化或服务器临时调整造成的。要结合对照组的前后变化一起看，才能判断下一步该保留、改写还是退出。
