当页面数量从几十涨到几百上千,最先出问题的往往不是策略,而是手工维护的吞吐量。判断标准很直接:一项工作如果每次都要人逐页打开、逐条复制、凭记忆比对,并且漏一次就会影响抓取或索引,它就不适合继续手工做,应改为模板化、批量校验或自动监控;反之,只涉及少量高价值页面、需要人工判断语义和意图的工作,手工反而更稳。
规模扩大带来的不是“工作量变多”这么简单,而是错误率和管理成本同时上升。可以用一个假设例子说明:假设站点有50个栏目页、2000个内容页,如果每上新一批内容都靠人工检查标题标签、内链入口和分页链接,检查一遍需要数小时,且不同人标准不一致。此时真正的风险不是慢,而是漏检的页面进入索引后才被发现,而抓取、索引、排名是不同环节,索引阶段的问题往往要等更久才暴露。
更适合继续手工的情况是:页面总量少、更新频率低、每页都需要针对具体业务做措辞判断。例如核心产品页的介绍文案、重点专题的选题结构,这类工作依赖人的语义理解,批量模板化容易把页面做成同质内容,反而削弱页面之间的区分度。
以下工作一旦进入规模化阶段,继续手工做通常得不偿失:
实施动作可以这样落地:先选一个栏目做小范围导出,把上述字段整理成一张对照表,人工标出哪些属于“规则能判断”、哪些属于“必须看内容才能判断”。如果规则能判断的比例明显占多数,就值得写一次脚本或配置一次模板;如果多数需要看内容,就先保留手工,只把明显机械的部分抽出来。这个动作的结果会直接影响下一步:规则化比例高的站点,应优先建设批量检查流程;比例低的站点,应把人力集中在内容质量与页面意图上。
规模化之后常出现一种与直觉相反的现象:页面发得越多,整体抓取量或某栏目请求量反而下降。这时不要立刻断定是“被降权”,因为同一现象至少有几种合理解释:
可核对的证据是:分别看新页面是否有稳定内链入口、站点地图是否包含这些地址、同栏目旧页面的抓取是否同步变化。如果只有新页面没有入口,而旧页面表现平稳,问题更可能出在链接结构,而不是内容本身。此时应补内链和入口,再观察下一轮抓取;如果补了入口仍无变化,再考虑内容层面的调整。请求量或抓取量归零,不能单独证明某项处理正确,它也可能只是统计口径变化或抓取节奏波动。
条件一:页面高度模板化,差异只在字段值。此时应把字段校验、链接生成、站点地图更新交给程序或模板,人工只审核规则和异常。继续手工做,规模越大越容易标准漂移。
条件二:页面需要逐篇判断意图和措辞。此时应保留人工,但把机械部分前置过滤,例如先自动列出缺标题、缺内链的页面,人只处理清单。例外是:如果这类页面数量极少,且更新不频繁,手工维护成本可控,就不必为了自动化而自动化。
判断的落点不是“手工好还是自动好”,而是这项工作出错后能否被及时发现。能被批量核对、且错误会累积的工作,适合尽早脱离手工;依赖语义判断、且数量有限的工作,手工仍是更合适的选择。