终止条件不是“效果不好就停”,而是在试验开始前就写清楚:什么信号出现时推广、什么信号出现时停止、什么信号出现时延长观察。对百度搜索而言,试验页的流量基数通常很小,单看某天的点击或展现波动很容易误判,所以终止条件要绑定可复核的指标和明确的观察窗口。
假设你有一个内容站,栏目页标题和摘要长期未改,决定先挑三页做试验。你调整了标题写法与首段信息密度,观察两周后,试验页在百度的展现量上升,但点击率变化不大。此时是否推广到全站,取决于你事先设定了什么终止条件,而不是取决于“有两页看起来变好了”。
这里的关键前提是:试验页与全站页面的内容类型、竞争程度和更新频率大致相近。如果试验页恰好是站内权重最高的三页,或者恰好赶上一次行业搜索需求上升,那么试验结果就不能直接外推。终止条件要能区分“改动带来的变化”和“外部环境带来的变化”。
可操作的终止条件至少包含三类,每类都对应一个具体动作。
这三条线要在改动之前写下来,并注明判断依据。否则看到数据后很容易只挑对自己有利的解释。
试验页展现量变化,不一定来自标题改动。至少要考虑三种替代解释:一是搜索需求本身在变化,比如某类问题在特定时间段被更多人搜索;二是数据采集差异,比如统计口径、过滤条件或页面加载状态发生了变化;三是页面被发现和抓取的状态变化,比如新内容被处理的时间点不同。
一个实用动作是:在试验期间保留一份未改动的对照页,对照页与试验页类型相近、流量量级相近。比较时看两组页面的变化方向是否一致。如果对照页也同步上升,那么试验页的上升就不能单独归因于改动。这一步的结果会直接影响下一步:只有试验组明显区别于对照组时,才进入推广判断。
即使试验页通过了推广线,也不建议一次性改完所有页面。更稳妥的做法是按页面类型分批:先推广到与试验页最接近的一批,再观察一个完整窗口。如果这批页面没有出现异常,再继续扩大。
分批推广的终止条件可以设为:某一批页面在推广后出现集中下滑,或出现与试验页方向相反的变化。此时应停止继续扩大,回到上一批已稳定的范围,检查改动是否在某些内容类型上不适用。这个动作的结果决定了你是继续推广、缩小范围,还是回到试验阶段重新设计。
第一个参数是观察窗口的长度。窗口太短,容易把正常波动当成趋势;窗口太长,会拖慢决策。对更新频率不高的内容页,可以设定为改动后至少经过一个完整的搜索需求周期再判断。具体长度取决于你的业务节奏,但要在开始前写定,不能事后调整。
第二个参数是指标优先级。展现、点击、访问深度和转化不是同等重要。如果试验目标是验证标题与摘要是否更匹配搜索意图,那么点击率的变化比展现量更有参考价值;如果目标是验证内容覆盖是否更完整,那么展现量和新出现的查询词更有参考价值。先确定主指标,再确定辅助指标,避免用辅助指标的改善去掩盖主指标的恶化。
把这两个参数写进终止条件后,推广决策就不再依赖“感觉变好了”,而是依赖一组事先约定的判断规则。规则本身可以随着业务变化调整,但调整要发生在下一轮试验开始之前,而不是在观察中途。