试验性工作不能拿排名或流量当验收门槛,完成应当定义为“预先约定的可交付物全部提交、过程记录可复核、继续或停止的决策依据已经形成”。换句话说,验收对象是动作与证据,不是结果。对旧内容、旧系统或旧合作关系,这一点尤其关键:只有把完成边界说清楚,才能判断哪些部分值得保留、哪些应当退出。
试验性工作的完成标准取决于一个前提:这次试验是否已经积累了足够的数据用于决策。条件不同,验收方式也不同。
如果改动上线时间短、样本量小,或外部环境在试验期内发生了明显变化,那么完成只能按交付物验收。常见可交付物包括:改动清单、上线记录、对照组的设定方式、原始数据导出文件、已知干扰因素的说明。此时完成等于“证据可复核”,而不是“结论已成立”。
对应的实施动作是:在启动前把交付物写成清单,每一项注明由谁提交、以什么形式提交。上线后按清单逐项核对,缺哪一项就说明试验尚未完成。这个动作的结果直接影响下一步——如果交付物齐全但数据不足,下一步是延长观察期或调整测量方式,而不是直接判定服务失败。
如果观察期足够长、样本量足够,且没有重大外部干扰,完成标准应升级为“形成一份可决策的结论”。结论不要求证明有效,只要求回答:继续投入、调整方向,还是停止。此时完成等于“决策已经做出并有依据”。
实施动作是:由需求方在收到数据后给出书面判断,明确保留、修改或退出。这个动作的结果决定旧合作关系是否延续,也决定旧内容、旧系统中哪些部分进入维护清单。
排名和流量受算法调整、竞争环境、季节波动、需求变化等多重因素影响。把它们写成验收条件,会出现两种常见误判:一是把外部波动当成服务方失职,二是把短期上升当成方法有效。更稳妥的做法是把可归因的部分与不可归因的部分分开记录。
可归因的部分通常包括:约定的页面或模板是否按要求修改、结构化数据是否按规范输出、旧链接是否按计划处理、日志或抓取记录是否留存。不可归因的部分包括:搜索需求本身的涨落、竞争对手的动作、平台展示规则变化。验收只看前者,后者作为背景说明写入记录。
一个假设的短例子:某旧栏目计划做三个月试验,约定交付物为“每两周一次改动记录、一份原始数据导出、一份干扰因素说明”。三个月后数据波动很大,但交付物齐全。按条件一,这次工作算完成,结论是“数据不足以判断”,下一步可选择延长观察或直接退出。若交付物缺失,则无论数据好坏,都只能算未完成。
试验性工作结束不等于全部推倒。退出前应做一次资产盘点,把仍然有价值的部分单独保留。
例外情况有两种。其一,如果试验期内出现了明确的外部规则变化,导致原定测量方式失效,那么完成标准应改为“重新定义测量方式并记录变更原因”,而不是强行套用原标准。其二,如果需求方在试验中途改变了目标,原交付物清单需要重新协商,否则验收会变成对旧目标的追溯,失去意义。
这四个动作的共同作用是把“完成”从结果承诺转为过程确认。做完之后,下一步的判断会清晰很多:交付物齐全且决策已做出,合作可以按结论收尾;交付物缺失,则先补齐记录再谈结论,避免用结果好坏掩盖过程缺失。