记录改动前后的基线,关键不是把改动当天所有数字截一张图,而是先固定同一批目标群体、同一统计口径和同一观察窗口,再分别保存改动前与改动后的原始数据、分组定义和采集时间。缺少其中任何一项,前后对比都可能把人群变化、季节波动或统计口径变化误判成改动效果。
很多人做目标群体分析时,习惯在改版前截一张后台总览,改版后再截一张,然后直接比较总量。这种做法的问题在于,截图只保留了结果,没有保留口径。比如改动前统计的是“访问过某页面的全部用户”,改动后统计的是“完成某关键行为的用户”,两个数字即使同源,也不属于同一群体。
更隐蔽的问题是群体本身会流动。改动可能吸引新用户进入,也可能让原有用户离开。如果只看总量,新增和流失会互相抵消,看不出哪一类目标群体真正发生了变化。因此基线必须记录“谁被算进来”,而不只是“一共有多少”。
在动手记录之前,先把下面几项写成固定文本,后续每次采集都照此执行:
这些内容看起来琐碎,但它们决定了改动后的数字能不能和改动前放在一起比较。口径一旦变化,基线就失效了。
目标群体分析最怕把不同人群揉成一个总数。可行的做法是按维度分层记录,每一层都保留改动前和改动后的值。例如:
分层之后,即使总量没有明显变化,也可能看到某一层明显上升、另一层明显下降。这种结构变化往往比总量更能说明改动影响了谁。
假设你要对一个已有页面做结构调整,可以按以下步骤操作:
如果改动后某层数据缺失,不要用其他层的数据推算补齐,而应标注为缺失,并说明缺失原因。缺失本身也是判断结论可靠性的依据。
即使基线记录完整,也不能直接断定变化由改动引起。以下情况会让对比失真:
遇到这些情况,应把结论限定为“在该口径和该窗口下观察到的变化”,而不是“改动导致了该变化”。如果条件允许,保留一个未改动的对照群体或对照页面,能帮助排除部分外部波动。
下一步,先把你当前项目里正在使用的群体定义和指标口径写成一页说明,再按这份说明补录改动前的分层数据。口径写不清楚的地方,就是后续对比最容易出错的地方。