😆回答王宗俊的问题
type
status
date
slug
summary
tags
category
icon
password
Created time
Jun 11, 2025 07:24 AM
看了你前几天写的文章,对“如何做出好产品”的 AB 测试部分,相找你请教下
关于数据分析,我自己也是一塌糊涂,主要的问题

1、分析结论与实践结果
我们也通过数据能分析到结论,按照结论做了实践,但是很多时候实践的结果并没有达到预期。可能有环境变化,用户所在国家等差异。通过细化降低差异性,但是有时候又发现,只分析某一局部,整体不一定合适。在这方面,你有什么好的规则以及指导方式?
从我的经验来看,数据分析更适合做归纳总结,而不太能推导出确定性因果。所以我会对每次调整都做详细记录,比如某次我将 slots 的回收率从 3% 调到 5%,在不改变波动结构的前提下,观察用户的局数、游戏时长和留存是否变化,最终关注的还是收入和 LTV 是否回正。 我的一个判断原则是:其实很多时候我们心里已经大致知道调整后的方向,AB 测试只是为了验证,并不需要“贪心”地求出最优解。测试的用户量我通常希望在 1000 人以上,测试周期也会拉到能观察同比/环比的时间,必要时记录下结果,过一段时间回看是非常关键的。
2、短期数据、长期数据
很多时候分析看,短期数据提高不少,但是长期看实际上没有什么太大差异。关于这种短期数据、长期数据,你有什么好的方式
我个人在项目中一般定义短期为 2 周左右,长期大概是 2 个月。短期数据上升需要具体看哪些指标,比如流水盘子变大了,可能是牺牲了回收率;如果增长的不是核心指标,那提升就没有实质意义。比如流水涨了 100 倍但收入没变,那等于白忙活。我的方法其实很简单:凡事往“坏处”看。就算什么都不动,有时候数据也可能自然上涨,比如月初比月末普遍更活跃。所以关键还是要判断 看的是哪个数据、代表什么行为、是否具有可持续性。
3、用户群体在 App 中受多种因素影响
有的人说,额可以通过因素 A、B、C、D,找到影响最大的因子,这一块你有什么好的方式?
我的做法相对直觉导向:深入体验项目。站在用户视角去体验你所在的赛道,去玩竞品,看看自己愿意为哪些功能付费。例如在多邻国我会愿意为多倍经验、断签补偿付费,在 Royal Match 中愿意买超级光球。我会从这些“自我感知的付费动机”出发回看自己的产品。如果从方法论的角度讲,我个人认为影响最强的普遍因子是“损失厌恶”或者说“既得利益的保护机制”。另外当然还是要熟悉自己所在的品类。比如我做 slots,会特别关注波动设计,这通常是影响玩家情绪和付费的核心因子之一。
4、假如你自己数据分析
你会从哪些方面去反思数据中的陷阱?或者通过感觉去扩大自己的“分析范围”
坦白讲,我不会天天看数据——因为大部分数据不会有大起伏。除非是上线了新功能,否则我大多每月回看一次,半年做一次归档整理。我的习惯是把所有功能模块用 Excel 梳理出来,串联不同子系统的关系,观察整体流水走势。很多时候,一个小数值的改动会牵动整个系统,所以要整体观来看。至于数据陷阱,我的建议是“不要太快下判断”,让数据晾一晾,否则容易陷入 ego 思维,总觉得自己能靠参数调优把一切搞好。反而应该往“最差的情况”去设想,接受“即使调整也未必奏效”的现实。