How To Do Experiments / 如何实验

How To Do Experiments / 如何实验

It doesn't matter how beautiful your thoery is, it doesn't matter how smart you are. If it doesn't agree with experiment, it's wrong.


Richard Feynman
Theoretical Physicist

这篇阅读是公司内部 APM (Associate Product Manager) Program 的阅读材料. 配合我们的其他相关文档使用, 可以在 BootcampExperiment 里面找到.

在之前的"说说实验的重要性"里, 我们谈论到了 Experimentation driven + Growth driven Product Development 模式对于一个创业公司的成功和破局能力来说至为重要, 那今天我们来具体介绍一下该怎么去做实验.

假设区间

我们所有做的实验会落在三个风险区间

可行性风险 (Feasibility Risk) - 我们是否有能力和资源做这个事情?

  1. 工程能力不足 - 延期或者功能实现失败
  2. 核心资源缺失
  3. 无法和关键合作方合作
  4. 其他

需求性风险 (Desirability Risk) - 我们想做的是否是用户真的需要的?

  1. 市场不存在或者太小
  2. 产品价值定位错误
  3. 没有推销渠道, 产品无法触达到新用户
  4. 无法与用户沟通, 造成留存风险
  5. 其他

商业性风险 (Viability Risk) - 长期这个产品或者服务能不能做成个好生意?

  1. 用户付费意愿低
  2. 单元经济为负
  3. 规模化困难
  4. 其他
Business Model Canvas and Value Proposition Canvas

能不能做, 该不该做, 能不能一直做, 这三个小问题决定了公司的大命运. 所以我们需要小步快跑 (最小化成本) 去快速实验 (缩短反馈周期) 并评估迭代 (数据参与)来降低执行风险:

假设 + 实验 + 数据验证 + 决策 = 降低业务不确定性 / 执行风险

假设

核心假设包括可行性假设, 需求性假设和商业性假设. 当我们有多个假设需要被验证时, 通过问两个问题来确认优先级

  1. 我的业务/产品idea如果要成功, 最重要的假设是什么?
  2. 目前没有确凿数据的验证的假设是哪些?

以"我们相信.." 开始,  一个好的假设都是可以精确, 独立并且容易被测试的. 以下我们以本地生活业务举例


Testable
(可验证)

我们相信年轻用户想要
本地生活产品

我们相信年轻用户想用租房类
的本地生活产品

Precise
(精确)

我们相信租客愿意在CBD花
比较多的钱去租房

我们相信刚毕业, 收入超过1万元的应届
生愿意以3000元一个月的价格再CBD租个单间

Discrete
(独立)

我们相信租客愿意为打
扫卫生和维修付费

我们相信租客每个月愿意花200元在保洁费用上

我们相信租客每年愿意花100元在维修费用上

优先级

分别把可行性, 需求性, 商业性的假设映射到下面的四个象限中

Assumption Map

在实操过程中, 经常会出现与ENG团队沟通时发现工程实现难度超出预期 (尤其对于非ENG背景的APM), 这个时候一定要深度思考一下你的核心假设是什么, 和ENG清楚的沟通你的核心假设, 聆听ENG的意见考虑能不能做减法, streamline工程实现方式去验证核心假设.


实验

作为减低业务不确定性和一种执行方式, 实验有以下几个特点

  1. 是一个科学方法
  2. 聚焦减低业务不确定性和执行风险
  3. 需要严谨的数据确认或者拒绝某个假设
  4. 速度快/速度慢, 低成本/高成本都有可能, 需要试验设计者仔细思考

一个好的实验应该

  1. 实验对象明确 (who)
  2. 实验场景明确 (where / occasion)
  3. 实验内容明确 (what)
  4. 已有组件复用度高 (efficient)

新需求试验卡片

Treatment 实验卡片

具体参考我们的 实验文档


协作计划

Daily 10:00 - 10:15
Standup / 同步

  1. 今天要ship的实验
  2. 关键依赖和blocker信息同步并协调解决

Second Wednesday monthly 12:30 - 13:30
Retrospective / 复盘

  1. 花5分钟写下做得好的地方 - 团队, 实验, 业务等
  2. 讨论做的好的地方
  3. 花5分钟写下需要改进的地方 - 团队, 实验, 业务等
  4. 讨论做的不好的地方
  5. 花10分钟写下三个你想尝试的点子
  6. 讨论想尝试的点子

除了上述的做法, 我们还会尝试speedboat, start-stop-keep, keep-drop-add 方式来做retrospective, 然后选择最适合我们的.


Every Wednesday 13:30 - 14:30
Learning / 分析学习

  1. 与团队报告实验数据与反馈 - 清楚精确的报告, 依照这个模板
  2. 讨论实验数据与反馈 - be open minded
  3. 更新相应的 Canvas

Every Wednesday 14:30 - 15:30
Planning / 计划

  1. 确定下周需要做的假设
  2. 根据确定假设制定试验的优先级
  3. 分配试验任务
  4. 同步信息给所有的stakeholder

Last Wednesday monthly 15:30 - 16:30
Deciding / 决策迭代

  1. 报告当月的总结 (汇总每周的learning goal和其他重要信息)
  2. 与stakeholders明确沟通需要协助的事项
  3. 结合当月的分析学习和战略方向, 与stakeholders沟通业务的转型, 迭代和停止的决策