UI Experiment / 交互实验
在之前的"如何做商业实验"中, 我有介绍到如何从宏观业务层面做商业实验 (BIE), UIE 则更加注重 KPI Optimization. 换句话说, UIE 是更注重微观层面, 更加面向用户的直接实验 (direct experiment). 对于 BIE 来说, 很强的业务和产品的 know-how (depth) 是必要的条件, 而 UIE 则更加侧重交互上的 test-anything-testable (breadth), 所以能够执行此类实验的同事不仅限于产品或者策略, eng和运营或者说全公司都可以参与此类的实验. 着重要鼓励参与和执行此类实验的同事是 UX Engineers (UXE) 和 associate product managers (APM).
Func facts - Google 很有名的一个 41-shades-of-blue 实验就给公司带来了 $200 million 的额外收入.
"But the implications of that for us, given the scale of our business, was that we made an extra $200m a year in ad revenue."
Dan Cobley, Marketing Director at Google
在介绍具体 UIE Process 之前我先简单介绍一下我们的
- Experimentation Charter (实验团队章程)
- Optimization Framework (优化体系)
Experimentation Charter / 实验团队章程
去这里查看. 章程里面包括了最新的团队, 流程, 日程, 和其他实验相关的所有信息. 大家可以把这个作为我们实验相关的 source-of-truth.
Optimization Framework / 优化体系
大画面
下面我们通过 Goal Tree 和 Opportunity Map 去拆解一下上面的大画面. 下面是一个示例 Goal Tree:
接下来, 我们从最底部的 leaf node (叶子结点) 开始寻找可以做实验的区域. 比如说"点击我要推广", 我们把这个列为我们的优化目标 (Optimization Target), 建立一个 Opportunity Map.
Hypothesis / 试验假设
当我们明确了大画面后, 我们可以完成 Business Intelligence Report (Wiki) 和Analytics Report (Wiki, Amplitude or Tableau), 并且阶段性会开 brainstorming 的会来讨论扩大测试的 Roadmap, focus 在 opportunities (max ROI).
参会人员包括
- Direct stakeholders / 项目参与者
- Data Analyst / 数据分析师
- Engineers / 工程师
- Designers / 设计师
- Funnel Contacts / 用户在 funnel 中会接触到的团队同事
我们每次 meeting 应该 deliver 5 - 10 个清晰专注的假设.
Priorities / 实验优先级
当我们通过 Goal Tree 和 Opportunity Map 生成了很多 Optimization Targets 和Experiments 的时候, 我们怎么去确定优先级呢?
在评估优先级时, 我们考虑试验会有的 impact 和需要投入的 effort. 举个例子:
具体的的标准查看这里.
然后我们看下面的等式.
Quick Wins + Impactful Tests = Improved KPI
我们来拆解一下这个公式的左边
Quick Wins ~ (Minimum Detectable Effect (MDE), <2-week, effort)
Impactful Tests ~ (Expected ROI)
可以看到, 我们更加 prefer 期待 ROI 高并且在流量足够和投入可接受的情况下两周内能完成的实验.
目前的优先级列表在这里.
Experiment Plan / 实验计划
看这里.