A/B测试

(1)支持流量分组维度A/B测试

 

2. 操作指引

2.1 A/B测试使用流程

2.1.1 创建A/B测试

(1) 您可以通过 【应用管理】-【聚合单元】列表选择需要创建A/B测试的聚合单元，点击聚合单元进入聚合单元编辑页面，点击【添加A/B测试】

(2) A/B测试创建完成之后，原有的聚合单元的WaterFall配置将自动同步到A/B测试中最小ID的分组（如配置了A\B\C三组，将自动复制到A组)。 其他分组(B/C)如果要同步原有聚合单元的WaterFall配置可以使用复制现有WaterFall功能

(3) A/B测试的生效时间可以选择立即或指定时间。

 

2.1.2 为A/B测试的分组设置WaterFall

创建完成A/B测试后，可以在聚合单元为各个A/B测试分组配置广告单元。

 

2.1.3 在A/B测试中查看A/B测试数据

(1) 进入【应用管理】-【A/B测试】页面，选择需要观察的A/B测试，查看当前A/B测试不同分组的对比数据。

(2) 如果需要查看A/B测试下不同分组的广告单元详细数据，可以到【数据报表】-【瀑布流报表】中选择对应的聚合单元进行查看。在【数据报表】-【瀑布流报表】，你可以查看A/B测试历史全部数据。

(3) 针对已结束的A/B测试，可以点击【历史设置】，查看A/B测试下不同分组的高级设置情况。
注意，历史设置仅记录结束A/B测试前一刻各个分组的高级设置情况。

 

2.1.4 在A/B测试中查看A/B测试数据

(1) 您可以在【应用管理】-【A/B测试】页面，按流量分组维度查看测试数据。

(2) A/B测试支持数据指标：

• DAU
• DEU
• 预估收益/DAU
• 预估收益/DEU
• 预估收益
• 预估eCPM
• 聚合单元请求
• 聚合单元填充率
• 展示
• 展示率
• 渗透率
• 展示/DAU
• 展示/DEU
• 点击
• 点击率
• isReady调用次数
• isReady成功率
• 切量人数

 

2.2 结束A/B测试

结束A/B测试时，您可以选择最优分组策略。结束测试后，默认下发最优分组策略。

 

3. 常见问题

(1) A/B测试功能如何分配设备？

AB策略不变的话，设备ID会被固定分配到其中一个组。若是策略改变，比如修改切量权限，那么设备ID会重新分配。