Loading...
墨滴

algolearn

2021/12/01  阅读:50  主题:默认主题

为什么进行AB测试&如何进行

1 模型离线评估后,为什么要进行ab测试?

  1. 离线评估无法消除过拟合的影响,因此离线评估结果无法代替线上的评估效果
  2. 离线评估过程中无法模拟线上的真实环境,例如数据丢失、样本反馈延迟
  3. 线上的某些商业指标例如收益、留存等无法通过离线计算

2 如何进行线上ab测试?

进行ab测试的主要手段时对用户进行分桶,即将用户分成实验组和对照组。实验组使用新模型,对照组使用base模型。分桶过程中需要保证样本的独立性和采样的无偏性,确保每个用户只划分到一个桶中,分桶过程中需要保证user id是一个随机数,才能保证数据无偏的。

欢迎关注微信公众号(算法工程师面试那些事儿),本公众号聚焦于算法工程师面试,期待和大家一起刷leecode,刷机器学习、深度学习面试题等,共勉~

算法工程师面试那些事儿
算法工程师面试那些事儿

algolearn

2021/12/01  阅读:50  主题:默认主题

作者介绍

algolearn