# A/B 测试与线上指标

## 元数据

- 书名：深度学习推荐系统
- 作者：王喆
- 章节：第7章 推荐系统评估
- 页码线索：225-228
- 目标岗位：AI PM / 推荐系统产品 / 算法工程师面试
- 优先级：P0
- 标签：ab-test, online-evaluation, metrics

## 面试问题

推荐系统为什么必须做 A/B 测试？

## 30 秒回答

离线评估无法完全代表真实用户行为和业务结果，A/B 测试通过随机分桶在线比较策略效果，是验证推荐系统改动是否真正有效的关键方法。

## 展开要点

- 分桶要随机、稳定、互斥，避免污染。
- 线上指标要包含主指标和护栏指标。
- 推荐系统要看短期收益和长期留存/生态影响。
- 实验要关注统计显著性和样本量。

## 高频追问

- A/B 分桶有哪些原则？
- 线上评估指标如何设计？
- 实验结果和离线结果相反怎么办？

## 项目映射

- 推荐卡片排序改动上线，用完成率和留存做实验。
- AI 对话答案策略用有用率、追问率、人工兜底率做 A/B。

## AI PM 迁移

AI PM 要能设计线上实验，否则无法证明模型或 prompt 改动有真实价值。

## 备注

本卡为面试复习用的主题重构和答题框架，不保存原书正文。