# A/B 测试与验证方法

## 元数据

- 书名：百面机器学习：算法工程师带你去面试
- 作者：葫芦娃
- 章节：第 2 章 模型评估
- 页码线索：037-040
- 目标岗位：AI PM / LLM 产品 / 算法工程师面试
- 优先级：P0
- 标签：ab-test, evaluation, online-experiment

## 面试问题

为什么需要在线 A/B 测试？如何避免实验陷阱？

## 30 秒回答

离线指标只能说明历史数据上的拟合效果，在线 A/B 测试验证真实用户行为和业务收益。关键是随机分流、样本独立、实验周期、指标口径、显著性和互斥实验管理。

## 展开要点

- 离线数据可能与线上流量分布不同。
- 实验组/对照组要随机、稳定、可追踪。
- 同时看主指标、护栏指标和分群指标。
- 避免提前停止、污染样本、重复实验和幸存者偏差。

## 高频追问

- 什么时候不能直接做 A/B？
- 如何处理新模型冷启动？
- 线上指标下降但离线指标上升怎么办？

## 项目映射

- 推荐排序、搜索召回、LLM 答案样式、价格策略都可讲实验设计。
- 准备一个 guardrail metric 保护用户体验的案例。

## AI PM 迁移

AI PM 必须能设计 eval + A/B 的闭环，否则模型选择会变成主观试用。

## 备注

本卡为面试复习用的概念重构和答题框架，不保存原书正文。