# 损失函数、优化与正则化

## 元数据

- 书名：百面机器学习：算法工程师带你去面试
- 作者：葫芦娃
- 章节：第 7 章 优化算法
- 页码线索：142-164
- 目标岗位：AI PM / LLM 产品 / 算法工程师面试
- 优先级：P0
- 标签：optimization, loss, regularization

## 面试问题

机器学习中的损失函数和优化算法怎么选？

## 30 秒回答

损失函数定义模型错在哪里，优化算法决定如何逼近更优参数，正则化控制模型复杂度。选择要匹配任务类型、数据规模、可优化性和泛化目标。

## 展开要点

- 回归常用平方误差/绝对误差，分类常用交叉熵、hinge loss。
- 凸优化更容易找到全局最优，深度学习多为非凸但可用梯度法有效训练。
- 梯度检查用于验证反向传播或手写梯度。
- L1 倾向稀疏，L2 倾向平滑，都是控制过拟合的方式。

## 高频追问

- 交叉熵为什么适合分类？
- L1 为什么会产生稀疏性？
- SGD、Momentum、Adam 有什么区别？

## 项目映射

- 解释一个分类模型为什么改 loss 后业务指标变化。
- 在稀疏特征场景中说明 L1 的作用。

## AI PM 迁移

LLM 训练也绕不开 objective：PM 至少要知道优化目标不等于真实用户满意度。

## 备注

本卡为面试复习用的概念重构和答题框架，不保存原书正文。