[ { "number": 1, "chapter": "前言 / 机器学习算法工程师的自我修养", "page_hint": "前言", "title": "算法工程师的工作闭环", "interview_question": "算法工程师和普通工程师最大的工作差异是什么？", "short_answer": "算法工程师不只是调模型，而是从业务问题出发，定义数据、特征、模型、实验、指标和上线反馈的闭环。真正的能力体现在发现问题、验证假设、迭代方案和解释取舍。", "key_points": [ "先判断问题是否适合机器学习，而不是先选模型。", "把生活或业务中的现象转成可观测数据和可优化目标。", "产品化时要关心用户体验、指标提升、成本、稳定性和可维护性。", "算法研究与业务落地的差别在于：后者必须经得起线上实验和用户反馈。" ], "follow_ups": [ "你如何判断一个需求应该用规则还是模型？", "线上效果不如离线效果时你怎么排查？", "算法同学和产品同学容易在哪些地方误解彼此？" ], "project_mapping": [ "用一个推荐/搜索/风控项目说明从问题定义到线上实验的过程。", "准备一个因为指标选择错误导致误判模型效果的复盘案例。" ], "aipm_transfer": "AI PM 可以把这张卡当作所有 AI case 的总框架：问题、数据、模型、评估、上线约束、反馈迭代。", "tags": [ "career", "algorithm-engineer", "productization" ], "priority": "P0" }, { "number": 2, "chapter": "第 1 章特征工程", "page_hint": "002", "title": "数值特征归一化", "interview_question": "为什么需要对数值类型的特征做归一化？", "short_answer": "归一化让不同量纲的特征落到相近尺度，避免模型训练被数值范围大的特征主导，并提升梯度下降类模型的收敛效率。但树模型通常不依赖特征尺度。", "key_points": [ "常见方法包括 min-max scaling 和 z-score 标准化。", "线性模型、SVM、神经网络、KNN 等通常受尺度影响。", "决策树按分裂收益选择特征，单调缩放通常不改变分裂逻辑。", "归一化参数必须只在训练集上拟合，再应用到验证/测试/线上。" ], "follow_ups": [ "哪些模型需要归一化，哪些不敏感？", "线上新数据超出训练集范围怎么办？", "归一化和标准化有什么区别？" ], "project_mapping": [ "在用户画像、价格、时长、频次等混合特征场景中说明预处理方案。", "讲一个因为训练/线上特征处理不一致导致效果异常的案例。" ], "aipm_transfer": "AI PM 不必背公式，但要知道特征尺度会影响训练稳定性和模型比较公平性。", "tags": [ "feature-engineering", "normalization" ], "priority": "P0" }, { "number": 3, "chapter": "第 1 章特征工程", "page_hint": "004", "title": "类别型特征编码", "interview_question": "类别型特征应该如何处理？", "short_answer": "类别特征要根据类别之间是否有序、取值规模和模型类型选择编码方式。有序类别可用序号编码，无序低基数类别常用 one-hot，高基数类别需要考虑哈希、二进制编码、目标编码或 embedding。", "key_points": [ "序号编码会引入大小关系，只适合天然有序类别。", "one-hot 简单可靠，但高基数时维度膨胀。", "高基数 ID 特征常与 embedding、哈希或特征选择结合。", "目标编码要严防 label leakage，需要交叉验证式编码。" ], "follow_ups": [ "为什么血型不应该直接编码成 1、2、3、4？", "高基数类别特征会带来什么问题？", "类别编码如何应对线上未见过的新值？" ], "project_mapping": [ "推荐系统中的 user_id/item_id 如何表示？", "广告定向中的地域、设备、兴趣标签如何编码？" ], "aipm_transfer": "AI 产品里大量配置、渠道、权限、意图都是类别特征；PM 要关心可解释性、冷启动和新类别兜底。", "tags": [ "feature-engineering", "categorical" ], "priority": "P0" }, { "number": 4, "chapter": "第 1 章特征工程", "page_hint": "006-009", "title": "组合特征与高维稀疏问题", "interview_question": "什么是组合特征？如何处理高维组合特征？", "short_answer": "组合特征用于表达特征之间的交互关系，但高基数特征直接交叉会导致参数爆炸和过拟合。常见处理是低维 embedding、矩阵分解、GBDT 生成组合路径或特征选择。", "key_points": [ "组合特征适合捕捉单独特征无法表达的条件关系。", "user_id x item_id 这类交叉会产生巨大稀疏空间。", "低维向量表示可以把交叉参数量从乘法规模降下来。", "GBDT 路径可作为自动发现组合特征的一种方式。" ], "follow_ups": [ "为什么推荐系统经常用 embedding？", "特征交叉多是不是一定更好？", "如何判断一个组合特征值得上线？" ], "project_mapping": [ "用用户类型 x 内容类型解释推荐或广告点击率提升。", "准备一个从业务假设出发设计组合特征的案例。" ], "aipm_transfer": "对 AI PM 来说，这对应“上下文组合”：用户、任务、场景、内容、工具状态一起决定模型体验。", "tags": [ "feature-engineering", "recommendation", "embedding" ], "priority": "P0" }, { "number": 5, "chapter": "第 1 章特征工程", "page_hint": "011", "title": "文本表示模型", "interview_question": "有哪些文本表示模型？它们各有什么优缺点？", "short_answer": "文本可从稀疏词袋、TF-IDF、主题模型、词向量到深度表示逐步升级。传统方法简单可解释，深度表示语义能力更强，但训练和评估复杂度更高。", "key_points": [ "词袋忽略词序，适合简单分类和检索基线。", "TF-IDF 降低高频通用词权重，常用于搜索和文本分类。", "主题模型适合发现文档集合的潜在主题。", "词嵌入和深度模型能表达语义相似性和上下文关系。" ], "follow_ups": [ "TF-IDF 为什么仍然有价值？", "词袋模型的主要缺陷是什么？", "embedding 相似是否等于语义正确？" ], "project_mapping": [ "企业知识库检索可用 BM25 + embedding hybrid search。", "客服意图识别可以先用 TF-IDF/传统模型做基线。" ], "aipm_transfer": "这张卡可以直接迁移到 RAG：关键词检索、向量检索、主题聚类本质上是不同文本表示的产品取舍。", "tags": [ "text", "embedding", "RAG" ], "priority": "P0" }, { "number": 6, "chapter": "第 1 章特征工程", "page_hint": "013", "title": "Word2Vec 与主题模型", "interview_question": "Word2Vec 如何工作？它和 LDA 有什么区别？", "short_answer": "Word2Vec 通过上下文预测学习词的稠密向量，关注词在相似上下文中的分布关系；LDA 是生成式主题模型，关注文档、主题、词之间的概率结构。", "key_points": [ "CBOW 用上下文预测中心词，Skip-gram 用中心词预测上下文。", "Word2Vec 的结果是词向量，常用于相似度、召回和下游特征。", "LDA 的结果是文档-主题和主题-词分布，更适合主题解释。", "二者都利用共现信息，但建模目标和可解释性不同。" ], "follow_ups": [ "CBOW 和 Skip-gram 的差别是什么？", "为什么负采样能加速训练？", "什么时候选主题模型而不是 embedding？" ], "project_mapping": [ "用 LDA 做内容库主题盘点，用 embedding 做语义召回。", "在搜索或推荐里比较主题标签和向量召回的差异。" ], "aipm_transfer": "AI PM 在设计知识库时要区分“可解释的主题组织”和“语义相近的召回能力”。", "tags": [ "word2vec", "topic-model", "embedding" ], "priority": "P1" }, { "number": 7, "chapter": "第 1 章特征工程", "page_hint": "016", "title": "训练数据不足", "interview_question": "图像分类训练数据不足会带来什么问题，如何缓解？", "short_answer": "数据不足最直接的问题是过拟合。缓解方法包括简化模型、正则化、数据增强、迁移学习、预训练模型微调、合成数据和主动学习。", "key_points": [ "模型侧：降低复杂度、正则化、Dropout、集成。", "数据侧：旋转、裁剪、颜色扰动、噪声、上采样。", "迁移学习适合小数据任务，先借用大规模预训练能力。", "生成式方法能补样本，但要评估分布偏差和伪样本质量。" ], "follow_ups": [ "数据增强为什么不能随便做？", "小数据场景如何判断是否要 fine-tune？", "合成数据会带来哪些风险？" ], "project_mapping": [ "OCR、质检、医学图像、内容审核都可讲小样本方案。", "LLM 场景可迁移为合成数据、few-shot、RAG、人工标注策略。" ], "aipm_transfer": "AI PM 要把数据不足拆成：样本量、标签质量、覆盖场景、长尾样本和评估集代表性。", "tags": [ "data", "overfitting", "transfer-learning" ], "priority": "P0" }, { "number": 8, "chapter": "第 2 章模型评估", "page_hint": "022", "title": "准确率的局限性", "interview_question": "为什么准确率高不一定说明模型好？", "short_answer": "类别不均衡时，模型只预测多数类也能得到高准确率。评估要结合业务目标看 precision、recall、F1、AUC、分群指标和线上收益。", "key_points": [ "准确率容易被多数类支配。", "广告、风控、医疗、搜索等场景通常更关心某一类的识别质量。", "需要检查训练集、测试集和线上流量分布是否一致。", "指标选择错误会导致模型离线好看、线上无用。" ], "follow_ups": [ "正负样本极不均衡时怎么评估？", "准确率、召回率、AUC 分别适合什么场景？", "如何向业务方解释指标变化？" ], "project_mapping": [ "奢侈品广告定向、欺诈识别、投诉预警都是典型不均衡任务。", "准备一个准确率高但业务失败的例子。" ], "aipm_transfer": "LLM eval 也一样：总体满意度不够，要看关键任务、长尾失败和高风险场景。", "tags": [ "evaluation", "metrics", "imbalance" ], "priority": "P0" }, { "number": 9, "chapter": "第 2 章模型评估", "page_hint": "023", "title": "Precision 与 Recall 的权衡", "interview_question": "精确率和召回率如何取舍？", "short_answer": "Precision 关注返回结果有多准，Recall 关注相关结果找回多少。取舍取决于业务错误成本：误报贵就重 precision，漏报贵就重 recall。", "key_points": [ "搜索推荐通常要看不同 Top N 下的 precision 和 recall。", "提高阈值通常提升 precision 但降低 recall。", "P-R 曲线比单点指标更能反映模型整体表现。", "F1 是调和平均，但业务上未必总是等权。" ], "follow_ups": [ "为什么冷门内容搜索更关心 recall？", "如何选择 Top K？", "F1 什么时候不适合？" ], "project_mapping": [ "知识库问答：召回不足会导致模型不知道答案，召回过宽会引入噪声。", "内容审核：误杀和漏放分别对应 precision/recall 的不同代价。" ], "aipm_transfer": "RAG 的检索评估就是 precision/recall 权衡：既要找全证据，又不能塞太多噪声进上下文。", "tags": [ "evaluation", "precision", "recall", "RAG" ], "priority": "P0" }, { "number": 10, "chapter": "第 2 章模型评估", "page_hint": "025", "title": "RMSE 与离群点", "interview_question": "为什么 RMSE 可能被少量异常点拖垮？", "short_answer": "RMSE 对大误差平方放大，因此少量离群点就可能显著拉高指标。需要判断离群点是噪声、业务事件还是模型能力缺口，再选择清洗、建模或更鲁棒指标。", "key_points": [ "RMSE 适合惩罚大误差，但对 outlier 敏感。", "MAPE、MAE、分位数误差等指标在部分场景更鲁棒。", "异常点不能一删了之，要先判断是否代表关键业务场景。", "流量预测常有突发事件、冷启动和季节性问题。" ], "follow_ups": [ "MAE、MSE、RMSE、MAPE 有什么区别？", "异常值是噪声还是信号怎么判断？", "如何对突发流量建模？" ], "project_mapping": [ "用活动峰值、热点新闻、爆款内容解释 outlier 处理。", "LLM 产品可迁移为：少量高风险失败比平均分更重要。" ], "aipm_transfer": "AI PM 要关注 tail risk：平均体验好不代表关键用户、关键任务、关键时刻安全。", "tags": [ "evaluation", "regression", "outlier" ], "priority": "P1" }, { "number": 11, "chapter": "第 2 章模型评估", "page_hint": "027-030", "title": "ROC/AUC 与 P-R 曲线", "interview_question": "ROC/AUC 和 P-R 曲线分别适合什么场景？", "short_answer": "ROC 看不同阈值下 TPR 与 FPR 的关系，AUC 衡量正样本排在负样本前面的概率。P-R 曲线更关注正类质量，在正负极不均衡时往往更直观。", "key_points": [ "ROC 横轴是假阳性率，纵轴是真阳性率。", "AUC 对分类阈值不敏感，适合排序能力评估。", "P-R 曲线更敏感地反映正类命中质量。", "业务最终仍要落到阈值、Top K 和成本收益。" ], "follow_ups": [ "AUC 高但线上收益低可能是什么原因？", "样本分布变化对 ROC 和 P-R 有什么影响？", "如何选择上线阈值？" ], "project_mapping": [ "广告 CTR、风控、召回排序、候选筛选都适合讲 AUC。", "高风险识别或低频正类更适合强调 P-R。" ], "aipm_transfer": "LLM 评测中类似“整体排序能力”和“关键正例命中能力”的区别，不能只看一个总分。", "tags": [ "evaluation", "auc", "roc" ], "priority": "P0" }, { "number": 12, "chapter": "第 2 章模型评估", "page_hint": "033", "title": "余弦相似度与欧氏距离", "interview_question": "为什么有些场景要用余弦相似度而不是欧氏距离？", "short_answer": "余弦相似度关注方向而不是长度，适合文本、用户兴趣、embedding 等高维稀疏或语义向量场景；欧氏距离更关注绝对数值差异。", "key_points": [ "文本向量长度可能受文档长短影响，方向更能表达主题。", "向量归一化后，余弦相似与内积/欧氏距离有联系。", "余弦不是所有条件下的严格距离。", "选择距离度量要结合表示方式和业务含义。" ], "follow_ups": [ "embedding 检索为什么常用 cosine？", "向量归一化会改变什么？", "距离函数选错会造成什么线上问题？" ], "project_mapping": [ "RAG 召回、相似问题匹配、用户兴趣聚类都可以讲。", "准备一个关键词相同但语义不同的检索误召回案例。" ], "aipm_transfer": "AI PM 需要知道向量检索不是魔法，距离函数和 embedding 训练目标共同决定召回质量。", "tags": [ "similarity", "embedding", "RAG" ], "priority": "P0" }, { "number": 13, "chapter": "第 2 章模型评估", "page_hint": "037-040", "title": "A/B 测试与验证方法", "interview_question": "为什么需要在线 A/B 测试？如何避免实验陷阱？", "short_answer": "离线指标只能说明历史数据上的拟合效果，在线 A/B 测试验证真实用户行为和业务收益。关键是随机分流、样本独立、实验周期、指标口径、显著性和互斥实验管理。", "key_points": [ "离线数据可能与线上流量分布不同。", "实验组/对照组要随机、稳定、可追踪。", "同时看主指标、护栏指标和分群指标。", "避免提前停止、污染样本、重复实验和幸存者偏差。" ], "follow_ups": [ "什么时候不能直接做 A/B？", "如何处理新模型冷启动？", "线上指标下降但离线指标上升怎么办？" ], "project_mapping": [ "推荐排序、搜索召回、LLM 答案样式、价格策略都可讲实验设计。", "准备一个 guardrail metric 保护用户体验的案例。" ], "aipm_transfer": "AI PM 必须能设计 eval + A/B 的闭环，否则模型选择会变成主观试用。", "tags": [ "ab-test", "evaluation", "online-experiment" ], "priority": "P0" }, { "number": 14, "chapter": "第 2 章模型评估", "page_hint": "043-045", "title": "超参数调优与过拟合", "interview_question": "如何做超参数调优并降低过拟合风险？", "short_answer": "超参数调优要基于验证集或交叉验证，常见方法有网格搜索、随机搜索、贝叶斯优化。过拟合通过更多数据、正则化、简化模型、早停、Dropout、集成等方式缓解。", "key_points": [ "训练集用于学习参数，验证集用于选超参数，测试集用于最终评估。", "随机搜索在高维超参数空间常比网格搜索更高效。", "过拟合表现为训练好、验证/线上差；欠拟合表现为训练和验证都差。", "调参必须记录实验版本和指标，避免靠记忆调模型。" ], "follow_ups": [ "交叉验证有什么优缺点？", "早停为什么能缓解过拟合？", "如何判断是数据问题还是模型问题？" ], "project_mapping": [ "讲一个从 baseline 到调参提升的实验记录。", "LLM prompt/version 调优也可用类似实验管理方式。" ], "aipm_transfer": "AI PM 可以把 prompt、RAG 参数、模型路由都视为超参数，需要版本化和回归测试。", "tags": [ "hyperparameter", "overfitting", "experiment" ], "priority": "P0" }, { "number": 15, "chapter": "第 3 章经典算法", "page_hint": "050", "title": "SVM：间隔、核函数与松弛变量", "interview_question": "SVM 的核心思想是什么？核函数和松弛变量解决什么问题？", "short_answer": "SVM 通过最大化分类间隔寻找鲁棒超平面。核函数把非线性问题映射到高维空间，松弛变量允许少量样本违反间隔，以换取泛化和噪声鲁棒性。", "key_points": [ "最大间隔体现结构风险最小化思想。", "核技巧避免显式计算高维映射。", "C 参数控制间隔宽度和训练错误的权衡。", "SVM 在中小规模、高维特征任务中有价值，但大规模训练成本较高。" ], "follow_ups": [ "线性不可分怎么办？", "RBF 核为什么常用？", "C 和 gamma 如何影响模型？" ], "project_mapping": [ "文本分类、风控特征、传统图像特征都可以作为 SVM 场景。", "和逻辑回归比较：概率输出、可解释性、训练成本。" ], "aipm_transfer": "AI PM 面试里不必推导对偶问题，但要能说清模型选择和复杂度 trade-off。", "tags": [ "svm", "classic-ml" ], "priority": "P1" }, { "number": 16, "chapter": "第 3 章经典算法", "page_hint": "058", "title": "逻辑回归", "interview_question": "逻辑回归相比线性回归有何异同？", "short_answer": "逻辑回归用于分类，通过 sigmoid/softmax 把线性组合映射为概率，并用对数损失优化；线性回归用于连续值预测，通常优化平方误差。", "key_points": [ "逻辑回归是广义线性模型，输出可解释为概率。", "它训练稳定、可解释、易部署，是强 baseline。", "多分类可用 softmax，多标签可用多个二分类器。", "特征工程质量对逻辑回归效果影响很大。" ], "follow_ups": [ "为什么逻辑回归不是回归任务？", "LR 如何处理多分类和多标签？", "LR 与 GBDT 如何结合？" ], "project_mapping": [ "广告 CTR 预估、用户流失预测、意图分类 baseline。", "用 LR 权重解释业务特征方向。" ], "aipm_transfer": "AI PM 可以用它理解“可解释 baseline”：不是所有问题都要直接上大模型。", "tags": [ "logistic-regression", "baseline" ], "priority": "P0" }, { "number": 17, "chapter": "第 3 章经典算法", "page_hint": "061", "title": "决策树", "interview_question": "决策树如何选择分裂特征，如何剪枝？", "short_answer": "决策树通过信息增益、增益率或基尼指数选择分裂，使节点更纯。剪枝通过限制深度、叶子样本数或后剪枝减少过拟合。", "key_points": [ "ID3 常用信息增益，C4.5 用增益率，CART 用基尼指数或平方误差。", "树模型可处理非线性和特征交互，解释性较好。", "单棵树高方差，容易过拟合。", "随机森林和 GBDT 都是在树模型基础上的集成。" ], "follow_ups": [ "信息增益为什么偏好多取值特征？", "预剪枝和后剪枝有什么区别？", "树模型为什么不太需要归一化？" ], "project_mapping": [ "用风控规则、用户分层、运营策略解释树的可解释性。", "把树路径当作可解释的特征组合。" ], "aipm_transfer": "AI PM 可借决策树理解人机协作中的规则兜底和可解释分层。", "tags": [ "decision-tree", "interpretability" ], "priority": "P0" }, { "number": 18, "chapter": "第 4 章降维", "page_hint": "074-086", "title": "PCA 与 LDA", "interview_question": "PCA 和 LDA 的区别是什么？", "short_answer": "PCA 是无监督降维，寻找保留最大方差的方向；LDA 是有监督降维，寻找类间分离大、类内方差小的方向。PCA 关注数据重构，LDA 关注分类可分性。", "key_points": [ "PCA 不使用标签，适合压缩、去噪、可视化。", "LDA 使用类别标签，适合分类前的监督降维。", "PCA 的主成分未必对分类最有帮助。", "降维会损失信息，要用下游任务验证效果。" ], "follow_ups": [ "为什么最大方差不等于最好分类？", "PCA 如何解释特征共线性？", "降维后如何评估信息损失？" ], "project_mapping": [ "用户画像压缩、embedding 可视化、特征去冗余。", "把高维行为特征降维后用于聚类或分群。" ], "aipm_transfer": "AI PM 可用降维理解 embedding 空间可视化和用户/文档聚类，但不能把可视化当结论。", "tags": [ "dimensionality-reduction", "pca", "lda" ], "priority": "P1" }, { "number": 19, "chapter": "第 5 章非监督学习", "page_hint": "092-111", "title": "聚类：KMeans、GMM 与评估", "interview_question": "KMeans 的优缺点是什么？如何评估聚类算法？", "short_answer": "KMeans 简单高效，但依赖 K 值、初始中心和欧氏距离假设，适合近似球形簇。GMM 能表达软分配和不同协方差结构，聚类评估要结合内部指标、稳定性和业务解释。", "key_points": [ "KMeans 步骤：分配样本到最近中心，再更新中心。", "缺点：对异常值敏感，不适合非凸形状。", "GMM 用概率混合模型描述样本生成过程。", "无监督评估不能只看数学指标，还要看业务可解释性。" ], "follow_ups": [ "K 如何选择？", "KMeans 为什么会收敛？", "聚类结果如何命名和应用？" ], "project_mapping": [ "用户分群、内容聚类、问题聚类、badcase 聚类。", "LLM 日志分析可用聚类发现失败模式。" ], "aipm_transfer": "AI PM 很常用聚类做需求洞察和 badcase 归因，但要避免把聚类标签过度解释。", "tags": [ "clustering", "kmeans", "gmm" ], "priority": "P0" }, { "number": 20, "chapter": "第 6 章概率图模型", "page_hint": "118-137", "title": "生成式模型、判别式模型与序列标注", "interview_question": "生成式模型和判别式模型有什么区别？", "short_answer": "生成式模型学习联合分布，可描述数据如何生成；判别式模型直接学习条件分布或决策边界。序列标注中 HMM、MEMM、CRF 分别体现了不同建模假设。", "key_points": [ "朴素贝叶斯是典型生成式模型，逻辑回归是判别式模型。", "HMM 可用于分词、词性标注等序列任务。", "MEMM 容易出现标注偏置，CRF 通过全局归一化缓解。", "主题模型可用于内容理解、冷启动和兴趣建模。" ], "follow_ups": [ "朴素贝叶斯的独立性假设是什么？", "MEMM 为什么有 label bias？", "LDA 如何帮助推荐冷启动？" ], "project_mapping": [ "NLP 序列标注、用户兴趣主题、内容标签体系。", "把生成式/判别式类比到 LLM 的生成与分类任务。" ], "aipm_transfer": "AI PM 可以用这张卡理解“解释数据生成过程”和“直接优化任务效果”的差别。", "tags": [ "probabilistic-model", "sequence-labeling", "topic-model" ], "priority": "P1" }, { "number": 21, "chapter": "第 7 章优化算法", "page_hint": "142-164", "title": "损失函数、优化与正则化", "interview_question": "机器学习中的损失函数和优化算法怎么选？", "short_answer": "损失函数定义模型错在哪里，优化算法决定如何逼近更优参数，正则化控制模型复杂度。选择要匹配任务类型、数据规模、可优化性和泛化目标。", "key_points": [ "回归常用平方误差/绝对误差，分类常用交叉熵、hinge loss。", "凸优化更容易找到全局最优，深度学习多为非凸但可用梯度法有效训练。", "梯度检查用于验证反向传播或手写梯度。", "L1 倾向稀疏，L2 倾向平滑，都是控制过拟合的方式。" ], "follow_ups": [ "交叉熵为什么适合分类？", "L1 为什么会产生稀疏性？", "SGD、Momentum、Adam 有什么区别？" ], "project_mapping": [ "解释一个分类模型为什么改 loss 后业务指标变化。", "在稀疏特征场景中说明 L1 的作用。" ], "aipm_transfer": "LLM 训练也绕不开 objective：PM 至少要知道优化目标不等于真实用户满意度。", "tags": [ "optimization", "loss", "regularization" ], "priority": "P0" }, { "number": 22, "chapter": "第 8 章采样", "page_hint": "172-194", "title": "采样与样本不均衡", "interview_question": "采样在机器学习中有什么作用？样本不均衡怎么处理？", "short_answer": "采样用于估计分布、构造训练集、降低计算成本和处理不均衡。样本不均衡可通过重采样、类别权重、阈值调整、难例挖掘和合适指标来处理。", "key_points": [ "欠采样降低多数类规模，但可能丢信息。", "过采样增加少数类权重，但可能过拟合。", "SMOTE 等方法合成少数类样本，但要防止产生不真实样本。", "不均衡问题的核心不是样本比例，而是错误成本和决策阈值。" ], "follow_ups": [ "什么时候用欠采样，什么时候用过采样？", "训练分布和线上真实分布不同会怎样？", "采样会如何影响概率校准？" ], "project_mapping": [ "欺诈检测、投诉预测、低频高价值用户识别。", "LLM 安全 eval 中高风险样本要主动过采样。" ], "aipm_transfer": "AI PM 要推动建设长尾/高风险评估集，不能只靠自然流量随机抽样。", "tags": [ "sampling", "imbalance", "evaluation" ], "priority": "P0" }, { "number": 23, "chapter": "第 9 章前向神经网络", "page_hint": "200-220", "title": "MLP、激活函数与训练技巧", "interview_question": "神经网络为什么不能把参数全部初始化为 0？激活函数如何影响训练？", "short_answer": "全零初始化会让同层神经元学习到相同参数，无法打破对称性。激活函数决定非线性表达和梯度传播，sigmoid/tanh 易饱和，ReLU 系列缓解梯度消失但也有死亡 ReLU 等问题。", "key_points": [ "多层感知机通过隐藏层组合表达非线性函数。", "反向传播用链式法则计算各层梯度。", "交叉熵通常比平方误差更适合分类。", "Dropout、BatchNorm、合理初始化和学习率都影响训练稳定性。" ], "follow_ups": [ "ReLU 的优点和局限是什么？", "BatchNorm 为什么有用？", "Dropout 为什么能抑制过拟合？" ], "project_mapping": [ "从训练不收敛、过拟合、梯度消失三个角度讲排查。", "LLM fine-tuning 也要关注学习率、batch、loss 曲线。" ], "aipm_transfer": "AI PM 不需要手推梯度，但要会听懂训练失败、过拟合和稳定性问题。", "tags": [ "neural-network", "training", "activation" ], "priority": "P0" }, { "number": 24, "chapter": "第 9 章前向神经网络", "page_hint": "222-230", "title": "CNN 与 ResNet", "interview_question": "CNN 的稀疏交互、参数共享和池化分别有什么作用？", "short_answer": "CNN 用局部连接捕捉局部模式，用参数共享降低参数量并提高平移鲁棒性，用池化聚合局部特征。ResNet 通过残差连接缓解深层网络退化，让更深网络可训练。", "key_points": [ "卷积适合图像，也可用于文本 n-gram 模式提取。", "池化降低空间尺寸，增强局部不变性。", "深层网络不一定自然更好，训练退化需要结构设计解决。", "残差连接是现代深度网络的重要思想之一。" ], "follow_ups": [ "CNN 如何用于文本分类？", "池化会损失什么信息？", "ResNet 为什么有效？" ], "project_mapping": [ "图像审核、OCR、视频理解、文本分类。", "把残差思想迁移到系统设计：保留原始路径，增量学习新能力。" ], "aipm_transfer": "AI PM 可以用 CNN/ResNet 理解模型结构如何服务数据形态和训练稳定性。", "tags": [ "cnn", "resnet", "deep-learning" ], "priority": "P1" }, { "number": 25, "chapter": "第 10 章循环神经网络", "page_hint": "236-251", "title": "RNN、LSTM、Seq2Seq 与注意力", "interview_question": "RNN 为什么会梯度消失？LSTM 和注意力解决什么问题？", "short_answer": "RNN 通过循环状态处理序列，但长距离依赖会导致梯度消失或爆炸。LSTM 用门控机制保留长期信息，Seq2Seq 处理输入输出长度不等任务，注意力让解码时动态关注输入的不同部分。", "key_points": [ "RNN 适合序列数据，但并行性和长依赖能力有限。", "LSTM/GRU 通过门控控制记忆写入、遗忘和输出。", "Seq2Seq 曾广泛用于机器翻译、摘要、对话。", "注意力机制缓解固定向量瓶颈，是 Transformer 的关键前史。" ], "follow_ups": [ "LSTM 三个门分别做什么？", "Seq2Seq 解码有哪些策略？", "为什么要用双向 RNN？" ], "project_mapping": [ "机器翻译、语音识别、时间序列预测、对话生成。", "用注意力解释 RAG/长上下文中“关注相关信息”的产品直觉。" ], "aipm_transfer": "这张卡连接传统 NLP 到 Transformer，适合回答“为什么 attention 重要”。", "tags": [ "rnn", "lstm", "attention", "nlp" ], "priority": "P0" }, { "number": 26, "chapter": "第 11 章强化学习", "page_hint": "258-272", "title": "强化学习基础", "interview_question": "强化学习中的状态、动作、奖励、策略、价值分别是什么？", "short_answer": "强化学习研究智能体在环境中通过试错学习策略，以最大化长期累计奖励。核心难点是延迟奖励、探索与利用、样本效率和安全约束。", "key_points": [ "状态描述环境，动作改变环境，奖励反馈好坏。", "策略决定在状态下选择什么动作，价值评估长期收益。", "价值迭代和策略迭代是经典求解思路。", "深度强化学习用神经网络近似价值或策略。" ], "follow_ups": [ "探索和利用如何平衡？", "策略梯度与传统监督学习有什么不同？", "强化学习为什么难上线？" ], "project_mapping": [ "游戏 AI、推荐长期收益、机器人控制、广告竞价。", "LLM 对齐中的 RLHF 可借这张卡解释奖励模型和策略优化。" ], "aipm_transfer": "AI PM 要警惕把所有多步决策都叫 RL；上线前要看安全、样本成本和奖励设计。", "tags": [ "reinforcement-learning", "rlhf", "agent" ], "priority": "P0" }, { "number": 27, "chapter": "第 12 章集成学习", "page_hint": "278-289", "title": "Bagging、Boosting 与偏差方差", "interview_question": "如何从偏差和方差角度解释 Bagging 和 Boosting？", "short_answer": "Bagging 通过并行训练多个基模型并平均，主要降低方差；Boosting 串行关注前一轮错误样本，逐步降低偏差，也可能增加过拟合风险。", "key_points": [ "随机森林是 Bagging 思想的代表。", "Boosting 通过加法模型逐步拟合残差或错误。", "偏差高表示模型太简单，方差高表示模型对数据扰动敏感。", "集成的收益来自基模型多样性和误差互补。" ], "follow_ups": [ "随机森林为什么降低方差？", "Boosting 为什么可能过拟合？", "基分类器是否越强越好？" ], "project_mapping": [ "用表格数据风控/广告/推荐粗排讲树集成。", "把多模型路由类比为集成思想，但要注意成本和一致性。" ], "aipm_transfer": "AI PM 可把集成思想迁移到模型组合：多个弱信号如何形成稳定决策。", "tags": [ "ensemble", "bias-variance", "random-forest" ], "priority": "P0" }, { "number": 28, "chapter": "第 12 章集成学习", "page_hint": "291-295", "title": "GBDT 与 XGBoost", "interview_question": "GBDT 的基本原理是什么？XGBoost 与 GBDT 有什么联系和区别？", "short_answer": "GBDT 用多棵树串行拟合损失函数的负梯度方向，本质是函数空间中的 boosting。XGBoost 在目标函数、正则化、二阶梯度、缺失值处理和工程优化上增强了 GBDT。", "key_points": [ "GBDT 每轮训练一棵树修正当前模型的残差/梯度。", "学习率、树深、子采样和树数共同控制泛化。", "XGBoost 加入正则项并做大量系统优化。", "在结构化数据任务中，GBDT/XGBoost 常是强 baseline。" ], "follow_ups": [ "GBDT 和梯度下降有什么联系？", "XGBoost 为什么效果和速度都强？", "GBDT 如何处理类别特征和缺失值？" ], "project_mapping": [ "CTR、风控、流失预测、排序特征融合。", "准备一个从 LR 到 GBDT 的 baseline 升级案例。" ], "aipm_transfer": "AI PM 面对结构化数据预测任务时，不应默认大模型，GBDT 仍是务实选择。", "tags": [ "gbdt", "xgboost", "structured-data" ], "priority": "P0" }, { "number": 29, "chapter": "第 13 章生成式对抗网络", "page_hint": "300-331", "title": "GAN、WGAN、DCGAN 与 SeqGAN", "interview_question": "GAN 的基本思想是什么？WGAN、DCGAN、SeqGAN分别解决什么问题？", "short_answer": "GAN 通过生成器和判别器对抗训练，让生成器逐步生成更真实样本。DCGAN 用卷积结构提升图像生成，WGAN 改善训练稳定性，SeqGAN 尝试处理离散序列生成。", "key_points": [ "GAN 的难点包括训练不稳定、模式崩塌和评估困难。", "WGAN 用 Wasserstein 距离改善梯度信号。", "DCGAN 给图像生成提供更适合的网络结构。", "离散文本生成难以直接反向传播，SeqGAN 引入策略梯度思路。" ], "follow_ups": [ "GAN 为什么容易 mode collapse？", "WGAN 改进了什么？", "生成模型如何评估质量？" ], "project_mapping": [ "图像生成、数据增强、负样本生成、内容创意。", "迁移到 LLM：生成质量、可控性和评估仍然是核心问题。" ], "aipm_transfer": "这章较老，但有助于理解生成式 AI 的早期范式和评估难题。", "tags": [ "gan", "generative-ai" ], "priority": "P1" }, { "number": 30, "chapter": "第 14 章人工智能热门应用", "page_hint": "336", "title": "计算广告", "interview_question": "计算广告系统通常包含哪些关键模块？", "short_answer": "计算广告要在用户、广告主和平台收益之间平衡，核心模块包括召回、预估、排序、竞价、预算控制、定向、频控和效果归因。", "key_points": [ "CTR/CVR 预估是广告系统的关键模型能力。", "排序不只看点击率，还要结合出价、转化、用户体验和平台策略。", "冷启动、作弊、延迟、探索和预算消耗都是工程问题。", "线上 A/B 和因果归因决定是否真的创造增量价值。" ], "follow_ups": [ "广告排序公式如何设计？", "CTR 高但转化低怎么办？", "如何处理广告冷启动？" ], "project_mapping": [ "把广告系统拆成召回、粗排、精排、机制策略。", "LLM 商业化也会遇到推荐、定价、转化和体验平衡。" ], "aipm_transfer": "AI PM 可用广告系统练习复杂目标优化：用户价值、商业价值和长期信任同时存在。", "tags": [ "ads", "ranking", "business" ], "priority": "P1" }, { "number": 31, "chapter": "第 14 章人工智能热门应用", "page_hint": "347-372", "title": "游戏 AI、自动驾驶、机器翻译与人机交互", "interview_question": "热门 AI 应用背后的共同产品问题是什么？", "short_answer": "不同应用形态背后都要处理感知、决策、反馈、评估和安全。游戏 AI 强调策略与探索，自动驾驶强调安全和长尾，机器翻译强调序列建模和质量评估，人机交互强调意图理解和体验闭环。", "key_points": [ "游戏 AI 常用于强化学习和多智能体策略讨论。", "自动驾驶是感知、预测、规划、控制和安全验证的系统工程。", "机器翻译体现了从统计方法到神经网络再到注意力机制的发展。", "人机交互需要同时优化准确性、自然度、可控性和信任。" ], "follow_ups": [ "自动驾驶为什么难在长尾？", "机器翻译如何评估？", "人机交互中的错误如何恢复？" ], "project_mapping": [ "用一个 AI 助手产品说明意图识别、澄清、执行和反馈。", "用自动驾驶类比 Agent 安全：不能只看成功路径。" ], "aipm_transfer": "这张卡适合 AI PM 面试开放题：从单点模型扩展到完整智能系统。", "tags": [ "ai-application", "system", "agent" ], "priority": "P0" }, { "number": 32, "chapter": "全书综合", "page_hint": "全书", "title": "百面机器学习对 AI PM 的复习路线", "interview_question": "如果目标是 AI PM，而不是算法工程师，这本书应该怎么读？", "short_answer": "AI PM 不需要把每个推导都背下来，应优先掌握能影响产品决策的部分：数据/特征、评估指标、baseline、过拟合、实验、推荐搜索、NLP 表示、深度学习训练风险和系统应用。", "key_points": [ "第一优先级：特征工程、模型评估、过拟合、A/B、采样不均衡。", "第二优先级：LR、树模型、GBDT、聚类、文本表示、RNN/attention。", "第三优先级：SVM/PCA/LDA/概率图/GAN 的概念和边界。", "所有章节都要转成业务问题：为什么选它、怎么评估、失败怎么办。" ], "follow_ups": [ "AI PM 需要懂算法到什么程度？", "如何证明自己不是只会喊大模型？", "传统 ML 和 LLM 产品经验怎么衔接？" ], "project_mapping": [ "做一套传统 ML 到 LLM 的能力迁移故事。", "准备一个表格数据预测、一个 RAG、一个 Agent 的对比案例。" ], "aipm_transfer": "这张卡是整本书的导航。读它不是为了变成算法工程师，而是为了在 AI 产品面试里能问对问题、识别风险、做出取舍。", "tags": [ "aipm", "study-plan", "interview" ], "priority": "P0" } ]