# 外部参考资源二次抽取 Backlog

更新时间：2026-07-01

目标：只抽对 AI PM 面试、作品集和项目复盘有直接价值的专题，不做全量搬运。

## Batch 1：最高收益

### 1. RAG 系统设计与故障排查

来源：

- https://github.com/amitshekhariitbhu/ai-engineering-interview-questions
- https://github.com/mlabonne/llm-course
- https://github.com/wdndev/llm_interview_note

应抽主题：

- RAG 完整链路：query rewrite、retrieval、rerank、generation、citation、monitoring
- chunk 策略、embedding 选择、hybrid search、rerank
- 幻觉处理：拒答、引用、置信度、人工兜底、评估集
- 企业知识库场景：权限、时效性、增量更新、审计

产物：

- 12-20 张面试问答卡
- 3-5 张系统设计卡
- 1 张“RAG vs Fine-tuning vs Prompt-only”决策卡

### 2. Agent / Tool Use / MCP 产品判断

来源：

- https://github.com/amitshekhariitbhu/ai-engineering-interview-questions
- https://github.com/Karovia/fullstack-ai-agent-roadmap/tree/main
- https://github.com/wdndev/llm_interview_note

应抽主题：

- Agent 和 workflow 的区别
- tool calling、MCP、A2A、Skills 的边界
- ReAct、plan-and-execute、reflection、multi-agent
- 何时不该用 Agent
- 可靠性、安全、权限、日志、人工确认

产物：

- 15-25 张问答卡
- 5 张产品方案卡
- 3 张作品集 demo 卡

### 3. Evaluation / Evals / 风险治理

来源：

- https://platform.openai.com/docs/guides/evals
- https://crfm.stanford.edu/helm/latest/
- https://www.nist.gov/itl/ai-risk-management-framework
- https://github.com/amitshekhariitbhu/ai-engineering-interview-questions

应抽主题：

- 任务级 eval、黄金集、回归测试
- 离线评估 vs 在线监控
- hallucination、toxicity、bias、privacy、prompt injection
- AI PM 如何定义成功指标和上线门槛

产物：

- 10-15 张评估卡
- 1 张 AI 功能上线 checklist
- 1 张风险登记表模板

## Batch 2：技术底层补强

### 4. CS336 for AI PM

来源：

- https://cs336.stanford.edu/spring2025/
- https://github.com/stanford-cs336/spring2025-lectures

应抽主题：

- tokenizer 和多语言/成本/边界体验
- attention 与上下文窗口
- pretraining、post-training、alignment
- scaling law、data quality、benchmark 的局限
- inference 的 latency、throughput、cost trade-off

产物：

- 20 张“懂到能问对问题”的技术卡
- 8 张面试追问卡
- 1 条 AI PM 技术学习路线

### 5. LLMOps / Production Readiness

来源：

- https://github.com/mlabonne/llm-course
- https://github.com/amitshekhariitbhu/ai-engineering-interview-questions

应抽主题：

- prompt/version 管理
- observability、logging、tracing
- fallback、routing、caching、cost control
- model selection、latency SLO、failure mode

产物：

- 10 张生产化卡
- 1 张 AI 产品上线 readiness checklist

## Batch 3：作品集和求职打法

### 6. Proof-of-work 项目库

来源：

- https://github.com/Karovia/fullstack-ai-agent-roadmap/tree/main
- https://github.com/mlabonne/llm-course

应抽主题：

- RAG QA demo
- AI resume optimizer
- AI hotel/search assistant
- customer support agent
- content review / moderation workflow
- MCP tool-use demo

产物：

- 6-10 张项目卡
- 每张卡包含：用户问题、输入输出、数据、模型/工具、评估、风险、demo 讲述方式

### 7. AI/ML 求职准备 SOP

来源：

- https://alisawuffles.github.io/blog/job-search/

应抽主题：

- recruiter call、technical discussion、research discussion、behavioral
- 面试记录模板
- offer 阶段沟通
- 准备节奏和复盘系统

产物：

- 5 张求职 SOP 卡
- 1 张面试复盘模板