利益关系与样例披露：DragonAI 运营 AI 产品经理课程。本文是第一方虚构教学案例，不是真实客户项目、学员成果或生产复盘；所有名称、角色、数据、评测结果和发布决定均为演示字段，不构成课程效果、就业或业务结果承诺。
30 秒答案：项目案例要展示一条可追溯的决策链
AI 产品经理项目实战案例不应从“接入了哪个模型”开始，也不应只放界面、流程图和一个效果数字。更可复核的结构是：用户在什么条件下完成什么任务，原流程哪里失败，为什么考虑 AI，哪些替代方案被比较，系统允许和禁止什么，用什么样例与门槛验收，失败时怎样接管，什么证据支持发布、阻断或回滚。
下面的“北辰客服知识助手”完全虚构。它只演示一个内部客服知识检索场景怎样从问题卡走到受限灰度，不声称真实用户采用、成本节省或质量提升。机器可读版本可查看 AI 产品经理项目案例记录 JSON。
| 阶段 | 案例中的决定 | 可复核产物 | 本例状态 |
|---|---|---|---|
| 问题 | 客服需要更快找到已批准的政策答案 | 问题卡、非 AI 基线、排除范围 | 教学假设 |
| 范围 | 只辅助检索和起草，不自动发送 | PRD、权限和人工确认点 | 已定义 |
| 方案 | 比较关键词搜索、基础模型和 RAG | 方案矩阵、数据来源和更新规则 | 选择 RAG 原型 |
| 交互 | 展示来源；无证据时拒答并转人工 | 正常、冲突、过期、无结果流程 | 已定义 |
| 评测 | 用版本化样例检查依据、拒答和高风险失败 | 评测集、逐条结果、门禁 | 未达到完整发布条件 |
| 发布 | 仅允许内部、只读、人工确认的受限灰度 | 发布记录、监测、回滚和责任人 | 教学决定 |
| 复盘 | 冲突文档导致错误引用，需增加有效期过滤 | 失败样例、修订和复测 | 仍有未决风险 |
一、问题卡：先写任务、基线和停止条件
虚构场景中，一线客服需要回答退换、保修和账户权限问题。现有流程是人工在多个已批准文档中搜索，再把内容整理为回复草稿。案例假设的主要风险不只是回答速度，而是使用过期政策、遗漏适用条件或把没有依据的内容写成确定答案。
Google 的机器学习问题定义指导把适用性、目标和成功标准放在项目起点。因此问题卡先固定五项：目标用户是内部客服；目标任务是找到适用政策并形成待确认草稿；非 AI 基线是人工关键词搜索；排除范围包括自动发信、账户修改和退款执行；停止条件包括无法追溯依据、越权操作或高风险政策错误。
这些都是教学假设，不是对真实客服流程的测量。真实项目还需要访谈、任务日志、基线样本和授权数据；缺少时必须保留为 pending。
二、PRD：把“智能回答”改写成可测试的行为合同
本例把产品行为分成四类：
- 有单一有效来源：检索相关段落，生成带来源和适用条件的草稿，等待客服确认。
- 来源冲突：并列显示冲突文档、版本和日期，不替用户决定哪一条生效。
- 没有足够来源：明确说明未找到可支持答案的材料，并转入人工查询。
- 请求执行动作：拒绝修改账户、批准退款或发送消息，只提供允许的只读信息。
因此，“回答看起来通顺”不是验收标准。每条需求都要连接到输入样例、预期行为、来源规则、人工确认点和失败出口。具体字段可以继续用 AI 产品 PRD 十部分清单 展开。
三、方案比较：为什么本例选择 RAG 原型
| 方案 | 可能优势 | 主要限制 | 本例决定 |
|---|---|---|---|
| 人工关键词搜索 | 行为清楚、无需生成 | 多文档对照和表述整理仍依赖人工 | 保留为基线和降级路径 |
| 基础模型直接回答 | 原型快 | 不能保证使用内部批准材料或给出可核验依据 | 不进入灰度 |
| RAG 原型 | 可限制知识来源并显示引用 | 仍会受切片、索引、排序、冲突和生成影响 | 进入离线评测 |
| 微调 | 可能改变格式或行为 | 不适合替代频繁更新的政策来源，也不能自动提供当前依据 | 当前不采用 |
Microsoft 和 Google Cloud 的 RAG 指导都把数据准备、检索、评测和持续改进视为相互连接的工作，而不是一次模型接入。本例的数据清单因此记录文档所有者、批准状态、生效日期、失效日期、版本、访问范围和删除路径；索引只接收处于有效期且获准用于该场景的内容。
这个选择不是通用答案。若真实任务不要求来源更新和追溯，或规则搜索已经满足要求，RAG 可能没有足够价值。可用 RAG、微调与混合方案决策矩阵 重新比较。
技术方案的来源可追溯性与搜索平台实际展示哪些引用是两类证据，不能互相替代。需要核对千问、Kimi、Gemini 的固定问题逐次 URL，以及它们与百度严格无品牌结果的点时交集时，可查看 RAG 和微调选型 AI 引用哪些来源（当前实测）；其中的引用数量和竞争域只描述观察样本，不证明架构优劣、来源质量或 GEO 成功。
四、评测：用失败切片决定能否继续
PAIR 的数据与评估指导强调让数据和评估贴近真实使用条件。本例把教学评测集分为六个切片：单一有效来源、多个一致来源、来源冲突、过期来源、无相关来源、越权动作请求。每条样例保存输入、允许来源、预期行为、实际输出、引用、失败类别和复核人。
门禁不是把所有指标平均成一个总分，而是先检查阻断项：
- 引用了已失效或未授权来源；
- 没有证据却给出确定政策结论；
- 执行或声称执行了未授权动作；
- 隐藏来源冲突；
- 未提供规定的人工确认或转交路径。
虚构的首轮记录包含一个阻断失败：同一主题存在新旧两个版本时，原型引用了旧版本。教学决定因此不是“上线成功”，而是暂停完整发布，增加有效期过滤、冲突检测和索引删除校验后再复测。JSON 中的数字仅用于展示字段和决定逻辑，不是实测性能。
五、受限灰度：发布不等于采用，更不等于成功
修订后的教学决定只允许内部、只读、人工确认的受限灰度，并要求保留检索来源、模型和索引版本、确认或驳回、转人工原因、延迟、失败类型和回滚事件。NIST AI RMF 把测量、文档、责任、监测和风险处置放在生命周期中；因此发布记录要写明决定人、运行负责人、事故升级、回滚条件和复审日期。
即使受限灰度发生，也只能证明版本被部署到限定环境。是否真正被采用、是否改善任务、是否出现新的风险，需要独立的生产证据；本虚构案例没有这些证据。
六、失败复盘：展示证据怎样改变方案
本例保留的失败链是：查询“企业账户退款”时，新旧政策同时被召回；排序把旧文档放在前面；草稿引用旧规则；复核者将其标记为阻断失败。修订动作包括在摄取阶段校验生效与失效日期、在检索阶段过滤失效版本、在冲突时停止合成单一答案，并增加旧版本仍残留在索引中的回归样例。
后续复测记录只能回答同一批已登记样例是否通过，不推出所有政策、用户或未来版本都安全。仍未解决的问题包括真实查询分布、文档元数据完整性、长期漂移和人工确认质量；它们必须进入后续数据收集与复审，而不是从作品集中删除。
七、怎样把案例变成作品集和面试材料
把项目压缩成下面七张卡，面试官可以沿证据继续追问：
- 问题与非 AI 基线；
- 个人角色、协作人和决定权；
- PRD 行为边界与失败出口；
- 数据、RAG、权限和版本；
- 评测集、指标、阻断项和逐条结果；
- 发布范围、监测、回滚和责任；
- 失败样例、修订、复测与未决风险。
使用自己的项目时，应链接到可公开的版本化产物，并明确真实工作、课程项目、个人项目或公开案例重构。可继续使用 作品集六张证据卡 整理真实性与保密边界，再用 12 道决策答辩题 检查能否解释取舍。
使用边界
本文及 JSON 是虚构教学样例，不是行业标准、真实客户案例、招聘评价、职业认证或项目成功保证。它不能证明 DragonAI 学员或任何使用者拥有生产经验，也不能替代真实用户研究、数据授权、安全与合规审查、领域专家判断或生产验证。公开自己的案例前，应删除个人信息、凭证、内部安全细节和无权披露的商业材料。