最后要交什么
一份 model-routing matrix、一份 unsupported-answer policy，以及一份 fallback ladder。
Assessment
Routing Policy 审计：让系统学会什么时候不该答
这节审计课要求你把一个真实 workflow 的任务分类、模型路径、unsupported-answer 行为和 fallback 顺序写成显式政策。DepthPilot 要的不是一句“这个模型更强”，而是能说清什么请求该走哪条链、何时该拒答、何时该升级给人，以及这些决定如何被复查。
真正的通过标准
不是系统大多数时候能答，而是它在该澄清、该检索、该拒答、该升级时真的会走正确路径。
我们的增值部分
这页把 routing、abstention 和 downgrade 变成了可执行 policy，而不是停留在“尽量别幻觉”的空话。
DepthPilot Summary
这节课真正教你的，是让系统学会什么时候不该答
很多系统把“能答出来”误当成能力，但可靠系统必须知道什么时候该澄清、检索、降级、拒答或升级。DepthPilot 在这里强调的是：routing matrix、unsupported-answer policy 和 fallback ladder 必须同时存在。用户学完之后，应该能把“模型不够强”拆解成任务分流错误、证据不足或拒答策略缺失。
先按任务分流
- 不是所有请求都值得走最强模型或最贵路径。
- 任务要按风险、证据需求和预算来分，而不是按直觉分。
- 只有先分流，后面的拒答和 fallback 才有意义。
再把拒答合法化
- clarify、retrieve、abstain、escalate 都应是系统允许的正常结果。
- 拒答不是丢脸，而是证据不足时的质量机制。
- 如果 unsupported answer policy 不清晰，系统就会倾向过度回答。
最后写清 fallback 梯子
- 主路径失败后先做什么，必须是预先设计出来的，不是临场拍脑袋。
- downgrade 和 abstain 是两种不同的系统行为，不能混着用。
- 最终交付物应该证明系统在不确定时也有秩序，而不是只在顺利时好看。
Routing matrix
先按任务价值、风险和证据需求分类，而不是按 provider 喜好分类。
为每类任务定义 latency/cost 预算，避免所有请求都走最强最贵路径。
明确哪些任务绝不能 auto-answer。
让 routing 规则可被第二个人复查，而不是只存在于操作者脑中。
Unsupported-answer policy
把 clarify、retrieve、abstain、escalate 当成合法结果，而不是失败。
定义证据不足、证据过时、权限不足和高风险动作时的处理方式。
写清给用户看的语言，避免系统用模糊措辞掩盖 unsupported answer。
把 refusal 视为质量机制，而不是产品丢脸。
Fallback ladder
定义 primary route 失败后该先检索、先澄清还是直接降级。
区分 downgrade 和 abstain：前者是较弱但仍可交付的路径，后者是不该继续答。
明确 hard stop 和 human escalation owner。
让 fallback 成为显式梯子，而不是临场拍脑袋。
上线前必须保留的证据
一份把任务类别、风险、证据需求和预算写清楚的 routing matrix。
一份 unsupported-answer policy，明确什么时候澄清、检索、拒答和升级处理。
一份 fallback ladder，说明 primary route 失败后如何有序退让而不是乱跳。
一段复盘：你现在这条 workflow 最危险的是过度回答、过度花钱，还是 fallback 混乱。
可直接拿走的路由模板
下载 Model Routing Matrix
把任务分类、风险、证据需求和预算绑定到具体模型或路径。
下载 Unsupported Answer Policy
为澄清、检索、拒答和升级处理写出显式政策。
下载 Fallback Ladder
把 downgrade、abstain 和 escalate 的顺序写清楚。
Search Cluster
把模型路由与拒答政策接进可搜索的可靠性路径
高意图用户常常先从 model routing、LLM limitations 或 eval checklist 进来，再决定是否认真设计 unsupported-answer policy。
LLM Model Routing Guide
LLM 模型路由指南，别再让所有请求都走同一条回答链
很多人搜 model routing，只盯着哪个模型更强。DepthPilot 更关心的是：哪些请求值得强路径，哪些应该走便宜路径，哪些根本不该直接回答。
打开路径LLM Limitations
LLM limitations，不只是“模型会幻觉”，而是你要学会什么时候不能让它硬答
很多人在搜 LLM limitations 时，只是想知道模型有哪些缺点。DepthPilot 更进一步：我们要让用户学会把任务分流到回答、澄清、检索、工具调用或拒答，而不是继续被流畅输出骗走判断力。
打开路径AI Eval Checklist
AI Eval Checklist，用来判断你的系统是不是真的变好了
搜 AI eval checklist 的用户通常不缺观点，缺的是一份能执行的核对清单。这个页面把 eval 的最小判断框架直接收成清单式入口。
打开路径参考附录
这些来源负责锚定方法。真正的课程主体是上面的 routing matrix、unsupported-answer policy、fallback ladder 和模板交付。