FIG. 01 — Case Pack:用例、归因、上下文完整度放在同一页
Case Pack 与失败归因
256 条中文用例,每条标注失败归因:基础设施、缺少判定依据、重复运行结论冲突。
问题
失败如果没有类别,就只能靠重跑碰运气。同一批题这一轮挂三条、下一轮挂另外三条,看不出是模型不稳还是壳有问题。
做法
每条失败强制归到三类之一:基础设施问题(超时、限流、容器挂了)、缺少判定依据(这题本身没有明确的对错)、重复运行结论冲突(同样输入两次不同答案)。
归因之外还查上下文完整度:这道题给 agent 的信息够不够它做对。很多「模型不行」其实是题没给全。
结果
现在能一眼分开两类失败:壳的问题(超时、上下文不足)和模型的问题(真有歧义、推理错)。前者改架构,后者才考虑换模型。
没解决的
已反馈还是 0。归因做完了,但「失败样本自动回流成下一轮用例」没跑起来——手动挑样本这件事没人做就一直空着。
这个数字我不打算藏:它正好说明闭环缺了最后一环。
图集


