PLpeter leePortfolio
中文 Case Pack:256 条用例、失败归因与上下文质检

FIG. 01 — Case Pack:用例、归因、上下文完整度放在同一页

Case Pack 与失败归因

256 条中文用例,每条标注失败归因:基础设施、缺少判定依据、重复运行结论冲突。

时间
2026.09 – 至今
角色
设计 + 实现
规模
256 条用例 · 35 个数据集
入口
打开 Case Pack

问题

失败如果没有类别,就只能靠重跑碰运气。同一批题这一轮挂三条、下一轮挂另外三条,看不出是模型不稳还是壳有问题。

做法

每条失败强制归到三类之一:基础设施问题(超时、限流、容器挂了)、缺少判定依据(这题本身没有明确的对错)、重复运行结论冲突(同样输入两次不同答案)。

归因之外还查上下文完整度:这道题给 agent 的信息够不够它做对。很多「模型不行」其实是题没给全。

结果

现在能一眼分开两类失败:壳的问题(超时、上下文不足)和模型的问题(真有歧义、推理错)。前者改架构,后者才考虑换模型。

没解决的

已反馈还是 0。归因做完了,但「失败样本自动回流成下一轮用例」没跑起来——手动挑样本这件事没人做就一直空着。

这个数字我不打算藏:它正好说明闭环缺了最后一环。

图集

单条用例的上下文与判定细节
单条用例的上下文与判定细节

相关项目

全部项目

相关文章

全部文章