PLpeter leePortfolio

模型裁判不可靠的地方

发布于 2026-09-28 · 评分 · 约 1 分钟

为什么整体打分不行

整体打分的输出是一个模糊分数:不可追责、不可复现,批次之间还会漂移。同一段回复,今天打 8 分明天打 6 分,你没法判断是回复变了还是裁判变了。

更麻烦的是它没有失败信息。一个 7.2 分告诉你什么?什么都告诉不了,只能再跑一次看会不会更高。

拆成子断言

把「这句回答好不好」换成几条能机器判定的检查:订单号对不对、金额对不对、承诺的时效在不在允许范围、有没有编造不存在的物流节点。

每条断言只判对错,不判好坏。好处是失败能指到具体哪一条,而不是笼统地「质量不行」。

断言挂在 Trace 上:模型调用、工具调用、断言结果摊在同一条时间线里,出问题能指到是哪一步。

再对判定本身做抽检

断言也会误判,所以定期人工抽检一批,看断言判的和人判的差在哪。

抽检结果用来修断言,不是用来修分数。分数没有可修的地方。

相关文章