PLpeter leePortfolio

单题手感会骗人

发布于 2026-10-30 · 方法论 · 约 1 分钟

手感的三个错觉

挑题偏差。手动试的那十题往往是自己觉得有代表性的,实际恰好避开了模型最差的分支。

撞上擅长的路径。同一个诉求换个说法,结果可能完全不同,但手动试不会试到那个说法。

把「这一次对了」当成「这一类都对」。单次成功只能证明分布里的一个点,证明不了分布。

换成什么指标

通过率:分母是全部用例,不是挑出来的十题。

重复跑一致性:同样输入跑两次,结论是否相同。这项最能暴露「看起来对、其实在猜」。

单次成本:时间和钱。有些失败不是判错,是根本没跑完,或者跑完花掉的时间没法接受。

这批数据说明了什么

07-18 到 07-27,通过率从 8.3% 爬到 96.7%,中间 101 个 AgentRelease、20 个实验。如果只看手感,第一轮就会得出「差不多能用了」的结论,而那时的真实通过率是 8.3%。

相关文章