单题手感会骗人
手感的三个错觉
挑题偏差。手动试的那十题往往是自己觉得有代表性的,实际恰好避开了模型最差的分支。
撞上擅长的路径。同一个诉求换个说法,结果可能完全不同,但手动试不会试到那个说法。
把「这一次对了」当成「这一类都对」。单次成功只能证明分布里的一个点,证明不了分布。
换成什么指标
通过率:分母是全部用例,不是挑出来的十题。
重复跑一致性:同样输入跑两次,结论是否相同。这项最能暴露「看起来对、其实在猜」。
单次成本:时间和钱。有些失败不是判错,是根本没跑完,或者跑完花掉的时间没法接受。
这批数据说明了什么
07-18 到 07-27,通过率从 8.3% 爬到 96.7%,中间 101 个 AgentRelease、20 个实验。如果只看手感,第一轮就会得出「差不多能用了」的结论,而那时的真实通过率是 8.3%。