文章
实验记录和方法论。没想清楚的不发,所以数量少;带「草稿」标记的是骨架已经搭好、正文还在补的。
-
评测
把 harness 当自变量:118 题第一轮跑批
同一批题、同一个模型,只换外壳。第一轮就暴露了三个我没预料到的方差来源,其中两个跟 prompt 无关。
-
方法论
单题手感会骗人
手动试十题感觉良好,批量跑一百题才知道通过率、波动和钱花在哪。单次顺利不代表系统靠谱。
-
评分
模型裁判不可靠的地方
让模型给自己打分,要么全过要么全崩。现在的做法是拆成可判定的子断言,再抽人检。
-
方法论
从组件思维到 harness 思维
前端那套「契约、边界、可组合」其实正是 agent 缺的东西。写代码的习惯可以直接搬过来。