把 harness 当自变量:118 题第一轮跑批
这轮想验什么
把模型固定住,只改外壳,看通过率会被拉动多少。如果拉不动,说明外壳不是瓶颈,那就该老实承认模型不行。
三个方差来源
超时设置比真实耗时短。一批里有一部分根本没跑完就被判成失败,混在通过率里跟「答错」看不出区别。这类失败换更强的模型也修不掉,因为压根没等到它答完。
上下文给多了。把整个订单历史一次性塞进去,模型反而抓不住当前那一句诉求。上下文不是越多越好,多到一定程度就开始互相干扰。
允许的步数不够。多轮工具调用走到一半被截断,最终表现成「答非所问」——看起来是理解错了,其实是没走完。
下一步
第二轮把外壳变量拆成单因素,一次只动一个:先只改超时,再只改上下文裁剪策略,最后才调步数上限。混着改,永远不知道是哪个起的作用。