PLpeter leePortfolio

把 harness 当自变量:118 题第一轮跑批

发布于 2026-11-08 · 评测 · 约 1 分钟

这轮想验什么

把模型固定住,只改外壳,看通过率会被拉动多少。如果拉不动,说明外壳不是瓶颈,那就该老实承认模型不行。

三个方差来源

超时设置比真实耗时短。一批里有一部分根本没跑完就被判成失败,混在通过率里跟「答错」看不出区别。这类失败换更强的模型也修不掉,因为压根没等到它答完。

上下文给多了。把整个订单历史一次性塞进去,模型反而抓不住当前那一句诉求。上下文不是越多越好,多到一定程度就开始互相干扰。

允许的步数不够。多轮工具调用走到一半被截断,最终表现成「答非所问」——看起来是理解错了,其实是没走完。

下一步

第二轮把外壳变量拆成单因素,一次只动一个:先只改超时,再只改上下文裁剪策略,最后才调步数上限。混着改,永远不知道是哪个起的作用。

相关文章