PLpeter leePortfolio
评测运行记录:每条回复带运行 ID、模型来源与耗时

FIG. 01 — 运行记录:每条回复都能定位到具体那次调用

Agent 评测与进化闭环

同一批题跑成完整卷,只看通过率、单次成本、重复跑一致性;失败样本回流成下一轮用例。

时间
2026.07 – 2026.10
角色
独立开发(评测平台 + 评测看板)
规模
256 条用例 · 35 个数据集 · 5405 次尝试
栈
Fastify · PostgreSQL · Drizzle ORM · React · 模型走 OpenRouter
入口
Case Pack 看板 · 客服中台

问题

手动试十题感觉良好,批量跑一百题才知道真实水平。单次顺利不代表系统靠谱——缺的是可复现、可比较、成本可算的测量方式。

所以第一件事不是换更强的模型,而是把「跑一次」变成一个可重复的实验:同一批题、同一个模型、只换外壳。

做法

一次跑完整卷,而不是一题一题手动试。每轮记录三个数:通过率、单次成本、重复跑的一致性。

每条回复都留运行 ID、模型来源和总耗时。失败能直接回放到具体那一次调用,而不是靠回忆复现。

评分拆成可判定的子断言再抽人检,避免模型给自己打分造成的整体漂移。

结果

07-18 到 07-27,通过率从 8.3% 爬到 96.7%。期间 101 个 AgentRelease、20 个实验——每个数都能追溯到某一次提交和某一批运行。

早期失败集中在外壳而不是模型:上下文给多了、允许的步数不够、超时设置跟真实耗时对不上。这些问题换模型都修不掉。

没解决的

失败样本回流这条链路目前是断的:Case Pack 的反馈入口显示已反馈 0。也就是说「失败 → 变成下一轮用例」还只在设计上成立,没有真实数据流过。

这是下一个要修的东西,优先级高于再加一百条用例。

相关项目

全部项目

相关文章

全部文章