从组件思维到 harness 思维
组件和 harness 的共同点
组件要约定输入输出、要能单独测、要能被替换。之前做呼叫中心电话条,把 11 种坐席操作拆成按钮权限粒度,每个按钮显不显示由外部配置决定,组件自己不猜。
harness 里的工具契约是同一件事:工具声明参数和返回,模型只负责选,不负责编造。
不同点
组件的失败是抛错,栈里能看见,CI 会红。
agent 的失败是一句看起来挺合理的错话,退出码 0,日志干净。所以 harness 必须自己造「抛错」——把判定做成显式断言,否则根本没有失败可言,只有「感觉不太对」。
搬过来的三样东西
契约先写:先定义输入输出,再写实现。顺序反了,后面所有测试都是在给实现找理由。
可替换:模型、工具、评分器都应该是可替换件。换一个不影响其他,才谈得上做对照实验。
边界清楚:一个组件只干一件事,一个工具也只干一件事。干两件事的工具,失败时分不清是哪件出了错。