为什么 Agent Loop 需要实验
Agent Loop 的本质仍然是程序执行,但模型采样、工具反馈、环境状态和历史路径会共同决定结果。即使输入看起来相同,两次执行也可能经历不同路径并产生不同结果。
问题因此不只是“Agent 能不能运行”,而是我们如何可靠地认识它。
单次执行只能说明这一次发生了什么
一次成功不能证明一个方案通常有效,一次失败也不能证明一个方案通常无效。早期的微小差异可能改变后续可见信息、工具选择和模型决策,使最终结果具有概率性和路径依赖。
如果只保留最终答案,或者只展示一次成功执行,我们无法区分结果来自方案本身、执行条件变化,还是一次偶然结果。
可靠认识来自对照实验
要判断一个变化是否真的带来影响,需要围绕明确问题组织多次程序执行:
- 明确哪些条件保持不变
- 明确改变了哪个变量
- 在相同条件下进行必要的重复采样
- 保留每次执行的原始事实和结果
- 在这些事实之上进行比较和判断
这就是实验。它不是一次执行,而是一组围绕假设组织的可比较执行,以及对这些执行的外部分析。
实验首先产生的不是分数或报告,而是一组可以独立检查的执行样本。分析可以在事后采用不同方法重新计算,但每次执行中实际发生了什么,无法从汇总结果中还原。因此,实验必须先保留每个样本的执行条件、原始事实和结果。
首先要有能够比较的程序执行
对照实验成立的前提,是每次程序执行都能成为一个可以明确识别和比较的样本。我们必须知道它从什么条件开始、执行边界上发生了什么,以及最后得到了什么。
普通程序执行并不天然提供这种保证。下一篇《Agent Loop 实验的本质》将从程序执行本身出发,推导什么样的执行才能成为对照实验样本。