For AI agents: the complete documentation index is available at /runlab/llms.txt, the full documentation bundle is available at /runlab/llms-full.txt, and this page is available as Markdown at /runlab/design/generated/why-agent-loop-experiments.md.

为什么 Agent Loop 需要实验

Agent Loop 的本质仍然是程序执行,但模型采样、工具反馈、环境状态和历史路径会共同决定结果。即使输入看起来相同,两次执行也可能经历不同路径并产生不同结果。

问题因此不只是“Agent 能不能运行”,而是我们如何可靠地认识它。

单次执行只能说明这一次发生了什么

一次成功不能证明一个方案通常有效,一次失败也不能证明一个方案通常无效。早期的微小差异可能改变后续可见信息、工具选择和模型决策,使最终结果具有概率性和路径依赖。

如果只保留最终答案,或者只展示一次成功执行,我们无法区分结果来自方案本身、执行条件变化,还是一次偶然结果。

可靠认识来自对照实验

要判断一个变化是否真的带来影响,需要围绕明确问题组织多次程序执行:

  • 明确哪些条件保持不变
  • 明确改变了哪个变量
  • 在相同条件下进行必要的重复采样
  • 保留每次执行的原始事实和结果
  • 在这些事实之上进行比较和判断

这就是实验。它不是一次执行,而是一组围绕假设组织的可比较执行,以及对这些执行的外部分析。

实验首先产生的不是分数或报告,而是一组可以独立检查的执行样本。分析可以在事后采用不同方法重新计算,但每次执行中实际发生了什么,无法从汇总结果中还原。因此,实验必须先保留每个样本的执行条件、原始事实和结果。

首先要有能够比较的程序执行

对照实验成立的前提,是每次程序执行都能成为一个可以明确识别和比较的样本。我们必须知道它从什么条件开始、执行边界上发生了什么,以及最后得到了什么。

普通程序执行并不天然提供这种保证。下一篇《Agent Loop 实验的本质》将从程序执行本身出发,推导什么样的执行才能成为对照实验样本。