For AI agents: the complete documentation index is available at /runlab/llms.txt, the full documentation bundle is available at /runlab/llms-full.txt, and this page is available as Markdown at /runlab/design/generated/agent-loop-experiment-model.md.

Agent Loop 实验的本质

Agent Loop 实验的本质,是让程序执行之间能够可靠对照,而不是为 Agent 的内部步骤建立一套特殊模型。

Agent Loop 本质上是程序执行

无论内部包含模型调用、工具调用、记忆、规划还是领域协议,Agent Loop 最终都以程序的形式在某个环境中按照某种配置运行,并使环境到达新的状态。

(初始环境,执行配置) → 程序执行 → (执行后环境)

普通执行还不是实验样本

普通执行通常只关心程序是否启动、返回了什么。它不一定明确保存初始环境和执行配置,也不保证结束后仍能取得执行事实与执行后环境。

这样的执行可以完成工作,却很难用于可靠对照:看到两个结果不同,我们可能不知道是实验变量发生变化,还是两次执行原本就处在不同条件下。

对照条件必须明确

一次执行的受控条件至少包括:

  • 初始环境:程序开始前的文件系统、依赖和其他受控状态。
  • 执行配置:要启动的进程,以及资源、时间、网络和受控参与者等条件。

比较两次执行的输入,就能知道哪些受控条件相同、哪些发生了变化。这为对照提供事实基础,但不会自动证明实验设计有效。

模型 API、公共网络和第三方服务等非受控外部环境仍然存在。程序可以记录自己对它们的观察,但不能把未受控制的外部世界假装成已固定的实验条件。

这种程序执行叫做 Run

IMPORTANT

Run 是一条执行输入、执行事实和执行结果都被明确记录,因而能够被理解和比较的程序执行。

Run 不只是程序退出后补写的一条日志。执行系统需要负责完整生命周期:确定输入、创建环境、执行程序、施加控制、终结进程、取得结果,并忠实保存边界上能够得到的事实。

Run Protocol 定义其中纯粹的执行关系:

RunInput → RunEngine::run → Result<RunOutput, EngineError>

持久化系统再为这次调用分配身份,并把输入、结果和所引用的环境内容保存下来,才形成一条能够长期使用的 Run 资产。

Run 不记录程序内部的每个步骤

执行事实只描述执行系统在边界上直接观察到的创建、启动、退出、超时、取消、标准流和错误,不解释程序内部语义。

程序主体自行决定哪些内部信息需要用于实验。写入 stdout 和 stderr 的内容可以由执行系统捕获。写入受控文件系统的日志、Trace 和中间产物可以进入执行后环境。没有通过这些边界暴露的信息,不由执行系统推断或保留。

为什么实验的核心是一个个 Run

Run 是实验中的单个执行样本,也是无法由汇总结果还原的源事实。Experiment 负责提出问题或假设、选择和组织多个 Run、采用比较方法,并判断差异意味着什么。

Experiment = 问题或假设 + 一组 Run + 比较方法 + 外部判断

底层先产生独立 Run,原因是:

  • 实际执行的输入、事实和结果无法从分数或报告中重新生成,必须在执行时保存。
  • Experiment 的分组、比较方法和判断可以事后改变,同一条 Run 也可以被多个 Experiment 重复使用。
  • 固定矩阵、重复采样、A/B 对照和自适应搜索的组织方式不同,没有一种结构需要进入通用执行协议。

这并不排斥把 Experiment 建模为实体。上层实验系统可以让 Experiment 引用多条 Run。依赖方向始终是 Experiment 组织 Run,而单条 Run 不需要预先知道自己属于哪个 Experiment。