Agent Loop 实验的本质
Agent Loop 实验的本质,是让程序执行之间能够可靠对照,而不是为 Agent 的内部步骤建立一套特殊模型。
Agent Loop 本质上是程序执行
无论内部包含模型调用、工具调用、记忆、规划还是领域协议,Agent Loop 最终都以程序的形式在某个环境中按照某种配置运行,并使环境到达新的状态。
普通执行还不是实验样本
普通执行通常只关心程序是否启动、返回了什么。它不一定明确保存初始环境和执行配置,也不保证结束后仍能取得执行事实与执行后环境。
这样的执行可以完成工作,却很难用于可靠对照:看到两个结果不同,我们可能不知道是实验变量发生变化,还是两次执行原本就处在不同条件下。
对照条件必须明确
一次执行的受控条件至少包括:
- 初始环境:程序开始前的文件系统、依赖和其他受控状态。
- 执行配置:要启动的进程,以及资源、时间、网络和受控参与者等条件。
比较两次执行的输入,就能知道哪些受控条件相同、哪些发生了变化。这为对照提供事实基础,但不会自动证明实验设计有效。
模型 API、公共网络和第三方服务等非受控外部环境仍然存在。程序可以记录自己对它们的观察,但不能把未受控制的外部世界假装成已固定的实验条件。
这种程序执行叫做 Run
Run 是一条执行输入、执行事实和执行结果都被明确记录,因而能够被理解和比较的程序执行。
Run 不只是程序退出后补写的一条日志。执行系统需要负责完整生命周期:确定输入、创建环境、执行程序、施加控制、终结进程、取得结果,并忠实保存边界上能够得到的事实。
Run Protocol 定义其中纯粹的执行关系:
持久化系统再为这次调用分配身份,并把输入、结果和所引用的环境内容保存下来,才形成一条能够长期使用的 Run 资产。
Run 不记录程序内部的每个步骤
执行事实只描述执行系统在边界上直接观察到的创建、启动、退出、超时、取消、标准流和错误,不解释程序内部语义。
程序主体自行决定哪些内部信息需要用于实验。写入 stdout 和 stderr 的内容可以由执行系统捕获。写入受控文件系统的日志、Trace 和中间产物可以进入执行后环境。没有通过这些边界暴露的信息,不由执行系统推断或保留。
为什么实验的核心是一个个 Run
Run 是实验中的单个执行样本,也是无法由汇总结果还原的源事实。Experiment 负责提出问题或假设、选择和组织多个 Run、采用比较方法,并判断差异意味着什么。
底层先产生独立 Run,原因是:
- 实际执行的输入、事实和结果无法从分数或报告中重新生成,必须在执行时保存。
- Experiment 的分组、比较方法和判断可以事后改变,同一条 Run 也可以被多个 Experiment 重复使用。
- 固定矩阵、重复采样、A/B 对照和自适应搜索的组织方式不同,没有一种结构需要进入通用执行协议。
这并不排斥把 Experiment 建模为实体。上层实验系统可以让 Experiment 引用多条 Run。依赖方向始终是 Experiment 组织 Run,而单条 Run 不需要预先知道自己属于哪个 Experiment。