好文集ChatGPT Plus¥119

拿到提示词之后,DSH 是怎么跟模型“对话”的?

文章目录

部分视频或图片暂未收录,已在正文保留提示;需要时可查看原文。查看原文 ↗

在上一期(EP.04)中,我们彻底看清了 preStep() 如何在调用大模型之前,把消息认领、提示词装配、上下文投影与插件拦截全部锁进一条干净的异步流水线。当 preStep() 返回 kind: 'enter' 并携带 assembly 后,turn() 会写入 step/start 事件,紧接着调用:

const reason = await this.step(decision.assembly)

媒体暂未收录,可在原文中查看

这就是 DSH 整个 Agent 循环真正的推理引擎——流式消费模型响应、处理请求级错误、驱动工具执行、决定当前步的结局

在进入源码之前,先看两个关键的 Harness 边界问题:

为什么错误处理不硬编码重试策略,而是走 waterfall 中间件?又为什么 step() 要返回三种不同的结局值(max-tokens / completed / null),而不是一个简单的布尔值?

如果重试策略写死在循环里或步结局含糊不清,就会出现两个难以维护的工程问题:

  1. 重试策略的刚性耦合:不同 provider(OpenAI、Claude、Gemini)的错误码语义不同,限流退避策略也不一样。硬编码意味着每接一个新 provider 就得改 step() 本体,扩展性归零。

  2. 步结局的语义坍缩:max-tokens(模型输出被截断)和 completed(模型主动结束)对上层 turn() 的处理逻辑完全不同——前者可能需要开新 step 续写,后者直接收尾。而返回 null(工具执行完毕但 turn 未结束)更是第三种独立语义。如果用布尔值压缩,上层就失去了精确调度的能力。

六步拆解:step() 的精确执行链路

1. 相位校验与系统提示词渲染

进入 step() 后,驱动器先做一道相位守卫(this.phase.kind !== 'running'),然后从当前 running phase 解构出 turn、step 和 AbortSignal。紧接着调用 renderPrompt(assembly) 将上一步 preStep() 组装好的 PromptAssembly 渲染为最终的系统提示词字符串 system。

注意这里的 signal.throwIfAborted() 是入口守卫——如果在 preStep() 返回之后、step() 被调用之前的微任务间隙里发生了取消,这里立即中断,不会白白构建请求。

2. 请求构建与流式消费(Event Sourcing)

buildRequest() 冻结了本次请求的所有配置——provider、model、工具列表、历史消息。返回的 preparedCall 是一个可选的预备调用对象(例如经过 router 选路后绑定了特定端点),如果存在就用它发起 stream,否则走默认的 this.loopCtx.llm.stream(request)。

流式消费的核心是这段:

文章配图

每个 chunk 同时做两件事:记录(写入 assistant/chunk 事件,拿到递增序列号 seq)和组装(推入 BlockAssembler)。chunkSeqs 收集的序列号,会在后续 assistant/message 事件中通过 sourceEventSeqs 字段关联回来——这就是 DSH 的事件溯源骨架:完整消息可以精确追溯到产生它的每一个原始 chunk。

3. Waterfall 错误处理:可插拔的重试决策

流消费结束后,assembler.finish 返回流的终止状态。如果是 error 或 aborted,DSH 没有硬编码重试逻辑,而是走了一条 waterfall 中间件链:

文章配图

载荷里带了 failure(错误详情)、retryPolicy(预备调用携带的重试策略)和 signal(取消信号)。任何注册在 'agent/request-error' 上的插件都可以检查这些信息,然后决定:

  • 返回 { kind: 'retry' } → continue 回到 while(true) 顶部,重新 buildRequest 并发起调用;

  • 调用 next() 放行给下一个插件;

  • 什么都不返回 → 落入默认兜底回调,返回 undefined,最终抛出 LlmError。

这个设计让重试策略成为一个可扩展的决策点——想对 Claude 用不同的退避策略?注册一个 handler 检查 provider 就行。想对特定错误码直接降级到备用模型?同样不用动 step() 一行代码。

4. 消息组装与事件关联

正常分支下,assembler.blocks() 返回组装好的结构化内容块(文本块、tool-call 块等),createAssistantMessage() 将其包装为标准的 assistant 消息,同时附带 source 元数据(provider、model,以及可选的 replayState 用于断点续传)。

写入 assistant/message 事件时,两个细节值得注意:

  • surfaceOp: 'append':标记这条事件需要在 UI 层追加展示(之前的 chunk 事件只在内部流转);

  • sourceEventSeqs: chunkSeqs:将最终消息与产生它的所有 chunk 事件建立溯源关系。

加上可选的 usage(token 计量),一条完整的推理记录就闭环了。

5. 三态结局裁决:驱动上层状态机

这是 step() 最精炼的部分——用三种返回值编码三种完全不同的语义:

返回值含义上层 turn() 的处理
{ kind: 'max-tokens' }模型输出被 token 上限截断可能开新 step 续写,或标记 turn 结束
{ kind: 'completed' }模型主动结束 / tool 标记 concluded收尾当前 turn
null工具执行完毕,但 turn 尚未结束开启新 step,带回工具结果继续推理

返回 null 是最关键的语义——它意味着这个 step 结束了,但 agent 的 turn 还没结束。上层 turn() 收到 null 后会开启新一轮 preStep() → step() 循环,把工具返回值作为新消息带回给模型。这就是 Agent 多步推理的驱动机制。

6. 工具执行与 inbox 松耦合

文章配图

executeToolCalls 的最后一个参数是一个回调函数。当某个工具在执行过程中产生了需要在下一步处理的上下文(例如用户通过工具发来了新指令、或者工具触发了 steer),它不直接修改 agent 状态,而是往 inbox 的 next-step 队列尾部追加。

这个设计保持了工具执行与 agent 主循环之间的松耦合:工具不需要知道 step() 的内部实现,不需要持有 agent 引用,只需要往收件箱投递上下文即可。而 inbox.claim() 在下一个 preStep() 中会同步认领这些消息——正好闭合了我们在 EP.04 中分析的认领机制。

协作式取消:贯穿全流程的安全点

最后值得单独提一下的是 signal.throwIfAborted() 的分布。整个 step() 中一共出现了 5 次取消检查:

  1. 入口:进入 step 前

  2. 流创建后:stream 对象创建后、迭代前

  3. 每个 chunk 边界:for await 循环内部

  4. 流消费完毕后:进入错误处理或消息组装前

  5. waterfall 执行后:插件链返回后

这是标准的协作式取消(Cooperative Cancellation)范式——长时间运行的异步任务不能被外部强杀(那会导致状态不一致),只能在"安全点"由任务自己检查取消信号并主动退出。每一个 await(可能让出控制权的异步边界)之后都有一道守卫,保证不会出现"用户已取消,但推理还在跑、工具还在执行"的幽灵状态。


下一期预告(EP.06)

这一期我们完整拆解了 step() 如何流式消费模型响应、通过 waterfall 中间件处理请求级错误、用三态返回值驱动上层状态机,以及工具执行如何通过 inbox 回调与主循环保持松耦合。

下一期(EP.06),我们将钻进 BlockAssembler:看 DSH 如何将散乱的流式 chunk 精确拼装为文本块、tool-call 块、以及思考链块,并处理跨 chunk 的边界切割与异常恢复。

全文完
查看原文

沿着这个主题继续读

从一篇文章,找到相关的教程、经验和阅读路径。

DeepSeek 与国产大模型DeepSeek、豆包、Kimi、Qwen、MiniMax 等国产大模型的实测、Agent 用法与本地部署。