【译文】Claude Code 团队如何看待验证 -- By Addy Osmani
文章目录
作者:Addy Osmani
原文:https://x.com/addyosmani/status/2122590683055993308
作者同题博客:https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
在 Claude Code 团队,我们的代码绝大多数(约 90%)是由 Claude 编写并由 Claude 审查的。到了这个规模,如何让智能体用证据验证自己的工作,就变得极其重要。
验证循环是你能把更多工作交给 Claude 的基础。没有它,你一次其实只能跑一两个 Claude,因为每件事都得自己检查。有了它,你可以并行跑几十个、上百个。
这是因为,给智能体一种验证自身输出的方法,能有效提高质量。针对结构化文件生成的内部测试里,单独设一个评分器,按评分标准检查 Claude 的工作,比标准的 prompting 循环把任务成功率提高了最多 10 个点,而且最难的问题上提升最大。
过去验证起来很贵的东西(测试、基准测试、规格说明、真正的端到端运行),现在向智能体索取已经很便宜。和写代码一样,智能体可以很快生成测试、基准测试和规格说明。一旦生成,这些测试和基准测试就作为软件运行,因此可以频繁执行,而不需要消耗太多额外的 token。
你还可以用验证结果来改进智能体在该任务上的表现,从而把验证循环闭合。例如,如果一个智能体反复通不过一项检查日志里是否有用户数据的测试,你可以创建一个 hook,或在 CLAUDE.md 里写一条更明确的规则,以避免以后再出现同样的问题。这(基本上)能阻止问题再次发生。
那么,如果验证对于高速产出高质量代码至关重要,你该使用哪些类型的测试,又该如何把它们用到整条流水线里?这篇文章会回答这些问题,并分享 Claude Code 团队实际采用的做法。
并非所有测试都同等重要:值得投入的 3 类测试
无论你选择哪类测试,都有几种失败模式需要避开。
如果测试不稳定(flaky),你就会把智能体训练成再跑一遍测试,而不是去修出错的代码。如果测试很慢,智能体在各批次中会少跑一些测试,这会让定位问题变得困难。更重的测试最好在提交更改之前部署。
下面是我认为最值得投入的三类测试。
E2E 测试
如果只能专注一类测试,就选端到端。这类测试描述真实的用户流程,比如把商品加入购物车、结账,然后进入确认页。
E2E 测试之所以这么有效,是因为它们很难被糊弄。要么整个功能能用,要么不能。它们还有明确的完成标准,并能具体告诉你哪里坏了。
图 A
📷图 A 单元测试也许只会显示 “Error: Timeout after 30 seconds,” 而端到端测试可以给出一张截图,并说明哪里坏了。
单元测试更快、也不那么容易偶发失败,但有可能测试都过了,功能却还是坏了。这是因为智能体和测试都没有理解完整的任务。
有了 E2E 测试,给智能体一双手和一双眼,让它接触真实运行中的系统,会很有效。你可以用一个 skill 来启动、驱动和检查应用,借助 CDP、模拟器或 API harness 等。
功能地图可以作为智能体的指南和评分标准,因为它通常从用户的视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
属性测试:不能被打破的约束
很多测试基于你觉得可能出错的地方。属性测试关注的是人们容易漏掉的边界情况,而智能体也常常在这些地方失败。
你先写下一句你认为不可能失败的陈述,然后用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成成千上万组输入,试图证明并非如此。
几乎每个软件项目里都有许多这样的属性,例如:
-
往返编码:「如果你把 X 编码后再解码回来,得到的还是 X。」这同样适用于解析和序列化。
-
不变量:必须始终成立的事情,比如「账户余额永远不能变成负数。」
-
幂等性:把一个操作(迁移、规范化、重试)做两次,效果和做一次相同。
-
等价性:优化后的代码与朴素但正确的代码得到相同的结果。
属性测试库是让智能体保持诚实的好方法,因为它们用的边界情况,并不是按编写原代码的那个智能体的同一种偏见造出来的。在重写场景里,它们也特别有用,尤其是当规格已经偏离生产环境中的实际行为,不再是可靠的验证依据时。
差异测试:旧系统就是 oracle
差异测试对功能理应保持不变的大规模迁移场景特别有效。做这类测试时,你用同一组输入同时跑旧系统和新系统,看结果是否不同。如果不同,就存在需要修复的 bug 或破坏性变更。
差异测试的关键是使用随机生成的输入,或生产流量的样本。你还需要把空白字符这类无关因素归一化,并维护一份已批准变更的清单,用于新环境本就应该与旧环境不同的情况。
Claude Code 团队如何看待验证
我们之前写过 Anthropic 的代码审查如何运作,但这篇文章想更深入地谈我们如何验证自己的工作。
验证意味着把改动真正跑起来
把应用从头到尾跑一遍,比测试本身更重要。你不会在模拟器里都没试过,就把一项 iOS 改动发出去,对 Claude 也是一样。
Claude 可以像人或 QA 工程师那样测试整个应用。网页改动就让它用 Claude Chrome extension,移动端用 iOS 或 Android MCP,桌面端用 computer use,后端工作则让它在本地把服务跑起来。
要把如何启动模拟器或运行应用写成规范,可以创建一个名为 verify 的 skill。把它放在仓库的 .claude/skills/ 文件夹里,尽可能靠近相关代码,需要多少就加多少。Claude 知道在提交更改之前要使用 verify 这个 skill。
然后投入精力,把 verify skill 做快、做可靠。让 Claude 迭代它、对它做压力测试。这是你的冒烟测试脚手架,所以你希望它非常稳固。
当你让 Claude 能够对改动做端到端的冒烟测试,结果会好得多。你会看到它像人一样迭代,更快抓住真正的错误。这就是我们在 Anthropic 测试几乎所有改动的方式。
测试失败时需要人来看
没有人能读完每一处改动,所以我们把失败当作决定哪些事情需要人来看的一种方式。Claude 会跑这些检查,并尝试修复任何失败的项。如果一项检查在三轮之后仍然失败,Claude 就会停下来,把人请来。
代码所有者编写自己的检查
代码的所有者为它编写检查,并不断调整,直到检查能标出所有者本人会标出的问题。当一项检查把审查者拉进来时,它应该说明原因,这样审查者就不必从 diff 里自己推断。
可靠性检查由 diff 触发
我们维护一份有 39 项的可靠性检查清单,每一项都有一个可以从 diff 中读出的触发条件、一项检查,以及背后的事故或 PR。其中一项是 “--resume loads old transcripts.” 当 session 存储或消息类型发生变化时,我们会问,一个新字段能否安全加载,因为更早的 transcripts 里不会有这个字段。
Claude 会阅读 diff,只检查触发条件匹配的项目,通常是 3 到 10 项,这样就没有人需要记住过去的故障。
一位审查者,多轮审查
我们不会靠叠加上更多审查者来改进审查。在主要审查者之上再加一个更贵的审查者,往往不如把主要审查者调校好。我们会用一份 REVIEW.md 说明,审查这个代码时应该注意什么。
我们也认为,审查和验证的各轮应该建立在彼此之上。每一轮都对准更早几轮和过去失败提供的上下文,而不是从头把所有东西再检查一遍。这样更便宜,也能发现更多问题。
改动不能修改评判自己的检查
如果一处改动能够修改评判它的检查,这个检查就是失效的。Code Review 从 base 或默认分支读取 REVIEW.md 文件,从不从 pull request 的改动中读取。Claude Code 团队会确保,用于把关改动的规则位于该改动无法修改的分支上。
Claude Code 团队也只针对 commit 做审查。如果审查进行时还有人在推送,审查结果就不再有用。对一个过时 commit 的通过审查没有意义。
团队也会先跑便宜的检查。如果智能体在本地测试之前就推送,它就占用了共享的审查和 CI 时间,而本可以自己发现这个 bug。在我们团队,Claude 会在打开 pull request 之前跑测试、build 和 linter。你可以用一个在 Claude 结束时跑测试的 hook 来强制这一点,或设一个测试套件必须通过的 /goal。
新的门禁先从观察模式开始
在我们自己的仓库里,我们会给每个 commit 盖上它是如何被验证的印记。这个印记甚至包括 "none",这样我们就可以查询哪些 commit 没有被验证。
我们还做了一个 commit 门禁:如果这次 session 里没有 /code-review 或 /verify,就可以拦住这个 commit。我们设置了 off、observe 和 enforce 三种模式。
observe 模式会记录本来会被拦住的内容,这样我们可以检查误报,并确保没有人受到影响。
enforce 模式会拦住 commit。任何 commit 都可以在提交说明里解释它为什么没有被验证。如果在同一次 session 里已经有两次 commit 被拦住,下一次就会放行,以免 Claude 卡住。Claude Code 不是完美的。
用真正要紧的事情来检验你的检查
Claude Code 团队也定期审查这些审查者。我们追踪有多少已合并的改动后来被 revert,有多少改动在合并前被维护者拒绝,以及一组规模相当、一直保持干净的改动子集。
这也可以用正式的评估来做。在我们的代码审查文章里,我们描述过 Code Review 团队如何基于以往的事故和 revert 建立评估。对每个例子,他们会把仓库恢复到审查当时的状态,并提供一句关于那个 bug 是什么的标准答案。只有正确描述了该 bug 的发现才能得分。他们用已合并且稳定的改动作为对照,以防止过度标记。他们的调参集与用来评估系统的固定测试集是分开的。
他们还分别评估了原始发现、验证之后,以及最终审查的召回率。这样可以看出系统是否把已经找到的 bug 又弄丢了。如果一项评估把这些全部当成一个端到端分数,就抓不住这种细微差别。
除了是否成立,我们还关心另一个维度:做出改动有多重要。一个好的审查者会抓住大多数技术上正确的问题,但人们关心的是某个 bug 属于 must-fix、should-fix,还是 nit。
Code Review 恰好有这个想法,它会把问题标记为 Important、Nit 或 Pre-existing。"pre-existing" 标签的意思是,审查者不应当让作者为本来就已经存在的 bug 负责。
最后,Claude Code 团队会把召回率调到这样一个点:再往上提升,就会变成对评估集过拟合,而不是真正在抓 bug。
把漏掉的问题变成规则
在 Claude Code 仓库里,我们有两种方法把漏掉的情况变成规则。第一种是从人工代码审查评论和 PR revert 中提取模式,找出常见问题。这些问题必须至少在两个 PR 中出现,并且能从 diff 中识别出来,才会被当作潜在规则。三个智能体会试图证伪它们,然后由人在 PR 中审查并批准。
第二种方法是,针对与已知事故相关的 PR,重放三个 bug 查找器。如果至少有两个找到了这个 bug,它就是可检测的 bug。如果这个 bug 在一个很小的 diff 上被漏掉了,这就是一个值得写进 REVIEW.md 规则的缺口。
偶发失败的测试也按同样方式处理。Claude 不能跳过它们、加上 sleep,或重试到通过为止。如果找不到根本原因,它就删除这个测试,并写下原因。
规则也需要清理。测试套件、验证步骤和 .md 文件,如果你放任不管,就只会越变越多,所以我们会定期整理它们。
好的测试,好的结果
我们发现,给智能体一种用强反馈循环来验证自己工作的方法,会带来决定性的差别。要把验证层当作和其他系统一样来对待。让它处在被它评判的改动够不到的地方,用那些对你真正要紧的 bug 来给它打分,当它漏掉什么时把教训写下来,避免同样的事情发生第二次,并修剪这些教训,让它们始终值得继续运行。
做到这些,你的工作就会从阅读每一处 diff,转变为定义「完成」是什么样子,并审查证据;而这正是让你可以同时运行许多 Claude 的原因。
作者:Addy Osmani
沿着这个主题继续读
从一篇文章,找到相关的教程、经验和阅读路径。




