好文集ChatGPT Plus¥119

【土豆姐 | Lauren】所有代码都是垃圾代码(除了我的)

演讲人:Lauren Tan(poteto) 时间:2026年11月10–12日(旧金山) 主题:All Code Is Slop (Except Mine),讲 Grok Bot 团队上个月如何在保证质量的前提下合并了约 1.1 万个 PR 整理/翻译/校准:刘老板 @leo_xiaolei

ps:X Article 图片上传数量有限制,无法上传全部 PPT,如对 PPT 有诉求的朋友可以评论区留言,统计下比较多的话,我单独整理

大家好。

文章配图

不知道你们能不能看到我的幻灯片。我叫 poteto,也叫 Lauren,很高兴今天能和大家聊聊。我们先给技术团队热烈鼓个掌吧,他们正在帮我处理笔记本电脑的问题。

好了。好,再介绍一下,我叫 poteto。我在 SpaceXSI 做 Grok Bot。能请大家举个手吗?有多少人看过别人写的代码,心里想:“这全是垃圾代码啊?”嗯,我也有过。

文章配图

但今天我想说服大家:你可以把这些垃圾代码变成黄金。上个月,我做了一件疯狂的事,把 3,000 个拉取请求对应的改动发布到了生产环境。

文章配图

在智能体出现之前,我们其实从来不怎么关注数量,除非是那些特别突出的人。

在我上一家公司,我们把这些人叫作“编码机器”。比如 Brett Taylor,他有件很出名的事,就是在一个周末重写了整个 Google Maps。

那真是一位生产力惊人的工程师。

文章配图

而现在,有了智能体,任何人都可以成为编码机器。我的观点是:软件工程师的工作,或者说成为软件工程师的核心玩法,就是弄清楚如何在大幅提高生产力的同时,保持甚至提升代码质量。

为了实现这个目标,有些人喜欢把它称作“软件工厂”。

文章配图

但我喜欢说得简单一点。我认为,这一切都围绕着信任。不是盲目信任,而是投入精力建设智能体的工作环境,让你能够相信它们会做正确的事。要达到这个程度,确实需要花不少力气。我用了六个月,才做到能交付数千个拉取请求对应的改动,其中很多是在我睡觉时完成的。

但这确实是可以做到的。而且,你们花的时间会比我少得多。我们先来聊聊,如何从一个低信任的环境走向高信任的环境。

文章配图

我用这个倒金字塔来思考:建设智能体的工作环境时,应该把时间花在哪里。

文章配图

最前面的两层是确定性的,也就是利用代码本身。

比如良好的 API 设计、架构、重构,或者使用静态检查规则、类型系统、编译器,以及各种测试。

你可以把这两层结合起来,约束智能体能做什么,强制它们默认就做正确的事。在此之上,运行时验证和形式化验证都是很好的工具,可以用来发现缺陷,检查系统的性质,以及那些你希望始终成立的不变量。

它们还能帮助你检查,智能体是否理解了你的目标和意图。

最后,再加上一点文字说明。比如规则、技能、AGENTS.md,这些需要判断力的东西。不过,我们先从代码库讲起。智能体根据输入生成输出,所以输入的质量非常重要。而你的代码库,恰好就是其中规模最大的输入之一。

文章配图

所以,每次纠正智能体时,都想一想:能不能把这次纠正变成一项确定性的检查,而不是在规则文件或 AGENTS.md 里再加一行。因为把它写进代码后,结果会更容易复现,也更值得信任。我喜欢用的一个比喻是:代码库有点像花园。

文章配图

你知道,以前代码是一批几个拉取请求这样进来的。

我记得,2024 年去上班时,我会审查同事们写的三个拉取请求。而今天,这个数字更接近 300。也就是说,现在每一位工程师都相当于一个由数百甚至数千个智能体组成的团队。代码涌入的速度太快了,几乎像一股连续不断的水流。

它甚至有一种有机生长的感觉,像个活物。

在这个比喻里,你的代码库、你施加的约束,以及你设置的防护措施,就是混凝土地基;智能体写出的新代码,会围绕这些地基生长。就像图片中的这栋建筑。所以,从很多方面来看,软件工程师的工作正在变得有点像园艺。

代码是智能体最大的输入来源,这意味着,任何变通方案、反模式、弃用代码、技术债,都很可能被下一个智能体直接照搬,因为它们看起来就是代码库里已经确立的模式。

文章配图

这就像花园里长出了杂草或者出现了害虫,一不留神,它们就蔓延得到处都是。所以,你要尽可能保持代码库整洁,让智能体始终模仿好的东西。

文章配图

好,我们来看一些实际例子。Dune 是我们为 Grok Bot 创建的一个客户端框架,用来落实这种有机架构的理念。

文章配图

从技术上讲,它其实没那么特别。你可以把 Dune 理解成 Electron 应用的 Next.js。但 Dune 有意思的地方在于,它有大量约束和静态检查规则,我们把构建桌面应用时学到的很多经验都写进了这些规则里。

其中一个教训是:凡是需要仔细把握细微差别才能用好的东西,往往都会带来垃圾代码。

文章配图

一个典型例子就是 React 里的 useEffect。它有适用场景,但也经常被误用。有人开玩笑说,得有个博士学位才能用好 useEffect。换句话说,要用好它,确实需要把握很多细微之处。

而智能体并不擅长使用它。所以,我们的解决方案就是:直接禁止在产品代码中使用它。

只有 Dune API 内部的某些地方才允许使用它。这样一来,这一整类问题实际上就被消除了。我们再也不用在代码审查时专门去抓这个问题。我们还采用了另一个有意思的模式:通过目录结构提供上下文。

文章配图

Cursor 是一个 Electron 应用,我们在其中发现过一种反模式:智能体经常把主线程代码导入渲染线程,造成长任务和卡顿。

所以,在 Grok Bot 和 Dune 应用里,我们为这件事建立了非常明确的约定。有两个顶层目录,名字就叫 electron-renderer 和 electron-main。我们的依赖图分析器和一些静态检查规则,会禁止它们之间互相导入。

再强调一下,这些静态检查规则设置起来很简单,但它们意味着:代码审查时,我们又少了一件需要检查和考虑的事。

我还看到过一件更让人意外的事,就是智能体使用 Markdown 的方式。

文章配图

比如文档、代码注释、规则或者技能。它们会把这些地方当成一个空间,写下自己为什么没有做正确的事,为自己辩解。还有一种情况,不知道你们见没见过:你只是做了一个小小的纠正,它们却反应过度,把这件事当成一条永远不能再违反的硬性规定。

这里还有一个来自 Cursor 的例子。

文章配图

智能体特别喜欢使用命令式计时器,比如 setTimeout、requestAnimationFrame、requestIdleCallback。

它们把这些东西当作快速修补的办法,实际上是在掩盖 VS Code 的命令式风格与 React 的声明式风格之间的架构冲突。所以,我们的架构选择,反而让客户端性能和智能体的表现都变差了很多。

如果你做过 JavaScript 性能优化,就会知道:大量计时器被快速创建和销毁时,会引发频繁的 major GC(大规模垃圾回收),进而造成明显的延迟和卡顿。但最糟糕的是,智能体还写了很多代码注释,就像这里红色标出的内容,解释为什么这种快速修补是合理的。

结果不知不觉间,计时器遍布各处,应用的性能受到了严重影响。

到了 Grok Bot,我们吸取了这个教训,决定直接禁止 99% 的注释,因为它们很容易过时。

文章配图

你知道,人类其实也懒得读那些垃圾注释。而且,这又给了智能体一个逃避的出口:因为做正确的事太难,所以它可以用注释解释自己为什么没这么做。

不过,注释最糟糕的一点是,它们无法被强制执行。

所以,那些看起来出于好意的做法,比如“我要告诉下一个智能体别做某件事”,最终并不会变成真正值得信任的保障。现在,在 Grok Bot 和 Dune 里,我们有一些静态检查规则,它们会给出清楚且很有帮助的错误信息,告诉智能体去解决根因、解决真正的问题,而不是绕着问题打补丁。

因此,我们的总体原则是:每次纠正智能体,都要把这次纠正转化为一项确定性的检查;或者,思考怎样通过更好的 API 设计、更好的架构,从代码层面消除这一整类问题。

文章配图

如果这样做足够多次,你就会发现,代码审查时需要留意的事情越来越少。

到了某个时候,你会意识到,已经没什么需要审查的了。

这时,你就可以让智能体自行合并它们的大部分拉取请求。好,接着说。验证也是一个很重要的部分:它让智能体更自主,也让我们对它们的工作更有信心、更信任。

文章配图

我们的代码审查流程,如今已经大幅缩减,转而主要查看验证材料,比如视频、截图、图表,以及形式化验证。

最基础的例子就是运行时验证。这个说法听起来复杂,其实就是让智能体能够自己运行代码,并使用人类开发者也会用的调试工具,比如 Chrome DevTools 协议。在我们的运行时验证技能中,有一个东西叫“功能地图”。

它基本上就像网站地图,从用户的视角列出应用中所有可用的功能。

有了它,当你说“左侧边栏里的那个东西”时,智能体就不用猜了。它让你们拥有一套共同的词汇。我们还在这些技能里使用自定义命令行工具,让智能体每次都能复用命令行工具和驱动程序。

文章配图

这样既能减少 token 消耗,也便于测试。

最近,我们也开始研究形式化验证。

文章配图

我们现在会用 TLA+ 对主要用户流程做模型检查,比如跨设备、跨平台的通知流程。我们也用 Lean 来证明某些算法。例如,我们有自己的——我们自己写了一个定制的虚拟化库,并用 Lean 检查它是否存在闪烁或者抖动问题。

总体来说,我们还在试验这种方法。

它看起来很有前景。我们已经通过形式化验证发现了不少缺陷。但它肯定不是万能解法,我们把它当作另一种工具,作为智能体工作环境中的又一层。这里的视频播放得很快。我们最近还开始研究另一件事:针对用户界面的基于属性的测试。

文章配图

我们用的是一个叫 Bombadil 的库。它也已经帮我们发现了几个用户界面缺陷。好,退一步看,我看到了 Cindy 发的这条推文。六个月前,她说自己没办法信任智能体,因为一些很隐蔽的缺陷被合并进了代码。

文章配图

而她要真正信任智能体,缺少的其实就是验证流程。

现在,六个月过去了,她说自己每天 70% 的 token 都花在验证上。

文章配图

我觉得这和我看到的情况一致,我的大部分 token 也都用在验证上。如果仔细看看她的流程,就会发现,这些都不是什么我们从未见过的新奇技术。

文章配图

它们只是好的软件工程工具,只不过以前使用它们的成本可能高得难以承受,因为它们很难理解、编写或者维护。但智能体大幅降低了这些成本。我们确实正在进入软件测试与验证的黄金时代,因为智能体让我们能够以过去在成本上不划算的深度,对各种东西进行测试。

形式化验证还能帮助你更好地推理产品应该如何运作,以及智能体是否真正理解了你的意图和目标。

我在自己的插件 pstack,也就是 potato stack 里,做了一个叫 statechart 的新技能。它能帮助你从用户的视角把状态机可视化。

我发现,把它和我们提供的视频、截图放在一起审查,要容易得多。

所以,这个效果很好。抱歉,刚才闪了一下。好,现在我们来看看理想中的状态是什么样。

付出这些投入之后,你能得到什么回报?在 Grok Bot 团队,我们的交付速度正在起飞,而且还在快速增长。上个月,我们团队把多达 11,000 个拉取请求对应的改动发布到了生产环境,这个数字实在疯狂。

我们发布客户端的速度也提高了,现在大约每天都会发布一个新的稳定版本。

核心团队交付的东西也更多了。而且,我们还多了很多偶尔参与、顺手贡献一下的人。他们不一定掌握很多背景信息,但也在贡献代码。10 月份,大约有 227 人至少贡献了一个拉取请求。

看到交付速度这么快,你可能会想:这难道不会变得一团乱吗?

这难道不会全是垃圾代码吗?但实际上,被回退的 PR 所占比例反而下降了,目前稳定在约 0.5%。

不过,我认为在这样的交付速度和拉取请求数量下,真正有意思的是:Grok Bot 的性能不仅保持稳定,而且相比刚发布时,在多个维度上都有提升。

比如启动、输入、打开新聊天、切换聊天,这些操作都变快了。

别忘了,Grok Bot 目前仍然是一个 Electron 应用,所以性能是有上限的,对吧?但它已经比市面上很多其他智能体界面快得多。

对于一个交付速度这么快、又有这么多人参与贡献的 Electron 应用来说,我觉得这已经相当不错了。

所以,在你一头扎进软件工厂建设,试图把一切能自动化的东西都自动化之前,每次纠正智能体时,先尝试通过改善代码库来解决。你可以先写一条静态检查规则,防止反模式再次出现,然后把已有的旧模式也清理掉。

接着,确保你的验证体系足够扎实。反正,这些工作中的很多本来就是自动化的前提。

如果你的内部编码循环产出的是垃圾代码,那么把这个循环自动化,也只会产出更多垃圾代码。你就需要往这个问题上投入越来越多、越来越多、越来越多的 token,而我们都知道,这很贵。当你在代码、代码库、静态分析、运行时验证和形式化验证上完成这些投入后,你会开始发现:有了这些基础,很多事情就变得可行了。

而且,你可以很容易地在这些基础上构建自己的工厂。

等你准备好了,Grok Bot 就是构建这个外部循环的一种很好方式。

我们有大量连接器,还有能启动 Cursor Cloud Agents 和项目的例行任务,让你可以编排数百甚至数千个智能体。

举个简单的例子,现在每次发布新版本时,Grok Bot 都会自动为我们启动一个新的 Cursor 项目,对整个应用、整个构建版本进行模糊测试。它会运行应用,像真实用户一样使用它,从中发现缺陷。

然后,它会针对发现的每个缺陷创建修复 PR,并自动合并。

听起来很疯狂,但确实如此。这是因为我们的代码库已经足够好,拉取请求默认就往往是高质量的。而我们合入的大部分产品代码,已经不再需要深入的人工审查。

所以,当你有了扎实的基础和良好的有机架构,就能把垃圾代码变成黄金,以高质量、高速度交付,同时不牺牲质量。我叫 poteto,也叫 Lauren。再次感谢大家听我的演讲。谢谢。


好啦,这就是今天的全部内容,如果你喜欢这篇推文,一定要记得按赞和关注!

我是 刘老板(@leo_xiaolei)

头部安全公司 AI 研发 | 讲师
北京xx大学计算机硕士 | 多篇专利& SI 论文
探索 AI | 创造价值 | 开源分享
AI充值小店:https://d956.aivip1688.com PPT 制作系统:https://apsdeck.com 联系方式(咨询&合作,注明来意) ➡ https://threerocks.xyz/me

全文完
查看原文