好文集ChatGPT Plus¥119

多 Agent 现在到底能干到什么程度?我组了一个 AI 团队实测了一轮

文章目录

我越来越觉得,多 Agent 的下一步不是一个人指挥更多 Agent,而是多个人和多个 Agent 在同一个群、同一份上下文里一起干活。Teamily AI 是我目前看到认真做这件事的 Humans + Agents 平台。

但用多 Agent 干活,我最怕一种情况:第一个 AI 理解错了,后面几个顺着这个错,越干越卖力。

这周我就在 Teamily AI 拉了一个群实测:三个 AI 成员,再加一位一起合作的伙伴,拿 2.0 的 Website Builder 给我那门还没上线的 AI 编程课做宣传页。中途我改了一次关键前提,看看它们能不能跟上。

先看最终成果:

文章配图

我想借这次实测回答三个问题:

  • 现在的 AI 团队怎么分工、怎么交接?

  • 中途改需求,它们能不能接着推同一个项目?

  • 最后交出来的东西,人还得管多少?

一. 几个 AI 一起干活,为什么反而容易跑偏

先说我为什么会怕。

多 Agent 的思路很好理解:一个 AI 查资料,一个写文案,一个做网页,像个小团队。但用过就知道,人类团队有的毛病,它们也有。

  • 错误会被接着用:前一个 agent 的输出,就是后一个的工作材料。一个没核实的判断,可能一路流进成品。

  • 交接会丢条件:结论传过去了,但"这条只在某种情况下成立""这份资料还没确认"这些条件,没跟着传过去。

  • 各干各的不等于干完:文案写了,网页也生成了,可没人回头看它还符不符合最开始的需求。

这不是我拍脑袋。UC Berkeley 团队有一篇研究,把多 Agent 系统的失败归成三类:系统设计本身有问题、agent 之间配合出错、最后没人好好验收。

当然,单个 AI 连续干活也会一错到底。多 Agent 只是多了交接和协调两个环节,也就多了两个出错的口子。

二. 那该怎么判断一个 AI 团队靠不靠谱

我给自己定了三个观察点,后面的实测一条条对:

  1. 分工清不清楚:谁负责什么,下一步要等谁的成果。

  2. 改动能不能传下去:我中途改了要求,相关环节有没有跟着调。

  3. 交付前有没有人检查:查了什么,拿什么查的,查出问题怎么办。

第三条是我最在意的。Anthropic 工程团队写过他们做长任务的做法是,把规划、制作、评估拆给不同角色,负责评估的那个要去实际打开应用检查。但加一个审核 agent 也不等于就可靠了,审核的也可能看漏。

还有个前提得先说。Google 研究发现,多 Agent 并不是在所有任务上都比单 Agent 强,任务适不适合拆,结果差别很大。

所以这次我只测一件事:一个本来就适合拆成调研、文案、网页、审核的真实任务,一个 AI 团队能做到什么程度。

三. 开始实测:把课程资料交给一个 AI 团队

背景是这样的:我在做一门 AI 编程课,大纲改到了 v2.2,但课还没上线,需要先有个宣传页。

我跟 Teamily 里的 Personal AI 说:帮我建一个"AI Coding 课程推广"群,成员你来定,控制在 3 到 4 个,先把队组好,我再给资料。

它建出来的群,是我加 3 个 AI 成员。后来我又把一起合作的伙伴拉了进来,请这位伙伴站在读者的角度看页面:

文章配图

文章配图

然后我把两份资料丢进群里,顺便讲清楚页面给谁看、要达到什么效果、哪些事实不能编。

接着群里出现了一份三步执行计划。我最想让你看的是一个小细节:第二步后面标着 depends on #1,第三步标着 depends on #2。

文章配图

也就是说,它们不是三个 AI 同时开工、各写各的。Webpage Developer 要等 Market Research 的文案出来才动手,有先后,有交接。

第一个观察点,分工这块,它是清楚的。

四. 第一版出来,我不太满意

第一版很快就出来了。深色背景、橙色渐变、发光按钮,很有 AI 产品那味。

文章配图

但我看完挺不满意的:

  • 标题断行很别扭,"能上线、能被验证收费"被拆得七零八落。

  • 流程卡片和大段文字堆在前面,我最想让人看到的项目反而压在后面。

  • 发光和渐变太多,看久了有点累。

伙伴看完第一版,在群里就回了一句:这个版本 AI 味太重了。

这话说得比我还直接。我列的那几条,其实都是这个意思。

还有一个更要紧的问题。课程作品这块,我得先跟它们说清楚:没有学员作品集,因为这门课还没上线。这里只能讲课程会带你做出哪些项目,不能写成已经有学员做出来了。

"课程作品"和"学员作品"只差两个字,代表的事实完全不一样。课还没上线,写成后者就是在编。

所以我把这些,连同伙伴那条,攒成一轮整改意见发进群里:标题控制在两行、按意思断行,项目往前放、流程往后放,少一点发光渐变,作品只按课程项目的口径来写。

五. 一条意见,几个 agent 一起接

这一轮我最想看的,就是改动能不能传下去。

Super Agent 收到意见后重新排了一遍任务:Market Research 先精简文案,把作品的口径改成课程项目,Webpage Developer 再拿新文案用 Website Builder 重排页面,最后回到 Market Research 做审核。

这轮意见是直接发在群里的,Super Agent 自己拆给了每个成员。

改版出来,变化是能直接看到的:

  • 首屏标题压成两行,按意思断开。

  • 风格从深色发光换成了浅色、偏杂志感的排版。

  • 项目板块提到了前面,示意图右上角挂着一个小标签:课程示例 · 演示项目。

  • 价格、试学链接这些我自己都还没定,我让它先用示例占位。页面顶部挂了一条提示:本页为演示版,所有项目、价格、链接均为示例占位,非最终内容。

文章配图

我从这一轮拿到两条经验。

第一,反馈越具体,团队越容易把修改落到每一个环节。只说"再好看点",几个 agent 只能各自去猜。

第二,业务前提得人来拦。"课还没上线"这件事是我提的,不是 AI 自己发现的。它们做到的,是我说了一次以后,这个修改从文案一路传到了页面上。

错误的前提如果没人拦,就会流进成品。这次拦它的人是我。

六. 审核 agent 到底查了什么

Market Research 后面兼了审核,交了两份报告,一份审第一版,一份审改版。

挑两个它真找出来的问题:

  • 项目编号和工具名称,前后口径不一致。

  • 改版预览里的试学、目录按钮,链接还是占位锚点,点了哪儿也去不了。

但第一份报告里还有一句话,我觉得比找出的问题更重要。它明确写了:没法直接调取那两份课程大纲原文,部分判断依据的是页面自身前后一不一致,加上上游成员的记录。

也就是说,它判断没问题的地方,有一部分并没有对着原始资料核过。它愿意把这一点写出来,我反而更信它一点。报告里还记录了测试数量,这个数我没有自己复测,就不转述了。

文章配图

所以我现在看到任何"审核通过",都会多问三句:拿什么资料核的?实际查了哪些?哪些没查?

七. 最后交付了什么

最终交出来的是一个能打开、能分享的课程宣传页 Demo,有首屏、课程项目、学习流程、适合谁、试学说明、示例价格和常见问题,可以直接打开看:课程宣传页 Demo

这次我确实看到它们做到的:

  • 组队和排任务:按目标自己拉人,排好谁先谁后。

  • 一路推到交付:从读资料、写文案,到网页和审核报告。

  • 接住反馈:一轮整改意见,文案、页面、审核都跟着动了。

  • 跟着事实改:我补了一个前提,已有内容跟着调整。

还得我自己来的:

  • 好不好看、话说得合不合适,最后还是我拍板。

  • 课程现在到底什么状态,这种业务事实只有我知道。

  • 定方向、补真实素材、最终验收。

也说清楚这次测不了什么。我没拿单个 Agent 做对照,所以没法说它快了多少,更不能说多 Agent 解决了幻觉。这个页面也是 Demo,离能直接招生收款还差真实素材和定价。

写在最后

如果你也想试试,我自己会这样做:

  1. 一开始就把目标、资料和不能编的事实交代清楚。我这次就是一开始没强调"课还没上线",后面才返工。

  2. 过程中盯交接,别只看最后的成品。

  3. 看到"审核通过",去翻它到底拿什么核的。

回到开头那个担心,前面理解错了,后面会不会顺着错下去?这次的答案是会,但只要人中途说一句,它们能把改动一路传到页面上。

这也是我对 Teamily AI 最直观的感受:人和 Agent 在同一个群、同一份上下文里干活,我的意见、伙伴的意见、Agent 的产出,都在一条线上往下走,越做越像一个真的团队。

从第一版到最终版,中间就改了一轮。我最大的收获其实是学会了怎么给一个 AI 团队提需求。

这次用的是 Teamily AI 2.0 的 Website Builder,想自己组个 AI 团队试试,可以走我的邀请链接https://teamily.ai/i/T93CGM

@Teamily_AI

全文完
查看原文