好文集ChatGPT Plus¥119

什么创造了 Anthropic?

文章目录

时间是有价格的

2006年秋天,他23岁,在普林斯顿读物理博士,想弄明白的是宇宙基本规律那一类问题。也是这一年,他父亲去世了。

Riccardo Amodei 是意大利裔的皮革工匠,得的是丙型肝炎。这个病在当时有得治,但治起来很苦,干扰素加抗病毒药要打满一年,副作用接近一场轻度化疗,治愈率也就五成上下。7年后的2013年12月,FDA 批准了 sofosbuvir,口服12周,治愈率超过95%,这件曾经要拿命去赌的事,从此成了门诊里的日常。

一种药从实验室走到病床,通常要十几年,每个环节都在排队,等实验结果、等临床、等审批。对大多数人来说这只是新闻里的一行字,对他来说,这十几年等掉的是父亲的命。后来他做的几乎每一个选择,都是在想办法让下一个药早点来。

嵌入推文(联网查看)

一块蝾螈视网膜:从理论物理转向生物

父亲去世后的第二年,他放下理论物理,转到神经科学系跟 Michael Berry 做研究,想做点离治病更近的事。Berry 的实验室养蝾螈,取出来的视网膜泡在培养液里能活好几个小时,照光还有反应,几百个神经元在里面互相说话。他要把这些神经元同时录下来,可那几年的多电极阵列不够用,信号太吵,他就把板子拆开自己改。

他在这里待了5年,2011年的博士论文研究的是神经回路的集体行为,拿了 Hertz 论文奖。这段经历教会他一件事,单个神经元说明不了什么,信息藏在几百个细胞一起放电的模式里,想看懂,就得同时听所有细胞说话。

毕业后他去斯坦福医学院做博士后,用质谱仪在血液和组织里找癌症的蛋白质标志物,在这里撞上了生物学的天花板。质谱仪一天能测出几百个蛋白,画出来的交互网络能铺满一面墙,每个节点都有人研究过,合在一起却没人说得清。他后来在访谈里用过「绝望」这个词,大意是一个蛋白质网络要成百上千个研究者一起做,才勉强能懂一点。

生物学慢,慢在变量太多,人脑装不下。蝾螈视网膜和蛋白网络是同一类问题,成千上万个部件互相牵连,而人类研究它们的办法,还是一个人盯一个节点。人手不够,他开始找能替人干活的东西。

堆算力:从生物学转向AI研究

2012年 AlexNet 出来的时候,他刚好是最能看懂它的那批人之一。他做了好几年神经信号处理,一眼看得懂这篇论文在说什么,一个由大量简单单元组成的网络,喂进去足够多的数据,自己就能学会认图,这和他在视网膜里看到的东西很像。

2014年11月,他离开生物学,去了百度在硅谷的 AI 实验室做语音识别,参与的 Deep Speech 2 用同一套端到端模型同时处理英语和普通话,靠的就是更多数据、更大的模型和更多 GPU。语音识别那几年只看错字率,谁数据多、卡多谁就赢,他第一次在工业界看清,不用等什么理论突破,把数据和算力堆上去,效果自然就来了。

2016年他进了 OpenAI,后来做到研究副总裁。2020年1月,他和 Jared Kaplan 等人发表了 Scaling Laws 论文,把这个直觉写成了公式,模型的误差会随参数量、数据量和算力的增长,沿着一条很平滑的幂律曲线往下走。

这条曲线是今天整个 AI 行业的地基。它意味着智能在很大程度上可以花钱买,只要肯往里砸算力,模型就会变强,强到什么程度甚至能提前算出来。对一个想让生物学提速的人来说,这是他听过最好的消息,人手不够,那就造一个不会累、能同时读完一万篇论文的东西。

GPT-2的挤牙膏式发布:似曾相识的做法

可这条曲线还有另一面。既然多砸算力模型就会变强,这件事就谁也拦不住,你不做,别人也会做。

2017年他和 Paul Christiano 等人发了一篇论文,做法很笨,让人看模型的两个回答,挑出更好的那个,再拿这个选择当奖励信号去训练模型。这就是 RLHF 的起点,它要解决的是怎么让一个越来越强的模型听人话,今天叫得上名字的对话模型,背后都有它。

2019年2月,OpenAI 说训练出了一个15亿参数的语言模型 GPT-2,但先不公开权重,先放1.17亿参数的小版本,几个月后放3.45亿的,再放7.62亿的,最后才放出完整版,前后拖了9个月。外面吵得很凶,有人说这是负责任,有人说这就是营销。可对一个在医学院待过的人来说,这套做法很眼熟,新药上市也是这么一期一期走的,先给几十个人用,看安不安全,再扩到几百人、几千人,哪一步出了问题都可能叫停。区别在于新药背后有 FDA 能喊停,GPT-2 背后没有,等权重全部公开,挤牙膏式地放也什么都没拦住。

一年多后 GPT-3 发布,1750亿参数,没有分阶段,直接开放了 API。参数涨了一百多倍,发布反倒越来越随意。这几年让他看明白的是,既然拦不住,能管的就只剩什么时候发、发给谁、发到什么程度,而这个决定并不在他手里。

2020年12月他离开了 OpenAI,同一个月走的还有好几个人。

Anthropic宪法:先防住最坏的结果

2021年初,他和妹妹 Daniela 等七个人创办了 Anthropic,他做 CEO。

他们最怕的是那种一旦发生就收不回来的事,比如有人拿模型去设计生物武器。可先不发这句话,在关键时刻很难说出口。模型训好了,对手在追,投资人在等,这时候再坐下来讨论该不该发,结论几乎一定是发。所以 Anthropic 早年做的几件事路数都一样,趁还没走到那一步,先把规矩写死。

2022年12月的 Constitutional AI 给模型写规矩,几条大白话原则当作宪法,模型答完自己对照、自己改,人只要改原则,不用再逐条标注。2023年9月的 RSP 给公司写规矩,借的又是生物学那一套,病原体越危险,实验室的防护等级就越高,模型也一样,能力到了哪一档,就得先过哪一档的测试和防护,过不了就不发。再往后是公共利益公司和 Long-Term Benefit Trust,给董事会写规矩,几位不持股的受托人能选出董事会的多数席位。

这套做法有个名字叫预先承诺,尤利西斯让水手把自己绑在桅杆上,听到塞壬的歌声也没法把船开过去,从模型到公司再到股权,这根绳子一层比一层绑得紧。

代价当然也是实打实的。Claude 2023年3月才上线,比 ChatGPT 晚了三个多月,之后公司体量一直比 OpenAI 小一圈。到了2026年,二季度收入环比涨了132%,三季度只涨了45%,招股书给的第一条原因是 OpenAI 降价抢 agent 生意,另一条是有5%到7%的收入来自拿 Claude 输出去蒸馏别家模型的客户,这部分他们预计会继续砍掉。此外,图像和视频生成他们一直没做,因为算力要留给研究和安全。

踩刹车的加速派

只看前面这些,很容易把他当成一个谨慎的人,可他其实是这个行业里最想要快的人之一。

2024年10月,他写了《Machines of Loving Grace》,里面最大胆的判断是,AI 能把人类生物学家未来50到100年的进展压进5到10年,传染病、癌症、遗传病,他一样一样算过去。从父亲那7年,到实验室里的人手不够,再到砸算力就能换来智能这件事,这篇文章把他前半生的线索全串上了。

2026年,AI 开始反过来加快 AI 自己的研发。那年9月,Anthropic 代码库里超过90%的代码是 Claude 写的,它已经在帮着做下一代的自己。

9月12日,他又写了一篇《We Must Pace the Frontier》,呼吁大家把最前沿的模型变强的速度放慢一点。文中他说自己做了12年 AI,是因为相信它能大大提高人类的生活质量,紧接着提到父亲的病,和自己从一场早期癌症里活下来。

一个最清楚晚7年意味着什么的人开始踩刹车,他的理由是,就算放慢了,进展看起来还是会很快,多出来的这些时间要好好用。他想要的始终是快,只是现在这笔账里,还需要考虑AI产生预期之外的破坏性影响。

锁进招股书的方向盘

今天早上,Anthropic 公开了招股书,代码 ANT。

股本结构里有两类股票:

  1. Class T 归 Long-Term Benefit Trust,不分红,能选出董事会的多数席位

  2. Class F 在七位创始人手里,握着50.1%的投票权

这意味着买股票的人无法改不了这家公司的方向,此外风险因素里还有一句举重若轻的话——Anthropic在安全上的投入往往没有明确的回报。

6年前在 OpenAI,模型什么时候放、放给谁,这个决定不在他手里。今天他用两类股票,把决定权锁在了创始人和信托手里。

“这些措施不会容易。但我相信,我们欠人类一次尝试。”达里奥·阿莫代伊在9月那篇长文的最后这样写。

全文完
查看原文

沿着这个主题继续读

从一篇文章,找到相关的教程、经验和阅读路径。

ClaudeClaude 与 Opus 5.5 使用指南:项目设置、隐藏功能、平台选择和代码做视频。