AI产业链地图 加入会员
双十一 全站会员立减 ¥100,到手 ¥499 11 月 16 日 24:00 前领券 看看会员有什么 →
访谈全文中译 · 注释版 · Annotated

Sam Altman:多个智能体、便宜算力与个人AI

Why Sam Altman is against a single superintelligence
嘉宾 Sam Altman节目 Cheeky Pint EP.39 · John Collison对谈时长 53 分钟
这一场在讲什么

John Collison与Sam Altman从PHP漏洞谈到沙箱、智能体团队和数学发现,再讨论芯片与内存供给、每吉瓦五年成本、个人智能体和token定价。对话保留主持人对预算、资源瓶颈与平台利益的追问,以及Altman对科学发现中人的成就感的回应。

怎么读:依据Cheeky Pint官方完整文字稿及对应视频校订,主持人为John Collison;保留实质追问、条件和现场改口,整理无信息的简短应和。
01 · PHP漏洞与软件架构重建

采访者今天不按脚本来,就喝杯啤酒。这不是节目里第一次喝非健力士啤酒,但IPA倒是第一次。凡事都有第一次,干杯。

Sam Altman干杯。

采访者我想问问“PHP周”。为什么找出这些漏洞花了这么久?听起来……

Sam Altman你是说为什么花了20年,还是最近这几个月?

采访者对,为什么花了一年?也许先解释一下漏洞,或者说问题本身。

Sam Altman我们早就知道,这些模型越来越擅长发现真实环境里的漏洞。一方面,能力仍在快速提升;另一方面,之前人们还没有真正用它们检查外面所有的东西。互联网的攻击面很大,代码也很多。随着大家开始这样做,我想我们会发现,严重漏洞远比预期更多,即使长期关注这件事的人本来就预期会有很多。

采访者很多讨论最后都落到“我们得修软件”。当然应该修,但也许还得改架构。这更难,却是更持久的解决办法。

Sam Altman我觉得确实得这样做。原本这会非常困难,但我们恰好有了一种强大的新工具。我想事情会往这个方向发展。你已经能看到,新一代创业公司在讨论:既然模型会越来越聪明,这个世界就需要怎样的新互联网、新应用架构。

采访者你觉得全球软件升级会是什么样?PHP代码库本身就是坏主意,应该用Rust重写一个干净版本,还是升级PHP?大家都觉得手工写的软件需要升级,具体会怎么做?这对Infosys之类的公司是不是巨大机会,毕竟软件咨询项目会多得多。

Sam Altman人们越来越多地说:我们重新想想路由器、操作系统、应用该怎么设计。我见过一些创业公司打算做一整套全新的技术栈。两年前这会被认为疯了:涉及面那么广,你不可能全写出来。现在也许很快就能了。我觉得构建系统和网络的方式会出现全新的模式。

概念

从修补漏洞到改变架构

补丁修复具体缺陷,架构调整则改变信任边界和访问方式。例如某个接口被攻破后,最小权限和进程隔离可以限制攻击继续扩散。

延伸阅读 ↗

02 · 孩子眼中的计算机与逐渐失传的编程技艺

采访者还有什么让你想起互联网早期?

Sam Altman最像互联网早期的,是人们使用这些工具时迸发出的惊人创造力,孩子尤其如此。也许是因为我还记得,第一次用上能联网的电脑时,我能做出成年人连提都想不到的东西。

看一个八岁或十岁的孩子,把成年人不会想到的奇思妙想做成完整游戏。他们会觉得技术以后就应该一直这样,而且越来越好:不断做些对自己有用的东西,拿给朋友看。我小时候费尽周折才写出一点软件,几乎什么也干不了。现在十分钟就能做出完整的3D游戏,想到什么就能试什么。

这让我想起早期互联网。这些孩子不会觉得惊掉下巴,因为他们从一开始就觉得世界应当如此。任何点子、任何想创造或觉得有用的东西,任何能改善生活的东西,电脑就应该做出来。有一次OpenAI出了严重故障,Codex宕机了。

采访者然后所有人都忘了怎么写代码。

Sam Altman倒不至于全忘了,但确实会想:哇,如果没有它怎么办?

我还是学生时,见到一些老前辈,他们偶尔会拿出巨大的Xerox Alto磁盘、逐行手写的汇编代码,或者打孔卡片。我觉得不可思议:你们就是这样一步步把我们带到今天的。

采访者对。还得把程序装在脑子里,对吧?写下几百、几千行以后,才第一次运行。这样的失传技艺真不多见。

概念

Codex与严重服务故障

Codex是面向软件开发任务的AI工具。SEV是服务事故严重程度的常用标记;具体等级由各家公司定义。工具宕机会让依赖它的开发流程中断。

03 · 为什么主动发展网络能力,以及怎样向公众解释AI

采访者回到网络安全。事后看,针对网络能力做强化学习,是个错误吗?还是我们必须走这一步?有点像《周六夜现场》那个段子:“我们敦促你们,来敦促我们停下来。”模型的网络能力越来越强,但也不是完全自发涌现的。

Sam Altman那个段子好笑,正因为太真实。幽默要成立,总得点出社会或某个人身上荒谬却真实的一面。网络能力就会让人问:好吧,模型很擅长这些,可谁要求你们做了?为什么要做?

我对这个行业很失望的一点,就是我们没能解释清楚:为什么我们认为,这项技术的潜在收益值得承担那些不利后果。网络能力就是一个例子。夸张一点说,公众听到的是:好吧,你说模型总有一天会治癌症,也许会,那当然好。你说东西会变便宜,也许我已经能体会,还能得到医疗和法律建议。

但接着,你描绘的未来像一场新的工业革命。上一次也许就没那么好,这一次听着更糟:我没了工作,对自己的未来没有控制权、选择权和自由;AI又危险到必须建个疯狂的监控国家,才能确保大家不死。这实在是……

采访者说到这里我都赞同。

Sam Altman这实在是很糟糕的推介。我对OpenAI最自豪的一点是:即使AI安全圈非常反对我们坚持迭代部署、把工具交到人们手里,我们仍然守住了这个原则。我觉得这是唯一好的道路。

只告诉人们“模型会为你做很多好事”还不够。应该是:我们让你有能力过上由你自己定义的更好生活,去做有用的事。你不会只是坐着领基本收入,让坐在旧金山几平方英里范围内的一小群人决定未来的一切。

采访者所谓迭代部署,就是必须把进展推出去,不能把它们封在政府内部……

Sam Altman也不是全部。推出前仍然必须确保安全,不能给世界造成混乱。但应该努力避免积累大量未部署的能力。总体方向上,是要把它带进世界、交到人们手里,让大家用这项技术探索各种美好的事情。

概念

强化学习与能力积压

强化学习通过奖励信号改进模型在一类任务上的表现。能力积压指模型已具备的能力与外界实际能使用的能力之间的落差;部署节奏会改变这道落差。

04 · 防御进展与威胁模型里的未知假设

采访者漏洞利用很容易上头条,成功防住的攻击却不会。网络防御这一边进展有多快?

Sam Altman关于PHP,我完全不想宣布胜利,因为我觉得我们仍不知道结果,而且我假设还是会发生一些坏事。回想十天前我最担心的情况,第一天的发展比预想好得多。

我们听到很多人用模型写补丁、做网络防御,也有公司说:“我要快速扫描并部署一下,把服务停一小时,用它处理完再上线,因为我的应用现在离线了。”现在说这话让我觉得像在给自己立旗,但第一天确实比预期好很多,大家也确实用上了它。

很多网络安全专家告诉我,他们已不再确信,威胁模型里包含的假设都是对的。如果现实符合我们的认知,硬件漏洞也像我们想的那么难利用,那他们能看出事情该怎么解决。但如果AI能发现非常深的新硬件漏洞,涉及人们尚未理解的物理机制,突然让某个假设不成立,大家就不知道会怎样了。

概念

威胁模型是什么

威胁模型先明确保护什么、攻击者能做什么,以及哪些条件可信。若原先认为不可利用的硬件缺陷变得可利用,原有安全边界就需要重新评估。

05 · 沙箱、监控与对齐能走多远

采访者我和OpenAI以及类似公司的专家交流时,总觉得你们对“能否把模型关进沙箱”相当悲观。这和我原先想的不一样。我原以为只要做一个足够严密的沙箱;过去加固不够,但最终总能建出一座最高戒备监狱,让模型在里面工作。你们却好像怀疑这件事本身能不能做到。

Sam Altman首先,我们肯定能比现在做得好得多,也应该这么做。更好的安全模型,是眼下最该关注的事情。但假设有一个理论上的AI,比最聪明的安全研究员聪明一百万倍,你真的敢信任那个沙箱吗?尤其当它能发现人类尚未理解的新科学时……

采访者也可以用模型来建沙箱。

Sam Altman这个我稍后再说。我觉得沙箱能管到一定程度,监控还能再往前走一些。我们可以观察模型在做什么,不只看思维链,还能监控内部激活,尽力弄清楚:我们能否放心,模型没有在欺骗我们?

再往后,你最终必须极有把握地相信,模型真正对齐了:它重视并忠实地遵从使用者的真实意图,重视让人永远掌控未来。如果有个模型的对齐让你完全信任、绝对确信,那么是的,可以用它来帮助建设越来越好的沙箱。

但如果真把思考推到“比我们聪明一百万倍的东西意味着什么”,我不知道,事情就变得很陌生了。

采访者因为对齐会很难。

Sam Altman因为只有极其信任对齐,才敢相信沙箱始终领先于能力。

采访者不能给模型相互竞争的激励,让它们有动力彼此揭发吗?

Sam Altman我觉得这是很有前景的方向。我讨厌“智能体蜂群”这个词,还是叫“智能体团队”吧。我猜团队在扩展规律上会有很有意思的性质,对齐方面也会呈现差异。这个方向值得更多探索,不只是为了能力,也为了安全。

采访者我注意到你说的是“团队”,而不是“蜂群”。

Sam Altman“蜂群”这个词实在……

采访者对,像蝗虫。不是好品牌,符合AI行业一贯的命名传统。

Sam Altman我们可太擅长这个了。

概念

沙箱与监控是不同层次

沙箱限制程序能接触的文件、网络和系统资源;监控观察它实际做了什么。内部激活监控进一步分析神经网络内部状态,而不只阅读模型输出的解释。

06 · 为什么智能体团队需要推理时算力

采访者稍后再聊品牌。我注意到最先进的AI用户和普通企业之间,使用蜂群的差距很大。高级数学——抱歉,是“团队”——高级数学、先进的黑客技术都在用智能体团队,普通企业业务却没用大型蜂群。我们有这些东西已经好几个月了,为什么还没普及?

Sam Altman程度还不一样。看这个问题,可以问:“单个问题上,到底能有效投入多少算力?”几年前,大家都忘了变化有多快,那时一个问题上投入超过一美元的算力,几乎不可能再带来什么帮助。

采访者为什么?

Sam Altman你可以让GPT-4硬写十万token左右,来回答一个问题,但它并不能有效地去写出一款软件。那时我们还没弄清,怎样用更多推理时算力换来更好的结果。

后来有了思维链,模型可以深入思考一个问题,人们才开始真正使用大量算力。现在,可以投入一整个团队,还能把这件事并行做一万次。

采访者所以得先有思维链和推理时算力,才谈得上蜂群。一堆GPT-3凑在一起,成不了有用的蜂群。

Sam Altman是的。我觉得世界还没有充分注意到这种影响:投入单个问题、并能获得更好结果的算力,正在以惊人的指数速度增加。同时,大多数人使用AI的方式,与那些用得最有效的人之间,差距还在不断扩大。

概念

推理时算力与智能体团队

推理时算力是回答问题、执行任务期间投入的计算资源。同一问题可尝试更长推理、多条路径,或让多个智能体分工、检查,再汇总结果。token是文本处理中的基本单位,不等于一个汉字或一个英文单词。

07 · 算力预算、研究探索与成本优化

采访者你们现在怎样分配算力预算?研究员的工资已经很高,但和算力相比还是小数目。OpenAI的资本分配,某种程度就是算力分配,而做一件事到底会花多少钱,又很难预先知道。

控制预算本身也很难。你不能直接告诉智能体:“把它做好,但别花超过一万美元。”

Sam Altman可以。

采访者哦,真可以?那它能做好吗?

Sam Altman可以。你说“用一万美元算力尽可能做到最好”,它能理解。

还有个更难的社会问题:两家公司竞争,一家允许在同一个问题上花一万美元,另一家允许花十万美元,结果会怎样很清楚。但社会该怎样看待算力分配、财富等等?

OpenAI内部也有自己的版本。我们拿出大量算力提高内部生产力,然后给大家很大的自主决定空间,只要不是严重滥用。

采访者所以你鼓励大家做有用的事情。即使花了一千万美元算力,你也会说:“哦,有意思。”

Sam Altman对。我们尽量不奖励“消耗了很多算力”本身,没有token排行榜。排在token榜前面甚至有点不好,至少在晋升这件事上如此。默认会带着怀疑,但只要你证明自己做了重要的事,就会得到充分认可。

采访者可到某个时候,这套做法得变。因为你说的数量级会不断上升。现在研究员花一千万美元做些有意思的数学,你说“有点贵,但数学很酷”;接着变成一亿美元,等做到十亿美元,你就会说:“我真高兴你的数学有进展,但得稍微收着点。”

Sam Altman我们确实有一周让数学研究放开跑,有意没控制住,因为你必须……

采访者而且成功了!

Sam Altman不试就不知道它能走多远。新范式出现时,应该让人们少受约束。我们做Navier–Stokes证明时,对智能体团队的扩展规律几乎一无所知。到底应该……

采访者就是最近那个Navier–Stokes证明?

Sam Altman对。应该给它们最聪明的模型,还是多些副本、少些副本、更长或更短的运行轨迹?我们当时完全不知道。现在懂了一点,还能懂得更多。

但像以前发现的每种新范式一样,我相信我们能在把资金、浮点运算量——无论用什么衡量——转化成有用成果的效率上,每年找到十倍的改进。

这既是我们公司特别擅长的事,也符合这个领域的重要特性:让人们探索可能性的极限,再相信强大的优化压力会找到高效做法。我更愿意让大家使用惊人数量的算力,也让用户购买极高端的方案,去摸清边界,然后再研究怎样提高效率、大规模推广。

采访者什么时候才开始做优化?

Sam Altman我觉得已经在做了。我猜,从Navier–Stokes那次完成起一年后,我们能以当时百分之一的成本重做。

采访者不是因为已经知道证明怎么做,而是靠更好的方法。

Sam Altman对,更聪明的模型、更好的方法。

采访者那次数学研究花了多少钱?

Sam Altman大约一千万美元一次吧,Navier–Stokes那次我想是这个量级,也许稍微多一点。

采访者一千万美元左右,为一个证明?

Sam Altman不,不。后来我们进步很快,理解越来越多。平均到其中一个成果上,花费远低于那个数。

采访者但总体是数亿美元的数学研究。

Sam Altman对,是那类工作。但其中包含的其他发现,远比已发表的多。

所以说,也许我们花了那么多……

采访者所以不止那700个证明?

Sam Altman当然不止。

概念

Navier–Stokes问题研究什么

Navier–Stokes方程描述黏性流体运动。相关存在性与光滑性问题关心:在给定条件下,解能否始终存在并保持规则,还是会形成奇点。OpenAI于2026年9月公布了其内部系统产出的相关证明及材料。

延伸阅读 ↗

免费注册,读全文
后面还有 15 段,约 10,548 字
免费注册,读全文 →
已有账号?登录
本文属于 AI 前沿原声 · 讲话人 Sam Altman(本站收录 13 场) · 正文中带 ◦ 的词可点开知识库词条。全文为节目公开内容的中译与注释,版权归节目方所有,仅供学习研究。