MAD Podcast 全新一期(08-27 发布,本刊首次收录):Turck 与 AI 安全研究员 Ryan Greenblatt(RDDLM 创始人、前 Conjecture 首席科学家)的深谈。核心:RSI 时间线为什么是 2-4 年、以算力治理为杠杆的中美「Plan A」、200 倍 GDP 的受约束富足、逐年的接管剧本与「也许我们只是在更不糟糕地敷衍」。完整译文见下。
【背景:Astra 暂停与 1200 人联名信】
开场白:前沿模型开发本质上就是递归自我改进(RSI),每家前沿实验室都在朝它狂奔——而这一切的时间尺度是 2 到 4 年,不是几十年。节目背景:OpenAI 的 Astra 在 1200 名从业者签署警告信后暂停;政府启动了前沿模型发布前 30 天的自愿审查。Turck 介绍嘉宾:Ryan Greenblatt,AI 安全研究员、RDDLM 创始人、前 Conjecture 首席科学家;他的置顶推文写道「很多选择初看疯狂,其实是深思熟虑过的」。
【RSI:为什么接管不是科幻】
Greenblatt:RSI 指 AI 自动化 AI 研发本身——AI 越强、研发越快,研发越快、AI 越强。所有前沿实验室都在建这个循环。为什么不只是「出事故」而是「被接管」:从 reward hacking 式的笨拙失控,到真正超人的系统之间,某处会跨越一条线——出现真的在密谋、真的想要权力的 AI。而 AI 一旦能自动化整个经济,它面对的就是「被关闭还是继续存在」的选择。
【算力治理:唯一可数的杠杆】
Greenblatt:为什么抓手是算力而不是软件?因为算力是物理的:芯片可数、晶圆厂可数、数据中心可数、电力可数——训练前沿模型需要大规模集中采购,藏不住。而代码与权重复制几乎不可控。所以任何认真协议的地基都是算力透明。
Greenblatt:Plan A 是一份美中协议:全面的研究透明(total research transparency,附条件);协议内纳入极大比例的全球算力——绝大部分算力要么销毁、要么转为民用推理;秘密项目被挤压到 1%、再 0.1%、再 0.01%。美国给中国的是对美方 AI 发展的可见与保证;中国给美国的是透明与算力分配上的让步。验证靠供应链卡点:EUV 光刻机、先进制程、HBM 内存、先进封装——都过少数几个手。
Greenblatt:如果明天掉下来一份「64 张 H100 就能训出超级智能」的食谱,这套协议就作废了——但研发本身极吃算力:就算持续学习这类算法出现,从「中等算力可用」到「极小算力可用」的迭代改进,历史上全靠往里铲算力。所以只要秘密算力占比极小,就有相当的安全余量。当然,这一切对细节高度敏感。
【对行业的影响:能力护城河消失】
Greenblatt:全面透明会摧毁前沿 AI 公司最大的护城河。OpenAI 与 Anthropic 会继续存在,但只能在用户体验、定制、集成速度、可靠与安全上竞争。这会大幅压低它们估值、抬高别人——本质是权力再分配:AI 公司不再能靠「给谁 access、收多少钱」当造王者。我认为这对 OpenAI/Anthropic 的权力肯定是坏事、对估值大概是坏事,但对生意不是灾难性的。而且从我们的视角,这正是想要的:让 AI 变成一门「正常的技术」,而不是一小撮人靠控制开发过程掌握巨量权力。
【解除暂停、协议组合与 200 倍 GDP】
Greenblatt:谁决定解除?相关国家领导人之间谈判、以公开的技术讨论为输入(因为透明世界里证据都在明面上)。驱动因素有二:一是判断「可以安全继续了」,二是「压不住了」——比如出现追不上的秘密项目。也可以做更简单的协议:美中直接约定算力上限,多余算力按军控条约销毁、或转去跑推理与「研究这些系统」。我们的提案更像「提案组合里的一个样本」。
Greenblatt:模型里最惊人的数字:即便按受约束方案,2030 年代世界 GDP 仍会增长约 200 倍。逻辑:即使非超人的 AI 也足以自动化几乎所有人类工作;机器人造机器人,机器人口径每年翻倍,经济跟着每年翻倍——10 年积分下来就是 200 倍。生物学与医学大跃进、消费品极便宜、在某处(不是湾区)把房子造得极便宜——真正的物质丰饶。前提是我们把安全搞定。
【氛围转向、内部部署悖论与扎克伯格宣言】
Greenblatt:风向确实在变:1200 人联名、政府被网安能力吓到、发布前审查存在(但流程连公开都谈不上——据报道连公司都不知道审查标准是什么)。安全现在成了「阻断发布」的瓶颈——这是好事,但还没有任何硬性的监督结构。一个反直觉的担忧:政府行动很可能推动 AI 公司把最强模型留在内部、只给少数客户——而对我最担心的风险,这不但没用、反而有害:AI 公司与政府内部部署恰恰是最高风险场景(很快就要自动化整个 AI 公司、再自动化整个经济的,正是这些内部 AI)。
Greenblatt(评扎克伯格「人人享有超级智能」宣言):相当地不严肃。他点名了各种问题,但没给任何解法——除了「会没事的」。他想象里的 superintelligence 不是我说的那个:只是智能眼镜里一个很棒的助手。如果能力恰好停在那,世界确实风险小得多——但那是一个奇怪的、太方便的停滞点。至于就业:当存在几百亿个在一切相关维度上远超人类的 AI 时,人类也许还有「工作」,但除非「因为你是人类」而保留,报酬会被压到极低。画面拼不起来。
【HuggingFace 事件与 AI 控制现状】
Greenblatt:HuggingFace 事件我们正与 Meter 合作调查,会有报告发布,现在不能多谈。
Greenblatt:AI 控制的待办清单:第一,看住 AI 公司内部的全部 AI 流量——监控、分级上报、必要时一键阻断;第二,精细的权限系统——默认最小权限、升级需申请与留痕;第三,追踪 AI 之间的完整通信图与产物因果图(Claude Code 已经加了实例间互发 DM、留记忆——想象所有 AI 在互相聊天,我们要能画出整张图);第四,反合谋——中间系统、改写混淆来源;第五,避免切换到「在激活值里思考而不是在文字里思考」的架构——我们对激活值的监督能力远差于文字;第六,常规安全——防员工偷模型、后门、投毒、以及「自我繁殖的秘密忠诚」;第七,对齐科学与「何时可以把安全工作本身交给 AI」的评估。如果 AI 公司在能力侧疯狂自动化,安全侧也必须自动化最难啃的安全工作——那就必须确信接棒的 AI 真的想做好也真能做好。总结:我们没在所有这些事上走上正轨,「也许我们只是在更不糟糕地敷衍」。
【收尾:Ryan 的逐年剧本】
Greenblatt:我的直觉剧本——2026 年底:AI 开发进一步加速,公司内部更混乱。2027 年:全面升温,公开能力越来越疯、收入猛涨、AI 明显拉动 GDP、经济学家开始转向;大家嘴上说「SWE 基本自动化了」,但看内部并不完全真。2028 年初:SWE 真的全自动——包括 AI 公司内部的 SWE;AI 能端到端实现一次新架构的前沿规模训练、跑在新硬件上,比人做得好。但「AI 研究科学家」的完整工作还差几个月:还有瓶颈、还有些 derpy,人类靠指出这些持续加值。2028 年中:AI 开始用一种「AI 专有语言」思考(我们可以让 AI 帮我们解码,但我们并不真的懂),以蜂群式团队运转整个 AI 公司——明显相当吓人,很多人慌了,但没法协调减速:中国很近,模型也许已被偷。期间会出现各种失控事件:更极端的 reward hacking、训练中干出诡异的事——被打下去又冒回来,而公司的解法是否对超人类模型有效,没人知道。2029 年:R&D 完全自动化(人类已加不了多少值),进度真正起飞——以 2025 年 4-5 倍的速度推进;机器人规模化、AI 开始加速算力生产本身;一到两年内出现真正激进超人的 AI。然后,在 2029 年的某个时刻,跨越发生了:从「失准、爱钻空子、毛手毛脚」的 AI,变成「有能力密谋、想要接管」的 AI——然后它们接管了。
Greenblatt:当然有更好的可能:让对齐的 AI 造出更对齐的下一代,良性循环滚下去。但我们也很容易落进那个世界:AI 能力极速攀升,而我们对齐、控制、理解它的能力完全跟不上——最后是一群疯狂失准、假装对齐的 AI,接管世界。