MAD Podcast 全新一期（09-10 发布，本刊首次收录）：Matt Turck 对话 Richard Socher——刚为 Recursive 融了 6.5 亿美元专攻递归自我改进（AI 造更好的 AI），新书《The Eureka Machine》9 月 22 日出版。核心看点：科学为何放缓、next-token 即世界模型、可仿真即可解、幻觉是特性、四支柱尤里卡机器、4.1 亿美元的单笔算力合同、十个智能空间的上界。完整译文见下。
【开场：RSI 与新书】
Socher 开场金句：「任何你能仿真的东西，AI 都能解决。不知不觉间你就进入了递归自我改进循环——我们相信那将是一次巨大的解锁。天呐，我们距离任何智能空间的真实上界都还遥远得很，AI 还能走得更远得多。」Turck 介绍：Socher 是被引最多的 AI 研究者之一，如今站在「递归自我改进」（RSI）这个词的中心——刚为 Recursive 融资 6.5 亿美元，新书《The Eureka Machine》是 AI 与 RSI 革命化科学的蓝图。
【科学进步为何放缓】
Socher：这是个有点反直觉的事实。想想抗生素：细菌感染从死刑与瘟疫变成了小麻烦，我们真正解决了它；但病毒与癌症远没有同样解决。基础性的新东西如 E=mc²、广义相对论之后，物理学的根本理论也没再有大进展。许多领域从「理解了一些基础构件」走到「能做大量工程」，同时分裂成上千个子领域——如今几乎不可能当那种能在所有领域间穿行的通才，因为每个领域都要好几年才能真正深入。子领域越多越细，每个里面的人手就越不够。这就是放缓的重要原因。
Socher：我们从「知识之体」演化成了「知识迷宫」——34000 本期刊，干脆挂上「禁止入内」的牌子。我自己学语言学、学计算机、这几年又在学生物，每次和生物学家聊，十句话之后就是一堆你不懂的缩写，多数人一会儿就神游了。而且学术界不鼓励冒险：太新颖的论文会被拒。2010 年前后我用神经网络做 NLP，头几篇论文基本全被 NLP 会议拒了，只在小的子圈子里被接收。我还记得 NeurIPS 前身 NIPS 的第一个深度学习 workshop——就三四十人，全是现在大名鼎鼎的人，但当时就是一小撮「叛徒」。
【AI 是新的科学范式：next-token 即世界模型】
Socher：科学的强项是把东西越切越小，而要把它们重新织回一起，得用 AI——就像微积分之于物理，AI 之于生物。微生物组、大脑：我们理解单个神经元——突触、放电、化学（很多神经模型至今忽略化学）——但拼到一起就不明白为什么整颗大脑能产生一个念头。AI 是思考这些复杂系统的完美语言，而且研究神经网络总比研究原生生物系统容易。
Socher：为什么擅长做聊天机器人的技术也擅长科学发现？想想预测下一个 token 为什么这么强：语料里总有人写「我在纽约，往北开去……」——更大可能是波士顿而不是耶鲁，城市越大越可能。仅凭预测这一个词，你就吸收了地理知识；做上万亿遍，地理就被编进了网络。蛋白质折叠同理：三维空间里更接近的蛋白质，在 next-token 网络的表征里也表现出相关性。token 可以是词、子词，也可以是蛋白质、几块像素、一段声音——一切皆可 token 化。当然，所有模型都是错的、有些是有用的：蛋白质不只是序列，还有三维结构——但这个类比能被推到这么远，令人惊讶。而科学几乎都站在巨人肩膀上，聪明地重组已有思想就能带来巨大进步——我们联合创始人 Jeff Clune 就举过好几个例子：AI 生成的想法，几个月后被人原样发表了——新颖性门槛已经多次达标。
【可仿真即可解：游戏、数学、编程与跑步姿势】
Socher：我们基本能预测 AI 将在哪里必然超人类：凡是能仿真或能验证的领域。能仿真，AI 就能在里面实验无限次。完美信息的游戏（棋类看得见全盘）最简单——AI 还能自我对弈，这正是开放性与 RSI 的重要部分。数学将在几年内巨变——前沿数学家已充分意识到，很多过去有用的手工技巧（就像手工特征工程、手工架构工程）将不再有用。最有力的可仿真可验证对象是编程：给一张网站截图说「做成这样」，就能造出无限多训练例——整个编程业将改变，冲击整个数字经济。还有个好玩例子：中国运动会上机器人那好笑的跑姿——仿真里 AI 试了各种跑法找到这种人类从未想到的方式；我的直觉是人类会去模仿那种跑法来跑得更快，就像棋手和围棋手因与近乎完美的 AI 对练而变得更强。
【幻觉是特性、从读到写生物】
Socher：探索新蛋白质时，幻觉是特性不是 bug——每台计算机都能死记硬背，有趣的是「幻觉得多合理、多有意思地偏离分布」——调高温度即可。事实性问题则给搜索引擎结果再总结，幻觉问题大部分就解决了——当初以为需要神经符号推理，其实只需要更多「别幻觉、照搜索结果总结」的例子。别忘了：海森堡与苦艾酒、某些不太健康的精神状态也推动过物理学。
Socher：生物正从记忆学科变成可编程的工程学科。2018 年我们在 Salesforce 训练了当时最大的蛋白质语言模型 ProGen（一作 Ali Madani），他后来创办 Profluent，如今与礼来签了数十亿美元合同——造出的新蛋白在基因编辑上比 CRISPR-Cas9 更好、更精准。还有个试验为每位患者造不同的药——FDA 史上第一次。美国和欧洲临床试验太难，很多团队去中国（更便宜更快，但要担心 IP 被吸走）或澳大利亚（把临床试验权下放到每家医院，引入竞争）。我不信疯狂硬起飞：物理与现实验束还在——想知道停药三年后有没有问题就是得等三年；但变化是：过去八年一款药进晚期试验，现在 6-18 个月多款药进二期晚段，上市时可能有八款以上，且预测模型更好、成功率更高。
【就业弹性、杰文斯与离场权】
Socher：如果你在乎产出，你爱 AI；如果你按小时领薪，你大概恨 AI。就业的关键变量是需求价格弹性：插画师恨 AI——价格跌了一千倍，需求没涨一千倍，世界不需要那么多插画；编码相反——越便宜用得越多，杰文斯悖论，程序员需求反而在涨，未来每人手机上可能有几十个为自己定制的 app。我还兴奋于：吃微塑料、吃完就死的细菌（要小心变异）；等离子体平衡已是机器学习控制问题；更高效的太阳能板与不必依赖锂的电池。「想知道一件事为什么不行，去问专家」——NLP 如此，如今生物与长寿也如此。另一方面，会有人选择从进步中「下匝道」：希腊小岛打鱼的人不必想 AI；不丹用幸福而非 GDP 记分。David Deutsch 的《无穷的开始》讲科学如何解决一个又一个难题——我个人全押进步，但有人会不参与，AI 这个加速剂让这个问题更迫切。AI 的公关做得很糟：小说曾毁掉青年（《少年维特之烦恼》真导致过自杀，如今是德国高中生必读）、漫画曾很坏、游戏曾很坏——现在是聊天机器人很坏；但数亿人从中获得更便宜的医疗、法律、情感建议——「未来整体上需要更好的营销」。
【AI 经济学家】
Socher：经济学没有基准测试，投稿 Nature 和 Science 直接桌拒——有位完全不懂 AI 的伦理学家说「RL 做经济学太怪了」看都不看。于是经济学变成政治场：你必须写符合本系政治倾向的论文。2018 年我们造了个仿真社会：agent 有效用函数、每天愿工作时长、从先验采样；它们收集资源、建房、可垄断资源变富；再有一个元 agent 给各组定税收与补贴。奖励设为「平等 × 生产率」的乘积——你既想增长也不想一个 agent 占有一切。agent 们会钻空子——在税年前后倒腾收益避税。有趣的是：系统先复原了经济学著名的 Saez 公式（那是在「只做一次经济决策」世界里可证最优的税制），然后超越了它——因为真实经济是时序决策，agent 会针对税制做出反适应。希望这篇论文有朝一日迎来「GPT-3 时刻」——有人把它规模化成逼真仿真，让 AI 对经济政策给出客观建议（人类仍须定义目标函数）。美国因身份政治与超级 PAC 很难采用；新加坡或中国更可能先试。
【尤里卡机器的四支柱与 agent 蜂群】
Socher：第一支柱是 LLM——把人类知识摄入机器。其中有个我没在书里多写、但亲历的怪循环：几家闭源大厂把开放互联网的一切拿去训了模型；中国开源公司又用蒸馏把这批知识从闭源模型里抽出来开源——于是知识回到了它出发的开放互联网。第二支柱是科学测量：我们看不见引力波与伽马射线，但能造仪器去测；有些知识甚至难以用人类语言描述——「这个网络因为这 500 万个参数预测了这个词」列出来也不会给你直觉，就像没人说得清你转方向盘时为什么动了小指的肌纤维。需要很多大学与实验室把物理、化学、生物的「世界模型」合到一起——「虚拟细胞」是一个很好的门柱，完整形态尚不存在。第三支柱是仿真：理想中是一台疯狂的统一大仿真，但需要分层抽象——化学不必模拟到量子细节，生物可以把分子抽象成蛋白质；有时过度简化会漏掉量子生物学的意外。第四支柱是现实世界：仿真总会漏掉混淆变量，最终要造真机器、放卫星、去测宇宙。自驾机器人实验室已有先行者（Periodic Labs）；投资上略早，两三年后正当其时。Parallel Bio 用人源干细胞做类器官（淋巴结免疫细胞），已获 FDA 批准跳过部分动物试验——省下数百万美元与无数专为试验饲养然后解剖的动物：爱动物的人也可以爱 AI。在四支柱之上是 agent 蜂群与科学家社区：开放性过程在生物里造出了手指、眼睛与大脑；Jeff Clune 的微波炉例子——你不可能靠「把这口锅加热快一点」得到微波炉，你得先做雷达、发现口袋里的巧克力化了——研究路径的重组才是惊喜之源。
【Recursive：真公司、算力与里程碑】
Socher：算力是最大约束。未来人类与公司将越来越多地决定「什么问题值得解、给它多少算力」，会出现按问题的新缩放律。公开互联网大半已被消化，但新闻总在发生——you.com 持续给各家实验室喂最新搜索结果。Recursive：目标是建造递归自我改进的超级智能、自动化知识发现与科学发现。八位联创从不同方向走到同一认识——Clune 与 Tim Rocktäschel 从开放性/演化算法来；我从「特征工程→架构工程→下一个该自动化的是思想本身」来。融资最后是 6.7 亿左右，其中 4.1 亿投给 Amazon 的单一算力合同——「这大概会是我们未来最小的一笔算力交易」。今年内会有几个有意思的发布。我不喜欢「neo lab」这个类别——它们大多不会成功；我们是真公司、做真产品、见真客户。博客里展示过通往完整 RSI 的里程碑：在窄域里，尤里卡机器的第一版已能在小模型的自动研究上超过人类数月有时数年的投入；还能造新的 CUDA kernel 加速推理，NVIDIA 的 SOLEXEC bench 是基准，用户反馈非常正面。
【智能的上界】
Socher：至今没有人把「智能」定义清楚。我目前的看法：基本构件是预测、行动与目标——就像能量有单位，我们还不知道智能的单位是什么。类似物理里动能势能之外还有化学能、机械能、电能，AI 里也有视觉智能、语言智能、物理智能与机器人——我定义了十个智能空间，每个都有很多维度。举视觉一例：人类只能看到电磁频谱很窄的一段，而智能体可以从伽马射线看到引力波、可以有亿万只传感器——但每个传感器都有光速视界，视觉智能终究受光锥约束。结论：天呐，我们离任何智能空间的真实上界都还远得很——所以当有人说「AI 这套算法要泡沫破裂了」：也许智能的单位成本会波动，但这个领域与文明能走的路还长得很。（《The Eureka Machine》9 月 22 日出版。）