今日 feed 播客位为重播：Training Data 与 Rich Sutton（强化学习之父、《苦涩的教训》作者）及其联创/前学生 Khurram Javed——两人共同创办 Oak Lab（本刊 2026-08-20 期曾完整收录，2026-08-18 发布）。核心论点：大世界假说、合成数据之误、灾难性遗忘的解法（continual backprop）、「LLM 只装作是全部 AI」。完整译文见下。
【开场：不是我怪，是这个领域怪】
Sutton：人们有时觉得我观点激进，提问都说「你想的和其他人太不一样了」。我完全不这么看——我是用普通方式思考，是其他人想得有点怪。在 AI 疯狂之前，你根本不用说「持续学习」这个词——所有学习都是持续的：我们一直行动、一直学习，这是正常的思维方式。需要专门叫「continual learning」，恰恰说明这个领域怪。
Sutton（谈 2003 年去阿尔伯塔）：那段真相其实挺疯狂的——我当时真的病得很重，2003 年正在死于癌症，但还没死成。又一次缓解期，我想：我还没成功死掉，拖着也够久了，不如再找份工作。于是去阿尔伯塔教书，最后没死。现在拿它开玩笑，当时非常严重。更尖锐的问题是：只剩几个月时为什么还继续做研究？本杰明·富兰克林 supposedly 说过：想知道一个人为什么做某事，几乎总是两个原因之一——习惯或虚荣。也许是习惯：继续做我一直做的事。决心对我而言从来不难。
【《苦涩的教训》：26 词版】
Sutton：《苦涩的教训》酝酿很久，它表达的东西可以观察几十年，至少同样源于我亲历的符号 AI 时代：全是关于别被塞入人类知识的尝试分心，只关注问题本身需要什么、以及如何随算力扩展。发布前一年我就写过版本、做过 talk，它不是对某个时刻的回应，是对漫长经历的回应。
Sutton：26 词版本大概是这样：「不要像传统 AI 那样一次次被人类知识分心；聚焦于能随算力扩展的学习方法——搜索与学习。」它不是说不需要精巧算法——需要，但要的是随算力扩展的精巧算法。是随算力扩展，而不是随人类输入扩展。
【LLM：苦涩教训的正例兼反例】
Sutton：LLM 既是正例也是反例。正例：它实现了随算力的巨大扩展，把整个互联网喝进去，纯靠规模获得强大得多的系统。反例：继续走下去终将被信息本身限制——互联网是有限的，很难拿到更多样本；而世界之大、远超我们在互联网上存下的一切。最终看，这像是又一个「过度依赖人类知识、最终被拖住」的例子。
Javed：合成数据作为 LLM 扩展范式的一部分，是不是一种利用算力的通用方法？不是，这是个巨大的错误。
Sutton：也许是下一个大教训。它在阿尔伯塔流传五到十年了，我们叫它「大世界视角/大世界假说」，Khurram 最终写成论文。大世界：世界无穷大、有无穷多东西可学。人们可以生成合成数据集，但永远有更多东西可学。如果你能从经验学习、把人类从回路里拿掉，系统就能做任何事——因为世界够大、考验比我们想让它做的多得多。
Javed：谁决定什么是好合成数据、什么是坏合成数据？我现在能写个程序输出海量会伤害模型的合成数据。当前是人类决定——这就是瓶颈：需要人类专家知道什么数据集好什么坏，所以它被人类瓶颈卡住。假设 OpenAI、Anthropic 所有工程师都去度假了，谁来生成合成数据？它不从 agent 的经验里来、不是 agent 自己生成的。比如我想要一架用回声定位（像蝙蝠）飞行的无人机：什么是「对的合成数据」？你得先雇领域专家搞清楚什么数据是对的——先有领域专家，才谈得上学习。
Sutton：而且合成数据就是错的——它不是真实世界，而这很重要。世界复杂到不可思议。生成合成数据的是一个小程序，那就是一个小世界。比如：我关心的是你们此刻脑子里在想什么——你能拿到「别人脑子里在想什么」的合成数据吗？不可能。今天我跟你们聊投资，我在乎你们的想法。无人机的电机摩擦磨损、与物理世界的交互——拿不到合成数据。世界无穷复杂，任何对它的模拟都是微观的。大世界假说：世界比任何 agent 的心智都复杂得多——这很显然，因为世界里还装着许多其他 agent。所以任何声称最优或完美都不可能，必须有近似，而且近似会很严重。这就是我们必须持续学习的根本原因：我们会撞进这个巨大世界的某个局部，必须学到调谐到「我们所在的那部分世界」的近似，而不是没在的那些部分。
【模拟器之辩：让 agent 自己造模拟器】
主持人：最新一代自动驾驶公司主要在 sim 里训练，再做 post training——这条流水线很有效，不是吗？
Javed：要问的关键问题是：多少工程师参与了搭那个模拟器？我们是否准备好说「唯一值得解的问题，都是能先雇一大队工程师做模拟器的问题」？他们肯定迭代了很多轮：搭模拟器、在里面学、发现 sim-to-real 差距不可接受、修模拟器——一直有人类在环修模拟器。为什么不能把人拿掉、让 agent 自己来？
Sutton：而且等它真的上路开，还是会发生意料之外的事——那正是你想从经验里学的。agent 可以从自己的经验里学出模型，这比人类做模拟器好得多：模型错了，它可以通过持续学习修；人类做模拟器，只有等人类发现错了才更新。规划很重要，agent 应该从模拟器学——从它们自己造的模拟器。
【先验知识与学习不该是敌人】
Sutton：AlphaGo Zero 让我很开心、觉得被 vindicate，但本来两个方向都有可能——先验知识没有错。我在《苦涩的教训》一开头就说：先验知识与学习没有原则性冲突，可以先放先验再开始学。生命就是获得知识、拥有知识——先天与后天怎么就成了敌人？但实践中它们一直互斗：钟爱现成人类知识的人想让知识赢，于是想淡化、贬低学习。你对我的印象可能是「爱学习、想贬低先验」——其实我是对心智感兴趣的人：心智就是有先验、再获得更多、获得之后又成为新的先验，两者协作。我显得「以学习为主」，只因为世界其他人都在说「只要知识够了、不需要学习」：LLM 就是把所有知识灌进系统、跑起来之后再也不学——它在和人对话、在交互，权重却永不变。他们声称从「一个根本不再学习的东西」里得到了博士级经验与专长——怪的不是我。
Javed：现状是可以在预训练和后训练里随便做，但我们不让模型在部署后学习。你可以给它更多上下文、改变状态，但模型不在学习。Cursor 的 tab 补全模型是真的（批量式）持续学习——权重在更新，Composer 也更新过。但可以好得多：他们收千百万用户的数据、攒成大 batch、做一次策略更新。这能 work，但想象我想教模型某个非常具体的东西——我不想跟十万个其他用户打架争他们想教什么。我想教「我的那份模型」，我不在乎共享知识。这是非常低效的方式。
【没有动物靠监督学习】
Sutton：我们从动物学习汲取大量灵感——是灵感，不是约束。很显然没有动物靠监督学习：没人给我们「肌肉该怎么动」的样本，而那是我们的输出。学校？学校只占我们学习的极小部分——我们学看、学走、学世界如何运作，而且即便在学校里也没人告诉你肌肉怎么动。法国的首都是巴黎、答案已知——但没人告诉我「我」该怎么发出 Paris 这个音：我听你的词、用我自己的肌肉动作发出 Paris，这不是字面意义的监督学习。松鼠不上学也学会了跳树。学校是很特殊的东西，几百年前连人类都没有——把它当学习的主要例子是一种分心。
Javed：而且别人的「正确答案」放到你身上就是错的：如果我完全照 Rich 的方式动嘴唇、舌头、声带发 Paris，出来的一定是完全不同的声音。某种程度上，Rich 或任何人都不知道用我的身体发声的正确方式——只有我知道。本体感觉的例子也说明可塑性：有人完全失去本体感觉（走路的根基、刻在脑里），完全不能走了，但两三年内学会看脚走路——大脑的可塑性疯狂到：一个为真二十年的东西不再为真时，它能更新、能扔掉。这正是我们想要的能力。
【缺失的能力：学模型并用它规划】
Sutton：人和松鼠只是程度之别——强调「我们和动物多不同」是傲慢，看共性更好；社会、文化、语言给我们大优势。松鼠也做极为抽象的事：无论你在喂鸟器上设什么障碍，它总能进去——找新的跳法、爬法。
Javed：范式转移怎么来？人人举爱因斯坦。范式转移发生时，是一个积累了全部知识的人，从自己的经验里构建新抽象、用它们规划、发现新知识。「提出新抽象、再学新模型、再拿去规划」这个技能，在今天的系统里完全缺失。你可以在人类知识边缘暴露这个问题，也可以在感觉运动层研究它。
Sutton：我不想跟你们争「先验重要还是学习重要」——你们差点就在做我说永远别做的事。我们还没在领域里看到的能力是：学出一个模型、然后用这个模型规划。数学能行是因为我们知道算子、知道 Lean 把证明从一个状态带到下一个状态；AlphaGo 能行是因为我们知道游戏规则。要学模型、再用自发现的抽象去规划——领域里几乎找不到实例。这大概是下一个重要东西。
【阿尔伯塔计划与灾难性遗忘的解药】
Sutton：阿尔伯塔计划 12 步是把想法切成小块。第二步「持续深度学习」几乎是最重要的——它解锁其他一切：如果能持续深度学习，就能持续更新世界模型；后半程的步骤全是关于把抽象做对——不是「找到正确的抽象」（没人能说什么是正确的，取决于你所在的世界），agent 必须为自己所处的世界学到正确的抽象。
Javed：精英运动员的例子：问他们怎么做某个动作，他们有奇怪的小众术语命名极具体的东西，有时只有自己一个人用时连名字都没有。这些抽象怎么来的？这是缺失的关键。
Sutton：持续深度学习是纯算法缺口。拿单样本更新整个模型，旧知识会被负面冲击（灾难性遗忘）；Cursor 的绕法是攒大批量——但多数用例只有单流数据，天真做法会破坏性摧毁先验知识。但这完全可治：第一，步长优化——网络里每个权重有自己的步长并元学习：多数权重步长极小，新样本来时它们不被摧毁、只动该动的地方；第二，特征空间里的 generate-and-test——不靠梯度生成新单元/新特征（梯度只朝已知有用的方向走，永远慢、长不出持续增长的复杂性），而是直接抛出一批新单元、让 backprop 当测试器。我们有个算法叫 continual backprop，几年前发在 Nature：跟 backprop 一模一样，但会持续种下随机初始化的新单元种子——backprop 的随机性只在开局存在、之后被用光；continual backprop 持续注入一点随机性、一点 generate-and-test。把这些拼好，就会有一代强大得多的持续深度学习。这是我们未来几年想做的。
Javed：这些算法能用在现在的 LLM 上吗？不能拿现成模型直接更新——这些算法元学习「如何学习」，必须从头训：学新基础模型时同时学两样东西——知识本身，以及未来学新东西的方法。这样才不会灾难性遗忘。
【最野心：自我维持的心智；万亿参数 20 瓦】
Sutton：最野心的是拥有从小到大的全谱知识——从肌肉层面到「怎么坐飞机从一座城到另一座城」这种大抽象（连松鼠都用抽象），统一对待、并且自我维持。老问题是：知识系统里的知识靠什么保持正确？LLM 靠大量后训练确保正确然后冻结。而我们的心智一直在变，却有某种东西让它保持组织、连贯、回落到好状态而不是漂进疯人院——拥有一个自洽、能持续自我训练、保持连贯的心智，这是我们最大的野心。它触手可及：2026 年了，计算机这么快。
Javed：万亿参数 20 瓦：用当前存储技术光存万亿参数就不止 20 瓦，但算力在变便宜、能效在提升——五到十年后这是可能的。Sutton：十年摩尔定律翻倍正好两个数量级：今天 2000 瓦能做，十年后 20 瓦。Javed：用对算法现在就能比 2000 瓦更省。
Sutton：我看不同研究组——根本没人相信这可能。不相信，你就不会去啃那些技术问题。Javed：我们卡在一个局部极小值：要走向新算法，几乎必然先变差再变好——新范式第一天不会有 SOTA。大实验室被锁死在产品上，走不了「先变糟」的路。Sutton：他们烧那么多能源，我觉得那是他们证明自己是真男人的方式。
【Oak：不是一颗心，是一种设计】
Sutton：如果一切顺利，我们实现这套架构：真正的持续学习、能形成抽象、能规划与推理——真正的智能。人类会无关吗？完全不——世界会变得更刺激。倒是 LLM 可能有风险：它们已经跑出漂亮一程。说明确点：LLM 是惊人的科学突破——神经网络娴熟使用语言完全出乎意料，语言一直是符号方法的地盘，它们彻底改变了这个认知。让我沮丧的是：我们本可以庆祝「在 AI 的子问题上取得大进展」并享受它，它却必须假装自己是全部 AI。智能不等于流利地使用语言——那是智能的 20% 或四分之一。还有更多，我们没做完。
Javed：不会是一颗心，是一种设计：很多心智，各自从不同经验里学到不同的东西。回到大世界假说：有无穷多东西可学，一个系统不可能学完；两个同样大的系统显然无法互相建模（一样复杂）。所以永远会是多个系统各自从经验学习。
Javed（招聘）：初期团队大多已在心中——都是长期想这些想法的人。这个范式不一样，快速变大没有意义：每个加入的人都得「看见我们看见的东西」，不是所有人都看得见。从小开始、慢慢长到一两打人。Sutton：我们要超级对齐，这样才能高效合作、规模化进展。