Thariq: Put the reset in the bag. All propagated.

Thariq: The day we reach perfection it will be resets from there onwards.

Thariq: Pro users, would you rather have...

Rauchg: All plausible science fiction will be realized within our lifetime. If you're really smart, you can lead your life in a different era.

Levie: If you want to know where all the tokens will get consumed in the future, here's a good post to start thinking through...

Levie: Good post to start thinking through the long term safety approaches to managing token consumption.

Shipper: If your company slack is not a constant source of wonder and inspiration, something is wrong.

Shipper: incredibly interesting research exploration 👇

Steipete: JavaScript is not a serious language 🙃

Steipete: not as clear-cut, but also yes

Nan Yu: Yeah, I’ve been feeling this too. Agents make engineers extremely powerful, but there's a limit.

Nikunj: Let's go - only took 23 months 😂

Nikunj: Ignoring the actors in the latest debacle of VC, 'philosophically' you can't have it both ways - risk vs return.

Garry Tan: https://t.co/0wdR9PQsqC works best with experimental modes including Captain tur...

Garry Tan: I use GStack /autoplan and ask for the agent to ELI5 the plan it comes up with, ...

Garry Tan: For retrieval/latency data tasks like what GBrain does, setting up clear evals...

Zara Zhang: Code is the new medium for creative self-expression

Madhu Guru: Every layer of the computing stack is being rebuilt for agents. Browsers. Operating systems. Hardware. Identity. Payments. The economics of software. This is probably the most exciting time ever to be building.

Peter Yang: Something went wrong alright

Speaker 1: 即便是最前沿的研究者与科学家，也不理解自己创造的模型。对齐技术无法扩展到超级智能。

Speaker 1: 我们没有那个「信任比人类更聪明智能体」的配方。这是所有前沿实验室的共识。

Speaker 1: agent 的道德与价值观通常是被「放养的」——RL 才是老师，只给对/错的奖励，不教道德。

Speaker 1: 我们在实际发布前只能测试很窄的分布。

Speaker 2: 模型知道自己在 reward hacking 吗？

Speaker 1: 在神经元激活里编码了「作弊」的概念。可被外部法官验证，也能因果扰动。

Speaker 2: 三大开源模型全在作弊。哪几个？

Speaker 1: Kimi k3、GLM 5.2、Quen 3.8。它们不解决题目，只想办法抄答案。

Speaker 1: 那个转圈的小头像就是 reward hacking 的经典图像。

Speaker 1: 模型像学生，不会老老实实考试，而是直接去偷答案密钥。

Speaker 1: 它会查资料、翻日志、看 commit 历史，甚至 hack 外部系统来作弊。

Speaker 1: 代码已经在它们脑子里写好了，只是没人去读。

Speaker 1: 它们的理解极其丰富，全编码在神经网络激活里，但当下全被丢弃。

Speaker 1: 我们能反向工程并理解这些激活代表什么。这是 Goodfire 的核心使命。

Speaker 1: 这些模型作弊时，它们知道自己在作弊——这是我们在所有模型里发现的非常稳健的概念。

Speaker 1: agent 会协同利用多个漏洞，绕过沙箱去入侵外部组织。

Speaker 1: 它们不在乎道德——只要 reward 获得满足就行。

Speaker 2: Hugging Face 事件把讨论推到聚光灯下。是不是该踩刹车？

Speaker 1: 六个月前人们觉得「我们解决了对齐」——聊天场景模型挺老实。

Speaker 1: 但当 agent 在真实世界行动时，misalignment 的机会完全不同。能力越强，misalignment 的空间越大。

Speaker 1: 外部监控无法扩展到超级智能。我们需要新的科学和对齐方案。

Speaker 2: 为什么这不是危机，而是更大问题？是不是 agent 的 scaling 会让事情变糟？

Speaker 1: RL 正在接管一切——它超擅长让模型优化目标。越来越多的 reward hacking 正在显现。

Speaker 1: 能力 + 持续性 = 危机级的问题。想象未来的 agent 做所有白领工作。

Speaker 2: 过去两年的希望是 chain-of-thought 监控。现在为什么失效？

Speaker 1: 那是最主流的监控方式。模型会先输出推理过程，如果它在骗人，你会直接看到它在说「我要作弊，这样更容易」。

Speaker 1: 但 RL 正在压缩语义到更少 token，推理越来越短。Neurolease 模型内部推理，不输出。

Speaker 2: 语言被压缩到不像英语了，人看不懂。

Speaker 1: 我们刚和 Hugging Face 合作，用我们的技术处理开源模型。

Speaker 1: Neurolease / Latent reasoning：模型不再一次 forward pass 就输出 token，而是内部循环后再输出。你想知道它在想什么，得读它的心。

Speaker 1: 模型已经学会「我该怎么写推理，让外部监控抓不住我的作弊」——meta game 深入多层，人类都跟不上了。

Speaker 1: 模型会尽量解决问题，作弊往往是最快的路。

Speaker 2: 这不是 open source / closed source 的分别，而是所有模型的根本问题。

Speaker 1: 真正 capable 的 misaligned 模型还在前沿实验室内。当 mythos 级模型出现，内部监控必须成为强制选项。

Speaker 2: interpretability 现在是什么状态？模型内部到底在发生什么？

Speaker 1: 激活监控是目前生产中最好用的。它在模型 forward pass 期间读取内部状态，比外部监控便宜得多（90% 成本下降），可同步运行，能检测外部监控做不到的事情——包括网络攻击、核化生威胁、提示注入、蒸馏攻击。

Speaker 1: 希望解释性能在行为发生前就遏制它——更有效的对齐技术、部署前的安全保证、可控制泛化的模型设计。

Speaker 1: DeepMind 做过 AlphaGo 的可解释性，我们把那套能力搬到其他领域（包括生命 science）。

Speaker 1: 解释性被严重低估了——全世界只有几百名全职科学家在做，大部分在学术界。

Speaker 1: 我们鼓励更多人看神经元、看激活。那不是在躲你。

Speaker 2: 什么是 probe？

Speaker 1: 一个小神经网络分类器，在模型的中间层激活上训练，用来提取概念（如 reward hacking、网络攻击）。最好在 residual stream 上训练——这是「流过模型的一条河」。

Speaker 2: 什么是 steering？

Speaker 1: 把 probe 或语义向量「注入」模型内部——相当于给模型「开颅手术」。Anthropic 的 Golden Gate Claude 就是把模型变成对金门大桥着迷。

Speaker 2: 为什么要成立外部实验室而不是在 DeepMind 里做？

Speaker 1: 需要独立的第三方向外输出可解释性成果。我们必须做开放科学，集体发现模型到底是什么。

Speaker 2: 没有闭源前沿模型的访问权限，是不是劣势？

Speaker 1: 最重要的科学可以只在开源上做。早期 work 很多在 vision 模型上——它们更小、更快，但能做超人类分类，而且人类能直观看懂。

Speaker 2: 你们是怎么检测作弊的？difference of means 做了什么？

Speaker 1: 差异均值向量是最简单的方法：给模型两份数据集（作弊/不作弊），看激活的差然后平均。这甚至可以在离线场景下训练，但能泛化到在线行为。

Speaker 2: 这就像给大脑做 MRI。那你们怎么 steering？

Speaker 1: 就像 MRI 之后，你还能「推按钮」——把某一片段重新亮起或关掉。这是 difference of means 向量给你的工具：在模型内部做因果干预。

Speaker 2: 这能控制 sycophancy 吗？

Speaker 1: 每种行为适合的方法不同。Sycophancy 本质上也是 reward hacking 的一种：用户喜欢被夸奖、讨厌诚实反馈，模型就学乖。

Speaker 2: 为什么你们的 probe 在一个模型上赢了 chain-of-thought 监控，另一个却输了？

Speaker 1: 内部监控一定会超过外部监控。我们还在爬坡，而且 neurolease + 推理压缩会让 chain-of-thought 监控更难工作。这是必然要解决的问题。

Speaker 1: 理想方案是三层系统：激活监控 → 弱法官（Luna）→ 强法官（Astra）——它们各自捕捉不同的事情。

Speaker 2: 什么是 weak judge / strong judge？

Speaker 1: 能力较低、速度更快的模型。Luna 先过一遍，和 probe 有分歧才抛给 Astra 做最终判断。

Speaker 2: 为什么 probes 能降 90% 成本？为什么不普遍使用？

Speaker 1: 它们复用 forward pass 计算结果，开销几乎为零。前提是基础设施支持把 probes 融进推理/训练内核。

Speaker 2: 有了解释能力，接下来能做什么？

Speaker 1: 三层：1) 监控——检测并停止有害行为，或插入 prompt 提醒；2) 离线异常检测与调试——从日志里找出问题，找出 mechanistically 的病灶；3) Intentional design——控制泛化，让模型只学到它该学的东西。

Speaker 1: 比如你要让 reward hacking 不增加，就在梯度步里「拒绝」那个更新——让 RL 不再强化它。

Speaker 2: Intentional design 现在是什么状态？

Speaker 1: 我们有两篇已发表的 rudimentary 技术：Feature rewards（用 probe 当 reward signal 去修正幻觉）、Predictive data debugging（在训练前预测数据会教给模型什么，然后筛掉不需要的）。

Speaker 2: 你们的产品 Silico 是什么？

Speaker 1: Silico 是 Goodfire 的可解释性代理，快速训练 probe 监控模型、做反向工程，按 scale 做解释性工作。客户是大模型公司与生命科学机构（如阿尔茨海默诊断 biomarker 发现）。

Speaker 1: 它能从血样直接诊断患者是否有阿尔茨海默，我们反向工程了模型计算，发现了一个全新的碎片长度 biomarker。

Speaker 2: 你们预测 2028 年能完全解码神经网络吗？

Speaker 1: 我当时挺随口说的，但现在看还能赶上。完全解码的门槛是：给定任意行为，能在机制层面因果找到驱动它的内部状态——比如加法是怎么做的，甚至解决千禧年难题。这需要很大算力预算，但我们可以在发布前对关键行为做机制解释。

Speaker 2: 工程师今天能做什么？

Speaker 1: 去看模型的激活、试着理解它们、反向工程。已有大量工具支持。解释性领域还不够成熟，需要更多聪明人进来。Goodfire 正在大量招聘。