Bryan Catanzaro 负责 Nemotron——NVIDIA 的开源基础模型家族。Nemotron 3 Ultra 发布后立即成为美国排名第一的开源模型。本次对话涵盖：开源 vs 闭源 AI 的现状、中美动态、以及 NVIDIA 为什么免费送模型。
Nemotron 的两个任务：（1）帮助 NVIDIA 理解如何构建更好的芯片和系统——不深入理解 AI 就无法做加速计算的协同设计。（2）支持生态系统——开源模型对 NVIDIA 是好生意，因为任何 AI 进步都会驱动硬件需求。
技术深度解析：4 bit 预训练（NVFP4）——在 Blackwell Ultra 上大幅提升吞吐和能效。混合 Mamba-Transformer 架构——状态空间模型负责全局理解 + 全注意力负责精确检索。MoE 与 NVL72——72 块 GPU 互相读写内存以实现 token 路由。Latent MoE——相同推理成本下 4 倍专家数。多 token 预测——零精度损失下最高 3 倍加速。多教师在线策略蒸馏——10-15 个领域专用教师压缩进一个学生模型。
关于组织：NVIDIA 不按组织架构图运作——「任务是老板」。Nemotron 涉及全公司 10+ 个团队。他们用多教师蒸馏不只用于模型，也用于组织——避免不同团队在优化不同能力时「拔河」。GPU 分配是两周一个周期，分层评审。
关于安全：Catanzaro 认为开源技术本质上更安全——更多阳光、更多多样性、更强的韧性。「我们尝试了几千年的单一文化。事实证明多元化更安全。」他直接从言论自由传统推导到开源 AI。
关于奇点：「智能是多维的。CEO 不是数学奥赛冠军。流行音乐巨星有一种我的博士无法衡量的智慧。」他把 AI 视为「外脑」——和我们物种发明「外胃」（厨房）一样深远。
【开源 AI 的现状】
Bryan 说：开源技术让人能够创新，互联网就是最好的例子。我们其实有过封闭的互联网——AOL 和 Prodigy——它们很好，但开放的互联网改变了所有行业。AI 也是一样需要以非常多样化的方式应用的技术，所以开源技术对 AI 至关重要。
「在这个领域里，不是只有少数实验室垄断了好点子。全世界有很多聪明人。社区导向的 AI 开发方式只会越来越强。」
【为什么要用开源模型】
Bryan 说：每家公司都围绕着一个秘密建立——不仅是知识产权，还包括它与问题和客户互动的方式。AI 的价值在于与这些秘密紧密结合。数据越有价值，方案就越有价值。
「开源 AI 让定制化成为可能。公司可以自己想清楚、自己实施——客户数据的处理、与客户的交互方式、护栏的设置。」
【Nemotron 的两个任务】
Bryan 说：Nemotron 有两个任务。第一个是帮助 NVIDIA 理解如何构建未来的系统。NVIDIA 是一家加速计算公司，必须从第一性原理理解世界上最重要的计算挑战。不深入理解 AI 就无法协同设计芯片和软件。
「第二个任务是支持生态系统。NVIDIA 多年来最有价值的资产之一就是全球使用 NVIDIA 技术构建和部署 AI 的人。我们认为 AI 的开源技术需要继续存在——这对我们的生意是好事。每当 AI 被进一步开发和部署，对我们都是机会。」
【Bryan 的个人经历】
2008 年，Bryan 还是个研究生，在做 AI 的并行计算。他去了 ICML 发表在 GPU 上训练模型的论文，被人问「你为什么在这里？我们这里只做 fancy math」。
「那时候人们觉得我疯了。GPU 是游戏机的东西。」
他加入了 NVIDIA 做 cuDNN（NVIDIA 的第一个深度学习 GPU 产品），然后被 Andrew Ng 拉去百度硅谷 AI 实验室——「Dario Amodei 当时也在。他从一开始就非常聪明，学得极快，思考极深。他比我更早、更彻底地相信 AI 会改变世界。我当时还有学术界的谨慎——2005 年 AI 被认为是又老又没用的东西。我们那时候管它叫 machine learning，就是为了不让人知道我们在做 AI。」
2016 年 Jensen Huang 打电话让他回来建应用研究实验室。第一个项目变成了 DLSS（实时 AI 图形），让小 GPU 跑出大 GPU 的效果——「23/24 的像素是由 AI 模型生成的」。同时启动了 Megatron 项目——「这是 2017 年，Transformer 还没火——但我们看到它比 RNN 好太多了，立刻意识到有一个巨大的系统优化机会。」
【Moore 定律已死】
Bryan 说：Moore 定律已经死了好几年了。原来的表述是经济的——我们能负担得起在同一块芯片上放两倍的晶体管。现在不是这样了。
「在 Moore 定律活着的时代，做未来系统的方法是把现在的系统缩小并翻倍。在后 Moore 定律时代，你必须从第一性原理出发，协同设计从晶体管到算法的一切——这就是加速计算更有价值的原因。」
【4 bit 预训练（NVFP4）】
Bryan 说：4 bit 只有 16 个值。当然这些是 block scaled 格式——一组数字还有一个 8 bit 的缩放因子。
「我们为什么要做 4 bit？首先，在 Blackwell Ultra 上这些格式的吞吐大幅提高。其次，它大幅降低能耗——4 bit 数字在内存中占更少空间，在芯片上移动时消耗更少的皮焦耳。」
「核心论点是：我们将在极限运行。不管是经济极限（只有这么多钱买服务器）还是电力极限（只有这么多 GW 训练模型）。如果在极限运行，获得更多智能的唯一方式就是更高效。不能靠加大力度，只能靠更聪明地使用已有的东西。」
「4 bit 部署已经很成熟了，但 4 bit 预训练要难得多——你的数值求解器在优化权重时对精度非常敏感。如果处理不好，模型会发散——我们花了很多发明才搞定。」
【混合 Mamba-Transformer 架构】
Bryan 说：2024 年我们发表了一篇论文，显示混合状态空间模型和 Transformer 实际上比单独用任何一个都更聪明。
「直觉上，状态空间模型更擅长全局性的、印象派的理解——它们把整个序列总结到一个固定大小的缓存里。这个约束反而让它们在某些需要全局理解的任务上更聪明。全注意力的优势在于精确——不丢失任何信息，可以直接从序列中挑出特定片段。」
「两者结合比单独用任何一个都好。这跟速度无关——模型本身就更聪明。」
自那以后很多实验室都发现了同样的事——Qwen、Kimi 等都在用混合 SSM 架构。
【MoE 与 NVL72】
Bryan 说：MoE 是一种稀疏化形式。你训练模型记住整个互联网的一切，但在回答特定问题时，它不需要调动整个宇宙的知识。
「Blackwell 为 MoE 做了全面投入。这就是我们建 NVL72 的原因——让最多 72 块 GPU 以极高速率、极低延迟互相读写内存。因为在 MoE 中，每个 token 在每一层都会被路由到不同的专家——而专家分布在不同的 GPU 上。这种路由是完全动态的，取决于特定 token 和特定模型。」
【Latent MoE：4 倍专家数】
Latent MoE 是 Nemotron 3 的一个创新：把 token 的向量先降维压缩再通过网络发送，到另一端再解压。这样网络带宽省了，而且在相同推理成本下获得 4 倍的专家数。
【多 token 预测】
Bryan 说：在低 batch size 时（比如 batch size 1，你在数据中心做交互式推理，或者在本地跑），GPU 有闲置的计算能力。主要时间花在从内存读取权重上——推一个 token 过去反而不贵。
「所以让模型一次预测多个 token。比如预测 5 个，我们知道第一个一定对，后面 4 个不一定。下一轮我们把那 4 个塞回去检查——如果对了就接受（4 倍加速），如果不对就只接受对的部分。」
「好处是：零精度损失。所有推测都会在下一轮被模型自己检查。而且：模型越准，接受率越高，推理越快——速度是准确率的函数。更准的模型 = 更快的推理 = 更便宜的推理 = 更准的模型。」
【多教师在线策略蒸馏】
Bryan 说：Nemotron 3 Ultra 用了多领域在线策略蒸馏。10-15 个教师模型，每个在一个特定领域（科学理解、数学定理证明、编程、agent 交互等）被推到极限。然后用强化学习（MOPD）让一个学生模型从所有教师那里学习。
「好处不只是模型层面——它也帮助组织协作。500 个人在改进一个模型时，如果 A 团队优化编程、B 团队优化数学，容易出现拔河。蒸馏让每个团队的贡献都能被整合。」
【NVIDIA 的研究组织方式】
Bryan 说：NVIDIA 不按组织架构图运作。我的团队甚至不属于 NVIDIA 的研究部门——属于设计 GPU 的部门。Nemotron 涉及全公司 10+ 个团队。
「我们常说：任务是老板，而不是组织架构。但这意味着人们必须自己想办法合作——这具有挑战性，因为人类是部落动物。」
他们有一个内部网站让全公司的人提交想法，然后分配给 25 个负责人之一来评估。有些想法被进一步开发，有些被推迟到下一轮。
GPU 分配是两周一个周期，分层评审。每个研究者都相信自己的想法如果能多拿 1000 倍 GPU 就能改变世界——而且他们可能是对的。但我们只能在极限内运行。
【开源 AI 与安全】
Bryan 说：我认为开源技术本质上更安全，因为有更多阳光。当更多人在评估技术的安全性并贡献改进时，比少数人为所有人做安全决策更安全。
「AI 是关于想法的——多样性比单一文化更安全。不是只关于容易的事情——多样性也包括深深感到的分歧。让人们以多元化的方式探索想法，比建一个围墙花园说『这些想法安全、那些不安全』更安全。」
「我们尝试了几千年的单一文化——指定哪些想法可以相信、哪些可以谈论。事实证明多元化更安全。这直接对应到言论自由和良知自由的传统。」
【关于奇点】
Bryan 说：智能是多维的。如果你在找下一任 CEO，你会找国际数学奥赛冠军吗？大概不会——那是一种惊人的才智，但不是经营公司所需的才智。
「我博士毕业，但我可能没有流行音乐巨星那种智慧。智能不仅取决于原始算力——就像引擎的马力，但没有轮子的引擎哪儿也去不了。」
「我们制造工具——外在器官来帮我们解决问题。我们有外胃，叫做厨房——让我们能吃不加工就吃不了的东西。厨房的发明导致了农业，导致了我们城市的组织方式。现在我们在创造外脑。外脑的影响将同样深远——没有人真正知道。但我相信人类解决问题和学习的能力。」