SemiAnalysis 创始人 Dylan Patel（年收入约 1 亿美元，90 人团队）跟 Sequoia 的 Sean Maguire 和 Sonya Huang 聊了为什么硬件软件协同设计才是 AI 真正的 100x。
核心论点：你在每一层（模型、基础设施软件、硬件）各拿 2x，三层各自乘起来是 8x。但如果你跨层协同优化，不是 8x——是 100x。最好的实验室（Anthropic、OpenAI、Google）都这么做。DeepSeek V3 的专家形状是为 Hopper 优化的；V4 是为 Blackwell 和华为芯片优化的。
InferenceX：SemiAnalysis 的实时基准测试系统——超过 5000 万美元的捐赠硬件，来自 CoreWeave、Crusoe、Nebius、Oracle、Microsoft、Amazon、Google、OpenAI。每天在 15+ 种芯片上跑所有主流模型的基准。生成吞吐量 vs 交互速度的 Pareto 最优曲线。AI 基础设施领域最重要的图表。
NVIDIA vs TPU：Dylan 说他可以一本正经地为任一方辩护。Google 的 ICI 不用交换机连 8000 颗芯片，NVIDIA 的 NVLink 只连 72 颗——各有优势。真正的问题是模型-硬件协同优化。OpenAI 的稀疏架构偏向 GPU；Anthropic 更密的架构适合 TPU/Trainium。
Jensen 的多极化战略：NVIDIA 投资 NeoCloud 和 AI labs 是为了防止一个由超大规模云厂商（Google/Amazon 自研芯片）主导的世界。
太空数据中心：2030 年前占算力不到 1%，但 2040 年新增算力的多数可能在天上——因为陆地电力限制。
Anthropic Q2 净利润为正（不含股权激励）；Q3 可能含股权激励也盈利。Opus 4.8 每 token 毛利率 80%+——无论算力成本多高都能赚钱。
【SemiAnalysis 起源】
Dylan Patel 在汽车旅馆长大，父母开汽车旅馆和加油站。12 岁开始在网上论坛做版主，追踪 Android、Apple、GPU 和半导体行业。
曾做量化交易员，2020 年多重事件（奖金被抢功、祖母去世、COVID）让他辞职。无家可归期间开着皮卡走遍美国国家公园，同时研读半导体教科书。
20 岁生日那天发了两篇博客，正式以真名运营 SemiAnalysis。「最早的两篇现在看不太好，但当时是网上能找到的最好的半导体分析。」
【协同设计：真正的 100x】
Patel 说：这叫软件硬件协同设计。每一层都有创新，但真正的突破是跨层协同优化——本来每层 2x，三层乘起来 8x，但如果你跨层优化，不是 8x，是 100x。
「DeepSeek V3 的所有专家形状都是为 Hopper 优化的。V4 是为 Blackwell 和华为芯片优化的。如果你把模型拉出来放到旧硬件上跑，效果其实很差。」
TPU 客观上是极好的芯片——DeepMind 和 Anthropic 预训练都用它——但跑 DeepSeek 很烂。反过来，有些模型在 TPU 上跑得很好但在 NVIDIA GPU 上不行。
【InferenceX：活的标准基准】
Patel 说：推理性能每时每刻都在变——新模型、新驱动、新推理优化每周都在出。我们看过同等质量下模型成本每年降 60 倍。
「所以你不能做一次性的基准测试。你需要一个活的、呼吸的基准——每天在最新硬件上跑最新模型。」
他们从生态拿到了超过 5000 万美元的捐赠硬件（CoreWeave、Crusoe、Nebius、Oracle、Microsoft、Amazon、Google、OpenAI），加上 NVIDIA、AMD、Google（TPU）、Amazon（Trainium）的协作。
产出：吞吐量 vs 交互速度的 Pareto 最优曲线。Patel 认为「AI 基础设施下游的一切——硬件、模型、应用——都由这条曲线决定」。
【NVIDIA vs TPU vs 自研芯片】
Patel 说：我可以一本正经地论证 GPU 比 TPU 好，也可以一本正经地论证 TPU 比 GPU 好。关键在协同设计。
OpenAI 的模型非常稀疏（更多专家，每个专家更小），这对 GPU 有利。Anthropic 的模型更密，这在 TPU 和 Trainium 上工作得更好。Google 的 Gemini 专门为 TPU 优化。
Google 的 ICI 网络不用交换机，能连 8000 颗芯片但要通过其他芯片转发。NVIDIA 的 NVLink 用交换机，但只连 72 颗 GPU。各有取舍。
Google 有三个不同的 TPU 设计项目——跟 Broadcom 合作的一种架构、跟 MediaTek 合作的另一种架构、还有一种完全不同的研究架构。
【Jensen 的多极化战略】
Patel 说：Jensen 绝对讨厌超大规模云厂商一家独大的世界。他往各种 AI labs 和 NeoCloud 撒钱，是因为他需要一个多极化世界。
「如果只有闭源实验室和超大规模云厂商的自研芯片存在，NVIDIA 就完了。NeoCloud 和新实验室的存在让 Google TPU 更弱，让 Amazon Trainium 更弱。」
「今天卖给 Crusoe 的 GPU 和卖给 Google 的 GPU 价格一样。但五年后，Crusoe 和 CoreWeave 的存在意味着 Google TPU 更弱，Amazon Trainium 更弱。」
【Anthropic 的盈利能力】
Patel 说：Anthropic Q2 净利润为正（不含股权激励）。Q3 可能含股权激励也盈利。
Opus 4.8 每 token 的毛利率超过 80%。这意味着无论算力成本多高，他们都能赚钱。他们可以用高于市场的价格抢 GPU——每租一块 GPU 立刻就能卖 token 赚钱。
xAI 卖给 Google 的 GPU 价格高达每小时 11 美元——「这很疯狂，但他们即使有 TPU 也愿意付这个价格。」
【太空数据中心】
Patel 说：2030 年前太空数据中心占比不到 1%。但 2040 年新增算力的大部分可能在天上。
核心驱动是陆地电力成本。2030 年仅 OpenAI 和 Anthropic 加起来就需要超过 100 吉瓦。2040 年是太瓦级别。
【NeoCloud 为什么存在】
Patel 说：传统云厂商的优势在 AI 时代反而变成了劣势。
Amazon 的 Nitro NIC 为传统云很好，但损害 AI 性能。Google 和 Amazon 的定制网络对 CPU 工作负载很好，但对 AI 反而更差。
NeoCloud 团队（CoreWeave、Crusoe）是高杠杆的股权持有者——他们如果更快交付算力就能暴富。大公司没有人因为建数据中心更快而发财。
【被激怒的话题】
Patel 说：「AI 没有 ROI」或「模型正在触顶」让我很愤怒。
「能力一直在线性上升。那些人说某个 benchmark 没提升——那是因为已经到 90% 了。换新 benchmark，又在飞了。」
「半导体这么复杂的东西，我不怪普通人不懂。但我每天都在学新东西——昨天刚发现有一个年销售额 1000 亿美元的化学品，每颗芯片都需要它，我之前居然不知道。」
C
