Training Data 全新一期（10-06 发布，本刊首次收录）：对话 Google Fellow、AI 基础设施负责人 Amin Vahdat——人类历史上最疯狂 CapEx 建设（仅 Google 今年就预计投入超 2000 亿美元）的操盘手。核心看点：goodput 取代 FLOPS、每六个月翻倍的 token 产能、TPU 的 2013 逆势豪赌与 2026 双芯片（8I/8T）、光路交换、电力是「最根本的约束」、轨道数据中心 moonshot。完整译文见下。
【AI 数据中心与普通数据中心：专用化的艺术】
开场定位：我们正处「人类历史上最大的 CapEx 建设」中——仅 Google 一家今年就预计投入超 2000 亿美元、大头在数据中心。AI 数据中心与普通数据中心相似处很多（混凝土、围护、电气、制冷、一排排配电、海量网络与存储），真正的区别是「专用化」：传统数据中心是 20-30 年的建筑投资，硬件寿命约 6 年、要装下好多代服务器；AI 数据中心往往「专为用途而建、与硬件协同设计」——存储机柜功耗 10-40 千瓦，而 TPU/GPU 机柜轻松数百千瓦、未来几年人们谈论的是兆瓦级；一排放 30 个存储机柜与放一两个 AI 机柜的建筑设计完全不同；网络同理（硬盘存储机柜需要的网络与 AI 机柜相比微不足道）。若追求完全通用，会做得过大过重。他还提到给 Ineffable Intelligence 交付的大集群：「那些光纤的分形之美」成了他们社交账号最受欢迎的帖子之一。
【FLOPS 是虚荣指标，goodput 才是真章】
怎么自我考核？FLOPS 或任何「芯片中心」指标都是理论值——真正在乎的是「按工作负载交付的性能」。而性能很少由单芯片决定：是 FLOPS、HBM、SRAM 加上 2/4/8/16/1000/10000 颗芯片的组合、喂数据的 CPU、连接一切的网络。关键度量：FLOP 利用率 + goodput。goodput（Google 术语，业界开始采用）：吞吐量要扣除损耗——同步工作负载（训练、服务、agentic）里成千上万组件要在微秒/毫秒级协同，一个失败全体停摆：查原因、找 checkpoint、恢复、重启，最坏从头再来——这些都是「干了的活」但不是「交付的答案」。纸面解题回到第一步重来，throughput 不变、goodput 崩了。10 万加速器规模下「一天失败多次、甚至一小时多次」，而且失败原因没有众数——有早就修了；是不断发现的长尾：最前沿的制程、网络、硬件、还有软件（编译器 bug、运行时 bug、模型问题、OS 问题）都能拖累端到端性能。
【每六个月产能翻倍与增益的来源拆解】
他给团队的目标：有效可用产能（以 token 生成能力计）约每六个月翻倍——不一定是 FLOPS 翻倍，一半以上来自软件：模型优化、运行时优化，几十上百个小优化反复落地。经验拆解（以每瓦智能计）：大头来自模型侧改进；系统软件也相当可观（保证硬件被有效使用）；硬件本身「美得惊人」——现在这个世界，年同比 2 倍以上的性能提升完全可能，像给上面所有人的「免费乘数」。
【TPU 简史：2013 逆势豪赌到 8I/8T 双芯片】
TPU 项目 2013 年启动时是彻底的逆势下注：「芯片的苦涩教训」是专用化永不赢——摩尔定律在、标准编程模型在。但当时有一两个应用（翻译、语音识别的推理）受益巨大、用通用 CPU 支撑所需的量不可想象。第一代专注推理；第二代加上训练；第二代出来时 transformer 诞生——彻底改变了 TPU 计划；后来推荐系统跑得极好、广告场景跟上来——一路扩展到生成式 AI 时代的更大规模系统。
专用的分寸：2026 年的抉择是「一颗芯片同时做好训练推理，还是两颗各自特化」。分析结果是今年发布两颗：8I（推理）与 8T（训练）——因为到 26 年推理/服务在起飞、其生命期可能占市场 30-60%，特化值得；若推理只占 2-5%，即便特化芯片快 2 倍也不划算。硬件专用化的根本权衡：越专用越快越省电但越不灵活——工作负载必须「有点持久」，你能精确预估特化的赢面。而且 8I 与 8T 都能干对方的活：若 8I 只会推理、8T 只会训练，就得提前 6 年精确预测各自需求——互备给了灵活性。
【为什么不把 transformer 烧进芯片】
挑衅问题：现代 AI 市场都是 transformer，为何不把架构直接烧进硅？答：transformer 最终是向量/矩阵乘加 softmax——一组线性代数原语，「我们和其他家基本已经烧进硬件了」。剩下的差异在模型架构：多少层、怎么穿过层、每维用什么形状的矩阵向量——可以再往下一层「为你的模型特化」，有不少公司在探索，是个非常有意思的方向。TPU vs GPU：GPU 更通用（Google 也大量售卖和使用 GPU），重叠区之外看具体问题——Google 的哲学是给客户选择权。
【协同设计的账与 DeepMind 的并肩】
协同设计的账：你可以设计抽象层让自己跑在任何硬件/软件/网络上——好处是随处可跑、零锁定；坏处是「把大量性能留在桌上」——每层之间都有阻抗失配，每层 10%、20% 到 2 倍的优化机会乘起来，端到端就是巨大的每瓦智能/每瓦 goodput 空间。被问 OpenAI（同构算力栈）与 Anthropic（异构）是否因此走向传闻中迥异的模型架构：不予猜测，但「可能有很多原因」。Google 与 DeepMind 的协作则「真正深入」：研究人员拿着模型优化来，「若硬件支持这个、端到端能快多少」——两边工程师关进同一房间几天到几周，「你要的做不到、但这个可以，你往这边改模型架构、拿 90-98% 的收益」，甚至为这种量级的收益把 tape-out 推迟一两周。芯片管线同时有五六代在跑：生产中的、回来在调试的、即将 tape-out 的、设计中的、概念中的。有深度仿真基础设施预测未来工作负载如何映射到不同硬件架构；他每周与 Koray（译者注：DeepMind 研究负责人）和 Demis 聊好几次。「我们也在用 Gemini 为未来的 Gemini 设计硬件。」硬件规划超前 2-5 年、模型研究者默认不看那么远——但 Google 的研究者是「伴着多年度硬件周期长大的一代」：0.5-1% 的小改不会来烦你（他们知道停 tape-out 是大事），真有大机会绝对并肩搞定。
最惊人的事实：TPU 架构在中等细节层面「自 v1 以来没怎么变过」——像 CPU 的指令集（load/store/add/branch）：超大矩阵乘单元、管向量与 scatter-gather 的 sparse core、经 ICI 网络的远程读写——原语就那五六个，却扩展支撑了一代代模型与算法。
【长程 agent 改变负载形状】
长程 agent 带来两大变化：一，不再有人类在环限速——人类读回复要想几秒到几十秒，agent 拿到响应毫秒级就能解析、推理、发起下一个请求；二，这些推理与解析多半发生在 CPU 上，还要去各处（本地 DRAM、别的 CPU 的 DRAM、SSD、HDD）取状态——编排量暴增。所以加速计算需求上升的同时，传统数据中心 CPU、网络、存储的需求「直线飙升」。设计难题随之而来：CPU 机柜贴着 TPU/GPU 机柜放（建筑就无法完全特化），还是分栋放（楼间网络复杂度、可靠性、成本、数百微秒延迟）？「你的工作真难。」「好玩，真好玩。」
【光路交换：镜子 redirect 光】
网络侧：Google 约 15-16 年前就率先在数据中心内用波分复用；同时引入光路交换（OCS）。与电分组交换不同，OCS 完全在光域搬数据：底层是 MEMS 微电机驱动 3D 镜阵，128/256 端口的盒子把每个输入端口映射到输出端口、光打在镜子上反射到对的出口。当初两个动机：给机柜群之间造纯光学的「捷径」（计算集群↔存储集群），以及不动物理光纤就能扩缩网络。到 TPU 时代的新用法：TPU 用 torus 拓扑直连，某机柜坏了——不动光纤、毫秒级把光重定向到热备机柜。全自由空间光（无光纤）？衰减与带宽损失太大，覆盖一栋大楼几乎不可能——但那些光缆的尽头正是数据中心的 OCS。
【电力：最根本的约束】
「最根本的约束是什么」——没有单一答案、全都难、且不断换位；但若必须回答：电力。其他东西「我们知道怎么解、只是时间问题」；电力是长期绑定约束——也许核能终将带来充裕清洁能源，时机与规模未知。实操：首选并网。「给最喜欢的公用事业公司客气地打电话」，提前多年共同规划：吉瓦级不是「明天给我送来」的事。也很在意公平：输电线路升级、变电站扩建等成本由 Google 覆盖——避免「因为给我们建产能、别人家电费涨了」。缺口期自建补充：太阳能、电池备份，甚至反过来在全年最热的两周向电网返送电。为什么不自建到底？统计复用/大数定律：自建 99.99%+ 可靠性的 1 吉瓦意味着建 2 吉瓦——太贵；并网多方共赢。表后（离网）自建只在极罕见情况下做。
【规模的艺术与旧芯片的命运】
数据中心多大合适？是艺术、也是持续辩论：10-15 年前就辩过「全塞一个吉瓦楼」（单点故障 + 如今电力根本不可得）。现状：边缘 POP 数十兆瓦、与 ISP 合作——「真的可能是伊拉克」；训练集群接近吉瓦；其他站点数百兆瓦。生命周期：直觉上「最新最大集群训前沿模型、旧集群转推理」——方向对但不全对：推理需求大到不能只靠退役训练集群；且训练集群高度集中（同大陆），其他大陆服务容量不足，还得专门建服务集群。服务集群更小、垂直整合更少：计算/网络/存储要同置（没法那么特化）、模型端点要铺满全球并照顾就近性。旧芯片：他那句出圈的话——「七八岁的 TPU 仍然 100% 利用率」。折旧期约 6 年，之后按新一代的能效算账换新；按 pod 整体思考（一个 TPU 8T pod 约 9600 颗芯片、150 来个机柜），旧 pod 拔掉、新 pod 塞进去——占地未必严丝合缝，改造是门手艺。
【开放标准与 AI 进团队】
开放标准是信仰：Google 自研 JAX 并深爱之，但客户爱 PyTorch——于是有 Torch TPU 让未修改的模型直接跑。历史上 IP 为什么赢？开放标准 + 沙漏的细腰：上面任何软件、下面任何硬件、谁都能插进路由器口成为互联网的一部分——这就是互联网爆炸式增长的原因。「这个建设太大太重要，不能是任何一家厂商的封闭专有标准。」所以 TPU、GPU、其他加速器都支持。AI 对团队的改变：软件工程侧众所周知（编码、测试、发布、设计）；硬件侧少有人报道——「今天早上刚看了数字：硬件工程师的 AI token 用量与软件工程师一样多」；从设计启动到 tape-out 在缩短、bring-up 在缩短；数据中心设计评估（吉瓦楼 vs 百兆瓦园区）从人工电子表格流程，变成 AI 把对的信息汇到人类决策者面前——「还算不上推理模型替代人的判断」。
【轨道数据中心与 2036 的前沿超算】
轨道数据中心：真的在认真做——「毫不夸张地说，是我们的 moonshot 之一」。基本盘：太空因无大气衰减太阳能多约 40%（1.4 倍）；太阳同步轨道上光照覆盖 90-100%（地面 28-35%）——再乘上 3-4 倍的小时数、电池基本退出等式、且全程无碳。挑战也实打实：太空散热反而更难、可靠性、维修更难（也许机器人+宇航服？）——冗余会是朋友；自由空间光通信将从设想变现实：不串光纤了，激光实时校准对准接收器。「没有拦路虎，没有根本性的拦路虎。」
2036 年的前沿超算：十年正好在不确定性锥的边缘，「大概已有少数人在想 2036 的机器」。趋势判断：集成度会高得多——机架中央化制造，72/144/288/576/1152 颗 GPU（TPU 同理）深度集成进单个机架；单个机架多个兆瓦？到 2036 可以尽情想象；到时候「接上水、电、光纤三根线，把机架推进去就开跑」。会不会是个大外星球？「2036 年也不是没可能直接发射上天、被空间站的机械臂抓住插进对的模块。」