这期播客是了解 AI 数据中心物理现实的最好材料。Lambda Labs CEO Stephen Balaban 跟 Matt Turk 聊了一个多小时。
他从光子进、token 出的完整管道讲起:光子或天然气分子 → 发电厂 → 瓦特 → 数据中心(PUE 效率)→ FLOPS → token。服务器成本(每吉瓦 350-450 亿美元)远超发电厂(20-30 亿)和数据中心建筑(100-150 亿)。
为什么大多数 NeoCloud 不是真正的云:它们缺乏同时协调带内网络、带外监控和计算 fabric 的软件——这需要数千万到上亿美元的投资。
GPU 作为资产类:2023 年部署的 H100 现在租赁价格比当初还高——需求远超任何折旧。债权人开始把 NVIDIA 芯片当作成熟的可承保资产类。
垂直整合策略:Lambda 从租房→融资→全栈(选地、设计、建设、部署、绑定承购协议)。目标:匹敌甚至超越 SpaceX AI 200 天建数据中心的记录。
神经软件愿景:LLM 会变成软件本身,而不是生成软件。没有代码在运行——只是模型激活空间的修改。他估计 10-15 年到大规模采用。
被高估的:非可验证领域的 agent 工作流(任何不能像代码一样测试的东西)。被低估的:软件开发 agent 工作流——大多数人还没试过开 10 个 agent 全力跑。
【AI 数据中心的完整物理管道】
Balaban 说:从物理角度,左边是所有能源生产,右边是 token 被消耗。
「左边是光子(太阳能)或天然气分子每秒进入。通过发电厂转化为每秒焦耳——也就是瓦特。数据中心需要冷却自身,这是 PUE。然后放入服务器,产生每秒浮点运算(FLOPS)。FLOPS 被模型训练或推理消耗,转化为每秒 token。」
成本结构:服务器的资本堆栈占比最大——每吉瓦 350-450 亿美元。发电厂每吉瓦 20-30 亿。数据中心建筑每吉瓦 100-150 亿。
「最大的一部分成本是 GPU 小时的折旧。你怎么提取更多价值?靠利用率——如果 50% 时间使用,每小时折旧就是 1/0.5 = 2 倍。所以怎么做出让人爱用的云产品来驱动高利用率,是竞争优势的核心。」
【为什么大多数 NeoCloud 不是真正的云】
Balaban 说:大多数 NeoCloud 根本没有真正的云技术。
「想象一个 10000 GPU 的集群。你想把它分区。你需要同时分区带内网络(存储读写)、带外监控网络(BMC/DPU)和计算 fabric(InfiniBand/Ethernet)。还要支持 RDMA——GPU 直接读写另一个 GPU 的 HBM 内存,不经过 CPU。」
「这个复杂的协调需要大量软件投资——数千万到上亿美元。大多数 NeoCloud 没做这个投资。他们只有一堆裸金属机器,没法按小时租出去。」
【GPU 作为资产类:比人们想的耐用得多】
Balaban 说:说 GPU 三五年就报废的人完全错了。
「我们 2023 年部署的 H100,现在的租赁价格比当初还高。我们从会计角度已经完全折旧的 GPU,仍然在产生收入。」
「使用寿命长于会计折旧周期。真正重要的是经济使用寿命。债权人开始意识到 NVIDIA 芯片是一种很好的信用投资——资产价值清晰、现金流可预测。」
【垂直整合:从租房到建厂】
Balaban 说:Lambda 正在走向全栈垂直整合。
「我们最初是租户。然后开始自己融资建设。现在是全流程:选地、带设计方案、融资建设、放服务器、绑定大客户的长期承购协议。」
「我希望 Lambda 成为高速度部署的 powerhouse。世界上只有两家公司能做到高速度部署——SpaceX AI 和 Lambda。」
他说 xAI 建数据中心的记录大约是 200 天。他认为这个速度可以被匹敌甚至超越——关键在于砍掉流程里的每一个多余环节。
【神经软件:LLM 变成软件本身】
Balaban 说:我想区分 vibe coding 和神经软件。
「Vibe coding 是你给一个 prompt,它输出 C 代码或 Python 代码,然后通过编译器运行。软件是静态的——一旦生成就不能变。」
「神经软件是你直接跟 LLM 交互,它模拟软件的行为。没有代码在运行——只是模型激活空间和上下文的修改。」
「最好的体验方式:去 ChatGPT 或 Claude,让它渲染一个 ASCII art 桌面界面,然后让它假装是一个操作系统。你点击、打开、操作——它全部用文本模拟。」
「这不是不可能有 bug——只有对 prompt 的误解。最终它也会有生成每个像素的多模态网络。」
他估计 10-15 年到大规模采用。Tesla 的端到端自动驾驶就是一个神经软件的现存例子。
【Lambda 的起源故事】
Balaban 2012 年创立 Lambda,最初做人脸识别。在 Google Code 上拉了 CUDA-ConvNet 代码库——「这说明 Lambda 有多老,Google Code 还在。」
做了 Dreamscope(用 ConvNet 把照片变成画作——「早期版 Midjourney」),100 万用户,每月 4 万美元 AWS 账单。为了省钱,花了 6 万美元买了一组工作站集群——「当时我们吓坏了,觉得这笔 CapEx 会搞死我们。」
结果一个半月就回本了。「我们想:省的钱比赚的还多。不如去做 AI 算力生意。」
2017 年硬件业务 300 万收入→2018 年 1000 万→2019 年 3000 万→增长到约 2 亿。云业务 2019 年开始,现在接近 10 亿美元收入。已完全退出硬件业务。
【请 CEO:Stephen 转任 CTO】
Balaban 说:作为创始人,能把公司做到可以请得起 Michel Combe(前 SoftBank International CEO、前 Sprint CEO、Alcatel CEO、McLaren 董事)来当 CEO,是一种荣誉。
「我从来不觉得非得当 founder CEO。我关心技术。融资和日常管理是不得不做的事,不是我热爱的事。」
他转任 CTO 后专注于:怎么大幅缩短数据中心部署周期。
【被高估和被低估的】
被高估的:非软件工程领域的 agent 工作流。「因为 agent 需要非常具体的反馈机制——自动化测试做得极好,但'嘿 Claude 帮我赚十亿'没有。」
「但也不是说只有软件工程才行——CAD、有限元分析、计算流体动力学,这些可验证的领域也适合。」
被低估的:软件开发 agent 工作流。「大多数人还是不了解。他们没试过——去 Claude,开最大努力,用最新模型,说'开 10 个 agent 来做'。很多人从没这么干过。」
【一人一 GPU】
Balaban 说:我 2020、2021 年融资时就讲「一人一 GPU」——灵感来自 Apple 1976 年的「一人一电脑」。
「Steve Jobs 有远见,但 Apple 1976 年创立,到真正实现一人一电脑花了 50 年——到 2024 年才有真正的电商渗透。」
「我相信未来美国每个人都需要一个 GPU 或更多的算力——工作、娱乐、创造。但我也知道这需要很长时间。这不是一夜之间的事。」