Unsupervised Learning Ep 92：Jacob Efron（Redpoint）采访 xAI 联合创始人 Igor Babushkin。他曾在 DeepMind（领导 StarCraft 和 AlphaCode）、OpenAI（早期推理研究）、xAI（Colossus、Grok）工作，现创建 River AI。核心话题：River AI 的三大赌注（River API、个人 AI 个性化、本地硬件运行前沿模型）、闭源模型提供方为什么处境艰难（开源追赶 + 模型太强不敢发布）、Colossus 数据中心故事（Elon 作为总承包商、第一性原理建设）、xAI 收购 Cursor 的意义、为什么个人 AI 需要端到端训练，以及为什么 AI 安全意味着将 AI 控制权分发给个人。
【第子的学徒与 AI 变革】
Babushkin：2024 年 11-12 月，编码 agent 突然变得非常强大，你无法忽视它。这是对所有软件工程师的一次真实转型。
「我们都在成为第子的学徒。LLM 和 agent 越来越强大，就像魔法一样跑出去。」
「整个计算机领域都是 agent 的潜在目标。深度理解你的生活、工作、世界，然后采取行动——这适用于任何问题。」
【River AI 的三大赌注】
Babushkin：第一，River API——强化学习和微调服务，帮助企业控制自己的 AI。我们的工程能力是核心优势——训练尽可能便宜、可靠、可扩展。
「第二，个人 AI 和个性化。今天模型被训练为平均用户服务。我们的想法是——让模型为每个人表现不同。你的 agent 和我的 agent 说话方式不同，有不同的偏好和行为。」
「第三，本地硬件。能不能在你家里跑前沿模型？你的数据完全受你控制，隐私得到保护，延迟更低，可以用语音和视频交互。」
【闭源模型提供方的困境】
Babushkin：闭源模型厂商正被挤压。模型越来越强，你可能不敢发布。同时开源模型每个月都在追赶。
「预训练发生在全人类的知识上。它本质是公有财产。从哲学上讲，预训练权重应该免费给人们使用。」
「企业面临选择：把数据交给 Anthropic/OpenAI，还是自己训练模型？如果你独特的知识都在网上，那是最危险的位置。」
【Colossus 数据中心与 Elon 】
Babushkin：Elon 是世界上最好的数据中心建设者。他从第一性原理出发，质疑所有传统做法。
「他尊重工程师。他直接和做实际工作的人交谈，深入每个细节。你能感受到他对工程师和问题本身的尊重。」
「使用分包商的分包商的分包商——很多效率在流程中丢失。Elon 的方法是自己做总承包商，在每个环节找到『矩阵中的 bug』。」
【xAI 收购 Cursor 】
Babushkin：这是非常聪明的举动。Cursor 有优秀的团队、广泛使用的产品、和大量真实编码数据。
「编码数据的数量级很重要。但同样重要的是构建正确的 RL 环境——让 agent 修 bug，然后验证是否正确完成。」
「我确信我们还没看到最大的跳跃。还有更多模型即将出来。」
【模型进展的瓶颈】
Babushkin：最大的解锁是新的训练方法——能处理更长时间跨度和不可验证奖励。
「如果你的 agent 训练需要 24 小时跑一轮，那训练就很难。每个训练步都会很慢。」
「有一个陷阱是继续改进编码，但人们真正需要的是进入更长期的领域。」
「LLM 评判现在变得可行了——模型足够强，能可靠地判断事情是否成功。未来 12 个月我们可能会看到突破。」
【人机共生与 AI 安全】
Babushkin：未来人类要保持相关性，需要找到与机器的正确共生关系。
「今天有共生——agent 处理低层细节，人做架构和规划。但随着 agent 越来越强，诱惑是让它们接管更多。一旦你让 agent 做所有决定，你就不再控制自己的生活了。」
「我们应该训练模型来最大化人类繁荣。」
「AI 安全意味着将 AI 的控制权分发给个人。不是只有几千人在大公司思考这些问题，应该让尽可能多的人参与。」
「开源模型对于安全研究非常重要——它们足够强，展示了一些危险特性，但还不至于造成真正的伤害。这让任何人都可以尝试自己的对齐想法。」