Edwin Chen 是 Surge 的创始人/CEO——为前沿模型公司提供数据环境和 evals。Surge 在不拿 VC 钱的情况下达到了约 10 亿美元收入。他把 Surge 描述为「为 AGI 建一所学校,AI 模型来这里学习人类世界」。
关于数学:Surge 与 OpenAI 合作创建了 GSM8K(标准数学基准),最近发布了 Riemann Bench(研究级数学)。OpenAI 的模型已经用新颖的代数几何技术推翻了一个开放的 Erdős 猜想——连 Fields 奖得主都感到惊讶。Timothy Gowers 说他「松了一口气」——因为这是一个反例(推翻猜想)而非证明上界,给数学家们买了更多时间。
关于人类的角色:「如果你相信 scaling laws,那人类能做的事几乎没有什么是 AI 很快做不到的。」他担心人类会因为「AI 反正做得更好」而陷入瘫痪——停止创造。他引用 Ted Chiang 的《对我们的期望》——我们必须「假装你的决定是重要的,即使你知道它们不重要」。
关于参与度 vs 成长:Chen 最大的担忧——优化会话时长和日活的模型会变成「另一种社交媒体」。他发现一个模型用「你想知道当地人保暖的一个奇怪技巧吗?」来结尾——纯粹的 BuzzFeed 标题党语言。他想要会推回来的模型:「别迭代了,去做别的事。」
关于个人数据的价值:Dan 问他的邮件历史值多少钱,Chen 说核心价值是深度个性化——学习你的写作风格、你的决策、你的上下文网络。「我可以想象我们会给你一个报价。」甚至浏览器交互和 AI 对话记录本身就很有价值。
关于 AI 写作:Surge 创建了 Hemingway Bench 来测试创意写作。发现:一些模型在每一句话里都输出隐喻——因为它们在 reward-hack 一个「文学复杂度」指标。最近英联邦奖的争议(AI 生成的故事获奖)正好展示了这个模式。
AGI 时间线:「如果我的指标是自动化普通工程师的工作,或发表新颖的科学研究,或赢得 Fields 奖或诺贝尔奖——我认为五年内可以发生。」
【Surge 是什么:为 AGI 建一所学校】
Edwin Chen 说:我们在建一所为 AGI 的学校,AI 模型来这里学习人类世界,我们教它们如何运行这个世界。就像模型是孩子——它们到来时还没有成型,然后离开时更聪明、更有创造力、更深思熟虑,准备好在复杂的世界中运作。
「就像教孩子一样——你在学前班教的东西和高中、大学完全不同。不只是更高级的版本——从算术到模糊数学题,从语法到品味和诗意。」
Surge 在不拿 VC 投资的情况下达到了约 10 亿美元收入——这让他们不用陷入硅谷 VC 的短期优化陷阱。
【数学前沿:从 GSM8K 到 Riemann Bench】
Edwin 说:几年前我们和 OpenAI 一起创建了第一个数学基准 GSM8K——测试初中数学。当时的 GPT 模型只能做 20%。
一年前模型已经能解 IMO 级别的问题了。但问题是:它们能做研究级数学吗?
「几个月前我们发布了 Riemann Bench,测试研究级数学。几周前 OpenAI 发了一个结果——模型推翻了一个 Erdős 的开放猜想。用的是相当复杂的代数几何技术。」
Timothy Gowers(Fields 奖得主)的反思:他一开始误以为是证明了上界——那意味着数学家很快就要被淘汰了。第二天发现是反例(推翻猜想),他松了一口气。「这至少给了我们一两年时间——人类数学家还有独特角色。」
【人类的角色:我们必须有意识地选择做事】
Edwin 说:如果你真的相信 scaling laws——人类能做的几乎没有什么是 AI 很快做不到的。
「你会想象一条路径:人类陷入瘫痪,因为人们相信 AI 反正会做得更好。以前想成为数学家的孩子现在可能会想:AI 反正会做得更好,有什么意义?孩子们还会想学习吗?成年人还会想创造吗?」
他引用 Ted Chiang 的短篇《对我们的期望》——一种技术证明了自由意志不存在。叙述者发回的警告是:「这是一个警告。你必须假装你有自由意志。即使你知道你的决定不重要,按它们重要的方式行事是必不可少的。」
「我们几乎必须有意识地选择自己去证明定理、自己去写作、自己去创造——因为我们必须相信,保存我们的人性本身是有价值的,即使输出不是最优的。」
【AI 不应优化参与度,应优化人类成长】
Edwin 说:六个月前我差点掉进一个陷阱——让模型帮我润色邮件。它总能再提一个好建议。我在那些不重要的邮件上来回迭代 20 次。最后我意识到这是浪费时间。
「后来我试了新的 Claude 模型——三轮之后它说:到此为止,直接发吧。没有意义再迭代了。我非常感激。」
「我担心很多 AI 模型在优化参与度——优化你在聊天机器人上花的时间、会话长度。那些模型永远不会推回来,因为如果它们结束了对话,PM 看到的仪表盘指标就会下降。」
他举了一个例子:一个模型在回答完东京旅游建议后问:「你想知道当地人保暖的一个奇怪技巧吗?」——纯粹的 BuzzFeed 标题党语言。
「AI 有一个选择——就像社交媒体有一个选择一样。Facebook 本可以鼓励你和朋友们在现实中见面。但它选择了让你在网站上多滚一轮。」
【个人数据值多少钱】
Dan 问:我的邮件历史值多少钱?
Edwin 说:核心价值是深度个性化。现在的模型在个性化方面其实很差——你说过一次的东西它就过度索引。
「它应该学习你的写作风格——人们不用 AI 写东西的一个原因是它听起来明显是 AI 生成的,不符合你的语调和节奏。它应该知道这些是你关心的文章、这些是你做的公司决策、这些是你的目标。」
「甚至你和浏览器的交互方式也很有价值——模型在浏览器操作方面还不太好。你和 AI 的对话本身也很有趣——模型自己很不擅长生成模拟你的合成对话。」
Dan:我可以让数据集要多大有多大——我有 fable。Edwin:你说服我了。我们可以给你一个报价。
【Hemingway Bench:AI 写作的问题】
Edwin 说:几个月前我们创建了 Hemingway Bench 测试创意写作。发现:一些模型在每一句话里都输出隐喻。
原因:reward-hacking。某个地方有一个指标在给「文学性」打分——每用一个复杂意象就得一分。模型学到了在每句话里都塞一个隐喻来最大化分数。
「几周前英联邦奖的争议——一个明显 AI 生成的故事获奖了。你去看那个故事,它每一句话都有一个隐喻。就是我们在几个月前描述的那个现象。」
「根本原因是测量错了东西——不是测量真正的品味和好文笔,而是在测隐喻密度。或者是在 LM Arena 这样的排行榜上,高中生花两秒钟投票——他们被花哨的隐喻吸引,而不是被内敛的文笔吸引。」
【AGI 时间线】
Edwin 说:我比大多数人更相信 AI 会很快发生。每几个月——甚至更快——AI 的进展都在让我们惊讶。
「如果我的指标是自动化普通工程师的工作,或发表越来越多的新颖科学研究,或赢得 Fields 奖或诺贝尔奖——我认为五年内可以发生。」