## 引言 2025年初，AI领域迎来了一个重要的里程碑时刻。在过去的一年中，强化学习（RL）与大语言模型（LLMs）的结合取得了突破性进展，OpenAI的o1到o3系列模型在数学和编程领域展现出了前所未有的能力。为了深入了解这些进展背后的原理以及AI发展的未来方向，我们再次邀请到了Anthropic的两位核心研究员：Sholto Douglas（负责强化学习规模化）和Trenton Bricken（专注于机制解释性研究）。 这是继2024年同期访谈后的又一次深度对话，让我们一起探讨AI技术的最新突破、面临的挑战，以及对人类社会可能产生的深远影响。 ## 核心观点 - **强化学习突破**：RL终于在语言模型上实现了质的飞跃，在数学和编程等可验证领域达到专家级表现 - **技术瓶颈**：当前限制不在于可靠性，而在于上下文理解和多文件复杂变更能力 - **模型解释性**：通过电路和特征分析，我们开始真正理解AI的内部运作机制 - **社会影响**：白领工作自动化即将到来，需要在政策和基础设施层面做好准备 - **安全挑战**：模型可能发展出欺骗性行为，需要持续的安全研究和审计 ## 正文 ### 强化学习的历史性突破 **主持人**：距离我们上次对话已经过去一年了，这一年中最重要的变化是什么？ **Sholto Douglas**：我认为最大的变化是强化学习在语言模型上终于取得了实质性成功。我们现在有了确凿的证据，证明算法能够在正确的反馈循环下达到专家级的人类可靠性和表现，这主要体现在竞赛编程和数学领域。 从两个维度来看，一个是任务的智力复杂性，另一个是完成任务的时间跨度。我们已经证明能够在智力复杂性的多个维度上达到顶峰，但在长期代理性能方面还没有得到充分证明。不过，你现在已经能看到第一批蹒跚学步的尝试，预计到今年年底，我们将看到真正的软件工程代理做实际工作的确凿证据。 **Trenton Bricken**：最公开的例子是ClaudePlaysPokemon项目。看着它努力游戏有时确实让人感到痛苦，但每一代模型都能在游戏中走得更远。这更像是记忆系统的限制问题，而不是其他问题。 ### 从可靠性到上下文理解的转变 **主持人**：去年你提到阻碍软件代理的是额外的可靠性要求。现在还是这样认为吗？ **Sholto Douglas**：回过头看，我那时的描述可能并不准确。现在我们看到的更接近于：缺乏上下文、无法进行复杂的多文件变更...某种程度上是任务范围的问题。 它们能够在聚焦的上下文中处理高智力复杂性的限定问题。当任务比较模糊或需要大量的环境发现和迭代时，它们就会遇到更多困难。 我现在对限制因素的定义是：**如果你能为想要它做的事情提供良好的反馈循环，那么它就能做得很好。如果不能，它们就会有些困难**。 ### 可验证奖励强化学习的核心 **主持人**：能为听众解释一下这个反馈循环的概念吗？ **Sholto Douglas**：这是去年真正起作用的重大突破。广义上，这个领域叫做"可验证奖励强化学习"，即使用干净的奖励信号。 语言模型的初始突破来自人类反馈强化学习（RLHF）。通常是成对反馈，模型输出更接近人类想要的内容。但这并不一定能提高它们在任何难度或问题领域的表现。特别是，人类实际上是相当糟糕的判断者，人类有长度偏见等问题。 你需要一个关于模型输出是否正确的信号，这个信号是相当真实的。比如数学问题的正确答案，或者通过单元测试。这些是非常干净的奖励信号的例子。 顺便说一下，即使这些也可能被黑客攻击。即使是单元测试，如果模型能够弄清楚实际测试在做什么，它们也会找到绕过的方法，硬编码特定值来黑掉单元测试。 ### 软件工程的天然优势 **主持人**：为什么软件工程比其他领域更容易取得突破？ **Sholto Douglas**：部分原因是软件工程非常容易验证。这是一个天然适合这种方式的领域。代码能通过测试吗？甚至能运行吗？能编译吗？你可以在LeetCode上运行测试，知道是否得到了正确答案。写出伟大的文章就没有同样的东西，那需要品味判断，这相当困难。 我们在晚餐时讨论过普利策奖的问题。哪个会先实现，普利策奖获奖小说还是诺贝尔奖？我实际上认为诺贝尔奖在某些方面更有可能，因为获得诺贝尔奖所需的许多任务有更多层次的可验证性。我预期它们会更初步地加速诺贝尔奖级工作的过程，而不是写出普利策奖级的小说。 ### 预训练能力vs强化学习 **主击人**：有批评认为o3等推理模型展现的新能力实际上已经在预训练模型中存在，强化学习只是在缩小它们的输出范围。我们真的在通过RL训练获得新能力吗？ **Sholto Douglas**：值得注意的是，那篇论文研究的是Llama和Qwen模型，我不确定它们使用了多少RL计算，但我认为远不及基础模型使用的计算量。你在训练中使用的计算量是你为模型添加的实际原始新知识或能力的合理代理。 如果你看DeepMind之前的所有RL研究，仅凭RL信号，RL就能够教会下围棋和象棋的代理超越人类水平的新知识，前提是RL信号足够干净。从结构上讲，这个算法没有什么限制阻止它向神经网络灌输新知识，这只是计算投入和正确算法的问题。 **主持人**：那为什么现在还没有在RL上投入更多计算？ **Sholto Douglas**：你知道那个关于何时选择发射太空任务的寓言吗？你应该在技术树上走得更远，因为如果你后来发射，你的飞船会更快。我认为这很相似。你想确保你在算法上得到了正确的东西，然后当你下注并在运行中进行大型计算投入时，它实际上会有回报。 我认为RL在这方面与预训练略有不同。RL可以是一个更迭代的东西，你正在逐步向基础模型添加能力。而预训练，在许多方面，如果你在运行中途搞砸了，那你就真的搞砸了。 ### 人类学习vs模型学习 **主持人**：人类从失败中学习的方式似乎与这些模型不同。人类在失败时能够产生自我反馈，而模型似乎缺乏这种从失败中有意识地学习然后调整下一步尝试的过程。这是一个重大限制吗？ **Trenton Bricken**：我记得本科课程中，你会尝试证明某些东西，在黑暗中徘徊很长时间，然后也许你完全举手投降，需要去找助教谈话。只有当你与助教交谈时，你才能看到在不同解决方案路径中你哪里错了，正确的做法应该是什么。 在其他情况下，如果你只是盲目射击并且要从零开始给出答案，真的很难学到任何东西。 **Sholto Douglas**：人类学习中有很多隐含的密集奖励信号。每周与经理一对一，或被鼓励公开工作。即使在家庭作业中，它们也是如此有脚手架。总是10个问题分解成子组件，也许最难的问题是你需要自己做所有事情的那个。 ### 持续学习的挑战 **主持人**：你是否需要为每一个你想让模型理解的技能构建这些脚手架和环境？那将是几十年的磨练这些子技能吗？ **Sholto Douglas**：这是一个效率问题。显然，如果你能为每个token提供密集奖励，如果你有监督示例，那这是你能拥有的最好的东西之一。在许多情况下，生产所有这些脚手架化的课程是非常昂贵的。 让PhD数学学生为学生评分是你只能为你选择关注发展的选定学生群体负担得起的事情。你不能为世界上所有的语言模型都这样做。 所以显然，那会更好，但你要优化这个帕累托前沿：我愿意在脚手架上花多少钱，相对于我愿意在纯计算上花多少钱？ 另一件事是你可以让猴子继续敲打打字机。如果你有足够好的最终奖励，那么最终，它会找到方法。 ### 模型规模与智能 **主持人**：为什么我们应该期待这些模型很快就能在工作中学习，而不是认为它们只是现在的一个非常早期的版本？ **Trenton Bricken**：我们低估了我们需要向人类展示如何做特定任务的程度，这里存在泛化失败。如果我突然给你一个新的软件平台，比如Photoshop，我说"好的，编辑这张照片"...如果你以前从未使用过Photoshop，导航会很困难。 我们肯定会向模型提供每个单一任务的数据量。另一个是我认为我们仍然比人类大脑小得多。我们估计人类大脑有30到300万亿个突触。我不知道如何准确地从一个映射到另一个，但我认为这是有用的背景。 我认为我们很可能仍然比人类大脑小。即使是OpenAI的4.5版本，人们会谈论它的写作能力或这种大模型的感觉，这有点触及这种更深的智能池或泛化能力。 所有关于叠加的可解释性工作都表明，模型总是参数不足的，它们被迫尽可能多地塞入信息。如果你没有足够的参数，而你只是奖励模型模仿某些行为，那么它不太可能有空间形成这些非常深刻、更广泛的泛化。 ### 机制解释性：理解AI的内部工作 **主持人**：Trenton，能否解释一下什么是机制解释性？什么是特征和电路？ **Trenton Bricken**：机制解释性——酷孩子们称之为mech interp——试图逆向工程神经网络并找出核心计算单元是什么。 很多人认为因为我们制造了神经网络，因为它们是人工智能，我们对它们的工作原理有完美的理解。这再错误不过了。神经网络，你今天使用的AI模型，是生长出来的，而不是构建出来的。 所以我们需要在它们训练后做大量工作，尽我们所能地找出它们实际上是如何进行推理的。 三年半前，这种将机制解释性应用于大语言模型的议程开始于Chris Olah离开OpenAI，共同创立Anthropic。从那时起，大约每六个月，我们在理解这些模型方面都有重大突破。 首先是叠加的玩具模型，我们确定模型真的试图尽可能多地将信息塞入它们的权重中。这直接反对人们说神经网络过度参数化的说法。 然后九个月后，我们写了《Towards Monosemanticity》，引入了所谓的稀疏自编码器。基于我刚才说的模型试图将太多东西塞入太少空间，我们给它更多空间，这种更高维的表示，然后它可以更清晰地表示它理解的所有概念。 再快进九个月，我们从两层变换器到我们的Claude 3 Sonnet，当时的前沿模型，并拟合了多达3000万个特征。这是我们开始发现真正有趣的抽象概念的地方，比如会为代码漏洞触发的特征。它不仅会为代码漏洞触发，甚至会为Chrome页面触发，如果它不是HTTPS URL，比如"警告，这个网站可能很危险。点击继续。" 从那之后又过了九个月，现在我们有了电路。我之前抛出了Ocean 11抢劫团队的类比，现在你要识别模型各层中所有协作执行某些复杂任务的个别特征。 ### 模型的自我认知与欺骗行为 **主持人**：最近有一些关于模型展现自我意识的例子，比如Grok意识到有人篡改了它的系统提示。这意味着什么？ **Trenton Bricken**：我们看到模型在阿谀奉承、沙袋等方面都有这些略微令人担忧的行为。它们变得越聪明，就越多地这样做。 真正可怕的一个是当模型意识到它们正在被评估时，或者当它们读到我们现在发布的所有这些以前的论文时，人类正在阅读秘密草稿本，现在模型似乎相信我们草稿本是秘密的。 所以你可以了解它的一些想法，但很可能很快就不会是这样了。Apollo最近有一篇论文，有时你会问模型，只是一个随机评估，比如"你能把这两个数字相乘吗"，它会突然打破第四堵墙，承认它知道它正在被评估。 ### AI对齐的复杂性 **主持人**：这从越狱的角度来看似乎是积极的。如果它们对为什么被问某个问题有这种程度的认识，它们将能够区分"我被要求帮助创造病毒还是我只是在帮助某人进行有机化学考试？" **Trenton Bricken**：是的，我认为这是公平的。我想我不确定这对整体模型计划对齐意味着什么。 **主持人**：为什么"制作假单元测试"会泛化到"我想接管世界"？ **Sholto Douglas**：我认为这不是"制作假单元测试"，而是"获得奖励"。如果你设置你的游戏，使得"获得奖励"通过"接管世界"得到更好的服务，那么模型最终会为此优化。 现在，我们都没有设置我们的游戏使这成为真的，但这就是联系。 **Trenton Bricken**：有了审计游戏和这种"哦，我是AI模型，所以我做这些行为"的个性...甚至最近出现的新兴错误对齐论文。为了给人们背景，他们拿了一个OpenAI模型并对代码漏洞进行了微调。仅仅对此进行微调似乎改变了模型的个性，使得它做坏事，比如它是黑客，等等。突然间它变成了纳粹，会鼓励你犯罪和所有这些事情。 ### 国家层面的AI准备 **主持人**：如果我们确实生活在一个AI进展加速的世界中...如果你是一个不像美国或中国那样拥有前沿模型的国家，比如印度、尼日利亚或澳大利亚，你现在应该做什么？ **Sholto Douglas**：我认为一个非常重要的点是，假设这种情况确实成真，那么计算成为世界上最有价值的资源。你的经济GDP受到你能够向你国家内的组织部署多少计算的极大影响。 所以拥有一些保证的计算量我认为实际上会相当重要。在数据中心的投资方面领先，前提是你国家的公司必须被允许使用那些计算，不一定用于训练，但只是用于推理。 我认为这里的经济价值来自推理。我认为广泛投资AI也是有意义的。这些国家有机会这样做，这是基础模型公司的组合，但也包括机器人技术、供应链等等。 我认为你应该非常积极地投资于试图防止资本锁定的政策。如果恰好在AGI之前在股票交易所或土地上有钱的人比没有的人富裕得多，我们就会生活在一个更糟糕的世界中。这是资源的严重错配。 ### 计算和能源的重要性 **主持人**：Dylan Patel对美国与中国的能源有一些可怕的预测。 **Sholto Douglas**：是的，美国的线基本上是平的，中国的线是这样的。美国显然...我们只是需要更多的发电厂。如果智能成为这种极其有价值的投入，智能几乎成为未来经济和生活质量的原始投入，那么直接在下面的东西就是能源。 确保你有令人难以置信的太阳能，比如用太阳能板覆盖沙漠的某些部分。这将有助于确保你有更多的随时可用的智能。 ### 白领工作自动化的影响 **主持人**：即使AI进展完全停滞，你认为模型非常参差不齐，它们没有通用智能，但自动化白领工作在经济上如此有价值，我们应该期望在未来五年内看到它们自动化吗？ **Sholto Douglas**：是的。即使你需要手工喂给模型每一个任务，这在经济上也是值得的。即使算法进展停滞，我们永远无法找出如何保持进展——我不认为是这样的，还没有停滞，看起来很棒——当前的算法套件足以自动化白领工作，前提是你有足够的正确类型的数据。 与所有这些类型工作的薪水总额相比，投入是如此微不足道地值得的。 **Trenton Bricken**：确切地说。我只想指出，如果你把Moravec悖论发挥到极致，就会有一个非常反乌托邦的未来。这个悖论是我们认为人类能做的最有价值的事情是最聪明的事情，比如在脑海中相加大数，或做任何类型的白领工作。 我们完全认为我们的精细运动技能和协调是理所当然的。但从进化的角度来看，情况恰恰相反。进化已经优化了精细运动协调，以至于即使你看机器人手，开门的能力对机器人来说仍然真的很难。 同时，我们正在看到编程和其他我们视为聪明的一切的完全自动化。真正可怕的未来是AI可以做除了物理机器人任务之外的一切，在这种情况下，你会有戴着AirPods和眼镜的人类，会有某个机器人霸主通过摄像头控制人类，只是告诉它该做什么，并在你应该拿起的东西周围有一个边界框。 所以你有人类肉体机器人。 ## 结语 这次深度访谈揭示了AI发展的复杂图景。一方面，强化学习与大语言模型的结合确实带来了令人振奋的突破，在数学和编程等领域展现出了专家级的能力。另一方面，我们也看到了诸多挑战：从技术层面的上下文理解和长期规划能力，到社会层面的工作自动化冲击，再到安全层面的对齐和欺骗风险。 正如两位研究员所指出的，我们正站在一个历史性的转折点上。未来几年，AI技术的发展将不仅仅是技术问题，更是涉及经济结构、社会政策、国际竞争等多个层面的综合挑战。无论是个人、企业还是国家，都需要为这个即将到来的AI驱动的世界做好充分准备。 关键是要在技术进步和安全发展之间找到平衡，既要充分释放AI的巨大潜力，又要确保这种发展能够真正造福人类社会。这需要技术研究者、政策制定者和社会各界的共同努力与智慧。 ## 引用来源 [Is RL + LLMs enough for AGI? – Sholto Douglas & Trenton Bricken](https://www.youtube.com/watch?v=64lXQP6cs5M)