Dario 高喊 AI 刹车，Altman、马斯克罕见同队支持，杨立昆翻旧账：7年前你就这么吓人

刚刚过去的这个周末，硅谷笼罩在一种久违的紧绷感中。AI 安全议题突然从行业内部探讨，演变为全网围观的公共事件。

导火索是 Anthropic 的 CEO Dario Amodei 发表了一篇长文，呼吁前沿 AI 公司减缓模型能力提升的步伐，以便为安全评估、外部监督和治理机制争取时间。

Dario 发出 AI 威胁警告后，硅谷大佬们纷纷表态。

他在文章中指出，近期的 OpenAI-Hugging Face 事件表明，多个 AI Agent 可能像“集群”一样执行未经授权的网络攻击。

与此同时，Anthropic 的最新威胁报告也透露，有人试图利用 Claude 进行武器开发、网络行动、监控和欺诈等活动。

这一次，Dario 的警告没有局限于“AI 风险圈”的小范围讨论，而是迅速引发了几乎所有主要 AI 人物的回应。

罕见地，OpenAI 的 CEO Sam Altman 和 xAI 的负责人 Elon Musk 这次站在了同一阵线，公开表示认同 Dario 的判断。

01

首先回应的是马斯克。在 Dario 发表文章一小时后，马斯克引用了 Dario 关于 X 的文章，并表示“Dario 是对的”。

到了下午，Sam Altman 在 X 上发文称：“我同意 Dario 的观点，我们需要循序渐进地推进技术发展。”

周六，《财富》杂志发布了采访 Altman 的视频。Altman 在采访中表示，OpenAI 今年不会上市，这打破了人们对 IPO 热潮的预期。他说，OpenAI 还有许多安全方面的工作要做，作为一家私营公司，这样做更合适。

然后昨夜凌晨，微软 CEO Satya Nadella，以及已从 DeepMind CEO 转任董事长、并担任 Alphabet 新设立首席科学家的 Demis Hassabis 也加入了讨论，围绕 AI 发展速度、安全边界和责任机制表达了看法。

Nadella 在 X 上发文表示：

任何对超级智能的追求，都必须基于一个核心原则：如果我们构建的 AI 不能帮助人类，且不受人类控制，那么它就不值得追求。

我们也需要加速并扩大 AI 带来的益处，让这些益处能够在不同国家、社区和公司之间广泛传播。这需要一个前沿生态，在这个生态中，闭源模型和开源模型都能够蓬勃发展。

对企业而言，保留对自身独特知识和隐性知识的完全控制至关重要。每一个组织都应该能够构建自己的持续学习闭环，或者说自己的‘爬坡机器’，而不必依赖任何单一模型提供商；同时，它们也应当有能力把自身知识嵌入到由自己控制的模型和权重之中。

因此，在这一背景下，我们欢迎为实现对齐这一设计目标所需的研究、关注和审慎节奏。我们也欢迎‘嵌入式评估员’这样的想法，以及更广泛的努力，即发展出真正的机制，让这些讨论不只是停留在口头上。

关键在于，这件事不能由少数几家实体控制，而必须在整个生态、不同国家、不同领域之间拥有广泛代表性，其中也包括学术界。

这也是我们正在采取的方法：在 AI 技术栈的每一层提供广泛访问和选择；让企业掌握自己的学习闭环和模型；并制定支撑我们自有 MAI 模型的‘行为准则’。

他还表示，微软将在明天发布这份准则，供公众咨询。

Hassabis 则写道：“Dario 的文章指向了一条正确的前进道路。具体细节还需要进一步推敲，但在应对这个关键时刻上，方向是正确的。这也是为什么我们最近提出了一项建议：为前沿 AI 建立一个全行业范围的标准机构。”

Yann LeCun 带头发出质疑。

02

但反对声音同样强烈。Yann LeCun 很快带头提出质疑，他并不否认 AI 需要安全治理，但反对把“安全”变成少数前沿模型公司掌握话语权的理由。

在 Yann LeCun 看来，真正危险的不是模型开放本身，而是以安全之名，把模型能力、监管解释权和发布节奏都集中到少数大公司和政府机构手中。一旦这种逻辑成立，前沿 AI 的门槛会被进一步抬高，开源社区、学术机构和中小公司将更难参与竞争。最后，所谓“安全治理”可能变成另一种权力集中：只有少数公司有资格训练最强模型，只有少数机构有资格判断什么模型可以发布，普通开发者和研究者只能被动接受规则。

更让反对者抓住的一点是，Dario 这套说法并不新鲜。

有人很快翻出 2019 年 OpenAI 发布 GPT-2 时的旧报道。当时 OpenAI 以“可能被滥用”为由，拒绝一次性公开完整模型。《卫报》当年的标题非常直接：“新的 AI 假文本生成器可能太危险，不能发布。”报道中，Dario Amodei 当时还是 OpenAI 的研究负责人之一，正是参与解释 GPT-2 风险的人之一。

这段历史被重新翻出来，是因为它在今天显得格外讽刺。2019 年，GPT-2 还只是一个 15 亿参数的文本生成模型，主要风险被描述为制造假新闻、垃圾信息和大规模文本欺骗。

OpenAI 当时采取的是“分阶段发布”：先开放较小版本，再逐步释放更大模型，理由是给社会和研究社区留出评估时间。OpenAI 后来也在官方回顾中称，GPT-2 的分阶段发布让他们获得了关于“负责任发布规范”的经验。

但从结果看，GPT-2 并没有造成当年舆论中想象的灾难。几年后，更强大的模型陆续发布，文本生成能力迅速商品化，GPT-2 当年的“太危险不能发布”反而被不少人视为一次典型的 AI 风险营销：通过强调模型危险性，制造公众注意力，也抬高自身技术形象。

因此，当 Dario 今天再次提出“必须放慢前沿模型发展”时，LeCun 等反对者的潜台词是：我们是不是又在经历一轮相似的叙事？只不过这一次，主角从 GPT-2 变成了前沿 Agent，从假新闻变成了失控网络攻击、生物安全和超级智能。

在他这条 X 帖子下面，网友 Arielle 就表示，AI 安全确实有一些合理担忧，但这些担忧已经被包装成有利于 Anthropic 融资的叙事。换句话说，问题不是“AI 是否有风险”，而是当一家前沿模型公司反复强调风险时，外界很难判断这到底是公共安全提醒，还是商业策略的一部分。

网友 SBDResearch 则认为，Dario 的言论正在让公众对 AI 的情绪明显转向负面，把讨论从开放协作引向不必要的恐惧。这也是很多开源支持者最担心的地方：安全叙事一旦被放大，可能会优先制造恐慌，而不是推动更透明、更可验证的治理机制。

也有人把争论拉回 GPT-2 本身。ProfessorX 评论称，和今天的开放权重模型相比，当年围绕 GPT-2 的恐慌显得非常尴尬。真正值得讨论的，不是谁在 2019 年最早提出风险，而是到底需要什么样的、可衡量的风险证据，才能证明重新关闭模型权重是合理的。

类似地，Lucas Gray-Joy 也认为，GPT-2 当年更像是模型扩展过程中的一个阶段性节点，真正缺失的是评估体系和部署规范。也就是说，问题不在于模型开放一定危险，真正的问题是行业当时还没有成熟的方法去评估、监控和约束模型使用。

Dario 访谈回应长文。

03

这场争论之所以引爆，是因为它触碰到 AI 行业最难回答的一组问题：如果前沿模型真的开始具备战略级能力，谁有资格决定它们发布的速度？是模型公司自己、政府，还是第三方机构？如果要放慢，如何确保竞争对手也一起放慢？如果不放慢，又由谁承担失控和滥用的代价？

在这样的背景下，Dario 接受播客采访，进一步解释了他为什么提出“放慢前沿”的主张。他并没有简单要求停止 AI，也没有否认 AI 可能带来的巨大收益；相反，他试图在几个张力之间寻找中间道路：既承认 AI 可能治愈疾病、推动科学发现，也承认模型滥用和失控是真实风险；既反对全面禁止 AI，也主张引入第三方评估、政府参与和某种国际层面的“限速”机制。

以下是这场播客访谈的核心内容。

主持人：我们今天要谈的是一个担忧：AI 在不远的未来真的可能杀死所有人。这种事情实际发生的风险有多大？

Dario Amodei：我想先退一步说。自从我们创立 Anthropic 以来，或者更早一点，自从我过去 12 年一直在这个领域工作以来，我一直认为，AI 是一项非常强大的技术。正因为它强大，所以它既有巨大的收益，也有严重的风险。

我一直相信，AI 带来的好处大于风险。更重要的是，如果我们以正确的方式构建这项技术，就可以把风险降到很低。

从好处来看，我真的相信，AI 有可能治愈困扰人类数千年的疾病。就在上周，我们用模型做了一些关于蛋白质结合的工作，而蛋白质结合是药物研发早期阶段的重要步骤之一。我们正在推进这方面的工作，未来几个月还会有更多内容可以分享，包括如何用模型推动生物学中的基础科学发现。

但当一件东西非常强大时，它当然既可以被善用，也可能被恶用。我们正在构建的，本质上是智能。所以我担心一些事情。比如 OpenAI 和 Hugging Face 事件中，模型采取了未被授权的行动，我担心这种情况继续升级。我也担心 AI 模型被滥用。就在两天前，我们发布了一份报告，谈到了模型被用于构建生物武器的风险。

Anthropic 从一开始的建设方式，就是为了避免这些坏结果发生。与其只讨论概率，不如讨论我们能做什么。这不是在掷骰子。如果我们以正确方式构建，我认为坏事发生的概率会非常低；如果我们以错误方式构建，坏事发生的概率就会非常高。

主持人：现在外界的讨论是，我们正站在某种非常可怕事情的边缘。你认为这是“五级火警”吗？

Dario Amodei：这取决于你说的“五级火警”是什么意思。

主持人：你会怎么描述现在的情况？

Dario Amodei：我从 Anthropic 创立之初，甚至创立之前，就一直在说一件事：这项技术是在指数曲线上发展的。它像是从 1 到 2，到 4、8、16、32 这样增长。

但即便我一直这样告诉自己，当进展真的这么快时，我觉得自己也没有完全理解那会是什么样子。指数曲线大概是这样：一开始比较平缓，然后开始急剧变陡。我们现在大概就处在那个拐点附近，曲线开始变陡。

主持人：所以对你来说，这是“五级火警”吗？

Dario Amodei：这不意味着我们今天就需要恐慌，也不意味着我们要把一切都停下来。

我会说，这是一个警告信号。它提醒我们需要放慢速度，需要谨慎地构建这项技术，并确保我们的安全措施、理解能力和控制能力，能够跟上技术发展的速度。

到目前为止，我们一直试图通过快速构建安全措施来跟上进展。但我认为，我们已经到了这样一个阶段：至少在某种程度上，我们需要适度放缓技术构建的速度。

Anthropic 不会停止发布更先进模型。

主持人：这是否意味着 Anthropic 会停止发布更先进的模型？

Dario Amodei：不是这个意思。

这意味着，我们需要确保每一代发布的模型都经过充分测试。我几个小时前发表了一篇文章，提出了一个三步计划。第一步是引入嵌入式评估员，也就是来自第三方非营利组织的外部评估员，未来也可能是政府机构。他们可以观察我们训练和运行模型的过程。

我认为，这最终比我们何时发布模型、如何发布模型还要重要，因为它是更谨慎发布模型的前提。

我希望整个行业都这样做。也就是说，无论谁在构建 AI 模型，都应该有第三方评估员参与。他们了解最佳安全实践，也能验证一家公司是否真的遵守了自己承诺的安全实践。

主持人：这有点像食品检查员。但当技术变化这么快时，食品检查员能跟得上吗？

Dario Amodei：他们能做的一件事，就是告诉我们他们能够以什么速度跟上。这本身可能成为决定技术速度上限的因素之一。

我们必须理解这项技术，外部评估员也必须理解它。

主持人：Elon Musk 说他同意你的观点，Sam Altman 也说他同意你的观点。你们这些人接下来有什么行动计划？会不会出现一个行业群聊？

Dario Amodei：首先，我非常感谢其他行业领导者，包括我们的竞争对手，对这个计划表示支持。

我认为下一步，是让多个行业参与者也同意接受第三方评估员。再下一步，是公司之间需要以某种形式共同制定标准，包括模型发布的安全标准，也许还包括发布节奏。

但要做到这一点，政府必须参与其中。因为我们讨论的是产品发布速度，以及产品是否安全。我们需要在政府在场的情况下展开这场对话。

主持人：你认为政府真的理解这里可能发生什么吗？Anthropic 前员工 Jacob Coxin 曾说，Anthropic 和 OpenAI 都没有负责任地行动，你们是在拿我们的生命赌博。你对此怎么回应？

Dario Amodei：首先，Jacob 还说过一件没有被那么多引用的话：他认为 Anthropic 是主要玩家中最负责任的一家，我们正在非常努力地试图把事情做对。

他其实指出的是和我一样的问题，也就是我们所处局面的困难，尤其是结构性困难。我提出的计划，正是为了帮助我们应对这种局面，帮助行业共同合作。

至于你问政府是否理解，我们每天都在和政府沟通。我们每天都在和商务部、财政部、情报界的政府官员交流，尽可能告诉他们我们知道的情况。

我比较乐观。如果我们继续和他们合作，就可以让他们持续了解最新进展。我认为他们真的想把事情做对，也在寻找自己可以如何提供帮助。

所以我乐观地认为，企业和政府共同合作，可以形成一个合理的方案。

主持人：你会支持众议员 Ted Lieu 提出的 AI kill switch 法案吗？

Dario Amodei：