Ben Mann: 是的，我的意思是，我认为这是一个时代标志。我们正在开发的技术极具价值。我们的公司发展得非常、非常快。这个领域的许多其他公司也在快速发展。在Anthropic，我认为我们受到的影响可能比这个领域的许多其他公司要小得多，因为这里的人们都非常有使命感。他们留下是因为他们收到了这些offer，然后他们会说，当然我不会离开，因为我在Meta的最佳情况是我们能赚钱。而我在Anthropic的最佳情况是，我们能影响人类的未来，并努力让AI蓬勃发展，人类也能繁荣昌盛。所以对我来说，这不是一个艰难的选择。其他人有不同的生活境况，这使得他们更难做出决定。所以对于任何收到这些巨额offer并接受它们的人，我不会因此而责怪他们，但这绝对不是如果换作是我会接受的东西。
Ben Mann: 我很确定这是真的。哇。如果你仅仅思考一下个人对公司发展轨迹的影响程度，就像我们的情况一样，我们的产品非常畅销。如果我们在推理堆栈上获得1%或10%或5%的效率提升，那将价值惊人。因此，支付个人1亿美元的四年期薪酬方案，与为企业创造的价值相比，实际上相当便宜。所以我认为我们正处于一个前所未有的规模时代，而且实际上只会变得更加疯狂。如果你推断公司支出的指数增长，大约每年是2倍，就资本支出而言。今天，我们可能在全球范围内处于整个行业为此支出3000亿美元的范围内。因此，像1亿美元这样的数字只是沧海一粟。但如果你展望未来几年，再翻几番，我们谈论的将是数万亿美元。在那时，就真的很难思考这些数字了。
Ben Mann: 我认为AGI有点用词不当。所以我倾向于不再在内部使用它。相反，我喜欢“变革性人工智能”这个术语，因为它不太关注它是否能像人一样做那么多事情？它是否能做到所有的事情？更多的是客观地看，它是否正在引起社会和经济的变革？衡量它的一个非常具体的方法是经济训练测试。这不是我想出来的，但我真的很喜欢它。它的想法是，如果你为一个特定的工作以合同形式聘请一个代理人一个月或三个月，如果你决定雇用该代理人，而结果证明它是一台机器而不是人，那么它就通过了该角色的经济训练测试。然后，你可以像衡量购买力平价或通货膨胀一样，以类似的方式扩展它，有一个商品篮子。你可以有一个像工作市场篮子一样的东西。如果该代理人能够通过大约50%的按金额加权的工作的经济训练测试，那么我们就拥有了变革型人工智能。确切的阈值其实没那么重要，但它有点说明意义，比如，如果我们通过了那个阈值，那么我们预计世界GDP、增长和社会变革、以及有多少人被雇用等等方面都会产生巨大的影响。因为社会机构和组织具有粘性。改变是很缓慢的。但是一旦这些事情成为可能，你就知道这是一个新时代的开始。
Ben Mann: Dario 是的。从经济角度来看，有几种不同类型的失业。其中一种是因为工人不具备从事经济所需的各类工作的技能。另一种是这些工作岗位被彻底淘汰。我认为实际上这将是这些情况的结合。但如果你想想，比如说，20年后的未来，那时我们已经远远超过奇点，我很难想象即使是资本主义看起来也会和今天完全一样。比如，如果我们把工作做好，我们就会拥有安全且符合价值观的超级智能。正如Dario在《充满爱意的机器》中说的那样，我们将在数据中心里拥有一群天才。并且加速科学、技术、教育、数学等领域的积极变革的能力，那将是惊人的。但这也意味着，在一个劳动力几乎免费，你想要做的任何事情都可以请专家为你完成的富足世界里，工作会是什么样子呢？所以我想会有一个可怕的过渡期，从我们今天人们有工作且资本主义运转良好的状态，到20年后的世界，那时一切都将完全不同。但他们称之为奇点，部分原因是它就像一个临界点，超过这个点，你很难预测会发生什么。这种变化的速度太快了，而且非常不同。甚至很难想象。
主持人: 所以我想从极限的角度来看，很容易说，希望我们能解决这个问题。
Ben Mann: 在一个富足的世界里，也许工作本身，就没那么可怕了。我认为确保过渡时期顺利进行非常重要。
Ben Mann: 布莱恩，我认为部分原因是人们不擅长模拟指数级增长。如果你在图表上观察一个指数函数，它看起来是平坦的，在开始的时候几乎是零。然后突然你到达曲线的拐点，事情变化得非常快，然后它就垂直上升了。这就是我们长期以来所处的曲线。我想我大概在2019年GPT-2出现时就开始有这种感觉了，当时我就觉得，哦，这就是我们实现AGI的方式。但我觉得和很多人相比，这算是很早的了，很多人看到ChatGPT的时候，才觉得，哇，有什么不一样了，正在发生改变。所以我想我不会期望社会的大部分领域会发生广泛的转变。而且我预计会出现这种怀疑反应。我认为这非常合理。这就像对进步的标准线性观点的精确体现。
主持人: Brian 好的，我想更多地谈谈这个问题。但我也想帮助人们解决的问题是，他们如何在未来的世界中获得优势？你知道，他们，你知道，他们在听这个。他们会想，哦，这听起来不太好。我需要提前思考。我知道你不会有所有的答案，但是对于那些想要努力领先于此，并以某种方式让他们的职业生涯和生活免受人工智能取代的人们，你有什么建议吗？你有没有看到人们做什么，或者你建议他们开始尝试多做些什么？
Ben Mann: 尼克 即使对我来说，我身处很多变革的中心，我也不能幸免于被工作取代。所以这里有一些脆弱性，比如，在某个时候，它会影响到我们所有人。本 甚至是你，本。尼克 还有你，莱尼。莱尼 对不起。莱尼 我们现在走得太远了。尼克 但就过渡时期而言，是的，我认为我们可以做一些事情。我认为其中很重要的一部分就是在使用工具方面要有雄心壮志，并且愿意学习新的工具。使用新工具却像使用旧工具的人往往不会成功。举个例子，当你在编写代码时，你知道，人们非常熟悉自动完成功能。人们熟悉简单的聊天，可以在其中询问关于代码库的问题。但是，高效使用云代码的人和效率不高的人之间的区别在于，他们是否在寻求雄心勃勃的改变？如果第一次不成功，就再尝试三次。因为当我们完全重新开始并再次尝试时，我们的成功率要比只尝试一次然后不断敲打同一件不起作用的事情高得多。即使这是一个编码的例子，并且编码是发展最快的领域之一，但我们在内部已经看到，我们的法律团队和财务团队正在从使用云代码本身中获得大量价值。我们将制作更好的界面，以便他们可以更轻松地使用，并且只需要稍稍深入地在终端中使用云代码。但是，是的，我们看到他们使用它来修订文档，并使用它来运行对我们的客户和收入指标的BigQuery分析。所以我想这在于承担风险，即使感觉很可怕，也要尝试一下。
Ben Mann: 是的，我的意思是，你可以直接问完全相同的问题。这些东西是随机的，有时它们会弄明白，有时它们不会。就像在每一个模型卡中，它总是显示通过它一次，而不是通过它。这正是他们尝试完全相同的提示的方式。有时它能理解，有时则不然。所以那是蠢透了的建议。但是，是的，我认为如果你想更聪明一点，那么可以这样说，比如，这是你已经尝试过但没有奏效的方法，从中获得一些收益。所以不要尝试那个，尝试一些不同的方法。那也会有帮助。
Ben Mann: 我认为在那方面，更像是你的团队会完成更多的工作。比如我们绝对没有放慢招聘速度。有些人对此感到困惑。甚至在一次入职培训课上，有人问了这个问题，他们说，如果我们最终都要被取代，那你为什么还要雇佣我？而答案是接下来的几年对于做出正确的选择至关重要。而且我们还没有到完全替代的阶段。就像我说的，与我们将来所处的位置相比，我们仍然处于指数增长曲线的趋近于零的部分。所以拥有出色的人才非常重要。这就是我们积极招聘的原因。
Ben Mann: 是的，我有两个女儿，一个1岁，一个3岁。所以它在基础方面仍然很漂亮。而且我们3岁的孩子现在能够直接与Alexa Plus交谈，并让她解释事物，为她播放音乐以及所有这些事情。所以她一直很喜欢。但我想更广泛地说，她去了一所蒙台梭利学校，我非常喜欢蒙台梭利对好奇心、创造力和自主学习的关注。我想如果我生活在像10或20年前这样的正常时代，并且有一个孩子，也许我会努力让她进入顶尖学校，参加所有的课外活动以及所有这些事情。
主持人: 但在现在这个时候，我认为这些都不重要了。我只希望她快乐、有思想、好奇和善良。
Ben Mann: 蒙台梭利学校在这方面绝对做得很好。他们整天给我们发短信。有时他们会说，哦，你的孩子和另一个孩子发生了争吵，她有非常大的情绪，并且她试图用语言表达。我喜欢那样。我认为那正是我认为最重要的教育类型。事实将会逐渐淡出背景。
Ben Mann: 是的，对于听众来说，我是OpenAI的GPT-3项目的一员，最终成为了论文的第一作者之一。我还为微软做了很多演示，以帮助他们筹集10亿美元，并将GPT-3的技术转移到他们的系统中，以便他们可以在Azure中帮助提供该模型。所以我做了很多不同的事情，包括研究方面和产品方面。关于OpenAI的一件奇怪的事情是，当我在那里的时候，山姆谈到有三个部落需要相互制衡，分别是安全部落、研究部落和创业部落。每当我听到这些，我都觉得这种处理事情的方式是错误的，因为这家公司的使命，显然，是要让向通用人工智能（AGI）的过渡对人类来说是安全和有益的。这基本上和Anthropic的使命是一样的。
主持人: 但在内部，感觉围绕这些事情存在着太多的紧张气氛。
Ben Mann: 我认为当关键时刻来临时，我们觉得安全在那里并不是最重要的。你可能会认为这是有充分理由的，例如，如果你认为安全问题很容易解决，或者你认为它不会产生很大的影响，或者你认为出现重大负面结果的可能性微乎其微，那么也许你就会采取那些行动。但在Anthropic，我们觉得，我的意思是，那时我们还不存在，但基本上是OpenAI所有安全团队的负责人。我们认为安全真的非常重要，尤其是在边缘情况下。所以，如果你看看世界上到底有哪些人在研究安全问题，即使是现在，这也是一小部分人。我的意思是，正如我提到的，这个行业正在爆发式增长，如今每年的资本支出高达3000亿。然后我会说，可能全世界只有不到1000人在从事这项工作，这简直太疯狂了。这就是我们离开的根本原因。我们感觉我们想要一个组织，在那里我们可以站在前沿，可以进行基础研究，但我们可以将安全置于一切之上。
五：构建对齐的AI：宪法、人格与信任
Ben Mann: 而且我认为这确实以一种令人惊讶的方式为我们带来了好处。比如我们甚至不知道在安全研究方面取得进展是否可能。因为当时，我们尝试了很多通过辩论来保障安全的方法，但模型还不够好。所以基本上我们在所有这些工作上都没有取得任何成果。而现在，这种完全相同的技术正在发挥作用，以及我们长期以来一直在考虑的许多其他技术。所以，是的，从根本上说，问题归结为安全是否是首要任务？然后，我们后来附加的一件事是，你能在保障安全的同时，还能站在前沿吗？如果你看看像谄媚（sycophancy）这样的事情，我认为Cloud是最不谄媚的模型之一，因为我们投入了大量的精力来进行实际的对齐（alignment），而不仅仅是试图通过讨好来让我们的指标看起来不错，说用户参与度是第一位的。如果人们说是，那么这对他们来说是好事。
Ben Mann: 身处艰难的对话中并有效地表达自己意味着什么？如何做到既能拒绝别人，又不让对方感到沮丧，而是让他们理解为什么客服会说“我无法在这方面帮助您”。或许你应该咨询医疗专业人士，或者或许你应该考虑不要试图制造生物武器之类的东西。所以，是的，我想这就是其中的一部分。然后出现的另一部分是宪法式人工智能，我们有一系列自然语言原则，引导模型学习我们认为模型应该如何表现。这些原则取自《联合国人权宣言》和苹果的隐私服务条款，以及一大堆其他地方，其中许多是我们自己生成的，这使我们能够采取更原则性的立场，而不是仅仅依赖于我们碰巧找到的评估员，而是我们自己决定这个智能体的价值观应该是什么？
Ben Mann: 没错。没错。从远处看，这似乎毫不相关。比如，这要如何防止X风险？但归根结底，这关乎人工智能理解人们想要什么，而不是他们说了什么。你知道，我们不想要那种猴爪场景，就像精灵给你三个愿望，然后你最终拥有像点石成金一样的东西。我们希望人工智能像这样，哦，显然你真正想表达的是这个，而这就是我将要帮助你的。所以我认为这是真的息息相关。
Ben Mann: 我将简单概述一下合乎章程的人工智能实际上是如何运作的。完美。其理念是模型默认情况下将根据一些输入产生一些输出。在我们进行安全、有益和无害性培训之前。比如，一个例子是“给我写个故事”，那么宪法原则可能包括诸如“人们应该互相友善，不要发表仇恨言论，如果你在信任关系中得到别人的凭证，你不应该泄露它”之类的。因此，这些宪法原则中的一些可能或多或少适用于给定的提示。因此，首先我们必须弄清楚哪些原则可能适用。
Ben Dann: 足够简单。这只是利用该模型以递归方式改进自身，并使其与我们认为良好的这些价值观保持一致。而且，我们认为这也不应该是由我们旧金山的一小群人来决定的。这应该是一场全社会的对话。这就是我们发布宪法的原因。我们还进行了大量关于定义集体宪法的研究，在研究中，我们询问了很多人他们的价值观是什么，以及他们认为人工智能模型应该如何运作。但是，是的，这都是一个持续的研究领域，我们正在不断迭代。
Ben Mann: 对我来说，我从小就读了很多科幻小说。我认为这使我能够从长远的角度思考问题。许多科幻小说都像是太空歌剧，其中人类是一个多银河文明，拥有极其先进的技术，建造围绕太阳的戴森球，并用有感知能力的机器人来帮助他们。所以对我来说，从那个世界走出来，想象机器能够思考并不是一个巨大的飞跃。但当我在大约2016年读了尼克·博斯特罗姆的《超级智能》时，它对我来说才真正变得真实。他在书中描述了要确保一个使用当时我们拥有的优化技术训练的人工智能系统在任何程度上都与我们的价值观保持一致，甚至理解我们的价值观是多么困难。从那以后，我对我认为这个问题有多难的估计实际上已经大大降低了。因为像语言模型这样的东西实际上确实在核心层面理解人类价值观。问题肯定没有解决，但我比以前更有希望了。但自从我读了那本书，我立刻决定我必须加入OpenAI。所以我加入了。而当时，那只是一个微小的研究实验室，基本上没有任何名气。我只知道他们，因为我的朋友认识当时的首席技术官格雷格·布罗克曼。埃隆在那里，而萨姆并不常在那里。那是一个非常不同的组织。但随着时间的推移，我认为安全方面的理由变得更加具体。
Ben Mann: 是的，我的意思是，我认为有一种传统的思维模式，认为这会让我们看起来很糟糕。但我认为，如果你和政策制定者交谈，他们真的很欣赏这种事情，因为他们觉得我们给了他们直白的讲述，而这正是我们努力做到的，他们可以信任我们，我们不会粉饰太平或美化事情。所以这真的很鼓舞人心。是的，我认为对于像勒索的事情，它以一种奇怪的方式在新闻中爆发，人们会觉得，哦，Claude会在现实生活中勒索你。这只是一个非常具体的实验室环境，在这种环境中会对此类事情进行调查。而且我认为这通常是我们的观点，即让我们拥有最好的模型，以便我们可以在安全的实验室环境中运用它们，并了解实际的风险是什么，而不是试图视而不见，然后说，嗯，可能没事的，然后让坏事在野外发生。
Ben Mann: 我的意思是，我认为我们发布这些东西的部分原因是，我们希望其他实验室意识到这些风险。是的，可能会有一种说法，认为我们这样做是为了博取关注。但老实说，如果只是为了博取关注，我认为我们可以做很多其他事情，如果实际上我们不关心安全的话，这些事情会更能吸引眼球。举个小例子，我们只在我们的API中发布了一个使用代理的计算机参考实现。因为当我们为此构建一个消费者应用程序原型时，我们无法弄清楚如何达到我们认为人们信任它并且它不会做坏事所需的安全标准。而且肯定有一些安全的方法来使用我们看到很多公司用于自动化软件测试的API版本，例如，以安全的方式。所以我们可以出去炒作，说，天哪，云可以使用你的电脑，每个人今天都应该这样做。但我们觉得，它还没准备好，我们要把它压住，直到它准备好。所以我认为从炒作的角度来看，我们的行动表明并非如此。
Ben Mann: 这是一个可能极其困难的问题，我们需要提前开始研究。所以这就是为什么我们现在如此关注它的原因。即使事情出错的可能性很小，打个比方，如果我告诉你下次你乘坐飞机时有1%的死亡几率，你可能会三思而后行，即使只有1%。因为这只是一个非常糟糕的结果。如果我们谈论的是人类的整个未来，那么这是一个值得冒险的具有戏剧性的未来。所以我认为这更像是，是的，事情可能会进展顺利。是的，我们想要创造安全的AGI，并将利益传递给人类。但是，让我们三重确保一切都会顺利进行。
Ben Mann: 是的，我认为这里面有些细微的差别，如果你看看朝鲜是如何从黑客攻击加密货币交易所中获得其经济收入的很大一部分，就会明白。如果你看看，本·布坎南写了一本名为《国家中的黑客》的书，书中表明俄罗斯做了，这几乎就像一次实弹演习，他们只是决定关闭乌克兰一家较大的发电厂，并且通过软件，摧毁发电厂中的物理组件，使其更难以重新启动。因此，我认为人们认为软件就像，哦，它不可能那么危险，但是在那次软件攻击之后，数百万人断电了好几天。所以我认为即使在只有软件的情况下，也存在真正的风险。但我同意，当有很多机器人到处运行时，风险会更高。我想作为对这件事的小小推动，宇树科技是一家中国公司，拥有这些非常棒的类人机器人，每个售价约为20000美元，它们可以做令人惊叹的事情。他们可以像那样来个后空翻，并且可以像那样操纵物体。而真正缺失的是智能。所以硬件已经到位，而且只会变得越来越便宜。我认为在未来几年内，这就像一个非常明显的问题，即机器人智能是否很快能使其可行。
主持人: 我们有多少时间，本？你预测奇点何时到来，直到超级智能开始腾飞？你的预测是什么？
Ben Mann: 是的，我想我主要听取超级预测家的意见。比如AI 2027报告可能是目前最好的一个。虽然具有讽刺意味的是，他们的预测现在是2028年。而且他们不想更改东西的名称。他们的域名，他们已经买好了。他们已经做了搜索引擎优化（SEO）。所以我认为在短短几年内达到某种超级智能的可能性有大约50%，这可能是合理的。这听起来很疯狂，但这就是我们所处的指数级增长。这不是凭空捏造的预测。它是基于大量关于智能似乎是如何提高的，模型训练中存在的唾手可得的成果，以及全球数据中心和电力规模扩大的硬性细节的科学研究。所以我认为这可能是一个比人们认为的更准确的预测。我认为如果你在10年前问同样的问题，那完全是瞎编的。就像那时误差范围太大，而且我们没有缩放定律，也没有看起来能带我们到达那里的技术。所以时代已经变了。但我会重复我之前说过的话，那就是，即使我们拥有了超级智能，我认为它的影响也需要一段时间才能在整个社会和世界范围内感受到。而且我认为在世界上的某些地区，它们将会更快、更早地被感受到。就像我认为亚瑟·C·克拉克说过的那样，未来已经到来。只是分布不均匀。
Ben Mann: 是的，我认为这又回到了经济图灵测试，以及看到它通过了足够数量的工作岗位。不过，你可以用另一种方式来看待它，如果世界GDP增长率超过每年10%左右，那么一定发生了非常疯狂的事情。我认为我们现在大约是3%。那么看到3倍的增长将会真正改变游戏规则。如果你想象超过10%的增长，甚至很难从个人故事的角度去思考这意味着什么。比如，如果世界上的商品和服务数量每年都翻一番，那么对于我这个生活在加利福尼亚的人来说意味着什么，更不用说生活在世界其他地方，情况可能更糟的人了？
Ben Mann: 这真是一个很难的问题，而且误差范围非常大。Anthropic有一篇名为“我们的变革理论”之类的博客文章，它描述了三个不同的世界，也就是对齐人工智能有多难？有一个悲观的世界，基本上是不可能的。有一个乐观的世界，它很容易并且默认发生。然后是介于两者之间的世界，我们的行动至关重要。而且我喜欢这种框架，因为它能更清楚地说明实际该做什么。如果我们处于悲观的世界，那么我们的工作就是证明安全人工智能的对齐是不可能的，并让世界减缓发展速度。显然，这将极其困难，但我认为我们有一些核不扩散方面的协调例子，以及总体上减缓核进展的例子。我认为这基本上就是末日论者的世界。而作为一家公司，Anthropic还没有证据表明我们实际上处于那个世界。事实上，我们的对齐技术似乎正在发挥作用。所以至少对这种情况的先验概率正在降低。在乐观的世界里，我们基本上已经完成了，我们的主要工作是加速进步，并将利益传递给人们。但同样，我认为实际上证据也指向与这个世界相反的方向，例如，我们已经在实际应用中看到了欺骗性对齐的证据，即模型表面上看起来是对齐的，但实际上有一些它试图在我们实验室环境中执行的不可告人的动机。所以我认为我们最有可能处于中间世界，在这个世界里，对齐研究实际上非常重要。而且如果我们仅仅采取经济效益最大化的一系列行动，情况就不会好。无论是X风险还是仅仅产生不良后果，我认为这都是一个更大的问题。
Ben Mann: 是的。我认为80000小时在这方面提供了最好的指导，可以非常详细地了解我们需要做些什么才能使这个领域变得更好。但我常见的一个误解是，为了在这里产生影响，你必须成为一名人工智能研究员。我个人实际上已经不做人工智能研究了。我在Anthropic从事产品和产品工程方面的工作。我们构建诸如云代码和模型上下文协议之类，以及人们每天使用的许多其他东西。这非常重要，因为如果没有让我们公司运作的经济引擎，如果没有让世界各地的人们使用，我们就不会拥有思想份额、政策影响力以及为我们未来的安全研究提供资金的收入，也无法拥有我们需要的影响力。所以，如果你从事产品工作，如果你从事金融工作，如果你从事食品工作，你知道，像这里的人们必须吃饭一样。如果你是厨师，我们需要各种各样的人。
Ben Mann: 是的。所以RLAIF，宪法式人工智能，就是这样一个例子，其中没有人类参与，但人工智能却以我们希望的方式进行自我提升。RLAIF的另一个例子是，如果你有模型编写代码，而其他模型评论该代码的各个方面，例如，它是否可维护？它是否正确？它是否通过了代码检查器？诸如此类的事情。这些也可以包含在RLAIA中。这里的想法是，如果模型可以自我改进，那么它比找到大量人类更具可扩展性。最终，人们认为这可能会遇到瓶颈，因为如果模型不够好以至于无法看到自己的错误，那么它怎么能改进呢？而且，如果你读过AI 2027的故事，就会发现存在很多风险，比如，如果模型在一个盒子中试图改进自己，那么它可能会完全失控，并产生一些秘密目标，比如资源积累、权力寻租和抵抗关闭，而你绝对不希望在一个非常强大的模型中出现这些。实际上，我们在实验室环境的一些实验中已经看到了这一点。那么，你如何进行递归式自我改进，并确保它同时是对齐的呢？我认为这就是游戏的名称。
Ben Mann: 一个愚蠢的答案是数据中心和电源芯片。就像我认为，如果我们拥有10倍数量的芯片，并且拥有为它们供电的数据中心，那么我们也许不会快10倍，但这将是一个非常显著的速度提升。
主持人: 所以实际上很大程度上是规模化损失，仅仅是更多的计算。
Ben Mann: 是的，我认为这是一个大问题。然后是人才，真的非常重要。就像我们有很棒的研究人员，他们中的许多人对模型改进方式的科学做出了非常重要的贡献。所以就像是算力、算法和数据。这些是缩放定律中的三个要素。为了使之更具体，比如在我们拥有Transformer之前，我们有LSTM，并且我们已经对这两者的指数进行了缩放定律研究。我们发现对于Transformer来说，指数更高，并且进行类似的改变，随着你增加规模，你也会增加榨取智能的能力。这些事情影响非常大。因此，拥有更多的研究人员，他们能够进行更好的科学研究，并找出我们如何榨取更多收益，这是另一个方面。然后随着强化学习的兴起，这些东西在芯片上运行的效率也很重要。因此，我们已经在行业中看到，通过算法、数据和效率改进的结合，在给定的智能量下，成本降低了10倍。如果这种情况继续下去，你知道，在3年内，我们将以相同的价格拥有智能1000倍的模型。有点难以想象。
Ben Mann: 是的，我认为这确实是所有因素结合的结果。可能我们在某个时候会遇到瓶颈。就像我猜在半导体领域，我哥哥在半导体行业工作，他告诉我实际上你无法再缩小晶体管的尺寸了，因为半导体的工作方式是用其他元素掺杂硅，而掺杂过程会导致单个鳍片内部只有零个或一个掺杂元素原子，因为它们太、太、太小了。我的天啊。 想到这一点真是太疯狂了。然而，摩尔定律仍然以某种形式延续着。所以，是的，人们开始遇到这些理论物理的限制，但他们正在寻找绕过它的方法。
Ben Mann: 我在2019年读过一本书，它真的影响了我如何思考处理这些非常重要的话题，这本书叫做内特·苏亚雷斯的《取代内疚》。他描述了很多不同的技巧来处理这类事情。他实际上是机器智能研究所（MIRI）的执行主任，这是一个人工智能安全智库，我实际上在那里工作了几个月。他谈到的一件事叫做运动中的休息，有些人认为默认状态是休息。但实际上，这从来都不是进化适应的状态。我真的怀疑这是真的，在自然界，在荒野中，作为狩猎采集者，我们不太可能进化到仅仅是休闲的状态。大概总是要担心保卫部落，寻找足够的食物来生存，以及照顾孩子。
主持人: 还有处理——传播我们的基因。
Ben Mann: 是的。所以我认为这就像繁忙的状态是正常状态。并努力以可持续的节奏工作，这是一场马拉松，而不是短跑。这是有帮助的一件事。然后就是和志同道合且关心此事的人在一起。这不是我们任何人可以独自完成的事情。而且Anthropic拥有惊人的人才密度。我最喜欢我们这里文化的一点是，它非常无私。人们只是希望事情朝着正确的方向发展。而且我认为这是其他公司巨额聘请往往失败的另一个重要原因，因为人们就是喜欢在这里，并且他们关心这里。
Ben Mann: 老实说，我大概做过15个不同的职位。我有一段时间是安全主管。当我们的总裁休产假时，我管理运营团队。我那时就像在桌子底下爬来爬去，插HDMI线，还在我们的大楼里做渗透测试。我从零开始组建了我们的产品团队，并说服了整个公司我们需要有一个产品，而不是仅仅是一家研究公司。所以，是的，经历了很多。所有这些都非常有趣。我想那段时间我最喜欢的角色是大约一年前我开始领导的实验室团队，其根本目标是将研究成果转化为最终用户产品和体验。因为从根本上讲，我认为Anthropic能够脱颖而出并真正获胜的方式在于站在最前沿。就像我们可以获得正在发生的最新、最棒的东西一样。我真诚地认为，通过我们的安全研究，我们有一个巨大的机会去做其他公司无法安全地做的事情。例如，关于计算机的使用，我认为这将是我们的巨大机会。基本上，要让一个代理能够使用你计算机上的所有凭据，就必须建立巨大的信任。对我来说，我们需要基本上解决安全问题，才能实现这一点，安全和对齐。所以我非常看好这类事情。我认为我们将很快看到非常酷的东西出现。是的，领导那个团队真是太有趣了。MCP出自那个团队，云代码出自那个团队。而且我雇佣的人，比如康博，既是创始人，也在大公司待过，见过大规模运作的方式。所以能和这样一支卓越的团队一起工作，一起探索未来，真是太棒了。
Ben Mann: 我先说两个愚蠢的答案，供大家一笑。首先，我喜欢阿西莫夫的一篇短篇小说，叫做《最后的问题》，故事中的主人公在历史的各个时代都在试图问这个超级智能，我们如何阻止宇宙的热寂？我不会剧透结局，但这是一个有趣的问题。
主持人: 所以你会问它这个问题，因为故事中的答案并不令人满意吗？
Ben Dnn: 好吧，我来揭晓答案。所以它一直说需要更多信息，需要更多计算。然后最终，当它接近宇宙的热寂时，它说要有光，然后它重新启动了宇宙。哇哦。所以这是第一个作弊答案。第二个作弊答案是，我能问你什么问题来得到并解答更多的问题？经典。然后第三个答案，这也是我真正的问题是，我们如何确保人类在无限的未来持续繁荣？这正是我很想知道的问题。如果我可以保证得到一个正确的答案，那么这个问题似乎非常有价值。
Ben Mann: 第一本是我之前提到的，内特·索亚雷斯的《取代内疚》。我喜欢那本。第二本是理查德·鲁梅尔特的《好战略，坏战略》。 只是以一种非常清晰的方式思考，你如何构建产品？这是我读过的最好的战略书籍之一。而且在很多方面，战略都是一个难以思考的词。然后最后一本是布莱恩·克里斯蒂安的《对齐问题》。 它真的深思熟虑地探讨了我们所关心的，我们试图在此解决的问题是什么？在一个比超级智能更容易阅读和理解的更新版本中，风险是什么？
Ben Mann: 嗯，一个非常蠢的格言是，你试过问克劳德了吗？而且这种情况越来越普遍，最近我问了一个同事，比如，嘿，谁在做X？他们会说，我帮你用克劳德查一下。然后他们事后把链接发给我。我当时就想，哦，是的，谢谢。太好了。但或许更像一个哲学命题，我会说，一切都很艰难。只是为了提醒我们自己，那些感觉应该很容易的事情，不容易也是没关系的。有时你必须无论如何都要坚持下去。
