埃隆·马斯克邀请了Dan Hendrycks作为他的新创业公司xAI的顾问，Dan Hendrycks是一位机器学习研究员，担任非营利组织“AI安全中心”的主任。
“AI安全中心”在五月份赞助了一份AI风险声明，该声明由OpenAI、DeepMind、Anthropic等公司的首席执行官以及数百名其他AI专家签署。该组织超过90%的资金来自Open Philanthropy，这是一个由一对颇具争议的Effective Altruism（EA）运动中显赫的人物（达斯汀·莫斯科维茨和卡里·图娜）运营的非营利组织。Effective Altruism被“有效利他主义中心”定义为“一种知识性项目，利用证据和理性来找出如何尽可能多地造福他人”。根据众多EA拥护者的说法，人类面临的首要问题是防止人类创造的AI将我们的物种消灭的灾难性情景。
马斯克任命Hendrycks是一个重要的举措，因为这是迄今为止最明确的迹象，表明世界上四个最著名、资金充足的AI研究实验室——OpenAI、DeepMind、Anthropic和现在的xAI——正在将这些关于AI系统的存在风险或x-risk（即潜在的极端风险）的想法带给主流公众。
这些研究实验室的倡导意味着它们认为在AI的发展中，可能会出现对人类的生存和未来构成威胁的情况。这些概念通常涉及到超级智能（AGI或ASAI）的出现，这是一种超过人类智能的AI形态。他们提倡采取预防措施，以确保AI的发展和应用不会导致灾难性后果，而是造福人类。
随着这些顶级实验室将这些想法带入公众视野，对于AI的发展和安全问题，以及如何避免潜在的风险，将引起更广泛的讨论和关注。
许多AI专家对x-risk（即潜在的极端风险）的关注表示不满
尽管如此，许多顶级AI研究员和计算机科学家并不认同这种“末日论”的观点，他们认为这种观点并不值得如此多的关注。
例如，Cohere for AI的负责人Sara Hooker在五月份表示，x-risk是一个“边缘话题”。而乔治亚理工学院的教授Mark Riedl表示，存在性威胁“经常被报道成事实”，这“通过重复将只有威胁整个文明的情景才重要，其他伤害并不存在或不重要”的观点在一定程度上被正常化了。
纽约大学的研究员和教授Kyunghyun Cho也表示同意，在六月份表示，他认为这些“末日论故事”让人们忽视了当今AI所带来的真正问题，无论是积极的还是负面的。
“我对关于潜在风险的讨论感到失望，现在他们甚至称之为文字上的‘灭绝’，”他说。“这让人们感到失去了关注的焦点。”
其他AI专家也公开或私下指出，他们对这些公司公开承认与Effective Altruism（EA）社区有联系感到担忧——该社区得到了FTX的Sam Bankman-Fried等不受欢迎的科技人物的支持——以及长期主义和超人类主义等各种TESCREAL运动。
Kyunghyun Cho说：“我非常清楚Effective Altruism（EA）运动实际上是推动AGI和潜在风险相关事务的那个运动。”他认为硅谷有太多人具有“救世主情结”。他们都想从他们所看到的不可避免的末日中拯救我们，认为只有他们才能解决这个问题。
在去年的一篇Wired文章中，Timnit Gebru指出，直到其FTX加密货币平台最近破产之前，Bankman-Fried一直是EA最大的资助者。其他亿万富翁也为EA和潜在风险事业捐款巨额资金，包括埃隆·马斯克、Vitalik Buterin、Ben Delo、Jaan Tallinn、Peter Thiel和Dustin Muskovitz。
因此，Gebru写道：“所有这些资金塑造了AI领域及其优先事项，伤害了处于边缘群体中的人，同时声称致力于开发‘有益的人工通用智能’，以实现技术乌托邦。”
以下是这四家科技公司在AGI、潜在风险和Effective Altruism方面的立场：
xAI：“理解宇宙的真谛”
使命：设计一个能“理解宇宙”的AGI
关注AGI和潜在风险：埃隆·马斯克在2015年帮助创立了OpenAI，据报道，他离开这家初创公司是因为他觉得它没有足够安全地发展AGI。他还在说服AI领袖签署亨德里克斯的“关于AI风险的声明”，其中写道“减轻AI灭绝的风险应该是全球的优先事项，与其他社会规模的风险（如大流行和核战争）并列”。马斯克开发xAI，他表示，因为他相信一个更聪明的AGI不太可能毁灭人类。“构建安全AI的最安全方式实际上是制造一个最大程度上充满好奇心和求真的AI，”他在最近的Twitter Spaces讨论中说。
与Effective Altruism的联系：马斯克本人曾声称，EA运动的创始人之一哲学家William MacAskill的著作“与我的哲学观非常相似”。至于亨德里克斯，在最近接受波士顿环球报采访时，他“声称自己从未是EA的信徒，尽管曾接触该运动”，并表示“AI安全是一个可以独立于有效利他主义的学科。”然而，亨德里克斯接受了Open Philanthropy的资助，并表示他对AI安全产生兴趣是因为参加了与EA运动相关的职业探索项目80,000 Hours。
OpenAI：“创造安全的AGI，造福全人类”
使命：OpenAI成立于2015年，其使命是“确保人工通用智能造福全人类”。OpenAI的网站指出：“我们将尝试直接构建安全和有益的AGI，但如果我们的工作帮助其他人实现这一结果，我们也会认为使命已经完成。”
关注AGI和潜在风险：自成立以来，OpenAI从未动摇过其以AGI为重点的使命。在过去一年中，该公司发布了许多博客文章，标题包括“治理超级智能”、“我们对AI安全的方法”和“对AGI及其后续规划”。本月初，OpenAI宣布成立一个新的“超级对齐团队”，目标是在四年内“解决超级智能对齐的核心技术挑战”。该公司表示，其联合创始人兼首席科学家Ilya Sutskever将把这项研究作为他的核心重点，并且公司将将20%的计算资源用于超级对齐团队。该团队的一名成员最近称其为“不杀所有人主义”团队。
与Effective Altruism的联系：在2017年3月，OpenAI获得了Open Philanthropy的3000万美元的资助。在2020年，MIT Technology Review的Karen Hao报道称：“该公司有着令人印象深刻的统一文化。员工工作时间长，吃饭和社交时会不断地谈论他们的工作；许多人参加相同的聚会，并拥抱理性主义的有效利他主义哲学。”据报道，现在该公司的对齐主管Jan Leike，也是超级对齐团队的负责人，认同EA运动。虽然OpenAI的首席执行官Sam Altman过去曾批评过EA，特别是在Sam Bankman-Fried丑闻曝光后，但他确实完成了由EA创始人William MacAskill创建的“80,000小时”课程。
然而，虽然我认为EA是一个非常有缺陷的运动，但我想说的是，作为个人，EA的成员几乎总是非常友善、善良的人。这个运动有一些非常奇怪的 emergent behavior（涌现行为），但我很高兴看到他们的自我反思，并且对未来的改进充满信心。— Sam Altman (@sama)
Google DeepMind：“通过解决智能问题推动科学进步，造福人类”
使命：“通过理解和再现智能本身来解开世界上最大的问题的答案。” 关注AGI和潜在风险：DeepMind由Demis Hassabis、Shane Legg和Mustafa Suleyman于2010年创立，2014年被谷歌收购。在2023年，DeepMind与Google Brain合并成为Google DeepMind。其AI研究工作，经常集中在通过游戏挑战（如AlphaGo项目）的强化学习上，一直对AGI未来有着强烈关注：“通过构建和与AGI合作，我们应该能够更深入地了解我们的世界，从而为人类带来重大进步，”公司网站上写道。近期在Verge的一次采访中，首席执行官Hassabis表示“Demis毫不掩饰他的目标是构建AGI，我们讨论了应该在何时设定什么样的风险和监管。”
与Effective Altruism的联系：DeepMind的研究员，如Rohin Shah和Sebastian Farquar，认同Effective Altruism运动，而Hassabis曾在EA会议上发表演讲，DeepMind的团队也参加了Effective Altruism全球大会。此外，DeepMind的首席科学家和研究团队负责人Pushmeet Kohli曾在“80,000小时”播客中接受关于AI安全性的采访。
Anthropic：“将安全置于前沿的AI研究和产品”
使命：根据Anthropic的网站，其使命是“确保变革性的AI有助于人们和社会繁荣。本十年的进步可能会很迅速，我们预计越来越有能力的系统会带来新的挑战。我们通过构建前沿系统、研究其行为、努力负责地部署它们，并定期分享我们的安全见解来推进我们的使命。我们与寻求相似结果的其他项目和利益相关者合作。”
关注AGI和潜在风险：Anthropic成立于2021年，由一些曾在OpenAI工作过并对OpenAI的发展方向（如与微软的关系）提出异议的员工创立，其中包括Dario Amodei，他曾担任OpenAI的研究副总裁，现在是Anthropic的首席执行官。根据一篇近期深度报道的《纽约时报》文章名为“AI末日论的核心内幕”，Anthropic的员工非常担心潜在风险：“他们中的许多人认为AI模型正迅速接近被视为人工通用智能（AGI）的水平，即行业术语表示的是人类级别的机器智能。他们担心如果不加仔细控制，这些系统可能会掌控并毁灭我们。”
与Effective Altruism的联系：Anthropic与任何其他大型AI实验室相比，与EA社区有着一些最清晰的联系。“没有哪个主要的AI实验室像Anthropic一样完全体现了EA的精神，”《纽约时报》的文章称。“该公司的许多早期员工都是有效利他主义者，其创业资金大部分来自富裕的与EA有关的科技企业家，包括Facebook的联合创始人Dustin Moskovitz和Skype的联合创始人Jaan Tallinn。”