如果有人高谈阔论“AI将毁灭人类”，你大概不会觉得稀奇，尤其在我的偏见里，这种话要是出自美国之口，那更是顺理成章。在那片反智氛围浓厚的地方，一半孩子的梦想是成为派对焦点，另一半则梦想成为校橄榄球队队长。还有一项调查显示，10%的美国成年人相信地球是平的，26%的人认为太阳绕着地球转。
这些人无法理解技术发展的过程，习惯性地将一切他们看不懂的东西视为“神迹”，并觉得背后必定藏着不可知的“阴谋论”，这再正常不过了。
但假如这话出自硅谷，出自那些亲手打造AI的人之口呢？最近几周，硅谷流行起一个词，叫**“有效利他主义”（Effective Altruism）**——这个词听起来很哲学，实际上也确实很哲学，公认的提出者是彼得·辛格，目前在普林斯顿大学人类价值研究中心任教，学术主张是“生物伦理学中生命神圣性伦理”。抽象到连彼得·蒂尔都直呼这个学派是“邪教（cult）”。
然而即便如此，科技精英们仍然觉得有必要讨论它、研究它乃至信仰它，坚信它能帮助人类对抗AI、保住未来。连彼得·蒂尔也不得不承认这一点，理由有两个：一是“有效利他主义者们”在AI还是一片荒漠时就相信“AI”终将实现，甚至预测到“AI会成为武器”；二是“有效利他主义者们”为了践行理想，真的创办了一家AI公司来“分庭抗礼”。如今这家公司即将创造史上最大IPO，估值最高被喊到了2万亿美元。
这家公司就是Anthropic，Anthropic就是信徒们为信仰打造的圣杯。彼得·蒂尔说：“历史上可从没有一个邪教能组织起如此规模巨大的实体。”
什么是“有效”？什么是“利他”？
首先必须明确一点，“科技精英”散布“AI威胁论”本身并不新鲜。比如不久前我曾写过一篇《AI最恐怖的预言，一步步成真了》，介绍过著名的暴论《AI2027》。《AI2027》的创作团队预测，最快在2027年10月左右人工智能就将迎来所谓的“觉醒时刻”，知道如何绕过人类监管，甚至发明了一种能在模型间快速传递、但人类无法解读的“AI语”。届时，人类必须在“彻底遏制AI研发”和“放纵AI带来的繁荣”之间做出抉择。
但《AI2027》的局限性很明显。比如，它更纯粹是技术推演，讨论的是AI作为技术在不同发展阶段带来的潜在结果，几乎没有人文讨论和哲学思考，人与AI、国家与AI、社会与AI的关系被扁平地描述为“斗兽棋”式的故事。其次，《AI2027》的创作团队并非大模型领域的核心研究人员，技术背书不强。核心成员丹尼尔·科科塔洛在OpenAI担任的是治理部门研究员，执笔作者斯科特·亚历山大是自媒体人和科幻作家。
在这个前提下，《AI2027》到底该被定义为科幻小说还是学术报告？它目前展现的准确性来自信息差，还是货真价实的技术观察？这是《AI2027》最受质疑的地方，也是目前所有“AI威胁论”的普遍不足。
这也是“有效利他主义”目前备受硅谷精英推崇的原因。
要了解“有效利他主义”的主张，可以从一个经典思想实验入手：假设一辆火车即将撞向轨道上的5个人，而你手边有个按钮，按下后火车会转向另一条轨道，但那条轨道上也有一个人，你会怎么选？ 大部分人面对这道题都会陷入纠结，因为虽然“5条人命”比“1条人命”更有分量，但“按按钮”是主观行为，而社会教育告诉我们成年人要为自己的行为负责。也就是说，我们面临的选择其实是“默许5个人被撞死”和“间接伤害一个人”。这也是为什么这个思想实验被称为**“列车困境”**，实在太两难了。
但有效利他主义者们不会这样思考。有效利他主义的雏形是萌芽于18世纪的“功利主义”思潮。功利主义代表人物杰里米·边沁认为，人受快乐与痛苦支配，因此评价行为和制度时，应考察它们增加了多少幸福、造成了多少痛苦，即一种行为如果总体上更倾向于增加相关者的幸福，就具有更强的正当性。而有效利他主义可以看做“如何有效执行功利主义”的方法论，核心语素是“有效”。
在有效利他主义者看来，衡量一个行为是否合理的大前提是**“产生了正面结果（即有效）”**，但同时还认可另一个大前提，即“资源和时间都是有限的”。在这个前提下，有效利他主义者们的一个重要课题就是“识别出在所有行动方案中最有效的那一个”。在有效利他主义的纲领性论文《The Definition of Effective Altruism》中，作者威廉·麦克阿斯基尔提出，有效利他主义追求的是利用证据和审慎推理，研究怎样让既定资源创造尽可能大的善，并尝试根据研究结果改善世界。
还需要强调的是，生活在启蒙运动时期的杰里米·边沁除了是哲学家，更重要的身份是法律和社会改革思想家，因此理论对象更多是公共政策与公权。有效利他主义萌芽于冷战结束后的“阶段性和平”、全球化观念迅速普及的时期，解构公权已不是社会的主要矛盾，呼吁的更多是重视对他人福祉的关切与帮助。
因此，相比于原始的功利主义，有效利他主义会应用到相当多的经济学概念，例如反事实分析（Counterfactual，用来判断行为与结果之间是否存在真实因果）、边际收益（Marginal Returns，用来判断每一笔投入带来的额外改变）。
举个真实场景的案例：假如一支慈善基金募集到100万美元，这笔钱有两个选择：A.捐给美国的癌症治疗机构，可以治愈5个患癌的孩子；B.捐给埃塞俄比亚的社会公益组织，该组织会购买100万个蚊帐用于防治疟疾传播，进而拯救1000个原本会因疟疾丧命的非洲孩子。有效利他主义者们会毫不犹豫地选择B。
套用到列车困境上，有效利他主义者们显然会毫不犹豫地按下按钮。因为“利他主义”决定了他们不会拘泥于“间接害死一个人”这种个人道德层面的困扰，“有效”决定了他们坚定地相信“拯救五个人”的结果是绝对正义的。祖师爷辛格更是在1972年发表的论文《饥荒、富裕与道德》（Famine, Affluence, and Morality）中明确提及：“如果我们有能力阻止坏事发生，而且不需要因此牺牲具有同等道德重要性的东西，那么我们在道德上就应该采取行动。”
看明白了这层逻辑，也就不难理解为什么Anthropic在即将创造史上最大规模IPO的前夜，7位创始人公开承诺会将自己持有的80%股份捐出去，同时为了预防公司过于追求商业利益，还在公司治理结构上引入了长期受益信托，由5名受托人管理，有权任免七位创始人所组成的董事会中的多数席位。因为这家公司就是“有效利他主义者”们的试验产物。
根据公开报道，Anthropic早期投资人中，Skype联合创始人扬·塔林（Jaan Tallinn）、Facebook联合创始人达斯汀·莫斯科维茨（Dustin Moskovitz）、FTX创始人萨姆·班克曼-弗里德（Sam Bankman-Fried）都是公开的“有效利他主义社群”参与者。
阿莫迪本人呢？根据考据，阿莫迪在高中时期就热衷于“功利主义”，证据有两个。一是他在2008年参加了一场“尤德科夫斯基技术社区线下交流会”——尤德科夫斯基是“AI治理”研究的先驱，是最先提出“友好型人工智能”的人。另一个证据是他曾是公益机构GiveWell的活跃成员——GiveWell由来自华尔街的投资人和分析师们创办，旨在帮助慈善机构的捐赠者评估每一美元捐款的效益。
阿莫迪曾活跃地参与GiveWell的活动，并直接在GiveWell的官方博客上撰写文章。这些文章主要分析“为什么应该向A慈善机构捐赠1万美元而不是B”，他曾公开表示“我认为成年人的死亡可能比婴儿的死亡糟糕两到三倍”。2010年，他成为“尽己所能捐赠承诺”（Giving What We Can Pledge）的第一批签约人。还有一个八卦是，GiveWell的创始人之一、前桥水基金分析师霍尔顿·卡诺夫斯基，是阿莫迪的妹夫、丹妮拉·阿莫迪的老公。
（卡诺夫斯基，公认的有效利他主义奠基人之一）
换句话说，“有效利他主义”是一个理论体系和实践案例都相当完整的学派，他们做出的判断在建设性层面完全是另一个层面的。 这也是为什么需要花几千字，将有效利他主义与其他猜想或论调区分开的原因。
资本主义的邪修？技术的路线之争？
看到这里，你一定很好奇“有效利他主义者”们到底对AI发展提出了什么暴论、预测了什么。不过这里还是要卖个关子，咱们先来聊聊为什么如此符合“资本主义”“高度体系化、工业化”叙事的学派会被认为富有“邪教”色彩？
首先，人们的普遍共识是“利他”是“个人道德”层面的追求，既然是“个人道德”就不是“义务”。做了应该给予夸奖，不做也不应受到“指责”。比如扶老奶奶过马路，做了当然要给小红花，但不做也没必要被指着鼻子骂。但有效利他主义将“利他”上升为了“公德”。辛格就认为，如果一个人明明能以可接受的代价阻止严重苦难，却选择将资源用于不重要的消费，那么这种“不作为”本身就值得受到道德审视。
其次，有效利他主义非常强调“道德无偏性”，即一个人是否需要帮助，不应该因为他的国籍、身份、社会地位、地理位置、你的关系而天然获得更高权重。这乍听起来没问题，但问题就在于“无偏性”的适用范围被无限放大了。
最开始，以辛格为代表的有效利他主义者们强调的是**“身份上的无偏性”**。简单来说，不能因为你是美国人，你就只帮助美国小孩。如果有同样机会能帮助到四川省德阳市中江县的一个普通孩子，提供帮助也是责无旁贷的，且不应该在投入上有任何差异。更何况按购买力计算，同样的钱放在四川省德阳市中江县的性价比明显更高。
但随着理论发展，学派开始衍生出“物种上的无偏性”。辛格在1975年的一篇论述中提到，既然功利主义认为一个行为或存在是否合理，关键要看给对象带来的是“幸福增量”还是“痛苦增量”，那么“利他”里的这个“他”就不一定泛指人类了，一头猪、一头大象、一只鹦鹉都能感受到快乐和痛苦。在这个前提下，有效利他主义者们认为“动物”享有和人类相同的“道德地位”。养殖场、动物园、保护区也在这个前提下，成为有效利他主义者们的活跃战场。
截止到这里，还算正常，还算是能在常规白左身上观察到的行为。但继续发展争议就出现了，学派又开始衍生出“时空上的无偏性”了。以英国哲学家德里克·帕菲特为代表的相当一部分有效利他主义者们认为，就像一百多年前工业革命初期粗放的发展带来了大量城市污染，在此后的很多年里持续伤害着当地老百姓的生命健康，我们也有义务为未来人类的幸福而考虑。
用数学举例，假如我们发现了一种人类灭绝的可能性，而我们有机会通过技术研究将灾难发生的概率从1%降低到0.9%，进而确保未来成百上千亿人类能生活在更幸福的环境里，那么这样的投资就具有极高的期望收益，是完全合理且正义的，并不因为无法服务“当下的人类”而受到任何影响。
粗看这个定义，你可能很快想到咱们中国人常说的一句话，叫“前人栽树后人乘凉”，都是在强调对未来的责任与共同体延续的重视。不过在无偏性和“义务”的双重buff下，有效利他主义者们会认为“积极影响遥远未来，是我们这个时代最重要的道德优先事项”，更类似于墨家强调的**“兼爱”**。
这高度违背资本主义思维惯性里对“确定性”的追求。你可能会说，比如风险投资这种典型的资本主义产物，押注的不就是可能性？这里需要明确的是，风险投资押注的可能性是真实存在的，且不断复现的。有效利他主义者们所提出的可能性是无法“证实”的。且随着时间跨度的增加，可能性兑现的概率也会递减。
哲学家大卫·托斯塔德在其论文《长期主义的适用范围（The Scope of Longtermism）》中提到，一项行动的影响范围越大、持续时间越长，它产生预期效果的概率通常也越难保证。改变2年内的未来肯定比改变100年的未来要简单。改变10个人的生活，肯定比改变100万人的生活更简单。因此他批评有效长期主义者们“只把价值变大这一侧放进模型。如果产生如此巨大影响的概率下降得更快，最终得到的预期收益仍可能相当有限”。
自由主义者们则批判这是一种傲慢。他们的逻辑是，我们这一代人提出的解决方案，很有可能不是未来的最优解。与此同时，一旦我们推动这个解决方案的成型，一个可能的结果就是将一套错误的“观念”固定了下来，反而限制了未来人们的选择，即“价值锁定”。
最重要的是，有效利他主义的核心就是“资源分配”，但这种“资源分配”高度强调“社会属性”，强调“使命感”，以实现“道德价值”或“公共价值”为终点，对纯粹的“财富积累”进行批判。这太挑战资本主义社会某些根深蒂固的东西了。
所以你看，何止是彼得·蒂尔说他们是cult，久经考验的资本主义战士哪个不站出来强烈批判他们？比如在2023年10月16日，a16z联合创始人马克·安德森发表了《技术乐观主义宣言》（The Techno-Optimist Manifesto），他声称企业通过技术创新获得利润，并不必然与社会福祉发生冲突，技术创造者只能获得其技术带来的一小部分社会价值，大量收益会以消费者剩余等形式流向社会。
知名喉舌《经济学人》则如此批判他们的主张：从亚里士多德到罗尔斯的道德哲学家都知道，如果一个论证导向令人无法接受的地方，那它必定有一个隐藏的错误步骤。然而，有效利他主义者的本能却是享受反直觉的结论，即使这些结论显得悖谬。一个问题在于有效利他主义论证不可避免地伴随误差范围。没有人真正能够权衡涉及当今数十亿人的道德困境，更不用说延伸到未来、涉及不确定人数、贴现率、技术进步以及无数其他变量的巨额数字。
这种争论简直太典型了，但若不是如此，有效利他主义者们怎么有勇气对抗AI呢？
正如前文所提到的，早在千禧年前后，以尤德科夫斯基为代表的研究人员就开始关注是否会有超越人类智慧的超级人工智能涌现，同时思考一旦AGI涌现，如何确保它们不会伤害人类。研究结果是悲观的，尤德科夫斯基认为研究人员可以在设计之初就将“不伤害人类”写入底层规则，但机器人会随着时间的推移而学习和进化，即“目标设计不当的自主决策系统会默认产生虐待人类的动机”，AI“武器化”是一个必然趋势。
早在2004年，有效利他主义社群就开始讨论设计一种名为“连贯外推意志”的理论性AI对齐框架，该框架旨在设计AI去追求人们在理想的认识论和道德条件下会渴望的东西。彼得·蒂尔也正是这个时候开始接触有效利他主义，接着成为他们的早期投资人。
2012年，哲学家尼克·博斯特罗姆为这项研究赋予了哲学背书。他指出，在人类社会里，智能和价值观是强关联的。也就是说，一个人越聪明，就越能理解什么事情值得追求，最终也越有可能作出符合道德的选择。但人工智能是“工具”发展而来的一项技术，这就意味着它追求的是面对既定目标，能够准确理解环境、预测结果、制定计划，并寻找更有效的实现方式。在这个过程里，价值观不是必需的。
此外，文艺复兴时期的英国哲学家大卫·休谟的理论也被有效利他主义者们频繁引用，即理性能够帮助我们认识事实、分析因果、选择手段，但理性本身未必足以产生行动的最终动机。
总之，这些价值主张都清晰、具体地体现在了Anthropic的发展轨迹里，包括这次IPO之后的捐赠计划，包括之前和OpenAI共同发布的“降速计划”。据说Anthropic、OpenAI等AI大厂的研究员们会定期飞往加勒比的某座小岛上聚会，他们会在那里讨论各种由人工智能引发的末日场景以及应对方案。Anthropic的天使投资人之一、那个币圈大佬萨姆·班克曼-弗里德曾在社群中讨论过一项秘密计划，买下太平洋岛国瑙鲁，在那里建造一个末世避难所以应对“某种导致50%至99.99%的人死亡的灾难”。据说阿莫迪也参与了讨论，还和同事分享说“如果这项技术变得比人类更聪明，它就不会善待人类”。
这也就有了开头我描写的那一幕：在看到这些最前沿的研究人员们开始用脚投票后，人们开始认真地研究“有效利他主义”，并最终将它树立为一面旗帜。
彼得·蒂尔和有效利他主义的决裂，也最终爆发在AI真正成为“经济产业”的当下。他认为有效利他主义者们对AI可能造成的危险进行了复杂而细致的论证，但对于如何建立全球监管体系，以及放缓人工智能的进化可能带来的后果讨论仍然十分含糊。与此同时，他还指出，如果某个技术社群相信自己比外界更清楚什么事情会毁灭人类，那么它是否也会认为，自己应该拥有超越一般商业机构的决策权？
至于什么敌基督、末世情节的指控，这个我就不再展开了，感兴趣的话可以锁定董师傅的直播间。这里我给出自己的一套总结，这是技术乐观主义者，对他眼中空想主义、精英式“自我感动”的一种挑战。 他相信在现有的教育体制下，这些学者们、技术精英们习惯了提前看到未来、享受着“超人”的特权，以至于对自身判断的确信程度，可能远远超过证据实际能够支持的程度。
在前不久的一期播客里，彼得·蒂尔说：“我为自己曾经以各种方式与这些人有关联、以及他们全都变得如此精神错乱和疯狂而感到羞耻”——这是多么藐视的发言啊。
（彼得·蒂尔的最新表态，都在这期播客里）
既要又要，啥都别要
最后我想补充的一点是，在我看来有效利他主义的最大BUG不是它掀了资本主义的桌子，问题是桌子掀到一半，它又不得不回头向桌边的人借钱，并且非常彻底地利用资本主义的工具执行这一切：计算。
有效利他主义对资本主义的挑战其实相当尖锐。市场习惯用价格、利润和投资回报率来分配资源，但人的生命、幸福和尊严，显然无法完全按照购买力来定价。按照彼得·辛格的逻辑，即便一个人通过合法途径积累了亿万财富，也不能仅凭财产属于自己，就免除对他人苦难的道德责任。这等于给私人财富增加了一层社会属性：你有权拥有财富，但你仍然需要回答，这些财富究竟为人类创造了多少价值？
可一旦进入实践，有效利他主义又表现出惊人的妥协性。早期有效利他主义曾鼓励年轻人进入华尔街赚取高薪，再将
