人工智能暂停信函中有一个明显的问题

周三，包括埃隆·马斯克和苹果联合创始人史蒂夫·沃兹尼亚克在内的 1,100 多位知名公众人物签署了一封公开信，恳请研究人员对开发比 GPT-4 更强大的人工智能系统实行为期六个月的暂停期。

“最近几个月，人工智能实验室陷入了一场失控的竞赛，竞相开发和部署越来越强大的数字思维，但没有人——甚至连它们的创造者——能够理解、预测或可靠地控制这些思维，”未来生命研究所周三发布的一份公报中写道，该组织试图“引导变革性技术造福生命，远离极端的大规模风险”。在拟议的六个月暂停期内，未来生命研究所建议未具名的独立外部专家制定并实施一套“经过严格审核”的共享安全协议，同时可能进行政府干预。

[相关：ChatGPT 的下一个版本已经上线——以下是新内容。]

但自这封信发表以来，许多专家强调，该运动的许多支持者和策划者都认同一种日益流行且备受争议的技术乌托邦哲学，即“长期主义”，批评者声称这种哲学的历史根源在于优生运动。

长期主义受到马斯克和彼得·蒂尔等硅谷重量级人物的推崇，它将功利主义道德与超人类主义和概率论等科幻概念融合在一起。批评者现在担心，FLI 信中提到的长期主义观点偏离了大型语言模型 (LLM) 的真正问题，并揭示了联名者对所谓“人工智能”系统本身的误解。

广义上讲，长期主义者认为，从道义上讲，必须尽一切必要手段确保人类的生存，以最大限度地提高未来生命的福祉。虽然有些人可能认为这很合理，但长期主义的支持者——以及有效利他主义和超人类主义等类似的重叠观点——主要是希望人类殖民太空并获得几乎难以想象的技术进步。为了实现这一命运，长期主义者长期以来一直主张创造一个友好的、同盟的通用人工智能 (AGI) 来促进人类的进步。

[相关：OpenAI 最新的 ChatGPT 更新仍然可以传播阴谋论。]

许多支持 FLI 公开信的长期主义者认为，流氓人工智能系统对未来人类构成了最直接的“生存风险”之一。随着 OpenAI 的 ChatGPT 和 Google Bard 等生成语言程序占据新闻头条，观察人士对劳动力、虚假信息和整体社会政治稳定可能产生的影响表示担忧。然而，一些支持 FLI 公开信的人认为，研究人员即将在不知不觉中创造出危险的、有意识的人工智能系统，类似于《黑客帝国》和《终结者》等热门科幻电影系列中出现的系统。

“在（长期主义者）的叙事中，AGI 被广泛视为救世主，是将我们从‘这里’带到‘那里’的工具，”专注于生存风险的哲学家兼历史学家埃米尔·P·托雷斯 (Émile P. Torres) 告诉PopSci 。但对托雷斯来说，长期主义者的支持者制造了他们现在在 FLI 的公开信中担心的问题。“他们把 AGI 吹捧为拯救人类的救世主，亿万富翁们对此深信不疑，公司开始开发他们认为是 AGI 的前身，然后突然间他们开始惊慌失措，发现进步太快了，”他们说。

与此同时，华盛顿大学语言学教授、长期从事大型语言模型 (LLM) 研究员的 Emily M. Bender 强调了类似的长期主义者对这些程序实际工作原理的误解。“是的，人工智能实验室陷入了一场失控的竞赛，但没有人开发出‘数字思维’，他们也没有这样做，”Bender 在 Twitter 上辩称。

[相关：微软解雇了整个人工智能伦理团队，同时全力投入 ChatGPT 。]

2021 年，本德与他人联合发表了一篇广为阅读的研究论文（FLI 信中的第一个引文），强调了他们对法学硕士的担忧，这些担忧都不是集中在“过于强大的人工智能”上。这是因为法学硕士本质上不能拥有自我意识——它们是经过大量文本训练的神经网络，可以识别模式并生成自己的概率文本。相反，本德担心法学硕士在“权力集中在人们手中、复制压迫系统、破坏信息生态系统以及破坏自然生态系统（通过肆意使用能源资源）”方面的作用。

托雷斯赞同本德的立场。他们表示：“这封‘公开信’没有提到社会正义。它没有承认像 OpenAI 这样的公司已经给世界造成的伤害。”他们引用了最近的报道，称肯尼亚的承包商为改善 ChatGPT 的用户体验而审查图片内容，却只得到了贫困线水平的工资。

与许多公开信的签署者一样，本德及其盟友同意，当前的生成文本和图像技术需要监管、审查和仔细考虑，但它们的直接后果只会影响活着的人类，而不是我们那些被束缚在太空中的后代。