人工智能是否会逃脱我们的控制并毁灭我们？

“它始于三十五亿年前的一滩淤泥中，当时一个分子复制了自己，从而成为地球上所有生命的终极祖先。它始于四百万年前，当时人类的脑容量开始迅速增加。五万年前，智人崛起。一万年前，文明诞生。五百年前，印刷机发明。五十年前，计算机发明。再过不到三十年，它就会结束。”

2007 年，贾安·塔林在一篇名为《凝视奇点》的在线文章中偶然发现了这些文字。文章中的“它”指的是人类文明。文章作者预测，随着超级智能（即在广泛领域超越人类智力的人工智能）的出现，人类将不复存在。

塔林是一位出生于爱沙尼亚的计算机程序员，拥有物理学背景，喜欢把生活当成一个大编程问题来对待。2003 年，他与他人共同创立了 Skype，开发该应用的后端。两年后，eBay 收购了 Skype，他套现了自己的股份，现在他正在寻找工作。《凝视奇点》融合了计算机代码、量子物理学以及卡尔文和霍布斯的名言。他对此着迷了。

塔林很快发现，这篇文章的作者、自学成才的理论家埃利泽·尤德科夫斯基 (Eliezer Yudkowsky) 已经写了 1000 多篇文章和博客文章，其中很多都是关于超级智能的。塔林编写了一个程序，从互联网上抓取尤德科夫斯基的文章，按时间顺序排列，并根据他的 iPhone 进行格式化。然后他花了一年多的时间阅读这些文章。

“人工智能”这一术语，即计算机或机器中智能的模拟，早在 1956 年就被创造出来，当时距离第一台电子数字计算机的诞生仅过去了十年。人们对该领域的期望最初很高，但到了 20 世纪 70 年代，当早期的预测没有实现时，“人工智能寒冬”来临了。当塔林发现尤德科夫斯基的论文时，人工智能正在复兴。科学家们正在开发在特定领域表现出色的人工智能，例如在国际象棋中获胜、清洁厨房地板和识别人类语言。（2007 年，IBM 的 Watson 在Jeopardy!中大获全胜还有四年时间，而 DeepMind 的 AlphaGo 在围棋比赛中获胜还有八年时间。）这种所谓的“狭义”人工智能具有超人的能力，但仅限于其特定的主导领域。会下棋的人工智能无法打扫地板，也无法带你从 A 点到 B 点。但塔林相信，超级人工智能将集多种技能于一身。更黑暗的是，它还可能利用智能手机用户生成的数据来擅长社交操纵。

在阅读尤德科夫斯基的文章后，塔林开始相信超级智能可能导致人工智能的爆发或“突破”，从而威胁人类的生存——超级智能的人工智能将取代我们在进化阶梯上的位置，并像我们现在主宰猿类一样主宰我们。或者更糟的是，灭绝我们。

完成最后一篇论文后，塔林给尤德科夫斯基发了一封电子邮件——全部小写，这是他的风格。“我是 jaan，Skype 的创始工程师之一，”他写道。最后他直奔主题：“我同意……为通用人工智能超越人类智能做好准备是人类的首要任务之一。”他想提供帮助。不久之后，当他飞往旧金山湾区参加其他会议时，他在加利福尼亚州米尔布雷的 Panera Bread 餐厅遇到了尤德科夫斯基，那里离他住的地方很近。他们的会面持续了四个小时。“他真的真正理解了底层概念和细节，”尤德科夫斯基回忆道。“这非常罕见。”之后，塔林给奇点人工智能研究所开了一张 5,000 美元的支票，尤德科夫斯基是该非营利组织的研究员。 （该组织于 2013 年更名为机器智能研究所，简称 MIRI。）塔林迄今已向其捐赠了 60 多万美元。

与尤德科夫斯基的相遇让塔林有了目标，他肩负起拯救人类免遭自身创造的使命。在与其他理论家和计算机科学家就这一问题取得联系后，他开始了旅行生活，在世界各地就超级智能带来的威胁发表演讲。不过，他主要资助了可能为人类提供出路的方法的研究：所谓的友好人工智能。这并不意味着机器或代理特别擅长谈论天气，也不意味着它能记住你孩子的名字——尽管超级智能人工智能可能能够做到这两件事。这并不意味着它的动机是利他主义或爱。一个常见的谬论是假设人工智能具有人类的冲动和价值观。“友好”意味着更基本的东西：未来的机器不会在实现目标的过程中消灭我们。

塔林与尤德科夫斯基会面九年后，我和他一起在剑桥大学耶稣学院的餐厅吃饭。这个教堂般的空间装饰着彩色玻璃窗、金色装饰线条和戴着假发的男子油画。塔林坐在一张厚重的红木桌子旁，穿着硅谷的休闲装束：黑色牛仔裤、T 恤、帆布运动鞋。拱形木质天花板高高地延伸在他一头浓密的灰金色头发上方。

46 岁的塔林在某些方面是典型的科技企业家。他认为，得益于科学的进步（并且只要人工智能不会摧毁我们），他还能活“很多很多年”。他对超级智能的担忧在他的同龄人中很常见。PayPal 联合创始人彼得·泰尔 (Peter Thiel) 的基金会向 MIRI 捐赠了 160 万美元，2015 年，特斯拉创始人埃隆·马斯克 (Elon Musk) 向马萨诸塞州剑桥市的技术安全组织未来生命研究所捐赠了 1000 万美元。塔林进入这个稀有世界的大门是在 20 世纪 80 年代的铁幕后面，当时他同学的父亲在政府工作，让几个聪明的孩子接触了大型计算机。爱沙尼亚独立后，他创办了一家视频游戏公司。今天，塔林仍然和他的妻子以及六个孩子中最小的一个住在其首都——根据词源的怪异，这个城市也被称为塔林。当他想与研究人员会面时，他通常会带他们飞往波罗的海地区。

他的捐赠策略很有条理，就像他所做的几乎所有其他事情一样。他将资金分给 11 个组织，每个组织都在研究不同的人工智能安全方法，希望其中一个能够坚持下去。2012 年，他与他人共同创立了剑桥生存风险研究中心 (CSER)，初始投入近 20 万美元。

生存风险（或称 X 风险，塔林称之为）是对人类生存的威胁。除了人工智能，CSER 的 20 多名研究人员还研究气候变化、核战争和生物武器。但对塔林来说，其​​他学科大多有助于使失控的人工智能威胁合法化。“那些实际上只是入门药物，”他告诉我。对气候变化等更广泛接受的威胁的担忧可能会吸引人们。他希望，超级智能机器接管世界的恐怖将说服他们留下来。他现在来这里参加会议，因为他希望学术界认真对待人工智能安全。

我们的就餐同伴是一群随机选出的与会者，其中包括一位来自香港、研究机器人学的女士和一位 20 世纪 60 年代毕业于剑桥大学的英国男士。这位年长的男士问桌上的每个人他们上的是哪所大学。（塔林的回答是爱沙尼亚塔尔图大学，这让他印象不深。）然后他试图将话题引向新闻。塔林茫然地看着他。“我对短期风险不感兴趣，”他说。

塔林将话题转到超级智能的威胁上。当不与其他程序员交谈时，他默认使用隐喻，现在他列举了一系列隐喻：高级人工智能可以像人类砍伐树木一样迅速地消灭我们。超级智能之于我们就像我们之于大猩猩。他的头顶上用拉丁文刻着诗篇 133 中的一句话：“弟兄和睦同居是何等地善，何等地美。”但在未来存在一个流氓超级智能的情况下，团结与塔林所想的相去甚远。

这位老人说，人工智能需要一具躯体来接管。没有某种物理外壳，它怎么可能获得物理控制权？塔林还准备好了另一个比喻：“把我放在有互联网连接的地下室里，我就能造成很大的破坏，”他说。然后他吃了一口意大利烩饭。

无论是 Roomba 还是其统治世界的后代，人工智能都是由结果驱动的。程序员指定这些目标，以及一系列如何实现这些目标的规则。高级人工智能不一定需要被赋予统治世界的目标才能实现它——这可能只是偶然的。计算机编程的历史充满了引发灾难的小错误。例如，2010 年，共同基金公司 Waddell & Reed 的一名交易员卖出了数千份期货合约。该公司的软件遗漏了帮助执行交易的算法中的一个关键变量。结果就是美国万亿美元的“闪电崩盘”。

塔林资助的研究人员认为，如果超人人工智能的奖励结构没有得到适当的编程，即使是良性目标也可能带来险恶的后果。牛津大学哲学家尼克·博斯特罗姆在其著作《超级智能》中提出了一个众所周知的例子，即一个虚构的代理人被指示制造尽可能多的回形针。人工智能可能会决定将人体中的原子作为原材料，以更好地利用它们。

塔林的观点招致了不少反对者，甚至在关注人工智能安全的人群中也是如此。一些人反对说，在我们还不了解超级人工智能的情况下，担心限制它还为时过早。另一些人则表示，关注流氓技术参与者会分散人们对该领域面临的最紧迫问题的注意力，比如大多数算法都是由白人设计的，或基于对他们有偏见的数据。“如果我们不在短期内解决这些挑战，我们就有可能建立一个我们不想生活的世界，”人工智能伙伴关系组织执行董事 Terah Lyons 表示，该组织是一个专注于人工智能安全和其他问题的多利益相关方组织。（塔林支持的几家研究所都是该组织的成员。）但她补充说，研究人员面临的一些近期挑战（例如消除算法偏见）是人类可能在超级人工智能中看到的挑战的前兆。

塔林并不这么认为。他反驳说，超级人工智能带来了独特的威胁。最终，他希望人工智能界能够效仿 20 世纪 40 年代的反核运动。广岛和长崎原子弹爆炸后，科学家们联合起来试图限制进一步的核试验。“曼哈顿计划的科学家本可以说，‘看，我们在这里进行创新，创新总是好的，所以让我们一往无前吧，’”他告诉我。“但他们比这更负责任。”

塔林警告说，任何确保人工智能安全的方法都很难做到正确。他解释说，如果人工智能足够聪明，它可能比其创造者更了解限制。他说，想象一下“在一群 5 岁盲童建造的监狱中醒来”。对于被人类关押的超级智能人工智能来说，这可能是这样的。

理论家尤德科夫斯基从 2002 年开始进行聊天，在聊天中他扮演一个被关在盒子里的人工智能，其他人则轮流扮演守门人，负责把人工智能关在里面。尤德科夫斯基说，五次中有三次，一个凡人说服守门人放了他。然而，他的实验并没有阻止研究人员尝试设计一个更好的盒子。

塔林资助的研究人员正在研究各种各样的策略，从实用的到看似牵强的。一些人提出了限制人工智能的理论，无论是物理上的，通过建立一个实际的结构来限制它，还是通过编程限制它能做的事情。其他人则试图教会人工智能遵守人类价值观。少数人正在研究最后的关闭开关。一位正在深入研究这三种方法的研究人员是牛津大学未来人类研究所的数学家和哲学家斯图尔特·阿姆斯特朗，塔林称该研究所是“宇宙中最有趣的地方”。（塔林已经给 FHI 捐赠了 310,000 多美元。）阿姆斯特朗是世界上为数不多的全职研究人工智能安全的研究人员之一。

一天下午，我在牛津的一家咖啡馆和他喝咖啡。他穿着一件橄榄球衫，衣领没有扣上扣子，看起来像是一个整天坐在屏幕后面的人，脸色苍白，一头乱糟糟的沙色头发。他的解释中夹杂着令人眼花缭乱的流行文化和数学。当我问他，在人工智能安全方面取得成功会是什么样子时，他说：“你看过《乐高大电影》吗？一切都很棒。”

阿姆斯特朗的一项研究重点是研究一种名为“预言机”人工智能的特定拳击方法。在 2012 年与 FHI 联合创始人尼克·博斯特罗姆共同发表的一篇论文中，他提出不仅要将超级智能隔离在一个储存罐（一种物理结构）中，而且还要限制它回答问题，就像一个非常智能的通灵板。即使有这些限制，人工智能仍然拥有巨大的力量，可以通过巧妙地操纵审讯者来重塑人类的命运。为了减少这种情况发生的可能性，阿姆斯特朗建议限制对话时间，或禁止提出可能颠覆当前世界秩序的问题。他还建议为预言机提供人类生存的替代指标，例如道琼斯工业平均指数或东京过马路的人数，并告诉它保持这些指标的稳定。

阿姆斯特朗认为，最终可能有必要创造一个“大红色关闭按钮”：要么是一个物理开关，要么是编程到人工智能中的机制，以便在发生突破时自动关闭。但设计这样的开关绝非易事。不仅仅是具有自我保护兴趣的高级人工智能可以阻止按下按钮。它还可能会好奇人类设计这个按钮的原因，激活它看看会发生什么，然后使自己失去作用。2013 年，一位名叫汤姆·墨菲七世的程序员设计了一种人工智能，它可以自学玩任天堂娱乐系统游戏。人工智能决心不在俄罗斯方块中失败，它只是按下了暂停键，并让游戏保持冻结状态。墨菲在一篇关于他的发明的论文中讽刺地说道：“真的，唯一的制胜法宝就是不玩。”

要想让这一策略取得成功，人工智能必须对按钮不感兴趣，或者用塔林的话来说，“它必须对不存在的世界和存在的世界赋予同等的价值。”但即使研究人员能够做到这一点，也存在其他挑战。如果人工智能在互联网上复制了数千次，该怎么办？

最让研究人员兴奋的方法是找到一种让人工智能遵守人类价值观的方法——不是通过编程，而是通过教人工智能学习这些价值观。在一个由党派政治主导的世界里，人们常常纠结于我们的原则有何不同。但塔林指出，人类有很多共同之处：“几乎每个人都珍视自己的右腿。我们只是不去想它。”希望人工智能可以被教导去辨别这些不可改变的规则。

在此过程中，人工智能需要学习和理解人类不太合乎逻辑的一面：我们经常说一套做一套，我们的某些偏好与其他偏好相冲突，而且人们在醉酒时不太可靠。但我们在应用程序和社交媒体中留下的数据轨迹可能会提供指导。尽管面临挑战，但塔林认为，我们必须尝试，因为风险很高。“我们必须提前考虑几步，”他说。“创造一个不分享我们兴趣的人工智能将是一个可怕的错误。”

在塔林在剑桥的最后一晚，我和他以及两位研究人员在一家英国牛排馆共进晚餐。一位服务员把我们安排在一个白色的地下室里，那里的氛围就像洞穴一样。他递给我们一份一页的菜单，上面有三种不同的土豆泥。一对夫妇坐在我们旁边的桌子旁，几分钟后要求换个地方。“太幽闭了，”那位女士抱怨道。我想起了塔林说过，如果他被锁在地下室里，除了互联网连接什么都没有，可能会造成多大的破坏。我们现在在盒子里。仿佛是得到了暗示，这两个人开始思考如何出去。

塔林的嘉宾包括前基因组学研究员、CSER 执行董事 Seán Ó hÉigeartaigh 和哥本哈根大学人工智能政策研究员 Matthijs Maas。他们开玩笑说，可以拍一部名为《超级智能与区块链！》的呆板动作片，并讨论了一款名为《万能回形针》的在线游戏，该游戏改编自博斯特罗姆书中的场景。练习需要反复点击鼠标来制作回形针。虽然它并不华丽，但它确实解释了为什么机器可能会寻找更便捷的方式来生产办公用品。

最终，讨论转向了更大的问题，塔林出席时通常都是如此。人工智能安全研究的最终目标是创造出“在道德和认知上都超人”的机器，正如剑桥哲学家、CSER 联合创始人休·普莱斯曾经说过的那样。其他人提出了这样的问题：如果我们不想让人工智能主宰我们，我们是否想主宰它？换句话说，人工智能有权利吗？塔林说，这是不必要的拟人化。它假设智力等于意识——这一误解让许多人工智能研究人员感到恼火。当天早些时候，CSER 研究员 Jose Hernandez-Orallo 开玩笑说，在与人工智能研究人员交谈时，意识是“C 字”。（“而‘自由意志’是 F 字，”他补充道。）

相关：在自动驾驶汽车上担任安全驾驶员的真实感受

如今，塔林在地下室里说，意识不是重点：“以恒温器为例。没有人会说它有意识。但如果你在一个温度被调到零下 30 度的房间里，面对这个特工真的很不方便。”

Ó hÉigeartaigh 附和道。“担心意识是件好事，”他说，“但如果我们没有首先解决技术安全挑战，我们就没有时间担心意识。”

塔林说，人们过于关注超级人工智能是什么。它会以什么形式出现？我们应该担心一个人工智能会接管世界，还是担心一大群人工智能会接管世界？“从我们的角度来看，重要的是人工智能能做什么，”他强调道。他认为，这可能仍取决于人类——至少目前如此。

本文最初发表于《大众科学》杂志 2018 年冬季《危险》期刊。