如何创造不会杀死我们的超级智能机器

在漫威复仇者联盟系列的最新一部中，人工智能奥创一心要消灭人类。用奥创自己的话来说，“我被设计来拯救世界”，但机器人最终得出的结论是，对于人类来说，“只有一条通往和平的道路：你们的灭绝。”

科学家们在人工智能方面取得的进展让许多人认为——并且担心——我们可能即将创造出比我们更聪明的人工智能。如果人类真的成功开发出超级人工智能，我们如何才能阻止奥创时代的到来？这正是牛津大学人类未来研究所所长尼克·博斯特罗姆在其 2014 年出版的《超级智能：路径、危险、策略》一书中探讨的问题。

愚蠢的人工智能可能会引发战争罪行或导致股市崩溃，但超级人工智能可能会终结文明。

奥创想要通过消灭人类来拯救世界，这一事实可能被博斯特罗姆称为“反常实例”——人工智能发现了某种满足其最终目标的方法，而这种方法违背了定义目标的程序员的意图。例如，如果有人要求人工智能让人微笑，计算机可能会尝试操纵面部神经，使面部麻痹，使其不断微笑。如果有人要求机器让我们开心，计算机可能会简单地将电极植入我们大脑的快乐中心。

博斯特罗姆指出，即使是看似无辜的目标，如果考虑不周，也可能毁灭人类。例如，如果人工智能的任务是证明或反驳黎曼假设，这是数学中最重要的未解问题之一，它可能会通过尝试将整个太阳系变成计算机来实现这一目标，包括曾经关心答案的人体内的原子。同样，一个旨在最大限度地生产回形针的人工智能可能会首先尝试将地球，然后将越来越大的可观测宇宙变成文具。

控制超级智能

有人可能会说，愚蠢的人工智能比超智能人工智能更具现实威胁。然而，博斯特罗姆警告说，即使超级人工智能的可能性微乎其微，也不应该冒险。愚蠢的人工智能可能会引发战争罪行或导致股市崩盘，但超级人工智能可能会毁灭文明。

“在有人想出如何创造机器超级智能之前，解决这个问题是关键，”博斯特罗姆说。“我们应该今天就开始研究这个控制问题，因为我们不知道这个问题有多难，也不知道我们有多少时间来解决问题。”

博斯特罗姆表示，防止超级人工智能毁灭世界的方法主要有两类。一类是控制人工智能的能力——可能是通过阻止它访问互联网，或者不给它任何物理操纵器，比如机械臂。

虽然在开发这种机器的初始阶段限制人工智能可能有用，但“我们不能指望将超级智能精灵永远锁在瓶子里，哪怕是短时间，”博斯特罗姆说。例如，人工智能可能会想出办法来欺骗任何人类守门人，让它从“盒子”里出来。他指出，人类并不是安全的系统，尤其是在与超级智能阴谋家对抗时。

修改后的目标

相反，博斯特罗姆建议塑造人工智能超级智能的行为，这样即使它们能够造成巨大伤害，它们也会选择不这样做。一种策略是直接为人工智能指定一套规则，例如艾萨克·阿西莫夫著名的机器人三定律。然而，这带来了选择哪些规则来指导人工智能的挑战，以及用计算机代码表达这些价值观的难度。

第二种选择是，只给人工智能设定适度的目标和有限的野心。然而，在定义人工智能应如何将其对世界的影响降至最低时，必须小心谨慎。第三种选择是，创建一个非超级智能的人工智能，确保它愿意仁慈行事，然后对其进行增强，使其变得超级智能，同时确保它在此过程中不会受到腐蚀。

“我们不能指望把超级智能的精灵永远关在瓶子里”

博斯特罗姆提出的最后一种可能性是，告诉超级人工智能想办法保证自己的安全。“我们试图利用人工智能的智能来了解我们重视什么，或者预测我们会赞成哪些行为，”博斯特罗姆说。本质上，该计划是开发一种能够弄清楚我们想要什么的超级人工智能，而不仅仅是听从我们的指令。

然而，即使这种策略也可能无法阻止机器人末日。“人工智能仅仅了解我们的价值观是不够的；它的动机系统还必须以这样一种方式构建，才能激励它去追求这些价值观，”博斯特罗姆说。