自主战争机器可能会在未来战场上犯下代价高昂的错误

在未来的战场上，军用机器人会犯错误。设计用于战争的自主机器意味着接受未来一定程度的错误，更令人烦恼的是，这意味着不知道错误到底是什么。

当各国、武器制造商和国际社会致力于制定有关自主武器的规则时，如果机器要兑现其限制伤害的承诺，那么诚实地谈论数据错误带来的风险是至关重要的。

联合国裁军研究所今天发布的一份新报告直接讨论了这一话题。该报告名为《已知的未知：数据问题和军事自主系统》，由联合国裁军研究所发布。报告旨在帮助政策制定者更好地了解自主机器固有的风险。这些风险包括数据处理可能失败，以及敌对势力如何积极操纵数据收集等方方面面。这种风险的主要组成部分是，在战斗中收集和使用的数据比实验室中的数据更混乱，这将改变机器的行为方式。

现实世界的情况令人不安。也许机器人的摄像头是针对白沙导弹靶场的沙漠强光进行训练的，在雾蒙蒙的早晨，它会误解车头灯的反射。也许瞄准机器人机枪的算法会校准错误距离，将十字准线从坦克前部移到游乐场设备上。也许一个自主侦察兵从附近的手机信号塔读取位置数据，被对手故意输入错误的信息，把错误的街道标记为士兵的安全路线。

自主机器之所以能够自主，是因为它们在移动过程中收集有关其环境的数据，然后根据这些数据采取行动。在训练环境中，自主系统收集的数据是相关的、完整的、准确的和高质量的。但是，报告指出，“冲突环境是严酷的、动态的和对抗性的，战场上真实数据的变化总是比自主系统建立和验证所依据的有限数据样本更大。”

[相关：俄罗斯正在建造一种可以自行选择目标的坦克。这会有什么问题？ ]

这种错误的一个例子来自摄像头传感器。在 2020 年 10 月的一次演示中，一家军用传感器公司的高管展示了一种瞄准算法，并吹嘘该算法可以区分军用车辆和民用车辆。在同一次演示中，视频将停车场里行走的人和一棵树标记为相同的目标。

当军事规划人员构建自主系统时，他们首先在受控环境中用数据训练这些系统。有了训练数据，目标识别程序应该能够分辨出树和人之间的区别。然而，即使算法在训练中是正确的，在战斗中使用它可能意味着自动瞄准程序锁定的是树而不是人，这在军事上是无效的。更糟糕的是，它可能会锁定人而不是树，这可能会导致意外伤亡。

敌对士兵或非正规军为了躲避自动武器的攻击，也会试图用虚假或误导性的数据欺骗追捕他们的机器人。这有时被称为欺骗，在和平环境中也存在这样的例子。例如，通过在 35 英里/小时的限速标志上贴上胶带，让 3 看起来更像 8，一组研究人员让一辆处于自动驾驶模式的特斯拉汽车加速到 85 英里/小时。

在另一项实验中，研究人员通过在苹果上贴上写有“iPod”的纸质标签，成功欺骗了物体识别算法，使其误以为苹果是 iPod。在战争中，如果一个用于清除街道爆炸物的自主机器人的标签上写着“足球”，它可能会忽略一个明显的诱杀炸弹。

联合国裁军研究所安全与技术项目副研究员、本报告作者阿瑟·霍兰德·米歇尔表示，从信息收集、解读到将信息传达给人类的过程中任何一个环节出现错误，都可能引发“连锁效应”，造成意想不到的伤害。

“想象一下，一架侦察无人机由于欺骗或错误数据，错误地将目标区域归类为平民居住概率极低的区域，”霍兰德·米歇尔通过电子邮件告诉《大众科学》 。“那些根据该系统的评估采取行动的人类士兵不一定知道它有缺陷，而且在非常快节奏的情况下，他们可能没有时间审核系统的评估并发现问题。”

如果测试显示瞄准摄像头可能会误将树木当成平民，士兵们就会知道在战斗中寻找这种错误。如果错误在测试中从未出现过，比如红外传感器检测到多个散热器的热量并将其解读为人，士兵们甚至没有理由相信自主系统出错了，直到射击结束。

讨论机器如何产生错误（尤其是意外错误）很重要，因为否则依赖机器的人可能会认为它是准确的。使这个问题更加严重的是，在现场很难辨别自主机器是如何做出决定的。

[相关：空军人工智能程序让一架无人战斗机飞行了数小时]

“深度学习这种人工智能非常不透明，因此通常被称为‘黑匣子’。它以概率的方式做一些事情，而且通常有效，但我们不知道为什么，”布鲁塞尔自由大学的博士研究员 Maaike Verbruggen 通过电子邮件告诉《大众科学》 。“但如果士兵不知道机器为什么得出这样的结论，他们如何判断机器的建议是否正确呢？”

鉴于激烈战斗中的不确定性，我们有理由期待士兵遵循机器的建议，并假设它们不会出错。然而，在冲突中使用自动机器不可避免地会出现错误。相信机器的行动正确并不意味着士兵可以免于国际法规定的避免意外伤害的义务。

虽然如今已有具备自主功能的武器投入使用，但没有一个国家明确表示愿意信任机器在无需人类参与的情况下瞄准和射击人类。然而，数据错误可能会引发新的问题，让人类为机器的意外和未预料到的行为负责。随着机器变得更加自主，这种危险可能只会增加。

“说到自主武器，魔鬼就在技术细节中，”霍兰德·米歇尔 (Holland Michel) 说道。“人类应该始终对自主武器的行为负责，这话没错，但如果这些系统由于其复杂的算法架构而存在未知的故障点，而现有测试技术无法预料到这些故障点，你如何确保这种责任的履行？”

全自动武器的一个可能用途是只针对其他机器，如无人驾驶飞机，而不是针对人或载人的车辆。但在实践中，这种武器如何收集、解释和使用数据变得非常重要。

霍兰德·米歇尔 (Holland Michel) 说：“如果这种武器因为收集的建筑物相关数据不完整而失败，导致该系统将目标转向人员，那就又回到了原点。”