美国国家安全局的机器能识别恐怖分子吗？

Ars Technica UK 的一项调查声称，美国国家安全局用来识别巴基斯坦潜在恐怖分子的机器学习算法可能无效，因为我们没有足够的数据来判断恐怖分子的迹象。

据The Intercept泄露的文件显示，美国国家安全局的这个项目，名字很不幸，叫做“天网”，利用巴基斯坦的蜂窝网络流量来识别和监控潜在威胁。与大数据中的许多机器学习算法一样，它需要数百万个值作为输入，并尝试匹配某些模式。Intercept 在 2015 年披露了这一点，但 Ars 的调查深入探讨了该项目实际上有多么无效。

这很像当今科技公司用来管理我们在网上看到的大部分内容的机器学习。Facebook 使用机器学习对新闻推送进行排名，而 Google 已开始在搜索中使用它。

但这些技术只有在机器最初接受大量正确模式示例的训练后才能可靠地发挥作用。在这种情况下，正确的模式可能包括位置、过度更换手机硬件等行为，以及只接听电话而不拨打电话。人权数据分析小组研究主管帕特里克·鲍尔 (Patrick Ball) 告诉 Ars Technica，所使用的数据过于模糊，无法得出任何可靠的结果。

“首先，用于训练和测试模型的‘已知恐怖分子’非常少，”鲍尔说。“如果他们使用与测试模型相同的记录来训练模型，那么他们对模型拟合度的评估就完全是胡说八道。”

天网项目仅使用了七名已知恐怖分子的数据。

鲍尔说，为了测试他们的模型，天网项目只使用了 7 名已知恐怖分子的数据，外加随机抽样的 10 万名手机用户。为了测试他们的算法，美国国家安全局向算法展示了 7 种已知恐怖分子模式中的 6 种，然后展示了所有正常模式，然后要求算法找出隐藏在噪声中的第七种恐怖分子模式。这些计算基于每个手机用户的 80 个变量，根据美国国家安全局的报告，美国国家安全局拥有 5500 万用户的记录。这与巴基斯坦 1.8 亿多公民形成了鲜明对比，使得数据充其量是不完整的。

“充其量是不完整的”也是描述输出的一个好方法。如果 NSA 错过了一半的潜在匹配，那么他们的误报率将达到 0.18%。一张幻灯片上写着：“如果我们允许错过一半的匹配，那么统计算法能够以非常低的误报率找到信使。”搜索了 5500 万条记录，大约 99,000 次命中将是误报。

但所有这些信息都基于可能来自 2011 年或 2012 年的幻灯片。我们也不知道这些幻灯片可能被改进、被丢弃，或者像 2011 年那样在几乎没有监督的情况下被使用。这些幻灯片可能是假的。（情况可能并非如此，但确实有可能。）美国国家安全局现在可能拥有远超 5500 万条记录。

还应该指出的是，我们不知道 NSA 实际上用这些数据做什么。这些数据可能会被编入报告，用于指导无人机袭击，尽管自 2004 年以来，美国无人机袭击巴基斯坦已造成 3,994 人死亡，但政府似乎并没有将每一次匹配都视为威胁。

如果算法用于标记 Facebook 照片或确定向谁展示广告，那么赋予算法如此大的权力并不是什么大问题，但当事关生命时，如此大的误差幅度却是致命的。

“这绝对是错误的科学，”鲍尔说道。