观看用于训练人工智能了解不同动作的奇怪视频

通过 GIPHY

以动词“移除”为例。作为人类，您了解该词的不同用法，并且您知道从视觉上看，场景会因移除的内容不同而有所不同。从大块物体中取出蜂窝状碎片与从田地中拉出防水布或从智能手机上取下屏幕保护膜看起来不同。但您明白了：在所有这些例子中，都有一些东西被移除了。

但是，计算机和人工智能系统需要学会这些动作是什么样子的。为了实现这一目标，IBM 最近发布了一个大型新数据集，其中包含三秒钟的视频片段，旨在通过向研究人员提供动作动词（如“瞄准”、“俯冲”和“除草”）的视觉示例，帮助研究人员训练他们的机器学习系统。探索它（上面的汽车视频和下面的蜜蜂视频来自数据集并演示了“移除”）可以让你了解机器学习中香肠制作过程的奇妙之处。在“眨眼”下，观众可以看到乔恩·哈姆 (Jon Hamm) 扮演的唐·德雷珀 (Don Draper) 眨眼的片段，以及辛普森一家的片段；还有更多这样的片段。在此处查看数据集的一部分 - 总共有 300 多个动词和一百万个视频。

通过 GIPHY

教会计算机理解视频中的动作比让它们理解图像更难。IBM-MIT 联合实验室的研究员 Dan Gutfreund 表示：“视频更难，因为与物体识别相比，我们处理的问题在复杂性方面要高出一步。因为物体就是物体；热狗就是热狗。”与此同时，理解动词“opening”也很棘手，他说，因为狗张嘴或人开门看起来会有所不同。

该数据集并不是研究人员为帮助机器理解图像或视频而创建的第一个数据集。一个名为 ImageNet 的数据集在教计算机学习识别图片方面发挥了重要作用，其他视频数据集也已经存在：一个叫做 Kinetics，另一个专注于体育运动，还有一个来自中佛罗里达大学，包含“篮球扣篮”等动作。

但古特弗伦德表示，他们的新数据集的优势之一是它专注于他所谓的“原子动作”。这些动作包括从“攻击”到“打哈欠”等基本动作。古特弗伦德表示，将事物分解为原子动作比专注于更复杂的动作（如展示某人换轮胎或系领带）更有利于机器学习。

最后，他说他希望这个数据集能够帮助计算机模型能够像人类一样轻松地理解简单的动作。