Meta 刚刚发布了一款可帮助计算机“看到”图像中物体的工具

在本周的一篇博客文章中，Meta AI 宣布发布一款新的 AI 工具，该工具可以识别图像中的哪些像素属于哪个对象。Segment Anything 模型 (SAM) 执行一项称为“分割”的任务，这是计算机视觉的基础，即计算机和机器人用来“查看”和理解周围世界的过程。除了新的 AI 模型外，Meta 还向外部研究人员开放了其训练数据集。

史蒂芬·平克 (Steven Pinker) 在 1994 年出版的《语言本能》一书中写道：“35 年的人工智能研究的主要教训是，难题很容易解决，容易的问题很难解决。”这个被称为莫拉维克悖论的悖论在 30 多年后仍然成立。像 GPT-4 这样的大型语言模型能够在几秒钟内生成读起来像人类写的文本，而机器人很难捡起形状奇特的积木——这项任务看似很简单，孩子们在一岁之前就为了好玩而做。

分割属于这种看似简单但技术上很难的类别。你可以看看你的桌子，立刻分辨出什么是电脑，什么是智能手机，什么是一堆纸，什么是揉成一团的纸巾。但对于处理 2D 图像的计算机来说（因为即使视频也只是一系列 2D 图像），一切都只是一堆具有不同值的像素。桌面在哪里结束，纸巾在哪里开始？

Meta 的新 SAM AI 试图以通用方式解决此问题，而不是使用专门设计用于识别某样事物（如面部或枪支）的模型。研究人员表示，“SAM 已经学会了什么是物体的一般概念，它可以为任何图像或视频中的任何物体生成蒙版，甚至包括训练期间未遇到的物体和图像类型。”换句话说，它不仅可以识别已学会识别的物体，还可以猜测不同的物体是什么。SAM 不需要展示数百张不同的揉皱纸巾来区分一张纸巾和你的办公桌，它对事物的一般感知就足够了。

[相关：Facebook 作为 Meta 的首批举措之一：教机器人触摸和感受]

您现在就可以在浏览器中使用自己的图像尝试 SAM。SAM 可以为您选中的任何对象生成蒙版，方法是用鼠标光标单击该对象或在它周围画一个框。它还可以为图像中检测到的每个对象创建蒙版。据研究人员称，SAM 还可以接受文本提示，例如：选择“猫”，但该功能尚未向公众发布。它在分割我们在PopSci上测试的图像方面做得相当不错。

虽然在网上很容易找到大量图像和视频，但高质量的分割数据却小众得多。为了让 SAM 达到这一点，Meta 必须开发一个新的训练数据库：Segment Anything 1-Billion 掩码数据集 (SA-1B)。它包含大约 1100 万张授权图像和超过 11 亿个分割掩码，“质量高、多样性强，在某些情况下甚至可与之前小得多、完全手动注释的数据集中的掩码相媲美”。为了“使分割民主化”，Meta 正在将其发布给其他研究人员。

Meta 对其分割程序有着宏伟的计划。可靠的通用计算机视觉仍然是人工智能和机器人技术中尚未解决的问题——但它具有很大的潜力。Meta 表示，SAM 有朝一日可以识别通过增强现实 (AR) 眼镜看到的日常物品。该公司的另一个名为 Ego4D 的项目也计划通过不同的视角解决类似的问题。这两个项目有朝一日都可能成为一种工具，让用户可以按照说明和分步食谱进行操作，或者在狗碗上为伴侣留下虚拟便条。

更合理的解释是，SAM 在工业和研究领域也有很多潜在用途。Meta 建议用它来帮助农民统计奶牛数量，或者帮助生物学家在显微镜下追踪细胞——可能性无穷无尽。