研究人员如何训练廉价机器狗完成各种技巧

虽然双足类人机器人是科幻电影的常见场景，但对于许多潜在的现实世界任务，例如从燃烧的建筑物、被洪水淹没的街道或寒冷的荒野中救人，四足“机器狗”更胜一筹。在即将于下个月在亚特兰大举行的机器人学习会议 (CoRL) 上发表的一篇新论文中，斯坦福大学和上海启智研究所的研究人员提出了一种新颖、简化的机器学习技术，该技术使他们能够训练一种基于视觉的算法，使（相对）便宜的现成机器人能够在现实世界中攀爬、跳跃、爬行和奔跑。正如研究人员声称的那样，它们可以自己进行“跑酷”。

传统上，教机器人如何在世界中导航是一项昂贵的挑战。波士顿动力公司的 Atlas 机器人可以在复杂的环境中跳舞、投掷物品和跑酷，但它们是 DARPA 资助研究十多年的成果。正如研究人员在论文中解释的那样，“为预测控制建模机器人及其周围环境所需的大量工程工作以及高昂的硬件成本使人们无法在合理的预算内重现跑酷行为。”然而，人工智能的最新进展表明，在计算机模拟中训练算法，然后将其安装在机器人中，是一种经济有效的训练方法，可以训练它们行走、爬楼梯和模仿动物，因此研究人员开始在低成本硬件上对跑酷进行同样的操作。

研究人员使用两阶段强化学习来训练跑酷算法。在第一个“软动力学”步骤中，虚拟机器人被允许穿透并碰撞模拟物体，但被鼓励——使用简单的奖励机制——尽量减少穿透以及清除每个障碍物并向前移动所需的机械能。虚拟机器人没有得到任何指令——它们必须自己想出如何最好地向前移动，这就是算法学习什么可行、什么不可行的方式。

在第二个“硬动态”微调阶段，使用了相同的奖励机制，但机器人不再被允许与障碍物相撞。同样，虚拟机器人必须找出哪些技术最适合前进，同时最大限度地减少能量消耗。所有这些训练使研究人员能够为每项可以在真实机器人中部署的技能制定“基于单一视觉的跑酷策略”。

结果非常有效。尽管该团队正在研究身高略高于 10 英寸的小型机器人，但它们的相对表现相当令人印象深刻——尤其是在简单的奖励系统和虚拟训练计划的情况下。现成的机器人能够攀爬高达 15.75 英寸（其身高的 1.53 倍）的物体，跳过宽度为 23.6 英寸（其长度的 1.5 倍）的间隙，爬过低至 7.9 英寸（其身高的 0.76 倍）的障碍物，并倾斜以便挤过比其宽度窄几分之一英寸的间隙。

根据《斯坦福新闻》对研究人员的采访，最大的进步是，新的训练技术使机器狗能够仅使用机载计算机和摄像头自主行动。换句话说，没有人可以远程控制。机器人会评估它们必须清除的障碍，从它们的技能库中选择最合适的方法并执行它——如果失败了，它们会再试一次。

研究人员指出，他们的训练方法最大的限制在于模拟环境必须手动设计。因此，未来，该团队希望探索“3D 视觉和图形方面的进步，以便从大规模现实世界数据中自动构建多样化的模拟环境”。这样他们就可以训练出更具冒险精神的机器狗。

当然，斯坦福大学的这个团队并不是唯一一个研究机器狗的团队。在过去的一两年里，我们已经看到了各种形状和大小的四足机器人，它们可以开门、爬墙和爬天花板、在沙地上奔跑、在横梁上保持平衡。但尽管如此，我们距离在野外看到救援机器狗还有一段时间。看来拉布拉多犬还没有失业。

请参阅下面的实际操作：