Facebook正在为AI工作和学习创建逼真的家园

 
如果AI驱动的机器人能够帮助我们在房子周围，他们将需要很多经验来驾驭人类环境。模拟器，虚拟世界看起来和行为就像现实一样，是他们学习的最佳场所，Facebook已经创建了最先进的此类系统之一。
被称为Habitat的Facebook新的开源模拟器在几个月前被简要提及，但今天获得了完整的说明性处理，并附有关于CVPR上提交的系统的论文。
教导机器人导航现实世界并完成简单任务是一个花费大量时间的过程，因此在物理空间中使用实际机器人进行操作是不切实际的。可能需要数百小时甚至数年的实时才能学习多次重复，以便最好地从一个地方到另一个地方，或者如何抓握和拉动抽屉。
相反，机器人的AI可以放置在与真实环境近似的虚拟环境中，并且可以像计算机运行控制3D世界的计算一样快速地挖掘基础知识。这意味着您可以在几分钟的紧张计算时间内完成数百或数千小时的培训。
Habitat本身不是一个虚拟世界，而是一个可以运行这种模拟环境的平台。它与几个现有系统和环境(SUNCG，MatterPort3D，Gibson等)兼容，并针对效率进行了优化，因此研究人员可以以数百倍的实际速度运行它。
但Facebook也希望在虚拟世界中推进最先进的技术，因此创建了Replica，一个Habitat的数据库，其中包括一些整体房屋的照片般逼真的房间：厨房，浴室，门，带沙发的起居室，一切。它由Facebook的Reality Labs创建，是对真实环境进行艰苦的摄影和深度绘图的结果。
重建这些细节的细节很高，但您可能会注意到一些文物，尤其是沿着天花板和难以接近的边缘。这些区域可能不是焦点，因为AI视觉代理人不依赖天花板和远处角落的细节进行导航 – 如椅子和桌子的形状，或墙壁定义走廊的方式，更为重要。
然而，更重要的是团队对3D数据所做的无数注释。仅仅捕获3D环境是不够的 – 必须对物体和表面进行一致且详尽的标记。那不仅仅是沙发 – 它是一张灰色沙发，配有蓝色枕头。根据代理人的逻辑，它可能会或可能不知道沙发是“柔软的”，它是“在地毯上”，它是“通过电视”等等。
但是包括这样的标签增加了环境的灵活性，并且全面的API和任务语言允许代理执行复杂的多步骤问题，例如“去厨房并告诉我桌子上花瓶的颜色是什么”。
毕竟，如果这些助手是帮助一个不能轻易绕过他们家的残疾人，他们需要一定程度的精明。 Habitat和Replica旨在帮助创造精明并为代理商提供他们所需的实践。
尽管取得了进步，但Habitat只是迈向真正逼真的模拟器环境的一小步。一方面，代理商本身并没有真实地呈现 – 机器人可能高大或小，有轮子或腿，使用深度相机或RGB。有些逻辑不会改变 – 你的尺寸不会影响从沙发到厨房的距离 – 但有些人会这样做;一个小机器人可能会走在桌子下面，或者无法看到它上面的东西。
此外，尽管Replica和许多其他3D世界都是在视觉上逼真地呈现，但它们在物理和交互性方面几乎完全没有功能。你可以告诉一个经纪人去卧室找到衣柜的第二个抽屉 – 但是根本没办法打开它。实际上没有抽屉 – 只是一块标有这样的风景，不能移动或触摸。
其他模拟器更多地关注物理方面而不是视觉效果，例如THOR，一种模拟器，旨在让AI练习打开抽屉等事情，这是从头开始学习的一项非常困难的任务。我向THOR的两位开发人员询问了Habitat。他们都赞扬平台为人工智能学习导航和观察任务提供了一个强大的实现场所，但强调缺乏互动性，Habitat在其所教授的内容方面受到限制。
然而，显然，两者都需要，而且现在似乎不可能是另一个 – 模拟器可以是物理的或视觉上的现实，而不是两者。 毫无疑问，Facebook和人工智能研究中的其他人正在努力创造一个可以。