Notebookcheck Logo

Meta's OK--机器人可以在无人帮助的情况下整理房间

OK-Robot的人工智能系统在特别不整洁的家庭中只能捡起58.5%的物品（象征性图片：DALL-E / AI）
OK-Robot的人工智能系统在特别不整洁的家庭中只能捡起58.5%的物品（象征性图片：DALL-E / AI）
OK-Robot 是一种新的人工智能系统，它能让机器人整理新居。该系统能识别物品，并将它们放到正确的位置。OK-Robot在非常杂乱的房间里仍然很吃力，但在不太凌乱的房间里，Meta的项目要成功得多。
Accessory AI Science

新型OK-Robot人工智能系统的设计目的是让各种机器人能够整理它们完全陌生的房间。例如，它们可以从地板上拾起衣物或玩具，并将其放置在其他地方。其他机器人系统通常是在熟悉的环境中运行。

OK-Robot 使用 VLM（视觉语言模型），这是一种人工智能系统，能够同时处理和理解来自文本或直接语音和图像的信息。此外，值得注意的是，OK-Robot 还使用了多种开源的 开源人工智能模型，并使用公开的大型数据集进行预训练。

从好的方面看，你无需给机器人提供任何额外的环境训练数据，它就能正常工作。不利的一面是，它只能拾起一个物体，然后把它丢到其他地方。你不能要求它打开抽屉，因为它只知道如何做这两件事。

- 纽约大学计算机科学助理教授 Lerrel Pinto 是该项目的共同负责人

OK-Robot 不仅能在实验室中工作，还在 10 个不同的房间中进行过测试（图片：Arvix）
OK-Robot 不仅能在实验室中工作，还在 10 个不同的房间中进行过测试（图片：Arvix）

纽约大学和 Meta 公司的研究人员使用Hello Robot 公司的商用机器人Stretch对该系统进行了测试。在不同的家庭中进行了 171 次取放实验。在不同的家庭中进行。在实验过程中，机器人使用 Record3D iPhone应用程序扫描环境，创建 3D 视频。然后，OK Robot 系统在视频的每一帧上运行人工智能物体识别模型。

这样，机器人就能识别环境中的所有物体，如一张桌子、一张沙发、一副眼镜、一只鞋和一盏灯。然后，系统会指示机器人拾起某些物品，在 82.2% 的情况下，只要房间不是太杂乱，机器人都会拾起这些物品。 杂乱.然而，在比较杂乱的房间里，它的成功率要低得多。

我想说，完全依赖现成的模型是很不寻常的，而且能让这些模型发挥作用也很了不起。我们已经看到了机器学习领域的一场革命，它让我们有可能创建出不仅在实验室中，而且在开放世界中都能发挥作用的模型。看到这些模型在真实的物理环境中运行是非常有用的信息。

- 马蒂亚斯-明德勒（Matthias Minderer），谷歌 DeepMind 高级计算机视觉研究科学家，没有参与该项目

OK-Robot 使用 CLIP、Lang-SAM、AnyGrasp 和 OWL-ViT 等开放知识模型（图片：arvix）
OK-Robot 使用 CLIP、Lang-SAM、AnyGrasp 和 OWL-ViT 等开放知识模型（图片：arvix）

该系统距离完美还有很长的路要走；例如，它有时难以理解语音输入，其抓取模型在处理某些物体时也存在问题。不过，该项目表明，目前的模型能够较好地处理开放词汇，同时能够在陌生空间中直接导航到正确的物体。

资料来源

麻省理工学院技术评论| VentureBeat| 预告图片：DALL-E / AI| 图片 2,3:arvix

Please share our article, every link counts!
> Notebookcheck中文版（NBC中国） > 新闻 > 新闻档案 > 新闻档案 2024 02 > Meta's OK--机器人可以在无人帮助的情况下整理房间
Nicole Dominikowski, 2024-02-13 (Update: 2024-02-13)