新模型提升机器人三维空间理解与操作能力

5月6日消息，浙江人形机器人创新中心近日联合香港中文大学、浙江大学等团队提出名为RAM的三维空间理解与操作模型，为提升机器人在复杂长程任务中的操作可靠性提供了新的技术路径。相关成果发表于国际学术期刊《科学·机器人》。
以视觉语言大模型为代表的人工智能（AI）技术，提升了机器人理解自然语言指令和分解复杂任务的能力。但从“听懂指令”到“完成动作”之间，仍存在关键鸿沟，机器人需要在三维空间中理解物体的位置、朝向、尺度、可操作区域及相互关系，并将这些信息转化为可执行的运动约束。“针对这一挑战，我们提出了RAM模型，其借鉴检索增强生成的思想，为大模型配备可查询的外部三维知识库。机器人执行任务时，模型可以按需检索物体类别、几何属性、功能平面、抓取点等信息，从而弥补视觉语言模型自身三维空间理解不足的问题。”团队成员、浙江人形机器人创新中心首席技术官许学成介绍。
研究团队还专门构建了面向机器人操作场景的空间理解问答评测集，结果显示，在该评测集覆盖的多类空间推理任务中，RAM模型的整体表现优于多种代表性视觉语言大模型。除核心任务外，RAM展现出一定通用性与扩展性。（科技日报）

©版权声明：如无特殊说明，本站所有内容均为Amassai.net 原创发布和所有。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则，我站将依法保留追究相关法律责任的权利。