清华联手哈佛团队推出全新AI系统:能更准确描述3D场景

2024-01-02 15:26:57 来源:互联网

  近日,清华大学携手哈佛大学共同开发了名为LangSplat的全新AI系统,能够在三维空间内高效、准确地搜索开放式词汇。

  LangSplat是第一个基于3DGS的3D语言场方法,特别引入了SAM和CLIP,在开放词汇3D对象定位和语义分割任务上优于最先进的方法,同时比LERF快199倍。

  加州大学伯克利分校的研究人员于2023年3月展示了语言嵌入式辐射场(LERF),将语言嵌入从现成模型(如CLIP)嵌入到NeRF中,从而在不需要专门培训的情况下,在三维环境中准确识别物体。

  例如在书店的NeRF环境中,用户可以用自然语言搜索特定的书名。这项技术还可用于机器人技术、模拟机器人的视觉训练以及人类与三维世界的互动。

  不过LERF的短板在于不适合实时搜索,且搜索结果准确率低。

  LangSplat为了解决这个短板,使用3D Gaussians构建3D语言场,避免了NeRFs所需的复杂渲染过程,在1440x1080像素的分辨率下,LangSplat比LERF快199倍。

  团队展示了泡有茶叶的茶杯,LERF标记的是两个杯子,而LangSplat标记的是杯子中的液体。在另一个例子中,它可以标记一碗拉面汤中的单个配料。

  LangSplat为了形成3D语言场,使用Meta的“分段任意模型”(Segment Anything Model)从场景的多幅图像中学习分层语义。

  具体来说,图像会被分解成边界清晰的不同物体掩码,而物体又会被进一步分解成整体、部分和子部分。

  然后,CLIP对学习到的遮罩进行处理,其嵌入会训练一个自动编码器,然后用于训练LangSplat的3D Gaussian Splatting。

  研究人员使用LERF和3D OVS两个数据集对LangSplat进行测试,结果显示总体准确率分别达到了84.3%和93.4%,而LERF分别为73.6%和86.8%。

打开游侠APP查看更多精彩
相关资讯
热门资讯
下载APP可查看更多精彩资讯