微软LaMAR：专为优化AR定位和3D映射而生

业界作者：青亭网 2023-01-25 13:16:40

Esther | 编辑

自2019年发布以来，HoloLens 2已经应用于多种企业级场景，这些应用场景需要的不只是AR显示技术，AR定位也是一项关键且实用的功能。好的3D定位可将AR固定在正确的位置，这样就可以共享与空间相关的可视化信息。

微软表示：如果任何人用AR头显都可以在物理空间中放置虚拟内容，这些虚拟内容可长期保存，还可以和多人分享，那么AR才可能发挥出全部潜力。为了将AR更好的固定在空间中，将需要基于物理世界构建3D数字地图，这个地图可以定位保存在特定位置的AR，并作为供LBS AR参考的坐标。而构建这样的3D地图，将需要使用空间映射和视觉定位技术。

通常，训练视觉定位算法会使用2D图像，但识别平面图并不能模拟实际的AR定位过程。单个2D图像主要集中在空间中的特定位置。相比之下，AR映射需要采集密集的环境信息，并非只扫描特定的位置。此外，AR头显在定位空间时，需要通过复杂的数据来实现本地环境映射、生成基于空间的数据序列。这些数据包括：惯性数据、无线电信号、深度测量数据、相机姿态、传感器图像等等。这些数据只能在AR头显开启时收集，其余时间无法在本地实时更新。

为了进一步优化AR空间定位算法、加速培训过程，微软推出了LaMAR数据集，作为AR头显空间定位的基准。该数据集可用于训练视觉重定位算法，以提升持续性AR定位的效果。这个数据集包含了100个小时收集的定位数据，覆盖40千米距离、4.5万平方米空间。准确率达厘米级。除了AR头显外，LaMAR数据集也兼容移动设备。LaMAR的另一特点是多元化，记录了天气、环境光、运动等变量。

据青亭网了解，LaMAR由苏黎世微软混合显示和AI实验室、瑞士联邦理工学院（ETH苏黎世）联合研发，是这两家机构研发两年的成果。推出LaMAR的目的是，通过提供基于AR设备手机的多传感器数据，帮助科研人员快速解决AR环境映射和视觉定位的细节，训练出更高效的视觉算法。

细节方面，LaMAR包含多个数据序列，这些序列以不同颜色的路径进行表示，而这些路径实际上是由点云数据组成的。硬件方面，LaMAR使用了HoloLens 2头显和iPhone/iPad，数据来自于LiDAR、IMU、深度传感器、红外传感器。此外，还使用了NavVis M6、VLX等专业测绘系统，对场景进行3D空间建模。

除了数据外，LaMAR也展示了一种AR定位管道，这种管道可自动计算出AR设备的摄像头的实际位置，允许AR设备在机场、工厂等实际场景中更好的映射空间。LaMAR还展示了如何用WiFi或蓝牙信号传输来简化图像检索，以及通过传感器数据的时间来获取空间上下文信息，提升相机姿态预测的准确性。此外，还演示了用户启动AR应用、利用传感数据来定位摄像头姿态、并对比预构建的3D地图，这样一个实际应用的过程。

微软指出：尽管3D映射、AR定位技术在近年来取得了重大进展，但科研人员使用的数据基准并不实际，不能代表现实世界的AR场景。另外，市面上的3D场景数据通常规模较小，而且缺乏多样性，通常仅由固定的摄像头捕捉，缺乏惯性、无线电、深度数据等信息。其精准度大多也难以满足AR的需求。相比之下，LaMAR结合无线电信号，可将准确3D定位的时间从10秒降低至1.4秒（80%准确性）到3.58秒（70%准确性）。

参考：

https://www.collabora.com/news-and-blog/blog/2022/04/05/visual-inertial-tracking-support-for-monado-openxr/

（ END）