索尼3D环境感知研究解析，目标是让所有设备“理解世界”

业界作者：青亭网 2022-06-30 20:10:46

Esther | 编辑

年初索尼正式公布PS VR2，与上一代相比，PS VR2的技术大幅升级，不仅采用4K HDR屏幕、支持注视点渲染，还配备了Inside-Out定位摄像头不再需要追踪基站。

尽管该头显还未正式发售，却已经受到游戏、VR等行业的积极关注。截至目前，PS VR2公开的信息并不详细，不过从索尼在官博中陆续分享的技术方案，或许可以看到未来PS VR2可能会配备的功能和体验。

比如此前青亭网就曾报道索尼研发的一款4K Micro OLED VR原型屏幕，而近期索尼再次公布一项与3D环境感知相关的技术，并声称可帮助AR/VR头显进行3D定位。据悉，索尼在2019年曾举办过一场LBS AR游戏活动“捉鬼敢死队：新人训练”，并在活动中采用了一款外形酷炫的AR头显原型，受到广泛关注。而该AR头显实际上就内置了索尼研发的3D环境识别传感器。

实际上，索尼在3D传感领域有多年探索探索和积累，除了AR/VR外，其技术也广泛应用于AIBO、QRIO娱乐机器人、Airpeak S1等场景。在近期发布的博客中，该公司进一步描述了在该领域的进展、技术路径以及发展方向。

3D环境感知重要性

为了帮助所有的设备理解真实世界，将需要采用3D环境感知技术。索尼表示：3D环境感知的原理是根据摄像头捕捉的数据，分析并感知周围的3D环境、测距，然后重建逼真的3D环境模型。这项技术可广泛应用于多个领域，比如娱乐、机器人、视频制作、AR/VR等等。

演示视频：内有AR眼镜、3D扫描等方案

随着市场对于AR/VR的需求越来越高，也开始需要更准确的3D定位、3D结构识别技术。此外，3D环境识别对于无人机、汽车、机器人等技术发展也很关键，比如机器人需要通过环境感知功能来规划路线、躲避障碍物、操控物体。而在无人机设备上，则是通过3D定位、3D环境结构识别，来帮助无人机控制飞行、检测障碍物，不需要GPS也能稳定导航、准确着陆。

索尼的目标，是想要打造具有环境识别能力的“机器眼”。技术路径方面，其3D环境感知方案由多项核心技术组成，利用IMU、摄像头等传感器来识别环境的3D结构，以及相机在3D空间中的位置。

改善3D环境感知技术

索尼表示：我们一直在开发3D环境感知相关的信号处理技术，以应用于SLAM、VPS等基于摄像头的定位系统，以及根据图像进行3D目标重建等等。

据了解，SLAM使用“映射”的方式为周围环境实时生成3D模型，同时在3D模型中定位设备的位置。索尼的视觉SLAM系统在边缘设备上处理数据，因此需要轻量级、低负载、低延迟的算法，与硬件配合运行。

而VPS是一种针对城市环境、室内设施的室内外定位系统，其特点是通过摄像图像来识别位置，而不是像传统地图一样基于GPS数据。

索尼看重3D传感的准确性、吞吐量、稳定性，但由于环境等多种因素，为3D定位、3D重建带来难题，造成模糊、暗处噪声、镜头失真、户外阳光变化难以识别、缺乏纹理等挑战。而移动设备的3D传感器更需要解决这些问题，因为需要实时捕捉和识别周围的3D环境。

通常，利用图像来定位时，通常需要使用映射功能，而如何在不同光线中稳定运行地图映射，则是问题的关键。尤其是如何将日间和夜间环境中捕捉的图像与数据相关联，从而执行建模。为了解决这一问题，索尼采用了深度学习算法，以适应白天和夜晚的光照变化。

精准重建3D空间结构

3D重建需要将多个摄像头捕捉的时间、空间数据进行整合，然后恢复成可识别的3D结构。在捕捉到的图像中，可估计相机的位置和方向，以及与周围环境的距离变化，并整合法线向量、可靠性、纹理等信息，来合成逼真的3D模型。

而如果使用LiDAR等激光测量设备来识别深度信息，还可以预测物理尺度、提升计算速度和准确度。此外，利用多个设备来读取3D环境位置等信息，可用于开发更好的LBS AR体验。

索尼表示：3D重建的目的是，将真实场景数据化，以供人类和机器人分析和使用。利用云计算服务，可以加速处理数万张高清图像，来创建城市规模的3D模型。

另一方面，一些3D建模场景还需要在边缘设备进行一些轻量化处理。索尼表示：我们正在研发实时3D建模技术，目的是允许智能手机、AR/VR头显等算力有限的设备也能进行3D建模，实时识别周围的环境。

移动设备上实时运行

除了提升不同亮度的运行效果、3D重建准确性外，索尼3D环境感知技术的另一大特色是，可以在移动的设备上进行实时SLAM和3D重建，以适用于汽车、无人机等应用场景。

该技术使移动物体不仅可以通过图像识别其周围环境、位置和与各种物体的距离，还可以立即检测和避开突然出现的障碍物，并了解它可以穿越的区域。不过，这项技术需要实现低延迟的实时传感，为此图像识别的轻量化很重要，这样才能适应不同内存和功耗的设备。在应用于汽车和无人机时，还需要对电机和发动机振动以及不断变化的照明和环境进行适配。

软硬件协同开发

目前，市面上有个大量不同的3D环境感知算法，但是算法、传感器和应用程序在同一平台上集成并不容易。因此，索尼致力于3D传感的软硬件协同开发，并通过边缘设备来优化3D环境感知。另外，索尼视觉传感处理器是一个系统，它允许相机和IMU等采样频率差异很大的设备，通过控制时序进行同步，从而确保高效的算法处理。

索尼表示：根据公共基准测试结果显示，我们的3D重建技术的性能在全球范围达到一流水平。目前，正在为其筹备相关的应用开发，比如为虚拟制作、游戏、测距等场景开发3D资产。

除此之外，索尼还看好将3D传感技术应用于：3D打印、3D可视化、3D地图定位、AR/VR、无人机和车辆的障碍物检测等更多领域。

此外，AR/VR应用的发展，推动了基于真实环境的3D数字化，与SLAM和VPS结合后，可以为用户提供更加虚实融合的体验。

而更长期的应用场景，也包括通过3D传感来帮助机器设备了解周围的环境和自己的位置。索尼认为，当未来AI机器人与人类共存时，这项技术将更加重要。

也就是说，3D环境识别技术可以让虚拟和真实世界联系更紧密，让人类、机器人执行任务更方便。

参考：

https://www.sony.com/en/SonyInfo/research/technologies/3D_environment_sensing/

（ END）