论全身追踪与VR社交

Esther | 编辑

《头号玩家》等科幻作品对VR描绘中，人们通常是以第一人称扮演虚拟化身来互动和社交，支持全身操控的虚拟化身可以让VR更加身临其境，让使用者在虚拟空间中也有足够存在感。然而目前，由于成本高、使用复杂等因素，全身追踪技术依然未在VR用户中普及。

据统计，仅在美国就有超过5000万VR用户，大约是5年前的两倍以上。随着VR用户规模增长，虚拟社交场景也逐渐成为可能，人们开始在VR中寻求更多表达自己的方式，比如更丰富的肢体表达能力等等。但VR头显和手柄所能提供的追踪效果有限，尽管你可以使用虚拟化身来代表自己，但却无法直接操控其全身动作。正因如此，Meta官方Avatar系统只有上半身形象，干脆省去了腿和脚，但这种设计并不自然，看起来就像是漂浮在空中的半截身子，常常被用户吐槽。

VR社交带动全身追踪

近年来，人们对于VR社交和互动的需求越来越强烈。多人VR游戏《Gorilla Tag》只能追踪上半身，但通过巧妙的虚拟化身设计和沉浸的游戏体验，该作在上线半年多就收获了150万用户。而在VRChat等应用中，全身追踪似乎是更理想的选择。从YouTube等平台的体验视频来看，用全身追踪来控制虚拟形象，可带来更不一样的玩法。

全身追踪对于虚拟化身玩法很重要，也是未来VR社交必然的趋势。现阶段，全身追踪距离在VR中普及还有一段距离，由于技术的成本和使用门槛对新手并不算友好，因此大概只有硬核VR玩家在VRChat中使用全身追踪。在PC VR端，即使搭配市面有售的Vive Tracker，也需要一定的设置过程，如果在腰部、膝盖、脚部等位置固定追踪模块，不仅用额外的重量影响了VR体验的灵活性，还大幅增加成本。而在VR一体机端，由于光学追踪范围局限等因素，市面上可供选择的优质第三方追踪方案不多。

为了更好的满足普通VR用户的社交需求，降低全身追踪成本将成为必然趋势，当成本降下来，VR全身追踪才更可能普及。那么，未来哪种低成本方案更有望推动全身追踪普及呢？从一些公布的研究来看，我们可以推测出未来可能出现的方案，比如用手机实现全身动捕，或是将光学动捕技术集成在VR头显中。

移动摄像头追踪方案

尽管目前Meta Avatar VR头像只有上半身，但其科研人员在Codec Avatar项目上却探索了全身形象方案，毫无疑问未来也将通过某种方式在VR中追踪用户全身动作。只是由于在Quest 2上用摄像头来追踪全身还很难，短期内Meta可能会为Avatar配备虚拟腿，动作主要靠合成，不原生支持动捕。

尽管如此，Meta这些年来也一直在尝试全身追踪技术研发。比如在2019年F8大会上，就经展示过基于弹幕摄像头的无标记体感追踪方案，特点是可识别骨骼姿态和人体肌肉活动。

近年来随着移动摄像头和计算机视觉技术发展，用手机追踪全身姿态的效果越来越好，即使是单目摄像头取代深度相机，也能追踪人体姿态。比如在Snapchat等平台的AR滤镜已经展现出足够成熟的实时追踪效果，尤其是在AR试穿场景，即使你快速移动四肢，虚拟服装也能实时跟随你移动，边界分割、延迟等方面足够优秀。

就像是目前VR一体机开始支持用手机录制实时MR视频，未来也可以用手机摄像头和算法来实现全身动捕，为用户提供一种追踪模块之外的低成本方案。

除了手机摄像头外，YouTube博主Mysticle利用开源动捕算法和Webcam网络摄像头，也实现了全身定位。

VR头显追踪全身

此前，卡内基梅隆大学的科研人员在Quest 2上也进行了一项尝试，即在手柄上集成广角摄像头来追踪四肢和下半身。这项方案只有32%的时间能良好运行。不过，这依然让我们看到更多可能性，比如未来或许可以通过在VR头显或手柄上配备传感器，来实现更完整的追踪体验。

这种方案可能会依赖复杂的算法，需要从扭曲的摄像头数据中提取用户的骨骼节点，同时还要识别姿态遮挡，并避免因超出追踪范围而丢失信号。此外，需要额外的传感器，增加硬件的重量和成本。

从此前曝光的疑似Quest Pro手柄图来看，Meta似乎在研发内置摄像头的手柄设计，或替代现在的手柄追踪环。假如未来VR手柄上真的配备摄像头，也许可以进一步追踪用户下半身。

参考Switch上大火的《健身环大冒险》游戏，你会发现两个手柄足够追踪全身，一个手柄放在Ring-Con健身环上，另一个固定在大腿上，结合IK算法，可推算下半身和上半身的动作。这种方案也有一定缺点，就是难以独立追踪四肢，只能将上半身、下半身同时定位。

它的巧妙之处是，在健身环中内置简单的柔性传感器，可预测双手之间的距离和移动速度/力度。未来，也许VR头显可以随游戏发售额外的配件，补充VR手柄的定位系统，将额外的手柄用来追踪下半身。这种方案的好处不只是使用方便，也可以利用现有的手柄，成本相对较低。

还有哪些趋势

VR头显本身已经有一定价格门槛，为了让更多人用上全身追踪功能，未来VR厂商可能更倾向于采用与VR头显集成，或是基于手机摄像头的方案。目前，Meta Avatar还未支持全身追踪，一方面考虑到相关硬件成本，另一方面是缺少一种成熟可靠的替代方案。上个月Meta CTO Andrew Bosworth表示：正在为Avatar系统添加无物理追踪的虚拟双腿，让我们看到了简易化全身追踪的可能性。

与此同时，苹果、微软等产品生态相对具有优势，比如微软Kinect就是一款不错的C端体感游戏追踪设备，如果与VR结合，也可以很好的实现全身追踪。而苹果，则可以通过iPhone、iPad的LiDAR传感器和相机模组，以及全身追踪算法来实现简易、优质的全身动态追踪，苹果在专利中就曾描述过类似的方案。除此之外，Apple Watch也可以提供额外的手部追踪功能。

（ END）

 

   推荐阅读    

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网  

关注公众号：拾黑（shiheibook）了解更多

赞助链接：

关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/
四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/