打开MR的正确方式

业界 作者:微软科技 2023-03-18 00:29:58


在BMW全国4S门店,HoloLens 2 混合现实看车应用,正在颠覆传统的带看体验。通过结合实际物理环境,将渲染的模型叠加至真实车身,销售人员与顾客戴上 HoloLens 2,就能够以全息、交互的方式,沉浸式探索车身内部结构和新功能。车型上新更快速,引流拉新更见效,这一创新的看车体验,让混合现实在汽车行业、零售场景的应用又一次掷地有声。


但你是否也会困惑,在偌大的4S店场景里,顾客如何快速、精准地定位到某一台「想看」的车;逼真又动态的3D模型和街景,又如何通过小小的头戴式设备HoloLens 2 传递到顾客眼中。尤其针对建筑、工程设计等需要高精尖渲染模型的行业,微软HoloLens 2 又将如何应对?



围绕着HoloLens 2 这一混合现实的入口,微软有着从云服务、软件层到设备端的全栈技术支持。其中,Azure MR Services 三大关键云服务——Azure Spatial Anchors空间锚点服务、Azure Object Anchors 物体锚点服务、Azure Remote Rendering 远程渲染服务,让头戴式混合现实设备效能与功耗的「兼顾」难题迎刃而解。




 滑动了解 ASA、AOA、ARR 服务 






Azure Spatial Anchors

空间锚点服务



如果把身处的环境比作一个巨大的海床,那么HoloLens 2 就是一艘行进中的船,“知道我们在哪一片海域十分重要”。这就是 Azure Spatial Anchors空间锚点服务的混合现实场景定位


借助ASA服务,HoloLens 2 拥有了即席环境扫描,与预先储存周围环境的 Local Anchor 功能,不仅可以绘制精确的空间地图,也十分便于跨设备、跨平台间的锚点分享、同步与协作。根据 Spatial Anchor 提供的ID,每台设备都可以直接将预先上传至云端的锚点信息「拿来即用」。因此,ASA服务提供了混合现实场景下的 WayFinding寻路功能,可用于发电厂、IDC机房巡检和博物馆导览等复杂场景。



此外,使用 Azure Spatial Anchors 空间锚点服务,无需担心生产环境与数据泄露的安全隐患。出于安全性与经济考量,ASA并不会把整个视频流传至云端,而只把关键锚点以向量、矢量的形式存成点云;同时,ASA 以 Azure Cosmos DB 作为底层架构,在数据存储时添加了多层加密;用户使用HTTP 调用 Azure服务,过程也将得到安全监管。


 滑动了解 AOA、ARR 服务 




Azure Object Anchors

物体锚点服务


与空间锚点「扫描海床、定位海域」不同,Azure Object Anchors 物体锚点服务旨在以沉船(目标物体)本身为锚点,实现在不同的海域中「搜索沉船」。


常规情况下,用户使用 QR Code(二维码)作为混合现实场景中的物体锚点媒介。扫描二维码、经机器视觉识别之后,对应的3D内容将叠加至真实物体之上。如果需要在大量相同的物体表面的相同位置,放置同样的二维码,一则耗时耗力,二则容易因未对准而产生人为误差


Azure Object Anchors 物体锚点服务,直接将真实世界中的目标物体作为锚定点——识别物体外观、捕获3D模型;云端训练 Machine Learning模型后,将学习好的模型从云端下载至本地,可在HoloLens 2 的 Windows ML 中离线使用


AOA服务不仅帮助用户在任意环境中自动、快速定位目标物体,其离线功能也方便用户根据特定的业务场景,自如切换所需的3D模型,同时大大节省了云端资源消耗。除3D模型之外,AOA服务也支持将全息的标记和指令,与3D模型一同叠加在真实对象之上,因而在检修、培训、手术导航等场景中尽其所长。用户也可以直接在内置了AOA服务的微软第一方 Guides应用上,直接将 Hologram 幻灯片叠加在真实物体上。





 滑动了解 ARR 服务 





Azure Remote Rendering

远程渲染服务


兼顾重量、发热量、功耗与效能,是诸如 HoloLens 2 此类的头戴式混合现实设备的共同症结所在。由于无法在设备上放置用于高精度模型渲染,导致发热量很高的图形芯片,HoloLens 2 选择将扫描的模型上传至Azure,使用 Azure Remote Rendering 无限的云端渲染能力,同时支持将实时流式从云传输到设备一端。


◉ 10万面模型与1亿面模型渲染对比

1亿面的模型有更好的细节展示能力


启动远程渲染会话后,ARR服务直接从Azure存储中加载模型进行图形渲染,并能根据本地Camera捕捉到的细节同步调整渲染。用户可以使用ARRT (Azure Remote Rendering Toolkit),在PC端模拟整个上传、渲染过程。


ARR远程渲染服务所提供的1:1高精度模型,实实在在地帮助越来越多的工程师远程工作。例如桥梁巡视与维护,无需高级工程师亲临现场、以身犯险,现在只需通过无人机点云扫描,构建模型,即可获取实时数据,得出实时分析,提供精准预测。既提高了问题解决的效率,也大大提升了安全保障。



END



在针对混合现实场景的三个关键 Azure云服务外,微软还提供了非常丰富的工具箱与全技术栈,从连接真实世界设备的 Azure IoT 服务,到可供开发人员调用的 PaaS级云服务,再到开箱即用的 SaaS级混合现实应用,助力各行各业的企业加速部署、降本增效,实现关键业务增长的目标。


开发人员可以通过常规的 Unity 和虚幻引擎,在 HoloLens 上进行混合现实开发。如果您使用自研引擎,微软也提供了 Open XR 底层架构和 Web XR 技术,助力构建MR应用。



本文观点支持

梅颖广|微软混合现实资深技术解决方案专家

王哲|微软云 APP Consult 高级客户工程师

席骁然|微软混合现实 HoloLens 解决方案专家



 扫码进入 Azure 小程序 

了解更多ASA、AOA、ARR服务

操作原理与现场演示

MR 应用构建 降本增效



微软混合现实 HoloLens 2 是一款不受线缆束缚的头戴式全息计算机,采用人体工程学设计,具有企业级应用程序,可提高用户输出的准确性,提升企业工作效率。


HoloLens 2 可助力企业缩短停机时间,构建敏捷工厂;促进员工队伍转型,确保团队安全工作;远程与专家协作,提供实时数据更新;以 3D 形式传达复杂概念,改革课程设置,开展体验式学习。


云端协力,虚实共生。

关注公众号:拾黑(shiheibook)了解更多

赞助链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接