Meta官方吐槽大会？Connect 2022卡马克演讲全文回顾

业界作者：青亭网 2022-10-20 17:37:40

Esther | 编辑

在上周举行的Meta Connect期间，Reality Labs顾问CTO John Carmack（约翰·卡马克）按惯例发表了一年一度的脱稿演讲。我们知道，卡马克脱稿演讲是每年Connect大会的关键环节，他会在演讲中发表自己对于AR/VR等技术的个人见解。与往年不同，卡马克今年使用Quest Pro在VR中进行了近1小时演讲。

与视频演讲不同的是，这一次他使用Meta Avatar出镜，还是没有下半身的那种，与本人并不是特别像。而且虽然这次演讲是在VR中进行，但观众只能在2D视频中观看，不过好在虚拟场景可切换视角，因此可以多机位录制。当然演讲的内容才是重点，比如对于过去一年Meta在运营、研发上的进展卡马克将发表哪些犀利的观点，才是大家所关心的。实际上，今年卡马克从多方面对Meta VR业务和技术进行评价，他不止一次提到自己“不爽”，似乎对VR发展现状有很多话说，俨然成为“Meta官方吐槽大会”。

接下来，青亭网整理了本次演讲的内容，以下是其中的一些重点：

演讲使用的Quest Pro头显，不过并未使用眼球追踪、面部追踪等高级功能；
相比于提升Avatar质量，同时渲染多个Avatar更重要。希望VR互动可以像发短信那么即时；
Home界面或引入虚拟镜子、屏幕共享功能，还会为Avatar引入虚拟手臂；
希望VR语音通话比手机打电话更流畅；
Home和Horizon定位、用途不同，因此场景质量也不同；
XR2+和XR2采用一样的核心，区别是通过新的封装技术来改善效率、扩展内存，实现超频运行；
Meta正在与高通密切合作，研发真正的XR2下一代芯片；
Quest Pro的LCD屏幕支持分区背光，未来或支持局部调光，显示纯黑色；
推出充电底座是为了降低VR使用阻力，提升使用率；
动态注视点渲染功能对性能的提升没有想象中那么大；
未来希望实现多VR头显/手柄共享追踪数据，实现本地多人VR互动；
Meta靠免费VR应用赚不到钱，因此未投资发展免费应用生态，Quest 2涨价后也许会改变这一点；
Meta将Facebook和Meta账号分离花了很大功夫，绑定Facebook账号对Quest 2销量影响不大，大部分新VR用户都有Facebook；
120Hz刷新率适合播放2D视频；
未来会有更多VR健身应用支持手势交互；
VR办公体验还不够理想，VR还不能替代显示器；
MR录屏还需要改善；Meta内部曾为《Beat Saber》录制MR比赛视频，但没成功；
Meta在筹备“更新并关机”功能；
卡马克不支持Meta自研操作系统，目前已改为优化安卓系统。

卡马克表示：去年我就说过，今年Connect大会如果不在Horizon中举办，我会失望的。现在我在VR中发表演讲，也还不是我想要的形式，这其实跟录制视频也没什么差别，不过是虚拟化身替代真人出镜而已。而尽管今年Meta没有将Connect舞台搬到Horizon的虚拟场景，但我和其他人在Horizon房间中观看了Keynote直播，体验感相当不错。

Horizon中的虚拟大屏画质清晰，周围的虚拟特效也小小加分，而且和十几个人在同一个空间中看直播，是不错的体验。

值得注意的是，马克·扎克伯格也通过虚拟化身的形式加入了Horizon的直播活动，虽然只是一个预设的动画，但让我看到了未来虚拟直播的形式。在我的预期中，如果未来在VR中举办活动，演讲者将以虚拟化身的形式在台上讲话，演讲结束后可以走下台阶，到现场观众身边交流和互动，但这将需要Horizon支持大规模空间（至少数百个虚拟房间）、数千人级多人同时在线和实时统一共享功能。

目前，Horizon还需要解决一些关键的技术挑战，不过这些挑战在未来也不是难以逾越。

关于Avatar

当前一个急于解决的问题是，Avatar的渲染质量不够高。今年初，我们看到了对Avatar质量的公开吐槽，因此Meta内部开始致力于呈现更加优质的Avatar技术。为了提升Avatar的质量，Meta还研发了更多渲染优化。

我现在的演讲舞台实际上是一个定制的Horizon空间，这个空间的特点是持续锁定我这个Avatar的细节层次，不管发生什么，这个Avatar的质量也不会下降。但如果你使用正常的Horizon应用，很有可能会看到其他人的Avatar掉帧或闪烁。如果将每个Avatar的渲染质量提升两倍，也许可以解决这个问题，但同时可能牺牲其他方面的性能。

实际上，因为VR一体机的算力等资源有限，所以我担心逼真的虚拟化身系统（比如Codec Avatar）应用起来很困难。在很多情况下，云端渲染也无法解决这一问题。

与此同时，我喜欢Meta Avatars的现状，这个头像系统的可选择性在持续增加，也很开心有新的VR应用引入Meta Avatar。Meta旗下的非VR应用也开始支持Avatars系统，这将会为该系统带来更多受众。

对于Avatars系统，我个人更倾向数量而不是质量，因为在很多应用场景，如果只能同时运行4-8个Avatar，效果并不如同时运行至少几十个Avatar，理想的情况当然是数量越多越好。

实际上，即使在Horizon最多Avatar数量限制内，也可以实现不错的多人活动。比如，将讲话者的Avatar复制并放到每个分区中，这些分区包含一个主区和其他复制区，就像是多元宇宙。观众可以选择排队进入主区与演讲人、企业代表对话，也可以加入好友所在的复制区，体验和主区同样的演讲内容。目前我们还不能解决Avatar规模化的问题，也许分区是个实际的方案。

在Horizon中举办虚拟活动有一定优势，目前已经可以在虚拟空间中实现专业的多机位设置，团队可在虚拟空间中运镜，制片团队可控制演讲画面，就像是拍摄专业的线下活动那样。

在VR中举办活动，有望为研讨会、展会带来实际的价值。与其投入大量成本在线下举办大规模活动，不如将资金用来购买VR头显，每个参与者可以通过VR加入会议。很多情况下，即使你给参会者免费发放VR头显，也是能赚到钱的。

Horizon Home现状

相比于Horizon Worlds，我更关心Horizon Home空间，Meta内部将它称为VR Shell（直译为VR壳、VR框架）。Horizon Home的原始核心程序是我几年前写的，所以我个人比较偏爱它，但就其现状我还是有几点不满意。

首先，近些年Horizon Home性能下降不少，几乎很难锁定在目标的90Hz刷新率，我每次使用VR都会被这个问题困扰。就像我常和开发者们讲，如果VR内容达不到90Hz稳定刷新率，就应该下调到72Hz，这样至少可以更流畅，比高刷新率但抖动、不均匀要好。

当然，低刷新率也有其他的缺点，比如应用启动速度慢，场景切换容易出错等等。为了给用户提供无缝衔接的VR体验，多年来我一直推动通用屏幕共享模式等“一键社交”功能。

比如前不久推出的Home社交模式，尽管目前还存在一些小故障，但是在本地和其他人的Avatar互动很不错，在Explorer主页上可以直接一键邀请好友加入派对，很方便。而且Home社交模式基于本地渲染，未来将有望比Horizon运行更快，支持的Avatar数量更多。当然，我们还需要继续优化Home社交模式，提升用户进入Home的速度。

目前，用户加入好友Home空间大约需要等1分钟，未来希望减少到几秒，这样VR中的互动就可以像发短信一样快速响应。在我的预期中，未来你可以进入同步的VR场景进行社交，速度就像是使用手机打开app那么快。

此外，未来Home可能还会有一些改变，比如将Horizon Worlds中采用的第一人称手臂引入Home的Avatar。目前，你在Home中不能在第一人称看到Avatar的手臂，只能看到两个手柄，未来Meta计划采用模拟的手臂来取代只有手柄的设计。而这将要求用户提前设置自己的Avatar。

此外，可能还会在Home中加入虚拟镜子，引导用户设计自己的形象。通常，VR游戏中的镜子基于单独渲染的视图，画质较低、比较模糊。而未来Meta将在Home中加入一个比较清晰的虚拟镜子，其原理是翻转场景视图，将镜子对面的区域切割，这样镜子中的图像就和周围的场景差不多清晰了。这个技巧是我在开发《Doom 3》时就使用的，

目前，用户可以通过传送系统在Home场景中走动，这种传送交互不够直观，而且只能移动到预设的位置。为了优化Home中的移动机制，我一直在与设计师争执，希望Home可以支持通用的自由探索。然而产品设计则担心，如果用户可以自由走动，可能会走到环境边界，穿模去看VR场景外的部分。

总之，由于Home已经支持社交模式，一大群人在同一个空间却不能自由走动，这种体验并不好。不过，我相信这个问题会在不久后解决。

另一方面，用户在Home社交中可以聊天、照镜子，而未来如果支持屏幕共享，会更有价值。目前，你可以在Home中共下个呢沉浸式视频，未来可能会支持网页应用共享，但我一直在推动一种完全通用的屏幕共享功能，允许好友查看你的VR控制面板。在共享过程中，可能因为重新编码等过程而损失质量，也许可以通过采用中心源串流的方式来优化。

当前，人们几乎可以在屏幕上做所有事情，如果可以让你和其他人快速、简单的分享屏幕，那么将有望为同步社交带来价值。相比于开启Horizon Worlds和Workrooms应用，如果可以在Home中直接共享屏幕，这种体验会更快速、更简单。

宏观来看，我认为未来可以让Home空间产生关联，允许人们在不同的空间中快速穿梭，而且这种虚拟空间不一定要和一个人绑定，也许可以效仿Facebook群组，将这个空间作为多人聚会的场景。我总是说，每一个Facebook群组，都应该在VR中有一个相关联的房间。

当然，我不希望Horizon Home成为另一个Horizon Worlds，这两个产品的用途不同，Worlds更注重动态、互动的空间，而Home的重点则是虚拟化身、控制面板和漂亮的静态场景。Meta内部曾提出在Home加入场景图动画等复杂内容，但我提出了反对，因为这是Horizon Worlds的东西，Home应该保持简单、干净，避免和Worlds有太多重叠功能。

说到这里，Horizon Worlds支持传统多边形网格的决定很好，方便开发者导入高质量的3D虚拟场景。很多人评论，说Horizon Worlds质量看起来没有Home好，这是因为Home场景基于高度优化的3D建模，是在原生几何模型上贴了预照明的纹理。相比之下，Horizon Worlds主要针对用户生成内容去优化，重点是动态的内容和互动功能，因此在图像上可能有所牺牲。在支持多边形网格后，Worlds的质量可能会进一步提升。

另外，Quest 2推出了更多新的优质Home场景，不过数量没我预期的多。说到高质量3D场景，就不得不谈谈glTF等3D标准格式。我们花了大量精力去支持glTF格式，但还没有开发任何相关的内容。我们还未向所有Quest用户/开发者开放glTF支持，目前主要将它作为内部工具的一部分，有时候并不使用该功能。

既然已经开发了glTF支持，倒不如也向所有人开放，即使用户使用glTF模型并不能开发优质的内容，这也是UGC生态的特点所在，总会有人能开发出令人惊艳的优质体验。

关于延迟

对于VR体验，我最关注的一点就是降低动作延迟和使用步骤，不管是定位、打开应用，这个过程都要快速。

去年，Quest的语音延迟很严重，常常将声音卡成两半。而今年，我们大幅优化了语音延迟，甚至还计划进一步降低延迟。我希望，未来通过调整音频驱动的固件，让VR语音交流比手机通话更稳定。

关于Quest Pro

我的想法一直很明确，面向大众推出高性价比的VR头显，是拓展Meta业务和VR市场发展的重要策略。Quest Pro显然并不属于这一范畴，它的定价高，但集成了非常精细的工程技术，探索了多种新的VR设计。

值得注意的是，外观大小是早期驱动Quest Pro设计的因素之一，因为Meta内部认为现有的VR头显体积大，是阻拦VR普及的一大门槛。因此，Quest Pro的设计初衷是将VR做的更小、更紧凑、更时尚，于是采用了Pancake透镜方案。

与Quest 2相比，Pro的头显部分看起来更小，但实际上采用了更大的电池，不过电池和头显前后分离，重量可以更均匀分布。

除了对于外观的考量，Pancake透镜的另一个好处是图像显示的更清楚，尽管Quest Pro的屏幕分辨率和Quest 2接近，但实际显示效果会更好。我常说，限制Quest 2清晰度的主要是光学，而不是分辨率。菲涅尔透镜只能清晰显示视觉中心20-30°的范围，而边缘的图像会看起来比较模糊。相比之下，Quest Pro图像边缘也足够清晰，即使是将由小字组成的密集网页铺满你的视场角，你也可以自然的移动注视点来阅读，不需要左右移动头部，这与Quest 2有很大不同。

不过Pancake的缺点是，由于边缘图像清晰，Quest Pro很难使用固定注视点渲染功能，图像边缘模糊看起来比较明显。相比之下，Quest 2通过固定注视点渲染功能，可将性能优化20%左右。由于VR一体机图形处理能力有限，同时渲染大量像素可能会影响VR的刷新率。

值得注意的一点，Pancake透镜依然存在一定的边缘渐晕效果，图像边缘比中心更暗。如果校正这一现象，那么便可能牺牲中间的部分动态范围，因此目前还没有一个明确的解决方案。很多基于Pancake透镜的VR头显，在高对比度模式下容易出现重影，但我目前在Quest Pro的量产透镜中并没有看到严重的重影问题，所以还不错。

显示屏方面，Quest Pro采用分区两块LCD，配备了完整的背光阵列，可支持分区背光，不过考虑到显示架构的一些设计本身存在一定延迟，我们就没有通过分区背光来实现滚动快门功能。不过，未来我们可能会通过分区背光来支持局部调光，这样就可以通过关闭屏幕上黑色部分的背光，来显示类似于OLED屏幕的纯黑色。

OLED虽然可以显示纯黑色，但它还是存在精度、镜面校正等问题。相比之下，Quest Pro在LCD上也能实现纯黑色显示，显示效果也更好。当然，LCD并不能默认关闭背光，还需要先扫描屏幕，这将需要一定时间，不过大多数VR场景的纯黑区域比较少。

有一项功能我很期待，但Quest Pro目前还不支持，那就是超高动态范围HDR。在理想的情况中，HDR允许你从屏幕中看到每个像素的色彩范围和强度，并选择最佳背光值，将所有的像素的亮度重调到0-255区间。此外，在局部调光LCD屏中实现HDR还有一定局限，比如显示黑色夜空中的明亮星星效果可能并不好，不过显示从室内向室外看的场景时，HDR效果非常好。可以在室内部分显示高质量的暗淡色彩范围，而室外部分则可以将背光亮度调大，让视觉效果看起来非常明亮。当然这只是我的预期，目前还没有这样的技术。

不过，实现HDR的成本相当昂贵。未来，我们希望通过演示预先计算好的HDR场景地图，来探索这项功能的应用场景和价值。

关于Quest Pro的充电底座，它的作用不只是为了充电，更重要的是它可以优化VR头显的使用体验，在你不使用Quest Pro的时候，可以将它放在充电座上，这样下次就可以随时拿起来用。相比之下，人们在使用Quest 2后常常不能及时充电，这一定程度上降低了使用频率，而且也不能及时更新。

硬件方面，Quest Pro整体比Quest 2重，但舒适度广泛提升，长时间佩戴在脸上的压力不大，特别适合看电影、办公等一些比较静态的场景。Meta内部员工曾尝试体验Quest Pro，反馈连续几个小时使用感Quest 2要舒服得多。

关于XR2+芯片

芯片方面，Quest Pro采用了高通骁龙XR2+ SoC，XR2+基本上和XR2基于同一个核心，主要的升级是拓展了内存、优化了散热，因此可以在更高的频率运行，性能更好。简单来讲，就是通过全新的封装技术来改善XR2芯片的散热效率，从而实现超频运行，榨干芯片的性能。

芯片方面的一大提升是内存多了很多，可以更好的进行多任务处理，VR应用不需要牺牲太多性能，因此开发起来更容易。也许开发者可以先通过Quest Pro测试VR应用，经过优化和迭代后，再下放到Quest 2等较低端的VR设备上。

正是因为XR2+带来额外的性能，Quest Pro可以在VR游戏中查看浏览器界面。我觉得，这个功能未来也可能在Quest 2上实现，很多VR应用并不会占用全部内存。

目前，Meta正在与高通密切合作，研发真正的XR2下一代芯片，除了提升CPU和GPU性能外，未来我还期待看到一些专为VR定制的特殊功能。不过，XR2的下一代芯片可能适用于高端VR头显，未来还需要为更便宜的VR头显推出成本更低的方案。

另外，尽管Meta内部有很多人想要自研芯片，但我认为Meta的自研能力还没有到达苹果的水平，与高通合作是一个很好的选择。

注视点渲染功能

Quest Pro支持眼球追踪，这项技术可以有多种用途，比如大家期待的注视点渲染功能。在外界的预期中，注视点渲染功能可将GPU性能提升数倍，目前这是绝不可能的，因为眼球追踪和图像生成架构之间存在矛盾。首先，眼球追踪需要扫描和计算的过程，这意味着延迟，而图像渲染系统需要了解用户在看图像的时候，注视点的实时位置。

目前，Meta眼球追踪系统的延迟大约在50毫秒左右，在这50毫秒中，人眼可以运动很长的距离。不同于手柄定位系统，眼球追踪系统没有加速计，仅通过扫描图像来计算眼球位置难以做到精准。如果眼球追踪不够准确，那么注视点渲染的效果就容易模糊。

降低延迟也不是不可能，比如提前预测用户注视点运动，在GPU渲染每一块图像之前，预测这块区域显示后，是否会进入用户注视点范围。如果在注视点范围内，就将这块区域以完整质量渲染，如果不在注视点范围内，就以较低质量渲染。目前，Meta还未实现这样的技术，VR图像系统有这样的能力，所以我们也许可以和高通合作，在硬件上实现这种功能。

相比于固定注视点渲染，动态注视点渲染对VR图像只有小幅提升，在侧重于着色器渲染的系统中才能优化更多像素。所以，先不要太期待注视点渲染功能。

眼球追踪与社交

很多人希望通过眼球和面部追踪，来模拟细微的面部表情变化，从而带来额外的虚拟社交互动。我不是评论虚拟社交互动的合适人选，不过目前Meta有很多工程师在为此努力，尽可能优化基于眼球/面部追踪的社交体验。

目前，我正在使用Quest Pro来发表演讲，但并没有用上眼球和面部追踪这些特殊功能，因为如果出什么差错，肯定会被人拍下来。实际上，Quest 2首发的时候并未支持手势追踪，后来通过多次迭代才得到优化，未来Quest Pro的眼球/面部追踪会逐步提升到一个不错的水平。

彩色VST透视

关于Quest Pro的彩色高清VST透视功能，首先我并不是MR技术的拥护者，因为还没有看到MR应用的真正价值所在，我也不确定MR能否打开大众市场。尽管如此，Quest Pro彩色透视的体验感很自然，比Quest 2的透视效果大幅提升。图像质量，Quest Pro透视平面的效果很好，但在透视摆动的手指或是一些多边形时，还是可以看到物体周围有伪影。

除了VST透视外，Quest Pro还有一个特点就是头显周围和底部为开放式。我本人喜欢VR的沉浸感，因此多年来一直吐槽Quest 2等头显在鼻子处漏光的效果。我以为用开放式VR头显来玩游戏体验感不好，但实际体验下来并没有想象中那么困扰我。如果想要更好的沉浸感，可以使用磁吸式遮光配件。

与此同时，Quest Pro的开放式设计对于办公、生产力等场景会更有意义。比如你可以通过VR头显下方的缝隙看桌面上的笔记、周围的环境，或是看键盘打字等等，作为键盘追踪的补充。

手柄定位与追踪

Quest Pro配备全新的VR手柄，特点是定位更加灵活，体验感不错。实际上，每个Quest Pro手柄就像是一个完整的计算机系统，其内置追踪系统和摄像头。虽然我不确定这么做是否值得，但在VR手柄上实现这么多功能很神奇，而且也优化了因为遮挡而丢失追踪的问题。不管我把Quest Pro手柄放到桌子下面还是背后，都能正常定位。

当然，这种VR手柄设计也有一定缺点，比如在使用时要注意手指别挡住定位摄像头。另外，精心设计的VR游戏通常为了体验流畅，不需要VR手柄移动到复杂的位置，因此Quest Pro手柄的定位能力不一定会为VR游戏带来太多提升。明智的开发者也不会急于为Quest Pro设计复杂的VR手柄交互，因为目前Quest 2手柄还不支持这样的效果。

未来，我希望VR的定位系统可以同时追踪多个VR头显/手柄，允许多个VR用户在同一空间中共享位置追踪数据，实现本地多人VR体验。

关于定价和定位

我个人仍然希望推动Meta研发超便宜、超轻量的VR产品线，我的目标是实现250美元价位、250g重量。尽管目前Meta没有这样的VR产品，但我还是一直在尝试。也许在未来，可以给VR瘦身，省去一些功能，以实现更舒适的外形、更低的价格，吸引更多人使用。

提到价钱，就要说到Quest 2涨价这件事，显然这是一个不受欢迎的决定。毫无疑问，在消费级VR头显发售一段时间后再涨价不常见。实际上，硬件补贴政策在游戏主机等封闭生态系统很普遍，亏本卖硬件靠软件赚钱是一种常见的商业模式。但这种激励措施可能并不恰当，反而会对产品的使用价值产生反作用。

比如，Quest平台上有一些VR应用是免费的（VRChat、Rec Room等等），这些VR应用常常位居排行榜前列，但Meta通过它们赚不到钱，所以内部也没有主动去推动这些免费应用发展。因此Quest 2涨价有一个很好的优势，就是Meta可以将更多精力放在塑造用户价值上，即使部分用户在购买VR头显后更常使用免费的App Lab应用、WebXR应用、本地侧载VR应用也没问题。

我希望Meta可以尽可能推动免费VR应用发展，这实际上对VR生态是有益的。

Meta账号

利用全新的Meta账号取代Facebook账号登录是一件大事，你可能想象不到Meta内部做了多少工作。网上有不少人反对用Facebook账号登录VR，因此拒绝使用Quest 2。不过Quest 2的销量比Meta此前所有VR头显加一起还多，因此这些反对Facebook的人显然对产品销量影响不大，而且目前还没有发现大量未使用Facebook的新VR用户。

我知道，将不同的账号系统捆绑在一起并不好事，假如你的Facebook账号有问题，这不应该影响你登录VR账号。尽管如此，起初将VR与Facebook系统绑定的一些优势没有实现，除了整合好友列表外，我原本还希望通过用户在Facebook上喜爱、发布的内容，来为VR交友场景带来共同话题。此前我们曾在Venues上尝试过类似的功能，但后期没有通过隐私审查。

人们并不信任这种个人信息读取和共享。实际上，通过大量的监督和审查，Meta希望可以通过获取的数据来做积极的事情。小心处理用户数据对于是一家公司的重要原则，尽管可能会阻碍我们开发适合用户的VR功能。

VR头显定位

VR头显定位的稳定性得到了很大提升，Meta内部有两条技术线路，一种是量产的定位系统，另外一种是科研的定位系统，为了将两种系统合并，Meta付出了巨大投入。因此在过去一年，边界消失、定位丢失等问题已经肉眼可见的减少了一半。

VR头显的定位效果得到了整体提升，不过还是存在个别VR头显定位不稳定的情况。值得注意的是，Quest定位系统需要在具有一定亮度的环境中才能运行，30%用户的使用环境比官方规定的水平更暗，这是一个可怕的数据。尽管Quest可以在更暗的环境中定位，但目前算法未对这些暗光环境取钱优化，接下来Meta有理由重新调整。另一方面，你可以在使用Quest时打开室内灯，来提升定位效果。

VR手柄预测

VR手柄的预测算法得到了优化。此前，《Eleven Table Tennis》的开发者曾反馈，VR乒乓球游戏在Vive和Quest上分别运行时，可以感觉到Quest手柄预测算法不如Vive。因此，Meta对大量数据进行分析，优化了VR手柄位置推算效果。

在优化VR手柄的过程中，我们发现VR手柄的震动和VR头显播放的高音量声音，实际上会干扰头显和手柄中的IMU定位。因此，Meta开始采用一些特殊的措施去过滤、优化这一问题。

Air Link

为了改善Air Link串流效果，Meta推出了专用的配件。在使用Air Link模式时，你最好是将电脑连接网线，而不是连WiFi。如果你已经有完美的Air Link配置，那么USB WiFi配件的提升作用并不大。

相比于商业路由器，VR专用的WiFi配件好在哪呢？它的特点是性能接近高端游戏路由器，比普通的路由器在一些细节上处理的更好，而且使用方便，只需要插在电脑上就能解决很多问题。

App Lab

App Lab的进展不错，我的职责是作为客服的最后一层，通过与内容审核团队跟进，我发现App Lab的审核速度已经足够快。App Lab还加入了应用内购买功能，实际上这个功能应该一开始就推出。

120Hz刷新率

Quest 2正式支持120Hz模式。在探索该功能的应用场景时，我发现高刷新率非常适合播放视频，渲染3D场景还是比较难，除非你预先对模型进行优化。

通常，在刷新率60Hz的屏幕上播放60Hz视频太容易出现闪烁，而在72Hz或90Hz屏幕上播放60Hz视频时也不够稳定，提升不大。相比之下，在120Hz屏幕上播放60Hz视频效果不错，播放120Hz视频的效果会比普通视频更加流畅。

Quest 2可解码4Kx4K分辨率、120Hz刷新率的2D视频，这种功能可用来在VR中播放体育视频，效果很棒。不过，Quest Pro还不支持120Hz刷新率。

手势识别

手势识别技术一直在优化，尽管这种交互方式还远没有触屏那么自然。很多人觉得，可以直接在VR中设计一个虚拟的平板界面，然后用手戳这个界面即可。但问题是，距离越近的交互对延迟越敏感，因为每次运动覆盖的范围比远处更大，所以如果预测算法不够准确/灵敏，那么可能会因为实际手势和虚拟手势位置不匹配，而引起舒适性问题。

当然也有解决这种问题的办法，比如在合成器的时间扭曲中直接移动控制面板，这样也许可以将延迟降低至10毫秒。

如果想要在手势交互中加入反馈，可以设计交互式3D按钮，或是对虚拟菜单进行表面处理，标记出可触控的部分，并且在下面用阴影加深。此外，还可以为触控动作配提示音，来确认交互。

Meta内部有一个专门研究手势交互的实验室，未来将有望进一步提升VR中的手势体验。另外，通过手势追踪API，未来我们会看到手势交互应用在更多VR游戏、VR健身应用中。也许我们需要进一步优化VR手势，来识别/追踪快速的手部运动。

最终，我们希望将手势识别看作是VR头显的主要输入方式，目前这项技术还不够成熟，但差距不算很远。而且在社交等场景手势识别具有一定可用性，比如省去VR手柄交互，允许新手快速上手VR。在演示VR时，手势识别的体验更加自然，比VR手柄更容易学习。

VR办公

每一年，我都会尝试在VR中做一些研究工作，目前VR办公体验还不够理想，但已经越来越接近了。VR生产力应用正在缓慢优化，蓝牙键盘和鼠标追踪效果还不错，只是鼠标滚轮的交互有点奇怪，不过在近期的更新中推出了相应的补丁，也许已经修好了。

多窗口模式越来越好，目前主要支持多个浏览器窗口，不过未来希望可以同时打开多个安卓应用、远程桌面串流等窗口，实现更复杂的多任务处理。

目前VR还不能替代显示器，但它依然有一些优势，比如将手机屏幕放大，可以让我看清手机上更多细节，不过这也可能因人而异。最终，我们确实希望用VR头显取代电脑，在旅行、出差时供你使用。从电脑向VR过渡，前期体验感可能并不好，但取代PC是我们终极的目标。

在我看来，VR需要能够取代其他设备，才能算成功。我们不可能期望人们在现有硬件基础上，再额外购买VR，VR头显应该不仅能带来全新功能，还要能取代现有的硬件产品。

VR视频录制

Quest开始支持高级录制设置，VR录屏效果得到改进，可以设置16:9尺寸和比特率，而且支持运动稳定效果。接下来，我们需要支持3D立体录屏设置。我还希望推出刷新率设置，比如在60Hz刷新率运行VR应用，并以60Hz录制视频。

投屏和MR录屏

VR的投屏流程得到了改善，但我还是希望进一步简化步骤，甚至自动将VR头显屏幕分享到关联的手机客户端。

Quest 2已经支持MR视频拍摄，但这项功能还需要变得更好。Meta内部曾举办一场《Beat Saber》大赛，最后一轮是我对决马克·扎克伯格，并且计划用MR的形式记录比赛，结果并没成功，只能通过剪辑将真人视频和VR录屏缝合。

需要改进的方面

接下来，我想谈一些缺点。首先，Quest的基本可用性需要改进，比如续航有限，更新等问题很容易打断、阻碍VR体验，让用户失望。VR应该是一种炫酷的体验，向其他人演示的过程应该是愉悦的。为了展示VR，Meta还设立了线下门店。接下来，我希望通过改变主线代码来提升VR演示的流程。

Quest的可用性存在很多小问题，不容易解决，但Meta内部已经有足够多的人受够了这些问题。目前，Meta正在筹备一个“更新并关机”功能，这样就可以在关机之前更新到最近版本，下次开机时将无需再更新。我希望，可以将遥测等几乎所有的后台处理任务都放在Quest关机之前或睡眠期间，不影响VR的正常使用，不过这将需要系统级别的控制。

近期有人问我，怎么看待为沉浸式计算平台从头开发全新的OS，现在我也许可以回答这个问题。Meta此前确实为自研OS付出大规模投入，但我并不支持，而且我有一篇关于这件事的内部帖子曾被举报并删除。实际上，我理解为什么要重新开发OS，我清楚的意识到现有OS中浪费资源的部分，有太多我想要重新编写的地方。但如果将VR的OS向第三方开发者开放，便会失去系统优化的优势。

目前，Quest大多数VR应用基于Unity、Unreal等引擎，或是在Chrome浏览器上运行，而优化的操作系统对这些VR应用的影响并不大。

从战略角度讲，Meta拥有自己的操作系统好处是，可以避免因竞争而受到其他科技公司限制，如果自研OS，就可以拥有完全的控制权。但即使自研的OS技术更好，对于第三方开发者生态来讲，也不是明智之举。比如，在开发基于安卓系统的VR内容时，你可以在Stack Overflow或是谷歌文档等平台获取经验和答案，尽管现有的操作系统并非专为VR优化，但它已经拥有成熟的开发者生态，这很有价值。

目前，Meta内部还是有部分OS开发者在优化Quest的安卓系统，我认为他们将会为Quest系统带来超强的升级，比如通过虚拟内存、静态映射资源等方式，加速用户进入VR应用、VR空间的时间。Meta也许可以和Unity、Unreal在引擎侧面上去合作，优化资产配置过程，开发者不需要学习新知识，便可使用新技术。

最后，对于未来的Meta Connect，我希望可以和大家相聚在同一个空间，也许明年我们可以在VR中实现这一点，就像是以前在线下见面那样。

（ END）