Lynx R1 MR头显

扩展现实（XR）通常指覆盖虚拟现实（VR）和增强现实（AR）之间整个范围的空间技术。全球已熟悉了在数字空间提供完全沉浸感的VR概念。目前Oculus Quest和PlayStation VR等消费者平台已经能够提供VR设备，这大有助益。但人们可能还不太了解AR，AR试图通过在现实世界之上叠加数字世界来实现增强体验。甚至在这两个XR类别内也会区分不同水平的沉浸感。一些智能眼镜配备单个单色显示屏，还有些智能眼镜（比如Hololens或Magic Leap）提供更先进的AR迭代。

许多人已经熟悉了VR概念，然而市场和全球还在慢慢了解AR。Oculus Quest和PlayStation VR等消费者平台上已经提供VR体验，但大家想要的消费级AR尚需时日。人们希望AR眼镜在具备雷朋的时尚外形的同时，能够具有媲美Oculus Quest的图形功能。但是，目前的光学、无线、续航和处理功能还无法提供支持。高通处于赋能头戴式AR和VR解决方案的最前沿，支持包括Oculus Quest、Ray-Ban Stories和许多其他头显。

最近我与高通技术公司副总裁兼XR业务总经理司宏国（Hugo Swart）交流了高通公司的混合现实（MR）愿景和基础性技术。高通早就在打造XR芯片组和平台，高通技术公司还在支持早期智能手机VR解决方案和首批一体式VR头显（包括广受欢迎的Oculus Quest 2）方面发挥关键作用。

人们为何需要MR 

RGB视频透视AR或MR等技术正在弥合AR发展之路上的短板。大家或许听过微软用“MR”一词描述XR平台，但其本质其实与高通的定义是类似的，即MR指在单个VR终端内同时支持AR和VR。微软的定义指不同终端共享相同的空间计算平台和共享空间。除了处理VR功能之外，高通认为，MR终端必须能够支持彩色摄像头透视，尽可能重现接近现实世界的景象。

具备MR功能的VR终端还必须比目前的VR终端更轻、更紧凑，就像一副AR眼镜。我们已经看到了面向MR的此类终端，比如由骁龙XR2支持的Lynx R1。我期望我们未来能看到苹果和其他从事AR业务的科技巨头推出类似终端。

目前，高通认为XR领域内有四条产品路线正在并行发展：

1. 智能眼镜，从配备单个显示屏（或完全没有显示屏）的简单头戴式设备到提供完整双显3D AR体验的终端。
2. 企业级AR头显，在终端侧运行全部计算并具有高逼真度，能够通过Wi-Fi或5G利用远程渲染提升图形质量。
3. 联网头显，通过有线或无线方式连接另一个计算终端来提供连接和计算，比如智能手机或PC。
4. 具备MR功能的VR终端，具备VR和AR功能。

最终，这些功能将融合到一起，难以区分每个类别的差别。界线会变得模糊，正如目前我们在VR领域看到的情形。

MR特性

在与司宏国交流的过程中，我了解到，为了全方位支持空间计算新形态，必须克服一系列共同的挑战。首先，MR头显需要整个图形处理管线尽可能地实现最低时延，因其必须捕获现实世界正在发生的事情、进行处理、渲染，然后在头显内几乎实时地显示出来。如果不太同步，那么用户会有眩晕感或晕动症。整个过程中不能有任何薄弱环节，显示屏上也不能有。在MR中，每毫秒都很重要，甚至比在VR或AR中更重要。这是高通认识到并正在努力缓解的问题。司宏国表示，高通已成功地将显示的处理时延从以前的30毫秒以上降低到10毫秒以内。

第二，MR需要深入了解环境，能够利用AI算法识别物体并映射用户周围的环境。这一环节让头显能够在现实世界环境之上叠加数字信息，实现AR功能。此外，即使用户在VR模式中使用头显，也需要规避边界和物体。骁龙XR2芯片组是目前XR头显的标配，内置这些功能。 

除低时延和环境感知之外，MR终端需要增强交互性。换言之，用户能够在AR、VR和MR体验中使用不同的用户界面和控制方式进行交互——比如通过手势追踪进行基本交互，通过控制器支持更高强度的应用，例如游戏和创意工作。

MR终端还必须考虑用户如何在头显内与虚拟和实际物体交互，以及对用户沉浸感带来的可能影响。例如，终端需要了解不同类型物体之间的区别，根据物体的相关度对其进行适度的模糊。与前代XR芯片组相比，骁龙XR2的AI性能提升了11倍，这对于赋能上述特性至关重要。

最后，MR头显需要比绝大多数AR头显提供更好的视场（FoV），大多数AR头显的视场通常在30-50度之间。这是因为光折射难以实现，终端的光引擎受限于轻量级和紧凑外形两个因素。因此，目前的技术难以实现超过50度的视场。当然也有一些例外，但由于尺寸和重量的原因，这些解决方案往往更适合工程环境，而非面向消费者。

RGB透视技术是突破这种瓶颈的一种方法，提供用户期望的视场，在时间线上要可行得多。骁龙XR2芯片组专为同时支持多达7路不同摄像头串流而设计，包括超低时延处理、实现无时延RGB透视体验。强大的高通Adreno GPU旨在赋能MR显示屏更高分辨率，减轻由视场增大带来的视觉逼真度损失。人们希望现在就畅享AR和MR，而非等三五年后，轻量级AR头显才最终实现支持合适的视场和性能水平。若要让AR方便易用，MR头显必须蓬勃发展。这将让开发者在目前可用的硬件上，打造面向未来AR头显的体验。

MR：是消费级、还是企业级技术？

MR技术大多从VR和AR中借鉴，因此MR也将有诸多与VR和AR相同的用例。实际上，面向AR和VR的消费者和企业用例几乎可以完美的面向MR迁移。但是，有一些用例在MR中的应用会比在VR或AR中更好。 

其中一项用例就是企业培训。试想能够利用MR的大视场和叠加图形，同时仍可以看到“现实世界”是一种怎样的体验。MR将为工作培训提供强大支持。 

已有企业使用MR应用进行远程协助和引导式工作指导。无论如何，MR应用必将变得比目前简单的2D头显解决方案更强大、更实用。MR应用也有丰富的消费者用例，因为消费者可以将家中的任何表面变成显示屏，同时不会失去对现实世界的空间和情境感知。

最后感想 

众多业内人士都认同AR和VR的融合势不可挡。尽管MR的发展仍处于早期阶段，但近期XR行业正沿着这个方向发展。MR不仅将得益于AR和VR技术的发展，与此同时还会促进AR和VR的发展。未来将会有许多用户希望在单个MR终端上实现所有XR功能。骁龙XR2芯片组内的富含的高通技术创新是实现这一切的核心。不过，并非每个用户都想要统一的终端，有的用户可能更喜欢单一的AR或VR终端。用户想要有所选择，希望市场能够向他们提供多种多样的XR终端和体验方式。正如目前的许多XR头显和Android智能手机一样，未来的大多数终端可能都会采用高通技术。