财新传媒
位置:博客 > Patrick Moorhead > 高通和MR:XR演进的下一步?

高通和MR:XR演进的下一步?

Lynx R1 MR头显

扩展现实(XR)通常指覆盖虚拟现实(VR)和增强现实(AR)之间整个范围的空间技术。全球已熟悉了在数字空间提供完全沉浸感的VR概念。目前Oculus Quest和PlayStation VR等消费者平台已经能够提供VR设备,这大有助益。但人们可能还不太了解AR,AR试图通过在现实世界之上叠加数字世界来实现增强体验。甚至在这两个XR类别内也会区分不同水平的沉浸感。一些智能眼镜配备单个单色显示屏,还有些智能眼镜(比如Hololens或Magic Leap)提供更先进的AR迭代。

许多人已经熟悉了VR概念,然而市场和全球还在慢慢了解AR。Oculus Quest和PlayStation VR等消费者平台上已经提供VR体验,但大家想要的消费级AR尚需时日。人们希望AR眼镜在具备雷朋的时尚外形的同时,能够具有媲美Oculus Quest的图形功能。但是,目前的光学、无线、续航和处理功能还无法提供支持。高通处于赋能头戴式AR和VR解决方案的最前沿,支持包括Oculus Quest、Ray-Ban Stories和许多其他头显。

最近我与高通技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)交流了高通公司的混合现实(MR)愿景和基础性技术。高通早就在打造XR芯片组和平台,高通技术公司还在支持早期智能手机VR解决方案和首批一体式VR头显(包括广受欢迎的Oculus Quest 2)方面发挥关键作用。

 

人们为何需要MR 

RGB视频透视AR或MR等技术正在弥合AR发展之路上的短板。大家或许听过微软用“MR”一词描述XR平台,但其本质其实与高通的定义是类似的,即MR指在单个VR终端内同时支持AR和VR。微软的定义指不同终端共享相同的空间计算平台和共享空间。除了处理VR功能之外,高通认为,MR终端必须能够支持彩色摄像头透视,尽可能重现接近现实世界的景象。

具备MR功能的VR终端还必须比目前的VR终端更轻、更紧凑,就像一副AR眼镜。我们已经看到了面向MR的此类终端,比如由骁龙XR2支持的Lynx R1。我期望我们未来能看到苹果和其他从事AR业务的科技巨头推出类似终端。

目前,高通认为XR领域内有四条产品路线正在并行发展:

  1. 智能眼镜,从配备单个显示屏(或完全没有显示屏)的简单头戴式设备到提供完整双显3D AR体验的终端。
  2. 企业级AR头显,在终端侧运行全部计算并具有高逼真度,能够通过Wi-Fi或5G利用远程渲染提升图形质量。
  3. 联网头显,通过有线或无线方式连接另一个计算终端来提供连接和计算,比如智能手机或PC。
  4. 具备MR功能的VR终端,具备VR和AR功能。

最终,这些功能将融合到一起,难以区分每个类别的差别。界线会变得模糊,正如目前我们在VR领域看到的情形。

 

MR特性

在与司宏国交流的过程中,我了解到,为了全方位支持空间计算新形态,必须克服一系列共同的挑战。首先,MR头显需要整个图形处理管线尽可能地实现最低时延,因其必须捕获现实世界正在发生的事情、进行处理、渲染,然后在头显内几乎实时地显示出来。如果不太同步,那么用户会有眩晕感或晕动症。整个过程中不能有任何薄弱环节,显示屏上也不能有。在MR中,每毫秒都很重要,甚至比在VR或AR中更重要。这是高通认识到并正在努力缓解的问题。司宏国表示,高通已成功地将显示的处理时延从以前的30毫秒以上降低到10毫秒以内。

第二,MR需要深入了解环境,能够利用AI算法识别物体并映射用户周围的环境。这一环节让头显能够在现实世界环境之上叠加数字信息,实现AR功能。此外,即使用户在VR模式中使用头显,也需要规避边界和物体。骁龙XR2芯片组是目前XR头显的标配,内置这些功能。 

除低时延和环境感知之外,MR终端需要增强交互性。换言之,用户能够在AR、VR和MR体验中使用不同的用户界面和控制方式进行交互——比如通过手势追踪进行基本交互,通过控制器支持更高强度的应用,例如游戏和创意工作。

MR终端还必须考虑用户如何在头显内与虚拟和实际物体交互,以及对用户沉浸感带来的可能影响。例如,终端需要了解不同类型物体之间的区别,根据物体的相关度对其进行适度的模糊。与前代XR芯片组相比,骁龙XR2的AI性能提升了11倍,这对于赋能上述特性至关重要。

最后,MR头显需要比绝大多数AR头显提供更好的视场(FoV),大多数AR头显的视场通常在30-50度之间。这是因为光折射难以实现,终端的光引擎受限于轻量级和紧凑外形两个因素。因此,目前的技术难以实现超过50度的视场。当然也有一些例外,但由于尺寸和重量的原因,这些解决方案往往更适合工程环境,而非面向消费者。

RGB透视技术是突破这种瓶颈的一种方法,提供用户期望的视场,在时间线上要可行得多。骁龙XR2芯片组专为同时支持多达7路不同摄像头串流而设计,包括超低时延处理、实现无时延RGB透视体验。强大的高通Adreno GPU旨在赋能MR显示屏更高分辨率,减轻由视场增大带来的视觉逼真度损失。人们希望现在就畅享AR和MR,而非等三五年后,轻量级AR头显才最终实现支持合适的视场和性能水平。若要让AR方便易用,MR头显必须蓬勃发展。这将让开发者在目前可用的硬件上,打造面向未来AR头显的体验。

 

MR:是消费级、还是企业级技术?

MR技术大多从VR和AR中借鉴,因此MR也将有诸多与VR和AR相同的用例。实际上,面向AR和VR的消费者和企业用例几乎可以完美的面向MR迁移。但是,有一些用例在MR中的应用会比在VR或AR中更好。 

其中一项用例就是企业培训。试想能够利用MR的大视场和叠加图形,同时仍可以看到“现实世界”是一种怎样的体验。MR将为工作培训提供强大支持。 

已有企业使用MR应用进行远程协助和引导式工作指导。无论如何,MR应用必将变得比目前简单的2D头显解决方案更强大、更实用。MR应用也有丰富的消费者用例,因为消费者可以将家中的任何表面变成显示屏,同时不会失去对现实世界的空间和情境感知。

 

最后感想 

众多业内人士都认同AR和VR的融合势不可挡。尽管MR的发展仍处于早期阶段,但近期XR行业正沿着这个方向发展。MR不仅将得益于AR和VR技术的发展,与此同时还会促进AR和VR的发展。未来将会有许多用户希望在单个MR终端上实现所有XR功能。骁龙XR2芯片组内的富含的高通技术创新是实现这一切的核心。不过,并非每个用户都想要统一的终端,有的用户可能更喜欢单一的AR或VR终端。用户想要有所选择,希望市场能够向他们提供多种多样的XR终端和体验方式。正如目前的许多XR头显和Android智能手机一样,未来的大多数终端可能都会采用高通技术。

 



推荐 0