新姿势!苹果VR头显可根据用户身体动作移动虚拟姿势
- 2021-07-14 03:44:02
- 光子晶体科技
原标题【新专利显示苹果VR头显可能利用神经网络监测用户的姿势】来源: cnBetav
苹果VR或AR头显可以根据监测用户的身体动作来移动用户的虚拟头像,而其电池寿命可以通过一些巧妙的数据传输技术来延长。在美国专利和商标局周二授予的一对专利中,苹果公司认为它可以改进其头显所能提供的东西,涉及到它如何与用户互动,以及它如何与主机设备进行通信。
第一项专利名称为"生成身体姿势信息",涵盖了系统跟踪用户运动的能力,然后使用这些数据来执行其他相关动作。苹果估计,一些沉浸式计算机生成的现实体验需要了解用户的身体姿势。在一些体验中,VR或AR应用可能会根据用户的姿势或动作,对其呈现的内容做出改变,比如游戏中的警卫会对用户的姿势做出不同的反应。
更明确地说,苹果公司建议,了解身体的姿势可以用来控制用户的化身。这在流行的在线社交体验VR聊天等情况下可能很有用,它可以利用其他硬件的运动来改变用户化身的动作。根据该专利,苹果公司建议可以使用各种相机和神经网络来学习姿势,多个神经网络一起工作,为单个身体关节建模。每个神经网络都单独工作,但其结果被反馈到一起以创建整个身体模型。
训练将以多种方式进行,不仅要教授对摄像机数据的理解,还要训练网络如何相互作用,这包括多个神经网络系统的各自拓扑结构。就网络能收集多少关于BB贝博艾弗森官方网站
个人的姿势的信息而言,有说法称监测的关节涵盖颈部、肩关节、肘关节、腕关节、骨盆关节、膝关节、踝关节和指关节。
第二项与VR有关的专利名为"自适应无线传输方案",瞄准了处理头显和主机之间的通信。目前,像Oculus Quest这样的一体式系统,它们会增加设置的重量,虽然系留式设置可以减轻重量,但电缆本身可能是一个问题。解决这个问题的办法是采用无线通信系统,以减轻重量并消除电缆。
然而,即使是无线系统也会引起问题。例如,传输数据需要消耗电力,而且无线系统的可用带宽通常比电缆系统低。还有固有的干扰问题和其他干扰性问题。在这项专利中,苹果建议可以使用无线系统,但为了减少一次性传输的数据量,该系统必须发送更少的视频数据。苹果计划通过使用左眼数据和右眼数据的交错帧传输,希望将使用的带宽减半。