目标专利:3707采用用于虚拟现实的预测过满填充的系统和方法
专利公开号:CN112313712B
专利权人:交互数字
无效请求书提交日期:2026年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种在服务器处执行的方法,包括;从客户端设备接收头部跟踪位置信息;所述头部跟踪位置信息与所述客户端设备处的用户相关联;预测所述用户在用于显示VR视频帧的扫描输出时间的未来头部位置;其中所述VR视频帧经由所述客户端设备而被显示给所述用户;基于所述用户的所述预测的未来头部位置中的预期误差;确定过满填充因子;基于所述用户的所述预测的未来头部位置和所述过满填充因子;渲染过满填充的图像;以及将包括所述过满填充的图像的所述VR视频帧发送到所述客户端设备以用于向所述用户显示;其中所述用户的所述预测的未来头部位置中的所述预期误差是基于延时分布来计算的;所述延时分布包括针对先前被扫描输出以供所述客户端设备显示的多个VR视频帧的延时度量数据。
根据权利要求1所述的方法,其中所述客户端设备包括头戴式显示器(HMD)。
根据权利要求1至2中任一项所述的方法,其中所述用户的所述预测的未来头部位置中的所述预期误差基于由所述服务器接收的所述头部跟踪位置信息的观察。
根据权利要求1至2中任一项所述的方法,其中所述用户的所述预测的未来头部位置中的所述预期误差基于随时间推移的对网络延时的观察。
根据权利要求1到2中任一项所述的方法,其进一步包括;渲染包含另一过满填充的图像的至少一个其它VR视频帧;其中所述至少一个其它VR视频帧的大小不同于包含所述过满填充的图像的所述VR视频帧的大小。
根据权利要求5所述的方法,其中根据所述服务器与所述客户端设备之间的连接的延时的改变;像素尺寸或纵横比中的至少一者从一个VR视频帧到另一个VR视频帧动态地被改变。
根据权利要求5所述的方法,其中根据所述用户的头部旋转的变化;像素尺寸或纵横比中的至少一者从一个VR视频帧到另一个VR视频帧动态地被改变。
根据权利要求1至2中任一项所述的方法,其中预测所述用户在所述扫描输出时间的所述未来头部位置包括;至少部分地使用所述头部跟踪位置信息来预测所述用户在所述扫描输出时间的所述未来头部位置。
根据权利要求8所述的方法,其中所述头部跟踪位置信息是基于IMU的运动数据。
根据权利要求8所述的方法,其中至少部分地使用所述头部跟踪位置信息来预测所述用户在所述扫描输出时间的所述未来头部位置包括;预测在第一时间T1的第一FOV;其中第一预测FOV基于所预测的第一注视点;以及预测在第二时间T2的第二FOV;其中第二预测FOV基于所预测的第二注视点。
根据权利要求10所述的方法,还包括;基于所述延时分布;选择T1和T2。
根据权利要求11所述的方法,其中T1和T2被选择成使得T1和T2之间的时间间隔包含关于所述延时分布的目标概率。
根据权利要求10所述的方法,其中T1提供所述VR视频帧的预期扫描输出时间的下限;并且T2提供所述VR视频帧的预期扫描输出时间的上限。
根据权利要求10所述的方法,还包括;将与所述预测的第一注视点相关联的第一误差容限加到所述第一预测FOV;以及将与所述预测的第二注视点相关联的第二误差容限加到所述第二预测FOV。
根据权利要求14所述的方法,其中所述第二误差容限大于所述第一误差容限。
根据权利要求14所述的方法,其中分别与所述预测的第一和第二注视点相关联的所述第一误差容限和所述第二误差容限中的每一者基于选自由以下构成的组的预测技术:基于恒定速率的预测(CRP)和基于恒定加速度的预测(CAP)。
根据权利要求14所述的方法,其进一步包括;基于从所述客户端设备接收的所述头部跟踪位置信息;实时确认所述第一误差容限和所述第二误差容限的值。
根据权利要求17所述的方法,其中所述第一误差容限和所述第二误差容限基于所述头部跟踪位置信息与所预测的运动数据之间的误差。
根据权利要求14所述的方法,其中基于所述用户的所述预测的未来头部位置中的所述预期误差来确定所述过满填充因子包括;至少部分地基于所述第一误差容限和所述第二误差容限来设置所述过满填充因子。
根据权利要求19所述的方法,其中所述过满填充因子包括针对水平轴的第一过满填充因子值和针对垂直轴的第二过满填充因子值;所述第一过满填充因子值和所述第二过满填充因子值彼此不同。
根据权利要求14所述的方法,还包括;基于所述第一预测FOV和所述第二预测FOV;确定与所述过满填充的图像相关联的组合FOV。
根据权利要求21所述的方法,其中基于所述第一预测FOV和所述第二预测FOV确定所述组合FOV包括;组合(i)第一调整的预测FOV和(ii)第二调整的预测FOV;其中所述第一调整的预测FOV是通过将所述第一误差容限加到所述第一预测FOV来确定的;并且所述第二调整的预测FOV是通过将所述第二误差容限加到所述第二预测FOV来确定的。
根据权利要求22所述的方法,其中所述组合FOV通过选择包括所述第一调整的预测FOV和所述第二调整的预测FOV的矩形区域而被确定。
根据权利要求22所述的方法,其中所述组合FOV通过选择包括所述第一调整的预测FOV和所述第二调整的预测FOV的六边形区域而被确定。
根据权利要求21所述的方法,其中渲染所述过满填充的图像包括;相对于所述组合FOV的中心点;应用所述过满填充因子。
根据权利要求8所述的方法,还包括;确定时间T;其中所述时间T表示包含所述过满填充的图像的所述VR视频帧的预测扫描输出时间。
根据权利要求26所述的方法,其中所述时间T基于所述延时分布而被预测。
根据权利要求26所述的方法,其中所述时间T对应于所述延时分布的平均值或中值。
根据权利要求26所述的方法,还包括;基于所述用户的所述未来头部位置;预测所述用户在所述时间T内的视场FOV。
根据权利要求29所述的方法,还包括;基于所述用户的头部旋转的方向和速度;确定所述用户在所述时间T内的扩展FOV;以及将所述扩展FOV的中心位置与所述FOV的中心位置对准;以产生最终扩展FOV。
根据权利要求30所述的方法,其中渲染所述过满填充的图像包括;将所述过满填充因子应用于所述最终扩展FOV;所述过满填充因子具有针对水平轴的第一过满填充因子值和针对垂直轴的第二过满填充因子值;其中所述第一过满填充因子值和所述第二过满填充因子值彼此不同。