目标专利:644用于视图合成期间的扭曲和孔填充的装置和方法
专利公开号:CN103518222B
专利权人:高通股份有限公司
无效请求书提交日期:2026年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种视频图像处理方法,其包括: 选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值; 沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置; 在包括第一像素值从所述参考图像到第一映射到的位置的第一映射和第二像素值从所述参考图像到第二映射到的位置的第二映射的两个连续映射之间,确定所述第一映射到的位置和所述第二映射到的位置之间的孔的位置,其中每个孔包括所述第一映射到的位置和所述第二映射到的位置之间的一个或一个以上未映射像素位置;以及通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一位置的像素值,所述选择是基于从针对所述第一映射到的位置和所述第二映射到的位置的参考图像中获得的深度值的,其中,在继续所述连续映射之前执行确定所述孔的位置及选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值。
根据权利要求1所述的视频图像处理方法,其中确定孔的所述位置包括识别所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间的像素位置,所述第二映射到的位置是与所述映射方向相同方向上的位置。
根据权利要求1所述的视频图像处理方法,其中所述像素值包含颜色分量和与所述颜色分量相关联的强度值。
根据权利要求1所述的视频图像处理方法,其中映射多个像素值中的每一者包括从 2D参考图像映射到3D目的地图像。
根据权利要求4所述的视频图像处理方法,其中所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
根据权利要求1所述的视频图像处理方法, 其中,如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同,且所述第一像素值的第一深度值指示到达观察点的第一距离,则选择所述第一映射到的位置处所述第一像素值,所述第一距离大于到所述观察点的由所述第二像素值的第二深度值指示的第二距离,以及其中,如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第二距离大于所述第一距离,则选择所述第二映射到的位置处的所述像素值; 以及 其中,如果所述第一映射到的位置和所述第二映射到的位置相同或从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相反且所述目的地图像中的所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则选择识别未映射的位置的值。
根据权利要求1所述的视频图像处理方法,其进一步包括: 如果所述第一映射到的位置和所述第二映射到的位置相同或具有在所述目的地图像中与所述映射方向相反的方向且所述目的地图像中所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则在所述映射方向的相反方向上检测包含标记为未映射的且邻接所述目的地图像中的所述第二映射到的位置的像素位置;以及将所述所检测像素位置识别为连续孔。
根据权利要求7所述的视频图像处理方法,其中基于限定所述连续孔的第一像素和第二像素的深度值的比较确定所述连续孔的每一像素值,所述第一像素值和所述第二像素值在所述目的地图像中并非孔。
一种视频转换装置,其包括: 用于选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值的装置; 用于沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置的装置; 用于在包含第一像素值从所述参考图像到第一映射到的位置的第一映射和第二像素值从所述参考图像到第二映射到的位置的第二映射的连续映射之间确定所述第一映射到的位置和所述第二映射到的位置之间的孔的位置的装置,其中每个孔包括所述第一映射到的位置和所述第二映射到的位置之间所述目的地图像的一个或一个以上未映射像素位置; 以及 用于通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一位置的像素值的装置,所述选择是基于从针对所述第一映射到的位置和所述第二映射到的位置的参考图像中获得的深度值的,其中在继续所述连续映射之前执行确定所述孔的位置及选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值。
根据权利要求9所述的装置,其中所述用于确定孔的位置的装置经配置以识别所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间的像素位置,所述第二映射到的位置是与所述映射方向相同方向上的位置。
根据权利要求10所述的装置,其中所述用于确定孔的位置的装置进一步经配置以: 如果所述第一映射到的位置和所述第二映射到的位置相同或具有在所述目的地图像中与所述映射方向相反的方向且所述目的地图像中所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则在所述映射方向的相反方向上检测包含将对应的像素位置识别为未映射的像素值且邻接所述目的地图像中的所述第二映射到的位置的像素位置;以及将所检测的像素位置识别为连续孔。
根据权利要求9所述的装置,其中用于通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一位置的像素值的装置经配置以,在所述第一映射到的像素位置和所述第二映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下,在所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间确定所述第二映射到的位置的像素值,其中所述第一映射到的位置和所述第二映射到的位置为连续映射:如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第一像素值的第一深度值指示到达观察点的第一距离,则将所述第一映射到的位置处的所述第一像素值选择为所述像素值,所述第一距离大于到所述观察点的由所述第二像素值的第二深度值指示的第二距离; 如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第二距离大于所述第一距离,则将所述第二映射到的位置处的所述第二像素值选择为所述像素值;以及如果所述第一映射到的位置和所述第二映射到的位置相同或从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相反且所述目的地图像中的所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则将识别未映射的位置的值选择为所述像素值。
根据权利要求9所述的装置,其中所述用于连续映射多个像素值中的每一者的装置经配置以从2D参考图像映射到3D目的地图像,且其中所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
一种视频转换装置,其包括: 存储器,其经配置存储参考图像的像素; 处理器经配置以: 在指定的映射方向上从参考图像连续提取像素; 确定目的地图像中的所提取像素的映射到的位置; 在包括第一像素值从所述参考图像到第一映射到的位置的第一映射和第二像素值从所述参考图像到第二映射到的位置的第二映射的两个连续映射之间,确定所述第一映射到的位置和所述第二映射到的位置之间的所述目的地图像中的空像素位置,其中每个空像素位置包括在所提取像素的位置与先前确定的先前所提取像素的位置之间的一个或多个未映射像素位置;以及通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一空像素位置的空像素值,所述选择是基于从针对所述第一映射到的位置和所述第二映射到的位置处的像素的参考图像获得的深度值的,其中,所述处理器经配置以在确定用于所述目的地图像中的后续提取像素的后续位置之前选择所述空像素值,所述后续提取像素在所提取像素之后从所述参考图像中提取。
根据权利要求14所述的装置,其中所述处理器经配置以在产生所述空像素位置的像素值之后提取第二像素。
根据权利要求14所述的装置,其中参考图像为2D图像,且其中所述目的地图像为3D目的地图像,所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
根据权利要求14所述的装置,其中所述处理器经配置以基于从所述参考图像中的所述像素位置的偏移确定所述目的地图像中的所述所提取像素的位置。
根据权利要求14所述的装置,其中所述处理器经配置以在所述第一映射到的像素位置和所述第二映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下,在所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间确定所述第二映射到的位置的像素值,其中所述第一映射到的位置和所述第二映射到的位置为连续映射。
根据权利要求18所述的装置,其中所述处理器经配置以基于来自所述参考图像的所述第一映射到的位置处的像素和所述第二映射到的位置处的像素的深度值的比较产生所述第二映射到的位置的像素值。
根据权利要求14所述的装置,其中所述处理器经配置以识别所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间的空像素位置,所述第二映射到的位置具有与所述映射方向相同的方向。
根据权利要求14所述的装置,其中所述处理器进一步经配置以: 如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第一像素值的第一深度值指示到达观察点的第一距离,则将所述第一映射到的位置处的所述第一像素值选择为所述像素值,所述第一距离大于到所述观察点的由所述第二像素值的第二深度值指示的第二距离; 如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第二距离大于所述第一距离,则将所述第二映射到的位置处的所述第二像素值选择为所述像素值;以及如果所述第一映射到的位置和所述第二映射到的位置相同或从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相反且所述目的地图像中的所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则将识别未映射的位置的值选择为所述像素值。