对比文件名称：发明申请_US20130215220A1 FORMING A STEREOSCOPIC VIDEO
目标专利名称：用于校正错误深度信息的系统和方法
模型名称：本次调用为专利创造性评估中的特征比对分析
| 技术特征描述及公开性判断结果 | 对比文件原文引用 | 公开性论述 | ||||
| **技术特征A：一种用于产生经校正深度图的电子装置，其包括：深度传感器**<br><br>**直接公开** | [0107] 所述数字成像系统包括用于捕获数字图像流的RGB数码相机和捕获与所述数字图像相对应的范围图像流的范围相机（即，“深度传感器”）。该范围相机由红外激光投影仪与单色数码相机组合而成。 | 对比文件直接公开了深度传感器（“depth sensor”或“range camera”），其功能是捕获场景的范围（深度）信息流，这与目标专利中深度传感器的作用相同。在对比文件的整体技术方案中，深度传感器用于提供3D几何信息以进行视图合成，这与目标专利中用于获取深度信息以进行校正的作用实质相同。因此，技术特征A被直接公开。 | ||||
| **技术特征B：耦合到所述深度传感器的运动传感器，其中所述运动传感器经配置以确定运动信息；**<br><br>**隐含公开** | [0059] 在一些实施例中，用于捕获数字视频200的数字相机可以包括直接感测数字相机位置（无论是绝对相机位置还是相对相机位置）的位置传感器（位置传感器和方向传感器）。感测到的相机位置信息可以随后作为与数字视频200的文件中视频帧205相关联的元数据存储。数字相机中常用的位置传感器类型包括陀螺仪、加速度计和全球定位系统（GPS）传感器。 | 对比文件公开了数字相机可以包含诸如陀螺仪、加速度计等位置传感器，用于感测相机的位置和方向，这实质上是运动传感器。这些传感器确定的信息（位置、方向）构成了运动信息。虽然未明确使用“耦合到深度传感器”的表述，但本领域技术人员能够理解，在包含深度传感器（如范围相机）和位置传感器的数字成像系统（见[0107]）中，这些传感器必然被集成在同一个装置内或通过系统连接，从而“耦合”在一起以协同工作。因此，技术特征B被隐含公开。 | ||||
| **技术特征C：以及 耦合到所述深度传感器和所述运动传感器的处理器，**<br><br>**隐含公开** | [0039] 数据处理系统110包括实现本发明各种实施例的过程的一个或多个数据处理设备...短语“数据处理设备”或“数据处理器”旨在包括任何数据处理设备，例如中央处理单元（“CPU”）... | 对比文件公开了数据处理系统（110），其包含一个或多个数据处理设备（即处理器）。在整个系统中，该处理器需要处理来自深度传感器（范围相机）的图像数据以及来自位置传感器（运动传感器）的运动信息（相机位置），以执行例如视图合成、相机路径平滑等操作（参见[0047], [0078]）。因此，处理器必然与深度传感器和运动传感器功能性地耦合以接收和处理它们的数据。技术特征C被隐含公开。 | ||||
| **技术特征D：获得第一深度图，其中所述第一深度图包括由所述深度传感器在第一取样操作进行取样的场景的第一部分的第一深度信息；**<br><br>**直接公开** | [0053] ...确定范围图系列245，其包括对应于每个视频帧205的范围图250（R1-RN）。范围图250是表示对应视频帧205中每个像素的“范围”（例如，从相机到场景的“深度”）的范围值的2-D阵列。 | 对比文件直接公开了“范围图”（range map），其是包含每个像素深度值的二维阵列，等同于目标专利的“深度图”。范围图对应于特定的视频帧，而视频帧的捕获即是取样操作。因此，获得对应于某个取样时间（第一取样）的视频帧的范围图，即是获得了包含该次取样场景部分深度信息的第一深度图。技术特征D被直接公开。 | ||||
| **技术特征E： 获得第二深度图，其中所述第二深度图包括由所述深度传感器在第二取样操作进行取样的所述场景的第二部分的第二深度信息；**<br><br>**直接公开** | [0053] ...确定范围图系列245，其包括对应于每个视频帧205的范围图250（R1-RN）。 | 同上，对比文件公开了对应于一系列视频帧（即不同取样时间）的范围图系列。获得对应于另一取样时间（第二取样）的另一视频帧的范围图，即是获得了包含该次取样场景另一部分深度信息的第二深度图。技术特征E被直接公开。 | ||||
| **技术特征F：基于所述运动信息来获得指示所述深度传感器在所述第一取样操作与所述第二取样操作之间的移位的移位信息；**<br><br>**隐含公开** | [0059] ...数字相机可以包括直接感测数字相机位置...的位置传感器...感测到的相机位置信息可以随后作为...元数据存储。[0060] 在其他实施例中，相机位置可以通过分析数字视频200来估计。 | 对比文件公开了通过位置传感器直接测量或通过分析视频估计每个视频帧的相机位置（包括3D位置和指向方向）。两个不同取样时间（对应不同视频帧）的相机位置之间的差异，即构成了指示相机（深度传感器搭载于其上）在两次取样之间移位的移位信息。基于运动传感器（位置传感器）的信息来获得这种位置变化（移位信息）是直接的。因此，技术特征F被隐含公开。 | ||||
| **技术特征G：基于所述移位信息来变换所述第一深度图以产生经变换深度图；**<br><br>**隐含公开** | [0092] 可以证明，使用以下几何关系，可以将一个图像帧（具有已知相机参数和范围图）中的像素映射到另一个虚拟视图中的对应像素位置：pV=Ri(pi)KVMVTMiKi−1pi+KVMVT(Ti−TV) (1) 其中 Ki, Mi 和 Ti 是指定输入图像帧 Fi 的相机位置的内在相机参数、旋转矩阵和平移向量，KV, MV 和 TV 是指定新虚拟视图的相机位置的内在相机参数、旋转矩阵和平移向量，pi 是输入图像帧中的 2-D 点，Ri(pi) 是 2-D 点 pi 的范围值，而 pV 是指定新虚拟视图的图像平面中的对应 2-D 点。 | 对比文件公式(1)公开了基于源视图与目标视图之间的相机参数（包括旋转矩阵M和平移向量T，它们共同定义了视图间的移位）以及深度信息（Ri(pi)），将源图像帧（可关联其深度图）中的点映射（变换）到目标虚拟视图的对应位置。这实质上就是基于移位信息（包含在M和T中）对源视图的几何信息（包括深度图）进行变换，以产生与新视图对齐的经变换深度图。虽然公式应用于图像像素，但深度图作为具有深度值的“图像”，同样适用此变换原理。因此，技术特征G被隐含公开。 | ||||
| **技术特征H： 通过比较所述第二深度图的一或多个深度与所述经变换深度图的一或多个深度来检测错误深度信息；**<br><br>**隐含公开** | [0096] 1) p(Fi\ | SFV,fCi) 可以被视为“颜色一致性先验”，并且应反映视频帧 Fi 和虚拟视图 SFV 中的对应像素更可能具有相似的颜色纹理。在一个优选实施例中，该先验定义为：p(Fi,fCi,(x,y)\ | SFV,(x,y),fCi,(x,y))=exp(−βi·ρ(Fi,fCi,(x,y)−SFV,(x,y))) (5)...函数 ρ(·) 是一个鲁棒核，在本例中是绝对距离 ρ(•)=\ | •\ | 。 | 对比文件在贝叶斯视图合成方法中，利用“颜色一致性先验”来评估经扭曲的图像帧（Fi,fCi,(x,y)，可视为经变换的源图像/深度信息的某种表现形式）与目标虚拟视图（SFV，(x,y)，可视为当前视图/第二深度图）对应像素之间的一致性。通过计算两者差异（如绝对距离）并基于此进行概率评估，可以识别出不匹配的像素。这种不匹配可能源于遮挡、深度错误等，对应于目标专利中的“错误深度信息”。虽然对比文件比较的是颜色值，但本领域技术人员容易理解，对于深度图，同样可以通过比较深度值来检测不一致性（错误深度信息）。因此，技术特征H被隐含公开。 |
| **技术特征I：以及通过基于所述经变换深度图校正所述第二深度图的所述错误深度信息来产生经校正深度图。**<br><br>**隐含公开** | [0102] 目标函数的优化具有自动填充经扭曲主图像530中的孔洞的效果。对应置信度先验和颜色一致性先验的组合具有从没有孔洞的经扭曲互补图像540中选择像素值作为最可能的像素值来填充经扭曲主图像530中的孔洞的效果。 | 对比文件描述了通过优化过程（结合了来自多个经变换视图的信息）来合成最终输出图像（SFV），其效果是自动填充目标视图（可类比为第二深度图）中由于遮挡等原因产生的孔洞（即缺失或错误的信息）。这个填充过程利用了来自其他视图（经变换深度图）的对应信息，从而校正了目标视图中的缺失/错误部分，产生了质量改善（经校正）的输出图像/深度图。因此，技术特征I被隐含公开。 | ||||
| **技术特征J：，其中所述处理器经配置以用所述经变换深度图的对应深度信息替换所述错误深度信息。**<br><br>**隐含公开** | [0102] ...从没有孔洞的经扭曲互补图像540中选择像素值作为最可能的像素值来填充经扭曲主图像530中的孔洞。 | 对比文件明确描述了用来自经扭曲互补图像（可视为经变换深度图）的对应像素信息来填充主图像（可视为当前深度图）中的孔洞（即错误/缺失深度信息）。这直接对应于“用经变换深度图的对应深度信息替换错误深度信息”这一校正手段。因此，技术特征J被隐含公开。 | ||||
| **技术特征K：，其中所述处理器经配置以对所述第二深度图的非错误深度信息与所述经变换深度图的对应非错误深度信息求平均。**<br><br>**隐含公开** | [0089] 在其他实施例中，输出图像550的像素值可以通过形成经扭曲主图像530和经扭曲互补图像540中对应像素的加权组合来确定。 | 对比文件提到可以通过对经扭曲主图像（可视为第二深度图）和经扭曲互补图像（可视为经变换深度图）的对应像素进行加权组合（其中包含求平均操作）来确定输出图像的像素值。这隐含了对于非孔洞（即非错误）区域，也可以进行此类融合操作，例如求平均，以平滑或改善结果。因此，技术特征K被隐含公开。 | ||||
| **技术特征L：，其中所述处理器经配置以确定所述第二深度图的所述深度是否比所述经变换深度图的所述深度大阈值量。**<br><br>**隐含公开** | [0096] ...p(Fi,fCi,(x,y)\ | SFV,(x,y),fCi,(x,y))=exp(−βi·ρ(Fi,fCi,(x,y)−SFV,(x,y))) (5) 其中...函数 ρ(·) 是一个鲁棒核，在本例中是绝对距离 ρ(•)=\ | •\ | 。 | 对比文件在颜色一致性先验中，通过计算差异的绝对值ρ(•)来衡量对应像素的不一致程度。虽然未明确提及“阈值量”，但在实际实施中，本领域技术人员为了判断一个位置是否为错误（孔洞），必然需要设定一个判断标准或阈值，当差异超过该阈值时，则认为该位置信息不可靠或错误。公式中的指数衰减形式也隐含了对差异大小的敏感性。因此，通过比较差异与阈值来检测错误信息的方法是隐含的。技术特征L被隐含公开。 | |
| **技术特征M：，其中所述检测所述错误深度信息是基于所述经变换深度图的至少两个深度与所述第二深度图的至少两个深度之间的空间‑时间平均值。**<br><br>**隐含公开** | [0052] 对于细化视差图步骤225的第二处理阶段，视差值在一组围绕特定视频帧Fi的视频帧205上跨时间平滑。...对于每个视频帧205，确定将该视频帧205中的像素位置与特定视频帧Fi中的对应像素位置相关联的运动向量。...然后对为视频帧集合中对应聚类确定的视差值进行平均，以确定细化视差图的细化视差值。 | 对比文件公开了在多个视频帧（时间维度）上对对应区域的视差（深度）值进行平均（时间平均），以得到更可靠的细化值。这涉及使用来自不同时间点（对应经变换视图）的多个深度值与当前帧（第二深度图）的对应区域深度值进行结合（求平均）。虽然此处明确的是用于细化而非初始检测，但本领域技术人员容易想到，这种跨帧（时间）的一致性检查（例如通过平均值比较）同样可用于检测异常值（错误深度信息）。结合空间邻域考虑（如聚类区域）则是常见的扩展。因此，技术特征M被隐含公开。 | ||||
| **技术特征N：，其中所述处理器经配置以：将深度传感器平面上的一或多个点投射到世界坐标上以产生一或多个世界坐标点；旋转所述一或多个世界坐标点；平移所述一或多个世界坐标点；以及重新投射所述一或多个世界坐标点以产生所述经变换深度图。**<br><br>**直接公开** | [0092] 可以证明，使用以下几何关系，可以将一个图像帧（具有已知相机参数和范围图）中的像素映射到另一个虚拟视图中的对应像素位置：pV=Ri(pi)KVMVTMiKi−1pi+KVMVT(Ti−TV) (1)...其中 Ki, Mi 和 Ti 是指定输入图像帧 Fi 的相机位置的内在相机参数、旋转矩阵和平移向量，KV, MV 和 TV 是指定新虚拟视图的相机位置的内在相机参数、旋转矩阵和平移向量，pi 是输入图像帧中的 2-D 点，Ri(pi) 是 2-D 点 pi 的范围值，而 pV 是指定新虚拟视图的图像平面中的对应 2-D 点。 | 对比文件公式(1)完整描述了将图像点从源视图变换到目标视图的几何过程，该过程可分解为：1) 利用内参Ki⁻¹和深度Ri(pi)将图像点pi反投影到相机坐标系（可视为世界坐标的一种表现形式）；2) 通过旋转矩阵Mi^T MV（即相对旋转）和平移向量(Ti-TV)（即相对平移）将这些3D点变换到目标相机坐标系；3) 利用目标相机的内参KV重新投影到目标图像平面得到pV。这完全对应于技术特征N所述的“投影到世界坐标-旋转-平移-重新投影”的变换步骤。因此，技术特征N被直接公开。 | ||||
| **技术特征O：，其中所述检测所述错误深度信息是基于所述第二深度图中的两个或更多个深度的空间平均值。**<br><br>**隐含公开** | [0051] 对于细化视差图步骤225的第一处理阶段，使用图像分割算法来识别具有相似颜色和视差的连续图像区域（即聚类）。然后对每个聚类内的视差值进行平滑。在一个优选实施例中，通过确定每个聚类的平均视差值来平滑视差，然后将分配给聚类中每个像素的视差值更新为等于平均视差值。 | 对比文件公开了通过图像分割将图像划分为具有相似视差（深度）的区域（聚类），并在每个聚类内使用平均视差值进行平滑。这本质上是利用空间上相邻的多个深度值计算平均值，并以此为基础调整视差图。虽然这里明确的应用是“平滑”而非“检测”，但本领域技术人员能够理解，这种基于空间区域平均的一致性度量同样可以用于检测偏离该区域平均值的异常点（即可能的错误深度信息）。因此，技术特征O被隐含公开。 | ||||
| **技术特征P：，其中所述错误深度信息包括深度传感器中断。**<br><br>**直接公开** | [0046] 如本发明背景技术中所讨论的，合成图像新视图的问题之一是在图像帧被扭曲以形成新视图时由于遮挡而产生的孔洞。 | 对比文件明确指出在视图变换（扭曲）过程中会产生“孔洞”（holes）。根据目标专利说明书[0024]-[0025]段的解释，深度传感器中断会导致深度图中的错误，例如完全未能检测到任何内容，在深度图中表现为孔洞。因此，对比文件公开的“孔洞”直接对应于目标专利中由深度传感器中断导致的错误深度信息。技术特征P被直接公开。 |
<<<A>>><<<D>>><<<E>>><<<N>>><<<P>>><<<b>>><<<c>>><<<f>>><<<g>>><<<h>>><<<i>>><<<j>>><<<k>>><<<l>>><<<m>>><<<o>>>