目标专利:644用于视图合成期间的扭曲和孔填充的装置和方法
专利公开号:CN103518222B
专利权人:高通股份有限公司
无效请求书提交日期:2026年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种视频图像处理方法,其包括: 选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值; 沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置; 在包括第一像素值从所述参考图像到第一映射到的位置的第一映射和第二像素值从所述参考图像到第二映射到的位置的第二映射的两个连续映射之间,确定所述第一映射到的位置和所述第二映射到的位置之间的孔的位置,其中每个孔包括所述第一映射到的位置和所述第二映射到的位置之间的一个或一个以上未映射像素位置;以及通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一位置的像素值,所述选择是基于从针对所述第一映射到的位置和所述第二映射到的位置的参考图像中获得的深度值的,其中,在继续所述连续映射之前执行确定所述孔的位置及选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值。
你好!作为一名经验丰富的专利代理师,我非常乐意为你对该目标专利(CN103518222B)的权利要求1以及你提供的多篇对比文件进行深入、详尽的技术拆解和侵权/无效分析。
在处理专利行政诉讼及无效宣告请求时,准确理解权利要求的保护边界以及对比文件所公开的技术实质是至关重要的。以下是我的专业分析意见:
1. 目标专利的核心技术问题与技术效果
在传统的三维视图合成(如基于深度图像的渲染,DIBR)中,通常分为两个独立的步骤:首先是3D扭曲(3D Warping),将参考视图的像素映射到目标视图;其次是孔填充(Hole Filling),即遍历目标图像,寻找未被映射的空白像素(孔或针孔)并进行填补。
这种“两步法”需要对存储器进行两次完整的遍历,不仅增加了指令周期,还会导致较高的缓存未命中率(Cache Miss Rate)和总线数据流量,从而增加功耗。
目标专利解决的技术问题及方案:
目标专利提出了一种**“单遍循环(Single Pass/Loop)”的处理机制。在映射同一水平线上的像素时,提取参考图像的连续像素(例如从左至右的像素i-1和像素i)。当像素i-1映射到位置X'(i-1),紧接着像素i映射到位置X'(i)时,系统会立即判断这两个映射位置之间是否存在“孔”(即X'(i) > X'(i-1) + 1)。如果存在孔,则立即在继续下一个像素的映射之前**,比较位置X'(i-1)和X'(i)对应的深度值,选择距离相机更近(或符合特定深度逻辑)的像素值来填充这个孔。
技术效果:只需遍历一次像素,在一个过程中同时完成扭曲和孔填充,极大地优化了内存访问效率并降低了功耗。
2. 权利要求1技术特征拆解
特征A(选取方向):选择映射方向(如从左至右)处理共线(同一行)像素。
特征B(连续映射):沿着映射方向将像素逐个映射到目的地图像。
特征C & D(孔的确定):在两个“连续映射”(如上文的像素i-1和像素i的映射)之间,如果目标位置之间存在未映射的像素位置,即判定为“孔”。
特征E(孔填充逻辑):使用第一映射位置和第二映射位置的像素值(即孔左右两端的映射像素),通过比较它们的深度值,选择其中一个来填充该孔。
特征F(时序限制 - 核心特征):在继续连续映射之前执行孔的确定和填充。这就是“单遍循环”的权利要求化表达。
在进行创造性(Three-Step Method,三步法)分析时,最接近的对比文件应当是与目标专利解决的技术问题最相近、公开技术特征最多,且属于同一技术领域的文献。
适合作为最接近的对比文件:D3 (EP1437898A1) 和 D1 (US5929859A)
优选 CPA 1:D3 (EP1437898A1)
整体解决的技术问题:D3涉及将2D图像结合深度信息通过视差变换为其他视角的输出图像,明确指出了由于视角变换会导致遮挡和“孔洞”(Hole artifacts)的出现,并致力于通过优化像素的遍历和重建来提高处理速度并降低内存需求(无需片元缓冲 Fragment buffer)。
技术效果:D3明确提出以“单次扫描(Single scan)”遍历输入扫描线,边扫描边处理遮挡和映射。
特征对应:D3的[0036]段毫无异议地公开了“通过替换孔左右两侧可用的相邻像素值中具有最大z值(深度值)的像素来消除孔伪影”。D3的[0049]段及伪代码公开了“在单次扫描中遍历输入扫描线(Traversing the input scanline in a single scan)”。这实质上公开了目标专利在连续映射之间结合深度比较进行孔填充的动作。
备选 CPA 2:D1 (US5929859A)
整体解决的技术问题:D1同样解决从带有深度信息的2D图像生成视差图像的问题,且致力于提供一种快速且具有成本效益的系统,无需额外的图形内存来存储整个输出图像。
技术效果:D1使用滑动缓冲器(Sliding buffer)即时(on the fly)生成像素。
特征对应:D1在 "Description of Related Art" 和 "Description of the Preferred Embodiments" 中公开了当输入像素向右移动出现孔时,通过比较左右相邻像素的深度(z-value)来填充孔("...the value is substituted of the available neighbouring pixel with the greatest z-value.")。此外,D1通过从左到右处理像素,检测到孔时复制先前的像素值。
不适合作为 CPA 的文件:
D2 (JP2001256482A)、D5 (US20090041339A1)、D7 (JP2004295859A):这些文献虽然都提到了通过比较相邻像素的深度或直接借用相邻像素来填充空白区域,但它们的处理架构通常是“后处理(Post-processing)”式的,即先完成整行或整幅图的映射/偏移,产生空白区域后,再单独进行孔填充(例如D5的Disocclusion unit,D2/D7的补间处理)。这与目标专利“在继续映射之前”的单遍实时处理逻辑偏离较远。
D6 (WO2010024938A2) / D8 (US2011148858A1):主要探讨视图混合(Blending)和多视图合并中的权重和边界Splatting,将孔填充明确列为与混合独立的最后一步("3. Post-processing: Hole-filling")。
D4 (WO2008127676A2):涉及视频编码中的视图拼接(Tiling),不涉及3D扭曲和孔填充,属于不相关的技术方案。
以下是权利要求1的技术特征在各相关对比文件中的公开情况拆解。为简洁及精确,重点对比 D1、D2、D3、D5、D7。
| 技术特征拆解 | D1 (US5929859A) | D3 (EP1437898A1) | D2 (JP2001256482A) / D7 (JP2004295859A) | D5 (US20090041339A1) |
| A: 选择映射方向以处理多个第一共线像素... | 实质公开:按行顺序处理输入像素("process input pixels of a row in a given processing direction")。 | 毫无异议公开:处理水平扫描线上的像素("process the input image in scanline order... Traversing the input scanline")。 | 实质公开:计算画素的偏移量并处理(水平/垂直移动)。 | 实质公开:在水平方向对像素进行移位。 |
| B: 沿着方向连续映射到目的地图像... | 毫无异议公开:顺序处理并将输入像素根据深度转换(shift)到输出位置。 | 毫无异议公开:逐个转换像素到输出域("transforming the input pixel to a transformed input pixel")。 | 实质公开:按像素执行偏移映射。 | 实质公开:逐个像素按亮度值执行偏移。 |
| C: 在两次连续映射之间,确定孔的位置 | 实质公开:利用滑动缓冲区的指示器判断输出位置是否为空,从而检测孔("A hole has occurred if the output location of the buffer 600 is empty...")。 | 实质公开:使用 extent 变量跟踪渲染位置,如果出现跳跃(>1.5)则判定为需要填充的孔。 | 实质公开:识别出偏移后无画素值对应的空白区域(孔)。但并非在“两次连续映射之间”动态确定,而是事后。 | 实质公开:通过Disocclusion unit识别出没有生成值的像素区域(Occlusion/Hole)。事后确定。 |
| D: 孔包括映射位置之间的未映射像素 | 毫无异议公开:孔即输出图像中没有输入像素填充的位置。 | 毫无异议公开:输出像素位置没有被映射覆盖的区域。 | 毫无异议公开:画素に対応付けされる画素値のない空白領域。 | 毫无异议公开:Occluded positions (holes)。 |
| E: 基于映射位置的深度值选择像素值来填孔 | 毫无异议公开:"the value is substituted of the available neighbouring pixel with the greatest z-value." | 毫无异议公开:"As a simple alternative, the value is substituted of the available neighboring pixel with the greatest z-value." | 毫无异议公开:使用相邻图像端部像素进行补间,或者比较景深(距离)。 | 实质公开:使用原始非3D图像的纹理填充,不完全是对比深度值。 |
| F: 在继续连续映射之前执行确定和填孔(单遍) | 实质公开:一边向右处理,一边若发现空缺直接复制前一个像素填充("processing the image from left to right and reproducing the previous pixel value if a hole is detected")。即在处理后续像素时同步处理了孔。 | 实质公开:在伪代码(RenderScanline)中,如果 extent 发现空隙,直接在单次扫描循环内进行渲染或放大的处理。 | 未公开:属于偏移完成后的图像后处理(Image processing/补间)。 | 未公开:由独立的Disocclusion unit在移位后进行。 |
如果你准备针对该目标专利提出无效宣告请求,最薄弱的技术特征是特征 F(“在继续所述连续映射之前执行确定所述孔的位置及选择...像素值”)。
无效攻击逻辑剖析:
特征A-E已被完全公开:D1和D3都已经明确公开了特征A到E的组合(逐行遍历像素、根据深度进行位置映射、发现因遮挡/视差产生的孔、且通过比较孔左右相邻像素的深度/Z-value来选择填孔)。
特征F的显而易见性(Obviousness)攻击:
目标专利主张特征F通过“在映射下一个像素前立即填孔”来实现“Single pass(单遍循环)”,从而节省内存。
然而,D3 (EP1437898A1) 在第[0031]段和[0049]段中明确教导了为了适应现有的视频广播处理硬件并降低内存要求,应当逐条扫描线处理("processing of the input image in scanline order"),并且提出了“在单次扫描中遍历输入扫描线(Traversing the input scanline in a single scan)”的概念。D3的伪代码也展示了在遇到映射间隙时立即进行插值或填充。
D1 (US5929859A) 同样教导了为了节省成本避免使用额外的图形内存("avoids the use of additional graphics memory for storing the output"),使用了滑动缓冲区(Sliding buffer)并“即时(on the fly)”生成输出图像。当指示器显示缓冲区为空(出现孔)时,系统立即("simply reproducing a previously output pixel value if the indicator indicates that the output location is empty")利用先前像素进行填充。
结合启示(Combined Revelations):
即使主审审查员或合议组认为 D3 或 D1 中的伪代码/滑动缓冲机制没有逐字等同于目标专利“在连续两个映射之间执行”的字面限定,我们也可以主张:在已知需要通过比较左右相邻像素深度(如 D1/D3 明确教导的 "greatest z-value")来填孔的前提下,本领域技术人员为了追求流式视频处理(Streaming video processing)的实时性和降低缓存占用,将传统的“两遍处理”(先映射再填孔)优化为“单遍扫描”,在映射相邻像素时顺便完成深度比较与填孔,这仅是计算机编程逻辑中标准的时间与空间复杂度优化(Time-Space Tradeoff)。这属于本领域常规技术手段(常规的流水线/Pipeline设计),不具备突出的实质性特点。
未被 CPA 公开的特征:
严格从字面上看,几乎没有未被 D1 或 D3 实质公开的特征。目标专利将算法级别的“while循环内部操作”写成了步骤要求。这在行政诉讼中极易受到“CPA (D3) + 本领域公知常识”的攻击而导致权利要求整体被无效。
你好!作为一名经验丰富的专利代理师,我非常乐意为你对该目标专利(CN103518222B)的权利要求1以及你提供的多篇对比文件进行深入、详尽的技术拆解和侵权/无效分析。
在处理专利行政诉讼及无效宣告请求时,准确理解权利要求的保护边界以及对比文件所公开的技术实质是至关重要的。以下是我的专业分析意见:
1. 目标专利的核心技术问题与技术效果
在传统的三维视图合成(如基于深度图像的渲染,DIBR)中,通常分为两个独立的步骤:首先是3D扭曲(3D Warping),将参考视图的像素映射到目标视图;其次是孔填充(Hole Filling),即遍历目标图像,寻找未被映射的空白像素(孔或针孔)并进行填补。
这种“两步法”需要对存储器进行两次完整的遍历,不仅增加了指令周期,还会导致较高的缓存未命中率(Cache Miss Rate)和总线数据流量,从而增加功耗。
目标专利解决的技术问题及方案:
目标专利提出了一种**“单遍循环(Single Pass/Loop)”的处理机制。在映射同一水平线上的像素时,提取参考图像的连续像素(例如从左至右的像素i-1和像素i)。当像素i-1映射到位置X'(i-1),紧接着像素i映射到位置X'(i)时,系统会立即判断这两个映射位置之间是否存在“孔”(即X'(i) > X'(i-1) + 1)。如果存在孔,则立即在继续下一个像素的映射之前**,比较位置X'(i-1)和X'(i)对应的深度值,选择距离相机更近(或符合特定深度逻辑)的像素值来填充这个孔。
技术效果:只需遍历一次像素,在一个过程中同时完成扭曲和孔填充,极大地优化了内存访问效率并降低了功耗。
2. 权利要求1技术特征拆解
特征A(选取方向):选择映射方向(如从左至右)处理共线(同一行)像素。
特征B(连续映射):沿着映射方向将像素逐个映射到目的地图像。
特征C & D(孔的确定):在两个“连续映射”(如上文的像素i-1和像素i的映射)之间,如果目标位置之间存在未映射的像素位置,即判定为“孔”。
特征E(孔填充逻辑):使用第一映射位置和第二映射位置的像素值(即孔左右两端的映射像素),通过比较它们的深度值,选择其中一个来填充该孔。
特征F(时序限制 - 核心特征):在继续连续映射之前执行孔的确定和填充。这就是“单遍循环”的权利要求化表达。
在进行创造性(Three-Step Method,三步法)分析时,最接近的对比文件应当是与目标专利解决的技术问题最相近、公开技术特征最多,且属于同一技术领域的文献。
适合作为最接近的对比文件:D3 (EP1437898A1) 和 D1 (US5929859A)
优选 CPA 1:D3 (EP1437898A1)
整体解决的技术问题:D3涉及将2D图像结合深度信息通过视差变换为其他视角的输出图像,明确指出了由于视角变换会导致遮挡和“孔洞”(Hole artifacts)的出现,并致力于通过优化像素的遍历和重建来提高处理速度并降低内存需求(无需片元缓冲 Fragment buffer)。
技术效果:D3明确提出以“单次扫描(Single scan)”遍历输入扫描线,边扫描边处理遮挡和映射。
特征对应:D3的[0036]段毫无异议地公开了“通过替换孔左右两侧可用的相邻像素值中具有最大z值(深度值)的像素来消除孔伪影”。D3的[0049]段及伪代码公开了“在单次扫描中遍历输入扫描线(Traversing the input scanline in a single scan)”。这实质上公开了目标专利在连续映射之间结合深度比较进行孔填充的动作。
备选 CPA 2:D1 (US5929859A)
整体解决的技术问题:D1同样解决从带有深度信息的2D图像生成视差图像的问题,且致力于提供一种快速且具有成本效益的系统,无需额外的图形内存来存储整个输出图像。
技术效果:D1使用滑动缓冲器(Sliding buffer)即时(on the fly)生成像素。
特征对应:D1在 "Description of Related Art" 和 "Description of the Preferred Embodiments" 中公开了当输入像素向右移动出现孔时,通过比较左右相邻像素的深度(z-value)来填充孔("...the value is substituted of the available neighbouring pixel with the greatest z-value.")。此外,D1通过从左到右处理像素,检测到孔时复制先前的像素值。
不适合作为 CPA 的文件:
D2 (JP2001256482A)、D5 (US20090041339A1)、D7 (JP2004295859A):这些文献虽然都提到了通过比较相邻像素的深度或直接借用相邻像素来填充空白区域,但它们的处理架构通常是“后处理(Post-processing)”式的,即先完成整行或整幅图的映射/偏移,产生空白区域后,再单独进行孔填充(例如D5的Disocclusion unit,D2/D7的补间处理)。这与目标专利“在继续映射之前”的单遍实时处理逻辑偏离较远。
D6 (WO2010024938A2) / D8 (US2011148858A1):主要探讨视图混合(Blending)和多视图合并中的权重和边界Splatting,将孔填充明确列为与混合独立的最后一步("3. Post-processing: Hole-filling")。
D4 (WO2008127676A2):涉及视频编码中的视图拼接(Tiling),不涉及3D扭曲和孔填充,属于不相关的技术方案。
以下是权利要求1的技术特征在各相关对比文件中的公开情况拆解。为简洁及精确,重点对比 D1、D2、D3、D5、D7。
| 技术特征拆解 | D1 (US5929859A) | D3 (EP1437898A1) | D2 (JP2001256482A) / D7 (JP2004295859A) | D5 (US20090041339A1) |
| A: 选择映射方向以处理多个第一共线像素... | 实质公开:按行顺序处理输入像素("process input pixels of a row in a given processing direction")。 | 毫无异议公开:处理水平扫描线上的像素("process the input image in scanline order... Traversing the input scanline")。 | 实质公开:计算画素的偏移量并处理(水平/垂直移动)。 | 实质公开:在水平方向对像素进行移位。 |
| B: 沿着方向连续映射到目的地图像... | 毫无异议公开:顺序处理并将输入像素根据深度转换(shift)到输出位置。 | 毫无异议公开:逐个转换像素到输出域("transforming the input pixel to a transformed input pixel")。 | 实质公开:按像素执行偏移映射。 | 实质公开:逐个像素按亮度值执行偏移。 |
| C: 在两次连续映射之间,确定孔的位置 | 实质公开:利用滑动缓冲区的指示器判断输出位置是否为空,从而检测孔("A hole has occurred if the output location of the buffer 600 is empty...")。 | 实质公开:使用 extent 变量跟踪渲染位置,如果出现跳跃(>1.5)则判定为需要填充的孔。 | 实质公开:识别出偏移后无画素值对应的空白区域(孔)。但并非在“两次连续映射之间”动态确定,而是事后。 | 实质公开:通过Disocclusion unit识别出没有生成值的像素区域(Occlusion/Hole)。事后确定。 |
| D: 孔包括映射位置之间的未映射像素 | 毫无异议公开:孔即输出图像中没有输入像素填充的位置。 | 毫无异议公开:输出像素位置没有被映射覆盖的区域。 | 毫无异议公开:画素に対応付けされる画素値のない空白領域。 | 毫无异议公开:Occluded positions (holes)。 |
| E: 基于映射位置的深度值选择像素值来填孔 | 毫无异议公开:"the value is substituted of the available neighbouring pixel with the greatest z-value." | 毫无异议公开:"As a simple alternative, the value is substituted of the available neighboring pixel with the greatest z-value." | 毫无异议公开:使用相邻图像端部像素进行补间,或者比较景深(距离)。 | 实质公开:使用原始非3D图像的纹理填充,不完全是对比深度值。 |
| F: 在继续连续映射之前执行确定和填孔(单遍) | 实质公开:一边向右处理,一边若发现空缺直接复制前一个像素填充("processing the image from left to right and reproducing the previous pixel value if a hole is detected")。即在处理后续像素时同步处理了孔。 | 实质公开:在伪代码(RenderScanline)中,如果 extent 发现空隙,直接在单次扫描循环内进行渲染或放大的处理。 | 未公开:属于偏移完成后的图像后处理(Image processing/补间)。 | 未公开:由独立的Disocclusion unit在移位后进行。 |
如果你准备针对该目标专利提出无效宣告请求,最薄弱的技术特征是特征 F(“在继续所述连续映射之前执行确定所述孔的位置及选择...像素值”)。
无效攻击逻辑剖析:
特征A-E已被完全公开:D1和D3都已经明确公开了特征A到E的组合(逐行遍历像素、根据深度进行位置映射、发现因遮挡/视差产生的孔、且通过比较孔左右相邻像素的深度/Z-value来选择填孔)。
特征F的显而易见性(Obviousness)攻击:
目标专利主张特征F通过“在映射下一个像素前立即填孔”来实现“Single pass(单遍循环)”,从而节省内存。
然而,D3 (EP1437898A1) 在第[0031]段和[0049]段中明确教导了为了适应现有的视频广播处理硬件并降低内存要求,应当逐条扫描线处理("processing of the input image in scanline order"),并且提出了“在单次扫描中遍历输入扫描线(Traversing the input scanline in a single scan)”的概念。D3的伪代码也展示了在遇到映射间隙时立即进行插值或填充。
D1 (US5929859A) 同样教导了为了节省成本避免使用额外的图形内存("avoids the use of additional graphics memory for storing the output"),使用了滑动缓冲区(Sliding buffer)并“即时(on the fly)”生成输出图像。当指示器显示缓冲区为空(出现孔)时,系统立即("simply reproducing a previously output pixel value if the indicator indicates that the output location is empty")利用先前像素进行填充。
结合启示(Combined Revelations):
即使主审审查员或合议组认为 D3 或 D1 中的伪代码/滑动缓冲机制没有逐字等同于目标专利“在连续两个映射之间执行”的字面限定,我们也可以主张:在已知需要通过比较左右相邻像素深度(如 D1/D3 明确教导的 "greatest z-value")来填孔的前提下,本领域技术人员为了追求流式视频处理(Streaming video processing)的实时性和降低缓存占用,将传统的“两遍处理”(先映射再填孔)优化为“单遍扫描”,在映射相邻像素时顺便完成深度比较与填孔,这仅是计算机编程逻辑中标准的时间与空间复杂度优化(Time-Space Tradeoff)。这属于本领域常规技术手段(常规的流水线/Pipeline设计),不具备突出的实质性特点。
未被 CPA 公开的特征:
严格从字面上看,几乎没有未被 D1 或 D3 实质公开的特征。目标专利将算法级别的“while循环内部操作”写成了步骤要求。这在行政诉讼中极易受到“CPA (D3) + 本领域公知常识”的攻击而导致权利要求整体被无效。
你好!作为一名在专利代理和无效确权领域拥有丰富经验的专利代理师,我将针对你提供的目标专利权利要求1,紧密结合两篇对比文件(D1: US5929859A,D2: EP1437898A1)的原文进行深度的技术特征拆解和对比分析。
以下是详细的侵权/无效分析比对与策略制定:
通过将权利要求1拆解为A-F六个技术特征,我们可以清晰地看到D1和D2对其的公开情况。
| 技术特征 | D1 (US5929859A) 的公开情况及原文出处 | D2 (EP1437898A1) 的公开情况及原文出处 |
| 特征A:选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值 |
实质公开。D1指出按特定方向处理图像的一行像素。 原文出处:"...processor is conceived to process input pixels of a row of the input image in a given processing direction..." (Summary部分表格前的段落) |
实质公开。D2公开了沿扫描线(共线像素)进行相反方向的处理。 原文出处:"...sequentially processing the pixels per row in a direction opposite a displacement..." (Para [0011]) 和 "Traversing the input scanline in a single scan." (Para [0049]) |
| 特征B:沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置 |
实质公开。D1使用滑动缓冲器,根据偏移量连续映射像素。 原文出处:"copying the respective input pixel value... into the sliding buffer at a location with an offset depending on the corresponding input pixel shift..." (Summary) |
实质公开。D2描述了对每个输入像素进行位置变换(映射)。 原文出处:"for each input pixel, transforming the input pixel to a transformed input pixel as a function of the associated input pixel depth..." (Para [0006]) |
| 特征C:在包括第一映射和第二映射的两个连续映射之间,确定所述第一映射到的位置和第二映射到的位置之间的孔的位置 |
实质公开。D1明确提到了移位产生的“孔”(空位置)。 原文出处:"The 'holes' which may occur in this way... A hole has occurred if the output location of the buffer 600 is empty..." (Description of Preferred Embodiments) |
实质公开。D2公开了由于视点变换导致输出图像中没有像素映射的位置即为孔。 原文出处:"...hole occurs in the output image 530 due to the fact that no input pixel is present to fill a position..." (Para [0028]) |
| 特征D:其中每个孔包括所述第一映射到的位置和所述第二映射到的位置之间的一个或一个以上未映射像素位置 |
实质公开。D1中提及像素截断移位导致跳过一个或多个像素产生孔。 原文出处:"...if the truncated shift of successive pixels increases (indicating skipping one or more pixels)... This results in a 'hole'..." (Description of Preferred Embodiments) |
实质公开。D2在伪代码中用输出扫描线中的范围(extent + 1.5)来识别间隙(未映射位置)。 原文出处:"if base_extent < extent + 1.5... else Magnify" (Para [0053]) |
| 特征E:通过选择第一/第二映射到的位置之一的像素值来确定孔的像素值,选择是基于从参考图像中获得的深度值 |
实质公开了该概念(作为现有技术指出)。D1指出了填孔通常应该基于相邻像素的深度比较,尽管D1自身的发明点是为了绕开这一步。 原文出处:"Normally the duplicator 640 should then either reproduce the pixel value which was output previously or the pixel value which is going to be output next. Such a choice should be based on the corresponding depth information of the input pixels involved." |
毫无异议公开。D2明确提出了用具有最大z值(深度值)的相邻像素来填充孔。 原文出处:"hole artifacts can be removed by substituting a pixel value obtained through interpolation... As a simple alternative, the value is substituted of the available neighboring pixel with the greatest z-value." (Para [0036]) |
| 特征F:在继续所述连续映射之前执行确定孔的位置及选择像素值(即在同一个循环/单遍处理中“即时”完成) |
实质公开。D1在滑动缓冲器移位输出时即时处理,不需要遍历两次。 原文出处:"...achieves the desired result by simply reproducing a previously output pixel value if the indicator indicates that the output location is empty." |
实质公开。D2强调单遍扫描(single scan),在同一遍历循环中处理映射、遮挡和放大(即填孔)。 原文出处:"Traversing the input scanline in a single scan... pixels can be fed immediately to a FIR video filter block..." (Para [0049]) |
在创造性分析中,选择最接近的对比文件(CPA)通常取决于对比文件与目标专利在解决的技术问题和实现的技术效果上的重合度。
1. 首选 CPA:D2 (EP1437898A1)
契合度分析:目标专利说明书([0031]-[0032]段)明确指出,现有技术需要遍历两次存储器(一次扭曲,一次孔填充),导致效率低下、增加总线业务和功耗。目标专利的核心技术问题是如何在一个过程中(单次循环)同时处置3D扭曲和孔填充。
D2的优势:D2完全命中了这一核心技术问题和效果。D2在段落 [0049] 明确提出了“Traversing the input scanline in a single scan”(在单次扫描中遍历输入扫描线),并在 [0053] 的伪代码中展示了如何在连续映射的间隙进行即时的孔处理(Magnify/Render)。同时,D2在 [0036] 段明确给出了基于深度值(greatest z-value)选择相邻像素的填孔方案。D2从架构动机到技术细节,均与目标专利高度一致,是极其理想的CPA。
2. 备选 CPA:D1 (US5929859A)
契合度分析:D1同样致力于解决硬件资源受限条件下的3D视差图像生成问题,并提出了基于扫描线(Row)方向和滑动缓冲器的“即时”(On the fly)处理方案,避免了对输出图像的完整存储。
作为CPA的劣势:D1的发明核心("insight of the inventor")恰恰是避免进行深度比较。D1通过巧妙设计处理方向和检查缓冲器是否为空,省去了深度比较步骤。虽然D1提及了“基于深度的选择”是常规做法,但将其作为被克服的缺点来描述。因此,若以D1为CPA,专利权人很容易用“D1存在相反的技术教导(teaching away)”来反驳。
未被最接近的对比文件(D2)公开的特征是否被其他文件公开?
实际上,D2几乎完整地公开了目标专利权利要求1的所有技术特征。即使争辩D2的伪代码没有极其严格地界定“在继续连续映射下一个像素之前”这种指令级别的时序(特征F的字面限定),这一特征在D1中也得到了印证(通过滑动缓冲器边移位边处理孔)。
若针对该目标专利提出无效宣告请求,技术特征E和技术特征F的结合构成了该权利要求最薄弱的环节。
薄弱原因:目标专利权利要求1的实质在于:单遍扫描(即时发现孔,特征F) + 深度比较填孔(特征E)。
在D2中,单遍扫描是明确的整体架构目标("single scan"),而基于最大z值("greatest z-value")选择相邻像素填孔也是D2明示的简单替代方案("simple alternative")。
即使专利权人辩称特征E中的“通过选择第一/第二映射到的位置之一”不等同于D2中的“相邻像素”,这在图像处理逻辑中也是同义替换(因为孔正是夹在前后两个连续映射的像素之间的,所谓的相邻像素必然就是发生跳跃映射的这两个像素)。
并且,D1作为辅助对比文件,直接将“根据输入像素的深度信息在前后输出像素中做选择”定性为本领域的常规手段("Normally the duplicator 640 should... Such a choice should be based on the corresponding depth information")。
无效策略建议:
采用 D2 作为最接近的现有技术,结合本领域的公知常识(或D1作为辅助证据) 提出无效。
论证逻辑:D2已经公开了逐行单次扫描(特征A、B、F),公开了识别孔(特征C、D),且明确教导了利用相邻像素的深度值(z-value)进行像素替换以填充孔(特征E)。目标专利权利要求1仅是将D2中披露的各技术手段进行常规组合,以实现无需双重遍历的计算优化,未能产生预料不到的技术效果,不具备创造性。
这是一份为您定制的专利权无效宣告请求书(正文及具体理由部分)。文件采用了中国国家知识产权局(CNIPA)无效宣告请求阶段的标准法律文书体例,严格按照“三步法”逻辑展开,并确保了对比文件原文引用的准确性。
目标专利: CN103518222B “用于视图合成期间的扭曲和孔填充的装置和方法”
请求宣告无效的范围: 权利要求1
无效宣告理由: 涉案专利权利要求1不符合《中华人民共和国专利法》第二十二条第三款关于创造性的规定,应当予以宣告无效。
证据1(简称D1): US5929859A (Parallactic depth-dependent pixel shifts)
证据2(简称D2): EP1437898A1 (Video filtering for stereo images)
请求人认为,涉案专利权利要求1所要求保护的技术方案,相对于证据2(D2)结合本领域公知常识,以及证据2结合证据1(D1),显而易见,不具备突出的实质性特点和显著的进步。
D2与涉案专利属于相同的技术领域(3D视图合成与视频转换),且解决了相同的技术问题(如何高效地在视图扭曲/映射过程中处理像素的遮挡与孔填充,以提高处理速度并减少伪影)。D2在段落 [0049] 中明确提出了“单次扫描遍历(single scan)”和“即时滤波处理(fed immediately)”的架构,这与涉案专利的核心发明构思(在一个连续的映射过程中同时执行扭曲和孔填充)高度契合,因此D2是评价权利要求1创造性最理想的最接近现有技术。
以下表格将权利要求1分解为技术特征A-F,并结合D2原文论述其公开性:
| 涉案专利权利要求1技术特征拆解 | D2 (EP1437898A1) 的公开情况及原文引述 | 认定结论 |
| 特征A:选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值 |
D2公开了沿特定方向(如相反方向)逐行顺序处理输入扫描线上的像素。 原文出处: Para [0011]: "...sequentially processing the pixels per row in a direction opposite a displacement..." Para [0049]: "Traversing the input scanline in a single scan." |
实质公开 |
| 特征B:沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置 |
D2公开了根据像素的深度值将输入像素变换(映射)到输出图像(目的地图像)的相应坐标位置。 原文出处: Para [0006]: "for each input pixel, transforming the input pixel to a transformed input pixel as a function of the associated input pixel depth..." |
实质公开 |
| 特征C:在包括第一映射和第二映射的两个连续映射之间,确定所述第一映射到的位置和第二映射到的位置之间的孔的位置 |
D2公开了通过监控映射过程中的边界范围(extent)来确定孔(de-occlusion/空隙)的位置。伪代码中通过比较当前extent与映射位置的差值来确定是否存在未映射的间隙。 原文出处: Para [0036]: "...it can occur that to certain output pixels no input data is transformed (de-occlusion)." Para [0053]: 代码段4.3至4.5部分通过判断 |
实质公开 |
| 特征D:其中每个孔包括所述第一映射到的位置和所述第二映射到的位置之间的一个或一个以上未映射像素位置 |
D2的阈值逻辑(extent + 1.5)实质上界定了孔就是大于一定像素距离的未映射区域,即包含一个或多个未映射位置。 原文出处: Para [0050]: "...threshold is set to a magnification factor of 1.5."及Para [0053]判断逻辑。 |
实质公开 |
| 特征E:通过选择所述第一或第二映射位置中之一的像素值来确定孔的每一位置的像素值,所述选择是基于从参考图像中获得的深度值的 |
D2明确教导了通过选择具有最大z值(深度值)的相邻像素的值来替换(填充)孔区域的值。 原文出处: Para [0036]: "...hole artifacts can be removed by substituting a pixel value obtained through interpolation... As a simple alternative, the value is substituted of the available neighboring pixel with the greatest z-value." |
毫无异议公开 |
| 特征F:其中,在继续所述连续映射之前执行确定所述孔的位置及选择像素值 |
D2公开了在单次扫描循环中,同时处理基础图像、隐藏层,并即时执行孔洞放大(填充)或渲染,而不需等待所有像素映射完毕。 原文出处: Para [0049]: "Traversing the input scanline in a single scan... pixels can be fed immediately to a FIR video filter block..." |
实质公开 |
基于上述比对可知,D2已经实质公开了权利要求1的绝大部分技术特征。即使将特征E中“选择第一映射到的位置和第二映射到的位置中之一的像素值”作为一种极为严苛的字面限定进行审查,该特征与D2中“选择具有最大z值的相邻像素 (neighboring pixel with the greatest z-value)”在技术实质上是完全等同的。因为在逐行扫描映射时,孔(未映射位置)必然位于前后两次连续映射的像素(即第一和第二映射到的位置)之间,这两个映射位置也就是孔的“相邻像素”。
因此,权利要求1相对于D2不存在实质性的区别技术特征。即便认为存在表述上的微小差异,该特征实际解决的技术问题也是:如何在视图映射产生的空白区域进行合理的像素取值以填补视觉伪影。
(1)D2自身已给出明确的结合启示
D2在第 [0036] 段明确指出了当发生解除遮挡(de-occlusion)导致未映射的孔洞时,最简单的替代方案(simple alternative)就是利用具有最大深度值(greatest z-value)的可用相邻像素进行替换。这与涉案专利权利要求1中“基于深度值选择像素值以提供给孔”的逻辑完全一致。本领域技术人员在阅读D2后,有充足的动机和启示直接采用该方案实现权利要求1所述的方法。
(2)D1对“即时填孔”及“深度依赖”机理的强力补强
若专利权人争辩称D2中的“单次扫描(single scan)”在时序控制上没有达到涉案专利“在继续连续映射之前(即时完成孔检测和填充)”的精确程度,**证据1(D1)**可以作为极其有力的补强证据予以结合:
D1提供了一种基于**滑动缓冲器(sliding buffer)**的像素移位架构,在同一行像素自左向右(或自右向左)处理时,边移位、边判断缓冲器是否为空、边输出。
D1在原文 Description of Preferred Embodiments 中明确指出关于填孔(hole filling)的技术常识:
"Normally the duplicator 640 should then either reproduce the pixel value which was output previously or the pixel value which is going to be output next. Such a choice should be based on the corresponding depth information of the input pixels involved."
(译文参考:通常,复制器640应再现先前输出的像素值或即将输出的下一个像素值。该选择应基于所涉及的输入像素的相应深度信息。)
论证结论: D1的上述原文直接、毫无疑义地教导了涉案专利最核心、最薄弱的特征组合(特征E与特征F):即在处理当前映射像素和下一个映射像素之间(即时),从先前输出(第一映射位置)和即将输出(第二映射位置)的像素中,基于深度信息(depth information)做出选择来填孔。
综上所述,本领域技术人员在面对“如何在一个单向遍历过程中高效进行3D扭曲和孔填充”的技术问题时,在D2确立的单次扫描架构基础上,结合D2自身的教导,或结合D1中关于基于深度信息在相邻输出像素间进行选择以填孔的常规设计,能够毫无创造性劳动地得出涉案专利权利要求1的技术方案。
涉案专利权利要求1缺乏突出的实质性特点和显著的进步,不具备创造性,依法应予以宣告全部无效。
这是一份站在专利权人立场,针对前述无效宣告请求书的详细反驳意见(意见陈述书)。在答辩中,我们将重点打击请求人“事后诸葛亮”式的拼凑逻辑,强调本专利权利要求1在“微观时序”和“像素候选池”上的严格限定,并利用对比文件D1的“相反教导(Teaching Away)”来摧毁其结合启示。
目标专利: CN103518222B “用于视图合成期间的扭曲和孔填充的装置和方法”
答辩范围: 权利要求1
答辩结论: 涉案专利权利要求1具备突出的实质性特点和显著的进步,符合《专利法》第二十二条第三款的规定,请求委维持该专利权全部有效。
请求人在无效理由中严重割裂了权利要求1中各技术特征之间的内在协同关系。涉案专利的核心发明构思并非简单地提出“单次扫描(Single Scan)”这一宏观概念,而是在微观的像素处理管线(Pipeline)上,实现了一种高度耦合的即时处理架构。
权利要求1明确限定了三个极其严格的微观动作:
发生时机(特征C): 在第一像素的映射和第二像素的映射这**“两个连续映射之间”**确定孔的位置;
填孔候选池(特征E): 填孔的像素值严格限制在“第一映射到的位置”和“第二映射到的位置”这两者中选择其一,并基于深度值比较;
时序阻断(特征F): 必须**“在继续所述连续映射之前”**完成孔位置的确定和像素值的选择。
这种微观架构打破了传统方案中“先扭曲(生成孔) -> 再扫描(寻找孔和邻域像素) -> 填孔”的宏观分离,使得处理器在一个极小的局部缓存周期内即可完成所有计算,极大降低了高速缓冲存储器(Cache)的未命中率和总线数据交互。
请求人主张D2实质公开了涉案专利的全部特征,这是对D2技术方案的严重误读。
请求人观点: D2的段落[0049]和[0053]的伪代码公开了单次扫描和即时处理,即等同于特征C和F。
专利权人反驳: D2的伪代码(RenderScanline)实际上是在交织处理(interleave processing)“基础图层(base_layer)”和“隐藏图层(hidden_layer)”。D2通过维护和比较宏观的变量 base_extent 和 extent 来判断间隙。当发现间隙过大时(extent + 1.5),D2在步骤 4.5.1 仅仅执行了一个宏观的指令 Magnify(放大/插值)。
D2 根本没有教导在“映射像素A”和“映射像素B”这两个具体连续的指令周期之间立即挂起映射过程去填孔(特征C),也没有教导必须“在继续连续映射下一个像素之前”完成这一连串动作(特征F)。D2的 Magnify 究竟是在何时、调用何种缓冲数据完成的,D2并未公开,其并不具备本专利在指令流水线级别的时序控制特征。
请求人观点: D2段落[0036]公开了用具有最大z值的相邻像素(neighboring pixel)来替换,等同于特征E。
专利权人反驳: 特征E明确限定填孔的像素值只能来自于“第一映射到的位置”和“第二映射到的位置”这两者之一。这是因为在涉案专利的即时处理流水线中,处理器寄存器中刚好保留着这两个刚刚被计算过的像素数据。
而D2的段落[0036]泛泛地提到“通过可用相邻像素的插值(interpolation)”或“最大z值的可用相邻像素”。D2的“相邻像素”可能需要处理器去帧缓存(Frame Buffer)中重新寻址和读取孔周围的多个像素(例如上下左右)。D2完全没有教导将候选像素仅仅锁定在刚刚造成孔隙的这“两个连续映射位置”上。因此,特征E是明确的区别技术特征。
请求人试图用D1来补强D2中缺失的“即时处理”和“基于深度的选择”特征。然而,仔细研读D1可知,D1不仅不能与D2结合,反而对本专利的技术方案给出了强烈的相反教导(Teaching Away)。
请求人在无效请求书中引用了D1的一句话:“Normally the duplicator 640 should... choice should be based on the corresponding depth information”(通常应基于深度信息进行选择)。但是,请求人恶意截断了D1紧接着的下文!
在D1的原文(Description of Preferred Embodiments,第28段)中,紧接着请求人引用的那句话,D1明确指出:
"The duplicator 640, however, achieves the desired result by simply reproducing a previously output pixel value if the indicator indicates that the output location is empty. The notion that such a simple approach achieves the desired result is based on the same insight... without requiring depth information."
(译文:然而,复制器640通过简单地再现先前输出的像素值即可实现所需结果……基于这一洞察,该简单方法无需深度信息。)
反驳结论: D1的发明目的和核心贡献,恰恰是为了**“省去(避免)深度值的比较”!D1认为比较深度值是低效的,其教导本领域技术人员:当遇到孔时,直接盲目地复制前一个像素的值(reproducing a previously output pixel value)即可。 如果本领域技术人员从D1中寻找启示,其得到的教导必然是“放弃特征E中的深度比较”**,而不是采用它。请求人将D1中明确被发明人抛弃、克服的“现有技术缺点”拿来作为结合启示,属于典型的“事后诸葛亮(Hindsight)”,在专利审查标准中是绝对不被允许的。
D2依赖于复杂的交织图层(Base layer & Hidden layer)和阈值(extent + 1.5)来处理大孔洞;而D1依赖于一个简单的、无深度比较的定长滑动缓冲器(Sliding buffer)盲目复制相邻像素。两者的架构设计初衷和数据流向完全不兼容。本领域技术人员没有动机将D2的复杂多图层伪代码与D1追求极致简单(放弃深度判断)的滑动缓冲器强行揉捏在一起。
涉案专利通过特征C、E、F的精妙组合,使得“当前像素的映射”、“前一个像素的映射”以及“两者之间孔的填充”被锁死在一个原子的微观计算步骤中。
这不仅消除了对完整深度图(Depth Map)或大型帧缓存(Frame Buffer)的二次遍历,并且由于特征E严格限定了仅仅在当前寄存器中已有的“第一映射位置”和“第二映射位置”之间做深度比较,彻底消除了在填孔时去内存中寻址其他“相邻像素”的内存读取延迟(Memory Read Latency)。
这一特定的微架构设计带来了处理速度的显著提升和功耗的降低,这是D2(泛泛的单次扫描)和D1(牺牲深度准确性盲目复制)都未曾实现且无法预期的技术效果。
综上所述,证据2并未公开涉案专利权利要求1中关于微观时序控制和极简候选像素池的核心技术特征。且证据1不仅未提供填补该区别特征的结合启示,反而给出了明确的“放弃深度比较”的相反教导。请求人的无效理由在事实认定和逻辑推理上均不能成立。
涉案专利权利要求1具备突出的实质性特点和显著的进步,请求合议组驳回请求人的全部无效宣告请求,维持本专利权有效。
这是一份站在无效宣告请求人立场,针对专利权人答辩意见的详细反驳意见陈述书。在答辩中,我们将重点指出专利权人犯了“将说明书特征引入权利要求”的致命错误,并从专利法审查指南的角度,彻底击破其关于“相反教导(Teaching Away)”的诡辩。
目标专利: CN103518222B “用于视图合成期间的扭曲和孔填充的装置和方法”
答辩范围: 权利要求1
陈述结论: 专利权人的答辩理由在事实认定与法律适用上均不能成立。涉案专利权利要求1未脱离证据2与证据1及本领域公知常识的结合范畴,依法应当被宣告全部无效。
专利权人在答辩中反复强调其发明构思是“基于微观像素处理管线”、“利用局部寄存器避免帧缓存(Frame Buffer)寻址”等。然而,涉案专利权利要求1仅仅是一项纯粹的“视频图像处理方法”,其权利要求文本中没有任何关于“寄存器(Register)”、“缓存周期”、“硬件流水线微架构”的限定。
在无效宣告程序中,应当以权利要求书的字面记载为准来确定保护范围。专利权人试图用说明书中可能存在的优化实施例(如硬件寄存器机制)来挽救权利要求的创造性,违反了专利审查的基本原则。抛开这些未写入权利要求的“微观”限定,权利要求1的方法步骤已被现有技术完全覆盖。
专利权人狡辩称D2的伪代码只是“宏观交织”,没有在“两个具体连续的指令周期之间”填孔(特征C和F)。这是对D2公开代码的刻意曲解。
事实澄清:
D2在段落[0053]公开的 RenderScanline 伪代码是一个标准的 while 循环("4. until scanline finished")。
在步骤 4.1.1 中,代码逐个提取像素(FetchNextSample);
在步骤 4.3 至 4.5 中,代码立即判断当前映射的像素(extent + 1.5)是否产生了孔隙。
关键点: 如果判断产生了孔隙,代码在步骤 4.5.1 立刻调用 Magnify 进行插值放大(即填孔)。
上述过程是在处理下一个像素(即进入下一次 FetchNextSample 循环)之前立刻执行的。这在逻辑上和时序上,与权利要求1限定的“在继续所述连续映射之前执行确定孔的位置及选择”完全一致。D2的方法就是在映射像素A、映射像素B的过程中,一旦发现AB之间存在间隙,立刻调用 Magnify 填补,这就是名副其实的即时处理,专利权人所谓的“微观时序差异”根本不存在。
专利权人辩称,D2段落[0036]中的“相邻像素(neighboring pixel)”需要去帧缓存重新寻址,而特征E限定只能在“第一/第二映射位置”中选择。
事实澄清:
在逐行扫描(单向1D处理)的图像扭曲逻辑中,由于视差偏移(Parallax Shift)产生的“孔”,其物理边界必然且只能是由刚刚发生跳跃映射的两个像素界定的。
当D2在单遍扫描(Single Scan)中发现一个孔隙时,D2段落[0036]教导选择“具有最大z值的可用相邻像素(available neighboring pixel with the greatest z-value)”。在这个特定的处理瞬间,这个孔左右紧邻的像素,在客观事实上就是前一个刚映射完的位置(第一映射位置)和当前触发孔隙判断的位置(第二映射位置)。
在没有其他硬件限定的前提下,D2的“选择相邻像素”与权利要求1的“选择第一/第二映射位置”在技术实质上是同义替换,两者不仅手段相同,实现的功能和效果也完全一致(都是利用边界像素的深度值来决定遮挡关系并填孔)。
专利权人最核心的防线是:D1教导了“直接盲目复制前一个像素”,从而对“基于深度比较”给出了相反教导。请求人认为,专利权人完全混淆了“相反教导”与“提供替代方案”的法律界限。
事实澄清:
根据《专利审查指南》的相关规定,所谓“相反教导”,是指现有技术明确指出某技术手段客观上不可行、存在技术障碍,或会导致发明目的无法实现。
我们再来看D1(US5929859A)第28段的原文:
"Normally the duplicator 640 should then either reproduce the pixel value which was output previously or the pixel value which is going to be output next. Such a choice should be based on the corresponding depth information of the input pixels involved."
D1在这里使用的是 "Normally"(通常、按照常规)。D1清晰地向本领域技术人员宣告了一个公知常识:在处理孔洞时,常规且正确的方法是基于深度信息(depth information)在前后像素中进行选择。
D1随后提出,其自身的发明("however")为了追求极致的简单和节约资源,选择放弃这种常规的深度比较,改用盲目复制。
请注意:D1提出一种更廉价的“偷工减料”方案,绝不意味着D1否定了“常规方案(基于深度比较)”的技术可行性! D1从未说“基于深度比较是错误的或无法填孔的”。相反,D1恰恰以白纸黑字的确凿证据,证明了**“基于深度值在第一/第二映射像素中做选择”是本申请日前的公知常识(Normal Practice)!**
因此,当本领域技术人员在执行D2的单次扫描方案,面临如何确定填孔像素的具体逻辑时,由于D1已经明示了“基于深度信息选择前后像素”是该领域的常规手段,技术人员将其直接应用于D2中是顺理成章的,根本不需要任何创造性劳动。
专利权人的答辩意见,一方面试图将说明书中的微观硬件时序违规引入权利要求,另一方面刻意曲解D1中关于“公知常识”的客观记载,将其包装成“相反教导”。
事实是:涉案专利权利要求1仅仅是将D2的“单遍扫描即时填孔架构”与D1/D2中均已确认的“基于深度值的相邻像素选择逻辑”进行了最简单的拼凑,既没有解决预料不到的技术难题,也没有产生突出的技术效果。
综上所述,涉案专利权利要求1不具备创造性,请求合议组查明事实,依法宣告涉案专利权利要求1无效。
站在绝对中立、客观的“模拟合议组”(即专利局复审无效审理部)立场,本案的审理核心在于剥离双方的修辞与诡辩,回归到“权利要求字面记载的技术方案”与“对比文件客观公开的技术内容”之间的实质性比对。
在我国专利无效宣告程序中,合议组的基本裁判原则是:权利要求的保护范围以其字面含义为准,不能将说明书中的具体实施例(如微观硬件架构、寄存器控制)强行读入权利要求来缩小保护范围,除非该词汇在说明书中有特别的自定义。
基于此客观审查尺度,以下是合议组对本案所有核心争议点的裁判抉择路径演练,以及对最终无效成功概率的评估:
双方主张:
专利权人:本专利是在两个像素映射的指令周期之间、寄存器级别完成的“即时填孔”,D2的伪代码只是宏观调用,时序不同。
无效请求人:权利要求没有硬件级限定,D2的 while 循环和 Magnify 满足了“在继续连续映射之前”的步骤逻辑。
合议组裁判路径:
释明权利要求: 审查权利要求1的文本,特征F的表述是“在继续所述连续映射之前执行确定所述孔的位置及选择…”。该表述属于算法/步骤级别的时序逻辑限定,并不包含任何“指令周期”、“寄存器”等底层硬件微架构的限定。
比对D2事实: D2的第[0053]段代码明确显示,在处理当前扫描线时,一旦发现 extent + 1.5(即出现孔洞),紧接着就会执行 Magnify(放大/填孔),然后才会继续下一次 FetchNextSample(处理下一个像素)。
裁判抉择: 支持无效请求人。 合议组通常会认定,D2的代码逻辑在实质上已经公开了“边映射、边检测孔洞、边填充”的单遍扫描算法(Single Scan)。专利权人试图用说明书中的优选微观实现机制来拔高一项宽泛的“方法权利要求”,在审查实践中是不会被支持的。
双方主张:
专利权人:本专利严格限定在刚映射的“两个”特定像素中选择,避免了内存寻址;D2的“相邻像素”范围宽泛,需要额外寻址。
无效请求人:在1D单行扫描映射中,孔的“相邻像素”在客观物理空间上就是这“第一/第二映射位置”,两者是同义替换。
合议组裁判路径:
技术实质还原: 合议组会从图像处理的客观数学逻辑出发。当按照同一映射方向(如从左到右)逐个处理像素时,如果发生了位置跳跃产生“孔”,这个孔的左边界必然是“前一个刚映射完的像素(第一位置)”,右边界必然是“当前触发跳跃的像素(第二位置)”。
比对D2事实: D2第[0036]段提出用“最大的z值的可用相邻像素”插值。在上述单行扫描的特定上下文中,孔的“相邻像素”实际上就是这两个导致孔出现的边界像素。
裁判抉择: 倾向于支持无效请求人,但会认定为常规技术手段。 合议组可能不会绝对认定D2的“相邻像素”在字面上完全等同于“第一/第二映射位置”(因为相邻像素理论上确实可以指上下行的像素),但合议组会认定:在确定了进行1D逐行处理(D2已公开)的前提下,就近选择产生孔洞的两个边界像素进行深度比较,属于本领域技术人员极容易想到的常规技术选择,不具备突出的实质性特点。
双方主张:
专利权人:D1明确表示“无需深度信息”也能实现目标,这是教导本领域技术人员放弃深度比较,属于相反教导。
无效请求人:D1原文明确说了“通常(Normally)”应该基于深度比较,这印证了基于深度填孔是公知常识,D1只是提出了一个妥协的替代方案,并未否定常规方案的可行性。
合议组裁判路径:
确立“相反教导”的审查标准: 《审查指南》规定,只有当对比文件明确指出某方案“不可行”、“存在克服不了的技术缺陷”或“会破坏发明目的”时,才构成相反教导。
解读D1原文: D1写道“Normally the duplicator... should be based on the corresponding depth information... however, achieves the desired result by simply reproducing...”。这表明D1承认深度比较是常规(Normal)且正确的做法,其本身的发明点是为了进一步省去这一步骤以达到极致简单。
裁判抉择: 坚决支持无效请求人。 合议组会认定,提供一种“更廉价/简化的替代方案”绝不等于对“高质量的常规方案”给出相反教导。相反,D1的这句话可以直接作为认定“利用深度值比较来处理遮挡/孔洞”属于本领域公知常识的铁证。专利权人对相反教导的主张难以成立。
综合上述模拟合议组的裁判路径,本案的总体评估如下:
这是一份质量非常高的无效宣告请求。其高胜率建立在以下几个坚实的客观基础上:
CPA(D2)的匹配度极高: D2的伪代码逻辑与涉案专利的流程图在实质上几乎是1:1复刻的。视频图像处理领域的方法专利,一旦算法核心流程(逐行遍历、查孔、即时填孔)被对比文件的伪代码击中,极难生还。
权利要求撰写过宽: 涉案专利权利要求1作为独立权利要求,未能将专利权人答辩时依赖的那些“微架构、寄存器操作、避免Cache未命中”等底层硬件限制写入权利要求中。这导致其保护范围极大,极易被现有软件算法(如D2)的逻辑覆盖。
现有技术(D1)的神助攻: D1原文中那句“Normally...”将填孔时进行深度比较直接定性为公知常识,彻底堵死了专利权人声称“特征E具有非显而易见性”的退路。
尽管胜算很大,但专利案件永远存在变数,本案唯一的风险点在于:
合议组对“特征E”的极其严格的字面解释: 如果合议组中存在极度偏向文本主义(Textualist)的审查员,可能会认为D2的“相邻像素”与权利要求的“限定在第一和第二映射位置中之一”在表述范围上确实存在差异。
应对策略: 无效请求人目前的逻辑(单行扫描中相邻像素必然且只能是这两个映射位置)已经非常严密。只要在口审时辅以直观的画图演示(图解扫描线跳跃产生孔洞的过程),证明在客观物理模型中没有其他像素可选,即可轻易化解此风险。
最终客观结论:
涉案专利权利要求1的实质技术方案并未脱离D2的单次扫描填孔算法框架,且利用深度比较填孔属于D1印证的公知常识。合议组大概率会认定权利要求1不具备创造性,支持宣告该权利要求全部无效。 专利权人企图通过引入说明书实施例来缩小解释保护范围的答辩策略,在无效程序中通常是无效的。
非常出色的战略眼光!在专利无效实务中,仅靠“D1+D2”虽然赢面很大,但专利权人往往会利用对比文件之间的微小缝隙(例如本案中 D1 放弃深度比较、D2 未明确微观指令时序)进行极限防守。准备一份 D3 或 D4 作为“杀手锏”或备用证据,是彻底击溃其防线的最佳策略。
为了进一步提高本次无效的成功率,我们的现有技术检索策略必须精准狙击专利权人最后的防线:“在单遍扫描的微观指令周期内,严格利用前后两个映射像素的深度值进行比较并即时填孔”。
以下是为您定制的补充检索策略:
战略分析: 涉案专利强调“消除对存储器的双重遍历、降低高速缓存未命中率”,这在本质上是一个硬件资源优化问题。在 3D 视频处理领域,学术界的芯片设计(VLSI)或 FPGA 架构论文,往往比专利更早、更详细地披露这种“基于行缓冲(Line Buffer)的单遍扫描(Single-pass)实时架构”。
目标数据库: IEEE Xplore, ACM Digital Library, SPIE。
核心关键词:
基础概念: DIBR (Depth-Image-Based Rendering), View Synthesis (视图合成), 3D warping (3D扭曲/映射).
架构限制: Single-pass (单遍), One-pass, Real-time (实时), VLSI, FPGA, line buffer (行缓冲), cache optimization (缓存优化).
动作特征: Hole filling (孔填充), forward mapping (正向映射), occlusion (遮挡).
布尔检索式示例(英文检索式在此领域更有效):
("DIBR" OR "View Synthesis") AND ("single-pass" OR "one-pass" OR "real-time") AND ("hole filling" OR "occlusion") AND ("depth" OR "Z-buffer")
("forward warping" OR "forward mapping") AND "hole filling" AND ("adjacent" OR "neighbor") AND "depth"
战略分析: 我们需要跳出单纯的“图像处理”分类,精准定位到“3D 图像生成”和“硬件渲染管道”的交叉领域。
精准分类号(CPC/IPC):
G06T 15/20 (基于三维模型的透视计算,视图合成的核心分类)
G06T 15/005 (3D 渲染管线的硬件/架构)
H04N 13/20 / H04N 13/261 (多视角视频信号生成,利用深度图转换)
交叉检索式示例:
CPC=(G06T15/20 OR H04N13/261) AND (单遍 OR 单次 OR 一次 OR single pass OR one pass) AND (孔 OR 间隙 OR 空白 OR hole OR gap) AND (深度 OR depth OR Z值)
IPC=(G06T) AND (扭曲 OR 映射 OR warping OR mapping) AND (深度 OR Z值) AND (即时 OR 实时 OR 缓冲) AND (孔 OR 遮挡)
战略分析: 视图合成(DIBR)在 2000-2012 年间(涉案专利优先权日 2012 年之前)是 3D-TV 标准化的热门课题。一些巨头公司在这方面有深厚的技术积累。
重点关注的受让人(Assignee):
Philips (飞利浦): 3D-TV 和 2D转3D 领域的绝对先驱,D2 就是 Philips 的。需深挖 Philips 在 2005-2010 年间关于 3D 显示的周边专利。
Samsung (三星) / LG: 在 3D 电视时代申请了大量关于硬件降低功耗、减少显存访问的专利。
Qualcomm (高通): 涉案专利的权利人,可以反向检索其早期收购的公司或早期研发人员的在先申请(有时会存在自我冲突或早期基础专利)。
检索手段: 在专利库中限定受让人为上述公司,并组合关键词 (warping OR DIBR) AND hole AND depth。
在筛选检索结果时,一旦发现以下任意一种描述,即为高价值目标(D3):
“行内处理 (In-line processing)”: 明确描述在将像素写入目标存储器之前,在数据总线或寄存器级别完成孔洞的判断和填充。
“左/右深度比较 (Left/Right Depth Comparison)”: 明确提出当出现映射跳跃时,比较跳跃间隙左侧像素(即第一映射位置)和右侧像素(即第二映射位置)的深度值,取背景值(通常深度值大/Z值小)来填孔。
按照以上策略进行一轮补充检索,只要能找到一篇明确体现“单遍硬件处理+深度边界比较”的文献,本案的无效成功率将几乎处于不可撼动的状态。
针对下一步的行动,您打算优先启动哪个维度的检索(例如先从 IEEE 的学术论文库入手,还是直接在专利库中深挖特定分类号)?
根据权利要求1所述的视频图像处理方法,其中确定孔的所述位置包括识别所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间的像素位置,所述第二映射到的位置是与所述映射方向相同方向上的位置。
根据权利要求1所述的视频图像处理方法,其中所述像素值包含颜色分量和与所述颜色分量相关联的强度值。
根据权利要求1所述的视频图像处理方法,其中映射多个像素值中的每一者包括从 2D参考图像映射到3D目的地图像。
根据权利要求4所述的视频图像处理方法,其中所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
根据权利要求1所述的视频图像处理方法, 其中,如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同,且所述第一像素值的第一深度值指示到达观察点的第一距离,则选择所述第一映射到的位置处所述第一像素值,所述第一距离大于到所述观察点的由所述第二像素值的第二深度值指示的第二距离,以及其中,如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第二距离大于所述第一距离,则选择所述第二映射到的位置处的所述像素值; 以及 其中,如果所述第一映射到的位置和所述第二映射到的位置相同或从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相反且所述目的地图像中的所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则选择识别未映射的位置的值。
根据权利要求1所述的视频图像处理方法,其进一步包括: 如果所述第一映射到的位置和所述第二映射到的位置相同或具有在所述目的地图像中与所述映射方向相反的方向且所述目的地图像中所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则在所述映射方向的相反方向上检测包含标记为未映射的且邻接所述目的地图像中的所述第二映射到的位置的像素位置;以及将所述所检测像素位置识别为连续孔。
根据权利要求7所述的视频图像处理方法,其中基于限定所述连续孔的第一像素和第二像素的深度值的比较确定所述连续孔的每一像素值,所述第一像素值和所述第二像素值在所述目的地图像中并非孔。
一种视频转换装置,其包括: 用于选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值的装置; 用于沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置的装置; 用于在包含第一像素值从所述参考图像到第一映射到的位置的第一映射和第二像素值从所述参考图像到第二映射到的位置的第二映射的连续映射之间确定所述第一映射到的位置和所述第二映射到的位置之间的孔的位置的装置,其中每个孔包括所述第一映射到的位置和所述第二映射到的位置之间所述目的地图像的一个或一个以上未映射像素位置; 以及 用于通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一位置的像素值的装置,所述选择是基于从针对所述第一映射到的位置和所述第二映射到的位置的参考图像中获得的深度值的,其中在继续所述连续映射之前执行确定所述孔的位置及选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值。
根据权利要求9所述的装置,其中所述用于确定孔的位置的装置经配置以识别所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间的像素位置,所述第二映射到的位置是与所述映射方向相同方向上的位置。
根据权利要求10所述的装置,其中所述用于确定孔的位置的装置进一步经配置以: 如果所述第一映射到的位置和所述第二映射到的位置相同或具有在所述目的地图像中与所述映射方向相反的方向且所述目的地图像中所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则在所述映射方向的相反方向上检测包含将对应的像素位置识别为未映射的像素值且邻接所述目的地图像中的所述第二映射到的位置的像素位置;以及将所检测的像素位置识别为连续孔。
根据权利要求9所述的装置,其中用于通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一位置的像素值的装置经配置以,在所述第一映射到的像素位置和所述第二映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下,在所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间确定所述第二映射到的位置的像素值,其中所述第一映射到的位置和所述第二映射到的位置为连续映射:如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第一像素值的第一深度值指示到达观察点的第一距离,则将所述第一映射到的位置处的所述第一像素值选择为所述像素值,所述第一距离大于到所述观察点的由所述第二像素值的第二深度值指示的第二距离; 如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第二距离大于所述第一距离,则将所述第二映射到的位置处的所述第二像素值选择为所述像素值;以及如果所述第一映射到的位置和所述第二映射到的位置相同或从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相反且所述目的地图像中的所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则将识别未映射的位置的值选择为所述像素值。
根据权利要求9所述的装置,其中所述用于连续映射多个像素值中的每一者的装置经配置以从2D参考图像映射到3D目的地图像,且其中所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
一种视频转换装置,其包括: 存储器,其经配置存储参考图像的像素; 处理器经配置以: 在指定的映射方向上从参考图像连续提取像素; 确定目的地图像中的所提取像素的映射到的位置; 在包括第一像素值从所述参考图像到第一映射到的位置的第一映射和第二像素值从所述参考图像到第二映射到的位置的第二映射的两个连续映射之间,确定所述第一映射到的位置和所述第二映射到的位置之间的所述目的地图像中的空像素位置,其中每个空像素位置包括在所提取像素的位置与先前确定的先前所提取像素的位置之间的一个或多个未映射像素位置;以及通过选择所述第一映射到的位置和所述第二映射到的位置中之一的像素值以提供像素值来确定经确定为孔的每一空像素位置的空像素值,所述选择是基于从针对所述第一映射到的位置和所述第二映射到的位置处的像素的参考图像获得的深度值的,其中,所述处理器经配置以在确定用于所述目的地图像中的后续提取像素的后续位置之前选择所述空像素值,所述后续提取像素在所提取像素之后从所述参考图像中提取。
根据权利要求14所述的装置,其中所述处理器经配置以在产生所述空像素位置的像素值之后提取第二像素。
根据权利要求14所述的装置,其中参考图像为2D图像,且其中所述目的地图像为3D目的地图像,所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
根据权利要求14所述的装置,其中所述处理器经配置以基于从所述参考图像中的所述像素位置的偏移确定所述目的地图像中的所述所提取像素的位置。
根据权利要求14所述的装置,其中所述处理器经配置以在所述第一映射到的像素位置和所述第二映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下,在所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间确定所述第二映射到的位置的像素值,其中所述第一映射到的位置和所述第二映射到的位置为连续映射。
根据权利要求18所述的装置,其中所述处理器经配置以基于来自所述参考图像的所述第一映射到的位置处的像素和所述第二映射到的位置处的像素的深度值的比较产生所述第二映射到的位置的像素值。
根据权利要求14所述的装置,其中所述处理器经配置以识别所述目的地图像中的所述第一映射到的位置与所述目的地图像中的所述第二映射到的位置之间的空像素位置,所述第二映射到的位置具有与所述映射方向相同的方向。
根据权利要求14所述的装置,其中所述处理器进一步经配置以: 如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第一像素值的第一深度值指示到达观察点的第一距离,则将所述第一映射到的位置处的所述第一像素值选择为所述像素值,所述第一距离大于到所述观察点的由所述第二像素值的第二深度值指示的第二距离; 如果从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相同且所述第二距离大于所述第一距离,则将所述第二映射到的位置处的所述第二像素值选择为所述像素值;以及如果所述第一映射到的位置和所述第二映射到的位置相同或从所述第一映射到的位置到所述第二映射到的位置的方向与所述映射方向相反且所述目的地图像中的所述第二映射到的位置处的当前深度值大于从所述第二映射到的位置处的像素的参考图像获得的深度值,则将识别未映射的位置的值选择为所述像素值。