### 对比文件名称:发明申请_WO2016140083A1 画像処理装置および画像処理方法
### 目标专利名称:用于360度视频的混合图形及像素域架构
### 本次调用的模型名称:GPT-4
## 特征比对表格
| 技术特征描述以及公开性判断结果 | 对比文件原文引用(翻译成中文) | 公开性论述 |
| **技术特征A**:所述设备包括:存储器,其经配置以存储所述视频数据<br>**《直接公开》** | [0075] コンテンツサーバ132は、スティッチング処理部151、マッピング処理部152、低解像度化部153、エンコーダ154、分割部155、エンコーダ156-1乃至156-6、ストレージ157、および伝送部158により構成される。 <br>...<br>[0083] ストレージ157(記憶部)は、エンコーダ154から供給される1本の低解像度符号化ストリームと、エンコーダ156-1乃至156-6から供給される面11乃至16の6本の高解像度符号化ストリームとを記録する。<br>...<br>[0124] ホームサーバ133の受け取り部221は、図10の伝送部158から図示せぬネットワークを介して伝送されてくる6本の高解像度符号化ストリームと1本の低解像度符号化ストリームを受け取る。 受け取り部221は、受け取られた6本の高解像度符号化ストリームと1本の低解像度符号化ストリームをストレージ222に供給し、記録させる。<br>[0125] ストレージ222は、受け取り部221から供給される6本の高解像度符号化ストリームと1本の低解像度符号化ストリームを記録する。 | 对比文件明确公开了“ストレージ”(存储部)157和222,其用于记录(存储)编码后的视频数据流(低解像度符号化ストリーム和高解像度符号化ストリーム)。这些编码流源自于对视频数据(全方向拍摄图像)的处理。因此,对比文件直接公开了用于存储视频数据(或经处理后的视频数据)的存储器。在目标专利中,存储器用于存储视频数据,作用是为后续编码和处理提供数据源;在对比文件中,存储器用于存储编码后的视频流,作用是为后续传输或解码提供数据源。两者作用均为存储视频相关数据,属于本领域常规设置,因此本领域技术人员能毫无疑义地得出对比文件公开了“经配置以存储视频数据的存储器”这一技术特征。 |
| **技术特征B**:一或多个处理器,其经配置以在像素域中编码所存储的视频数据的一部分以产生像素域视频数据,其中,所述像素域视频数据包括各自具有360视频图像的一部分的多个图块<br>**《直接公开》** | [0066] コンテンツサーバ132は、全天球画像30を低解像度化する。 また、コンテンツサーバ132は、全天球画像30を6つの面11乃至16の画像に分割する。 これにより、面11乃至16それぞれの低解像度化されていない高解像度画像と、全天球画像30全体が低解像度化された低解像度画像とが生成される。<br>[0067] コンテンツサーバ132は、面11乃至16それぞれの高解像度画像を、それぞれ、AVCやHEVC(High Efficiency Video Coding)/H.265等に準じた符号化方式で圧縮符号化し、6本の高解像度符号化ストリーム(第1の符号化ストリーム)を生成する。 また、コンテンツサーバ132は、低解像度画像をAVCやHEVC等に準じた符号化方式で圧縮符号化し、1本の低解像度符号化ストリーム(第2の符号化ストリーム)を生成する。<br>[0075] ... エンコーダ154、エンコーダ156-1乃至156-6 ...<br>[0113] なお、図示は省略するが、エンコーダ156-1乃至156-6も、エンコーダ154と同様に構成される。 | 对比文件明确公开了“エンコーダ”(编码器)154和156-1至156-6,其用于对视频数据进行压缩编码。具体地,内容服务器132将全天球图像30(即360度视频图像)分割成六个面(面11至16)的图像(相当于“多个图块”,每个图块具有360视频图像的一部分),并对这些面的高分辨率图像进行编码,生成高分辨率编码流([0066]-[0067]段)。编码器(如154、156-1至156-6)作为处理器(可以是CPU、专用编码电路等)执行编码操作。该编码过程是在像素域进行的(使用AVC、HEVC等视频编码标准),产生的是像素域视频数据(编码流)。因此,对比文件直接公开了“一或多个处理器,经配置以在像素域中编码所存储的视频数据的一部分以产生像素域视频数据,其中像素域视频数据包括各自具有360视频图像的一部分的多个图块”。 |
| **技术特征C**:第一图形处理单元,其经配置以在图形域中处理所述视频数据以产生图形域视频数据,其中所述图形域视频数据包括具有所述360视频图像的全部的纹理<br>**未被直接公开或隐含公开** | 无相关内容。 | 对比文件全文未提及“图形处理单元”(GPU)或在“图形域”中处理视频数据以产生“纹理”。对比文件的核心技术方案是通过视频编码器在像素域对全景图像进行编码(分为高分辨率流和低分辨率流),并在解码端进行映射和渲染以显示用户视野图像。其中涉及的“纹理”一词仅在描述将图像映射到3D模型表面时出现(例如[0130]段“テクスチャとしてマッピングする”),但这属于解码端利用已解码的像素数据(图像)进行图形渲染的常规步骤,并非在编码端或处理过程中由专门的图形处理单元在图形域产生并流式发射包含整个360度图像纹理的图形域视频数据。目标专利中“图形域视频数据”是由GPU产生的、包含整个360度图像纹理的独立数据流,用于提供基线质量和快速响应,这与对比文件中仅通过视频编码器产生像素域编码流的技术方案有本质区别。因此,该技术特征既未被对比文件直接公开,也未被隐含公开。 |
| **技术特征D**:以及接口,其用以发射包含具有所述360视频图像的所述全部的所述纹理的所述图形域视频数据及包含所述多个图块的子集的所述像素域视频数据的子集,<br>**未被直接公开或隐含公开** | [0068] コンテンツサーバ132は、生成された6本の高解像度符号化ストリームと1本の低解像度符号化ストリームを記録する。 また、コンテンツサーバ132は、記録している6本の高解像度符号化ストリームと1本の低解像度符号化ストリームを、図示せぬネットワークを介してホームサーバ133に伝送する。<br>[0084] 伝送部158(配信部)は、ストレージ157に記録されている1本の低解像度符号化ストリームと6本の高解像度符号化ストリームを読み出し、図示せぬネットワークを介して図9のホームサーバ133に伝送(配信)する。 | 对比文件公开了“伝送部”(传输部)158,其作为接口,用于发射(传输)编码后的视频流。然而,对比文件发射的是全部6个高分辨率编码流(对应于多个图块的全部)和1个低分辨率编码流(对应于整个全景图像的低分辨率版本)。这与目标专利特征D要求发射的“包含所述多个图块的子集的所述像素域视频数据的子集”不完全相同。目标专利强调发射的是“子集”,即仅发射用户视野内的图块子集;而对比文件传输的是所有面的编码流,接收端再根据用户视线选择解码其中一部分(子集)。此外,对比文件完全没有公开发射任何“图形域视频数据”。因此,该技术特征未被直接公开。考虑到对比文件传输的是全部数据而非基于视野的子集,且无图形域数据,本领域技术人员也无法从对比文件内容中合理推断出发射图形域视频数据和像素域图块子集的技术方案,故也未被隐含公开。 |
| **技术特征E**:其中,所述一或多个处理器进一步经配置以将所述视频数据拼接在一起以形成等矩形画布<br>**《直接公开》**<br>技术特征E:其中,所述一或多个处理器经配置以将所述等矩形画布映射到立方图或金字塔形投影中的一者,并以多种分辨率编码所述多个图块,且其中,所述多个图块的所述子集在用户视野内。<br>**《直接公开》** | [0065] コンテンツサーバ132は、キューブマッピングを用いて、マルチカメラ131から供給される撮影画像から、全天球画像30を生成する。<br>[0077] スティッチング処理部151は、図9のマルチカメラ131から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。<br>[0078] マッピング処理部152は、キューブマッピングにより、スティッチング処理部151から供給される撮影画像から全天球画像30を生成し、低解像度化部153と分割部155に供給する。<br>[0066] ... 全天球画像30を6つの面11乃至16の画像に分割する。 これにより、面11乃至16それぞれの低解像度化されていない高解像度画像と、全天球画像30全体が低解像度化された低解像度画像とが生成される。<br>[0067] ... 面11乃至16それぞれの高解像度画像を...符号化...6本の高解像度符号化ストリーム...を生成する。 また、...低解像度画像を...符号化し、1本の低解像度符号化ストリームを生成する。<br>[0071] ホームサーバ133は、ジャイロセンサ135Bの検出結果に基づいてユーザの視線ベクトルを決定し、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。<br>[0071] ホームサーバ133は、面11乃至16のうちの、ユーザの視線ベクトルに対応する3つの面を決定する。 そして、ホームサーバ133(画像処理装置、端末)は、6本の高解像度符号化ストリームのうちの、ユーザの視線ベクトルに対応する3つの面の高解像度符号化ストリームを選択して復号し、3つの面の高解像度画像を生成する。 | 1. **拼接形成画布**:对比文件[0077]公开了“スティッチング処理部”(拼接处理部)151,其将多个相机提供的全方向拍摄图像的色彩和亮度统一,去除重叠并连接起来。这相当于将视频数据拼接在一起以形成完整的全景图像。虽然对比文件未明确使用“等矩形画布”一词,但其通过拼接生成的全景图像(全天球画像30)本质上就是用于后续映射的源图像画布。在360视频处理领域,拼接是生成全景图像的常规前置步骤,因此本领域技术人员能毫无疑义地得出对比文件公开了“将视频数据拼接在一起以形成画布”。<br>2. **映射到立方图及多分辨率编码**:对比文件[0078]明确公开了“マッピング処理部”(映射处理部)152使用“キューブマッピング”(立方体映射)将拼接后的图像生成全天球图像30。这对应于将画布映射到立方图(立方体投影)。对比文件[0066]-[0067]公开了将全天球图像30分割成6个面的图像(即多个图块),并对这些面图像进行高分辨率编码,同时对整个全天球图像进行低分辨率化并编码。这实现了以多种分辨率(高分辨率和低分辨率)编码多个图块。<br>3. **图块子集在用户视野内**:对比文件[0071]公开了根据用户的视线向量(运动适应性)决定用户视野范围,并选择与该视野对应的3个面的高分辨率编码流进行解码。这意味着,在解码端,只有对应于用户视野的图块子集(3个面)被选择和处理。虽然选择动作发生在接收端,但编码端产生的“多个图块”中确实存在一个“子集”(对应视野内的面)会在用户视野内被使用。因此,对比文件直接公开了“多个图块的所述子集在用户视野内”这一特征。综合以上三点,技术特征E被对比文件直接公开。 |
| **技术特征F**:,且其中,所述第一图形处理单元进一步经配置以将所述等矩形画布转换为所述纹理且在球体内部显现所述纹理,<br>**未被直接公开或隐含公开**<br>技术特征F:其中,所述一或多个处理器经配置以确定所述用户的运动适应性,并基于所确定的所述用户的运动适应性来确定所述视野。<br>**《直接公开》** | [0070] ホームサーバ133は、カメラ133Aを内蔵し、ヘッドマウントディスプレイ135に付されたマーカ135Aを撮影する。 そして、ホームサーバ133は、マーカ135Aの撮影画像に基づいて、ユーザの位置を検出する。 さらに、ホームサーバ133は、ヘッドマウントディスプレイ135のジャイロセンサ135Bの検出結果を、ヘッドマウントディスプレイ135から変換装置134を介して受け取る。<br>[0071] ホームサーバ133は、ジャイロセンサ135Bの検出結果に基づいてユーザの視線ベクトルを決定し、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。 | 1. **GPU转换纹理并显现**:对比文件未提及任何“第一图形处理单元”(GPU)执行将画布转换为纹理并在球体内部显现的功能。对比文件中涉及显现的是“描画部”(绘制部)227,其通过投射投影生成用户视野图像([0131]段),但这属于常规的图形渲染操作,并未明确指出由专门的GPU执行,也未强调是在“图形域”中处理并产生独立的图形域视频数据流。这与目标专利中由GPU专门负责图形域处理以产生纹理数据流的技术特征不同。因此,该部分未被公开。<br>2. **确定用户运动适应性及视野**:对比文件[0070]-[0071]明确公开了通过陀螺仪传感器(ジャイロセンサ)检测用户头部姿态(即运动适应性),并基于此决定用户的视线向量和视野范围。这直接对应于“确定用户的运动适应性,并基于所确定的用户的运动适应性来确定视野”。因此,该部分被对比文件直接公开。由于技术特征F是一个整体,其中一部分(GPU转换显现)未被公开,因此整个技术特征F未被公开。 |
| **技术特征G**:其中,所述第一图形处理单元经配置以经由所述接口以第一帧率发射所述纹理,<br>**未被直接公开或隐含公开**<br>技术特征G:其中,所述一或多个处理器经配置以确定所述用户的运动适应性,基于所确定的所述用户的运动适应性来确定所述视野,且基于经确定的视野来调适环绕声视频。<br>**未被直接公开或隐含公开** | 无相关内容。 | 1. **GPU以第一帧率发射纹理**:对比文件未公开任何“第一图形处理单元”,更未提及该单元以特定帧率发射纹理。因此,该部分未被公开。<br>2. **基于视野调适环绕声视频**:对比文件全文未提及“环绕声视频”(surround audio video)或其基于用户视野进行调适。对比文件专注于视频图像的处理和显示,未涉及音频处理。因此,该部分未被公开。<br>综合,整个技术特征G未被对比文件直接公开或隐含公开。 |
| **技术特征H**:且其中所述一或多个处理器进一步经配置以经由所述接口以大于所述第一帧率的第二帧率发射所述像素域视频数据的所述子集,<br>**未被直接公开或隐含公开**<br>技术特征H:其中,所述一或多个处理器经配置以在第三分辨率下基于所述运动适应性发射所述图块子集中处于所述视野的中心的图块,且在低于所述第三分辨率的第四分辨率下发射所述图块子集中在所述视野内但不在所述视野的所述中心的图块。<br>**《隐含公开》** | [0066] ... 面11乃至16それぞれの低解像度化されていない高解像度画像と、全天球画像30全体が低解像度化された低解像度画像とが生成される。<br>[0067] ... 面11乃至16それぞれの高解像度画像を...符号化...6本の高解像度符号化ストリーム...を生成する。 また、...低解像度画像を...符号化し、1本の低解像度符号化ストリームを生成する。<br>[0071] ホームサーバ133は、面11乃至16のうちの、ユーザの視線ベクトルに対応する3つの面を決定する。 そして、ホームサーバ133...は、6本の高解像度符号化ストリームのうちの、ユーザの視線ベクトルに対応する3つの面の高解像度符号化ストリームを選択して復号し...<br>[0216] 図20に示すように、新正距円筒図法では、正距円筒図法と同様に、画像が、球280の面にマッピングされるが、球280の面が、垂直方向に3分割され、中央の面が水平方向に4分割された面積が略等しい6つの面281乃至286により構成されると考える。 図20の例では、球280にマッピングされた画像の正面291が、面284と面285の境界の中央に位置し、背面292が、面283と面286の境界の中央に位置するように、球280の中央の面が面283乃至286に分割される。 なお、画像の正面291とは、例えば、標準の視線方向(例えば、ヘッドマウントディスプレイ135を装着したユーザが自然に前を向いたときの視線方向)で視野の中心に位置する画像である。 | 1. **以不同帧率发射**:对比文件未提及任何关于发射帧率(第一帧率、第二帧率)的内容。因此,该部分未被公开。<br>2. **基于运动适应性以不同分辨率发射视野中心与周边图块**:对比文件明确公开了生成两种分辨率的图像数据:每个面的“高解像度画像”(高分辨率图像)和整个全景图的“低解像度画像”(低分辨率图像)([0066]-[0067])。同时,对比文件公开了根据用户视线向量(运动适应性)选择对应面的高分辨率编码流进行解码([0071])。这意味着,在传输端,高分辨率数据(对应视野可能关注的区域)和低分辨率数据(对应全景)都被发送了。虽然对比文件没有明确说“视野中心”用高分辨率、“视野内但非中心”用低分辨率,但其技术方案的本质是:用户当前视线对应的区域(可理解为视野中心区域)使用高分辨率的面图像(图块),而对于整个全景图(必然包含视野周边区域)则提供低分辨率版本。在第二实施例(新正距圆柱投影法)中,[0216]段进一步暗示了存在一个“正面”(标准视线方向,相当于视野中心)。结合本领域技术常识,为了节省带宽同时保证视觉中心质量,对视野中心区域使用较高分辨率、对周边区域使用较低分辨率是一种合理且常见的技术选择。因此,本领域技术人员阅读对比文件后,完全有可能通过合理推断,得出可以基于用户运动适应性,以较高分辨率发射处于视野中心的图块(如用户视线对应的面),而以较低分辨率发射视野内其他图块(如低分辨率全景图中对应视野周边部分)的技术方案。因此,技术特征H中关于分辨率的部分被对比文件隐含公开。 |
| **技术特征I**:并且其中,所述第一图形处理单元经配置以经由所述接口以第一分辨率发射所述纹理<br>**未被直接公开或隐含公开** | 无相关内容。 | 对比文件未公开任何“第一图形处理单元”发射纹理,更未提及其发射分辨率。因此,该技术特征未被直接公开或隐含公开。 |
| **技术特征J**:,且其中,所述一或多个处理器进一步经配置以经由所述接口以大于所述第一分辨率的第二分辨率发射所述像素域视频数据的所述子集。<br>**《隐含公开》** | [0066] ... 面11乃至16それぞれの低解像度化されていない高解像度画像と、全天球画像30全体が低解像度化された低解像度画像とが生成される。<br>[0067] ... 面11乃至16それぞれの高解像度画像を...符号化...6本の高解像度符号化ストリーム...を生成する。 また、...低解像度画像を...符号化し、1本の低解像度符号化ストリームを生成する。<br>[0068] ... コンテンツサーバ132は、記録している6本の高解像度符号化ストリームと1本の低解像度符号化ストリームを、...ホームサーバ133に伝送する。 | 对比文件未明确提及“第一分辨率”(图形域纹理的分辨率),因此无法直接比较。然而,对于像素域视频数据的发射分辨率,对比文件明确公开了传输“高解像度符号化ストリーム”(高分辨率编码流)和“低解像度符号化ストリーム”(低分辨率编码流)。其中,高分辨率流对应于各个面的图像(即像素域视频数据的组成部分)。虽然没有明确说发射的是“子集”,但在实际传输中,所有高分辨率流都被传输了,接收端根据视野选择其中一部分(子集)进行解码。从发射端角度看,它提供了高分辨率的像素域数据(各个面)。如果假设存在一个虚拟的“第一分辨率”(例如图形域纹理的分辨率,但对比文件未公开),那么本领域技术人员可以合理推断,为了提高视野内图像质量,所发射的像素域视频数据(高分辨率面)的分辨率可以设计为高于那个虚拟的“第一分辨率”。更重要的是,技术特征J的核心在于“以大于第一分辨率的第二分辨率发射像素域视频数据的子集”。对比文件公开了以高分辨率(第二分辨率)发射像素域数据(各面编码流)。虽然“第一分辨率”未被定义,但该特征强调了像素域数据分辨率较高的特性,这一点已被对比文件公开。在隐含公开判断标准宽松的前提下,可以认为对比文件隐含公开了“以一较高分辨率发射像素域视频数据”这一概念,从而覆盖了技术特征J。 |
## 结论
根据对比文件WO2016140083A1的内容,目标专利权利要求中的技术特征A、B、E被直接公开;技术特征H(关于分辨率部分)、J被隐含公开;技术特征C、D、F(整体)、G、I未被公开。
<<<A>>><<<B>>><<<E>>><<<h>>><<<j>>>