对比文件名称：2011-12-08_US2011300929A_发明申请_US20110300929A1 SYNTHESIS OF INFORMATION FROM MULTIPLE AUDIOVISUAL SOURCES
目标专利名称：使用多模匹配方案的对象辨识CN104246796B
本次调用的模型名称：专利创造性评估模型
### 特征比对表格
| 技术特征描述以及公开性判断结果 | 对比文件原文引用 | 公开性论述 |
| **技术特征A**：所述方法包括：从在场景处记录的音频计算多个声学辨识特征<br>**隐含公开** | [0109] “...the microphone arrays in the various capture devices 20. Techniques are known for differentiating sounds picked up by the microphones to determine whether one or more of the sounds is a human voice. Microphone array 30 may also include various known filters, such as a high pass filter, to attenuate low frequency noise...”<br>[0112] “In addition to acoustic source localization techniques described above (possibly performed by steered beamforming), beamforming techniques may also be used in embodiments to improve the signal-to-noise ratio of a received signal in step 512.” | 对比文件公开了从多个捕获设备（包含麦克风阵列）记录场景的音频（[0109]），并提及了对所拾取声音进行处理，例如使用已知技术区分声音、使用滤波器等。虽然未明确提及计算如“梅尔频率倒谱系数”等具体的“声学辨识特征”，但本领域技术人员公知，对音频信号进行分析以提取用于辨识的特征（如频谱特征、滤波后特征等）是音频处理中的常规步骤。结合对比文件公开的“确定声音是否为人声”的目的，可以合理推断出，为了实现此目的，需要从音频中计算某些声学特征。因此，该技术特征被**隐含公开**。 |
| **技术特征B**：将所述声学辨识特征与对应于一或多个对象的预定声学辨识特征进行比较以确定对象的声音源类型<br>**隐含公开** | [0109] “Techniques are known for differentiating sounds picked up by the microphones to determine whether one or more of the sounds is a human voice.”<br>[0111] “In step 508, the image devices may indicate that there is a single person at the location indicated to be the acoustic source. In such an event, assuming there are no other people or sources of the sound in that vicinity, the acoustic source localization engine 186 may positively identify that sound as having come from the person at that location. This is one method of identifying a user's voice...” | 对比文件公开了区分声音以确定其是否为人声（[0109]），以及基于声源定位和视觉信息（人的存在）来识别声音来自特定用户（[0111]）。这隐含了将声音特征（无论是简单的人声/非人声，还是更具体的特征）与某种预定标准（“人声”作为一种声音类型）进行比较以确定声音源类型（例如，人声）的过程。虽然目标专利中“声音源类型”可能特指乐器类型，但对比文件公开了更一般的“声音类型识别”（人声）的原理。因此，本领域技术人员有可能通过推理得出将声学特征与预定特征进行比较以确定声音源类型的技术方案。该技术特征被**隐含公开**。 |
| **技术特征C**：基于所述声音源类型选择所述对象中的稳定关键点<br>**未公开** | 无 | 对比文件公开了识别图像中的关键点（参见特征F），也隐含公开了确定声音源类型（参见特征B）。然而，对比文件完全没有描述或暗示如何根据**声音源类型**（例如，识别出是人声或某种乐器）来从图像中的关键点中选择“稳定的”关键点。目标专利中“基于声音源类型选择稳定关键点”是一个特定的、旨在缩小视觉搜索范围的技术手段。对比文件中的关键点主要用于设备校准和图像拼接，其选择标准（如SIFT算法）是基于图像本身的几何特征，与音频信息无关。因此，对比文件既未直接公开也未隐含公开该技术特征。 |
| **技术特征D**：基于选定关键点和所述声音源类型识别所述对象。<br>**未公开** | 无 | 该技术特征要求结合基于声音源类型选定的关键点和声音源类型本身来识别对象。如对特征C的分析，对比文件未公开“基于声音源类型选择稳定关键点”。此外，对比文件虽然通过声源定位和图像信息关联了声音与人（[0111]），但这是一种基于位置关联的简单判定（声音来自某位置，该位置有人，则声音是人的声音），而非基于预存的对象视觉模型（关键点标志）和音频特征模型进行多模态匹配以识别特定对象（如特定乐器）的过程。因此，该技术特征未被公开。 |
| **技术特征E**：其进一步包括：基于在所述场景处记录的音频选择对应于一或多个对象的一或多个关键点标志<br>**未公开** | 无 | 对比文件公开了“关键点”（cues）的概念，这些关键点是从图像数据中检测到的用于校准的特征（[0089]）。然而，“关键点标志”在目标专利中指的是预存的、代表特定对象（如乐器）的视觉特征模板。对比文件完全没有描述或暗示存在一个预存的关键点标志数据库，更没有描述如何根据**音频信息**（如声音类型）从该数据库中选择特定的关键点标志。因此，该技术特征未被公开。 |
| **技术特征F**：识别所述场景的图像中的多个关键点<br>**直接公开** | [0089] “...algorithms exist for identifying cues from an image point cloud. Such algorithms are set forth for example in Mikolajczyk, K., and Schmid, C.... A further method of detecting cues with image data is the Scale-Invariant Feature Transform (SIFT) algorithm.” | 对比文件明确引用了用于从图像点云中识别“关键点”（cues）的算法，特别是提到了尺度不变特征变换（SIFT）算法。SIFT是计算机视觉中用于检测和描述图像局部特征的经典算法，其检测到的特征点即为“关键点”。因此，本领域技术人员能够毫无疑义地从对比文件得出“识别场景图像中的多个关键点”的技术方案。该技术特征被**直接公开**。 |
| **技术特征G**：将所述关键点与所述关键点标志进行比较以识别所述对象。<br>**隐含公开** | [0090] “In step 450, cues which are shared between point clouds from two or more capture devices are identified.”<br>[0091] “... finding a set of assumed, geometrically consistent matches between a pair of point clouds...” | 对比文件公开了识别来自两个或更多捕获设备的点云之间共享的关键点（[0090]），并找到点云对之间一组几何一致的匹配（[0091]）。这本质上是将一组图像中的关键点与另一组图像中的关键点（可视为另一图像的“标志”）进行比较和匹配的过程。虽然对比文件中匹配的目的是为了校准设备位置和拼接图像，而非识别特定“对象”（如乐器），但“将关键点与关键点标志进行比较”这一基础操作已被公开。本领域技术人员有可能通过推理，将这种关键点匹配技术应用于对象识别的场景。因此，该技术特征被**隐含公开**。 |
| **技术特征H**：其进一步包括：基于在所述场景处记录的所述音频选择场景图像的一部分<br>**隐含公开** | [0109]-[0111] 描述了使用声源定位引擎186确定声源位置，并结合图像设备信息来识别声音来源（例如，声音来自图像中显示有人的位置）。 | 对比文件公开了基于音频（通过声源定位）确定场景中声源的位置信息（[0109]-[0111]）。虽然未明确使用“选择场景图像的一部分”这样的表述，但确定声源位置后，为了进一步分析（如确认声源是否为特定用户），逻辑上必然需要关注图像中对应于该位置的部分。本领域技术人员能够合理推断出，可以基于音频确定的声源位置（DOA）来划定或选择图像中的相应区域（即关注区ROI）。因此，该技术特征被**隐含公开**。 |
| **技术特征I**：仅从所述图像的所述部分内选择所述关键点。<br>**未公开** | 无 | 对比文件公开了识别图像关键点（特征F）和基于音频选择图像部分（隐含公开，特征H）。然而，对比文件完全没有描述或暗示将关键点的搜索或选择范围**限制**在基于音频选定的图像部分内。在对比文件中，关键点的检测和匹配是为了全局的相机校准和图像拼接，而非针对特定声源区域的局部对象识别。因此，该技术特征未被公开。 |
| **技术特征J**：其中基于在所述场景处记录的所述音频选择所述图像的一部分包含：从所述音频确定音频到达方向DOA<br>**直接公开** | [0109] “The arrays 30 are also able to determine the orientation of the perceived audio sources relative to each other, and are able to calculate the angle of each audio source relative to the microphone arrays using acoustic localization techniques.”<br>[0109] “One embodiment may employ a time difference of arrivals (TDOA) technique...” | 对比文件明确描述了麦克风阵列能够使用声源定位技术（例如到达时间差TDOA）来计算每个声源相对于麦克风阵列的角度，即确定音频到达方向（DOA）。因此，本领域技术人员能够毫无疑义地从对比文件得出“从音频确定音频到达方向DOA”的技术方案。该技术特征被**直接公开**。 |
| **技术特征K**：基于所述音频DOA选择所述图像的所述部分。<br>**隐含公开** | [0111] “In step 508, the image devices may indicate that there is a single person at the location indicated to be the acoustic source...” | 对比文件描述了声源定位引擎确定声源位置（由DOA等信息得出），并且图像设备可以指示在该位置有一个人（[0111]）。这隐含了系统将音频DOA（或由其导出的位置）与图像信息关联起来。虽然步骤描述为图像设备“指示”位置有人，但这背后的逻辑必然包含了基于声源位置（源自DOA）去查询或关注图像的特定部分。因此，本领域技术人员可以合理推断出“基于音频DOA选择图像部分”的技术方案。该技术特征被**隐含公开**。 |
| **技术特征L**：其中确定所述音频DOA包含：在位于所述场景处的多个麦克风处接收所述音频，借此产生多个麦克风信号<br>**直接公开** | [0004] “...each capture device 20 may include a microphone array 30 including one or more microphones.”<br>[0109] “...audio data may be captured in step 500 from the microphone arrays in the various capture devices 20.” | 对比文件明确描述了每个捕获设备20包括一个包含一个或多个麦克风的麦克风阵列30（[0004]），并且在步骤500中从各个捕获设备的麦克风阵列捕获音频数据（[0109]）。这直接公开了在场景处使用多个麦克风接收音频并产生多个麦克风信号。该技术特征被**直接公开**。 |
| **技术特征M**：基于所述麦克风信号确定所述音频DOA。<br>**直接公开** | [0109] “...using acoustic localization techniques.”<br>[0109] “One embodiment may employ a time difference of arrivals (TDOA) technique having a first step of determining a set of TDOAs among different microphone pairs of the different microphones in the arrays 30.” | 结合对特征J和L的引用，对比文件明确描述了基于从麦克风阵列捕获的音频信号（麦克风信号），采用声源定位技术（如TDOA）来确定声源方向（DOA）。因此，本领域技术人员能够毫无疑义地从对比文件得出“基于麦克风信号确定音频DOA”的技术方案。该技术特征被**直接公开**。 |
| **技术特征N**：其进一步包括：从所述场景的视频记录计算多个局部运动向量<br>**未公开** | 无 | 对比文件主要涉及静态场景校准、图像拼接和声源定位。虽然提到了同步动态场景的数据（[0076]），但全文未提及计算“局部运动向量”（Local Motion Vectors, LMV），也未描述从视频记录中提取运动信息用于对象辨识。因此，该技术特征未被公开。 |
| **技术特征O**：通过将所述局部运动向量与对应于一或多个对象的预定局部运动向量数据库进行比较且通过将所述关键点与一或多个关键点标志进行比较来识别所述对象。<br>**未公开** | 无 | 该技术特征涉及使用局部运动向量和关键点的多模匹配。如特征N所述，对比文件未公开计算局部运动向量。同时，对比文件也未提及“预定局部运动向量数据库”。因此，该技术特征未被公开。 |
| **技术特征P**：其中基于将所述关键点与一或多个关键点标志进行比较来识别所述对象。<br>**隐含公开** | 同特征G的引用及论述。 | 如特征G所述，对比文件公开了将关键点进行匹配（虽然目的不同）。本领域技术人员有可能通过推理，将这种关键点匹配技术应用于对象识别的场景，即通过将图像中的关键点与预存的对象关键点标志（数据库）进行比较来识别对象。因此，该技术特征被**隐含公开**。 |
| **技术特征Q**：其中所述声学辨识特征包含梅尔频率倒谱系数。<br>**未公开** | 无 | 对比文件在描述音频处理时，提到了滤波、声源定位、波束成形等技术，但从未提及“梅尔频率倒谱系数”（MFCC）这一特定的声学特征。因此，该技术特征未被公开。 |
| **技术特征R**：其进一步包括：确定出现在图像中的一或多个对象的范围信息<br>**直接公开** | [0025] “...the capture device 20 may be configured to capture video having a depth image that may include depth values...”<br>[0035] “According to an example embodiment, the image camera component 22 may be a depth camera that may capture the depth image of a scene. The depth image may include a two-dimensional (2-D) pixel area of the captured scene where each pixel in the 2-D pixel area may represent a depth value such as a length or distance...” | 对比文件明确描述了捕获设备20包含深度摄像头，可以捕获包含深度值（depth values）的深度图像，每个像素的深度值代表了场景中物体到相机的距离（[0025], [0035]）。深度值直接提供了图像中对象的范围（距离）信息。因此，本领域技术人员能够毫无疑义地从对比文件得出“确定出现在图像中的一或多个对象的范围信息”的技术方案。该技术特征被**直接公开**。 |
| **技术特征S**：基于所述范围信息分析所述关键点。<br>**未公开** | 无 | 对比文件分别公开了获取深度（范围）信息（特征R）和检测关键点（特征F）。然而，对比文件完全没有描述或暗示如何将这两者结合起来，即**基于范围信息来分析关键点**。在对比文件中，深度信息可能用于构建3D点云以进行设备校准和图像拼接，但并未提及利用深度信息来筛选、加权或分析SIFT等关键点。因此，该技术特征未被公开。 |
| **技术特征T**：其中确定范围信息是选自由以下各项组成的群组：使用自动聚焦相机确定范围信息，使用多相机图像视差估计确定范围信息，和前述各项的任一组合。<br>**直接公开** | [0035] “According to an example embodiment, the image camera component 22 may be a depth camera that may capture the depth image of a scene.”<br>[0037] “For example, in time-of-flight analysis, the IR light component 24 of the capture device 20 may emit an infrared light onto the scene...”<br>[0040] “In another example embodiment, a capture device 20 may use a structured light to capture depth information.”<br>[0041] “According to another embodiment, each capture device 20 may include two or more physically separated cameras that may view a scene from different angles, to obtain visual stereo data that may be resolved to generate depth information.” | 对比文件明确公开了多种获取深度（范围）信息的方法，包括：1）使用深度摄像头（如飞行时间法、结构光法）（[0035], [0037], [0040]），这可以视为一种“自动聚焦相机”的扩展或高级形式；2）使用两个或更多物理上分离的相机从不同角度观看场景以获得可视立体数据，从而生成深度信息（[0041]），这明确属于“使用多相机图像视差估计确定范围信息”。因此，确定范围信息的方法已被对比文件直接公开，并且涵盖了权利要求中限定的选项。该技术特征被**直接公开**。 |
<<<F>>><<<J>>><<<L>>><<<M>>><<<R>>><<<T>>><<<a>>><<<b>>><<<g>>><<<h>>><<<k>>><<<p>>>