对比文件名称：2011-04-07_US2011081082A_发明申请_US20110081082A1 VIDEO CONCEPT CLASSIFICATION USING AUDIO-VISUAL ATOMS
目标专利名称：使用多模匹配方案的对象辨识 CN104246796B
模型名称：特征比对分析模型
### 特征比对表格
| 技术特征描述及公开性判断 | 对比文件原文引用 | 公开性论述 |
| **特征A**：所述方法包括：从在场景处记录的音频计算多个声学辨识特征<br>**《直接公开》** | [0040] d) analyzing the audio signal for each short-term video slice to determine an audio feature vector providing a characterization of the audio signal;<br>[0050] An extract audio features step 360 is used to form an audio feature vector 245 by analyzing the audio signal 220 for a short-term video slice 210. The audio feature vector 245 is comprised of a set of audio descriptors which are used to characterize the audio signal 220. | 对比文件明确公开了对于每个短期视频片段（对应于从场景记录的音频片段），分析音频信号以确定音频特征向量（audio feature vector），该向量包含一组用于表征音频信号的音频描述符。这对应于从记录的音频计算声学辨识特征。因此，本领域技术人员能够毫无疑义地得出该技术特征。 |
| **特征B**：将所述声学辨识特征与对应于一或多个对象的预定声学辨识特征进行比较以确定对象的声音源类型<br>**《隐含公开》** | [0084]-[0086] ...use a classifier to determine a classification for the video segment responsive to the short-term audio-visual atoms... The video segment classifier 250 is used to assign a binary label... to each key frame 610 to indicate the occurrence or absence of a concept Ck... SVM classifiers can be trained for concept detection... | 对比文件公开了基于视听原子（包含音频特征向量）使用分类器（如SVM）来确定视频片段的语义概念分类（如“海滩”、“婚礼”）。虽然对比文件中的“概念分类”不完全等同于目标专利中“对象的声音源类型”（如乐器类型），但二者在技术手段本质上都是将提取的音频特征与预定的知识（通过分类器训练获得）进行比较以确定一个类别。本领域技术人员可以从“基于音频特征进行分类以确定语义类别”这一公开内容，合理推理出将类似方法应用于“基于音频特征进行比较以确定声音源类型”。因此，该技术特征被隐含公开。 |
| **特征C**：基于所述声音源类型选择所述对象中的稳定关键点<br>**《未公开》** | 无对应内容。 | 对比文件公开了从视频帧中提取区域轨迹并计算视觉特征，但并未公开基于音频信息或声音源类型来“选择”特定的“稳定关键点”。目标专利中“稳定关键点”的选择是基于图像处理（如剔除低对比度点）并结合音频信息缩小搜索区域。对比文件没有给出任何基于音频分类结果来指导或选择图像中特定关键点的启示。因此，对比文件既未直接公开也未隐含公开该技术特征。 |
| **特征D**：基于选定关键点和所述声音源类型识别所述对象。<br>**《隐含公开》** | [0084]-[0086] ...use a classifier to determine a classification for the video segment responsive to the short-term audio-visual atoms... The final detector is generated by adding up weak learners from multiple iterations. | 对比文件公开了最终的分类器是基于视听原子（其包含视觉特征和音频特征）来识别视频片段的概念。这相当于结合了视觉信息（可对应于“关键点”相关的特征）和音频信息（可对应于“声音源类型”相关的特征）来进行识别。虽然目标专利的“识别对象”与对比文件的“概念分类”在具体应用目标上有所不同，但本领域技术人员可以从“结合视听特征进行分类识别”这一基本思想，合理推理出将其应用于“基于关键点和声音源类型识别对象”。因此，该技术特征被隐含公开。 |
| **特征E**：其进一步包括：基于在所述场景处记录的音频选择对应于一或多个对象的一或多个关键点标志<br>**《未公开》** | 无对应内容。 | 对比文件没有提及“关键点标志”的概念，也没有公开基于音频信息从数据库中选择预存的关键点标志。其视觉部分是基于提取的通用视觉特征（如颜色、纹理）或局部特征（如SIFT），但这些特征并非基于音频信息“选择”出来的、对应于特定对象的预存模板（即关键点标志）。因此，对比文件既未直接公开也未隐含公开该技术特征。 |
| **特征F**：识别所述场景的图像中的多个关键点<br>**《直接公开》** | [0057] ...image feature points (e.g., corners) that can be easily locked-on are automatically identified...<br>[0065] ...local descriptors like the Shift Invariant Feature Transform (SIFT)... can be used... | 对比文件明确公开了自动识别图像特征点（例如角点），并提到了可以使用SIFT等局部描述符。SIFT算法的核心步骤之一就是检测图像中的关键点。因此，“识别场景图像中的多个关键点”这一技术特征被对比文件直接公开。 |
| **特征G**：将所述关键点与所述关键点标志进行比较以识别所述对象。<br>**《隐含公开》** | [0084]-[0086] ...For each semantic concept Ck, the learned prototypes form a codebook... each prototype corresponding to a codeword. ...each 10-sec video segment 200 (u) can be mapped to each prototype codeword by using the minimum distance... on which classifiers, such as the well-known SVMs, can be trained for concept detection... | 对比文件公开了通过学习得到的原型（prototype）构建码本（codebook），每个原型相当于一个码字。在识别时，将提取的视听原子特征（包含从关键点等提取的视觉特征）与这些原型码字通过距离度量（如最小距离）进行比较，并利用分类器（如SVM）进行检测。这实质上是将输入特征与预存的“标志”（即原型码字）进行比较以识别概念。虽然“关键点标志”在目标专利中可能特指SIFT关键点数据库中的模板，而对比文件中的“原型”是基于更综合的视听原子特征学习得到，但“将特征与预存模板进行比较以识别”的核心思想相同。本领域技术人员可以合理推理出这一比较过程。因此，该技术特征被隐含公开。 |
| **特征H**：其进一步包括：基于在所述场景处记录的所述音频选择场景图像的一部分<br>**《未公开》** | 无对应内容。 | 对比文件处理的是整个视频帧或通过分割得到的区域，并未公开基于音频信息（如声源方向）来主动选择图像中的特定关注区域（ROI）。其视听关联是通过在时间上对齐音频片段和视频片段，并在特征层面融合，而非在空间上根据音频定位图像区域。因此，对比文件既未直接公开也未隐含公开该技术特征。 |
| **特征I**：仅从所述图像的所述部分内选择所述关键点。<br>**《未公开》** | 无对应内容。 | 由于特征H（基于音频选择图像部分）未被公开，因此将关键点选择限制在该特定部分内的操作也未被公开。对比文件中关键点或特征的提取是在整个帧或分割区域内进行的，没有这种基于音频的 spatial 限制。 |
| **特征J**：其中基于在所述场景处记录的所述音频选择所述图像的一部分包含：从所述音频确定音频到达方向DOA<br>**《未公开》** | 无对应内容。 | 对比文件中完全没有提及音频到达方向（DOA）估计或任何基于麦克风阵列的声源定位技术。其音频处理仅限于特征提取（如MFCC、匹配追踪），用于内容表征，而非空间定位。因此，该技术特征未被公开。 |
| **特征K**：基于所述音频DOA选择所述图像的所述部分。<br>**《未公开》** | 无对应内容。 | 由于特征J（确定音频DOA）未被公开，因此基于DOA选择图像部分的技术特征也未被公开。 |
| **特征L**：其中确定所述音频DOA包含：在位于所述场景处的多个麦克风处接收所述音频，借此产生多个麦克风信号<br>**《未公开》** | 无对应内容。 | 对比文件未描述使用多个麦克风接收音频。其上下文是针对已录制的视频文件进行分析，并未涉及录音硬件配置。因此，使用麦克风阵列产生多通道信号的技术特征未被公开。 |
| **特征M**：基于所述麦克风信号确定所述音频DOA。<br>**《未公开》** | 无对应内容。 | 由于特征L（多麦克风信号）未被公开，因此基于这些信号确定DOA的技术特征也未被公开。 |
| **特征N**：从所述场景的视频记录计算多个局部运动向量<br>**《直接公开》** | [0040] c) analyzing each region track to form a corresponding visual feature vector... and a motion feature vector providing an indication of inter-frame motion for the image region;<br>[0064] ...optical flow vectors are calculated over every pixel of each video frame 215... Then, for each region rkt, a 4-dim feature motion feature vector fmtt is computed... | 对比文件明确公开了分析区域轨迹以形成运动特征向量（motion feature vector），该向量指示图像区域的帧间运动。具体实施时，计算每个像素的光流向量，进而为每个区域计算运动特征向量。这完全对应于“从场景的视频记录计算多个局部运动向量”。因此，该技术特征被直接公开。 |
| **特征O**：通过将所述局部运动向量与对应于一或多个对象的预定局部运动向量数据库进行比较且通过将所述关键点与一或多个关键点标志进行比较来识别所述对象。<br>**《隐含公开》** | [0084]-[0086] 综合引用关于使用包含运动特征（motion feature vector）和视觉特征（visual feature vector，可来自关键点）的视听原子，与通过学习得到的原型码本（可视为一种数据库）进行比较，并利用分类器进行概念检测的内容。 | 对比文件公开的识别框架是：提取包含运动特征和视觉特征的视听原子 -> 与预学习的原型码本（数据库）进行距离比较 -> 基于比较结果通过分类器识别概念。这实质上包含了“将局部运动向量与预定数据库比较”以及“将视觉特征（可源自关键点）与预定标志（原型码字）比较”这两个子步骤，并将其结合用于识别。虽然目标专利将两者明确并列，而对比文件是将它们融合在同一个特征向量中进行处理，但本领域技术人员可以合理推断出这种比较的结合。因此，该技术特征被隐含公开。 |
| **特征P**：其中基于将所述关键点与一或多个关键点标志进行比较来识别所述对象。<br>**《隐含公开》** | [0084]-[0086] ...For each semantic concept Ck, the learned prototypes form a codebook... each prototype corresponding to a codeword... classifiers, such as the well-known SVMs, can be trained for concept detection... | 对比文件公开了将包含视觉特征（如来自SIFT关键点）的视听原子映射到原型码本（可视为关键点标志的扩展形式），并基于此训练分类器进行识别。这隐含了“基于将关键点相关特征与预存标志进行比较来识别”的技术手段。因此，该技术特征被隐含公开。 |
| **特征Q**：其中所述声学辨识特征包含梅尔频率倒谱系数。<br>**《直接公开》** | [0050] Compared to conventional features like Mel-Frequency Cepstral Coefficients (MFCCs), these new features are relatively invariant... | 对比文件明确提及了梅尔频率倒谱系数（MFCCs）作为常规音频特征的例子。虽然其优选实施例使用了匹配追踪特征，但MFCC作为公知的声学辨识特征已被对比文件记载。因此，本领域技术人员能够毫无疑义地得出声学辨识特征可以包含MFCC。该技术特征被直接公开。 |
| **特征R**：其进一步包括：确定出现在图像中的一或多个对象的范围信息<br>**《未公开》** | 无对应内容。 | 对比文件涉及的是2D图像分析，通过分割和跟踪获取区域，并未涉及获取或利用对象的深度、距离等“范围信息”。因此，该技术特征未被公开。 |
| **特征S**：基于所述范围信息分析所述关键点。<br>**《未公开》** | 无对应内容。 | 由于特征R（确定范围信息）未被公开，因此基于范围信息分析关键点的技术特征也未被公开。 |
| **特征T**：其中确定范围信息是选自由以下各项组成的群组：使用自动聚焦相机确定范围信息，使用多相机图像视差估计确定范围信息，和前述各项的任一组合。<br>**《未公开》** | 无对应内容。 | 对比文件中完全没有提及通过自动聚焦或多相机视差来估计深度或范围信息。因此，该技术特征未被公开。 |
<<<A>>><<<F>>><<<N>>><<<Q>>><<<b>>><<<d>>><<<g>>><<<o>>><<<p>>>