非显而易见杯

专利无效挑战赛

目标专利:527使用本地设备提供的传感器数据和标签的基于云的处理

专利公开号:CN108780523B

专利权人:高通股份有限公司

无效请求书提交日期:2026年


上一项目 下一项目

非显而易见性评估仅供参考,不构成法律建议。



权利要求列表点击可跳转

序号 权利要求内容

1

一种训练因设备而异的基于云的音频处理器的方法,包括:接收从本地设备处的多个传感器获取的传感器数据; 接收使用本地配置信息在所述本地设备上计算出的空间信息标签,所述空间信息标签与所获取的传感器数据相关联; 基于所述空间信息标签和传感器数据来训练第一神经网络的下层,所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 将已训练的下层纳入到用于音频分类的第二神经网络中;以及使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。

2

如权利要求1所述的方法,其特征在于,重新训练包括重新训练所述第一神经网络和所述第二神经网络。

3

如权利要求1所述的方法,其特征在于,重新训练包括仅重新训练所述第二神经网络。

4

如权利要求1所述的方法,其特征在于,进一步包括基于所述空间信息标签来将经波束成形的流与所述传感器数据分离。

5

如权利要求4所述的方法,其特征在于,进一步包括基于所述经波束成形的流来对所述传感器数据进行分类。

6

如权利要求1所述的方法,其特征在于,所述空间信息标签包括抵达方向标签。

7

一种使用人工神经网络来进行基于云的音频处理的方法,包括:接收本地设备的设备标识信息和从所述本地设备处的多个传感器获取的传感器数据以及元数据,所述元数据包括用于所述本地设备的配置信息; 基于所述设备标识信息和所述元数据来设置所述神经网络的卷积滤波器,其中所述神经网络是由使用根据权利要求1‑6中任一项的方法训练的因设备而异的基于云的音频处理器实现的;以及在不重新训练所述神经网络的情况下基于所述传感器数据来预测音频事件分类。

8

如权利要求7所述的方法,其特征在于,进一步包括:接收所述本地设备的波束成形滤波器;以及 用所接收到的波束成形滤波器来代替所述神经网络的所述卷积滤波器,而不重新训练所述神经网络。

9

一种用于训练因设备而异的基于云的音频处理器的装置,包括:存储器;以及 耦合至所述存储器的至少一个处理器,所述至少一个处理器被配置成:接收从本地设备处的多个传感器获取的传感器数据; 接收使用本地配置信息在所述本地设备上计算出的空间信息标签,所述空间信息标签与所获取的传感器数据相关联; 基于所述空间信息标签和传感器数据来训练第一神经网络的下层,所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 将已训练的下层纳入到用于音频分类的第二神经网络中;以及使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。

10

如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步配置成重新训练所述第一神经网络和所述第二神经网络。

11

如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步被配置成仅重新训练所述第二神经网络。

12

如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步配置成:基于所述空间信息标签来将经波束成形的流与所述传感器数据分离。

13

如权利要求12所述的装置,其特征在于,所述至少一个处理器被进一步配置成基于所述经波束成形的流来对所述传感器数据进行分类。

14

如权利要求9所述的装置,其特征在于,所述空间信息标签包括抵达方向标签。

15

一种用于训练因设备而异的基于云的音频处理器的装备,包括:用于接收从本地设备处的多个传感器获取的传感器数据的装置; 用于接收使用本地配置信息在所述本地设备上计算出的空间信息标签的装置,所述空间信息标签与所获取的传感器数据相关联; 用于基于所述空间信息标签和传感器数据来训练第一神经网络的下层的装置,所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 用于将已训练的下层纳入到用于音频分类的第二神经网络中的装置;以及用于使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络的装置,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。

16

如权利要求15所述的装备,其特征在于,用于重新训练的装置重新训练所述第一神经网络和所述第二神经网络。

17

如权利要求15所述的装备,其特征在于,用于重新训练的装置仅重新训练所述第二神经网络。

18

如权利要求15所述的装备,其特征在于,进一步包括用于基于所述空间信息标签来将经波束成形的流与所述传感器数据分离的装置。

19

如权利要求18所述的装备,其特征在于,进一步包括用于基于所述经波束成形的流来对所述传感器数据进行分类的装置。

20

如权利要求15所述的装备,其特征在于,所述空间信息标签包括抵达方向标签。


对比文件列表

编号 名称

权利要求1

一种训练因设备而异的基于云的音频处理器的方法,包括:接收从本地设备处的多个传感器获取的传感器数据; 接收使用本地配置信息在所述本地设备上计算出的空间信息标签,所述空间信息标签与所获取的传感器数据相关联; 基于所述空间信息标签和传感器数据来训练第一神经网络的下层,所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 将已训练的下层纳入到用于音频分类的第二神经网络中;以及使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

权利要求与对比文件特征比对分析

为了对权利要求1的创造性进行严谨的评估,以下将权利要求1分解为技术特征A-G,并结合目标专利说明书的解释,与对比文件D1(US20040260550A1)和D2(WO2015157013A1)的原文进行逐一比对。

1. 特征比对表格

权利要求1技术特征 D1 (US20040260550A1) 公开情况 D2 (WO2015157013A1) 公开情况
技术特征A: 包括:接收从本地设备处的多个传感器获取的传感器数据; 未实质公开。 D1涉及处理包含说话人的音频数据([0004]),但未明确提及“本地设备处的多个传感器”以及云端/远程“接收”架构。 毫无异议公开。 D2公开了客户端设备(client 602)包含多个紧密排列的麦克风([0083] multiple closely spaced elements 122),且云系统(cloud system 604)接收来自客户端的音频信号([0234]-[0236])。
技术特征B: 接收使用本地配置信息在所述本地设备上计算出的空间信息标签, 未公开。 D1主要基于频谱特征和时间平滑进行说话人分类,未涉及空间信息(如DOA)。 毫无异议公开。 D2公开了本地BSS模块(local BSS module 610)提取特征并提供给云系统,这些特征包括“抵达方向(DOA)信息”([0238] the direction of arrival information)。
技术特征C: 所述空间信息标签与所获取的传感器数据相关联; 未公开。 毫无异议公开。 D2中,DOA等特征是基于音频信号得出的,并与相应的音频数据/帧相关联上传至云端([0238])。
技术特征D: 基于所述空间信息标签和传感器数据来训练第一神经网络的下层, 未公开。 D1公开了训练神经网络(TDNN),但未基于空间信息标签,也未指明特定的“下层”结构划分。 未实质公开。 D2提到了使用神经网络(如DNN, RNN)进行盲源分离([0149]),并结合方向数据([0154]),但并未明确公开“训练第一神经网络的下层”这一具体的网络层级训练动作。
技术特征E: 所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 未公开。 D1不涉及波束成形(Beamforming)。 未实质公开。 D2中提及盲源分离可以达到类似分离特定方向声音的效果,但并未明确公开将神经网络下层专门训练为映射到“波束成形输出”。
技术特征F: 将已训练的下层纳入到用于音频分类的第二神经网络中; 未公开。 未公开。 D2公开了将分离后的信号发送给ASP模块(包含自动语音识别ASR)进行分类/识别([0239]-[0246]),但这是两个独立模块的串联,并未将分离网络的“下层纳入”到分类网络中。
技术特征G: 使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。 未公开。 未公开。 D2未公开网络层级的迁移学习与联合微调(重新训练)。

2. 创造性分析(“三步法”适用)

第一步:确定最接近的现有技术 (Closest Prior Art)

D2 (WO2015157013A1) 适合作为最接近的现有技术。 从整体解决的技术问题和技术效果来看,目标专利旨在解决如何高效利用本地多传感器设备的空间信息(如DOA),在云端进行准确的音频处理和分类。D2同样处于“基于云的音频处理和盲源分离”技术领域,明确公开了“客户端-云端”架构、多麦克风阵列,以及由本地设备计算DOA(抵达方向信息)并上传云端辅助音频处理的技术方案。D1仅涉及通用的音频中说话人分类的神经网络模型,与目标专利的网络架构和应用场景相去甚远。

第二步:确定区别技术特征和实际解决的技术问题

以D2为最接近的现有技术,权利要求1的区别技术特征为:特征D、E、F、G。

即:利用空间信息标签训练第一神经网络的下层以实现波束成形,并将该已训练的下层纳入第二神经网络中,对第二神经网络进行重新训练以预测音频事件标签。

实际解决的技术问题: 如何优化云端音频分类神经网络的结构与训练过程,使其能够自适应地利用不同本地设备的物理空间特征(波束成形),从而提高音频分类(如语音识别或事件预测)的准确性和计算效率。

第三步:判断是否具有创造性及薄弱技术特征分析

如果作为无效宣告请求人,需要论证这些区别技术特征是否容易被本领域技术人员想到。

薄弱技术特征指出:

在当前的AI与通信交叉领域,权利要求1中最薄弱(最易被攻破)的技术特征是特征F和G(网络层的拼接与重新训练/微调)。

无效攻击逻辑构建:

  1. 关于特征D与E(神经网络实现波束成形): 在本领域中,将波束成形(Beamforming)视为一种空间滤波,而使用神经网络(尤其是卷积层)来模拟和学习滤波器的权重,是深度学习在音频处理中的常规技术手段。D2已经指出了结合DOA数据和神经网络(NN NTF)进行音频源分离。

  2. 关于特征F与G(迁移学习与联合微调): 将一个预训练好的负责前端特征提取(例如波束成形、降噪或源分离)的神经网络层,作为前端接入到另一个负责后端任务(如音频分类、语音识别)的神经网络中,并进行端到端的联合微调(Fine-tuning / Retraining),这是机器学习领域极为普遍的**迁移学习(Transfer Learning)和端到端学习(End-to-End Learning)**的常规惯用手段。

  3. 结合现有技术: D2的段落 [0239]-[0240] 明确记载了将源分离后的信号传递给声学信号处理(ASP)模块(包含ASR自动语音识别)以提高识别质量。本领域技术人员为了进一步减少模块间串联带来的误差积累,有极强的动机将D2中的源分离神经网络与后端的ASP(分类)神经网络整合在一起,并使用常规的联合训练(重新训练)方法来优化整体的音频事件预测准确率。

结论: 权利要求1的A、B、C特征已被D2完全公开。剩余的D、E、F、G特征属于深度学习模型训练中“前端特征提取(波束成形)+ 后端分类网络 + 迁移/微调训练”的标准范式。在撰写无效宣告请求书时,应以D2为最接近的现有技术,结合本领域关于深度学习/迁移学习的公知常识(或引入一篇涉及深度学习音频端到端训练的次要对比文件),重点论述特征F和G的拼接与微调属于本领域的常规技术手段,进而主张权利要求1不具备创造性。

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

你好!这是一份非常有深度的无效检索与分析工作。面对这样一篇涉及端云协同、传感器数据与神经网络底层迁移学习的交叉领域专利,我们需要非常严谨地进行特征比对。

为了为您提供最精准的无效策略支持,我将严格对照权利要求1的各项技术特征,结合您提供的四篇对比文件的原文进行深入剖析,并按照创造性评判的逻辑框架为您梳理最接近的对比文件及无效突破口。


一、 对比文件公开情况与特征比对表

以下是权利要求1的技术特征分解,以及D1至D4(以公开号指代)的公开情况和具体段落出处映射:

  • D1: US20120078626A1

  • D2: US20140226838A1

  • D3: US09208432B2

  • D4: US20160071526A1

权利要求1技术特征 对比文件公开情况及原文出处
特征A:接收从本地设备处的多个传感器获取的传感器数据

D2 (实质公开): [0018] "...microphone unit includes multiple acoustic ports... multiple microphone elements... to acquire a signal..."


D4 (实质公开): [0006] "...a microphone array..." 及 [0358] "The client 1302 can receive an acoustic signal..."

特征B:接收使用本地配置信息在所述本地设备上计算出的空间信息标签

D2 (实质公开): [0081] "...determines an estimate of a source direction or location..." 及 [0082] 详细描述了利用已知麦克风几何结构计算DOA。


D4 (实质公开): [0360] "The features can include, for example, the direction of arrival information... derived at the local BSS module 1310..." (本地计算的DOA即为空间信息标签)

特征C:所述空间信息标签与所获取的传感器数据相关联

D2 (实质公开): [0117] "...direction information is determined for each (f,n) pair..." (DOA与具体的时频数据帧关联)。


D4 (实质公开): [0360] DOA信息作为特征与声学信号提取的特征一起被发送。

特征D:基于所述空间信息标签和传感器数据来训练第一神经网络的下层

未被任何对比文件公开。


注:D2提及使用DNN/RNN去噪[0272],D3提及更新网络的一部分([0093] portion of the network weights may be updated),但均未公开“利用空间标签+传感器数据去专门训练NN的下层”。

特征E:所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出

未被任何对比文件公开。


注:D2与D4均公开了波束成形(Beamforming),但它们使用的是传统的数学/DSP计算(如伪逆矩阵计算、NTF/NMF模型等),而非通过训练神经网络的下层来实现映射。

特征F:将已训练的下层纳入到用于音频分类的第二神经网络中

未被任何对比文件公开。


注:D3公开了网络状态的合并与部分转移([0098] Woff=(WA AND WB)),但并未公开将上述特定的波束成形下层纳入音频分类网络的架构。

特征G:使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签

未被任何对比文件公开。


注:D4 [0103] 和 [0368] 提及了ASR(自动语音识别)神经网络及声学事件处理,但其架构是前端BSS处理完后将音频传给后端的ASR,并未公开这种“冻结底层/下层权重后重新训练上层/第二网络以预测标签”的端到端神经网络迁移学习机制。


二、 最接近的对比文件(基于目标技术问题分析)

在进行创造性分析时,确定最接近的对比文件需要考量它们所面对的客观技术问题及预期的技术效果。

目标专利(CN108780523B)整体解决的核心技术问题是:如何高效利用本地设备的多传感器空间信息(标签),在降低云端计算负担的同时,通过神经网络底层迁移学习提升音频波束成形及分类的准确性。

基于此,D4 (US20160071526A1) 是最适合作为最接近的对比文件。

  • 理由:D4 专门探讨了“基于云的盲源分离(BSS)”以及“端云协同”。D4 在 [0358]-[0360] 段落中明确公开了本地客户端(Client 1302)接收多音频流,在本地提取特征(包括DOA / 抵达方向信息),并将这些特征发送到云端(Cloud system 1304)进行后续的声学信号处理(包括语音识别 ASR)。这在系统架构、应用场景、技术问题和基础数据流向(本地多麦克风 -> 本地计算DOA标签 -> 上云处理 -> 分类/识别)上,与目标专利构成了高度重合。

  • 备选对比文件:D2 (US20140226838A1) 也可以作为强有力的补充或第二选择。D2 在多麦克风阵列的相位/DOA计算细节、结合神经网络(DNN/RNN)进行声音源分离方面论述得非常深。


三、 缺失特征与无效请求的最薄弱环节

在明确了最接近的对比文件后,我们可以精准定位目标专利相对于现有技术的区别技术特征,这也是若提出无效请求时面临的最薄弱环节(即专利权人极大概率赖以维持专利权有效的核心壁垒)。

没有被最接近的对比文件(D4)公开,且未被D1-D3公开的区别技术特征为:特征D、E、F、G的组合。

无效请求的最薄弱环节分析:

本案的无效难点不在于“本地提取DOA(空间标签)上云”或“波束成形”,也不在于“使用神经网络进行音频分类”。最薄弱的技术特征在于这套特定的神经网络训练与迁移架构:将波束成形逻辑“内化”为第一神经网络的底层(下层),然后将该底层“拔插”到第二神经网络中并进行二次联合训练。

目前的四篇对比文件都存在一个底层逻辑的代差:

  1. 算法割裂:D2和D4均采用“传统DSP波束成形/NMF算法分离声源 + 将分离后的音频送入另一套神经网络进行ASR分类”的串行处理架构。它们没有教导用深度学习(神经网络)去直接拟合/映射波束成形输出。

  2. 缺乏迁移学习启示:即使D3提供了神经网络模块化更新(局部权重更新)的概念,但D3属于机器人行为训练控制领域,缺乏将其与D4或D2结合去解决“波束成形与音频分类联合优化”这一技术问题的动机。

诉讼/无效策略建议:

如果要成功无效该专利,仅依靠目前这四篇文件组合(例如 D4结合D2和D3)存在较高风险,专利审查员或合议组很容易以“事后诸葛亮(Hindsight)”或“缺乏结合启示”为由维持专利权有效。

为了构建严密的无效逻辑链条,建议您补充检索:大约在2015-2016年间,关于“多通道语音识别(Multi-channel ASR)”或“基于深度学习的波束成形(Neural Beamforming)”相关的学术论文或专利。 寻找那些明确教导了“将波束成形层作为ASR声学模型的前端网络进行联合微调(Joint Training/Fine-tuning)”的文献,用其来填补特征 D 至 G 的空白,再与 D4(端云架构)进行结合,方能形成一击必中的无效证据链。

 


权利要求2

如权利要求1所述的方法,其特征在于,重新训练包括重新训练所述第一神经网络和所述第二神经网络。


权利要求3

如权利要求1所述的方法,其特征在于,重新训练包括仅重新训练所述第二神经网络。


权利要求4

如权利要求1所述的方法,其特征在于,进一步包括基于所述空间信息标签来将经波束成形的流与所述传感器数据分离。


权利要求5

如权利要求4所述的方法,其特征在于,进一步包括基于所述经波束成形的流来对所述传感器数据进行分类。


权利要求6

如权利要求1所述的方法,其特征在于,所述空间信息标签包括抵达方向标签。


权利要求7

一种使用人工神经网络来进行基于云的音频处理的方法,包括:接收本地设备的设备标识信息和从所述本地设备处的多个传感器获取的传感器数据以及元数据,所述元数据包括用于所述本地设备的配置信息; 基于所述设备标识信息和所述元数据来设置所述神经网络的卷积滤波器,其中所述神经网络是由使用根据权利要求1‑6中任一项的方法训练的因设备而异的基于云的音频处理器实现的;以及在不重新训练所述神经网络的情况下基于所述传感器数据来预测音频事件分类。


权利要求8

如权利要求7所述的方法,其特征在于,进一步包括:接收所述本地设备的波束成形滤波器;以及 用所接收到的波束成形滤波器来代替所述神经网络的所述卷积滤波器,而不重新训练所述神经网络。


权利要求9

一种用于训练因设备而异的基于云的音频处理器的装置,包括:存储器;以及 耦合至所述存储器的至少一个处理器,所述至少一个处理器被配置成:接收从本地设备处的多个传感器获取的传感器数据; 接收使用本地配置信息在所述本地设备上计算出的空间信息标签,所述空间信息标签与所获取的传感器数据相关联; 基于所述空间信息标签和传感器数据来训练第一神经网络的下层,所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 将已训练的下层纳入到用于音频分类的第二神经网络中;以及使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。


权利要求10

如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步配置成重新训练所述第一神经网络和所述第二神经网络。


权利要求11

如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步被配置成仅重新训练所述第二神经网络。


权利要求12

如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步配置成:基于所述空间信息标签来将经波束成形的流与所述传感器数据分离。


权利要求13

如权利要求12所述的装置,其特征在于,所述至少一个处理器被进一步配置成基于所述经波束成形的流来对所述传感器数据进行分类。


权利要求14

如权利要求9所述的装置,其特征在于,所述空间信息标签包括抵达方向标签。


权利要求15

一种用于训练因设备而异的基于云的音频处理器的装备,包括:用于接收从本地设备处的多个传感器获取的传感器数据的装置; 用于接收使用本地配置信息在所述本地设备上计算出的空间信息标签的装置,所述空间信息标签与所获取的传感器数据相关联; 用于基于所述空间信息标签和传感器数据来训练第一神经网络的下层的装置,所述下层被训练以将所述传感器数据映射到一个或多个波束成形输出; 用于将已训练的下层纳入到用于音频分类的第二神经网络中的装置;以及用于使用所述第一神经网络的所述已训练的下层来重新训练所述第二神经网络的装置,所述第二神经网络被重新训练以基于所述一个或多个波束成形输出来预测音频事件标签。


权利要求16

如权利要求15所述的装备,其特征在于,用于重新训练的装置重新训练所述第一神经网络和所述第二神经网络。


权利要求17

如权利要求15所述的装备,其特征在于,用于重新训练的装置仅重新训练所述第二神经网络。


权利要求18

如权利要求15所述的装备,其特征在于,进一步包括用于基于所述空间信息标签来将经波束成形的流与所述传感器数据分离的装置。


权利要求19

如权利要求18所述的装备,其特征在于,进一步包括用于基于所述经波束成形的流来对所述传感器数据进行分类的装置。


权利要求20

如权利要求15所述的装备,其特征在于,所述空间信息标签包括抵达方向标签。


Powered by Django

网站备案号:渝ICP备2023012882号


重庆市非显而易见网络科技有限责任公司 A Anti NPE NPE