目标专利:4218用于整体视频理解的视频模型的自适应使用
专利公开号:CN116997938B
专利权人:高通股份有限公司
无效请求书提交日期:2027年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种用于处理视频数据的装置,包括:存储器;以及一个或多个处理器,其被耦合到所述存储器;所述一个或多个处理器被配置为:获得第一视频;使用机器学习模型决策引擎基于所述第一视频的至少一部分提取第一多个特征;使用所述机器学习模型决策引擎基于所述第一多个特征从机器学习模型集合确定第一机器学习模型;所述机器学习模型集合至少包括所述第一机器学习模型和第二机器学习模型;所述第一机器学习模型具有与所述第二机器学习模型不同的神经网络架构;所述第一机器学习模型基于所述第一多个特征的一个或多个特性来被确定;使用所述第一机器学习模型基于所述第一视频的至少所述部分提取第二多个特征;其中所述第二多个特征包括从所述第一视频的所述部分的第一帧提取的第一特征和从所述第一视频的所述部分的第二帧提取的第二特征;其中所述第二帧不同于所述第一帧;以及处理所述第二多个特征。
根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:基于处理所述第二多个特征来确定所述第一视频的至少所述部分的分类。
根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:使用第一补充模型处理所述第二多个特征;以及基于使用所述第一补充模型处理所述第二多个特征来确定所述第一视频的至少所述部分的第一分类。
根据权利要求3所述的装置,其中:所述第一补充模型包括一维卷积神经网络CNN;所述第二多个特征包括:基于所述第一视频的至少所述部分的第一帧的第一特征矢量以及基于所述第一视频的至少所述部分的第二帧的第二特征矢量;以及所述第一补充模型从至少所述第一特征矢量和所述第二特征矢量生成所述第一视频的至少所述部分的时间信息。
根据权利要求3所述的装置,其中所述第一补充模型包括多层感知器。
根据权利要求3所述的装置,其中所述第一补充模型包括图形卷积网络。
根据权利要求3所述的装置,其中所述第一补充模型包括非本地模型。
根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:使用所述机器学习模型决策引擎基于所述第一视频的至少另一部分提取第三多个特征;使用所述机器学习模型决策引擎基于所述第三多个特征从所述机器学习模型集合确定所述第二机器学习模型;所述第二机器学习模型基于所述第三多个特征的一个或多个特性来被确定;使用所述第二机器学习模型基于所述第一视频的所述至少另一部分提取第四多个特征;以及处理所述第四多个特征。
根据权利要求8所述的装置,其中所述一个或多个处理器被配置为:使用补充模型处理所述第四多个特征;以及基于使用所述补充模型处理所述第四多个特征来确定所述第一视频的所述至少另一部分的第二分类。
根据权利要求1所述的装置,其中所述第一机器学习模型包括二维2D CNN。
根据权利要求10所述的装置,其中所述2D CNN在两个空间维度中从所述第一视频的至少所述部分提取第一一个或多个特征。
根据权利要求1所述的装置,其中所述第一机器学习模型包括三维3D CNN。
根据权利要求12所述的装置,其中所述3D CNN在两个空间维度和一个时间维度中从所述第一视频的至少所述部分提取第一一个或多个特征。
根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:获得第二视频;使用所述机器学习模型决策引擎基于所述第二视频的至少一部分提取第三多个特征;使用所述机器学习模型决策引擎基于所述第三多个特征从所述机器学习模型集合确定第三机器学习模型;所述第三机器学习模型具有与所述第一机器学习模型和所述第二机器学习模型不同的架构;所述第三机器学习模型基于所述第三多个特征的一个或多个特性来被确定;使用所述第三机器学习模型基于所述第二视频的至少所述部分提取第四多个特征;以及处理所述第四多个特征。
根据权利要求1所述的装置,其中所述机器学习模型决策引擎与所述第一机器学习模型共享公共神经网络架构;以及其中所述一个或多个处理器被配置为:与从所述机器学习模型集合确定所述第一机器学习模型以用于处理所述第一视频的至少所述部分并行地,使用所述第一机器学习模型从所述第一视频的至少所述部分提取所述第二多个特征。
根据权利要求1所述的装置,其中所述第一多个特征的所述一个或多个特性包括空间和时间特性。
根据权利要求1所述的装置,其中所述第一多个特征的所述一个或多个特性包括音频特性。