目标专利:523用于发送遗失或损坏视频数据信号的系统及方法
专利公开号:CN109792567B
专利权人:高通股份有限公司
无效请求书提交日期:2026年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种处理视频数据的方法,所述方法包括: 获得多个视频数据帧,其中,所述视频数据包含多个视频样本,所述多个视频样本中的每一个视频样本包含多个帧中的一或多个帧; 确定所述多个视频样本中的第一视频样本中的所述多个帧中的至少一个帧被损坏;以及产生媒体文件,所述媒体文件包含用于所述多个视频样本中的每个视频样本的样本项,以及包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中产生所述媒体文件包括将多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,以及其中响应于确定所述第一视频样本中的至少一个帧被损坏,将多个视频样本中的每个视频样本与样本群组类型项相关联包括将第一视频样本与第一项相关联。
根据权利要求1所述的方法,其中所述视频数据包含对应于所述多个帧中的所述至少一个帧的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求1所述的方法,其中所述至少一个帧为帧间预测链的部分,其中所述视频数据包含对应于所述帧间预测链的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求1所述的方法,其中所述类型识别符包含样本项类型。
根据权利要求1所述的方法,其中所述媒体文件是基于国际标准组织ISO基本媒体文件格式ISOBMFF。
根据权利要求1所述的方法,进一步包括: 产生包含所述视频数据的多个片段的列表表示的第二媒体文件,所述多个片段包括第一片段和第二片段,其中第一片段和第二片段中的每一个包含所述视频数据的一或多个帧,第二片段进一步包含所述视频数据的一个或多个遗失帧; 确定所述第二片段包含所述一个或多个遗失帧; 产生所述一个或多个遗失帧的第二指示;及 在所述第二媒体文件中包含所述第二指示。
根据权利要求6所述的方法,其中所述第二媒体文件是基于媒体呈现描述MPD格式,其中所述列表表示包含一或多个调适集合,所述一或多个调适集合中的每一个包含包括所述一个或多个遗失帧的一或多个表示或一或多个子表示中的至少一或多个,其中所述一或多个表示或所述一或多个子表示中的每一个与一或多个片段相关联,且其中所述第二指示包含与包含于所述一或多个表示或所述一或多个子表示中的所述一个或多个遗失帧相关联的一或多个元素,所述一或多个元素与包含所述第二片段的时戳及持续时间的属性的集合相关联。
根据权利要求6所述的方法,其中所述列表表示包含用于检索所述第一片段而非所述第二片段的信息,且其中所述第二指示包括用于检索所述第二片段的信息的省略。
根据权利要求6所述的方法,其中所述列表表示包含与所述第二片段相关联的文本指示符,所述文本指示符指示所述第二片段包含所述一个或多个遗失帧,且其中所述第二指示包含所述文本指示符。
根据权利要求9所述的方法,其中所述第二媒体文件是基于HTTP实时流式传输HLS播放列表格式,其中所述多个片段中的每一片段与传输流TS文件相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求9所述的方法,其中所述第二媒体文件是基于共同媒体应用程序格式CMAF且包含播放列表,其中所述多个片段中的每一片段与ISOBMFF相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
一种处理媒体文件的方法,所述方法包括: 获得包含媒体内容的媒体文件,其中所述媒体内容包含: 多个视频样本,所述多个视频样本中的每一个包含多个帧中的一或多个帧; 用于多个视频样本中的每个视频样本的样本项;和 包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,确定多个视频样本中的第一视频样本与第一项相关联; 基于第一视频样本与第一项的相关联,确定第一视频样本中的多个帧包括至少一个损坏的帧;及处理所述至少一个损坏的帧。
根据权利要求12所述的方法,其中所述视频样本包含对应于所述多个帧中的所述至少一个帧的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求12所述的方法,其中所述至少一个帧为帧间预测链的部分,其中所述视频样本包含对应于所述帧间预测链的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求12所述的方法,其中所述类型识别符包含样本项类型。
根据权利要求12所述的方法,其中所述媒体文件是基于国际标准组织ISO基本媒体文件格式ISOBMFF。
根据权利要求12所述的方法,其中基于所述指示处理所述至少一个损坏的帧包括:基于所述类型识别符识别对应于所述至少一个损坏的帧的所述媒体内容的一部分;及跳过所述媒体内容的所述部分的处理。
根据权利要求12所述的方法,进一步包括: 接收包括所述视频样本的多个片段的列表表示的第二媒体文件,所述多个片段包含第一片段及第二片段,第一片段及第二片段中的每一个包含所述视频样本的一或多个帧,其中所述第二片段还包含所述视频样本的一个或多个遗失帧,并且其中所述媒体文件还包含指示所述第二片段包含所述视频样本的一个或多个遗失帧的第二指示;以及基于所述第二指示处理所述第二媒体文件。
根据权利要求18所述的方法,其中所述第二媒体文件是基于媒体呈现描述MPD格式,其中所述列表表示包含一或多个调适集合,所述一或多个调适集合中的每一个包含包括所述一个或多个遗失帧的一或多个表示或一或多个子表示中的至少一或多个,其中所述一或多个表示或所述一或多个子表示中的每一个与一或多个片段相关联,且其中所述第二指示包含与包含于与所述第二片段相关联的所述一或多个表示或所述子表示中的所述一个或多个遗失帧相关联的一或多个元素,所述一或多个元素与包含所述第二片段的时戳及持续时间的属性的集合相关联。
根据权利要求18所述的方法,其中所述列表表示包含用于检索所述第一片段而非所述第二片段的信息,且其中所述第二指示包括用于检索所述第二片段的信息的省略。
根据权利要求18所述的方法,其中所述列表表示包含与所述第二片段相关联的文本指示符,所述文本指示符指示所述第二片段包含所述一个或多个遗失帧,且其中所述第二指示包含所述文本指示符。
根据权利要求21所述的方法,其中所述第二媒体文件是基于HTTP实时流式传输HLS播放列表格式,其中所述多个片段中的每一片段与传输流TS文件相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求21所述的方法,其中所述第二媒体文件是基于共同媒体应用程序格式CMAF且包含播放列表,其中所述多个片段中的每一片段与ISOBMFF相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求18所述的方法,其中所述处理所述至少一个损坏的帧包括:发射请求到流式传输服务器以请求第三片段代替所述第二片段。
一种用于处理视频数据的设备,其包括: 存储器,其经配置以存储所述视频数据;及 处理器,其经配置以进行以下操作: 获得所述视频数据的多个帧,其中所述视频数据包含多个视频样本,所述多个视频样本中的每一个包含所述多个帧中的一或多个帧; 确定所述多个视频样本中的第一视频样本中的所述多个帧中的至少一个帧被损坏;及产生媒体文件,所述媒体文件包含用于多个视频样本中的每个视频样本的样本项,以及包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中产生所述媒体文件包括将多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,以及其中响应于确定所述第一视频样本的至少一个帧被损坏,将多个视频样本中的每个视频样本与样本群组类型项相关联包括将第一视频样本与第一项相关联。
根据权利要求25所述的设备,其中所述视频数据包含对应于所述多个帧中的所述至少一个帧的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求25所述的设备,其中所述至少一个帧为帧间预测链的部分,其中所述视频数据包含对应于所述帧间预测链的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求25所述的设备,其中所述类型识别符包含样本项类型。
根据权利要求25所述的设备,其中所述媒体文件是基于国际标准组织ISO基本媒体文件格式ISOBMFF。
根据权利要求25所述的设备,其中所述处理器还被配置以:产生包括所述视频数据的多个片段的列表表示的第二媒体文件,所述多个片段包括第一片段及第二片段,其中第一片段及第二片段中的每一个都包括视频数据的一个或多个帧,所述第二片段进一步包含所述视频数据的一个或多个遗失帧; 确定所述第二片段包含一个或多个遗失帧; 产生所述一个或多个遗失帧的第二指示;及 在所述第二媒体文件中包含所述第二指示。
根据权利要求30所述的设备,其中所述第二媒体文件是基于媒体呈现描述MPD格式,其中所述列表表示包含一或多个调适集合,所述一或多个调适集合中的每一个包含包括所述一个或多个遗失帧的一或多个表示或一或多个子表示中的至少一或多个,其中所述一或多个表示或所述一或多个子表示中的每一个与一或多个片段相关联,且其中所述第二指示包含与包含于所述一或多个表示或所述一或多个子表示中的所述一个或多个遗失帧相关联的一或多个元素,所述一或多个元素与包含所述第二片段的时戳及持续时间的属性的集合相关联。
根据权利要求30所述的设备,其中所述列表表示包含用于检索所述第一片段而非所述第二片段的信息,且其中所述第二指示包含用于检索所述第二片段的信息的省略。
根据权利要求30所述的设备,其中所述列表表示包含与所述第二片段相关联的文本指示符,所述文本指示符指示所述第二片段包含所述一个或多个遗失帧,且其中所述第二指示包含所述文本指示符。
根据权利要求33所述的设备,其中所述第二媒体文件是基于HTTP实时流式传输HLS播放列表格式,其中所述多个片段中的每一片段与传输流TS文件相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求33所述的设备,其中所述第二媒体文件是基于共同媒体应用程序格式CMAF且包含播放列表,其中所述多个片段中的每一片段与ISOBMFF相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求25所述的设备,其中所述设备包括具有用于捕捉图片的摄影机的移动装置。
一种用于处理媒体文件的设备,其包括: 存储器,其经配置以存储所述媒体文件;及 处理器,其经配置以进行以下操作: 获得包含媒体内容的媒体文件,其中所述媒体内容包含: 多个视频样本,所述多个视频样本中的每一个包含多个帧中的一或多个帧; 用于所述多个视频样本中的每个视频样本的样本项;和 包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中所述多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,确定多个样本中的第一视频样本与第一项相关联; 基于第一视频样本与第一项的相关联,确定第一视频样本中的多个帧包括至少一个损坏的帧;及处理所述至少一个损坏的帧。
根据权利要求37所述的设备,其中所述视频样本包含对应于所述多个帧中的所述至少一个帧的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求37所述的设备,其中所述至少一个帧为帧间预测链的部分,其中所述视频样本包含对应于所述帧间预测链的第一数据,且其中所述第一数据对于正确地解码所述至少一个帧是不充足的。
根据权利要求37所述的设备,其中所述类型识别符包含样本项类型。
根据权利要求37所述的设备,其中所述媒体文件是基于国际标准组织ISO基本媒体文件格式ISOBMFF。
根据权利要求37所述的设备,其中所述处理器经进一步配置以: 基于所述类型识别符识别对应于所述至少一个损坏的帧的所述媒体内容的一部分;及跳过所述媒体内容的所述部分的处理。
根据权利要求37所述的设备,其中所述处理器进一步配置以:接收包括所述视频样本的多个片段的列表表示的第二媒体文件,所述多个片段包含第一片段和第二片段,第一片段及第二片段中的每一个包含所述视频样本的一或多个帧,其中所述第二片段还包括视频样本的一个或多个遗失帧,其中所述指示是第一指示,且其中所述媒体文件还包含用以指示所述第二片段包含所述视频样本的一个或多个遗失帧的第二指示;及基于所述第二指示处理第二媒体文件。
根据权利要求43所述的设备,其中所述第二媒体文件是基于媒体呈现描述MPD格式,其中所述列表表示包含一或多个调适集合,所述一或多个调适集合中的每一个包含包括所述一个或多个遗失帧的一或多个表示或一或多个子表示中的至少一或多个,其中所述一或多个表示或所述一或多个子表示中的每一个与一或多个片段相关联,且其中所述第二指示包含与包含于与所述第二片段相关联的所述一或多个表示或所述子表示中的所述一个或多个遗失帧相关联的一或多个元素,所述一或多个元素与包含所述第二片段的时戳及持续时间的属性的集合相关联。
根据权利要求43所述的设备,其中所述列表表示包含用于检索所述第一片段而非所述第二片段的信息,且其中所述第二指示包含用于检索所述第二片段的信息的省略。
根据权利要求43所述的设备,其中所述列表表示包含与所述第二片段相关联的文本指示符,所述文本指示符指示所述第二片段包含所述一个或多个遗失帧,且其中所述第二指示包含所述文本指示符。
根据权利要求46所述的设备,其中所述第二媒体文件是基于HTTP实时流式传输HLS播放列表格式,其中所述多个片段中的每一片段与传输流TS文件相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求46所述的设备,其中所述第二媒体文件是基于共同媒体应用程序格式CMAF且包含播放列表,其中所述多个片段中的每一片段与ISOBMFF相关联,其中所述列表表示包含一组标签,且其中所述文本指示符为与所述第二片段相关联的所述组标签中的标签。
根据权利要求43所述的设备,其中所述处理器经进一步配置以: 发射请求到流式传输服务器以请求第三片段代替所述第二片段。
根据权利要求37所述的设备,其进一步包括: 显示器,其用于显示所述多个帧中的一或多个。
根据权利要求37所述的设备,其中所述设备包含具有用于捕捉图片的摄影机的移动装置。
一种用于处理视频数据的设备,其包括: 用于获得多个视频数据帧的装置,其中,所述视频数据包含多个视频样本,所述多个视频样本中的每一个包含多个帧中的一或多个帧; 用于确定所述多个视频样本中的第一视频样本中的所述多个帧中的至少一个帧被损坏的装置; 及 用于产生媒体文件的装置,所述媒体文件包含用于所述多个视频样本中的每个视频样本的样本项,以及包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中产生所述媒体文件包括将多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,以及其中响应于确定所述第一视频样本中的至少一个帧被损坏,将多个视频样本中的每个视频样本与样本群组类型项相关联包括将第一视频样本与第一项相关联。
一种用于处理媒体文件的设备,其包括: 用于获得包含媒体内容的媒体文件的装置,其中,所述媒体内容包含: 多个视频样本,所述多个视频样本中的每一个包含多个帧中的一或多个帧; 用于多个视频样本中的每个视频样本的样本项;和 包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,用于确定多个样本中的第一视频样本与第一项相关联的装置; 基于第一视频样本与第一项的相关联,用于确定第一视频样本中的多个帧包括至少一个损坏的帧的装置;及用于处理所述至少一个损坏的帧的装置。
一种上面存储有指令的非暂时性计算机可读介质,所述指令在由一或多个处理器执行时使得所述一或多个处理器执行以下操作:获得多个视频数据帧,其中,所述视频数据包含多个视频样本,所述多个视频样本中的每一个包含多个帧中的一或多个帧; 确定所述多个视频样本中的第一视频样本中的所述多个帧中的至少一个帧被损坏; 以及 产生媒体文件,所述媒体文件包含用于所述多个视频样本中的每个视频样本的样本项,以及包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中产生所述媒体文件包括将多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,以及其中响应于确定所述第一视频样本中的至少一个帧被损坏,将多个视频样本中的每个视频样本与样本群组类型项相关联包括将第一视频样本与第一项相关联。
一种上面存储有指令的非暂时性计算机可读介质,所述指令在由一或多个处理器执行时使得所述一或多个处理器执行以下操作:获得包含媒体内容的媒体文件,其中,所述媒体内容包含:多个视频样本,所述多个视频样本中的每一个包含多个帧中的一或多个帧; 用于多个视频样本中的每个视频样本的样本项;和 包含样本群组类型项的样本群组描述框,所述样本群组类型项的第一项包含类型识别符,所述类型识别符指示视频样本有至少一个帧被损坏,其中多个视频样本中的每个视频样本与包含于样本群组描述框中的样本群组类型项相关联,确定多个样本中的第一视频样本与第一项相关联; 基于第一视频样本与第一项的相关联,确定第一视频样本中的多个帧包括至少一个损坏的帧;及处理所述至少一个损坏的帧。