非显而易见杯

专利无效挑战赛

目标专利:2419一种重复数据删除方法及装置

专利公开号:CN106610790B

专利权人:交互数字

无效请求书提交日期:2026年


上一项目 下一项目

非显而易见性评估仅供参考,不构成法律建议。



权利要求列表点击可跳转

序号 权利要求内容

1

一种重复数据删除方法,其特征在于,包括;将待处理文件进行划分数据块处理;并计算划分得到的各数据块的数据指纹;针对每个数据块分别执行;将当前数据块的数据指纹与热点哈希表中的数据指纹进行匹配;若匹配一致;则确定所述当前数据块为重复数据;若匹配不一致;将所述当前数据块的数据指纹与哈希指纹表中的数据指纹进行匹配且匹配一致时;确定所述当前数据块为重复数据;其中;所述热点哈希表中各个哈希表项的数据指纹为在至少一个文件中重复出现次数达到设定门限值的数据指纹;所述哈希指纹表的数据指纹为已存储的各数据块的数据指纹;所述哈希指纹表存储在随机访问存储器RAM中;所述热点哈希表存储在相变存储器PCM中。

2

如权利要求1所述的方法,其特征在于,还包括;将所述当前数据块的数据指纹与热点哈希表中的数据指纹进行匹配且匹配一致时;更新所述热点哈希表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数。

3

如权利要求2所述的方法,其特征在于,所述热点哈希表中各个哈希表项依据哈希表项的数据指纹的重复出现次数在所述热点哈希表中顺序存储;所述方法还包括;在更新所述热点哈希表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数后;调整所述所述热点哈希表中与所述当前数据块的数据指纹匹配的数据指纹在所述热点哈希表中的存储位置。

4

如权利要求1至3任一项所述的方法,其特征在于,还包括;将所述当前数据块的数据指纹与哈希指纹表中的数据指纹进行匹配且匹配一致时;更新所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数;在所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数达到设定门限值时;将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹保存在所述热点哈希表中。

5

如权利要求4所述的方法,其特征在于,在将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹保存在所述热点哈希表中之前;还包括;确定存储所述热点哈希表的存储器的存储空间空闲。

6

如权利要求4所述的方法,其特征在于,将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹保存在所述热点哈希表中;包括;确定存储所述热点哈希表的存储器的存储空间已满;查找所述热点哈希表中待淘汰的哈希指纹;将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹;替换所述待淘汰的哈希指纹保存在所述热点哈希表中。


对比文件列表

编号 名称

权利要求1

一种重复数据删除方法,其特征在于,包括;将待处理文件进行划分数据块处理;并计算划分得到的各数据块的数据指纹;针对每个数据块分别执行;将当前数据块的数据指纹与热点哈希表中的数据指纹进行匹配;若匹配一致;则确定所述当前数据块为重复数据;若匹配不一致;将所述当前数据块的数据指纹与哈希指纹表中的数据指纹进行匹配且匹配一致时;确定所述当前数据块为重复数据;其中;所述热点哈希表中各个哈希表项的数据指纹为在至少一个文件中重复出现次数达到设定门限值的数据指纹;所述哈希指纹表的数据指纹为已存储的各数据块的数据指纹;所述哈希指纹表存储在随机访问存储器RAM中;所述热点哈希表存储在相变存储器PCM中。


权利要求2

如权利要求1所述的方法,其特征在于,还包括;将所述当前数据块的数据指纹与热点哈希表中的数据指纹进行匹配且匹配一致时;更新所述热点哈希表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数。


权利要求3

如权利要求2所述的方法,其特征在于,所述热点哈希表中各个哈希表项依据哈希表项的数据指纹的重复出现次数在所述热点哈希表中顺序存储;所述方法还包括;在更新所述热点哈希表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数后;调整所述所述热点哈希表中与所述当前数据块的数据指纹匹配的数据指纹在所述热点哈希表中的存储位置。


权利要求4

如权利要求1至3任一项所述的方法,其特征在于,还包括;将所述当前数据块的数据指纹与哈希指纹表中的数据指纹进行匹配且匹配一致时;更新所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数;在所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹的重复出现次数达到设定门限值时;将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹保存在所述热点哈希表中。


权利要求5

如权利要求4所述的方法,其特征在于,在将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹保存在所述热点哈希表中之前;还包括;确定存储所述热点哈希表的存储器的存储空间空闲。


权利要求6

如权利要求4所述的方法,其特征在于,将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹保存在所述热点哈希表中;包括;确定存储所述热点哈希表的存储器的存储空间已满;查找所述热点哈希表中待淘汰的哈希指纹;将所述哈希指纹表中与所述当前数据块的数据指纹匹配的数据指纹;替换所述待淘汰的哈希指纹保存在所述热点哈希表中。


Powered by Django

网站备案号:渝ICP备2023012882号


重庆市非显而易见网络科技有限责任公司 A Anti NPE NPE