一种基于预分块和滑动窗口的重复数据消除方法
DOI:
CSTR:
作者:
作者单位:

作者简介:

王灿

通讯作者:

中图分类号:

TP309.3

基金项目:

教育部培育基金;国家自然科学基金资助项目“面相感应网络的移动现实挖掘及复杂行为模式分析研究”


Deduplication method based on content defined pre-chunking and sliding
window
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对现有重复数据消除方法中提高压缩比和降低元数据开销之间的矛盾, 提出了一种基于预分块和滑动窗
    口的重复数据消除方法并建立了性能分析通用模型. 该方法首先对数据对象进行基于内容的预分块, 再对数据变动
    区域和非变动区域采用不同的分块策略, 从而在分块大小预期值较大时, 仍能获得较高的压缩比并降低了元数据开
    销. 真实数据集上的实验结果表明, 该方法的平均压缩比高于现有最优值, 而平均时间开销显著降低.

    Abstract:

    To address the contradiction between improving compression ratio and reducing metadata cost, a deduplication method based on pre-chunking and sliding window is proposed. A universal performance-analyzing model is also given. In this method, the data objects are pre-chunked based on content, then different chunking strategies are used on the data changing regions and the non-changing regions respectively. A satisfying compression ratio and lower metadata cost can be achieved with a relatively larger expected chunk size. The experimental results on real data indicate that the average compression ratio of the method is higher than the current optimal value and the average time cost is reduced significantly.

    参考文献
    相似文献
    引证文献
引用本文

王灿, 秦志光, 王娟.一种基于预分块和滑动窗口的重复数据消除方法[J].控制与决策,2012,27(8):1157-1162

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2011-01-14
  • 最后修改日期:2011-06-28
  • 录用日期:
  • 在线发布日期: 2012-08-20
  • 出版日期:
文章二维码