文件压缩专题

发布时间: 更新时间: 总字数:594 阅读时间:2m 作者: IP上海 分享 网址

常见的文件压缩

介绍

Compressor nameRatioCompressionDecompress.
zstd 1.5.6 -12.887510 MB/s1580 MB/s
[zlib] 1.2.11 -12.74395 MB/s400 MB/s
brotli 1.0.9 -02.702395 MB/s430 MB/s
zstd 1.5.6 –fast=12.437545 MB/s1890 MB/s
zstd 1.5.6 –fast=32.239650 MB/s2000 MB/s
quicklz 1.5.0 -12.238525 MB/s750 MB/s
lzo1x 2.10 -12.106650 MB/s825 MB/s
[lz4] 1.9.42.101700 MB/s4000 MB/s
lzf 3.6 -12.077420 MB/s830 MB/s
snappy 1.1.92.073530 MB/s1660 MB/s
  • 上表参考
  • 结论
    • 压缩比:zstd > LZ4 > GZIP > Snappy
    • 吞吐量:LZ4 > zstd > Snappy > GZIP
  • gzip 是基于 DEFLATE 的算法,它是 LZ77Huffman 编码 的结合
  • Pigz 是 gzip 的并行实现的缩写,主要思想是利用多核处理器,将输入分成 128 KB 的块,每个块都被并行压缩
    • Pigz 的作者 Mark Adler,同时也是 Info-ZIP 的 zip 和 unzip、GNU 的 gzip 和 zlib 压缩库的共创作者
  • LZ4 是一种无损压缩算法,每核提供大于 500MB/s 的压缩速度(大于0.15 Bytes/cycle)
    • LZ4 的特点是解码速度极快,每核速度为多 GB/s(约1 Bytes/cycle)
  • Brotli: A General-Purpose Data Compressor 是 Google 于 2013 年底推出的开源通用数据压缩器,现已在大多数知名浏览器和 Web 服务器中采用
    • 2013-2016 年完成规范,旨在进一步提高压缩比,它在优化网站速度上有大量应用
    • brotli 比 gzip 快 30%,压缩结果大小差不太多,阿里云 CDN 支持 brotli 压缩算法
  • Zstd 全称叫 Zstandard,是一个提供高压缩比的快速压缩算法,主要实现的编程语言为 C,是 Facebook 的 Yann Collet 于2016年发布的,Zstd 采用了有限状态熵(Finite State Entropy,缩写为FSE)编码器
  • pigz 现代 gzip 的并行实现,多处理器、多核机器
  1. brotli 压缩算法介绍
  2. gzip / gunzip 压缩解压工具
  3. lz4 快速压缩工具
  4. Snappy 快速压缩工具
  5. tar 文件压缩解压工具
  6. xz 文件压缩解压工具
  7. 7z 压缩和解压
  8. zstd 速度快、性能好的压缩工具
Home Archives Categories Tags Statistics
本文总阅读量 次 本站总访问量 次 本站总访客数