文件压缩专题-谢先斌的博客

文件压缩专题

发布时间： 2014-11-11 更新时间： 2024-07-21 总字数：587 阅读时间：2m 作者：谢先斌 IP上海

常见的文件压缩

介绍

Compressor name	Ratio	Compression	Decompress.
zstd 1.5.6 -1	2.887	510 MB/s	1580 MB/s
[zlib] 1.2.11 -1	2.743	95 MB/s	400 MB/s
brotli 1.0.9 -0	2.702	395 MB/s	430 MB/s
zstd 1.5.6 –fast=1	2.437	545 MB/s	1890 MB/s
zstd 1.5.6 –fast=3	2.239	650 MB/s	2000 MB/s
quicklz 1.5.0 -1	2.238	525 MB/s	750 MB/s
lzo1x 2.10 -1	2.106	650 MB/s	825 MB/s
[lz4] 1.9.4	2.101	700 MB/s	4000 MB/s
lzf 3.6 -1	2.077	420 MB/s	830 MB/s
snappy 1.1.9	2.073	530 MB/s	1660 MB/s

上表参考
结论
- 压缩比：zstd > LZ4 > GZIP > Snappy
- 吞吐量：LZ4 > zstd > Snappy > GZIP
gzip 是基于 DEFLATE 的算法，它是 LZ77 和 Huffman 编码的结合
Pigz 是 gzip 的并行实现的缩写，主要思想是利用多核处理器，将输入分成 128 KB 的块，每个块都被并行压缩
- Pigz 的作者 Mark Adler，同时也是 Info-ZIP 的 zip 和 unzip、GNU 的 gzip 和 zlib 压缩库的共创作者
LZ4 是一种无损压缩算法，每核提供大于 500MB/s 的压缩速度（大于0.15 Bytes/cycle）
- LZ4 的特点是解码速度极快，每核速度为多 GB/s（约1 Bytes/cycle）
Brotli: A General-Purpose Data Compressor 是 Google 于 2013 年底推出的开源通用数据压缩器，现已在大多数知名浏览器和 Web 服务器中采用
- 2013-2016 年完成规范，旨在进一步提高压缩比，它在优化网站速度上有大量应用
- brotli 比 gzip 快 30%，压缩结果大小差不太多，阿里云 CDN 支持 brotli 压缩算法
Zstd 全称叫 Zstandard，是一个提供高压缩比的快速压缩算法，主要实现的编程语言为 C，是 Facebook 的 Yann Collet 于2016年发布的，Zstd 采用了有限状态熵（Finite State Entropy，缩写为FSE）编码器
pigz 现代 gzip 的并行实现，多处理器、多核机器