[Linux-ug] Packereffizienz

Christian Brandt brandtc at psi5.com
Sa Okt 4 18:28:38 CEST 2008


Heute habe ich einen recht einfachen Packertest gemacht und war positiv
überrascht daß sich einiges getan hat in den letzten zehn Jahren. Ziel
war es den Mirror eines Blogs zu sichern.

Das rohe Tar war 800MB groß.
Gepackt mit gzip satte 100MB.
Mittels bzip2 rund 30MB.

Aber jetzt kommts: Rzip produzierte ein Archiv mit weniger als 2MB.

Und das noch dazu rasend schnell. Oha.

Und das ist kein Ausreisser, testweises Packen der postfix-Logs eines
grossen Providers zeigte ähnliche Raten: 1GB unbepackt, 100MB mit gzip,
80 mit bzip2, 20 mit rzip.

Und ein Diff zeigt daß die Daten korrekt sind.

Rzip stammt von Tridgel, dem Autor von Rsync, die Software ist
allerdings etwas exzentrisch, sie belegt 900MB RAM während des Packens,
ist dafür aber extrem schnell, fast so schnell wie gzip. Leider
unterstützt rzip kein multithreading, da es aber selbst bei Acht Kernen
schneller als pbzip2 ist kann mir das egal sein. Sie kann nicht mit
STDIO umgehen. Zum Entpacken sollte man ebenfalls einige 100MB freien
Speicher haben sonst ist der Packer zu 99% mit Diskseeking beschäftit.

Christian Brandt



Mehr Informationen über die Mailingliste Linux-ug