it-swarm-es.tech

¿Mayor compresión para archivos (para transferencia web)?

He visto algunos archivos muy comprimidos, como 700 MB de datos comprimidos a unos 30-50 MB.

Pero, ¿cómo se obtienen esos archivos comprimidos? He intentado usar software como WinRAR y 7Zip, pero nunca he logrado una compresión tan alta.

¿Cuáles son las técnicas/software que le permiten comprimir archivos tan bien?

(P.D. estoy usando Windows XP)

16
rzlines

Si el tiempo necesario para comprimir los datos no es un problema, puede optimizar el tamaño comprimido utilizando varias herramientas diferentes juntas.

Comprima los datos varias veces utilizando diferentes herramientas como 7Zip, winrar (para Zip) y bjwflate.

(Tenga en cuenta que esto no significa comprimir el archivo Zip una y otra vez, sino crear varios archivos Zip alternativos con diferentes herramientas)

A continuación, ejecute deflopt en cada archivo para reducir cada archivo un poco más.

Finalmente, ejecute zipmix en la colección de archivos. Dado que las diferentes herramientas Zip son mejores en diferentes archivos, zipmix elige la mejor versión comprimida de cada archivo de cada uno de los archivos y produce una salida que es más pequeña que cualquiera de las herramientas Zip podrían haber producido individualmente.

Sin embargo, debe tener en cuenta que esto no garantiza que funcione ningún tipo de magia en sus archivos. Ciertos tipos de datos simplemente no se comprimen muy bien, como JPEG y MP3. Estos archivos ya están comprimidos internamente.

11
izb

Esto depende completamente de los datos que se comprimen.

El texto se comprime muy bien, los formatos binarios no tan bien y los datos comprimidos (mp3, jpg, mpeg) no lo son en absoluto.

Aquí hay un buen Tabla de comparación de compresión de wikipedia.

12
Nifle

¡Las respuestas anteriores son incorrectas en un orden de magnitud!

El mejor algoritmo de compresión con el que tengo experiencia personal es paq8o10t (ver zpaq página y PDF ) .

Sugerencia: el comando para comprimir archivos_o_carpetas sería como:

paq8o10t -5 archive files_or_folders

Archive size vs. time to compress and extract 10 GB (79,431 files) to an external USB hard drive at default and maximum settings on a Dell Latitude E6510 laptop (Core i7 M620, 2+2 hyperthreads, 2.66 GHz, 4 GB, Ubuntu Linux, Wine 1.6). Data from 10 GB Benchmark (system 4).

Fuente: tilidad de copia de seguridad de diario incremental y archivador

Puede encontrar un espejo del código fuente en GitHub .


Un algoritmo de compresión ligeramente mejor, y ganador del Premio Hutter , es decomp8 (ver enlace en la página del premio). Sin embargo, no hay ningún programa de compresor que pueda usar realmente.


Para realmente archivos grandes lrzip pueden alcanzar relaciones de compresión que son simplemente ¡cómico.

Un ejemplo de README.benchmarks:


Tomemos seis árboles de kernel con una versión aparte como tarball, linux-2.6.31 a linux-2.6.36. Estos mostrarán mucha información redundante, pero con cientos de megabytes de diferencia, que lrzip será muy bueno para comprimir. Para simplificar, solo se comparará 7z, ya que es el mejor compresor de uso general en este momento:

Estos son puntos de referencia realizados en un Intel Core2 de doble núcleo de 2.53Ghz con 4GB de ram usando lrzip v0.5.1. Tenga en cuenta que se estaba ejecutando con un espacio de usuario de 32 bits, por lo que solo era posible el direccionamiento de 2 GB. Sin embargo, el punto de referencia se ejecutó con la opción -U que permite que todo el archivo se trate como una gran ventana de compresión.

Tarball de 6 núcleos consecutivos.

Compression    Size                 Percentage      Compress    Decompress
None           2373713920           100             [n/a]       [n/a]
7z             344088002            14.5            17m26s      1m22s
lrzip          104874109            4.4             11m37s      56s
lrzip -l       223130711            9.4             05m21s      1m01s
lrzip -U       73356070             3.1             08m53s      43s
lrzip -Ul      158851141            6.7             04m31s      35s
lrzip -Uz      62614573             2.6             24m42s      25m30s
9
Alexander Riccio

Squeezechart.com contiene comparaciones de varias tasas de compresión. Aunque, como lo indica la respuesta de Nifle, es poco probable que obtenga tasas de compresión tan altas para los formatos binarios.

3
idan315

Simplemente marque Resumen de las pruebas de referencia de compresión de múltiples archivos que tiene la mejor lista de compresión que consiste en la referencia de compresión completa.

Top 30

enter image description here

Los mejores resultados (basados ​​en la compresión) en esta prueba son PAQ8 y WinRK (PWCM). Son capaces de comprimir el conjunto de pruebas de más de 300 Mb a menos de 62 Mb (80% de reducción de tamaño) pero tardan un mínimo de 8,5 horas en completar la prueba. El programa número uno (PAQ8P) lleva casi 12 horas y el número cuatro (PAQAR) incluso 17 horas para completar la prueba. WinRK, el programa con la segunda mejor compresión (79.7%) toma alrededor de 8,5 horas. No es sorprendente que todos los programas mencionados hagan uso de un motor PAQ (similar) para la compresión. Si tiene archivos con imágenes incrustadas (por ejemplo, Word DOC) use PAQ8, los reconocerá y los comprimirá por separado, aumentando significativamente la compresión. Todos los programas mencionados (excepto WinRK) son gratuitos.

3
LifeH2O

La mayoría de las herramientas de compresión tienen configuraciones que le permiten lograr una tasa de compresión más alta con un compromiso de tiempos de compresión/descompresión más lentos y más RAM uso.

Para 7-Zip, busque "Agregar al cuadro de diálogo de archivo" en la ayuda integrada para obtener más detalles.

2
Tom Robinson

Puede probar 7Zip con la siguiente configuración ultra:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql
2
kenorb

Nanozip parece tener la compresión más alta junto con FreeArc. Pero aún no está en la versión final. Hay qué tan buena compresión logra Nanozip . Tiene una compresión muy alta y no toma demasiado tiempo, verifique el Resumen de las pruebas de referencia de compresión de múltiples archivos , pero FreeArc es más rápido.

1
user712092

Su mejor apuesta aquí parece ser prueba y error. Pruebe todas sus técnicas de compresión disponibles en cada archivo y elija el mejor para poner en su sitio web. Afortunadamente, las computadoras hacen este tipo de cosas bastante rápido y no se aburren. Podría escribir un script simple para automatizar el proceso para que sea "relativamente indoloro".

Simplemente no esperes milagros: 700 mb hasta 30 mb simplemente no sucede con tanta frecuencia. Archivos de registro como se mencionó anteriormente: sí. "Su archivo promedio" - de ninguna manera.

1
hotei