it-swarm-es.tech

Sistema de archivos estable para archivos grandes (copias de seguridad) para linux

¿Qué sistema de archivos sería mejor para las copias de seguridad? Me interesa principalmente la estabilidad (especialmente la incorrupción de archivos durante reinicios duros, etc.) pero también es importante la eficacia con la que maneja archivos grandes (> 5GB).

Además, ¿qué parámetros de montaje debo usar?

El kernel es Linux> = 2.6.34.

EDITAR: Yo sí no quiero métodos de respaldo. Necesito el sistema de archivos para almacenarlos.

18
Maciej Piechotka

Puede usar ext4 pero recomendaría montar con journal_data modo que desactivará dealloc (asignación retrasada) que 'causó algunos problemas anteriores. La desactivación de dealloc hará que las escrituras de nuevos datos sean más lentas, pero hará que las escrituras en caso de falla de energía sean menos propensas a sufrir pérdidas. También debo mencionar que puedes desactivar dealloc sin usar journal_data que tiene algunos otros beneficios (o al menos lo hizo en ext3), como lecturas ligeramente mejoradas, y creo que una mejor recuperación.

Las extensiones todavía ayudarán con la fragmentación. Las extensiones hacen que la eliminación de archivos grandes sea mucho más rápida que ext3, una eliminación de datos de cualquier tamaño (archivo único) debería ser casi instantánea en ext4, pero puede llevar mucho tiempo en ext3. (basado en cualquier extensión FS tiene esta ventaja)

ext4 también fsck es más rápido que ext3.

Una última nota, ¿hubo correcciones de errores en ext4 hasta como 2.6.31? Básicamente, me aseguraría de que no esté ejecutando un kernel anterior a 2.6.32, que es un kernel LTS.

13
xenoterracide

XFS es sólido como una roca y ha estado en el kernel durante años. Examine herramientas como xfs_freeze y vea si es lo que está buscando. Sé que esto es muy subjetivo, pero he usado XFS para el almacenamiento de datos durante años sin incidentes.

5
dsp

Simplemente use una herramienta de respaldo que admita sumas de verificación. Por ejemplo, Dar lo hace y admite copias de seguridad incrementales. Luego, puede hacer una copia de seguridad en un sistema de archivos sólido como ext3.

Para las copias de seguridad, desea algo sólido como una roca/muy estable. Y btrfs o ZFS simplemente no están listos hoy.

3
maxschlepzig

Un aspecto muy importante en mi humilde opinión que no he visto discutido en las otras respuestas son las características de estabilidad del diseño en disco del sistema de archivos (por ejemplo, considere consultar la documentación de posibles candidatos ext4 , btrfs )

Si bien la base de código y la cantidad de pruebas de los controladores del sistema de archivos de la base de código, es de hecho importante como ya lo mostraron otras respuestas, ya que es la protección de los datos durante su lectura y escritura , el en el diseño/formato del disco es la protección contra riesgos para sus datos en reposo, que son formas de defectos de hardware, como sectores ilegibles, o silencioso bit rot .

Con respecto a ext4, que se dice que tiene buenas características en lo que respecta a su código base probado durante mucho tiempo ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault % 202016_0.pdf muestra que tomó más tiempo encontrar errores en él que, por ejemplo, en el más moderno y complejo btrfs), tengo examiné la resistencia ext4 en reposo y Encontré algunas deficiencias en mi humilde opinión, del otro sistema de archivos elogiado.

Lo consideraría prudente (si se elige ext4 como " copia de seguridad sólida fs") para mejorar la recuperabilidad (aunque "endureciéndola") mediante el uso de e2image herramienta los desarrolladores de ext4 proporcionar

El programa e2image guardará los metadatos críticos del sistema de archivos ext2, ext3 o ext4 ubicados en el dispositivo en un archivo especificado por image-file. El archivo de imagen puede ser examinado por dumpe2fs y debugfs, usando la opción -i para esos programas. Esto puede ayudar a un experto a recuperar sistemas de archivos dañados catastróficamente. En el futuro, e2fsck se mejorará para poder usar el archivo de imagen para ayudar a recuperar un sistema de archivos muy dañado.

y recomendar .

Es una muy buena idea crear archivos de imagen para todos los sistemas de archivos en un sistema y guardar el diseño de la partición (que se puede generar usando el comando fdisk -l) a intervalos regulares --- en el momento del arranque, y/o cada semana o entonces. El archivo de imagen debe almacenarse en algún sistema de archivos que no sea el sistema de archivos cuyos datos contiene, para garantizar que estos datos sean accesibles en el caso de que el sistema de archivos haya sido gravemente dañado.

Teniendo en cuenta que ni siquiera todos los metadatos de ext4 en el diseño del disco se proporcionan con redundancia (es decir, el superbloque se almacena principalmente varias veces como una copia, los indo se almacenan exactamente en 1 lugar solamente), el ext4 es seguramente inferior con btrfs que proporcionaría al menos sumas de comprobación para ¡todos metadatos + los ¡datos de contenido del archivo.

Para contrarrestar este "defecto" de ext4 y haz que sea más rock-solid cosa en el aspecto de en el diseño del disco podría ser razonable complementar esta redundancia y recuperación para el contenido del archivo a través de par2/ pergamino

A pesar de que la pregunta exige centrarse en las soluciones del sistema de archivos, me gustaría llamar la atención sobre que la mayor parte de lo que proporciona un sistema de archivos (almacenamiento en caché, diarios, recuperación de espacio asignado, asignación de bloques, etc.) no es necesariamente algo de lo que se beneficiarán los datos de respaldo. mucho cuando solo se escribe y se lee a granel y al azar. Para eso, consideraría usar una copia de seguridad parchive suplemento tar como la solución de copia de seguridad más óptima, ya que la base de código utilizada en el proceso se reduce y, por lo tanto, hay menos errores si hay menos "características".

0
humanityANDpeace

btrfs tiene una suma de verificación transparente de los datos escritos en el disco y un modo rápido de escritura ordenada que está siempre activado (y muchas otras funciones fáciles de realizar copias de seguridad) que lo hacen atractivo para las copias de seguridad. Consulte https://btrfs.wiki.kernel.org/index.php/Main_Page para obtener más detalles.

0
durin42