Hemos compilado una lista de los mecanismos de protección comunes que se utilizan en nuestros sistemas de almacenamiento, servidores y clústeres.
Primero tenemos que declarar las variables correspondientes para las fórmulas utilizadas, que puedes encontrar debajo de cada publicación. Las letras de la fórmula siempre son las mismas.

Recuento de unidades: n
Capacidad de unidades: K
Capacidad neta de una matriz de unidades: N

Con la codificación de réplica y borrado, se agregan variables adicionales.

Número de servidores - Sn
Datos brutos - R
Paridades - P
El número de unidades se refiere a un único alojamiento de servidor para los sistemas distribuidos. a un único alojamiento de servidor en cada caso.

Por controlador RAID

Un controlador RAID es básicamente una computadora que se especializa en almacenar datos con la menor cantidad de tiempo posible con una redundancia predefinida. Lo hace calculando paridades (XORing) o simplemente copiando datos en varias unidades para reflejarlos. De cualquier manera, un controlador RAID puede reconstruir el conjunto de datos original a partir de él.

Nosotros, como veteranos en el mercado RAID, suministramos sistemas grandes y pequeños con controladores integrados, controladores RAID externos (los llamados cabezales RAID) en gabinetes separados, así como tarjetas enchufables PCIe para su instalación en un servidor.

Dependiendo de las necesidades o la importancia de la protección, el administrador puede seleccionar el nivel RAID deseado y crear los conjuntos RAID necesarios a través de WebGUI, la interfaz de usuario del controlador.

RAID0

Comienza de inmediato con una contradicción, porque RAID0 básicamente no es un protector de datos, al contrario: la probabilidad de falla de la federación incluso aumenta con este procedimiento, que también se llama striping. Después de todo, si incluso uno de los discos falla, los datos se pierden. Este modo solo aporta ganancias de rendimiento, ya que el controlador combina las unidades en un volumen lógico y, por lo tanto, las conduce en paralelo.

Capacidades: los tamaños de las unidades se suman.

Fórmula: N = nx K

RAID1

En la variante más simple y también más cara, el controlador RAID copia simultáneamente los datos en dos o más unidades del mismo tamaño. Por lo tanto, los soportes de datos involucrados se duplican y el stock de datos está disponible en forma clonada en todas las unidades.

Capacidades: la capacidad de una unidad se conserva de los soportes de datos.

Fórmula: N = K = (nx K) / n

RAID10

RAID10 es una combinación de los dos modos anteriores. El controlador primero refleja dos discos duros uno encima del otro, de modo que se crea una copia uno a uno. Las unidades clonadas de esta manera se combinan a su vez para formar una unidad virtual en el nivel RAID 0 en aras del rendimiento. Debido a la duplicación, siempre se requiere un número par de discos.

Capacidades: La mitad de la capacidad queda de los soportes de datos.

Fórmula: N = (nx K) / 2

RAID1E

RAID1E representa una forma especial, ya que también se puede implementar con un número impar de unidades. Los bloques de datos se distribuyen uniformemente entre las unidades. Ejemplo: el bloque 1 se escribe en HDD1 y HDD2, el bloque 2 en HDD2 y HDD3, el bloque 3 en HDD1 y HDD3, etc.

Capacidades: Aquí la capacidad se reduce a la mitad.

Fórmula: N = (nx K) / 2

RAID5 (RAID3, RAID4)

RAID3 y RAID4 apenas se utilizan hoy en día, ya que RAID5 hace el trabajo de forma más segura y eficaz. En principio, sin embargo, funcionan de manera similar: con cuatro discos duros involucrados, por ejemplo, los datos se distribuyen uniformemente en tres de ellos. En el cuarto disco, sin embargo, el controlador almacena las paridades calculadas. El responsable del tratamiento puede reconstruir el stock de datos original a partir de estas paridades o fragmentos si falla uno de los soportes de datos. Con RAID3 y RAID4, el controlador almacena las paridades en un mismo soporte de datos (por bytes o por bloques). Como resultado, este variador está sometido a un esfuerzo particularmente alto y está sujeto a una mayor probabilidad de falla. Esta es la razón por la que normalmente se prefiere RAID5, ya que la paridad se distribuye y los discos se utilizan de manera uniforme.

Capacidades: la capacidad se reduce por el tamaño de un volumen en la matriz.

Fórmula: N = (n - 1) x K

RAID6

RAID6 funciona de manera similar a RAID5, pero usa dos discos en la matriz para almacenar las paridades. Ventaja: si uno de ellos ya ha fallado y la unidad defectuosa ha sido reemplazada, el período durante el cual tiene lugar la reconstrucción también está protegido. (Reconstruir es la reconstrucción de los datos perdidos). Después de todo, dependiendo del tamaño y el stock de datos, una reconstrucción a veces puede llevar varios días.

Capacidades: la capacidad se reduce por el tamaño de dos discos en la matriz.

Fórmula: N = (n - 2) x K

RAID50 (RAID30, RAID40)

RAID50 es nuevamente una combinación de dos modos: dos conjuntos RAID5 se combinan en un soporte de datos virtual mediante la creación de bandas a través de RAID0. Por lo tanto, RAID50 requiere al menos seis discos, con un disco en cada trío permitido fallar sin poner en peligro el conjunto de datos.

Capacidades: La capacidad se reduce en dos discos duros.

Fórmula: N = (n - 2) x K
(donde n debe ser par)

RAID60

RAID60, como RAID50, forma una combinación de niveles RAID. La única diferencia es que dos discos en cada RAID6 pueden fallar.

Capacidades: la capacidad de cuatro discos (dos por RAID6) debe restarse del volumen total.

Fórmula: N = (n - 4) x K
(donde n debe ser par)

Con ZFS

Con ZFS, el cálculo de la capacidad es un poco más complicado. Este ingenioso sistema de archivos, debido a que es transaccional , requiere una cierta sobrecarga (3,2 por ciento) para su trabajo confiable en los servidores o en el centro de datos para los metadatos. Además, los profesionales recomiendan dejar siempre un 20 por ciento de espacio en el grupo de memoria utilizable. La razón: ZFS siempre necesita algo de reserva en la memoria para aprovechar sus puntos fuertes, como la función RAID integrada, la creación de instantáneas (mediante copia en escritura), la corrección automática de errores de datos y la deduplicación.

Además, ZFS puede manejar múltiples opciones, lo que le da al administrador una opción de unidades redundantes, similar a los niveles RAID clásicos.

Por cierto, tenemos dos arquitecturas en nuestro programa que están basadas en ZFS: Nuestras instalaciones con el sistema operativo de almacenamiento JovianDSS de Open-E tienen ZFS integrado como característica principal. Lo mismo se aplica a nuestros servidores con TrueNAS / FreeNAS; sin embargo, existen factores adicionales que irían más allá del alcance de este artículo.

RAID-Z1

Básicamente, RAID-Z1 es el mismo que el RAID5 original. Esto significa que solo una unidad puede fallar durante el funcionamiento.

Capacidades: La suma de todas las unidades se reduce por sobrecarga / reserva y el tamaño de una de las unidades.

Fórmula: N = (1 - 0.032) x 0.8 x (n-1) x K

RAID-Z2

RAID-Z2 también corresponde a un modo RAID: RAID6. Aquí, dos unidades se mantienen en reserva para que la reconstrucción también se pueda ejecutar de forma segura.

Capacidades: la suma de todas las unidades se reduce por la sobrecarga / reserva y el tamaño de dos unidades.

Fórmula: N = (1 - 0.032) x 0.8 x (n-2) x K

Con réplicas definidas

Sin embargo, nuestros modernos sistemas Ceph basados ​​en PetaSAN o mediante Ambedded Mars 400 también funcionan con duplicación. Es decir, dispersa las réplicas de los objetos de datos en todos los servidores del clúster. La recomendación aquí es mantener dos réplicas además del objeto original. (El término no está claramente definido en todas partes. A menudo también se dan tres réplicas en el sentido de: un original y dos copias).

Al igual que con ZFS, hay un umbral de dolor que debe cumplirse y se incluye en el cálculo de la capacidad total: la tasa de casi llenado. Los expertos recomiendan no llenar más del 85% del tanque de almacenamiento en estos sistemas. Por tanto, una vez que el clúster alcance el 85% de su capacidad, debería ampliarse en un futuro próximo. Además, el número de servidores integrados también juega un papel importante en este sistema de archivos distribuido.

Capacidades: la suma de todas las unidades en todos los servidores (Sn) se reduce por la proporción de casi llenado y se divide por el número de réplicas deseadas.

Fórmula: N = (K xnx Sn x 0,85) / 3

En codificación de borrado

La codificación de borrado es una técnica probada de corrección de errores hacia adelante (FEC) que se utiliza en memorias de objetos como nuestra plataforma PetaSAN. Los objetos se pueden restaurar agregando paridades en todo el clúster. Lo que suena bastante simple en sí mismo está realmente asociado con un esfuerzo computacional comparativamente alto.

Con Erasure Coding, el lema es: En cada unidad, solo se puede almacenar un bloque de datos de un objeto y, al mismo tiempo, un nodo no puede acumular más bloques de datos de los que un objeto puede perder.

Por supuesto, esta relación también se refleja en el cálculo de la capacidad. En primer lugar, también se aplica una proporción de casi llenado del 85 por ciento a la codificación de borrado. Por encima de este límite, se debe agregar más capacidad. Otro factor es la relación entre el stock de datos brutos (R) y la suma de los datos brutos y las paridades (R + P).

Capacidades: la cantidad de servidores multiplicada por la suma de todas las unidades se reduce por la proporción de casi llenado y la proporción de datos brutos / paridad antes mencionada.

Fórmula: N = K xnx Sn x 0,85 x (R / (R + P))