Warum RAID 5 bei großen Platten gefährlich wird

Netflix statt DVD-Sammlung, Spotify statt CD-Sammlung, One-Drive statt Festplatte. Das sind alles sehr leichte Lösungen, die uns langsam weggebracht haben von Besitz, hin zu einem Abo-Service. Die meisten Menschen nehmen das ohne zu hinterfragen hin, meckern zwar darüber wenn Netflix Serien runter nimmt oder Spotify Lieder nicht mehr verfügbar sind. Aber eine echte Reflexion findet selten statt.

Wenn du das liest, zählst du nicht zu den meisten Menschen. Du bist einer der wenigen, die Informationen darüber sammeln, wie man den Besitz über seine Medien zurückerlangen kann. Stufe 1 ist das Self-Hosting. Das kommt mit dem Vorteil der vollen Kontrolle, aber auf der anderen Seite auch mit Risiko von Datenverlust.

Was RAID eigentlich macht

Pro Betriebsstunde steigt die Ausfallwahrscheinlichkeit einer Festplatte. Und wenn man mehrere Platten hat, vervielfacht sich die Ausfallwahrscheinlichkeit. Wichtige Daten auf diese Weise zu speichern ist fraglos eine dumme Idee. Die Lösung ist ein RAID. Damit verteilt man die Daten über mehrere Festplatten, wobei der Ausfall einer einzelnen Platte nicht sofort zu Datenverlust führt, da jede Platte aus Daten von den anderen rekonstruiert werden kann. Meist ist eine Ersatzfestplatte bereits im System hinterlegt und diese Rekonstruktion beginnt automatisch sobald eine Festplatte den Geist aufgibt. Damit löst man das Ausfall-Risiko der Festplatten. Was RAID nicht abdeckt: versehentlich gelöschte Dateien, Ransomware, ein Stromschlag, der mehrere Platten gleichzeitig grillt, Diebstahl, Feuer. Deshalb sollte man stets ein weiteres separates Backup betreiben.

Mein Setup

Das hier ist mein Setup.

Basis: HP ProDesk 400 G4 MT – Core i5-7500, 16GB RAM

Altes KeepQuiet Gaming PC Gehäuse mit 4 Steckplätzen für Festplatten

BROADCOM 9500-8i Host-Bus-Adapter (HBA) bzw. Speichercontroller

4x 4TB 3.5” HDD –> Daten

1x 512GB 2.5” SSD –> Services

1x 128GB NVME SSD –> TrueNAS

Auf dem Server läuft TrueNAS mit einem ZFS-Pool aus zwei Spiegel-vdevs (virtuelle Platten), 4x 4TB, als zwei Paare organisiert (2+2). Das entspricht rechnerisch RAID 10, heißt bei ZFS aber “striped mirror”. Von den 16TB kann ich 8TB benutzen, das heißt die Hälfte geht für Redundanz drauf. Das ist es mir aber wert, auf dem Array sind alle privaten Daten von mir und meiner Freundin gespeichert. Bis jetzt läuft alles seit einem Jahr problemlos. Ich war leider bisher zu beschäftigt, ein echtes Backup aufzusetzen. Schande über mich!!

RAID vs ZFS

Der große Unterschied ist, dass bei RAIDs alles auf Hardware-Ebene geschieht. Man schließt seine Festplatten an einen Controller an und hat seine Ruhe. Bei ZFS wird die Parität oder der Spiegel mit einem Pool aus mehreren vdevs (virtuellen Geräten) softwareseitig erreicht. Beim Resilver bei ZFS gibt es einen Unterschied zum klassischen RAID-Rebuild: ZFS liest nur tatsächlich belegte Blöcke statt blind jeden Sektor. So geht das bei halbleerem Pool oft deutlich schneller. Generell kann man mit Softwaresteuerung noch einiges mehr optimieren, wie die Festplatten regelmäßig prüfen und stille Fehler wie Bit-Rot vor einem Ausfall aufdecken.

RAID-Layouts im Überblick

RAID ist nicht gleich RAID. Es gibt gravierende Unterschiede in Performance, Speichernutzung und Ausfallsicherheit. Die Performance-Angaben unten sind grobe Richtwerte relativ zu einer Einzelplatte (reale Werte hängen von Controller, Workload und Stripe-Größe ab).

RAID 0 – Striping, keine Redundanz

 Platte 1   Platte 2
┌────────┐ ┌────────┐
│  A1    │ │  A2    │
│  A3    │ │  A4    │
└────────┘ └────────┘
Dein Standard PC/Laptop. Fällt eine Platte aus, sind die Daten weg.

Platten	Kapazität	Lesen	Schreiben
2	2 nutzbar (100%)	~2x	~2x

RAID 5 / RAID-Z1 – 1 Platte darf ausfallen

 Platte 1   Platte 2   Platte 3   Platte 4
┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐
│  A1    │ │  A2    │ │  A3    │ │  P(A)  │
│  B1    │ │  B2    │ │  P(B)  │ │  B3    │
│  C1    │ │  P(C)  │ │  C2    │ │  C3    │
└────────┘ └────────┘ └────────┘ └────────┘
P = Prüfsumme (Parität), rotiert über alle Platten.

Platten	Kapazität	Lesen	Schreiben
4	3 nutzbar (75%)	~3x	~3x*
6	5 nutzbar (83%)	~5x	~5x*

* Random-Writes deutlich langsamer (Parität wird mitgelesen/neu berechnet)

RAID 6 / RAID-Z2 – 2 Platten dürfen gleichzeitig ausfallen

 Platte 1   Platte 2   Platte 3   Platte 4
┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐
│  A1    │ │  A2    │ │  P(A)  │ │  Q(A)  │
│  B1    │ │  P(B)  │ │  Q(B)  │ │  B2    │
└────────┘ └────────┘ └────────┘ └────────┘
Zwei unabhängige Prüfsummen pro Zeile statt einer.

Platten	Kapazität	Lesen	Schreiben
4	2 nutzbar (50%)	~2x	~2x*
6	4 nutzbar (67%)	~4x	~4x*

* Random-Writes noch stärker gedrosselt als RAID 5 (zwei Paritäten statt einer)

RAID 10 / striped mirror – gespiegelt + gestriped

 Spiegel-Paar 1        Spiegel-Paar 2
 Platte 1   Platte 2   Platte 3   Platte 4
┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐
│  A1    │ │  A1    │ │  A2    │ │  A2    │
│  B1    │ │  B1    │ │  B2    │ │  B2    │
└────────┘ └────────┘ └────────┘ └────────┘
Jede Platte hat ein 1:1-Duplikat. Übersteht mehrere Ausfälle,
solange nie beide Platten desselben Spiegel-Paars betroffen sind.

Platten	Kapazität	Lesen	Schreiben
4	2 nutzbar (50%)	~4x	~2x
6	3 nutzbar (50%)	~6x	~3x

Lesen zählt beide Kopien jedes Spiegel-Paars, Schreiben braucht kein Paritäts-Rechnen.

RAID 50 / 2 RAID-Z1-vdevs gestriped – mehrere RAID-5-Gruppen gestriped

 Gruppe 1 (RAID 5)             Gruppe 2 (RAID 5)
 Platte 1  Platte 2  Platte 3  Platte 4  Platte 5  Platte 6
┌────────┐┌────────┐┌────────┐┌────────┐┌────────┐┌────────┐
│  A1    ││  A2    ││  P(A)  ││  B1    ││  B2    ││  P(B)  │
└────────┘└────────┘└────────┘└────────┘└────────┘└────────┘
Jede Gruppe ist ein eigenständiges RAID 5. Fällt eine Platte aus,
ist nur ihre Gruppe vom Rebuild betroffen, nicht das ganze Array.

Platten	Kapazität	Lesen	Schreiben
6	4 nutzbar (67%)	~4x	~4x*
8	6 nutzbar (75%)	~6x	~6x*

* Random-Writes gedrosselt wie RAID 5, aber über 2 Gruppen parallelisiert

RAID 60 / 2 RAID-Z2-vdevs gestriped – mehrere RAID-6-Gruppen gestriped

 Gruppe 1 (RAID 6)                        Gruppe 2 (RAID 6)
 Platte 1  Platte 2  Platte 3  Platte 4   Platte 5  Platte 6  Platte 7  Platte 8
┌────────┐┌────────┐┌────────┐┌────────┐ ┌────────┐┌────────┐┌────────┐┌────────┐
│  A1    ││  A2    ││  P(A)  ││  Q(A)  │ │  B1    ││  B2    ││  P(B)  ││  Q(B)  │
└────────┘└────────┘└────────┘└────────┘ └────────┘└────────┘└────────┘└────────┘
Gleiches Prinzip wie RAID 50, nur mit RAID-6-Gruppen: jede Gruppe
verkraftet 2 gleichzeitige Ausfälle statt einem.

Platten	Kapazität	Lesen	Schreiben
8	4 nutzbar (50%)	~4x	~4x*
10	6 nutzbar (60%)	~6x	~6x*

* Random-Writes stärker gedrosselt wie RAID 6, aber über 2 Gruppen parallelisiert

Wenn man zum ersten Mal einen Server aufsetzt, ist man bei der Auswahl des RAID-Typen evtl. geneigt, zu sehr auf die oberflächliche Kosteneffizienz zu schauen und RAID 5 oder RAID-Z1 zu wählen, um die meiste Speicherkapazität herauszuholen. Besonders wenn das Budget begrenzt ist und man wenige große Festplatten hat. Deshalb ist RAID 5 trotz seiner Schwächen so verbreitet.

Das RAID-5-Problem: URE beim Rebuild

1 Platte darf ausfallen, man wiegt sich in Sicherheit. Jahrelang passiert nichts, dann der erste Ausfall. Das System arbeitet auf Hochtouren, die neue Festplatte zu rebuilden. Dann der Super-GAU, ein 2. Festplattenausfall, die Daten können nicht wiederhergestellt werden.

Die Hersteller geben für Consumer-Platten ~1 Fehler pro 10^14 gelesene Bits an, das ist ungefähr einmal in 12,5 TB. Beim Rebuild müssen alle verbliebenen Platten vollständig gelesen werden und bei vielen modernen Platten/Arrays kommt das realistisch in die Nähe dieser Fehlerschwelle. Gerade in diesen verletzlichen Stunden/Tagen des Rebuilds wird ein weiterer Plattenausfall wahrscheinlich: Ein einzelner unlesbarer Sektor während des Rebuilds kann das ganze Array kompromittieren.

Trag deine eigenen Werte ein und sieh dir die Rechnung für dein Array an:

RAID 50 und RAID 60: mehr Redundanz für größere Arrays

Die höheren Array-Stufen lösen das Problem immer besser. RAID 6 oder RAID-Z2 erlauben den Ausfall von 2 Festplatten ohne Datenverlust. RAID-Z3 erlaubt den Ausfall von 3 Platten. Das erhöht die Überlebenschancen deines Arrays bereits deutlich. Wichtig ist auch, die Festplatten nicht zu groß zu wählen. Je größer die Platte, desto länger dauert der Rebuild und desto häufiger werden Lesefehler.

Noch besser sind Mirrors. Bei RAID 10 / striped mirrors muss noch weniger gelesen werden, es muss nichts aus Paritäten von verschiedenen Festplatten zusammengebaut werden, sondern eine Platte kann einfach kopiert werden. Dies sorgt für einen schonenden und schnellen Wiederaufbau der ausgefallenen Festplatte, bei teilweiser Sicherheit vor einem Datenverlust bei einem weiteren Ausfall. Der Preis den man für diese Sicherheit zahlt, ist 50% der Kapazität.

Noch krasser sind RAID 50 und RAID 60 (bei ZFS: mehrere RAID-Z1- bzw. RAID-Z2-vdevs gestriped). RAID 50 lässt sich schon ab 6 Festplatten umsetzen (2 Gruppen à 3), RAID 60 ab 8 (2 Gruppen à 4). Das Array wird dafür in mehrere kleinere Gruppen aufgeteilt und diese werden gestriped. Fällt eine Platte aus, muss daher nur ihre eigene Gruppe den Rebuild machen, die übrigen laufen unangetastet weiter. Das totale Ausfallrisiko ist daher niedriger, da die übrigen Festplatten nicht dem heftigen Lese-Stress ausgesetzt werden. Der Preis dafür ist Kapazitätsverlust und Komplexität.

Und was ist mit ZFS?

Für die Überlebenswahrscheinlichkeit bei gleichzeitigen Mehrfachausfällen gilt bei RAID-Z dasselbe Prinzip wie beim RAID-10/50/60-Rechner oben, nur mit bis zu drei Paritäten pro vdev statt maximal zwei:

Warum ich mich für RAID 10 bzw. striped mirrors entschieden habe

Ich habe relativ wenig Speicherbedarf, ich komme mit 8 TB locker aus. Daher brauche ich nicht viele Festplatten. Eine 4TB Platte ist nicht zu groß, sodass ein Resilver nach einem Ausfall schnell geht. Wenn ich mein System upgrade, kann ich einfach weitere Spiegel-Paare nachrüsten statt eine RAID-Z-Gruppe neu aufzubauen. RAID-Z2 würde, rein auf die Ausfallwahrscheinlichkeit reduziert, zwar gewinnen, durch das deutlich schnellere Resilver (nur die eine Partnerplatte kopieren statt Parität über die ganze Gruppe neu berechnen) mindert sich die Last und verwundbare Zeit nach einem Ausfall aber deutlich. So ist auch die Gefahr für einen weiteren Ausfall deutlich reduziert. Konkret gerechnet mit meinen 4TB-Platten: Beim Mirror-Resilver muss nur die eine Partnerplatte gelesen werden (4TB), beim RAID-Z2-Resilver dagegen alle drei übrigen Platten der Gruppe (12TB) – selbst mit zwei Paritäten. Mit dem Rechner oben (2 Platten vs. 4 Platten, je 4TB, Consumer-Fehlerrate) macht das rechnerisch 27% Risiko für einen unlesbaren Sektor beim Mirror-Resilver gegen 62% bei RAID-Z2. Zudem haben striped mirrors eine bessere Random-Read-Performance (ZFS verteilt Lesezugriffe über beide Kopien im Spiegel).

Was das für dein eigenes Setup heißt

Meide RAID 5 auf großen Consumer-Platten. Entscheide anhand deiner Festplattenanzahl und Ausfallrisiko pro Platte, welcher RAID-Typ zu dir passt, lass dich nicht von hoher Kapazität blenden.

RAID ist kein Backup, das Backup bleibt Pflicht, unabhängig vom RAID-Level. Die gängige 3-2-1-Regel besagt, dass man 3 Kopien der Daten haben sollte, auf zwei verschiedenen Geräten, eins davon an einem anderen Standort.

Nutze Dateisysteme mit Prüfsummen (ZFS/Btrfs erkennen Bit-Rot), um bereits vor dem Ausfall gewarnt zu werden und proaktiv handeln zu können. Dafür z.B. in TrueNAS die SMART-Werte im Blick behalten und Ersatzplatten bereitstellen.