Ausfallsicherheit vs. Performance bei HW-RAID

Hallo,

aktuell habe ich ein RAID 5 aus 4 HD ohne Hotspare (habe die Fehlkonfiguration leider zu spät bemerkt).
2 HD-Ausfälle konnten rechtzeitig ersetzt und der Rebuild rechtzeitig abgeschlossen werden.

Nun stehe ich beim neuen Server noch immer hin und her schwankend vor der Frage:
RAID 5 oder RAID 10

  • RAID 5 aus 3x aktiver HD und 1x Hotspare (so sollte die aktuelle Config ursprünglich sein) liefert gleich viel Speicherplatz wie ein RAID 10 ohne Hotspare.
  • Das RAID 10 ist performanter (und HD-Zugriffe sind ja i…d.R. der Flaschenhals, der ein System ausbremst), hat aber abgesehen von der eingebauten Redundanz durch die HD-Spiegelung keine Ausfallreserve (kein Hotspare).

Wer nutzt denn ein RAID 5 und wer ein RAID 10? Warum gerade dieses RAID? Mit oder ohne Hotspare?

Ach ja, ich weiß natürlich: RAID ist kein Backup :slightly_smiling_face:

Das Zweite hab ich auch schon gefragt und bin trotz einiger Antworten noch so schlau wie vorher:
Hypervisor mit auf’s RAID packen oder auf separate HD?
Falls separat: Diese spiegeln oder Risiko des Ausfalls eingehen?

Mir ist klar, dass ich diese Entscheidungen letztlich selbst treffen muss, aber nochmal ein paar Infos zu euren Konfigurationen (und eure Beweggründe dafür) wären hilfreich :wink:

Viele Grüße
Steffen

Hallo Steffen,

ich hatte vor längerer Zeit eine sehr ähnlich Frage und die folgende Antwort bekommen.
Änderungen seither: Ich verwende die HotSpare-Platte jetzt als GlobalHotSpare für beide RAIDs und statt KVM als Hypervisor habe ich mich für XEN entschieden.

Hallo Stefan,

ich bräuchte einen Tipp, wie ich am besten LMN6.1 unter KVM auf meine
Festplatten mit RAID verteile. Ich habe folgendes zur Verfügung:
Dell Poweredge 2950 III, 2x C2quad@3GHz, RAM 32GB,
Raid1(2xSAS 73GB) + Raid5+HotSpare (6xSAS 600GB) an perc6i
(Hardware-Raidcontroller)

Ist das sinnvoll, die RAIDs so lassen?

ich würde es so lassen.

Gehe ich recht in der Annahme, dass UbuntuServer64bit mit KVM (evtl. mit
SWAP) auf den RAID1 mit 73GB könnte?

da paßt das gut drauf.

Müsste ich vielleicht auf 146GB aufrüsten?

Nein, das sollte reichen.
Hier ist die Ausgabe von du -h auf meinem KVM host im Seminar:

sudo du -h /var/lib/libvirt/

4,0K /var/lib/libvirt/qemu/snapshot
4,0K /var/lib/libvirt/qemu/save
4,0K /var/lib/libvirt/qemu/dump
16K /var/lib/libvirt/qemu
4,0K /var/lib/libvirt/boot
20K /var/lib/libvirt/network
20G /var/lib/libvirt/images
4,0K /var/lib/libvirt/dnsmasq
4,0K /var/lib/libvirt/sanlock
20G /var/lib/libvirt/

Und hier noch: -h
Dateisystem Größe Benutzt Verf. Verw% Eingehängt auf
/dev/sdb1 99G 23G 71G 25% /
udev 16G 8,0K 16G 1% /dev
tmpfs 6,3G 476K 6,3G 1% /run
none 5,0M 0 5,0M 0% /run/lock
none 16G 0 16G 0% /run/shm
cgroup 16G 0 16G 0% /sys/fs/cgroup

Mein KVM Host Ubuntu belegt also insgesammt 23GB von denen 20 GB in
/var/lib/libvirt/images/ lieben, also virtuelle Containerfestplatten sind.
Selbst die benötige ich garnicht mehr: 73 GB sind weit mehr als genug.

Wie groß sollten die Partitionen sein?

Beim Swap weiß ich nciht so genau: 32 GB Swap erscheint mir etwas viel
… hab ich auf meinem eigenen 32GB RAM Server aber auch genommen …
Der Rest für /

Auf dem RAID5 würde dann ein einziger LVM erstellt, der alle virtuellen
Maschinen beherbergt - oder?

Ja, das ist gut.
Der Rest wird später bei Bedarf darin angelegt.

Viele Grüße

Holger

Gruß
Stefan

Hallo Steffen,

Nun stehe ich beim neuen Server noch immer hin und her schwankend vor
der Frage:
RAID 5 oder RAID 10

  • RAID 5 aus 3x aktiver HD und 1x Hotspare (so sollte die aktuelle
    Config ursprünglich sein) liefert gleich viel Speicherplatz wie ein
    RAID 10 ohne Hotspare.
  • Das RAID 10 ist performanter (und HD-Zugriffe sind ja i…d.R. der
    Flaschenhals, der ein System ausbremst), hat aber abgesehen von der
    eingebauten Redundanz durch die HD-Spiegelung keine Ausfallreserve
    (kein Hotspare).

wenn du nur 4 Platten nimmst, dann ist wohl ein RAID 10 die bessere Wahl.
Ich mache in aller Regel RAID 5 über 5 Platten ohne HotSpare oder über 6
Platten mit HotSpare.

Viele Grüße

Holger

Hallo Stefan,

ich hoffe das Zitieren vom Handy aus klappt so…

deine Voraussetzung war natürlich anders. Du hättest die RAID ändern
müssen. Ich kann noch frei wählen. Wobei natürlich mehr HD = mehr Kosten.

Es ist vermutlich letztlich eine Glaubensfrage ob Hypervisor auf separates
RAID oder alles auf eins.

Viele Grüße
Steffen

Hallo Holger,

5 HDs bedeuten aber mehr Ausfallwahrscheinlichkeit und sind teurer selbst
wenn sie etwas kleiner sein können würde ich sagen. Warum dann also RAID 5
mit mehr HDs für mehr Performance statt RAID 10?

Sehe ich das richtig dass du das System auf einer separaten HD bzw RAID
bevorzugst?

Viele Grüße
Steffen

Hallo Steffen,

5 HDs bedeuten aber mehr Ausfallwahrscheinlichkeit und sind teurer selbst
wenn sie etwas kleiner sein können würde ich sagen. Warum dann also RAID 5
mit mehr HDs für mehr Performance statt RAID 10?

Sehe ich das richtig dass du das System auf einer separaten HD bzw RAID
bevorzugst?

auf meinem Server laufen mehrere Server: nicht nur IPFire, lmn, coova
und owncloud.
Da sind noch zwei moodle Server drauf, ein AirDroid, die Schoolsolution,
ein Colaboraoffice (als Docker) und ein AppTec 360.
Bei der Menge an Servern kann ich jedes Quäntchen IO brauchen: und das
erreiche ich dadurch, dass der Hypervisor KVM eben nicht auf dem RAID
der VMs läuft.
Auch die owncloud ist ausgelagert auf ein eigenes RAID 1.
Dass die anderen Server alle auf einem RAID laufen liegt daran, dass es
sich um ein RAID 5 über 5 SAS Platten mit 10 000 U/min handelt: die
haben nochmal ein anderen Wumms als die SATA Platten mit 7200 U/Min.

Viele Grüße

Holger

Hallo Holger,

Bei der Menge an Servern kann ich jedes Quäntchen IO brauchen: und das
erreiche ich dadurch, dass der Hypervisor KVM eben nicht auf dem RAID
der VMs läuft.

ok, ganz so viel läuft hier noch nicht, aber der Server soll ja schon
ein paar Jährchen halten.

Auch die owncloud ist ausgelagert auf ein eigenes RAID 1.

Ok, die läuft bei uns ganz normal auf dem RAID 5 aus 4 HD (ja, ist
falsch) mit, wird aber nicht sooo intensiv genutzt. Die meisten meiner
KuK sind sehr konservativ mit USB-Stick (oder ganz undigital) unterwegs.

Dass die anderen Server alle auf einem RAID laufen liegt daran, dass es
sich um ein RAID 5 über 5 SAS Platten mit 10 000 U/min handelt: die
haben nochmal ein anderen Wumms als die SATA Platten mit 7200 U/Min.

Da JETZT ordentlich Geld zur Verfügung steht, denke ich auch über SAS
nach, allerdings habe ich eher HGST Hitachi Ultrastar 7K6000 3.5 SAS 3 4
TB im Visier, die hier schon empfohlen wurden. Die haben aber nur 7.200
U/min.

Eine Frage bleibt natürlich auch noch zu bedenken:
Wie viel effektiven HD-Platz braucht man denn tatsächlich?

Die Größe meiner VMs (gesamt 1,7 TB vergeben) ist deutlich größer als
das, was darin tatsächlich belegt ist. Von daher sind 4x 4 TB sicher
gigantisch. Vielleicht sollte ich das nochmal zugunsten der Performance
überdenken…

Wie viel HD-Platz habt ihr, wie viel davon ist belegt?

Viele Grüße
Steffen

Moinsen!

Wie viel HD-Platz habt ihr, wie viel davon ist belegt?

Würde mich auch interessieren, was andere so als Faustformel pro SuS und KuK
empfhelen würden.

Beste Grüße

Thorsten

Hallo Steffen,

Da JETZT ordentlich Geld zur Verfügung steht, denke ich auch über SAS
nach, allerdings habe ich eher HGST Hitachi Ultrastar 7K6000 3.5 SAS 3 4
TB im Visier, die hier schon empfohlen wurden. Die haben aber nur 7.200
U/min.

das würde ich nicht machen.
Ich würde SAS Platten kaufen die schneller drehen, wenn du die
performance brauchst.
Wenn nicht, dann sind SATA PLatten mit 7200 U/min auchnicht wirklich
schlechter, aber viel günstiger.
Dann würde ich die kaufen, aber dafür eine mehr und die als HotSpare
mitlaufen lassen.
Also z.B. 6 2TB Platten, eine davon als Hot Spare.
Dann hast du 4x2TB = 8 TB: das sollte wirklich einige Jahre reichen.
Ich hab in der Schule 5 x 2TB (ohne HotSpare): da ist noch genügend
Platz und ich habe 1500 Nutzer und eine owncloud dort laufen.

Eine Frage bleibt natürlich auch noch zu bedenken:
Wie viel effektiven HD-Platz braucht man denn tatsächlich?

kommt auf deine Nutzer an: das kann man schlecht sagen.

Die Größe meiner VMs (gesamt 1,7 TB vergeben) ist deutlich größer als
das, was darin tatsächlich belegt ist. Von daher sind 4x 4 TB sicher
gigantisch. Vielleicht sollte ich das nochmal zugunsten der Performance
überdenken…

… eben.
Also warum nicht 6 2TB Platten?

LG

Holger

Hallo Holger,

Ich würde SAS Platten kaufen die schneller drehen, wenn du die
performance brauchst.
Wenn nicht, dann sind SATA PLatten mit 7200 U/min auchnicht wirklich
schlechter, aber viel günstiger.

das stimmt zumindest wenn man die Komplettangebote für Server betrachtet
bei den HGST Hitachi Ultrastar 7K6000 mit 4GB nicht wirklich. Das macht
in der Gesamtsumme der mir schon vorliegenden Angebotsvarianten für den
ganzen Server nur ein paar Zehner aus, wenn ich die SAS- oder
SATA-Variante vergleiche.

Also z.B. 6 2TB Platten, eine davon als Hot Spare.
Dann hast du 4x2TB = 8 TB: das sollte wirklich einige Jahre reichen.

Definitiv. Die habe ich natürlich auch bei 4x 4 TB im RAID 10 oder 3x 4
TB im RAID 5. Aber da ist das RAID 5 eben sicher langsamer.

Ich hab in der Schule 5 x 2TB (ohne HotSpare): da ist noch genügend
Platz und ich habe 1500 Nutzer und eine owncloud dort laufen.

Hast du die 2 TB HDs als SAS 10.000 U/min oder als SATA?

Ich hab einfach mal auf die Schnelle hier
http://www.server-festplatte.de geschaut. Auch wenn da sicher nicht alle
HDs gelistet sind: Da werden gar nicht sooo viele HDs mit > 7.200 U/min
geführt, auch nicht bei SAS.

Und die sind dann eher so 600 GB - 1200 GB groß, 2,5" und gemessen an
der Kapazität doch deutlich teurer.

z.B.
Hitachi HGST 2,5" 300GB HDD 0B28955 2,5" 300GB SAS 12Gb/s 15K U/min 128M
512n € 238,50

Hitachi HGST HGST 0B27978 2,5", 1.8TB, SAS-3 (12 Gb/s), 10.520U/min,
128MB € 519,50

Zum Vergleich:
Hitachi HGST HUS726040AL5210 3.5", 4TB, SAS-3 (12 Gb/s), 7.200 U/Min,
128 MB Cache, 512e, € 223,-

Das wird mit > 7.200 U/min dann doch zu teuer, bis man da wenigstens mal
ca. >= 4 TB zusammen hat.

Also warum nicht 6 2TB Platten
Wäre bei SATA-HDs sicher eine Überlegung wert. Das Einzige, was ggf.
dagegen spricht:
Je mehr HDs man hat, um so größer die Wahrscheinlichkeit, dass eines der
(mehr) Bauteile ausfällt.

Momentan habe ich, wie schon gesagt, ein völlig falsch konfiguriertes
RAID 5, da es aus 4 aktiven HDs besteht - keine Hotspare.
Das RAID lebt jetzt seit 5,5 Jahren 24/7/365, wobei es 2 HD Ausfälle
gab, auf die ich rechtzeitig reagieren konnte. Ich bin natürlich auch
mal im Urlaub, deshalb wäre eine Hotspare natürlich nicht verkehrt.
Die kann man aber natürlich als globale Hotspare für jedes RAID definieren.

Mit meinem bescheidenen Wissen würde ich behaupten, dass das System
insgesamt recht flüssig läuft. Größere I/O-Waits gibt’s so weit ich das
kontrollieren kann (ab und an ein Blick auf htop) eher nicht.

Ich weiß nicht wirklich, was für unsere Anforderungen Overkill oder
underperformed wäre.

Allerdings ist es - wie so oft im öffentlichen Bereich - so, dass das
Geld jetzt da ist und ich daher lieber zukunftsfähig etwas zu performant
als „gerade ausreichend“ kaufen will. Im Prinzip habe ich auch genau
diesen Auftrag bekommen:
Server so ausreichend / großzügig dimensionieren, damit er möglichst
eine größere Weile (ich sag mal mind. 5/6+ Jahre) ausreicht - auch wenn
die Anforderungen steigen.

Unsere Eckdaten:

  • ca. 900 User

  • ca. 160 PCs (fest am Netz), ca. 40 Notebooks (nur selten am Netz)

  • aktuell VMs mit IPFire, LMN-Server, Chillispot, Webserver mit Owncloud

  • Geplant ist mal noch Colabora Office

  • Für LMN 7 wird wohl noch eine VM für einen separaten Mailserver benötigt

Viele Grüße
Steffen

Hallo Steffen,

Ich würde SAS Platten kaufen die schneller drehen, wenn du die
performance brauchst.
Wenn nicht, dann sind SATA PLatten mit 7200 U/min auchnicht wirklich
schlechter, aber viel günstiger.

das stimmt zumindest wenn man die Komplettangebote für Server betrachtet
bei den HGST Hitachi Ultrastar 7K6000 mit 4GB nicht wirklich. Das macht
in der Gesamtsumme der mir schon vorliegenden Angebotsvarianten für den
ganzen Server nur ein paar Zehner aus, wenn ich die SAS- oder
SATA-Variante vergleiche.

… klar: wenn sich die Drehgeschwindigkeit nicht unterscheidet.

Ich hab in der Schule 5 x 2TB (ohne HotSpare): da ist noch genügend
Platz und ich habe 1500 Nutzer und eine owncloud dort laufen.

Hast du die 2 TB HDs als SAS 10.000 U/min oder als SATA?

in der Schule sind es SATA Platten.
Im Seminar sind es 600GB SAS Platten mit 10 000 U/min

Ich hab einfach mal auf die Schnelle hier
http://www.server-festplatte.de geschaut. Auch wenn da sicher nicht alle
HDs gelistet sind: Da werden gar nicht sooo viele HDs mit > 7.200 U/min
geführt, auch nicht bei SAS.

Und die sind dann eher so 600 GB - 1200 GB groß, 2,5" und gemessen an
der Kapazität doch deutlich teurer.

… klar: die Plattern dürfen bei den drehgeschwindigkeiten nicht die
volle 3,5zoll Größe haben.
Deswegen bauen sie inzwischen hauptsächlich 2,5zoll.
Deswegen gibt es auch keien großen Kapazitäten.

Das wird mit > 7.200 U/min dann doch zu teuer, bis man da wenigstens mal
ca. >= 4 TB zusammen hat.

genau: deswegen hat mein Server im Semianr auch ein RAID5 aus 6 600GB
Platten und eines aus zwei 4 TB Platten (langsam drehend).
Die owncloud liegt auf dem 4TB RAID.

Mit meinem bescheidenen Wissen würde ich behaupten, dass das System
insgesamt recht flüssig läuft. Größere I/O-Waits gibt’s so weit ich das
kontrollieren kann (ab und an ein Blick auf htop) eher nicht.

um die Kosten nicht explodieren zu lassen habe ich in der Schule eben
den Host auf eine SSD gelegt.
Geschickt wäre es dann auch gleich den IPFire mit auf die SSD zu legen:
das ist schon mal ein server mit nicht so wenigen Festplattenzugriffen,
der nicht auf dem RAID liegt.

Ich weiß nicht wirklich, was für unsere Anforderungen Overkill oder
underperformed wäre.

… du mußt immer daran denken, dass die IO Leistung auch abgerufen
werden muss.
Wenn dein Server nur mit 1 GB/S LAN angebunden ist, dann reicht die IO
eines RAID 5 über 5 Platten locker.
Ist ja nicht so dass wir riesige Datenbanken zeitkritisch herumjonglieren.

Allerdings ist es - wie so oft im öffentlichen Bereich - so, dass das
Geld jetzt da ist und ich daher lieber zukunftsfähig etwas zu performant
als „gerade ausreichend“ kaufen will. Im Prinzip habe ich auch genau
diesen Auftrag bekommen:
Server so ausreichend / großzügig dimensionieren, damit er möglichst
eine größere Weile (ich sag mal mind. 5/6+ Jahre) ausreicht - auch wenn
die Anforderungen steigen.

Unsere Eckdaten:

  • ca. 900 User

  • ca. 160 PCs (fest am Netz), ca. 40 Notebooks (nur selten am Netz)

    • aktuell VMs mit IPFire, LMN-Server, Chillispot, Webserver mit Owncloud
    • Geplant ist mal noch Colabora Office
    • Für LMN 7 wird wohl noch eine VM für einen separaten Mailserver benötigt

die Anzahl der user wird wohl nicht signifikant steigen.
Die Anzahl der Rechner geht vielleicht auf 250 hoch.
Und die Anzahl der Server, die gleichzeitig verwendet werden, wird auch
nicht so sehr steigen.
Deswegen dürfte ein RAID 5 aus 6 PLatten mit HotSpare und 7200er Platten
für dich schon reichen.
Ich würde halt, uim auf den Anfang der Diskussion zurück zu kommen, den
Host auf eine SSD legen.

LG

Holger

Hallo Holger,

Geschickt wäre es dann auch gleich den IPFire mit auf die SSD zu legen:
das ist schon mal ein server mit nicht so wenigen Festplattenzugriffen,
der nicht auf dem RAID liegt.

hm, dann müsste auf der SSD ein LVM für VMs mit drauf sein.
Und dann sollte das mindestens mal ein RAID 1 sein und nicht nur eine
einzelne HD, oder?

… du mußt immer daran denken, dass die IO Leistung auch abgerufen
werden muss.
Wenn dein Server nur mit 1 GB/S LAN angebunden ist, dann reicht die IO
eines RAID 5 über 5 Platten locker.
Ist ja nicht so dass wir riesige Datenbanken zeitkritisch herumjonglieren.

Der neue Server soll mit SFP+ 10GBit angebunden werden.

die Anzahl der user wird wohl nicht signifikant steigen.

Sicher nicht.

Die Anzahl der Rechner geht vielleicht auf 250 hoch.

Glaube ich fast auch nicht. Bei den 160 stehen schon in allen Räumen 1-3
Rechner.
Wenn noch deutlich mehr dazu kommt, dann eher im Mobilbereich.

Und die Anzahl der Server, die gleichzeitig verwendet werden, wird auch
nicht so sehr steigen.

Wie gesagt, ich rechne mit einem Mailserver für LMN 7 und vielleicht
noch Colabora Office. Moodle läuft bei Belwü und soll da auch bleiben.

Deswegen dürfte ein RAID 5 aus 6 PLatten mit HotSpare und 7200er Platten
für dich schon reichen.
Ich würde halt, uim auf den Anfang der Diskussion zurück zu kommen, den
Host auf eine SSD legen.

Ok, dann lass ich nochmal neue Angebote machen mit 6x 2TB HDs statt 4x
4TB und mit SSD für den Host.

Ich nehme mal an, dass für den Host (ist ja im Wesentlichen ein Debian)
60 GB schon reichen dürften. Wenn man noch ein LVM für VMs (IPFire)
darauf haben will, braucht man halt etwas mehr.

Viele Grüße
Steffen

Hallo Steffen,

Geschickt wäre es dann auch gleich den IPFire mit auf die SSD zu legen:
das ist schon mal ein server mit nicht so wenigen Festplattenzugriffen,
der nicht auf dem RAID liegt.

hm, dann müsste auf der SSD ein LVM für VMs mit drauf sein.
Und dann sollte das mindestens mal ein RAID 1 sein und nicht nur eine
einzelne HD, oder?

nö. LVM muss nicht sein: der IPFire kann auch in einer qcow2 Datei seine
Festplatte haben.
Und RAID: der IPFire sit doch sowiso auf den Server gesichert: wenn der
verlustig geht, dann wird er halt wieder hergestellt …

Ich nehme mal an, dass für den Host (ist ja im Wesentlichen ein Debian)
60 GB schon reichen dürften. Wenn man noch ein LVM für VMs (IPFire)
darauf haben will, braucht man halt etwas mehr.

60 GB SSDs sind inzwischen schwer zu bekommen: ich würde eine 120GB SSD
nehmen.

LG

Holger