Proxmox HA und Storage System - OffTopic

Hi leute,

mich würde eure Meinung zu folgendem Thema interessieren:
Wir wollen hier im Landratsamt zentralisiert Dienste für die Verwaltung der Schulen anbieten (Groupware, Nextcloud, Schülerverwaltung und irgendwann später auch einmal Terminalserverlösung für die Verwaltungen).
Dafür steht ein ordentliches Budget zur Verfügung und mein Plan sah folgendermaßen aus

  • 3 Server mit Proxmox als HA Cluster
  • 1 Storage Server
  • 1 Backupsystem
    Auf den Festplatten der Server sollen höchstens mal die isos landen, ansonsten möchte ich die VMs und Backups auf den Storage Server schieben welcher dann 1-3 mal die Woche ein Backup auf das Backupsystem schiebt.
    Ich bin aktuell am grübeln was ich für den Storage Server verwenden soll.
    Ich dachte an Ceph oder ZFS mit Management über freenas aber ich weiß nicht ob das wirklich die beste Lösung ist.
    Was meint Ihr so dazu?
    Habt Ihr bessere Ideen?

Grüße
Michael

Hallo Michael,
in der Konstellation kannst Ceph nicht einsetzen. Dein Design sieht ja ein zentrales Storage vor. Genau das macht Ceph als verteiltes Dateisystem nicht. Bei Ceph hast du Festplatten in jedem Server und die Gesamtheit aller Knoten bilden das StorageSystem. Wie bei einem RAID-Verbund, nur das eben hier “eine Festplatte” = “ein Server ist”.
Wenn du Ceph einsetzen möchstest, dann bestücke die Server mit schnelle Platten (idealerweise SSD). Mit dem Single-Storage-Server hast Du auch ein Problem mit der Ausfallsicherheit. Ist das weg, geht der ganze Cluster nicht mehr und dir nutzen die 3 Server als Computing-Instanzen nichts.

Das Backupkonzept würde ich auch überdenken. So wie das System jetzt beschreibst, sicherst du auf den StorageServer und sicherst diese in regelmäßen Abständen auf eine andere Backuplösung.
Problem dabei: Fällt Dir dabei das StorageSystem aus, ist dein aktuellestes Backup im Zweifel 6 Tage alt.
Das geht heutzutage nicht mehr, wenn das System Groupware (Mail, Kalender) hosten soll und dort auch Verwaltungsdaten liegen. Dann brauchst Du eine tägliche Sicherung auf dem Backupsystem und zusätzlich davon idealerweise wöchtentlich eine weitere externe Sicherung.

Viele Grüße
Thomas

na gut, dann eben jeden tag ein Backup, daran solls jetzt nicht liegen ^^
der Storage Server eigentlich schon für die VMS sein, deshalb dachte ich ja an zfs weil das mit raid z2 eine ziemlich hohe ausfallsicherheit hat und es dann nur noch zu problemen kommen kann wenn mainboard, ram o.ä defekt ist.
Sollte der Worst Case auftreten und das teil würde abrauchen haben wir aber auch einen Partner in der Hinterhand der binnen eines Tages den defekt repariert. Dazu kommt noch das alle Server alle X Jahre ausgetauscht wird, wodurch im Idealfall erst gar kein worst case szenario entstehen sollte.

Du empfehlst aber lieber 3 Server mit vielen schnellen Platten um Ceph einzusetzen? Da hätte ich dann ja auch Proxmox als GUI zum steuern und verwalten des Cephs oder?

Hallo Michael,

Genau, die Verwaltung des Ceph läuft über die Proxmox WebGui.

Das wäre eine denkbare Alternative zu dem Single Storage mit ZFS RAIDz2.

Viele Grüße
Thomas

hmmm ok und blöde frage: das ceph macht das gut?
habe leider noch nicht wirklich zeit gefunden mich in dieses thema einzuarbeiten.
habe mir aktuell erstmal nur zfs angeschaut weil das wohl ziemlich geil sein soll.

Grüße
Michael

Naja Ceph macht automatische Lastverteilung.
Bei einem SingleStorage liegt die Last nur auf der einen Kiste. Ist da die Leitung dicht, geht nichts mehr.
Ceph verteilt die Dateizugriffe automatisch auf die Hosts, damit nicht nur einer schafft und alle andren gucken zu.

Nur als Ergänzung:
Ich denke gerade darüber nach, Proxmox selbst auf einem ZFS-Pool zu installieren (also nicht nur einen Pool für die VMs). Der große Vorteil: Man kann (inkrementelle) Snapshots vom laufenden System anlegen. Wenn dann die Systemplatten abrauchen, kann man immerhin in null-komma-nix zurück ohne langwierig das System neu installieren zu müssen usw…

Im Moment läuft bei uns der Hypervisor auf einem RAID-1 bestehend aus zwei kleinen SSD-Platten. Das ist allerdings eine default-Installation ohne ZFS…

Schönen Gruß,
Michael

Hier der offizielle Proxmox Link zu den Benchmark Tests in einem drei node Cluster.
https://www.proxmox.com/en/downloads/item/proxmox-ve-ceph-benchmark

Viele Grüße
Thomas

Hi.
Wer 40 Minuten Zeit hat, sollte sich dieses Video ansehen. Das gesprochene Englisch ist zwar awful aber die gezeigten Inhalte sind schlicht awesome!

(In der Mitte wiederholt sich eine Szene versehentlich mehrfach … es geht aber danach richtig weiter)

Unter’m Strich kann ich nur sagen: Das will ich auch so haben: ZFS rocks! :slight_smile:

Schöne Grüße,
Michael

zfs für die proxmoxe wäre natürlich auch eine idee…aber ist das “besser” als ein Hardware Raid?
zfs muss man ja glaube ich ohne Raid Controller nutzen weil zfs alle platten so sehen muss (korrigiert mich wenn ich falsch liege).

Grüße
Michael

Bei ZFS wird das alles über die Software geregelt. Darin ähnelt es einem “richtigen" Software Defined Storage. Ob das jetzt in jedem Anwendungsfall “besser” ist, als ein Hardware-RAID würde ich so nicht sagen.
Der Performance-Vorteil ist bei ZFS auf Kosten von RAM erkauft. Solange man davon genug hat, kein Problem.

Hi.
Also in Sachen Geschwindigkeitsvergleich bin ich auch gespannt, wie/ob sich da ein größerer Unterschied zwischen einem HW-RAID und einem RAID-Z2 mit ZFS bemerkbar macht!? (Unser Server hat zZ 128 GB RAM – Tendenz steigend. An RAM soll es bei uns im Moment also nicht scheitern…)

Aber die ganzen Features, die ZFS ootb mitbringt, sind meiner Meinung nach nicht zu toppen. Ich habe heute einen Testrechner mit Proxmox und einer 1TB Platte aufgesetzt und dann direkt bei der Installation ZFS als Dateisystem gewählt. So konnte ich die ganzen Sachen aus dem Video ausprobieren. Das rollback funktioniert tatsächlich “on the fly” (wobei das natürlich auch keine kritischen Dateien waren).

Mir geht es bei der ganzen Sache aber auch darum, dass der Server nicht mehr die halbe Nacht für die ganzen Backups der VMs benötigt, sondern das ganze innerhalb weniger Sekunden mit Hilfe der Snapshots geregelt wird. Im Moment ist es schon so, dass die Performance leidet, wenn der Server gigabyteweise Backups erzeugt (I/O hoch, Prozessorlast gering)

So long,
Michael