Proxmox Cluster mit Ceph

#1

Hallo zusammen,

hat das von euch schon Mal wer gemacht?

Wie sind eure Erfahrungen damit?

Viele Grüße
Thomas

#2

Hi.
Ich kann zwar nichts konkretes zu ceph sagen, aber wenn du einen Cluster haben willst, sollte man unter Proxmox ja bekanntlich mindestens drei Nodes laufen lassen – und zwar 24/7. Mir ist das zu aufwändig und auch aus energetischer Sicht zu teuer.

Ich bin daher nach wie vor eher an ZFS Storage Replication interessiert. Da könnte ein Szenario so aussehen, dass ein Backup-System einmal am Tag oder nur einmal pro Woche hochfährt und dann per zfs-sync die Änderungen remote weggeschrieben werden. Das geht mit ZFS offenbar extrem schnell. Anschließend legt sich der Backupserver wieder schlafen.
Wenn dann das “Nichts-geht-mehr-Desaster-Szenario” eintritt, könnte der Backup-Server die Rolle des Hauptservers in relativ kurzer Zeit übernehmen (ganz ohne Ausfallzeit ist das wahrscheinlich nicht zu haben …)

Brauchst du bei dir denn tatsächlich einen Cluster??

Schöne Grüße,
Michael

#3

Hallo Michael,

hmm, hier geht es darum, dass die Schule Ausfallsicherheit und Lastverteilung einfordert, was ich derzeit über einen VMware-Cluster aus zwei Hosts mit über FC redundant angebundenen SAN löse, das derzeit von einem Storage bedient wird.
Was mach ich aber, wenn mir das Storage (Eternus DX60 S3) abraucht?
Ich suche hier nach einer Alternative.
Viele Grüße
Thomas

#4

Das ist halt auch eine gewerbliche Schule mit Industrie 4.0 Standort und Could, Mail, Collaboration…etc
Da ist 24/7 quasi Pflicht…

#5

Hallo Thomas,

ich finde das Thema HA prinzipiell auch spannend aber wenn es “soooo extrem hochverfügbar” sein soll, musst Du dann nicht auch die meisten der peripheren Geräte redundant / hochverfügbar aufstellen? Core- und andere Switches, WAN-Anbindung etc.
Mit welchen Kosten rechnest Du da alles in allem für die zentrale Server- und Netzwerkinfrastruktur oder anders herum gefragt: was kann die Schule dafür denn hinblättern?

Viele Grüße,
Jochen

#6

Hallo Jochen,

das ist tatsächlich dort grösstenteils bereits so vorhanden, aber nicht das ganze Spektrum wird abgedeckt. Über redundante WAN Anbindung denkt man nach, nachdem es dort im vergangenen Jahr häufiger Mal Probleme gab. Die Netzwerkthematik ist aber nicht meine Baustelle.

Es gibt auch zentralisierte Schullösungen mit Mehrschulbetrieb, bei dem 15 Schulen oder mehr von einer Schullösung befeuert werden. U.a. soll das ja auch die lmn7 leisten. Wenn der Karren steht, ist eben nicht nur eine Schule betroffen, sondern gleich 15 bei denen nichts mehr geht.

Willst du das auf einer Single Host Lösung abbilden, bei der du “im Bedarfsfall Mal eben den Backupserver startest”? Durchaus denkbar, das es bei zentralisierten Lösungen vom Schulträger andere Anforderungen an die Serverinfrastruktur gestellt werden…

Viele Grüße
Thomas

#7

Was hier so locker-flockig "im Bedarfsfall fahr ich halt den Backupserver hoch. Dann dauerts evtl. Mal…* abgetan wird, kann in der Realität bedeuten:
Abschlussprüfungen werden angefochten, für ungültig erklärt und müssen wiederholt werden. Erklärt dann bitte der Prüfungsstelle, das eine neue Prüfung erstellt werden muss und den Prüflingen, dass sie sich nochmal auf eine Prüfung vorbereiten müssen. Wenn ihr nicht diejenigen seid, die ggf. die Konsequenzen zu spüren bekommen, kann man das schon so machen.

Viele Grüße
Thomas

#8

Ich möchte aber auch nicht, das die Diskussion jetzt in Richtung “ist Hochverfügbarkeit sinnvoll oder nicht” geht, weil das eigentlich nicht das Thema der Diskussion sein sollte.

Anderes Anwendungsbeispiel:

Den Schülern, ca. 1352, soll ein ausfallsicherer Virtualisierungscluster bestehend aus drei Nodes zur Verfügung gestellt werden um dort im Rahmen des Unterrichts eingene Projekte abbilden zu können.
Als Virtualisierungslösung soll Proxmox zum Einsatz kommen. Wie bildet ihr den Datenspeicher des Clusters ab?

#9

Hallo Thomas,
wenn es bei euch schon so groß ist und möglichst ausfallsicher sein muss, macht ein Cluster wahrscheinlich Sinn. Ich würde das mal im Nachbarforum fragen … da sind sicher viele, die das bereits machen.
Schönen Gruß,
Michael

#10

Hallo Thomas,

Du hast mich glaube ich falsch verstanden und brauchst Dich nicht zu verteidigen! :wink: Ich stelle das Thema HA nicht in Frage! Im Gegenteil! Mich hat nur gewundert, dass eine einzige Schule (wir sind auch eine berufliche Schule) in der Lage ist, entsprechende Mittel aufzubringen, die - wenn man das zu Ende denkt - ja nicht unerheblich sind.
Und wenn es (vergleichsweise) kostengünstige Lösungen gibt: immer her damit! Ich bin, wie oben erwähnt, an so etwas auch interessiert. Wobei Ceph vermutlich erst ab einer bestimmten Storagegröße sinnvoll ist?
Und in einem größeren Rahmen wie einer zentralisierten, vom Schulträger betriebenen Mehrschullösung, ist so ein Setup ja eh nachvollziehbar.
Wäre schön, wenn Du das Setup, wenn es dann läuft, hier mal vorstellen könntest. Sofern es mit linuxmuster.net läuft (?), wäre das ja auch ein super Referenzprojekt!

Viele Grüße,
Jochen

#11

Hallo Thomas,

schau Dir mal die letzten drei Blogeinträge hier an. Für eine schulträgerbasierte Mehrschullösung willst Du vermutlich nicht auf Raspberries bzw. HP Microserver setzen aber die Prizipien werden imho ganz gut erläutert.
Klingt schon sehr spannend! Mich würde interessieren, ob es eine Mindestgröße gibt, was Storagegröße oder Driveanzahl angeht, ab der Ceph sinnvoll einzusetzen ist!?

Viele Grüße,
Jochen