Hi Tobias,
hier nochmal für alle die Zusammenfassung meiner PN an Dich:
Ich hab einen Ryzen 9 3900X auf ASUS X570 Prime (wegen ECC unreg) gekauft, 64GB Ram (es gibt nur einen ECC auf der Vendor-List: Kingston, ob das Board mehr kann, weiß ich nicht, mir reichts aber) wegen schneller Einzelcore-Leistung (und eben 12 Cores), außerdem sollte es bezahlbar bleiben.
Als Platten 6x NVME a 2 TB. Da ist fast die Hälfte des Geldes für rausgegangen.
Das Board hat 3 PCIE x 16 Steckplätze (auch wenn manche davon wohl nur geringer angebunden sind)
1 für GraKA
1 für 2x 10GBit Intel Netzwerkkarte
1 für NVME-Erweiterung.
Dann habe ich noch 3x PCIEx1 NVME-Erweiterungskarten eingesteckt.
2 gehen direkt aufs Board.
Guten Kühler drauf, Gescheites Netzteil dran und bis jetzt läufts 
Ich hab ZFS unter Proxmox genommen, RAID-Z2, also im Prinzip RAID6.
LG
Max
Hi Holger,
Meinst du mit „IO Leistung“ Random Access Geschwindigkeiten (viele kleine Dateien) und mit Datentransfer die platte GB/s Leistung?
Dann verstehe ich den Satz, ansonsten nicht.
Ok. Ich meinte nicht für die einzelne Hostplatte sondern für das Storage-System (RAID oder ZFS)…
NVMe ist in einen Desktoprechner nur begrenzt Einbaufähig. Max hat das mit speziellem Mainboard + PCIe - Karten geschafft, aber bei TK gibt es so was üblicherweise nicht. Daher die Frage, ob du das auch gemacht hast bzw. jetzt machen würdest?
Oder fürs Storage eben doch „nur“ SATA-SSD bzw. HW-Raidcontroller+SATA-SSD ?
Vg, Tobias
Hallo Tobias,
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.Meinst du mit „IO Leistung“ Random Access Geschwindigkeiten (viele
kleine Dateien) und mit Datentransfer die platte GB/s Leistung?
Dann verstehe ich den Satz, ansonsten nicht.
da geht es nicht um die Random Access Fähigkeit des Speichermediums,
sondern wieviel davon durch den BUS geht: und da hat SATA einen echten
Nachteil.
Also schon I/O: das was „draußen“ an kommt.
baumhof: ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server zusammengeschraubt habe. Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).Ok. Ich meinte nicht für die einzelne Hostplatte sondern für das
Storage-System (RAID oder ZFS)…NVMe ist in einen Desktoprechner nur begrenzt Einbaufähig. Max hat das
mit speziellem Mainboard + PCIe - Karten geschafft, aber bei TK gibt es
so was üblicherweise nicht. Daher die Frage, ob du das auch gemacht hast
bzw. jetzt machen würdest?
Oder fürs Storage eben doch „nur“ SATA-SSD bzw. HW-Raidcontroller+SATA-SSD ?
ich hab noch keinen Server mit SSDs.
Wenn, dann würde ich mir NVME wünschen (so ein Virtualisierungshost kann
IO super brauchen: wenn 6 Maschinen gleichzeitig auf das Storage
zugreifen …).
Vielleicht gehen ja wenigstens 2 NVME rein, dann kauf zwei große nvme
SSDs und überleg dir ob der Platz in RAID1 reicht, oder ob du RAID 0 machst.
Dazu noch eine große Platte für ein Backupzwischenspeicher und ein NAS
zum wegsichern.
In meinem Server sind 6 4TB PLatten … das kannst du als SSD noch nicht
bezahlen…
Aber das RAID 5 über die 5 Platten + HotSpare ist bis jetzt auch schnell
genug.
In 4 Jahren gibts ein neuen Server: mal sehen, obs dann für SSDs reicht.
LG
Holger
Ok, danke. Meine Gedanken sind dazu: Ich schaue bei RAID5/6 am besten auf die Anzahl der Platten (Formel vergessen, egal). Bei ZFS RaidZ1 oder RaidZ2 ist die Plattenanzahl nicht ganz so wichtig: Dieser Artikel
sagt:
To summarize: Use RAID-Z. Not too wide. Enable compression.
und ja: je mehr Platten desto besser. In der Schnelle noch mal recherchiert:
- Aber ich kann evtl. auch mit RAID 1 (2Platten a 2TB → 2TB) leben
- oder mit RAID 10 (4 Platten a 2TB → 4TB)
- oder dann RAIDz1 (5Platten a 2TB → 8TB (25% gehen auf parity))
- oder dann RAIDz2 (6Platten a 2TB → 6TB (50% gehen auf parity))
(vllt. ist noch die sectoren-größe 512Byte oder 4kB relevant, aber die habe ich nicht mal aus einer datenblatt einer Samsung NVMe rausbekommen)
Der Punkt ist: Man wird immer mehr brauchen, momentan haben wir
- 30 GB Matrix-Messenger (reset jedes Schuljahr
) - 180 GB Nextcloud
- 200 GB LINBO + default-school
- 1TB LMZ Medienfestplatte
- ?? Moodle, außer Haus
Das wird potentiell in den nächsten Jahren zunehmen. Alleine schon, weil ich peertube als Videospeicher zur Verfügung stelle und weil keiner aufräumt. Und vielleicht wird das auch einfach auf verschiedenen Servern unterschiedlich schnell laufen.
Du hast auch vollkommen recht, ein SATA-HDD Backupspeicher einzubauen. Da kann man ja ne 10TB-Platte kaufen
Es muss halt reichen (5TB mind?), ausfallsicher sein (1 Platte) und schnell aus dem Backup rekonstruierbar sein (ZFS → NAS → ZFS)…
Sobald man mit mehr als einem Server hantiert, sind diese drei Anforderungen aufwändig, weil das nicht skaliert.
VG, Tobias
Hi Tobias, kennst du schon den Proxmox Backup Server? Der macht das super…
Viele Grüße
Michael
Hi Michael,
nein, klar kenn ich das noch nicht. Hab mich ja von Max anfixen lassen ZFS zu machen, hab aber noch null Ahnung. Außer der Raid-Sache, hab ich noch nichts gelesen. Weiß, dass snapshots gut gehen sollen.
Das ist sicher sehr einfach umzusetzen und erspart mir vllt. das NAS, wenn ich den PBS in einen anderen Raum stellen kann. Wenn das nicht geht, hab ich nicht so viel gewonnen.
Danke!
VG, Tobias
Hi Tobias,
Warum meinst du, dass das nicht gehen sollte? Hier läuft der PBS auf unserem alten pedestrial Server, der in der hintersten Ecke steht. Nutzt du denn sowieso Proxmox oder wäre der PBS bei dir nur ein Nebenprodukt??
Schick ist, dass unser PBS-Server per WoL ein und ausgeschaltet wird, dann die Snapshots dort abgelegt werden, dann bei Bedarf noch eine Prüfung und ein Aufräumen der alten Backups stattfindet und sich die Kiste anschließend wieder schlafen legt. Das ganze dauert im Vergleich zu „regulär“ angelegten Vollbackups einen Bruchteil der Zeit…
Da auf der Kiste gleichzeitig auch das ganz normale Proxmox installiert war, habe ich dort auch Zugriff auf alle VMs. Ich habe den Desaster Fall aber zugegebenermaßen bisher nicht geübt. Sollte man natürlich machen, aber ihr kennt das ja…
Jedenfalls kann ich für uns nicht behaupten:
Viele Grüße
Michael
„an untested backup is not a backup“
Völlig „untested“ ist es nun auch wieder nicht. Ich habe natürlich schon oft Backups zurückgeholt, aber im Desasterfall würde der Produktivserver ja völlig ausfallen. Das Szenario habe ich nicht in allen Einzelheiten geübt…
Außerdem gibt es neben dem Produktivserver (der viele redundante Teile hat) noch ein paar andere „single points of failure“, was natürlich immer schlecht ist. Aber wenn man das auch alles doppelt und dreifach absichern will, wird es noch komplexer…
Viele Grüße
Michael
Ich habe so gut wie noch nie Backups zurueckgeholt, geschweige denn oft.
Wann machst Du das denn?
Gruss Harry
Vor allem dann, wenn bei irgendeiner VM etwas schief gegangen ist… Backup oder besser letzter Snapshot zurück und nochmal.
Also in etwa: „Gehen Sie zurück auf Los! Ziehen Sie nicht DM 4000 ein!“
Snapshot ist kein Backup, wenn der Wirt stirbt ist dieser ja in der Regel auch weg. Davon abgesehen habe ich bei solchen zurueckgespielten Snapshots aus externen Backups bisher mehr „danach ist noch mehr kaputt“-Faelle gesehen als dass das Problem danach gefixt war. Ich spreche nicht von „Snapshot wiederherstellen“.
Ich will da nicht auf Details rumhacken, aber ohne erfolgreichem Test eines Disastery Recoverys ist das Ganze ein Gluecksspiel, da koennen wir uns Diskussionen zum Sinn von ECC-RAM, USV und redundanten Netzeilen in Zukunft ganz sparen, die Katastrophe hat alle Zeit der Welt.
off topic
Mein Ansatz ist sowieso ein anderer, ich geh immer davon aus, dass jemand ausser mir zu Unrecht root-Rechte hat und die Schule komplett abbrennt, paar Tonnen Amoniumsulfat unter der Schule gezuendet oder so.
Gruss Harry
Die Aussage stimmt im Allgemeinen – nicht aber bei ZFS.
„Was der Bauer nicht kennt, frisst er nicht.“
Noe, ich beobachte ZFS seitdem es bei Solaris eingefuehrt wurde und die Featureliste ist beeindruckend, duerfte unerreicht sein, aber ich arbeite gerne mit ueberschaubarem bzw. was ich noch greifen kann, deshalb auch einfache Partitionsschemata, kein LVM usw. usf. weil ich (!) das im Fehlerfall auch schnell wieder gefixt bekomme.
Bei ZFS ist die Lernkurve sehr steil und ich weiss nicht, ob es der Ertrag fuer mich wert ist - das muss aber jeder fuer sich selbst entscheiden.
Ich bin ja mittlerweile auch aus Bequemlichkeit bei Docker gelandet, war auch ein NoGo, wegen steiler Lernkurve bzw. Abkehr vom Konventionellen.
Gruss Harry
Proxmox bringt ZFS per Default mit. Das installiert man innerhalb von 15 Minuten und kann danach „alles“ per GUI bedienen. Soooo tief muss man da nicht einsteigen, wenn man nicht will. Aber zusammen mit dem o.g. PBS ist es ziemlich genial, weil es die Snapshots überträgt, man aber trotzdem (dank ZFS) ein vollständiges Backup hat. Deshalb geht das auch so schnell …
Übrigens hatte doch neulich jemand im Parallelthread nach einer Backup Lösung für VMWare gefragt. Da bin ich überfragt – aber Proxmox hat das alles an Bord!!!
Übrigens, Harry – ich hatte den Kanal von Christian Zengel ja schon ein paar Mal hier verlinkt – gerne eine weiteres Mal. (OT: Ich würde sogar wetten, dass Ihr Euch im RL gut verstehen würdet … habe den Eindruck, dass ihr manche Gemeinsamkeiten haben könntet 
)
Hallo Michael,
nach dem Du mich ja ange"zfs"t hast (und ich jetzt wohl Tobias) und ich tatsächlich morgen und übermorgen an den Backupserver gehen wollte…
Gibt es dazu Details?
Ich habe schon mit meienm privat-PC „geübt“, also ZFS-Volumes von einer auf eine andere Platte überspielt. Hui, wenn man das kann, ist es geschmeidig, wenn nicht (so wie ich) sehr holprig, hat aber funktioniert. So ein Backup ohne dass man ZFS „können“ muss, finde ich super.
Schade, dass der Proxmox keine Backups auf ein ZFS-Volume zulässt. Das wäre noch einfacher. Ich hatte mir das so gewünscht: Externe Platte dran, ZFS drauf, und schwupps, ist das Backup drauf. Mein Proxmox mag das nicht machen. 
Also PBS…
LG
Max
Hallo Max,
wenn du Lust hast, können wir uns morgen parallel zur Fortbildung darüber unterhalten. Wir haben genau dieses Setting erfolgreich an unserer Schule: Proxmox-Host mit ZFS-Pool gebackuped per PBS mit ZFS. Auch privat nutze ich diese Konstellation.
Viele Grüße
Christoph
Hi.
Ich denke, dass Proxmox den PBS genau aus diesem Grund entwickelt hat … das war das noch fehlende Bindeglied, um ZFS-Backups sehr elegant auch woanders ablegen zu können. Dass das nicht auch auf lokalen Platten geht, kann ich so nicht bestätigen. Man kann durchaus auch mit zfs-auto-snapshot arbeiten. Das ist aber nicht in den Bordmitteln von Proxmox dabei. Es ist auch nicht ganz klar, warum die Proxmox-Leute nicht auf dieses Tool zurückgegriffen haben, denn es hat im Prinzip bereits alles an Bord … in mind. einem der „zfs rocks!“-Videos wird ausführlich darauf eingegangen. Es ist dann aber nicht mehr so schön einfach über das GUI einstellbar … aber funktionieren würde es auch auf diesem Weg.
Meinst du zu unserem PBS? Nö, großartig dokumentiert ist das nicht – das ist einfach ein Uralt-Server, der auf diese Weise noch eine sehr sinnvolle Aufgabe hat – sonst würde der nur stromlos in der Ecke stehen.
Man muss sich entscheiden, ob man die Backups per push oder pull anlegen will. Ich hatte doch im Parallelthread (hier) auch das Video verlinkt – da wird das ganz gut gezeigt.
Viele Grüße,
Michael
Hi ihr ZFS-Nerds, ich komme mal zum Topic zurück: Hardware neuer Server:
Max: bei dir passen jetzt 5 PLatten a 2TB NVMe rein, richtig?
(2 auf Mainboard, 2 über PCIe 1x, 1 über PCIe 4x(16))
Ich würde das auch so versuchen, also direkt teilweise online, teilweise bei lokalem Händler bestellen.
Ich frage mich noch, ob RAIDz2 nicht besser wäre, wenn du nur 5 PLatten im Betrieb hast (siehe meine Noobie-Analüse oben)
VG, Tobias
Hi Tobias,
ich hab auch RAIDz2 verwendet. Aber das heißt imho, dass es zwei redundante Platten gibt (ähnlich Raid6), also hast Du bei 5 Platten a 2TB 6TB nutzbar, 40% parity, bei 6 Platten dann 8TB -> 33% parity.)
LG
Max