Hi Tobias, kennst du schon den Proxmox Backup Server? Der macht das super…
Viele Grüße
Michael
Hi Michael,
nein, klar kenn ich das noch nicht. Hab mich ja von Max anfixen lassen ZFS zu machen, hab aber noch null Ahnung. Außer der Raid-Sache, hab ich noch nichts gelesen. Weiß, dass snapshots gut gehen sollen.
Das ist sicher sehr einfach umzusetzen und erspart mir vllt. das NAS, wenn ich den PBS in einen anderen Raum stellen kann. Wenn das nicht geht, hab ich nicht so viel gewonnen.
Danke!
VG, Tobias
Hi Tobias,
Warum meinst du, dass das nicht gehen sollte? Hier läuft der PBS auf unserem alten pedestrial Server, der in der hintersten Ecke steht. Nutzt du denn sowieso Proxmox oder wäre der PBS bei dir nur ein Nebenprodukt??
Schick ist, dass unser PBS-Server per WoL ein und ausgeschaltet wird, dann die Snapshots dort abgelegt werden, dann bei Bedarf noch eine Prüfung und ein Aufräumen der alten Backups stattfindet und sich die Kiste anschließend wieder schlafen legt. Das ganze dauert im Vergleich zu „regulär“ angelegten Vollbackups einen Bruchteil der Zeit…
Da auf der Kiste gleichzeitig auch das ganz normale Proxmox installiert war, habe ich dort auch Zugriff auf alle VMs. Ich habe den Desaster Fall aber zugegebenermaßen bisher nicht geübt. Sollte man natürlich machen, aber ihr kennt das ja…
Jedenfalls kann ich für uns nicht behaupten:
Viele Grüße
Michael
„an untested backup is not a backup“
Völlig „untested“ ist es nun auch wieder nicht. Ich habe natürlich schon oft Backups zurückgeholt, aber im Desasterfall würde der Produktivserver ja völlig ausfallen. Das Szenario habe ich nicht in allen Einzelheiten geübt…
Außerdem gibt es neben dem Produktivserver (der viele redundante Teile hat) noch ein paar andere „single points of failure“, was natürlich immer schlecht ist. Aber wenn man das auch alles doppelt und dreifach absichern will, wird es noch komplexer…
Viele Grüße
Michael
Ich habe so gut wie noch nie Backups zurueckgeholt, geschweige denn oft.
Wann machst Du das denn?
Gruss Harry
Vor allem dann, wenn bei irgendeiner VM etwas schief gegangen ist… Backup oder besser letzter Snapshot zurück und nochmal.
Also in etwa: „Gehen Sie zurück auf Los! Ziehen Sie nicht DM 4000 ein!“
Snapshot ist kein Backup, wenn der Wirt stirbt ist dieser ja in der Regel auch weg. Davon abgesehen habe ich bei solchen zurueckgespielten Snapshots aus externen Backups bisher mehr „danach ist noch mehr kaputt“-Faelle gesehen als dass das Problem danach gefixt war. Ich spreche nicht von „Snapshot wiederherstellen“.
Ich will da nicht auf Details rumhacken, aber ohne erfolgreichem Test eines Disastery Recoverys ist das Ganze ein Gluecksspiel, da koennen wir uns Diskussionen zum Sinn von ECC-RAM, USV und redundanten Netzeilen in Zukunft ganz sparen, die Katastrophe hat alle Zeit der Welt.
off topic
Mein Ansatz ist sowieso ein anderer, ich geh immer davon aus, dass jemand ausser mir zu Unrecht root-Rechte hat und die Schule komplett abbrennt, paar Tonnen Amoniumsulfat unter der Schule gezuendet oder so.
Gruss Harry
Die Aussage stimmt im Allgemeinen – nicht aber bei ZFS.
„Was der Bauer nicht kennt, frisst er nicht.“ 
Noe, ich beobachte ZFS seitdem es bei Solaris eingefuehrt wurde und die Featureliste ist beeindruckend, duerfte unerreicht sein, aber ich arbeite gerne mit ueberschaubarem bzw. was ich noch greifen kann, deshalb auch einfache Partitionsschemata, kein LVM usw. usf. weil ich (!) das im Fehlerfall auch schnell wieder gefixt bekomme.
Bei ZFS ist die Lernkurve sehr steil und ich weiss nicht, ob es der Ertrag fuer mich wert ist - das muss aber jeder fuer sich selbst entscheiden.
Ich bin ja mittlerweile auch aus Bequemlichkeit bei Docker gelandet, war auch ein NoGo, wegen steiler Lernkurve bzw. Abkehr vom Konventionellen.
Gruss Harry
Proxmox bringt ZFS per Default mit. Das installiert man innerhalb von 15 Minuten und kann danach „alles“ per GUI bedienen. Soooo tief muss man da nicht einsteigen, wenn man nicht will. Aber zusammen mit dem o.g. PBS ist es ziemlich genial, weil es die Snapshots überträgt, man aber trotzdem (dank ZFS) ein vollständiges Backup hat. Deshalb geht das auch so schnell …
Übrigens hatte doch neulich jemand im Parallelthread nach einer Backup Lösung für VMWare gefragt. Da bin ich überfragt – aber Proxmox hat das alles an Bord!!!
Übrigens, Harry – ich hatte den Kanal von Christian Zengel ja schon ein paar Mal hier verlinkt – gerne eine weiteres Mal. (OT: Ich würde sogar wetten, dass Ihr Euch im RL gut verstehen würdet … habe den Eindruck, dass ihr manche Gemeinsamkeiten haben könntet 
)
Hallo Michael,
nach dem Du mich ja ange"zfs"t hast (und ich jetzt wohl Tobias) und ich tatsächlich morgen und übermorgen an den Backupserver gehen wollte…
Gibt es dazu Details?
Ich habe schon mit meienm privat-PC „geübt“, also ZFS-Volumes von einer auf eine andere Platte überspielt. Hui, wenn man das kann, ist es geschmeidig, wenn nicht (so wie ich) sehr holprig, hat aber funktioniert. So ein Backup ohne dass man ZFS „können“ muss, finde ich super.
Schade, dass der Proxmox keine Backups auf ein ZFS-Volume zulässt. Das wäre noch einfacher. Ich hatte mir das so gewünscht: Externe Platte dran, ZFS drauf, und schwupps, ist das Backup drauf. Mein Proxmox mag das nicht machen. 
Also PBS…
LG
Max
Hallo Max,
wenn du Lust hast, können wir uns morgen parallel zur Fortbildung darüber unterhalten. Wir haben genau dieses Setting erfolgreich an unserer Schule: Proxmox-Host mit ZFS-Pool gebackuped per PBS mit ZFS. Auch privat nutze ich diese Konstellation.
Viele Grüße
Christoph
Hi.
Ich denke, dass Proxmox den PBS genau aus diesem Grund entwickelt hat … das war das noch fehlende Bindeglied, um ZFS-Backups sehr elegant auch woanders ablegen zu können. Dass das nicht auch auf lokalen Platten geht, kann ich so nicht bestätigen. Man kann durchaus auch mit zfs-auto-snapshot arbeiten. Das ist aber nicht in den Bordmitteln von Proxmox dabei. Es ist auch nicht ganz klar, warum die Proxmox-Leute nicht auf dieses Tool zurückgegriffen haben, denn es hat im Prinzip bereits alles an Bord … in mind. einem der „zfs rocks!“-Videos wird ausführlich darauf eingegangen. Es ist dann aber nicht mehr so schön einfach über das GUI einstellbar … aber funktionieren würde es auch auf diesem Weg.
Meinst du zu unserem PBS? Nö, großartig dokumentiert ist das nicht – das ist einfach ein Uralt-Server, der auf diese Weise noch eine sehr sinnvolle Aufgabe hat – sonst würde der nur stromlos in der Ecke stehen.
Man muss sich entscheiden, ob man die Backups per push oder pull anlegen will. Ich hatte doch im Parallelthread (hier) auch das Video verlinkt – da wird das ganz gut gezeigt.
Viele Grüße,
Michael
Hi ihr ZFS-Nerds, ich komme mal zum Topic zurück: Hardware neuer Server:
Max: bei dir passen jetzt 5 PLatten a 2TB NVMe rein, richtig?
(2 auf Mainboard, 2 über PCIe 1x, 1 über PCIe 4x(16))
Ich würde das auch so versuchen, also direkt teilweise online, teilweise bei lokalem Händler bestellen.
Ich frage mich noch, ob RAIDz2 nicht besser wäre, wenn du nur 5 PLatten im Betrieb hast (siehe meine Noobie-Analüse oben)
VG, Tobias
Hi Tobias,
ich hab auch RAIDz2 verwendet. Aber das heißt imho, dass es zwei redundante Platten gibt (ähnlich Raid6), also hast Du bei 5 Platten a 2TB 6TB nutzbar, 40% parity, bei 6 Platten dann 8TB -> 33% parity.)
LG
Max
Hi Michael,
danke, hat geklappt. Das mit dem PBS find ich echt gut Jetzt hab ich ein Backup auf einem anderen Rechner, ganz bequem, hurra! Was mir noch nicht so gut gefällt, ist, dass die Sicherungen (1TB Größe) trotz nur 300GB Daten so 500GB groß sind, dh. irgendwie nicht „genullt“ wird. Liegt wahrscheinlich daran, dass drinnen ein ext4 liegt. Das hast Du aber schon auch so, oder geht das „cleverer“, also so, dass man in der VM dann zfs-Filesystem hat?
LG
Max
Hi Max, die ZVOLs werden gesichert… Da steckt ja noch einiges an Kompression drin…
Ich habe auch schon mal über Datasets nachgedacht, aber das geht imho für die VMs nicht direkt über das Proxmox GUI…
Viele Grüße
Michael
Hallo Max.
Noch ein Nachtrag – ich denke, dass RAID-Z2 eher verschwenderisch mit Plattenplatz umgeht. Überhaupt verlangt ZFS ja ein relativ viel Speicher – man kann nicht alles haben
Mittlerweile habe ich ein paar unterschiedliche ZFS-Pools installiert … und meistens halte ich mich jetzt an die default-Einstellung von Proxmox: Da wird per default RAID-10/Mirror vorgeschlagen. Ich habe den Eindruck, dass der Plattenplatz damit etwas sparsamer gefüllt wird. Bei Z2 hatte ich auch den Eindruck, dass ZFS da verschwenderischer ist!!?
Viele Grüße,
Michael
Hi Max,
du hast recht, ich habe in der falschen Tabelle abgelesen. Aber um auf 40% parity (von 5x2 TB) zu kommen, müsstest du die Blockgröße „9 Sektoren“ groß wählen. Ich lese nur die Tabelle und weiß nicht, ob das schlau ist oder nicht.
Sobald ich das System aufsetze wähle ich lieber nur RAIDz1 oder RAID10/mirror wie Michael schreibt…
VG, Tobias