Wo ist das Problem? Leg’ dir doch 2-3 weitere virt. Partitionen für den linuxmuster-Server an und kopiere /home, /var und was sonst noch getrennt liegen soll, auf die getrennten Partitionen. Das funktioniert doch völlig problemlos…
Anschließend musst du nur noch die Mount-Points umbiegen (mit UUIDs) und fertig…
Also wir haben die Umstellung auf VLANs & Subnetting jetzt endlich (fast) geschafft. Es ist wirklich ein ordentliches Stück Arbeit, das man sich da aufhalst, weil man jeden einzelnen Switch und zum Teil jeden einzelnen Port durchgehen muss und genau überlegen/planen muss, welches VLAN man da haben will/muss, damit alles klappt.
Aber seit letzter Woche sind wir endlich damit durch und haben jetzt 12 Switche, die kreuz und quer in der Schule verteilt hängen, fertig konfiguriert. Den alten 6.0 Server haben wir bereits vom Netz genommen. Im Moment sieht alles gut aus und die Segmentierung ist wirklich eine super-coole Sache.
Ich will auf VLANs jedenfalls nicht mehr verzichten – vor allem gefällt mir, dass die Schüler im Computerraum nun keine Möglichkeit mehr haben, auf andere Computer zuzugreifen, wo sie nichts verloren haben (wenn sie den Server hacken, sieht’s nochmal anders aus, aber daran glaube ich erst, wenn ich’s sehe…)
Und wenn man’s erstmal eingerichtet hat, lernt man auch ganz schnell den Vorteil zu schätzen, dass viele Netze über eine Leitung kommen. Bei Bedarf schaltet man sich VLAN.12 auf Port.12 und ist im WLAN – super! Völlig ohne neue Kabel zu verlegen 
Hallo Michael,
lasst uns bitte das VLAN Thema im separaten Thread besprechen. Ich finde das viel zu wichtig, besonders weil wir kurz vor der Umstellung stehen (neuer Server, neue Musterlösung PLUS VLANs)
Da werde ich bestimmt noch einige Fragen zu haben. Wir planen die Umstellung auf VLANs jetzt seit Jahren (immer kam was dazwischen) zum Glück ist jetzt die Entwicklung in der LML auch gut vorangeschritten… ich freu mich auf die Umstellung
Grüße,
gerd
Noch ein Satz zu ZFS Raid vs Hardware Raid
Es spricht sicher nichts gegen einen vernünftigen HW Raidcontroller. Mit den entsprechenden Festplatten bekomme ich hier eine hohe und recht genau definierbare Performance.
Um allein in diese Richtung zu kommen, muss ich bei ZFS schon ganz schön was für tun, zB Caches und Logs auslagern auf SSDs viel RAM usw.
HIer liegt für mich HW-Raid vorn.
Das war es dann aber auch. Bei der Sicherheit überwiegen für mich klar die Vorteile von ZFS. Wobei ich es viel besser gefunden hätte die Proxmox Leute hätten das ganze mit BTRFS umgesetzt. Dann wären sie viel näher am eigentlichen “Linux” und dessen Lizenzmodel usw. das war denen damals aber noch nicht in allen Szenarien stabil und reif genug, schade.
ZB habe ich jetzt einen großen Supermicro Server mit gutem HW-Raid Onboard “unter-geschoben” bekommen, hier setze ich selbigen natürlich ein und arbeite mit LVM-thin und ext4
Würde ich selbst auch den Server verantworten, würde ich gegenwärtig ohne HW-Raid MIT ZFS arbeiten und -wenn mehr als 2 VMs laufen sollen- nicht unter 64 GB ECC RAM anfangen
Grüße,
gerd
Hallo Gerd,
Es spricht sicher nichts gegen einen vernünftigen HW Raidcontroller. Mit
den entsprechenden Festplatten bekomme ich hier eine hohe und recht
genau definierbare Performance.
Ja, so auch meine Erfahrung.
Um allein in diese Richtung zu kommen, muss ich bei ZFS schon ganz schön
was für tun, zB Caches und Logs auslagern auf SSDs viel RAM usw.
HIer liegt für mich HW-Raid vorn.
Das war es dann aber auch.
Wenn man das System eh auf SSD aufsetzt sehe ich jetzt noch nicht den
Mehraufwand, einzig, dass man bei der Installation halt erst mal das
ZFS-RAID einrichten muss.
Bei der Sicherheit überwiegen für mich klar
die Vorteile von ZFS.
Wegen der HW-Abhängigkeit vom Controller, wie wir schon gesagt hatten,
oder gibt es noch was?
ZB habe ich jetzt einen großen Supermicro Server mit gutem HW-Raid
Onboard „unter-geschoben“ bekommen, hier setze ich selbigen natürlich
ein und arbeite mit LVM-thin und ext4
Aber das Onboard-HW-Raid ist doch imho auch nur was halbgares.
Ich hab aktuell auch einen Supermicro Server. Da kann das Board auch
verschiedene RAID-Levels. Es steckt trotzdem ein extra LSI
RAID-Controller drin.
Würde ich selbst auch den Server verantworten, würde ich gegenwärtig
ohne HW-Raid MIT ZFS arbeiten und -wenn mehr als 2 VMs laufen sollen-
nicht unter 64 GB ECC RAM anfangen
Aktuell habe ich 32 GB. Der neue Server soll 64 GB bekommen. 128 GB ist
dann schon wieder preislich ne Hausnummer und imho bei LMN-VM,
IPFire-VM, Coova-VM und Webserver, wie es hier derzeit läuft Overkill,
selbst bei ZFS würde ich sagen.
Noch eine Frage zu dieser Subcription-Sache bei Proxmox.
Unter 3.4 bekommt man, wenn man keine hat, beim Anmelden im Webinterface
einen Hinweis, sonst hat es keine Auswirkungen.
Wie sieht das bei 4.4 aus? Muss man die haben?
Nicht, dass ich jetzt ein wirklich gutes Gewissen hätte, das ohne zu
nutzen, aber interessieren würde mich das schon.
Bislang habe ich einen Dual-Xenon mit 2x4 Kernen & Hyperthread, also
virtuell 16 Kerne. Da Proxmox die Subscription an die Zahl der CPUs
koppelt, wäre aus Kostensicht ein Single-CPU-Server ja sinnvoller.
Wie sieht das performancemäßig aus, angenommen die Single-CPU hat gleich
viel Kerne und vergleichbare Taktfrequenz und Cache?
Grundsätzlich wäre das mit der Subscription eine der Hauptüberlegungen
für mich, doch zu XEN zu wechseln (neben dem, dass man für XEN fertige
Appliances für LMN bekommt und sich so Arbeit sparen kann).
Dagegen spricht für mich, dass ich mich mit Proxmox jetzt gut auskenne,
und es im Grunde ja ein normales Debian ist.
Viele Grüße
Steffen
Unter 4.x kommt auch nur der Nag-Screen, wenn man’s nicht kauft. Wir haben kürzlich eine Subscription gekauft. Das hatten wir schon länger vor, aber es ist immer dabei geblieben. Bei dem Preis (~5€ pro Monat und pro Socket) kann man wirklich nichts sagen. Natürlich geht auch mehr, wenn man prof. Support mit einkaufen möchte…
möchte das nahezu 1:1 bestätigen was Michael schon sagt,
auch ich nötige meine Kunden mindestens das MiniSubscription Paket zu kaufen und nutze trotzdem die „noSubscription“ Repositories. Nach dem Motto: Die Proxmox Leute leben auch nicht nur von Luft und Liebe…
Es gibt auch kleine Hacks zum deaktivieren des „Nag-Screen“ (hab ich nicht auf’em Schirm)
Das würde ich noch mal genau betrachten…
OnBoard steckt bei Supermicro Serverboards oft genau so ein LSI HW R.Controller drin!
Bei uns ist das der Fall. Den gibt’s mit gleichen tech. Daten als PCIe Controller. Nix „fake Raid“, nix halbgares sondern well done. [quote=„crazy-to-bike, post:25, topic:105“]
Wie sieht das performancemäßig aus, angenommen die Single-CPU hat gleichviel Kerne und vergleichbare Taktfrequenz und Cache?
[/quote]
Kommt drauf an. Wenn genug RAM und Speicher Riegel pro CPU dann sind zwei CPUs sicher besser als eine. Wir habe auch zwei „langsame“ 1,9 GHz CPUs. Das ist ja wieder so eine Singelthread und Multisthread Theoriedingens. Vergleichbar zu den Netzwerkinterfaces tendiere ich bei einem zentralen Proxmox Server zu mehr Kernen und besser zwei CPUs als eine usw.
Setzte aus Kosten- und Bedarfgründen jedoch auch (fast) immer auf Single-CPU.
Lass die Finger von XEN. Es wäre schön wenn es hier eine Tendenz zu EINER Lösung gäbe, dann kann man auch Erfahrung tauschen…
ECHT? und keine für KVM / Proxmox? Das wäre sehr schade.
Gibt es überhaupt noch Linux Business Server Distributionen die XEN bevorzugt (vor KVM) einsetzten? Mir geht es jetzt nicht um subjektive schlechter/besser Diskussionen, sondern wie mache ich mir meine Arbeit einfach, stabil und unkompliziert.
Hallo Gerd,
Es steckt trotzdem ein extra LSIRAID-Controller drin.Das würde ich noch mal genau betrachten…
OnBoard steckt bei Supermicro Serverboards oft genau so ein LSI HW
R.Controller drin!
Bei uns ist das der Fall. Den gibt’s mit gleichen tech. Daten als PCIe
Controller. Nix „fake Raid“, nix halbgares sondern well done.
Hm, das weiß ich nicht, ob das Onboard-RAID bei Supermicro wirklich was
taugt. Aber: Es ist definitiv eine HW-RAID-Controller-Karte verbaut.
Habe ich damals so gekauft (und natürlich überprüft, ob sie da ist 
)
Vergleichbar zu den Netzwerkinterfaces tendiere ich bei
einem zentralen Proxmox Server zu mehr Kernen und besser zwei CPUs als
eine usw.
Ja, dachte ich beim letzten Server auch und würde hier ungern
Rückschritte machen, auch wenn sicher die aktuellen 10 und mehr Kerner
eine andere Liga sind als die Single-CPU, die es seinerzeit gab.
Lass die Finger von XEN.
Jetzt hast du dich hier bei einigen Leuten unbeliebt gemacht 
Es wäre schön wenn es hier eine Tendenz zu
EINER Lösung gäbe, dann kann man auch Erfahrung tauschen…
Genau das ist doch eben XEN. Das wurde vor längerem schon so von den
Entwickern als empfohlener „Standardweg“ festgelegt, siehe
https://www.linuxmuster.net/de/ueber/faq/#collapse_601_4
Nur deshalb überlege ich, ob der Wechsel auf XEN nicht aus
Synergieeffekten (fertige Appliances) doch sinnvoll wäre, auch wenn ich
sehr an Proxmox hänge.
Wenn du schreibst, lass die Finger von XEN, dann muss das ja
Hintergründe haben. Warum würdest du davon abraten?
ECHT? und keine für KVM / Proxmox? Das wäre sehr schade.
Ja, siehe oben.
Dass Appliances für nur einen Hypervisor angeboten werden, ist
nachvollziehbar und nur folgerichteg, wenn man weiß: Es fehlt einfach
die Manpower.
Da müsste sich also jemand finden, der das Portieren auf andere
Hypervisoren übernimmt.
Ich weiß aber nicht, ob mit der o.g. Entscheidung eine Mehrzahl derer
mit KVM zu XEN wechseln werden, oder ob es möglich und mit welchem
Aufwand es verbunden ist, eine XEN-Appliance auf KVM zu portieren.
Gibt es überhaupt noch Linux Business Server Distributionen die XEN
bevorzugt (vor KVM) einsetzten? Mir geht es jetzt nicht um subjektive
schlechter/besser Diskussionen, sondern wie mache ich mir meine Arbeit
einfach, stabil und unkompliziert.
Tja, ich kenne mich da zu wenig mit allen Hypervisoren (ist das die
Mehrzahl?!?) aus.
Was die Hintergründe sind, warum gerade XEN, dazu muss jemand anderes
was sagen.
Viele Grüße
Steffen
Hallo Gerd,
Beim Einrichten der VM habe ich dann /home und /srv auf einer separaten
virtuellen HDD und die lasse ich dann bei den vzdumps weg … So kann
ich zB die System-HDD pver qmrestore wiederherstellen und die Daten aus
dem Backup und viel viel wichtiger!: ich habe ein zuverlässiges Datenbackup
da muss ich jetzt nochmal nachhaken.
Wenn ab Proxmox 4.x die VMs in diesen Thin-LVM liegen, dann kann das mit
dem Backup der virtuellen HDs mit einem „externen“ Backupwerkzeug (also
nicht vzdump) aber doch gar nicht mehr funktionieren…
Und nochmal ne Frage zu ZFS-Raid:
Gibt es da eine gute Anleitung / Übersicht mit den wichtigsten Befehlen wie
- Status prüfen
- HD aus dem RAID entfernen
- neue HD dem RAID hinzufügen
- Hotspare definieren
Als ich früher schon mal ein Software-RAID unter LMN 4.x (also unter
Debian) hatte, war das mit mdraid. Das kam man mit ein paar wenigen
Befehlen ganz gut über die Runden, um das RAID zu managen (z.B. bei
HD-Defekt).
Außerdem wurde man per E-Mail über den Zustand des RAIDs informiert bzw.
v.a. bei Ausfall einer HD.
Ich nehme an, das ist bei ZFS-RAID auch so?
Viele Grüße
Steffen
es geht beides.
Wie schon dargestellt, greift mein Backup die Daten der VM direkt ab über dessen Freigaben und nicht über Proxmox. Bei diesem Backup macht es keinen Unterschied ob es eine VM oder „bare metal“ ist.
Du kannst aber, wenn du das meinst, auch vzdumps in ein mount point legen und den per backup abgreifen. Da gibt es unendliche Möglichkeiten, zB kannst du doch auch gleich dein NAS lokal mounten und die dumps dahin sichern usw usw.
ubuntu wiki
Proxmox I
Proxmox II
Proxmox III
PS: kann es sein dass du LVM-thin und ZFS in einen Topf wirfst?
Es ist von ZFS unabhängig und kommt nie gleichzeitig auf dem selben device vor
proxmox IV
Grüße,
gerd
ein howto im pdf-format gibts auch noch hier, wenn man sich registriert hat:
[https://forum.proxmox.com/threads/howto-zfs-anleitung.28612/]
vg
wolfgang
Hallo Gerd,
ich habe momentan ein Hardware-Raid mit 5 Platten, die RAID-5 machen, eine hotspare und eine Systemplatte. Also 7 Anschlüsse.
Wie macht man das ganz praktisch mit SATA, wenn man kein HW-Raid hat?
- Anschlüsse auf dem Mainboard oder SATA-PCIe-Karten?
- Wie macht man das üblicherweise im frontend: gibt es z.b. für 8 HDDs Platz und jede Platte wird mit eigenem SATA-Kabel verbunden, oder gibt es da eine backboneplatte dazwischen?
(wie gesagt: wenn man kein HW-Raid möchte)
VG, Tobias
Ja, das ist eine gute Frage und ist je nach Hardware ein begrenzender Faktor.
Mein letztes System war ein Skylake Fujitsu D3417-B MB mit 6x SATA III 6GBit und 1x NVMe Anschlüssen in einem Antec GX1000 Gehäuse (Super Teil!), das hat mir gerade gereicht. Angeschlossen direkt am MB mit SATA Kabel und ohne hotplug und ohne backplane usw.
Von zB Supermicro gibt es Boards mit bis zu 10x SATA III onboard
Also setzte ich für diese kleinen bis mittleren Server keine zusätzlichen Steckkarten für die HDDs ein.
Mein Festplattentip sind die HGST Ultrastar 7K6000 mit 4kn Sektoren für das ZFS Raid, von dem dann aber noch nicht ohne weiteres gebootet werden kann.
Das macht bei mir ein separates mini Raid 1 auf zB SSDs oder eine NVMe SSD.
in folgendem Post steht wie man dann zB ein zfs Raid 10 einrichten kann:
zfs Raid 10
und etwas weier unten, das dürfte Steffen interessieren, steht, wie man einen „normal“ erreichbaren mount point zB für vzdump backups erstellt, unter
„Then I create a new dataset for configuring a directory storage“
im post Nr. 25
Grüße,
Gerd
Hallo Gerd,
Mein Festplattentip sind die HGST Ultrastar 7K6000 mit 4kn Sektoren für
das ZFS Raid, von dem dann aber noch nicht ohne weiteres gebootet werden
kann.
Von einem ZFS-RAID oder was genau meinst du?
Das macht bei mir ein separates mini Raid 1 auf zB SSDs oder eine NVMe SSD.
Was ist das dann für ein RAID, wenn kein ZFS und man kein
HW-RAID-Controller hat (der wäre bei einem SW-RAID ja rausgeschmissenes
Geld)
in folgendem Post steht wie man dann zB ein zfs Raid 10 einrichten kann:
zfs Raid 10
Nachdem man was für ein RAID für das System schon eingerichtet hat (s.
Frage oben)?
Viele Grüße
Steffen
Einfache Antwort für alle Fragen:
von 4K Sektor-Festplatten kann Linux nur im (U)EFI Mode booten,
Und Proxmox kann unterm ZFS Dateisystem, egal welches Raid wiederum noch nicht per (U)EFI booten.
Ergo: booten mit Proxmox UND ZFS nur mit NICHT 4k-Sektoren-Festplatten EGAL welches (ZFS) RAID.
Im Zweifel einfach drauf achten dass es Festplatten sind, die KEINE 4kn Sektoren haben, dann kannst du mit jedem ZFS mit oder ohen Raid einfach booten,
siehe Post 14 und folgnede
Hallo,
nach langem abwägen denke ich, dass ich wahrscheinlich doch einen
HW-RAID-Controller verbauen lassen werde. Das hat mehrere Gründe.
Aber ZFS als Filesystem kann man ja trotzdem verwenden, und wenn man
keine HDs mit 4k Sektoren hat auch davon booten, oder sehe ich da jetzt
was falsch?
Viele Grüße
Steffen
Hallo Gerd,
Noch ein Satz zu ZFS Raid vs Hardware Raid
ich hake hier doch noch mal ein, weil ich jetzt endgültig entscheiden
muss, ob ich den neuen Server mit oder ohne HW-RAID Controller bestelle.
Es spricht sicher nichts gegen einen vernünftigen HW Raidcontroller. Mit
den entsprechenden Festplatten bekomme ich hier eine hohe und recht
genau definierbare Performance.
Um allein in diese Richtung zu kommen, muss ich bei ZFS schon ganz schön
was für tun, zB Caches und Logs auslagern auf SSDs viel RAM usw.
HIer liegt für mich HW-Raid vorn.
Wenn ich also keine SSDs im Server habe, sondern nur ein RAID 5/10 auf
SSD/SAS, dann wäre ein HW-RAID performanter?
Das war es dann aber auch. Bei der Sicherheit überwiegen für mich klar
die Vorteile von ZFS.
Mal ne vielleicht blöde Frage:
Man kann doch sicher auch bei einem HW-RAID ZFS als Dateisystem wählen.
Dann hätte man doch die Vorteile von ZFS (Datenkonsistenz bis auf
Datei-Bitebene, Prüfsummen für 100% konsistente Daten) und die eines
HW-RAIDs (definierte Performance).
Oder anders gefragt:
Wenn man eine HW-RAID Controller nimmt, macht dann ZFS als Dateisystem
Sinn oder nimmt man dann ext4?
ZB habe ich jetzt einen großen Supermicro Server mit gutem HW-Raid
Onboard „unter-geschoben“ bekommen, hier setze ich selbigen natürlich
ein und arbeite mit LVM-thin und ext4
Ok, das beantwortet evtl schon meine Frage von oben.
Dann also ext4?
Wenn man ZFS hat, dann kommt das thin-LVM nicht zum Einsatz oder
verstehe ich das noch falsch?
Würde ich selbst auch den Server verantworten, würde ich gegenwärtig
ohne HW-Raid MIT ZFS arbeiten und -wenn mehr als 2 VMs laufen sollen-
nicht unter 64 GB ECC RAM anfangen
Hm, 64 GB sind eh geplant. Für 128 GB reicht’s aber wohl nicht, wenn man
den RAID-Controller spart.
Wie sieht das eigentlich mit der CPU aus? Braucht man da für ZFS-SW-RAID
auch mehr Power?
Ich glaub ich werd alt und bequem. Ein HW-RAID kommt mir aktuell viel
einfacher zu managen vor als ein ZFS-Software-Raid… da man weniger
bzw. über das Webinterface gar keine Syntax braucht.
Und sollte es mal doch noch XEN werden sollen, dann braucht man ja imho
auf jeden Fall ein HW-RAID.
Andererseits spart man sich ohne den Controller natürlich Geld und wird
HW unabhängiger. Gut, der aktuelle Server läuft jetzt seit 5-6 Jahren
ohne HW-Defekt (abgesehen von HDs) - Klopf auf Holz das das weiter so
bleibt.
Echt gar nicht einfach, da eine Entscheidung zu treffen, da ich sowohl
mit dem Software-RAID das ich früher hatte als auch mit dem aktuellen
HW-RAID nur gute Erfahrungen gemacht hatte.
Der Austausch einer defekten HD beim HW-RAID ist aber schneller und
einfacher gemacht.
Viele Grüße
Steffen
Hallo Gerd,
Mein Festplattentip sind die HGST Ultrastar 7K6000 mit 4kn Sektoren für
das ZFS Raid, von dem dann aber noch nicht ohne weiteres gebootet werden
kann.
Das macht bei mir ein separates mini Raid 1 auf zB SSDs oder eine NVMe SSD.
auch hierzu nochmal ne Frage:
Das sind doch SAS Platten, die HGST Ultrastar 7K6000. Imho braucht man
dafür doch einen SAS-Controller, was Boards in der Regel nicht haben,
sondern nur HW-RAID-Controller?!?
Und wie sieht es dann wieder performancemäßig aus, wenn man normale SATA
6 GB/s mit SAS 12 GB/s vergleicht.
Da müsste ein HW-RAID ein ZFS-RAID (gleicher RAID-Level) doch deutlich
hinter sich lassen?!?
Viele Grüße
Steffen
Hallo Gerd,
noch eine Frage
Ich hab jetzt hier nochmal hier https://wiki.ubuntuusers.de/ZFS_on_Linux
komplett gelesen, u.a.
Wie macht das Proxmox? Wird da von ZFS gebootet?
Ich will eigentlich ein RAID 10 machen (oder ein RAID 5 aus
Kostengründen). Macht Proxmox da eine Boot/Root-Partition mit ext4 oder
wie läuft das?
Viele Grüße
Steffen
Hallo Steffen,
zZ bin ich gerade am Neuausstatten dreier Standorte, deswegen etwas stärker eingebunden.
Das sind ja jetzt alles sehr individuelle Fragen, viele davon habe ich schon beantwortet, aber machen wir es einfach: ruf mich an und wir gehen die Punkte einzeln durch, ich kann dir wohl alle beantworten…
Wenn ich deine Mail finde schicke ich dir eine PM mit Telefonnummer…
schöne Grüße,
gerd