Proxmox- Erfahrungen mit zfs-storage, raidz ?

Hi,

beim LVM thin werden die (raw) images bzw. virutal disks direkt als block devices eingebunden. Also da wo auch ein reguläres Laufwerk auftuachen würde unter /dev, konkret unter /dev/pve oder /dev/mapper
siehe im Proxmox Forum
Das kann man kopieren oder konvertieren, aber eben nicht mit den Werkzeugen, die für normale Dateien gedacht sind wie “cp” oder so, was geht, ist zB "dd"
Übrigens wenn man in dem Forum statt nach kpartx partx schaut, wird man fündig, wenn ich’s richtig verstanden habe ist partx bei block-devices die bessere Wahl

Bisher konnte man mit vgcfgbackup und -restore LVM Metadaten sichern, gegenwärtig weis ich nur, dass das damit unter LVM-thin nicht mehr Funktioniert:
“vgcfgbackup does not back up thin pool metadata.”

gerd

Hallo Gerd,

Ein verify oder rebuild in einem 4
bis 8 TB HW-Raid kann ganz schön dauern,

yep

das läuft bei ZFS von
Sekunden bis eige Minuten ab.

Wenn eine HD aus dem RAID ausfällt und ich binde eine neue ein, dann
müssen die Daten da doch drauf synchronisiert werden, damit das RAID
wieder vollständig ist. Das kann doch nicht in ein paar Minuten
erfolgen, wenn es sich um hunderte GB handelt?!?

Dann noch der mächtige Punkt COW
copy-on-write, mit dem du, wie du weiter unten überlegst, Plaz- und
Zeitsparende Snapshots erstellen kannst.

Snaphots sollten ja immer schnell gehen, aber wenn ich meine VM mit
virtueller HD mit ein paar hundert GB als richtiges Backup auf’s NAS
sichere (wie ich das bislang jede Nacht machen lasse), dann kann das ja
auch nicht in ein paar Sekunden oder Minuten erfolgen…

Zur Frage der
Containerdateien
kurz: nein
lang, ich weiß
nicht was genau du mit Containerdateien meinst.

die virtuellen HDs. Da liegt ja die gesamte Installation des Gastes in
einer einzelnen Datei.

Proxmox unterstütz
Containervirtualisierung, welche ich bisher NICHT verwende - und KVM
(=voll-virtualisierung) von welcher ich grundsätzlich spreche.

Ja, was ich meine ist schon KVM.

Aber fest
vorgegebene Datei- bzw. Containergrößen sind mir nirgends bekannt.

Wenn ich für eine VM eine HD anlege, wird eine Datei erzeugt, die laut
df -h genau so groß ist, wie Größe, die ich für die HD festgelegt habe,
selbst wenn die virtuelle HD komplett leer ist.
→ nicht dynamisch wachsend wie z.B. bei Virtualbox möglich.

Zur Backup, LVM usw.
Frage:
Ich halte
grundsätzlich wenig von „Umbiege“- oder „Fummel-“ Lösungen
und bleibe nach möglichkeit bei dem, was die Entwickler vorschlagen
bzw. „Best practice“, was sich im Verlaufe der Zeit durchaus sehr
ändern kann.

Klar, wie oben schon geschrieben, sichere ich die VMs jede Nacht per
Proxmox-Backupfunktion (vzdump) auf ein NAS. Das älteste Backup wird
dabei dann immer gelöscht (Anzahl der vorgehaltenen Backups über Proxmox
einstellbar).

ZUSATZLICH läuft – manchmal direkt auf Proxmox
installiert – ein hervorragendes und einfaches und super
zuverlässige Linux Backup-System. Und zwar jede Nacht als
Datenbackup. Als Speicherziel kann hier problemlos die selbe
zusätzliche HDD dienen.

Was wird da gesichert? Proxmox selbst?

Noch ein kurzen Satz
zum LVM, für alle die jetzt planen das erste mal ein Proxmox 4.x
aufzusetzten sollten ZUVOR mal ein Blick auf Thin-LVM schauen, sonst
gibt‘s Überraschungen :wink:

Das hat ja Michael schon geschrieben. Man kann wohl über das
Proxmox-Dateisystem nicht mehr einfach zu den VMs „navigieren“.
Oder was meinst du?

Zur Frage mit der
SSD
Vielleicht
verwechselst du beim Begriff „Hypervisor“ Proxmox mit ESXi von
VMWare?
Proxmox ist ein
Debian Jessie mit u.a. KVM Virtualisierung und wunderbaren
zusätzlichen Werkzeugen. Und alles was für Debian Jessie und SSD
gilt, gilt auch für Proxmox und SSD

Das mit Proxmox ist klar. Aber auch ESXi & Co basieren doch auf einem
linuxbasierten „Betriebssystem“, sprich, da wird ja auch irgendwie ein
Kernel gebootet und stellt so ein System zur Verfügung, mit dem man dann
andere Systeme virtualisiert betreiben kann.

Ich weiß, dass das etwas anders ist als bei Proxmox, weil eben nicht ein
Stanardlinux wie Debian gebootet wird, aber dennoch.

und da gibt‘s durchaus ein
paar Sachen zu beachten.

Wie immer wenn man SSDs einsetzt würde ich sagen, oder?

Ich teile die
Meinung von Holger, dass SSD eine große Lebensdauer haben. Siehe
vorletzten Langzeittest in der c‘t, halten die Teile viel länger
als gedacht.

warum hast du dann das Swapping umgebogen?

Zum 10GBit LAN
Ich weiß nicht, ob
10GBit mehrere 1 GBit Anschlüsse ersetzen kann auch bezüglich der
Preis-Leistungs-Frage.

Das mag sein, aber…

Zur Zeit setzte ich noch auf mehrere 1GBit im
Trunk oder LACP oder Bond Mode4 oder wie du das nennst. Das habe wir
in unserer größeren Schule in einem vierfach Trunk gefahren.

… mit 10GBit hab ich halt nicht nur 4 sondern 10GBit Anbindung :wink:
Und man spart sich die Konfiguration am Server (Hypervisor) und Switch.
Bislang hab ich gar keine VLANs oder Trunk/LACP/Bond (wie heißt das
jetzt eigentlich richtig?

Wenn
ich nur 20-30 PCs habe ist das natürlich überflüssig.

Klar

In Zukunft
könnte ich mir in größeren Umgebungen ein Interface pro VLAN
vorstellen (?). Je nachdem, habe ich pro Klassenraum ein VLAN, ist
das natürlich Unsinn, also doch wieder ein Trunk.

Oder eben 1 einziges 10GBit Kabel.

Das mit der
Eigenwerbung muss ich für mich noch klären. Für mich gehts hier um
die gegenseitige Hilfe -siehe hier :wink: -

Ich denke mir aber:
„warum soll ich verheimlichen, dass ich ‚ ne Firma habe, die auch
Leistungen verkauft :wink:
Wenn das jemand
stört, dann lasse ich das.

Du hast mein :smiley: wohl nicht richtig verstanden.

Es war keine Kritik und ich fühle mich dadurch nicht gestört, sehe es
ehrlich gesagt wie Holger:
Super, dass es hier kompetente Leute gibt, die ihr Wissen teilen und ihr
Geld mit IT-Dienstleistungen verdienen.

Manchmal kann ich mir eine kleine Provokation aber nicht verkneifen.
Sorry, wenn das falsch angekommen ist.

PS: fährt du
tubless oder mit Schlauch?

Latex-Schlauch (kein normaler Butylschlauch)
Tubeless finde ich zu viel Gesiffe, und man muss es alle 6 Monate erneuern.

Viele Grüße
Steffen

Ja, da hast du Recht, das war etwas vereinfacht. Wenn du das diffrenzierter wissen möchtest, hier unter Resilvering

Doch das geht in einer Sekunde wenn du COW mäßig im gleichen LVM Pool bist, da hier mit Hardlinks gearbeitet wird, erst wenn sich was ändert, werden tatsächlich Daten zusätzlich geschrieben. Das ist aber kein Szenario für vollwertige Backups…

Ja, das kann sein. Das ist für mich gar nicht so wichtig. 1: kann ich ja nicht mehr Speicher vergeben als ich habe, anzeigen lasse ich mir das ganze über das Webinterface ober per zfs list (und zpool status), 2: Zum Sichern oder Kopieren oder Migrieren der VMs verwende ich ausschließlich vzdump und das arbeitet sehr effizent zB auf der Konsole:
vzdump --compress lzo --mode stop --dumpdir /var/lib/vz/wdred4TB/dump/ 202

Nein, das ist ein DatenBackupsystem namens BackupPC. Von Proxmox sichere ich nur /etc/ /root und?
Das ist zur Sicherung der Daten der VMs: zB alle Daten unterhalb von /home oder /srv
Beim Einrichten der VM habe ich dann /home und /srv auf einer separaten virtuellen HDD und die lasse ich dann bei den vzdumps weg … So kann ich zB die System-HDD pver qmrestore wiederherstellen und die Daten aus dem Backup und viel viel wichtiger!: ich habe ein zuverlässiges Datenbackup

Ja, hierzu gibts LVM Befehle wie vgs lvs usw.
Da fehlt eben die zusätzliche Dateisystemebene des Hostsystems, die das sonst mit den üblichen Tools „anfassbar“ macht, das ist aber genau der Grund warum es ohne schneller läuft, es hat eine Schicht weniger…

Ja. Und trotzdem tue ich noch was zusätzlich, was die Lebensdauer erhöht, ohne ein Nachteil…
Ich habe an der Stelle, aus technischen Gründen, kein Raid, was sich hier eigentlich verbietet, daher will ich die Schreiblast auf der SSD so gering wie möglich halten…

Ja, genau das ist meine Frage. Es geht ja nicht (nur) um die Dicke des Rohrs, sondern vor allem um die Anzahl gleichzeitig verarbeiteter Päckchen. Beispiel: 300 Schüler machen alle gleichzeitig morgens um 08:44 ihre persönliche Calc Tabelle auf. Ist da 1x 10GBit wirklich schneller als 4x 1GBit im Trunk)
(Die Namen sind Synonyme, wobei LACP ein spezielles Protokoll beschreibt der Rest allg. ist.)

Nein nein, das hatte ich alles verstanden. Alles gut. Meine Aussage bezog sich nicht direkt auf deine, sondern war allg. in die Runde gemeint

letztes Jahr habe ich ca. zehn mal ein Platten gehabt, jetzt letzte Woche das erste mal auf tubless umgestellt, (habe ein neues Bike da musste nicht mehr viel geändert werden) war auch gesiffe :wink:
trotzdem, bin mal gespannt, hab noch nicht damit gefahren, schaun mer mal…

ride on
gerd

Hallo Gerd,

Nein, das ist ein DatenBackupsystem namens BackupPC. Von Proxmox sichere
ich nur /etc/ /root und?
Das ist zur Sicherung der Daten der VMs: zB alle Daten unterhalb von
/home oder /srv
Beim Einrichten der VM habe ich dann /home und /srv auf einer separaten
virtuellen HDD und die lasse ich dann bei den vzdumps weg … So kann
ich zB die System-HDD pver qmrestore wiederherstellen und die Daten aus
dem Backup und viel viel wichtiger!: ich habe ein zuverlässiges Datenbackup

Als ich die VM des LMN-Servers eingerichtet habe, war ich noch ganz am
Anfang meiner Virtualisierungskenntnisse und hab einfach eine einzelne,
riesige virtuelle HD erstellt. Blöd, im Nachhinein betrachtet.
Zwar liegt /home auch auf einer separaten Partition, aber aus Sicht von
Proxmox eben alles in derselben riesigen Datei.

Das habe ich erst beim Webserver anders gemacht, da hat /var eine eigene
virtuelle HD. Beim Rest ändert sich da ja nicht viel.

Beim Umstieg auf LMN 7 werde ich das auch anders machen, da bekommen
/home und /var eine eigene virtuelle HD.

Erst dann macht für mich ein anderer Backup-Weg als die Proxmox Backups
mit vzdump Sinn.

Ja, hierzu gibts LVM Befehle wie vgs lvs usw.
Da fehlt eben die zusätzliche Dateisystemebene des Hostsystems, die das
sonst mit den üblichen Tools „anfassbar“ macht, das ist aber genau der
Grund warum es ohne schneller läuft, es hat eine Schicht weniger…

und ist imho dann näher an / so wie es auch Xen & Co machen.

Ja. Und trotzdem tue ich noch was zusätzlich, was die Lebensdauer
erhöht, ohne ein Nachteil…
Ich habe an der Stelle, aus technischen Gründen, kein Raid, was sich
hier eigentlich verbietet, daher will ich die Schreiblast auf der SSD so
gering wie möglich halten…

In dem Fall klar. Wenn ich einen neuen Server hab, mach ich für Proxmox
aber ein eigenes RAID 1 und ein RAID 5 oder 10 für die VMs.

Die Frage ist nur, mach ich das als Software-RAID mit ZFS oder, wie
aktuell mit einem HW-RAID-Controller…

Früher hatte ich auch ein Software-RAID mit mdraid. Lief eigentlich auch
gut. Der Aufwand, wenn man HDs aus dem RAID nehmen und neue hinzufügen
muss ist halt geringfügig höher, weil man mehr Befehle abarbeiten muss
(beim HR-RAID-Controller kann man es sogar über die GUI machen)

Ja, genau das ist meine Frage. Es geht ja nicht (nur) um die Dicke des
Rohrs, sondern vor allem um die Anzahl gleichzeitig verarbeiteter
Päckchen. Beispiel: 300 Schüler machen alle gleichzeitig morgens um
08:44 ihre persönliche Calc Tabelle auf. Ist da 1x 10GBit wirklich
schneller als 4x 1GBit im Trunk)

Das weiß ich natürlich nicht, wobei wenn man es naiv betrachtet, 10GBit
ja schon schneller sein sollten als 4x 1 GBit.

Aber deshalb frage ich hier ja, was ihr meint, oder ob da wer
Erfahrungen hat.

Wenn ich einen Server analog dem derzeitigen kaufe, dann hat der je nach
gewähltem Board 2 oder sogar 4x 10Gbit onboard.

Bei letzterem hat man wieder seine 4 Ports für rot, grün, blau, orange,
ohne dass man VLANs auf einem Port machen muss.

Bislang bin ich noch immer der Ansicht: Wenn ich die Möglichkeit habe,
auf VLANs zu verzichten, dann ist das „besser“, weil keine Configs
vergessen oder falsch gemacht werden können :wink:

Begin OT

letztes Jahr habe ich ca. zehn mal ein Platten gehabt, jetzt letzte
Woche das erste mal auf tubless umgestellt, (habe ein neues Bike da
musste nicht mehr viel geändert werden) war auch gesiffe :wink:
trotzdem, bin mal gespannt, hab noch nicht damit gefahren, schaun mer mal…

Latexschläuche kann ich echt empfehlen. Geringerer Rollwiderstand,
leichter, höherer Pannenschutz wegen der größeren Elastizität.
So fahre ich selbst im 29er einen 26" Latexschlauch.

Einziger Nachteil: Hoher Luftverlust, spätestens alle 2 Tage ist
nachpumpen angesagt. Die Vorteile überwiegen für mich aber jede andere
Lösung.

Procore wäre auch interessant, ist aber eher recht schwer und v.a.
einfach zu teuer.

End OT

Viele Grüße
Steffen

Wo ist das Problem? Leg’ dir doch 2-3 weitere virt. Partitionen für den linuxmuster-Server an und kopiere /home, /var und was sonst noch getrennt liegen soll, auf die getrennten Partitionen. Das funktioniert doch völlig problemlos…
Anschließend musst du nur noch die Mount-Points umbiegen (mit UUIDs) und fertig…

Also wir haben die Umstellung auf VLANs & Subnetting jetzt endlich (fast) geschafft. Es ist wirklich ein ordentliches Stück Arbeit, das man sich da aufhalst, weil man jeden einzelnen Switch und zum Teil jeden einzelnen Port durchgehen muss und genau überlegen/planen muss, welches VLAN man da haben will/muss, damit alles klappt.

Aber seit letzter Woche sind wir endlich damit durch und haben jetzt 12 Switche, die kreuz und quer in der Schule verteilt hängen, fertig konfiguriert. Den alten 6.0 Server haben wir bereits vom Netz genommen. Im Moment sieht alles gut aus und die Segmentierung ist wirklich eine super-coole Sache.

Ich will auf VLANs jedenfalls nicht mehr verzichten – vor allem gefällt mir, dass die Schüler im Computerraum nun keine Möglichkeit mehr haben, auf andere Computer zuzugreifen, wo sie nichts verloren haben (wenn sie den Server hacken, sieht’s nochmal anders aus, aber daran glaube ich erst, wenn ich’s sehe…)

Und wenn man’s erstmal eingerichtet hat, lernt man auch ganz schnell den Vorteil zu schätzen, dass viele Netze über eine Leitung kommen. Bei Bedarf schaltet man sich VLAN.12 auf Port.12 und ist im WLAN – super! Völlig ohne neue Kabel zu verlegen :grin:

Hallo Michael,

lasst uns bitte das VLAN Thema im separaten Thread besprechen. Ich finde das viel zu wichtig, besonders weil wir kurz vor der Umstellung stehen (neuer Server, neue Musterlösung PLUS VLANs)
Da werde ich bestimmt noch einige Fragen zu haben. Wir planen die Umstellung auf VLANs jetzt seit Jahren (immer kam was dazwischen) zum Glück ist jetzt die Entwicklung in der LML auch gut vorangeschritten… ich freu mich auf die Umstellung
Grüße,
gerd

Noch ein Satz zu ZFS Raid vs Hardware Raid
Es spricht sicher nichts gegen einen vernünftigen HW Raidcontroller. Mit den entsprechenden Festplatten bekomme ich hier eine hohe und recht genau definierbare Performance.
Um allein in diese Richtung zu kommen, muss ich bei ZFS schon ganz schön was für tun, zB Caches und Logs auslagern auf SSDs viel RAM usw.
HIer liegt für mich HW-Raid vorn.
Das war es dann aber auch. Bei der Sicherheit überwiegen für mich klar die Vorteile von ZFS. Wobei ich es viel besser gefunden hätte die Proxmox Leute hätten das ganze mit BTRFS umgesetzt. Dann wären sie viel näher am eigentlichen “Linux” und dessen Lizenzmodel usw. das war denen damals aber noch nicht in allen Szenarien stabil und reif genug, schade.
ZB habe ich jetzt einen großen Supermicro Server mit gutem HW-Raid Onboard “unter-geschoben” bekommen, hier setze ich selbigen natürlich ein und arbeite mit LVM-thin und ext4
Würde ich selbst auch den Server verantworten, würde ich gegenwärtig ohne HW-Raid MIT ZFS arbeiten und -wenn mehr als 2 VMs laufen sollen- nicht unter 64 GB ECC RAM anfangen
Grüße,
gerd

Hallo Gerd,

Es spricht sicher nichts gegen einen vernünftigen HW Raidcontroller. Mit
den entsprechenden Festplatten bekomme ich hier eine hohe und recht
genau definierbare Performance.

Ja, so auch meine Erfahrung.

Um allein in diese Richtung zu kommen, muss ich bei ZFS schon ganz schön
was für tun, zB Caches und Logs auslagern auf SSDs viel RAM usw.
HIer liegt für mich HW-Raid vorn.
Das war es dann aber auch.

Wenn man das System eh auf SSD aufsetzt sehe ich jetzt noch nicht den
Mehraufwand, einzig, dass man bei der Installation halt erst mal das
ZFS-RAID einrichten muss.

Bei der Sicherheit überwiegen für mich klar
die Vorteile von ZFS.

Wegen der HW-Abhängigkeit vom Controller, wie wir schon gesagt hatten,
oder gibt es noch was?

ZB habe ich jetzt einen großen Supermicro Server mit gutem HW-Raid
Onboard „unter-geschoben“ bekommen, hier setze ich selbigen natürlich
ein und arbeite mit LVM-thin und ext4

Aber das Onboard-HW-Raid ist doch imho auch nur was halbgares.
Ich hab aktuell auch einen Supermicro Server. Da kann das Board auch
verschiedene RAID-Levels. Es steckt trotzdem ein extra LSI
RAID-Controller drin.

Würde ich selbst auch den Server verantworten, würde ich gegenwärtig
ohne HW-Raid MIT ZFS arbeiten und -wenn mehr als 2 VMs laufen sollen-
nicht unter 64 GB ECC RAM anfangen

Aktuell habe ich 32 GB. Der neue Server soll 64 GB bekommen. 128 GB ist
dann schon wieder preislich ne Hausnummer und imho bei LMN-VM,
IPFire-VM, Coova-VM und Webserver, wie es hier derzeit läuft Overkill,
selbst bei ZFS würde ich sagen.

Noch eine Frage zu dieser Subcription-Sache bei Proxmox.

Unter 3.4 bekommt man, wenn man keine hat, beim Anmelden im Webinterface
einen Hinweis, sonst hat es keine Auswirkungen.

Wie sieht das bei 4.4 aus? Muss man die haben?

Nicht, dass ich jetzt ein wirklich gutes Gewissen hätte, das ohne zu
nutzen, aber interessieren würde mich das schon.

Bislang habe ich einen Dual-Xenon mit 2x4 Kernen & Hyperthread, also
virtuell 16 Kerne. Da Proxmox die Subscription an die Zahl der CPUs
koppelt, wäre aus Kostensicht ein Single-CPU-Server ja sinnvoller.

Wie sieht das performancemäßig aus, angenommen die Single-CPU hat gleich
viel Kerne und vergleichbare Taktfrequenz und Cache?

Grundsätzlich wäre das mit der Subscription eine der Hauptüberlegungen
für mich, doch zu XEN zu wechseln (neben dem, dass man für XEN fertige
Appliances für LMN bekommt und sich so Arbeit sparen kann).

Dagegen spricht für mich, dass ich mich mit Proxmox jetzt gut auskenne,
und es im Grunde ja ein normales Debian ist.

Viele Grüße
Steffen

Unter 4.x kommt auch nur der Nag-Screen, wenn man’s nicht kauft. Wir haben kürzlich eine Subscription gekauft. Das hatten wir schon länger vor, aber es ist immer dabei geblieben. Bei dem Preis (~5€ pro Monat und pro Socket) kann man wirklich nichts sagen. Natürlich geht auch mehr, wenn man prof. Support mit einkaufen möchte…

möchte das nahezu 1:1 bestätigen was Michael schon sagt,
auch ich nötige meine Kunden mindestens das MiniSubscription Paket zu kaufen und nutze trotzdem die „noSubscription“ Repositories. Nach dem Motto: Die Proxmox Leute leben auch nicht nur von Luft und Liebe…
Es gibt auch kleine Hacks zum deaktivieren des „Nag-Screen“ (hab ich nicht auf’em Schirm)

Das würde ich noch mal genau betrachten…
OnBoard steckt bei Supermicro Serverboards oft genau so ein LSI HW R.Controller drin!
Bei uns ist das der Fall. Den gibt’s mit gleichen tech. Daten als PCIe Controller. Nix „fake Raid“, nix halbgares sondern well done. [quote=„crazy-to-bike, post:25, topic:105“]
Wie sieht das performancemäßig aus, angenommen die Single-CPU hat gleichviel Kerne und vergleichbare Taktfrequenz und Cache?
[/quote]
Kommt drauf an. Wenn genug RAM und Speicher Riegel pro CPU dann sind zwei CPUs sicher besser als eine. Wir habe auch zwei „langsame“ 1,9 GHz CPUs. Das ist ja wieder so eine Singelthread und Multisthread Theoriedingens. Vergleichbar zu den Netzwerkinterfaces tendiere ich bei einem zentralen Proxmox Server zu mehr Kernen und besser zwei CPUs als eine usw.
Setzte aus Kosten- und Bedarfgründen jedoch auch (fast) immer auf Single-CPU.
Lass die Finger von XEN. Es wäre schön wenn es hier eine Tendenz zu EINER Lösung gäbe, dann kann man auch Erfahrung tauschen…

ECHT? und keine für KVM / Proxmox? Das wäre sehr schade.
Gibt es überhaupt noch Linux Business Server Distributionen die XEN bevorzugt (vor KVM) einsetzten? Mir geht es jetzt nicht um subjektive schlechter/besser Diskussionen, sondern wie mache ich mir meine Arbeit einfach, stabil und unkompliziert.

Hallo Gerd,

Es steckt trotzdem ein extra LSIRAID-Controller drin.

Das würde ich noch mal genau betrachten…
OnBoard steckt bei Supermicro Serverboards oft genau so ein LSI HW
R.Controller drin!
Bei uns ist das der Fall. Den gibt’s mit gleichen tech. Daten als PCIe
Controller. Nix „fake Raid“, nix halbgares sondern well done.

Hm, das weiß ich nicht, ob das Onboard-RAID bei Supermicro wirklich was
taugt. Aber: Es ist definitiv eine HW-RAID-Controller-Karte verbaut.
Habe ich damals so gekauft (und natürlich überprüft, ob sie da ist :smiley: )

Vergleichbar zu den Netzwerkinterfaces tendiere ich bei
einem zentralen Proxmox Server zu mehr Kernen und besser zwei CPUs als
eine usw.

Ja, dachte ich beim letzten Server auch und würde hier ungern
Rückschritte machen, auch wenn sicher die aktuellen 10 und mehr Kerner
eine andere Liga sind als die Single-CPU, die es seinerzeit gab.

Lass die Finger von XEN.

Jetzt hast du dich hier bei einigen Leuten unbeliebt gemacht :wink:

Es wäre schön wenn es hier eine Tendenz zu
EINER Lösung gäbe, dann kann man auch Erfahrung tauschen…

Genau das ist doch eben XEN. Das wurde vor längerem schon so von den
Entwickern als empfohlener „Standardweg“ festgelegt, siehe

https://www.linuxmuster.net/de/ueber/faq/#collapse_601_4

Nur deshalb überlege ich, ob der Wechsel auf XEN nicht aus
Synergieeffekten (fertige Appliances) doch sinnvoll wäre, auch wenn ich
sehr an Proxmox hänge.

Wenn du schreibst, lass die Finger von XEN, dann muss das ja
Hintergründe haben. Warum würdest du davon abraten?

ECHT? und keine für KVM / Proxmox? Das wäre sehr schade.

Ja, siehe oben.

Dass Appliances für nur einen Hypervisor angeboten werden, ist
nachvollziehbar und nur folgerichteg, wenn man weiß: Es fehlt einfach
die Manpower.

Da müsste sich also jemand finden, der das Portieren auf andere
Hypervisoren übernimmt.

Ich weiß aber nicht, ob mit der o.g. Entscheidung eine Mehrzahl derer
mit KVM zu XEN wechseln werden, oder ob es möglich und mit welchem
Aufwand es verbunden ist, eine XEN-Appliance auf KVM zu portieren.

Gibt es überhaupt noch Linux Business Server Distributionen die XEN
bevorzugt (vor KVM) einsetzten? Mir geht es jetzt nicht um subjektive
schlechter/besser Diskussionen, sondern wie mache ich mir meine Arbeit
einfach, stabil und unkompliziert.

Tja, ich kenne mich da zu wenig mit allen Hypervisoren (ist das die
Mehrzahl?!?) aus.
Was die Hintergründe sind, warum gerade XEN, dazu muss jemand anderes
was sagen.

Viele Grüße
Steffen

Hallo Gerd,

Beim Einrichten der VM habe ich dann /home und /srv auf einer separaten
virtuellen HDD und die lasse ich dann bei den vzdumps weg … So kann
ich zB die System-HDD pver qmrestore wiederherstellen und die Daten aus
dem Backup und viel viel wichtiger!: ich habe ein zuverlässiges Datenbackup

da muss ich jetzt nochmal nachhaken.
Wenn ab Proxmox 4.x die VMs in diesen Thin-LVM liegen, dann kann das mit
dem Backup der virtuellen HDs mit einem „externen“ Backupwerkzeug (also
nicht vzdump) aber doch gar nicht mehr funktionieren…

Und nochmal ne Frage zu ZFS-Raid:
Gibt es da eine gute Anleitung / Übersicht mit den wichtigsten Befehlen wie

  • Status prüfen
  • HD aus dem RAID entfernen
  • neue HD dem RAID hinzufügen
  • Hotspare definieren

Als ich früher schon mal ein Software-RAID unter LMN 4.x (also unter
Debian) hatte, war das mit mdraid. Das kam man mit ein paar wenigen
Befehlen ganz gut über die Runden, um das RAID zu managen (z.B. bei
HD-Defekt).

Außerdem wurde man per E-Mail über den Zustand des RAIDs informiert bzw.
v.a. bei Ausfall einer HD.
Ich nehme an, das ist bei ZFS-RAID auch so?

Viele Grüße
Steffen

es geht beides.
Wie schon dargestellt, greift mein Backup die Daten der VM direkt ab über dessen Freigaben und nicht über Proxmox. Bei diesem Backup macht es keinen Unterschied ob es eine VM oder „bare metal“ ist.
Du kannst aber, wenn du das meinst, auch vzdumps in ein mount point legen und den per backup abgreifen. Da gibt es unendliche Möglichkeiten, zB kannst du doch auch gleich dein NAS lokal mounten und die dumps dahin sichern usw usw.

ubuntu wiki
Proxmox I
Proxmox II
Proxmox III

PS: kann es sein dass du LVM-thin und ZFS in einen Topf wirfst?
Es ist von ZFS unabhängig und kommt nie gleichzeitig auf dem selben device vor
proxmox IV

Grüße,
gerd

ein howto im pdf-format gibts auch noch hier, wenn man sich registriert hat:
[https://forum.proxmox.com/threads/howto-zfs-anleitung.28612/]

vg
wolfgang

Hallo Gerd,

ich habe momentan ein Hardware-Raid mit 5 Platten, die RAID-5 machen, eine hotspare und eine Systemplatte. Also 7 Anschlüsse.

Wie macht man das ganz praktisch mit SATA, wenn man kein HW-Raid hat?

  1. Anschlüsse auf dem Mainboard oder SATA-PCIe-Karten?
  2. Wie macht man das üblicherweise im frontend: gibt es z.b. für 8 HDDs Platz und jede Platte wird mit eigenem SATA-Kabel verbunden, oder gibt es da eine backboneplatte dazwischen?
    (wie gesagt: wenn man kein HW-Raid möchte)

VG, Tobias

Ja, das ist eine gute Frage und ist je nach Hardware ein begrenzender Faktor.
Mein letztes System war ein Skylake Fujitsu D3417-B MB mit 6x SATA III 6GBit und 1x NVMe Anschlüssen in einem Antec GX1000 Gehäuse (Super Teil!), das hat mir gerade gereicht. Angeschlossen direkt am MB mit SATA Kabel und ohne hotplug und ohne backplane usw.
Von zB Supermicro gibt es Boards mit bis zu 10x SATA III onboard
Also setzte ich für diese kleinen bis mittleren Server keine zusätzlichen Steckkarten für die HDDs ein.
Mein Festplattentip sind die HGST Ultrastar 7K6000 mit 4kn Sektoren für das ZFS Raid, von dem dann aber noch nicht ohne weiteres gebootet werden kann.
Das macht bei mir ein separates mini Raid 1 auf zB SSDs oder eine NVMe SSD.

in folgendem Post steht wie man dann zB ein zfs Raid 10 einrichten kann:
zfs Raid 10
und etwas weier unten, das dürfte Steffen interessieren, steht, wie man einen „normal“ erreichbaren mount point zB für vzdump backups erstellt, unter
„Then I create a new dataset for configuring a directory storage“
im post Nr. 25

Grüße,
Gerd

Hallo Gerd,

Mein Festplattentip sind die HGST Ultrastar 7K6000 mit 4kn Sektoren für
das ZFS Raid, von dem dann aber noch nicht ohne weiteres gebootet werden
kann.

Von einem ZFS-RAID oder was genau meinst du?

Das macht bei mir ein separates mini Raid 1 auf zB SSDs oder eine NVMe SSD.

Was ist das dann für ein RAID, wenn kein ZFS und man kein
HW-RAID-Controller hat (der wäre bei einem SW-RAID ja rausgeschmissenes
Geld)

in folgendem Post steht wie man dann zB ein zfs Raid 10 einrichten kann:
zfs Raid 10

Nachdem man was für ein RAID für das System schon eingerichtet hat (s.
Frage oben)?

Viele Grüße
Steffen

Einfache Antwort für alle Fragen:
von 4K Sektor-Festplatten kann Linux nur im (U)EFI Mode booten,
Und Proxmox kann unterm ZFS Dateisystem, egal welches Raid wiederum noch nicht per (U)EFI booten.
Ergo: booten mit Proxmox UND ZFS nur mit NICHT 4k-Sektoren-Festplatten EGAL welches (ZFS) RAID.
Im Zweifel einfach drauf achten dass es Festplatten sind, die KEINE 4kn Sektoren haben, dann kannst du mit jedem ZFS mit oder ohen Raid einfach booten,
siehe Post 14 und folgnede

Hallo,

nach langem abwägen denke ich, dass ich wahrscheinlich doch einen
HW-RAID-Controller verbauen lassen werde. Das hat mehrere Gründe.

Aber ZFS als Filesystem kann man ja trotzdem verwenden, und wenn man
keine HDs mit 4k Sektoren hat auch davon booten, oder sehe ich da jetzt
was falsch?

Viele Grüße
Steffen