Hallo Gerd,
bei mir steht auch die Anschaffung eines neuen Servers an. Zum einen,
kann man nach 5-6 Jahren mal an einen neuen Server denken
(Ausfallwahrscheinlichkeit steigt ja bekanntlich 
), andererseits
will ich das Hypervisor-Update von Proxmox 3.x auf 4.x nicht auf dem
Produktivserver machen.
Ich hab das Update von 2.x auf 3.x zwar auf dem Produktivserver gemacht,
aber wohl war mir dabei nicht, und inzwischen hab ich auch weniger Zeit
als damals. Außerdem läuft inzwischen so viel da drauf (E-Mail, Cloud
mit allen schulischen Kalendern), dass ein längerer Ausfall inzwischen
deutlich dramatischer wäre als damals.
Zum Raid:
Wenn man mit Proxmox arbeitet und Software Raid möchte, dann geht zZ
kein Weg an ZFS vorbei. Das hat nur Vorteile, sogar welche gegenüber
Hardware Raid. Dann darf das System natürlich auch kein Hardware Raid
Controller haben. Da ich schon „nur“ mit SATA Festplatten arbeite,
verwende ich hier in der Tat die schnellste Raid Version und das ist
Raid 10.
Derzeit habe wir einen Server mit HW Raid, ein einziges Raid 5 für
Proxmox und VMs.
Das läuft von 2 Plattendefekten in den 5 Jahren sehr stabil und auch mit
der Performance bin ich nicht unzufrieden.
Gegenüber einem HW Raid ist der Vorteil eines SW Raid klar:
- Es kann kein Controller abrauchen, in dessen Folge man mit dem Raid
nichts mehr anfangen kann. - Es ist günstiger, weil man weder HW-Controller noch BBU braucht.
Du schreibst aber, Software Raid mit ZFS hat nur Vorteile. Welche sind
das denn sonst noch?
Allgemeine Frage zum aktuellen Proxmox:
Bislang ist es ja so, dass es Containerdateien für die virtuellen HDs
gibt, die auf Proxmox eine feste Größe haben.
Ist das nach wie vor so?
Macht man Backups der VMs (als nicht die irgendwann hinzugekommene
Snapshotfunktion, sondern das Wegsichern der kompletten VM), dann wächst
das Backup immer weiter, weil gelöschte Bereiche im Dateisystem der VM
ja nicht automatisch genullt und daher als belegt mitgesichert werden.
Ich stelle es mir daher eigentlich als viel sinnvoller vor, dass die VM
nicht in einen Containerdatei, sondern in ein bestimmtes Verzeichnis
direkt ins Dateisystem des Hypervisors (auf eine separat eingehängte
Partition) installiert wird.
Zum einen könnte man auch bei nicht laufender VM direkt vom Hypervisor
auf das Dateisystem der VM zugreifen, zum anderen würde wieder
freigegebener, aber nicht genullter Speicherplatz nicht in Backup genommen.
Das Einzige, was ich mir da als schwieriger zu lösen vorstelle ist, dass
man ja für die VM auch ein Grub zum Booten braucht. Insofern müsste jede
VM eine eigene Partition in einem LVM oder so bekommen.
Gibt es so was inzwischen?
Heir habe ich kein Raid, was sicher ungünstig ist, deswegen habe
ich, um die Schreiblast auf der SSD gering zu halten, das Swapfile
umgebogen auf die Festplatten zur Ausfallsicherheit klone ich die SSD
unregelmäßig, was an der Stelle also keine absolute Ausfallsicherheit
bedeutet.
Hm, Holger schrieb vor kurzem im Thread
dass der Hypervisor sowieso im RAM läuft und daher SSD oder sogar
USB-Stick von der Haltbarkeit kein Problem sind. Und meinem Verständnis
nach sollte der Hypervisor ja definitiv nicht swapen, sonst hat er zu
wenig RAM?!?
Noch was anderes:
Der neue Server soll auf jeden Fall 10GBit für grün bekommen. Sonst
bräuchte man ja mindestens 8 oder mehr GBit-Karten für alle Netze, um
einen Trunk (heißt das jetzt so?!?) aus mehreren Leitungen für grün zu
machen. Und nur 1 GBit soll es nicht mehr sein.
Da stellt sich die Frage:
10Gbit per normaler RJ45 (Kupfer-)Port-Karte und Kupferkabel
Oder per SFP+ Karte und SFP+ SR Modulen (was teurer ist)
Angeblich ist 10GBit per Kupfer schon bei geringen Strecken (hier geht
es um ein 3 m Kabel) und bei engen Biegungen extrem fehleranfällig.
Wenn man lauter Übertragungsfehler im Kabel hat, sinkt die Übertragung
ja auch wieder deutlich und man kann sich 10Gbit schenken.
Wie siehst du / sehen das andere hier? Wer hat Erfahrungen?
PS: Falls das bei Thomas Krenn noch nicht passt: bei Bedarf biete ich
sehr gerne einen maßgeschneiderten Server an, mit 3 Jahre Garantie, zfs
raid 10 usw. usw. da können wir auch gerne telefonieren…
Ich wusste gar nicht, dass wir hier eine Eigenwerbungs-Plattform
haben… 
(ich hoffe, du verstehst das mit dem dahinter richtig )
Im Ernst, ich würde mir auch gerne mal ein Angebot von dir machen
lassen, um es mit anderen zu vergleichen.
Viele Grüße
Steffen