hallo zusammen,
hat jemand von den proxmoxern schon erfahrungen mit zfs gesammelt? es soll ja damit auch möglich sein, software-raids zu erstellen.
mich würde v.a. interessieren, wie stabil das läuft im vgl. zu lvm und mdadm.
lg
wolfgang
Hallo Wolfgang,
ja habe ich. Ich nutze das produktiv an mehreren Standorten, z. B. in einer größeren Artzpraxis.
ZFS gilt als sehr ausgereift daher haben die Proxmox Leute damals und bisher ZFS den Vorzug vor BTRFS gegeben, weil zu der Zeit noch bei BTRFS noch nicht alle Raid Funktionionen als stabil galten.
Es gibt einige klare Argumente einem ZFS Software Raid den Vorzug vor Hardware Raid zu geben, z. B. dass ZFS als Dateisystem sich bis auf Dateiebene um konsistente Daten kümmert und sogar Bitfehler selbst korrigiert. Sowas kann ein Raid Controller nicht. Zum einsatz und den Befeheln von ZFS gibt es zahlreiche Infos im Netz, in deutsch zB im Ubuntu Wiki.
Hier zB ein Einzeiler zum Erzeugen eines Raid 10 Pools aus 4 Festplatten aus dem Proxmox Forum von mir:
zpool create -n -O compression=on -o ashift=12 -f r10pool mirror /dev/disk/by-id/ata-HGST_HUS726020ALN610_00 /dev/disk/by-id/ata-HGST_HUS726020ALN610_01 mirror /dev/disk/by-id/ata-HGST_HUS726020ALN610_02 /dev/disk/by-id/ata-HGST_HUS726020ALN610_03
Ganz wichtig ist, sich VOR dem Einsatz sich Stichworte wie “swappiness” “options zfs zfs_arc_max=” und vielleicht “arcstat.py” anzuschauen, evtl. noch die Möglichkeiten von CopyOnWrite. UND noch wichtiger: ZFS benötigt viel Arbeitsspeicher. Ein Server unter 16GB RAM halte ich für ungeeignet für ZFS, wenn noch virtualisiert werden soll. Ich plane für das Serversystem selbst (Debian/Proxmox) ohne ZFS 2 bis 4 GB RAM ein, mit ZFS zwischen 6 und 16 GB, PLUS den Speicher für die VMs, so dass ich meistens gleich mit insgesamt 64 GB RAM los lege. ZFS setzt man wegen der Stabilität, der Sicherheit und den ZFS Features ein, ZFS per se ist gilt als nicht sehr performant, im Vergleich zu ext4 oder XFS. Baut man aber -wie oben erwähnt- ein schnelles Raid10 und hat genug RAM, dann sieht die Welt schon wieder anders aus, und wenn man wirklich unbedingt Dampf braucht, dann gibt’s die Option mit kleinen Enterprise SSD als Cachespeicher.
Wenn du einen Bauvorschlag für ein kompatibles System benötigtst…frag 
Wenn du ein fertigen Proxmox kompatiblen Server benötigst, geh zu Thomas Krenn
Grüße,
gerd
hallo gerd,
ich bin ein bisschen spät dran, aber danke für deine rückmeldung.
bei uns soll ein neues system kommen. es ist noch nicht klar, ob es ein dienstleister installiert oder ich.
da gibt es demnächst ein paar gespräche…
falls ich es mache, wird der host wohl proxmox (vms einfach vom alten proxmoxserver zum neuen) werden und da liebäugle ich eben mit zfs.
allein, das was du über den ramverbrauch schreibst, macht mich noch etwas nachdenklich.
wieviel ram veranschlagst du denn für die integrierten vms?
mit ipf,server,coova,opsi,cloud kommen da ja schon mehrere maschinen zusammen. die master-clients rechne ich jetzt mal nicht. aber ich denke da können im laufe der zeit noch andere vms dazu kommen. …
apropos raid: da dachte ich bisher an ein zfs-raid 1 fürs system und zfs-raid 5 mit 3 platten für die maschinen. (hatte ich bisher so mit normalem softraid)
zfsraid weil das im gegensatz zum „normalen“ softwareraid von proxmox unterstützt wird und recht einfach zu konfigurieren ist.
du verwendest ein raid10. der trend geht ja scheinbar weg von raid5 zu raid10. vermutlich wegen der verminderten schreibperformanz.
rätst du von einem raid5 ab?
Wenn du einen Bauvorschlag für ein kompatibles System benötigtst…frag
ich frage 
Wenn du ein fertigen Proxmox kompatiblen Server benötigst, geh zu Thomas Krenn
da hab ich schon ein bisschen gewühlt und wühle weiter, wenn es konkreter wird
vg
wolfgang
Hallo Wolfgang,
das mit dem RAM ist einfach zu beantworten, ich gebe den virtuellen Maschinen so viel RAM wie einer nicht virtualisierten (wir sprechen von KVM Virtualisierung), was bedeutet, dass einem Standard Linux Server 2 bis 4 GB RAM ausreichen, das hängt jetzt aber wieder von den speziellen Aufgaben und vor allem der Anzahl der Benutzer ab, die darauf gleichzeitig zugreifen.
Zum Raid:
Wenn man mit Proxmox arbeitet und Software Raid möchte, dann geht zZ kein Weg an ZFS vorbei. Das hat nur Vorteile, sogar welche gegenüber Hardware Raid. Dann darf das System natürlich auch kein Hardware Raid Controller haben. Da ich schon “nur” mit SATA Festplatten arbeite, verwende ich hier in der Tat die schnellste Raid Version und das ist Raid 10.
Die Hardware meines zuletzt zusammengebauten Proxmox Servers:
Fujitsu D3417-B, Skylake Mainboard , XEON E3-1245V5, Samsung 4x16GB DDR4-2133 ECC RAM (M391A2K43BB1-CPB), 4x 2TB HGST 7K6000 4Kn SATA und eine SSD direkt auf dem Mainbord
M.2 2280 NVMe 1.2 PCIe Gen3x4 SSD 128GB ADATA, XPG SX8000
Das Fujitsu MB war man ein Server Bauvorschlag in der c’t und ich weis, dass Fujitsu MBs einfach gut sind. die HGST 7K6000 4Kn sind zZ sicher unter den schnellsten SATA Festplatten überhaupt plus 64GB Samsung ECC Serverspeicher und einer SSD für das Proxmox System.
Dabei zu beachten: 1, Das Mainboard hat leider kein VGA Ausgang, 2, es hat nur 1x RJ45, 3, von Festplatten mit nativen 4096 Byte Sektoren = 4Kn kann Linux nur im UEFI Mode booten, das wiederum kann Proxmox noch gar nicht, daher zwingend ein zusätzliches Boot Medium nötig, bei mir die SSD. Hier habe ich kein Raid, was sicher ungünstig ist, deswegen habe ich, um die Schreiblast auf der SSD gering zu halten, das Swapfile umgebogen, auf die Festplatten. Zur Ausfallsicherheit klone ich die SSD unregelmäßig, was an der Stelle also keine absolute Ausfallsicherheit bedeutet.
Dieser Server läuft aber nicht in einer Schule sondern in einem Betrieb. Bei der Schule benötigte man noch eine mindestens vierfach Server PCIe Netzwerkkarte. Ich würde das grüne Netz immer mindestens per einfachem Trunk (LACP) an das Schulnetz anschließen. Einfach LAN ist bei genügend Schüler immer ein Flaschenhals.
PS: Falls das bei Thomas Krenn noch nicht passt: bei Bedarf biete ich sehr gerne einen maßgeschneiderten Server an, mit 3 Jahre Garantie, zfs raid 10 usw. usw. da können wir auch gerne telefonieren…
PS-II: Alternativ nennst du mir die mittelfristige Zahl an VMs die auf dem System konsolidiert werden sollen und die Zahl gleichzeitiger Zugriffe / Größe der Schule, dann mache ich Dir ein passenden Bauvorschlag.
Hallo Gerd,
bei mir steht auch die Anschaffung eines neuen Servers an. Zum einen,
kann man nach 5-6 Jahren mal an einen neuen Server denken
(Ausfallwahrscheinlichkeit steigt ja bekanntlich ), andererseits
will ich das Hypervisor-Update von Proxmox 3.x auf 4.x nicht auf dem
Produktivserver machen.
Ich hab das Update von 2.x auf 3.x zwar auf dem Produktivserver gemacht,
aber wohl war mir dabei nicht, und inzwischen hab ich auch weniger Zeit
als damals. Außerdem läuft inzwischen so viel da drauf (E-Mail, Cloud
mit allen schulischen Kalendern), dass ein längerer Ausfall inzwischen
deutlich dramatischer wäre als damals.
Zum Raid:
Wenn man mit Proxmox arbeitet und Software Raid möchte, dann geht zZ
kein Weg an ZFS vorbei. Das hat nur Vorteile, sogar welche gegenüber
Hardware Raid. Dann darf das System natürlich auch kein Hardware Raid
Controller haben. Da ich schon „nur“ mit SATA Festplatten arbeite,
verwende ich hier in der Tat die schnellste Raid Version und das ist
Raid 10.
Derzeit habe wir einen Server mit HW Raid, ein einziges Raid 5 für
Proxmox und VMs.
Das läuft von 2 Plattendefekten in den 5 Jahren sehr stabil und auch mit
der Performance bin ich nicht unzufrieden.
Gegenüber einem HW Raid ist der Vorteil eines SW Raid klar:
- Es kann kein Controller abrauchen, in dessen Folge man mit dem Raid
nichts mehr anfangen kann. - Es ist günstiger, weil man weder HW-Controller noch BBU braucht.
Du schreibst aber, Software Raid mit ZFS hat nur Vorteile. Welche sind
das denn sonst noch?
Allgemeine Frage zum aktuellen Proxmox:
Bislang ist es ja so, dass es Containerdateien für die virtuellen HDs
gibt, die auf Proxmox eine feste Größe haben.
Ist das nach wie vor so?
Macht man Backups der VMs (als nicht die irgendwann hinzugekommene
Snapshotfunktion, sondern das Wegsichern der kompletten VM), dann wächst
das Backup immer weiter, weil gelöschte Bereiche im Dateisystem der VM
ja nicht automatisch genullt und daher als belegt mitgesichert werden.
Ich stelle es mir daher eigentlich als viel sinnvoller vor, dass die VM
nicht in einen Containerdatei, sondern in ein bestimmtes Verzeichnis
direkt ins Dateisystem des Hypervisors (auf eine separat eingehängte
Partition) installiert wird.
Zum einen könnte man auch bei nicht laufender VM direkt vom Hypervisor
auf das Dateisystem der VM zugreifen, zum anderen würde wieder
freigegebener, aber nicht genullter Speicherplatz nicht in Backup genommen.
Das Einzige, was ich mir da als schwieriger zu lösen vorstelle ist, dass
man ja für die VM auch ein Grub zum Booten braucht. Insofern müsste jede
VM eine eigene Partition in einem LVM oder so bekommen.
Gibt es so was inzwischen?
Heir habe ich kein Raid, was sicher ungünstig ist, deswegen habe
ich, um die Schreiblast auf der SSD gering zu halten, das Swapfile
umgebogen auf die Festplatten zur Ausfallsicherheit klone ich die SSD
unregelmäßig, was an der Stelle also keine absolute Ausfallsicherheit
bedeutet.
Hm, Holger schrieb vor kurzem im Thread
dass der Hypervisor sowieso im RAM läuft und daher SSD oder sogar
USB-Stick von der Haltbarkeit kein Problem sind. Und meinem Verständnis
nach sollte der Hypervisor ja definitiv nicht swapen, sonst hat er zu
wenig RAM?!?
Noch was anderes:
Der neue Server soll auf jeden Fall 10GBit für grün bekommen. Sonst
bräuchte man ja mindestens 8 oder mehr GBit-Karten für alle Netze, um
einen Trunk (heißt das jetzt so?!?) aus mehreren Leitungen für grün zu
machen. Und nur 1 GBit soll es nicht mehr sein.
Da stellt sich die Frage:
10Gbit per normaler RJ45 (Kupfer-)Port-Karte und Kupferkabel
Oder per SFP+ Karte und SFP+ SR Modulen (was teurer ist)
Angeblich ist 10GBit per Kupfer schon bei geringen Strecken (hier geht
es um ein 3 m Kabel) und bei engen Biegungen extrem fehleranfällig.
Wenn man lauter Übertragungsfehler im Kabel hat, sinkt die Übertragung
ja auch wieder deutlich und man kann sich 10Gbit schenken.
Wie siehst du / sehen das andere hier? Wer hat Erfahrungen?
PS: Falls das bei Thomas Krenn noch nicht passt: bei Bedarf biete ich
sehr gerne einen maßgeschneiderten Server an, mit 3 Jahre Garantie, zfs
raid 10 usw. usw. da können wir auch gerne telefonieren…
Ich wusste gar nicht, dass wir hier eine Eigenwerbungs-Plattform
haben… 
(ich hoffe, du verstehst das mit dem dahinter richtig )
Im Ernst, ich würde mir auch gerne mal ein Angebot von dir machen
lassen, um es mit anderen zu vergleichen.
Viele Grüße
Steffen
Proxmox macht seit Version 4.2 eine Sache grundlegend anders: das Storage liegt bei Neuinstallationen per default in thin-LVMs…
https://pve.proxmox.com/wiki/Storage:_LVM_Thin
Das lässt sich nicht mehr so mounten wie vorher!! Darüber bin ich bei der Umstellung von 3.x nach 4.x anfangs gestolpert…
Hallo Michael,
Proxmox macht seit Version 4.2 eine Sache grundlegend anders: das
Storage liegt bei Neuinstallationen per default in thin-LVMs…
Gibt es da eine Wahlmöglichkeit, wenn du per default schreibst?
Und wenn ja: Was ist denn besser? Wie bisher oder die thin-LVMs?
Storage: LVM Thin - Proxmox VE
Das lässt sich nicht mehr so mounten wie vorher!! Darüber bin ich bei
der Umstellung von 3.x nach 4.x anfangs gestolpert…
Was meinst du mit das lässt sich nicht mehr so mounten wie vorher?
Viele Grüße
Steffen
Hallo Steffen,
Zur Frage mit dem
zfs Vorteil beim Raid:
Die beiden Sachen:
Ein Bauteil weniger, das Ausfallen kann, inkl. BBU und dessen Kosten, hast
du schon genannt. Dem gegenüber steht allerdings der Mehrpreis für
RAM, den ZFS zwingend hat und zwar für 8 bis 16 GB Server ECC RAM, ob
die Software ZFS ausfallen kann…
Aber der
entscheidende Vorteil ist die Datenkosistenz, denn nur die Kombi
Dateisystem/Raid im ZFS vereit guckt bis auf Datei-Bitebene auf die
Daten und sorgt über Prüfsummen grundsätzlich für 100%
konsistente Daten im Raidverbund. Ein verify oder rebuild in einem 4
bis 8 TB HW-Raid kann ganz schön dauern, das läuft bei ZFS von
Sekunden bis eige Minuten ab. Dann noch der mächtige Punkt COW
copy-on-write, mit dem du, wie du weiter unten überlegst, Plaz- und
Zeitsparende Snapshots erstellen kannst.
Zur Frage der Containerdateien
kurz: nein
lang, ich weiß nicht was genau du mit Containerdateien meinst. Proxmox unterstütz
Containervirtualisierung, welche ich bisher NICHT verwende - und KVM
(=voll-virtualisierung) von welcher ich grundsätzlich spreche.
Aber fest vorgegebene Datei- bzw. Containergrößen sind mir nirgends bekannt.
Zur Backup, LVM usw. Frage:
Ich halte grundsätzlich wenig von „Umbiege“- oder „Fummel-“ Lösungen
und bleibe nach Möglichkeit bei dem, was die Entwickler vorschlagen,
bzw. „Best practice“. Je mehr ich an verschiedenen Stellen an unterschiedlichen Servern
individuell anpasse, desto komplizierte wird das und desto größer wird der Dokumentationsaufwand, immer gepaart mit erhötem risiko, dass irgendwann was nicht mehr zusammenpasst.
Wobei sich „Best practice“ im Verlaufe der Zeit durchaus sehr ändern kann.
Backups löse ich bei fast allen Proxmox Umgebungen - so auch in der Schule -
folgendermaßen:
Ich sicherer auf eine entweder zusätzlich eingebaute Festplatte unregelmäßig bzw.
vor größeren Änderungen per eingebautem Befehl vzdump das komplette System der VM (=virtuellen KVM Maschine) oder zumindest dessen virtuellen Systempartition, teilweise automatisiere ich das
per Proxmox Webgui (kein scripting kein umbiegen usw.), zB ein mal wöchentlich. ZUSATZLICH läuft – manchmal direkt auf Proxmox installiert – ein hervorragendes, einfaches und super zuverlässiges Linux Backup-System. Und zwar jede Nacht als Datenbackup. Als Speicherziel kann hier problemlos die selbe zusätzliche HDD dienen.
Noch ein kurzen Satz zum LVM,
für alle die jetzt planen das erste mal ein Proxmox 4.x aufzusetzten sollten ZUVOR mal ein Blick auf LVM-thin werfen, sonst gibt‘s Überraschungen
Auch das würde ich bei Verwendung von LVM so belassen, wie es die Entwickler vorgesehen haben, es gibt nämlich auch dazu wieder Anleitung zum “Zurückschalten”. Die Proxmox Leute haben sich was beim Verwenden von LVM-thin gedacht
Ich habe aber entweder ZFS ODER LVM-thin plus zB ext4, zB auf 'nem HW RaidController
Zur Frage mit der SSD
Vielleicht verwechselst du beim Begriff „Hypervisor“ Proxmox mit ESXi von VMWare?
Proxmox ist ein Debian Jessie mit u.a. KVM Virtualisierung und wunderbaren zusätzlichen Werkzeugen. Und alles was für Debian Jessie und SSD gilt, gilt auch für Proxmox und SSD und da gibt‘s durchaus ein paar Sachen zu beachten.
Zum Swapping:
da musste ich auch erst vor kurzem dazulernen. Dummerweise wird oft
schon geswappt (oder wie man das im deutschen schreibt) obwohl vom
RAM her noch lange nicht nötig, genau deswegen kann man das
Verhalten einstellen, Stichwort „swappiness“. Bezüglich SSD habe
ich das auf selbiger ausgeschaltet und umgelegt (hier also doch eine
Umbiegelösung)
Ich teile die Meinung von Holger, dass SSD eine große Lebensdauer haben. Siehe
vorletzten Langzeittest in der c‘t, halten die Teile viel länger als gedacht.
Ich achte vor und beim Kauf immer auf Qualitätsware (wie bei allen Teilen für ein Server)
Die kleinsten (Intel) Server SSDs reichen aus, wenn nur das System drauf soll, dann kosten die deutlich unter 100 Euro. Oder ich nehme zwei größere im zusätzlichen Raid 1 und packe zB zusätzlich neben Proxmox, eine virtuelle Systempartition meines wichtigsten virtuellen Serversystems mit drauf, erst dann lohnt der Einsatz von SSD so richtig.
Zum 10GBit LAN
langsam wird der Rahmen eines Threads etwas gesprengt
Ich weiß nicht, ob 10GBit mehrere 1 GBit Anschlüsse in jedem Szenario gut ersetzen kann, auch bezüglich der Preis-Leistungs-Frage. Zur Zeit setzte ich noch auf mehrere 1GBit im Trunk oder LACP oder Bond Mode4 oder wie du das nennst. In unserer größeren Schule fahren wir sogar einen vierfach Trunk. Ob hier in jedem Fall eine 10GBit Anbindung schneller ist, würde mich interessieren, ich schätze nämlich nicht. Wenn ich nur 20-30 PCs habe, ist natürlich beides überflüssig. In Zukunft
könnte ich mir in größeren Umgebungen ein Interface pro VLAN vorstellen (?). Je nachdem, habe ich pro Klassenraum ein VLAN, ist das natürlich Unsinn, also doch wieder ein Trunk.
Das mit der Eigenwerbung muss ich für mich noch klären. Für mich gehts hier um
die gegenseitige Hilfe -siehe hier -
Ich denke mir aber: „warum soll ich verheimlichen, dass ich ‚ ne Firma habe, die auch
Leistungen verkauft Wenn das jemand stört, dann lasse ich das.
PS: fährt du
tubless oder mit Schlauch?
Grüße,
gerd
Bei mir stehen die nächsten Wochen zwei neue Installationen an,
eine größere Umgebung und eine kleinere. Plane dabei aber bereits mit der zukünftigen Version 7 anzufangen. Dann sammle ich noch bisschen Erfahrung usw. Wenn dann Interesse besteht, kann ich mir schon vorstellen, fertig individuell installierte neue Musterlösungs-Sever anzubieten, natürlich könnte das zusätzlich Fernwartung gekoppelt werden.
hallo steffen,
andererseits
will ich das Hypervisor-Update von Proxmox 3.x auf 4.x nicht auf dem
Produktivserver machen.
nimm doch einfach eine zusätzliche hd/ssd fürs system (60GB), installier das neuste proxmox und hol die config-dateien deiner vms aus /etc/pve/irgendwas vom alten system rein und schließ dein raid dran. dann hättest du upgedatet und dein altes system wäre auch noch da.
Bislang ist es ja so, dass es Containerdateien für die virtuellen HDs
gibt, die auf Proxmox eine feste Größe haben.
„wachsende“ images gibt/gab es nur, wenn du ein directory als storage hast. nur dann kannst du qcow2 auswählen. bei lvm geht das nicht. da geht nur raw. das ist aber meine ich auch bei proxmox 3 schon so. auch die snapshotfunktion gibt es nur, wenn die ein qcow2-image hast. keine ahnung, ob qcow-images langsamer sind als raw-images.
hab ich noch nicht ausprobiert, aber es hört sich so an, als ob lvm-thin das auch mitbringen würde.
vg
wolfgang
Hallo Wolfgang,
warum die Migration dann nicht einfach per vzdump images und qmrestore?
Das Problem bei deinem Vorschlag sehe ich in den 5 Worten:
"und schließ dein raid dran"
meinst du ein Raid auf zwei Linuxen multibootmäßig oder wie auch immer, da wäre ich vorsichtig
Bei ZFS und LVM-thin geht die Empfehlung der Proxmox Leute klar zu raw, das sei am performantesten und manche ZFS und LVM-thin eigenen Funktionen laufen nur mit raw Images.
qcow2 ist wohl per se viel flexibler, trotzdem… raw
grüße,
gerd
Hallo Gerd,
Das mit der
Eigenwerbung muss ich für mich noch klären. Für mich gehts hier um
die gegenseitige Hilfe -siehe hierIch denke mir aber:
„warum soll ich verheimlichen, dass ich ‚ ne Firma habe, die auch
Leistungen verkauft
Wenn das jemand
stört, dann lasse ich das.
von meiner Seite aus, darfst du das gerne machen: ich freue mich, wenn
jemand die Lösung bei seiner Arbeit verwendet und den Schulen die
Möglichkeit gibt professionellen Support ein zu kaufen.
Du darfst also auch gerne dazu sagen, dass das dein Beruf ist und dass
du diese Dienstleistungen für Schulen anbietest.
Und wenn du magst, dann nehmen wir dich auch gerne bei unseren
„Händlerliste“ mit auf: dich kennen wir inzwischen so lange, da ist das
kein Problem.
Viele Grüße
Holger
Das weiß ich nicht … ich habe die Installation einfach durchlaufen lassen und habe es erst später festgestellt…
Na ja – vorher war es so, dass man sich das LVM an irgendeinen Mountpoint legen konnte und dann auch via ssh mit „cd /mnt/raid10/“ oder ähnlich darauf zugreifen konnte. Das geht mit dem neuen thin-LVM nicht mehr, da jede VM sozusagen in einer „eigenen LVM-Umgebung“ steckt. Man kann natürlich noch im Webinterface darauf zugreifen aber es klappt (leider!!!) nicht mehr, dass man über ssh und die Konsole auf den Pfad zugreifen kann, wo die Dateien liegen.
Vorteilhaft an dem neuen System soll u.a. sein, dass Snapshots/Backups viel schneller möglich sind, aber ein Nachteil ist, dass der direkte Zugriff nicht mehr so klappt wie zuvor. Zumindest kenne ich bisher keinen Weg, so dass ich das alte LVM wie gehabt eingebunden habe und bisher auf das Storage im thin-LVM-Format verzichte …
Hallo Michael,
Na ja – vorher war es so, dass man sich das LVM an irgendeinen
Mountpoint legen konnte und dann auch via ssh mit „cd /mnt/raid10/“ oder
ähnlich darauf zugreifen konnte. Das geht mit dem neuen thin-LVM nicht
mehr, da jede VM sozusagen in einer „eigenen LVM-Umgebung“ steckt. Man
kann natürlich noch im Webinterface darauf zugreifen aber es klappt
(leider!!!) nicht mehr, dass man über ssh und die Konsole auf den Pfad
zugreifen kann, wo die Dateien liegen.Vorteilhaft an dem neuen System soll u.a. sein, dass Snapshots/Backups
viel schneller möglich sind, aber ein Nachteil ist, dass der direkte
Zugriff nicht mehr so klappt wie zuvor. Zumindest kenne ich bisher
keinen Weg, so dass ich das alte LVM wie gehabt eingebunden habe und
bisher auf das Storage im thin-LVM-Format verzichte …
ich nehme an, dass die da LVM Volumes für die VMs nehmen: wie man die
aufschließt steht im Anwenderwiki unter
kvm 12.04
im UNteren Bereich bei „Backup“
LG
Holger
Du meinst das hier?
BackupLV mit kpartx aufschließen:
kpartx -av /dev/vg_lml/backup-lv-serverKannte ich noch nicht – wird aber auf der Proxmox-Seite auch nirgendwo (?) erwähnt… ich bin noch nicht ganz sicher, ob das wirklch mit thin-LVM klappt …
Hallo Michael,
ich nehme an, dass die da LVM Volumes für die VMs nehmen: wie man dieaufschließt steht im Anwenderwiki unterDu meinst das hier?
|BackupLV mit kpartx aufschließen: kpartx -av /dev/vg_lml/backup-lv-server|
ja.
So mache ich das unter KVM mit den LVMs
VIele Grüße
Holger
Hi,
beim LVM thin werden die (raw) images bzw. virutal disks direkt als block devices eingebunden. Also da wo auch ein reguläres Laufwerk auftuachen würde unter /dev, konkret unter /dev/pve oder /dev/mapper
siehe im Proxmox Forum
Das kann man kopieren oder konvertieren, aber eben nicht mit den Werkzeugen, die für normale Dateien gedacht sind wie “cp” oder so, was geht, ist zB "dd"
Übrigens wenn man in dem Forum statt nach kpartx partx schaut, wird man fündig, wenn ich’s richtig verstanden habe ist partx bei block-devices die bessere Wahl
Bisher konnte man mit vgcfgbackup und -restore LVM Metadaten sichern, gegenwärtig weis ich nur, dass das damit unter LVM-thin nicht mehr Funktioniert:
“vgcfgbackup does not back up thin pool metadata.”
gerd
Hallo Gerd,
Ein verify oder rebuild in einem 4
bis 8 TB HW-Raid kann ganz schön dauern,
yep
das läuft bei ZFS von
Sekunden bis eige Minuten ab.
Wenn eine HD aus dem RAID ausfällt und ich binde eine neue ein, dann
müssen die Daten da doch drauf synchronisiert werden, damit das RAID
wieder vollständig ist. Das kann doch nicht in ein paar Minuten
erfolgen, wenn es sich um hunderte GB handelt?!?
Dann noch der mächtige Punkt COW
copy-on-write, mit dem du, wie du weiter unten überlegst, Plaz- und
Zeitsparende Snapshots erstellen kannst.
Snaphots sollten ja immer schnell gehen, aber wenn ich meine VM mit
virtueller HD mit ein paar hundert GB als richtiges Backup auf’s NAS
sichere (wie ich das bislang jede Nacht machen lasse), dann kann das ja
auch nicht in ein paar Sekunden oder Minuten erfolgen…
Zur Frage der
Containerdateien
kurz: nein
lang, ich weiß
nicht was genau du mit Containerdateien meinst.
die virtuellen HDs. Da liegt ja die gesamte Installation des Gastes in
einer einzelnen Datei.
Proxmox unterstütz
Containervirtualisierung, welche ich bisher NICHT verwende - und KVM
(=voll-virtualisierung) von welcher ich grundsätzlich spreche.
Ja, was ich meine ist schon KVM.
Aber fest
vorgegebene Datei- bzw. Containergrößen sind mir nirgends bekannt.
Wenn ich für eine VM eine HD anlege, wird eine Datei erzeugt, die laut
df -h genau so groß ist, wie Größe, die ich für die HD festgelegt habe,
selbst wenn die virtuelle HD komplett leer ist.
→ nicht dynamisch wachsend wie z.B. bei Virtualbox möglich.
Zur Backup, LVM usw.
Frage:
Ich halte
grundsätzlich wenig von „Umbiege“- oder „Fummel-“ Lösungen
und bleibe nach möglichkeit bei dem, was die Entwickler vorschlagen
bzw. „Best practice“, was sich im Verlaufe der Zeit durchaus sehr
ändern kann.
Klar, wie oben schon geschrieben, sichere ich die VMs jede Nacht per
Proxmox-Backupfunktion (vzdump) auf ein NAS. Das älteste Backup wird
dabei dann immer gelöscht (Anzahl der vorgehaltenen Backups über Proxmox
einstellbar).
ZUSATZLICH läuft – manchmal direkt auf Proxmox
installiert – ein hervorragendes und einfaches und super
zuverlässige Linux Backup-System. Und zwar jede Nacht als
Datenbackup. Als Speicherziel kann hier problemlos die selbe
zusätzliche HDD dienen.
Was wird da gesichert? Proxmox selbst?
Noch ein kurzen Satz
zum LVM, für alle die jetzt planen das erste mal ein Proxmox 4.x
aufzusetzten sollten ZUVOR mal ein Blick auf Thin-LVM schauen, sonst
gibt‘s Überraschungen
Das hat ja Michael schon geschrieben. Man kann wohl über das
Proxmox-Dateisystem nicht mehr einfach zu den VMs „navigieren“.
Oder was meinst du?
Zur Frage mit der
SSD
Vielleicht
verwechselst du beim Begriff „Hypervisor“ Proxmox mit ESXi von
VMWare?
Proxmox ist ein
Debian Jessie mit u.a. KVM Virtualisierung und wunderbaren
zusätzlichen Werkzeugen. Und alles was für Debian Jessie und SSD
gilt, gilt auch für Proxmox und SSD
Das mit Proxmox ist klar. Aber auch ESXi & Co basieren doch auf einem
linuxbasierten „Betriebssystem“, sprich, da wird ja auch irgendwie ein
Kernel gebootet und stellt so ein System zur Verfügung, mit dem man dann
andere Systeme virtualisiert betreiben kann.
Ich weiß, dass das etwas anders ist als bei Proxmox, weil eben nicht ein
Stanardlinux wie Debian gebootet wird, aber dennoch.
und da gibt‘s durchaus ein
paar Sachen zu beachten.
Wie immer wenn man SSDs einsetzt würde ich sagen, oder?
Ich teile die
Meinung von Holger, dass SSD eine große Lebensdauer haben. Siehe
vorletzten Langzeittest in der c‘t, halten die Teile viel länger
als gedacht.
warum hast du dann das Swapping umgebogen?
Zum 10GBit LAN
Ich weiß nicht, ob
10GBit mehrere 1 GBit Anschlüsse ersetzen kann auch bezüglich der
Preis-Leistungs-Frage.
Das mag sein, aber…
Zur Zeit setzte ich noch auf mehrere 1GBit im
Trunk oder LACP oder Bond Mode4 oder wie du das nennst. Das habe wir
in unserer größeren Schule in einem vierfach Trunk gefahren.
… mit 10GBit hab ich halt nicht nur 4 sondern 10GBit Anbindung
Und man spart sich die Konfiguration am Server (Hypervisor) und Switch.
Bislang hab ich gar keine VLANs oder Trunk/LACP/Bond (wie heißt das
jetzt eigentlich richtig?
Wenn
ich nur 20-30 PCs habe ist das natürlich überflüssig.
Klar
In Zukunft
könnte ich mir in größeren Umgebungen ein Interface pro VLAN
vorstellen (?). Je nachdem, habe ich pro Klassenraum ein VLAN, ist
das natürlich Unsinn, also doch wieder ein Trunk.
Oder eben 1 einziges 10GBit Kabel.
Das mit der
Eigenwerbung muss ich für mich noch klären. Für mich gehts hier um
die gegenseitige Hilfe -siehe hierIch denke mir aber:
„warum soll ich verheimlichen, dass ich ‚ ne Firma habe, die auch
Leistungen verkauft
Wenn das jemand
stört, dann lasse ich das.
Du hast mein wohl nicht richtig verstanden.
Es war keine Kritik und ich fühle mich dadurch nicht gestört, sehe es
ehrlich gesagt wie Holger:
Super, dass es hier kompetente Leute gibt, die ihr Wissen teilen und ihr
Geld mit IT-Dienstleistungen verdienen.
Manchmal kann ich mir eine kleine Provokation aber nicht verkneifen.
Sorry, wenn das falsch angekommen ist.
PS: fährt du
tubless oder mit Schlauch?
Latex-Schlauch (kein normaler Butylschlauch)
Tubeless finde ich zu viel Gesiffe, und man muss es alle 6 Monate erneuern.
Viele Grüße
Steffen
Ja, da hast du Recht, das war etwas vereinfacht. Wenn du das diffrenzierter wissen möchtest, hier unter Resilvering
Doch das geht in einer Sekunde wenn du COW mäßig im gleichen LVM Pool bist, da hier mit Hardlinks gearbeitet wird, erst wenn sich was ändert, werden tatsächlich Daten zusätzlich geschrieben. Das ist aber kein Szenario für vollwertige Backups…
Ja, das kann sein. Das ist für mich gar nicht so wichtig. 1: kann ich ja nicht mehr Speicher vergeben als ich habe, anzeigen lasse ich mir das ganze über das Webinterface ober per zfs list (und zpool status), 2: Zum Sichern oder Kopieren oder Migrieren der VMs verwende ich ausschließlich vzdump und das arbeitet sehr effizent zB auf der Konsole:
vzdump --compress lzo --mode stop --dumpdir /var/lib/vz/wdred4TB/dump/ 202
Nein, das ist ein DatenBackupsystem namens BackupPC. Von Proxmox sichere ich nur /etc/ /root und?
Das ist zur Sicherung der Daten der VMs: zB alle Daten unterhalb von /home oder /srv
Beim Einrichten der VM habe ich dann /home und /srv auf einer separaten virtuellen HDD und die lasse ich dann bei den vzdumps weg … So kann ich zB die System-HDD pver qmrestore wiederherstellen und die Daten aus dem Backup und viel viel wichtiger!: ich habe ein zuverlässiges Datenbackup
Ja, hierzu gibts LVM Befehle wie vgs lvs usw.
Da fehlt eben die zusätzliche Dateisystemebene des Hostsystems, die das sonst mit den üblichen Tools „anfassbar“ macht, das ist aber genau der Grund warum es ohne schneller läuft, es hat eine Schicht weniger…
Ja. Und trotzdem tue ich noch was zusätzlich, was die Lebensdauer erhöht, ohne ein Nachteil…
Ich habe an der Stelle, aus technischen Gründen, kein Raid, was sich hier eigentlich verbietet, daher will ich die Schreiblast auf der SSD so gering wie möglich halten…
Ja, genau das ist meine Frage. Es geht ja nicht (nur) um die Dicke des Rohrs, sondern vor allem um die Anzahl gleichzeitig verarbeiteter Päckchen. Beispiel: 300 Schüler machen alle gleichzeitig morgens um 08:44 ihre persönliche Calc Tabelle auf. Ist da 1x 10GBit wirklich schneller als 4x 1GBit im Trunk)
(Die Namen sind Synonyme, wobei LACP ein spezielles Protokoll beschreibt der Rest allg. ist.)
Nein nein, das hatte ich alles verstanden. Alles gut. Meine Aussage bezog sich nicht direkt auf deine, sondern war allg. in die Runde gemeint
letztes Jahr habe ich ca. zehn mal ein Platten gehabt, jetzt letzte Woche das erste mal auf tubless umgestellt, (habe ein neues Bike da musste nicht mehr viel geändert werden) war auch gesiffe
trotzdem, bin mal gespannt, hab noch nicht damit gefahren, schaun mer mal…
ride on
gerd
Hallo Gerd,
Nein, das ist ein DatenBackupsystem namens BackupPC. Von Proxmox sichere
ich nur /etc/ /root und?
Das ist zur Sicherung der Daten der VMs: zB alle Daten unterhalb von
/home oder /srv
Beim Einrichten der VM habe ich dann /home und /srv auf einer separaten
virtuellen HDD und die lasse ich dann bei den vzdumps weg … So kann
ich zB die System-HDD pver qmrestore wiederherstellen und die Daten aus
dem Backup und viel viel wichtiger!: ich habe ein zuverlässiges Datenbackup
Als ich die VM des LMN-Servers eingerichtet habe, war ich noch ganz am
Anfang meiner Virtualisierungskenntnisse und hab einfach eine einzelne,
riesige virtuelle HD erstellt. Blöd, im Nachhinein betrachtet.
Zwar liegt /home auch auf einer separaten Partition, aber aus Sicht von
Proxmox eben alles in derselben riesigen Datei.
Das habe ich erst beim Webserver anders gemacht, da hat /var eine eigene
virtuelle HD. Beim Rest ändert sich da ja nicht viel.
Beim Umstieg auf LMN 7 werde ich das auch anders machen, da bekommen
/home und /var eine eigene virtuelle HD.
Erst dann macht für mich ein anderer Backup-Weg als die Proxmox Backups
mit vzdump Sinn.
Ja, hierzu gibts LVM Befehle wie vgs lvs usw.
Da fehlt eben die zusätzliche Dateisystemebene des Hostsystems, die das
sonst mit den üblichen Tools „anfassbar“ macht, das ist aber genau der
Grund warum es ohne schneller läuft, es hat eine Schicht weniger…
und ist imho dann näher an / so wie es auch Xen & Co machen.
Ja. Und trotzdem tue ich noch was zusätzlich, was die Lebensdauer
erhöht, ohne ein Nachteil…
Ich habe an der Stelle, aus technischen Gründen, kein Raid, was sich
hier eigentlich verbietet, daher will ich die Schreiblast auf der SSD so
gering wie möglich halten…
In dem Fall klar. Wenn ich einen neuen Server hab, mach ich für Proxmox
aber ein eigenes RAID 1 und ein RAID 5 oder 10 für die VMs.
Die Frage ist nur, mach ich das als Software-RAID mit ZFS oder, wie
aktuell mit einem HW-RAID-Controller…
Früher hatte ich auch ein Software-RAID mit mdraid. Lief eigentlich auch
gut. Der Aufwand, wenn man HDs aus dem RAID nehmen und neue hinzufügen
muss ist halt geringfügig höher, weil man mehr Befehle abarbeiten muss
(beim HR-RAID-Controller kann man es sogar über die GUI machen)
Ja, genau das ist meine Frage. Es geht ja nicht (nur) um die Dicke des
Rohrs, sondern vor allem um die Anzahl gleichzeitig verarbeiteter
Päckchen. Beispiel: 300 Schüler machen alle gleichzeitig morgens um
08:44 ihre persönliche Calc Tabelle auf. Ist da 1x 10GBit wirklich
schneller als 4x 1GBit im Trunk)
Das weiß ich natürlich nicht, wobei wenn man es naiv betrachtet, 10GBit
ja schon schneller sein sollten als 4x 1 GBit.
Aber deshalb frage ich hier ja, was ihr meint, oder ob da wer
Erfahrungen hat.
Wenn ich einen Server analog dem derzeitigen kaufe, dann hat der je nach
gewähltem Board 2 oder sogar 4x 10Gbit onboard.
Bei letzterem hat man wieder seine 4 Ports für rot, grün, blau, orange,
ohne dass man VLANs auf einem Port machen muss.
Bislang bin ich noch immer der Ansicht: Wenn ich die Möglichkeit habe,
auf VLANs zu verzichten, dann ist das „besser“, weil keine Configs
vergessen oder falsch gemacht werden können
Begin OT
letztes Jahr habe ich ca. zehn mal ein Platten gehabt, jetzt letzte
Woche das erste mal auf tubless umgestellt, (habe ein neues Bike da
musste nicht mehr viel geändert werden) war auch gesiffe
trotzdem, bin mal gespannt, hab noch nicht damit gefahren, schaun mer mal…
Latexschläuche kann ich echt empfehlen. Geringerer Rollwiderstand,
leichter, höherer Pannenschutz wegen der größeren Elastizität.
So fahre ich selbst im 29er einen 26" Latexschlauch.
Einziger Nachteil: Hoher Luftverlust, spätestens alle 2 Tage ist
nachpumpen angesagt. Die Vorteile überwiegen für mich aber jede andere
Lösung.
Procore wäre auch interessant, ist aber eher recht schwer und v.a.
einfach zu teuer.
End OT
Viele Grüße
Steffen