Hi @Bellm,
wie du weißt setzen wir auch voll auf NC + BBB/Greenlight.
Wir haben unseren SErver auch einfach in der Schule stehen lassen (8cores, 64GB RAM), weil der den Ansturm nicht gepackt hat und sind zu Hetzner @24Cores Ryzen 9300 umgezogen. Wir können gerne nochmal die Optimierungen vergleichen, ich bin mir sicher, ich kann bei dir noch ein paar Scheiben abschneiden.
BBB/Greenlight ging übrigens auch durchs Dach. Die max_connections der PUMA-Prozesse habe ich auch auf 2 gesetzt.
Was jetzt ansteht ist die Planung für die Schule unter der Annahme, dass wir Glasfaser bekommen und die Nextcloud + Matrix + LMN weiterhin dezentral betreiben. Moodle bei Belwue oder auch hier…
Darf ich in diesem Thread fragen:
wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…
Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…
Gerne können wir vergleichen. Wichtigste Frage vorab: Habt ihr den Kernel aktualisiert! Nicht dass der Freeze aufgrund des ECC Rams euch böse erwischt wie montags morgens.
wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…
ja: bei TK, also TobiasKüchel … ach nee ThomasKrenn
Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…
da hab ich schon vor 10 Jahren AMD gekauft: das haben die immer noch.
Andere Hersteller hab ich noch nciht probiert. Warum auch: Gute Server
zu gutem Preis …
Ok. Selbst zusammenbasteln ist mir zu heikel auch wenn sich da sicher ein paar € sparen lassen. Alleine schon die Frage der Kühlung. Das muss ja Festplatte, Netzteil, Mainboard… eigentlich alles inzwischen gekühlt werden…
Also bastel ich mal bei TK zusammen.
Die Festplatten machen ja die Hälfte der Miete aus, wie mir scheint.
Generelle Fragen:
SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die wiederum sind ja nicht alle gleich… arg. Ich vermute, dass ihr da eher auf SSD-SATA setzt, oder?
10GBit? Ich habe jetzt einen dicken Switch mit 10Gbit Anschlussmöglichkeiten, weswegen ich da mit meiner Firma sprechen muss. (DAC-Kabel oder SFP, Intel oder egal, usw.)
Schau mal unbedingt in deinen kernel.log, was der beim Booten zum Ram sagt. Ich hab am besagten Tag 18 Mails mit Hetzner ausgetauscht und 2 mal die Festplatten in eine neuen Maschine bauen lassen. Vor allem die Resets der Maschine gehen nur hart, sprich du musst jedes mal den Support anschrieben.
SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die
wiederum sind ja nicht alle gleich… arg.
… das ist wurscht ob deine nvme SSD an einem x1 oder x4 PCIe Anschluss
hängt.
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.
Also: nimm NVME und keine SATA SSDs.
Ich vermute, dass ihr da
eher auf SSD-SATA setzt, oder?
ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server
zusammengeschraubt habe.
Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das
Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).
10GBit?
… definitiv. Hab ich vor zwei Jahren auch in den Ryzen reingesteckt:
ist schon fein und garnicht mehr so teuer.
Hi Tobias,
hier nochmal für alle die Zusammenfassung meiner PN an Dich:
Ich hab einen Ryzen 9 3900X auf ASUS X570 Prime (wegen ECC unreg) gekauft, 64GB Ram (es gibt nur einen ECC auf der Vendor-List: Kingston, ob das Board mehr kann, weiß ich nicht, mir reichts aber) wegen schneller Einzelcore-Leistung (und eben 12 Cores), außerdem sollte es bezahlbar bleiben.
Als Platten 6x NVME a 2 TB. Da ist fast die Hälfte des Geldes für rausgegangen.
Das Board hat 3 PCIE x 16 Steckplätze (auch wenn manche davon wohl nur geringer angebunden sind)
1 für GraKA
1 für 2x 10GBit Intel Netzwerkkarte
1 für NVME-Erweiterung.
Dann habe ich noch 3x PCIEx1 NVME-Erweiterungskarten eingesteckt.
2 gehen direkt aufs Board.
Guten Kühler drauf, Gescheites Netzteil dran und bis jetzt läufts
Ich hab ZFS unter Proxmox genommen, RAID-Z2, also im Prinzip RAID6.
LG
Max
Meinst du mit „IO Leistung“ Random Access Geschwindigkeiten (viele kleine Dateien) und mit Datentransfer die platte GB/s Leistung?
Dann verstehe ich den Satz, ansonsten nicht.
Ok. Ich meinte nicht für die einzelne Hostplatte sondern für das Storage-System (RAID oder ZFS)…
NVMe ist in einen Desktoprechner nur begrenzt Einbaufähig. Max hat das mit speziellem Mainboard + PCIe - Karten geschafft, aber bei TK gibt es so was üblicherweise nicht. Daher die Frage, ob du das auch gemacht hast bzw. jetzt machen würdest?
Oder fürs Storage eben doch „nur“ SATA-SSD bzw. HW-Raidcontroller+SATA-SSD ?
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.
Meinst du mit „IO Leistung“ Random Access Geschwindigkeiten (viele
kleine Dateien) und mit Datentransfer die platte GB/s Leistung?
Dann verstehe ich den Satz, ansonsten nicht.
da geht es nicht um die Random Access Fähigkeit des Speichermediums,
sondern wieviel davon durch den BUS geht: und da hat SATA einen echten
Nachteil.
Also schon I/O: das was „draußen“ an kommt.
baumhof:
ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server
zusammengeschraubt habe.
Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das
Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).
Ok. Ich meinte nicht für die einzelne Hostplatte sondern für das
Storage-System (RAID oder ZFS)…
NVMe ist in einen Desktoprechner nur begrenzt Einbaufähig. Max hat das
mit speziellem Mainboard + PCIe - Karten geschafft, aber bei TK gibt es
so was üblicherweise nicht. Daher die Frage, ob du das auch gemacht hast
bzw. jetzt machen würdest?
Oder fürs Storage eben doch „nur“ SATA-SSD bzw. HW-Raidcontroller+SATA-SSD ?
ich hab noch keinen Server mit SSDs.
Wenn, dann würde ich mir NVME wünschen (so ein Virtualisierungshost kann
IO super brauchen: wenn 6 Maschinen gleichzeitig auf das Storage
zugreifen …).
Vielleicht gehen ja wenigstens 2 NVME rein, dann kauf zwei große nvme
SSDs und überleg dir ob der Platz in RAID1 reicht, oder ob du RAID 0 machst.
Dazu noch eine große Platte für ein Backupzwischenspeicher und ein NAS
zum wegsichern.
In meinem Server sind 6 4TB PLatten … das kannst du als SSD noch nicht
bezahlen…
Aber das RAID 5 über die 5 Platten + HotSpare ist bis jetzt auch schnell
genug.
In 4 Jahren gibts ein neuen Server: mal sehen, obs dann für SSDs reicht.
Ok, danke. Meine Gedanken sind dazu: Ich schaue bei RAID5/6 am besten auf die Anzahl der Platten (Formel vergessen, egal). Bei ZFS RaidZ1 oder RaidZ2 ist die Plattenanzahl nicht ganz so wichtig: Dieser Artikel
sagt:
To summarize: Use RAID-Z. Not too wide. Enable compression.
und ja: je mehr Platten desto besser. In der Schnelle noch mal recherchiert:
Aber ich kann evtl. auch mit RAID 1 (2Platten a 2TB → 2TB) leben
oder mit RAID 10 (4 Platten a 2TB → 4TB)
oder dann RAIDz1 (5Platten a 2TB → 8TB (25% gehen auf parity))
oder dann RAIDz2 (6Platten a 2TB → 6TB (50% gehen auf parity))
(vllt. ist noch die sectoren-größe 512Byte oder 4kB relevant, aber die habe ich nicht mal aus einer datenblatt einer Samsung NVMe rausbekommen)
Der Punkt ist: Man wird immer mehr brauchen, momentan haben wir
30 GB Matrix-Messenger (reset jedes Schuljahr )
180 GB Nextcloud
200 GB LINBO + default-school
1TB LMZ Medienfestplatte
?? Moodle, außer Haus
Das wird potentiell in den nächsten Jahren zunehmen. Alleine schon, weil ich peertube als Videospeicher zur Verfügung stelle und weil keiner aufräumt. Und vielleicht wird das auch einfach auf verschiedenen Servern unterschiedlich schnell laufen.
Du hast auch vollkommen recht, ein SATA-HDD Backupspeicher einzubauen. Da kann man ja ne 10TB-Platte kaufen
Es muss halt reichen (5TB mind?), ausfallsicher sein (1 Platte) und schnell aus dem Backup rekonstruierbar sein (ZFS → NAS → ZFS)…
Sobald man mit mehr als einem Server hantiert, sind diese drei Anforderungen aufwändig, weil das nicht skaliert.
Hi Michael,
nein, klar kenn ich das noch nicht. Hab mich ja von Max anfixen lassen ZFS zu machen, hab aber noch null Ahnung. Außer der Raid-Sache, hab ich noch nichts gelesen. Weiß, dass snapshots gut gehen sollen.
Das ist sicher sehr einfach umzusetzen und erspart mir vllt. das NAS, wenn ich den PBS in einen anderen Raum stellen kann. Wenn das nicht geht, hab ich nicht so viel gewonnen.
Danke!
VG, Tobias
Hi Tobias,
Warum meinst du, dass das nicht gehen sollte? Hier läuft der PBS auf unserem alten pedestrial Server, der in der hintersten Ecke steht. Nutzt du denn sowieso Proxmox oder wäre der PBS bei dir nur ein Nebenprodukt??
Schick ist, dass unser PBS-Server per WoL ein und ausgeschaltet wird, dann die Snapshots dort abgelegt werden, dann bei Bedarf noch eine Prüfung und ein Aufräumen der alten Backups stattfindet und sich die Kiste anschließend wieder schlafen legt. Das ganze dauert im Vergleich zu „regulär“ angelegten Vollbackups einen Bruchteil der Zeit…
Da auf der Kiste gleichzeitig auch das ganz normale Proxmox installiert war, habe ich dort auch Zugriff auf alle VMs. Ich habe den Desaster Fall aber zugegebenermaßen bisher nicht geübt. Sollte man natürlich machen, aber ihr kennt das ja…
Völlig „untested“ ist es nun auch wieder nicht. Ich habe natürlich schon oft Backups zurückgeholt, aber im Desasterfall würde der Produktivserver ja völlig ausfallen. Das Szenario habe ich nicht in allen Einzelheiten geübt…
Außerdem gibt es neben dem Produktivserver (der viele redundante Teile hat) noch ein paar andere „single points of failure“, was natürlich immer schlecht ist. Aber wenn man das auch alles doppelt und dreifach absichern will, wird es noch komplexer…
Snapshot ist kein Backup, wenn der Wirt stirbt ist dieser ja in der Regel auch weg. Davon abgesehen habe ich bei solchen zurueckgespielten Snapshots aus externen Backups bisher mehr „danach ist noch mehr kaputt“-Faelle gesehen als dass das Problem danach gefixt war. Ich spreche nicht von „Snapshot wiederherstellen“.
Ich will da nicht auf Details rumhacken, aber ohne erfolgreichem Test eines Disastery Recoverys ist das Ganze ein Gluecksspiel, da koennen wir uns Diskussionen zum Sinn von ECC-RAM, USV und redundanten Netzeilen in Zukunft ganz sparen, die Katastrophe hat alle Zeit der Welt.
off topic
Mein Ansatz ist sowieso ein anderer, ich geh immer davon aus, dass jemand ausser mir zu Unrecht root-Rechte hat und die Schule komplett abbrennt, paar Tonnen Amoniumsulfat unter der Schule gezuendet oder so.
