Hallo Holger, Michael und alle anderen,
ich habe nun einen festen Betrag für den Server und überlege eigentlich nur noch, ob ein Hardware Raid Controller dazu kommt oder nicht. Ich höre Aussagen wie „auf jeden Fall“ und „macht bei ZFS keinen Sinn“.
Was meint ihr?
VG
Christian
Wenn du ZFS willst, brauchst du keinen RAID Controller, sondern einen JBOD bzw HBA (wir haben einen genommen, der sofort für ZFS vorbereitet war: „IT Mode“ nannte sich das)
Hallo Christian,
ich bin da konservativ: ich kenne RAID und arbeite damit seit vielen Jahren.
ZFS kenne ich nicht.
Du hast nun also eine Antwort auf eine Frage, die du nicht direkt
gestellt hast:
Raidcontroller ja, es sei den du nimmst ZFS, dann brauchst du das nicht.
Ich selbst hab in meinen Server, den ich Weihnachten 2018 gebaut habe so
aufgebaut:
256GB NVME SSD für den Virtualisierer
6x 4TB HDD WesternDigital Black im RAID 5 über 5 PLatten mit einer HotSpare
Hardware RAID: nö, mag ich nicht.
Das ist ein SoftwareRAID.
Als Corona los ging, war ich froh, dass ich bei den Platten so üppig
zugelangt hatte: es juckte mich Platzmäßig nicht das moodle von BelWü zu
mir auf den Server zu holen. Und die explodierten Nextcloudaktivitäten
haben mich auch nciht geschockt …
VIele Grüße
Holger
… ist sogar so, dass man den RAID Controller nicht nur nicht braucht sondern ihn mit ZFS auf keinen Fall einsetzen soll.
Ich habe mich seinerzeit von
inspirieren lassen. Als es dann soweit war, dass Proxmox schon direkt bei der Installation ZFS vorschlug, war die Entscheidung schnell klar.
Hallo zusammen,
danke für die Hinweise.
Ja, ZFS muss sein, das hört sich super an.
Mal sehen, ob es für schnelle onboard SSDs sogar reicht. Ansonsten halt normale Festplatten.
Vielen Dank.
Schöne Grüße
Christian
Hast du auch den Parallel-Thread mitgelesen? →
Hallo zusammen,
das Ende des Traums vom neuen Server.
Unser Schulträger verweigert die Beantragung der Fördermittel für einen neuen Server aus dem Digitalpakt 3.
Was machen denn die anderen mit den Geldern 3000+x?
VG
Christian
Wie manche wissen betreibe ich seit dem Lockdown für eine normal große Schule eine NC Instanz, die bei uns von allen Schülern und Lehrern benutzt wird. Bei uns kommt kein Moodle zum Einsatz, wir bilden alles mit NC und BBB/Greenlight ab. Seit Montag kommt unser Server aber ganz schön ins schwitzen bei 400 gleichzeitige Zugriffen zumgleichen Zeitpunkt. Alle 6 Cores rechnen quasi von Schulanfang bis Schulende durch. Ich habe die ganze Woche schon Optimierungen durchgeführt, (Datenbankanbindung und Speicher hochgefahren, lokaler Cache auf apcu gewechselt, datenzugriffe angepasst, Module beschränkt, Loglevel hochgesetzt, Bildvorschau deaktiviert, php fpm angepasst, etc) Man hat zwar Auswirkungen gesehen, aber trotzdem war der Load zu den Topzgriffszeiten zwischen 50 und 100. Naja, jetzt gibt es noch eine Lösung, durfte mir bei Hetzner was aussuchen ^^
Hallo,
24 Kerne und 128GB RAM … fett…
LG
Holger
Aber schau dir mal die Woche an, teilweise waren Seiten gar nciht erreichbar oder wurden teilweise sehr langsam ausgeliefert… Wenn man in Belwue aufrüstet, darf ich das auch. Und immerhin mach ich den Umzug am Wochenende ja mal wieder entgeldfrei.
Ich hoffe mal dass es dann flutscht ab nächste Woche… Aber it dem 12 Cores mit je 2 Threads, den NVMe SSD’s und dem DDR4RAM bin ich mal zuversichtlich.
Hi @Bellm,
wie du weißt setzen wir auch voll auf NC + BBB/Greenlight.
Wir haben unseren SErver auch einfach in der Schule stehen lassen (8cores, 64GB RAM), weil der den Ansturm nicht gepackt hat und sind zu Hetzner @24Cores Ryzen 9300 umgezogen. Wir können gerne nochmal die Optimierungen vergleichen, ich bin mir sicher, ich kann bei dir noch ein paar Scheiben abschneiden.
BBB/Greenlight ging übrigens auch durchs Dach. Die max_connections der PUMA-Prozesse habe ich auch auf 2 gesetzt.
Was jetzt ansteht ist die Planung für die Schule unter der Annahme, dass wir Glasfaser bekommen und die Nextcloud + Matrix + LMN weiterhin dezentral betreiben. Moodle bei Belwue oder auch hier…
Darf ich in diesem Thread fragen:
Danke, Tobias
Gerne können wir vergleichen. Wichtigste Frage vorab: Habt ihr den Kernel aktualisiert! Nicht dass der Freeze aufgrund des ECC Rams euch böse erwischt wie montags morgens.
Hallo Tobias,
- wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…
ja: bei TK, also TobiasKüchel … ach nee ThomasKrenn 
- Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…
da hab ich schon vor 10 Jahren AMD gekauft: das haben die immer noch.
Andere Hersteller hab ich noch nciht probiert. Warum auch: Gute Server
zu gutem Preis …
LG
Holger
Hi @Bellm,
hm. meinst du den kernel auf der Cloud. Ich bin bei:
5.4.0-64-generic
das update auf -65- hab ich schon eingespielt nur noch nicht rebootet.
Das wäre ja übel. Hab davon nichts mitbekommen. Seit wieviel Jahrzehnten gabs den so einen Bug nicht mehr?
Ok. Selbst zusammenbasteln ist mir zu heikel auch wenn sich da sicher ein paar € sparen lassen. Alleine schon die Frage der Kühlung. Das muss ja Festplatte, Netzteil, Mainboard… eigentlich alles inzwischen gekühlt werden…
Also bastel ich mal bei TK zusammen.
Die Festplatten machen ja die Hälfte der Miete aus, wie mir scheint.
Generelle Fragen:
VG, Tobias
Da könnte auch nicht ausreichen, ich musste auf 5.8 hoch.
Hier meine Leidensgeschichte. Serverabsturz nach NC Umzug zu Hetzner
Schau mal unbedingt in deinen kernel.log, was der beim Booten zum Ram sagt. Ich hab am besagten Tag 18 Mails mit Hetzner ausgetauscht und 2 mal die Festplatten in eine neuen Maschine bauen lassen. Vor allem die Resets der Maschine gehen nur hart, sprich du musst jedes mal den Support anschrieben.
LG Sebastian
Hallo Tobias,
- SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die
wiederum sind ja nicht alle gleich… arg.
… das ist wurscht ob deine nvme SSD an einem x1 oder x4 PCIe Anschluss
hängt.
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.
Also: nimm NVME und keine SATA SSDs.
Ich vermute, dass ihr da
eher auf SSD-SATA setzt, oder?
ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server
zusammengeschraubt habe.
Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das
Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).
- 10GBit?
… definitiv. Hab ich vor zwei Jahren auch in den Ryzen reingesteckt:
ist schon fein und garnicht mehr so teuer.
LG
Holger
Hi Tobias,
hier nochmal für alle die Zusammenfassung meiner PN an Dich:
Ich hab einen Ryzen 9 3900X auf ASUS X570 Prime (wegen ECC unreg) gekauft, 64GB Ram (es gibt nur einen ECC auf der Vendor-List: Kingston, ob das Board mehr kann, weiß ich nicht, mir reichts aber) wegen schneller Einzelcore-Leistung (und eben 12 Cores), außerdem sollte es bezahlbar bleiben.
Als Platten 6x NVME a 2 TB. Da ist fast die Hälfte des Geldes für rausgegangen.
Das Board hat 3 PCIE x 16 Steckplätze (auch wenn manche davon wohl nur geringer angebunden sind)
1 für GraKA
1 für 2x 10GBit Intel Netzwerkkarte
1 für NVME-Erweiterung.
Dann habe ich noch 3x PCIEx1 NVME-Erweiterungskarten eingesteckt.
2 gehen direkt aufs Board.
Guten Kühler drauf, Gescheites Netzteil dran und bis jetzt läufts 
Ich hab ZFS unter Proxmox genommen, RAID-Z2, also im Prinzip RAID6.
LG
Max
Hi Holger,
Meinst du mit „IO Leistung“ Random Access Geschwindigkeiten (viele kleine Dateien) und mit Datentransfer die platte GB/s Leistung?
Dann verstehe ich den Satz, ansonsten nicht.
Ok. Ich meinte nicht für die einzelne Hostplatte sondern für das Storage-System (RAID oder ZFS)…
NVMe ist in einen Desktoprechner nur begrenzt Einbaufähig. Max hat das mit speziellem Mainboard + PCIe - Karten geschafft, aber bei TK gibt es so was üblicherweise nicht. Daher die Frage, ob du das auch gemacht hast bzw. jetzt machen würdest?
Oder fürs Storage eben doch „nur“ SATA-SSD bzw. HW-Raidcontroller+SATA-SSD ?
Vg, Tobias
Hallo Tobias,
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.Meinst du mit „IO Leistung“ Random Access Geschwindigkeiten (viele
kleine Dateien) und mit Datentransfer die platte GB/s Leistung?
Dann verstehe ich den Satz, ansonsten nicht.
da geht es nicht um die Random Access Fähigkeit des Speichermediums,
sondern wieviel davon durch den BUS geht: und da hat SATA einen echten
Nachteil.
Also schon I/O: das was „draußen“ an kommt.
baumhof: ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server zusammengeschraubt habe. Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).Ok. Ich meinte nicht für die einzelne Hostplatte sondern für das
Storage-System (RAID oder ZFS)…NVMe ist in einen Desktoprechner nur begrenzt Einbaufähig. Max hat das
mit speziellem Mainboard + PCIe - Karten geschafft, aber bei TK gibt es
so was üblicherweise nicht. Daher die Frage, ob du das auch gemacht hast
bzw. jetzt machen würdest?
Oder fürs Storage eben doch „nur“ SATA-SSD bzw. HW-Raidcontroller+SATA-SSD ?
ich hab noch keinen Server mit SSDs.
Wenn, dann würde ich mir NVME wünschen (so ein Virtualisierungshost kann
IO super brauchen: wenn 6 Maschinen gleichzeitig auf das Storage
zugreifen …).
Vielleicht gehen ja wenigstens 2 NVME rein, dann kauf zwei große nvme
SSDs und überleg dir ob der Platz in RAID1 reicht, oder ob du RAID 0 machst.
Dazu noch eine große Platte für ein Backupzwischenspeicher und ein NAS
zum wegsichern.
In meinem Server sind 6 4TB PLatten … das kannst du als SSD noch nicht
bezahlen…
Aber das RAID 5 über die 5 Platten + HotSpare ist bis jetzt auch schnell
genug.
In 4 Jahren gibts ein neuen Server: mal sehen, obs dann für SSDs reicht.
LG
Holger
