eine weitere Finanzspritze von 3000€+x soll an die Schulen in BW kommen, um Digitales zu fördern. Dazu würden wir einen neuen Server anschaffen, denn im Moment haben wir einen HP Proliant DL380G7 mit genug RAM aber langsamen Prozessoren, die vor allem bei der Nutzung der Nextcloud (4 Kerne von insgesamt 8 zugeteilt) ins Schwitzen kommen und insbesondere bei Collabora ab zweistelligen Nutzerzahlen alles ausbremsen.
Auf dem Server läuft alles (!), virtualisiert im Moment mit KVM/libvirt und Konsole, ich werde aber auf Proxmox umstellen, das ist ja auch KVM.
Mir würde eine Abwägung bei diesen Daten schon helfen:
Mehr Kerne oder höherer Prozessortakt?
AMD oder Intel?
Sind Festplatten noch zeitgemäß oder sollten es unbedingt SSDs sein?
AMD: bessere Preis/Leistungsverhältnis und weniger Stromhungrig.
Sind Festplatten noch zeitgemäß oder sollten es unbedingt SSDs sein?
ich hab in meinem Server von Dezember 2018 eine SSD für den Hypervisor
(120GB) und 6x 4 TB Festplatten.
Ich würde sagen; wenn du die Nextcloud lokal haben willst, dann sollte
da ordentlich Speicherplatz rein: und das ist dann mit SSDs derzeit
nicht bezahlbar: also Festplatten.
Ich kann Thomas Krenn empfehlen.
Schau mal hier: 2HE Server mit AMD Prozessor:
Hi.
Da kann ich auch einen Tipp loswerden … es muss nicht immer neue Hardware sein. Wir haben mehrere Server bei der serverschmiede.com gekauft. Der letzte war ein dell R730xd – eine Wahnsinnskiste mit viel Luft nach oben. Wir haben die 2.5" Variante genommen – es gibt ihn aber auch mit 3.5".
Ach ja – hier läuft auch Proxmox. Da wir ZFS einsetzen, haben wir in Sachen RAM-Ausstattung keine halben Sachen gemacht…
ich habe nun einen festen Betrag für den Server und überlege eigentlich nur noch, ob ein Hardware Raid Controller dazu kommt oder nicht. Ich höre Aussagen wie „auf jeden Fall“ und „macht bei ZFS keinen Sinn“.
Was meint ihr?
Wenn du ZFS willst, brauchst du keinen RAID Controller, sondern einen JBOD bzw HBA (wir haben einen genommen, der sofort für ZFS vorbereitet war: „IT Mode“ nannte sich das)
ich bin da konservativ: ich kenne RAID und arbeite damit seit vielen Jahren.
ZFS kenne ich nicht.
Du hast nun also eine Antwort auf eine Frage, die du nicht direkt
gestellt hast:
Raidcontroller ja, es sei den du nimmst ZFS, dann brauchst du das nicht.
Ich selbst hab in meinen Server, den ich Weihnachten 2018 gebaut habe so
aufgebaut:
256GB NVME SSD für den Virtualisierer
6x 4TB HDD WesternDigital Black im RAID 5 über 5 PLatten mit einer HotSpare
Hardware RAID: nö, mag ich nicht.
Das ist ein SoftwareRAID.
Als Corona los ging, war ich froh, dass ich bei den Platten so üppig
zugelangt hatte: es juckte mich Platzmäßig nicht das moodle von BelWü zu
mir auf den Server zu holen. Und die explodierten Nextcloudaktivitäten
haben mich auch nciht geschockt …
danke für die Hinweise.
Ja, ZFS muss sein, das hört sich super an.
Mal sehen, ob es für schnelle onboard SSDs sogar reicht. Ansonsten halt normale Festplatten.
Vielen Dank.
Schöne Grüße
Wie manche wissen betreibe ich seit dem Lockdown für eine normal große Schule eine NC Instanz, die bei uns von allen Schülern und Lehrern benutzt wird. Bei uns kommt kein Moodle zum Einsatz, wir bilden alles mit NC und BBB/Greenlight ab. Seit Montag kommt unser Server aber ganz schön ins schwitzen bei 400 gleichzeitige Zugriffen zumgleichen Zeitpunkt. Alle 6 Cores rechnen quasi von Schulanfang bis Schulende durch. Ich habe die ganze Woche schon Optimierungen durchgeführt, (Datenbankanbindung und Speicher hochgefahren, lokaler Cache auf apcu gewechselt, datenzugriffe angepasst, Module beschränkt, Loglevel hochgesetzt, Bildvorschau deaktiviert, php fpm angepasst, etc) Man hat zwar Auswirkungen gesehen, aber trotzdem war der Load zu den Topzgriffszeiten zwischen 50 und 100. Naja, jetzt gibt es noch eine Lösung, durfte mir bei Hetzner was aussuchen ^^
Aber schau dir mal die Woche an, teilweise waren Seiten gar nciht erreichbar oder wurden teilweise sehr langsam ausgeliefert… Wenn man in Belwue aufrüstet, darf ich das auch. Und immerhin mach ich den Umzug am Wochenende ja mal wieder entgeldfrei.
Ich hoffe mal dass es dann flutscht ab nächste Woche… Aber it dem 12 Cores mit je 2 Threads, den NVMe SSD’s und dem DDR4RAM bin ich mal zuversichtlich.
Hi @Bellm,
wie du weißt setzen wir auch voll auf NC + BBB/Greenlight.
Wir haben unseren SErver auch einfach in der Schule stehen lassen (8cores, 64GB RAM), weil der den Ansturm nicht gepackt hat und sind zu Hetzner @24Cores Ryzen 9300 umgezogen. Wir können gerne nochmal die Optimierungen vergleichen, ich bin mir sicher, ich kann bei dir noch ein paar Scheiben abschneiden.
BBB/Greenlight ging übrigens auch durchs Dach. Die max_connections der PUMA-Prozesse habe ich auch auf 2 gesetzt.
Was jetzt ansteht ist die Planung für die Schule unter der Annahme, dass wir Glasfaser bekommen und die Nextcloud + Matrix + LMN weiterhin dezentral betreiben. Moodle bei Belwue oder auch hier…
Darf ich in diesem Thread fragen:
wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…
Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…
Gerne können wir vergleichen. Wichtigste Frage vorab: Habt ihr den Kernel aktualisiert! Nicht dass der Freeze aufgrund des ECC Rams euch böse erwischt wie montags morgens.
wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…
ja: bei TK, also TobiasKüchel … ach nee ThomasKrenn
Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…
da hab ich schon vor 10 Jahren AMD gekauft: das haben die immer noch.
Andere Hersteller hab ich noch nciht probiert. Warum auch: Gute Server
zu gutem Preis …
Ok. Selbst zusammenbasteln ist mir zu heikel auch wenn sich da sicher ein paar € sparen lassen. Alleine schon die Frage der Kühlung. Das muss ja Festplatte, Netzteil, Mainboard… eigentlich alles inzwischen gekühlt werden…
Also bastel ich mal bei TK zusammen.
Die Festplatten machen ja die Hälfte der Miete aus, wie mir scheint.
Generelle Fragen:
SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die wiederum sind ja nicht alle gleich… arg. Ich vermute, dass ihr da eher auf SSD-SATA setzt, oder?
10GBit? Ich habe jetzt einen dicken Switch mit 10Gbit Anschlussmöglichkeiten, weswegen ich da mit meiner Firma sprechen muss. (DAC-Kabel oder SFP, Intel oder egal, usw.)
Schau mal unbedingt in deinen kernel.log, was der beim Booten zum Ram sagt. Ich hab am besagten Tag 18 Mails mit Hetzner ausgetauscht und 2 mal die Festplatten in eine neuen Maschine bauen lassen. Vor allem die Resets der Maschine gehen nur hart, sprich du musst jedes mal den Support anschrieben.
SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die
wiederum sind ja nicht alle gleich… arg.
… das ist wurscht ob deine nvme SSD an einem x1 oder x4 PCIe Anschluss
hängt.
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.
Also: nimm NVME und keine SATA SSDs.
Ich vermute, dass ihr da
eher auf SSD-SATA setzt, oder?
ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server
zusammengeschraubt habe.
Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das
Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).
10GBit?
… definitiv. Hab ich vor zwei Jahren auch in den Ryzen reingesteckt:
ist schon fein und garnicht mehr so teuer.
