Hardware neuer Server

Hallo zusammen,

eine weitere Finanzspritze von 3000€+x soll an die Schulen in BW kommen, um Digitales zu fördern. Dazu würden wir einen neuen Server anschaffen, denn im Moment haben wir einen HP Proliant DL380G7 mit genug RAM aber langsamen Prozessoren, die vor allem bei der Nutzung der Nextcloud (4 Kerne von insgesamt 8 zugeteilt) ins Schwitzen kommen und insbesondere bei Collabora ab zweistelligen Nutzerzahlen alles ausbremsen.
Auf dem Server läuft alles (!), virtualisiert im Moment mit KVM/libvirt und Konsole, ich werde aber auf Proxmox umstellen, das ist ja auch KVM.
Mir würde eine Abwägung bei diesen Daten schon helfen:

  • Mehr Kerne oder höherer Prozessortakt?
  • AMD oder Intel?
  • Sind Festplatten noch zeitgemäß oder sollten es unbedingt SSDs sein?

Den Beitrag von Holger von vor zwei Jahren habe ich gesehen: Server-Hardware-Empfehlung für eine (sehr) kleine freie Schule
Daran orientiere ich mich im Moment.
VG
Christian

Sind Festplatt

1 „Gefällt mir“

Hallo Christian,

  • Mehr Kerne oder höherer Prozessortakt?

viele Kerne mit hohem Takt: also AMD :slight_smile:

  • AMD oder Intel?

AMD: bessere Preis/Leistungsverhältnis und weniger Stromhungrig.

  • Sind Festplatten noch zeitgemäß oder sollten es unbedingt SSDs sein?

ich hab in meinem Server von Dezember 2018 eine SSD für den Hypervisor
(120GB) und 6x 4 TB Festplatten.
Ich würde sagen; wenn du die Nextcloud lokal haben willst, dann sollte
da ordentlich Speicherplatz rein: und das ist dann mit SSDs derzeit
nicht bezahlbar: also Festplatten.

Ich kann Thomas Krenn empfehlen.
Schau mal hier: 2HE Server mit AMD Prozessor:

Viele Grüße

Holger

Hi.
Da kann ich auch einen Tipp loswerden … es muss nicht immer neue Hardware sein. Wir haben mehrere Server bei der serverschmiede.com gekauft. Der letzte war ein dell R730xd – eine Wahnsinnskiste mit viel Luft nach oben. Wir haben die 2.5" Variante genommen – es gibt ihn aber auch mit 3.5".

Ach ja – hier läuft auch Proxmox. Da wir ZFS einsetzen, haben wir in Sachen RAM-Ausstattung keine halben Sachen gemacht…

hth,
Michael

Hallo Holger, Michael und alle anderen,

ich habe nun einen festen Betrag für den Server und überlege eigentlich nur noch, ob ein Hardware Raid Controller dazu kommt oder nicht. Ich höre Aussagen wie „auf jeden Fall“ und „macht bei ZFS keinen Sinn“.
Was meint ihr?

VG
Christian

Wenn du ZFS willst, brauchst du keinen RAID Controller, sondern einen JBOD bzw HBA (wir haben einen genommen, der sofort für ZFS vorbereitet war: „IT Mode“ nannte sich das)

Hallo Christian,

ich bin da konservativ: ich kenne RAID und arbeite damit seit vielen Jahren.
ZFS kenne ich nicht.
Du hast nun also eine Antwort auf eine Frage, die du nicht direkt
gestellt hast:
Raidcontroller ja, es sei den du nimmst ZFS, dann brauchst du das nicht.

Ich selbst hab in meinen Server, den ich Weihnachten 2018 gebaut habe so
aufgebaut:
256GB NVME SSD für den Virtualisierer
6x 4TB HDD WesternDigital Black im RAID 5 über 5 PLatten mit einer HotSpare

Hardware RAID: nö, mag ich nicht.
Das ist ein SoftwareRAID.

Als Corona los ging, war ich froh, dass ich bei den Platten so üppig
zugelangt hatte: es juckte mich Platzmäßig nicht das moodle von BelWü zu
mir auf den Server zu holen. Und die explodierten Nextcloudaktivitäten
haben mich auch nciht geschockt …

VIele Grüße

Holger

… ist sogar so, dass man den RAID Controller nicht nur nicht braucht sondern ihn mit ZFS auf keinen Fall einsetzen soll.

Ich habe mich seinerzeit von

inspirieren lassen. Als es dann soweit war, dass Proxmox schon direkt bei der Installation ZFS vorschlug, war die Entscheidung schnell klar.

Hallo zusammen,

danke für die Hinweise.
Ja, ZFS muss sein, das hört sich super an.
Mal sehen, ob es für schnelle onboard SSDs sogar reicht. Ansonsten halt normale Festplatten.
Vielen Dank.
Schöne Grüße

Christian

Hast du auch den Parallel-Thread mitgelesen? →

Hallo zusammen,

das Ende des Traums vom neuen Server.

Unser Schulträger verweigert die Beantragung der Fördermittel für einen neuen Server aus dem Digitalpakt 3.

Was machen denn die anderen mit den Geldern 3000+x?

VG
Christian

Wie manche wissen betreibe ich seit dem Lockdown für eine normal große Schule eine NC Instanz, die bei uns von allen Schülern und Lehrern benutzt wird. Bei uns kommt kein Moodle zum Einsatz, wir bilden alles mit NC und BBB/Greenlight ab. Seit Montag kommt unser Server aber ganz schön ins schwitzen bei 400 gleichzeitige Zugriffen zumgleichen Zeitpunkt. Alle 6 Cores rechnen quasi von Schulanfang bis Schulende durch. Ich habe die ganze Woche schon Optimierungen durchgeführt, (Datenbankanbindung und Speicher hochgefahren, lokaler Cache auf apcu gewechselt, datenzugriffe angepasst, Module beschränkt, Loglevel hochgesetzt, Bildvorschau deaktiviert, php fpm angepasst, etc) Man hat zwar Auswirkungen gesehen, aber trotzdem war der Load zu den Topzgriffszeiten zwischen 50 und 100. Naja, jetzt gibt es noch eine Lösung, durfte mir bei Hetzner was aussuchen ^^

Hallo,

htop
https://ask.linuxmuster.net/uploads/default/original/2X/b/b5f25d5299c6fb50ac1f0155eaf6b028c54e2d06.png

24 Kerne und 128GB RAM … fett…

LG

Holger

1 „Gefällt mir“

Aber schau dir mal die Woche an, teilweise waren Seiten gar nciht erreichbar oder wurden teilweise sehr langsam ausgeliefert… Wenn man in Belwue aufrüstet, darf ich das auch. Und immerhin mach ich den Umzug am Wochenende ja mal wieder entgeldfrei.

Ich hoffe mal dass es dann flutscht ab nächste Woche… Aber it dem 12 Cores mit je 2 Threads, den NVMe SSD’s und dem DDR4RAM bin ich mal zuversichtlich.

Hi @Bellm,
wie du weißt setzen wir auch voll auf NC + BBB/Greenlight.
Wir haben unseren SErver auch einfach in der Schule stehen lassen (8cores, 64GB RAM), weil der den Ansturm nicht gepackt hat und sind zu Hetzner @24Cores Ryzen 9300 umgezogen. Wir können gerne nochmal die Optimierungen vergleichen, ich bin mir sicher, ich kann bei dir noch ein paar Scheiben abschneiden.

BBB/Greenlight ging übrigens auch durchs Dach. Die max_connections der PUMA-Prozesse habe ich auch auf 2 gesetzt.

Was jetzt ansteht ist die Planung für die Schule unter der Annahme, dass wir Glasfaser bekommen und die Nextcloud + Matrix + LMN weiterhin dezentral betreiben. Moodle bei Belwue oder auch hier…

Darf ich in diesem Thread fragen:

  • wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…
  • Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…

Danke, Tobias

Gerne können wir vergleichen. Wichtigste Frage vorab: Habt ihr den Kernel aktualisiert! Nicht dass der Freeze aufgrund des ECC Rams euch böse erwischt wie montags morgens.

Hallo Tobias,

  • wo klicke ich mir einen Server mal zusammen? ich kenne nur thomas-krenn…

ja: bei TK, also TobiasKüchel … ach nee ThomasKrenn :slight_smile:

  • Ich will aber auch irgendeine Seite, die mir AMD Ryzens erlaubt…

da hab ich schon vor 10 Jahren AMD gekauft: das haben die immer noch.
Andere Hersteller hab ich noch nciht probiert. Warum auch: Gute Server
zu gutem Preis …

LG

Holger

Hi @Bellm,
hm. meinst du den kernel auf der Cloud. Ich bin bei:
5.4.0-64-generic

das update auf -65- hab ich schon eingespielt nur noch nicht rebootet.

Das wäre ja übel. Hab davon nichts mitbekommen. Seit wieviel Jahrzehnten gabs den so einen Bug nicht mehr?

Ok. Selbst zusammenbasteln ist mir zu heikel auch wenn sich da sicher ein paar € sparen lassen. Alleine schon die Frage der Kühlung. Das muss ja Festplatte, Netzteil, Mainboard… eigentlich alles inzwischen gekühlt werden…

Also bastel ich mal bei TK zusammen.
Die Festplatten machen ja die Hälfte der Miete aus, wie mir scheint.

Generelle Fragen:

  • SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die wiederum sind ja nicht alle gleich… arg. Ich vermute, dass ihr da eher auf SSD-SATA setzt, oder?
  • 10GBit? Ich habe jetzt einen dicken Switch mit 10Gbit Anschlussmöglichkeiten, weswegen ich da mit meiner Firma sprechen muss. (DAC-Kabel oder SFP, Intel oder egal, usw.)

VG, Tobias

Da könnte auch nicht ausreichen, ich musste auf 5.8 hoch.
Hier meine Leidensgeschichte. Serverabsturz nach NC Umzug zu Hetzner

Schau mal unbedingt in deinen kernel.log, was der beim Booten zum Ram sagt. Ich hab am besagten Tag 18 Mails mit Hetzner ausgetauscht und 2 mal die Festplatten in eine neuen Maschine bauen lassen. Vor allem die Resets der Maschine gehen nur hart, sprich du musst jedes mal den Support anschrieben.

LG Sebastian

Hallo Tobias,

  • SSD oder NVMe ? für NVMe braucht man PCIe Anschlüsse, aber die
    wiederum sind ja nicht alle gleich… arg.

… das ist wurscht ob deine nvme SSD an einem x1 oder x4 PCIe Anschluss
hängt.
Du nimmst NVME wegen der IO Leistung, nicht wegen des Datentransfers.
Also: nimm NVME und keine SATA SSDs.

Ich vermute, dass ihr da
eher auf SSD-SATA setzt, oder?

ja, das habe ich: damals vor 8 Jahren als ich den vorletzten Server
zusammengeschraubt habe.
Mein jetziger Ryzen (2 Jahre alt) hat eine 128GB NVME SSD auf das
Mainboard im M2 sockel geschraubt: da ist der Host drauf (ubu 18.04).

  • 10GBit?
    … definitiv. Hab ich vor zwei Jahren auch in den Ryzen reingesteckt:
    ist schon fein und garnicht mehr so teuer.

LG

Holger