Liebe Wissende!
Ich habe das ok für einen neuen Server bekommen und wollte euch mal fagen, was ihr habt bzw. aus Erfahrung empfehlt.
Hardfacts: Ich betreue eine Schule mit cd 800 Schülern, 90 Lehrern, 190 PCs. LMN7 mit Ubuntu 20.04 auf den Clients, ohne großartige Extras.
Vielleicht habt ihr Tipps, wie ich dimensionieren könnte…
Ich freue mich auf euere Antworten, für die ich euch jetzt schon Danke sage! 
LG,
Alex
Hallo Alex,
gaaaaaaanz schwierige Frage! Vor der wir gerade auch mal wieder stehen 
Eure Schule ist von der Größe her übrigens ziemlich mit unserer vergleichbar.
Dazu gehen die Meinungen hier im Forum ziemlich weit auseinander. Von daher: hör’ Dir alles an und entscheide dann selbst. Kommt ja aber auch vor allem darauf an, was Ihr machen wollt und vor allem: wie viel Geld zur Verfügung steht.
Ich würde sagen, die Frage nach dem Hersteller ist eine sekundäre, gute zuverlässige Hardware haben viele im Angebot.
Eine Frage ist, wie viele Ressourcen an CPU, RAM und Storage benötigt Ihr. Das hängt sicherlich davon ab, ob Ihr nur den LMN-Server allein betreiben wollt oder ob da (virtualisiert) noch OPNsense, Nextcloud, Moodle, etc. pp. darauf laufen sollen. Und die Verwaltungsserver vielleicht gleich noch dazu. Mach Dir dazu einfach eine Liste, addiere mal grob diese Werte und schlag vor allem beim Storage noch etwas oben drauf im Hinblick auf die Zukunft.
Nur mal zum LMN-Server selbst: beim Storage kannst Du ja schauen, was Ihr aktuell belegt und dann hochrechnen, wo das in etwa hingehen könnte. Das System allein wird sicherlich nicht exorbitant wachsen aber vielleicht wollt Ihr den SuS und KuK mehr Platz im Home geben? Bei z.B. 1GB pro SuS und 10 GB pro KuK würde ich da insg. mit ca. 3TB rechnen. 16GB RAM (ECC!) und 8 CPU-Kerne sollten ok sein.
Wenn Ihr eine Cloud betreibt und man hier den Leuten einigermaßen Freiraum geben will und die z.B. auch Filme für den Unterricht hochladen wollen, dann kommt da natürlich deutlich mehr zusammen.
Nächster Punkt: Virtualisierung. Falls ja, würde ich darauf achten, dass die Hardware (z.B. im Fall von VMWare) entsprechend zertifiziert ist.
Redundante Lüfter und Netzteile verstehen sich von selbst.
Storage: HDD oder SSD? Falls HDD: SATA-HDDs sind sicherlich mit Abstand am preiswertesten. Aber halt auch langsam. Schneller sind schnelldrehende SAS-Server-HDDs, außerdem haben die eine um den Faktor 10 geringere Fehlerrate. Kosten halt mehr. Oder gleich Flashspeicher bzw. SSDs. Vom I/O her natürlich ein Träumchen aber sch… teuer, v.a. wenn man auch hier wieder servergrade und nicht consumer nimmt. Alternative, um das Ganze noch komplizierter zu machen: du kannst das Ganze natürlich auch kombiniert/gestaffelt (tier) aufbauen: kleine, schnelle SSDs (teuer) und dazu viele große HDDs (vgl.weise günstig) und einen Controller, der regelt, was wo abgelegt wird.
So oder so willst du aber Ausfallsicherheit in 'nem RAID5 oder besser RAID6, je nachdem vielleicht sogar mit Hotspare. Und die Laufwerke bitte hotswapable. Ob HW- oder SW-RAID, auch darüber scheiden sich die Geister. Gibt gute Argumente für beides und kommt auch darauf an, wie und mit was Du Deinen Server aufbaust.
Was habt Ihr für ein Netzwerk? 10G Backbone? Dann auf jeden Fall auch 10G-Anbindung im Server, vielleicht auch ein 2*10G-Trunk, über den Ihr alle Netze getagged auf den Coreswitch führt. Was hat der für Ports? Kupfer? Glas? Dann auf die entsprechende Anzahl an Netzwerkkarten achten.
So und jetzt kommt’s: das Ganze kann man sich natürlich als einzelnen Server mit internem Storage aufbauen. Aber was ist, wenn der crashed!? Wie lange darf der Laden in so einem Fall stehen? Dann kann man natürlich eine alte, ausgediente Hardware daneben stehen haben und vom Backup versuchen, schnellstmöglich die wichtigsten VMs zurück zu spielen. Alle wird vermutlich nicht gehen, denn die Ressourcen werden bestimmt nicht die gleichen sein. Und wer macht das? Du? Kannst Du Dir dafür 2 Tage frei nehmen? Die Profis werden schreiben, dass sie das in 2 Stunden hinbekommen, ich für mich würde meine Hand dafür nicht in’s Feuer legen!
Oder Du baust das Ganze von vornherein möglichst ausfallsicher auf. Z.B. als 2-Server-Lösung mit shared Storage. Im Problemfall übernimmt ein Server allein, die VMs liegen auf dem shared Storage, das über redundante Mainboards, Controller, Netzwerkkarten, Lüfter und Netzteile verfügt. So ein automagischer Failover lässt den Admin natürlich ruhiger schlafen und ich tendiere tatsächlich zu so einer Lösung (bei uns ist die Verwaltung mit drauf)! Kostet halt in etwa das Doppelte!
Wir werden sowohl für die 1- als auch für die 2-Server-Lösung mit shared Storage Angebote einholen und ich werde die Schulleitung bzw. den Schulträger informieren, welche Vor- und Nachteile die jeweilige Lösung hat (Kosten vs. Ausfallsicherheit). Entscheiden dürfen/müssen/sollen dann die!
Denk übrigens auch an evtl. Lizenzkosten je nach Virtualisierungslösung.
Und an USVs! Diese idealerweise als Online-Version, bei der evtl. Störspitzen die Server nicht erreichen. So geschehen an meiner alten Schule: teurer Server (o.g. 2-Server-Lösung) mit USV (standard). Dann Bauarbeiten im Haus. Spannungsspitzen. Storagecontroller abgeraucht! Seit damals nur noch online-USVs!!! Die 30% Mehrkosten sind imho gut investiert!
Backup hast Du?
So, jetzt aber erstmal genug!
Viel Spaß beim Planen und viele Grüße,
Jochen
Hallo Alexander,
als Hinweis nenne ich einfach mal mein System.
Es wurde neu gekauft zu Weihnachten 2018.
Schule: zwei Schulen auf einem Server: ca. 1400 Schüler und 130 Lehrer.
Auf dem Server laufen lmn7, opnsense, dockerhost mit wiki und mrbs, moodle, nextcloud und einige virtualle Clients.
Es sind ca. 170 Clients im Haus und ca. 150 Laptops (schuleigene mit Zugang zu Grün).
Hardware:
Ryzen 2700 auf ASUS Mainboard.
240GB SSD (nvme) für den virtualisierer (KVM)
6 Festplatten je 4TB WD Black mit 7200U/min in einem softwareRAID5 über 5 PLatten mit einer HotSpare
32GB RAM
Letztes Jahr wurde zu Beginn der Pandemie der Hauptspeicher verdoppelt auf 64GB RAM … war aber gar nicht so dringend.
Der Server wird, so glaube ich, noch ca. 4 Jahre so weiter laufen. Engpässe hatte ich noch nicht.
Wenn du jetzt einen etwas größeren Ryzen nimmst, dann ist der auch für 6 Jahre gut.
LG
Holger
Wenn ich mich da einklinken darf, …
Hallo allesamt! Auch bei uns wird die Frage langsam aktueller, wie es nach unserem Umzug in ein neuzubauendes Schulgebäude weiter gehen soll, momentan ja noch alles in der Planungsphase, aber wo es finanziell hingeht will der Sachaufwandsträger dann doch wissen. Zudem unser Digitalisierungsbeauftagte auch reinschwätzen möchte.
Mein Hauptfrage ist, was denn mehr Sinn macht. Alles, also auch die Schulverwaltung (da halt insbesondere die in Bayern laufende ASV) virtualisiert auf einem Server ( da dann die Frage, wie virtualisiert), oder, für die Schulverwaltung einen netten Win Server und für die Lmn7 samt restlicher VM auf einen eigenen Server, …
Euch beste Grüße
Andreas
Hallo Andreas,
kommt drauf an!
Wir lassen künftig Verwaltung (ASV-BW und co) und Pädagogik auf derselben HW laufen. Wir nutzen VMWare. Hat den Vorteil, dass man nicht noch mehr teure HW benötigt bzw. man kann sich dann dafür etwas bessere HW gönnen und zumindest in BW ist das mittlerweile ja erlaubt.
Nachteil: je mehr auf den Kisten läuft, um so mehr muss man im Wartungsfall daran denken, wer alles davon betroffen ist und ob man die Kisten einfach so mal offline nehmen kann oder nicht. Da arbeitet dann in den Ferien die Schulleitung und/oder das Sekretariat und schon ist’s Essig damit, den Virtualisierer upzudaten…
Viele Grüße,
Jochen
Hi. Um mal was konkretes zu nennen: Wir haben uns einen dell PowerEdge R730xd gebraucht gekauft. Den kann z.B. die serverschmiede liefern und einen auch sehr gut beraten (nein, ich bekomme keine Provision dafür).
nochmal ein paar Gedanken und meine persönliche(!) Meinung zu den Kosten:
vor allem wenn man unsere o.g. redundante Lösung anstrebt, wird das Ganze „nicht unbedingt ein Schnäppchen“ und v.a. technisch nicht versierte Schulleitungen oder Schulträger bekommen angesichts der Preise schnell Schnappatmung. Man hört dann Argumente wie „wir sind doch keine Versicherung oder kein Autobauer!“ Und dass es auch günstiger geht, sieht man an Holgers Setup.
Wenn man auf der anderen Seite aber auch sieht, welche Anforderungen mittlerweile an solche Systeme gestellt werden, wie die Anforderungen in den letzten 15 Jahren gewachsen sind und was mittlerweile alles darauf laufen soll (zentrale Benutzeranmeldung, Dateiserver, Druckserver, Cloud, Lernplattform, Mail, MDM, Raumbuchungssystem, Lizenzserver, Schulverwaltungssoftware, …) und was davon abhängt bzw. passiert, wenn das ganze System (nicht nur während der Pandemie) mal nicht zur Verfügung steht, bzw. wenn man (an meiner alten Schule) mal erfahren hat, welchen Aufschrei es bei Schülern, Eltern, Kollegen und Schulleitung dann gibt, ist meine Konsequenz daraus: „ich kann aus Sch… kein Gold machen bzw. you get, what you pay for!“
Bestimmen, was in letzter Konsequenz angeschafft wird, darf und will ich nicht, deshalb sehe ich meine Rolle, wie oben beschrieben, hier als beratende. Ich bin dann aber auch nicht verantwortlich, wenn man sparen möchte und dann irgendwas halt mal nicht funktioniert.
Gott sei Dank haben wir an meiner „neuen“ Schule diesbezüglich eine sehr offene Schulleitung und einen Schulträger, der das ähnlich sieht.
Viele Grüße,
Jochen
Hallo Jochen,
und macht auch SInn, da jeder „Echte“ Server 200 W - 300 W Leistung hat und das sind
24 Std * 0,25 kW * 365 = 2190 kWh
Und in Euro umgerechnet
2190 kWh * 0,29 €/kWh = 635 €/Jahr
Das macht dann ca. 1,5 T CO2/Jahr
Also jedes Watt weniger ist besser!
Gruß
Alois
Hallo,
… das ist nicht die einzige Nebenwirkung.
Ich hab „den alten“ Server aus dem Seminar in einem anderen Gebäude weiter benutzt: der hatte tatsächlich 400 W im normalen Betrieb … der hat ein 80qm Zimmer locker geheizt… das ist echt schlimm.
Ich hab ihn gegen einen meiner selbstgebauten ersetzt.
Der hat jetzt 80W im normalen Betrieb …
LG
Holger
Hallo, Ihr!
Lieben Dank für Eure Antworten. Ich denke der Preis ist bei einem Schulneubau erfreulicherweise nicht ganz so kritisch zu sehen. Ich habe auch einen sehr sagen wir mal finanziell offenen Beauftragten unseres Sachwandsaufträgers zur Hand, solange ich gut argumentieren kann. Mir persönlich wäre eine Trennung der Hardware zwischen Verwaltung und Schule/Pädagogik lieber, aber ich bin mir nicht sicher, ob es einfacher wäre, alles auf einem Server zu haben.
Beste Grüße
Andreas
Hallo Andreas,
ich habe ganz bewußt zwei Server für die beiden Bereiche.
… also für jeden Bereich einen … einen für Direktion und einen für das paed Netz
LG
Holger
Hallo Andreas,
ich würde Verwaltung und päd. auf zwei Rechner legen. Schon alleine, wenn mal einer Kaputt geht, geht immernoch das andere System. Ich sehe außer Kosten und Energie keine funktionellen Gründe, beides auf einer Mühle zu haben. Psychologisch wäre mir wohler bei zwei Maschinen.
Da die Digitalisierung voranschreitet und ihr bestimmt auch mal eine Cloud (ggf. mit Collabora o.ä.) haben möchtet, würde ich RAM und Cores nicht zu dünn planen.
Ich habe jetzt einen Ryzen Epyc 7443P von Thomas Krenn von der Stadt bekommen, da der Dienstleister nicht so gerne auf meinem „Consumer“ Ryzen 3900 installieren wollte. Mir war neben ECC vor allem eine geringe Lautstärke wichtig, da ich oft direkt neben dem Server sitze. Einziger Wermutstropfen: kein redundantes Netzteil, da das sonst zu laut wäre. Die Lautstärke ist jetzt wirklich erträglich. Früher war das Fön-Gebläse nur mit Kopfhörer erträglich.
Wir nehmen Proxmox (mit ZFS) als Virtualisierer, auch wegen dem tollen Proxmox Backup Server und schauen, dass wir auch Replizierung (auf den „Consumer“) einschalten, dann haben wir auch einigermaßen Redundanz.
Schau, dass Du genügend schnelle Netzwerkkarten hast, also z.B. eine 4-Port 10GBit-Karte o.ä.
LG
Max
Hallo!
Danke für eure Informationen. Das deckt schon sehr mit meinen Vorstellungen. Ich möchte nämlich auch lieber zwei Server haben. Wenn es soweit ist, überhäufe ich euch dann wieder mit Fragen!
Bis bald!
Andreas
Hallo,
konkrete Angaben zur Hardwareausstattung habe ich schon an mehreren Stellen hier im Forum gemacht…
Wir setzten immer auf Proxmox Virtualisierung und bilden darauf auch alle benötigten weiteren Serversysteme und Installationen, meistens auch Windows Server, Nextcloud, WLAN-Controller usw. als VMs ab … ZFS Festplatten, Raid10 oder, wenn genug Geld vorhanden ist, in Kombi mit SSD Raid-1, dabei Minimum 64 GB RAM und so viele Kerne wie möglich …
Wir bieten auch maßgeschneiderte Serversysteme auf Supermicro Basis auf Wunsch auch mit (Fernwartungs-)Servicevertrag an, wenn man das nicht selbst machen will
Alles weitere wurde oben ja bereits ausführlich und gut dargestellt …
Grüße,
gerd
Hallo Michael,
Diese gebrauchten Teile hören sich schon sehr interessant an,
kannst du mal eine Hausnummer nennen was ihr für die beschriebene Ausstattung letztendlich bezahlt habt?
Grüße,
gerd
→ kommt per PM
Michael
Hallo,
ich baue beruflich dauernd Linux-Server in verschiedenen Größen.
Für die von mir betreute Schule habe ich - ähnlich wie einige oben erwähnt haben - auf ein Ryzen System gesetzt. In Preis/Leistung ist das im Moment nicht zu schlagen, sowohl wegen der verfügbaren CPU Performance, der Kerne als auch der PCIe Lanes die direkt an die CPU angebunden sind falls Du später weitere Erweiterungskarten verbauen willst.
Allerdings unterstützen nicht alle Mainboards alle Features.
Ich würde empfehlen:
Wenn Du mehr Fragen zu Hardware hast kannst Du gern nachfragen. Ist mein täglich Brot.
Danke, das sind wirklich hilfreiche Tipps! Drei Fragen hätte ich tatsächlich:
Welches Server-Chassis verwendest du denn gerne?
Würdest du ein einfaches Netzteil oder ein redundantes Netzteil empfehlen? Aus meiner Sicht gibt es zwei Vorteile eines „einfachen Netzteils“: der mögliche niedrige(re) Stromverbrauch und dass es das auch „in Leise“ gibt. Dafür geht ein einfaches Netzteil halt zu Lasten der Redundanz.
Und: hast du eine Mainboard/CPU-Empfehlung, die eine Stufe unter der Leistung der von dir vorgeschlagenen Konfiguration liegt? Der Ryzen 9 5900X hat ja 12 Kerne/24 Threads, das ist schon ordentliche Leistung, die allerdings nicht immer gebraucht wird. Gibt es da was im Spektrum zwischen 6C/12T und 12C/24T, was dennoch ein gutes Preis-/Leistungsverhältnis bietet?
Hallo,
Wenn Du Ausfallsicherheit willst, dann sollte das Netzteil redundant sein. Die häufigsten Ausfälle in den zwanzig Jahren in denen ich linuxmuster.net betreute waren Netzteilausfälle. Deshalb baue ich - wo immer es geht - redundante Netzteile ein.
Gruß
Alois
Abend auch, jetzt komme ich wieder…
Ich (!) wuerde keine redundanten Netzteile verbauen, uns ist in 25 Jahren noch nicht eins im Server abgeraucht und wir nutzen auch keine USVs mehr, frisst nur Strom und hat uns bisher noch nie gefehlt, zwei Abstuerze wurden sogar durch diese getriggert - aber diese Diskussion hatten wir schon mehrfach.
Mir waer nichtmal ECC-RAM wichtig, RAID machen wir auch immer per Software.
Gruss Harry