Neuer Server: Welche "Features" machen Sinn?

Hallo,

teilweise wurde es schon in anderen Threads andiskutiert, ich würde es aber gerne mal - nicht nur für mich - zusammenführen.

Ich bin bei der Beschaffung eines neuen Servers. Dabei stehe ich hardwareseitig vor ein paar Fragen / Entscheidungen, zu denen ich gerne noch ein bisschen diskutieren bzw. andere Meinungen hören würde.

  1. NICs:
    Jetzt in 2017 haben viele Server schon 10GBit-NICs (Kupfer) onboard.
    Macht das Sinn oder besser mehrere 1 Gbit NICs?
    Wenn 10GBit: Kann man das bei 3 Metern zum Switch in Kupfer machen oder gibt das zu viele Probleme?
    Mitunter liest man, 10GBit funktioniert nur mit SFP+ zuverlässig. Das hat aber kein Server onboard und muss man relativ teuer dazu kaufen, zumal man dann ja auch noch die SFP±Module für Server und Switch braucht.
    Dass der Switch auch 10 Gbit können muss, damit 10Gbit im Server Sinn macht, ist klar.
    Wobei bei den 10Gbit Kupfer-Ports man ja die Abwärtskompatibilität hat. Kann der Switch nur 1 Gbit, dann wird halt mit dieser Geschwindigkeit übertragen. Vermutlich ist das bei SFP+ auch so, oder?

  2. Single oder Dual-CPU
    Klar, 2 CPUs ist sicher der “Königsweg”. aber wie seht ihr den Vergleich mit einer einzelnen CPU mit entsprechend mehr Kernen und ggf. höherer Taktfrequenz? Was ist sinnvoller?

  3. Hypervisor und Storage für die VMs trennen, sprich eigenes RAID nur für die VMs - ja oder nein?
    Ich denke trennen bringt Vorteile.

  4. Echter HW-RAID-Controller oder Software-RAID?
    Für Proxmox habe ich von verschiedenen Seiten die Empfehlung, Software-RAID mit ZFS, siehe auch die Diskussion hier Proxmox- Erfahrungen mit zfs-storage, raidz ?

  5. RAID-Level? 5 oder 10? Bisher habe ich 5 und bin damit sehr zufrieden, lese aber immer häufiger vom EInsatz von RAID 10.
    Ach ja, kann man einem RAID 10 auch eine Hospare spendieren wie dem RAID 5? Vermutlich ja.

  6. Für welche Daten / Funktionen sollte man auf eine SSD (weil schneller) setzen?

  7. Hypervisor
    Die Frage traut man sich ja fast nicht zu stellen, nachdem XEN als “die” Lösung für LMN festgelegt wurde. aber:
    Wer setzt denn noch, und wer setzt weiter auf KVM (direkt mit Ubuntu wie Holger, oder Proxmox, …)
    Ich bin noch unschlüssig. Proxmox kenne ich und muss mich nicht neu einarbeiten. Aber wenn ich dann womöglich irgendwann alleiniger Außenseiter damit bin, wär’s auch blöd.
    (Wer sich hier nicht offen “outen” will, kann mir ja direkt schreiben :smiley: )

Viele Grüße
Steffen

Hallo Steffen,

NICs:
Jetzt in 2017 haben viele Server schon 10GBit-NICs (Kupfer) onboard.
Macht das Sinn oder besser mehrere 1 Gbit NICs?
Wenn 10GBit: Kann man das bei 3 Metern zum Switch in Kupfer machen
oder gibt das zu viele Probleme?
Mitunter liest man, 10GBit funktioniert nur mit SFP+ zuverlässig.
Das hat aber kein Server onboard und muss man relativ teuer dazu
kaufen, zumal man dann ja auch noch die SFP+-Module für Server und
Switch braucht.
Dass der Switch auch 10 Gbit können muss, damit 10Gbit im Server
Sinn macht, ist klar.
Wobei bei den 10Gbit Kupfer-Ports man ja die Abwärtskompatibilität
hat. Kann der Switch nur 1 Gbit, dann wird halt mit dieser
Geschwindigkeit übertragen. Vermutlich ist das bei SFP+ auch so, oder?

der Server im Semianr hat zwei 10GB LAN Karten auf dem Board: das kann
man schon machen.
Ich würde einfach das Geld entschieden lassen: wenn du dir Server mit
10GB und Switch mit entsprechendem Port leisten kannst, dann ist das
unproblematischer ein zu richten als bonds an zu legen.
Meine Schule konnte sich das nciht leisten, also hab ich da ein 4x1GB
LAN Bond.
Aber: schau doch mal nach 5GBit/s: die Geräte sollte es mitlerweile
geben und die sind nciht so teuer.

Single oder Dual-CPU
Klar, 2 CPUs ist sicher der "Königsweg". aber wie seht ihr den
Vergleich mit einer einzelnen CPU mit entsprechend mehr Kernen und
ggf. höherer Taktfrequenz? Was ist sinnvoller?

… wie groß ist eure Schule?
Meinst du wirklich du brauchst zwei Sockel?
Dann kostet aber auch dein Proxmox mehr …
Ich hab für meine fast 200 Clients in der Schule einen AMD Rechner mit 8
Kernen als Server: das ist OK.
Der schleppt auch noch ein paar andere Server mit (owncloud …).

Hypervisor und Storage für die VMs trennen, sprich eigenes RAID nur
für die VMs - ja oder nein?
Ich denke trennen bringt Vorteile.

ich hab das so. Aber auch hier: wie groß ist deine Schule?
Was ist mit dem Storage des jetzigen Servers: ist das zu langsam?

Echter HW-RAID-Controller oder Software-RAID?
Für Proxmox habe ich von verschiedenen Seiten die Empfehlung,
Software-RAID mit ZFS, siehe auch die Diskussion hier
https://ask.linuxmuster.net/t/proxmox-erfahrungen-mit-zfs-storage-raidz/105

… die Diskussion kannst du solange führen wie du willst: wirklich ein
Ergebnis wirst du nicht bekommen, da es auf vieles an kommt: vor allem
aber auf dich: bekommst du ein ZFS RAID in den Griff, oder willst du
lieber was, wo man beim Einrichten und Betrieb nciht so viele Fehler
machen kann: dann nimm einen HW Controller.
Ich selber mache SoftwareRAID und bin damit seit über 10 Jahren sehr
zufrieden…

RAID-Level? 5 oder 10? Bisher habe ich 5 und bin damit sehr
zufrieden, lese aber immer häufiger vom EInsatz von RAID 10.
Ach ja, kann man einem RAID 10 auch eine Hospare spendieren wie dem
RAID 5? Vermutlich ja.

ich habe RAID5 mit einer HotSpare.
Aber auch hier: da kannst du ewig drüber diskutieren.
Schätz ab, was du an Performance hast und was an GEld.
Kannst du es dir leisten 50% weniger Platz zu verwenden als du einkaufst?
Dann nimm RAID10.
Wenn nicht: RAID 5

Für welche Daten / Funktionen sollte man auf eine SSD (weil
schneller) setzen?

Die VMs sollten auf die SSD, aber das geht nicht, weil sie noch zu teuer
sind: also sind sie auf dem RAID.
Für den Hypervisor benötigst du keine SSD: da geht auch ein USB Stick:
der Hypervisor läuft sowiso im RAM.
Ich habe ihn nur auf einer SSD, weil ich der eine längere Haltbarkeit
zutraue als den 5 Jahre alten NOtebookfestplatten die ich sonst dafür
verwendet hätte: ich hab halt genommen, was in meinem Zimmer rum lag und
da war eine neue SSD in Greifweite :slight_smile:

  1. Hypervisor
    Die Frage traut man sich ja fast nicht zu stellen, nachdem XEN als
    "die" Lösung für LMN festgelegt wurde. aber:
    Wer setzt denn noch, und wer setzt weiter auf KVM (direkt mit Ubuntu
    wie Holger, oder Proxmox, …)
    Ich bin noch unschlüssig. Proxmox kenne ich und muss mich nicht neu
    einarbeiten. Aber wenn ich dann womöglich irgendwann alleiniger
    Außenseiter damit bin, wär’s auch blöd.
    (Wer sich hier nicht offen “outen” will, kann mir ja direkt
    schreiben :smiley: )

Proxmox läuft derzeit nicht Gefahr in der Versenkung zu verschwinden:
also verstehe ich die Sorge “Außenseiter” zu sein nicht.
Ob jemand von uns das Verwendet?
Wwen interessiert es welche Virtualisierung du verwendest.
Hast du häufig Probleme mit dem Hypervisor?
Kann man solche Probleme dann nicht auch in einem anderen Forum klären?
ist doch wurscht.
XEN ist super: KVM auch und dann gibt es eben noch Proxmox, VMware, …
die gehen auch: was solls.

Viele Grüße

Holger

Hallo Steffen,

besser als Holger hätte ich es auch nicht schreiben können. :wink: Nur folgende Anmerkung von mir noch dazu:

Nach meiner Erfahrung bildet in 95% der Fälle das Plattensystem (I/O) den Flaschenhals des Servers, nicht das Gbit-Netzwerk, nicht mehr der Speicher (kostet ja fast nichts mehr …). Aus diesem Grund würde ich den Schwerpunkt meines Budgets immer investieren in:

  • den besten RAID-Controller, den ich mir leisten kann,
  • die besten Platten, die ich mir leisten kann,
    ** SAS Platten - 6-8 Platten (plus 1-2 Hotspare) für einen RAID-Verbund (dann sind die Rebuildzeiten noch akzeptabel) sind ideal
    (** SSD Platten - 6-8 Platten (plus 1-2 Hotspare) für einen RAID Verbund wären noch besser)
    ** SATA Platten - 6-8 Platten (plus 1-2 Hotspare) für einen RAID Verbund (nur RAID10) sind akzeptabel
    ** Einen Kombination aus SATA (Betriebssysteme/Archive) und SSD/SAS (Arbeitslaufwerke mit vielen gleichzeitigen Benutzern) ist sicher auch eine Überlegung wert,
  • Der Grundsatz “keep it simple” bewährt sich doch immer wieder, besonders bei Dingen, mit denen man nur (hoffentlich) selten zu tun hat … :wink:

Grüße
Bertram

Hallo Holger,

der Server im Semianr hat zwei 10GB LAN Karten auf dem Board: das kann
man schon machen.
Ich würde einfach das Geld entschieden lassen: wenn du dir Server mit
10GB und Switch mit entsprechendem Port leisten kannst, dann ist das
unproblematischer ein zu richten als bonds an zu legen.

ich will künftig > 1 Gbit. Und da ist genau das “keep it simple” auch
meine Überlegung. Man muss am Server und den Switches weniger
(eigentlich nichts) konfigurieren, wenn man 1x 10GBit nimmt.

Meine Schule konnte sich das nciht leisten, also hab ich da ein 4x1GB
LAN Bond.

Da ist wohl eher die Frage, was sich die Schule leisten will / bereit
ist, dafür zu investieren, als ob sie es kann.

Im Budget, das mir zur Verfügung steht, sollte 10GBit drin sein, samt
Switch. Dennoch muss ich eben schauen, wie ich mit dem Geld hinkomme.

Am Server macht das eigentlich preislich nichts mehr aus, da alle
Server, die ich mal so konfiguriert habe, eh 10GBit auf dem Board haben.

Teurer wird’s erst, wenn man auf SFP+ will. Und da war eben meine Frage,
ob 10GBit per Kupfer nicht doch zu fehleranfällig ist (weil die
Schirmung nicht ausreicht, wenn andere LAN oder Stromkabel in der Nähe
verlaufen).

Aber: schau doch mal nach 5GBit/s: die Geräte sollte es mitlerweile
geben und die sind nciht so teuer.

Serverseitig ist mir das noch gar nicht über den Weg gelaufen. Beim
Switch will ich auf jeden Fall einen L3 Switch, wenn ich schon einen
neuen Backbone-Switch kaufe - falls Netzsegmentierung dann doch mal in
absehbarer Zeit spruchreif wird.

Auch da sind eigentlich in der Regel 1 Gbit oder 10 Gbit zu finden.
Ich schaue aber nochmal nach 5GBit.

Meinst du wirklich du brauchst zwei Sockel?

Der momentane Server hat halt auch schon zwei. Auch wenn man nicht immer
weiter, höher, schneller muss, aber einen neuen Server, der dann weniger
leistungsfähig ist als der bisherige, macht imho trotzdem wenig Sinn.

Dann kostet aber auch dein Proxmox mehr …

Ja, das ist eben - neben dem Preis für die HW - die Überlegung.

Ich hab für meine fast 200 Clients in der Schule einen AMD Rechner mit 8
Kernen als Server: das ist OK.
Der schleppt auch noch ein paar andere Server mit (owncloud …).

Wir sind noch nicht ganz, aber in der nächsten Zeit auch bei der Größe
(ca. 200 Clients) und fahren jetzt schon ebenfalls mehrere VMs.

|Hypervisor und Storage für die VMs trennen, sprich eigenes RAID nur
für die VMs - ja oder nein? Ich denke trennen bringt Vorteile.|

ich hab das so. Aber auch hier: wie groß ist deine Schule?
Was ist mit dem Storage des jetzigen Servers: ist das zu langsam?

Momentan hab ich ein RAID 5 für Hypervisor und VMs gemeinsam.

Die Performance ist nach einigen Anpassungen, die damals Dirk
vorgeschlagen hat ok.
Dennoch ist es ein bescheidenes RAID 5, denn es hat 4 aktive HDs statt 3
(oder dann wieder 5), was von der Performance nicht optimal ist. Ich hab
das zu spät gemerkt, dass die Hotspare auch aktiv ins RAID genommen
wurde und dann konnte (und wollte) ich nicht alles wieder platt machen.

Künftig würde ich aber eigentlich gerne die Installation des Hypervisors
vom RAID für die VMs trennen. Das macht einen imho bei UPdates /
HW-Umzug flexibler.

… die Diskussion kannst du solange führen wie du willst: wirklich ein
Ergebnis wirst du nicht bekommen, da es auf vieles an kommt: vor allem
aber auf dich: bekommst du ein ZFS RAID in den Griff, oder willst du
lieber was, wo man beim Einrichten und Betrieb nciht so viele Fehler
machen kann: dann nimm einen HW Controller.
Ich selber mache SoftwareRAID und bin damit seit über 10 Jahren sehr
zufrieden…

Beim damaligen pädLML 4 Server, den ich seinerzeit aufgesetzt habe,
hatte ich auch ein SW-RAID und war nicht unzufrieden.
Sowohl die Einrichtung als auch die mehreren nötigen HD-Tauschs über die
Betriebszeit des Servers waren für mich machbar.
Allerdings gab’s damals die ausführliche Anleitung zur Einrichtung des
RAIDs im Anhang des Handbuchs.

ZFS-RAID ist sicher ähnlich, aber eben doch anders.

Den größten Vorteil des SW-RAIDs sehe ich in der HW-Unabhängigkeit.
Bislang hatte ich mit meinem derzeitigen HW-RAID-Controller nie ein
Problem, der Austausch defekter HDs war natürlich
einfacher/narrensicherer als bei einem SW-RAID.

Aber wenn einem der Controller abraucht steht man halt ganz dumm da,
nämlich vor dem nichts. Gerade ZFS-RAID hat auch sonst anscheinend viele
Vorteile gegenüber HW-RAID.

Klar, dass ich die Entscheidung letztlich selbst treffen muss und es
immer unterschiedliche Meinungen geben wird. Ich finde einen Austausch
dennoch hilfreich.

ich habe RAID5 mit einer HotSpare.
Aber auch hier: da kannst du ewig drüber diskutieren.
Schätz ab, was du an Performance hast und was an GEld.
Kannst du es dir leisten 50% weniger Platz zu verwenden als du einkaufst?
Dann nimm RAID10.
Wenn nicht: RAID 5

Für ein RAID 5 mit Hotspare brauche ich 4 HDs. Nehm ich z.B.
4-GB-Platten, habe ich 8 TB, nutze also effektiv 50%.
Für ein RAID 10 mit Hotspare brauche ich 5 Platten, hab gleich viel
Speicherplatz und nutze effektiv 40%. Das ist jetzt nicht der riesen
Unterschied.

Interessanter ist da die Frage, was mir mehr Performance bringt. Und da
dürfte - beim Flaschenhals HD - ein RAID 10 höhere I/O Werte haben.

Die VMs sollten auf die SSD, aber das geht nicht, weil sie noch zu teuer
sind: also sind sie auf dem RAID.

Ja, so weit klar.

Für den Hypervisor benötigst du keine SSD: da geht auch ein USB Stick:
der Hypervisor läuft sowiso im RAM.

Und was ist mit Logging, Swapping, Updates, …?!?
Klar, man braucht keine schnelle SSD für den Hypervisor.

Die Alternative sind aber viel zu große HDs, wenn man "richtige"
Laufwerke will.
Oder eben den Hypervisor auf’s gleiche RAID, wie ich es derzeit habe.
Da sehe ich inzwischen aber eben Nachteile drin.

Proxmox läuft derzeit nicht Gefahr in der Versenkung zu verschwinden:
also verstehe ich die Sorge “Außenseiter” zu sein nicht.

Bezogen auf LMN kann ich das nicht abschätzen. Es gibt mehrere Aussagen
von Nutzern, die auf XEN wechseln wollen, weil das der ausgerufene
(supportete) Standardweg ist, einige haben schon gewechselt.

Wwen interessiert es welche Virtualisierung du verwendest.
Hast du häufig Probleme mit dem Hypervisor?

Nein, natürlich nicht.

Kann man solche Probleme dann nicht auch in einem anderen Forum klären?

Man kann es versuchen, erfahrungsgemäß sind da aber die Reaktionszeiten
länger und die Freundlichkeit und Hilfsbereitschaft geringer :wink:

und dann gibt es eben noch Proxmox, VMware, …
die gehen auch: was solls.

Dass es damit geht steht außer Frage. Ich würde ungeachtet des
Vorhandenseins anderer Foren zum eingesetzten Hypervisor trotzdem ungern
jetzt auf Lösung X (ungleich Xen) setzen und dann hier künftig der
Einzige sein, der das nutzt.

Wenn dann was nicht funktioniert, kommt gerne der Fingerzeig “wir haben
doch ausdrücklich was anderes empfohlen, also schau allein, wie du jetzt
klar kommst”.

Wenn es dann zumindest eine breitere Nutzerbasis von - in meinem Fall -
Proxmox gibt, dann steht man nicht ganz allein da.

Viele Grüße
Steffen

Hallo Bertram,

Nach meiner Erfahrung bildet in 95% der Fälle das Plattensystem (I/O)
den Flaschenhals des Servers, nicht das Gbit-Netzwerk, nicht mehr der
Speicher (kostet ja fast nichts mehr …). Aus diesem Grund würde ich
den Schwerpunkt meines Budgets immer investieren in:

  • den besten RAID-Controller, den ich mir leisten kann,

das klingt nach einer Empfehlung für HW-RAID?!?
Es gibt ja aber durchaus die Alternative SW-RAID, siehe den Thread über
ZFS, den ich verlinkt hatte.

  • die besten Platten, die ich mir leisten kann,
    ** SAS Platten - 6-8 Platten (plus 1-2 Hotspare) für einen
    RAID-Verbund (dann sind die Rebuildzeiten noch akzeptabel) sind ideal

SAS ist ja schweineteuer. Da kann man fast schon SSDs nehmen…
Und 6-8 HDs ist selbst bei SATA kaum machbar. 7-8.000 Euro hab ich jetzt
definitiv auch nicht für den Server

(** SSD Platten - 6-8 Platten (plus 1-2 Hotspare) für einen RAID
Verbund wären noch besser)

Ja, aber eben noch einen Ticken unbezahlbarer als SAS :wink:

** SATA Platten - 6-8 Platten (plus 1-2 Hotspare) für einen RAID
Verbund (nur RAID10) sind akzeptabel

Wie viel schneller ist ein RAID 10 denn im Vergleich zu einem RAID 5 in
der Praxis wirklich?

** Einen Kombination aus SATA (Betriebssysteme/Archive) und SSD/SAS
(Arbeitslaufwerke mit vielen gleichzeitigen Benutzern) ist sicher
auch eine Überlegung wert,

Wenn man virtualisiert, dann fällt “Archiv” und Arbeitslaufwerk wohl
zusammen.

  • Der Grundsatz “keep it simple” bewährt sich doch immer wieder,
    besonders bei Dingen, mit denen man nur (hoffentlich) selten zu tun
    hat … :wink:

Ja, aber was genau meinst du?
Kein separates RAID für den Hypervisor?
1x 10GBit LAN statt Trunk/Bond?
… ?

Viele Grüße
Steffen

Ich hab nicht mehr ganz alles gelesen was unten steht, ich hoffe ich dopple nicht alles :slight_smile:

Ich würde in jedem Fall 10G rein machen. Die 10G-SFP+ NICs sind nicht übertrieben teuer und du kauft dadurch auch Flexibilität mit ein. 10G-BASE-T kannst du aber auf die 3m in jedem Fall machen.
Layer3 Switch mit 10G muss nicht teuer sein. für ca. 650€ (brutto) kann ich dir einen Liefern den wir bereits an Schulen einsetzen mit 12x 10G SFP+ und 4x 10G BASE-T.

Nimm besser einen Socket und je nach dem was du alles drauf laufen lässt auch lieber ein paar Kerne weniger, die aber kräftiger.

Was immer dir Spass macht. USB-Stick und SD-Karten würde ich aber vermeiden. Das einfachste ist immer ein paar Gig beim RAID abzwacken für eine separate Disk, den Rest dann in einen großen Pool.

Da kann man lange drüber streiten. Ich vertrete aber absolut HW. Aber auf jeden Fall NVRAM oder mit Bufferd RAM. Außerdem ist das Setup ist wesentlich angenehmer. Die Legenden dass wenn der RAID-Controller kaputt geht ist dein RAID verloren solltest du nicht glauben :wink:

Wurde schon gesagt, wenn du es leisten kannst 10, sonst 5. Was auch eine gute Option ist RAID6

Ich versuche immer SSD oder SAS und ggf. SATA dazu zu nehmen. Wenn du mehrere Pools machst hast du halt auch mehr Verschnitt. Je nach dem wieviel Speicher du brauchst würde ich stand heute komplett auf SSDs gehen. Oder dazu ein Pool machen RAID1 mit 2x 4,5,6 oder 8TB Platten. In der Xen-Appliance sind gibt es bereits einzelne Platten für sys home und var. So kannst du SATA für Home und Var verwenden und auf die SSDs den Rest packen.

Anleitung runter laden und XenServer mal testen. Das dauert 30min dann kannst du dir ein Bild machen. Letztlich bleibt das deine Entscheidung und in keiner künftigen Version wird ein Hypervisor vorausgesetzt. Einzig werden VMs auch zum direkten Import übers Web bereitgestellt und ein paar Tools für den Xenserver geschrieben für komfortable Einrichtung, Backup usw.

Solltest du noch ein weiteres Angebot für einen Server brauchen kannst du dich gerne mal melden.

Viele Grüße
Kai

Hallo Kai,

Ich würde in jedem Fall 10G rein machen. Die 10G-SFP+ NICs sind nicht
übertrieben teuer und du kauft dadurch auch Flexibilität mit ein.
10G-BASE-T kannst du aber auf die 3m in jedem Fall machen.

was meinst du mit der Flexibilität?

Layer3 Switch mit 10G muss nicht teuer sein. für ca. 650€ (brutto) kann
ich dir einen Liefern den wir bereits an Schulen einsetzen mit 12x 10G
SFP+ und 4x 10G BASE-T.

Ich hatte mal bei Cisco geschaut, weil hier ja auch immer der kleine 1
GBit Cisco für Layer 3 empfohlem wird (bzw. es die Anleitung für die
Einrichtung des Subnettings damit gibt). Da war 10Gbit aber definitiv
deutlich > 1.000€

Was wäre das für ein Switch für die 650€ ?

Nimm besser einen Socket und je nach dem was du alles drauf laufen lässt
auch lieber ein paar Kerne weniger, die aber kräftiger.

Du meinst mehr Taktfrequenz?

Derzeit hab ich 2x 4 Kerne mit Hyperthreading, also virtuell 16 Kerne,
die ich auch fast alle an die VMs verteilt (zugewiesen) habe.

Das Ganze läuft sehr gut und flüssig.

Insgesamt laufen aktuell 4 VMs dauerhaft (IPFire, LMN, Coova, Webserver)

Was würdest du da bei einer Single-CPU mindestens nehmen?

Was immer dir Spass macht. USB-Stick und SD-Karten würde ich aber
vermeiden. Das einfachste ist immer ein paar Gig beim RAID abzwacken für
eine separate Disk, den Rest dann in einen großen Pool.

Separate Disk oder Partition?
Wenn Disk, zwacke ich ja nichts am RAID ab…

Da kann man lange drüber streiten. Ich vertrete aber absolut HW. Aber
auf jeden Fall NVRAM oder mit Bufferd RAM.

Das sollten die hochwertigen LSI & Co ja imho alle haben.

Außerdem ist das Setup ist
wesentlich angenehmer.

Ja, das stimmt natürlich.

Die Legenden dass wenn der RAID-Controller kaputt
geht ist dein RAID verloren solltest du nicht glauben :wink:

Hm, ok. Aber adäquaten Ersatz braucht man halt schon erst mal, damit der
neue Controller den RAID-Verbund wieder erkennt und ohne Datenverlust
nutzt, würde ich sagen…

Wurde schon gesagt, wenn du es leisten kannst 10, sonst 5. Was auch eine
gute Option ist RAID6

So groß dürfte der Preisunterschied ja nicht sein. Im Prinzip braucht
man bei RAID 10 halt 1 HD mehr.

Je nach dem
wieviel Speicher du brauchst würde ich stand heute komplett auf SSDs
gehen.

Hm, aktuell brauche ich so 1,5 TB, das könnten natürlich auch mal 2 TB
werden, wenn noch was dazu kommt.

Oder dazu ein Pool machen RAID1 mit 2x 4,5,6 oder 8TB Platten. In
der Xen-Appliance sind gibt es bereits einzelne Platten für sys home und
var. So kannst du SATA für Home und Var verwenden und auf die SSDs den
Rest packen.

Das macht das Szenario natürlich alles wieder komplexer, wenn man
verschiedene virtuelle HDs einer VM auf unterschiedliche Storages packt.

Anleitung runter laden und XenServer mal testen. Das dauert 30min dann
kannst du dir ein Bild machen.

Da bräuchte ich erst mal HW dazu :wink:

Solltest du noch ein weiteres Angebot für einen Server brauchen kannst
du dich gerne mal melden.

Ein Angebot mehr schadet nie :wink:

Ich meld mich mal per E-Mail.

Viele Grüße
Steffen

Hallo Steffen,

das klingt nach einer Empfehlung für HW-RAID?!?
Es gibt ja aber durchaus die Alternative SW-RAID, siehe den Thread über
ZFS, den ich verlinkt hatte.

Ein ganz klares ja, da ich nur auf Citrix Xenserver und VMware ESXi setze. Software-Raid wird nicht unterstützt und es ist unwahrscheinlich, ob z.B. ein Upgrade des Hypervisors funktionieren wird. Des Weiteren sind die Ressourcen der Servicekonsole beschränkt.

SAS ist ja schweineteuer. Da kann man fast schon SSDs nehmen…
Und 6-8 HDs ist selbst bei SATA kaum machbar. 7-8.000 Euro hab ich jetzt
definitiv auch nicht für den Server

Was ist denn “schweineteuer” ? Eine 900GB SAS Platte (10k) kostet Netto etwa 300€.

Ja, aber eben noch einen Ticken unbezahlbarer als SAS :wink:

Eine 480GB Intel SSD liegt bei Netto etwa 155 € …

Wie viel schneller ist ein RAID 10 denn im Vergleich zu einem RAID 5 in
der Praxis wirklich?

Hier geht es speziell um die Schreibperformance … siehe z.B. https://www.heinlein-support.de/upload/slac08/Heinlein-RAID_Mathematik_fuer_Admins.pdf

Wenn man virtualisiert, dann fällt “Archiv” und Arbeitslaufwerk wohl
zusammen.

Wieso? Ich kann meine virtuellen Platten doch auf unterschiedliche RAID-Verbunde legen, um Kosten zu sparen. Nicht - oder selten gebrauchte Daten, wie z.B Bilder der letzten Klassenfahrt, müssen nicht auf einer SSD liegen. Eine Datenbank schon eher.

Ja, aber was genau meinst du?
Kein separates RAID für den Hypervisor?
1x 10GBit LAN statt Trunk/Bond?

Kein separates RAID für den Hypervisor! Ich sehe hier keinen für mich nachvollziehbaren Vorteil. Der Citrix Xenserver z.B. benötigt 70GB.

1x10GBit ist schon einfacher einzurichten als eine Link-Aggregation (obwohl das wirklich gut bei fast allen Herstellern dokumentiert ist). Ich sehe aber derzeit in einem Schulnetzwerk nicht den praktischen Nutzen, mehr als 120 MB/s übertragen zu können. Wie oft brauche ich das denn wirklich? Das Geld würde ich in bessere Platten stecken. Besonders in einer virtualisierten Umgebung ist I/O von entscheidender Bedeutung!!!

Viele Grüße
Bertram

Hallo Bertram,

Ein ganz klares ja, da ich nur auf Citrix Xenserver und VMware ESXi
setze. Software-Raid wird nicht unterstützt und es ist unwahrscheinlich,
ob z.B. ein Upgrade des Hypervisors funktionieren wird. Des Weiteren
sind die Ressourcen der Servicekonsole beschränkt.

Ok, meine Ausgangsposition ist bislang Proxmox, da ist ZFS-SW-RAID
ausdrücklich möglich.

Was ist denn “schweineteuer” ? Eine 900GB SAS Platte (10k) kostet Netto
etwa 300€.

Da bekommt man eben bei SATA mind. 4-6 TB dafür :wink:

Wieso? Ich kann meine virtuellen Platten doch auf unterschiedliche
RAID-Verbunde legen, um Kosten zu sparen.

Dann wird das ganze Szenario aber auch wieder entsprechend komplex.

Nicht - oder selten gebrauchte
Daten, wie z.B Bilder der letzten Klassenfahrt, müssen nicht auf einer
SSD liegen. Eine Datenbank schon eher.

Wo liegt z.B. bei LMN die Postgres- oder LDAP-Datenbank? In var?

Kein separates RAID für den Hypervisor! Ich sehe hier keinen für mich
nachvollziehbaren Vorteil. Der Citrix Xenserver z.B. benötigt 70GB.

Der Vorteil liegt wohl eher in der physikalischen Trennung von
Hypervisor und VMs, nicht im Platzbedarf.

1x10GBit ist schon einfacher einzurichten als eine Link-Aggregation
(obwohl das wirklich gut bei fast allen Herstellern dokumentiert ist).
Ich sehe aber derzeit in einem Schulnetzwerk nicht den praktischen
Nutzen, mehr als 120 MB/s übertragen zu können. Wie oft brauche ich das
denn wirklich? Das Geld würde ich in bessere Platten stecken. Besonders
in einer virtualisierten Umgebung ist I/O von entscheidender Bedeutung!!!

Viele Server haben 10G-Base-T ja schon onboard bzw. es kostet kaum mehr,
ein solches Board zu wählen.

1,5 TB HD-Nutzplatz wären das absolute Minimum, 4 TB wären wohl als für
die nächste Zeit zukunftssicher zu bezeichnen.

Das wäre immer noch weniger als momentan (6 TB), wobei anzumerken ist,
dass das nur so ist, weil die eigentlich als Hotspare vorgesehene HD
versehentlich ins aktive RAID aufgenommen wurde.

Ich muss mal noch ein paar Szenarien geldmäßig durchspielen.

Viele Grüße
Steffen

Hallo Bertram,

1x10GBit ist schon einfacher einzurichten als eine Link-Aggregation
(obwohl das wirklich gut bei fast allen Herstellern dokumentiert ist).
Ich sehe aber derzeit in einem Schulnetzwerk nicht den praktischen
Nutzen, mehr als 120 MB/s übertragen zu können.

… ich schon.
Mein Schulnetz geht Sternförmig mit 5 Strahlen vom Backbone Switch weg:
da finde ich es schon gut, dass ich am Backbone wenigstens 4 davon mit
1GBit/s versorgen kann.
Der Server hat ein SoftwareRAID 5 mit 5 WD Black 2TB Platten: die hauen
um die 300 MB/s raus… die würden durch eine einzelne GB Leitung schon
gebremst.

Subjektiv läuft es alles auch Flotter seit ich die Truncs habe.
Am torrentbildschirm kann man das auch sehen.

Viele Grüße

Holger

Hi Holger,

da habe ich mich wohl ungenau ausgedrückt. :wink: Ich meine das als Maximum der Datenübertragung pro Client in einem GBit Netz, die einem bei einer Leitungsbündelung zur Verfügung steht.

Ein kurzer Hinweis vielleicht noch zu den den linearen Datenübertragungsraten der Platten. Die 300MB/s werden sicher erreicht, wenn es eine, zwei Leseanforderungen gleichzeitig gibt. Wie schaut es denn mit den Schreibraten auf die Platten aus? Wie ist die Lese-/Schreibleistung, wenn zwei,drei,vier Computerräume gleichzeitig arbeiten? Hier sind nicht die linearen Werte wichtig, sondern wie viel I/O mir die Platten bei vielen kleinen Lese-/Schreibvorgängen liefern können. Das ist z.B immer gut an Lernsoftware zu sehen, wo die Datenverzeichnisse im Netz liegen und 30 bis 40 Lernende gleichzeitig arbeiten. Kommt dann noch eventuell Linbo, An/Abmeldungen oder Filter/Proxy Traffic des IPFire dazu, der auf den Platten rödelt …

Wünsche allen ein erholsames Wochenende.

Grüße
Bertram

Gott sei dank geht und kommt nicht jedes Bit und Byte das durch die NIC wandert auch direkt über die Platten. Ein Raid-Controller hat alleine 1-2 GB RAM und dazu kommen noch 42-96 GB RAM die nunmal fern jeder Geschwindigkeit der HDDs liegen dürften :wink: SSDs haben da natürlich auch deutlich bessere Performance die nicht mehr den Flaschenhals bilden. Heute gibt es relativ “günstige” 12Gbit SSDs.

Hallo,

nochmal zu Single/Dual-CPU:
Mir ist klar, dass man Taktfrequenz, Anzahl der Kerne und Cache nicht
1:1 vergleichen kann, da es ja auch auf die Architektur u.a. ankommt,
aber dennoch:

Angenommen, man hat ein Dual-CPU-System mit INTEL Xeon E5-2603 V4
1700MHz 15M Cache 6Core

Rein rechnerisch würde man dann ja eine Single-CPU mit 3400MHz 30M Cache
12Core benötigen

Ein INTEL Xeon E5-2643 V4 3400MHz 20M Cache 6Core kostet mehr als das
3-Fache der beiden INTEL Xeon E5-2603 V4 1700MHz 15M Cache 6Core

Ein INTEL Xeon E5-2650 V4 2200MHz 30M Cache 12Core kostet auch weit mehr
als das Doppelte. Im Vergleich dazu ist der Mehrpreis eines
2-Sockel-Boards deutlich geringer, zumal das dann oft schon mind. 2x
10GBit-Base-T onboard hat.

Das spricht doch eindeutig für ein Dual-CPU-System… ?!?

Viele Grüße
Steffen

Hallo Holger,

zum RAID / Speicherplazu

Der Server hat ein SoftwareRAID 5 mit 5 WD Black 2TB Platten

hast du tatsächlich 5 HDs im RAID 5 (ohne Hotspare)?
Das macht dann ja 8 TB Speicherplatz. Brauchst du so viel?

Ich hab derzeit 6TB (ungewollt, eigentlich sollten es 4 TB sein), und
davon brauche ich gerade mal so 1,5 TB, wobei > 1 TB auf die LMN-VM
entfällt, und das habe ich wenn ich mir die Belegung von /home und /var
anschaue eher ziemlich überdimensioniert gewählt, weil ich den
Platzbedarf mit Quota/User*Userzahl gerechten habe und bei uns kein
Lehrer auch nur annähernd sein Quota ausschöpft. Da könnte ich
theoretisch deutlich runter gehen.
Selbiges bei /var. Das sind > 400GB, von denen dank kein Windows am
Client < 5% belegt sind - man muss ja nicht 20+ alte Cloops aufbewahren :slight_smile:

Ich überlege daher gerade echt, ein RAID 10 aus 4x 2TB SAS zu machen,
die sind durchaus erschwinglich.

Einziger Haken:
Meine bislang angefragten Serverlieferanten (weil beim letzten Mal
BestPrice) haben 2 TB SAS nur von Seagate.

Seagate wollte ich eigentlich nie wieder verbauen - wegen der
Erfahrungen beim pädML 4 Selbstbau-Server, bei dem mir in schöner
Regelmäßigkeit eine nach der anderen Seagate ausgestiegen ist und auch
du / andere sehr schlechte Erfahrungen mit Seagate gemacht haben:
Seagate: Seagate nicht (lies: Seagate = Sie geht) :smiley:

Nach dem Umstieg auf WD hatte ich so gut wie keinen Ausfall mehr.

Viele Grüße
Steffen

HI Steffen,

netter Blog zu ZFS und Storage-Themen:
louwrentius.com

Viele Grüße,
Jochen

Hallo Jochen,

netter Blog zu ZFS und Storage-Themen:
louwrentius.com http://louwrentius.com

ok, danke.

ZFS als Filesystem kann man imho ja verwenden, egal ob man einen
HW-RAID-Controller hat, oder ein SW-RAID damit macht.

Einzige mir bislang bekannte Einschränkung: Man kann nicht davon booten,
wenn die HDs 4k Sektoren haben.

Im Blog wird viel von Home-Usage gesprochen, ist hier ja anders.
Ich verstehe das so, dass der Vorteil von ZFS in der Schutzfunktionen
gegen korrupte Daten liegt, der Nachteil aber ist, dass man das
Dateisystem nicht (oder nicht so ohne weiteres) expandieren kann, wie
das z.B. bei mdraid gehen würde.

Vermutlich ist das auch bei einem HW-RAID dann schwieriger. Aber ich
stand noch nie vor der Situation, das RAID vergrößern zu wollen/müssen,
und so wie ich den Speicherplatz aktuell wieder auslege, wird das auch
künftig nicht der Fall sein.

Insofern könnte die Verwendung von ZFS in Kombination mit einem
HW-RAID-Controller eine gute Wahl sein, um Datensicherheit (ZFS) und
"Komfort" (HW-RAID) zu vereinen, oder bin ich da völlig neben der Spur?

Viele Grüße
Steffen