10 GBit -- wie gestaltet ihr den Einstieg bzw die Erweiterung?

Hallo.
Wir haben bisher keine 10GBit-Technik bei uns (“lediglich” ein 4-fach-Bond mit 4x 1Gibt vom Server zum Switch). Da nun aber ein paar Neuanschaffungen anstehen, stellt sich die Frage, wie man diesen Schritt am besten plant. Da einige hier ja schon deutlich weiter sind, stelle ich daher ein paar Fragen:

1.) Der Switch: Fiber oder Kupfer? Welchen habt ihr genommen? Ich tendiere natürlch zu Cisco, da die Konfiguration einheitlich ist. In einem anderen Thread hatte Holger ja schon vom SG350X berichtet. Läuft der eigentlich jetzt bei dir produktiv?

2.) Die Verbindung zum Server: Ich nehme stark an, dass ihr mit 1x 10 GBit vom Switch zum Server geht und alle VLANs tagged auf die Leitung legt (also genauso wie vorher beim bond.0)?

3.) Die Firewall: Das ist eigentlich das größte “Problem”, denn wir wollen (wie einige andere auch) mittelfristig zurück zu einer dedizierten Firewall, die ebenfalls mit 2x 10GBit Ports ausgestattet sein wird. Nun ist die Frage, wie man die FW in diesem Fall am besten einbindet: Ebenfalls alle VLANs tagged auf eine 10 GBit-Leitung oder lieber alles getrennt lassen und z.B. das grüne Netz auf 10 Gbit legen und alle anderen Netze, wo weniger los ist, auf herkömmliche 1GBit-Ports legen? (OPNSense)

Wie habt ihr das umgesetzt?
Schöne Grüße,
Michael

Hallo!
Ich habe einen Unifi EdgeSwitch 16 XG und bin sehr zufrieden damit. Er hat SFP+ Ports und 4 “normale” RJ45, auch 10G.
Die Switches und den Server in der Nähe habe ich mit Kupferkabeln mit SFP+ Steckern an den Enden (10G) verbunden. Die Switches sind ebenfalls von Unifi und die WLAN-APs auch.
Ich bin mit den Komponenten SEHR zufrieden.
Falls Du Empfehlungen zu Händlern brauchst, per PM melden.

Die Firewall habe ich virtualisiert. Sie nutzt für Rot die im Server eingebaute 1G-NIC, Rot geht also gar nicht zu den Switches.
LG
Max

Hallo Michael,

der SG350X läuft seit der ersten Januarwche produktiv in der Schule.
Der Server hat eine 10G Kupferleitung rüber zum Switch. Da laufen die VLANs drüber (ja, wie beim bond vorher).
Auch Rot läuft darüber zum Server.
Die Firewall ist bei mir virtualisiert.
Für deine dedizierte benötigst du aber keine 10G, oder habt ihr eine 10G Internetanbindung?

LG

Holger

Hi Max & Holger.
Ok, wenn ich aber jetzt Unifi Hardware als Switch einsetze (die ich übrigens ebenfalls super finde), kann ich die ganzen Settings vom Cisco-Switch vergessen. Daher die Überlegung, bei Cisco zu bleiben und die Einstellungen zu übernehmen.

Zur Virtualisierung der FW: Das haben wir im Moment auch so. Alle Leitungen gehen über das bond.0 und als tagged VLAN zum IPFire. Allerdings gibt es da das “Problem”, dass das komplette Netzwerk steht, wenn der Hypervisor steht. Wenn man immerhin die Firewall wieder auf Blech installiert, bricht nicht das komplette Netz zusammen (nur der Großteil :slight_smile: ) Ich kann das Argument, warum man die FW nicht virtualisieren sollte, jedenfalls gut nachvollziehen… es ist ja sogar so, dass man die beiden Worte “IPFire” und “virtualisiert” im offiziellen IP-Fire-Forum niemals in einem Satz benutzen sollte … :slight_smile:

Holger: Musstest du beim SG350X jetzt doch alles per Hand von vorne einstellen? Ich würde ja weiterhin lieber die bestehende config nehmen und einspielen anstatt mich wieder durch alle Einstellungen zu klicken (und am Ende womöglich etwas zu vergessen…).

Ach ja: Ich meinte nicht die Leitung vom Modem zur FW sondern vom Server zur FW. Wenn diese Leitung 10GBit dick ist, bleibt die Frage von oben: Alles auf diese Leitung mit VLAN oder lieber getrennt jede “Farbe” auf ein Interface?

Schöne Grüße,
Michael

Hallo Michael,

Zur Virtualisierung der FW: Das haben wir im Moment auch so. Alle
Leitungen gehen über das bond.0 und als tagged VLAN zum IPFire.
Allerdings gibt es da das “Problem”, dass das komplette Netzwerk steht,
wenn der Hypervisor steht. Wenn man immerhin die Firewall wieder auf
Blech installiert, bricht nicht das komplette Netz zusammen (nur der
Großteil :slight_smile: ) Ich kann das Argument, warum man die FW nicht
virtualisieren sollte, jedenfalls gut nachvollziehen… es ist ja sogar
so, dass man die beiden Worte “IPFire” und “virtualisiert” im
offiziellen IP-Fire-Forum niemals in einem Satz benutzen sollte …
:slight_smile:

… nun ja: die Ablehnung im IPFire Forum halte ich aus und ansonsten:
„nur ein Großteil geht nicht“… was bringt das?
Ich hab meine Server seit über 10 Jahren virtualisiert: bisher hab ich
das nicht einmal bereut…

Holger: Musstest du beim SG350X jetzt doch alles per Hand von vorne
einstellen? Ich würde ja weiterhin lieber die bestehende config nehmen
und einspielen anstatt mich wieder durch alle Einstellungen zu klicken
(und am Ende womöglich etwas zu vergessen…).

ich mußte nicht: aber ich habe.
Und das obwohl ich eine Vorlage für den import hatte von einem Kumpel.
Trotzdem hab ich es von Hand nochmal alles reingeklickt.
War mir lieber so: weil nachher ist doch irgend eine Definition oder
irgend was ein wenig anders und dann hab ich den Salat und such ewig, wo
das den nun sein könnte…
Nee, war mir zu gefährlich.
Ich hab den alten noch in der Schule laufen gehabt und sein Webfrontend
im Browser angeschaut.
Im anderen Browserfenster war das Webfrontend des neuen: und so habe ich
das alles durch abschauen „kopiert“.
Hat zwar einmal gedauert: dafür ging dann alles auch auf Anhieb.

Ach ja: Ich meinte nicht die Leitung vom /Modem/ zur FW sondern vom
/Server/ zur FW. Wenn diese Leitung 10GBit dick ist,

warum?
Ist deine Internetleitung 10G dick? (die Frage bleibt …)

bleibt die Frage
von oben: Alles auf diese Leitung mit VLAN oder lieber getrennt jede
“Farbe” auf ein Interface?

der ipfire ist nur in einem VLAN: im Servervlan.
Also warum sollte da irgendwas getagged sein?

LG

Holger

Hi Holger,

ja, ich weiß … was im Fall der nicht-virtualisierten FW weiterhin liefe, wäre der externe Zugriff z.B. via OpenVPN, so dass man ins rote Netz oder ins Management Netz gelangen kann. Natürlich muss man sowieso nachsehen, was los ist, wenn der Hypervisor down ist. Aber wenn man immerhin von außen nachsehen kann und sich auf dem IMM2 des Servers einloggen kann, kann man auch ohne laufenden Hypervisor Fernwartung betreiben. Bei einer virt. FW geht das nicht, da dann wirklich alles down ist. Es kann schon sein, dass das für „normale“ Schulen etwas over-sized ist – fragt man aber Leute, die die IT in "richtigen Betrieben :slight_smile: " aufziehen, sagen die fast ausnahmslos, dass die FW auf’s Blech gehört. Vielleicht gibt’s ja auch noch ganz andere Gründe, an die ich bisher gar nicht denke…?!
Vielleicht auch noch dieser Grund … ich habe aber den Eindruck, dass eine FW auf Blech mit vielen eingehenden VPN-Verbindungen besser klar kommt als wenn man das über eine virtualisierte FW laufen lässt (ist aber bisher nur eine Vermutung)?!
Unter’m Strich: Es bleibt natürlich eine „Geschmacks(?)frage“ ob es das einem wert ist, dass man die FW nicht weiterhin virtualisieren will. Ich gehe im Moment nur die Möglichkeiten durch. Bestellt habe ich noch nichts :slight_smile:

Zurück zur Frage: Ich habe die Situation, wie sie im Moment ist und wie sie mit 10 GBit sein könnte, einfach mal aufgezeichnet. Ein Bild sagt mal wieder mehr als eine lange eMail.
Also hier der Ist-Zustand:


Und hier eine von vielen Möglichkeiten, wie man das mit 10 Gbit machen könnte bzw wie man den ersten Ausbauschritt auf 10 GBit gestalten könnte (Sinn und Unsinn kann aber gerne weiterhin diskutiert werden :slight_smile: ):

(ich hatte mich in der letzen eMail übrigens selbst nochmal vertan … gemeint hatte ich die Verbindungen zwischen FW und L3-Switch. Also all das, was im Moment virtualsiert läuft)

Schöne Grüße,
Michael

Hi.
Ich komme nochmal auf den unteren Aufbau (also nicht-virtualisiert) zurück, da es in der aktuellen c’t einen halbwegs passenden Artikel dazu gibt:

Wenn man diese Hardware einsetzen würde, um dort OPNSense zu installieren, könnte man den Aufbau fast so realisieren … vorausgesetzt, dass man alle Netze tagged über eine 1GBit-Leitung zum Cisco-Router schickt, da die kleinen Kisten ja nur 2 oder 3 NICs haben.

Beeindruckend fand ich in diesem Zshg diese Aussage in der aktuellen c’t (S. 142-145):

„Seit Herbst 2016
bündelt es bei uns als Load Balancer mit
pfSense drei Internetanschlüsse, stellt
fast 500 MBit/s im Downstream bereit
und ist bisher sehr stabil durchgelaufen.“

Wie schätzt ihr das für ein Schulnetzwerk ein?
Schöne Grüße,
Michael

Hallo Michael,

“Seit Herbst 2016
bündelt es bei uns als Load Balancer mit
pfSense drei Internetanschlüsse, stellt
fast 500 MBit/s im Downstream bereit
und ist bisher sehr stabil durchgelaufen.”

Wie schätzt ihr das für ein Schulnetzwerk ein?

PFSense (oder lieber OPNsense) steht bei mir auch seit ein paar Jahren
auf der ToDo Liste als Loadbalancer.
Schade dass sie da nciht schreiben, welche Hardware sie drunter haben:
ich hab da nämlich keine Ahnung, ob da so ein miniPC reicht…

LG

Holger

DAS wird das Problem sein! Früher hieß es immer: „…für die Firewall reicht die älteste Kiste aus, die Du rumstehen hast, 2 Netzwerkkarten rein, fertig!“.
Wenn wir jetzt aber über Gigabit/s oder gar 10Gigabit/s reden, die wir dann auch halbwegs auslasten wollen und dann kommen noch entsprechende Dienste dazu wie VPN, Proxy, IDS/IPS (Suricata) oder so neumodisches Gelumps wie UTM (Sensei), was diese ganze „Next-Generation-Firewalls“ können und was ja schon irgendwie fancy ist, dann kann die Kiste plötzlich nicht mehr fett genug sein! Mini-PC ist dann nicht mehr!
Schaut Euch mal die Hardwareanforderungen von Sensei an (und die sprechen noch nicht mal von Gigabit/s…!).

Viele Grüße,
Jochen

Hallo Jochen,

man könnte auch Hardware Firewall nur für VPN nehmen und den Rest auf den virtuellen Firewalls belassen.

Viele Grüße
Thomas

Hi.
Aber zwei Firewalls hintereinander/nebeneinander zu betreiben ist alles andere als KISS, oder? :thinking:

Wenn man’s auf “richtiger” Hardware und dazu halbwegs flott (und etwas in die Zukunft gedacht) betreiben will, kommt man um die teure Lösung scheinbar nicht herum? Die schon öfter zitierte scope7-4210-FW hätte alles an Bord (10 GBit ist nachrüstbar) und dürfte auch genug Power für zukünftige Szenarien haben?!?

Michael

Ich denke es kommt sehr darauf an, was man vorhat. Wichtig ist, dass man gute Netzwerkkarten hat und diese ordentlich schnell miteinander kommunizieren können.

Die Frage ist eher, ob mit halbwegs aktueller Hardware je an diese Grenzen stößt. Ich kann mir wenig Szenarien vorstellen, wo eine Firewall im normalen Schulbetrieb ständig am Limit fährt. Unsere CPU (4 Kerne) der Firewall war in den letzten Jahren zu max. 32% (das ist der absolute Höchstwert) ausgelastet, im Schnitt sonst bei 5%. Wir sind zwar eine kleine Schule und es laufen auch sonst recht wenig Dienste auf der Firewall, aber da ist noch einiges an Luft nach oben (wir sind mit 200Mbit nach außen angebunden).

vG Stephan

1 „Gefällt mir“

Wenn Du nur Routing, Portfiltering NAT machen willst, dann brauchst Du nur Datendurchsatz.

Soll die FW auch noch Webfiltering, WebServer-Protection als Reverse-Proxy, SSL-Offloading, Site-to-Site VPN oder Email-Security machen, dann braucht die schon etwas mehr “Dampf”.

Wie gesagt…hängt vom jeweiligen Einsatzszenario ab.

Viele Grüße
Thomas