Welche Switches bzw. Netzwerkkomponenten sinnvoll?

nosch · 21. April 2023 um 12:15

Hallo zusammen!

Ich bin gerade dabei zu überlegen, wie wir unser kleines (150 Schüler, 10-20 Kollegen) Netzwerk etwas optimieren könnten. Vor allem sollen neue Switches angeschafft werden. Nun habe ich die Qual der Wahl…

Welcher Hersteller?
Ich würde nach meiner bisherigen Recherche TP-Link nehmen, weil die Benutzeroberfläche einfach und modern sein soll und man sie, wenn man will, mit Omada zentral verwalten kann, man muss aber nicht. Außerdem sind sie vergleichsweise günstig.

Die Switche sollten wegen der Unifi-APs POE können oder ist es ein großer Nachteil, die APs mit einem kleinen extra POE-Switch einzubinden…das wäre billiger…

Folgendes wäre ohne zusätzliche Kabelverlegung umsetzbar (alles nur 1 Gigabit-Verbindungen!)

Denkt ihr, damit könnte man auf Dauer klar kommen?

Folgendes wäre mein Wunschkonzept, mit 10 Gigabit auf den SFP-Ports und es müssten zwei weitere Glasfaserverbindungen geschaffen werden, die es noch nicht gibt, also erheblich teurere Switches und zwei zusätzliche Glasfaserleitungen.

Muss man diesen Aufwand wirklich betreiben? Irgendwo hier habe ich gelesen, dass 10Gb zwischen den Switches empfohlen wird…

EDIT:
Jetzt habe ich gerade gesehen, dass 10Gbit ja bei unseren Distanzen auch über Cat7 über ein SFP+ Modul mit RJ45-Anschluss realisierbar wäre - das vereinfacht die Sache nochmal, weil wir dann gar keine neuen Kabel legen müssten. Das sähe dann aber etwas verschachtelter aus:

Trotzdem nochmal die Frage: Ist 10Gbit zwischen den bzw. allen Switches wirklich nötig?

Wäre dankbar, für ein paar Gedanken und Meinungen.

Vielen Dank!

Grüße Noah

tjordan · 21. April 2023 um 12:39

Hallo Noah,

wenn du ohnehin schon Unifi-APs hast, warum dann nicht auch Unifi/Ubiquiti-Switches?

Wieso dann den Sonderweg über einen zweiten Anbieter gehen, der eher im Home & Small-Business zuhause ist?

Die Mehrkosten sind da durchaus überschaubar.

VG Thomas

nosch · 21. April 2023 um 14:10

Hallo Thomas!

Danke für deine Antwort!

Soweit ich gesehen habe, haben die Unifi Switches immer nur maximal zwei SFP-Ports - wir brauchen zumindest bei einem Switch aber 4, wenn später noch zwei weitere Gebäude per Glasfaser angebunden werden.
Ansonsten stört mich auch, dass die Unifi-Geräte sich nicht ohne Controller managen lassen. Die Anschaffung der Unifi-APs war eh schon ein Kompromiss, den wir eingegangen sind, weil es dazu halt die Doku gibt und man hier schnell Hilfe bekommt.

Ansonsten hab ich auch nicht vor, über Subnetze nachzudenken - bisher gibt es grün und blau als VLAN - mehr werden wir nicht brauchen. Das Verwaltungsnetz ist zum Glück vollkommen abgekoppelt und von einem Dienstleister betreut.

Grüße Noah

baumhof · 21. April 2023 um 14:17

Hallo,

wenn du ohnehin schon Unifi-APs hast, warum dann nicht auch
Unifi/Ubiquiti-Switches?

Wieso dann den Sonderweg über einen zweiten Anbieter gehen, der eher im
Home & Small-Business zuhause ist?

Die Mehrkosten sind da durchaus überschaubar.

ich würde auch gleich unifi nehmen.
Teuer sind die nicht, aber gut.

LG

Holger

baumhof · 21. April 2023 um 14:27

Hallo Noah,

Soweit ich gesehen habe, haben die Unifi Switches immer nur maximal zwei
SFP-Ports - wir brauchen zumindest bei einem Switch aber 4, wenn später
noch zwei weitere Gebäude per Glasfaser angebunden werden.

ich hab gerade 3 unifi Switches mit je 4 SFP Ports gekauft: davon sind
zwei sogar SFP+ und die GBICs sind lange nicht so teuer wie bei anderen
Herstellern.
Ich glaub wir haben 40 EUR für jeden 10 GBit/s GBIC gezahlt …

Ansonsten stört mich auch, dass die Unifi-Geräte sich nicht ohne
Controller managen lassen. Die Anschaffung der Unifi-APs war eh schon
ein Kompromiss, den wir eingegangen sind, weil es dazu halt die Doku
gibt und man hier schnell Hilfe bekommt.

der server ist kostenlos: ich hab ihn auf einer VM auf dem Hauptserver
laufen auf einem normalen ubuntu 20.04.

Ansonsten hab ich auch nicht vor, über Subnetze nachzudenken - bisher
gibt es grün und blau als VLAN - mehr werden wir nicht brauchen. Das
Verwaltungsnetz ist zum Glück vollkommen abgekoppelt und von einem
Dienstleister betreut.

VLANs gehen super einfach mit denen …

lG

Holger

nosch · 21. April 2023 um 14:32

Hallo Holger!

Danke für die Antworten!

10Gbit/s zwischen den Switches würdest du auf jeden Fall machen?

Grüße Noah

jrichter · 21. April 2023 um 14:32

Hallo Noah,

es gibt bei Unifi auch Switche mit vielen SFP±Ports.

Worauf Du achten solltest: Wenn Du Subnetting machen willst, dann mus der Hauptswitch Layer 3 können.

Beste Grüße

Jörg

baumhof · 21. April 2023 um 15:34

Hallo Noah,

Danke für die Antworten!

10Gbit/s zwischen den Switches würdest du auf jeden Fall machen?

… naja: so groß ist eure Einrichtung nicht, oder?
Und 10G zwischen den Switches bringt auch nicht so richtig viel, wenn
der Serveruplink nur 1GBit/s ist …

Die 1GBit/s GBICs hab ich grad im 20er Pack gekauft … verboten günstig …

… 170 EUR für 20 Stück: das sind 8,50 EUR/Stück …

https://www.proshop.de/Repeater-Transceiver/Ubiquiti-U-Fiber-Multi-Mode-20-Pack/2655320?utm_source=idealo&utm_medium=cpc&utm_campaign=pricesite

LG

Holger

blubbi2k · 21. April 2023 um 18:46

Hallo Jörg, hallo Noah,
von Subnetting und Layer3 mit UniFi Switch möchte ich abraten. Bei den UniFi Switches fehlen mMn wichtige Features die ein reibungsloses Subnetting mit Linuxmuster ermöglichen.
Habe bisher nur UniFi Komponenten in meinem Netzwerk ca 20 Switches und 60 AP. Läuft auf Layer2 Ebene alles toll.
Für Subnetting werde ich aber einen Cisco Layer 3 in meiner UniFi Welt aufnehmen.

LG Daniel

nosch · 21. April 2023 um 19:52

Hallo Holger!

Das ist noch nicht klar. Einen neuen Server bekommen wir auch noch gefördert - auf dem wird dann neben LMN auch noch eine Nextcloud laufen und ein Messenger und ev. Moodl Da ist aber gerade mein Kollege noch mit Auswahl und Angeboten einholen beschäftigt…

Will man 10Gbit/s Uplinks, verdoppeln sich die Kosten der Switches fast…

Da ich davon ausgehe, dass wir wahrscheinlich erstmal lange keine Förderungen mehr bekommen werden, geht es mir darum, ob 10Gbit/s Uplinks in Hinblick auf die nächsten Jahre wichtig sind oder für unsere kleine Schule gar nie nötig werden.
Bisher hab ich keine Erfahrung mit 10Gbit/s und kann überhaupt nicht einschätzen, ob wir das jemals ausnutzen werden. Bisher hatten wir unter den Schulgeräten noch keines im Haus, das 1Gbit/s hätte voll ausnutzen können - der Flaschenhals waren bisher immer die Clients bzw. der Internetanschluss…
Auch werden wir wohl nie mehr als 70 Clients gleichzeitig aktiv im Netz haben. Spitzen werden dann doch wahrscheinlich nur entstehen, wenn ich in unserem Computerraum 20 Clients gleichzeitg synchronisiere, oder…?

Grüße Noah

jrichter · 22. April 2023 um 01:44

Hallo Daniel,

das ist ja interessant. Wir hatten eigentlich geplant, einen Pro Aggregation zu kaufen, um mit dem das Subnetting umzusetzen.

Welche Features sind das denn, die bei Unifi fehlen?

Beste Grüße

Jörg

blubbi2k · 22. April 2023 um 06:20

Hallo Jörg,
wir haben in den Osterferien angefangen das grüne Netz auf Subnetting umzustellen.
Dabei sind wir bei der Konfiguration des UniFi Layer3 an zwei Stellen an Grenzen gestoßen:

WOL: im UniFi Switch lässt sich kein udp Relay einrichten, damit WOL Magic Pakete an die Subnetze durchgereicht werden. Das könnte man zwar mit einer separaten Maschine umgehen, die in allen grünen Subnetzen hängt und die WOL Pakete abschickt. Allerdings funktionieren damit dann die WOL Funktionen von Linbo nicht. (Siehe auch WOL mit Unifi Layer 3)
noProxy: Ich weiß nicht, ob ich das jetzt genau zusammen bekomme, aber ich versuche es mal. Im UniFi Layer 3 lässt sich kein individueller Upstream Gateway (nennt man das so?) einrichten. So schafft man es nicht, an die Clients, die in der noProxy Liste stehen, das Internet an OpnSense und Proxy vorbei durchzureichen, weil der Layer3 nicht weiß, wohin er die Clients ins Internet Routen soll. Somit ist die noProxy Liste ohne Funktion. @MirDochEgal kann das noch genauer erklären.

Natürlich kann man hier auch einen Kompromiss eingehen und das irgendwie kompensieren. Für uns ist das aber echt lästig.

Wir sind sicher keine UniFi Experten aber wir machen jetzt seit über 2 Wochen damit rum und haben verschiedene Dinge ausprobiert - wir haben es nicht geschafft eine für uns zufriedenstellende Konfiguration zu finden.

LG Daniel

hoches · 2. Mai 2023 um 07:12

Hi Noah,

Mal eine andere Frage: Wie ist denn zur Zeit die Verbindung zwischen den Gebäuden gelöst?

Wenn das mit Kupfer ist würde ich dir ohnehin raten was diese Verbindung betrifft auf Glas umzusteigen. Wenn beide Gebäude nicht auf dem selben elektrischen Potential sitzen kannst du dir deine Netzwerkhardware zerschießen wenn da mal was in die Hose geht.
Was deine Frage von viele kleine PoE Switches vs. ein großer PoE Switch betrifft: Je weniger netzteile du einsetzt desto höher ist die Gesamteffizienz. Bei jeder Umwandlung von Netzspannung auf kleinere Spannungen hast du Verluste. Hinzu kommt, dass die „kleinen“ Netzteile von den PoE switches generell nicht so effizient sind wie die in den großen Switches.
Hardwaremäßig kann ich nichts schlechtes über das aktuelle Line-Up von TP-Link sagen. Wir haben hier den Luxus, dass es aktuell einen Rahmenvertrag in RLP gibt mit dem wir günstig an die Dinger dran kommen. Wir konnten So einen AP in jeden Klassen / Fachraum (50 Stück) plus Tonnenweise switches inkl. Installation zu dem Preis von 3 Ubiquiti Switches und 20 Unifi APs (ohne Installation) kriegen.
Das Einzige Problem das ich bisher mit den Kisten hatte war als wir ein bißchen Wartung gemacht haben. Da haben wir den Backhaul getrennt gehabt und die APs haben angefangen zu Meshen. Als wir dann den Backhaul wieder verbunden haben gabs ein Sanning Free und der Port hat sich abgeschaltet. Das hatte sich aber schnell gelöst indem wir Mesh ausgeschaltet hatten. Dann hat sich alles wieder normalisiert.

LG
Der Hoches

nosch · 2. Mai 2023 um 07:36

Hallo Hoches!

Danke für deine Antwort!

Die beiden Gebäude sind natürlich über Glasfaser (Multimode) verbunden und die anderen Gebäude folgen bald. Das Problem mit den Potentialen wurde bei den Plänen auch besprochen…unsere aufwendige, über alle Gebäude verbundene, Blitzschutzanlage dürfte das aber ein wenig ausgleichen.

Nachdem wir die Unifi APs haben, werden es wohl auch Unifi Switches werden und zwar große mit POE.

So wie es aussieht, kommen wir auch mit dem Geld hin und können 10 Gbit Uplinks realisieren, auch wenn ich immer noch nicht so richtig einschätzen kann, ob wir diese jemals ausschöpfen werden…?

Grüße Noah

maxEG · 2. Mai 2023 um 13:12

Hallo Noah,

im „Normalbetrieb“ nutze ich die nie aus, beim Image verteilen werden sie (bei mir jedenfalls) sehr wohl auch genutzt, u.a. weil auch der Server so dick angebunden ist.

LG
Max

baumhof · 2. Mai 2023 um 13:34

Hallo,

So wie es aussieht, kommen wir auch mit dem Geld hin und können 10
Gbit Uplinks realisieren, auch wenn ich immer noch nicht so richtig
einschätzen kann, ob wir diese jemals ausschöpfen werden…?
im „Normalbetrieb“ nutze ich die nie aus, beim Image verteilen werden
sie (bei mir jedenfalls) sehr wohl auch genutzt, u.a. weil auch der
Server so dick angebunden ist.

ich hab letzten Freitag 12GB Images in einen Raum mit 14 Maschinen verteilt.
Weil die nach 2 Minuten fertig waren mit dem runterladen dachte ich
„Mist, da hat was nicht geklappt“ …
Sowas kann eine 10GBit/s Uplinkleitung zum Server bewirken.
Sonst dauerte das bei mir eher 10 Minuten.

Im log sieht das dann so aus:

\ 17/0/21 [36257/42942/42942] 9065MB,2MB | 108159,0K/s | 109952,0K E:0,1
> 17/0/21 [36688/42942/42942] 9172MB,2MB | 108321,0K/s | 110208,0K E:0,1
/ 17/0/21 [37112/42942/42942] 9279MB,2MB | 108351,0K/s | 108800,0K E:0,1
- 17/0/21 [37541/42942/42942] 9386MB,2MB | 108417,0K/s | 109568,0K E:0,1
\ 17/0/21 [37915/42942/42942] 9479MB,2MB | 108065,0K/s | 95360,0K E:0,1
> 17/0/21 [38329/42942/42942] 9583MB,2MB | 107999,0K/s | 106240,0K E:0,1
/ 17/0/21 [38755/42942/42942] 9689MB,2MB | 108012,0K/s | 109184,0K E:0,1
- 17/0/21 [39164/42942/42942] 9791MB,2MB | 108159,0K/s | 104576,0K E:0,1
\ 17/0/21 [39492/42942/42942] 9873MB,2MB | 106959,0K/s | 83840,0K E:0,1
> 17/0/21 [39934/42942/42942] 9984MB,2MB | 107083,0K/s | 113152,0K E:0,1

Also: 10Gbit/s ist eine wirklich feine Sache (wenn es auch der Server
hat vor allem) und mit unifi gar nicht so teuer um zu setzen.
Wenn man die Switches (wie ich annehme) 10 Jahre haben will, dann sollte
man das gleich so mitaufbauen (auch wenn der Server es erstmal nicht hat).

… ich muss meine Clients jetzt erstmal festschnallen, damit die nicth
umfliegen bei den Geschwindigkeiten

LG

Holger

nosch · 2. Mai 2023 um 14:12

Hallo zusammen!

Damit ist die Sache klar! Ein IT-Experte aus der Elternschaft hat mich inzwischen auch nochmal bestärkt, gleich auf 10Gbit/s Uplinks zu gehen - damit hab ich genug Argumente für die „Geldgeber“. Vielen Dank!

Grüße Noah

tjordan · 8. Mai 2023 um 04:52

Hallo Noah,

an sich ist das auch 'ne einfache Rechnung. Angenommen du hast 24 Clients die alle mit 1GBit/s am Switch hängen und der Uplink des Switches ist ebenfalls nur ein 1 GBit/s und alle greifen gleichzeitig, z.b. beim Imagen zu, dann teilt sich der maximal mögliche Download-Speed durch 24. Dann bleiben pro Client 42 MBit/s übrig, Der Uplink ist meistens der Flaschenhals und der sollte möglichst breit sein.

VG
Thomas

nosch · 13. Juli 2023 um 16:13

Hallo zusammen!

Vielen Dank an alle - unser neues Unifi-Netzwerk mit 10 Gbit Uplinks läuft schon ein paar Wochen, war super schnell eingerichtet und macht Spaß!

Grüße Noah