Linbo startet auf neuen Clients nicht (richtig)

[wuf_kwh]

Hallo zusammen,

ich hänge gerade an der Linbo Installation. Ich habe mein System komplett neu aufgesetzt:

• Proxmox aktuell
• Linuxmuster Server als VM aus Proxmox (direkt Ubuntu 22.04 mit Linuxmuster 7.2), alle Updates eingespielt
• OPNSense ebenfalls neuste Version
• Unifi Controller als Docker auf LXC „VM“
• Level3 Switch Cisco SG300-28-PP (POE) neuste Firmware

Mein Problem ist, dass ich beim booten eines Laptops oder einer VM auf dem LuL-VLAN kein Linbo Start hinbekomme. PXE bekommt eine IP-Adresse, dann werden 2 Linbo Dateien geladen und gestartet… Ewigkeiten später [R] Reboot / [S] Shutdown. Hierbei egal, ob der Client bereits „registriert“ ist oder komplett neu.

So sieht die Systemausgabe einer VM am LuL-VLAN aus:

Hänge ich eine neue VM ans Server-VLAN, dann wird Linbo korrekt gestartet.

Leider habe ich keine Idee, wo ich anfangen soll, zu suchen. Ich habe schon viel herumexperimentiert und im Forum gelesen. Ich komme nicht weiter. In Linux und Basis Netzwerk Konfigurationen bin ich einigermaßen fit. VLAN und Netzwerkrouting eher nicht. Spanning Tree hatte ich vorübergehend schon mal im Cisco Switch ausgeschaltet, hat aber auch nichts gebracht.

Ich habe hier mal aus meiner Sicht ein paar wichtige Infos zusammengetragen. Sollte noch was fehlen oder Verständnisfragen auftauchen, meldet euch bitte.

Ich kann/möchte gerne mein System für Doku-Zwecke zur Verfügung stellen, da die Schritt-für-Schritt-Anleitung historisch gewachsen scheint (nicht böse gemeint, ich weiß wie viel Aufwand es kostet eine Doku aktuell zu halten)

Mein Netzwerk sieht wie folgt aus:

Mein Server hängt mit 3 gebündelten Netzwerkkarten am L3-Switch Port 1, 2 und 3. Ein Laptop (Lenovo T440) habe ich an Port 22 angeschlossen, um dort die Linbo Konfiguration zu testen.
An den Ports 13, 14, 15 hängen normalerweise Unifi Access-Points. Diese habe ich vorübergehend ausgesteckt, um die Fehleranalyse einzugrenzen.

Die Internetleitung habe ich direkt an die 4. Netzwerkkarte des Servers gehängt.

Netzwerkkonfiguration von Proxmox:

Vom Linuxmuster-Server:

Von der Firewall (OPNSense)

Einer Virtuellen Maschine, die ich als Muster Client verwenden möchte:

Wenn ich in der Virtuellen Maschine Ubuntu Live starte und dort das Netzwerk „untersuche“ erhalte ich folgendes: (Temporär in die NoProxy Konfiguration in OPNSense aufgenommen)

Ich bin für jeden Tip und neugierige Frage dankbar.

Beste Grüße
Thomas

Weitere Screenshots vom Switch

Spanning Tree:

IP-Konfiguration:

Zugriffsteuerung:

Screenshots von OPNSense

Dashboard:

Gateways:

Routes:

Interfaces:

Screenshots vom Linuxmuster Server

[baumhof]

Hallo Thomas,

auch ich habe segmentierte Netzwerke.
Was mir zuerst auffällt: deine OPNsense hat mehrere LAN Netzwerke: das
ist bei mir nicht so.
Meine OPNsense hat das Server LAN, das WLAN und das WAN: mehr nicht.
Die OPNsense routet ja auch nur in diesen Netzwerken: der L3 Switch
routet die anderen.

Außerdem fällt auf, dass deine VM, wenn du ubuntu bootest (ein sehr
smarter move ) die IP 10.1.0.106 bekommt.
Normalerweise sind das IPs aus dem DHCP Lease.

Bitte poste mal deine /etc/linuxmuster/subnets.csv und die
/etc/linuxmuster/sophomorix/default-school/devices.csv

LG

Holger

[wuf_kwh]

Hallo Holger,

danke für die Rückmeldung. Hier die gewünschten Dateien:

/etc/linuxmuster/subnets.csv

# Network/Prefix;Router-IP (last available IP);1. Range-IP;Last-Range-IP;SETUP-Flag;;
# Servernetz;VLAN-GW nicht FW IP;;;;;
10.0.0.0/24;10.0.0.253;10.0.0.100;10.0.0.200;10.0.0.1;10.0.0.1;SETUP
# add your subnets below;;;;;;
# Lehrernetz;;;;;;
10.1.0.0/24;10.1.0.254;10.1.0.1;10.1.0.253;10.0.0.1;10.0.0.1;SETUP
# Schuelernetz;;;;;;
10.2.0.0/24;10.2.0.254;10.2.0.1;10.2.0.253;10.0.0.1;10.0.0.1;SETUP
# WLAN-Lehrer;;;;;;
10.3.0.0/24;10.3.0.253;10.3.0.1;10.3.0.252;10.0.0.1;10.0.0.1;SETUP
# WLAN-Schueler;;;;;;
10.4.0.0/24;10.4.0.253;10.4.0.1;10.4.0.252;10.0.0.1;10.0.0.1;SETUP
192.168.1.0/24;192.168.1.254;192.168.1.50;192.168.1.100;;;SETUP

/etc/linuxmuster/sophomorix/default-school/devices.csv

lul;LUL-NB002;lul-ubuntu-efi;68:F7:28:09:D9:3F;10.1.0.102;;;;staffcomputer;;1;;;;;
server;relution;nopxe;bc:24:11:14:9A:87;10.0.0.104;;;;server;;0;;;;;
server;nextcloud;nopxe;bc:24:11:07:51:3E;10.0.0.102;;;;server;;0;;;;;
server;unifi;nopxe;BC:24:11:E6:05:F9;192.168.1.100;;;;server;;0;;;;;
# modified by linuxmuster-setup at 20231125234007;;;;;;;;;;;;;;;
# /etc/linuxmuster/sophomorix/default-school/devices.csv;;;;;;;;;;;;;;;

# thomas@linuxmuster.net;;;;;;;;;;;;;;;
# 20190323;;;;;;;;;;;;;;;

# Example:;;;;;;;;;;;;;;;
#r100;r100-pc01;group1;00:11:22:33:44:55;10.16.100.1;;;;classroom-studentcomputer;;1;;;;;

# For Details see devices.csv.5;;;;;;;;;;;;;;;

server;server;nopxe;1b:fa:72:1d:45:f3;10.0.0.1;;;;addc;;0;;;;SETUP;
server;firewall;nopxe;BC:24:11:05:6B:09;10.0.0.254;;;;server;;0;;;;SETUP;

server;ipmi;nopxe;90:1b:0e:a8:90:f2;192.168.1.21;;;;iponly;;0;;;;;
server;nas;nopxe;00:0D:A2:01:65:35;192.168.1.22;;;;server;;0;;;;;
server;UAP-AC-Lite3;nopxe;f0:9f:c2:c8:ad:d4;192.168.1.53;;;;wlan;;0;;;;;
server;UAP-AC-Lite2;nopxe;f0:9f:c2:c8:b0:f3;192.168.1.52;;;;wlan;;0;;;;;
server;UAP-AC-Lite1;nopxe;f0:9f:c2:c8:b2:de;192.168.1.51;;;;wlan;;0;;;;;
server;SG300-28PP;nopxe;70:6e:6d:fe:2d:d9;10.0.0.253;;;;switch;;0;;;;;

server;thomas;nopxe;34:29:8f:79:0f:3c;192.168.1.33;;;;staffcomputer;;0;;;;;

server;admin-consoleV3;nopxe;bc:24:11:01:71:de;192.168.1.10;;;;staffcomputer;;0;;;;;
server;admin-console;nopxe;bc:24:11:36:0b:29;10.0.0.10;;;;staffcomputer;;0;;;;;

Bei der Einrichtung bin ich der Anleitung unter Netzwerksegmentierung — linuxmuster.net 7.2 Dokumentation gefolgt. Nur die Änderung, dass ich keine Klassenräume habe, daher das SuS Lan VLAN 50 nicht weiter unterteilt ist. Wir nutzen nur Laptops/Android Tablets und Smartphones mit WLAN, nur die Drucker (VLAN 80) werden später per LAN angebunden. Auf diese sollen alle (auch die WLAN-Gäste mit Voucher) zugreifen dürfen.
VLAN 3 soll nur für Proxmox, Switch und Admin-Console sein.
VLAN 90 bekommen WLAN-Gäste mit Voucher

Wir sind eine junge winzige Schule im 2. Schuljahr mit aktuell 30 Schülern (1.-4. Klasse). Es sollen irgendwann mal 80 Schüler (1.-10. Klasse) werden. Es gibt keine Klassenstufen (nur zu Verwaltungszwecken) oder spezielle Schulräume.

Grüße
Thomas

[baumhof]

Hallo Thomas,

10.0.0.0/24;10.0.0.253;10.0.0.100;10.0.0.200;10.0.0.1;10.0.0.1;SETUP #

damit ist der DHCP Lease im Servernetz 10.0.0.100 bis 10.0.0.200: wie er
sein soll.
Der Leas Bereich ist für die Rechneraufnahme: sonst eigentlich nichts.

10.1.0.0/24;10.1.0.254;10.1.0.1;10.1.0.253;10.0.0.1;10.0.0.1;SETUP #

hier ist (wie bei anderen Subnets auch) der gesammte Bereich des Subnets
für die Rechneraufnahme: ich verstehe nicht, warum man das machen wollen
würde. Dann ist ja nix mehr frei für feste Clients.

192.168.1.0/24;192.168.1.254;192.168.1.50;192.168.1.100;;;SETUP |

was macht das 192er Netz hier?
Verstehe ich nicht.

Und wenn du Gäste mit Vouchern ins Netz lassen willst: dann doch nicht
in das Grüne Netz?
Die gehören, als Gäste, in ein eigenes WLAN Netz, welches entweder
direkt in Rot ist oder über Blau an der OPNsense nach draußen geht.

Zu der OPNSense config hast du nichts gesagt.
Warum sind da die Subnetze drin?

LG

Holger

[wuf_kwh]

Hallo Holger,

ich wollte vorhin nur „schnell“ die 2 Dateien liefern. Hier nun eine ausführliche Antwort.

Der Leas Bereich ist für die Rechneraufnahme: sonst eigentlich nichts.
10.1.0.0/24;10.1.0.254;10.1.0.1;10.1.0.253;10.0.0.1;10.0.0.1;SETUP #
hier ist (wie bei anderen Subnets auch) der gesammte Bereich des Subnets
für die Rechneraufnahme: ich verstehe nicht, warum man das machen wollen
würde. Dann ist ja nix mehr frei für feste Clients.

danke für den Tipp mit dem DHCP Bereich. Das ändere ich mal.

Außerdem fällt auf, dass deine VM, wenn du ubuntu bootest (ein sehr
smarter move ) die IP 10.1.0.106 bekommt.
Normalerweise sind das IPs aus dem DHCP Lease.

Meine Test VM ist noch nicht in der devices.csv enthalten, daher bekommt dieser auch eine Adresse aus dem DHCP Bereich (auch wenn dieser momentan noch zu groß ist)

Was mir zuerst auffällt: deine OPNsense hat mehrere LAN Netzwerke: das
ist bei mir nicht so.
Meine OPNsense hat das Server LAN, das WLAN und das WAN: mehr nicht.
Die OPNsense routet ja auch nur in diesen Netzwerken: der L3 Switch
routet die anderen.

In OPNSense habe ich neben LAN und WAN noch 3 zusätzliche Netzwerkadapter für die 3 WLAN-Netze:

• OPT1 - VLAN 20 (WLAN-LuL; 10.3.0.254/24)
• OPT2 - VLAN 30 (WLAN-SuS; 10.4.0.254/24)
• OPT3 - VLAN 90 (WLAN-Gast; 192.168.178.254/24)

Kann ich denn diese WLAN-Netze (10.3.0.254/24, 10.4.0.254/24, 192.168.178.254/24) aus der subnet.csv entfernen?

Und wenn du Gäste mit Vouchern ins Netz lassen willst: dann doch nicht
in das Grüne Netz?
Die gehören, als Gäste, in ein eigenes WLAN Netz, welches entweder
direkt in Rot ist oder über Blau an der OPNsense nach draußen geht.

Das möchte ich über das OPT3 / VLAN 90 Netz machen. Es soll nur Zugriff auf das VLAN 80 (die Drucker) und aufs Internet bekommen.

192.168.1.0/24;192.168.1.254;192.168.1.50;192.168.1.100;;;SETUP |
was macht das 192er Netz hier?

In der Subnet.csv habe ich das 192.168.1.* Netz drin, da ich auch in der devices.csv die Geräte dazu drin habe (Access-Points, NAS, IPMI, 2. Netzwerkkarte der Admin Console). Das kann ich natürlich alles entfernen, würde dadurch aber auch DHCP und DNS für diese Geräte verlieren oder anders machen müssen.

Beste Grüße
Thomas

[baumhof]

Hallo Thomas,

ich bin da kein Experte, aber für mich ist das falsch.
Du hast an der OPNsense Netzwerkadapter in Netzen des Grünen Netzwerkes
für die du den L3 Router eigentlich hast.
Damit hast du zwei Verbindungen zwischen zwei Netzen.
Bin kein Experte, aber ich hab nie gesehen, dass das Jemand so macht…
Und ich verstehe nicht, warum man das so machen sollte.

Wenn du WLAN Netze an der OPNsense haben willst: fein: hab ich auch. Das
ist bei mir auch OPT, aber niemals im Bereich des Grünen Netzwerkes.
Das sind bei mir ganz andere Netzwerke.
Mein internet Netz ist 10.16.1.0/24 mit seinen „Brüdern“: also
segmentiert 10.17.0.0/24, 10.18.0.0/24 usw.
Das OPT Netz an der OPNsense ist 172.16.0.0/16
und das externe Netz ist nochmal ein anderes (192.168.2.x/24 … glaub ich).

In Jedem Fall hat das 192er Netz in der subnets nix zu suchen.
Vielleicht geht das, vielleicht kann der L3 Switch das auch: aber warum
sollte man das machen?

Und Gäste kommen bei mir nicht ins interne LAN: dafür gibt es ein
GästeWLAN mit Vouchern vom unifi Managementserver. Das WLAN hängt an
einem eigenen VLAN und hat nix mit meinem internen Netz zu tun.
Drucken wäre wohl der einzige Dienst, den Gäste haben wollen würden
(neben Internetzugriff): war bei mir aber in über 10 Jahren nie der
Fall… und wenn doch: dann wird es halt per USB Stick an einen Rechner
mit Drucker bewegt …

LG

Holger

[wuf_kwh]

Hallo Holger,

ich habe die Anleitung zum WLAN nochmals überflogen. Dort ist die Konfiguration der WLAN VLANs über den Switch beschrieben. Nur keine Details zu den zusätzlichen Netzwerkkarten in der OPNSense. (Unifi-WLAN-Lösung für linuxmuster.net — linuxmuster.net 7.2 Dokumentation).

Vielleicht werfe ich das ganze WLAN Zeug erstmal weg, um das Linbo Problem zu beheben. Dann sehen wir weiter.

Das 192.168.1.* Netz soll gar nicht geroutet werden. Es ist „einfach“ nur vorhanden und hat keinen Internetzugriff. Vielleicht verschiebe ich die Geräte dann doch in das VLAN 10 des Servers.

Übrigens, die Anpassung des DHCP Bereichs hat nichts geändert. Linbo GUI fährt nicht hoch, Shutdown/Restart kommt weiterhin und unter ubuntu live bekomme ich nun eine andere Adresse aus dem DHCP Pool.

Grüße
Thomas

[baumhof]

Hallo Thomas,

Übrigens, die Anpassung des DHCP Bereichs hat nichts geändert. Linbo GUI
fährt nicht hoch, Shutdown/Restart kommt weiterhin und unter ubuntu live
bekomme ich nun eine andere Adresse aus dem DHCP Pool.

nimm doch mal erst den Client auf: dann kannst du eine start.conf.GRUPPE
zuweisen und in der z.B. nomodeset setze: dann klappt das auch mit der
proxmox GraKa (oder du „baust“ eine andere GraKa ein)

LG

Holger

[wuf_kwh]

Hallo Holger,

ich bin endlich dazu gekommen, weiter zu testen. Ich habe die VLANs neu eingerichtet, die Subnet.csv aufgeräumt und WLAN entfernt. Hat alles nicht gebracht.

An der Grafikkarte liegt es definitiv auch nicht. Ich habe sowohl meinen virtuellen Client, als auch einen Laptop an das Server VLAN angeschlossen. Dann tut alles, linbo GUI kommt, Registrieren funktioniert.

Gibt es denn irgendwie eine Möglichkeit Linbo zu debuggen? Z.B. manuell versuchen die Libo.gui (linbo_gui64_7.tar.gz) oder die start.conf herunterzuladen.

Beste Grüße
Thomas

[wuf_kwh]

Einen Verdacht habe ich in der Zwischenzeit. Wahrscheinlich liegt es irgendwie am LAG meiner Netzwerkkarten zwischen Proxmox-Server und Switch. Mit Balance-rr funktioniert es besser, mit LACP (802.3ad) / Layer 3+4 läuft es nicht mehr.

[wuf_kwh]

Ich habe das Problem gefunden und beheben können. Zu Beginn habe ich die vi /etc/netplan/01-netcfg.yaml laut Anleitung angepasst. Ein nachfolgender Import der subnet.csv (über CLI oder WebUI) überschreibt die netplan config wieder.

Die korrekte Datei sieht so aus:

network:
  ethernets:
    ens18:
      addresses:
      - 10.0.0.1/24
      dhcp4: false
      dhcp6: false
      nameservers:
        addresses:
        - 10.0.0.1
        - 10.0.0.254
        search:
        - lan.wuf-kwh.de
      routes:
      - to: default
        via: 10.0.0.254
      - to: 10.0.0.0/24
        via: 10.0.0.253
      - to: 10.4.0.0/24
        via: 10.0.0.253
      - to: 10.5.0.0/24
        via: 10.0.0.253
  version: 2