Torrent nach update auf 7.1 unendlich langsam

Server
1

Hallo zusammen,
ich habe gestern nach dem update von 7.0 auf 7.1 ein erstes Image nach Anleitung mit linbo-cloop2qcow2 konvertiert. Das einzige, was ich nicht gemacht habe, ist am Ende das import_workstations, da ich ein wenig Angst habe, dass mir noch benötigte start.conf links gelöscht werden. Ich habe viele Images und da brauche ich ein wenig für die Umstellung. Dann wollte ich an einem (!) Rechner testen, ob die Konvertierung geklappt hat und Windows startet. Das ausrollen eines Images an diesen einen (!) Rechner hat ca. 7h gedauert.

Heute bin ich an einem anderen Image. Ich habe das Ausrollen an einen (!) Rechner um ca. 7 Uhr gestartet. Jetzt um kurz vor 12 ist er gerade fertig. Normalerweise reden wir bei einem Rechner von ein paar Minuten…

Hier ein Ausschnitt von more 101-pc01_linbo.log vom Anfang:
StdOut] Input channel is now off
[StdOut] \ 0/1/2 [1/92663/2331] 0MB,0MB | 223,0K/s | 256,0K E:0,1
[StdOut] | 0/1/2 [2/92663/2333] 0MB,0MB | 256,0K/s | 256,0K E:0,1
[StdOut] / 0/1/2 [5/92663/2339] 1MB,0MB | 426,0K/s | 768,0K E:0,1
[
Und hier vom Ende:
[StdOut] \ 1/0/2 [92310/92663/92663] 23077MB,0MB | 26057,0K/s | 26880,0K E:0,10
[StdOut] | 1/0/2 [92410/92663/92663] 23102MB,0MB | 25996,0K/s | 25600,0K E:0,10
[StdOut] / 1/0/2 [92512/92663/92663] 23127MB,0MB | 26017,0K/s | 26112,0K E:0,10
[StdOut] - 1/0/2 [92617/92663/92663] 23154MB,0MB | 26075,0K/s | 26880,0K E:0,10
[StdOut] Download complete.
[StdOut] Total time used: 288 minutes.

Fast 5 Stunden für ein Image. Hat jemand einen Tipp, was da schief bei mir läuft?

Gruß und Danke,
Markus

2

Hallo Markus,

ich habe gestern nach dem update von 7.0 auf 7.1 ein erstes Image nach
Anleitung mit linbo-cloop2qcow2 konvertiert. Das einzige, was ich nicht
gemacht habe, ist am Ende das import_workstations, da ich ein wenig
Angst habe, dass mir noch benötigte start.conf links gelöscht werden.

… du meinst linuxmuster-import-workstations.

Was meinst du den mit „noch benötigten start.conf links“? Die werden
nicht mehr benötigt: die können also weg.

Mach mal
den import und teste dann nochmal.
Hast du mal den torrent für das konvertierte qcow2 Image erstellen lassen?
Gibt es eine torrent Datei in
/srv/linbo/images/IMAGENAMEN/IMAGENAMEN.qcow2.torrent ?

LG

Holger

3

Hi Holger,
naja, in der Anleitung steht doch, dass ein linuxmuster-import-workstations (das Wort war mir zu lang :wink: Ich dachte es ist auch ohne linuxmuster_ klar :wink: die nicht mehr benötigten links auf die start.conf löscht…

Jetzt noch einmal nachgefragt: Ich kann unmöglich alle cloops auf einmal konvertieren. Da habe ich geschlampt. Das sind zu viele. Es wird also zunächst etliche Images geben, die noch cloop sind. Gehen diese Images dann trotzdem noch? Nach dem import_workstations meine ich.

Die torrents sind natürlich da. Sonst würde er das image ja nicht herunter laden können.
Ich könnte mir vorstellen, es ist:

Zumal ich echt noch viele cloops habe. Ich bin ja nun daheim und arbeite remote auf mehreren shells. Gerade „so geil“: Eine linbo-cloop2qcow2 ist gerade fertig. Ich starte ein neues und will noch nicht mehr beötigte cloops löschen. Das löschen von 3 cloops hat Minuten (!) gedauert. Ich dachte der Server ist abgestürzt und habe mich nochmal auf einer weiteren shell eingeloggt. Derweil stand linbo-cloop2qcow2 minutenlang bei 0% von 100%. Die Prozessorlast ist 0, aber ich vermute, die Platte „glüht“ - wieso auch immer?!?
(passiert da etwas im Hintergrund, wie: Erzeuge alle torrents neu???)

Immer wieder für eine Überraschung gut. Wo ich aber echte Probleme sehe. Man will nach dem Unterricht ein Image machen, in der Schule ist aber wegen des Nachmittagsunterrichts noch richtig viel los. Da wäre es nicht gut, wenn das Netz steht. Oder tritt der unter Fragen nach Update auf Linuxmuster 7.1 beschriebe Effekt nur bei linbo-cloop2qcow2 auf?

Das wird man sehen müssen. Auf jeden Fall muss ich entrümpeln. Hatte noch cloops von uralten Win 2003 Terminalservern und XP Images. Festplatten sind eben billig und die Zeit ist knapp ;-/

Gruß,
Markus

4

Hi Markus,

es ist bei mir immer noch so…starte ich die Torrent-Dienste neu (bzw. wenn die Torrent-Dienste automatisch neu gestartet werden…z.B. bei einem Server-Neustart) dann kann ich mit dem Server nichts anfangen…der Server an der Schule mit ich glaube 12 Images benötigt über 1,5h Stunden bis der wieder sauber funktioniert und der Server an der Schule mit 7 Images oder so benötigt auch immerhin 45-50 Minuten…alle Images sind mittlerweile qcow2-Images…es gibt keine cloops mehr…das ist eigentlich ein Unding…ich habe solche Arbeiten mittlerweile aufs Wochenende verlagert statt in die frühen Morgenstunden (wenn man schon dramatisch weniger als ein Lehrer verdient, dann kann man ja wenigstens etwas Leistung erwarten :wink: …ne Spaß…man machts ja in Summe gerne…)…aber eigentlich nervts…:slight_smile: Vielleicht kann ja jemand hierzu nochmal was sagen…vielleicht kann man das ja entschärfen…Liebe Grüße Frank

5

Hallo Markus,

naja, in der Anleitung steht doch, dass ein
linuxmuster-import-workstations (das Wort war mir zu lang :wink: Ich
dachte es ist auch ohne linuxmuster_ klar :wink: die nicht mehr
benötigten links auf die start.conf löscht…

das hat mit cloop und qcow2 nichts zu tun.

Jetzt noch einmal nachgefragt: Ich kann unmöglich alle cloops auf einmal
konvertieren. Da habe ich geschlampt. Das sind zu viele. Es wird also
zunächst etliche Images geben, die noch cloop sind. Gehen diese Images
dann trotzdem noch? Nach dem import_workstations meine ich.

du mußt sie nicht alle umwandeln: das kannst du nach und nach machen.
linbo 4.0 kann cloops noch lesen, aber nicht mehr schreiben: du kannst
also keine neuen cloops erstellen.
Zurückspielen kannst du sie trotzdem.
Du mußt nur schauen, ob linbo sie in /srv/linbo/ erwartet (wo sie früher
waren) oder in /srv/linbo/images/IMAGENAME/ wo sie jetzt eigentlich liegen.
Im Notfall weißt du jetzt, wo sie hin müssen, falls sie nicht gefunden
werden.

Zumal ich echt noch viele cloops habe. Ich bin ja nun daheim und arbeite
remote auf mehreren shells. Gerade „so geil“: Eine linbo-cloop2qcow2 ist
gerade fertig. Ich starte ein neues und will noch nicht mehr beötigte
cloops löschen. Das löschen von 3 cloops hat Minuten (!) gedauert. Ich
dachte der Server ist abgestürzt und habe mich nochmal auf einer
weiteren shell eingeloggt. Derweil stand linbo-cloop2qcow2 minutenlang
bei 0% von 100%. Die Prozessorlast ist 0, aber ich vermute, die Platte
„glüht“ - wieso auch immer?!?
(passiert da etwas im Hintergrund, wie: Erzeuge alle torrents neu???)

diese Information zusammen mit der Info dass die torrents so lahm sind
würde ich sagen:
hast du RAID?
Schau mal nach, ob da gerade ein RAID rebuild läuft.

Ansonsten: schau dir mal die Gesundheit deiner Platten an … gut sieht
das nicht aus.

Das umwandeln von cloop in torrent ist sehr Plattenintensiv: das kann
auch dein torrentdownload vorhin stark gedrosselt haben, wenn dein RAID
nicht sonderlich performant ist.

LG

Holger

6

Hallo Frank,

es ist bei mir immer noch so…starte ich die Torrent-Dienste neu (bzw.
wenn die Torrent-Dienste automatisch neu gestartet werden…z.B. bei einem
Server-Neustart) dann kann ich mit dem Server nichts anfangen…

??
Wiso sollte das so lange dauern?
Werden bei dir dann die torrent neu erstellt?
Ich hab das noch nie beobachtet: auch bei einem reboot startet der
torrentdinst sehr schnell.
Was dauert ist das erstellen neuer torrents: ab und zu muss ich das mal
von Hand starten: vornehmlich, wenn ich ein fremdes Image frisch
eingebunden habe.

LG

Holger

7

Hey Holger,

ich vermute es, dass die Torrents neu gestartet werden…ein „htop“ sieht aus wie in meinem ursprünglich Posting…nur dass jetzt alles qcow2-Images sind (es handelt sich immer um alle Images die es gibt)

Screenshot
Screenshot1621×787 165 KB

…nervt tierisch…aber ich dachte halt das gehört so (betrifft ja 2 meiner Schulen…beide nach dem Update auf 7.1).

Gruß Frank

8

Hi Holger,
nein ich habe kein Raid. Linbo ist eine eigen Platte, keine SSD.

Gesundheit der Platte? Naja. Genau zum wechseln von 7.0 auf 7.1. Aha.

Installiert man iotop. Da wird von uralt cloops gelesen…

Ich habe nach so etwas unter 7.0 nie geschaut. Ist das normal, dass von einem torrent, was gar nicht verwendet 2000K/s gelesen wird?

grafik
grafik1268×595 123 KB

Und diese Liste mit den ctorrent die ändert sich dauernd. Das sind also nicht alle.

Ok, ok, ich muss entmisten. Von jetzt auf gleich.

Gruß,
Markus

9

Hi Frank,
jetzt muss bei mir ganz schnell die Entscheidung fallen: Zurück zu 7.0. Und die geklonten Räume mit qcow2 zurück auf cloop?

Zeigt sich dieses Verhalten nur, wenn man etwas an den torrents spielt (linbo-cloop2qcow2) oder „immer“. Weil so kann man ja nicht arbeiten …

Ein linbo-cloop2qcow2 läuft bei mir schon den ganzen Nachmittag, es ist gerade 19 Uhr und er ist bei 61%.

Also langsam glaube ich es auch: Wenn die Platte noch nicht hinüber ist, dann ist sie es heute Nacht ;-/

Gruß,
Markus

10

Hallo Markus,

jetzt muss bei mir ganz schnell die Entscheidung fallen: Zurück zu 7.0.
Und die geklonten Räume mit qcow2 zurück auf cloop?

… keine gute Idee: zuviel Arbeit die du irgend wann doch nochmal machen
mußt.

Zeigt sich dieses Verhalten nur, wenn man etwas an den torrents spielt
(linbo-cloop2qcow2) oder „immer“. Weil so kann man ja nicht arbeiten …

… jetzt warte doch mal eine Nacht ab: dann beruhigt sich das.

Ein linbo-cloop2qcow2 läuft bei mir schon den ganzen Nachmittag, es ist
gerade 19 Uhr und er ist bei 61%.

… was soll ich sagen: die IO Leistung einer einzelenen Festplatte ist
unterirdisch: egal ob du auf der 7.0 oder der 7.1 bist.
Das hat so sowiso keien Zukunft.

Wie alt ist die Platte den?
Ist es wenigstens eine schnelldrehende? 10 000 U/min oder eine „normale“
mit 7200 U/min, oder gar eine Speicherplatte mit nur 5400 U/min (die
hätte im Server nichts zu suchen).

Also langsam glaube ich es auch: Wenn die Platte noch nicht hinüber ist,
dann ist sie es heute Nacht ;-/

wenn das nur eine Platte ist, dann muss die gar nicht am sterben sein um
so langsam zu sein…

Wie groß ist die Platte?
Wie groß ist dein linbo Verzeichnis?
(oje … lass du -h bitte erst laufen, wenn die Platte sich beruhigt hat …)

LG

Holger

11

Hey Markus,

diese Auslastung passiert bei mir nur dann wenn ich was mit den Torrent-Diensten „spiele“…sprich ich erstelle ein neues Image, starte den Dienst neu oder starte den Server neu (ich vermute da startet der Dienst auch wieder neu). Wenn das alles durchgelaufen ist (wie gesagt, 1,5h bzw. 50 Minuten) dann läuft alles wie geschmiert…da kann ich dann eine absolute Empfehlung aussprechen…deshalb mache ich solche Sachen mittlerweile am Wochenende…Werktags von 07:30 Uhr - 09:00 den Server lahmlegen ist halt keine so gute Idee…ist tierisch nervig…aber „händelbar“. Die Konvertierung der Images ging bei mir auch sehr lange…die Images sind halt zwischen 20GB und 40 GB groß…gelegentlich muss ich nach einem Serverneustart das ADS neu starten…(vermutlich da es zu einem Timeout wegen dem Torrentdienst kommt)…dann läufts aber durchgängig stabil…

Den Fall das es so langsam war dass eigentlich überhaupt nichts mehr ging hatte ich auch mal…da war tatsächlich eine Platte am kaputt gehen…nach dem Tausch liefs wieder wie oben beschrieben.

Liebe Grüße Frank

12

Hallo, Frank(sorry !) Markus,

Du hast sicherlich schon die smartmontools installiert ? Wenn nicht, können die Dir mitteilen, ob Du evtl. wirklich deswegen Hardware-Probleme hast.

(Hier steht etwas dazu).

L.G.
Christoph

13

Hi Christoph,

ich habe definitiv keine Hardwareprobleme :slight_smile: …aber ich glaube du meinst auch nicht mich sondern Markus :slight_smile:
Liebe Grüße Frank

14

Guten Morgen,
über Nacht ist die Plattenaktivität verschwunden. aber dennoch: das kann es ja nicht sein. Das wäre ganz dringend, dass der/die Entwickler von linbo da etwas dazu sagen.

Klar: Da ist irgendeine 24/7 Platte drin, keine SSD. Das war aber all die Jahre (Jahrzehnte) für Linbo auch nicht nötig. Die Homes liegen z. B. auf einer 4 TB SSD.

Was noch dazu kommt - ich habe es ja geschrieben: Ich habe nie aufgeräumt. Frank schreibt, er wartet bei 14 Images 1,5 Stunden. Ich habe gestern nur mal geschätzt, dass es bei mir über 60 sind. Da haben wir keine Fragen mehr. Wenn nun ein linbo-cloop2qcow2 da etwas startet, was alle 60 Images betrifft und dann das nächste und das nächste linbo-cloop2qcow2 gestartet wird, dann wundert mich nicht, dass ein rm von 3 cloops ungefähr 5 Minuten dauert.

Ich sage euch, ich habe heute Nacht so beschissen geschlafen, ich weiss nicht, was ich machen soll?

Auf jeden Fall: Am Wochenende in die Schule fahren, weil ein neues Image ansteht, das wird es auf keinen Fall werden. @Frank: Toller Einsatz.

Auch das vereinheitlichen ist für mich keine Option. Erstes wüsste ich bei manchen „Problemen“ gar nicht wie ich das machen soll. Dann fehlt mir endgültig die Zeit, daran zu spielen. Es wird schon bei 10-20 Images bleiben.

wie gesagt: Jetzt wäre der Kommentar eines Entwickler wichtig. Unter linbo < 7.1 konnte ich den Server wenn gewünscht am Tag 3x neu starten: Eine Sache von 2 Minuten.

Neulich hatte ich den Supergau: Ein neues Image für die „üble Sorte“ unserer Smartboards. Die mit dem Win 10 Rechner intern. Ich musste drei Images nacheinander erstellen, bis es entlich geklappt hat, so wie ich wollte. Klar, der Tag war lang. Aber so, reden wir über den Tag, die Nacht, …

Gruß,
Markus

15

Hallo Markus,

für mich ist die Sache eigentlich klar.
Deine Extremsituation (60 große Images) paßt nicht zum Backend: eine
einzelne Festplatte.

Dass ein Konvertieren von cloop zu qcow2 „alle 60 Images Betrifft“ ist
meiner Meinung nach nur auf unterster Ebene richtig: das konvertieren
belastet die völlig überforderte einzelne Festplatte massiv (… was soll
man sagen: es sind vornehmlich Dateioperationen, die da stattfinden) und
damit bricht ihre Performance massiv ein: das beeinträchtigt alle andern
Images mit.
Da kann ein Entwickler nix dran machen: sehr viele riesige Images sind
sehr Plattenintensiv.

Ich vergleiche das mal: mein „Testserver“ hier Zuhause ist eine 2 TB
Platte in meinem eigenen Rechner. Darauf sind in LVMs die verschiedenen
Server und es wird KVM Virtualisiert.
Ich starte also keinen „Server“ (echte Hardware) sondern eine KVM VM auf
meinem sowiso laufenden Rechner (der hat halt ein paar Netzwerkkarten).
Wir halten Fest: Server und OPNsense laufen auf der selben Festplatte:
und das ist eine WD Black mit 2 TB also 7200 U/min (dazu hast du noch
ncihts geschrieben: welche Festplatte ist es den?).
Der Start des Servers dauer, wenn die OPNsense gleichzeitig gestartet
wird, ca. 20 Minuten…
Wird erst die OPNsense gestartet und dann der Server, dauert es zusammen
nur 12 Minuten.
Warum? Weil es dann viel weniger konkurierende (gleichzeitige)
Plattenzugriffe sind: das ist es nämlich, was Festplatten überhaupt
nicht gut können. Für sowas braucht man dann schon eine Platte mit 15
000 U/min … aber auch die kommt nicht in die Nähe der IO Performance
einer SSD.
An der Situation kann Software nichts ändern.
Nimm mal einen Rechner her mit einer Festplatte, installier Windows 10
oder Ubuntu 22.04 drauf und schau dem Ding beim starten zu: das dauert ,
weil huntertausende kleien Dateien gelesenund geladen werden müssen …
das ist Heute so: ein modernes Betriebsystem auf einer Festplatte tut
richtig weh.

LG

Holger

16

Hallo zusammen,
jetzt war ich den ganzen Vormittag daran gesessen und es sind noch 16 Images übrig. Bin gespannt, was ich gelöscht habe, was noch dringend gebraucht wird … ;-/ Es lebe der Proxmox Backup Server. ;-/

Gerade läuft ein linbo-cloop2qcow2. Mal sehen, wie lange es dauert (bis sich die Platte beruhigt hat)

Sicher kann man diese HD gegen eine SSD tauschen. Aber dennoch - und da bleibe ich dabei: Unter <7.1 war das erstellen von Images kein Problem. Egal wie viele Leichen (ja, das waren sicher 20 WinXP cloops) die da noch lagen. Es hat sich also etwas an der Software geändert.

Zu Holgers Absatz:
„Dass ein Konvertieren von cloop zu qcow2 „alle 60 Images Betrifft“ ist
meiner Meinung nach nur auf unterster Ebene richtig: das konvertieren
belastet die völlig überforderte einzelne Festplatte massiv (… was soll
man sagen: es sind vornehmlich Dateioperationen, die da stattfinden) und
damit bricht ihre Performance massiv ein: das beeinträchtigt alle andern
Images mit.“

Installiere mal iotop und erstelle / konvertiere ein Torrent. Im Moment läuft 2x qemu-img bei 1x linbo-cloop2qcow2. Völlig entspannt. Wenn er aber fertig ist, dann kommen wie in dem Bild, was ich angehängt habe, alle (!) torrents, die von ctorrent beackert werden. Ich weiß ja nicht, was da passiert. Überprüfe noch einmal alle torrents, oder so ähnlich?

Ich bleibe dabei: Lässt sich da etwas optimieren?

Ich habe mir gerade einmal die Parameter von ctorrent angeschaut.

Könnte das etwas sein?
-f Force saved bitfield or seed mode (skip initial hash check)

Im Umkehrschluss: - f fehlt. Die torrent starten neu (müssen alle neue starten?) und er führt den initialen hash check durch. Und das dauert …

Es muss möglich sein,in Lücken etwas an Images zu machen, ohne dass das System danach steht.

Gruß,
Markus

17

Hallo zusammen,

wir haben hier auch das Thema, dass der Server während des Neuerstellen der Torrents fast nicht zu gebrauchen ist. Top geht durch die Decke. Seit wann das so ist (7.1?), kann ich nicht sagen. Und wir haben extrem fette Server-HW mit vielen zugewiesenen Xeon-Kernen, fett RAM und servergrade PCIe-SSD-RAID. Dadurch dauert das bei uns und mit der Anzahl an Images, die wir haben, „nur“ ca. 10 Minuten, wenn man sich dessen bewusst ist, macht man das halt dann, wenn’s nicht stört aber ob das „normal“ ist, weiß ich nicht.

Viele Grüße,
Jochen

18

Hallo.
Kann es sein, dass die Torrents beim Systemstart neu erzeugt werden?? Habt ihr mal auf die Zeitstempel geachtet?

vgl auch hier:

Viele Grüße
Michael

19

Hi Michel,
habe gerade geschaut: Die torrents werden nicht neu erzeugt, aber ich denke, ich liege da richtig: Da kein -f übergeben wird, führt er einen „initialen hash check“ durch.

Ich denke bei meiner langsamen Platte sind nun 2 h vorbei und ctorrent rödelt immer noch. (bei 16 images)

Ich habe jetzt mal in linbo-cloop2qcow2 und linbo-torrent rein geschaut.
linbo-clopp2qcow macht das ganz brutal: Alles anhalten. Alles starten.

Es gibt da sehr wohl in linbo-torrent z. B. bei create Zeilen wie:

skip already running torrents

pid=„$(torrent_pid „$torrent“)“
if [ -n „$pid“ ]; then
echo „$torrent is already running.“
return 1
else

Ich denke, da wäre man viel besser zu Hause. Was sagt Thomas dazu?

Gruß,
Markus

20

Hallo zusammen,

ich bin einen großen Schritt weiter. Habe mich quasi per „reverse engineering“ durch die linbo Programme gewühlt und so gesehen, dass in /etc/defaults die Datei linbo-torrent gibt, in der Parameter übergeben werden.

Darin gibt es die Optionsmöglichkeit Options:

#Supplemental ctorrent options, separated by space (-v: Verbose output for debugging)
#OPTIONS=„-v“
OPTIONS=„-f“
#Ergänzung von mir. Soll das intial hash checking überspringen.

Ich bin immer noch bei linbo-cloop2qcow2 und jetzt wuppt das, wie man es von prä 7.1 kennt. Ich muss noch checken, ob -f auch wirkt, wenn man ein Image vor Ort neu erzeugt.

Quelle: Ubuntu Manpage: ctorrent - Download bittorrent files from command line

Gruß,
Markus

1 „Gefällt mir“