AK zu Nextcloud und Elastic-Search

Hallo zusammen,

ich poste das hier, weil ich sonst nicht die Leute erreiche, die das Thema interessieren könnte. Wenn Ihr so etwas hier nicht sehen wollt, gebt mir kurz Bescheid, dann lass ich das in Zukunft.

am 17. April findet in Ehingen ein AK zum Thema Nextcloud mit Elastic-Search statt.

Wer kennt das nicht? Du suchst eine Datei, oder eine E-Mail, in der die Worte „tolle Sache“ vorkommen. Leider kannst du dich nicht mehr an den Dateinamen oder die E-Mail erinnern.

Die Nextcloud kann bisher nur nach Dateinamen suchen, nicht aber nach Inhalten. Diese Lücker wird durch Elastic-Search geschlossen.

Im nächsten AK geht es also um Elastic-Search und die Nextcloud.

Wir werden

  • eine Nextcloud aufsetzten und einen Benutzeraccount einrichten.
  • den Elestic-Search Service aufsetzten.
  • in der Nextcloud die Volltextsuche über Elasticsearch einrichten und starten.

Da die Nextcloud als auch der Elastic-Search-Service dockerbasiert sind, nimmt die Einrichtung nur wenig Zeit in Anspruch. Es bleibt also genug Zeit, um zu experimentieren und auf deine Fragen einzugehen.

Du hast Morgens oder Mittags keine Zeit? Kein Problem, dann komm Morgens oder Mittags.

Hier die LFB-Veranstaltungsnummer: ZE674

Viele Grüße,

Mathias Rettich

Hallo Mathias,
die Idee finde ich gut … für mich leider zu weit weg.
Aber nur aus Interesse: Ich habe mal gehört, dass Elastic Search im Zshg mit der Nextcloud ziemlich ressourcenhungrig ist. Hat sich das gebessert? Gibt’s also Erfahrungswerte, wie gut und zuverlässig das am Ende läuft?
Viele Grüße,
Michael

Hallo Michael,

Naja, beim ersten Erstellen des Index wird ordentlich Speicher und CPU-Leistung gebraucht. Aber dach geht’s eigentlich… Das sind halt meine Erfahrungen…
Gruß,
Mathias

Für wie viele Personen ist Eure NC freigeschaltet?

Wir haben 400 Schüler und 40 Kollegen…

Ok – bei uns wären es ca 1500 Personen. Ich weiß nicht, wie gut Elastic Search + NC da skaliert…

Naja, das musst du ausprobieren. Das erste Anlegen des Index kann sehr lange dauern. Ich hab das bei uns in den Ferien gemacht.

1 „Gefällt mir“

Ok, dass der erste Durchlauf sehr lange dauert, kann man ja einsehen … zumal wir Kollegen haben, die da bereits einige GB angesammelt haben.

Aber es wäre ja auch wichtig zu wissen, wie schnell und zuverlässig das anschließend läuft. Wenn also permanent im laufenden Betrieb Daten dazu kommen oder gelöscht werden, muss das ja auch ständig alles indiziert werden.
Daher: Wie ist es im Dauerbetrieb?

Hi,

wie sieht es mit der Abgrenzung der Suchergebnisse aus? Werden Zugriffsberechtigungen ausgewertet und Suchergebnisse entsprechend je nach Nutzerberechtigung herausgefiltert? Gibt es pro Nutzer/Gruppe einen Index oder wie läuft das? Worst-Case-Szenario wäre ja, dass Informationen über die Beschreibung/Titel der Suchtreffer geleakt werden.

MfG Buster

Hallo Buster,
ich bekomme die Suchergebnisse von Dateien/E-Mails, auf die ich mit meinem Account Zugriff habe.
Gruß,
Mathias

Hallo Michael,
wenn man die Ausgabe von fulltextsearch:live anschaut, sieht man, dass sobald eine Datei geändert wird, der Index aktualisiert wird.
Wie schon erwähnt, für unsere Schule (ca. 450 user) läuft das echt gut.
Gruß,
Mathias

Hallo Mathias,
ich finde die Idee auf jeden Fall sinnvoll. Vor längerer Zeit hatte ich darüber auch schon mal nachgedacht und es dann aufgrund der o.g. Bedenken wieder verworfen…

Falls Du nach dem Treffen Material (Howto oder best practice) hast, fände ich es super, wenn Du das hier bereitstellen würdest :wink::interrobang:
Viele Grüße
Michael

Klar, mach ich…

Hallo Mathias,

kann man so einen Elasticsearch-Docker auch mit einer NC, die nicht in Docker läuft, verheiraten wie das bei Collabora problemlos möglich ist?

Viele Grüße
Steffen

Hallo Steffen,

Klar, warum auch nicht. Der Port 9200 wird an den Dockerhost weiter gereicht und wer dann darauf zugreift (greifen kann) hast du in der Hand.
Wenn die Nextcloud irgendwo im Internet ist und der Elasticsearch in der Schule hat man halt ein langsames Netz. Ob das dann sinnvoll ist, würde ich mir überlegen.
Bei mir laufen beide auf dem gleichen Dockerhost…

Gruß,
Mathias

Hallo Mathias,

aktuell läuft NC auf einer VM in der Schule, da läuft auch Collabora und da würde ich dann auch Elasticsearch als Docker installieren.

Ob das allerdings so bleibt… :man_shrugging:
Bei uns laufen weiterhin seit 2018 ganz seltsame, nicht nachvollziehbare Dinge (nicht nur) in der EDV der Schule.

Du stellst deine Unterlagen hier zur Verfügung hast du gesagt, oder?

Viele Grüße
Steffen

Ich hab auch Elastic Search aktiv in meiner Nextcloud VM und per Docker angebunden.
Aufgesetzt mit dem Skript von HanssonIT vom Nextcloud VM repository. Aber da gibt es auch sicherlich andere Skripte. Ist ne nette Sache.
Bei kollaborativen Verzeichnissen halte ich den Nutzen allerdings begrenzt. Die Kollegen finden die Dateien,die sie brauchen, nicht in den Tiefen des Verzeichniswaldes. Da hilft eine Volltextsuche auch nur begrenzt. Trotzdem natürlich besser als nix. Die UniversalSuche in Nextcloud hat sich in der aktuellen nc28 ja auch ein bissle verändert.

Dann gibt es in Nextcloud ja noch das Tagging. Da hab ich mal umprobiert mit dem automatischen Tagging. Das ist nicht sehr intuitiv bei der Einrichtung, hilft aber glaub ich beim Finden von Dateien auch nicht so viel weiter, wenn der Tag mit dem Verzeichnisnamen für alle Dateien im Unterverzeichnis gesetzt wird. Dann gibt es noch manuelles Tagging. Das ist vermutlich am besten…?
Oder was nutzt ihr zum Suchen von Sachen im Intranet? Ich denk mal ihr nutzt halt dann ein Schulwiki?

In dem Zusammenhang mit Elasticearch kann man ausserdem noch die automatische pdf-ocr Konvertierung angehen mit ocrmypdf, was ganz nett ist, wenn der Schulkopierer per smb an die Nextcloud angebunden ist…

Das kannst gerne nochmal vertiefen … klingt interessant. Was wird damit möglich bzw wie hast Du das konkret umgesetzt?

Hallo,

wir nutzen eine sinnvolle Ordnerstruktur und sprechende Dateinamen. :grinning:
Das hört sich jetzt etwas blöd an, aber es klappt ganz gut bei uns. Die letzte Datei, nach der ich etwas suche musste, war eine Vorlage für die Hausaufgabenbuddies also die Mitschüler, die für die kranken Kameraden notieren, was im Unterricht gemacht wurde und was Hausaufgabe ist. Da gab es zwei Ordner die dafür in Frage kamen. Es ist nun schon 6 Monate her.
Wobei eine Inhaltssuche schon schick ist.
VG
Christian

Hallo Christian,

solche verbindliche Strukturen zu implementieren hat bei uns seit 21 Jahren nicht geklappt. Genau so wenig wie ein sinnvolles, aktuelles und von der SL forciertes Schulportfolio oder auch nur überhaupt eine sinnvolle Dateiablage in NC usw.

Dafür stimmen wir morgen an der GLK über den Antrag eines Kollegen ab, die in der letzten GLK beschlossene Änderung der Pausenstruktur samt anschließendem Beschluss dazu in der Schulkonferenz wieder auf das alte Modell zurück zu ändern :person_shrugging::person_facepalming:

Ich habe allmählich resigniert vor meiner noch weit entfernten Pensionierung noch was zu bewegen und ziehe halt einfach für mich mein Ding durch, wenn es für mich sinnvoll oder interessant ist. Notfalls allein für mich.

Viele Grüße
Steffen