geschmökert. Eigentlich hätte ich es gern auf einem nicht GUI-Server verfügbar fürs Intranet…
Ich bekomm es aber nicht hin, weil ich anscheinend grundsätzliche Dinge nicht verstehe. Damit möcht ich jetzt aber nicht nerven, also…
Jetzt erstmal die Frage: hat das schon jemand ausprobiert oder gar im Einsatz?
Edit:
auf dem Laptop funktioniert zumindest die Oberfläche, mit der man dann ein Model installieren kann. Problem: 16GB RAM nötig, ups.
auf dem Server hab ich kein grafisches Frontend und blicke das mit cli nicht
in einer virtuellen Maschine gibts ein QT-Problem, zu dem ich keine Lösung finde, außer, dass das in virtuellen Maschinen auftaucht. Hm.
I’m in, as soon as … sofern ich meine anderen „duties“ erledigt habe. Ich habe da einen Chef, der gerne sähe, wenn ich weniger für die Schule täterätätä.
hatten wir zeitweilig laufen (die VM ist derzeit aus, aber noch da). Ich fands ganz witzig, wenn auch in der VM, wo es lief, relativ… langsam
Ein QT-Problem gab es bei uns nicht. Aber ich habe es auch nur per CLI versucht.
Das Hauptproblem für uns: es gibt keine Accounts. Alle schreiben als ein Nutzer, sehen damit auch die alten Beiträge, usw. Dafür habe ich noch keine Lösung gefunden, aber auch lange nicht mehr geschaut.
Um datenschutzfreundlich eine Basis-KI zur Verfügung zu stellen, finde ich es ideal.
Aber natürlich heißt es sofort wieder: ChatGPT ist viel besser, dieser Linux-Kram ist halt nie so gut, wie die richtige Software
Denke den Schuelern kann man schon sagen, dass ChatGPT selbst bzw. der ganze Datenbankmoloch dahinter auch auf Linuxservern am Ackern ist, wuerde mich arg wundern wenn das nicht so waere.
also ich hab heute mal llama.cpp auf einer Ubuntu vm kompiliert, großzügig ram (40GB) gegeben und 8vcpu.
das ganze hab ich nach der GitHub Anleitung von llama.cpp gemacht angereichert mit den infos von heise.de. Ohne Cloud: Die eigene Sprach-KI lokal betreiben | heise online
über nen link auf der llama.cpp Seite kommt man auf verschiedene Models. ich hab im Moment llama-2-german (META) verwendet. gpt4all wär auch ne Idee. man muss die Models konvertieren und diskreditieren.
das llama.cpp kann man mit make einfach kompilieren (oder auch als Docker laufen lassen).
mit ./main kann man es im Terminal laufen lassen. Achtung der -t wert sollte den cpu kernen entsprechen.
mit ./server hat man nen einen einfachen Webserver laufen, wo man den bot direkt interviewen kann.
Tag auch,
kann man mir mal in ein paar Saetzen erklaeren woher die Datenbasis bei euren KI-Loesungen kommt?
Ich nutze mittlerweile ausgiebigt ChatGPT, auch im Unterricht mit den Schuelern und ich kann mir irgendwie nicht vorstellen, dass da bei eigenen Loeungen auch nur im Ansatz was Brauchbares rauskommt, hab aber von KI gerade mal eine Ahnung.
Gruss Harry
jo das ist natürlich eine gute Frage. Die sollte ich vielleicht den Bot fragen …
Also soweit ich das verstanden habe, ist von Meta ein der Datensatz geleakt und ist damit quasi opensource geworden. Dann haben andere die Datensätze weiter optimiert und angepasst. Dafür ist viel Rechenleistung, und gpu rechenpower nötig.
Ich würde mal behaupten, dass du auch nicht besser weisst wie die Datensätze bei openair herkommen… Vorteil der lokalen AI ist, dass die Daten halt nicht abfließen. Ich hab jetzt aber für den Vergleich wenig eErfahrung weil ich mit chatgpt aus Prinzip nie selber gearbeitet hab, weil ich dafür keinen account anlegen möchte irgendwo…
Habs gerade jetzt auch mal chatgpt4all mal am M1 Laptop mit 8GB RAM getestet. Das läuft wunderbar flüssig auch mit abgeschaltetem WLAN
Danke, ich probier das mal aus. Ich hab gpt4free versucht, das bockt aber mehr als es taugt, also weitersuchen.
ChatGPT-Account hab ich noch einen alten, da war keine Telefonnummer notwendig. Ich hab aber noch eine Handvoll SIM-Karten von Netzclub, das war noch vor POSTIDENT, aber selbst mit kann man die fuer solche Sachen nutzen. In ein altes Handy rein und fertig. Da sind auch 200MByte Datenvolumen pro Monat frei, angeblich bloss fuer 4 Wochen…naja, alle Karten die ich habe tun noch nach Jahren, hab da eine Ueberwachung eines Ackers mit laufen, macht alle halbe Stunde ein Foto und laedt das per ftp auf einen Server mit Zeitstempel. Automate fuer Android ist eine geile App fuer solche Spielereien, falls ihr mal nette Projekte mit euren Schuelern machen wollt: Altes Android, SIM-Karte von Netzclub (falls die neuen auch nach 4 Wochen noch tun, was ich vermute) und Automate: Kamera, Mikrofon, GPS…alles drin.
Das war off topic, sorry.
