Hallo,
ich experimentiere gerade mit Ollama in Kombination mit Open WebUI. Beides läuft als Docker. Das in Ollama installierte Sprachmodell wird in Open WebUI angezeigt. Statt einer Antwort auf einen Prompt bekomme ich aber nur Balken und die Serverlast geht auf 100%.
Die Nutzung des Modells auf der Konsole mittels z.B. docker exec -it ollama ollama run llama2
funktioniert. Hier kommt eine Antwort.
Ich habe keine Ahnung, warum mir in Open WebUi zwar die Modelle, die in Ollama installiert sind, angezeigt werden, sprich eine Verbindung zu Ollama besteht, ich aber keine Antwort und stattdessen 100% Serverauslastung bekomme.
Das ist die docker-compose.yml:
services:
openwebui:
image: ghcr.io/open-webui/open-webui:main
container_name: ollama_openwebui
environment:
- "OLLAMA_BASE_URL=http://ollama:11434"
ports:
- "127.0.0.1:3090:8080"
restart: unless-stopped
volumes:
- ./open-webui:/app/backend/data
extra_hosts:
- 'host.docker.internal:host-gateway'
depends_on:
- ollama
networks:
- ollama_ki_network
ollama:
image: ollama/ollama
container_name: ollama
ports:
- '11434:11434'
volumes:
- ./ollama:/root/.ollama
restart: unless-stopped
### <---> Für die NVIDIA GPU
# deploy:
# resources:
# reservations:
# devices:
# - driver: nvidia
# capabilities: ["gpu"]
# count: all
### <---> Für die NVIDIA GPU
networks:
- ollama_ki_network
deploy:
resources:
limits:
cpus: '6.0' # Wenn Ihre Maschine mehrere CPUs hat
networks:
ollama_ki_network:
Hat das jemand schon zum Laufen bekommen oder eine Idee wo ich nach dem Fehler suchen muss?
Viele Grüße
Steffen