Ollama + Open WebUI: Lokale ChatGPT-Oberfläche einrichten (Kompletter Leitfaden)

Mit Ollama lassen sich große Sprachmodelle lokal überraschend einfach betreiben – ein Befehl reicht, und selbst ein älteres Notebook mit 8 GB RAM kann ein 7B-Modell fahren. Open WebUI liefert eine ChatGPT-ähnliche Oberfläche: Docker mit einem Befehl, integrierte Wissensbasis, Multi-User-Verwaltung und OpenAI-kompatible API.

Dieser Artikel zeigt, wie Sie mit beiden Tools ein vollständiges lokales KI-Dialogsystem aufsetzen.

Warum lokaler Betrieb?

ChatGPT und Claude sind stark – aber ein paar Punkte stören im Alltag.

Kosten. Rund 20 US-Dollar pro Monat, also 240 US-Dollar im Jahr. Für Vielnutzer okay; wer nur gelegentlich Code oder Recherche braucht, zahlt viel für wenig. Lokal: nach dem Download keine Token-Kosten, kein Abo.

Datenschutz. Eingaben landen auf Servern von OpenAI oder Anthropic. Arbeitsdokumente, Notizen, private Gespräche – viele wollen das nicht. Lokal bleibt alles auf der eigenen Festplatte.

Offline. Auf Reisen oder bei schlechtem Netz sind Cloud-KIs nutzlos. Heruntergeladene Modelle laufen ohne Internet.

Anpassung. Cloud-Dienste fixieren Parameter. Lokal steuern Sie Temperature, Prompt-Vorlagen und mehr frei.

Kernkonzepte im Überblick

Zwei Werkzeuge, klar getrennt:

Ollama ist der Modell-Runner: Download, Verwaltung und Ausführung von LLMs plus API (Standardport 11434). Denken Sie an „OpenAI-API auf localhost“.

Open WebUI ist die Web-Oberfläche: ChatGPT-ähnliches Fenster, Modellwechsel, Verlauf. Es spricht per API mit Ollama und macht aus der Kommandozeile eine Browser-Oberfläche.

Architektur:

Browser (localhost:3000)
    ↓
Open WebUI (Docker-Container)
    ↓ HTTP API
Ollama (lokaler Dienst, Port 11434)
    ↓
Lokale Modelle (in ~/.ollama)

Browser → Open WebUI ruft Ollama-API auf → Ollama lädt Modell und inferiert → Antwort zurück. So einfach.

Systemanforderungen

Vor dem Deployment Hardware prüfen.

Minimum:

• CPU: Intel i5 oder vergleichbar
• RAM: 8 GB (16 GB+ stabiler)
• Speicher: mind. 10 GB frei (Modelle sind groß)
• OS: Windows 10+, macOS 11+, Linux

Empfohlen:

• GPU: NVIDIA RTX 3060 oder besser (deutlich schnellere Inferenz)
• Apple Silicon (M1/M2/M3): Unified Memory, gut für lokale Modelle

Software:

KiloClaw - Managed OpenClaw für Unternehmen: AI-Agent-Orchestrierung und smartes Modell-Routing

Jetzt starten →Anzeige

• Docker für Open WebUI (optional, aber praktisch)

Docker-Version prüfen:

docker --version
docker compose version

Version ausgegeben = installiert. Sonst Docker Desktop (Windows/macOS) oder Docker Engine (Linux).

Schritt 1: Ollama installieren

Installation in einem Befehl.

1.1 macOS und Linux

Terminal öffnen:

curl -fsSL https://ollama.com/install.sh | sh

Das Skript installiert Ollama; der Dienst startet im Hintergrund.

1.2 Windows

In PowerShell:

irm https://ollama.com/install.ps1 | iex

Oder Installer von ollama.com/download – beides funktioniert.

1.3 Docker (optional)

Ollama im Container:

docker pull ollama/ollama:latest
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

-v ollama:/root/.ollama speichert Modelle im Docker-Volume – nach Neustart bleiben sie erhalten.

1.4 Installation prüfen

ollama --version

Erwartet: z. B. ollama version is 0.1.x.

Läuft der Dienst nicht automatisch:

ollama serve

API unter http://localhost:11434.

Schritt 2: Modelle herunterladen und nutzen

2.1 Modellauswahl

Nach Einsatz:

• Alltag, einfache Aufgaben: Llama 3.2 1B oder 3B
• Gutes Chinesisch: Qwen 2.5
• Code: DeepSeek R1 (starkes Reasoning)
• Allgemein leistungsstark: Llama 3.1 8B oder Mistral 7B

2.2 Download

# Llama 3.2 (Standard 3B)
ollama pull llama3.2

# DeepSeek R1 7B
ollama pull deepseek-r1:7b

# Qwen 2.5 7B
ollama pull qwen2.5:7b

Erster Download dauert je nach Größe und Verbindung – Llama 3.2 oft wenige Minuten, größere Modelle länger.

2.3 Dialog im Terminal

ollama run llama3.2

>>> Send a message (/? for help)

Frage eingeben, Antwort streamt live. Beenden: Ctrl + d oder /bye.

2.4 Verwaltung

ollama list          # heruntergeladene Modelle
ollama rm llama3.2:1b   # Modell löschen
ollama cp llama3.2 my-llama   # Alias
ollama show llama3.2   # Details

Schritt 3: Open WebUI installieren

Für eine grafische ChatGPT-ähnliche Oberfläche: Open WebUI.

3.1 Docker Single-Container

Ollama muss laufen (ollama serve), dann:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart unless-stopped \
  ghcr.io/open-webui/open-webui:main

Parameter:

• -p 3000:8080: Port 3000 auf dem Host
• --add-host=host.docker.internal:host-gateway: Zugriff auf Host-Ollama
• -v open-webui:...: persistente Daten (Verlauf, Konten)
• --restart unless-stopped: Auto-Start mit Docker

Browser: http://localhost:3000

3.2 Docker Compose (empfohlen)

Beide Dienste per Compose:

mkdir open-webui-project
cd open-webui-project

compose.yaml:

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - ./data:/app/backend/data
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
    restart: unless-stopped
    depends_on:
      - ollama

  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ./ollama:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped

Start:

docker compose up -d
docker compose ps

Beide Container running = Erfolg.

Alibaba Cloud - Top-Wahl für Entwickler, exklusiv 15 % Rabatt auf Lighthouse-Server

15 % Rabatt sichern →Anzeige

3.3 Erstzugriff

http://localhost:3000 – Konto anlegen (Benutzername, E-Mail, Passwort, „Sign Up“).

Nach Login erkennt Open WebUI Ollama und listet Modelle, z. B.:

llama3.2:latest
deepseek-r1:7b
qwen2.5:7b

Keine Erkennung? Settings → Connections, Ollama-URL:

http://host.docker.internal:11434

Mit Docker Compose:

http://ollama:11434

Schritt 4: Grundlagen

4.1 ChatGPT-ähnlicher Dialog

• Links: Gesprächsliste (neu, löschen, umbenennen)
• Oben: Modellauswahl
• Unten: Eingabe, Enter zum Senden

Modell wählen, Frage stellen – Antwort streamt wie bei ChatGPT.

4.2 Modellwechsel

Im laufenden Chat oben anderes Modell wählen – gut zum Vergleich (z. B. Llama 3.2 vs. DeepSeek R1).

4.3 Gesprächsverwaltung

• Neu: „New Chat“
• Umbenennen: Titel anklicken
• Löschen: Rechtsklick → Löschen
• Suchen: Suchfeld oben links

Alles lokal im Docker-Volume, nicht in der Cloud.

4.4 Parameter

Einstellungen neben dem Eingabefeld:

• Temperature: niedrig (0,1–0,3) = stabiler, hoch (0,7–0,9) = kreativer
• Top P: Wortauswahl-Breite
• Max. Ausgabelänge: Antwortlänge begrenzen

Code: niedrige Temperature; kreative Texte: höher.

Schritt 5: Erweiterte Funktionen

5.1 RAG-Wissensbasis

RAG (Retrieval-Augmented Generation) macht Ihre Dokumente durchsuchbar.

1. Tab Documents
2. Upload – PDF, Markdown, TXT, DOCX
3. Indexierung automatisch

Im Chat Use Documents aktivieren – die KI nutzt Ihre Dateien.

Beispiele: API-Doku, Meeting-Notizen, technische PDFs – alles lokal auf der Festplatte.

5.2 Multi-User

Mehrere Nutzer: Settings → Users – Konten anlegen, Rollen (User/Admin), getrennte Verläufe.

5.3 API-Integration

Ollama und Open WebUI bieten OpenAI-kompatible APIs.

Ollama:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "user", "content": "Hello"}
  ],
  "stream": false
}'

Open WebUI (mit Token):

curl http://localhost:3000/api/chat/completions \
  -H "Authorization: Bearer YOUR_TOKEN" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

Python:

import requests

response = requests.post('http://localhost:11434/api/chat', json={
    'model': 'llama3.2',
    'messages': [{'role': 'user', 'content': 'Hello'}],
    'stream': False
})

print(response.json()['message']['content'])

So binden Sie lokale Modelle an VS Code, Skripte oder andere OpenAI-kompatible Tools.

Schritt 6: Performance

6.1 GPU-Beschleunigung

Ollama erkennt GPUs automatisch.

NVIDIA: Treiber und CUDA; Ollama nutzt nvidia-smi.

Apple Silicon: Metal ohne Extra-Konfiguration.

Railway - Moderne Deployment-Plattform, ohne DevOps-Aufwand, in Minuten live

Jetzt starten →Anzeige

AMD (Linux): ROCm-Build:

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr/ -xzf ollama-linux-amd64-rocm.tgz

6.2 Parallelität

OLLAMA_NUM_PARALLEL=2 ollama serve
OLLAMA_MAX_LOADED_MODELS=2 ollama serve

Hilfreich bei mehreren Nutzern oder parallelen Modellen.

6.3 Quantisierung

Große Modelle (z. B. 70B) mit weniger RAM:

ollama pull llama3.3:70b-q4_K_M

Leichter Qualitätsverlust, deutlich weniger Speicher und oft schneller.

Fehlerbehebung

Q1: Langsamer Download

Ursache: Server oft im Ausland.

Lösung: Proxy oder GGUF manuell importieren:

FROM ./llama3.2.gguf
ollama create my-llama3.2 -f Modelfile

Q2: Open WebUI verbindet nicht

Symptom: „Ollama connection failed“.

1. Ollama prüfen:

curl http://localhost:11434

Erwartet: "Ollama is running".

2. Aus dem Container:

docker exec -it open-webui curl http://host.docker.internal:11434

Ggf. OLLAMA_BASE_URL setzen.

Q3: GPU nicht erkannt

Langsame Inferenz, GPU idle.

nvidia-smi
ollama show llama3.2 --system

CPU-only → Treiber/CUDA prüfen, ggf. CUDA_VISIBLE_DEVICES.

Q4: Speicher voll (OOM)

• Kleineres Modell (1B/3B)
• Quantisierung (q4_K_M)
• Swap (Linux)
• Andere RAM-lastige Programme beenden

Q5: Container startet nicht

docker logs open-webui

Häufig: Port 3000 belegt, Volume-Rechte, zu wenig RAM. Anderen Port (-p 8080:8080) oder Limits anpassen.

Zusammenfassung

Kernablauf mit Ollama + Open WebUI:

1. Ollama installieren (ein Befehl)
2. Passendes Modell laden (Hardware beachten)
3. Open WebUI per Docker starten
4. Dialog beginnen

Ergebnis: kostenloser Assistent, lokale Daten, Offline-Nutzung, anpassbare Parameter, RAG-Wissensbasis, integrierbare API – für Privatnutzung und kleine Teams.

Vertiefung: Modelfile, Hybrid mit Cloud-APIs, Kubernetes in Produktion.

Referenzen

• Ollama
• Ollama Model Library
• Open WebUI GitHub
• Ollama GitHub
• freeCodeCamp Tutorial
• DataCamp Open WebUI

Bei Problemen: GitHub Issues von Ollama und Open WebUI – die Community ist aktiv.