Ollama-Einstieg: Erster Schritt zu lokalen Großsprachmodellen

Letzten Monat knackte meine OpenAI-API-Rechnung die 300-Dollar-Marke. Ich testete in der Entwicklungsphase nur ein paar Funktionen – trotzdem summierte sich das schnell. Schlimmer noch: Die Dokumente enthielten interne Unternehmensdaten. Alles in die Cloud zu schicken, fühlte sich nie richtig an.

Da war klar: Ich brauche eine lokale Alternative. Eine Woche lang habe ich mehrere Tools ausprobiert – am Ende war Ollama das unkomplizierteste.

Vielleicht kennen Sie ein ähnliches Dilemma: Cloud-KI wird teurer, Datenschutz macht Sorgen, oder Sie brauchen KI schlicht in einer Offline-Umgebung. Ollama adressiert genau das. Sie betreiben große Sprachmodelle auf Ihrem eigenen Rechner, sind in wenigen Minuten startklar, zahlen nichts und Ihre Daten verlassen die Maschine nicht. Im Folgenden teile ich Stolpersteine und Erkenntnisse aus der Praxis – damit Sie schneller vorankommen.

---

Was ist Ollama?

Der Name verwirrt manchmal: Ollama ist kein Modell, sondern ein Tool zum Ausführen von Modellen. Wie Docker Container vereinfacht hat, macht Ollama lokale LLMs für Entwickler greifbar.

Kurz gesagt: Sie laden mit Ollama ein Modell (z. B. Llama 3.2), sprechen damit, lassen Code schreiben oder übersetzen – die gesamte Inferenz läuft lokal.

Warum lokal, wenn ChatGPT und Claude in der Cloud schon bequem sind?

Die Cloud ist praktisch. Nach längerer Nutzung tauchen aber typische Probleme auf:

Kosten. APIs rechnen pro Token ab. In der Testphase können die Rechnungen schockieren – ich kenne Entwickler, die monatlich Hunderte bis Tausende Dollar zahlen.

Datenschutz. Jeder Dialog geht in die Cloud. Interne Dokumente, Kundendaten oder sensible Informationen passen oft nicht zu Compliance-Vorgaben – besonders in regulierten Branchen und Behörden.

Netzwerk. Sie brauchen eine stabile Verbindung. Bei instabilem Internet leidet die UX; völlig offline geht gar nichts.

Limits. Rate Limits, Quotas, Feature-Gates – manchmal blockiert die API genau dann, wenn Sie etwas ausprobieren wollen.

Ollama löst diese Punkte direkt: Nach dem Download läuft die Inferenz komplett lokal. Offline nutzbar, keine Datenabgabe, keine API-Kosten, keine Aufruflimits.

Für Entwickler kommt noch ein Plus: eine vollständige API im OpenAI-kompatiblen Format. Lokal testen spart Geld; in Produktion wechseln Sie bei Bedarf zur Cloud-API – flexibel und planbar.

---

Ollama installieren: drei Schritte

Die Installation ist wirklich einfach. Je nach Plattform leicht unterschiedlich – in der Regel sind Sie in wenigen Minuten fertig.

Linux (am unkompliziertesten)

Unter Linux reicht oft ein Befehl:

curl -fsSL https://ollama.com/install.sh | sh

Danach ist Ollama installiert und der Dienst startet automatisch.

Linux empfehle ich am meisten: Server-Deployment, Container – alles läuft stabil. Für Produktion ist Linux meine erste Wahl.

Manuelle Installation geht auch, für Einsteiger aber unnötig mühsam. Wer es trotzdem will: Binary herunterladen und einen systemd-Dienst einrichten – Details spare ich hier.

macOS (freundlicher mit GUI)

Zwei Wege unter macOS.

Mit Homebrew:

brew install ollama

Anschließend ollama serve starten oder brew services start ollama für den Hintergrunddienst.

Ohne Homebrew: .pkg von der Website laden und installieren – für Mac-Nutzer vertraut.

Tipp: Auf Apple Silicon (M1/M2/M3) nutzt Ollama automatisch Metal-GPU-Beschleunigung. Auf meinem M2 MacBook Pro läuft ein 8B-Modell flüssig; 13B geht auch, braucht aber mehr RAM.

Windows (winget am schnellsten)

Unter Windows mit winget:

winget install --id=Ollama.Ollama -e

Alternativ die .exe von der Website. Nach der Installation startet Ollama automatisch; im System-Tray sehen Sie das Icon.

Installation prüfen:

ollama --version

Eine Versionsnummer bedeutet: alles bereit.

---

Das erste Modell starten

Nach der Installation direkt ein Modell testen.

Für den Einstieg empfehle ich llama3.2 oder qwen:8b. Ersteres ist Metas aktuelles Modell mit guter Allround-Leistung; Qwen (Tongyi Qianwen) versteht Chinesisch besonders gut.

Starten:

ollama run llama3.2

Der Befehl lädt das Modell beim ersten Mal (einige Minuten) und öffnet eine interaktive Shell.

Sie sehen etwa:

>>> Send a message (/? for help)

Jetzt können Sie chatten. Zum Beispiel:

>>> Hallo, stell dich kurz vor

Die Antwort streamt in Echtzeit. Beenden mit /bye oder Strg+D.

Modellgrößen erklärt

In Modellnamen tauchen Zahlen wie 3b oder 8b auf – das sind Parameter in Milliarden, also die „Größe“ des Modells.

3B-Modelle: ~3 Milliarden Parameter, laufen auf schlanken Laptops mit ~4 GB RAM. Schnell, aber begrenzter – gut für einfachen Chat und Tool-Befehle.

8B-Modelle: ~8 Milliarden Parameter, der Sweet Spot für viele Notebooks und Desktops. ~8 GB RAM, Alltagsdialog und leichte Coding-Hilfe – meine häufigste Wahl.

13B-Modelle: ~13 Milliarden Parameter, ~16 GB RAM. Deutlich bessere Antworten und längerer Kontext – sinnvoll mit stärkerer GPU.

70B-Modelle: ~70 Milliarden Parameter, oft 64 GB RAM und mehr. Server-Klasse, maximale Qualität, hohe Hardware-Anforderungen – für Privatnutzer selten nötig.

Zum Start reichen 3B bis 8B – auf modernen Laptops meist flüssig. Nicht sofort das größte Modell wählen: erst klein einüben, dann hochskalieren.

---

Wichtige Befehle zur Modellverwaltung

Ollama bringt einfache CLI-Befehle mit. Ein paar reichen für den Alltag.

Modell herunterladen:

ollama pull llama3.2
ollama pull qwen:8b

pull lädt aus der Bibliothek; danach liegt das Modell im Cache.

Installierte Modelle anzeigen:

ollama list

Name, Größe und Änderungszeit werden gelistet.

Modell löschen:

ollama rm llama3.2

Platz schaffen, wenn ein Modell nicht mehr gebraucht wird.

Modell-Details:

ollama show llama3.2

Parameteranzahl, Quantisierung und weitere technische Infos.

Befehle wie cp (Kopieren) oder push (Hochladen) braucht man selten – bei Bedarf in der Doku nachschlagen.

Empfohlene Modelle

Je nach Einsatz:

Alltagsdialog:

• llama3.2: Meta, solide Allround-Leistung
• qwen:8b: Tongyi Qianwen, stark bei Chinesisch
• mistral: europäisches Open-Source-Modell, gute Performance

Programmierhilfe:

• codellama: für Code-Generierung optimiert
• deepseek-coder: Deep-Learning-Code-Modell, sehr praktisch

Multimodal (Bildverständnis):

• llava: Bildverständnis
• llama3.2-vision: Vision-Variante von Llama 3.2

Unsicher? Starten Sie mit llama3.2:3b oder qwen:8b – beide sind leicht und gut für Einsteiger.

---

GPU-Beschleunigung: der Unterschied ist enorm

Das ist wichtig. CPU-Inferenz funktioniert, aber GPU ist oft 10- bis 20-mal schneller.

Beim ersten Mal hatte ich die GPU nicht konfiguriert – das Modell war quälend langsam. Nach der GPU-Einrichtung war der Unterschied sofort spürbar.

Ollama unterstützt NVIDIA, AMD und Apple Silicon.

NVIDIA (RTX-Serie)

Am einfachsten – meist automatisch.

Sie brauchen:

1. Aktuellen NVIDIA-Treiber (Version 531 oder neuer)
2. Installiertes CUDA

GPU prüfen:

nvidia-smi

Wenn GPU-Infos erscheinen, passt es. Ollama nutzt die GPU beim Lauf automatisch.

Bestimmte GPUs auswählen:

export CUDA_VISIBLE_DEVICES=0,1

Nur GPU 0 und 1 – bei Multi-GPU-Systemen manchmal nötig.

GPU in Docker:

Mit NVIDIA Container Toolkit:

docker run --gpus all ollama/ollama

So sieht der Container die Host-GPU.

AMD-Grafikkarten

Etwas aufwendiger: ROCm installieren.

ROCm-fähige AMD-GPUs u. a.:

• Radeon Instinct (MI100, MI210, MI250, MI300X …)
• Radeon RX (5700 XT, 5500 XT, 7600, 9070 …)
• Radeon PRO

Mit ROCm v7+ erkennt Ollama AMD-GPUs automatisch.

Bei nicht offiziell unterstützten Architekturen kann ein Override helfen:

export HSA_OVERRIDE_GFX_VERSION=10.3.0

Experimentell: Vulkan-Support:

export OLLAMA_VULKAN=1

Apple Silicon (M1/M2/M3)

Für Mac-Nutzer am entspanntesten: Metal-GPU-Beschleunigung ohne Extra-Konfiguration.

16 GB Unified Memory: 8B flüssig; 32 GB: 13B oder sogar 30B. Speichergröße begrenzt direkt die maximale Modellgröße.

Weitere Performance-Tipps

Quantisierte Modelle. Standard oft Q4_K_M – guter Kompromiss. Bei wenig RAM: Q4_K_S, etwas geringere Qualität, weniger Footprint.

Flash Attention. Beschleunigt lange Kontexte deutlich:

export OLLAMA_FLASH_ATTENTION=1

Kontextlänge. Standard 2048; wenn kürzer reicht, verkleinern spart RAM und Zeit:

export OLLAMA_CONTEXT_LENGTH=4096

Modell im Speicher halten. Standard: 5 Minuten Leerlauf, dann Entladen. Bei häufiger Nutzung:

export OLLAMA_KEEP_ALIVE=30m

Mit -1 bleibt das Modell geladen (solange der Ollama-Dienst läuft) – sofortige Antworten ohne Reload-Wartezeit.

---

API-Integration: Ollama in Ihre Anwendung einbinden

Hier zeigt sich der eigentliche Wert: eine vollständige API für Ihre Apps.

REST-API-Grundlagen

Ollama lauscht standardmäßig auf Port 11434.

Zwei häufige Endpunkte:

Textgenerierung:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?"
}'

Chat-Completion:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "user", "content": "Hello!"}
  ]
}'

Standard ist Streaming. Für die komplette Antwort auf einmal: "stream": false.

OpenAI-kompatible API – das wertvollste Feature

Praktisch: OpenAI-kompatibler Endpoint – bestehender OpenAI-Code lässt sich fast unverändert auf lokale Modelle umstellen.

Endpoint:

http://localhost:11434/v1/chat/completions

Python-Beispiel:

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # beliebig, wird ignoriert
)

response = client.chat.completions.create(
    model="llama3.2",
    messages=[
        {"role": "user", "content": "Say this is a test"}
    ]
)

print(response.choices[0].message.content)

JavaScript-Beispiel:

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'ollama'
});

const response = await client.chat.completions.create({
  model: 'llama3.2',
  messages: [{ role: 'user', content: 'Hello!' }]
});

console.log(response.choices[0].message.content);

Lokal entwickeln und sparen; in Produktion bei Bedarf zur Cloud wechseln – oder komplett lokal bleiben für Kosten- und Datenschutzkontrolle.

Mein Ansatz: Umgebungsvariable, die je nach Umgebung lokal oder Cloud wählt – in der Entwicklung standardmäßig lokal, Cloud nur wenn nötig.

Offizielle Python-Bibliothek

Neben dem OpenAI-SDK gibt es ollama für Python:

pip install ollama

Basis:

import ollama

response = ollama.chat(model='llama3.2', messages=[
  {'role': 'user', 'content': 'Why is the sky blue?'},
])

print(response['message']['content'])

Streaming:

import ollama

stream = ollama.chat(
    model='llama3.2',
    messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
    stream=True,
)

for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

Tool Calling

Ollama unterstützt Tool Calling – das Modell kann externe Funktionen oder APIs aufrufen. Wichtig für komplexe KI-Apps.

Beispiel:

import ollama

response = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'What is the weather in Toronto?'}],
    tools=[{
        'type': 'function',
        'function': {
            'name': 'get_current_weather',
            'description': 'Get the current weather for a city',
            'parameters': {
                'type': 'object',
                'properties': {
                    'city': {'type': 'string', 'description': 'The name of the city'},
                },
                'required': ['city'],
            },
        },
    }],
)

print(response['message']['tool_calls'])

Das Modell entscheidet, ob ein Tool nötig ist, und liefert die Parameter. Ihr Code führt das Tool aus und gibt das Ergebnis zurück.

---

Ollama oder LM Studio?

LM Studio ist eine Alternative für lokale LLMs. Welche passt?

Beide haben Stärken – je nach Anforderung.

Ollama:

• CLI-first, ideal für Entwickler
• Sehr einfache Installation
• API-Dienst startet automatisch
• Server- und Container-Deployment
• App-Integration und Automatisierung

LM Studio:

• Grafische Oberfläche, intuitiv
• Integrierter Modell-Browser
• API manuell starten
• weniger für Server geeignet
• Exploration und Lernen ohne Terminal

Kurz:

• KI-App bauen, Server, Skripte → Ollama
• Modelle schnell ausprobieren, wenig CLI → LM Studio

Beides lässt sich kombinieren: In LM Studio testen, in Ollama produktiv integrieren. Beide nutzen llama.cpp – Modelle sind kompatibel.

---

Praxis-Szenarien

Ein paar Einsätze aus meiner Erfahrung.

Lokaler Code-Assistent

Ollama in VS Code oder Cursor einbinden – Code schreiben, erklären, refaktorieren. Empfehlung: codellama oder deepseek-coder.

Continue.dev und Aider sprechen die Ollama-API direkt an – ein kostenloser lokaler Coding-Assistent.

Dokumenten-Q&A

Viele Dokumente, RAG mit Ollama und Vektordatenbank:

1. Embeddings über Ollama erzeugen
2. Vektoren in Chroma, Qdrant o. Ä. speichern
3. Bei Fragen relevante Passagen retrievalen
4. Passagen als Kontext ans Modell geben

Klassisches RAG – komplett lokal, Daten bleiben im Intranet.

Private Wissensdatenbank

Interne Docs, Technikunterlagen, Kundendaten – Cloud oft unpassend. Ollama verarbeitet alles lokal und erfüllt strenge Compliance-Anforderungen leichter.

Offline

Reise, Feldarbeit, instabiles Netz – Cloud-KI fällt aus, Ollama nicht. Solange der Akku hält, haben Sie einen KI-Assistenten.

Entwicklungs- und Testumgebung

Häufige Cloud-API-Aufrufe in der Entwicklung sind teuer. Ollama als Test-Backend spart Geld; für Produktion dann Cloud oder weiter lokal.

---

Häufige Fragen

Ein paar typische Stolpersteine – Lösungen stehen im geo-FAQ-Block oben und in den Abschnitten zu GPU, Speicher und Netzwerk.

---

Zum Schluss

Kernbotschaft: Lokale LLMs sollen einfach sein. Ollama liefert das – wenig Konfiguration, kein tiefes ML-Wissen nötig, in Minuten startklar. Kostenlos, offline, datenschutzfreundlich.

Als Nächstes können Sie:

• verschiedene Modelle testen und das passende finden
• Ollama in Ihren Dev-Workflow integrieren
• RAG erkunden und eine private Wissensbasis aufbauen
• auf einem Server deployen und KI im Team teilen

Die Ära lokaler KI ist da. Mit Ollama sind Sie nicht auf die Cloud angewiesen – leistungsfähige Sprachmodelle laufen auf Ihrer Hardware. Legen Sie los.

Autor: Easton (Technologie-Blogger, Schwerpunkt KI-Entwicklung und lokales Deployment)

---

Referenzen:

• Ollama-Website
• Ollama auf GitHub
• Ollama-Dokumentation
• Ollama-Modellbibliothek