Ollama GPU-Beschleunigung: CUDA, ROCm und Metal plattformübergreifend einrichten

Als ich das erste Mal ein 7B-Modell lokal per reiner CPU laufen ließ, war das Erlebnis … sagen wir: unter zwei Wörtern pro Sekunde. Bis der Satz fertig war, konnte ich schon die Hälfte meines Kaffees austrinken. Dann kam eine RTX 3080 – gleiches Modell, gleiche Parameter – und plötzlich über 40 Tokens/Sekunde. Ungefähr Faktor 50 Unterschied.

Und damit nicht genug: Größere Modelle, längerer Kontext, mehrere Dialogrunden – ohne GPU wird es schnell unbrauchbar. GPU-Beschleunigung ist kein Nice-to-have, sondern entscheidet, ob lokale LLMs praktikabel sind.

Ob NVIDIA, AMD oder Apple Silicon – wenn eine passende Grafikkarte im Rechner steckt, kann Ollama sie sehr wahrscheinlich nutzen. Die Einrichtung unterscheidet sich je nach Plattform: NVIDIA ist am unkompliziertesten, AMD erfordert ROCm (unter Windows Vulkan), Mac-Nutzer müssen praktisch nichts tun.

Dieser Artikel fasst Konfiguration, typische Fallstricke und Fehlersuche für alle drei Plattformen zusammen.

Warum GPU-Beschleunigung wichtig ist

Zuerst die Zahlen. In Praxistests variiert die Inferenzgeschwindigkeit eines 7B-Modells stark je nach Hardware:

Beschleunigung	Typische Leistung (7B)	Einsatz
Reine CPU	0,5–2 Tokens/Sek.	Tests, Debugging
NVIDIA CUDA	30–80 Tokens/Sek.	Alltag, Produktion
Apple Metal	20–50 Tokens/Sek.	Mac-Nutzer
AMD ROCm	25–60 Tokens/Sek.	Linux mit AMD

Warum so große Unterschiede? GPUs sind für repetitive Rechenlast gebaut. LLM-Inferenz ist im Kern Matrixmultiplikation – Billionen davon. Die CPU arbeitet wie ein Einzelner, der jeden Schritt sorgfältig durchrechnet: präzise, aber langsam. Die GPU verteilt die Arbeit auf Tausende Kerne – jeder bearbeitet einen kleinen Block, zusammen entsteht enormer Durchsatz.

Dazu kommt die Speicherbandbreite. Inferenz hängt stark davon ab, wie schnell Daten die Recheneinheiten erreichen. GPU-Speicherbandbreite liegt oft ein Vielfaches über der von CPU-RAM – eine RTX 3080 liefert etwa 912 GB/s, typisches DDR4 nur rund 50 GB/s. Staut sich der Datenfluss, nützt auch schnelle Rechenleistung wenig.

Wann brauchen Sie eine GPU? Ab Modellen größer als 7B praktisch immer – für Chat, Code-Generierung oder lange Texte ohne GPU wird die Erfahrung frustrierend. Für gelegentliche Tests kleiner Modelle reicht die CPU noch.

NVIDIA CUDA in der Praxis

NVIDIA ist der unkomplizierteste Weg: reifes Ökosystem, gute Dokumentation, viele Community-Erfahrungen.

Hardware- und Treiberanforderungen

Nicht jede NVIDIA-GPU qualifiziert sich. Ollama verlangt Compute Capability 5.0 oder höher:

Compute Capability	Beispiel-GPUs	Status
8.9	RTX 4090/4080/4070	Optimal
8.6	RTX 3090/3080/3070	Optimal
7.5	RTX 2080 Ti/2080	Optimal
6.1	GTX 1080 Ti/1080	Nutzbar
5.2	GTX 980 Ti/980	Nutzbar
unter 5.0	GTX 7xx und älter	Nicht unterstützt

Treiberversionen: mindestens 531 (Windows) bzw. 535 (Linux). Darunter startet CUDA nicht zuverlässig.

Verifizierung und Installation

Prüfen Sie zuerst, ob das System die GPU erkennt:

nvidia-smi

Grafikkarte, Treiber und CUDA-Version sollten erscheinen. Meldet die Shell „command not found“, fehlt der Treiber oder der Pfad ist falsch.

Ollama erkennt CUDA nach der Installation automatisch – keine Extra-Konfiguration nötig, solange der Treiber stimmt. Testlauf:

ollama run llama3.2
ollama ps

In der Ausgabe von ollama ps sollte die GPU erscheinen, z. B.:

ID      MODEL           SIZE      PROCESSOR    UNTIL
abc123  llama3.2:7b     4.7 GB    100% GPU     2 minutes from now

Steht dort CPU statt GPU, liegt ein Problem vor.

Häufige Fallstricke

Falsche Treiberversion. Aktuellen Treiber von nvidia.com laden. Unter Linux nicht versehentlich veraltete Distribution-Pakete installieren.

Fehlendes CUDA Toolkit. Ollama benötigt kein vollständiges CUDA Toolkit – eine schlanke Runtime reicht. Auf manchen Systemen hilft dennoch:

# Ubuntu/Debian
sudo apt install nvidia-cuda-toolkit

Ollama in Docker. GPU-Zugriff erfordert --gpus all:

docker run --gpus all ollama/ollama

AMD ROCm in der Praxis

AMD-Nutzer investieren etwas mehr Aufwand. ROCm (AMDs CUDA-Alternative) ist weniger ausgereift als CUDA, hat sich aber deutlich verbessert. Unter Linux läuft es meist reibungslos; unter Windows braucht es Umwege.

Welche AMD-GPUs werden unterstützt?

ROCm unterstützt RDNA-Architekturen am besten:

Architektur	Serie	Unterstützung
RDNA3	RX 7900 XTX/XT, RX 7800/7700	Sehr gut
RDNA2	RX 6800/6700/6600	Gut
RDNA1	RX 5700/5600/5500	Grundsätzlich nutzbar
GCN	RX Vega, RX 500/400	Offiziell nicht garantiert

RX-7000- und 6000-Serien sind unproblematisch, 5000-Serie geht meist, ältere Karten eher nicht.

ROCm unter Linux installieren

Unter Ubuntu/Debian:

# System aktualisieren
sudo apt update

# ROCm-Kernkomponenten
sudo apt install rocm-dkms rocm-dev rocm-libs

# HIP-Runtime
sudo apt install hip-runtime-amd

# Installation prüfen
rocminfo

Zeigt rocminfo Ihre GPU, ist die Installation korrekt. Einmal neu starten, damit Kernel-Module geladen werden.

Ollama erkennt ROCm automatisch – wie bei CUDA ohne Extra-Schritte.

Was tun Windows-Nutzer?

ROCm unter Windows ist noch in Entwicklung. Alternative: Vulkan per Umgebungsvariable:

# Windows PowerShell
$env:OLLAMA_VULKAN = "1"
ollama run llama3.2

Vulkan erreicht in der Praxis etwa 70–80 % der ROCm-Geschwindigkeit – aber es funktioniert.

Multi-GPU-Auswahl

Bei mehreren AMD-GPUs lässt sich die Nutzung einschränken:

# Nur erste GPU
export ROCR_VISIBLE_DEVICES=0

# Erste und dritte GPU
export ROCR_VISIBLE_DEVICES=0,2

Leistungsvergleich

Community-Messungen: RX 7900 XTX (AMD-Flaggschiff) schafft bei 7B etwa 35–45 Tokens/Sek., RTX 4090 (NVIDIA-Flaggschiff) 50–70. Der Abstand ist spürbar – der Preisunterschied oft größer; die 7900 XTX kostet rund 40 % weniger.

Aus Preis-Leistungs-Sicht lohnt sich ROCm für AMD-Nutzer.

Apple Metal ohne Konfiguration

Mac-Nutzer haben es am einfachsten: Ollama unterstützt Apple Silicon out of the box – installieren, starten, GPU-Beschleunigung läuft automatisch.

Welche Macs qualifizieren sich?

Alle Apple-Silicon-Macs:

• M1 / M1 Pro / M1 Max / M1 Ultra
• M2 / M2 Pro / M2 Max / M2 Ultra
• M3 / M3 Pro / M3 Max
• M4-Serie

Intel-Macs nutzen keine Metal-Beschleunigung – nur CPU. Für LLM-Nutzung sind sie ohnehin kaum noch erste Wahl.

Automatische Erkennung

Beim Start prüft Ollama Metal automatisch. Keine Config-Dateien, keine Umgebungsvariablen, keine Treiberinstallation – Metal ist tief ins System integriert.

Verifizierung:

ollama run llama3.2
ollama ps

Erwartete Ausgabe:

PROCESSOR: 100% GPU

CPU statt GPU ist auf dem Mac selten – tritt es auf, liegt meist ein anderer Fehler vor.

Ungefähre Leistung

M2-Basis: etwa 25–35 Tokens/Sek. bei 7B. Pro/Max-Varianten sind schneller dank mehr GPU-Kernen – M2 Max erreicht in Tests rund 45 Tokens/Sek., vergleichbar mit mittelklassigen NVIDIA-Karten.

Besonderheit: Unified Memory – GPU und CPU teilen sich den RAM. Vorteil: kein separates VRAM-Limit. Nachteil: große Modelle fressen Systemspeicher. 8 GB M2 reichen für 7B, 14B wird eng, 70B unrealistisch.

Typische Missverständnisse

Viele glauben, Metal müsse konfiguriert werden – falsch. Ollamas Code enthält Metal-Erkennung; nach der Installation ist alles aktiv.

ROCm oder CUDA auf dem Mac? Unnötig – Metal ist Apples eigene Technologie und bereits im System.

Multi-GPU und VRAM-Verwaltung

Mehrere GPUs oder knapper VRAM? Dann wird dieser Abschnitt relevant.

Layer-Verteilung

Große Modelle laufen nicht vollständig auf der GPU. Sie bestehen aus vielen Layern – ein Teil auf GPU, Rest auf CPU. Ollama berechnet die Aufteilung dynamisch nach verfügbarem VRAM.

Beispiel: Ein 7B-Modell hat etwa 80 Layer. Bei 8 GB VRAM landen vielleicht 60 auf der GPU, 20 auf der CPU. Reicht der Speicher nicht, wandern mehr Layer in den System-RAM.

Pack- vs. Spread-Modus

Bei mehreren GPUs gibt es zwei Strategien:

• Pack-Modus (Standard): Modell möglichst auf eine GPU packen, Überlauf auf die nächste. Sinnvoll bei unterschiedlich schnellen GPUs.
• Spread-Modus: Gleichmäßige Verteilung auf alle GPUs. Sinnvoll bei ähnlicher Leistung.

Spread aktivieren:

export OLLAMA_SCHED_SPREAD=1

Für die meisten reicht Pack. Spread kann die VRAM-Auslastung verbessern, ist aber aufwendiger zu optimieren.

Zu wenig VRAM?

Typische Lösungen:

1. Quantisierte Modelle. Q4_K_M drückt 7B von etwa 14 GB auf 4 GB – Qualitätsverlust oft nur 5–10 %, sehr lohnenswert.

# Quantisierte Variante laden
ollama pull llama3.2:7b-q4_K_M

2. Kürzerer Kontext. Lange Dialoge und große Dokumente verbrauchen viel VRAM. Für einfache Q&A reicht ein kürzerer Kontext.

3. Multi-GPU. Zwei 8-GB-Karten können mehr nutzen als eine 16-GB-Karte – jede hat eigene Recheneinheiten.

Dynamische Zuweisung

Ollama verwaltet Layer automatisch. Manuelle Layer-Zahlen sind fortgeschrittene Option – für die meisten Nutzer unnötig.

Fehlerbehebung

Bei der GPU-Einrichtung treten typische Probleme auf – hier eine strukturierte Checkliste.

GPU wird nicht erkannt

Der Reihe nach prüfen:

1. Treiberinstallation

   # NVIDIA
   nvidia-smi
   
   # AMD
   rocminfo

   Fehlermeldung? Zuerst Treiber installieren.

2. Ollama-Version

   ollama --version

   Sehr alte Versionen unterstützen manche GPUs nicht. Update:

   # Linux/macOS
   curl -fsSL https://ollama.com/install.sh | sh
   
   # Windows
   # Neuestes Installationspaket von der Website

3. CUDA-/ROCm-Version

   # NVIDIA CUDA
   nvcc --version
   
   # ROCm
   rocm-smi

   Ollama erwartet CUDA 12.3+ oder ROCm 6.0+. Bei Abweichung upgraden.

4. Dienst neu starten

   # Linux
   sudo systemctl restart ollama
   
   # macOS/Windows
   # Prozess beenden und neu starten

   Manche Änderungen brauchen einen Neustart.

GPU nach Ruhezustand weg

Mac und Windows kennen das Problem: Nach dem Aufwachen aus dem Sleep fehlt GPU-Beschleunigung.

Lösungen:

• Mac: Ollama-Dienst neu starten oder Rechner neu booten
• Windows: Treiber prüfen, ggf. neu laden
• Linux: Selten, gelegentlich GPU manuell reaktivieren

GPU-Rechte in Containern

Unter Linux in Docker kann SELinux blockieren.

Lösungen:

# SELinux temporär deaktivieren (nicht dauerhaft empfohlen)
sudo setenforce 0

# Oder Docker-GPU-Zugriff korrekt konfigurieren
docker run --gpus all --security-opt seccomp=unconfined ollama/ollama

Weitere häufige Probleme

„out of memory“: Modell zu groß – quantisierte Variante oder kleineres Modell wählen.

Kein Geschwindigkeitsgewinn: ollama ps muss GPU anzeigen; sonst obige Schritte durchgehen.

AMD-GPU inaktiv: ROCm-Installation prüfen; unter Windows Vulkan-Modus testen.

Fazit

Kurz die Empfehlung nach Hardware:

Ihre Hardware	Empfohlene Lösung	Aufwand
NVIDIA GPU	CUDA automatisch	Gering – Treiber reicht
AMD GPU + Linux	ROCm	Mittel – manuelle Installation
AMD GPU + Windows	Vulkan	Gering – Umgebungsvariable
Apple Silicon	Metal automatisch	Minimal – null Konfiguration
Intel Mac / keine GPU	Reine CPU	Keine Einrichtung, sehr langsam

Kurz gesagt: NVIDIA ist am unkompliziertesten, Mac am angenehmsten, AMD unter Linux solide, unter Windows mit Umweg – ohne GPU wird lokales LLM zur Geduldsprobe.

GPU-Beschleunigung ist keine optionale Optimierung, sondern Grundvoraussetzung. Nach der Einrichtung ist der Unterschied spürbar – von unbrauchbar langsam zu produktiv nutzbar.