Ollama Hardware-Auswahl: VRAM, Quantisierung und GPU-Vergleich (2026)

Sie möchten lokal ein 7B-Modell betreiben – wie viel VRAM braucht Ihre GPU? Und bei 13B? Im Netz heißt es mal 8 GB reichen, mal mindestens 16 GB – wem soll man glauben?

Diese Frage hat mich monatelang beschäftigt. Als ich Ollama entdeckte, kaufte ich eine RTX 3060 12GB – „12 GB sollten reichen”. Beim 13B-Modell lief der Speicher voll, die Geschwindigkeit fiel auf 3 Tokens/s – langsam wie ein Schneckeninternet.

Später wurde klar: VRAM ist eine harte Grenze. Darüber ist es die Hölle, darunter der Himmel.

Dieser Artikel fasst gängige GPUs, Modellgrößen und Quantisierungsstufen in Tabellen zusammen. Danach wissen Sie genau: Was läuft auf Ihrer Karte, und welche GPU passt zu Ihrem Budget?

1. Kern-Tabelle: VRAM-Bedarf auf einen Blick

Zuerst die Formel. Der VRAM-Bedarf liegt ungefähr bei:

VRAM-Bedarf ≈ Parameter(B) × Quantisierungsbits ÷ 8 + KV Cache (1–2 GB)

Die Formel wirkt simpel, bestimmt aber, wie groß Ihr Modell sein darf. Beispiel: 7B mit Q4 (4-bit) → 7 × 4 ÷ 8 = 3,5 GB; mit KV Cache und Overhead real 4–6 GB.

Die vollständige Tabelle – zum Speichern empfohlen:

Modellgröße	Q4_K_M	Q5_K_M	Q8_0	FP16	Empfohlene GPU
7B	4–6 GB	5–6 GB	7–8 GB	14 GB	RTX 3060 12GB
13B	8–10 GB	10–12 GB	13–14 GB	26 GB	RTX 4060 Ti 16GB
32B	20–24 GB	24–28 GB	32–36 GB	64 GB	RTX 4090 24GB
70B	40–48 GB	48–56 GB	70–80 GB	140 GB	Zwei RTX 3090 / Mac M4 Max 128GB

Wichtiger Punkt: Bei VRAM-Mangel bricht die Performance um Faktor 5–20 ein.

Getestet mit RTX 3060 12GB und 13B Q4_K_M – genau an der Grenze. Mal läuft es, mal läuft der Speicher voll. Dann verschiebt Ollama Daten in den RAM, die Geschwindigkeit fällt von 45 auf 2–3 Tokens/s – wie vom Sportwagen aufs Dreirad.

Beim GPU-Kauf: lieber 2 GB Puffer als knapp an der Grenze.

2. Quantisierung: Q4 vs Q5 vs Q8 in der Praxis

Quantisierung senkt den VRAM-Bedarf.

FP16 ist die Originalpräzision – 16 bit pro Parameter. Q4 komprimiert auf 4 bit, der Speicherbedarf halbiert sich fast. Die Frage: leidet die Qualität?

Ja – aber weniger als man denkt.

Praxisdaten:

Quantisierung	7B VRAM	Qualitätsverlust	Einsatz
Q4_K_M	4,5 GB	1–3 %	Alltag (empfohlen)
Q5_K_M	5,7 GB	<1 %	Höhere Präzision
Q8_0	7,7 GB	<0,5 %	Maximale Qualität
FP16	14 GB	0 %	Forschung / Referenz

Q4_K_M ist die Standardwahl. 1–3 % Verlust, in den meisten Fällen nicht spürbar. Mit Llama 3.1 8B Q4_K_M habe ich Technikartikel geschrieben – gegenüber FP16 kaum sichtbarer Unterschied.

Q5_K_M für 16 GB+ VRAM. Mit RTX 4060 Ti 16GB bessere Inferenz, besonders bei Mathe und langen Texten.

Q8_0 nahe Originalqualität. Außer für Benchmarks oder Forschung selten nötig – doppelter VRAM, geringer Mehrwert.

Q3 und Q2 meiden. Deutlicher Qualitätsverlust, Modelle „phantasieren”. Nur bei wirklich knappem VRAM (z. B. 4 GB).

Empfehlung: Zuerst Q4_K_M; bei Unzufriedenheit Q5. Meist reicht Q4.

3. Drei Beschleuniger: CUDA vs Metal vs ROCm

GPU-Wahl ist nicht nur VRAM – auch die Beschleunigungstechnik zählt.

Ollama unterstützt vier GPU-Backends: NVIDIA CUDA, Apple Metal, AMD ROCm, Vulkan. Falsche Plattform kann die Leistung halbieren.

Vergleich:

Technik	Hardware	7B Performance	Systeme	Reife
CUDA	NVIDIA GPU	30–80 tok/s	Win/Linux	★★★★★
Metal	Apple M1–M4	20–50 tok/s	macOS	★★★★★
ROCm	AMD RX 7000	25–60 tok/s	v. a. Linux	★★★☆☆
Vulkan	AMD/Intel	15–40 tok/s	plattformübergreifend	★★★☆☆

CUDA: die sichere Wahl

NVIDIA CUDA ist am ausgereiftesten. Stabile Treiber, starke Community, gute Docs. Ollama erkennt CUDA automatisch – wenig Konfiguration.

Meine RTX 3060 mit CUDA und Llama 3.1 8B Q4: ca. 45 Tokens/s. Flüssig und schnell.

Nachteil: Preis. NVIDIA-Aufschlag ist hoch – RTX 4090 aktuell ca. $1.800.

Metal: für Mac-Nutzer

Apple Metal auf dem Mac überzeugt. M1–M4 unterstützt; Unified Memory teilt VRAM und RAM – größere Modelle möglich.

Apple Metal-Beschleunigung ist der zentrale Mac-Vorteil. Auf Apple Silicon nutzt Ollama Metal automatisch; mit genug Unified Memory ist die Einrichtung einfach.

OLLAMA_ORIGINS ist kein Performance-Schalter. Es konfiguriert erlaubte Browser-Origins/CORS und aktiviert kein MLX:

# Ollama nutzt Metal auf Apple Silicon automatisch
# OLLAMA_ORIGINS erlaubt nur zusätzliche Browser-Origins für die Ollama-API
ollama serve

Voraussetzung: mindestens 32 GB Unified Memory. Unter 16 GB wird es bei großen Modellen eng.

ROCm: schwieriger Weg für AMD

AMD ROCm unter Linux okay, unter Windows mühsam. Offiziell Linux; Windows noch experimentell – Bugs und Kompatibilität.

AMD + Windows: besser Vulkan:

OLLAMA_VULKAN=1 ollama serve

Vulkan läuft plattformübergreifend, etwas langsamer als CUDA, aber stabil.

Kurz: Kein Experimentierbedarf → NVIDIA CUDA. Mac → automatische Metal-Beschleunigung. AMD → Linux + ROCm oder Windows + Vulkan.

4. GPU-Empfehlungen: vom Einstieg bis Flagship

Nach Budget sortiert.

Einstieg ($200–400)

Modell	VRAM	Passende Modelle	Performance	Preis
RTX 3060 12GB	12GB	7B Q4, 13B Q4	40–60 tok/s	$250
RX 6600 8GB	8GB	7B Q4	30–45 tok/s	$200

RTX 3060 12GB ist der Einstiegs-Favorit. 12 GB für 7B und 13B Q4 – starkes Preis-Leistungs-Verhältnis. Häufige Frage: RTX 4060 8GB oder RTX 3060 12GB für LLMs?

Klar: 3060 12GB. Die 4060 ist schneller, 8 GB VRAM limitieren bei 13B.

RX 6600 für knappes Budget und nur 7B. AMD unter Windows braucht Vulkan – weniger bequem als NVIDIA.

Mittelklasse ($400–800)

Modell	VRAM	Passende Modelle	Performance	Preis
RTX 4060 Ti 16GB	16GB	13B Q4/Q8, 14B Q4	50–80 tok/s	$400
RTX 4070 Super 12GB	12GB	7B Q8, 13B Q4	60–90 tok/s	$600

RTX 4060 Ti 16GB ist meine Top-Empfehlung. 16 GB Sweet Spot: 13B Q8 und 14B Q4 – ca. $400.

RTX 4070 Super: mehr Rechenleistung, 12 GB limitieren auf 13B Q4. Speed → 4070 Super; Modellgröße → 4060 Ti 16GB.

High-End ($1.200–2.000)

Modell	VRAM	Passende Modelle	Performance	Preis
RTX 4090 24GB	24GB	32B Q4, 70B Offload*	80–150 tok/s	$1.800
RTX 5090 32GB	32GB	32B Q8, 70B Q4 mit Offload*	modellabhängig	$2.000
RX 7900 XTX 24GB	24GB	32B Q4	60–100 tok/s	$900

*Hinweis: 24/32-GB-Einzelkarten brauchen für 70B Offload und/oder aggressivere Quantisierung. Für stabileres 70B Q4 sind zwei RTX 3090 oder 48 GB+ Speicher realistischer.

RTX 4090: 24 GB für 32B Q4 problemlos; 70B braucht Offload, stärkere Quantisierung oder zwei Karten.

RTX 5090 32GB (2026): offiziell 32 GB GDDR7. Sie ist besser als die 4090, wenn Sie 70B Q4 auf einer Einzelkarte versuchen möchten, aber lange Kontexte und Laufzeit-Overhead können weiterhin Offload erzwingen; keine vollständige 70B-Q5/Q8-Lösung.

RX 7900 XTX: 24 GB für $900; ROCm unter Windows instabil – eher Linux.

Mac-Empfehlungen

Chip	Unified Memory	Passende Modelle	Performance
M4 Pro	24GB	14B Q4	35–55 tok/s
M4 Max	128GB	70B Q4	28–30 tok/s
M3 Ultra	192GB	70B+, mehrere Modelle parallel	25–35 tok/s

Unified Memory erlaubt größere Modelle. M4 Max 128GB fährt 70B Q4 ohne Quantisierungs-Kompromisse.

Nachteil: Tempo. M4 Max 70B nur 28–30 tok/s – deutlich langsamer als RTX 4090. Speed → NVIDIA; Vollständigkeit und Einfachheit → Mac.

Preis-Leistungs-Tipp: gebrauchte RTX 3090 24GB

Versteckte Option: gebrauchte RTX 3090 24GB.

Am Markt ca. $600. Eine einzelne 24-GB-Karte passt gut für 32B Q4; für 70B Q4 sind zwei 3090 realistischer, oder Sie akzeptieren starken Offload und aggressivere Quantisierung. Schwächer als 4090, halber Preis.

Ein Bekannter nutzt eine gebrauchte 3090 seit über einem Jahr stabil – seriöser Verkäufer, keine Mining-Karte.

5. Entscheidungsablauf

Viele Tabellen und Modelle – wie wählen?

Schritt 1: Zielmodell

• Alltagsdialog, Schreibhilfe: 7B (Llama 3.1 8B, Qwen 2.5 7B)
• Code, Technik-Q&A: 13B–14B (Qwen 2.5 14B, DeepSeek Coder)
• Komplexes Reasoning, lange Texte: 32B–70B (DeepSeek V3, Qwen 2.5 72B)

Für die meisten: 7B oder 13B. 70B nur bei echtem Bedarf.

Schritt 2: Quantisierung

• Knapp VRAM: Q4_K_M (Standard)
• Genug VRAM: Q5_K_M (Präzision)
• Forschung / Vergleich: Q8_0 oder FP16

Start mit Q4_K_M – meist ausreichend.

Schritt 3: Tabelle

Kapitel 1: Modell + Quantisierung → VRAM. Beispiel Llama 3.1 8B Q4_K_M: 4–6 GB → mindestens 8 GB GPU (2 GB Puffer).

Schritt 4: Budget

• $200–400: RTX 3060 12GB
• $400–800: RTX 4060 Ti 16GB
• $1.200+: RTX 4090 24GB oder RTX 5090 32GB
• Mac: M4 Max 128GB

Schritt 5: Plattform

• Windows: NVIDIA CUDA; AMD → Vulkan
• Linux: CUDA und ROCm stabil
• macOS: Apple Metal automatisch; entscheidend ist die Unified-Memory-Kapazität

---

Beispiel

Ziel: Llama 3.3 70B

1. Modell: 70B
2. Quantisierung: Q4_K_M
3. VRAM: 40–48 GB
4. Budget: ca. $1.500
5. Plattform: Windows

Analyse:

• RTX 4090 24GB: eine Karte reicht nicht – Dual oder aggressive Quantisierung
• RTX 5090 32GB: besserer Einzelkarten-Kandidat für 70B Q4, lange Kontexte können aber Offload brauchen
• Zwei gebrauchte RTX 3090 24GB: $1.200, 48 GB – gutes Preis-Leistungs-Verhältnis
• Mac M4 Max 128GB: vollständig, aber langsamer

Fazit: Budget → zwei gebrauchte RTX 3090. CUDA auf einer Karte → RTX 5090 32GB. Mac → M4 Max 128GB als bessere Einzelrechner-Lösung für vollständiges 70B.

Zusammenfassung

Kernlogik in einem Satz: VRAM setzt die Obergrenze, Quantisierung die Untergrenze.

Eine Tabelle, eine Empfehlungsliste, drei Beschleuniger – die wichtigsten Fragen gebündelt.

Bei Unsicherheit:

• Knappes Budget: RTX 3060 12GB – 7B und 13B
• Performance: RTX 4090 24GB oder 4060 Ti 16GB
• Mac: M4 Max 128GB – vollständiges 70B auf einem Rechner
• Preis-Leistung: gebrauchte RTX 3090 24GB – eine Karte für 32B, zwei Karten für 70B

Weitere Ollama-Tipps in der Serie: Ollama GPU Acceleration Guide, Lokale LLM-Modellauswahl im Vergleich.