Llama 70B lokal betreiben: 5700XT, Mac M4 und CUDA im Vergleich

Llama 70B lokal ausführen – reicht Ihre AMD 5700XT mit 8 GB VRAM? Läuft das auf dem Mac M4?

Die Antwort überrascht vielleicht: Die FP16-Vollversion von 70B braucht 140 GB VRAM – für Consumer-Hardware praktisch unmöglich. Quantisierung senkt die Hürde auf rund 40 GB – plötzlich wird es interessant.

Dieser Artikel vergleicht drei gängige Wege mit Praxisdaten: AMD 5700XT (Liebling der Tüftler), Mac M4 (Vorteil durch Unified Memory) und NVIDIA CUDA (etabliertes Ökosystem). In etwa fünf Minuten können Sie einschätzen, welche Variante zu Ihnen passt.

Der wahre VRAM-Bedarf von Llama 70B

Quantisierung komprimiert das Modell. Bei FP16 belegt jeder Parameter 2 Byte – 70 Milliarden Parameter ergeben 140 GB VRAM. Selbst eine RTX 4090 mit 24 GB reicht nicht annähernd.

Die Lösung: GGUF-Quantisierungsversionen.

Welches Quantisierungslevel wählen?

Unterschiedliche Stufen, unterschiedlicher Speicherbedarf:

Empfehlung: Q4_K_M. Gutes Gleichgewicht zwischen Genauigkeit und Speicher. Q3 läuft zwar, aber die Qualität leidet – Antworten und logisches Schließen werden schwächer. Ab Q5 wird es besser, der Speicherbedarf steigt aber deutlich.

Nicht vergessen: KV Cache. Beim Inferieren speichert das Modell Kontext – zusätzlich etwa 5 GB. Für Q4_K_M in der Praxis 40–45 GB verfügbarer Speicher einplanen.

Alibaba Cloud - Top-Wahl für Entwickler, exklusiv 15 % Rabatt auf Lighthouse-Server

15 % Rabatt sichern →Anzeige

Drei Hardware-Optionen im Praxisvergleich

Kurz die Tabelle. Daten aus Reddit LocalLLaMA und mehreren Tech-Blogs.

AMD 5700XT: Albtraum für Tüftler

Ehrlich gesagt: 70B auf der 5700XT ist „mit Gewalt“. 8 GB VRAM – selbst 7B Q4 passt gerade so rein, 70B ist ausgeschlossen. Trotzdem probieren manche ROCm-Workarounds – ich auch.

Ergebnis: instabil. Es startet, bricht aber jederzeit ab. AMD unterstützt ROCm für RDNA1 (5700XT) offiziell nicht – nur Community-Tricks per Umgebungsvariable:

HSA_OVERRIDE_GFX_VERSION=10.1.0

Damit täuscht man ROCm an, Performance und Stabilität bleiben mäßig. Zum Experimentieren und Lernen okay – für ernsthafte Nutzung eher nein.

Mac M4: Unified Memory als Trumpf

Bei Apple Silicon teilen sich System- und „GPU“-Speicher denselben Pool – kein separates Offload-Problem wie bei Diskreten GPUs.

Praxis: 20–28 tok/s – für lokale Inferenz sehr angenehm. Setup einfach: Ollama oder MLX, wenige Befehle.

Nachteil: Preis. M4 Max ab etwa 3500 $. Wenn Sie ohnehin einen Mac für andere Arbeit brauchen und nebenbei LLMs nutzen, rechnet sich das oft.

NVIDIA CUDA: reifes Ökosystem, 70B braucht Offload

24 GB der RTX 4090 reichen für 32B locker. Für 70B: Offload – Teile der Layer auf der GPU, Rest im System-RAM.

Läuft, aber langsamer: ca. 18 tok/s, etwas unter Mac M4 Max – CPU-GPU-Transfers kosten Zeit.

Die RTX 5090 ist inzwischen mit 32 GB GDDR7 erschienen. Sie ist für 70B Q4 als Single-GPU deutlich geeigneter als die RTX 4090, bei langen Kontexten und Laufzeit-Overhead kann aber weiterhin Offload nötig sein; Preis und Verfügbarkeit schwanken.

CUDA-Stärke: Ökosystem. Feinabstimmung, PyTorch, Hugging Face – überall CUDA zuerst. Daran kommen Apple Silicon und AMD schwer vorbei.

Welche Option passt zu Ihnen?

Schritt für Schritt:

Railway - Moderne Deployment-Plattform, ohne DevOps-Aufwand, in Minuten live

Jetzt starten →Anzeige

Schritt 1: Was haben Sie schon?

5700XT vorhanden?

• ROCm-Workaround möglich, viel Geduld nötig
• Realistisch: 7B (12B nur mit Teil-Offload)
• Für ROCm-Verständnis und Experimente

Mac vorhanden?

• RAM prüfen: 64 GB → 70B Q5, 128 GB komfortabler
• M4 Pro/Max schneller, Basis-M4 geht auch
• Hohe Erfolgsquote beim ersten Versuch

Noch nichts?

• → Budget (Schritt 2)

Schritt 2: Budget

Schritt 3: Was wollen Sie tun?

Nur ausprobieren?

• Jedes Setup mit 7B reicht – 70B ist kein Muss für den Einstieg.

Täglich, stabil?

• Mac M4 am unkompliziertesten – Software installieren, ohne CUDA-/ROCm-Gefummel.

Feinabstimmung / Training?

• NVIDIA CUDA – beste Tools, meiste Anleitungen.

Maximale Inferenz-Geschwindigkeit?

• Mac M4 Max mit MLX oft 30–50 % schneller als llama.cpp (siehe unten).

Die meisten Leser wollen Stabilität im Alltag – dort punktet der Mac: wenig Treiber-Stress, wenig Kompatibilitäts-Roulette.

MLX vs. llama.cpp auf dem Mac

Zusätzliche Frage: MLX oder llama.cpp?

Performance

Laut Compute Market:

MLX ist für Apple Silicon optimiert und nutzt Metal direkt. llama.cpp ist plattformübergreifend, Metal-Unterstützung weniger tief.

Vultr - Hochleistungs-NVMe-Cloud-Server mit 32 Standorten weltweit, Docker per Klick

Preise ansehen →Anzeige

Auswahl

Nur Inferenz, Tempo wichtig?

• MLX. z. B. mlx_lm.generate, wenig Setup.

llama.cpp-Toolchain nötig?

• Drittanbieter-Tools, gleiche GGUF-Datei auf mehreren Geräten → llama.cpp.

Unsicher?

• Beides kurz testen – Installation ist schnell erledigt.

Persönlich: MLX für rein lokale Inferenz; Toolchain-Kompatibilität ist bei mir sekundär.

Fazit

Kurze Entscheidungstabelle:

Kern: Mac = unkompliziert und stabil, CUDA = volles Ökosystem, AMD = günstig, aber viel Handarbeit.

Ernsthafte Nutzung ohne Config-Marathon → Mac. Knappes Budget und Tüfteln okay → 5700XT, aber 70B nicht erwarten. Feintuning → NVIDIA.

Zum Ausprobieren: auf dem Mac Ollama oder MLX, mit 7B starten. Ohne Mac: prüfen, ob Ihre Hardware kleinere Modelle schafft – 70B ist nicht der Einstieg, erst lauffähig werden, dann skalieren.