Ollama 하드웨어 선택표: VRAM, 양자화, GPU 대조 가이드(2026)

로컬에서 7B 모델 하나를 돌리고 싶다면 GPU에는 VRAM이 얼마나 필요할까요? 13B는 어떨까요? 인터넷에는 8GB면 충분하다는 말도 있고, 최소 16GB는 필요하다는 말도 있습니다. 도대체 누구 말을 들어야 할까요?

이 문제는 저도 몇 달 동안 꽤 괴롭혔습니다. 작년에 Ollama를 처음 접했을 때 RTX 3060 12GB를 샀습니다. “12GB VRAM이면 충분하겠지”라고 생각했죠. 그런데 13B 모델을 돌리자마자 VRAM이 터졌고, 속도는 3 tokens/s까지 떨어졌습니다. 웹페이지를 기어가는 달팽이처럼 느렸습니다.

나중에야 이해했습니다. VRAM 경계는 단단한 경계입니다. 넘기면 지옥이고, 넘기지 않으면 천국입니다.

이 글에서는 시중의 주요 GPU, 모델 파라미터 수, 양자화 수준을 모두 대조표로 정리했습니다. 읽고 나면 내 GPU로 어떤 모델을 돌릴 수 있는지, 내 예산에는 어떤 GPU가 가장 적합한지 바로 판단할 수 있습니다.

1. 핵심 대조표: VRAM 요구량 한눈에 보기

먼저 공식부터 보겠습니다. VRAM 요구량은 대략 다음과 같습니다.

VRAM 요구량 ≈ 파라미터 수(B) × 양자화 비트 수 ÷ 8 + KV Cache(1-2GB)

공식은 단순해 보이지만, 실행 가능한 모델 크기를 결정합니다. 예를 들어 7B 모델을 Q4 양자화(4-bit)로 실행하면 VRAM 요구량은 대략 7 × 4 ÷ 8 = 3.5GB입니다. 여기에 KV Cache와 실행 오버헤드를 더하면 실제로는 4-6GB가 필요합니다.

아래는 전체 대조표입니다. 그대로 저장해 두어도 좋습니다.

모델 크기	Q4_K_M	Q5_K_M	Q8_0	FP16	추천 GPU
7B	4-6 GB	5-6 GB	7-8 GB	14 GB	RTX 3060 12GB
13B	8-10 GB	10-12 GB	13-14 GB	26 GB	RTX 4060 Ti 16GB
32B	20-24 GB	24-28 GB	32-36 GB	64 GB	RTX 4090 24GB
70B	40-48 GB	48-56 GB	70-80 GB	140 GB	RTX 5090 32GB

이 표에서 가장 중요한 점은 이것입니다. VRAM이 부족하면 성능이 5-20배 폭락합니다.

저는 RTX 3060 12GB로 13B Q4_K_M을 직접 테스트해 봤습니다. VRAM이 딱 경계선에 걸렸습니다. 어떤 때는 실행되고, 어떤 때는 VRAM이 터졌습니다. VRAM이 터지면 Ollama가 일부 데이터를 시스템 메모리로 넘기는데, 속도가 45 tokens/s에서 2-3 tokens/s로 떨어졌습니다. 스포츠카를 몰다가 갑자기 삼륜차로 바뀐 느낌이었습니다.

그래서 GPU를 살 때는 경계에 딱 맞추기보다 2GB라도 여유를 두는 편이 낫습니다.

2. 양자화 선택: Q4 vs Q5 vs Q8 실전 조언

양자화는 VRAM 요구량을 낮추는 핵심 수단입니다.

FP16은 원본 모델 정밀도이며, 각 파라미터를 16-bit로 저장합니다. Q4 양자화는 이를 4-bit로 압축하므로 VRAM 요구량을 절반 수준으로 줄입니다. 문제는 압축이 모델 품질에 영향을 주는가입니다.

답은 이렇습니다. 영향은 있지만, 생각보다 작습니다.

실측 데이터는 다음과 같습니다.

양자화 수준	7B 모델 VRAM	품질 손실	적합한 상황
Q4_K_M	4.5 GB	1-3%	일상 사용(추천)
Q5_K_M	5.7 GB	<1%	정밀도 중시
Q8_0	7.7 GB	<0.5%	최대 품질
FP16	14 GB	0%	연구/비교 기준

Q4_K_M은 기본 선택지입니다. 품질 손실이 1-3%에 불과해 대부분의 상황에서는 거의 느껴지지 않습니다. 저는 Q4_K_M Llama 3.1 8B로 기술 글을 몇 편 써 봤는데, FP16 버전과 비교해도 눈으로 차이를 구분하기 어려웠습니다.

Q5_K_M은 VRAM이 16GB 이상인 사용자에게 적합합니다. RTX 4060 Ti 16GB가 있다면 Q5가 더 나은 추론 품질을 줍니다. 특히 수학 추론과 긴 텍스트 생성에서 차이가 납니다.

Q8_0은 원본 품질에 가깝습니다. 솔직히 말해 모델 평가나 연구를 하는 것이 아니라면 Q8을 쓸 필요는 크지 않습니다. VRAM 요구량은 두 배가 되지만 얻는 이점은 제한적입니다.

한 가지 더 있습니다. Q3와 Q2는 피하세요. 이 두 양자화 수준은 품질 손실이 눈에 띄고, 모델이 엉뚱한 말을 하기 시작합니다. VRAM이 정말 부족한 경우, 예를 들어 4GB밖에 없는 상황이 아니라면 건드리지 않는 편이 좋습니다.

제 추천은 먼저 Q4_K_M을 쓰고, 품질이 만족스럽지 않을 때 Q5로 바꾸는 것입니다. 대부분의 경우 Q4면 충분합니다.

3. 3대 가속 기술 비교: CUDA vs Metal vs ROCm

GPU를 고를 때는 VRAM만 보면 안 됩니다. 가속 기술도 봐야 합니다.

Ollama는 네 가지 GPU 백엔드를 지원합니다. NVIDIA CUDA, Apple Metal, AMD ROCm, Vulkan입니다. 각각 장단점이 있고, 플랫폼을 잘못 고르면 성능이 절반으로 줄어들 수 있습니다.

비교표는 다음과 같습니다.

가속 기술	적용 하드웨어	7B 성능	시스템 지원	성숙도
CUDA	NVIDIA GPU	30-80 tok/s	Win/Linux	★★★★★
Metal	Apple M1-M4	20-50 tok/s	macOS	★★★★★
ROCm	AMD RX 7000	25-60 tok/s	Linux 중심	★★★☆☆
Vulkan	AMD/Intel	15-40 tok/s	크로스 플랫폼	★★★☆☆

CUDA: 가장 안정적인 선택

NVIDIA CUDA는 현재 가장 성숙한 방식입니다. 드라이버가 안정적이고, 커뮤니티 지원이 풍부하며, 문서도 잘 갖춰져 있습니다. Ollama를 설치하면 CUDA가 자동으로 인식되므로 설정으로 고생할 일이 거의 없습니다.

제 RTX 3060은 CUDA로 Llama 3.1 8B Q4를 실행할 때 평균 45 tokens/s가 나옵니다. 추론이 매끄럽고 응답도 빨라 경험이 좋습니다.

CUDA의 문제는 하나뿐입니다. 비쌉니다. NVIDIA GPU는 가격 프리미엄이 크고, RTX 4090은 지금도 약 $1800입니다.

Metal: Mac 사용자의 첫 선택

Apple Metal은 Mac에서 성능이 좋습니다. M1/M2/M3/M4를 모두 지원하고, Mac의 통합 메모리 구조에는 장점이 있습니다. VRAM과 시스템 메모리가 공유되므로 더 큰 모델을 실행할 수 있습니다.

핵심은 MLX 백엔드입니다. MLX를 활성화하면 속도가 거의 두 배 가까이 올라갑니다. 실측 데이터로는 7B 모델이 57.8 tok/s에서 111.4 tok/s로 올라갔고, 증가율은 93%였습니다.

MLX 활성화 방법은 다음과 같습니다.

# MLX 버전 설치
OLLAMA_ORIGINS=MLX ollama serve

단, 전제가 있습니다. Mac에 최소 32GB 통합 메모리가 있어야 합니다. 16GB 이하에서는 큰 모델 실행이 꽤 버겁습니다.

ROCm: AMD의 험난한 길

AMD ROCm은 Linux에서는 괜찮지만 Windows에서는 꽤 손이 갑니다. 공식 지원은 Linux 중심이고, Windows 버전은 아직 실험 단계라 버그가 많고 호환성도 떨어집니다.

AMD GPU + Windows를 사용한다면 Vulkan으로 바꾸는 것을 권장합니다.

OLLAMA_VULKAN=1 ollama serve

Vulkan은 크로스 플랫폼 호환성이 좋습니다. CUDA보다 조금 느리지만, 적어도 안정적으로 실행할 수 있습니다.

제 조언은 간단합니다. 설정으로 고생하고 싶지 않다면 NVIDIA CUDA를 고르세요. Mac 사용자라면 Metal + MLX를 쓰세요. AMD 사용자는 Linux + ROCm, 또는 Windows + Vulkan 경로를 선택하면 됩니다.

4. GPU 모델 추천: 입문형부터 플래그십까지

예산별로 나눈 추천 표입니다.

입문급(예산 $200-400)

모델	VRAM	적합한 모델	성능	가격
RTX 3060 12GB	12GB	7B Q4, 13B Q4	40-60 tok/s	$250
RX 6600 8GB	8GB	7B Q4	30-45 tok/s	$200

RTX 3060 12GB는 입문용 첫 선택입니다. 12GB VRAM으로 7B Q4와 13B Q4를 실행할 수 있고, 가성비가 매우 높습니다. 많은 사람이 제게 묻습니다. RTX 4060 8GB와 RTX 3060 12GB 중 어느 쪽이 LLM에 더 적합하냐고요.

답은 명확합니다. 3060 12GB입니다. 4060은 연산 성능이 더 강하지만 8GB VRAM이 치명적인 약점입니다. 13B 모델을 실행하면 VRAM이 터져 경험이 좋지 않습니다.

RX 6600은 예산이 제한적이고 7B만 실행하려는 사용자에게 적합합니다. 다만 AMD는 Windows에서 Vulkan 설정을 만져야 하므로 NVIDIA보다 안정감이 떨어집니다.

메인스트림급(예산 $400-800)

모델	VRAM	적합한 모델	성능	가격
RTX 4060 Ti 16GB	16GB	13B Q4/Q8, 14B Q4	50-80 tok/s	$400
RTX 4070 Super 12GB	12GB	7B Q8, 13B Q4	60-90 tok/s	$600

RTX 4060 Ti 16GB는 제가 가장 추천하는 모델입니다. 16GB VRAM이 딱 달콤한 지점에 있습니다. 13B Q8도 충분하고, 14B Q4도 충분합니다. 가격은 $400이고 가성비가 좋습니다.

RTX 4070 Super는 연산 성능이 더 강하지만, 12GB VRAM 때문에 13B Q4 정도로 제한됩니다. 속도를 중시한다면 4070 Super가 좋은 선택입니다. 모델 크기를 중시한다면 4060 Ti 16GB가 더 낫습니다.

하이엔드급(예산 $1,200-2,000)

모델	VRAM	적합한 모델	성능	가격
RTX 4090 24GB	24GB	32B Q4, 70B Q4*	80-150 tok/s	$1,800
RTX 5090 32GB	32GB	70B Q5/Q8	150-200 tok/s	$2,000
RX 7900 XTX 24GB	24GB	32B Q4	60-100 tok/s	$900

*참고: RTX 4090 단일 GPU로 70B Q4를 실행하려면 더 공격적인 양자화(Q4_K_S)가 필요하거나 듀얼 GPU 구성을 사용해야 합니다.

RTX 4090은 현재 플래그십 선택지입니다. 24GB VRAM으로 32B Q4는 전혀 문제가 없고, 70B는 더 공격적인 양자화나 듀얼 GPU 구성이 필요합니다.

RTX 5090 32GB는 2026년의 새로운 플래그십입니다. 32GB VRAM이면 70B Q5를 간신히 실행할 수 있습니다. 가격은 $2,000이지만 대형 모델을 자주 실행한다면 투자할 만합니다.

RX 7900 XTX는 가성비가 괜찮습니다. 24GB VRAM인데 가격은 $900입니다. 다만 AMD ROCm은 Windows에서 불안정하므로 Linux 사용자에게 더 적합합니다.

Mac 사용자 추천

칩	통합 메모리	적합한 모델	성능
M4 Pro	24GB	14B Q4	35-55 tok/s
M4 Max	128GB	70B Q4	28-30 tok/s
M3 Ultra	192GB	70B+, 다중 모델 병렬	25-35 tok/s

Mac의 통합 메모리 구조 덕분에 더 큰 모델을 실행할 수 있습니다. M4 Max 128GB는 70B Q4를 완전히 실행할 수 있고, 양자화에서 크게 타협할 필요가 없습니다.

하지만 Mac의 단점은 속도입니다. M4 Max로 70B를 실행하면 28-30 tok/s 정도에 그치며, RTX 4090보다 훨씬 느립니다. 속도를 중시한다면 NVIDIA를 고르세요. 모델 완전성과 사용 편의성을 중시한다면 Mac도 좋은 선택입니다.

가성비의 왕: 중고 RTX 3090 24GB

여기 숨은 선택지가 하나 있습니다. 중고 RTX 3090 24GB입니다.

현재 중고 시장에서 RTX 3090은 대략 $600입니다. 24GB VRAM으로 32B Q4와 70B Q4(공격적 양자화)를 실행할 수 있습니다. 연산 성능은 4090보다 조금 약하지만 가격은 절반 수준입니다.

제 친구 중 한 명은 중고 3090을 사서 1년 넘게 문제없이 쓰고 있습니다. 전제는 믿을 만한 판매자를 찾고, 채굴에 혹사된 카드는 피해야 한다는 점입니다.

5. 구매 결정 흐름

위 네 장을 읽어도 여전히 조금 혼란스러울 수 있습니다. 표도 많고 모델도 많으니, 어떻게 골라야 할까요?

아래의 간단한 흐름을 따라가면 단계별로 결정할 수 있습니다.

1단계: 목표 모델 정하기

어떤 모델을 실행하고 싶은가요? 이것이 핵심 질문입니다.

• 일상 대화, 글쓰기 보조: 7B면 충분합니다(Llama 3.1 8B, Qwen 2.5 7B).
• 코드 보조, 기술 Q&A: 13B-14B가 더 좋습니다(Qwen 2.5 14B, DeepSeek Coder).
• 복잡한 추론, 긴 텍스트 생성: 32B-70B(DeepSeek V3, Qwen 2.5 72B).

대부분은 7B 또는 13B를 고르면 됩니다. 특별한 요구가 없다면 70B 대형 모델까지는 필요하지 않습니다.

2단계: 양자화 선호 정하기

양자화는 어떻게 고를까요?

• VRAM이 부족함: Q4_K_M(기본 선택)
• VRAM이 넉넉함: Q5_K_M(정밀도 중시)
• 연구 비교: Q8_0 또는 FP16

저는 먼저 Q4_K_M을 권합니다. 대부분의 상황에서 품질은 충분하고 VRAM 요구량은 낮습니다.

3단계: 표에서 VRAM 맞추기

1장의 대조표로 돌아가서 모델 + 양자화 조합에 해당하는 VRAM 요구량을 찾으세요.

예를 들어 Llama 3.1 8B Q4_K_M을 실행하려면 표에서 4-6GB가 나옵니다. 그러면 안전 여유 2GB를 두고 최소 8GB VRAM GPU가 필요합니다.

4단계: 예산에 맞춰 GPU 고르기

VRAM 요구량과 예산을 결합해 4장의 단계별 추천표를 보면 됩니다.

• 예산 $200-400: RTX 3060 12GB
• 예산 $400-800: RTX 4060 Ti 16GB
• 예산 $1,200 이상: RTX 4090 24GB 또는 RTX 5090 32GB
• Mac 사용자: M4 Max 128GB

5단계: 플랫폼 지원 확인하기

마지막으로 시스템 플랫폼을 확인하세요.

• Windows: NVIDIA CUDA가 가장 안정적이며, AMD는 Vulkan이 필요합니다.
• Linux: NVIDIA CUDA와 AMD ROCm 모두 안정적입니다.
• macOS: Apple Metal + MLX, 속도 93% 향상.

---

결정 예시

예를 들어 Llama 3.3 70B를 실행하고 싶다고 가정해 보겠습니다.

1. 목표 모델: 70B
2. 양자화 선호: Q4_K_M(가성비)
3. VRAM 요구량: 표에서 40-48GB
4. 예산: 약 $1,500
5. 플랫폼: Windows

분석 결과는 다음과 같습니다.

• RTX 4090 24GB: 단일 GPU로는 부족하며, 듀얼 GPU나 공격적 양자화가 필요합니다.
• RTX 5090 32GB: 단일 GPU로 간신히 가능하며, Q4_K_S라면 실행할 수 있습니다.
• 중고 듀얼 RTX 3090 24GB × 2: $1,200, 48GB VRAM, 가성비가 높습니다.
• Mac M4 Max 128GB: 완전 실행 가능하지만 속도는 느립니다.

최종 추천: 예산이 제한적이면 중고 듀얼 RTX 3090을 고르세요. 안정성을 중시한다면 RTX 5090 32GB를 고르세요. Mac 사용자라면 M4 Max 128GB가 70B를 온전히 실행할 수 있는 유일한 단일 머신 선택지입니다.

정리

하드웨어 선택의 핵심 논리는 한 문장으로 정리됩니다. VRAM은 상한을 결정하고, 양자화는 하한을 결정합니다.

대조표 하나, 추천 목록 하나, 세 가지 가속 기술 비교. 이 글은 고민하던 문제를 정리하는 데 필요한 핵심을 담았습니다.

아직 망설이고 있다면 이 황금 규칙을 기억하세요.

• 예산 제한: RTX 3060 12GB. 입문용 첫 선택이며 7B와 13B를 실행할 수 있습니다.
• 성능 추구: RTX 4090 24GB 또는 4060 Ti 16GB. 메인스트림부터 플래그십까지 선택지가 있습니다.
• Mac 사용자: M4 Max 128GB. 70B를 온전히 실행할 수 있는 유일한 단일 머신 구성입니다.
• 가성비의 왕: 중고 RTX 3090 24GB. $600로 32B와 70B를 실행할 수 있습니다.

Ollama 실전 팁을 더 보고 싶다면 이 시리즈의 다른 글인 Ollama GPU 가속 가이드와 로컬 LLM 모델 선택 비교 글을 함께 확인해 보세요.