Ollama 모델 관리 완벽 가이드: 다운로드, 전환, 삭제 및 버전 관리

Ollama를 처음 사용했을 때는 한 가지 문제를 전혀 의식하지 못했습니다. 모델 파일이 정말 크다는 점입니다.

그러던 어느 날 SSD 용량 경고가 떴습니다. ~/.ollama 디렉터리를 열어 보니 40GB가 넘었습니다. 그때 이런 생각이 들었습니다. 이 모델들은 아예 쓰지도 않는데 어떻게 삭제하지? 버전은 어떻게 전환하지? 앞으로 같은 문제를 어떻게 피할 수 있을까?

이 글은 그런 시행착오를 겪고 나서 정리한 내용입니다. 다운로드와 전환, 삭제부터 버전 관리 모범 사례까지 Ollama 모델 관리의 핵심 명령어를 살펴봅니다. 끝까지 읽으면 로컬 LLM 라이브러리를 여유 있게 관리하고 더는 디스크 공간 때문에 놀라지 않을 수 있을 것입니다.

---

핵심 명령어 빠른 참조표

언제든 확인할 수 있도록 먼저 표로 정리했습니다. 뒤에서 각 명령어를 하나씩 자세히 설명하겠습니다.

명령어	용도	예시
ollama pull	모델 다운로드(버전 지정)	ollama pull llama3.2:latest
ollama run	모델 실행	ollama run llama3.2
ollama list	모든 로컬 모델 확인	ollama list
ollama ps	실행 중인 모델 확인	ollama ps
ollama stop	실행 중인 모델 중지	ollama stop llama3.2
ollama rm	모델 삭제	ollama rm llama3.2
ollama show	모델 상세 정보 확인	ollama show llama3.2
ollama create	사용자 지정 모델 생성	ollama create mymodel -f Modelfile
ollama serve	API 서비스 시작	ollama serve

이 표만으로도 일상적인 관리 상황의 90%를 거의 모두 처리할 수 있습니다. 이 명령어들을 기억하고 나면 나머지는 조합해서 사용하면 됩니다.

---

모델 다운로드: 버전 선택이 중요합니다

지정 버전 다운로드

모델을 다운로드할 때 ollama pull을 사용한다는 사실은 대부분 알고 있을 것입니다. 하지만 놓치기 쉬운 세부 사항이 하나 있습니다. 바로 버전 태그입니다.

# 최신 버전 다운로드
ollama pull llama3.2:latest

# 특정 매개변수 규모 다운로드
ollama pull llama3.1:70b

# 특정 양자화 버전 다운로드
ollama pull mistral:7b-q4_K_M

이 태그들은 무엇이 다를까요?

아주 간단합니다.

• latest: 기본 태그이자 최신 안정 버전
• 7b, 70b: 매개변수 규모로, 숫자가 클수록 모델 성능은 높지만 더 많은 리소스를 사용함
• q4_K_M, q3_K_L: 양자화 수준으로, 숫자가 작을수록 파일 크기는 줄지만 정확도도 다소 낮아짐

한마디로 말하면 사용 중인 하드웨어에 맞춰 버전을 선택해야 합니다.

하드웨어 요구 사항 비교표

무작정 다운로드하지 마세요. 먼저 아래 표를 보고 자신의 사양과 비교해 보세요.

모델 규모	매개변수 수	파일 크기	최소 RAM	권장 RAM	VRAM 요구량
소형 모델	1-3B	1-2GB	4GB	8GB	2-4GB
중형 모델	7-8B	4-5GB	8GB	16GB	6-8GB
대형 모델	13-14B	7-8GB	16GB	32GB	10-12GB
초대형 모델	70B	40GB+	32GB	64GB+	24GB+

제 경험상 8GB RAM 시스템에서 7B 모델은 간신히 실행되지만 매우 느립니다. 16GB라면 훨씬 쾌적합니다. 70B 모델은 솔직히 듀얼 RTX 4090이 없다면 가정용 시스템에서 실행하기가 거의 불가능합니다.

일괄 다운로드 스크립트

여러 모델을 다운로드해야 한다면 하나씩 직접 입력하기가 번거롭습니다. 다음과 같은 스크립트를 작성해 보세요.

#!/bin/bash
# download_models.sh

MODELS=(
  "llama3.2:latest"
  "mistral:7b"
  "qwen2:7b"
  "deepseek-r1:7b"
)

for model in "${MODELS[@]}"; do
  echo "正在下载: $model"
  ollama pull "$model"
  echo "---"
done

echo "所有模型下载完成！"

파일을 download_models.sh로 저장한 뒤 다음 명령어를 실행합니다.

chmod +x download_models.sh
./download_models.sh

이제 필요한 모델을 한 번에 모두 받을 수 있습니다.

---

모델 전환: GPU를 유휴 상태로 낭비하지 마세요

로컬 모델 목록 확인

모델 다운로드를 마쳤다면 현재 어떤 모델이 있는지 먼저 확인합니다.

ollama list

출력은 대략 다음과 같습니다.

NAME                ID              SIZE    MODIFIED
llama3.2:latest     a80c4f17acd5    2.0GB   2 days ago
mistral:7b          f974a74358d6    4.1GB   5 days ago
qwen2:7b            d53d04290064    2.3GB   10 days ago

각 필드의 의미는 다음과 같습니다.

• NAME: 모델 이름과 태그
• ID: 고유 식별자(모델을 삭제할 때 사용할 수 있음)
• SIZE: 파일 크기로, 어떤 모델이 공간을 많이 차지하는지 바로 확인 가능
• MODIFIED: 마지막 수정 시간으로, 오래된 모델인지 판단 가능

여기까지 확인하면 어떤 모델을 자주 사용하고 어떤 모델을 삭제해도 되는지 알 수 있습니다.

지정 모델 실행

모델 전환은 간단합니다. ollama run을 바로 사용하면 됩니다.

# 기본 실행
ollama run llama3.2

# GPU 가속 사용
ollama run llama3.2 --gpu

# 상세 모드(로딩 시간 확인)
ollama run llama3.2 --verbose

여기서 알아 둘 점이 있습니다. 모델을 아직 다운로드하지 않았다면 ollama run이 먼저 자동으로 pull을 실행합니다. 따라서 미리 pull하지 않고 바로 run해도 됩니다.

다만 주의해야 할 함정이 있습니다. 모델은 시작된 뒤 수동으로 중지할 때까지 GPU/CPU를 계속 사용합니다. 따라서 모델을 전환하기 전에 이전 모델부터 중지하세요.

실행 중인 모델 중지

먼저 어떤 모델이 실행 중인지 확인합니다.

ollama ps

출력은 다음과 비슷합니다.

NAME        ID              SIZE    PROCESSOR   UNTIL
llama3.2    a80c4f17acd5    2.0GB   100% GPU    4 minutes from now

실행 중인 모델이 있다면 중지합니다.

ollama stop llama3.2

그러면 GPU 공간이 확보되어 다음 모델로 전환할 수 있습니다.

솔직히 저도 예전에는 stop을 자주 잊어서 시스템이 점점 느려지곤 했습니다. **전환 전에는 먼저 ps, 그다음 stop**을 실행하는 습관을 들이세요.

---

모델 삭제: 디스크 공간 확보의 핵심

모델 하나 삭제하기

드디어 핵심 단계인 모델 삭제입니다.

ollama rm llama3.2

출력은 다음과 같습니다.

deleted 'llama3.2'

이렇게 간단합니다. 하지만 주의할 점이 있습니다. 삭제 전에 모델 이름을 확인해 잘못된 모델을 지우지 않도록 하세요. 먼저 ollama list를 실행해 보는 것이 좋습니다.

또한 삭제 후 파일이 즉시 사라지지 않고 정리 과정이 진행됩니다. 공간이 바로 확보되지 않았다면 몇 분 뒤 다시 확인하세요.

일괄 삭제 스크립트(허용 목록 유지)

모델 라이브러리가 복잡해서 정리하고 싶지만 자주 쓰는 몇 개는 남겨 두고 싶다면 다음과 같은 스크립트를 작성하세요.

#!/bin/bash
# cleanup_models.sh

# 허용 목록: 이 모델들은 삭제하지 않음
KEEP=(
  "llama3.2:latest"
  "mistral:7b"
)

# 모든 모델 가져오기
ALL_MODELS=$(ollama list | tail -n +2 | awk '{print $1}')

for model in $ALL_MODELS; do
  # 허용 목록 포함 여부 확인
  keep=false
  for keeper in "${KEEP[@]}"; do
    if [ "$model" == "$keeper" ]; then
      keep=true
      break
    fi
  done

  # 허용 목록에 없으면 삭제
  if [ "$keep" = false ]; then
    echo "删除: $model"
    ollama rm "$model"
  else
    echo "保留: $model"
  fi
done

echo "清理完成！"

이 스크립트는 먼저 모든 모델을 나열한 다음 하나씩 확인합니다. 허용 목록에 있는 모델은 유지하고 나머지는 삭제합니다.

필요에 따라 KEEP 배열을 수정해 자주 사용하는 모델을 입력하면 됩니다.

모델 저장 경로 관리

모델을 삭제했는데도 공간이 부족한가요? 경로 설정에 문제가 있을 수 있습니다.

기본적으로 모델은 다음 위치에 저장됩니다.

• Windows: C:\Users\<用户名>\.ollama\models
• Linux/macOS: ~/.ollama/models

시스템 드라이브 공간이 부족하다면 다른 드라이브로 옮길 수 있습니다. OLLAMA_MODELS 환경 변수를 설정하세요.

# Linux/macOS
export OLLAMA_MODELS=/path/to/your/models

# Windows(PowerShell)
$env:OLLAMA_MODELS="D:\ollama\models"

설정을 마치면 새로 다운로드하는 모델은 새 경로에 저장됩니다. 기존 모델은 원래 위치에 그대로 있으므로 수동으로 옮겨야 합니다.

제안하자면 처음부터 경로를 제대로 설정하는 편이 좋습니다. 공간이 가득 찬 뒤에야 옮기려고 하지 마세요. 마이그레이션은 번거롭고 실수하기 쉽습니다.

---

버전 관리: 혼란을 피하는 전략

버전이 뒤섞이는 대표적인 상황

다음과 같은 상황을 겪어 봤을 수 있습니다.

llama3.1:latest
llama3.1:8b
llama3.2:latest
llama3.2:1b
llama3.2:3b

여러 버전이 한데 쌓여 있으면 어떤 것이 자주 쓰는 버전인지, 테스트용인지, 삭제해도 되는지 알기 어렵습니다.

혼란을 피하는 세 가지 방법

1. 태그로 용도 구분하기

   • latest: 일상적으로 사용하는 주 버전
   • test, dev: 테스트용 버전
   • 매개변수 규모가 다른 버전을 지나치게 많이 받지 말고 적합한 하나만 선택하기

2. 정기적으로 정리하기

   • 매주 한 번 ollama list를 실행해 불필요한 모델이 있는지 확인하기
   • 앞에서 소개한 정리 스크립트로 모델 라이브러리를 간결하게 유지하기

3. 의미 있는 이름 사용하기

   • 사용자 지정 모델에는 명확한 이름 붙이기
   • 예를 들어 mymodel1, mymodel2 대신 myproject-llama3.2 사용하기

모델 업데이트(증분 다운로드)

모델이 업데이트되어 새 버전을 받고 싶다면 어떻게 해야 할까요?

다시 pull하면 됩니다.

ollama pull llama3.2:latest

좋은 점은 Ollama가 변경된 부분만 다운로드하고 전체 파일을 다시 받지 않는다는 것입니다. 따라서 업데이트가 빠르고 대역폭도 크게 걱정할 필요가 없습니다.

사용자 지정 모델 변형

모델 매개변수를 조정하고 싶다면(예: temperature 변경, 시스템 프롬프트 추가) Modelfile을 사용할 수 있습니다.

# Modelfile 생성
FROM llama3.2
PARAMETER temperature 0.7
SYSTEM """你是一个专业的技术助手，用简洁的语言回答问题。"""

# 사용자 지정 모델 생성
ollama create my-tech-assistant -f Modelfile

# 실행
ollama run my-tech-assistant

이제 사용자 지정 버전이 생겼습니다. 더 이상 필요하지 않다면 마찬가지로 ollama rm으로 삭제하면 됩니다.

---

자주 발생하는 문제와 해결 방법

다운로드가 99%에서 멈추는 경우

저도 겪어 본 문제입니다. 모델 다운로드가 마지막 1%를 남겨 두고 갑자기 멈춥니다.

대개 네트워크 연결이 끊긴 것이 원인입니다. 해결 방법은 다음과 같습니다.

# Ctrl+C로 다운로드 취소
# 다시 pull 실행
ollama pull llama3.2

좋은 점은 진행 상황이 유지되어 처음부터 다시 받을 필요가 없다는 것입니다. 보통 두 번째 시도에 성공합니다.

삭제 후에도 공간이 확보되지 않는 경우

모델을 삭제한 뒤 df -h를 확인했는데도 공간이 여전히 가득 차 있을 수 있습니다.

가능한 원인은 다음과 같습니다.

1. 정리 프로세스가 아직 끝나지 않았으므로 몇 분 기다리기
2. 잔여 파일이 있으므로 경로를 직접 확인하기

직접 확인하는 방법은 다음과 같습니다.

# 모델 디렉터리 크기 확인
du -sh ~/.ollama/models

# 여전히 크다면 내부 확인
ls -lh ~/.ollama/models/blobs/

남은 파일을 찾아 직접 삭제하세요.

모델 전환 실패

ollama run에서 오류가 발생한다면 다음이 원인일 수 있습니다.

1. 리소스 부족: RAM 또는 VRAM이 부족함
2. 설정 오류: Modelfile에 문제가 있음

해결 방법은 다음과 같습니다.

• 먼저 ollama ps로 리소스를 사용하는 다른 모델이 없는지 확인하기
• --verbose로 상세 오류 정보 확인하기
• 사용자 지정 모델이라면 Modelfile 문법 확인하기

---

마무리하며

여러 내용을 살펴봤지만 사실 핵심은 다운로드, 전환, 삭제라는 세 가지 작업입니다. 이 명령어들을 익히고 버전을 무분별하게 다운로드하지 않는 등 약간의 계획만 더하면 로컬 LLM 라이브러리를 깔끔하게 유지할 수 있습니다.

OpenClaw 사용자라면 모델 관리가 더욱 중요합니다. OpenClaw는 Ollama에 의존하므로 모델 버전이 애플리케이션 사용 경험에 직접 영향을 줍니다. 모델 라이브러리를 정기적으로 확인하고 쓰지 않는 모델을 삭제해 간결하게 유지하는 것이 좋습니다.

궁금한 점이 생기면 빠른 참조표나 해당 섹션을 다시 확인하세요. 이 글이 시행착오를 조금이라도 줄이는 데 도움이 되기를 바랍니다.

---