ComfyUI에서 Wan과 AnimateDiff로 영상 만들기

ComfyUI에서 마음에 드는 정지 이미지는 만들었고 이제 움직이고 싶습니다. 그런데 영상 workflow를 불러오자 Missing Nodes가 빨간색으로 가득 차거나 VRAM 사용률이 바로 99%가 됩니다. Wan과 AnimateDiff 중 무엇을 선택해야 할까요? 모델 파일은 어디에 두고 frames와 메모리는 어떻게 조정하며 이미지 시퀀스를 mp4로 어떻게 바꿀까요? 경로 선택, 준비 목록, 보수적인 설정부터 시작해 자주 생기는 실패를 순서대로 확인합니다.

1. Wan과 AnimateDiff 중 선택하기

workflow를 만들기 전에 경로를 선택합니다. Wan과 AnimateDiff는 전제 조건, 사용 목적, 복잡도가 다른 시스템입니다.

1.1 Wan: 전용 영상 모델 경로

Wan 2.2는 text-to-video(T2V), image-to-video(I2V), text-image-to-video(TI2V)를 지원하는 공개 영상 모델 계열입니다. mixture-of-experts 구조와 전용 weight, VAE, text encoder를 사용합니다. 일부 FP8 workflow에 대해 ComfyUI 공식 튜토리얼은 16GB를 넘는 VRAM에서 시작하도록 안내하며, 원래 정밀도 변형은 보통 더 많은 메모리가 필요합니다. 새 영상을 만들고 시간적 일관성을 더 중요하게 보는 경우에 적합합니다.

Wan 생태계는 일반 SD checkpoint와 분리되어 있습니다. workflow가 요구하는 diffusion model, VAE, text encoder를 모두 준비해야 합니다. 첫 실행은 2~4초 정도의 짧은 클립이 현실적입니다.

1.2 AnimateDiff: SD 생태계에 움직임 추가하기

AnimateDiff는 SD 1.5나 SDXL 같은 호환 Stable Diffusion 모델에 움직임을 추가합니다. 핵심은 base checkpoint와 함께 쓰는 motion module입니다. AnimateDiff-Evolved 버전에 따라 모델 폴더가 바뀔 수 있으므로 최신 README와 node의 모델 목록을 확인합니다. 일반적인 workflow는 SD checkpoint와 호환 motion module을 불러와 짧은 애니메이션을 생성합니다.

이미 스타일 checkpoint가 있다면 AnimateDiff가 잘 맞습니다. checkpoint와 VAE를 재사용할 수 있지만 길이와 일관성은 base model, motion module, context, frames, 해상도의 영향을 받습니다.

1.3 Wan과 AnimateDiff 비교표

항목	Wan 2.2	AnimateDiff
작업	Text-to-video, image-to-video, text-image-to-video	SD 모델 기반 짧은 애니메이션
모델 생태계	전용 영상 모델	SD 1.5/SDXL
VRAM 시작점	일부 FP8 workflow는 16GB급부터, 원래 정밀도는 더 필요	base model, motion module, 설정에 따라 다르며 작고 짧게 테스트
필요 요소	Wan diffusion model + VAE + text encoder	SD checkpoint + motion module
적합한 용도	새 영상과 높은 일관성 요구	기존 스타일 모델과 짧은 애니메이션
복잡도	높음: 여러 모델과 node	중간: motion module과 base checkpoint

새 클립을 만들고 큰 모델 스택을 감당할 수 있으면 Wan을 선택합니다. 호환 SD checkpoint가 있고 짧은 애니메이션이면 충분하거나 큰 전용 영상 모델을 피하고 싶다면 AnimateDiff를 선택합니다.

2. Wan workflow 준비하기

Wan 테스트는 준비 단계에서 자주 실패합니다. 모델 폴더가 틀리거나 node가 없거나 다른 작업용 workflow를 불러오는 경우입니다. queue를 실행한 뒤 하나씩 고치기보다 먼저 확인합니다.

2.1 모델 파일 준비하기

Wan 파일은 workflow가 예상하는 위치에 있어야 합니다. 폴더나 이름이 틀리면 모델 목록이 비어 있을 수 있습니다.

자주 쓰는 폴더:

폴더	파일 종류	설명
models/diffusion_models/	T2V/I2V diffusion model	480P/720P, fp16/fp8 변형
models/vae/	영상 VAE	workflow가 지정한 Wan VAE 사용
models/clip_vision/	Vision encoder	일부 I2V workflow에서 필요
models/text_encoders/	Text encoder	workflow가 지정한 encoder 사용

정밀도 선택:

• fp16: 원래 정밀도이며 VRAM 사용량이 가장 큼
• fp8: VRAM을 줄일 수 있는 낮은 정밀도, 실제 요구량은 현재 workflow와 로그로 확인
• bf16: 하드웨어와 workflow가 지원할 때만 사용

Wan은 빠르게 변경됩니다. 정확한 파일명, 다운로드 링크, 정밀도 변형은 최신 공식 튜토리얼에서 확인합니다.

2.2 Custom Nodes 설치하기

영상 workflow는 여러 서드파티 node pack에 의존할 수 있습니다. VideoHelperSuite는 영상 입출력에 자주 사용되고 AnimateDiff는 보통 ComfyUI-AnimateDiff-Evolved가 필요합니다.

설치 단계:

1. ComfyUI Manager에서 workflow가 지정한 node를 설치하고 VHS가 필요하면 ComfyUI-VideoHelperSuite를 설치합니다
2. AnimateDiff를 사용하면 ComfyUI-AnimateDiff-Evolved를 설치합니다
3. 최신 VideoHelperSuite README에서 ffmpeg와 의존성을 확인합니다
4. ComfyUI를 다시 시작합니다

ffmpeg 확인:

ffmpeg -version

버전이 나오면 사용할 수 있습니다. command not found라면 Windows는 winget install ffmpeg, Linux는 sudo apt install ffmpeg, macOS는 brew install ffmpeg를 사용합니다.

2.3 workflow template 가져오기

첫 Wan 실행은 모든 node를 직접 만들기보다 공식 T2V 또는 I2V workflow를 사용합니다.

단계:

1. 공식 튜토리얼에서 Wan T2V 또는 I2V workflow JSON을 받습니다
2. JSON이나 workflow metadata가 있는 예제 이미지를 ComfyUI로 끌어옵니다
3. Missing Nodes가 나오면 Manager에서 각 node를 찾거나 올바른 repository를 직접 설치합니다

확인 순서:

1. ComfyUI Manager에서 필요한 node pack이 설치되어 있는지 확인합니다
2. 누락된 node 이름 그대로 검색합니다
3. 찾지 못하면 올바른 repository를 custom_nodes/에 clone합니다
4. ComfyUI를 다시 시작합니다

ComfyUI workflow 재사용 가이드에서 가져오기와 Missing Nodes를 자세히 다룹니다.

3. Wan Text-to-Video 실행하기

모델과 node가 준비되면 최소 T2V workflow를 실행합니다.

3.1 핵심 workflow node

Wan T2V workflow는 보통 다음 역할을 포함하며 정확한 이름은 최신 공식 template에 따릅니다.

1. Model loaders: Wan T2V diffusion model, VAE, text encoder 불러오기
2. Video latent node: width, height, frames 설정
3. Text encoding: positive와 negative prompt 입력
4. Sampling: steps, CFG, seed와 관련 옵션 설정
5. VAE Decode: 영상 프레임 decode
6. VideoHelperSuite 또는 동등한 saver: 프레임을 영상 파일로 결합

정지 이미지 workflow와 다른 점:

• 한 이미지 대신 frames를 설정합니다
• 호환 영상 VAE를 사용합니다
• 출력에 프레임 시퀀스와 영상 결합 단계가 포함되는 경우가 많습니다

3.2 영상 prompt 작성하기

영상 prompt에는 시간적 연속성이 필요합니다.

핵심:

• 움직임을 구체적으로 작성합니다: 카메라는 camera following, slow pan, 피사체는 walking, turning head
• 장면 전환을 피하고 하나의 연속 장면을 유지합니다
• 카메라와 피사체를 구분합니다: 카메라는 시점을, 피사체는 프레임 안 내용을 바꿉니다

예시:

A woman walking in a park, camera following from behind, soft sunlight, 4K
A cat playing with a ball, slow motion, bokeh background

Stable Diffusion prompt 템플릿 가이드에서 기본 구조를 확인할 수 있습니다.

3.3 frames, FPS, 해상도 조정하기

관계는 다음과 같습니다.

매개변수	의미	테스트 값
frames	전체 프레임 수	16/24/48/72
FPS	초당 재생 프레임	12/16/24/30
duration	초 = frames / FPS	공식으로 계산

예시:

• 48 frames @ 16 FPS = 3초
• 72 frames @ 12 FPS = 6초

해상도는 모델과 workflow에 맞춰야 합니다. 흔한 template는 480P와 720P 경로를 구분합니다.

frames와 해상도가 늘면 sampling과 VAE 부하도 커집니다. 6절에서 보수적인 시작점을 제시합니다.

3.4 영상 내보내기

많은 Wan workflow는 시퀀스를 만든 후 VideoHelperSuite의 Video Combine 또는 유사 node를 사용합니다.

자주 쓰는 설정:

• frame_rate: 재생 FPS
• format: mp4, gif, webp 또는 지원 형식
• output_path: node 버전에 따른 출력 위치

자주 생기는 실패:

• ffmpeg나 의존성이 없음: README를 따르고 ffmpeg -version 확인
• 쓰기 권한 없음: 출력 폴더 변경
• encoder 미지원: 먼저 프레임을 저장하고 지원 형식 선택

4. Wan Image-to-Video 실행하기

Image-to-video는 정지 이미지를 시작 프레임으로 사용해 그 상태에서 움직임을 생성합니다.

4.1 I2V workflow 연결하기

I2V와 T2V의 주요 차이:

1. Load Image: 예상 크기의 이미지 불러오기
2. I2V model loader: T2V가 아닌 해당 Wan I2V 모델 불러오기
3. CLIP Vision과 text encoding: workflow에 따라 이미지와 prompt 처리
4. Sampling, VAE Decode, Video Combine: 생성 및 저장

I2V와 T2V는 파일과 template가 다를 수 있습니다. 다운로드마다 공식 template와 비교합니다.

4.2 시작 이미지 준비하기

입력은 뒤쪽 프레임에 큰 영향을 줍니다.

조건:

• 이미지 크기를 workflow에 맞춥니다
• 피사체와 경계가 분명한 이미지를 사용합니다
• 지나친 세부 묘사를 피합니다. 복잡한 배경과 촘촘한 texture는 드리프트를 키울 수 있습니다

ComfyUI 생성 이미지 또는 사용 권리가 있는 외부 이미지를 사용할 수 있습니다.

4.3 I2V 설정 문제 확인하기

첫 프레임은 비슷하지만 이후 얼굴과 손이 드리프트하고 변형되거나 깜빡이는 문제가 흔합니다.

원인과 해결:

• Prompt가 이미지와 맞지 않음: 이미지에서 자연스러운 움직임을 작성
• 이미지가 복잡함: 배경을 단순화하거나 더 깨끗한 입력 생성
• VRAM 부족: frames, 해상도, 정밀도 낮추기
• 움직임이 큼: 제공되는 motion 또는 strength 낮추기

스타일이 맞지 않으면 다른 I2V 변형이나 seed를 시험합니다.

5. AnimateDiff workflow 준비하기

AnimateDiff는 Wan과 다른 모델 스택을 사용합니다.

5.1 Motion Module 준비하기

motion module은 핵심 구성 요소입니다. AnimateDiff-Evolved에서 폴더와 format이 달라질 수 있으므로 최신 README, 예제 workflow, node 목록을 기준으로 합니다.

SD 1.5, SDXL 또는 다른 architecture 중 어디에 맞는지, base checkpoint와 workflow에 호환되는지 확인합니다. 다운로드 후 ComfyUI를 재시작하고 loader에 나타나는지 확인합니다.

5.2 Base Checkpoint 선택하기

AnimateDiff는 base model을 대체하지 않고 호환 이미지 diffusion model에 움직임을 추가합니다.

선택:

• motion module과 workflow에 호환되는 SD 1.5 또는 SDXL checkpoint 사용
• 기존 스타일 checkpoint를 적은 frames로 호환성 테스트
• 일반 checkpoint를 완전한 영상 모델로 취급하지 않기

Stable Diffusion 모델 선택 가이드에서 checkpoint 기초를 확인할 수 있습니다.

5.3 workflow 연결하기

AnimateDiff workflow는 보통 다음을 포함합니다.

1. Checkpoint Loader: 호환 base checkpoint 불러오기
2. Motion Model Loader: motion module 또는 motion model 불러오기
3. Context Options: context window 설정
4. Video latent node: 해상도와 frames 설정
5. Text encoding, sampling, VAE Decode, 영상 결합

frames와 context length의 관계는 버전에 따라 다릅니다. 예제 값으로 시작해 하나씩 변경합니다.

6. 매개변수와 성능 예산 정하기

VRAM과 영상 길이는 로컬 workflow의 주요 제한입니다. 다음 값은 시작점일 뿐 GPU 보장이 아닙니다.

6.1 VRAM, frames, 해상도 시작표

VRAM	안전한 시작	시험 가능	처음에는 피할 것
8GB	AnimateDiff, 낮은 해상도, 약 16 frames, batch 1	커뮤니티 low-VRAM workflow	고해상도 Wan, 긴 클립, 여러 제어 branch
12GB	짧고 작은 AnimateDiff	저정밀 Wan을 작은 크기와 적은 frames로 시험	긴 720P 클립과 복잡한 후처리
16GB	공식 안내에 따른 짧은 Wan FP8 테스트	해당 480P 또는 720P template	여러 branch 동시 실행과 긴 영상
24GB+	대부분의 짧은 영상 실험에 여유	더 높은 해상도나 frames	batch, VAE, 후처리는 여전히 제한 필요

실제 요구량은 모델 버전, GPU, VAE, custom nodes, workflow에 따라 다릅니다. 이 표는 첫 테스트를 정할 뿐 특정 GPU의 성공을 보장하지 않습니다.

6.2 부하 줄이는 순서

VRAM이 부족하면:

1. frames를 48에서 24 또는 16으로 줄입니다
2. 720P에서 480P 또는 더 작은 지원 크기로 낮춥니다
3. batch를 1로 두고 불필요한 제어와 후처리 branch를 끕니다
4. 지원되면 fp16에서 fp8 또는 낮은 정밀도로 바꿉니다
5. VAEDecodeTiled나 VAEEncodeTiled의 공간 tile과 video temporal 설정을 시험합니다
6. --lowvram 같은 호환 옵션을 사용합니다
7. preview를 끄고 다른 GPU 애플리케이션을 닫습니다

low-VRAM 옵션, cache, tiled VAE는 현재 버전과 실제 workflow로 검증합니다.

6.3 길이와 품질 조정하기

길다고 항상 좋지는 않습니다. 짧은 클립이 제어하기 쉽고 긴 클립은 작은 움직임과 분할 생성이 필요합니다.

위험:

• 깜빡임: 프레임 사이 색이나 밝기 변화
• 변형: 얼굴, 손, 윤곽의 드리프트
• 약한 움직임: prompt나 motion 설정 부족

긴 영상은 짧은 구간부터 검증하고 지원되는 continuation, I2V, 후처리를 사용합니다. frames를 두 배로 늘려도 일관성이 보장되지 않습니다.

7. 영상 출력과 저장 이해하기

많은 ComfyUI 영상 workflow는 프레임을 먼저 만들고 VideoHelperSuite 같은 node로 결합합니다.

7.1 VideoHelperSuite node 역할

역할	기능	자주 쓰는 설정
Load Video	영상 또는 이미지 시퀀스 가져오기	frame_count, frame_rate, width/height
Video Combine	프레임을 영상으로 결합	frame_rate, format, 출력
Save Video node	영상 파일 저장	format, quality, save_output

node 이름, parameter, 지원 format은 extension 버전에 따라 바뀝니다. Load Video는 기존 영상을 불러오고 Video Combine 또는 동등 node는 생성 프레임을 영상 파일로 만듭니다.

7.2 FPS, frames, 길이 계산하기

공식:

duration (초) = frames / FPS

예시:

• 48 frames @ 16 FPS = 3초
• 72 frames @ 12 FPS = 6초

FPS 선택:

FPS	영향
12	같은 frames가 오래 재생되지만 움직임이 끊겨 보일 수 있음
16	길이와 부드러움의 균형
24	같은 시퀀스가 빠르고 짧게 재생됨
30	같은 길이를 유지하려면 더 많은 frames 필요

FPS는 재생 속도만 바꾸고 중간 프레임을 만들지 않습니다. 긴 클립은 더 많은 frames나 분할이 필요하고, 부드러움에는 보간이 필요할 수 있습니다.

7.3 저장 실패 해결하기

실패	해결
ffmpeg 또는 node 의존성 없음	README를 따르고 ffmpeg -version 확인
출력 폴더 쓰기 불가	권한을 주거나 기본 출력 사용
encoder 또는 format 미지원	프레임을 먼저 저장하고 지원 형식 선택
saver에 frames가 없음	latent, VAE Decode, 출력 연결 확인

8. 자주 발생하는 오류 해결하기

영상 workflow는 여러 계층에서 실패합니다. 관련 없는 설정을 동시에 바꾸지 말고 순서대로 확인합니다.

8.1 Missing Nodes 해결하기

가져온 workflow가 빨간 Missing Nodes를 표시합니다.

순서:

1. ComfyUI Manager에서 필요한 node pack을 확인합니다
2. 누락된 node 이름을 그대로 검색합니다
3. 찾지 못하면 올바른 repository를 custom_nodes/에 clone합니다
4. ComfyUI를 다시 시작합니다

ComfyUI workflow 재사용 가이드에서 자세히 확인할 수 있습니다.

8.2 모델 경로 오류 해결하기

잘못된 폴더는 모델 목록을 비게 하는 흔한 원인입니다.

모델 종류	일반 폴더
Wan diffusion model	models/diffusion_models/
Wan VAE	models/vae/
CLIP Vision	models/clip_vision/
text encoder	models/text_encoders/
AnimateDiff motion module	최신 README와 node 목록에 따름

파일명, 작업, 해상도, 정밀도를 workflow에 맞춥니다.

8.3 OOM 해결하기

VRAM 소진은 가장 흔한 리소스 오류입니다.

순서:

1. frames, 해상도, 정밀도를 낮춥니다
2. batch를 1로 두고 추가 branch를 끕니다
3. VAEDecodeTiled 또는 temporal chunk를 시험합니다
4. --lowvram 같은 호환 옵션을 사용합니다
5. preview를 끄고 다른 GPU 앱을 닫습니다

8.4 깜빡임, 변형, 약한 움직임 해결하기

문제	가능한 원인	조정
깜빡임	낮은 시간 일관성 또는 부적절한 context/motion	seed 고정, 테스트 단축, context나 motion 조정
변형	복잡한 이미지, 큰 움직임, 모델 한계	입력 단순화, 움직임 감소, 모델 변경
약한 움직임	prompt에 동작 없음 또는 낮은 motion	구체적 동작 추가, motion 점진 조정
품질 저하	checkpoint, motion module, VAE 불일치	조합 확인 후 예제 workflow로 복귀

Stable Diffusion prompt 템플릿 가이드에서 동작 표현을 확인할 수 있습니다.

8.5 멈춘 VAE Decode 해결하기

VAE Decode가 멈추거나 매우 느리거나 OOM이 발생합니다.

해결:

• frames와 해상도를 낮춥니다
• VAEDecodeTiled의 공간 tile 또는 temporal chunk를 시험합니다
• VAE가 workflow와 일치하는지 확인합니다
• 손상된 모델은 신뢰할 수 있는 출처에서 다시 받고 검증합니다

8.6 첫 프레임 이후 I2V 드리프트 해결하기

I2V에서 흔한 패턴입니다.

원인	조정
Prompt가 이미지와 불일치	입력과 맞는 움직임 작성
시작 이미지가 너무 복잡	배경 단순화 또는 깨끗한 입력 생성
움직임이 너무 큼	subtle motion이나 slow camera push-in부터 시작
I2V 모델이 스타일과 불일치	다른 변형, workflow, seed 시험

9. 제어, 후처리, 자동화로 이어가기

첫 workflow가 안정되면 실제로 만난 제한에 따라 다음 단계를 선택합니다.

9.1 시리즈 관련 가이드

이 글은 ComfyUI와 Stable Diffusion 실전 시리즈의 영상 생성 편입니다. 필요하면 다음 선행 글을 확인합니다.

• ComfyUI 입문 가이드: 정지 이미지부터 안정화
• ComfyUI workflow 재사용: JSON 가져오기와 custom nodes 해결
• Stable Diffusion 모델 선택: 호환 checkpoint 선택
• Stable Diffusion prompt 템플릿: 기본 구조에 동작과 카메라 추가

다른 글에서는 low-VRAM, 프레임별 보정, API 자동화, 버전 충돌을 다룹니다. 추가 계층을 넣기 전에 짧은 workflow 하나를 안정화합니다.

9.2 공식 문서와 프로젝트

공식 출처부터 확인합니다.

• ComfyUI 공식 문서
• ComfyUI Wan2.2 Tutorial: Wan 주요 출처
• Wan-Video/Wan2.2 GitHub: 모델 변형과 작업
• ComfyUI-AnimateDiff-Evolved: AnimateDiff 구현
• ComfyUI-VideoHelperSuite: 영상 입출력
• VAEDecodeTiled 문서: tiled VAE
• ComfyUI Startup Flags: low-VRAM 옵션

9.3 라이선스와 상업적 이용

각 모델의 최신 라이선스를 확인합니다.

• Wan 2.2는 Wan-Video/Wan2.2의 LICENSE 확인
• AnimateDiff는 AnimateDiff의 LICENSE 확인

상업적 이용 전 확인:

• 모델 라이선스가 상업적 이용을 허용하는지
• 특히 I2V 시작 이미지의 사용 권리가 있는지
• 생성물 권리가 프로젝트와 플랫폼에서 어떻게 적용되는지

이는 법률 자문이 아닙니다. 현재 repository의 라이선스를 기준으로 합니다.

결론

Wan과 AnimateDiff는 서로 다른 ComfyUI 영상 workflow에 맞습니다. Wan은 텍스트나 시작 이미지에서 영상을 만들고 AnimateDiff는 호환 스타일 checkpoint를 재사용해 짧은 애니메이션을 만듭니다. 모델 폴더, node 버전, template를 실제 workflow에 맞춥니다. 시작표는 보수적인 기준이며 GPU 보장이 아닙니다. 리소스가 부족하면 frames, 해상도, branch, 정밀도, VAE 부하 순으로 낮춥니다.

Missing Nodes, 모델 경로, OOM, 깜빡임, 변형, VAE Decode 정지, 저장 실패는 계층별로 확인합니다. 적은 frames, 작은 해상도, batch 1로 전체 흐름을 검증한 뒤 테스트마다 변수 하나만 늘립니다.