ComfyUI 이미지 업스케일과 부분 수정: Hires Fix, FaceDetailer, Inpainting

768×1024 캐릭터 이미지를 만들었습니다. 구도와 조명은 마음에 들지만 멀리 있는 얼굴이 흐립니다. 바로 4x로 확대하면 세부가 딱딱하고 붙여 넣은 것처럼 보이고, FaceDetailer를 쓰면 다른 사람처럼 바뀌며, 배경의 작은 결함을 inpaint하면 전체 배경 색이 달라집니다.

픽셀 업스케일, latent 재샘플링, FaceDetailer, 수동 inpainting은 서로 다른 문제를 해결합니다. 아래에서 노드 연결, 파라미터 의미, 첫 실행 예시와 함께 확대 후 흐림, mask 밖 변경, 얼굴 수정 뒤 인물 변화의 원인을 나눕니다.

---

후처리 품질을 높이는 네 가지 경로의 차이

만족스러운 이미지를 만든 뒤 남는 문제는 대체로 해상도 부족, 흐린 세부, 국소 결함 세 가지입니다. ComfyUI에는 네 가지 주요 후처리 경로가 있으며 각 경계가 다릅니다.

픽셀 업스케일은 ESRGAN 같은 모델로 이미지 크기를 늘립니다. 일반적으로 prompt를 다시 sampling하거나 구도를 의도적으로 바꾸지 않지만, 초해상도 모델이 질감을 재구성하거나 추가할 수 있습니다. 원본이 맞고 출력만 커져야 할 때 적합합니다.

latent 재샘플링은 latent를 키운 뒤 다시 sampling합니다. 구조 변화를 허용하며 재질이나 세부를 새로 생성할 때 사용합니다.

FaceDetailer는 얼굴 영역을 검출해 국소 수정합니다. 멀리 있는 작은 얼굴이 흐릴 때 유용합니다. 손과 다른 물체에는 맞는 Detector와 Detailer 또는 수동 mask가 필요하며 FaceDetailer는 만능 수정 노드가 아닙니다.

수동 inpainting은 Mask Editor로 우선 변경할 영역을 표시합니다. logo 경계, 작은 배경 결함, 특정 물체에 적합하지만 sampling과 compositing으로 mask 바깥의 모양도 변할 수 있습니다.

네 경로는 서로 대체할 수 없습니다. 픽셀 업스케일은 동일 인물을 보장하지 않고, FaceDetailer는 얼굴 교체가 아니며, inpainting도 mask 밖 모든 픽셀이 같다고 보장하지 않습니다. 먼저 크기, 새 세부, 검출 영역, 지정 영역 중 무엇이 문제인지 나눕니다.

---

픽셀 업스케일: UpscaleModelLoader + Upscale Image using Model

가장 단순한 후처리 경로입니다. 이미지 내용이 맞고 출력만 커져야 한다면 보통 파괴가 가장 적은 시작점입니다.

첫 업스케일 작업

768×1024로 생성한 이미지를 더 크게 출력한다고 가정합니다.

먼저 Real-ESRGAN 또는 신뢰할 수 있는 출처에서 이미지 종류에 맞는 모델을 받습니다. 예시는 RealESRGAN_x4plus.pth, RealESRGAN_x4plus_anime_6B.pth입니다.

모델 파일을 ComfyUI/models/upscale_models/에 둡니다.

ComfyUI UI를 새로고침하거나 재시작해 목록을 다시 읽습니다. 보이지 않으면 경로, 확장자, extra_model_paths.yaml을 확인합니다.

노드를 연결합니다. UpscaleModelLoader에서 모델을 고르고 Upscale Image (Using Model)의 upscale_model과 image를 연결합니다. 생성 이미지는 image 입력으로 보냅니다.

실행 후 실제 크기를 확인합니다. 4x 모델은 보통 가로와 세로를 네 배로 만들지만 최종 크기와 자원 사용량은 노드 출력을 기준으로 합니다.

업스케일 모델 선택

모델	먼저 시험할 장면	특징
4x-ESRGAN	범용 업스케일	공식 튜토리얼 예시이자 비교 기준
RealESRGAN_x4plus	사진과 사실적 장면	자연 질감을 시험하기 좋은 범용 복원 모델
RealESRGAN_x4plus_anime_6B	애니메이션과 일러스트	선과 평면 색을 비교하기 좋은 anime 계열
realesr-general-x4v3	가벼운 범용 처리	여러 이미지를 비교하기 좋은 경량 선택지

모든 이미지에 가장 좋은 모델은 없습니다. 이미지 종류, base model 스타일, 압축 흔적, 배율에 따라 결과가 달라집니다. 일러스트는 anime 계열, 사진은 범용 모델부터 시험하고 경계, 피부, 머리카락, 미세 질감을 비교합니다.

모델 디렉터리 확인

업스케일 모델은 보통 upscale_model이 아니라 upscale_models에 둡니다. UpscaleModelLoader는 extra_model_paths.yaml의 추가 디렉터리도 읽습니다. 목록이 바뀌지 않으면 파일과 경로를 확인한 뒤 새로고침하거나 재시작합니다.

---

latent 확대와 2차 sampling: LatentUpscale + KSampler

픽셀 업스케일은 prompt를 다시 해석하지 않습니다. 확대 후 재질이나 세부를 다시 생성하려면 latent를 키우고 다시 sampling합니다. denoise가 원본 보존과 재생성의 비율을 정합니다.

LatentUpscale 파라미터

파라미터	역할	주의점
upscale_method	확대 알고리즘	주요 선택지는 nearest-exact, bilinear, bislerp
width / height	목표 크기	한쪽을 0으로 두면 다른 쪽에서 비율 유지
crop	crop 방식	주요 선택지는 disabled, center

LatentUpscale은 더 큰 latent를 출력하고 이를 KSampler에 보냅니다. denoise가 1.0에 가까우면 더 많이 다시 그려 세부가 늘 수 있지만 구도, 얼굴, 옷이 쉽게 바뀝니다. 0.0에 가까우면 원본을 더 보존하고 새 세부는 적습니다.

모든 모델에 맞는 denoise 값은 없습니다. 세부를 조금 추가할 때는 낮게 시작합니다. seed, sampler, steps, CFG, checkpoint, LoRA weight를 고정하고 한 번에 하나만 바꿉니다. 얼굴이나 옷이 달라지기 시작하면 마지막 안정값으로 돌아갑니다.

픽셀 업스케일과의 차이

경로	구조가 바뀌는가	세부가 늘어나는가	적합한 장면
픽셀 업스케일	보통 구도를 의도적으로 바꾸지 않음	픽셀 세부 재구성	원본이 맞고 해상도만 필요
latent 재샘플링	denoise에 따라 바뀜	세부 재생성	일정 변화가 허용되고 재질이나 국소 구조를 다시 그리고 싶음

latent 재샘플링은 단순 resize가 아닙니다. workflow에 ControlNet, IPAdapter, regional prompting이 있으면 2차 pass가 이 조건을 약화할 수 있습니다. 별도 분기를 시험하기 전에 원본과 workflow를 저장합니다.

---

Impact Pack의 FaceDetailer로 얼굴 수정

멀리 있는 작은 얼굴이 흐린 문제는 흔합니다. FaceDetailer는 Impact Pack의 얼굴 검출과 Detailer를 결합해 영역을 찾고 crop에 detail 또는 inpaint를 적용합니다. 작은 얼굴을 개선하지만 동일 인물 제어나 얼굴 교체는 아닙니다.

Impact Pack 설치

Impact Pack은 외부 custom node 묶음입니다. Maintainer는 ComfyUI Manager 설치를 권장합니다. ComfyUI-Impact-Pack을 검색해 설치하고 ComfyUI를 재시작합니다.

Impact Pack은 구조와 호환 요구가 자주 바뀝니다. 현재 README는 일부 Ultralytics Detector Provider에 별도 Impact Subpack이 필요하다고 안내합니다. 오래된 workflow에서 빨간 노드, detector 누락, 다른 파라미터가 나오면 이전 화면을 따라 하지 말고 현재 README, Subpack, Manager 상태를 확인합니다.

첫 얼굴 수정

생성 이미지에 멀리 있는 흐린 얼굴이 있다고 가정합니다.

Impact Pack 메뉴에서 FaceDetailer를 추가합니다.

workflow의 image, model, clip, vae, detector와 필요한 입력을 연결합니다. 입력은 버전마다 바뀔 수 있으므로 설치된 노드와 현재 README를 기준으로 합니다.

검출 영역, guide_size, max_size, noise_mask, inpaint_model, cycle부터 봅니다. guide_size는 작은 영역을 detail할 때 기준 크기이고 max_size는 긴 변과 VRAM 사용량을 제한합니다.

denoise는 보수적으로 시작합니다. 0.3〜0.5는 실무 시작 범위이지 공식 고정값이 아닙니다. 원본 얼굴이 작고 상자가 클수록 더 신중해야 합니다.

원본과 수정본을 비교합니다. 얼굴이 선명해지면서 인물, 표정, 머리카락, 배경이 불필요하게 바뀌지 않았는지 확인합니다.

FaceDetailer 파라미터

파라미터	역할	조정 기준
guide_size	Detailer 처리 영역의 기준 크기	중간 크기부터 시작하고 큰 값의 재생성과 VRAM 증가를 주의
max_size	처리 영역 최대 크기	큰 검출 상자와 VRAM 사용량 제한
noise_mask	검출 영역에 noise mask 적용 여부	switch로 이해하고 설치 버전에서 동작 확인
inpaint_model	inpaint model 경로 사용 여부	전용 inpaint checkpoint workflow에서 설정
cycle	Detailer 반복 횟수	1회부터 시작하고 반복으로 원본 얼굴에서 멀어지는지 확인

detector가 처리 영역을 정합니다. 얼굴이 더 나빠지면 올바른 검출을 확인하고 영역, denoise, guide size를 줄입니다. 손 문제는 손용 detector와 Detailer 또는 수동 inpainting이 필요하며 FaceDetailer가 자동으로 고치지 않습니다.

FaceDetailer의 한계

FaceDetailer는 얼굴 세부를 개선하지만 원본 인물 유지까지 보장하지 않습니다. 동일 인물이 목적이면 FaceID, InstantID, ReActor, LoRA를 사용합니다. 실존 인물 얼굴은 소유하거나 허가받은 자료만 씁니다.

---

수동 inpainting: 전체를 다시 만들지 않고 한 영역만 변경

logo 경계, 작은 배경 결함, 한쪽 손은 수동 inpainting이 더 제어하기 쉽습니다. mask는 우선 영역을 정하지만 실제 영향 범위는 encoding, conditioning, denoise, compositing에 따라 달라집니다.

Mask Editor 단계

제품 이미지 배경에 작은 결함이 있다고 가정합니다.

원본을 Load Image에 넣고 노드를 우클릭해 Open in MaskEditor를 선택합니다.

수정할 영역만 칠합니다.

지우개로 넘친 부분을 지우고 경계에 적절한 전이 폭을 남깁니다.

Save를 눌러 mask를 이미지 노드로 돌려보내 inpainting 경로에 사용합니다.

두 가지 일반적인 inpainting 연결

기본 workflow는 주로 두 conditioning 경로 중 하나를 사용합니다. 둘을 기계적으로 이어 붙일 필요는 없습니다.

첫 번째는 VAE Encode (for Inpainting)입니다. pixels, vae, mask, grow_mask_by를 받아 noise mask를 포함한 latent를 출력합니다. 이를 KSampler에 연결하고 VAE Decode로 이미지로 되돌립니다.

두 번째는 InpaintModelConditioning입니다. positive, negative, vae, pixels, mask를 받아 처리된 positive, negative, latent를 출력해 KSampler에 연결합니다. 전용 inpaint conditioning이 필요한 workflow에 맞습니다.

KSampler 자체는 model, positive, negative, latent 등 sampling 입력을 받습니다. VAE는 전후 encode/decode 노드에 있고 KSampler에 직접 연결하지 않습니다.

grow_mask_by의 역할

grow_mask_by는 mask를 바깥으로 넓혀 latent 전이 영역을 만듭니다. 너무 좁으면 딱딱한 경계가 생기고 너무 크면 이미 맞는 부분을 다시 그립니다. 작은 확장부터 시작해 경계와 배경을 보고 점차 늘립니다.

보이는 경계선 줄이기

경계선, 다른 밝기, 패치 같은 흔적이 있으면 grow_mask_by를 조금 늘리고 denoise를 낮추며 mask를 feather합니다. 외부 노드의 Expand Mask와 Blur Masked도 쓸 수 있지만 설치된 버전의 이름과 동작을 확인합니다.

---

고급 선택지: Ultimate SD Upscale과 comfyui-inpaint-nodes

픽셀과 latent 업스케일이 기본을 담당합니다. 하지만 매우 큰 전체 pass는 VRAM을 소진하고 어려운 경계는 정밀한 mask 전처리가 필요합니다. 다음 custom node는 고급 선택지이며 첫 workflow의 필수 요소가 아닙니다.

Ultimate SD Upscale: tile 단위 세부 강화

1024×1536 이미지를 4096×6144로 키우면 전체 2차 pass 비용이 큽니다. Ultimate SD Upscale은 이미지를 tile로 나누고 각 tile에 image-to-image diffusion을 실행한 뒤 결과를 합칩니다.

tile은 각 처리 크기를 diffusion model 학습 크기에 가깝게 하고 전체를 한 번에 처리하는 부담을 낮춥니다. 대신 더 느리고 경계선, 반복 질감, 국소 스타일 불일치가 생길 수 있습니다.

ComfyUI Manager에서 ComfyUI_UltimateSDUpscale을 검색합니다. 설치 위치, 메뉴, 파라미터가 바뀔 수 있으므로 현재 README와 노드 UI를 확인합니다.

comfyui-inpaint-nodes: mask 전처리

comfyui-inpaint-nodes는 Fooocus inpaint, LaMa, MAT와 mask 확장, 축소, blur, fill 도구를 제공합니다. Fooocus inpaint model은 보통 ComfyUI/models/inpaint에 두지만 호환성과 conditioning 경로는 현재 README에서 확인합니다.

필요	시험할 전처리
수정 경계선이 보임	Expand Mask와 Blur Masked
mask 범위를 더 정밀하게 조정	Shrink Mask 또는 Expand Mask
mask 내부 초기 채움 개선	Fill Masked
물체 제거 또는 outpainting	LaMa, MAT 또는 맞는 outpaint workflow

denoise만으로 모든 문제가 해결되지 않습니다. 1.0에 가까우면 mask 영역을 더 많이 다시 그리고 낮으면 원본을 더 보존하지만 model과 conditioning도 영향을 줍니다. mask 밖이 변하면 연결과 compositing을 먼저 확인한 뒤 mask, denoise, 전이 폭을 조정합니다.

---

상황별 선택표: 어떤 후처리를 사용할까

상황	권장 경로	이유	대안
원본이 맞고 해상도만 필요	픽셀 업스케일	보통 구도를 유지하며 픽셀 강화	세부 재생성에는 latent 재샘플링
재질이나 세부를 다시 생성	latent 재샘플링	denoise로 보존과 재생성 조절	큰 이미지에는 Ultimate SD Upscale
멀리 있는 얼굴이 흐림	FaceDetailer	얼굴 검출 후 국소 detail	검출이 틀리면 수동 inpainting
손, 물체, logo에 국소 오류	수동 inpainting 또는 맞는 Detailer	mask나 detector로 영역 제한	구조가 틀리면 생성으로 돌아감
목표 해상도가 VRAM을 초과	Ultimate SD Upscale	tiled img2img로 tile당 부담 감소	목표 크기를 줄이고 픽셀 업스케일
수정 경계선이 보임	mask 확장과 feather	국소 재생성에 전이 영역 제공	변경 강도와 denoise 낮추기

장점과 한계

경로	장점	한계	VRAM 요구량
픽셀 업스케일	빠르고 보통 구도를 유지하며 모델 선택이 많음	구조 오류를 고치지 못하고 인공 질감 가능	낮음〜중간
latent 재샘플링	재질과 세부를 다시 그리며 조정 폭이 큼	denoise 조정 필요, 원본에서 벗어날 수 있음	중간〜높음
FaceDetailer	얼굴을 자동 검출해 얼굴 mask를 직접 그리지 않아도 됨	동일 인물을 보장하지 않고 과도한 수정 가능	중간〜높음
수동 inpainting	지정 영역과 명확한 제어	mask, 경계, conditioning 조정 필요	중간
Ultimate SD Upscale	큰 이미지를 tile로 처리	느리고 tile 경계 가능	tile과 model에 따라 다름

모든 후처리 노드를 한 번에 켜지 않습니다. 현재 문제를 해결하는 가장 파괴가 적은 경로를 사용하고 중간 결과를 저장한 뒤 추가 sampling이나 부분 수정이 필요한지 결정합니다.

---

권장 순서: 확대, 얼굴 수정, 마지막 inpaint

후처리 순서는 결과에 영향을 줍니다. 캐릭터 이미지는 보수적 확대, 검출 영역 수정, 수동 국소 변경 순서로 시작할 수 있습니다. 모든 이미지에 고정된 공식은 아닙니다.

이 순서가 맞는 이유

먼저 원본과 workflow를 저장합니다. 크기만 문제라면 prompt를 다시 sampling하지 않는 픽셀 업스케일을 사용합니다.

다음으로 얼굴, 손, 작은 영역을 확인합니다. 얼굴은 FaceDetailer, 손과 물체는 맞는 Detector와 Detailer 또는 수동 mask를 사용합니다. 원본이 커지면 수정이 과한지 판단하기 쉽습니다.

마지막으로 logo, 경계, 배경 결함 등 지정 영역에 수동 inpainting을 적용해 이전 전체 작업이 국소 수정에 다시 영향을 주지 않도록 합니다.

2차 pass의 위험

ControlNet, IPAdapter, regional prompting을 사용한 workflow에서는 latent 재샘플링과 Detailer의 국소 sampling이 상위 조건을 약화할 수 있습니다. pose, line art, 머리색, 옷, 참조 인물이 바뀔 수 있습니다.

2차 pass가 필요하면 원래 조건을 유지하고 seed와 파라미터를 고정한 뒤 낮은 denoise에서 시작합니다. 새 세부보다 상위 결과가 중요하다면 픽셀 업스케일부터 시험합니다.

관련 글

• ComfyUI 입문 가이드: 인터페이스, 모델 폴더, 첫 이미지 생성.
• ComfyUI workflow 재사용: 가져오기, 누락 노드, 재현성 점검.
• Stable Diffusion 모델 선택: base model, VAE, VRAM, 라이선스.

---

흔한 실패: 흐림, 얼굴 변화, 경계선, mask 밖 변경

증상	흔한 원인	해결
확대 후 흐리거나 지나치게 딱딱함	모델이 이미지 종류에 맞지 않거나 반복 확대가 과함	범용, 사진, anime 모델을 비교하고 반복 처리 줄이기
얼굴이 같은 사람처럼 보이지 않음	2차 sampling denoise가 높거나 Detailer 영역이 큼	denoise와 영역을 줄이고 동일 인물 문제는 전용 방식 사용
임의의 질감이 생김	tiled upscale 또는 높은 denoise가 과도하게 재생성	denoise를 낮추고 prompt의 새 정보를 제거하며 작은 이미지로 시험
mask 경계에 선이 보임	mask가 좁거나 전이가 없고 국소 밝기가 변함	grow_mask_by와 feather를 조정하고 변경 강도 낮추기
mask 밖이 바뀜	mask, noise mask, conditioning, compositing이 잘못됨	연결을 확인하고 mask와 denoise 줄이기
FaceDetailer가 얼굴을 못 찾음	얼굴이 작거나 각도가 특이하고 detector가 맞지 않음	보수적으로 확대하거나 detector 변경, 높은 denoise로 강제하지 않기
업스케일 모델이 안 보임	경로나 확장자가 틀리고 목록을 갱신하지 않음	upscale_models 또는 추가 경로에 두고 새로고침이나 재시작
Ultimate SD Upscale이 빨간 노드	custom node가 없거나 버전과 의존성이 맞지 않음	Manager에서 설치와 업데이트 확인, 복잡한 충돌은 별도 분리
workflow가 VRAM 부족	해상도, tile, batch, Detailer 영역이 큼	크기와 batch를 낮추고 max_size와 tile을 줄이거나 픽셀 업스케일 사용

---

계속 수정할까, 생성 단계로 돌아갈까

구도, 인물, pose, 제품 형태가 맞고 해상도, 작은 얼굴, 손, 국소 결함만 남았다면 후처리를 계속합니다. 이상적인 변경은 작은 검출 상자나 mask 안에 들어갑니다.

인물, pose, 옷, 대상 수, 제품 구조가 틀렸다면 생성 단계로 돌아갑니다. denoise와 inpainting을 더하면 근본 조건을 고치지 못한 채 불확실성만 커질 수 있습니다. prompt, ControlNet, 참조 이미지, model 선택을 수정합니다.

여러 출력에서 같은 캐릭터나 제품을 유지하는 경우도 반복 inpainting만으로 부족합니다. 후처리는 이미 거의 맞는 한 장을 마무리하는 과정이며 동일 인물 asset, 구조 제어, training을 대신하지 않습니다.

---

결론

ComfyUI 후처리에는 픽셀 업스케일, latent 재샘플링, FaceDetailer 얼굴 수정, 수동 inpainting 네 경로가 있습니다. 원본이 맞으면 픽셀부터 시작합니다. 세부를 다시 생성할 때만 낮은 denoise의 latent 2차 pass를 사용합니다. FaceDetailer는 먼 얼굴을 수정하지만 동일 인물을 보장하지 않으며, 지정 결함에는 수동 mask와 inpaint conditioning을 사용합니다.

캐릭터 이미지에서는 보수적 확대, 검출 영역 수정, 마지막 수동 변경이 실용적입니다. 전체 2차 pass가 VRAM에 들어가지 않으면 Ultimate SD Upscale로 tile 처리할 수 있지만 모든 경계와 국소 스타일을 확인해야 합니다. 각 단계와 원본을 비교하면 얼굴 변화, 인공 질감, mask 밖 변경의 원인을 찾기 쉽습니다.