ComfyUI IPAdapter: imagem de referência, estilo, composição e modelos

"O README do cubiq/ComfyUI_IPAdapter_plus documenta as combinações de IPAdapter e CLIP Vision, os nomes do Unified Loader, as dependências do FaceID e o weight inicial recomendado."
Você tem uma imagem de A Noite Estrelada, de Van Gogh, e quer gerar uma paisagem no mesmo estilo, mas nenhuma revisão do prompt chega ao resultado esperado. Você passa para o ComfyUI IPAdapter, carrega a referência, coloca weight em 1,0 e recebe um rosto irreconhecível enquanto a composição também sai do controle.
A parte difícil do IPAdapter não é a instalação, mas combinar os modelos corretos, ajustar os parâmetros e limitar o tipo de influência. As seções a seguir trazem a tabela modelo–CLIP Vision que evita o erro mais comum, recomendações práticas de weight_type, a divisão de tarefas entre três métodos de controle e caminhos separados para SD1.5, SDXL e FLUX.
1. O que é IPAdapter: uma imagem como LoRA instantâneo
O ComfyUI trata o IPAdapter como image-to-image conditioning. Ele codifica as características visuais da referência e as injeta na geração. O repositório do cubiq resume bem a ideia: pense nele como um LoRA de uma única imagem.
Essa transferência imediata, sem treinamento, é a principal diferença entre IPAdapter e LoRA. O LoRA exige várias imagens, uma etapa de treinamento e um arquivo de modelo que costuma ter de dezenas a centenas de megabytes. O IPAdapter usa uma referência diretamente, codifica-a durante a geração e não precisa de um novo modelo treinado.
O mecanismo interno também é diferente. O LoRA ajusta matrizes de pesos e altera parâmetros do modelo durante a geração. O IPAdapter transforma a referência em vetores de condição e os injeta nas camadas de cross-attention junto do prompt de texto. Os caminhos são distintos, embora ambos controlem o resultado.
1.1 Como os três métodos dividem o trabalho
Os três métodos de controle mais comuns no ComfyUI têm funções diferentes:
| Método | O que controla | O que exige | Vantagem |
|---|---|---|---|
| IPAdapter | Estilo, referência e características do tema | Uma imagem de referência | Transferência imediata sem treinamento |
| ControlNet | Estrutura, pose, linhas e profundidade | Um mapa OpenPose, Canny ou Depth | Controle preciso de composição e pose |
| LoRA | Estilo, personagem e linguagem visual | Um arquivo de modelo treinado | Resultados estáveis na reutilização |
Cada método atende a um caso:
- IPAdapter é indicado para testar estilos rapidamente, usar uma referência pontual ou evitar treinamento. Uma única imagem de A Noite Estrelada pode entrar diretamente como referência.
- ControlNet é indicado para controlar pose, composição, bordas ou profundidade com precisão. Um mapa OpenPose mantém uma pessoa em determinada postura.
- LoRA é indicado para reutilizar o mesmo estilo ou personagem. Depois de treinar um LoRA de personagem, seus traços tendem a permanecer mais consistentes entre gerações.
Os três podem ser combinados. Para criar um retrato no estilo de A Noite Estrelada com pose específica, deixe o IPAdapter transferir o estilo e o ControlNet OpenPose controlar a pose. O guia prático de ControlNet no ComfyUI mostra essa conexão.
2. O erro mais comum: combinação do modelo com CLIP Vision
Se os nodes do IPAdapter estão instalados, mas geram erro ou não alteram o resultado, normalmente falta o CLIP Vision, ele está na pasta errada ou não corresponde ao modelo IPAdapter.
2.1 Lista de modelos CLIP Vision
O IPAdapter precisa de dois modelos: o próprio IPAdapter e um CLIP Vision que codifica a referência. Eles precisam ser compatíveis; caso contrário, o fluxo pode falhar ou produzir um resultado incorreto.
| Modelo CLIP Vision | Nome do arquivo | Modelos IPAdapter compatíveis |
|---|---|---|
| vit-h | CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors | A maioria dos modelos SD1.5 e modelos SDXL com sufixo *_vit-h |
| bigG | CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors | Modelos marcados vit-G, incluindo ip-adapter_sd15_vit-G e ip-adapter_sdxl |
O arquivo vit-h tem cerca de 1,7 GB; o bigG, aproximadamente 3,5 GB. Baixe o arquivo exato do repositório correto no Hugging Face, não outro checkpoint CLIP com nome parecido.
2.2 Pastas e nomes obrigatórios
- Pasta do CLIP Vision:
ComfyUI/models/clip_vision/ - Pasta do IPAdapter:
ComfyUI/models/ipadapter/(crie manualmente) - Regra de nomes: o Unified Loader espera nomes oficiais; o Legacy Loader aceita nomes próprios, mas exige seleção manual
Se a pasta não existir, o node informa que não encontra o modelo. models/ipadapter/ nem sempre existe em uma instalação nova; crie-a:
mkdir -p ComfyUI/models/ipadapter
2.3 Erros frequentes de combinação
- Combinar
ip-adapter_sdxlcom vit-h:ip-adapter_sdxlsem sufixovit-husa bigG. O encoder errado pode causar erro ou distorcer muito a imagem. - Instalar
ip-adapter-plus_sd15sem CLIP Vision: o modelo IPAdapter está presente, mas falta o encoder. O node pode carregar, embora a referência não apareça no resultado. - Renomear o arquivo e quebrar a detecção do Unified Loader: se
ip-adapter-plus_sd15.safetensorsvirarmy_ipadapter.safetensors, o Unified Loader não o reconhece. Restaure o nome oficial ou use o Legacy Loader.
2.4 Lista de verificação
Quando surgir um erro, confira nesta ordem:
- Abra
ComfyUI/models/clip_vision/e confirme que o CLIP Vision necessário existe com o nome correto - Abra
ComfyUI/models/ipadapter/e confirme que a pasta e o modelo IPAdapter existem - Compare os dois arquivos com a tabela de combinações
- Verifique se o nome segue a convenção do Unified Loader
Combinações incorretas causam grande parte das falhas iniciais. Consultar a tabela antes do download evita a maioria.
3. Níveis de modelos IPAdapter: seleção rápida
Cada tarefa pede um nível de modelo. O modelo base tem força média, o plus é mais forte, e plus-face e full-face focam referências de rosto.
3.1 Modelos SD1.5
| Modelo | Força | Uso recomendado |
|---|---|---|
ip-adapter_sd15 | Média | Transferência de estilo leve |
ip-adapter-plus_sd15 | Alta | A maioria dos casos em que o estilo deve aparecer |
ip-adapter-plus-face_sd15 | Retratos | Preservar características faciais |
ip-adapter-full-face_sd15 | Mais alta, nem sempre melhor | Controle facial extremo quando plus-face não basta |
O modelo plus transfere as características com mais força que o modelo base, mas também pode arrastar a composição. Se você só quer uma influência discreta, o modelo base é mais adequado.
plus-face e full-face são especializados em retratos. Comece com plus-face. full-face é mais forte, mas essa intensidade extra pode deformar o rosto em vez de melhorar.
3.2 Modelos SDXL
Os modelos SDXL da tabela usam o encoder vit-h. Não os confunda com ip-adapter_sdxl, que exige bigG.
| Modelo | Combinação CLIP Vision |
|---|---|
ip-adapter_sdxl_vit-h | vit-h |
ip-adapter-plus_sdxl_vit-h | vit-h |
ip-adapter-plus-face_sdxl_vit-h | vit-h |
Os nomes incluem o sufixo vit-h, portanto usam vit-h. O modelo separado ip-adapter_sdxl não tem esse sufixo e usa bigG.
3.3 Modelos de extensão da comunidade
ip_plus_composition_sd15/sdxl é um modelo comunitário que transfere composição e ignora em grande parte estilo e conteúdo. Combine-o com o weight_type composition quando quiser manter o layout, mas escolher outro estilo e outro tema.
3.4 Recomendações de seleção
- Transferir principalmente estilo: use um modelo plus para um efeito nítido
- Gerar retratos: use plus-face para preservar o rosto
- Aplicar estilo leve: use o modelo base para a referência não dominar
- Transferir apenas composição: use
ip_plus_compositioncomcomposition - Reutilizar muitas vezes a mesma referência: considere treinar um LoRA em vez de codificar a mesma imagem a cada geração
4. weight_type na prática: estilo, composição ou tema
Por padrão, o IPAdapter pode transferir estilo, composição e características do tema ao mesmo tempo. Por isso, uma referência de estilo pode arrastar o layout, ou uma referência facial pode deixar o rosto borrado. weight_type limita o que é transferido.
4.1 Opções de weight_type
| weight_type | Efeito | Uso recomendado |
|---|---|---|
| style transfer | Transfere principalmente estilo | Manter sua composição e aproveitar o estilo visual |
| composition | Transfere principalmente composição | Manter o layout e escolher outro estilo e tema |
| precise style transfer | Isola melhor o estilo | Reduzir vazamento de composição; prefira quando possível |
| Padrão sem weight_type especial | Transfere tudo | Estilo, composição e características do tema juntas |
Configure weight_type no node IPAdapter Advanced. IPAdapter Unified Loader sozinho mantém a influência completa. Para controlar o escopo, adicione o Advanced ou use os nodes IPAdapter Style & Composition.
4.2 Diferenças entre os modos
- style transfer: concentra-se no estilo, mas ainda pode copiar parte da composição.
- precise style transfer: separa melhor o estilo e reduz a composição indesejada. Teste primeiro.
- composition: aproveita o layout e ignora em grande parte estilo e conteúdo. Use quando a organização espacial for mais importante.
4.3 Ajustes por objetivo
- Apenas estilo: escolha
precise style transferoustyle transfernoIPAdapter Advanced. Comece com weight 0,7–0,9. - Apenas composição: escolha
composition, de preferência comip_plus_composition_sd15/sdxl. Um weight de 0,9–1,0 pode funcionar, pois a composição tende a borrar menos o rosto. - Preservar o rosto: use plus-face com weight abaixo de 0,8. Mantenha o modo padrão ou teste
style transfer; não usecompositionpara identidade. - Várias referências: coloque weight 0 no ramo não usado. Defina
compositionpara a referência de layout eprecise style transferpara a de estilo, depois ajuste cada força.
4.4 Combinar weight_type e weight
| Objetivo | weight_type | weight inicial |
|---|---|---|
| Transferir estilo e definir sua composição | precise style transfer | 0,7–0,9 |
| Transferir composição e definir seu estilo | composition | 0,9–1,0 |
| Transferir estilo e preservar o rosto | Padrão + plus-face | 0,6–0,8 |
| Combinar várias referências | Definir weight_type por ramo | Ajustar pelo papel; colocar ramos sem uso em 0 |
weight_type controla o escopo; weight, a intensidade. Se a referência arrastar a composição, mude para precise style transfer. Se o rosto borrar, reduza weight e use plus-face.
5. Desenvolver uma noção prática de weight
Qual valor usar? O padrão 1,0 costuma ser alto demais: rostos borram, a referência domina e o prompt perde força.
5.1 Valor inicial
Comece com 0,8 em vez de 1,0. Com weight=1,0, as características da referência podem ficar exageradas e encobrir o prompt de texto.
Aumentar as steps pode ajudar, por exemplo de 20 para 30, mas reduzir weight corrige o desequilíbrio de forma mais direta. Mais steps também aumentam o tempo de geração.
5.2 Faixas de weight
| weight | Resultado | Problema frequente |
|---|---|---|
| 1,0 | Transferência máxima | Rostos borrados, prompt enfraquecido, composição instável |
| 0,8–0,9 | Transferência forte | Bom equilíbrio para a maioria dos fluxos |
| 0,5–0,7 | Transferência média | Estilo mais fraco, porém mais fácil de combinar |
| 0,3–0,5 | Transferência leve | Ajuste sutil, próximo de gerar apenas com prompt |
Com weight baixo demais, a referência quase não aparece. Com weight alto demais, ela domina o prompt. 0,8 é um bom ponto de partida.
5.3 Relação com as steps
weight alto → adicione steps se o rosto continuar borrado. weight baixo → menos steps podem economizar tempo.
Valores de referência:
- weight=1,0 → pelo menos 30 steps, às vezes 40
- weight=0,8–0,9 → 25–30 steps
- weight=0,5–0,7 → 20–25 steps
- weight=0,3–0,5 → cerca de 20 steps
Mais steps não garantem melhor resultado. Acima de 40, a melhoria costuma ser pequena e o tempo cresce bastante. Ajuste weight antes de continuar aumentando as steps.
5.4 Combinação com outros parâmetros
- weight + weight_type: weight controla intensidade; weight_type, escopo. Decida primeiro se a referência deve afetar a composição e depois ajuste a força.
- weight + CFG Scale: CFG Scale controla a influência do prompt. Com weight alto, você pode subir de 7 para 9, por exemplo, para recuperar o texto. Com weight baixo, mantenha perto de 7.
- weight + várias referências: reduza cada valor para evitar conflitos. Duas referências em 0,5–0,6 são mais seguras que duas em 0,8–1,0.
5.5 Sequência de ajuste repetível
Um primeiro teste seguro usa weight 0,8 e 30 steps. Gere uma imagem e ajuste pelo resultado, em vez de começar em 1,0.
Sequência:
- Configurar weight=0,8 e steps=30 e gerar uma imagem
- Se a referência estiver fraca, subir weight para 0,9
- Se a referência estiver forte demais ou o rosto borrar, reduzir para 0,7
- Se a composição desviar, mudar weight_type para
precise style transfer
weight é o controle principal do IPAdapter. Comece em 0,8 e faça mudanças pequenas.
6. Instalação e configuração dos nodes
6.1 Etapas de instalação
-
Clonar o repositório: execute a partir de
ComfyUI/custom_nodes/:git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus -
Criar a pasta de modelos: crie
ComfyUI/models/ipadapter/se ela não existir:mkdir -p ComfyUI/models/ipadapter -
Baixar os modelos:
- Coloque CLIP Vision em
ComfyUI/models/clip_vision/ - Coloque IPAdapter em
ComfyUI/models/ipadapter/ - Confira a tabela da seção 2 antes do download
- Coloque CLIP Vision em
-
Reiniciar o ComfyUI: depois os nodes IPAdapter aparecem na lista
A instalação adiciona:
IPAdapter Unified LoaderIPAdapter AdvancedIPAdapter EncoderIPAdapter Style & CompositionIPAdapter Precise Style Transfer
6.2 Nodes principais
IPAdapter Unified Loader carrega o modelo e detecta a combinação correta quando os nomes oficiais são usados. É o melhor ponto de partida para a maioria dos fluxos.
Parâmetros:
ipadapter_file: seleciona IPAdapter; o nome oficial permite detecção automáticaclip_vision: seleciona ou associa o encoder CLIP Visionlora: carrega automaticamente o LoRA correspondente em modelos FaceID compatíveis
IPAdapter Advanced oferece weight_type, start_at e end_at. É o node central para controlar a influência com precisão.
Parâmetros:
weight: força da referência; comece em 0,8weight_type: escopo, como style transfer, composition ou precise style transferstart_at: ponto entre 0 e 1 em que a influência começaend_at: ponto entre 0 e 1 em que ela termina
Com start_at=0,2 e end_at=0,8, o IPAdapter só atua entre 20 e 80% da amostragem. Os primeiros e últimos 20% rodam sem sua influência.
IPAdapter Encoder converte a referência na condição usada pelo IPAdapter. Em fluxos básicos, raramente exige ajuste direto.
6.3 Legacy Loader versus Unified Loader
- Unified Loader: exige nomes oficiais e carrega automaticamente modelos compatíveis. Use na maioria dos fluxos.
- Legacy Loader: aceita nomes próprios, mas exige seleção manual. É útil para arquivos renomeados ou testes de versões.
Mantenha os nomes oficiais e use Unified Loader quando possível. Mude para Legacy Loader em caso de nomes personalizados ou um modelo específico.
6.4 Montar o fluxo básico
Um fluxo IPAdapter básico segue esta cadeia:
Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image
↑
Load Image (referência)
Etapas:
- Carregar o modelo base com Load Checkpoint
- Carregar IPAdapter com IPAdapter Unified Loader
- Carregar a referência com Load Image
- Aplicar a referência com IPAdapter Advanced
- Amostrar com KSampler
- Decodificar com VAE Decode
- Salvar com Save Image
Para instalar nodes ausentes e recuperar fluxos importados, consulte o guia de reutilização de workflows do ComfyUI.
7. Ramo FLUX IPAdapter: uma opção experimental
O FLUX IPAdapter usa nodes diferentes do SD e não carrega com o pacote do cubiq. Existem duas implementações comuns e ambas devem ser consideradas beta.
7.1 Opção XLabs-AI
- Nodes:
Flux Load IPAdaptereApply Flux IPAdapter - Pasta:
ComfyUI/models/xlabs/ipadapters/, nãomodels/ipadapter/ - Estado: beta; um bom resultado pode exigir várias gerações e ajustes de ip strength
- Licença: os pesos seguem a licença não comercial FLUX.1 [dev]
XLabs-AI é uma das principais implementações de FLUX IPAdapter:
- Clonar o pacote XLabs em
custom_nodes/ - Baixar o modelo FLUX IPAdapter em
models/xlabs/ipadapters/ - Carregar um modelo base FLUX, não SD
- Usar
Flux Load IPAdaptereApply Flux IPAdapter
Parâmetro:
ip_strength: equivalente aproximado de weight no FLUX. Comece em 0,8–0,9, não em 1,0.- Gere vários resultados e ajuste o valor.
7.2 Opção Shakker-Labs
- Node:
Apply IPAdapter Flux Model - Parâmetros: weight, start_percent e end_percent
- Pasta: clone o pacote em
ComfyUI/custom_nodes/comfyui-ipadapter-flux/
Shakker-Labs oferece outro pacote específico para FLUX:
- Clonar com
git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux - Carregar o modelo FLUX IPAdapter
- Aplicar com
Apply IPAdapter Flux Model
Parâmetros:
weight: força da referência; comece em 0,8–0,9start_percent: ponto em que a influência começaend_percent: ponto em que termina
7.3 Diferenças entre nodes FLUX e SD
| Item | SD com cubiq | FLUX com XLabs ou Shakker |
|---|---|---|
| Pacote de nodes | ComfyUI_IPAdapter_plus | Nodes da XLabs ou Shakker-Labs |
| Pasta do modelo | models/ipadapter/ | models/xlabs/ipadapters/ |
| Maturidade | Implementação estável e difundida | Beta e experimental |
| Licença | Código dos nodes aberto | Pesos FLUX.1 [dev] não comerciais |
7.4 Recomendações para FLUX IPAdapter
O ecossistema FLUX IPAdapter é mais novo e menos previsível. Teste nesta ordem:
- Começar pela XLabs, a rota mais comum
- Configurar ip_strength ou weight em 0,8–0,9, não em 1,0
- Gerar várias amostras e ajustar parâmetros
- Conferir a limitação não comercial de FLUX.1 [dev] antes do uso comercial
FLUX e SD usam pacotes, pastas e significados de parâmetros diferentes. Carregar um modelo FLUX IPAdapter nos nodes SD do cubiq causa erro ou nenhum efeito.
8. FaceID em resumo: uma opção para rostos
FaceID é um ramo do IPAdapter especializado em referências faciais. Ele exige insightface, e a maioria dos modelos FaceID também precisa de um LoRA específico em models/loras/. O Unified Loader o carrega automaticamente se a convenção de nomes for mantida.
Um guia separado deve cobrir FaceID, InstantID e ReActor em detalhes. O limite importante aqui é que FaceID adiciona dependências e um LoRA específico do modelo.
9. Dividir e combinar IPAdapter, ControlNet e LoRA
Os três métodos controlam propriedades diferentes e podem ser combinados. Ao empilhá-los, reduza cada weight para evitar conflitos.
9.1 Comparação dos três métodos
| Método | O que controla | O que exige | Vantagem |
|---|---|---|---|
| IPAdapter | Estilo, referência e características do tema | Uma imagem de referência | Transferência imediata sem treinamento |
| ControlNet | Estrutura, pose, linhas e profundidade | Um mapa OpenPose, Canny ou Depth | Controle preciso de composição e pose |
| LoRA | Estilo, personagem e linguagem visual | Um arquivo de modelo treinado | Resultados estáveis na reutilização |
São métodos complementares. O IPAdapter acelera testes de estilo, o ControlNet fixa estrutura e o LoRA estabiliza estilos ou personagens recorrentes.
9.2 Exemplos de combinação
Exemplo 1: estilo de referência + pose controlada
Objetivo: gerar um retrato no estilo de A Noite Estrelada com uma pose específica
- IPAdapter: transferir estilo com weight=0,7–0,8 e weight_type=
precise style transfer - ControlNet OpenPose: controlar pose com weight=0,8–1,0
- Prompt de texto: descrever pessoa e fundo
Ajustes recomendados:
- Manter IPAdapter em 0,7–0,8 para o estilo não cobrir a pose
- Manter ControlNet em 0,8–1,0 porque a pose raramente conflita com o estilo
- Aumentar CFG Scale para 8–9 se o prompt perder influência
Exemplo 2: estilo de referência + personagem treinado
Objetivo: gerar um personagem conhecido em um estilo visual específico
- IPAdapter: transferir estilo com weight=0,6–0,7 e weight_type=
precise style transfer - LoRA: carregar o personagem com weight=0,7–0,8
- Prompt de texto: descrever cena e ação
Ajustes recomendados:
- Manter IPAdapter em 0,6–0,7 e LoRA em 0,7–0,8; não maximizar ambos
- Aumentar o weight do LoRA se o personagem estiver fraco
- Aumentar o weight do IPAdapter se o estilo estiver fraco
Exemplo 3: várias referências + ControlNet
Objetivo: combinar estilo A, composição B e pose C
- Primeiro ramo IPAdapter: estilo A com weight=0,5–0,6 e weight_type=
precise style transfer - Segundo ramo IPAdapter: composição B com weight=0,6–0,7 e weight_type=
composition - ControlNet OpenPose: pose C com weight=0,8–1,0
Ajustes recomendados:
- Reduzir cada weight ao usar várias referências
- Colocar um ramo não utilizado em weight 0
- Ajustar por prioridade: pose, composição e estilo
9.3 Cuidados ao empilhar controles
Quando houver várias condições ativas:
- Reduzir cada weight: com outros controles fortes, configure IPAdapter em 0,5–0,7, não em 0,8–1,0.
- Ajustar por prioridade: primeiro pose do ControlNet, depois composição do IPAdapter e por fim estilo do IPAdapter.
- Não controlar a mesma propriedade duas vezes: dois sistemas forçando o estilo podem conflitar.
- Recuperar a influência do prompt quando necessário: aumente CFG Scale para 8–9 se as condições enfraquecerem o texto.
Consulte o guia de ControlNet no ComfyUI e o guia de LoRA no ComfyUI. Os valores exatos precisam ser testados com seu modelo e suas referências.
10. Lista de solução de problemas
10.1 Problemas comuns e soluções
| Problema | Causa | Solução |
|---|---|---|
| Os nodes estão instalados, mas a geração falha ou não muda | CLIP Vision ausente, na pasta errada ou incompatível | Conferir clip_vision/ e a tabela |
| Erro de combinação | IPAdapter e CLIP Vision não correspondem | Baixar o CLIP Vision correto |
| O rosto borra com weight=1,0 | weight está alto demais | Reduzir para 0,8–0,9 e testar cerca de 30 steps |
| A composição desvia | O weight_type padrão transfere tudo | Escolher precise style transfer no Advanced |
| FLUX IPAdapter não funciona | FLUX usa nodes diferentes | Usar XLabs ou Shakker-Labs em vez de cubiq |
| Unified Loader não reconhece o arquivo | O nome não segue a convenção | Restaurar o nome oficial ou selecionar no Legacy Loader |
| As características da referência estão fracas | weight está baixo demais | Aumentar para 0,8–0,9 ou usar um modelo plus |
| As características estão fortes demais | weight está alto demais | Reduzir para 0,5–0,7 |
| Várias referências entram em conflito | Cada weight está alto demais | Reduzir cada ramo para 0,5–0,6 e colocar os não usados em 0 |
10.2 Solução avançada de problemas
A imagem de referência é complexa demais
Problema: uma única imagem contém estilo, composição e tema muito marcantes, e as condições se misturam.
Solução:
- Separar as referências: uma para estilo com
precise style transfere outra para layout comcomposition - Reduzir cada weight para 0,5–0,6
- Colocar ramos indesejados em weight 0
IPAdapter e vários LoRAs entram em conflito
Problema: estilo ou personagem fica instável ao empilhar IPAdapter e LoRA.
Solução:
- Configurar IPAdapter em 0,5–0,7 e LoRA em 0,5–0,7
- Não usar IPAdapter e LoRA para a mesma propriedade
- Ajustar por prioridade: personagem do LoRA e depois estilo do IPAdapter
FLUX continua irregular
Problema: as saídas do FLUX IPAdapter variam ou a referência às vezes não influencia.
Solução:
- Gerar várias amostras e ajustar ip strength ou weight
- Testar primeiro a XLabs
- Conferir se o modelo está em
models/xlabs/ipadapters/
IPAdapter não corresponde ao modelo base
Problema: um IPAdapter SD1.5 é aplicado a um modelo base SDXL.
Solução:
- Combinar IPAdapter SD1.5 com SD1.5 e IPAdapter SDXL com SDXL
- Consultar o guia de seleção de modelos Stable Diffusion
As versões dos nodes são diferentes
Problema: nomes de nodes e parâmetros mudam ligeiramente entre versões.
Solução:
- Usar Unified Loader + IPAdapter Advanced como rota principal
- Conferir a versão instalada e atualizar quando necessário
- Seguir a documentação da versão instalada se os nomes mudarem
10.3 Ordem de verificação
Siga esta ordem:
- Conferir pastas: CLIP Vision e IPAdapter precisam estar no local correto
- Conferir a tabela: os dois modelos precisam corresponder
- Conferir nomes: restaurar os nomes oficiais para o Unified Loader
- Reduzir weight: começar em 0,8, não em 1,0
- Mudar weight_type: usar
precise style transferse a composição desviar - Adicionar steps: testar cerca de 30 se uma referência forte ainda borrar o rosto
A maioria dos problemas iniciais vem de combinação incorreta ou weight excessivo. Confira primeiro as pastas, o encoder e o valor 0,8.
Conclusão
O IPAdapter usa uma imagem de referência como condição e transfere estilo, composição ou características do tema sem treinar um LoRA. A combinação com CLIP Vision é o ponto crítico da instalação. No ajuste, weight alto demais borra rostos e o weight_type padrão também arrasta a composição.
Uma sequência confiável:
- Escolher o CLIP Vision correto usando a tabela
- Começar weight em 0,8, não em 1,0
- Escolher
precise style transferquando quiser apenas estilo - Reduzir cada weight ao combinar IPAdapter com ControlNet
Depois você pode testar consistência facial com FaceID, InstantID ou ReActor, ou treinar um LoRA para reutilização. Se precisar das bases, consulte o guia para começar com ComfyUI.
Montar e ajustar um fluxo básico do ComfyUI IPAdapter
Confira primeiro a combinação de modelos e as pastas; depois comece com força 0,8 e mude apenas um parâmetro por vez.
- 1
Step 1: Instalar o pacote de nodes
Clone cubiq/ComfyUI_IPAdapter_plus em ComfyUI/custom_nodes ou instale pelo ComfyUI Manager; depois reinicie o ComfyUI. - 2
Step 2: Preparar as pastas de modelos
Confirme que ComfyUI/models/clip_vision existe e crie ComfyUI/models/ipadapter. Não misture os dois tipos de modelo na mesma pasta. - 3
Step 3: Verificar a combinação
Use o nome do arquivo IPAdapter para descobrir se ele precisa de vit-h ou bigG e confirme se o modelo base é SD1.5, SDXL ou FLUX. - 4
Step 4: Conectar os nodes básicos
Conecte Load Checkpoint, IPAdapter Unified Loader, IPAdapter Advanced, KSampler, VAE Decode e Save Image nessa ordem; depois ligue Load Image à entrada da referência. - 5
Step 5: Começar com valores seguros
Gere uma imagem de referência com weight 0,8 e cerca de 30 steps. Escolha precise style transfer só para estilo ou composition só para layout. - 6
Step 6: Alterar uma variável por vez
Ajuste weight, weight_type, start_at ou end_at separadamente. Reduza cada weight ao combinar várias referências ou ControlNet para evitar condições conflitantes.
FAQ
Qual é a diferença entre IPAdapter e ControlNet?
Qual CLIP Vision o ip-adapter_sdxl exige?
Qual weight devo usar no IPAdapter?
Como transferir o estilo sem copiar a composição?
É possível usar IPAdapter com FLUX?
Por que o Unified Loader não encontra meu modelo IPAdapter?
18 min de leitura · Publicado em: 21 ago 2026 · Atualizado em: 21 ago 2026
Guia prático de ComfyUI e Stable Diffusion
Se você chegou pela busca, o caminho mais rápido é ir para o post anterior ou próximo desta série.
Anterior
Usar LoRA no ComfyUI: pesos, empilhamento e consistência de personagem
Carregue LoRA no ComfyUI, ajuste strength_model e strength_clip, empilhe modelos, confira a base, reduza a variação do personagem e corrija efeitos fracos.
Parte 6 de 13
Próximo
FLUX.1 Kontext no ComfyUI: edição em várias etapas e consistência de personagens
Configure o FLUX.1 Kontext Dev no ComfyUI, edite imagens em várias etapas, preserve personagens e produtos, reverta desvios e entenda versões e licenças.
Parte 8 de 13



Comentários
Entre com GitHub para comentar