ComfyUI IPAdapter : images de référence, style, composition et modèles

"Le README de cubiq/ComfyUI_IPAdapter_plus documente les associations IPAdapter–CLIP Vision, les noms attendus par Unified Loader, les dépendances FaceID et le weight de départ recommandé."
Vous avez une image de La Nuit étoilée de Van Gogh et souhaitez générer un paysage dans le même style, mais les changements successifs du prompt ne donnent toujours pas le résultat attendu. Vous passez à ComfyUI IPAdapter, ajoutez la référence, réglez weight sur 1,0 et obtenez un visage méconnaissable, avec une composition qui s’éloigne elle aussi de votre intention.
La difficulté d’IPAdapter n’est pas son installation, mais l’association des modèles, le réglage et la maîtrise de sa portée. Les sections suivantes donnent la table d’association modèle–CLIP Vision qui évite l’erreur la plus fréquente, des réglages pratiques de weight_type, le rôle de trois méthodes de contrôle et des chemins séparés pour SD1.5, SDXL et FLUX.
1. Comprendre IPAdapter : une image comme LoRA instantané
ComfyUI présente IPAdapter comme un système d’image-to-image conditioning. Il encode les caractéristiques visuelles de la référence et les injecte dans la génération. Le dépôt cubiq résume bien l’idée : on peut le considérer comme un LoRA construit à partir d’une seule image.
Ce transfert immédiat sans entraînement constitue la différence centrale avec LoRA. LoRA demande plusieurs images d’entraînement, une phase d’apprentissage et un fichier de modèle qui pèse souvent de quelques dizaines à plusieurs centaines de mégaoctets. IPAdapter utilise directement une référence, l’encode pendant la génération et n’exige aucun nouveau modèle entraîné.
Le mécanisme interne diffère aussi. LoRA ajuste les matrices de poids et modifie les paramètres du modèle au moment de la génération. IPAdapter transforme la référence en vecteurs de conditionnement, puis les injecte dans les couches de cross-attention avec le prompt textuel. Les chemins sont différents, mais les deux méthodes pilotent le résultat.
1.1 Répartition des rôles entre les trois méthodes
Les trois méthodes de contrôle courantes dans ComfyUI ont des fonctions distinctes :
| Méthode | Ce qu’elle contrôle | Ce qu’elle demande | Avantage |
|---|---|---|---|
| IPAdapter | Style, référence et caractéristiques du sujet | Une image de référence | Transfert immédiat sans entraînement |
| ControlNet | Structure, pose, contours et profondeur | Une carte OpenPose, Canny ou Depth | Contrôle précis de la composition et de la pose |
| LoRA | Style, personnage et langage visuel | Un fichier de modèle entraîné | Résultats stables lors d’utilisations répétées |
Chaque méthode convient à un besoin :
- IPAdapter convient aux essais rapides de style, aux références ponctuelles et aux cas où vous ne voulez pas entraîner de modèle. Une seule image de La Nuit étoilée peut servir directement de référence.
- ControlNet convient au contrôle précis d’une pose, d’une composition, de contours ou d’une profondeur. Une carte OpenPose maintient une personne dans une posture déterminée.
- LoRA convient à la réutilisation régulière d’un même style ou personnage. Après entraînement d’un LoRA de personnage, ses traits restent plus cohérents d’une génération à l’autre.
Les trois méthodes peuvent être combinées. Pour un portrait dans le style de La Nuit étoilée avec une pose imposée, IPAdapter transfère le style et ControlNet OpenPose contrôle la pose. Le guide pratique de ControlNet dans ComfyUI détaille ce montage.
2. L’erreur la plus fréquente : association avec CLIP Vision
Si les nœuds IPAdapter sont installés, mais provoquent une erreur ou n’ont aucun effet visible, il manque généralement le modèle CLIP Vision, il se trouve dans le mauvais dossier ou il ne correspond pas au modèle IPAdapter.
2.1 Liste des modèles CLIP Vision
IPAdapter a besoin de deux modèles : IPAdapter lui-même et un modèle CLIP Vision chargé d’encoder l’image de référence. Une association incorrecte peut bloquer le workflow ou produire un résultat incohérent.
| Modèle CLIP Vision | Nom de fichier | Modèles IPAdapter compatibles |
|---|---|---|
| vit-h | CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors | La plupart des modèles SD1.5 et les modèles SDXL suffixés *_vit-h |
| bigG | CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors | Les modèles signalés vit-G, dont ip-adapter_sd15_vit-G et ip-adapter_sdxl |
Le fichier vit-h pèse environ 1,7 Go, contre environ 3,5 Go pour bigG. Téléchargez le fichier exact depuis le bon dépôt Hugging Face plutôt qu’un autre checkpoint CLIP au nom proche.
2.2 Dossiers et noms de fichiers
- Dossier CLIP Vision :
ComfyUI/models/clip_vision/ - Dossier IPAdapter :
ComfyUI/models/ipadapter/(à créer manuellement) - Règle de nommage : Unified Loader attend les noms officiels ; Legacy Loader accepte d’autres noms, mais impose une sélection manuelle
Si le dossier n’existe pas, le nœud indique qu’il ne trouve pas le modèle. models/ipadapter/ n’est pas toujours présent après une installation neuve. Créez-le :
mkdir -p ComfyUI/models/ipadapter
2.3 Erreurs d’association courantes
- Associer
ip-adapter_sdxlà vit-h :ip-adapter_sdxlsans suffixevit-hutilise bigG. Le mauvais encodeur provoque une erreur ou un résultat très déformé. - Installer
ip-adapter-plus_sd15sans CLIP Vision : le modèle IPAdapter est présent, mais pas l’encodeur. Le nœud peut se charger alors que la référence n’apparaît jamais dans l’image. - Renommer le fichier et casser la détection de Unified Loader : si
ip-adapter-plus_sd15.safetensorsdevientmy_ipadapter.safetensors, Unified Loader ne peut plus l’identifier. Restaurez le nom officiel ou utilisez Legacy Loader.
2.4 Liste de vérification
En cas d’erreur, contrôlez les éléments dans cet ordre :
- Ouvrez
ComfyUI/models/clip_vision/et vérifiez la présence du bon modèle CLIP Vision sous le bon nom - Ouvrez
ComfyUI/models/ipadapter/et vérifiez que le dossier et le modèle IPAdapter existent - Comparez les deux fichiers avec la table d’association
- Vérifiez que le nom respecte la convention de Unified Loader
Les mauvaises associations expliquent une grande partie des échecs au premier lancement. Vérifier la table avant le téléchargement évite la plupart d’entre eux.
3. Niveaux de modèles IPAdapter : choix rapide
Les modèles sont adaptés à des usages différents. Le modèle de base a une force moyenne, plus est plus puissant, tandis que plus-face et full-face ciblent les visages.
3.1 Modèles SD1.5
| Modèle | Force | Usage conseillé |
|---|---|---|
ip-adapter_sd15 | Moyenne | Transfert de style léger, sans effet trop marqué |
ip-adapter-plus_sd15 | Forte | La plupart des usages où le style doit être visible |
ip-adapter-plus-face_sd15 | Portrait | Conservation des caractéristiques du visage |
ip-adapter-full-face_sd15 | Plus forte, pas toujours meilleure | Contrôle facial extrême quand plus-face ne suffit pas |
Le modèle plus transfère plus nettement les caractéristiques de la référence que le modèle de base, mais il entraîne aussi plus facilement la composition. Pour une influence discrète, le modèle de base convient mieux.
Les variantes plus-face et full-face sont destinées au portrait. Commencez avec plus-face. full-face est plus fort, mais cette force supplémentaire peut déformer le visage au lieu de l’améliorer.
3.2 Modèles SDXL
Les modèles SDXL ci-dessous utilisent tous l’encodeur vit-h. Ne les confondez pas avec ip-adapter_sdxl, qui demande bigG.
| Modèle | Association CLIP Vision |
|---|---|
ip-adapter_sdxl_vit-h | vit-h |
ip-adapter-plus_sdxl_vit-h | vit-h |
ip-adapter-plus-face_sdxl_vit-h | vit-h |
Leurs noms comportent le suffixe vit-h et indiquent donc cette association. Le modèle séparé ip-adapter_sdxl, sans ce suffixe, utilise bigG.
3.3 Modèles d’extension communautaires
ip_plus_composition_sd15/sdxl est un modèle communautaire qui transfère la composition en ignorant largement le style et le contenu. Associez-le au weight_type composition pour conserver la disposition tout en choisissant vous-même le style et le sujet.
3.4 Recommandations de sélection
- Transférer surtout le style : utilisez un modèle plus pour un effet bien visible
- Générer des portraits : utilisez plus-face pour préserver les traits
- Appliquer une influence légère : utilisez le modèle de base pour éviter que la référence domine
- Transférer seulement la composition : utilisez
ip_plus_compositionavec le weight_typecomposition - Réutiliser souvent la même référence : envisagez un entraînement LoRA plutôt que de réencoder la même image à chaque génération
4. weight_type en pratique : style, composition ou sujet
Par défaut, IPAdapter peut transférer à la fois style, composition et caractéristiques du sujet. Une référence de style peut donc déplacer la composition, et une référence faciale peut produire un visage flou. Le paramètre weight_type limite la nature de l’influence.
4.1 Options de weight_type
| weight_type | Effet | Usage conseillé |
|---|---|---|
| style transfer | Transfère surtout le style | Garder sa propre composition tout en empruntant le style visuel |
| composition | Transfère surtout la composition | Conserver la disposition, mais choisir un autre style et un autre sujet |
| precise style transfer | Isole mieux le style | Réduire la fuite de composition ; à privilégier quand c’est possible |
| Valeur par défaut sans weight_type spécifique | Transfère tout | Style, composition et caractéristiques du sujet ensemble |
Réglez weight_type dans le nœud IPAdapter Advanced. IPAdapter Unified Loader seul conserve le mode d’influence globale. Pour un contrôle précis, ajoutez Advanced ou utilisez les nœuds IPAdapter Style & Composition.
4.2 Différences entre les modes
- style transfer : se concentre sur le style, mais peut encore reprendre une partie de la composition.
- precise style transfer : sépare mieux le style et réduit la composition indésirable. Essayez ce mode en premier.
- composition : reprend la disposition en ignorant largement style et contenu. Utilisez-le lorsque l’organisation spatiale compte davantage.
4.3 Réglages selon le besoin
- Style seul : choisissez
precise style transferoustyle transferdansIPAdapter Advanced. Commencez avec weight 0,7–0,9. - Composition seule : choisissez
composition, de préférence avecip_plus_composition_sd15/sdxl. Un weight de 0,9–1,0 peut convenir, car la composition brouille moins souvent les visages. - Préserver un visage : utilisez plus-face avec weight inférieur à 0,8. Gardez le mode par défaut ou essayez
style transfer; évitezcompositionpour l’identité. - Plusieurs références : réglez weight sur 0 pour une branche inutilisée. Donnez
compositionà l’image de disposition etprecise style transferà l’image de style, puis ajustez chaque force séparément.
4.4 Combiner weight_type et weight
| Objectif | weight_type | weight de départ |
|---|---|---|
| Transférer le style, définir sa propre composition | precise style transfer | 0,7–0,9 |
| Transférer la composition, définir son propre style | composition | 0,9–1,0 |
| Transférer le style et préserver un visage | Défaut + modèle plus-face | 0,6–0,8 |
| Combiner plusieurs références | Régler weight_type par branche | Ajuster selon le rôle ; mettre les branches inutiles à 0 |
weight_type définit la portée de la référence, weight son intensité. Si la composition dérive, passez du mode par défaut à precise style transfer. Si le visage devient flou, réduisez weight et utilisez plus-face.
5. Développer une intuition pour weight
Quelle valeur choisir ? La valeur 1,0 est souvent trop élevée : les visages deviennent flous, la référence domine et le prompt textuel perd son influence.
5.1 Valeur de départ
Commencez par 0,8 plutôt que 1,0. À weight=1,0, les caractéristiques de la référence peuvent être exagérées et écraser les instructions du prompt.
Augmenter le nombre de steps peut aider, par exemple de 20 à 30, mais réduire weight corrige plus directement le déséquilibre. Des steps supplémentaires augmentent aussi le temps de génération.
5.2 Plages de weight
| weight | Résultat | Problème fréquent |
|---|---|---|
| 1,0 | Transfert maximal | Visages flous, prompt écrasé, composition instable |
| 0,8–0,9 | Transfert fort | Bon équilibre pour la plupart des workflows |
| 0,5–0,7 | Transfert moyen | Style plus faible, mais plus facile à combiner avec plusieurs références |
| 0,3–0,5 | Transfert léger | Ajustement subtil proche d’une génération au prompt seul |
Si weight est trop faible, la référence devient presque invisible. S’il est trop élevé, elle prend le dessus sur le prompt. La valeur 0,8 constitue un bon point de départ.
5.3 Relation avec les steps
weight élevé → ajoutez des steps si le visage reste flou. weight faible → moins de steps peuvent faire gagner du temps.
Repères :
- weight=1,0 → au moins 30 steps, parfois 40
- weight=0,8–0,9 → 25–30 steps
- weight=0,5–0,7 → 20–25 steps
- weight=0,3–0,5 → environ 20 steps
Plus de steps ne signifie pas toujours un meilleur résultat. Au-delà de 40, le gain devient souvent faible alors que la durée augmente nettement. Ajustez weight avant d’augmenter indéfiniment les steps.
5.4 Combinaison avec les autres paramètres
- weight + weight_type : weight contrôle la force, weight_type la portée. Décidez d’abord si la référence doit influencer la composition, puis réglez son intensité.
- weight + CFG Scale : CFG Scale contrôle le prompt textuel. Avec un weight élevé, vous pouvez passer par exemple de 7 à 9 pour redonner de l’importance au texte. Avec un weight plus faible, laissez CFG Scale autour de 7.
- weight + plusieurs références : réduisez chaque force pour éviter les conflits. Deux références à 0,5–0,6 sont plus sûres que deux références à 0,8–1,0.
5.5 Procédure de réglage reproductible
Un premier test sûr utilise weight 0,8 et 30 steps. Générez une image, puis ajustez le résultat au lieu de partir directement de 1,0.
Séquence :
- Régler weight=0,8 et steps=30, puis générer une image
- Si la référence est trop faible, passer weight à 0,9
- Si la référence est trop forte ou si le visage devient flou, descendre à 0,7
- Si la composition dérive, choisir
precise style transferpour weight_type
weight est le réglage principal d’IPAdapter. Commencez à 0,8 et évoluez par petits pas.
6. Installation et configuration des nœuds
6.1 Étapes d’installation
-
Cloner le dépôt : exécutez la commande suivante depuis
ComfyUI/custom_nodes/:git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus -
Créer le dossier de modèles : créez
ComfyUI/models/ipadapter/s’il n’existe pas :mkdir -p ComfyUI/models/ipadapter -
Télécharger les modèles :
- Placez les modèles CLIP Vision dans
ComfyUI/models/clip_vision/ - Placez les modèles IPAdapter dans
ComfyUI/models/ipadapter/ - Vérifiez la table d’association de la section 2 avant le téléchargement
- Placez les modèles CLIP Vision dans
-
Redémarrer ComfyUI : les nœuds IPAdapter apparaissent ensuite dans la liste
L’installation ajoute les nœuds suivants :
IPAdapter Unified LoaderIPAdapter AdvancedIPAdapter EncoderIPAdapter Style & CompositionIPAdapter Precise Style Transfer
6.2 Nœuds principaux
IPAdapter Unified Loader charge le modèle et détecte automatiquement l’association correcte si les noms officiels sont utilisés. C’est le meilleur point de départ dans la plupart des workflows.
Paramètres :
ipadapter_file: sélection du modèle IPAdapter ; les noms officiels permettent la détection automatiqueclip_vision: sélection ou association de l’encodeur CLIP Visionlora: chargement automatique du LoRA associé pour les modèles FaceID compatibles
IPAdapter Advanced expose weight_type, start_at et end_at. C’est le nœud central pour contrôler précisément l’influence.
Paramètres :
weight: force de la référence ; commencez à 0,8weight_type: portée, par exemple style transfer, composition ou precise style transferstart_at: moment entre 0 et 1 où la référence commence à agirend_at: moment entre 0 et 1 où son influence cesse
Avec start_at=0,2 et end_at=0,8, IPAdapter ne s’applique qu’entre 20 et 80 % de l’échantillonnage. Les premiers et derniers 20 % s’exécutent sans cette influence.
IPAdapter Encoder encode la référence sous la forme de condition utilisée par IPAdapter. Les workflows de base demandent rarement de le régler directement.
6.3 Legacy Loader ou Unified Loader
- Unified Loader : exige les noms officiels et charge automatiquement les modèles compatibles. À privilégier dans la plupart des cas.
- Legacy Loader : accepte les noms personnalisés, mais demande une sélection manuelle. Utile pour les fichiers renommés ou les tests de versions.
Conservez les noms officiels et utilisez Unified Loader lorsque c’est possible. Passez à Legacy Loader pour un nom personnalisé ou un modèle précis.
6.4 Construire le workflow de base
Un workflow IPAdapter simple suit cette chaîne :
Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image
↑
Load Image (référence)
Étapes :
- Charger le modèle de base avec Load Checkpoint
- Charger IPAdapter avec IPAdapter Unified Loader
- Charger la référence avec Load Image
- Appliquer la référence avec IPAdapter Advanced
- Échantillonner avec KSampler
- Décoder avec VAE Decode
- Enregistrer avec Save Image
Pour installer les nœuds manquants et restaurer un workflow importé, consultez le guide de réutilisation des workflows ComfyUI.
7. Branche FLUX IPAdapter : une voie expérimentale
FLUX IPAdapter utilise d’autres nœuds que SD et ne se charge pas avec le pack cubiq. Deux implémentations sont courantes, toutes deux à considérer comme beta.
7.1 Solution XLabs-AI
- Nœuds :
Flux Load IPAdapteretApply Flux IPAdapter - Dossier :
ComfyUI/models/xlabs/ipadapters/, pasmodels/ipadapter/ - État : beta ; un bon résultat peut demander plusieurs générations et un réglage de ip strength
- Licence : les poids suivent la licence non commerciale FLUX.1 [dev]
XLabs-AI est l’une des principales implémentations FLUX IPAdapter. Pour l’installer :
- Cloner le pack XLabs dans
custom_nodes/ - Télécharger le modèle FLUX IPAdapter dans
models/xlabs/ipadapters/ - Charger un modèle de base FLUX, pas un modèle SD
- Utiliser
Flux Load IPAdapteretApply Flux IPAdapter
Paramètre :
ip_strength: équivalent de weight côté FLUX. Commencez vers 0,8–0,9 plutôt qu’à 1,0.- Générez plusieurs résultats et ajustez la valeur.
7.2 Solution Shakker-Labs
- Nœud :
Apply IPAdapter Flux Model - Paramètres : weight, start_percent et end_percent
- Dossier : cloner le pack dans
ComfyUI/custom_nodes/comfyui-ipadapter-flux/
Shakker-Labs fournit un autre pack dédié à FLUX :
- Cloner avec
git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux - Charger le modèle FLUX IPAdapter
- L’appliquer avec
Apply IPAdapter Flux Model
Paramètres :
weight: force de la référence ; commencez vers 0,8–0,9start_percent: point de départ de l’influenceend_percent: point d’arrêt de l’influence
7.3 Différences entre les nœuds FLUX et SD
| Élément | SD avec cubiq | FLUX avec XLabs ou Shakker |
|---|---|---|
| Pack de nœuds | ComfyUI_IPAdapter_plus | Nœuds XLabs ou Shakker-Labs |
| Dossier des modèles | models/ipadapter/ | models/xlabs/ipadapters/ |
| Maturité | Implémentation stable et répandue | Beta et expérimentale |
| Licence | Code des nœuds open source | Poids FLUX.1 [dev] non commerciaux |
7.4 Conseils pour FLUX IPAdapter
L’écosystème FLUX IPAdapter est plus récent et moins prévisible. Testez dans cet ordre :
- Commencer par XLabs, voie la plus courante
- Régler ip_strength ou weight à 0,8–0,9 au lieu de 1,0
- Générer plusieurs échantillons et ajuster les paramètres
- Vérifier la restriction non commerciale FLUX.1 [dev] avant un usage commercial
FLUX et SD emploient des packs, dossiers et paramètres différents. Charger un modèle FLUX IPAdapter avec les nœuds SD de cubiq provoque une erreur ou reste sans effet.
8. FaceID en bref : une option pour les visages
FaceID est une branche d’IPAdapter spécialisée dans les références de visage. Elle exige insightface, et la plupart des modèles FaceID demandent aussi un LoRA associé dans models/loras/. Unified Loader le charge automatiquement si la convention de nommage est respectée.
Un guide distinct doit couvrir en détail FaceID, InstantID et ReActor. La limite utile ici est simple : FaceID ajoute une dépendance et un LoRA propre au modèle.
9. Répartir et combiner IPAdapter, ControlNet et LoRA
Les trois méthodes contrôlent des propriétés différentes et peuvent être combinées. Lorsque vous les empilez, réduisez les weight individuels pour éviter les conflits.
9.1 Comparaison des trois méthodes
| Méthode | Ce qu’elle contrôle | Ce qu’elle demande | Avantage |
|---|---|---|---|
| IPAdapter | Style, référence et caractéristiques du sujet | Une image de référence | Transfert immédiat sans entraînement |
| ControlNet | Structure, pose, contours et profondeur | Une carte OpenPose, Canny ou Depth | Contrôle précis de la composition et de la pose |
| LoRA | Style, personnage et langage visuel | Un fichier de modèle entraîné | Résultats stables lors d’utilisations répétées |
Ces méthodes sont complémentaires. IPAdapter accélère les essais de style, ControlNet fixe la structure et LoRA stabilise les styles ou personnages récurrents.
9.2 Exemples de combinaison
Exemple 1 : style de référence + pose contrôlée
Objectif : générer un portrait dans le style de La Nuit étoilée avec une pose imposée
- IPAdapter : transférer le style avec weight=0,7–0,8 et weight_type=
precise style transfer - ControlNet OpenPose : contrôler la pose avec weight=0,8–1,0
- Prompt textuel : décrire la personne et le fond
Réglages conseillés :
- Garder IPAdapter à 0,7–0,8 pour que le style n’écrase pas la pose
- Garder ControlNet à 0,8–1,0, car la pose entre rarement en conflit avec le style
- Monter CFG Scale à 8–9 si le prompt perd trop d’influence
Exemple 2 : style de référence + personnage appris
Objectif : générer un personnage connu dans un style visuel précis
- IPAdapter : transférer le style avec weight=0,6–0,7 et weight_type=
precise style transfer - LoRA : charger le modèle de personnage avec weight=0,7–0,8
- Prompt textuel : décrire la scène et l’action
Réglages conseillés :
- Régler IPAdapter à 0,6–0,7 et LoRA à 0,7–0,8 ; ne pas maximiser les deux
- Augmenter le weight LoRA si le personnage est trop peu reconnaissable
- Augmenter le weight IPAdapter si le style est trop faible
Exemple 3 : plusieurs références + ControlNet
Objectif : combiner style A, composition B et pose C
- Première branche IPAdapter : style A avec weight=0,5–0,6 et weight_type=
precise style transfer - Deuxième branche IPAdapter : composition B avec weight=0,6–0,7 et weight_type=
composition - ControlNet OpenPose : pose C avec weight=0,8–1,0
Réglages conseillés :
- Réduire chaque weight lorsqu’il y a plusieurs références
- Mettre une branche inutilisée à weight 0
- Régler par priorité : pose, puis composition, puis style
9.3 Précautions lors de l’empilement
Lorsque plusieurs contrôles sont actifs :
- Réduire chaque weight : avec d’autres contrôles forts, régler IPAdapter à 0,5–0,7 plutôt qu’à 0,8–1,0.
- Régler par ordre de priorité : d’abord la pose ControlNet, puis la composition IPAdapter, enfin le style IPAdapter.
- Ne pas contrôler deux fois la même propriété : deux systèmes qui poussent tous deux le style peuvent entrer en conflit.
- Rendre de l’influence au prompt si nécessaire : monter CFG Scale à 8–9 lorsque les conditions empilées affaiblissent le texte.
Consultez le guide ControlNet pour ComfyUI et le guide LoRA pour ComfyUI. Les valeurs exactes doivent être testées avec votre modèle et vos références.
10. Liste de dépannage
10.1 Problèmes courants et solutions
| Problème | Cause | Solution |
|---|---|---|
| Les nœuds sont installés, mais la génération échoue ou ne change pas | CLIP Vision manque, se trouve au mauvais endroit ou est mal associé | Vérifier clip_vision/ et comparer avec la table |
| Erreur d’association | IPAdapter et CLIP Vision ne correspondent pas | Télécharger le bon modèle CLIP Vision |
| Le visage devient flou à weight=1,0 | weight est trop élevé | Descendre à 0,8–0,9 et essayer environ 30 steps |
| La composition dérive | Le weight_type par défaut transfère tout | Choisir precise style transfer dans Advanced |
| FLUX IPAdapter ne fonctionne pas | FLUX utilise d’autres nœuds que SD | Utiliser XLabs ou Shakker-Labs au lieu de cubiq |
| Unified Loader ne reconnaît pas le fichier | Le nom ne respecte pas la convention | Restaurer le nom officiel ou sélectionner le fichier dans Legacy Loader |
| Les caractéristiques de référence sont faibles | weight est trop bas | Monter à 0,8–0,9 ou choisir un modèle plus |
| Les caractéristiques sont trop fortes | weight est trop élevé | Descendre à 0,5–0,7 |
| Plusieurs références se contredisent | Les weight individuels sont trop élevés | Descendre chaque branche à 0,5–0,6 et mettre les branches inutiles à 0 |
10.2 Dépannage avancé
L’image de référence est trop complexe
Problème : une même image contient un style, une composition et un sujet très marqués, ce qui mélange les conditions.
Solution :
- Séparer les références : une image pour le style avec
precise style transfer, une autre pour la disposition aveccomposition - Descendre chaque weight à 0,5–0,6
- Mettre les branches inutiles à weight 0
IPAdapter et plusieurs LoRA entrent en conflit
Problème : le style ou le personnage devient instable quand IPAdapter et LoRA sont empilés.
Solution :
- Régler IPAdapter à 0,5–0,7 et LoRA à 0,5–0,7
- Ne pas confier la même propriété à IPAdapter et LoRA
- Régler par priorité : personnage LoRA, puis style IPAdapter
FLUX reste irrégulier
Problème : les sorties FLUX IPAdapter varient ou l’effet disparaît parfois.
Solution :
- Générer plusieurs essais et ajuster ip strength ou weight
- Tester d’abord l’implémentation XLabs
- Vérifier que le modèle se trouve dans
models/xlabs/ipadapters/
Le modèle IPAdapter ne correspond pas au modèle de base
Problème : un modèle IPAdapter SD1.5 est appliqué à un modèle de base SDXL.
Solution :
- Associer IPAdapter SD1.5 à SD1.5 et IPAdapter SDXL à SDXL
- Consulter le guide de choix des modèles Stable Diffusion
Les versions des nœuds diffèrent
Problème : les noms de nœuds et de paramètres varient légèrement entre les versions.
Solution :
- Utiliser Unified Loader + IPAdapter Advanced comme chemin principal
- Vérifier la version installée et la mettre à jour si nécessaire
- Suivre la documentation de la version installée quand les noms diffèrent
10.3 Ordre de vérification
Suivez cet ordre en cas de problème :
- Vérifier les dossiers : CLIP Vision et IPAdapter doivent se trouver au bon endroit
- Vérifier la table d’association : les deux modèles doivent correspondre
- Vérifier les noms : restaurer les noms officiels pour Unified Loader
- Réduire weight : commencer à 0,8 plutôt qu’à 1,0
- Changer weight_type : utiliser
precise style transfersi la composition dérive - Ajouter des steps : essayer environ 30 steps si une référence forte brouille encore le visage
La plupart des problèmes initiaux viennent d’une mauvaise association ou d’un weight trop élevé. Commencez donc par les dossiers, le bon encodeur et la valeur 0,8.
Conclusion
IPAdapter traite une image de référence comme une condition et transfère style, composition ou caractéristiques du sujet sans entraîner de LoRA. L’association avec CLIP Vision est le point critique de l’installation. Pour le réglage, un weight trop élevé brouille les visages, tandis que le weight_type par défaut entraîne aussi la composition.
Une séquence fiable pour commencer :
- Choisir le bon modèle CLIP Vision avec la table d’association
- Partir de weight 0,8 plutôt que 1,0
- Sélectionner
precise style transferpour le style seul - Réduire chaque weight lors d’une combinaison avec ControlNet
Vous pouvez ensuite tester la cohérence des visages avec FaceID, InstantID ou ReActor, ou entraîner un LoRA pour un usage répété. Pour reprendre les bases, consultez le guide d’initiation à ComfyUI.
Construire et régler un workflow ComfyUI IPAdapter de base
Vérifiez d’abord l’association des modèles et les dossiers, puis partez d’une force de 0,8 et ne modifiez qu’un paramètre à la fois.
- 1
Step 1: Installer le pack de nœuds
Clonez cubiq/ComfyUI_IPAdapter_plus dans ComfyUI/custom_nodes ou installez-le avec ComfyUI Manager, puis redémarrez ComfyUI. - 2
Step 2: Préparer les dossiers de modèles
Vérifiez que ComfyUI/models/clip_vision existe et créez ComfyUI/models/ipadapter. Ne mélangez pas les deux types de modèles. - 3
Step 3: Vérifier l’association des modèles
Déterminez à partir du nom IPAdapter s’il faut vit-h ou bigG, puis vérifiez si le modèle de base appartient à SD1.5, SDXL ou FLUX. - 4
Step 4: Relier les nœuds de base
Reliez Load Checkpoint, IPAdapter Unified Loader, IPAdapter Advanced, KSampler, VAE Decode et Save Image dans cet ordre, puis connectez Load Image à l’entrée de référence. - 5
Step 5: Partir de valeurs prudentes
Générez une image témoin avec weight 0,8 et environ 30 steps. Choisissez precise style transfer pour le style seul ou composition pour la disposition seule. - 6
Step 6: Modifier une variable à la fois
Ajustez séparément weight, weight_type, start_at ou end_at. Réduisez chaque weight lorsque vous combinez plusieurs références ou ControlNet afin d’éviter des conditions contradictoires.
FAQ
Quelle différence entre IPAdapter et ControlNet ?
Quel modèle CLIP Vision faut-il pour ip-adapter_sdxl ?
Quel weight utiliser avec IPAdapter ?
Comment transférer le style sans reprendre la composition ?
Peut-on utiliser IPAdapter avec FLUX ?
Pourquoi Unified Loader ne trouve-t-il pas mon modèle IPAdapter ?
19 min de lecture · Publié le: 21 août 2026 · Mis à jour le: 21 août 2026
Guide pratique ComfyUI et Stable Diffusion
Si vous arrivez depuis la recherche, le plus rapide est de passer à l’article précédent ou suivant de cette série.
Précédent
Utiliser les LoRA dans ComfyUI : poids, empilement et cohérence du personnage
Chargez un LoRA dans ComfyUI, réglez strength_model et strength_clip, empilez plusieurs LoRA, vérifiez le modèle de base et réduisez la dérive du personnage.
Partie 6 sur 13
Suivant
FLUX.1 Kontext dans ComfyUI : retouches successives et personnages cohérents
Installez FLUX.1 Kontext Dev dans ComfyUI, formulez les éléments à préserver, enchaînez les retouches, revenez en arrière en cas de dérive et choisissez l’outil.
Partie 8 sur 13



Commentaires
Connectez-vous avec GitHub pour laisser un commentaire