Utiliser les LoRA dans ComfyUI : poids, empilement et cohérence du personnage

Quatre images avec le même LoRA de personnage, quatre visages différents. Le poids passe de 0,5 à 1,2, mais la différence reste à peine visible. Deux LoRA sont chaînés et leurs styles se contrarient. ComfyUI expose davantage de paramètres que SD WebUI : le réglage est plus précis, mais les erreurs de câblage et de configuration sont plus faciles. Cette procédure couvre chaque paramètre de Load LoRA, le rôle de strength_model et strength_clip, le chaînage, les poids principal et secondaires, puis la réduction de la dérive grâce au modèle de base, aux déclencheurs et au diagnostic.

Notions de base et préparation du dossier LoRA

LoRA signifie Low-Rank Adaptation. Cette méthode ajoute des poids légers au modèle de base à l’exécution sans remplacer le checkpoint. Un LoRA pèse souvent quelques dizaines de mégaoctets, contre plusieurs gigaoctets pour le modèle de base. L’entraînement ne modifie que cette couche réduite, ce qui diminue coût d’entraînement et stockage.

Où placer les fichiers LoRA

Le chemin standard est ComfyUI/models/loras/, sous-dossiers compris. Choisissez de préférence le .safetensors distribué par l’auteur, placez-le dans ce dossier et actualisez la liste. Redémarrez ComfyUI si le menu ne se met pas à jour. Le fichier apparaît ensuite dans lora_name. L’extension ne suffit pas à prouver la compatibilité : contrôlez aussi le modèle de base et l’usage sur la fiche.

Comment gérer les variantes

Lycoris, LoHa, LoKr et LoCon suivent le même flux de chargement. Une fois le fichier au bon endroit, le workflow ne change pas. Les différences concernent surtout la factorisation et l’entraînement, ce qui peut influencer taille et comportement. Pour l’utilisateur, les étapes restent identiques.

Paramètres du nœud Load LoRA

Load LoRA applique les poids au résultat du modèle de base. Il reçoit deux entrées, produit deux sorties et propose trois réglages.

Ports d’entrée et de sortie

Port	Sens	Type	Rôle
model	Entrée	MODEL	Se relie à la sortie MODEL du Checkpoint Loader
clip	Entrée	CLIP	Se relie à la sortie CLIP du Checkpoint Loader
model	Sortie	MODEL	MODEL après application du LoRA, à envoyer au sampler
clip	Sortie	CLIP	CLIP après application du LoRA, à envoyer au chemin du prompt

Les deux sorties doivent rejoindre les bons nœuds. Si model est relié mais pas clip, la réponse au mot déclencheur peut faiblir ou disparaître.

Réglages du nœud

Réglage	Type	Plage	Rôle
lora_name	Liste	Fichiers	Charge depuis models/loras/ ; actualisez pour voir les nouveaux fichiers
strength_model	Nombre	-100 à 100	Effet sur les poids du modèle ; tester d’abord autour de 0 à 1
strength_clip	Nombre	-100 à 100	Effet sur l’encodage CLIP ; tester d’abord autour de 0 à 1

Les deux valeurs acceptent des nombres négatifs, mais un nombre négatif n’est pas un mode universel de réduction. La réaction dépend du LoRA. Ne le testez qu’après avoir confirmé la compatibilité et fixé la seed. Les deux valeurs ne doivent pas forcément être égales.

Différence pratique entre strength_model et strength_clip

Load LoRA expose deux forces. Faut-il modifier les deux ou en maintenir une ?

Ce que contrôle chaque valeur

strength_model agit sur la génération visuelle. Il modifie les poids qui déterminent détails, style, texture et éclairage.

strength_clip agit sur l’encodage du texte. Il change l’interprétation du prompt et la réponse aux mots déclencheurs.

Le côté model rend les caractéristiques visibles ; le côté CLIP influence la lecture du déclencheur. Une valeur plus élevée n’est donc pas toujours meilleure.

Points de départ selon le type de LoRA

Type de LoRA	strength_model	strength_clip	Remarque
Personnage	0,8-1,0	0,6-0,8	Le model préserve les traits ; CLIP plus bas limite un déclencheur envahissant
Style	0,7-0,9	0,7-0,9	Des valeurs proches équilibrent style et interprétation
Concept	0,6-0,8	0,8-1,0	CLIP renforce le déclencheur ; model plus bas évite l’excès visuel

Ce sont des points de départ empiriques. La plage utile dépend de l’entraînement et de la force du déclencheur.

Balayer un poids avec le même prompt et la même seed

1. Fixez prompt, seed, CFG et sampling steps.
2. Modifiez seulement strength_model et testez 0,6, 0,8, 1,0 et 1,2.
3. Comparez style, détails et caractéristiques du personnage.
4. Gardez la valeur la plus forte qui ne dégrade pas l’image comme départ côté model.
5. Ajustez strength_clip en observant déclencheur et cohérence du prompt.

L’effet de CLIP est plus indirect. Réglez-le après le model. Si le style convient mais que le visage se déforme, baissez strength_clip de 0,1 ou 0,2.

Trouver et utiliser les mots déclencheurs

Le LoRA est sélectionné et le poids est non nul, pourtant l’image change peu. Le déclencheur peut simplement manquer.

Qu’est-ce qu’un mot déclencheur ?

Il s’agit d’un mot défini pendant l’entraînement pour activer les caractéristiques apprises. Les LoRA de personnage ou de concept en ont souvent besoin. Certains LoRA de style n’en exigent pas, ou proposent un déclencheur facultatif.

Sans lui, l’effet peut rester faible : légère tendance stylistique, mais visage, tenue ou coiffure absents.

Comment le trouver

1. Ouvrez la fiche du modèle, par exemple sur CivitAI.
2. Cherchez « Trigger Words » ou « Activation Text ».
3. Copiez le token dans le prompt.

Le déclencheur peut se cacher dans la description. Lisez donc les instructions. L’absence de déclencheur requis doit être indiquée explicitement.

Où le placer dans le prompt

Placez-le près du personnage ou du concept concerné et séparez les éléments par des virgules. Suivez la fiche et le workflow pour toute syntaxe de pondération supplémentaire. Le placer en premier ne le rend pas automatiquement plus fort.

Structure d’exemple :

character_name, 1girl, long hair, blue eyes, white dress, ...

character_name représente le trigger token de la fiche. Le workflow ComfyUI standard choisit déjà le modèle dans Load LoRA ; la syntaxe WebUI <lora:nom:poids> n’est pas nécessaire, sauf si un workflow de nœuds personnalisés la prend explicitement en charge.

Ajoutez ensuite les traits stables, puis la scène et la composition. Évitez d’intercaler des styles sans rapport entre le déclencheur et les traits visés.

Plages de poids pour les LoRA de style et de personnage

Commencer à 1,0 peut casser l’image ou ne produire presque aucun effet. Chaque type possède sa propre plage utile.

Plages de référence

Type de LoRA	Plage suggérée	Départ	Symptômes si trop élevé
Style	0,5-0,9	0,75	Couleurs saturées, bruit accru, sujet déformé par le style
Personnage	0,7-1,2	0,8 pour un personnage connu 1,0-1,1 pour un petit jeu d’entraînement	Anatomie cassée, visage exagéré, traits suraccentués

Ce ne sont pas des limites officielles. Un grand jeu de données peut fonctionner vers 0,8 ; un petit entraînement peut demander 1,0-1,1.

Méthode rapide de balayage

1. Fixez prompt, seed, CFG et sampling steps.
2. Réglez strength_model à 0,6 et strength_clip à 0,8.
3. Générez la première image et vérifiez l’effet.
4. Passez strength_model à 0,8 pour la deuxième.
5. Passez strength_model à 1,0 pour la troisième.
6. Passez strength_model à 1,2 pour la quatrième.
7. Comparez et choisissez la plage visible sans dégradation.
8. Affinez dans cette plage par pas d’environ 0,1.

Si 0,6 ne montre rien, vérifiez déclencheur et modèle de base. Si 1,2 déforme fortement, la bonne plage peut se situer vers 0,7-0,9. Ajustez ensuite CLIP.

Le prompt et la seed doivent rester identiques, sinon la comparaison mélange d’autres variables.

Empiler plusieurs LoRA : ordre et poids principal

Un LoRA de personnage avec un LoRA de style, ou plusieurs personnages, demande une chaîne de nœuds.

Chaîner les nœuds

Reliez les sorties model et clip du premier Load LoRA aux entrées correspondantes du second. Continuez de même pour un troisième. Seul le dernier nœud rejoint le sampler et l’encodage de texte.

Les workflows officiels prennent ce chaînage en charge. En pratique, modèle de base, entraînement, poids et nœuds personnalisés peuvent modifier le résultat. Ne supposez pas l’ordre toujours neutre : fixez la seed et comparez les deux ordres. Les poids restent généralement le premier levier de hiérarchie.

Stratégies de répartition

Empilement	Réglage	Résultat attendu
Deux LoRA	0,5-0,6 chacun	Mélange équilibré, moins de conflit
Trois ou plus	Principal 0,8, secondaires 0,3-0,5	Le principal domine, les autres complètent
Personnage + style	Personnage 0,8-1,0, style 0,5-0,7	Les traits restent prioritaires sans perdre le style

Deux LoRA à 0,8-1,0 peuvent effacer les traits et faire entrer les styles en conflit. Avec trois ou plus, gardez un principal vers 0,8 et baissez les autres vers 0,3-0,5.

Risques de l’empilement

Deux styles incompatibles tirent l’image dans des directions opposées. Trop de LoRA forts diluent le personnage. Plusieurs valeurs proches de 1,0 favorisent anatomie cassée, couleurs saturées et sortie instable.

Testez chaque LoRA seul, puis attribuez les rôles. Ne commencez pas avec le même poids partout.

Recette pour la cohérence du personnage

Même un LoRA de personnage ne garantit pas quatre visages identiques. Il fournit des traits ; la reproductibilité dépend de tout le workflow.

Combinaison de base

Fixez LoRA, seed et structure du prompt. Conservez sampler, steps, CFG, taille et workflow, ainsi que déclencheur, traits, ordre de la scène et poids. Cette base est reproductible dans le même environnement. Modifier scène, composition ou contrôle peut réintroduire une dérive.

Structure d’exemple :

character_name, 1girl, long hair, blue eyes, white dress, school background, ...

Ne modifiez que la scène entre deux générations ; gardez déclencheur et traits constants.

Ajouter un contrôle structurel ou une référence

ControlNet de pose, profondeur ou contours peut stabiliser composition et corps. Pour l’identité du visage, évaluez un workflow de référence, IP-Adapter/FaceID ou retouche faciale compatible avec le même modèle. Ces outils contrôlent autre chose que LoRA et peuvent réduire davantage la dérive.

Fixez d’abord la base LoRA, seed et prompt, puis ajoutez un seul contrôle compatible. Il n’existe pas de force universelle : commencez au milieu et comparez progressivement pour éviter une image rigide.

Limites attendues

Cette combinaison ne garantit pas 100 % d’identité. Expression, lumière et détails changent. Des paramètres fixes réduisent la dérive sans cloner le personnage.

Les changements de prompt, sampler, steps, CFG, taille, modèle, poids ou contrôles provoquent souvent la dérive. Certains matériels ou opérateurs ajoutent aussi de la non-détermination. La structure peut rester stable tandis que cheveux, vêtements, expression et arrière-plan varient.

La cohérence demande donc des itérations. Adaptez poids et structure du prompt au LoRA et à la scène.

Associer les LoRA SD1.5, SDXL et FLUX au bon modèle

Une incompatibilité de modèle de base explique souvent l’absence d’effet. Un LoRA SD1.5 exige SD1.5, un LoRA SDXL exige SDXL et un LoRA FLUX exige la version FLUX et le workflow correspondants. L’erreur peut être silencieuse ou explicite.

Règles de compatibilité

Type de LoRA	Base correspondante	Symptôme d’incompatibilité
LoRA SD1.5	Checkpoint SD1.5	Aucun effet, effet faible ou échec silencieux
LoRA SDXL	Checkpoint SDXL	Erreur de forme, sortie cassée ou aucun effet
LoRA FLUX	Modèle FLUX et encodeurs correspondants	Échec de chargement, clés ou dimensions incompatibles, sortie anormale

Un LoRA SDXL sur SD1.5 peut échouer ou ne rien changer. FLUX doit correspondre au modèle, aux encodeurs et au workflow. Les exemples officiels actuels emploient selon le cas des nœuds intégrés comme LoraLoaderModelOnly ; aucun nœud tiers n’est l’unique solution.

Vérifier le modèle de base

1. Ouvrez la fiche du modèle.
2. Cherchez « Base Model » ou « Compatible Model ».
3. Identifiez SD1.5, SDXL ou la version FLUX exacte.
4. Chargez le checkpoint ou diffusion model correspondant dans ComfyUI.

Même si plusieurs bases sont annoncées, le rendu peut différer. Privilégiez la recommandation de l’auteur.

Notes sur les LoRA FLUX

FLUX possède une structure et un workflow différents de SD1.5 et SDXL. Le LoRA doit correspondre à la version et au chemin de chargement. Les exemples ComfyUI actuels peuvent employer LoraLoaderModelOnly et charger séparément diffusion model, encodeurs et VAE.

L’écosystème évolue. En cas d’échec, vérifiez le tutoriel officiel actuel, la fiche LoRA et la version de base avant de suspecter un nœud. Le nom d’un nœud dans un ancien tutoriel ne prouve rien.

Diagnostiquer un effet LoRA absent ou faible

Si l’image change peu ou pas, procédez dans l’ordre suivant.

Symptôme	Cause probable	Vérification
Image inchangée	LoRA hors du chemin actif	Vérifier que model et clip passent par Load LoRA
Image inchangée	Poids à 0	Contrôler strength_model et strength_clip
Effet faible	Poids inférieur à environ 0,3	Monter vers 0,6-1,0 et balayer
Effet faible	Déclencheur absent	Ajouter les Trigger Words de la fiche au prompt
Aucun effet	Modèle de base incompatible	Vérifier SD1.5, SDXL ou FLUX et changer de base
Aucun effet	Mauvais dossier	Vérifier models/loras/
Aucun effet	Fichier incorrect ou non pris en charge	Vérifier le fichier distribué et la fiche plutôt que l’extension seule
LoRA absent de la liste	Liste non actualisée	Actualiser ou redémarrer ComfyUI
Erreur de chargement, clé ou dimension	LoRA FLUX et workflow incompatibles	Vérifier version FLUX, nœuds officiels, encodeurs et fiche
Styles en conflit ou traits dilués	Mauvaise répartition multi-LoRA	Baisser les secondaires et définir un principal

Commencez par model/clip, puis poids, déclencheur, base et emplacement. La plupart des effets faibles viennent du déclencheur, du poids ou de la compatibilité.

Étapes suivantes et articles liés

Une fois chargement, réglage et empilement stables, passez à des workflows spécialisés.

Articles liés

• Débuter avec ComfyUI : installation, dossiers de modèles, nœuds et première génération
• Réutiliser les workflows ComfyUI : importer, restaurer les dépendances et corriger les chemins
• Choisir un modèle Stable Diffusion : comparer SD1.5, SDXL, FLUX et leurs limites
• Modèles de prompt Stable Diffusion : structurer prompt, poids et itérations
• ControlNet pour la pose, le line art et la profondeur (lien ajouté après publication)

Pistes avancées

Pour de grandes piles, des nœuds tiers comme rgthree Power LoRA Loader simplifient les poids et peuvent proposer masques ou application régionale selon le workflow.

Un masque LoRA limite l’effet à une zone au lieu de styliser toute l’image.

Entraîner son propre LoRA avec Kohya_ss ou un autre outil demande un processus distinct pour jeu de données, paramètres, validation et export.

LoRA est une adaptation courante de Stable Diffusion, mais les poids et l’empilement exigent des comparaisons contrôlées. Testez chaque LoRA seul, combinez après une base stable et suivez le tableau lorsque l’effet disparaît ou se dégrade.