ComfyUI IPAdapter in der Praxis: Referenzbilder, Stil und Komposition

Du hast ein Bild von Van Goghs „Sternennacht“ und möchtest eine Landschaft im gleichen Stil erzeugen, doch auch nach vielen Änderungen am Text-Prompt passt das Ergebnis nicht. Du lädst die Referenz in ComfyUI IPAdapter, stellst weight auf 1,0 und erhältst ein kaum erkennbares Gesicht, während zugleich die Komposition abdriftet.

Bei IPAdapter ist nicht die Installation der schwierige Teil, sondern die richtige Paarung, Einstellung und Begrenzung des Einflusses. Die folgenden Abschnitte liefern die Modell-zu-CLIP-Vision-Tabelle für den häufigsten Fehler, praktische Empfehlungen für weight_type, die Aufgabenteilung dreier Steuerungsmethoden und getrennte Wege für SD1.5, SDXL und FLUX.

1. Was IPAdapter ist: ein Bild als sofortige LoRA-Referenz

ComfyUI behandelt IPAdapter als image-to-image conditioning. Die visuellen Merkmale des Referenzbildes werden kodiert und in den Generierungsprozess eingespeist. Das cubiq-Repository fasst die Idee treffend zusammen: Man kann es sich als LoRA aus einem einzigen Bild vorstellen.

Diese unmittelbare Übertragung ohne Training unterscheidet IPAdapter von LoRA. Für LoRA brauchst du mehrere Trainingsbilder, einen Trainingslauf und eine Modelldatei, die oft einige Dutzend bis mehrere Hundert Megabyte groß ist. IPAdapter verwendet ein einzelnes Bild direkt und kodiert es während der Generierung. Eine neu trainierte Modelldatei ist nicht nötig.

Auch technisch nehmen beide Verfahren verschiedene Wege. LoRA passt Gewichtsmatrizen an und wirkt während der Generierung auf Modellparameter. IPAdapter wandelt die Referenz in Bedingungsvektoren um und speist sie zusammen mit dem Text-Prompt in die Cross-Attention-Schichten ein. Beide können das Ergebnis steuern, greifen aber an unterschiedlichen Stellen ein.

1.1 Aufgabenteilung der drei Steuerungsmethoden

Die drei verbreiteten Steuerungsmethoden in ComfyUI haben unterschiedliche Schwerpunkte:

Methode	Was sie steuert	Was sie benötigt	Vorteil
IPAdapter	Stil, Referenz und Motivmerkmale	Ein Referenzbild	Sofortige Übertragung ohne Training
ControlNet	Struktur, Pose, Linien und Tiefe	Strukturkarte wie OpenPose, Canny oder Depth	Präzise Kontrolle über Komposition und Pose
LoRA	Stil, Charakter und Bildsprache	Trainierte Modelldatei	Stabilere Ergebnisse bei wiederholter Nutzung

So verteilst du die Aufgaben:

• IPAdapter eignet sich für schnelle Stiltests, einmalige Referenzen und Situationen, in denen du kein Modell trainieren möchtest. Für eine Landschaft im Stil der „Sternennacht“ genügt das vorhandene Bild als Referenz.
• ControlNet eignet sich für genaue Pose-, Kompositions-, Kanten- oder Tiefenkontrolle. Eine bestimmte Körperhaltung lässt sich mit einer OpenPose-Strukturkarte festlegen.
• LoRA eignet sich für die wiederholte Nutzung desselben Stils oder Charakters. Ein trainiertes Charakter-LoRA kann dessen Merkmale bei späteren Generierungen stabiler wiedergeben.

Alle drei lassen sich kombinieren. Für ein Porträt im Stil der „Sternennacht“ mit einer bestimmten Pose überträgt IPAdapter den Stil, während ControlNet OpenPose die Haltung steuert. Die Verbindung beschreibt der ComfyUI-ControlNet-Praxisleitfaden.

2. Der häufigste Fehler: Modell- und CLIP-Vision-Paarung

Wenn die IPAdapter-Nodes installiert sind, aber einen Fehler erzeugen oder keinen sichtbaren Effekt haben, fehlt meist das CLIP-Vision-Modell, liegt im falschen Ordner oder passt nicht zum IPAdapter-Modell.

2.1 Liste der CLIP-Vision-Modelle

IPAdapter benötigt zwei Modelle: das IPAdapter-Modell selbst und ein CLIP-Vision-Modell, das das Referenzbild kodiert. Eine falsche Kombination kann den Workflow stoppen oder ein unbrauchbares Ergebnis erzeugen.

CLIP-Vision-Modell	Dateiname	Passende IPAdapter-Modelle
vit-h	CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors	Die meisten SD1.5-Modelle und SDXL-Modelle mit *_vit-h-Suffix
bigG	CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors	Modelle mit vit-G, darunter ip-adapter_sd15_vit-G und ip-adapter_sdxl

Die vit-h-Datei ist ungefähr 1,7 GB groß, bigG etwa 3,5 GB. Lade die genaue Datei aus dem passenden Hugging-Face-Repository und nicht einen ähnlich benannten CLIP-Checkpoint.

2.2 Ordner- und Namensanforderungen

• CLIP-Vision-Ordner: ComfyUI/models/clip_vision/
• IPAdapter-Ordner: ComfyUI/models/ipadapter/ (manuell anlegen)
• Namensregel: Unified Loader erwartet die offiziellen Dateinamen; Legacy Loader akzeptiert eigene Namen, verlangt aber eine manuelle Auswahl

Fehlt der Ordner, meldet der Node, dass er das Modell nicht findet. models/ipadapter/ ist in einer frischen Installation nicht immer vorhanden. Lege ihn daher an:

mkdir -p ComfyUI/models/ipadapter

2.3 Häufige Paarungsfehler

1. ip-adapter_sdxl mit vit-h kombinieren: ip-adapter_sdxl ohne vit-h-Suffix verwendet bigG. Eine falsche Paarung führt zu Fehlern oder stark verzerrten Ergebnissen.
2. ip-adapter-plus_sd15 ohne CLIP Vision installieren: Das IPAdapter-Modell ist vorhanden, aber der Encoder fehlt. Der Node kann laden, obwohl im Ergebnis keine Referenzmerkmale erscheinen.
3. Datei umbenennen und Unified Loader damit blockieren: Nach einer Umbenennung von ip-adapter-plus_sd15.safetensors in my_ipadapter.safetensors kann Unified Loader das Modell nicht automatisch erkennen. Stelle den offiziellen Namen wieder her oder nutze Legacy Loader.

2.4 Checkliste für die Paarung

Prüfe einen Fehler in dieser Reihenfolge:

1. Öffne ComfyUI/models/clip_vision/ und prüfe, ob das benötigte CLIP-Vision-Modell unter dem richtigen Namen vorhanden ist
2. Öffne ComfyUI/models/ipadapter/ und prüfe, ob Ordner und IPAdapter-Modell vorhanden sind
3. Vergleiche beide Dateien mit der Paarungstabelle
4. Prüfe, ob der Dateiname der Unified-Loader-Konvention entspricht

Paarungsfehler verursachen einen großen Teil der Probleme beim ersten Start. Ein Blick in die Tabelle vor dem Download verhindert die meisten davon.

3. IPAdapter-Modellstufen: schnelle Auswahl

Für verschiedene Aufgaben gibt es unterschiedliche Modellstufen. Das Basismodell wirkt mittelstark, plus stärker, und plus-face sowie full-face sind auf Gesichtsreferenzen ausgerichtet.

3.1 SD1.5-Modellstufen

Modell	Stärke	Geeignet für
ip-adapter_sd15	Mittel	Leichte Stilübertragung ohne zu dominanten Einfluss
ip-adapter-plus_sd15	Stark	Die meisten Fälle, in denen der Stil deutlich sichtbar sein soll
ip-adapter-plus-face_sd15	Für Porträts	Erhaltung von Gesichtsmerkmalen
ip-adapter-full-face_sd15	Stärker, aber nicht immer besser	Sehr starke Gesichtskontrolle, wenn plus-face nicht genügt

Das plus-Modell überträgt Referenzmerkmale deutlicher als das Basismodell, kann aber auch die Komposition stärker vom Prompt wegziehen. Für einen dezenten Einfluss ist das Basismodell oft geeigneter.

plus-face und full-face sind für Porträts gedacht. Beginne mit plus-face. full-face ist stärker, kann ein Gesicht aber durch übermäßigen Einfluss eher verzerren als verbessern.

3.2 SDXL-Modellstufen

Die folgenden SDXL-Modelle verwenden alle den vit-h-Encoder. Verwechsle sie nicht mit ip-adapter_sdxl, das bigG benötigt.

Modell	CLIP-Vision-Paarung
ip-adapter_sdxl_vit-h	vit-h
ip-adapter-plus_sdxl_vit-h	vit-h
ip-adapter-plus-face_sdxl_vit-h	vit-h

Diese Dateinamen tragen das vit-h-Suffix und gehören zu vit-h. Das separate ip-adapter_sdxl besitzt dieses Suffix nicht und verwendet bigG.

3.3 Community-Erweiterungsmodelle

ip_plus_composition_sd15/sdxl ist ein Community-Modell, das die Komposition übernimmt und Stil sowie Inhalt weitgehend ignoriert. Kombiniere es mit dem weight_type composition, wenn du die Anordnung behalten, aber Stil und Motiv selbst bestimmen möchtest.

3.4 Empfehlungen zur Modellauswahl

• Vor allem Stil übertragen: plus-Modell für einen klar erkennbaren Effekt
• Porträts erzeugen: plus-face für die Gesichtsmerkmale
• Stil nur leicht übertragen: Basismodell, damit die Referenz nicht dominiert
• Nur Komposition übernehmen: ip_plus_composition mit weight_type composition
• Dieselbe Referenz häufig nutzen: Statt sie jedes Mal zu kodieren, ein LoRA-Training erwägen

4. weight_type in der Praxis: Stil, Komposition oder Motiv

Standardmäßig kann IPAdapter Stil, Komposition und Motivmerkmale gleichzeitig übertragen. Deshalb zieht eine Stilreferenz manchmal auch die Anordnung mit, oder eine Gesichtsreferenz liefert ein unscharfes Gesicht. Mit weight_type lässt sich der Einfluss eingrenzen.

4.1 Optionen für weight_type

weight_type	Wirkung	Geeignet für
style transfer	Überträgt hauptsächlich den Stil	Eigene Komposition mit dem visuellen Stil der Referenz
composition	Überträgt hauptsächlich die Komposition	Referenzanordnung mit eigenem Stil und Motiv
precise style transfer	Trennt die Stilübertragung genauer	Weniger unerwünschte Kompositionsmerkmale; meist die bessere erste Wahl
Standard ohne speziellen weight_type	Überträgt alles	Stil, Komposition und Motivmerkmale gemeinsam

Du stellst weight_type im Node IPAdapter Advanced ein. IPAdapter Unified Loader allein belässt den Workflow im Modus für den gesamten Einfluss. Für eine genaue Steuerung ergänzt du Advanced oder spezielle IPAdapter Style & Composition-Nodes.

4.2 Unterschiede zwischen den weight_type-Modi

• style transfer: Konzentriert sich auf Stil, kann aber noch etwas Komposition übernehmen.
• precise style transfer: Trennt den Stil sauberer und reduziert unerwünschte Komposition. Probiere diesen Modus zuerst.
• composition: Übernimmt die Anordnung und ignoriert Stil sowie Inhalt weitgehend. Das ist sinnvoll, wenn die räumliche Aufteilung wichtiger ist.

4.3 Empfehlungen nach Anwendungsfall

• Nur Stil: Wähle precise style transfer oder style transfer in IPAdapter Advanced. Starte mit weight 0,7–0,9.
• Nur Komposition: Wähle composition, möglichst mit ip_plus_composition_sd15/sdxl. weight 0,9–1,0 kann funktionieren, da Kompositionskontrolle ein Gesicht seltener verwischt.
• Gesicht erhalten: Nutze plus-face mit weight unter 0,8. Behalte den Standard oder teste style transfer; verwende für Identität nicht composition.
• Mehrere Referenzen: Setze ungenutzte Zweige auf weight 0. Weise der Layoutreferenz composition und der Stilreferenz precise style transfer zu und stimme beide getrennt ab.

4.4 Kombination aus weight_type und weight

Ziel	weight_type	Startwert
Stil übernehmen, eigene Komposition behalten	precise style transfer	0,7–0,9
Komposition übernehmen, eigenen Stil behalten	composition	0,9–1,0
Stil übertragen und Gesicht erhalten	Standard + plus-face-Modell	0,6–0,8
Mehrere Referenzen kombinieren	weight_type je Zweig festlegen	Je nach Aufgabe; ungenutzte Zweige auf 0

weight_type bestimmt den Umfang, weight die Stärke der Referenz. Zieht die Referenz die Komposition weg, wechsle vom Standard zu precise style transfer. Wird ein Gesicht unscharf, senke weight und verwende plus-face.

5. Ein Gefühl für weight entwickeln

Welcher weight-Wert ist sinnvoll? Der Standardwert 1,0 ist oft zu hoch: Gesichter verschwimmen, die Referenz dominiert und das Text-Prompt verliert an Einfluss.

5.1 Startwert

Beginne mit 0,8 statt mit 1,0. Bei weight=1,0 werden Referenzmerkmale leicht überbetont und verdrängen die Beschreibung im Text-Prompt.

Mehr Sampling-Schritte können helfen, etwa ein Wechsel von 20 auf 30, doch ein niedrigerer weight-Wert korrigiert das Ungleichgewicht direkter. Zusätzliche Schritte erhöhen außerdem die Generierungszeit.

5.2 weight-Bereiche

weight	Ergebnis	Häufiges Problem
1,0	Stärkste Übertragung	Unscharfe Gesichter, unterdrücktes Prompt, abdriftende Komposition
0,8–0,9	Starke Übertragung	Guter Ausgangspunkt für die meisten Workflows
0,5–0,7	Mittlere Übertragung	Schwächerer Stil, dafür besser mit mehreren Referenzen kombinierbar
0,3–0,5	Leichte Übertragung	Feine Anpassung nahe an einer reinen Prompt-Generierung

Ist weight zu niedrig, bleibt die Referenz kaum sichtbar. Ist er zu hoch, überlagert sie das Prompt. 0,8 ist ein brauchbarer Ausgangspunkt.

5.3 Verhältnis zu den Sampling-Schritten

Hoher weight-Wert → Schritte erhöhen, wenn das Gesicht weiter unscharf ist. Niedriger weight-Wert → weniger Schritte können Zeit sparen.

Richtwerte:

• weight=1,0 → mindestens 30, manchmal 40 Schritte
• weight=0,8–0,9 → 25–30 Schritte
• weight=0,5–0,7 → 20–25 Schritte
• weight=0,3–0,5 → etwa 20 Schritte

Mehr Schritte sind nicht automatisch besser. Oberhalb von 40 fällt die Verbesserung oft gering aus, während die Laufzeit deutlich steigt. Passe weight an, bevor du die Schrittzahl immer weiter erhöhst.

5.4 Kombination mit anderen Parametern

• weight + weight_type: weight steuert die Stärke, weight_type den Umfang. Entscheide zuerst, ob die Referenz die Komposition beeinflussen soll, und passe danach die Stärke an.
• weight + CFG Scale: CFG Scale steuert den Einfluss des Text-Prompts. Bei hohem weight kannst du CFG Scale beispielsweise von 7 auf 9 erhöhen. Bei niedrigerem weight bleibt CFG Scale ungefähr bei 7.
• weight + mehrere Referenzen: Senke die einzelnen Werte, damit sie nicht kollidieren. Zwei Referenzen mit jeweils 0,5–0,6 sind sicherer als beide mit 0,8–1,0.

5.5 Wiederholbarer Testablauf

Ein sicherer erster Test verwendet weight 0,8 und 30 Schritte. Erzeuge ein Bild und reagiere auf das Ergebnis, statt sofort mit 1,0 zu beginnen.

Ablauf:

1. weight=0,8 und 30 Schritte einstellen, dann ein Bild erzeugen
2. Ist die Referenz zu schwach, weight auf 0,9 erhöhen
3. Ist sie zu stark oder verschwimmt das Gesicht, weight auf 0,7 senken
4. Driftet die Komposition ab, weight_type auf precise style transfer ändern

weight ist der wichtigste Regler in IPAdapter. Beginne mit 0,8 und ändere ihn in kleinen Schritten.

6. Installation und Node-Einrichtung

6.1 Installationsschritte

1. Repository klonen: Führe im Ordner ComfyUI/custom_nodes/ Folgendes aus:

   git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus

2. Modellordner anlegen: Erstelle ComfyUI/models/ipadapter/, falls er nicht existiert:

   mkdir -p ComfyUI/models/ipadapter

3. Modelle herunterladen:

   • CLIP-Vision-Modelle kommen nach ComfyUI/models/clip_vision/
   • IPAdapter-Modelle kommen nach ComfyUI/models/ipadapter/
   • Vor dem Download die Paarungstabelle in Abschnitt 2 prüfen

4. ComfyUI neu starten: Danach erscheinen die IPAdapter-Nodes in der Node-Liste

Die Installation ergänzt folgende Nodes:

• IPAdapter Unified Loader
• IPAdapter Advanced
• IPAdapter Encoder
• IPAdapter Style & Composition
• IPAdapter Precise Style Transfer

6.2 Zentrale Nodes

IPAdapter Unified Loader lädt das Modell und erkennt bei offiziellen Dateinamen automatisch die passende Kombination. Für die meisten Workflows ist er der beste Einstieg.

Parameter:

• ipadapter_file: Auswahl des IPAdapter-Modells; offizielle Namen ermöglichen die automatische Erkennung
• clip_vision: Auswahl oder automatische Zuordnung des CLIP-Vision-Encoders
• lora: Automatisches Laden des passenden LoRA bei unterstützten FaceID-Modellen

IPAdapter Advanced stellt weight_type, start_at und end_at bereit. Dieser Node steuert den Einfluss besonders genau.

Parameter:

• weight: Stärke des Referenzbildes; Start bei 0,8
• weight_type: Umfang des Einflusses, etwa style transfer, composition oder precise style transfer
• start_at: Zeitpunkt zwischen 0 und 1, ab dem die Referenz wirkt
• end_at: Zeitpunkt zwischen 0 und 1, an dem die Referenzwirkung endet

start_at=0,2 und end_at=0,8 bedeutet, dass IPAdapter nur während 20–80 % des Samplings wirkt. Die ersten und letzten 20 % laufen ohne diesen Einfluss.

IPAdapter Encoder kodiert das Referenzbild in die von IPAdapter verwendete Bedingung. In einfachen Workflows musst du ihn normalerweise nicht direkt anpassen.

6.3 Legacy Loader und Unified Loader

• Unified Loader: Verlangt offizielle Dateinamen und lädt passende Modelle automatisch. Für die meisten Workflows geeignet.
• Legacy Loader: Akzeptiert eigene Namen, verlangt aber manuelle Auswahl. Sinnvoll für umbenannte Dateien oder Versionsvergleiche.

Behalte möglichst die offiziellen Namen und verwende Unified Loader. Wechsle für eigene Namen oder gezielte Modelltests zum Legacy Loader.

6.4 Basisworkflow aufbauen

Ein einfacher IPAdapter-Workflow verwendet diese Node-Kette:

Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image
                          ↑
                    Load Image (Referenz)

Schritte:

1. Basismodell mit Load Checkpoint laden
2. IPAdapter-Modell mit IPAdapter Unified Loader laden
3. Referenzbild mit Load Image laden
4. Referenz mit IPAdapter Advanced anwenden
5. Mit KSampler samplen
6. Mit VAE Decode dekodieren
7. Mit Save Image speichern

Für fehlende Nodes und die Wiederherstellung importierter Workflows hilft der Leitfaden zur Wiederverwendung von ComfyUI-Workflows.

7. Der FLUX-IPAdapter-Zweig: experimentelle Lösung

FLUX IPAdapter nutzt andere Nodes als SD und lässt sich nicht über das cubiq-Paket laden. Es gibt zwei verbreitete Implementierungen, die beide als Beta betrachtet werden sollten.

7.1 XLabs-AI

• Nodes: Flux Load IPAdapter und Apply Flux IPAdapter
• Ordner: ComfyUI/models/xlabs/ipadapters/ statt models/ipadapter/
• Status: Beta; gute Ergebnisse können mehrere Versuche und Anpassungen von ip strength erfordern
• Lizenz: Die Gewichte folgen der nichtkommerziellen FLUX.1-[dev]-Lizenz

XLabs-AI ist eine der wichtigsten FLUX-IPAdapter-Implementierungen. So richtest du sie ein:

1. XLabs-Node-Paket nach custom_nodes/ klonen
2. FLUX-IPAdapter-Modell nach models/xlabs/ipadapters/ laden
3. Ein FLUX-Basismodell statt eines SD-Modells laden
4. Flux Load IPAdapter und Apply Flux IPAdapter verwenden

Parameter:

• ip_strength: Entspricht ungefähr weight auf der SD-Seite. Beginne bei 0,8–0,9 statt bei 1,0.
• Erzeuge mehrere Ergebnisse und passe den Wert schrittweise an.

7.2 Shakker-Labs

• Node: Apply IPAdapter Flux Model
• Parameter: weight, start_percent und end_percent
• Ordner: Paket nach ComfyUI/custom_nodes/comfyui-ipadapter-flux/ klonen

Shakker-Labs bietet ein weiteres FLUX-spezifisches Node-Paket:

1. Mit git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux klonen
2. FLUX-IPAdapter-Modell laden
3. Mit Apply IPAdapter Flux Model anwenden

Parameter:

• weight: Referenzstärke; bei 0,8–0,9 beginnen
• start_percent: Zeitpunkt, ab dem IPAdapter wirkt
• end_percent: Zeitpunkt, an dem die Wirkung endet

7.3 Unterschiede zwischen FLUX- und SD-Nodes

Punkt	SD mit cubiq	FLUX mit XLabs oder Shakker
Node-Paket	ComfyUI_IPAdapter_plus	Nodes von XLabs oder Shakker-Labs
Modellordner	models/ipadapter/	models/xlabs/ipadapters/
Reifegrad	Stabil und weit verbreitet	Beta und experimentell
Lizenz	Open-Source-Node-Code	Nichtkommerzielle FLUX.1-[dev]-Modellgewichte

7.4 Empfehlungen für FLUX IPAdapter

Das FLUX-IPAdapter-Ökosystem ist jünger und weniger vorhersehbar. Gehe in dieser Reihenfolge vor:

1. Mit XLabs beginnen, da diese Variante häufiger verwendet wird
2. ip_strength oder weight auf 0,8–0,9 statt auf 1,0 setzen
3. Mehrere Ergebnisse erzeugen und Parameter nachjustieren
4. Vor kommerzieller Nutzung die nichtkommerzielle Einschränkung von FLUX.1 [dev] prüfen

FLUX und SD verwenden verschiedene Node-Pakete, Modellordner und Parameterbedeutungen. Ein FLUX-IPAdapter-Modell in cubiqs SD-Nodes führt zu einem Fehler oder bleibt wirkungslos.

8. FaceID kurz erklärt: eine Option für Gesichtsreferenzen

FaceID ist ein IPAdapter-Zweig für Gesichtsreferenzen. Er benötigt insightface, und die meisten FaceID-Modelle brauchen zusätzlich ein passendes LoRA in models/loras/. Wenn du die Namenskonvention einhältst, lädt Unified Loader dieses LoRA automatisch.

Ein eigener Leitfaden sollte FaceID, InstantID und ReActor im Detail vergleichen. Hier reicht die Grenze: FaceID bringt zusätzliche Abhängigkeiten und ein modellspezifisches LoRA mit.

9. IPAdapter, ControlNet und LoRA aufteilen und kombinieren

Die drei Methoden steuern unterschiedliche Eigenschaften und lassen sich kombinieren. Senke beim Stapeln die einzelnen weight-Werte, damit die Merkmale nicht kollidieren.

9.1 Vergleich der drei Methoden

Methode	Was sie steuert	Was sie benötigt	Vorteil
IPAdapter	Stil, Referenz und Motivmerkmale	Ein Referenzbild	Sofortige Übertragung ohne Training
ControlNet	Struktur, Pose, Linien und Tiefe	Strukturkarte wie OpenPose, Canny oder Depth	Präzise Kontrolle über Komposition und Pose
LoRA	Stil, Charakter und Bildsprache	Trainierte Modelldatei	Stabilere Ergebnisse bei wiederholter Nutzung

Die Methoden ergänzen sich. IPAdapter eignet sich für schnelle Stiltests, ControlNet für genaue Strukturen und LoRA für wiederholt benötigte Stile oder Charaktere.

9.2 Beispiele für Kombinationen

Beispiel 1: Referenzstil plus Pose

Ziel: Ein Porträt im Stil der „Sternennacht“ mit vorgegebener Pose

• IPAdapter: Stil mit weight=0,7–0,8 und weight_type=precise style transfer übertragen
• ControlNet OpenPose: Pose mit weight=0,8–1,0 steuern
• Text-Prompt: Person und Hintergrunddetails beschreiben

Empfohlene Werte:

• IPAdapter bei 0,7–0,8 halten, damit der Stil die Pose nicht verdrängt
• ControlNet bei 0,8–1,0 halten, da die Pose selten mit dem Stil kollidiert
• CFG Scale auf 8–9 erhöhen, wenn das Text-Prompt zu wenig Einfluss hat

Beispiel 2: Referenzstil plus gelernter Charakter

Ziel: Einen bestimmten Charakter in einem bestimmten Bildstil erzeugen

• IPAdapter: Bildstil mit weight=0,6–0,7 und weight_type=precise style transfer übertragen
• LoRA: Charaktermodell mit weight=0,7–0,8 laden
• Text-Prompt: Szene und Handlung beschreiben

Empfohlene Werte:

• IPAdapter auf 0,6–0,7 und LoRA auf 0,7–0,8 setzen; nicht beide maximieren
• LoRA-weight erhöhen, wenn Charaktermerkmale zu schwach sind
• IPAdapter-weight erhöhen, wenn der Bildstil zu schwach ist

Beispiel 3: Mehrere Referenzen plus ControlNet

Ziel: Stil A, Komposition B und Pose C kombinieren

• Erster IPAdapter-Zweig: Stil A mit weight=0,5–0,6 und weight_type=precise style transfer
• Zweiter IPAdapter-Zweig: Komposition B mit weight=0,6–0,7 und weight_type=composition
• ControlNet OpenPose: Pose C mit weight=0,8–1,0

Empfohlene Werte:

• Bei mehreren Bildern jeden Referenz-weight senken
• Einen ungenutzten Referenzzweig auf weight 0 setzen
• Nach Priorität abstimmen: Pose, dann Komposition, dann Stil

9.3 Hinweise beim Stapeln mehrerer Steuerungen

Bei mehreren aktiven Bedingungen gilt:

1. Jeden weight-Wert senken: Mit weiteren starken Steuerungen IPAdapter auf 0,5–0,7 statt 0,8–1,0 setzen.
2. Nach Priorität abstimmen: Zuerst die ControlNet-Pose, dann IPAdapter-Komposition, zuletzt IPAdapter-Stil.
3. Dasselbe Merkmal nicht doppelt steuern: Zwei Systeme, die beide den Stil stark beeinflussen, können kollidieren.
4. Prompt-Einfluss bei Bedarf wiederherstellen: CFG Scale auf 8–9 erhöhen, wenn gestapelte Bedingungen das Text-Prompt schwächen.

Weitere Details liefern der ComfyUI-ControlNet-Leitfaden und der ComfyUI-LoRA-Leitfaden. Die genauen Werte müssen mit deinem Modell und deinen Referenzen getestet werden.

10. Checkliste zur Fehlerbehebung

10.1 Häufige Probleme und Lösungen

Problem	Ursache	Lösung
Nodes sind installiert, aber die Generierung meldet Fehler oder ändert sich nicht	CLIP Vision fehlt, liegt im falschen Ordner oder ist falsch gepaart	clip_vision/ prüfen und mit der Paarungstabelle vergleichen
Paarungsfehler	IPAdapter und CLIP Vision passen nicht zusammen	Richtiges CLIP-Vision-Modell herunterladen
Gesicht verschwimmt bei weight=1,0	weight ist zu hoch	Auf 0,8–0,9 senken und etwa 30 Schritte testen
Komposition driftet ab	Standard-weight_type überträgt alles	Im Advanced-Node precise style transfer wählen
FLUX IPAdapter funktioniert nicht	FLUX nutzt andere Nodes als SD	XLabs oder Shakker-Labs statt cubiq verwenden
Unified Loader erkennt die Datei nicht	Dateiname entspricht nicht der Konvention	Offiziellen Namen wiederherstellen oder im Legacy Loader manuell auswählen
Referenzmerkmale sind kaum sichtbar	weight ist zu niedrig	Auf 0,8–0,9 erhöhen oder plus-Modell verwenden
Referenzmerkmale sind zu stark	weight ist zu hoch	Auf 0,5–0,7 senken
Mehrere Referenzen kollidieren	Einzelne weight-Werte sind zu hoch	Jeden auf 0,5–0,6 senken und ungenutzte Zweige auf 0 setzen

10.2 Erweiterte Fehlerbehebung

Das Referenzbild ist zu komplex

Problem: Ein Bild enthält gleichzeitig starken Stil, Komposition und Motiv, sodass sich die Bedingungen gegenseitig stören.

Lösung:

1. Aufgabe aufteilen: ein Bild für Stil mit precise style transfer, ein anderes für die Anordnung mit composition
2. Jeden weight-Wert auf 0,5–0,6 senken
3. Unerwünschte Zweige auf weight 0 setzen

IPAdapter und mehrere LoRAs kollidieren

Problem: Stil oder Charaktermerkmale werden instabil, wenn IPAdapter und LoRA gestapelt werden.

Lösung:

1. IPAdapter auf 0,5–0,7 und LoRA auf 0,5–0,7 setzen
2. IPAdapter und LoRA nicht dasselbe Merkmal steuern lassen
3. Nach Priorität abstimmen: zuerst LoRA-Charakter, danach IPAdapter-Stil

FLUX bleibt unbeständig

Problem: Die Ausgabe von FLUX IPAdapter schwankt oder die Referenz wirkt manchmal nicht.

Lösung:

1. Mehrere Ergebnisse erzeugen und ip strength oder weight anpassen
2. Zuerst XLabs ausprobieren
3. Prüfen, ob das Modell in models/xlabs/ipadapters/ liegt

IPAdapter-Modell passt nicht zum Basismodell

Problem: Ein SD1.5-IPAdapter-Modell wird mit einem SDXL-Basismodell verwendet.

Lösung:

1. SD1.5-IPAdapter mit SD1.5 und SDXL-IPAdapter mit SDXL kombinieren
2. Den Leitfaden zur Auswahl von Stable-Diffusion-Modellen prüfen

Node-Versionen unterscheiden sich

Problem: Namen und Parameter können sich zwischen Versionen des Node-Pakets leicht unterscheiden.

Lösung:

1. Unified Loader plus IPAdapter Advanced als Hauptweg verwenden
2. Installierte Version prüfen und bei Bedarf aktualisieren
3. Bei abweichenden Namen der Dokumentation der installierten Version folgen

10.3 Reihenfolge der Fehlersuche

Gehe Probleme in dieser Reihenfolge durch:

1. Ordner prüfen: CLIP Vision und IPAdapter müssen am richtigen Ort liegen
2. Paarungstabelle prüfen: Beide Modelle müssen zusammenpassen
3. Dateinamen prüfen: Für Unified Loader die offizielle Benennung wiederherstellen
4. weight senken: Mit 0,8 statt mit 1,0 beginnen
5. weight_type anpassen: Bei abdriftender Komposition precise style transfer verwenden
6. Schritte erhöhen: Bei starker Referenz und unscharfem Gesicht etwa 30 Schritte testen

Die meisten Startprobleme entstehen durch falsche Paarung oder zu hohen weight. Ordner, Encoder-Kombination und Startwert 0,8 sind deshalb die ersten Prüfungen.

Fazit

IPAdapter nutzt ein Referenzbild als Bedingung und überträgt Stil, Komposition oder Motivmerkmale, ohne dass du ein LoRA trainieren musst. Entscheidend für die Einrichtung ist die richtige CLIP-Vision-Paarung. Bei der Abstimmung führt ein zu hoher weight-Wert zu unscharfen Gesichtern, während der Standard-weight_type auch die Komposition mitzieht.

Ein verlässlicher Startablauf:

1. Mit der Paarungstabelle das richtige CLIP-Vision-Modell auswählen
2. weight bei 0,8 statt bei 1,0 beginnen
3. Für reine Stilübertragung precise style transfer wählen
4. Beim Kombinieren mit ControlNet jeden weight-Wert senken

Anschließend kannst du Gesichtskonsistenz mit FaceID, InstantID oder ReActor testen oder ein LoRA für wiederholte Nutzung trainieren. Die Grundlagen erklärt der ComfyUI-Einstiegsleitfaden.