Gesichtskonsistenz in ComfyUI: InstantID, FaceID oder ReActor?

Du hast ein frontales Foto eines Models mit geklärten Nutzungsrechten und möchtest dieselbe Person in mehreren Szenen erzeugen. Oder ein fertiges Plakat soll nur das Gesicht einer eigenen virtuellen Figur erhalten. Das sind zwei unterschiedliche Abläufe: Im ersten Fall fließt die Identität während der Generierung ein, im zweiten wird das Gesicht nachträglich ausgetauscht.

In ComfyUI kommen dafür häufig InstantID, IPAdapter FaceID und ReActor infrage. Die Namen klingen ähnlich, die Aufgaben unterscheiden sich jedoch. Der aktuelle ComfyUI-Knoten für InstantID richtet sich an SDXL und bringt die meisten Abhängigkeiten mit. FaceID kann SD1.5 und SDXL abdecken, verlangt aber eine korrekte Paarung von Modell und LoRA. ReActor führt einen Face Swap nach der Generierung aus.

Entscheide zuerst, ob die Aufgabe während der Generierung oder an einem fertigen Bild erfolgt. Prüfe danach Modellabhängigkeiten, Tuning, typische Fehler und die Grenzen für Material und Lizenzen.

1. Drei Methoden: Identität während der Generierung oder Face Swap danach

Willst du mehrere neue Bilder derselben Person generieren oder nur das Gesicht in einem vorhandenen Bild ersetzen? Diese Entscheidung bestimmt die Methode.

Methode	Aufgabe	Geeignet für	Eingabe	Modellgrenzen	Komplexität der Abhängigkeiten
InstantID	Identität während der Generierung bewahren	Mehrere neue Bilder mit demselben Gesicht	Ein Gesichtsreferenzbild	Der aktuelle ComfyUI_InstantID-Knoten zielt auf SDXL	Hoch (InsightFace + onnxruntime + antelopev2 + ControlNet + InstantID-Hauptmodell)
IPAdapter FaceID	Identität während der Generierung bewahren	Mehrere neue Bilder mit demselben Gesicht	Ein oder mehrere Gesichtsreferenzbilder	SD1.5 + SDXL	Mittel (InsightFace + FaceID-Modell + passendes LoRA)
ReActor	Face Swap in der Nachbearbeitung	Nur das Gesicht in einem vorhandenen Bild ersetzen	Zielbild + Quellgesicht	Unabhängig vom Basismodell der Generierung	Versionsabhängig (der 0.7-alpha-Kern erzwingt InsightFace nicht mehr, Modelle und Lizenzen müssen dennoch geprüft werden)

Auswahlregeln

• Mehrere neue Bilder derselben Person erzeugen -> InstantID oder FaceID
• Nur das Gesicht in einem fertigen Bild ersetzen -> ReActor
• Nur ein Referenzbild verwenden -> alle drei Methoden können damit arbeiten; für die Generierung passen InstantID und FaceID besser
• Pose und Bildaufbau eines vorhandenen Bildes beibehalten und nur das Gesicht ändern -> ReActor ist direkter

Lizenzgrenzen zuerst klären

InstantID und FaceID nutzen üblicherweise InsightFace, um Gesichtsmerkmale zu extrahieren. Der InsightFace-Code steht unter der MIT License. Trainingsdaten und die damit trainierten Modelle sind standardmäßig jedoch nur für nicht kommerzielle Forschung verfügbar. Auch die FaceID Model Card beschränkt die betreffenden Modelle auf Forschung. ReActor bezeichnet sich als SFW-friendly und enthält einen nudity detector; das README verlangt ebenfalls eine verantwortungsvolle Nutzung.

Vor kommerzieller Nutzung oder öffentlicher Veröffentlichung sind Einwilligung und Persönlichkeitsrechte, Lizenzen der Modellgewichte und Plattformregeln getrennt zu prüfen. Die folgenden Abläufe beziehen sich nur auf autorisiertes oder eigenes Material, eigene Figuren und zulässige interne Tests.

2. InstantID: Identität während der SDXL-Generierung

2.1 Installation und Modellpfade

InstantID hat mehr Abhängigkeiten als FaceID oder ReActor. Nach der Installation des Knotens verursachen falsche Modellpfade besonders häufig Probleme.

Installation:

# 1. Knoten klonen
cd ComfyUI/custom_nodes
git clone https://github.com/cubiq/ComfyUI_InstantID.git

# 2. Abhängigkeiten installieren
pip install insightface onnxruntime onnxruntime-gpu

Das Standardpaket von InsightFace 1.0 baut die optionale C++/Cython-Erweiterung face3d nicht mehr und reduziert damit lokale Compileranforderungen. Tritt in einer älteren Umgebung oder Anleitung weiterhin ein Build-Fehler auf, prüfe die tatsächlich verwendete Version und nutze eine isolierte Umgebung, bevor du Visual Studio C++ Build Tools als Voraussetzung der aktuellen Version annimmst.

Modell	Zielpfad	Quelle
antelopev2	ComfyUI/models/insightface/models/antelopev2	InsightFace-Modell
InstantID-Hauptmodell	ComfyUI/models/instantid	InstantX auf Hugging Face
InstantID ControlNet	ComfyUI/models/controlnet	InstantX auf Hugging Face

Das aktuelle README von ComfyUI_InstantID beschreibt den Knoten als SDXL-only. Für einen Ablauf auf Basis von SD1.5 ist FaceID die Alternative.

Das Repository ComfyUI_InstantID befindet sich seit dem 14. April 2025 im Modus maintenance only. Wichtige Korrekturen können weiterhin übernommen werden, eine kontinuierliche Entwicklung wird aber nicht zugesagt. Prüfe deshalb vor der Installation das aktuelle README.

2.2 Arbeitsablauf und Tuning

Grundlegender Ablauf:

1. SDXL-Checkpoint laden
2. Apply InstantID verbinden und ein frontales Gesichtsreferenzbild eingeben
3. Bedingungen von InstantID-Modell und ControlNet mit der Sampling-Kette verbinden
4. Bild generieren

Die Qualität der Referenz beeinflusst die Ähnlichkeit direkt. Ein frontales, scharfes, unverdecktes und gleichmäßig beleuchtetes Bild funktioniert meist zuverlässiger. Profilansichten, kleine oder unscharfe Gesichter sowie starke Verdeckungen können die Erkennung oder Ähnlichkeit schwächen.

Symptom	Anpassung
Ähnlichkeit zu gering	Gewicht des InstantID-Modells oder von ControlNet schrittweise erhöhen
Bild wirkt übersteuert oder der Prompt verliert Einfluss	Zuerst das Gewicht des InstantID-Modells senken und mit dem Ausgangsbild vergleichen
CFG zu hoch	Nach Empfehlung des Knoten-READMEs auf etwa 4–5 senken oder RescaleCFG verwenden

Der primäre Upstream-Ablauf von InstantID unterstützt keine Referenz mit mehreren Personen und nutzt das größte Gesicht für die Landmarks. ComfyUI_InstantID enthält zwar ein komplexeres und langsameres Multi-ID-Beispiel, dieses ist aber kein einfacher, stabiler Standard für mehrere Personen.

Erweiterte Funktionen:

• Advanced InstantID: Gewichte von InstantID-Modell und ControlNet getrennt einstellen
• Noise injection: übersteuerte Bildwirkung reduzieren und Ähnlichkeit feiner abstimmen
• Eingabe image_kps: Keypoints eines anderen Bildes für eine neue Pose verwenden und die Übernahme der Referenzpose verringern

Für eine genauere Pose lässt sich ControlNet OpenPose ergänzen.

3. IPAdapter FaceID: Identität mit SD1.5 und SDXL

FaceID ist die auf Gesichter spezialisierte Variante von IPAdapter. Statt eines gewöhnlichen CLIP image embedding nutzt sie ein face recognition embedding und kann die Identitätskonsistenz mit einem LoRA verstärken.

3.1 Installation und Paarung von Modell und LoRA

Installiere die Abhängigkeit in der Python-Umgebung von ComfyUI:

pip install insightface

FaceID-Modelle gehören nach ComfyUI/models/ipadapter, die passenden LoRAs nach ComfyUI/models/loras. Unified Loader FaceID erkennt die Paarung über offizielle Dateinamen; umbenannte Dateien können das automatische Laden verhindern.

FaceID-Modell	Passendes LoRA	Pfade
ip-adapter-faceid_sd15.bin	ip-adapter-faceid_sd15_lora.safetensors	models/ipadapter + models/loras
ip-adapter-faceid-plusv2_sd15.bin	ip-adapter-faceid-plusv2_sd15_lora.safetensors	Wie oben
ip-adapter-faceid_sdxl.bin	ip-adapter-faceid_sdxl_lora.safetensors	Wie oben
ip-adapter-faceid-plusv2_sdxl.bin	ip-adapter-faceid-plusv2_sdxl_lora.safetensors	Wie oben

Modellliste und Dateinamen können sich mit Knotenupdates ändern. Prüfe vor der Installation das README von ComfyUI_IPAdapter_plus und ordne jedes Modell dem richtigen LoRA für Basismodell und Version zu. Ein fehlendes oder falsches LoRA schwächt die Identitätskonsistenz deutlich.

Unterschiede der Varianten:

• PlusV2: kombiniert face ID embedding mit einem regelbaren CLIP image embedding und erlaubt ein separates Gewicht für face structure
• Portrait: zielt auf Porträts, braucht weder LoRA noch ControlNet und kann mehrere Gesichtsbilder für bessere Ähnlichkeit annehmen
• SDXL FaceID und PlusV2-SDXL: Die Model Card kennzeichnet sie als experimental; sie sind daher nicht bedingungslos stabil

Auch ComfyUI_IPAdapter_plus befindet sich seit dem 14. April 2025 im Modus maintenance only.

3.2 Arbeitsablauf und Tuning

FaceID muss nicht mit einem Gewicht von 1.0 starten. Ein zu hohes Identitätsgewicht kann das Ergebnis näher an die Referenz bringen, zugleich aber den Einfluss des Text-Prompts verringern.

Tuning:

• Bei etwa 0.8 ein Ausgangsbild erstellen und das Gewicht nur bei zu geringer Ähnlichkeit schrittweise erhöhen
• Für stärkere Prompt-Treue den weight type in IPAdapter Advanced ändern oder das Gewicht senken
• In PlusV2 zusätzlich das Gewicht für face structure einstellen

FaceID und InstantID liefern beide Identitätsbedingungen während der Generierung. FaceID deckt SD1.5 und SDXL ab; der aktuelle Knoten ComfyUI_InstantID richtet sich an SDXL. Der Speicherbedarf hängt von Basismodell, Auflösung, GPU und Knotenversion ab und lässt sich nicht seriös mit einem festen Wert angeben.

4. ReActor: SFW Face Swap in der Nachbearbeitung

ReActor arbeitet in einer anderen Phase als die ersten beiden Methoden. Es nimmt nicht an der Diffusionsgenerierung teil, sondern tauscht ein Gesicht in einem bereits erzeugten oder vorhandenen Bild aus.

4.1 Installation und geänderte Abhängigkeiten

Der neue Kern von ReActor 0.7.0 alpha gibt an, InsightFace und C++ Build Tools nicht mehr zu benötigen. Im aktuellen README stehen in Modellliste und Lizenzabschnitt dennoch Modelle wie buffalo_l und inswapper_128.onnx. Prüfe die konkrete Version, bevor du Installation oder Nutzungsrechte beurteilst.

Modell	Pfad im aktuellen README
buffalo_l	ComfyUI/models/insightface/models/buffalo_l
inswapper_128	ComfyUI/models/insightface
reswapper	ComfyUI/models/reswapper
hyperswap	ComfyUI/models/hyperswap
Face-Restore-Modelle	ComfyUI/models/facerestore_models

Ältere Anleitungen behandeln InsightFace und C++ Build Tools oft als feste Voraussetzungen. Bei widersprüchlichen Angaben identifizierst du zuerst deine ReActor-Version und folgst deren README, statt alte und neue Schritte zu mischen.

ReActor enthält einen nudity detector. Laut README soll bei einem realen Gesicht die Einwilligung der betroffenen Person vorliegen und bei einer öffentlichen Veröffentlichung der synthetische Charakter klar offengelegt werden. Kommerzielle Rechte für Modelle wie buffalo_l und inswapper_128 sind getrennt zu prüfen.

4.2 Arbeitsablauf

Grundlegender Face-Swap-Ablauf:

1. Das zu verarbeitende Bild mit input_image und das autorisierte Referenzgesicht mit source_image verbinden
2. In ReActorSetWeight mit einer zurückhaltenden Stärke beginnen
3. Optional mit Face Similarity die Ähnlichkeit nach dem Austausch prüfen
4. Optional mit Face Restoration Kanten und Details reparieren
5. Optional ein face model speichern und dasselbe Gesichts-Embedding später direkt laden

Funktion	Zweck
ReActorSetWeight	Swap-Stärke in den Schritten des Knotens von 0% bis 100% regeln; zu hohe Stärke kann Plastikoptik oder unnatürliche Kanten erzeugen
Face Similarity	Ähnlichkeit nach dem Austausch prüfen
Face Restoration	Kanten und Details nach dem Austausch reparieren; auch hier kann eine zu hohe Stärke künstlich wirken
Face Model	Gesichts-Embedding speichern oder laden, um dasselbe Gesicht wiederzuverwenden

ReActor erzeugt Bildaufbau, Kleidung und Pose nicht neu. Soll ein fertiges Bild erhalten bleiben und nur der Gesichtsbereich bearbeitet werden, ist es direkter als InstantID oder FaceID.

5. Qualität des Referenzbildes und häufige Fehler

5.1 Checkliste für das Referenzbild

Die Qualität der Referenz ist oft wichtiger als ein immer höheres Gewicht. Ein frontales, scharfes, unverdecktes und gleichmäßig beleuchtetes Bild lässt sich meist leichter zuordnen. Profil, unscharfes oder kleines Gesicht und starke Verdeckung lassen sich auch mit höheren Gewichten nur begrenzt ausgleichen.

Prioritäten:

1. Frontal > Profil oder schräger Winkel
2. Scharf > unscharf
3. Unverdeckt > Brille, Maske oder verdeckende Haare
4. Gleichmäßiges Licht > harter Schatten oder Gegenlicht

Diese Regeln gelten für Referenzen in InstantID, FaceID und ReActor. Schlägt die Erkennung fehl, schneide das Gesicht enger zu oder wechsle die Referenz, bevor du alle Gewichte maximierst.

5.2 Tabelle für typische Fehler

Problem	Wahrscheinliche Ursache	Lösung
Modell nicht gefunden (antelopev2 / buffalo_l / InstantID-Hauptmodell)	Falscher Pfad oder fehlendes Modell	models/insightface/models, models/instantid und weitere Pfade mit dem aktuellen README des Knotens vergleichen
Erkennung schlägt fehl (no face detected)	Profil, kleines Gesicht, Unschärfe oder Verdeckung	Frontale, scharfe und unverdeckte Referenz verwenden und Gesicht bei Bedarf zuschneiden
Gesicht ähnelt der Referenz, aber Pose oder Ausdruck wandern mit	Gesichtsbedingung übernimmt auch strukturelle Merkmale	Pose mit ControlNet steuern oder bei einem fertigen Bild zu ReActor wechseln
Ähnlichkeit zu gering	FaceID-LoRA fehlt, Gewicht ungeeignet oder Referenz schwach	Modell-LoRA-Paarung prüfen, bei etwa 0.8 eine Basis erstellen und jeweils nur eine Variable ändern
Kanten unnatürlich oder Gesicht wirkt wie Plastik	Face Swap oder Face Restoration zu stark	Swap- und Restoration-Stärke senken; Größe, Winkel und Licht des Zielgesichts prüfen
Installation einer Abhängigkeit scheitert	Alte Anleitungen, alte Knoten und aktuelle Python-Umgebung wurden vermischt	Knoten- und InsightFace-Version prüfen und nach aktuellem README in isolierter Umgebung installieren

Prüfreihenfolge:

• Erkennung schlägt fehl -> zuerst die Referenzqualität prüfen
• Ähnlichkeit zu gering -> zuerst Modelle, LoRA-Paarung und Pfade prüfen
• Pose driftet -> zwischen Identitätsbedingung bei der Generierung, Nachbearbeitung oder zusätzlichem ControlNet entscheiden

6. ControlNet, Kontext und LoRA kombinieren

Ein gleichbleibendes Gesicht fixiert weder Pose noch Körper, Kleidung oder Bildaufbau. Wenn InstantID oder FaceID eine Identitätsbedingung liefert, können Pose, Ausdruck oder Frisur der Referenz das Ergebnis weiterhin beeinflussen.

Sinnvolle Kombinationen:

• InstantID oder FaceID + ControlNet OpenPose -> Gesichtsbedingung steuert die Identität, ControlNet steuert Körper und Pose
• FaceID + gewöhnliches IPAdapter -> FaceID stabilisiert das Gesicht, gewöhnliches IPAdapter steuert Stil oder Bildaufbau; beide mit zurückhaltenden Gewichten starten
• ReActor + Hochskalierung und Reparatur -> Zielbild erzeugen, Gesicht austauschen und anschließend bei Bedarf face restore oder lokales inpaint verwenden
• Kontext -> eignet sich für Änderungen an Hintergrund, Kleidung oder Szene desselben Eingabebildes, ist aber keine spezielle Sperre für die Gesichtsidentität
• LoRA -> eignet sich für eine eigene Figur oder virtuelle Markenperson, die mit einem Trainingsdatensatz langfristig wiederverwendet werden soll

Muss die Pose genau feststehen, gib die Zielpose über ControlNet OpenPose vor. InstantID oder FaceID übernimmt das Gesicht, ControlNet Körper und Pose. Soll nur das Gesicht im fertigen Bild ersetzt werden, ist ReActor direkter.

Weiterführende Artikel:

• Bildaufbau und Pose mit ComfyUI ControlNet steuern
• ComfyUI-Workflows wiederverwenden und fehlende Knoten oder Modelle beheben
• LoRAs in ComfyUI laden, gewichten und kombinieren

7. Compliance- und Lizenzgrenzen

Lizenzen und Rechte am Ausgangsmaterial sind harte Grenzen. Ein technisch funktionierender Ablauf bedeutet nicht, dass Material, Modell und Veröffentlichungsform autorisiert sind.

InsightFace-Code und Modelllizenzen trennen

Der InsightFace-Code steht unter der MIT License und erlaubt akademische wie kommerzielle Nutzung. Trainingsdaten und daraus abgeleitete vortrainierte Modelle sind standardmäßig jedoch nur für nicht kommerzielle Forschung verfügbar. Das aktuelle InsightFace-README nennt außerdem getrennte Lizenzkontakte für die inswapper-Reihe und offene Gesichtserkennungsmodelle.

Die FaceID Model Card erklärt ebenfalls, dass IP-Adapter-FaceID wegen der Abhängigkeit von vortrainierten InsightFace-Modellen nur für Forschung vorgesehen ist. Die Codelizenz eines Knotens ist keine kommerzielle Erlaubnis für jedes Modellgewicht.

Verantwortung und Kennzeichnung bei ReActor

Die aktuelle ReActor-Version bezeichnet sich als SFW-friendly und enthält einen nudity detector. Das README verlangt die Einhaltung lokaler Gesetze, die Einwilligung beim Einsatz eines realen Gesichts und bei öffentlichen Beiträgen eine klare Kennzeichnung des Face Swaps oder der KI-Synthese.

Grenzen des Ausgangsmaterials

Die beschriebenen Abläufe gelten nur für:

• Modelfotos mit ausdrücklicher Erlaubnis für Bildnis und Einsatzzweck
• Eigenes Material, das du verarbeiten darfst
• Eigene virtuelle Figuren ohne Bezug zu einer realen Person
• Zulässige interne Tests ohne Veröffentlichung

Vor kommerzieller Nutzung oder öffentlicher Veröffentlichung sind Persönlichkeitsrechte, Umfang der Modelllizenz und Plattformregeln getrennt zu prüfen. Bleibt einer dieser Punkte unklar, darf das Ergebnis nicht veröffentlicht oder kommerzialisiert werden.

Zusammenfassung und nächste Schritte

Die Entscheidung lässt sich so treffen:

• Identität während der Generierung -> InstantID (aktueller ComfyUI-Knoten für SDXL) oder FaceID (SD1.5 + SDXL)
• Face Swap in der Nachbearbeitung -> ReActor
• Referenzqualität, Modellpfade und Versionspaarung prüfen, bevor Gewichte blind erhöht werden
• Eine Codelizenz macht nicht jedes vortrainierte Modell kommerziell nutzbar; reale Gesichter benötigen zusätzlich eine Einwilligung

InstantID passt zu SDXL-Abläufen und hat mehr Abhängigkeiten, erlaubt aber eine getrennte Abstimmung von Identität und Keypoint-Bedingungen. FaceID unterstützt mehr Basismodelle, verlangt jedoch ein passendes Modell-LoRA-Paar. ReActor nimmt nicht an der Diffusionsgenerierung teil und bearbeitet den Gesichtsbereich eines vorhandenen Bildes.

Als Nächstes:

• Pose driftet oder Bildaufbau muss exakt sein -> ComfyUI ControlNet in der Praxis
• Eigene Figur langfristig wiederverwenden -> ComfyUI LoRA in der Praxis
• Nach dem Face Swap hochskalieren oder lokal reparieren -> ComfyUI Upscaling und Inpainting
• Wiederkehrende Knoten- oder Modellpfadfehler -> Leitfaden zur Wiederverwendung von ComfyUI-Workflows