テーマを切り替える

ComfyUI IPAdapter実践:参照画像のスタイル・構図制御とモデル対応

Easton editorial illustration: one dominant three-stage IPAdapter pipeline: reference image card, CLIP Vision encoder chip, generated output canvas

"cubiqのComfyUI_IPAdapter_plus READMEには、IPAdapterとCLIP Visionの対応、Unified Loaderの命名、FaceIDの依存関係、weightの開始値が記載されています。"

手元にゴッホの「星月夜」の画像があり、同じ画風の風景を生成したいのに、テキストPromptを何度書き直しても狙いどおりになりません。ComfyUI IPAdapterへ参照画像を入れ、weightを1.0にすると、今度は顔が判別できないほど崩れ、構図まで引っ張られてしまいます。

IPAdapterで難しいのはインストールそのものではなく、モデルの組み合わせ、値の調整、影響範囲の制御です。ここでは、最も多いエラーを避けるモデルとCLIP Visionの対応表、weight_typeの使い分け、3種類の制御方法の役割、SD1.5・SDXL・FLUXそれぞれの経路を順に整理します。

1. IPAdapterとは:1枚の画像を即席LoRAのように使う

ComfyUIではIPAdapterをimage-to-image conditioningとして扱います。参照画像の視覚特徴をエンコードし、生成処理へ注入する仕組みです。cubiqのリポジトリは、この考え方を「1-image LoRAのようなもの」と表現しています。

学習せずに1枚の画像からすぐ転送できることが、IPAdapterとLoRAの大きな違いです。LoRAでは複数の学習画像を準備し、学習を実行して、数十MBから数百MB程度のモデルファイルを作ります。IPAdapterは生成時に参照画像を直接エンコードするため、新しい学習済みモデルファイルは不要です。

内部の経路も異なります。LoRAはモデルの重み行列を微調整し、生成時のモデルパラメーターへ作用します。IPAdapterは参照画像を条件ベクトルへ変換し、テキストPromptの条件とともにクロスアテンション層へ注入します。方式は違っても、どちらも生成結果を制御できます。

1.1 3つの制御方法の役割

ComfyUIでよく使う3つの制御方法には、それぞれ得意分野があります。

制御方法制御するもの必要なもの強み
IPAdapterスタイル、参照、被写体の特徴参照画像1枚学習なしですぐ転送できる
ControlNet構造、姿勢、線画、深度OpenPose、Canny、Depthなどの構造画像構図と姿勢を正確に制御できる
LoRAスタイル、キャラクター、画風学習済みモデルファイル繰り返し使っても出力が安定しやすい

用途は次のように分けます。

  • IPAdapterが向く場面:画風を素早く試したい、1回だけ参照したい、モデルを学習したくない場合です。「星月夜」1枚から似た画風の風景を作るなら、その画像をそのまま入力できます。
  • ControlNetが向く場面:姿勢、構図、輪郭、深度を正確に固定したい場合です。人物を特定の姿勢に保つならOpenPoseの構造画像を使います。
  • LoRAが向く場面:同じ画風やキャラクターを何度も再利用したい場合です。キャラクターLoRAを学習すれば、後の生成でも特徴を安定して再現しやすくなります。

3つは併用できます。「星月夜」の画風で指定ポーズの人物を作るなら、IPAdapterで画風を移し、ControlNet OpenPoseで姿勢を固定します。接続方法はComfyUI ControlNet実践ガイドを参照してください。

2. 最も多いエラー:モデルとCLIP Visionの対応表

IPAdapterノードを入れたのにエラーになる、または結果がまったく変わらない場合、CLIP Visionモデルがない、配置先が違う、IPAdapterモデルとの組み合わせが違う可能性が高いです。

2.1 CLIP Visionモデル一覧

IPAdapterには2つのモデルが必要です。1つはIPAdapter本体、もう1つは参照画像をエンコードするCLIP Visionです。正しく対応していないと、エラーや不正な結果につながります。

CLIP Visionモデルファイル名対応するIPAdapterモデル
vit-hCLIP-ViT-H-14-laion2B-s32B-b79K.safetensors多くのSD1.5モデルと*_vit-h接尾辞のあるSDXLモデル
bigGCLIP-ViT-bigG-14-laion2B-39B-b160k.safetensorsip-adapter_sd15_vit-Gip-adapter_sdxlなどvit-G系モデル

vit-hは約1.7GB、bigGは約3.5GBです。似た名前の別CLIPモデルではなく、正しいHugging Faceリポジトリから対象ファイルを取得してください。

2.2 フォルダーと命名の要件

  • CLIP VisionフォルダーComfyUI/models/clip_vision/
  • IPAdapterフォルダーComfyUI/models/ipadapter/(手動で作成)
  • 命名ルール:Unified Loaderは正式なファイル名を要求します。Legacy Loaderは任意の名前を使えますが、モデルを手動で選びます

フォルダーがなければ、ノードはモデルを見つけられないと表示します。models/ipadapter/は初期状態で存在しないことがあるため、作成します。

mkdir -p ComfyUI/models/ipadapter

2.3 よくある組み合わせの間違い

  1. ip-adapter_sdxlへvit-hを組み合わせるvit-h接尾辞のないip-adapter_sdxlはbigGを使います。間違えるとエラーになるか、結果が大きく崩れます。
  2. ip-adapter-plus_sd15だけ入れてCLIP Visionを忘れる:IPAdapterモデルだけを置いても、参照画像をエンコードするモデルがありません。ノードが読み込めても、生成時に参照の特徴が現れないことがあります。
  3. ファイル名を変更してUnified Loaderが認識できないip-adapter-plus_sd15.safetensorsmy_ipadapter.safetensorsへ変えると、自動判定できません。正式名へ戻すか、Legacy Loaderで手動選択します。

2.4 確認リスト

エラーが出たら、次の順で確認します。

  1. ComfyUI/models/clip_vision/を開き、必要なCLIP Visionが正しい名前で置かれているか確認する
  2. ComfyUI/models/ipadapter/があり、IPAdapterモデルが入っているか確認する
  3. 対応表でIPAdapterとCLIP Visionの組み合わせを確認する
  4. Unified Loaderを使う場合は正式なファイル名か確認する

初回の問題はモデルの組み合わせに起因することが多いため、ダウンロード前に対応表を確認しておくと大半を避けられます。

3. IPAdapterモデルの種類:選択早見表

用途によって選ぶモデルが異なります。基本モデルは中程度、plusは強め、plus-faceとfull-faceは顔の参照に特化しています。

3.1 SD1.5モデルの種類

モデル強さ向いている場面
ip-adapter_sd15中程度画風を強くしすぎず、軽く参照したい場合
ip-adapter-plus_sd15強い画風をはっきり出したい一般的な用途
ip-adapter-plus-face_sd15顔向けポートレートで顔の特徴を保ちたい場合
ip-adapter-full-face_sd15さらに強いが、常に良いとは限らないplus-faceでは足りない強い顔制御を試す場合

plusは基本モデルより参照の影響が強く、画風を明確に出せます。一方で、構図まで引っ張りやすくなります。弱い画風転送なら基本モデルが扱いやすいです。

plus-faceとfull-faceは顔の参照用です。まずplus-faceを試し、それで足りない場合にfull-faceへ進みます。full-faceは強いぶん、顔を改善するのではなく過度に崩すこともあります。

3.2 SDXLモデルの種類

次のSDXLモデルはいずれもvit-hのCLIP Visionを使います。bigGを使うip-adapter_sdxlとは区別してください。

モデルCLIP Visionの組み合わせ
ip-adapter_sdxl_vit-hvit-h
ip-adapter-plus_sdxl_vit-hvit-h
ip-adapter-plus-face_sdxl_vit-hvit-h

これらはファイル名にvit-hがあり、vit-hと対応します。接尾辞のないip-adapter_sdxlは別モデルで、bigGを使います。

3.3 コミュニティ拡張モデル

ip_plus_composition_sd15/sdxlは、スタイルや内容を無視して構図を転送するコミュニティモデルです。参照画像の配置だけを残し、画風と被写体を自分で決めたいときはcomposition weight_typeと組み合わせます。

3.4 モデル選択の目安

  • スタイル転送が中心:効果をはっきり出せるplusモデルを使う
  • 人物画像:顔の特徴を保つplus-faceを使う
  • 弱いスタイル転送:参照が強くなりすぎない基本モデルを使う
  • 構図だけ転送ip_plus_compositioncomposition weight_typeを使う
  • 同じ参照を何度も使う:毎回IPAdapterへ入れるよりLoRA学習を検討する

4. weight_typeの使い分け:スタイル・構図・被写体

初期状態では、IPAdapterがスタイル、構図、被写体の特徴を同時に転送します。そのため、画風だけ欲しいのに構図まで移る、顔を保ちたいのに顔が崩れる、といったことが起きます。weight_typeで影響範囲を絞れます。

4.1 weight_typeの一覧

weight_type効果向いている場面
style transfer主にスタイルを転送構図は自分で決め、画風だけ借りたい場合
composition主に構図を転送配置を保ち、画風と内容を変えたい場合
precise style transferスタイルをより分離して転送構図の混入を減らしたい場合。通常はこちらを優先
デフォルト(特別なweight_typeなし)全体を転送スタイル、構図、被写体の特徴をすべて使う場合

weight_typeIPAdapter Advancedノードで設定します。IPAdapter Unified Loaderだけでは全体転送のままです。範囲を細かく制御するにはAdvancedノード、またはIPAdapter Style & Composition系ノードを追加します。

4.2 weight_typeごとの違い

  • style transfer:スタイル中心ですが、構図の特徴が少し混ざることがあります。
  • precise style transfer:スタイルをより明確に分離し、不要な構図の影響を抑えます。最初に試す候補です。
  • composition:スタイルや内容を無視して配置を借ります。画面内の位置関係を保ちたい場合に使います。

4.3 場面別の設定

  • スタイルだけIPAdapter Advancedprecise style transferまたはstyle transferを選びます。weight 0.7〜0.9から始め、参照が強くなりすぎないようにします。
  • 構図だけcompositionを選び、可能ならip_plus_composition_sd15/sdxlと組み合わせます。構図制御は顔を崩しにくいため、weight 0.9〜1.0も試せます。
  • 顔を保つ:plus-faceを使い、weightを0.8未満にします。weight_typeはデフォルトかstyle transferを使い、compositionは避けます。
  • 複数の参照画像:使わない経路はweight 0にします。構図用の画像をcomposition、画風用をprecise style transferへ分け、それぞれ調整します。

4.4 weight_typeとweightの組み合わせ

目的weight_type開始weight
スタイルだけ転送し、構図は自分で決めるprecise style transfer0.7〜0.9
構図だけ転送し、画風は自分で決めるcomposition0.9〜1.0
スタイルを転送しつつ顔を保つデフォルト + plus-faceモデル0.6〜0.8
複数の参照画像を組み合わせる経路ごとにweight_typeを設定用途別に調整し、不要な経路は0

weight_typeは参照の範囲、weightは強さを決めます。構図が引っ張られるならデフォルトからprecise style transferへ変え、顔が崩れるならweightを下げてplus-faceを使います。

5. weight調整の感覚

weightをいくつにすべきでしょうか。デフォルトの1.0は強すぎることがあり、顔が崩れ、参照画像がPromptを上回り、構図も不安定になります。

5.1 開始値

1.0ではなく、まず0.8から始めます。weight=1.0では参照画像の特徴が過度に強調され、テキストPromptが効きにくくなります。

サンプリングを20 stepsから30 stepsへ増やすと改善する場合もありますが、根本的にはweightを下げるほうが直接的です。stepsを増やすと生成時間も伸びます。

5.2 weightの範囲

weight結果よくある問題
1.0最も強い転送顔の崩れ、Promptの抑制、構図の暴走
0.8〜0.9強い転送多くの用途でバランスがよい
0.5〜0.7中程度の転送画風は弱いが、複数参照と組み合わせやすい
0.3〜0.5弱い転送Promptだけの生成に近い微調整

weightが低すぎると参照の特徴が見えず、高すぎるとPromptを上回ります。0.8を基準にすると調整しやすくなります。

5.3 stepsとの関係

weightが高い → 顔の崩れが残る場合はstepsを増やす。weightが低い → stepsを減らして時間を節約できる場合があります。

目安:

  • weight=1.0 → 30 steps以上、場合によっては40
  • weight=0.8〜0.9 → 25〜30 steps
  • weight=0.5〜0.7 → 20〜25 steps
  • weight=0.3〜0.5 → 約20 steps

stepsは多いほどよいわけではありません。40を超えると改善が小さくなる一方、生成時間は長くなります。stepsを増やし続ける前にweightを調整します。

5.4 他のパラメーターとの組み合わせ

  • weight + weight_type:weightは強さ、weight_typeは範囲を制御します。構図へ影響させるかを先に決め、その後で強さを調整します。
  • weight + CFG Scale:CFG ScaleはテキストPromptの影響を制御します。weightが高いときはCFG Scaleを7から9へ上げるなどして、Promptの影響を補えます。weightが低いときは7前後で構いません。
  • weight + 複数参照:競合を避けるため、各参照のweightを下げます。2枚とも0.8〜1.0にするより、それぞれ0.5〜0.6にします。

5.5 再現しやすい調整手順

最初はweight 0.8、30 stepsで1枚生成します。いきなり1.0を使わず、結果を見て調整します。

手順:

  1. weight=0.8、steps=30で1枚生成する
  2. 参照の特徴が弱ければweightを0.9へ上げる
  3. 参照が強すぎる、または顔が崩れるならweightを0.7へ下げる
  4. 構図が引っ張られるならweight_typeをprecise style transferへ変える

weightはIPAdapterで最も重要な調整値です。0.8から小刻みに変えます。

6. インストールとノード操作

6.1 インストール手順

  1. リポジトリをcloneするComfyUI/custom_nodes/で次を実行します。

    git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus
  2. モデルフォルダーを作るComfyUI/models/ipadapter/がなければ手動で作成します。

    mkdir -p ComfyUI/models/ipadapter
  3. モデルをダウンロードする

    • CLIP VisionモデルはComfyUI/models/clip_vision/へ置く
    • IPAdapterモデルはComfyUI/models/ipadapter/へ置く
    • ダウンロード前に第2章の対応表を確認する
  4. ComfyUIを再起動する:再起動後、ノード一覧にIPAdapter関連ノードが表示されます

次のノードが追加されます。

  • IPAdapter Unified Loader
  • IPAdapter Advanced
  • IPAdapter Encoder
  • IPAdapter Style & Composition
  • IPAdapter Precise Style Transfer

6.2 主要ノード

IPAdapter Unified Loaderはモデルを読み込み、正式なファイル名から対応するCLIP Visionを自動判定します。多くのワークフローではここから始めます。

パラメーター:

  • ipadapter_file:IPAdapterモデルを選ぶ。正式名なら自動判定できる
  • clip_vision:CLIP Visionモデルを選択または自動対応させる
  • lora:対応するFaceIDモデルでは専用LoRAを自動読み込みする

IPAdapter Advancedではweight_type、start_at、end_atを調整できます。参照の影響を細かく制御する中心ノードです。

パラメーター:

  • weight:参照画像の強さ。0.8から始める
  • weight_type:style transfer、composition、precise style transferなど、影響の範囲
  • start_at:生成のどの時点から影響させるか。0〜1で指定
  • end_at:生成のどの時点で影響を止めるか。0〜1で指定

start_at=0.2、end_at=0.8なら、IPAdapterはサンプリングの20〜80%だけに作用します。最初と最後の20%には参照画像の条件が入りません。

IPAdapter Encoderは参照画像をIPAdapter用の条件へ変換します。基本的なワークフローで直接調整することは多くありません。

6.3 Legacy LoaderとUnified Loader

  • Unified Loader:正式なファイル名が必要で、対応モデルを自動読み込みします。通常はこちらを使います。
  • Legacy Loader:任意のファイル名を使えますが、モデルを手動選択します。名前を変えたモデルや特定バージョンのテストに向きます。

可能なら正式名を保ってUnified Loaderを使います。独自名や特定モデルの比較が必要なときだけLegacy Loaderへ切り替えます。

6.4 基本ワークフローの構築

基本的なIPAdapterワークフローは次のノード接続です。

Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image

                    Load Image(参照画像)

手順:

  1. Load Checkpointでベースモデルを読み込む
  2. IPAdapter Unified LoaderでIPAdapterモデルを読み込む
  3. Load Imageで参照画像を読み込む
  4. IPAdapter Advancedで参照条件を適用する
  5. KSamplerでサンプリングする
  6. VAE Decodeで画像へデコードする
  7. Save Imageで保存する

不足ノードの導入とワークフロー復元はComfyUIワークフロー再利用ガイドを参照してください。

7. FLUX IPAdapter分岐:実験的な方式

FLUXのIPAdapterはSDと異なるノードを使い、cubiqのノードパックでは読み込めません。代表的な実装は2つあり、どちらもbetaとして扱う必要があります。

7.1 XLabs-AI方式

  • ノードFlux Load IPAdapterApply Flux IPAdapter
  • フォルダーmodels/ipadapter/ではなくComfyUI/models/xlabs/ipadapters/
  • 状態:beta。よい結果を得るまで複数回生成し、ip strengthを調整する場合がある
  • ライセンス:重みはFLUX.1 [dev]の非商用ライセンスに従うため、商用利用は別途確認が必要

XLabs-AIはFLUX IPAdapterの主要な実装の1つです。

  1. XLabsノードパックをcustom_nodes/へcloneする
  2. FLUX IPAdapterモデルをmodels/xlabs/ipadapters/へ置く
  3. SDではなくFLUXのベースモデルを読み込む
  4. Flux Load IPAdapterApply Flux IPAdapterを使う

パラメーター:

  • ip_strength:SD側のweightに相当します。1.0ではなく0.8〜0.9から始めます。
  • 複数の出力を試しながら値を調整します。

7.2 Shakker-Labs方式

  • ノードApply IPAdapter Flux Model
  • パラメーター:weight、start_percent、end_percent
  • フォルダーComfyUI/custom_nodes/comfyui-ipadapter-flux/へcloneする

Shakker-Labsは別のFLUX専用ノードパックです。

  1. git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Fluxでcloneする
  2. FLUX IPAdapterモデルを読み込む
  3. Apply IPAdapter Flux Modelで適用する

パラメーター:

  • weight:参照強度。0.8〜0.9から始める
  • start_percent:IPAdapterが作用し始める位置
  • end_percent:IPAdapterが作用を終える位置

7.3 FLUXとSDのノードの違い

比較項目SD(cubiq)FLUX(XLabs / Shakker)
ノードパックComfyUI_IPAdapter_plusXLabsまたはShakker-Labsのノード
モデルフォルダーmodels/ipadapter/models/xlabs/ipadapters/
成熟度安定して広く使われている実装beta、実験的
ライセンスノードコードはオープンソースFLUX.1 [dev]の非商用モデル重み

7.4 FLUX IPAdapterの使い方

FLUX IPAdapterのエコシステムは比較的新しく、結果も安定しないことがあります。次の順で試します。

  1. より一般的なXLabs方式から始める
  2. ip_strengthまたはweightを1.0ではなく0.8〜0.9にする
  3. 複数回生成してパラメーターを調整する
  4. 商用利用前にFLUX.1 [dev]の非商用制限を確認する

FLUXとSDではノードパック、モデルフォルダー、パラメーターの意味が異なります。cubiqのSD用ノードへFLUX IPAdapterモデルを入れても、エラーになるか効果が出ません。

8. FaceIDの概要:顔参照の選択肢

FaceIDは顔の参照に特化したIPAdapterの分岐です。insightfaceが必要で、多くのFaceIDモデルはmodels/loras/に対応するLoRAも必要です。命名規則を保てばUnified Loaderが専用LoRAを自動読み込みします。

FaceID、InstantID、ReActorの詳しい比較は顔の一貫性を扱う別ガイドの範囲です。ここでは、FaceIDに追加依存とモデル専用LoRAがあることを押さえておけば十分です。

9. IPAdapter・ControlNet・LoRAの役割と併用

3つは異なる要素を制御し、併用できます。重ねるときは各weightを下げ、特徴の競合を避けます。

9.1 3つの制御方法の比較

制御方法制御するもの必要なもの強み
IPAdapterスタイル、参照、被写体の特徴参照画像1枚学習なしですぐ転送できる
ControlNet構造、姿勢、線画、深度OpenPose、Canny、Depthなどの構造画像構図と姿勢を正確に制御できる
LoRAスタイル、キャラクター、画風学習済みモデルファイル繰り返し使っても出力が安定しやすい

3つは置き換えではなく補完関係です。IPAdapterは画風の試行、ControlNetは構造の固定、LoRAは画風やキャラクターの反復利用に向きます。

9.2 併用例

例1:参照スタイル + 姿勢制御

目的:「星月夜」の画風で指定ポーズの人物を生成する

  • IPAdapter:weight=0.7〜0.8、weight_type=precise style transferで画風を転送
  • ControlNet OpenPose:weight=0.8〜1.0で姿勢を制御
  • テキストPrompt:人物の特徴と背景の詳細を指定

設定の目安:

  • 画風が姿勢制御を上回らないよう、IPAdapterは0.7〜0.8にする
  • 姿勢制御は画風と競合しにくいため、ControlNetは0.8〜1.0を維持する
  • テキストPromptが弱ければCFG Scaleを8〜9へ上げる

例2:参照スタイル + 学習済みキャラクター

目的:特定キャラクターを指定の画風で生成する

  • IPAdapter:weight=0.6〜0.7、weight_type=precise style transferで画風を転送
  • LoRA:キャラクターモデルをweight=0.7〜0.8で適用
  • テキストPrompt:場面と動作を指定

設定の目安:

  • IPAdapterは0.6〜0.7、LoRAは0.7〜0.8にし、両方を最大にしない
  • キャラクターの特徴が弱ければLoRAのweightを上げる
  • 画風が弱ければIPAdapterのweightを上げる

例3:複数参照 + ControlNet

目的:スタイルA、構図B、姿勢Cを組み合わせる

  • IPAdapterの1系統目:weight=0.5〜0.6、weight_type=precise style transferでスタイルAを転送
  • IPAdapterの2系統目:weight=0.6〜0.7、weight_type=compositionで構図Bを転送
  • ControlNet OpenPose:weight=0.8〜1.0で姿勢Cを制御

設定の目安:

  • 参照画像が複数あるときは、それぞれのweightを下げる
  • 使わない参照系統はweight 0にする
  • 姿勢、構図、スタイルの順で優先して調整する

9.3 複数制御を重ねるときの注意

複数の制御を有効にするときは、次を確認します。

  1. 各weightを下げる:強い制御が複数ある場合、IPAdapterを0.8〜1.0ではなく0.5〜0.7にします。
  2. 優先順位で調整する:通常はControlNetの姿勢、IPAdapterの構図、IPAdapterのスタイルの順です。
  3. 同じ特徴を二重に制御しない:IPAdapterとLoRAの両方で画風を強く制御すると競合します。
  4. 必要ならPromptの影響を戻す:条件を重ねてテキストPromptが弱くなったら、CFG Scaleを8〜9へ上げます。

ComfyUI ControlNet実践ガイドComfyUI LoRA実践ガイドも参照してください。最適なweightはモデルと参照画像ごとに試す必要があります。

10. トラブルシューティング

10.1 よくある問題と解決策

問題原因解決策
ノードは入っているがエラーになる、または結果が変わらないCLIP Visionがない、配置先が違う、組み合わせが違うclip_vision/を確認し、対応表と照合する
対応エラーが出るIPAdapterとCLIP Visionが一致していない正しいCLIP Visionをダウンロードする
weight=1.0で顔が崩れるweightが高すぎる0.8〜0.9へ下げ、約30 stepsを試す
構図が引っ張られるデフォルトのweight_typeが全体を転送するAdvancedノードでprecise style transferを選ぶ
FLUX IPAdapterが動かないFLUXはSDと別ノードを使うcubiqではなくXLabsまたはShakker-Labsのノードを使う
Unified Loaderがファイルを認識しないファイル名が規則どおりでない正式名へ戻すか、Legacy Loaderで手動選択する
参照の特徴が弱いweightが低すぎる0.8〜0.9へ上げるか、plusモデルへ変える
参照の特徴が強すぎるweightが高すぎる0.5〜0.7へ下げる
複数参照が競合する各weightが高すぎる各系統を0.5〜0.6へ下げ、不要な系統は0にする

10.2 詳しいトラブルシューティング

参照画像が複雑すぎる

問題:1枚の画像に強い画風、構図、被写体が含まれ、転送時に条件が競合します。

解決:

  1. 参照を分ける。1枚はprecise style transferで画風、もう1枚はcompositionで構図を担当させる
  2. 各weightを0.5〜0.6へ下げる
  3. 不要な系統はweight 0にする

IPAdapterと複数LoRAが競合する

問題:IPAdapterとLoRAを重ねると、スタイルやキャラクターの特徴が不安定になります。

解決:

  1. IPAdapterを0.5〜0.7、LoRAを0.5〜0.7にする
  2. IPAdapterとLoRAで同じ特徴を制御しない
  3. LoRAのキャラクター、IPAdapterのスタイルの順で調整する

FLUXの結果が安定しない

問題:FLUX IPAdapterの結果が変わりやすく、ときどき効果が出ません。

解決:

  1. 複数回生成し、ip strengthまたはweightを調整する
  2. まずXLabs方式を試す
  3. モデルがmodels/xlabs/ipadapters/にあるか確認する

IPAdapterモデルとベースモデルが合わない

問題:SD1.5用IPAdapterモデルをSDXLのベースモデルへ適用しています。

解決:

  1. SD1.5用IPAdapterはSD1.5、SDXL用IPAdapterはSDXLへ組み合わせる
  2. Stable Diffusionモデル選択ガイドを確認する

ノードのバージョンが違う

問題:ノードパックのバージョンによって、ノード名やパラメーター名が少し異なります。

解決:

  1. Unified Loader + IPAdapter Advancedを基本経路にする
  2. インストール済みノードパックのバージョンを確認し、必要なら更新する
  3. 名前が異なる場合は、使用中のバージョンのドキュメントに従う

10.3 確認する順番

問題があれば次の順で確認します。

  1. フォルダーを確認する:CLIP VisionとIPAdapterモデルが正しい場所にあるか確認する
  2. 対応表を確認する:2つのモデルが合っているか確認する
  3. ファイル名を確認する:Unified Loader用の正式名へ戻す
  4. weightを下げる:1.0ではなく0.8から始める
  5. weight_typeを変える:構図が引っ張られるならprecise style transferを使う
  6. stepsを増やす:強い参照で顔が崩れる場合は約30 stepsを試す

初回の問題の多くはモデルの組み合わせと高すぎるweightです。フォルダー、CLIP Visionとの対応、開始値0.8の3点を先に確認します。

まとめ

IPAdapterは1枚の参照画像を条件として使い、LoRAを学習せずにスタイル、構図、被写体の特徴を転送します。設定で最も重要なのはCLIP Visionとの組み合わせです。調整では、高すぎるweightが顔を崩し、デフォルトのweight_typeが構図まで引っ張る点に注意します。

開始手順は次のとおりです。

  1. 対応表で正しいCLIP Visionを選ぶ
  2. weightを1.0ではなく0.8から始める
  3. スタイルだけならprecise style transferを選ぶ
  4. ControlNetと組み合わせるときは各weightを下げる

次はFaceID、InstantID、ReActorによる顔の一貫性を試すか、繰り返し利用するためのLoRAを学習できます。基礎から確認する場合はComfyUI入門ガイドへ進んでください。

ComfyUI IPAdapterの基本ワークフローを組んで調整する

最初にモデルの対応とフォルダーを確認し、参照強度0.8から一度に1つのパラメーターだけを変更します。

  1. 1

    ステップ 1: ノードパックをインストールする

    cubiq/ComfyUI_IPAdapter_plusをComfyUI/custom_nodesへcloneするか、ComfyUI Managerからインストールし、ComfyUIを再起動します。
  2. 2

    ステップ 2: モデル用フォルダーを準備する

    ComfyUI/models/clip_visionがあることを確認し、ComfyUI/models/ipadapterを作成します。2種類のモデルを同じフォルダーへ入れないでください。
  3. 3

    ステップ 3: モデルの対応を確認する

    IPAdapterのファイル名からvit-hとbigGのどちらが必要かを判断し、ベースモデルがSD1.5、SDXL、FLUXのどれかも確認します。
  4. 4

    ステップ 4: 基本ノードを接続する

    Load Checkpoint、IPAdapter Unified Loader、IPAdapter Advanced、KSampler、VAE Decode、Save Imageの順に接続し、Load Imageを参照画像入力へつなぎます。
  5. 5

    ステップ 5: 安全な値から始める

    weight 0.8、約30 stepsで基準画像を生成します。スタイルだけならprecise style transfer、配置だけならcompositionを選びます。
  6. 6

    ステップ 6: 変数を1つずつ変更する

    weight、weight_type、start_at、end_atを個別に調整します。複数の参照画像やControlNetを組み合わせるときは、条件の競合を避けるため各weightを下げます。

FAQ

IPAdapterとControlNetは何が違いますか?
IPAdapterは参照画像からスタイル、構図、被写体の特徴を取り出します。ControlNetは姿勢、輪郭、深度などの構造マップで画像を制約します。IPAdapterにスタイル、ControlNetに姿勢や構造を担当させて併用できます。
ip-adapter_sdxlにはどのCLIP Visionが必要ですか?
vit-h接尾辞のないip-adapter_sdxlにはbigG、つまりCLIP-ViT-bigG-14-laion2B-39B-b160kが必要です。_vit-h付きSDXLモデルにはCLIP-ViT-H-14を使います。
IPAdapterのweightはいくつが適切ですか?
多くのワークフローでは0.8から始めます。参照の効果が弱ければ0.9へ上げ、顔が崩れる、プロンプトが効かない、構図が引っ張られる場合は0.5〜0.7へ下げてweight_typeも調整します。
参照画像の構図を移さず、スタイルだけを転送するには?
IPAdapter Advancedでprecise style transferを選ぶか、IPAdapter Precise Style Transferノードを使い、weight 0.7〜0.9から試します。
FLUXでもIPAdapterを使えますか?
使えますが、XLabsのFlux Load IPAdapter / Apply Flux IPAdapter、またはShakker-LabsのApply IPAdapter Flux Modelなど、FLUX専用ノードが必要です。cubiqのSD用ノードへ直接読み込ませないでください。
Unified LoaderがIPAdapterモデルを見つけないときは?
IPAdapterモデルがComfyUI/models/ipadapter、CLIP VisionがComfyUI/models/clip_visionにあり、正式なファイル名を保っているか確認します。独自名の場合はLegacy Loaderで手動選択します。

12分で読めます · 公開日: 2026年8月21日 · 更新日: 2026年8月21日

コメント

GitHubアカウントでログインしてコメントできます

Easton BlogEaston Blog