自分メモです。


■【Stable Diffusion】【SDXL】SDXL用のLoRAを作ってみる Unicorn (Azur Lane)【RTX3060編】

過去記事のアップデート版です。

先にコメントしますと「自分はLoRAの完成度はあまり拘ない。ソレっぽいならOK」とかなりハードル低めの人です。

そういう人の記事と思って読んでください。NAIV3みたいにキャラの完全再現とか目指していません。

■Kohya_LoRA_GUI

https://github.com/RedRayz/Kohya_lora_param_gui?tab=readme-ov-file

ここからダウンロードです。
かなりマメもアップデートしています。
アップデートに完全に付き合う必要はないとは思いますがタマには付き合った方がいいと思います。

最近はインストールも安定する様になりました。

■キャラ学習手順

https://github.com/RedRayz/Kohya_lora_param_gui/blob/master/docs/guide_for_chara.md

自分も基本的にこの手順でLoRAを作成しています。

ただ教師画像はAOM3B2とか使って自前で生成しています。

教師画像を自分で収集する場合は、画像の枚数は少ないよりかは多い方がいいですが、質が低いのを入れるくらいなら絵柄が統一された少ない枚数の方がマシな印象

特にAnimagineに関しては枚数が少なくても再現性は高いです。

■タグ付けに関して

Pony Diffusion V6 XL(以降Ponyと記述)はそもそもプロンプトルールが特殊な学習モデルなので、タグ付けもe621語で行うべきという意見があります。

ですが、WD14Taggerが対応していないので自分は無視しています。
また自分はRTX3060と言う最低ラインのグラボの人なのでこだわっても無駄な感があります。

「score_9, source_anime,」のタグをつけると高品質LoRAになるとの意見もありますが、ebara_ponyで利用した感触としては効果は微レ存でした。

本家Ponyでの利用が多い人は「score_9, source_anime,」をつけた方がいいくらい、別につけてもebara_ponyでは悪影響もないので自分のLoRAではとりあえずつけています。

RTX4090とか持ってる人で本家Pony使ってる人には差があるのかも知れませんがグラボ貧民な自分ではぶっちゃけ体感はしないです。

■ヒントとか

https://github.com/RedRayz/Kohya_lora_param_gui/blob/master/docs/tips.md

ここに関する記述に関しては自分もほぼ同意見です。

細かい感触としてはAnimagineはOptimizerをDAdaptLionでもAdamWでもワリとイケる感覚。

PonyはDAdaptLionだと暴れる感がある。AdamWの方が無難。

あとステップ数に関してはAnimagineは推奨ステップ数よりも下げても再現度は高い。
Ponyは推奨値ではやや足りない印象。ただ自分は自作LoRAの重みは0.25〜0.5で使う人なので実質あまり困らない。Ponyでキャラやら画風を完全再現を意識する人はOptimizerを試行錯誤してかなりStepを回す必要あります。

RTX3060でそんな事は実質不可能なので自分は推奨値くらいで割り切ってLoRAを生成しています。

■まとめ

一般論としてはAnimagineとPonyを比較した場合、あらゆる意味でAnimagineの方が扱いやすいです。学習率とか再現度も高い認識。
ただPonyは暴れ馬ではありますが出してくるnsfw絵は凄まじいのでガチ組の人でnsfw絵が多い方は悪いことは言わないのでRTX4090とか買った方がいいと思います。

RTX3060 12GBだと「ギリギリなんとかSDXL LoRAが作れなくもない」と言うだけで本来やるものではないと思います。10000stepとか５時間くらいかかりますよ…(^_^;

そもそもSDXL自体がかなり重いですしね。

RTX 4070Ti SUPER辺りがSDXLの現実的な運用ラインだとは思いますが、ただ貧乏人な自分からすると「アレに13万が超キッツイんですが…。ゲームもバリバリする人ならいいと思うけどAIオンリーでやるならRTX3060でいいか…」と正気に戻る自分です。