本篇经验分享适用于在webui更新后,用以前的方法训练超网络不出结果的情况。默认你已经清楚了整体的训练流程。

如果从不清楚训练流程的话,可参考:

NovelAI 保姆级hypernetwork画风训练使用教程

Hypernetwork training for dummies

下面的截图都用了机翻,详细的请看原链接

前言

超网络训练在#3086#3199之后,按照以往的方法很难学习到内容,出来的很容易是空包弹。

在开启LN选用激活函数并开启Dropout后,超网络没以前那么容易过拟合,但是可能需要更大的学习率进行学习。

https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/3505

Hypernetwork Style Training, a tiny guide · Discussion #2670 · AUTOMATIC1111/stable-diffusion-webui

在参考GitHub上的讨论后,

Untitled

实验了三个版本的学习率,均使用

Hypernetwork Style Training, a tiny guide · Discussion #2670 · AUTOMATIC1111/stable-diffusion-webui

分享的学习率计算脚本

第一次实验(开启LN,Dropout,层1,2,1,激活函数Swish)


选择LN dropout,默认层结构,swish激活函数

1e-4:20000,1e-5:25000,1e-6:30000,1e-7:35000