Hypernetwork画风训练经验

本篇经验分享适用于在webui更新后，用以前的方法训练超网络不出结果的情况。默认你已经清楚了整体的训练流程。

如果从不清楚训练流程的话，可参考：

NovelAI 保姆级hypernetwork画风训练使用教程

Hypernetwork training for dummies

下面的截图都用了机翻，详细的请看原链接

前言

超网络训练在#3086和#3199之后，按照以往的方法很难学习到内容，出来的很容易是空包弹。

在开启LN选用激活函数并开启Dropout后，超网络没以前那么容易过拟合，但是可能需要更大的学习率进行学习。

在参考GitHub上的讨论后，

Untitled

实验了三个版本的学习率，均使用

分享的学习率计算脚本

选择LN dropout，默认层结构，swish激活函数

1e-4：20000，1e-5：25000，1e-6：30000，1e-7：35000