ノイズ付加探索のメタパラメータ調整中
パラメータ引継ぎで一晩ざくっと学習させてみたのですが、どうも弱くなってます。
んで、パラメータの平均修正量とノイズの分散の比率を調べてみたのですが、前者が1.0e-9前後に対して後者が2.0e-6でした。そりゃ、ノイズが多すぎてちゃんと学習出来ないはずです。
という訳でノイズの分散を下げてリトライ。今度は平均修正量の0.1倍と0.01倍の2パターンを試してみます。
パラメータ引継ぎで一晩ざくっと学習させてみたのですが、どうも弱くなってます。
んで、パラメータの平均修正量とノイズの分散の比率を調べてみたのですが、前者が1.0e-9前後に対して後者が2.0e-6でした。そりゃ、ノイズが多すぎてちゃんと学習出来ないはずです。
という訳でノイズの分散を下げてリトライ。今度は平均修正量の0.1倍と0.01倍の2パターンを試してみます。