2018-01-13 交差エントロピー最小化、ある程度上手く動く様になった…かも 開発日記 http://d.hatena.ne.jp/Gasyou/20180111/1515663768 で書いた現象ですが、まず交差エントロピー最小化のみにしたら発生しませんでした。 んで、細々と修正&設定変更してから、損失項全部有り*1で再度学習。 したら、今度は交差エントロピーがちょっとずつではありますが、減少傾向です。 という訳で「どっかバグってた」という結論にして、このまま学習を継続しようと思います。 *1:PGLeaf+TDLeaf(λ)+交差エントロピー+L2正則化