2018-01-11 うぅむ、交差エントロピー最小化が上手く動かない 開発日記 †白美神†さんのPR文書を読みつつ、elmoさんの様に交差エントロピーを正則化項として使用するのにチャレンジしています。 …が、何か上手く動かない。 理屈の上では、KL情報量が0に近付く筈*1で、実際に三目並べではそういう挙動をしていますが、5五将棋では一度下がったKL情報量が今度は増加していくという現象が発生。 一度、交差エントロピー最小化のみに設定変更して学習させてみますかねぇ。 *1:交差エントロピーの最小化とKL情報量の最小化は基本的には同一で、KL情報量の最小値は0…だと思う