と言うか、元から大枠は出来ていて、今日はコンパイル時オプションの変更と微調整しかしてないんですが。 んで、早速学習用マシンにリリースモードで投入。開発用マシンではアサーション有効でテストしてみます。 それから、メタパラメータβを微調整。0.999→…

↑で書いた「ちゃんと収束する様になった」理由ですが、ψの正規化を実装したら上手く行く様になりました。 具体的には、ψの全要素の絶対値の合計が1になる様に調整してから、TD誤差の近似に使う様にしました。 何でこれで上手く行ったのか理論的な事は不明で…

線形の評価関数を使って、1,000局前後でちゃんと収束する様になりました。 TD誤差とその予測値の相関係数ですが、0.5前後となりまずまずの値。 んで、今朝から走らせていた本将棋の学習ですが、9,500局経過後のパラメータでLesserkai相手に17-0-3。 まだ伸び…