プランA、いい感じに仕上がってきたかも
三目並べモードで方策勾配法+Q(λ)+Bootstrappingで正しく収束する様になりました。
という訳で、5五将棋モードに変更して学習用マシンに投入。
…と言うか、今朝から走らせてたんだけど、パラメータ更新後の後処理*1を忘れてて、さっき慌てて実装したのはここだけの話。
ちなみに学習の大雑把なログは http://gasyou.is-mine.net/ura/ から見えます。自分専用に作ったページなんでテキトーもいい所ですが。
*1:将棋モードでだけ必要な、置換表のクリアとか評価関数のメモ化のクリアとか