結局交差エントロピーも実装しちゃいました。
アサーションに引っ掛からない程度にはなったんで、取り敢えず学習用マシンで学習開始。詳細なテストは明日やります、明日。
それから、何時からかは不明ですが、静止探索のPVノードでも交換値ベースの枝刈りが有効になっちゃってたんで、無効にしました。最近学習が上手く行ってなかったのは、これが原因かも。
後は、RMSPropではなく慣性項付きのSGDで、KL情報量がどんどん増加していくバグが有ったんで、開発用マシンではSGDで学習させてみます。再現したら再度テスト、再現しなかったらリファクタリングで治った、と判断します。
