4x4リバーシに戻ってちょっと実験

　今までは4x4リバーシは探索無しの方策勾配法で、5五将棋は探索有りの方策勾配法で学習させていました。

　んで、探索有りの方策勾配法に問題があるんじゃないかと思い、4x4リバーシで探索有りの方策勾配法を試してみました。

　結果↓

　　

　探索有り（depth==4）の方が探索無し（depth==0）より収束速いです。

　うーん、となると原因は別の所かぁ…