どうもどっかでメモリリークしてるっぽくて、学習させてたのはメモリ不足エラーで落ちてました。 それと、合議サーバの方策πの中に合議クライアントの方策π'がある状態なんで、πの勾配が計算出来るはずです*1。 つー訳でまた微分と格闘してるんですが…ムズい…