PGLeafの改良版にDropoutを実装してみたんですが、NPSが約半減。これは痛い。 おまけに、Dropout有効だと収束までの学習回数が倍増するらしいんで、ちょっとどうしたもんかと考慮中。 先日の小規模改良の後も色々やってて、その結果がまだなんで、Dropout有…

まず、RMSPropよりMomentumSGDの方が、駒割とかの収束が速いらしい事が分かったので、そっちに変更。 それから、今までは勾配計算ルーチンに「λ収益と選択した手の評価値の自乗誤差最小化」の項があったんですが、λ収益も評価値も「勝率の近似*1」と見なせる…

400万局まで粘ってみるつもりでしたが、心が折れそうなんで何か改良してリトライしてみます。 パラメータの推移を見る限りでは、現行バージョンの方が素性は良さそうなんで、期待してるんですけどねぇ。

https://www.nttdocomo.co.jp/product/smart_phone/z01k/ 折りたたむと5インチクラスのスマホ、開くと大画面ってコンセプトのヤツです。 試みとしては中々面白いと思いますし、こういう変態モデルは大好きなんですが、個人的には購入しないでしょうねぇ。 私…

「AlphaGo Zeroの真似をしようとしたらいつの間にやらほぼ別物になっていた学習ルーチン*1」で、2日かけて100万局の自己対局が終わったんで、途中経過をペタリ。 5五将棋モードで、対sspのハンディキャップマッチ（GA将0.17秒、ssp1秒）です。 ほぼ線形に勝…

KL情報量が増大していく件、いつの間にか再現しなくなってた。 おかしいなぁ、ログ出力を少し追加して、ちょっとした実験しただけなのに… まぁでも、とりあえずちゃんと動く様になったらしいんで、学習を継続しますか。 現時点で、24時間あたり80万局ペース…

試しに1棋譜とか12棋譜とかを自己対局で生成して、その棋譜に含まれる局面だけを対象に探索→パラメータ修正→探索…とループさせてみたら、綺麗にKL情報量が減少していきました。 という事は、通常の自己対局で学習させた場合にKL情報量が増大する現象は、「出…

交差エントロピーがどんどん増大する現象がSGD・RMSProp共に発生したので、損失項を交差エントロピー＋L2正則化にして学習させてみました。 自乗誤差が左の軸、交差エントロピーは右の軸です。 困った事に、この条件でも増大傾向です。 三目並べではこの現象…

結局交差エントロピーも実装しちゃいました。 アサーションに引っ掛からない程度にはなったんで、取り敢えず学習用マシンで学習開始。詳細なテストは明日やります、明日。 それから、何時からかは不明ですが、静止探索のPVノードでも交換値ベースの枝刈りが…

自乗誤差やら交差エントロピーやらの勾配計算で、モード切替の変数に応じて処理をちょっとずつ分岐させていたんですが、流石にメンテナンス性が悪くなってきたんでリファクタリングなう。 結局、損失関数は下記の構成に決め打ちする事にしました。 PGLeaf → …

http://www2.computer-shogi.org/wcsc28/ 今回もネタ勢の一員として、「面白い将棋」を見てもらえる様に頑張ります。

http://d.hatena.ne.jp/Gasyou/20180111/1515663768 で書いた現象ですが、まず交差エントロピー最小化のみにしたら発生しませんでした。 んで、細々と修正＆設定変更してから、損失項全部有り*1で再度学習。 したら、今度は交差エントロピーがちょっとずつで…

†白美神†さんのPR文書を読みつつ、elmoさんの様に交差エントロピーを正則化項として使用するのにチャレンジしています。 …が、何か上手く動かない。 理屈の上では、KL情報量が0に近付く筈*1で、実際に三目並べではそういう挙動をしていますが、5五将棋では一…

本年もGA将と本ブログをよろしくお願いします。 2017年ですが、プライベートで色々あったのはおいといて、コンピュータ将棋関連ではAlphaGo Zero/AlphaZero Shogiが一番大きな話題だったかと個人的には感じています。 2018年は多分3月のUEC杯5五将棋大会と、…