gasyou.hatenablog.jpの続き。 「招待プログラム以外は、開発者の一人は、現地に来て自身のプログラムを操作する必要があります。」とルールに有りましたので、私は現地参加しないといけないんですが、日程とか旅費とかの関係で厳しそう。 年末ジャンボでポ…
Q学習では高々40状態程度の簡易迷路しか解けなかったのが、256状態まで増やしてもメタ強化学習有りだと解ける様になりました。 結構期待出来そうなんで、スグにでも効果を見てみたいんですが、どうしようかなぁ。 一つの手として、TDLeaf(λ)と組み合わせるっ…
メタ強化学習のベースラインとして、簡易的な迷路（ただしゴールは複数存在し、それぞれ得られる報酬が異なる）をQ学習で解くプログラムを作成。ざっくりテストして、無事局所最適解にハマる事を確認しました。 ざっとログを眺めた感じだと、迷路の領域の1割…
私の使っているRSSリーダーでは、本ブログの個別記事へのリンクが取得出来ませんでした。同様の現象の方がお見えでしたら、お手数ですがRSSフィードの設定を https://gasyou.hatenablog.jp/rss にご変更下さい。 お手数をおかけして申し訳ありませんが、よろ…
前書いた論文の一個目のやつ、実装出来たけど素のPGLeaf*1より性能悪い… バグってんだろうなぁ。 という訳で、気分転換に二番目のメタ強化学習の方の実装に着手。 と言っても、コンピュータ将棋や三目並べではまだ動かせないので、簡単な迷路問題で実験して…
https://papers.nips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf http://proceedings.mlr.press/v80/xu18d/xu18d.pdf TDLeaf(λ)とかと組み合わせるのは当面見送って、PGLeaf単体でどこまで行けるか…
第11回UEC杯 in GAT５五将棋大会 - 5五将棋 portal 2019年3月9日～10日。現地参加したいけど、旅費とかいろいろ工面出来るかなぁ…
GPW杯コンピュータ５五将棋大会2018 - 5五将棋 portal 開催されるそうです。どうしようかなぁ～。 現地での参加は無理そうだから、参加するなら代理操作を誰かに頼まないと…
http://dwango.co.jp/pi/ns/2018/0827/index.html 昨日のニュースですが、電王トーナメントは終了して来年の選手権にドワンゴから賞金が出る様になるらしいですね。 という訳で、「ライブラリを使えばこんなに簡単＆手抜きで賞金ゲットだぜ！」という問題提…
三目並べモードで方策勾配法＋Q(λ)＋Bootstrappingで正しく収束する様になりました。 という訳で、5五将棋モードに変更して学習用マシンに投入。 …と言うか、今朝から走らせてたんだけど、パラメータ更新後の後処理*1を忘れてて、さっき慌てて実装したのはこ…
https://teratail.com/questions/129845 OpenMPのomp_get_thread_num()関数とネストしての並列化絡みの仕様をちゃんと理解していなくて、正に上記URLの現象でバグってました。 デバッグにかれこれ6時間はかかったんじゃないかなぁ… まぁ、とりあえず動く様に…
先日書いたバグ疑惑ですが、結局色々調べた所「探査が足りてなくて正しく収束しない」という現象だと判断しました。 という訳で、5五将棋モードに設定変更して学習中。 …クソ重てぇｗ 一晩かかって３００局しか対局出来ません。 どうも、勾配の再帰計算＆初…
プランAですが、本命は「モンテカルロサンプリングを用いて行動価値関数の勾配を求める」方式なんですが、とりあえず妥協して厳密に勾配を求める方式に変更。 んで、Bootstrap部分は手を加えてないので正常動作。Q(λ)はまだバグ持ち… 現在は三目並べモードで…
http://d.hatena.ne.jp/Gasyou/20180710/1531215640 要するに「獲得した報酬が増えた→良いメタパラメータだった」「獲得した報酬が減った→悪いメタパラメータだった」って判断する訳ですから、Exploration Policyではなく通常のメタパラメータ*1の学習にも使…
Learning to Explore via Meta-Policy Gradient ざっと読んだ感じだと Off-Policy学習*1と組み合わせるのが前提のメタ学習アルゴリズム。 Exploration Policyと呼ぶ方策を導入し、これを方策勾配法で学習する。 通常の*2方策のパラメータ更新前後の予測報酬…
昨日書いた件ですが、「読みが正確になる→勝敗読み切りが早くなる→勝敗読み切り局面はBootstrappingしないので正しく学習出来なくなる」と言うのが原因でした。 んで、勝敗読み切り局面もBootstrappingする様に修正したら、無事に正しく収束しました。 ただ…
え〜、プランAの方ですが、探索ルーチンにバグが有って、評価値を更新すべきなのにしていない部分がありました。 で、ここをチョロっと修正。一行追加しただけです。 …したら、三目並べモードで収束しなくなりました ＿|￣|○ 探索のログを見る限りでは読みは…
えー、ひさかたぶりの更新ですが生きています。一応。 んで、肝心の開発ですが、ほとんど進んでいません（汗 まず、先日書いたカルマンフィルタの件ですが、方策勾配法と組み合わせるのは私には無理そうです。 それから、ステルスモードで動いているプランA…
Kalman Temporal Differencesという、TD法とカルマンフィルタを組み合わせた手法は存在する様なのですが、方策勾配法でも同様の事が出来ないかと検討中。カルマンフィルタの基礎作者: 足立修一,丸田一郎出版社/メーカー: 東京電機大学出版局発売日: 2012/10/…
ちゃんと書かずにブログタイトルとTwitterアカウント名だけ変更していましたが、GA将 Ver.10は「GA将？」に決めました。 '？'一個で'!'10個分という表記法としますので、Ver.11は「GA将！？」になる予定です。鬼が笑い死にする再来年の話ですが。
まず、課題。 駒割を重視しすぎて指し手がヌルい。 圧倒的な学習時間（≒対局数）不足。 テキトー過ぎる思考時間制御。 1.に関しては「15年前の評価関数だね」という感じの有り難い助言を頂きました。本当にその通りで、ここは改善の余地ありです。 2.ですが…
先程帰宅し、GA将!!!!!!!!!の第28回世界コンピュータ将棋選手権は無事終了しました。 一昨日・昨日は非常に有意義な時間を過ごす事が出来ました。主催者並びに関係者・参加者の皆様に感謝いたします。 結果はこちらから確認出来ますが、GA将!!!!!!!!!は4勝4…
ssp相手のスパーリングで、＋3000点からの逆転負けとかが非常に多いです。目視している限りでも、負けパターンの半分はそんな感じ。 三駒関係＋αの重み*1を色々変えて実験中ですが、現時点でこれでは選手権は絶望的ですね。 …最悪、Depth1で学習したパラメー…
Depth1でザッと学習するのに1日、そっから最低2週間程度はDetph2の学習に必要そうだし*1、まともなパラメータが出来上がるのは選手権直前かも。 *1:楽観的観測
sspとスパーリングすると、大抵終盤で頓死します。どうも、三駒関係＋αの重みが小さ過ぎる様です。 という訳で、駒割以外をもうちょっと重視する様に設定変更して再度学習中。
負け無しの53連勝出来ました。 という訳で、現在sspとスパーリング中。
1ヶ月以上放置していましたが、生きてます。一応。 んで、コンピュータ将棋の方ですが、勾配計算ルーチンをリファクタリングして、5五将棋モードで対ssp（ハンディキャップマッチ）で勝率69.3％になりました。リファクタリング前とほぼ同等ですので、まぁ妥…
これは、今年は開催無しなんでしょうかねぇ。それはちと寂しいです。
638勝332敗で勝率65.8％。 これは、デグってた訳では無く、単に最初の勝率（69.6％）がラッキーパンチだったって可能性もありますね。 ま、とりあえずこの問題は解決済みとして、次行きましょう、次。
対局用ルーチンを色々弄っていたら、いつの間にか対sspの勝率が5ポイントほど減少。 原因がサッパリなんで、とりあえず過去最高の勝率を出した時のソースにロールバックして連続対局中。 これで勝率が元に戻ったら、学習ルーチンとログ出力クラスだけロール…
