A New Softmax Operator for Reinforcement Learning

後で読む

https://arxiv.org/pdf/1612.05628.pdf

2016-12-17

ステイルメイト出ました〜〜〜

開発日記

30000局終了 +---+---+---+---+---+ | | | | | | +---+---+---+---+---+ | | | | | | +---+---+---+---+---+ |v歩| | | |v全| +---+---+---+---+---+ | | |v王|v金| | +---+---+---+---+---+ |^王| | | | | +---+---+---+---+---+ 歩,香,桂,銀,金,角,飛, 0, …

2016-12-17

HYPERサイコロ将棋モード実装中

開発日記

とりあえず、サイコロを振って出目に応じて手生成する部分は実装完了。それから、千日手の判定ルーチンも無効化完了。ルール部分で残るは「ステイルメイトの禁」だけですが、これは探索ルーチン側で対応する事にします。んで、現在はテスト中ですが、明日…

2016-12-16

Road to 第1回UEC杯 in GATサイコロ将棋大会

開発日記

http://minerva.cs.uec.ac.jp/~uec55shogi/wiki.cgi?page=%C2%E81%B2%F3UEC%C7%D5+in+GAT%A5%B5%A5%A4%A5%B3%A5%ED%BE%AD%B4%FD%C2%E7%B2%F1 ジムでエアロバイク漕ぎながらプランを練ってきたんで、まとめておきます。スケジュール 2016/12末まで HYPERサイ…

2016-12-02

コンピュータ将棋 Advent Calendar 2016 開催

コンピュータ将棋

http://d.hatena.ne.jp/hiraoka64/20161201/1480603616 トップバッターの平岡さんの記事が公開されていたので、早速読んでみました。開発を楽しんでいる様子が分かって、読んでいて面白かったです。んで、私も12/13に投稿予定なんですが、平岡さんのクオリ…

2016-11-17

ファミコンのソフトと対局してみた

開発日記

ちょっとした事情でファミコンソフトの「将棋竜王戦」を入手したので、第25回選手権バージョンのGA将と対局させてみました。手合割：平手先手：Gasyou8_8.0.35e 後手：かなた先生手数----指手---------消費時間-- 1 ２六歩(27) (00:09 / 00:00:09) 2 ５…

2016-11-12

GPW杯5五将棋大会2016で優勝しました

コンピュータ将棋

http://minerva.cs.uec.ac.jp/~uec55shogi/wiki.cgi?page=GPW%C7%D5%A5%B3%A5%F3%A5%D4%A5%E5%A1%BC%A5%BF%A3%B5%B8%DE%BE%AD%B4%FD%C2%E7%B2%F12016 私は現地に行けなかったので、芝浦工業大学五十嵐研の原さんに代理操作して頂きました。感謝感謝。参加…

2016-11-12

PGQ: COMBINING POLICY GRADIENT AND Q-LEARNING

後で読む

https://arxiv.org/pdf/1611.01626.pdf Deepmindの中の人の論文。方策勾配法とQ学習の組み合わせらしい。

2016-11-09

ちょっとだけ強くなった

開発日記

@MoriokaYuichi 線形近似の場合でも適用できるかわかりませんが、パラメータの出現回数を数えてMBIE-EBによって出現回数のルート分の1相当のボーナスを加えて行動決定するとかいかがでしょうか。応用されてDeepmind社のDQNに使われています。— Katsuki Ohto …

2016-10-26

PGLeafとアンサンブル学習を組み合わせた手法を実験開始

開発日記

DQNを実装して5五将棋で学習させてみたんですが、TD誤差が一向に減らないという問題が有って、これは一旦保留。んで、表題の手法のコード（前に書いた）を引っ張り出して来て、テスト＆デバッグ中。やる事はシンプルで、評価関数インスタンスを多数生成し…

2016-10-15

定跡構築は一時中断＆今後の方針を検討中

開発日記

定跡ですが、ある程度の局面を登録出来たので実戦投入したんですが、かえって弱くなっちゃいました。詳細はまだ未検証ですが、とりあえず一旦保留して、後日再検討します。んで、基本に立ち返って強化学習での評価関数パラメータの学習を再開…しようと思っ…

2016-10-03

定跡構築に着手

開発日記

Entropy Regularizationは難易度高過ぎで断念しました。んで、表題の通り定跡構築中。（5五将棋です。）細かいバグは大体取れたみたいなんで、一週間位走らせる予定。これで、20万局面は登録出来るはずです。 +---+---+---+---+---+ | |v飛| |v金|v王| +--…

2016-09-30

Entropy Regularizationの式の導出

開発日記

https://arxiv.org/pdf/1602.01783.pdf A3Cの論文にあるEntropy Regularizationの意味が（少しだけ）分かってきたので、実装の準備として微分してみる。まず、方策に対してエントロピーを考える。を代入すると（π・その他の記号の意味は http://gasyou.is…

2016-09-24

VS spp（5五将棋モード）誤差程度しか強くなってない

開発日記学習経過

PGLeafで引き続き学習させたバージョン。結果は639勝88敗で勝率87.9％。95％信頼区間は85.3〜90.2。前のやつより0.2％勝率上がってますが、まぁ誤差の範囲内ですね。とりあえず、このパラメータをベースにして探索パラメータの学習と定跡の構築をやってみ…

2016-09-23

VS ssp（5五将棋モード）よーしよしよし、いい感じ

開発日記学習経過

評価関数のバグをFIXしてから、PGLeafで12万3千局学習させたパラメータ。結果は270勝38敗で勝率87.7％、95％信頼区間は83.5〜91.1。これ自体はそんなに悪い数字じゃないですし、その後も順調にレベルアップしていますので、今後に期待が持てます。という…

2016-09-22

KPP＋手番評価にでっかいバグ発見

開発日記

どれ位でかいかと言うと、これでsspに勝率80％ってのが信じられなくなるレベルのバグです。んで、今日は午後から名古屋に行ってきたんですが、行きの電車の中でバグに思い至ってしまいました。ツー訳で、予定だった本屋巡りもそこそこにして帰宅。今から修…

2016-09-17

リファクタリング後のVS ssp（5五将棋モード）

開発日記学習経過

評価関数をリファクタリングしたので、弱くなってないのを確認する為に昨日と同じパラメータで連続対局。結果、458勝114敗で勝率80.1％。95％信頼区間は76.6〜83.3。少なくとも、弱くはなってないみたいなんで一安心です。という訳で、次は現在学習中のパ…

2016-09-16

VS ssp（5五将棋モード）

開発日記学習経過

修正した評価関数をPGLeafで学習させたもの。対局数は11万1千局。結果、310勝86敗で勝率78.3％。95％信頼区間は73.9〜82.2。最初は勝率85％前後で推移してたんで、結構期待してたんですけどねぇ。ブログに書いてなかったけど、前にTDLeaf(λ)＋Experience R…

2016-09-15

手番評価を追加＆バグ修正二件

開発日記

まず、Bonanza 6.0風の駒割＋KKP＋KPP＋αの評価関数に、手番評価を追加。やり方はNDFさんとは違って、（多分）独自方式です。まぁ、自力で考えましたが、同じ事は既に誰かがやっているはずです。んで、評価関数のテスト中に潜在バグを二件発見。KKPのイン…

2016-09-14

う〜ん、上手く行かないなぁ

開発日記

PGLeaf、AC-PGLeaf*1、LA-PGLeafと色々な学習ルーチンを、色々なメタパラメータで走らせていますが、どれも強くなってくれないです。対ssp（5五将棋モード）で勝率70％行けば良い方。んで、現在の評価項目はBonanza 6.0を参考に駒割＋KKP＋KPP＋αなんですが…

2016-09-07

インペリアルフォース2楽しぃいいい良い良い良い良い良い良い良い良い！！！！！

雑記

昔々のPC-9801が現役だった頃、インペリアルフォースというゲームが有りました。ゲームの内容としては、宇宙戦艦を建造して艦隊を編成し、他の星系を探索・征服していくという極めてシンプルなもの。んで、当時はまだガキだったんで「自分のPC」なんて物を…

2016-09-01

A3C+PGLeafをお試し中

開発日記

http://arxiv.org/abs/1602.01783 前に実装したコードを引っ張り出して来て、少し修正して走らせてみました。んで、ログを見ているとTDLeaf(λ)+Experience Replayの時より、CriticのTD誤差が大きくなっています。具体的には、それぞれ0.13と0.20位です（最…