GA将?開発日記~王の理とは~

ネタ勢最強を目指して絶賛開発中。

メモ

Windows 10でキーボード入力が出来なくなった場合の対処

今日Windows 10 Proの開発用マシンを触っていたら、突然キー入力を受け付けなくなりました。 現象としては下記の通り。 画面描画は正常に行われている(時計の秒針やタスクマネージャーは動いている)。→フリーズでは無いらしい。 マウスクリックは認識した…

エントロピー正則化の勾配計算(修正済み)

policy gradientがexploration不足のまま決定的になりすぎてしまう場合、行動分布のentropyを最大化する項を正則化として加えるという方法がありますが、試してますでしょうか?— mooopan (@mooopan) 2018年11月24日 Twitterで@mooopanさんに教わった手法で…

Aero Shakeっていらない子だよね

http://weekly.ascii.jp/elem/000/000/022/22691/ という訳で、上記サイトを参考にオフにしてみます。

どうぶつしょうぎの完全解析結果をWindows(Visual C++)で使う方法(大雑把なまとめ)

https://www.tanaka.ecc.u-tokyo.ac.jp/ktanaka/dobutsushogi/ URLは再掲。上記サイトのプログラムを以下の環境で動かす事に成功したので、メモ。 OS:Windows 7 Professional x64 開発環境:Visual Studio Community 2015 プログラムの修正が必要だった箇所は…

USIエンジンをPGOで最適化

環境はWindows 7 x64,Visual C++ 2008。 手順は下記の通り。 将棋所で適当な条件(5分切れ負けとか)で対局。 デバッグウィンドウの内容を全部テキストファイルにコピー。 grepでGUI→エンジンのコマンドだけ取り出し、usi_command.txtに保存。 VC++でビルド→…

xyzzyのhtml+-modeをHTML5対応に設定変更してみた

まずは http://labo.rn404.com/doku.php/rn404.dashboard/xyzzy/html5 を参考にetc/HTMLとhtml+-mode.l、.xyzzyを修正。 …ダメでした。 んで、更にググる。http://bluestar.s32.xrea.com/text/xyzzy.php 発見。(setq ed::*html+-use-html-kwd* t)って書かな…

Windows 7 x64のエクスプローラでトラックポイントのスクロールを有効にする方法

Vistaではスクロール出来ていたのが、7だとNGだったので調べてみました。主にこの辺を参考に。 まず、やった事。 http://www.synaptics.com/support/driversからv15.2.20のドライバをダウンロード&インストール C:\Program Files\Synaptics\SynTP\tp4table.…

ソフトマックス方策を用いた方策勾配法の計算式(リトライ版)

http://d.hatena.ne.jp/Gasyou/20100916/1284623513 が間違ってたんで再計算。今度は後で検証しやすい様に、途中経過も詳しく書いてみる。 最初に、状態=局面、行動=手として扱うので、これ以降はそれぞれ"局面"、"手"と記述する。 行動価値関数は線形近似、…

Policy Gradient Methods for Reinforcement Learning with Function Approximation読んだまとめ

例によって自分用です。 アブストラクト 大規模な強化学習問題を解くには関数近似が必要だ。過去10年で主流だったのは価値関数の近似(と、それをベースにした方策)だった。これは多くの応用において良く働いたが、その手法にはいくつかの限界もある。 この…

4x4リバーシで片一方のプレイヤーだけが最善を尽くす場合の解明結果

対局条件は下記の通り。 4マスx4マスのリバーシ 黒(または白)番のプレイヤーは最善を尽くす 白(または黒)番のプレイヤーは最初の手*1を指す 結果は、黒のみ最善だと+16で黒の勝ち、白のみ最善だと-14で白の勝ちになる。 *1:Ver 5.0.08時点のGA将!!!!!の…

評価値の計算式を変えるんで、方策勾配法の式を再計算

まず、行動価値関数(≒評価関数)の式は下記の通り。 ここで、Bは特徴量の数(次元数)、は特徴量、sはシグモイド関数(+α*1)で、下記の通り。gはゲイン。 次に、方策は下記の通り。 次に、は下記の通り計算出来る。なお、式中の// 2010/10/17 21:10修正 *…

ソフトマックス方策を用いた方策勾配法の計算式その2〜温度も学習しよう〜

方策πの式は下記の通り(再掲)。 Qは価値関数で、sの手番が優位な局面ほど高い値となる。 んで、温度Tで偏微分すると下記の通り。 // TeXの式が長すぎて画像表示されなくなったので、続きは別に。

ソフトマックス方策を用いた方策勾配法の計算式

どっかおかしかったら指摘お願いします。 まず、行動価値関数Qは下記の通りの線形近似を行う。 ここで、Bは特徴量の数(次元数)、は特徴量。 次に、方策は下記の通り。 次に、は下記の通り計算出来る。// 17:54修正 こうですか分かりません // 21:09追記 間…

問題レポート(Microsoftへのエラー報告)の無効化方法 for Windows 7

コントロールパネル→アクションセンター→アクションセンターの設定を変更→問題レポートの設定→レポートから除外するプログラムの設定。 ここで自作のアプリを登録しておけば、問題発生時にデバッグするかの確認ダイアログが出てくる。

関数テンプレートへのポインタの配列の定義・使用方法

明日やる修正で必要なので、事前にサンプルコードでテスト。 関数テンプレートへのポインタ 型名・関数ポインタの宣言は通常でOK。代入は関数名にテンプレート引数をつけてやれば良い。 ↓例 size_t (*fPtr)( size_t ) = doTemplateTest<int>; 関数テンプレートへ</int>…

Vista x64でGoogle Desktopのインストール方法

3. コマンド「googledesktopsetup.exe /force」を入力します。 http://desktop.google.com/support/bin/answer.py?hl=jp&answer=25631 私の環境だと、とりあえず動いてます。

Vistaの自動フォルダタイプ無効化方法

http://www.atmarkit.co.jp/fwin2k/win2ktips/1022foldertype/foldertype.html HKEY_CURRENT_USER\Software\Classes\Local Settings\Software\Microsoft\Windows\Shell\Bags\AllFolders\Shellに文字列型で名称"FolderType",値"NotSpecified"を書き込む。(Al…

選手権終わったらやりたい事まとめ

まぁ、選手権の対局を見てればこれ以外にもやりたい事が出てくるでしょうけど。 Atomで一台組む(floodgate等に) コンピュータ将棋の改良 一からコードを書き直す(現在も進行中) 三目並べ・リバーシ・将棋を一つの強化学習エージェントで学習可能にする …

NOD32 v3.0とPOPFileの設定

受信関係の構成 gmailサーバ → POPFile → Thunderbird NOD32をv2.7からv3.0にバージョンアップしたら、Thunderbirdで受信出来なくなったので、対処方法をメモ。 やる事は簡単で、メールサーバの設定を"localhost"から"127.0.0.1"に変更する。これだけ。 つい…

静止探索中で詰みを誤認する局面(再現用コード付き)

完全にチラシの裏なんで「続きを読む」で。

Linuxで作ったJavaのソースをWindowsでコンパイルする方法

ソースの文字コードがEUC-JPだとjavac.exeでのコンパイル時にエラーが出る。 コンパイル時に-encoding EUC_JPオプションを付ければ解決。