今日Windows 10 Proの開発用マシンを触っていたら、突然キー入力を受け付けなくなりました。 現象としては下記の通り。 画面描画は正常に行われている（時計の秒針やタスクマネージャーは動いている）。→フリーズでは無いらしい。 マウスクリックは認識した…

policy gradientがexploration不足のまま決定的になりすぎてしまう場合、行動分布のentropyを最大化する項を正則化として加えるという方法がありますが、試してますでしょうか？— mooopan (@mooopan) 2018年11月24日 Twitterで@mooopanさんに教わった手法で…

http://weekly.ascii.jp/elem/000/000/022/22691/ という訳で、上記サイトを参考にオフにしてみます。

https://www.tanaka.ecc.u-tokyo.ac.jp/ktanaka/dobutsushogi/ URLは再掲。上記サイトのプログラムを以下の環境で動かす事に成功したので、メモ。 OS:Windows 7 Professional x64 開発環境:Visual Studio Community 2015 プログラムの修正が必要だった箇所は…

環境はWindows 7 x64,Visual C++ 2008。 手順は下記の通り。 将棋所で適当な条件（5分切れ負けとか）で対局。 デバッグウィンドウの内容を全部テキストファイルにコピー。 grepでGUI→エンジンのコマンドだけ取り出し、usi_command.txtに保存。 VC++でビルド→…

まずは http://labo.rn404.com/doku.php/rn404.dashboard/xyzzy/html5 を参考にetc/HTMLとhtml+-mode.l、.xyzzyを修正。 …ダメでした。 んで、更にググる。http://bluestar.s32.xrea.com/text/xyzzy.php 発見。(setq ed::*html+-use-html-kwd* t)って書かな…

Vistaではスクロール出来ていたのが、7だとNGだったので調べてみました。主にこの辺を参考に。 まず、やった事。 http://www.synaptics.com/support/driversからv15.2.20のドライバをダウンロード＆インストール C:\Program Files\Synaptics\SynTP\tp4table.…

http://d.hatena.ne.jp/Gasyou/20100916/1284623513 が間違ってたんで再計算。今度は後で検証しやすい様に、途中経過も詳しく書いてみる。 最初に、状態=局面、行動=手として扱うので、これ以降はそれぞれ"局面"、"手"と記述する。 行動価値関数は線形近似、…

例によって自分用です。 アブストラクト 大規模な強化学習問題を解くには関数近似が必要だ。過去10年で主流だったのは価値関数の近似（と、それをベースにした方策）だった。これは多くの応用において良く働いたが、その手法にはいくつかの限界もある。 この…

対局条件は下記の通り。 4マスx4マスのリバーシ 黒（または白）番のプレイヤーは最善を尽くす 白（または黒）番のプレイヤーは最初の手*1を指す 結果は、黒のみ最善だと+16で黒の勝ち、白のみ最善だと-14で白の勝ちになる。 *1:Ver 5.0.08時点のGA将!!!!!の…

まず、行動価値関数（≒評価関数）の式は下記の通り。 ここで、Bは特徴量の数（次元数）、は特徴量、sはシグモイド関数（＋α*1）で、下記の通り。gはゲイン。 次に、方策は下記の通り。 次に、は下記の通り計算出来る。なお、式中の// 2010/10/17 21:10修正 *…

方策πの式は下記の通り（再掲）。 Qは価値関数で、sの手番が優位な局面ほど高い値となる。 んで、温度Tで偏微分すると下記の通り。 // TeXの式が長すぎて画像表示されなくなったので、続きは別に。

どっかおかしかったら指摘お願いします。 まず、行動価値関数Qは下記の通りの線形近似を行う。 ここで、Bは特徴量の数（次元数）、は特徴量。 次に、方策は下記の通り。 次に、は下記の通り計算出来る。// 17:54修正 こうですか分かりません // 21:09追記 間…

コントロールパネル→アクションセンター→アクションセンターの設定を変更→問題レポートの設定→レポートから除外するプログラムの設定。 ここで自作のアプリを登録しておけば、問題発生時にデバッグするかの確認ダイアログが出てくる。

明日やる修正で必要なので、事前にサンプルコードでテスト。 関数テンプレートへのポインタ 型名・関数ポインタの宣言は通常でOK。代入は関数名にテンプレート引数をつけてやれば良い。 ↓例 size_t (*fPtr)( size_t ) = doTemplateTest<int>; 関数テンプレートへ</int>…

3. コマンド「googledesktopsetup.exe /force」を入力します。 http://desktop.google.com/support/bin/answer.py?hl=jp&answer=25631 私の環境だと、とりあえず動いてます。

http://www.atmarkit.co.jp/fwin2k/win2ktips/1022foldertype/foldertype.html HKEY_CURRENT_USER\Software\Classes\Local Settings\Software\Microsoft\Windows\Shell\Bags\AllFolders\Shellに文字列型で名称"FolderType",値"NotSpecified"を書き込む。（Al…

まぁ、選手権の対局を見てればこれ以外にもやりたい事が出てくるでしょうけど。 Atomで一台組む（floodgate等に） コンピュータ将棋の改良 一からコードを書き直す（現在も進行中） 三目並べ・リバーシ・将棋を一つの強化学習エージェントで学習可能にする …

受信関係の構成 gmailサーバ → POPFile → Thunderbird NOD32をv2.7からv3.0にバージョンアップしたら、Thunderbirdで受信出来なくなったので、対処方法をメモ。 やる事は簡単で、メールサーバの設定を"localhost"から"127.0.0.1"に変更する。これだけ。 つい…

完全にチラシの裏なんで「続きを読む」で。

ソースの文字コードがEUC-JPだとjavac.exeでのコンパイル時にエラーが出る。 コンパイル時に-encoding EUC_JPオプションを付ければ解決。