id:streakeagle:20070912:1189599587で書いた進行度を用いた評価関数ですが、どうもこの改良をする前の方が6x6のリバーシに向いているみたいです。試しに1プロセスだけ動作させていた旧バージョンの方が良い結果でした。 原因を予想してみると、6x6のリバー…

http://pc.watch.impress.co.jp/docs/2007/0927/demo03.htm Fusion-ioというメーカのioDrive。PCI Express x4搭載のカードで、容量は40GB〜640GB。 「デモでは4KBのランダムアクセス読み出し速度で400MB/sec弱を発揮する結果を紹介。」と書いてあるので、PCI…

http://pc.watch.impress.co.jp/docs/2007/0927/kaigai389.htm あくまで断片的な情報からの予測でしょうが、読み物としては面白いと思います。 Penryn*1とNehalemのダイ写真からコアの大きさの比率を1:1.5と予測していますが、そのうち5%前後はSMT*2による増…

なんだかんだで色々やりましたが、細かい事だし読んでも面白く無さそうなのでパス。 大きい改良は評価関数専用のメタ強化学習エージェントをを作って、平均二乗誤差が最小になる様に学習率の調整をさせようとしました。 が、これは失敗。色々原因は考えられ…

えー、6x6のリバーシですが、石差が+30〜-30まで激しく変化していました。って、失敗してますがな。 一部のメタパラメータを手打ちしているのですが、その中の一つが過激な設定すぎた様です。 という訳で、ちょっと大人し目の値にしてリトライしてみます。

Windows Vista Ultimate限定で、動画をデスクトップの背景に出来るDreamSceneが公開されていたので試してみました。 で、「マルチディスプレイだと動作しないよ」ってメッセージが・・・ もういいです。バージョンアップで対応するのにも期待しない。どうせ…

というか、訂正。 本来はメタ強化学習一発で解決したかったんですが、それを何とかしようとしてるうちにメタパラメータ調整の勘所が分かってきました。 これは、メタメタパラメータ*1をメタ強化学習で調整したかったのですが、色々工夫しているうちにメタメ…

リバーシ関連 盤面の実装 評価関数の実装（あまり複雑な事はしない） 石の位置・手番による評価 手数と石の数による評価 着手可能数 開放度 この後の進展次第で追加 MinMaxの実装 探索値との平均二乗誤差の計算 メタ強化学習 αβの実装 必勝読みの実装 適格度…

とりあえずある程度の形は出来たので。学習の途中経過はこんな感じです。 解明結果である後手8石差前後で推移しつつそれより良い手が無いか探す、という結果になっています。 さっき10分ほど動かした結果だと、同条件で動かした4プロセス全部がきちんと学習…

http://pc.watch.impress.co.jp/docs/2007/0925/idf10.htm 今度はIntelのCtだとか。NVIDIAのCgを真似た名前でしょうかね。 で、用途はマルチコアCPU向けの科学技術演算みたいです。 コンパイル手順はCtで書いたソースを専用コンパイラでOpenMP*1対応のC++ソ…

http://pc.watch.impress.co.jp/docs/2007/0925/ubiq198.htm スペックはコアクロック3.06GHz、FSB 1066MHz、L2 6MB*1でTDP 45Wだとか。 今の視点で見ると魅力的ですが、もうちょっと待てばNehalemが出てくる事を考えると微妙な位置づけ。 てか、デスクトップ…

http://pc.watch.impress.co.jp/docs/2007/0925/amd.htm 倍率変更可能って事ですから、2.8GHzにオーバークロックして使うのがデフォになるんでしょうか？ 当たりの個体じゃなくても3.2GHzを狙えるというのならかなり面白そうですが・・・私には用途が無いで…

まず、パラメータの類とそれが影響する範囲をまとめると、こうなります。メタメタパラメータ ↓ 動作に影響する メタエージェント ↓ 調整する メタパラメータ ↓ 動作に影響する エージェント ↓ 調整する パラメータ ↓ 動作に影響する 評価関数 で、今まではメ…

4プロセス中正しく学習したのは2つ。さっきのとあわせると、成功率は75%で変わらず。

まず、メタエージェント*1が学習する間隔が今までは100局ごとだったのを、一局終わるごとに0.02の確率で学習する様に変更。 これは、先手のメタエージェントと後手のメタエージェントが同じタイミングで学習すると不具合があるかもしれないと考えたからです…

4x4のリバーシをメタ強化学習ありの強化学習で4プロセス走らせてみた結果、3つは正しく8石差と学習し、1つは9石差でした。全部同じ条件での実験なので、乱数の影響で結果が変わっているのでしょう。 で、ログを見てみると先手と後手が「もうこれ位の石差で手…

http://journal.mycom.co.jp/articles/2007/09/24/idf01/index.html 新CPUのPenrynファミリ・X38チップセットやデュアルCPUのSkullTrailから、来年発売予定のNehalemまで順序良くまとまっています。 といっても、DDR3世代のFB-DIMM2が出てくる様子が無い、と…

リバーシ関連 盤面の実装 評価関数の実装（あまり複雑な事はしない） 石の位置・手番による評価 手数と石の数による評価 着手可能数 開放度 この後の進展次第で追加 MinMaxの実装 探索値との平均二乗誤差の計算 メタ強化学習 αβの実装 必勝読みの実装 適格度…

今までは全ての手を等しい確率で選択するという処理だったのですが、Boltzmann分布を使って評価値の高い手ほど高確率で選ぶ様に変更しました。 Boltzmann分布には温度というメタパラメータがあるのですが、それもメタ強化学習で修正可能に。 今一回動かした…

完全読み8手 必勝読み無し それ以外はαβ5手で指し手決定 だと上手くいきました。 ただ、4x4のリバーシで最初から4石置いてあるので、αβで先読みするのは最初の4手だけ。これじゃぁ上手くいって当然です。 で、試しに完全読みを6手に減らしてみると、こんな感…

結果は・・・微妙。 前よりは良いけど、4x4のリバーシですら学習がちゃんと進むかどうかはいまだに運任せ。 もうちょっと修正しないとダメだけど、方針が決まらないので少し考えてみます。 やっぱ、αβとか必勝読みとかを実装してからじゃないと、上手く動か…

n本腕バンディット問題*1でテスト中。 複数のメタパラメータ*2を同時に調整させてもちゃんと動いたし、非定常環境*3でも動作。おおむね上手くいっいます。 これ以上自分で考えた拡張をしても改悪にしかならなさそうなので、このままリバーシにメタ強化学習を…

http://www.cns.atr.jp/cnb/papers/pdf/Schweeighofer2003nn.pdfの論文をほぼそのまま実装。n本腕バンディット問題はちゃんと学習してくれました。 が、細かい所で色々困った事があります。さて、どうするか。 とりあえず無視してリバーシにメタ強化学習を使…

Penrynファミリは11月12日投入 http://pc.watch.impress.co.jp/docs/2007/0920/idf02.htm ただし、デスクトップ向けはハイエンドのCore 2 Extreme QX9650のみ。それ以外のモデルは来年1月の予定だとか。 QX9650は3GHz動作のクアドコア、FSBは1333MHz、L2 6MB…

てな訳で、まずは論文を読んで、その後はソースを一から作り直します。 現在のソースはn本腕バンディット問題をεグリーディー方策で解く場合にしか使えないし、色々ゴチャゴチャやりすぎてメンテするのも大変なので、思い切って破棄。 今週中には・・・終わ…

FASN8対抗のSkulltrail http://pc.watch.impress.co.jp/docs/2007/0919/idf01.htm XeonのCPU・チップセットをほぼそのまま流用したゲーマー向けPCですが、NVIDIAのSLIが動作する構成でデモされていた模様。 Nehalemの初期サンプル http://journal.mycom.co.j…

細々した修正を色々してみるものの、メタ強化学習は上手く動いてくれません。 で、コードをいじるのは一旦中断して、ソースを印刷して見直す＆以前見つけた論文を読む事にします。

http://pc.watch.impress.co.jp/docs/2007/0918/intel.htm まさかLarrabee*1は物理演算専用になります、なんて事は・・・あったらやだなぁ。 *1:Intelが開発中の、x86ベースの高並列プロセッサ

http://pc.watch.impress.co.jp/docs/2007/0918/amd.htm デュアルコアより高性能でクアドコアより安いってプロセッサの需要がどの程度あるかは不明ですが、値段次第では売れ筋になるでしょう。

http://pc.watch.impress.co.jp/docs/2007/0918/kaigai387.htm 要するに「Nehalemではメモリの容量を確保する為に3チャネルのDDR3にしました」「FB-DIMMを使う現在のチップセットと同程度の容量を確保出来ます」「ただし、容量を増やす為には速度面で制約が…