CUDAのメモリモデル

http://www.4gamer.net/games/032/G003263/20080306051/

マルチGPUではメモリは疎結合だから、共有するデータは何らかの方法で同期してやらないとダメなんですね。

つまり、メモリ管理の仕方はマルチCPU・マルチコアCPUよりクラスタに近いって事ですか。

評価関数をCUDAで動かして強化学習をする場合なら、評価関数のパラメータは全GPUのメモリに同じ値を配置しておいて、パラメータを更新したタイミングで新しい値をコピーしてやればOKでしょう、たぶん。

まぁ、私には9800 GX2なんてどうあがいても買えないでしょうから、せいぜい8800 GT * 2枚位でしょうが。