トラブるのも困りますが、順調すぎても楽しみが少ない・・・
そんな訳で蝶・順調です。
昨日書いた慣性項の効果はかなり大きくて、学習率が2桁大きくて慣性項無しの場合と同等の学習速度になりました。おまけにきちんと収束してるみたいですし、かなりイイ感じです。
さて、そんな訳で順調かと思いきや、ログをよくよく見ると2時間ほど走った後に落ちてました。
パラメータを変えて4プロセス同時に走らせていたのですが、全部同じ場所で落ちてるので割とシンプルなバグっぽいです。
・・・と思ったら、以前潰した筈のバグが残ってました orz
そんな訳で、今度こそ一晩完走出来る状態になったはずなので、再度トライしてみます。調子に乗って学習率をさらに2桁小さくしてみましたが、学習時間が10倍になるはずなので多分大丈夫でしょう。