頭と尻尾はくれてやる!

パソコンおやじのiPhoneアプリ・サイト作成・運営日記


強化学習(DQN)で3枚板のロボットを歩かせる(2)

強化学習(DQN)で3枚板のロボットを歩かせる
↑この続き。
766ステップ後は↓こんな感じになってる。



赤い線を右(x軸をプラス方向)に行くように学習しているんだが、入力は板の角度だけであり、自分の姿勢は考慮外なので、実行時にロボットはどっち方向へ向かってるかは知らぬ存ぜぬ、である。

誤差がなければy軸(画面の上方がプラス)周りに回転するはずもなく、z軸(青い線、画面手前方向がプラス)方向の移動もないはずなんだが、、、そういうわけにもいかないようで(それを希望なら2次元の物理エンジンを使えってことだな)。

一定方向へ進んでいるようにも見えるがよくわからない。
困ったことにNNの係数が変わっていなくても試行のたびに動きが異なるのである。いろいろと誤差を含むところあるしなあとは思うのだが、NNによるアクションよりも偶然の物理エンジンの処理結果の方が影響が大きいようで、これをなんとかしないといけないな。






<< SceneKitの物理エンジンでオブジェクト間の隙間を設定する  TopPage  shader modifiersでバグ回避 >>

コメント


管理者にだけ表示を許可する
 

トラックバック

トラックバックURL
http://ringsbell.blog117.fc2.com/tb.php/1158-d08c24d6




Copyright ©頭と尻尾はくれてやる!. Powered by FC2 Blog. Template by eriraha.

FC2Ad