強化学習した動きを、シミュレーションから実機へ——バク転・倒立・壁越えを四足ロボットに載せるまで

シミュレーションの中では何でもできる。難しいのは、その動きを実機の上で同じように再現することです。私たちは、Isaac Labで学習しMuJoCoで確かめた運動ポリシーを実機に載せ、ギャロップ走行・後足倒立・バク転・ジャンプ・壁越え・起き上がりを実機で成功させてきました。 本記事では、学習→sim-to-sim→実機デプロイのパイプライン、報酬設計の「抜け穴」との戦い、そしてsim-to-realギャップを実測で潰していく過程を紹介します。