「自ら進化するAI」について 「強化学習」による研究事例にスポットを当てて確認していきましょう
9. スライド学習① ( 9 / 12 )
「自ら進化するAI」の研究事例紹介
ピッキングロボット
商品を取り出して移動作業を行う「ピッキングロボット」では、「強化学習」が活用されているものがあります。
ロボットは、トレーの中の様々なモノを別のトレーに移す作業を通して、モノを正確につかみ、移動させる方法を学習します。
学習を進めることで、ピッキングロボットの能力がどれほど向上するのかを、学習の序盤と、学習の終盤の動画で確認しましょう。
・学習の序盤
学習の序盤では、上手く作業ができていません。最終的には、成功回数は17回、失敗回数は10回となり、全てのモノを移動させることもできませんでした。
ピッキングロボットの学習（序盤）（1分27秒）
引用元：Peter Pastor「One-shot grasping often leads to failed grasp attempts」
・学習の終盤
学習の終盤では、様々な形状のモノを器用につかんで移動させることができています。最終的には、成功回数は22回、失敗回数は6回となり、ほぼ全てのモノを移動させることができました。
ピッキングロボットの学習（終盤）（1分50秒）
引用元：Peter Pastor「Continuous visual feedback improves grasp success rate」
最初は上手くつかむことができていなかったけど 学習を重ねることで 上手に作業を行うことができていますね
「強化学習」ではこのように学習を行うことで さまざまなことを覚えていくんですね
歩行ロボット
どんな地形でも転倒せずに進む、歩行ロボットの学習にも「強化学習」が活用されています。
バーチャル空間上で学習を行う歩行ロボットの、学習の序盤と、学習後、現実世界での応用についての動画を見ながら確認してみましょう。
・学習の序盤
以下の動画では、バーチャル空間上にて、数千体のロボットによる歩行の学習を確認することができます。
0:12～0:18の間に表示される、でこぼこしている地面や、段差のある複雑な地形でも倒れずに、上手く歩くことができるように学習を行います。
0:19から、学習が始まります。数千体のロボットが一斉に20分かけて学習を行います。
複数台での歩行ロボットの学習の様子（37秒）
引用元：Robotic Systems Lab: Legged Robotics at ETH Zürich「Learning to Walk in Minutes Using Massively Parallel Deep RL」
・学習後
以下の学習後の動画では、複雑な地形でも倒れることなく、安定して歩行できている様子を確認することができます。
複数台での歩行ロボットの学習後の様子（29秒）
引用元：Robotic Systems Lab: Legged Robotics at ETH Zürich「Learning to Walk in Minutes Using Massively Parallel Deep RL」
・現実世界での応用
バーチャル世界でトレーニングを行った歩行ロボットはその後、現実世界のロボットに応用されます。
以下の動画では、学習後の歩行ロボットが現実世界で動作する様子を確認することができます。
学習を行ったおかげで、段差、階段、障害物があっても倒れることなく歩行できています。
学習を行った歩行ロボットの現実世界での動作（41秒）
引用元：Robotic Systems Lab: Legged Robotics at ETH Zürich「Learning to Walk in Minutes Using Massively Parallel Deep RL」
一斉に数千体のロボットを使って学習を行うことで 学習時間を短縮することができ この動画の例では たった20分ほどで複雑な地形でも倒れることなく歩行ができるようになっています
バーチャル世界で学習を行ったロボットが 現実世界でも活用されているなんてすごいな
自動運転
車の自動運転を実現するために、「強化学習」が活用されています。
映像に登場する車のうち、赤色の車は人間が操作していますが、複数のシルバーの車両は自動で走行しています。
シルバーの車両は「強化学習」により、衝突を避けるよう学習済みであり、互いに衝突を回避するよう、適切に進路を変更する様子が観察できます。
学習を繰り返すことで、自動運転システムは障害物を回避し、事故を防止する能力を向上させていきます。
学習済みの車両による自動運転デモンストレーション（1分10秒）
引用元：Preferred Networks「Autonomous robot car control demonstration in CES2016」
自動で走行する車は 前方に車がいれば一時停止したり バックしたり 状況に合わせて走行しているのがすごいですね
この技術が向上することで より安全な自動運転の車の開発が進んでいくんですね
サッカーゲーム
ロボットによるサッカーゲームを「強化学習」で実現することができます。
この動画では、青チームと緑チームに分かれ、ロボットたちが自律的にサッカーの試合を行っています。
映像の中のロボットは「強化学習」により既に学習済みであり、ロボットによるサッカーの試合を実現することができます。
学習の初期段階では、ロボットの動きはぎこちなく、効果的なプレーを行うことは難しいそうですが、丸1日～2日ほど学習させることで、映像にあるようなしっかりとした試合の動作を実現できるようになります。
学習済みのロボットによるサッカーの試合（7分49秒）
引用元：Unity Japan「Unityとtoioによるロボサッカー強化学習」
人間がコントロールしているわけではなくて ロボットたちが自律的に動いているんだよな
パスされたボールを追いかけたり ゴールを守ったり 人間と同じような振る舞いができていてすごいな！
「強化学習」により 学習を重ねてかしこくなっていく様子は 人間の学習方法に近いものを感じますね
「自ら進化するAI」について 理解を深めることはできましたか？
この事例を見た感想を レポート形式でまとめてみましょう
