品質確認の時間も短縮、ルンバも使ったクラウドシミュレーターの可能性とは：クラウド×ロボットの現在（2）（3/3 ページ）

強化学習をシミュレーション環境で行う「AWS DeepRacer」

　このように、品質確認のための自動テストにクラウドシミュレーターを利用することは非常に有効です。そしてもう1つ、クラウドシミュレーターの用途として注目されている分野があります。それが機械学習です。

　特に機械学習の一分野である強化学習をロボットに応用する場合、シミュレーションはなくてはならない存在です。強化学習はエージェントが試行錯誤しつつ、環境に応じたより良いアクションの取り方を身に付けていくという学習手法です。この試行錯誤の過程をリアルのロボットで行うと、繰り返しの過程でハードウェアが摩耗したり、想定されていないアクションから損傷したりというリスクがあり、大変負担が大きくなります。可能な限りシミュレーションで行うのが賢いアプローチといえるでしょう。

　また強化学習にはエージェントに「試行錯誤」させる過程が必要となりますが、優れたモデルを作ろうとすればするほど、この過程が長大化していく傾向があります。長大化した分、多くの計算リソースと時間を投入しなければなりませんが、クラウドシミュレーターを使えばローカルの計算リソースを長時間に渡って占有する心配もなくなります。

強化学習：エージェント（Agent） がアクション（Action） を起こし、これによって引き起こされたエージェント周りの環境変化をステート（State）として、アクションの良しあしを報酬（Reward） としてエージェントに返す。報酬を決める処理を報酬関数と呼び、これはあらかじめ定義しておいたルールに従ってアクションの良しあしの点数付けをします（C） 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

　こうしたシミュレーターによる強化学習を体験し、学ぶための機会として「AWS DeepRacer」を紹介したいと思います。AWS DeepRacerはAWSが主催するシミュレーターを活用したレーシング大会です。シミュレーション上で構築した強化学習のモデルをデプロイしたカメラなどのセンサーを備えた自律走行のレースカーにコーストラックを周回させそのタイムを競い合う、あるいは、障害物を回避しながらもう1台のレースカーと直接対決します。レースカーはセンサーからの情報を環境として受け取り、その情報を基に、エージェントはアクションとしてハンドルの角度と走行スピードを変化させます。なお、AWS DeepRacerでは、強化学習用のシミュレーターに AWS RoboMakerのクラウドシミュレーターを使います。

　ちなみにAWSは「AWS Robot Delivery Challenge」というロボットコンテストも実施しています。こちらは周回タイムを競うAWS DeepRacerと異なり、特定の地点を通過するまでのタイムを競う競技です。その予選リーグは AWS RoboMakerのシミュレータで実施されました。今後、このようにロボットコンテストの一部をシミュレーションで開催するという事例も増えていくことでしょう。

AWS DeepRacer は強化学習に AWS RoboMaker のクラウドシミュレーターを利用している（C） 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

ロボットシミュレーターの今後、クラウド活用の今後

　今回紹介したクラウドシミュレーターによる「品質確認作業の省力化」と「機械学習のシミュレーション」という2つの事例をはじめ、商用をターゲットとしたシミュレーションの活用事例は今後徐々に増えてくるものと考えられます。例えば、竹中工務店はロボットの建設現場をシミュレーション環境上に再現して、現場投入前にロボットの走行を確認できるようにしています。

　ロボットのハードウェア開発においては既にさまざまなシミュレーターが幅広く活用されていますが、今後はソフトウェアの開発においても、開発工程の複雑さが増す中で、効率化と品質維持を目的としたシミュレーターの利用に注目が集まるでしょう。シミュレーションをどのように効果的にプロジェクトに取り入れていくか。まさに今、その検討が各所で起こっています。

　今回はここまでです。 次回は最終回として AWS RoboMaker をお試しいただける簡単なチュートリアルを紹介する予定です。