JP6856936B2

JP6856936B2 - 学習方法、学習装置及び学習プログラム

Info

Publication number: JP6856936B2
Application number: JP2017232457A
Authority: JP
Inventors: クリストファーショバーグエリック; アルメイダフレッド
Original assignee: アセントロボティクス株式会社
Priority date: 2017-12-04
Filing date: 2017-12-04
Publication date: 2021-04-14
Anticipated expiration: 2037-12-04
Also published as: JP2019098949A

Description

本発明は、制御対象を自動で制御するためのエージェントの学習方法、学習装置及び学習プログラムに関する。

近年、自動車周囲の情報を検出し、車両の自動運転制御を実施する技術が提案されている。

特許文献１には、機械学習を利用して、自動運転制御を適正に行う車両制御装置に関する技術が開示されている。

特開２０１７−８７９０６号公報

ところで、機械学習によって自動運転制御を実現しようとする場合、教師なし学習の一種である強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）を使用する方法がある。

強化学習は、教師なし学習であるため、個別の局面ごとに制御対象（例えば、自動車など）がどう行動すべきかという指示は一切与えられず、エージェント自身が環境の中で試行錯誤を繰り返し、よりよい動作を自ら獲得していく手法である。

詳しくは、強化学習においては、何らかの手掛かりがない場合には、何がいい行動なのかエージェントは判断することができないため、見本となる行動に関する価値基準（報酬関数）を与えることが必要となる。エージェントは学習中において当該報酬を得ながら期待値を向上させるための行動を探索し獲得する。

しかしながら、このような強化学習は、例えば、自動車の運転制御のように複雑な環境の中ではどのような行動が「良い行動」かという数値基準を定義することが困難である。

そこで、本発明は、制御対象を自動で制御するためのエージェントの学習方法として新たな技術を提供することを目的とする。

上述した強化学習のみによっては効果的な学習方法を得ることができないことから、本発明の発明者らは、強化学習に加えて、エージェントに見本となる行動を模倣させる模倣学習（ｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ）により学習させる方法を検討した。

これにより、例えば、交差点のような複雑な曲面において、自動運転制御をどのように行わせるのか、その動作パターンを人間が局面ごとにプログラムするのではなく、見本行動としてエージェントに学習させることが可能となる。

更に、発明者は、模倣学習にＧＡＮ（ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ）を利用することにより、更に学習の効率を向上させることができることを見出し本発明に至った（詳しい構成は後述する）。

本発明はかかる知見に基づくものである。即ち、本発明によれば、
制御対象を自動で制御するためのエージェントの学習方法であって、
第１仮想環境を提供するシミュレータを利用して操作者による見本行動情報を取得するステップと、
実画像と、前記第１仮想環境から抽出された仮想画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成するステップと、
少なくとも前記疑似実画像を利用して構築された第２仮想環境上で、前記見本行動情報に基づいて前記エージェントを模倣学習により学習させるステップとを含む、
学習方法が得られる。

本発明によれば、人間が日々行っている動作を手本とするため、少なくとも人間が実施できる（即ち、見本行動として実施できる）動作であれば、報酬関数が設計できなくとも利用が可能となり、効果的な学習を行うことができる。

また、本発明によれば、実データ（実際の運転画像等）が少なくともＧＡＮによって生成することができるため、より精度の高い学習を行うことができる。

更に、本発明によれば、ＧＡＮを利用することにより見本行動が行われる仮想環境をより実際の環境に近いものに転化して模倣学習させることが可能となる。

本発明の実施の形態による学習システムの処理の流れを模式的に示すブロック図である。本発明による学習システムに利用される学習装置のブロック構成図である。本発明による学習システムに利用される入力装置のブロック構成図である。本発明による学習システムによって生成された画像の例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による学習方法、学習装置は、以下のような構成を備える。
［項目１］
制御対象を自動で制御するためのエージェントの学習方法であって、
第１仮想環境を提供するシミュレータを利用して操作者による見本行動情報を取得するステップと、
実画像と、仮想画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成するステップと、
少なくとも前記疑似実画像を利用して構築された第２仮想環境上で、前記見本行動情報に基づいて前記エージェントを模倣学習により学習させるステップとを含む、
学習方法。
［項目２］
項目１に記載の学習方法であって、
前記シミュレータは、仮想空間を生成する仮想空間生成部と、当該仮想空間内に表示された制御対象の制御を受け付ける入力部と、当該制御を前記見本行動情報として記録する記録部と、前記仮想空間及び前記制御対象を表示するヘッドマウントディスプレイ部とを少なくとも備えている、
学習方法。
［項目３］
項目１又は項目２に記載の学習方法であって、
前記所定の生成モデルは、ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ（ＧＡＮ）を利用した生成モデルである、
学習方法。
［項目４］
項目１乃至項目３のいずれかに記載の学習方法であって、
前記第２仮想環境は、前記実画像と、前記仮想画像と、前記疑似実画像とを所定の比率において利用して構築されたものである、
学習方法。
［項目５］
項目１乃至項目４のいずれかに記載の学習方法であって、
前記制御対象のダイナミクスモデルを考慮して前記模倣学習を補正するステップを更に含む、
学習方法。
［項目６］
項目１乃至項目５のいずれかに記載の学習方法であって、
前記模倣学習を検証するためのステップであって、シナリオベースシミュレーション、マルチエージェントシミュレーション又は敵対的エージェントシミュレーションの少なくともいずれかを利用するステップを更に含む、
学習方法。
［項目７］
項目１乃至項目６のいずれかに記載の学習方法であって、
前記制御対象は自動車であり、
前記第１仮想環境は前記自動車の走行環境であり、
前記見本行動は、前記走行環境内における前記自動車の運転操作である、
学習方法。
［項目８］
制御対象を自動で制御するためのエージェントの学習装置であって、
第１仮想環境を提供するシミュレータを利用して操作者による見本行動情報を取得する手段と、
実画像と、前記第１仮想環境から抽出された仮想画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成する手段と、
少なくとも前記疑似実画像を利用して構築された第２仮想環境上で、前記見本行動情報に基づいて前記エージェントを模倣学習により学習させる手段とを備える、
学習装置。
［項目９］
コンピュータ端末を利用して、制御対象を自動で制御するためのエージェントの学習プログラムであって、
前記コンピュータ端末を
第１仮想環境を提供するシミュレータを利用して操作者による見本行動情報を取得する手段、
実画像と、前記第１仮想環境から抽出された仮想画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成する手段、
少なくとも前記疑似実画像を利用して構築された第２仮想環境上で、前記見本行動情報に基づいて前記エージェントを模倣学習により学習させる手段として機能させる、
学習プログラム。
［項目１０］
制御対象を自動で制御するためのエージェントの学習システムであって、
見本行動取得装置が、第１仮想環境を提供するシミュレータを利用して操作者による見本行動情報を取得し、
疑似実画像生成装置が、実画像と、前記第１仮想環境から抽出された仮想画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成し、
学習装置が、少なくとも前記疑似実画像を利用して構築された第２仮想環境上で、前記見本行動情報に基づいて前記エージェントを模倣学習により学習させる、
学習システム。

＜概要＞
以下、本発明による学習方法を自動車の自動運転制御の学習に関するものとして説明する。学習方法は、基本的には従来り深層強化学習によってエージェントに自律的に運転動作を探索させる。

このような強化学習としては、Ａｃｔｏｒ−Ｃｒｉｔｉｃ法などが例示できる。その上で、本実施の形態にお手は、報酬関数が得にくい場合については人間の教示による模倣学習を組み合わせることとしている。

このように、深層強化学習と模倣学習との組み合わせによって、適切な振る舞い行う制御器（ｐｏｌｉｃｙ）が得られたら、学習の効果を確かめるための検証（ｖａｒｉｄａｔｉｏｎ）を行う。検証は、シナリオベースシミュレーション、マルチエージェントシミュレーション又は敵対的エージェントシミュレーションの少なくともいずれかを利用することができる。

検証が終わると、学習済みの制御器を実環境に移し、運用を行う。

＜構成＞
図１は、学習システムの処理の流れを模式的に示すブロック図である。なお、図の構成は一例であり、これら以外の要素が含まれていてもよい。

本発明による情報提供システムは、学習装置と、入力装置とを含んでいる。これらの装置は、物理的又は論理的に（例えば、ネットワークを介して）互いに通信可能に接続されている。

＜ハードウェア構成＞
情報提供システムのハードウェア構成について、図２及び図３を参照して説明する。本実施の形態による学習装置及び入力装置は、次のようなハードウェア構成を有している。

なお、以下の構成は一例であり、これ以外の構成を有していてもよい。また、単一の装置で構成されていてもよいし、複数の装置によって構成されていてもよい。さらには、同等の機能を有する他の手段を適宜採用することも可能である。

＜学習装置＞
図２は学習装置の機能ブロック図を示す図である。なお、図示される構成は一例であり、これら以外の機能が付加されていてもよい。

学習装置は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

学習装置は、自動運転制御に関するエージェントの学習（強化学習、模倣学習等）や、ＧＡＮによる疑似実画像の生成をも行うことにより、学習システムの一部を構成する。

学習装置は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、学習装置全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）及び／又はＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を含み、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラムや、学習に用いる画像データ、見本行動情報等の各種データを格納する。各処理に用いられるデータはデータベースとしてストレージ２２に構築されていてもよい。

送受信部１３は、学習装置をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）の近距離通信インタフェースを備えていてもよい。送受信部１３は、企業端末より依頼を受けて、生成されたミッション情報をユーザ端末に送信する。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜入力装置＞

図３は、入力装置の機能ブロック図の例を示す図である。なお、図示される構成は一例であり、これら以外の機能が付加されていてもよい。

入力装置は、学習装置と同時にまたは時を異にして情報処理を実行することにより学習システムの一部を構成する。

入力装置は、専用のシミュレータであってもよいし、パーソナルコンピュータのような汎用コンピュータであってもよい。

図示されるように、入力装置は、少なくとも、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。これらの機能は上述した学習装置と同様の構成を採用できるため、ここでは詳細な説明は省略する。

本実施の形態による入出力部２４は、運転操作部２４１と、ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）２４２とを備えている。

運転操作部２４１は、アクセルペダル、ブレーキペダル、ハンドル等の自動車運転に必要な入力機器であり、操作者からの運転操作を受け付ける。

ＨＭＤ２４２は、更に、図示しないディスプレイおよびセンサを具備する。ディスプレイは、操作者の視界を完全に覆うよう構成された非透過型の表示装置であり、操作者はディスプレイに表示される画面のみを観察することができる。非透過型のＨＭＤ２４２を装着した操作者は、外界の視界を全て失うため、仮想空間に完全に没入する表示態様となる。

仮想空間内には、都市の３Ｄモデルが再現されており、実際の世界の道路が再現されている。

＜データ＞
図１に示されるように、本実施の形態においては、道路等を実際に撮影した実画像と、ＣＧで再現した仮想画像と、生成モデル（後述する）を利用して得られる疑似実画像とをそれぞれ所定の比率で利用してエージェントの学習を行う。

＜処理の流れ＞
続いて、図１を参照して本実施の形態による学習システムの処理の流れを説明する。

本実施の形態による学習システムにおいては、より現実の世界に近い環境で学習を行うべく、疑似実画像を利用することとしている。疑似実画像は、実画像と仮想画像とから生成モデルによって生成される。なお、入力装置において利用される仮想空間を構成するＣＧを仮想画像として利用してもよい。

本発明による生成モデルは、訓練データを学習し、それらのデータと似たような新しいデータを生成するモデルである。換言すれば、訓練データの分布と生成データの分布が一致するように学習していくようなモデルである。

このような生成モデルとしては、ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ（ＧＡＮ）や、ＶａｒｉａｔｉｏｎａｌＡｕｔｏｅｎｃｏｄｅｒ（ＶＡＥ）などがある。本実施の形態においては、比較的精度の高い画像を生成することを得意とするＧＡＮを用いることとしている。

ＧＡＮは、ｇｅｎｅｒａｔｏｒとｄｉｓｃｒｉｍｉｎａｔｏｒという２つのネットワークを使用する。Ｇｅｎｅｒａｔｏｒは訓練データと同じようなデータを生成しようと試みるものであり、一方、ｄｉｓｃｒｉｍｉｎａｔｏｒはデータが訓練データから来たものか、それとも生成モデルから来たものかの識別を試みるものである。

最終的には、ｇｅｎｅｒａｔｏｒは訓練データと同じようなデータを生成できるようになることが期待される。このような状態では、訓練データと生成データを見分けることができなくなる。

Ｇはｇｅｎｅｒａｔｏｒ、Ｄはｄｉｓｃｒｉｍｉｎａｔｏｒ、ｘは訓練データ、ｚはノイズを表すこととした場合、Ｇはノイズｚを入力としてデータを生成する。Ｄ（ｘ）は、そのデータが訓練データである確率を表すスカラー量である。Ｄは訓練データと生成データに対して正しくラベル付けを行う確率を最大化しようと試みる。一方、Ｇはｌｏｇ（１−Ｄ（Ｇ（ｚ）））を最小化しようとする。これらをまとめると数式１のように表すことができる。

Ｄがうまく分類できるようになると、Ｄ（ｘ）が大きくなり、ｌｏｇＤ（ｘ）が大きくなる。また、偽物と識別されるとＤ（Ｇ（ｚ））は小さくなるため、ｌｏｇ（１−Ｄ（Ｇ（ｚ）））は大きくなる。一方、ＧＧが訓練データに似ているものを生成できるようになると、ＤＤがうまく分類できなくなるためＤ（Ｇ（ｚ））は大きくなり、ｌｏｇ（１−Ｄ（Ｇ（ｚ）））は小さくなる。

本実施の形態においては、このような生成モデルを（１）模倣学習の実現、（２）深層強化学習におけるシミュレータの画像改善、（３）深層強化学習における環境モデルの作成に利用する。

動作を教示する操作者は、上述した入力装置を利用して仮想環境内で自動者を運転してそれを見本行動情報として記録する。見本行動情報をＧＡＮに与え、それを模倣する制御器を学習によって生成する。

なお、このような、模倣学習の他の方法としては、操作者の動作軌跡の教師あり学習（ｂｅｈａｖｉｏｒｃｌｏｎｉｎｇ）、逆強化学習（ＩＲＬ：ｉｎｖｅｒｓｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）物などがある。

しかしながら、これらの模倣学習と比較手、ＧＡＮによる手法は教示のための学習データ量（サンプル数）が非常に少なくて済むことに加え、軌道データだけでなく生画像の入力による教示も可能である。また、複雑で高次元のタスクでも覚えやすく、動作の背景にある何らかの意味を持ったパラメータ（潜在変数）も獲得できる。

本実施の形態においては、操作者による操作（人間にの軌道データ）と近い偽のデータを生成する。一方、識別器は軌道データが生成器からのものなのか、本物の人間の軌道データかを見分ける。

このような生成器と識別器とを競い合わせて学習させると、いずれは、生成器は人間に近い軌道データを生成できるようになる。

本実施の形態においては、強化学習を行う際のシミュレータを実環境に極力近づけるために生成モデルを適用する。即ち、シミュレータが出力する仮想環境のＣＧ画像をＧＡＮによって詳細化し現実の画像に見えるように変換したり、ダイナミクスモデルを特定の生成モデルで表現する。

これにより、シミュレータ上であっても、強化学習の試行を行った場合、エージェントはあたかも現実世界にいるかのように試行錯誤できる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

図１に示されるように、本発明は、自動車の運転制御のみならず、無人飛行体（ドローン等）やロボットアーム、水中ドローン等にも適用することが可能である。

Claims

制御対象を自動で制御するためのエージェントの学習方法であって、
操作者による見本行動情報を取得するステップと、
前記見本行動情報に基づいて前記エージェントを模倣学習により学習させるステップと、
実画像と、シミュレータが出力するＣＧ画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成するステップと、
少なくとも前記疑似実画像を利用して、前記エージェントを強化学習により学習させるステップとを含む、
学習方法。
請求項１に記載の学習方法であって、
前記所定の生成モデルは、ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ（ＧＡＮ）を利用した生成モデルである、
学習方法。
請求項１又は請求項２に記載の学習方法であって、
前記シミュレータにおける環境ダイナミクスモデルを特定の生成モデルにより生成するステップを更に含む、
学習方法。
請求項１乃至請求項３のいずれかに記載の学習方法であって、
前記模倣学習及び前記強化学習を検証するためのステップであって、シナリオベースシミュレーション、マルチエージェントシミュレーション又は敵対的エージェントシミュレーションの少なくともいずれかを利用するステップを更に含む、
学習方法。
請求項１乃至請求項４のいずれかに記載の学習方法であって、
前記制御対象は自動車であり、
前記見本行動は、前記走行環境内における前記自動車の運転操作である、
学習方法。
制御対象を自動で制御するためのエージェントの学習装置であって、
操作者による見本行動情報を取得する手段と、
前記見本行動情報に基づいて前記エージェントを模倣学習により学習させる手段と、
実画像と、シミュレータが出力するＣＧ画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成する手段と、
少なくとも前記疑似実画像を利用して、前記エージェントを強化学習により学習させる手段とを備える、
学習装置。
コンピュータ端末を利用して、制御対象を自動で制御するためのエージェントの学習プログラムであって、
前記コンピュータ端末を
操作者による見本行動情報を取得する手段、
実画像と、シミュレータが出力するＣＧ画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成する手段、
少なくとも前記疑似実画像を利用して、前記エージェントを強化学習により学習させる手段として機能させる、
学習プログラム。
制御対象を自動で制御するためのエージェントの学習システムであって、
見本行動取得装置が、操作者による見本行動情報を取得し、
疑似実画像生成装置が、実画像と、シミュレータが出力するＣＧ画像とを入力情報とする所定の生成モデルによって、疑似実画像を生成し、
学習装置が、少なくとも前記疑似実画像を利用して、前記エージェントを強化学習により学習させる、
学習システム。