JPWO2019167457A1 - 情報処理装置、情報処理方法、プログラム、及び移動体 - Google Patents

Abstract

本技術の一形態に係る情報処理装置は、取得部と、算出部とを具備する。前記取得部は、移動体が移動した軌道に関する軌道データを含む教師データを取得する。前記算出部は、前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出する。

Description

本技術は、移動体の移動制御に適用可能な情報処理装置、情報処理方法、プログラム、及び移動体に関する。

特許文献１には、車両が狭い駐車スペースや狭い道幅を移動する際に、誘導経路を生成して車両を誘導することで運転を支援する駐車支援システムについて開示されている。この駐車支援システムでは、所定の安全マージンに基づいて誘導経路を生成し、自動誘導を実行する。その際に、障害物等の存在により車両を目標位置まで誘導することが難しくなった場合には、安全マージンを所定の条件に基づいて適宜調整する。これにより、車両を目標位置まで誘導することが可能となっている（特許文献１の明細書段落［００４０］〜［００４８］図５等）。

特開２０１７−３０４８１号公報

今後、車両を含む様々な移動体に関して自動運転技術の利用が活発になると考えられる。移動体が移動する環境に合わせた柔軟な移動制御を実現することが可能な技術が求められている。

以上のような事情に鑑み、本技術の目的は、移動環境に合わせた柔軟な移動制御を実現することが可能な情報処理装置、情報処理方法、プログラム、及び移動体を提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、算出部とを具備する。
前記取得部は、移動体が移動した軌道に関する軌道データを含む教師データを取得する。
前記算出部は、前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出する。

この情報処理装置では、教師データに基づいて、逆強化学習によりコスト関数が算出される。これにより、移動環境に合わせた柔軟な移動制御を実現することが可能となる。

前記コスト関数は、移動体の移動に関する情報を入力することで、コストマップを生成可能であってもよい。

前記移動に関する情報は、前記移動体の位置、前記移動体の周辺情報、及び前記移動体の速度の少なくとも１つを含んでもよい。

前記算出部は、前記コストマップを規定する所定のパラメータが可変となるように、前記コスト関数を算出してもよい。

前記算出部は、安全マージンが可変となるように、前記コスト関数を算出してもよい。

前記情報処理装置は、さらに、前記算出されたコスト関数を、シミュレーションにより最適化する最適化処理部を具備してもよい。

前記最適化処理部は、前記取得された教師データに基づいて、前記コスト関数を最適化してもよい。

前記最適化処理部は、前記シミュレーションにより生成される軌道データに基づいて、前記コスト関数を最適化してもよい。

前記最適化処理部は、前記取得された教師データと、前記シミュレーションにより生成される軌道データとを組み合わせることで、前記コスト関数を最適化してもよい。

前記最適化処理部は、ユーザにより設定された評価パラメータに基づいて、前記コスト関数を最適化してもよい。

前記最適化処理部は、目的地までの達成度、移動に関する安全度、及び移動に関する快適度の少なくとも１つに基づいて、前記コスト関数を最適化してもよい。

前記算出部は、ＧＰＩＲＬ（Gaussian Process Inverse Reinforcement Learning）により、前記コスト関数を算出してもよい。

前記コスト関数は、確率分布に基づいたコストマップを生成可能であってもよい。

前記コスト関数は、正規分布に基づいたコストマップを生成可能であってもよい。この場合、前記コストマップは、共分散行列の固有値に応じた安全マージンにより規定されてもよい。

前記コストマップは、前記移動体の進行方向に基づいた安全マージンにより規定されてもよい。

前記算出部は、互いに異なる地域の各々に応じた前記コスト関数をそれぞれ算出することが可能であってもよい。

本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、移動体が移動した軌道に関する軌道データを含む教師データを取得することを含む。
前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数が算出される。

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
移動体が移動した軌道に関する軌道データを含む教師データを取得するステップ。
前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出するステップ。

本技術の一形態に係る移動体は、取得部と、軌道算出部とを具備する。
前記取得部は、移動体が移動した軌道に関する軌道データを含む教師データに基づいて逆強化学習により算出された、移動体の移動に関するコスト関数を取得する。
前記軌道算出部は、前記取得されたコスト関数に基づいて、軌道を算出する。

前記移動体は、車両として構成されてもよい。

本技術の他の形態に係る情報処理装置は、取得部と、生成部とを具備する。
前記取得部は、移動体の移動に関する情報を取得する。
前記生成部は、前記取得された移動体の移動に関する情報に基づいて、確率分布に基づいたコストマップを生成する。

以上のように、本技術によれば、移動環境に合わせた柔軟な移動制御を実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る移動制御システムの構成例を示す模式図である。 車両の構成例を示す外観図である。 車両の制御を行う車両制御システムの構成例を示すブロック図である。 サーバ装置の機能的な構成例を示すブロック図である。 サーバ装置によるコスト関数の生成の一例を示すフローチャートである。 コストマップの一例を示す模式図である。 教師データの一例を示す模式図である。 図７に示す教師データに基づいて算出されたコスト関数により生成されるコストマップの一例を示す模式図である。 コスト関数の最適化に用いられるシミュレーションの一例である。 コスト関数の最適化に用いられるシミュレーションの一例である。 本技術に関して行った評価について説明するための図である。 本技術に関して行った評価について説明するための図である。 比較例として挙げる軌道算出方法について説明するための図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［移動制御システムの構成］
図１は、本技術に係る移動制御システムの構成例を示す模式図である。移動制御システム５００は、複数の車両１０と、ネットワーク２０と、データベース２５と、サーバ装置３０とを有する。複数の車両１０の各々は、目的地までの自動走行が可能な自動運転機能を備えている。なお車両１０は、本実施形態に係る移動体の一例である。

複数の車両１０とサーバ装置３０とは、ネットワーク２０を介して通信可能に接続されている。サーバ装置３０は、データベース２５にアクセス可能に接続され、例えば複数の車両１０から取得した種々の情報をデータベース２５に記録することや、データベース２５に記録された種々の情報を読み出して各車両１０に送信することが可能である。

ネットワーク２０は、例えばインターネットや広域通信回線網等により構築される。その他、任意のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等が用いられてよく、ネットワーク２０を構築するためのプロトコルは限定されない。

本実施形態では、ネットワーク２０、サーバ装置３０、及びデータベース２５により、いわゆるクラウドサービスが提供される。従って複数の車両１０は、クラウドネットワークに接続されているとも言える。

図２は、車両１０の構成例を示す外観図である。図２Ａは、車両１０の構成例を示す斜視図であり、図２Ｂは、車両１０を上方から見た場合の模式図である。

図２Ａ及びＢに示すように、車両１０は、周辺センサ１１を有する。周辺センサ１１は、車両１０の周辺に関する周辺情報を検出する。ここで周辺情報とは、車両１０の周辺の画像情報や奥行情報等を含む情報である。例えば周辺に存在する障害物までの距離や、障害物の大きさ等が、周辺情報として検出される。図２Ａ及び図２Ｂには、周辺センサ１１の一例として、撮像装置１２及び距離センサ１３が模式的に図示されている。

撮像装置１２は、車両１０の前方に向けて配置され、車両１０の前方を撮影して画像情報を検出する。撮像装置１２としては、例えばＣＣＤやＣＭＯＳ等のイメージセンサを備えたＲＧＢカメラ等が用いられる。これに限定されず、赤外光や偏光光を検出するイメージセンサ等が撮像装置１２として用いられてもよい。

距離センサ１３は、車両１０の前方に向けて配置される。距離センサ１３は、その検出範囲に含まれる物体との距離に関する情報を検出し、車両１０の周辺の奥行情報を検出する。距離センサ１３としては、例えばＬｉＤＡＲ（Laser Imaging Detection and Ranging）センサ等が用いられる。

ＬｉＤＡＲセンサを用いることで、例えば奥行情報を持った画像（デプス画像）等を容易に検出することが可能である。また距離センサ１３として、例えばＴＯＦ（Time of Fright）方式のデプスセンサ等が用いられてもよい。この他距離センサ１３の種類等は限定されずレンジファインダー、ミリ波レーダ、及び赤外線レーザ等を用いた任意のセンサが用いられてよい。

この他、周辺センサ１１の種類や数等は限定されない。例えば車両１０の後方や側方等の任意の方向に向けて配置された周辺センサ１１（撮像装置１２及び距離センサ１３）が用いられてもよい。なお、周辺センサ１１は、後述するデータ取得部１０２が備えるセンサにより構成される。

図３は、車両１０の制御を行う車両制御システム１００の構成例を示すブロック図である。車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、航法衛星であるＧＮＳＳ（Global Navigation Satellite System）衛星からの衛星信号（以下、ＧＮＳＳ信号と称する）を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ(登録商標)（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。
また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

自動運転制御部１１２は、例えばＣＰＵ、ＲＡＭ、及びＲＯＭ等のコンピュータに必要なハードウェアを有する。ＣＰＵがＲＯＭに予め記録されているプログラムをＲＡＭにロードして実行することにより、種々の情報処理方法が実行される。

自動運転制御部１１２の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。

図２に示すように、自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。例えば、自動運転制御部１１２のＣＰＵが所定のプログラムを実行することで、各機能ブロックが構成される。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

また本実施形態では、車外情報検出部１４１により、機械学習に用いられる学習データが生成される。従って車外情報検出部１４１は、車両１０の外部の情報の検出処理と、学習データの生成処理とをそれぞれ実行することが可能である。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

以下では、車両１０の位置及び姿勢等の推定処理を自己位置推定処理と記載する場合がある。また車両１０の位置及び姿勢の情報を位置姿勢情報と記載する。従って自己位置推定部１３２により実行される自己位置推定処理は、車両１０の位置姿勢情報を推定する処理となる。

状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートである目標経路を設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

本実施形態では、サーバ装置３０からネットワーク２０を介して、車両１０の移動に関するコスト関数が自動運転制御部１１２に送信される。ルート計画部１６１は、受信したコスト関数に基づいて、移動すべき軌道を算出し、適宜ルート計画に反映させる。

例えばコスト関数に、車両１０の移動に関する情報を入力することで、コストマップが生成される。車両１０の移動に関する情報としては、例えば車両１０の位置、車両１０の周辺情報、車両１０の速度を含む。もちろんこれに限定されず、車両１０の移動に関する任意の情報が用いられてよい。これらのうち１つの情報が用いられる場合もあり得る。

算出されたコストマップに基づいて、最もコストの小さい軌道が算出される。なおコストマップを、コスト関数に含まれる概念とみなすことも可能である。従って、コスト関数に車両１０の移動に関する情報を入力することで、最もコストの小さい軌道が算出されるということも可能である。

どのようなコストを計算するかについては限定されず、任意に設定されてよい。例えば動的障害物コスト、静的障害物コスト、障害物の種類に応じたコスト、目標速度追従コスト、目標経路追従コスト、速度変化コスト、及びステアリング変化コスト、及びこれらを組み合わせたもの等、任意に設定されてよい。

例えばユーザが所望とする運転態様を満足する軌道が算出されるように、コストを適宜設定することが可能である。例えばユーザが所望する目的地までの到達度、移動に関する安全度、及び移動に関する快適度等を満足する軌道が算出されるように、コストが適宜設定される。なおここに記載した目的地までの到達度等は、後述するコスト関数の最適化が実行される際のユーザの評価パラメータとしても出てくる概念であり、後に詳しく説明する。

コスト関数（コストマップ）を規定するパラメータを適宜設定することで、計算されるコストを適宜設定することが可能である。例えば障害物との距離、自車両の速度、向き等をパラメータとして適宜設定することで、障害物コストを計算することが可能となる。また目標経路との距離をパラメータとして適宜設定することで、目標追従コストを計算することが可能である。もちろんこのようなパラメータの設定に限定される訳ではない。

本実施形態に係る移動制御システム５００では、どのようなコストが設定される場合、すなわちコスト関数（コストマップ）を規定するパラメータとして、どのようなパラメータが設定される場合でも、コスト関数に車両１０の移動に関する情報を入力することで最もコストの小さい軌道が算出される。この点については、後に詳しく説明する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

図４は、サーバ装置３０の機能的な構成例を示すブロック図である。図５は、サーバ装置３０によるコスト関数の生成の一例を示すフローチャートである。

サーバ装置３０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等のコンピュータの構成に必要なハードウェアを有する。ＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、図４に示す各ブロックが構成され、本技術に係る情報処理方法が実行される。

例えばＰＣ（Personal Computer）等の任意のコンピュータにより、サーバ装置３０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。また図４に示す各ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。

プログラムは、例えば種々の記録媒体を介してサーバ装置３０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。

図４に示すようにサーバ装置３０は、教師データ取得部３１と、コスト関数算出部３２と、最適化処理部３３と、コスト関数評価部３４とを有する。

教師データ取得部３１は、データベース２５から、コスト関数を算出するための教師データを取得する（ステップ１０１）。教師データは、各車両１０が移動した軌道に関する軌道データを含む。また教師データは、車両１０が、どのような状態でその軌道を移動したかに関する移動状況情報を含む。移動状況情報は、例えば移動した地域の情報、移動した際の車両１０の速度や角度、車両１０の周辺情報（障害物の有無、障害物までの距離等）、道路の色情報、時間情報、天候情報等、任意の情報が含まれてよい。

典型的には、コスト関数（コストマップ）を規定するパラメータを抽出可能な情報が移動状況情報として取得され、教師データとして用いられる。もちろんコスト関数（コストマップ）を規定するパラメータがそのまま移動状況情報として取得可能であってもよい。

本実施形態では、ネットワーク２０を介して、車両１０から車両１０が移動した軌道に関する軌道データと移動状況情報とを含む移動情報が適宜サーバ装置に集められる。サーバ装置３０は、受信した移動情報をデータベース２５に格納する。各車両１０から集められた移動情報がそのまま教師データとして使用可能であってもよいし、受信した移動情報に基づいて教師データが適宜生成されてもよい。本実施形態において、教師データ取得部は、取得部に相当する。

コスト関数算出部３２は、取得された教師データに基づいて、逆強化学習（ＩＲＬ：Inverse Reinforcement Learning）により、移動体の移動に関するコスト関数を算出する（ステップ１０２）。逆強化学習により、教師データに含まれる軌道データが最もコストの小さい軌道となるようなコスト関数が算出される。本実施形態では、ＧＰＩＲＬ（Gaussian Process Inverse Reinforcement Learning）により、コスト関数が算出される。

コスト関数は、教師データとして用いられる軌道データごとに算出可能である。すなわち１つの軌道データ（教師データ）に対して、逆強化学習により１つのコスト関数が算出される。もちろんこれに限定されず、教師データに含まれる複数の軌道データに対して、１つのコスト関数が算出されてもよい。本実施形態において、コスト関数算出部は、算出部に相当する。

なお最もコストの小さい軌道を算出することは、最も報酬の大きいコストを算出することに相当する。従って、コスト関数の算出は、コストの報酬を計算可能な報酬関数を算出することに相当する。以下、コスト関数の算出を、報酬関数の算出として説明する場合がある。

最適化処理部３３は、算出されたコスト関数を最適化する（ステップ１０３）。本実施形態では、シミュレーションによりコスト関数が最適化される。すなわち算出されたコスト関数を用いて、予め設定された仮想的な空間にて、車両が移動される。このようなシミュレーションに基づいて、コスト関数が最適化される。

コスト関数評価部３４は、最適化されたコスト関数を評価して、最も性能の高いコスト関数を、真のコスト関数として選択する（ステップ１０４）。例えばシミュレーション結果に基づいて、コスト関数に得点が付される。その得点に基づいて、真のコスト関数が算出される。もちろんこれに限定されない。

本実施形態では、コスト関数算出部３２、最適化処理部３３、及びコスト関数評価部３４により、コスト関数ジェネレイターが実現されている。

以下、図４に示す各ブロックにより実行される、図５に示す各ステップについて、詳しく説明する。

図６は、コストマップの一例を示す模式図である。例えばスタート地点４１における車両１０の周辺に存在する障害物４２（×印）を基準として、以下の式においてｎ＝２となる２次元正規分布が設定される。

２次元正規分布であるので、式中の共分散行列Σは２×２の行列となり、２つの固有値と２つの互いに直交する固有ベクトル４３及び４４を有する。ここで共分散行列Σは対称行列であると規定すると、固有値は１つとなり、等確率楕円（集中楕円）の形状は円形状となる。

コストマップ４０では、等確率楕円が安全マージン４５として設定される。すなわちコストマップ４０は、共分散行列Σの固有値に応じた安全マージン４５が規定された、正規分布に基づいたコストマップとなる。

なお安全マージン４５は、障害物との距離に関するパラメータであり、その半径よりも離れた位置は安全な位置（例えばコスト最小）となり、安全マージン４５の内部は危険な領域（例えばコスト最大）となる。すなわち安全マージン４５を通らない軌道が、コストが小さい軌道となる。

例えば車両１０の移動に関する情報として周辺の障害物の位置を含む情報がコスト関数に入力される。そうすると、共分散行列の固有値に応じたサイズの安全マージン４５が設定されたコストマップ４０が生成される。なお、図６では、すべての障害物４２に対して、同じサイズの安全マージン４５が設定されているが、障害物４２ごとに異なるサイズの安全マージン４５を設定することが可能である。

図６に示すコストマップ４０では、スタート地点４１から目的地４６までに、安全マージン４５を通らない軌道を算出することができない。すなわち図６に示すコストマップ４０では、スタート地点４１から目的地４６までの適正な軌道を算出することが難しい。

図７は、教師データの一例を示す模式図である。例えば図７に示すような教師データが取得されたとする。ここでは説明を分かりやすくするために、図６Ａに示す障害物４２と同じ位置に障害物４２がある状態において、障害物４２ａ及び４２ｂの間を移動する軌道４７の軌道データを含む教師データが取得されたとする。コスト関数算出部３２は、この教師データに基づいて、ＧＰＩＲＬにより、コスト関数を算出する。

図８は、図７に示す教師データに基づいて算出されたコスト関数により生成されるコストマップ５０の一例を示す模式図である。障害物４２ａ及び４２ｂの間を実際に通った軌道データを教師データとしてコスト関数が算出（学習）される。この結果、障害物４２ａ及び４２ｂに設定される安全マージン４５のサイズ（共分散行列の固有値）が調整され、スタート地点４１から目的地４６までの適正な軌道５１が算出可能となっている。

すなわち障害物４２までの距離と、実際に移動可能であった軌道との関係に基づいてコスト関数が学習され、精度が向上されたコストマップ５０が生成されている。なお障害物４２ａ及び４２ｂ以外の障害物４２に対しても、安全マージンは適宜最適化される。

なお図７では、図６に示す障害物４２と同じ位置に障害物４２がある状態の教師データを例に挙げた。これに限定されず、周辺状況が異なるような他の場所での軌道データを教師データとして用いることも可能である。そのような教師データを用いて、例えば障害物までの距離と、実際に移動可能であった軌道との関係に基づいて、コスト関数を学習することが可能である。

すなわち場所等にかかわらず、これぐらいの距離に置かれた障害物の間は通れるという実際の軌道データに基づいて、コスト関数を学習させることが可能であり、コストマップの精度を向上させることが可能である。

コストマップ４０及び５０において、安全マージン４５は、コストマップ（コスト関数）を規定するパラメータに相当する。教師データに基づいて逆強化学習を実行することで、安全マージン４５が可変となるように、コスト関数を算出することが可能である。

このことは、コストマップ（コスト関数）を規定するパラメータがどのようなパラメータであっても適用される。すなわち本技術を用いることで、コストマップ（コスト関数）を規定する任意のパラメータが可変となるように、コスト関数を算出することが可能である。この結果、移動環境に対応した適正なコスト関数（コストマップ）を生成可能となり、柔軟な移動制御を実現することが可能となる。

例えば歩行者や車両等が多く通る混雑した交差点等では、安全マージンが固定されたコストマップでは、軌道の算出が非常に難しい。本実施形態では、例えばそのような混雑した交差点を実際に通った軌道データを含む教師データに基づいて、コスト関数を学習させることが可能である。これにより安全マージンが最適化されたコストマップを適宜生成することが可能となり、適正な軌道を算出することが可能となる。

以下、ＧＰＩＲＬによる報酬関数の具体的なアルゴリズム例を説明する。上でも述べたが、報酬関数の算出は、コスト関数の算出に相当する。

まず以下の式に示すように、非線形関数の線形結像により、状態ｓに対する報酬関数ｒ（ｓ）を表現する。状態ｓは、例えばグリッドマップにおけるグリッドの位置、車両１０の速度、向き等、現在の状態に関する任意のパラメータにより規定することが可能である。

φ_d（ｘ）は、コスト関数を規定するパラメータに応じた特徴量を示す関数である。例えば障害物との距離、車両１０の速度、乗り心地に関するパラメータ等、任意のパラメータの各々に応じて、φ_d（ｘ）が設定される。これらの各特徴量に対して、αにて重み付けがされる。

ＧＰＩＲＬを実行することで、以下の式が成り立つ。

Ｄは、教師データに含まれる軌道データである。Ｘｕは、教師データに含まれる状態Ｓから導かれる特徴量であり、特徴量φ_d（ｘ）に対応する。

ｕは、仮想的な報酬として設定されたパラメータである。本式に示すように、カーネル関数を用いて、報酬関数ｒを、ＧＰ（Gaussian Process）という非線形回帰の方法で、ガウス分布の平均と分散として効率的に算出することが可能となる。

θは、以下の式に示すように、行列Ｋ_U,Uの成分ｋ（ｕ_i，ｕ_j）を規定するためのパラメータであり、θ＝｛β，Λ｝となる。

本実施形態では、（数３）の式において、第１項のｌｏｇＰ（Ｄ｜ｒ）が最大となるような報酬関数ｒ（ｓ）を算出する。このことは、第１項のｌｏｇＰ（Ｄ｜ｒ）が最大となるように、パラメータ（ｕ、θ）を調整することに相当する。パラメータ（ｕ、θ）を調整するために、例えばマルコフ決定過程(ＭＤＰ：Markov Decision Process)等の確率モデルや、勾配法等が適宜用いられてよい

図６〜図８に示す例では、距離（安全マージン）に関する特徴量（φ距離（ｘ）と記載する）に基づいて、以下のように、報酬関数ｒ（ｓ）が表現される。なお非線形関数は１つなので、重み付けは１とする。
ｒ（ｓ）＝φ距離（ｓ）
グリッドマップ（図示は省略）における全ての状態ｓ（ここではグリッドの位置）に対して、報酬関数ｒ（ｓ）により報酬が算出される。これにより最も報酬の大きい軌道が算出される。

例えば図７に示す教師データに基づいて、ＧＰＩＲＬを実行する。教師データに含まれる状態ｓから導かれる特徴量（Ｘｕ）に基づいて、軌道４７（Ｄに相当）が最も報酬が大きくなるようにパラメータ（ｕ、θ）が調整される。その結果、障害物４２に設定される安全マージン４５（共分散行列の固有値）が調整される。ここでは、安全マージン４５の調整は、パラメータθ内のΛの調整に相当する。

図９及び図１０は、最適化処理部３３によるコスト関数の最適化に用いられるシミュレーションの一例である。例えばＧＰＩＲＬにより算出されたコスト関数（報酬関数）を用いて、様々な状況を想定したシミュレーション環境にて、仮想的に車両１０'が移動される。

例えば図９Ａに示すようなＳ字の道路に対する走行、図９Ｂに示すような障害物を中心とした左周りの走行を想定したシミュレーションが実行される。また図１０Ａに示すような他の車両を含む交差点を直進することを想定したシミュレーションや、高速道路の車線変更を想定したシミュレーションが実行される。もちろん、その他任意のシミュレーション環境を設定可能である。

このようなシミュレーションにおいて、算出されたコスト関数により軌道が算出される。すなわちコスト関数により各状態Ｓのコストが算出され、最もコストが小さくなる軌道が算出される。

例えば各シミュレーションに対して、適正に車両を移動できなかった、すなわち適正な軌道が算出されなかったとする。この場合、本実施形態では、最適化処理部３３により、コスト関数の最適化が実行される。例えば各シミュレーションに対して、適正な軌道が算出されるように、コスト関数が最適化される。

例えば、各シミュレーションにおける適正な軌道のコストが小さくなるように（報酬が大きくなるように）、コスト関数が最適化される。本実施形態では、ＧＰＩＲＬの実行時に調整されるパラメータ（ｕ、θ）が再度調整される。従って最適化は、再学習ともいえる。

例えば各シミュレーション上での自律生成データ（シミュレーションにより生成される軌道データ）、コスト関数を最適化することが可能である。あるいは、データベース２５に記憶されている教師データに基づいて、コスト関数を最適化することも可能である。さらに、シミュレーション上の自律生成データと、教師データとを組み合わせて、コスト関数を最適化することも可能である。

例えば自律生成データや教師データをスクリーングし、選出された自律生成データや教師データに基づいて、コスト関数を最適化する。例えば適正に移動できなかった軌道の重みを小さくし、適正な軌道の重みを大きくして、再学習を行うといったことも可能である。

またユーザにより設定された評価パラメータに基づいて、コスト関数の最適化を実行することも可能である。ユーザにより設定された評価パラメータとは、例えば目的地までの達成度、移動に関する安全度、及び移動に関する快適度等が挙げられる。もちろん他の評価パラメータも採用可能である。

目的地までの達成度は、例えば目的地への到着にまでにかかる時間（到達時間）を含む。この評価パラメータが設定されている場合には、各シミュレーションにおいて、到達時間が早くなる軌道のコストが小さくなるように、コスト関数が最適化される。あるいは、シミュレーション上の自律生成データや教師データに含まれる軌道データから、到達時間が早い軌道が選出され、その軌道のコストが小さくなるように、コスト関数が最適化される。

移動に関する安全度は、例えば障害物との距離に関する評価パラメータとなる。例えば各シミュレーションにおいて、障害物を十分に回避している軌道のコストが小さくなるように、コスト関数が最適化される。あるいは、シミュレーション上の自律生成データや教師データから、障害物を十分に回避している軌道が選出され、その軌道のコストが小さくなるように、コスト関数が最適化される。

移動に関する快適度は、例えば移動に応じて運転手に作用する加速度、躍度、振動、操作感等により規定することが可能である。加速度については、不快となる加速度、及び加速等における快適な加速度のいずれもが含まれる。これらのパラメータにより、高速道路における走行性能の快適さ、市街地における走行性能の快適さ等を、快適度として規定することが可能である。

各シミュレーションにおいて、移動に関する快適度が大きい軌道のコストが小さくなるように、コスト関数が最適化される。あるいは、シミュレーション上の自律生成データや教師データから、移動に関する快適度が大きい軌道が抽出され、その軌道のコストが小さくなるように、コスト関数が最適化される。

各評価パラメータに対応したシミュレーションが適宜準備されてもよい。例えば目的地までの達成度が向上するようにコスト関数を最適化することに特化したシミュレーション環境等が準備されてもよい。他の評価パラメータについても同様である。

なお車両１０の種類（車種）の情報も含めてシミュレーションを実行することが可能である。すなわち実際の車両１０の大きさや性能等も含めてシミュレーションを実行することが可能である。一方で、軌道のみに着目したシミュレーションが実行されてもよい。

その他、コスト関数を最適化する方法として、任意の方法が採用されてよい。例えばクロスエントロピー法や敵対学習等により、コスト関数の最適化が実行されてもよい。

コスト関数評価部３４により、最適化されたコスト関数が評価される。例えば各シミュレーションにおいて適正な軌道が算出可能なコスト関数に高い得点が付される。またユーザの評価パラメータに基づいて、高い性能が発揮されるコスト関数に高い得点が付される。コスト関数評価部３４は、例えばコスト関数に付された得点に基づいて真のコスト関数を決定する。なおコスト関数の評価方法や真のコスト関数の決定方法は限定されず、任意の方法や採用されてもよい。

また、各地域に固有のコスト関数が算出されてもよい。すなわち互いに異なる地域の各々に応じて、真のコスト関数が算出されてもよい。例えば東京、北京、インド、パリ、ロンドン、ニューヨーク、サンフランシスコ、シドニー、モスクワ、カイロ、ヨハネスブルグ、ブエノスアイレス、リオデジャネイロ等、世界の都市ごとに真のコスト関数が選択されてもよい。あるいは砂漠、森林、雪原、平原等、地域の特色に応じて真のコスト関数が算出されてもよい。もちろん世界共通で使用可能なコスト関数を生成することも可能である。

例えば、地域に応じた教師データを適宜選択することで、地域ごとの真のコスト関数を算出することが可能である。例えば算出対象となる地域を移動する車両１０から集められた移動情報に基づいて、地域ごとの教師データを作成することが可能である。その他、任意の方法が採用されてよい。

またユーザの評価パラメータごとに真のコスト関数が生成されてもよい。そして、各車両１０にて、どの評価パラメータに対応するコスト関数を用いるかが選択可能であってもよい。

図１に示すように、サーバ装置３０により算出された真のコスト関数は、ネットワーク２０を介して各車両１０に送信される。もちろんコスト関数を適宜更新し、車両１０に送信することも可能である。その他、工場出荷時に、算出されたコスト関数がインストールされてもよい。

車両１０では、ルート計画部１６１により、受信したコスト関数に基づいて、軌道が算出される。本実施形態において、図３に示す自動運転制御部１１２は、移動体が移動した軌道に関する軌道データを含む教師データに基づいて逆強化学習により算出された、移動体の移動に関するコスト関数を取得する取得部として機能する。またルート計画部１６１は、取得されたコスト関数に基づいて軌道を算出する軌道算出部として機能する。

図１１及び図１２は、本技術に関して行った評価について説明するための図である。本技術に関して、３つの戦略の異なる動的環境でのコスト関数の学習、評価を行った。動的環境は障害物が垂直方向に移動する環境、水平方向へ移動する環境、ランダム環境を想定し、障害物の位置は範囲内にランダムで与えるとした。

本評価では、画面上に障害物として複数のドット６０を、左右方向、上下方向、ランダム方向に移動させる（上記の３つの戦略に相当）。そのときにスタート地点６１から目的地６２まで移動対象物６３を移動させることで評価を行った。

図１１は、単純な外接円半径を用いてそれを固定の安全マージンとして設定したコストマップ（コスト関数）にてパス（軌道）を算出した場合の図である。図１１Ａは、あるタイミングにおいて生成されたコストマップである。図１１Ｂは、障害物である複数のドット６０を左から右に移動させた場合に、移動対象物６３がスタート地点６１から目的地６２まで移動した際の軌跡６４を示す図である。移動対象物６３は、複数のドット６０の間を通ることができず何度も回転してしまい、なかなか目的地に到達しなかった。

図１２は、本技術に係るコスト関数（コストマップ）を用いてパス（軌道）を算出した場合の図である。ユーザがコントローラ等を用いて、画面を移動するドット６０を避けながら目的地まで移動対象物６３を移動させる。その軌道データを含む教師データに基づいて、ＧＰＩＲＬによりコスト関数を算出した。この場合、図１２Ａに示すように、安全マージンが最適化されたコストマップが生成される。この結果図１２Ｂに示すように、移動対象物６３は、ドット６０の間を通って目的地６２まで移動することが可能となった。すなわち本技術によれば、コストマップが戦略によって逐次的に変化され、短期間で目的地まで到達することが可能であった。

以上、本実施形態に係る移動制御システム５００では、教師データに基づいて、逆強化学習によりコスト関数が算出される。これにより、移動環境に合わせた柔軟な移動制御を実現することが可能となる。

移動体の自動運転制御において、最適な軌道を生成するためのコスト関数を求めることは重要である。これまで一般的にはコスト関数は実験者により設計されることが多かった。特に障害物に対しては、一定の外接円半径を設定することが多かった。しかしながら、一定の外接円半径を設定するだけでは、障害物が密集する状況においては進行できない可能性や、ゴールまでの到達に時間が掛かる場合がある。

例えば車両１０が移動する移動環境として、車両が密集する環境、ランドアバウト等の特殊な環境、外乱が多い環境、不確かさが高い（周りが確認しづらい環境）等、様々な移動環境が考えられる。このような様々な移動環境に対応可能なコスト関数を、予め外接円半径等のパラメータを固定して設計することは、非常に難しい。

図１３は、比較例として挙げる軌道算出方法について説明するための図である。例えば図１３に示すように、非常に多くの軌道候補９０が算出される。そして各軌道候補９０について、目標経路追従コスト、及び障害物回避コストがそれぞれ算出される。算出された目標経路追従コスト及び障害物回避コストの合計が最も小さい軌道候補９０が、移動すべき軌道として算出される。例えばこのような方法においても、目標経路追従コスト及び障害物回避コストの重み付け等は予め設計されており、様々な移動環境に対応することは難しい。例えば不必要に障害物回避コストを高くしてしまうと、車両が密集する環境等において、車両が動けなくなる場合も起こり得る。

本実施形態では、教師データを用いてコスト関数を学習させることが可能である。これにより安全マージン等のパラメータを、移動環境に合わせて最適化することが可能である。この結果、様々な移動環境に対応可能なコスト関数を算出することが可能となり、環境に合わせた柔軟な移動制御が実現される。

またユーザの評価パラメータに基づいて、コスト関数を再学習することも可能であるので、ユーザが所望とする非常に精度の高い移動制御を実現することが可能となる。また車両１０側では、コスト関数に状態Ｓを入力することで目的地までの軌道が算出される。これにより、処理時間の短縮、処理負担の軽減を図ることが可能である。また今まで経験したことのない環境であっても、他の車両の経験（教師データ）に基づいてコスト関数が算出されるので、地図情報等がない場合でも、車両１０を適正に移動させることが可能となる。

なおユーザにより、コスト関数を規定するパラメータを適宜設定することも可能である。従って、コスト関数を規定するパラメータを評価パラメータということも可能である。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

本技術を用いて、移動体の進行方向に基づいた安全マージンにより規定されるコストマップを生成することも可能である。例えば２次元正規分布の共分散行列Σとして、互いに異なる値の固有値をもつ行列を採用する。そして大きい方の固有値が進行方向に対応するように、安全マージンが規定される。これにより進行方向に沿って延びる（進行方向を長軸方向とする）長円形状（楕円形状）の安全マージンを設定することが可能となる。

例えば高速道路では、周辺には車両のみ、進行方向は一定、不確かさは低いとった環境となる。また周辺の車両と速度を合わせる必要がある。このような環境に適したコスト関数として、進行方向に固有値が対応されたコスト関数が算出される。また速度に応じて固有値に重み付けが行われ、安全マージンのサイズを最適化するといったことも可能である。

上記では、正規分布に基づいたコストマップ（コスト関数）について説明したが、他の確率分布に基づいたコストマップ（コスト関数）に対しても、本技術は適用可能である。またＧＰＩＲＬ以外の逆強化学習アルゴリズムにより、コスト関数を算出することも可能である。

なお、確率分布に基づいたコストマップ（コスト関数）を生成することも、本発明者により新たり考案された技術である。移動体の移動に関する情報を取得する取得部と、取得された移動体の移動に関する情報に基づいて、確率分布に基づいたコストマップを生成する生成部とを具備する任意の情報処理装置が、新たに考案された技術に含まれる。このような情報処理装置により、移動環境に合わせた柔軟な移動制御を実現することが可能となった。もちろん図１等に示すサーバ装置も含まれる。

上記では、仮想的な空間を用いて、シミュレーションが実行される例を説明した。これに限定されず、車両により検出された周辺情報がサーバ装置に送信され、その実際の周辺情報に基づいて、シミュレーションが実行されてもよい。これにより実際の周辺の状況に応じてコスト関数を最適化することが可能となる。

上記では、サーバ装置により、コスト関数が算出された。しかしながら、車両に備えられる車両制御システムが、本技術に係る情報処理装置として構成され、本技術に係る情報処理方法が実行されてもよい。すなわち車両にて、教師データに基づいた逆強化学習により、コスト関数が算出されてもよい。

本技術は、様々な移動体の制御に適用することが可能である。例えば自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）等の移動制御に、本技術を適用することが可能である。

本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば教師データの取得、コスト関数の算出等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

すなわち本技術に係る情報処理方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

各図面を参照して説明したサーバ装置、車両等の各構成や処理フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）移動体が移動した軌道に関する軌道データを含む教師データを取得する取得部と、
前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出する算出部と
を具備する情報処理装置。
（２）（１）又は（２）に記載の情報処理装置であって、
前記コスト関数は、移動体の移動に関する情報を入力することで、コストマップを生成可能である
情報処理装置。
（３）（２）又は（３）に記載の情報処理装置であって、
前記移動に関する情報は、前記移動体の位置、前記移動体の周辺情報、及び前記移動体の速度の少なくとも１つを含む
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記算出部は、前記コストマップを規定する所定のパラメータが可変となるように、前記コスト関数を算出する
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記算出部は、安全マージンが可変となるように、前記コスト関数を算出する
情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記算出されたコスト関数を、シミュレーションにより最適化する最適化処理部を具備する
情報処理装置。
（７）（６）に記載の情報処理装置であって、
前記最適化処理部は、前記取得された教師データに基づいて、前記コスト関数を最適化する
情報処理装置。
（８）（６）又は（７）に記載の情報処理装置であって、
前記最適化処理部は、前記シミュレーションにより生成される軌道データに基づいて、前記コスト関数を最適化する
情報処理装置。
（９）（６）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記最適化処理部は、前記取得された教師データと、前記シミュレーションにより生成される軌道データとを組み合わせることで、前記コスト関数を最適化する
情報処理装置。
（１０）（６）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記最適化処理部は、ユーザにより設定された評価パラメータに基づいて、前記コスト関数を最適化する
情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
前記最適化処理部は、目的地までの達成度、移動に関する安全度、及び移動に関する快適度の少なくとも１つに基づいて、前記コスト関数を最適化する
情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記算出部は、ＧＰＩＲＬ（Gaussian Process Inverse Reinforcement Learning）により、前記コスト関数を算出する
情報処理装置。
（１３）（１）から（１２）のうちいずれか１つに記載の情報処理装置であって、
前記コスト関数は、確率分布に基づいたコストマップを生成可能である
情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
前記コスト関数は、正規分布に基づいたコストマップを生成可能であり、
前記コストマップは、共分散行列の固有値に応じた安全マージンにより規定される
情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
前記コストマップは、前記移動体の進行方向に基づいた安全マージンにより規定される
情報処理装置。
（１６）（１）から（１５）のうちいずれか１つに記載の情報処理装置であって、
前記算出部は、互いに異なる地域の各々に応じた前記コスト関数をそれぞれ算出することが可能である
情報処理装置。
（１７）移動体が移動した軌道に関する軌道データを含む教師データを取得し、
前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出する
ことをコンピュータシステムが実行する情報処理方法。
（１８）移動体が移動した軌道に関する軌道データを含む教師データを取得するステップと、
前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出するステップと
をコンピュータシステムに実行させるプログラム。
（１９）移動体が移動した軌道に関する軌道データを含む教師データに基づいて逆強化学習により算出された、移動体の移動に関するコスト関数を取得する取得部と、
前記取得されたコスト関数に基づいて、軌道を算出する軌道算出部と
を具備する移動体。
（２０）移動体の移動に関する情報を取得する取得部と、
前記取得された移動体の移動に関する情報に基づいて、確率分布に基づいたコストマップを生成する生成部と
情報処理装置。

１０…車両
２０…ネットワーク
２５…データベース
３０…サーバ装置
３１…教師データ取得部
３２…コスト関数算出部
３３…最適化処理部
３４…コスト関数評価部
４０、５０…コストマップ
４５…安全マージン
４７、５１…軌道
１００…車両制御システム
５００…移動制御システム

Claims (20)

1. 移動体が移動した軌道に関する軌道データを含む教師データを取得する取得部と、
   前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出する算出部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記コスト関数は、移動体の移動に関する情報を入力することで、コストマップを生成可能である
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記移動に関する情報は、前記移動体の位置、前記移動体の周辺情報、及び前記移動体の速度の少なくとも１つを含む
   情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記算出部は、前記コストマップを規定する所定のパラメータが可変となるように、前記コスト関数を算出する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記算出部は、安全マージンが可変となるように、前記コスト関数を算出する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、さらに、
   前記算出されたコスト関数を、シミュレーションにより最適化する最適化処理部を具備する
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記最適化処理部は、前記取得された教師データに基づいて、前記コスト関数を最適化する
   情報処理装置。
8. 請求項６に記載の情報処理装置であって、
   前記最適化処理部は、前記シミュレーションにより生成される軌道データに基づいて、前記コスト関数を最適化する
   情報処理装置。
9. 請求項６に記載の情報処理装置であって、
   前記最適化処理部は、前記取得された教師データと、前記シミュレーションにより生成される軌道データとを組み合わせることで、前記コスト関数を最適化する
   情報処理装置。
10. 請求項６に記載の情報処理装置であって、
    前記最適化処理部は、ユーザにより設定された評価パラメータに基づいて、前記コスト関数を最適化する
    情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記最適化処理部は、目的地までの達成度、移動に関する安全度、及び移動に関する快適度の少なくとも１つに基づいて、前記コスト関数を最適化する
    情報処理装置。
12. 請求項１に記載の情報処理装置であって、
    前記算出部は、ＧＰＩＲＬ（Gaussian Process Inverse Reinforcement Learning）により、前記コスト関数を算出する
    情報処理装置。
13. 請求項１に記載の情報処理装置であって、
    前記コスト関数は、確率分布に基づいたコストマップを生成可能である
    情報処理装置。
14. 請求項１３に記載の情報処理装置であって、
    前記コスト関数は、正規分布に基づいたコストマップを生成可能であり、
    前記コストマップは、共分散行列の固有値に応じた安全マージンにより規定される
    情報処理装置。
15. 請求項１４に記載の情報処理装置であって、
    前記コストマップは、前記移動体の進行方向に基づいた安全マージンにより規定される
    情報処理装置。
16. 請求項１に記載の情報処理装置であって、
    前記算出部は、互いに異なる地域の各々に応じた前記コスト関数をそれぞれ算出することが可能である
    情報処理装置。
17. 移動体が移動した軌道に関する軌道データを含む教師データを取得し、
    前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出する
    ことをコンピュータシステムが実行する情報処理方法。
18. 移動体が移動した軌道に関する軌道データを含む教師データを取得するステップと、
    前記取得された教師データに基づいて、逆強化学習により、移動体の移動に関するコスト関数を算出するステップと
    をコンピュータシステムに実行させるプログラム。
19. 移動体が移動した軌道に関する軌道データを含む教師データに基づいて逆強化学習により算出された、移動体の移動に関するコスト関数を取得する取得部と、
    前記取得されたコスト関数に基づいて、軌道を算出する軌道算出部と
    を具備する移動体。
20. 移動体の移動に関する情報を取得する取得部と、
    前記取得された移動体の移動に関する情報に基づいて、確率分布に基づいたコストマップを生成する生成部と
    情報処理装置。