JP7098580B2 - 予測装置、予測方法、プログラムおよび車両制御システム - Google Patents

Description

本発明の実施形態は、予測装置、予測方法、プログラムおよび車両制御システムに関する。

車両等の自動運転または運転支援を行う運転システムは、安全かつ交通を乱さないように車両等を制御しなければならない。このために、運転システムは、近傍に存在する他の移動体の状態を認識しなければならない。さらに、運転システムは、他の移動体の数秒先の未来の状態も予測しなければならない。

例えば、複数のレーンが分岐および交差している交差点等において、運転システムは、他の移動体が複数のレーンのうちの何れのレーンを移動するかを一意に予測することは困難である。従って、複数のレーンが分岐および交差している交差点等において、運転システムは、複数のレーンのそれぞれについて、他の移動体が対応するレーンを通った場合における未来の状態を予測しなければならない。

しかしながら、このような予測処理は、非常に多くの演算量を必要であった。また、このような予測処理は、他の移動体が実際に通らなかったレーンに対する演算が無駄となってしまっていた。

特許第６２７２５６６号公報

Adam Houenou, Philippe Bonnifait, Veronique Cherfaoui, Wen Yao, "Vehicle Trajectory Prediction based on Motion Model and Maneuver Recognition", International Conference on Intelligent Robots and System (IROS), 2013. Nachiket Deo, Mohan M. Trivedi, "Multi-Modal Trajectory Prediction of Surrounding Vehicles with Maneuver based LSTMs", IEEE Intelligent Vehicle Symposium (IV), 2018.

本発明が解決しようとする課題は、移動体の未来の状態を少ない演算量で適切に予測することにある。

実施形態に係る予測装置は、観測値取得部と、レーン情報取得部と、推定部と、マスク部と、複数の状態予測部とを備える。前記観測値取得部は、移動体の移動動作に関する観測値を取得する。前記レーン情報取得部は、基準時刻より後において前記移動体が進行する可能性がある複数のレーンを表すレーン情報を取得する。前記推定部は、前記観測値および前記レーン情報に基づき、前記複数のレーンのそれぞれに対する、前記移動体の位置と対応するレーンを表す点列または曲線との位置誤差、および、前記移動体の方向ベクトルと対応するレーンを表す曲線のベクトルとの角度誤差を表す誤差情報を算出し、前記観測値および前記誤差情報に基づき、前記複数のレーンに対する前記移動体の状態の特徴を表す時系列変化量、および、前記複数のレーンのそれぞれに対する前記移動体が進行する可能性を示す尤度を表す尤度情報を推定する。前記複数の状態予測部は、前記複数のレーンに対応しており、それぞれが、前記マスク部を介して、前記複数のレーンのうちの対応するレーンについての、前記基準時刻において取得された前記観測値に示される前記移動体の１または複数の状態を表す現在状態情報、および、前記時系列変化量を取得し、取得した前記現在状態情報および前記時系列変化量に基づき、前記対応するレーンを前記移動体が進行する場合における、前記基準時刻より後における前記移動体の１または複数の状態を表す予測状態情報を算出する。前記マスク部は、前記尤度情報に基づき前記複数のレーンのうち１または２以上の対象レーンを特定し、前記複数の状態予測部のうちの特定した前記１または２以上の対象レーンに対応する１または２以上の状態予測部のそれぞれに対して、対応するレーンについての前記現在状態情報および前記時系列変化量を与えて、前記予測状態情報を算出させ、前記複数の状態予測部のうちの前記１または２以上の状態予測部以外に対して前記予測状態情報を算出させない。

実施形態に係る車両を示す図。 処理装置の構成図。 予測装置の構成図。 複数のレーンのそれぞれに対する尤度を示す図。 レーン情報および現在誤差情報の一例を示す図。 推定部の構成図。 予測装置の処理の流れを示すフローチャート。 状態予測部の構成図。 制御量推定部の構成をカルマンフィルタ部とともに示す図。 カルマンフィルタ部の構成図。 状態予測部の処理の流れを示すフローチャート。 学習時における予測装置の構成を学習装置とともに示す図。

以下、添付図面を参照しながら、本発明の実施形態を説明する。本実施形態は、移動体の未来の状態の予測に用いられる。

本実施形態において、移動体は、道路に設けられたレーンに沿って移動する自動車またはモータバイク等である。移動体は、自動車またはモータバイクに限られず、例えば、レーンに沿って移動するロボットであってもよい。移動体は、船舶等の水上のレーンを移動する物体であってもよい。

図１は、実施形態に係る車両１０を示す図である。車両１０は、処理装置１２を搭載する。処理装置１２は、例えば専用または汎用コンピュータを含む装置である。処理装置１２は、情報処理機能が車両１０に搭載されず、車両１０とネットワークを介して接続されるクラウド等の他装置に搭載されてもよい。車両１０は、例えば人による運転操作に応じて走行する通常車両であってもよいし、人による運転操作を受けずに自動的に走行することができる（自律走行することができる）自動運転車両であってもよい。なお、処理装置１２は、車両１０に限らず、路側機等の他の装置に設けられてもよい。

図２は、実施形態に係る処理装置１２の構成の一例を示す図である。処理装置１２は、記憶装置２１と、入力装置２２と、表示装置２３と、センサ装置２４と、通信装置２５と、車両制御装置２６と、情報処理装置３０とを備える。

記憶装置２１は、ハードディスクドライブ、光ディスクドライブまたはフラッシュメモリ等の半導体メモリ素子等である。記憶装置２１は、処理装置１２により実行されるプログラムおよび処理装置１２が用いるデータを記憶する。

入力装置２２は、ユーザからの指示および情報入力を受け付ける。入力装置２２は、例えば、操作パネル、マウスまたはトラックボール等のポインティングデバイス、または、キーボード等の入力デバイスである。

表示装置２３は、ユーザに対して各種の情報を表示する。表示装置２３は、例えば、液晶表示装置等の表示デバイスである。

センサ装置２４は、車両１０の周囲の状況を検知する１または複数のセンサを有する。例えば、センサ装置２４は、車両１０の周囲に存在する移動体（例えば他車両）の位置、速度、加速度、角速度および角加速度を検出する。さらに、センサ装置２４は、車両１０の周囲に存在する移動体の進行方向を示す方向指示情報を検出する。例えば、センサ装置２４は、距離センサ（ＬｉＤＡＲ）を有する。また、センサ装置２４は、周囲の物体までの距離を音波によって探知するソナーを有してもよい。また、例えば、センサ装置２４は、周囲の物体を撮像するカメラを有してもよい。

通信装置２５は、無線通信により外部装置と情報を送受信する。通信装置２５は、車両１０の外部装置（例えば路側機）に設けられたセンサによる、車両１０の周囲に存在する移動体の位置、速度、加速度、角速度、角加速度および方向指示情報の検出結果を取得する。また、通信装置２５は、車両１０の周囲に存在する移動体と直接通信を行うことにより、例えば車車間通信を行うことにより、移動体の位置、速度、加速度、角速度、角加速度および方向指示情報を取得してもよい。

さらに、通信装置２５は、車両１０の周囲のマップ情報を、サーバ等から受信する。マップ情報は、例えば、移動体が数秒先の未来において進行する１または複数のレーンのそれぞれの経路を示したレーン情報を含む。また、マップ情報は、１または複数のレーンのそれぞれの曲率を示す情報、移動体（例えば車両１０および他車両）が停止する停止線の位置を示す停止線情報、レーンとレーンとの境界線（白線）を示す境界線情報、および、横断歩道の位置を示す横断歩道情報を、サーバ等から受信してもよい。また、通信装置２５は、車両１０の周囲の路側機から、移動体が進行する１または複数のレーンのそれぞれに設けられた信号灯の点灯状態を示す信号灯情報を受信する。

車両制御装置２６は、車両１０を駆動させるための駆動機構を制御する。例えば、車両１０が自動運転車両である場合には、センサ装置２４から得られる情報およびその他の情報に基づいて周辺の状況を判断して、アクセル量、ブレーキ量および操舵角等を制御する。また、車両１０が人による運転操作を介して走行する通常車両の場合、車両制御装置２６は、操作情報に応じて、アクセル量、ブレーキ量および操舵角等を制御する。

情報処理装置３０は、例えば、専用または汎用の１または複数のコンピュータである。情報処理装置３０は、記憶装置２１、入力装置２２、表示装置２３、センサ装置２４、通信装置２５および車両制御装置２６を管理および制御する。情報処理装置３０は、メモリ３１と、１または複数のハードウェアプロセッサ３２とを有する。

メモリ３１は、例えば、ＲＯＭ３３（Read Only Memory）と、ＲＡＭ３４（Random Access Memory）とを含む。ＲＯＭ３３は、情報処理装置３０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ３４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ３４は、１または複数のハードウェアプロセッサ３２の作業領域として機能する。

１または複数のハードウェアプロセッサ３２は、メモリ３１（ＲＯＭ３３およびＲＡＭ３４）にバスを介して接続される。１または複数のハードウェアプロセッサ３２は、例えば、１または複数のＣＰＵ（Central Processing Unit）を含んでもよいし、１または複数のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、１または複数のハードウェアプロセッサ３２は、ニューラルネットワークを実現するための専用の処理回路を含む半導体装置等を含んでもよい。

１または複数のハードウェアプロセッサ３２は、ＲＡＭ３４の所定領域を作業領域としてＲＯＭ３３または記憶装置２１に予め記憶された各種プログラムとの協働により各種処理を実行することにより、予測装置４０として機能する。予測装置４０については、以下詳細に説明する。

図３は、予測装置４０の構成を示す図である。予測装置４０は、車両１０の周囲に存在する移動体（例えば他車両）の未来の１または複数の状態を予測する。移動体の未来の状態とは、例えば、現在から数秒後までの間の期間における、所定のタイムステップ毎の、移動体の位置、速度、加速度、角速度および角加速度である。

情報処理装置３０は、予測装置４０により予測された移動体の未来の１または複数の状態を表示装置２３に表示する。また、情報処理装置３０は、予測された移動体の未来の１または複数の状態に基づき移動体と車両１０との衝突等の危険性を判断し、さらに、判断結果に基づき運転者に警告を与えたりする。また、情報処理装置３０は、予測装置４０により予測された移動体の未来の１または複数の状態を車両制御装置２６に与えてもよい。車両制御装置２６は、予測された移動体の未来の１または複数の状態に基づき、移動体と車両１０との衝突等を回避するように車両１０を制御したり、周囲における交通の流れを乱さないように車両１０を制御したりする。

予測装置４０は、観測値取得部５０と、レーン情報取得部５２と、付加情報取得部５４と、推定部５６と、予測部５８と、出力部６０とを備える。

観測値取得部５０は、移動体の移動動作に関する１または複数の観測値を所定時間毎（例えば数十、数百ミリ秒）に取得する。移動体は、車両１０の周囲に存在する他車両等である。

本実施形態において、観測値取得部５０は、１または複数の観測値として、移動体の位置、速度、加速度、角速度および角加速度を、センサ装置２４および通信装置２５から取得する。さらに、観測値取得部５０は、観測値として、移動体の位置の分散、速度の分散、加速度の分散、角速度の分散および角加速度の分散を取得してもよい。

本実施形態において、観測値取得部５０は、基準時刻以前の時刻から基準時刻までにおける、所定時間毎の１または複数の観測値を表す観測値の時系列データを推定部５６に与える。また、観測値取得部５０は、基準時刻において取得された１または複数の観測値に示される移動体の１または複数の状態を表す現在状態情報を、予測部５８に与える。本実施形態において、基準時刻とは、現在時刻である。例えば、現在状態情報は、基準時刻における移動体の位置、速度、加速度、角速度、角加速度、位置の分散、速度の分散、加速度の分散、および、角加速度の分散の少なくとも１つを表す。

レーン情報取得部５２は、基準時刻より後において、移動体が進行する可能性がある１または複数のレーンを表すレーン情報を取得する。レーン情報取得部５２は、レーン情報を、通信装置２５を介してサーバから取得したり、記憶装置２１から取得したりする。レーン情報取得部５２は、取得したレーン情報を推定部５６および予測部５８に与える。

レーンは、移動体の推奨経路である。レーン情報は、１または複数の個別レーン情報を含む。個別レーン情報は、１つのレーンについての推奨経路を表す。例えば、個別レーン情報は、対応するレーンの中心位置を示す座標の集合（点列）によって表される。例えば、個別レーン情報は、対応するレーンの中心を結んだ直線または曲線を表す関数またはパラメータ（例えば、直線、円弧、スプライン曲線またはクロソイド曲線等）によって表されてもよい。

付加情報取得部５４は、移動体が進行する可能性がある１または複数のレーンにおける周囲の道路環境等を表す付加情報を取得する。付加情報取得部５４は、付加情報を通信装置２５または記憶装置２１から取得する。付加情報は、１または複数のレーンのそれぞれについての、信号灯情報、曲率情報、停止線情報、境界線情報および横断歩道情報の少なくとも１つを含む。付加情報取得部５４は、例えば、付加情報に信号灯情報を含む場合、所定時間毎に付加情報を取得する。本実施形態において、付加情報取得部５４は、所定時間毎の付加情報を表す付加情報の時系列データを推定部５６に与える。

推定部５６は、基準時刻以前の時刻から基準時刻までにおける観測値の時系列データ、レーン情報、および、基準時刻以前の時刻から基準時刻までにおける付加情報の時系列データに基づき、時系列変化量を推定する。時系列変化量は、基準時刻以前の時刻から基準時刻までにおける、１または複数のレーンのそれぞれに対する移動体の状態の特徴を表す。

推定部５６は、はじめに、観測値の時系列データおよびレーン情報に基づき、１または複数のレーンのそれぞれに対する、基準時刻以前の時刻から基準時刻までにおける移動体と対応するレーンとの誤差を表す誤差情報の時系列データを算出する。

さらに、推定部５６は、観測値の時系列データ、誤差情報の時系列データ、および、付加情報の時系列データに基づき、時系列変化量を推定する。例えば、推定部５６は、観測値の時系列データ、誤差情報の時系列データおよび付加情報の時系列データをリカレントニューラルネットワークに入力することにより、時系列変化量を推定する。

さらに、推定部５６は、時系列変化量に基づき、１または複数のレーンのそれぞれに対する、移動体が進行する可能性を示す尤度を表す尤度情報を推定する。例えば、推定部５６は、時系列変化量をニューラルネットワークに入力することにより尤度情報を推定する。

推定部５６は、尤度情報を予測部５８に与える。さらに、推定部５６は、時系列変化量を予測部５８に与える。なお、推定部５６については、図６を参照してさらに説明する。

予測部５８は、尤度情報に基づき、複数のレーンのうち１または複数の対象レーンを特定する。例えば、予測部５８は、複数のレーンのうちの尤度が予め定められた値以上の１または複数のレーンを、１または複数の対象レーンとして特定する。また、例えば、予測部５８は、複数のレーンのうちの尤度が上位から予め定められた数の１または複数のレーンを、１また複数の対象レーンとして特定する。

そして、予測部５８は、特定した１または複数の対象レーンのそれぞれについて、時系列変化量、現在状態情報およびレーン情報に基づき、対応する対象レーンを移動体が進行する場合における、基準時刻より後における移動体の１または複数の状態を表す予測状態情報を算出する。

例えば、予測部５８は、基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれについて、予測状態情報を算出する。例えば、予測状態情報は、基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれにおける、移動体の位置、速度、加速度、角速度、角加速度、位置の分散、速度の分散、加速度の分散、および、角加速度の分散の少なくとも１つを表す。

予測部５８は、複数の状態予測部６４と、マスク部６６とを有する。

複数の状態予測部６４は、複数のレーンのそれぞれに対応して設けられる。複数の状態予測部６４のそれぞれは、マスク部６６を介して、対応するレーンについての時系列変化量、現在状態情報、および、レーン情報に含まれる対応するレーンについての個別レーン情報を取得する。そして、複数の状態予測部６４のそれぞれは、取得したこれらの情報に基づき、対応するレーンを移動体が進行する場合における、基準時刻より後における移動体の１または複数の状態を表す予測状態情報を算出する。

なお、本実施形態において、複数の状態予測部６４のそれぞれは、カルマンフィルタを用いて、予測状態情報を算出する。カルマンフィルタを用いた状態予測部６４の構成については、図８以降で詳細をさらに説明する。

マスク部６６は、尤度情報に基づき、複数のレーンのうち１または複数の対象レーンを特定する。そして、マスク部６６は、複数の状態予測部６４のうち、特定した１または複数の対象レーンに対応する１または複数の状態予測部６４に対して、対応するレーンについての時系列変化量、現在状態情報、および、対応するレーンについての個別レーン情報を与える。これにより、マスク部６６は、複数の状態予測部６４のうち、特定した１または複数の対象レーンに対応する１または複数の状態予測部６４に、予測状態情報の算出処理を実行させることができる。

出力部６０は、予測部５８により算出された、特定した１または複数の対象レーンのそれぞれについての予測状態情報を出力する。例えば、出力部６０は、表示装置２３に予測状態情報を表示させたり、車両制御装置２６に予測状態情報を与えたりする。

図４は、移動体が進行する可能性がある複数のレーンおよび複数のレーンのそれぞれに対する尤度を示す図である。

図４に示す自動車７０（移動体）は、基準時刻（現在時刻）において、直進または左折用のレーンから、交差点へ進入を開始している。図４に示す例では、数秒後の未来において、自動車７０が進行する可能性があるレーンは、４つ存在する。

このような場合、推定部５６は、４つのレーンのそれぞれに対する、自動車７０が進行する可能性を示す尤度を表す尤度情報を推定する。例えば、図４においては、尤度情報は、自動車７０が直進し且つ右側のレーンに進行する可能性が１％、自動車７０が直進し且つ左側のレーンに進行する可能性が１９％、自動車７０が左折し且つ右側のレーンに進行する可能性が５０％、および、自動車７０が左折し且つ左側のレーンに進行する可能性が３０％であることを表す。

さらに、予測部５８は、４つのレーンのそれぞれに対する尤度に基づき、４つのレーンのうちの１または複数の対象レーンを特定する。例えば、予測部５８は、４つのレーンのうち、上位の２つのレーンを対象レーンとして特定する。また、例えば、予測部５８は、４つのレーンのうち、尤度が閾値以上のレーンを対象レーンとして特定する。そして、予測部５８は、特定した１または複数の対象レーンのそれぞれについて、基準時刻より後における自動車７０（移動体）の１または複数の状態を表す予測状態情報を算出する。

図５は、レーン情報および現在誤差情報の一例を示す図である。本実施形態において、推定部５６は、１または複数のレーンのそれぞれに対する現在誤差情報として、１または複数のレーンのそれぞれに対する位置誤差および角度誤差を算出する。

例えば、移動体が移動する可能性がある複数のレーンとして、第１レーン、第２レーンおよび第３レーンが存在するとする。この場合、推定部５６は、現在誤差情報として、第１レーンについての位置誤差ｅ_１および角度誤差ｄ_１、第２レーンについての位置誤差ｅ_２および角度誤差ｄ_２、および、第３レーンについての位置誤差ｅ_３および角度誤差ｄ_３を算出する。

例えば、移動体の中心位置から対応するレーンを表す曲線へ伸ばした垂線の足の位置を、足位置とする。この場合、推定部５６は、移動体の中心位置から、対応するレーンの足位置までのベクトルを、位置誤差として算出する。この場合、推定部５６は、位置誤差を、ｘ方向の成分とｙ方向の成分とに分離して表してもよい。

例えば、推定部５６は、移動体の方向ベクトルと、対応するレーンを表す曲線における足位置の接線ベクトルとの差分ベクトルを、角度誤差として算出する。この場合、推定部５６は、差分ベクトルを、ｘ方向の成分とｙ方向の成分とに分離して表してもよい。

例えば、推定部５６は、移動体の方向ベクトルと、対応するレーンを表す曲線における足位置から事前に定めた距離離れた位置の接線ベクトルとの差分ベクトルを、角度誤差として算出する。この場合、推定部５６は、差分ベクトルを、ｘ方向の成分とｙ方向の成分とに分離して表してもよい。また、事前に定めた距離は、複数あってもよい。

図６は、推定部５６の構成を示す図である。推定部５６は、誤差情報算出部７２と、時系列変化量推定部７４と、尤度推定部７６とを有する。

誤差情報算出部７２は、観測値取得部５０から１または複数の観測値を取得する。本実施形態においては、誤差情報算出部７２は、所定時間毎に取得した１または複数の観測値を表す観測値の時系列データを取得する。さらに、誤差情報算出部７２は、レーン情報を受け取る。

誤差情報算出部７２は、観測値の時系列データおよびレーン情報に基づき、複数のレーンのそれぞれに対する、移動体と対応するレーンとの誤差を所定時間毎に表す誤差情報の時系列データを算出する。例えば、誤差情報算出部７２は、複数のレーンのそれぞれについて、図５に示したような位置誤差および角度誤差を算出する。誤差情報算出部７２は、算出した誤差情報の時系列データを時系列変化量推定部７４に与える。

時系列変化量推定部７４は、観測値の時系列データ、誤差情報の時系列データ、付加情報の時系列データに基づき、基準時刻以前の時刻から基準時刻までの時系列変化量を推定する。

本実施形態において、時系列変化量推定部７４は、第１リカレントニューラルネットワークを用いて時系列変化量を算出する。例えば、第１リカレントニューラルネットワークは、観測値の時系列データ、誤差情報の時系列データ、および、付加情報の時系列データを入力して、時系列変化量を出力する。

時系列変化量推定部７４は、第１リカレントニューラルネットワークとして、例えば、単純再帰型ネットワークを含むシンプルＲＮＮ、または、ＬＳＴＭ（Long Short－Term Memory）またはＧＲＵ（Gated Recurrent Unit）等を含むＲＮＮを用いてもよい。時系列変化量推定部７４は、時系列変化量を尤度推定部７６および予測部５８に与える。

例えば、時系列変化量推定部７４は、複数のレーンのそれぞれに対応させて、下記の式（１）で表される１次元のベクトルデータの時系列データを入力してもよい。
ｘ＾＝［ｘ，ｙ，ｖ_ｘ，ｖ_ｙ，ｅ_ｘ，ｅ_ｙ，ｄ_ｘ，ｄ_ｙ，ｓ＾］^Ｔ…（１）

式（１）において、ｘ＾は、時系列変化量推定部７４に入力されるベクトルデータを表す。ｘは、観測値取得部５０から得られた移動体のｘ方向の位置を表す。ｙは、観測値取得部５０から得られた移動体のｙ方向の位置を表す。ｖ_ｘは、観測値取得部５０から得られた移動体のｘ方向の速度を表す。ｖ_ｙは、観測値取得部５０から得られた移動体のｙ方向の速度を表す。

ｅ_ｘは、誤差情報算出部７２により算出された、対応するレーンに対する移動体のｘ方向の位置誤差を表す。ｅ_ｙは、誤差情報算出部７２により算出された、対応するレーンに対する移動体のｙ方向の位置誤差を表す。ｄ_ｘは、誤差情報算出部７２により算出された、対応するレーンに対する移動体のｘ方向の角度誤差を表す。ｄ_ｙは、誤差情報算出部７２により算出された、対応するレーンに対する移動体のｙ方向の角度誤差を表す。

ｓ＾は、付加情報に含まれる信号灯情報である。例えば、信号灯情報は、赤、黄および青のそれぞれの信号灯の状態を、ｏｎｅ－ｈｏｔ表現で表した情報である。

時系列変化量推定部７４は、式（１）に示すようなベクトルの時系列データを、複数のレーンのそれぞれに対応して入力する。時系列変化量推定部７４は、複数のレーンに対応する複数のベクトルを合成した、１つの２次元のベクトルの時系列データを入力してもよい。

なお、時系列変化量推定部７４は、式（１）に示すようなベクトルに限らず、他の構成のベクトルを入力してもよい。例えば、時系列変化量推定部７４は、さらに、ｘ方向成分およびｙ方向成分に分離して表された、加速度、角速度および角加速度を含むベクトルを入力してもよい。また、時系列変化量推定部７４は、ｘ方向成分およびｙ方向成分に分離して表された速度、加速度、角速度および角加速度に代えて、スカラー値で表された速度、加速度、角速度および角加速度を含むベクトルを入力してもよい。

また、時系列変化量推定部７４は、ｘ方向およびｙ方向に分離して表された位置誤差および角度誤差に代えて、スカラー値で表された位置誤差および角度誤差を含むベクトルを入力してもよい。また、時系列変化量推定部７４は、レーンとレーンとの境界線からの誤差を表す情報および歩道からの誤差を表す情報さらに含むベクトルを入力してもよい。また、時系列変化量推定部７４は、ｏｎｅ－ｈｏｔ表現で表された、移動体における進行方向を示す方向指示情報を、さらに含むベクトルを入力してもよい。

尤度推定部７６は、時系列変化量推定部７４により推定された時系列変化量を取得する。そして、尤度推定部７６は、複数のレーンのそれぞれに対する時系列変化量を連結し、複数のレーンのそれぞれに対する尤度を表す尤度情報を推定する。

本実施形態において、尤度推定部７６は、ニューラルネットワークを用いて尤度情報を算出する。尤度推定部７６は、例えば、複数のレーンに対応する複数の時系列変化量を連結した値を入力とする全結合層を含むニューラルネットワークを用いる。また、尤度推定部７６は、出力層の活性化関数にＳｏｆｔｍａｘ関数を用いて、複数のレーンのそれぞれに対する確率を出力してもよい。また、尤度推定部７６は、出力層の活性化関数にＳｉｇｍｏｉｄ関数を用いて、出力層の各ノードのそれぞれから０から１までの間の値を出力してもよい。

尤度推定部７６は、推定した尤度情報を予測部５８のマスク部６６に与える。尤度推定部７６は、一定時間毎に、尤度情報を推定して、予測部５８に与える。

図７は、予測装置４０の処理の流れを示すフローチャートである。予測装置４０は、移動体（例えば、他車両）を検出した場合、検出した移動体について、図７に示すような流れで処理を実行する。

まず、Ｓ１１において、予測装置４０は、基準時刻（現在時刻）を表す変数ｔに０を代入する。続いて、Ｓ１２において、観測値取得部５０は、観測値の時系列データを取得する。続いて、Ｓ１３において、レーン情報取得部５２は、レーン情報を取得する。続いて、Ｓ１４において、付加情報取得部５４は、付加情報の時系列データを取得する。

続いて、Ｓ１５において、推定部５６は、基準時刻より後において移動体が進行する可能性がある複数のレーンのそれぞれに対する、移動体の誤差を表す誤差情報の時系列データを算出する。続いて、Ｓ１６において、推定部５６は、複数のレーンのそれぞれに対する移動体の状態の特徴を表す時系列変化量を算出する。続いて、Ｓ１７において、推定部５６は、複数のレーンのそれぞれに対する移動体が進行する可能性を示す尤度を表す尤度情報を推定する。

続いて、Ｓ１８において、予測部５８は、尤度情報に基づき、複数のレーンのうち１または複数の対象レーンを特定する。例えば、予測部５８は、複数のレーンのうちの尤度が予め定められた値以上の１または複数のレーンを、１または複数の対象レーンとして特定する。また、例えば、予測部５８は、複数のレーンのうちの尤度が上位から予め定められた数の１または複数のレーンを、１また複数の対象レーンとして特定する。

続いて、予測部５８は、特定した１または複数の対象レーンのそれぞれについて、Ｓ２０の処理を実行する（Ｓ１９とＳ２１との間のループ処理）。Ｓ２０において、予測部５８は、対応するレーンに対する時系列変化量、現在状態情報、および、レーン情報に含まれる対応するレーンを表す個別レーン情報に基づき、対応する対象レーンを移動体が進行する場合における、基準時刻より後における移動体の１または複数の状態を表す予測状態情報を算出する。

本実施形態においては、Ｓ２０において、予測部５８は、所定のタイムステップ（ΔＴ）毎の複数の時刻のそれぞれについて、予測状態情報を算出する。より詳しくは、予測部５８は、基準時刻から１タイムステップ後の時刻（ｔ＋ΔＴ）から、基準時刻からＮ（Ｎは２以上の整数）のタイムステップ後の最終時刻（ｔ＋Ｎ×ΔＴ）までのＮ個の時刻のそれぞれについて、予測状態情報を算出する。なお、予測部５８は、カルマンフィルタを用いて、予測状態情報を算出する。カルマンフィルタを用いた場合のＳ２０の処理については、図１１を参照してさらに説明をする。

全ての対象レーンについてＳ２０の処理が終了した後、Ｓ２２において、出力部６０は、特定した１または複数の対象レーンのそれぞれについての、基準時刻より後における移動体の１または状態を表す予測状態情報を出力する。例えば、出力部６０は、表示装置２３に予測状態情報を表示させたり、車両制御装置２６に予測状態情報を与えたりする。

続いて、Ｓ２３において、検出した移動体についてＳ１１からＳ２２までの処理を実行したステップ数がＫ以下の場合（Ｋは所定の自然数）、予測装置４０は、変数ｔに一定時間を表すΔｔを加算する。そして、予測装置４０は、処理をＳ１２に戻して、検出した移動体について、Δｔ時間後にＳ１２から処理を繰り返す。

図８は、状態予測部６４の構成を示す図である。予測部５８は、１または複数の対象レーンのそれぞれに対応する１または複数の状態予測部６４を有する。本実施形態において、１または複数の状態予測部６４のそれぞれは、カルマンフィルタを用いて、基準時刻（ｔ）より１タイムステップ後の第１時刻（ｔ＋ΔＴ）から、予め定められたタイムステップ数（Ｎ）後の最終時刻（ｔ＋Ｎ×ΔＴ）まで、１タイムステップずつ順次に予測状態情報および分散共分散行列を算出する。

ここで、分散共分散行列は、分散および共分散を含む行列である。共分散は、予測状態情報により表される何れか２つの状態の関係を表す指標である。例えば、第１状態と第２状態との共分散は、第１状態と第２状態との相関係数と、第１状態の分散と、第２状態の分散とに基づき算出することができる。

１または複数の状態予測部６４のそれぞれは、制御量推定部８２と、カルマンフィルタ部８４とを含む。

制御量推定部８２は、推定部５６から、マスク部６６を介して、対応するレーンにおける時系列変化量を取得する。また、制御量推定部８２は、観測値取得部５０から、マスク部６６を介して、現在状態情報（基準時刻において取得された１または複数の観測値に示される移動体の１または複数の状態を表す情報）を取得する。また、制御量推定部８２は、レーン情報取得部５２から、マスク部６６を介して、レーン情報に含まれる対応するレーンを表す個別レーン情報を取得する。

また、制御量推定部８２は、基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれ毎に、カルマンフィルタ部８４から１タイムステップ前の予測状態情報を取得する。そして、制御量推定部８２は、基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれについて、移動体が対応する対象レーンを進行するための移動体に与えられる制御量、制御量の分散、および、相関係数を推定する。なお、制御量推定部８２は、制御量の分散および相関係数に代えて、制御量の共分散を出力してもよい。

ここで、制御量は、移動体における位置、速度、加速度、角速度および角加速度の少なくとも１つを制御するために、移動体に与えられる値である。相関係数は、２つの制御量の相関を表す係数である。

カルマンフィルタ部８４は、観測値取得部５０から、マスク部６６を介して、現在状態情報を取得する。さらに、カルマンフィルタ部８４は、基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれ毎に、制御量推定部８２から制御量、制御量の分散および相関係数を取得する。なお、カルマンフィルタ部８４は、制御量の分散および相関係数に代えて、制御量の共分散を取得してもよい。そして、カルマンフィルタ部８４は、基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれについて、予測状態情報および分散共分散行列をカルマンフィルタにより算出する。

本実施形態において、制御量推定部８２は、現在状態情報として、移動体のｘ方向の位置、ｙ方向の位置、ｘ方向の速度、ｙ方向の速度、ｘ方向の加速度、ｙ方向の加速度、ｘ方向の位置の分散、ｙ方向の位置の分散、ｘ方向の速度の分散、ｙ方向の速度の分散、ｘ方向の加速度の分散、および、ｙ方向の加速度の分散を取得する。また、本実施形態において、制御量推定部８２は、ｘ方向の速度を制御するためのｘ方向速度制御量、ｙ方向の速度を制御するためのｙ方向速度制御量、ｘ方向速度制御量の分散、ｙ方向速度制御量の分散、および、ｘ方向速度制御量とｙ方向速度制御量との相関を表す相関係数を推定する。なお、制御量推定部８２は、ｘ方向速度制御量の分散、ｙ方向速度制御量の分散、および、ｘ方向速度制御量とｙ方向速度制御量との相関を表す相関係数に代えて、ｘ方向速度制御量とｙ方向速度制御量との共分散を出力してもよい。

また、本実施形態において、カルマンフィルタ部８４は、現在状態情報として、移動体のｘ方向の位置、ｙ方向の位置、ｘ方向の速度、ｙ方向の速度、ｘ方向の加速度、ｙ方向の加速度、ｘ方向の位置の分散、ｙ方向の位置の分散、ｘ方向の速度の分散、ｙ方向の速度の分散、ｘ方向の加速度の分散、および、ｙ方向の加速度の分散を取得する。また、本実施形態において、カルマンフィルタ部８４は、予測状態情報として、移動体のｘ方向の位置、ｙ方向の位置、ｘ方向の速度、ｙ方向の速度、ｘ方向の加速度、ｙ方向の加速度、ｘ方向の位置の分散、ｙ方向の位置の分散、ｘ方向の速度の分散、ｙ方向の速度の分散、ｘ方向の加速度の分散、および、ｙ方向の加速度の分散を推定する。さらに、本実施形態において、カルマンフィルタ部８４は、移動体のｘ方向の位置とｙ方向の位置との共分散、ｘ方向の速度とｙ方向の速度との共分散、および、ｘ方向の加速度とｙ方向の加速度との共分散を推定する。

図９は、制御量推定部８２の構成をカルマンフィルタ部８４とともに示す図である。制御量推定部８２は、第１フィードバック部８６と、第１セレクタ８８と、レーン誤差算出部９０と、制御量算出部９２とを含む。

第１フィードバック部８６は、対象時刻における制御量（Ｃ_ｋ＋１）、制御量の分散（Ｓ^２ _ｋ＋１）および相関係数（ρ_ｋ＋１）を算出する場合に、カルマンフィルタ部８４から、対象時刻の１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を取得する。第１フィードバック部８６は、対象時刻の１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を第１セレクタ８８に与える。

第１セレクタ８８は、基準時刻から１タイムステップ後の第１時刻における制御量、制御量の分散および相関係数を算出する場合、現在状態情報（ｕ_０）を選択して、レーン誤差算出部９０および制御量算出部９２に与える。

また、第１セレクタ８８は、基準時刻から２タイムステップ以後における任意の第２時刻における制御量、制御量の分散および相関係数を算出する場合、第１フィードバック部８６によりフィードバックされた予測状態情報（ｕ_ｋ）を選択して、レーン誤差算出部９０および制御量算出部９２に与える。すなわち、この場合、第１セレクタ８８は、カルマンフィルタ部８４により算出された第２時刻より１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を選択して、制御量算出部９２に与える。

レーン誤差算出部９０は、レーン情報取得部５２から受け取ったレーン情報に含まれる、対応するレーンについての個別レーン情報を取得する。レーン誤差算出部９０は、対象時刻の１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）と、個別レーン情報とに基づき、対象時刻の１タイムステップ前の時刻における移動体と、対応するレーンとの誤差を表す予測誤差情報（ｅ_ｋ）を算出する。例えば、レーン誤差算出部９０は、図６に示した誤差情報算出部７２と同様の処理により、予測誤差情報（ｅ_ｋ）を算出する。レーン誤差算出部９０は、算出した予測誤差情報（ｅ_ｋ）を制御量算出部９２に与える。

制御量算出部９２は、基準時刻から１タイムステップ後の第１時刻における制御量、制御量の分散および相関係数を、対応するレーンにおける時系列変化量、観測値取得部５０により取得された現在状態情報（ｕ_０）および現在誤差情報（ｅ_０）に基づき推定する。また、制御量算出部９２は、基準時刻から２タイムステップ以後の任意の第２時刻における制御量、制御量の分散および相関係数を、対応するレーンにおける時系列変化量、第２時刻より１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）および予測誤差情報（ｅ_ｋ）に基づき推定する。

本実施形態において、制御量算出部９２は、ニューラルネットワークを用いて、制御量、制御量の分散および相関係数を算出する。制御量算出部９２は、例えば、第２リカレントニューラルネットワークを用いて、制御量、制御量の分散および相関係数を算出する。第２リカレントニューラルネットワークは、対応するレーンにおける時系列変化量、現在状態情報（または予測状態情報）および現在誤差情報（予測誤差情報）を入力して、制御量、制御量の分散および相関係数を出力する。制御量算出部９２は、第２リカレントニューラルネットワークとして、例えば、シンプルＲＮＮ、または、ＬＳＴＭまたはＧＲＵ等を含むＲＮＮを用いてもよい。また、第２リカレントニューラルネットワークは、出力層が全結合層であってもよい。

本実施形態において、制御量推定部８２は、ｘ方向速度制御量、ｙ方向速度制御量、ｘ方向速度制御量の分散、ｙ方向速度制御量の分散、および、相関係数を推定する。この場合、例えば、制御量算出部９２は、ｘ方向速度制御量の分散およびｙ方向速度制御量の分散を出力するノードの活性化関数にｅｘｐ関数が適用される。これにより、制御量算出部９２は、速度制御量の分散として０以上の値を出力することができる。また、例えば、制御量算出部９２は、相関係数を出力するノードの活性化関数にｔａｎｈ関数が適用される。これにより、制御量算出部９２は、相関係数として－１より大きく＋１より小さい値を出力することができる。

このような制御量算出部９２は、１タイムステップ毎に、以上のように算出した制御量（Ｃ_ｋ＋１）、制御量の分散（Ｓ^２ _ｋ＋１）および相関係数（ρ_ｋ＋１）を、カルマンフィルタ部８４に与える。

図１０は、カルマンフィルタ部８４の構成を示す図である。カルマンフィルタ部８４は、第２フィードバック部９４と、第２セレクタ９６と、状態時間遷移部９８と、パラメータ推定部１００と、第３フィードバック部１０２と、共分散時間遷移部１０４と、カルマン更新部１０６とを含む。

第２フィードバック部９４は、対象時刻における予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を算出する場合、カルマン更新部１０６から、対象時刻の１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を取得する。第２フィードバック部９４は、対象時刻の１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を第２セレクタ９６に与える。

第２セレクタ９６は、基準時刻から１タイムステップ後の第１時刻における予測状態情報および分散共分散行列を算出する場合、観測値取得部５０により取得した現在状態情報（ｕ_０）を選択して、状態時間遷移部９８に与える。また、第２セレクタ９６は、基準時刻から２タイムステップ以後における任意の第２時刻における予測状態情報および分散共分散行列を算出する場合、第２フィードバック部９４によりフィードバックされた予測状態情報（ｕ_ｋ）を選択して、状態時間遷移部９８に与える。すなわち、この場合、第２セレクタ９６は、カルマン更新部１０６により算出された第２時刻より１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を選択して、状態時間遷移部９８に与える。

状態時間遷移部９８は、基準時刻より１タイムステップ後の第１時刻における予測状態情報および分散共分散行列を算出する場合には、現在状態情報（ｕ_０）を、予め定められた時間遷移モデルにより１タイムステップ分時間遷移させる。また、状態時間遷移部９８は、基準時刻より２タイムステップ以後の任意の第２時刻における予測状態情報および分散共分散行列を算出する場合には、第２時刻より１タイムステップ前の時刻における予測状態情報（ｕ_ｋ）を、予め定められた時間遷移モデルにより１タイムステップ分時間遷移させる。

例えば、状態時間遷移部９８は、下記の式（２）の演算を実行する。
ｕ´_ｋ＋１＝Ｆ（ｕ_ｋ）…（２）

ｕ_ｋは、対象時刻の１タイムステップ前における予測状態情報（または現在状態情報）を表す。ｕ´_ｋ＋１は、ｕ_ｋを時間遷移モデルにより１タイムステップ分時間遷移させた情報を表す。

Ｆ（）は、システムの時間遷移に関するモデルである。例えば、Ｆ（）は、移動体が等速運動または等加速度運動をすることを前提として、任意の時刻の移動体の状態に基づき、任意の時刻の１タイムステップ後の時刻における移動体の状態を算出するための関数である。状態時間遷移部９８は、算出した情報（ｕ´_ｋ＋１）をパラメータ推定部１００およびカルマン更新部１０６に与える。

パラメータ推定部１００は、任意の時刻における分散共分散行列（Ｐ_ｋ）を１タイムステップ分時間遷移させるための時間遷移モデルに含まれるパラメータ（Ｑ_ｋ＋１）を推定する。パラメータ（Ｑ_ｋ＋１）は、時間遷移モデルに加えるプロセスノイズを表す。

本実施形態において、パラメータ推定部１００は、ニューラルネットワークを用いてパラメータ（Ｑ_ｋ＋１）を算出する。パラメータ推定部１００は、例えばリカレントニューラルネットワークを用いて、状態時間遷移部９８から出力された情報（ｕ´_ｋ＋１）を入力して、パラメータ（Ｑ_ｋ＋１）を出力する。パラメータ推定部１００は、リカレントニューラルネットワークとして、例えば、シンプルＲＮＮ、または、ＬＳＴＭまたはＧＲＵ等を含むＲＮＮを用いてもよい。

本実施形態においては、例えば、パラメータ推定部１００は、パラメータ（Ｑ_ｋ＋１）として、ｘ方向の位置の分散、ｙ方向の位置の分散、ｘ方向の速度の分散、ｙ方向の速度の分散、ｘ方向の加速度の分散、ｘ方向の位置とｙ方向の位置との相関係数、ｘ方向の速度とｙ方向の速度との相関係数、および、ｘ方向の加速度とｙ方向の加速度との相関係数を算出する。

また、パラメータ推定部１００は、出力層が全結合層であってもよい。また、例えば、パラメータ推定部１００は、分散を出力するノードの活性化関数にｅｘｐ関数が適用される。また、例えば、パラメータ推定部１００は、相関係数を出力するノードの活性化関数にｔａｎｈ関数が適用される。パラメータ推定部１００は、推定したパラメータ（Ｑ_ｋ＋１）を共分散時間遷移部１０４に与える。

第３フィードバック部１０２は、対象時刻における予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を算出する場合、カルマン更新部１０６から、対象時刻の１タイムステップ前の時刻における分散共分散行列（Ｐ_ｋ）を取得する。第３フィードバック部１０２は、対象時刻の１タイムステップ前の時刻における分散共分散行列（Ｐ_ｋ）を共分散時間遷移部１０４に与える。

共分散時間遷移部１０４は、対象時刻における予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を算出する場合、対象時刻より１タイムステップ前の時刻における分散共分散行列（Ｐ_ｋ）を、予め定められた時間遷移モデルにより１タイムステップ分時間遷移させる。

例えば、共分散時間遷移部１０４は、下記の式（３）の演算を実行する。
Ｐ´_ｋ＋１＝ＦＰ_ｋＦ^Ｔ＋Ｑ_ｋ＋１…（３）

Ｐ_ｋは、対象時刻の１タイムステップ前における分散共分散行列を表す。Ｐ´_ｋ＋１は、Ｐ_ｋを時間遷移モデルにより１タイムステップ分時間遷移させた情報を表す。

式（３）は、システムの時間遷移に関するモデルである。例えば、式（３）は、１タイムステップ前の時刻における分散共分散行列（Ｐ_ｋ）を線形モデルで時間遷移させ、さらに、パラメータ（Ｑ_ｋ＋１）に基づくプロセスノイズを加える式である。共分散時間遷移部１０４は、分散共分散行列（Ｐ_ｋ）を１タイムステップ分時間遷移させた情報（Ｐ´_ｋ＋１）をカルマン更新部１０６に与える。

カルマン更新部１０６は、予測状態情報（ｕ_ｋ）（または現在状態情報（ｕ_０））を１タイムステップ分時間遷移させた情報（ｕ´_ｋ＋１）、および、分散共分散行列（Ｐ_ｋ）を１タイムステップ分時間遷移させた情報（Ｐ´_ｋ＋１）を取得する。さらに、カルマン更新部１０６は、対象時刻における制御量（Ｃ_ｋ＋１）、制御量の分散（Ｓ^２ _ｋ＋１）および相関係数（ρ_ｋ＋１）を、制御量推定部８２から取得する。

カルマン更新部１０６は、取得したこれらの情報に基づき、一般的なカルマンフィルタと同様の計算式によるカルマン更新処理を実行して、対象時刻における予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を算出する。そして、カルマン更新部１０６は、生成した予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を出力する。例えば、カルマン更新部１０６は、基準時刻より１タイムステップ後の第１時刻（ｔ＋ΔＴ）から、予め定められたタイムステップ数（Ｎ）後の最終時刻（ｔ＋Ｎ×ΔＴ）までの予測状態情報の集合および分散共分散行列の集合を出力する。

また、カルマンフィルタにおける状態の予測に変えて、拡張カルマンフィルタを用いてもよい。拡張カルマンフィルタを用いた場合、式（３）のＦは、Ｆのヤコビアン行列にｕ_ｋを代入した行列に置き換える。その他の計算は上述と同様に行うことができる。

図１１は、状態予測部６４の処理の流れを示すフローチャートである。状態予測部６４は、図１１に示すような流れで処理を実行する。

まず、Ｓ４１において、状態予測部６４は、観測値取得部５０から、現在状態情報（ｕ_０）を取得する。さらに、状態予測部６４は、推定部５６から、時系列変化量を取得する。さらに、状態予測部６４は、レーン情報取得部５２から、個別レーン情報を取得する。続いて、Ｓ４２において、状態予測部６４は、ｋに０を代入する。

続いて、Ｓ４３において、制御量推定部８２は、対象時刻における制御量（Ｃ_ｋ＋１）、制御量の分散（Ｓ^２ _ｋ＋１）および相関係数（ρ_ｋ＋１）を推定する。続いて、Ｓ４４において、カルマンフィルタ部８４は、対象時刻の１タイムステップ前の予測状態情報（ｕ_ｋ）（または現在状態情報（ｕ_０））を１タイムステップ分時間遷移した情報（ｕ´_ｋ＋１）を算出する。

続いて、Ｓ４５において、カルマンフィルタ部８４は、パラメータ（Ｑ_ｋ＋１）を推定する。続いて、Ｓ４６において、カルマンフィルタ部８４は、対象時刻の１タイムステップ前の分散共分散行列（Ｐ_ｋ）を１タイムステップ分時間遷移した情報（Ｐ´_ｋ＋１）を算出する。続いて、Ｓ４７において、カルマンフィルタ部８４は、カルマン更新を実行することにより、対象時刻における予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を算出する。

続いて、Ｓ４８において、状態予測部６４は、算出した対象時刻における予測状態情報（ｕ_ｋ＋１）および分散共分散行列（Ｐ_ｋ＋１）を保存する。続いて、Ｓ４９において、状態予測部６４は、ｋがＮ以上となったか否かを判断する。ｋがＮ以上ではない場合（Ｓ４９のＮｏ）、状態予測部６４は、処理をＳ５０に進める。Ｓ５０において、状態予測部６４は、ｋに１を加算して、処理をＳ４３に戻す。そして、状態予測部６４は、Ｓ４３から処理を繰り返す。

ｋがＮ以上である場合（Ｓ４９のＹｅｓ）、状態予測部６４は、処理をＳ５１に進める。Ｓ５１において、状態予測部６４は、基準時刻より１タイムステップ後の第１時刻（ｔ＋ΔＴ）から、予め定められたタイムステップ数（Ｎ）後の最終時刻（ｔ＋Ｎ×ΔＴ）までの予測状態情報の集合および分散共分散行列集合を出力する。

図１２は、学習時における予測装置４０の構成を学習装置２００とともに示す図である。予測装置４０の使用に先だって、学習装置２００は、予測装置４０を訓練する。

学習装置２００は、複数の状態予測部６４のうちの１つが選択されるように、例えばマスク部６６を制御する。学習装置２００は、１つの状態予測部６４が選択された状態で予測装置４０を訓練した後に、選択された状態予測部６４に含まれるニューラルネットワークの内部パラメータ（係数およびオフセット）を、他の状態予測部６４にコピーする。これにより、学習装置２００は、複数の状態予測部６４に対して全て同一の内部パラメータを設定することができる。

学習装置２００は、教師データに基づき、予測装置４０を訓練する。教師データは、例えば、訓練データと、正解データとを含む。訓練データは、例えば、１または複数の観測値の時系列データ、レーン情報および付加情報の時系列データを含む。正解データは、予測装置４０により生成されるべき予測状態情報の集合および分散共分散行列の集合を含む。

学習装置２００は、訓練データを与えた場合に予測装置４０から出力される予測状態情報の集合および分散共分散の集合が、正解データに近づくように、予測装置４０に含まれるニューラルネットワークの内部パラメータを調整する。例えば、学習装置２００は、訓練データを予測装置４０に与えた場合に出力された予測状態情報の集合および分散共分散行列の集合に基づき、移動体の位置の２次元正規分布を抽出する。そして、学習装置２００は、抽出した移動体の位置の２次元正規分布の中に、正解データに示された位置が存在する確率が最大となるように、ニューラルネットワークの内部パラメータを調整する。

さらに、正解データは、推定部５６により出力されるべき尤度情報を含んでもよい。この場合、学習装置２００は、訓練データを与えた場合に予測装置４０から出力される尤度情報が、正解データに近づくように、予測装置４０に含まれるニューラルネットワークの内部パラメータを調整する。

学習装置２００は、以上のように予測装置４０を訓練することにより、予測装置４０を精度良く動作させることができる。

以上のように、本実施形態に係る予測装置４０は、複数のレーンのうちの移動体が移動する可能性の高い対象レーンについて予測状態情報を推定する。これにより、予測装置４０によれば、少ない演算量で、移動体が移動する可能性の高い対象レーンについての予測状態情報を推定することができる。換言すると、予測装置４０によれば、移動体が移動する可能性の低いレーンについての予測状態情報を推定しなくてよいので、移動体の未来の状態を少ない演算量で適切に予測することができる。

また、上述の情報処理装置３０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の情報処理装置３０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の情報処理装置３０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 車両
１２ 処理装置
２１ 記憶装置
２２ 入力装置
２３ 表示装置
２４ センサ装置
２５ 通信装置
２６ 車両制御装置
３０ 情報処理装置
３１ メモリ
３２ ハードウェアプロセッサ
４０ 予測装置
５０ 観測値取得部
５２ レーン情報取得部
５４ 付加情報取得部
５６ 推定部
５８ 予測部
６０ 出力部
６４ 状態予測部
６６ マスク部
７２ 誤差情報算出部
７４ 時系列変化量推定部
７６ 尤度推定部
８２ 制御量推定部
８４ カルマンフィルタ部
８６ 第１フィードバック部
８８ 第１セレクタ
９０ レーン誤差算出部
９２ 制御量算出部
９４ 第２フィードバック部
９６ 第２セレクタ
９８ 状態時間遷移部
１００ パラメータ推定部
１０２ 第３フィードバック部
１０４ 共分散時間遷移部
１０６ カルマン更新部
２００ 学習装置

Claims (17)

1. 移動体の移動動作に関する観測値を取得する観測値取得部と、
   基準時刻より後において前記移動体が進行する可能性がある複数のレーンを表すレーン情報を取得するレーン情報取得部と、
   前記観測値および前記レーン情報に基づき、前記複数のレーンのそれぞれに対する、前記移動体の位置と対応するレーンを表す点列または曲線との位置誤差、および、前記移動体の方向ベクトルと対応するレーンを表す曲線のベクトルとの角度誤差を表す誤差情報を算出し、前記観測値および前記誤差情報に基づき、前記複数のレーンに対する前記移動体の状態の特徴を表す時系列変化量、および、前記複数のレーンのそれぞれに対する前記移動体が進行する可能性を示す尤度を表す尤度情報を推定する推定部と、
   マスク部と、
   前記複数のレーンに対応しており、それぞれが、前記マスク部を介して、前記複数のレーンのうちの対応するレーンについての、前記基準時刻において取得された前記観測値に示される前記移動体の１または複数の状態を表す現在状態情報、および、前記時系列変化量を取得し、取得した前記現在状態情報および前記時系列変化量に基づき、前記対応するレーンを前記移動体が進行する場合における、前記基準時刻より後における前記移動体の１または複数の状態を表す予測状態情報を算出する、複数の状態予測部と、
   を備え、
   前記マスク部は、前記尤度情報に基づき前記複数のレーンのうち１または２以上の対象レーンを特定し、前記複数の状態予測部のうちの特定した前記１または２以上の対象レーンに対応する１または２以上の状態予測部のそれぞれに対して、対応するレーンについての前記現在状態情報および前記時系列変化量を与えて、前記予測状態情報を算出させ、前記複数の状態予測部のうちの前記１または２以上の状態予測部以外に対して前記予測状態情報を算出させない
   予測装置。
2. 前記１または２以上の状態予測部のそれぞれは、前記基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれについて、前記予測状態情報を算出する
   請求項１に記載の予測装置。
3. 前記マスク部は、前記複数のレーンのうちの尤度が予め定められた値以上の１または２以上のレーンを、前記１または２以上の対象レーンとして特定する
   請求項１または２に記載の予測装置。
4. 前記マスク部は、前記複数のレーンのうちの尤度が上位から予め定められた数の１または２以上のレーンを、前記１または２以上の対象レーンとして特定する
   請求項１または２に記載の予測装置。
5. 前記現在状態情報および前記予測状態情報は、前記移動体における、位置、速度、加速度、角速度、角加速度、位置の分散、速度の分散、加速度の分散、角速度の分散および角加速度の分散の少なくとも１つを表す
   請求項１から４の何れか１項に記載の予測装置。
6. 前記観測値取得部は、前記観測値として、前記移動体における、位置、速度、加速度、角速度、角加速度、および、前記移動体における進行方向を示す方向指示情報の少なくとも１つを取得する
   請求項１から５の何れか１項に記載の予測装置。
7. 前記推定部は、
   前記基準時刻の以前の前記観測値の時系列データに基づき、前記時系列変化量、および、前記尤度情報を推定する
   請求項１から６の何れか１項に記載の予測装置。
8. 前記推定部は、
   前記観測値の時系列データおよび前記レーン情報に基づき、前記複数のレーンのそれぞれに対する、前記誤差情報の時系列データを算出する誤差算出部と、
   前記観測値の時系列データおよび前記誤差情報の時系列データに基づき、ニューラルネットワークを用いて前記時系列変化量を算出する時系列変化量推定部と、
   前記時系列変化量に基づき、前記尤度情報を、ニューラルネットワークを用いて算出する尤度推定部と、
   を有する請求項７に記載の予測装置。
9. 前記複数の状態予測部のそれぞれは、
   前記基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれについて、前記移動体が対応する対象レーンを進行するための前記移動体に与えられる制御量および前記制御量の分散を推定する制御量推定部と、
   前記基準時刻より後の所定のタイムステップ毎の複数の時刻のそれぞれについて、前記予測状態情報をカルマンフィルタにより算出するカルマンフィルタ部と、
   を含み、
   前記制御量推定部は、
   前記基準時刻から１タイムステップ後の第１時刻における前記制御量および前記制御量の分散を、前記現在状態情報に基づき推定し、
   前記基準時刻から２タイムステップ以後の任意の第２時刻における前記制御量および前記制御量の分散を、前記カルマンフィルタ部により算出された前記第２時刻より１タイムステップ前の時刻における前記予測状態情報に基づき推定し、
   前記カルマンフィルタ部は、
   前記基準時刻から１タイムステップ後の前記第１時刻における前記予測状態情報を、前記現在状態情報、および、前記制御量推定部により推定された前記第１時刻における前記制御量および前記制御量の分散に基づき算出し、
   前記基準時刻から２タイムステップ以後の任意の前記第２時刻における前記予測状態情報を、前記第２時刻から１タイムステップ前の時刻における前記予測状態情報、および、前記制御量推定部により推定された前記第２時刻における前記制御量および前記制御量の分散に基づき算出する
   請求項１から８の何れか１項に記載の予測装置。
10. 前記複数の状態予測部のそれぞれは、前記基準時刻から１タイムステップ後の第１時刻から予め定められたタイムステップ数後の最終時刻まで、前記第１時刻から１タイムステップずつ順次に前記予測状態情報を算出する
    請求項９に記載の予測装置。
11. 前記制御量は、前記移動体における位置、速度、加速度、角速度および角加速度の少なくとも１つを制御するために、前記移動体に与えられる値である
    請求項９または１０に記載の予測装置。
12. 前記制御量推定部は、前記制御量および前記制御量の分散を、ニューラルネットワークを用いて算出する
    請求項９から１１の何れか１項に記載の予測装置。
13. 前記カルマンフィルタ部は、前記カルマンフィルタにおける、共分散を時間遷移させるためのモデルに含まれるノイズを表すパラメータを、ニューラルネットワークを用いて算出する
    請求項９から１２の何れか１項に記載の予測装置。
14. 前記予測状態情報を出力する出力部をさらに備える
    請求項１から１３の何れか１項に記載の予測装置。
15. 情報処理装置により移動体の１または複数の状態を表す予測状態情報を予測する予測方法であって、
    観測値取得部が、前記移動体の移動動作に関する観測値を取得し、
    レーン情報取得部が、基準時刻より後において前記移動体が進行する可能性がある複数のレーンを表すレーン情報を取得し、
    推定部が、前記観測値および前記レーン情報に基づき、前記複数のレーンのそれぞれに対する、前記移動体の位置と対応するレーンを表す点列または曲線との位置誤差、および、前記移動体の方向ベクトルと対応するレーンを表す曲線のベクトルとの角度誤差を表す誤差情報を算出し、前記観測値および前記誤差情報に基づき、前記複数のレーンに対する前記移動体の状態の特徴を表す時系列変化量、および、前記複数のレーンのそれぞれに対する前記移動体が進行する可能性を示す尤度を表す尤度情報を推定し、
    前記複数のレーンに対応する複数の状態予測部のそれぞれが、マスク部を介して、前記複数のレーンのうちの対応するレーンについての、前記基準時刻において取得された前記観測値に示される前記移動体の１または複数の状態を表す現在状態情報、および、前記時系列変化量を取得し、取得した前記現在状態情報および前記時系列変化量に基づき、前記対応するレーンを前記移動体が進行する場合における、前記基準時刻より後における前記移動体の１または複数の状態を表す予測状態情報を算出し、
    前記マスク部が、前記尤度情報に基づき前記複数のレーンのうち１または２以上の対象レーンを特定し、前記複数の状態予測部のうちの特定した前記１または２以上の対象レーンに対応する１または２以上の状態予測部のそれぞれに対して、対応するレーンについての前記現在状態情報および前記時系列変化量を与えて、前記予測状態情報を算出させ、前記複数の状態予測部のうちの前記１または２以上の状態予測部以外に対して前記予測状態情報を算出させない
    予測方法。
16. 情報処理装置に、移動体の１または複数の状態を表す予測状態情報を予測させるためのプログラムであって、
    前記情報処理装置を、
    前記移動体の移動動作に関する観測値を取得する観測値取得部と、
    基準時刻より後において前記移動体が進行する可能性がある複数のレーンを表すレーン情報を取得するレーン情報取得部と、
    前記観測値および前記レーン情報に基づき、前記複数のレーンのそれぞれに対する、前記移動体の位置と対応するレーンを表す点列または曲線との位置誤差、および、前記移動体の方向ベクトルと対応するレーンを表す曲線のベクトルとの角度誤差を表す誤差情報を算出し、前記観測値および前記誤差情報に基づき、前記複数のレーンに対する前記移動体の状態の特徴を表す時系列変化量、および、前記複数のレーンのそれぞれに対する前記移動体が進行する可能性を示す尤度を表す尤度情報を推定する推定部と、
    マスク部と、
    前記複数のレーンに対応しており、それぞれが、前記マスク部を介して、前記複数のレーンのうちの対応するレーンについての、前記基準時刻において取得された前記観測値に示される前記移動体の１または複数の状態を表す現在状態情報、および、前記時系列変化量を取得し、取得した前記現在状態情報および前記時系列変化量に基づき、前記対応するレーンを前記移動体が進行する場合における、前記基準時刻より後における前記移動体の１または複数の状態を表す予測状態情報を算出する、複数の状態予測部と、
    して機能させ、
    前記マスク部は、前記尤度情報に基づき前記複数のレーンのうち１または２以上の対象レーンを特定し、前記複数の状態予測部のうちの特定した前記１または２以上の対象レーンに対応する１または２以上の状態予測部のそれぞれに対して、対応するレーンについての前記現在状態情報および前記時系列変化量を与えて、前記予測状態情報を算出させ、前記複数の状態予測部のうちの前記１または２以上の状態予測部以外に対して前記予測状態情報を算出させない
    プログラム。
17. 車両を制御する車両制御システムであって、
    移動体の１または複数の状態を表す予測状態情報を予測する予測装置と、
    前記予測状態情報に基づき車両を駆動するための駆動機構を制御する車両制御装置と、
    を備え、
    前記予測装置は、
    移動体の移動動作に関する観測値を取得する観測値取得部と、
    基準時刻より後において前記移動体が進行する可能性がある複数のレーンを表すレーン情報を取得するレーン情報取得部と、
    前記観測値および前記レーン情報に基づき、前記複数のレーンのそれぞれに対する、前記移動体の位置と対応するレーンを表す点列または曲線との位置誤差、および、前記移動体の方向ベクトルと対応するレーンを表す曲線のベクトルとの角度誤差を表す誤差情報を算出し、前記観測値および前記誤差情報に基づき、前記複数のレーンに対する前記移動体の状態の特徴を表す時系列変化量、および、前記複数のレーンのそれぞれに対する前記移動体が進行する可能性を示す尤度を表す尤度情報を推定する推定部と、
    マスク部と、
    前記複数のレーンに対応しており、それぞれが、前記マスク部を介して、前記複数のレーンのうちの対応するレーンについての、前記基準時刻において取得された前記観測値に示される前記移動体の１または複数の状態を表す現在状態情報、および、前記時系列変化量を取得し、取得した前記現在状態情報および前記時系列変化量に基づき、前記対応するレーンを前記移動体が進行する場合における、前記基準時刻より後における前記移動体の１または複数の状態を表す予測状態情報を算出する、複数の状態予測部と、
    を有し、
    前記マスク部は、前記尤度情報に基づき前記複数のレーンのうち１または２以上の対象レーンを特定し、前記複数の状態予測部のうちの特定した前記１または２以上の対象レーンに対応する１または２以上の状態予測部のそれぞれに対して、対応するレーンについての前記現在状態情報および前記時系列変化量を与えて、前記予測状態情報を算出させ、前記複数の状態予測部のうちの前記１または２以上の状態予測部以外に対して前記予測状態情報を算出させない
    車両制御システム。

Images