JP7203563B2

JP7203563B2 - 移動体挙動予測装置

Info

Publication number: JP7203563B2
Application number: JP2018202471A
Authority: JP
Inventors: 昌義石川; 英明鈴木; 英弘豊田
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2023-01-13
Anticipated expiration: 2038-10-29
Also published as: CN112889100B; JP2020071495A; WO2020090419A1; CN112889100A; US20210335131A1; US11978345B2

Description

本発明は移動体挙動予測装置に関する。

車両の自動運転の実現に向けて、車載カメラ等により周囲状況をセンシングするセンシング技術、センシングデータに基づいて自車両の状態と周辺環境を認識する認識技術、認識情報に基づいて走行速度や操舵角等を制御する制御技術の開発が進められている。認識技術においては、自車両周辺に存在する地物や移動体を認識して、自車両周辺の移動体の将来時刻の位置を予測する将来挙動予測技術が求められる。

歩行者や車両等の移動体の将来挙動には、各移動体の過去の挙動の他、移動体間の相互作用及び交通状況といった移動体周辺の環境等の多様な要因が影響する。これら多様な要因の複雑な影響を扱うために、機械学習によって将来挙動を予測する仕組みが検討されている。例えば、特許文献１では、各移動体の時系列の動作と、各移動体周辺の環境情報であるマップデータを組み合わせて、各移動体の将来挙動を予測する仕組みが検討されている。

特開２０１８－５５１４１号公報

一般に、移動体は、自己の挙動を決定する際に、遠方の他の移動体の挙動を考慮している。各移動体の将来挙動を予測するためには、広範囲の環境情報を考慮する必要がある。しかしながら、複雑な環境認識に多くの演算量を要し、移動体毎に広範囲の環境情報を演算処理していると、演算量が爆発的に増加して実時間で周辺移動体の将来挙動の予測が困難になっていた。特許文献１に記載の方法では、演算量を抑えるために局所的な環境情報しか演算処理することができず、各移動体の将来挙動の予測精度が悪化するという問題があった。

本発明は、上記事情に鑑みてなされたものであり、その目的は、演算量の増加を抑えつつ、移動体の将来挙動の予測精度を向上することができる移動体挙動予測装置を提供することである。

本発明の一態様の移動体挙動予測装置は、自車両周辺の移動体の挙動を予測する移動体挙動予測装置であって、複数の前記移動体を包含可能な領域が複数のセルに分割されて、各セルに静的物体の関連情報及び前記移動体の関連情報が格納された単一の入力マップを生成する入力マップ生成部と、前記入力マップから学習済みの畳み込みニューラルネットワークによって各セルの特徴量を推定する特徴量推定部と、前記移動体の周辺に位置するセルに格納された特徴量から前記移動体の現在位置における特徴量を取得する特徴量取得部と、前記移動体の現在位置の特徴量に基づき前記移動体の将来位置を予測する将来位置予測部とを備えたことを特徴とする。

本発明によれば、単一の入力マップの静的物体の関連情報及び移動体の関連情報が全ての移動体の挙動予測に共通に使用されるため、予測対象となる移動体数の増加に伴う演算量の増加を抑えることができる。また、複数の移動体を包含可能な広範囲のマップの情報を用いて各移動体の将来挙動を予測できるため、予測精度を向上させることができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

移動体の将来挙動の予測例を示す図。従来法による移動体の将来挙動の予測例を示す図。第１の実施形態の移動体の将来挙動の予測例を示す図。予測対象の移動体数と演算量の関係を示すグラフ。第１の実施形態の移動体挙動予測システムのシステム構成図。第１の実施形態の学習イメージを示す図。第１の実施形態のサーバの機能ブロック図。第１の実施形態の入力マップの一例を示す図。第１の実施形態の出力マップの一例を示す図。第１の実施形態の移動体挙動予測装置の機能ブロック図。第１の実施形態のマップ範囲の設定処理の説明図。第１の実施形態のマップ範囲の設定処理の他の説明図。第１の実施形態のマップ分解能の設定処理の説明図。第１の実施形態の移動量の取得処理の説明図。第１の実施形態の将来位置の予測処理の説明図。第１の実施形態のサーバによる学習フローの一例。第１の実施形態の移動体挙動予測装置による予測フローの一例。移動体同士のすれ違い時の予測例を示す図。第２の実施形態のサーバの機能ブロック図。第２の実施形態の移動体挙動予測装置の機能ブロック図。第３の実施形態の移動体挙動予測装置の機能ブロック図。移動体挙動予測装置のハードウェア構成を示すブロック図。

以下、図面を用いて本実施形態について説明する。

［第１の実施形態］
図１は、移動体の将来挙動の予測例を示す図である。図１に示す例では、自車両１０１は、自車両１０１の安全制御のために、周辺の移動体である車両１０２ａ－１０２ｄ及び歩行者１０２ｅの将来挙動１０３ａ－１０３ｃ、１０３ｅを予測している。ここで、将来挙動とは他の移動体の所定の将来時刻における将来位置に関する情報である。

自車両１０１は、将来挙動の予測によって、他の移動体の将来挙動を避けるように自車軌道を生成したり、他の移動体の将来挙動と自車両１０１の自車軌道が将来時刻に重なる恐れがある場合に運転手への警告や運転支援を実施したりする。

図２は、従来法による移動体の将来挙動の予測例を示す図である。従来法では、各移動体の将来挙動の予測時に、各移動体の周辺領域の情報を演算処理している。これにより、各移動体の周辺に存在する障害物、他の移動体との相互作用、道路形状等の地形情報を考慮して他の移動体の将来挙動を予測できる。広い処理領域の情報を演算処理できれば予測精度が向上するが、実際には広い処理領域の情報を演算処理しようとすると演算負荷が大きいため、各移動体の狭い周辺領域の情報だけが演算処理される。

例えば、車両１０２ｂの将来挙動の予測時には、処理領域２０１ｂで示すように遠方の交差点や歩行者１０２ｅの情報を考慮できない。このため、車両１０２ｂについては、直進する道路、先行車両１０２ａ、駐車車両１０２ｄのみしか考慮できず、車両１０２ｂの現状の速度を維持した将来挙動２０２ｂが予測される。これに対して、車両１０２ａについては、処理領域２０１ａに示すように、交差点の情報や歩行者１０２ｅや車両１０２ｃの影響が考慮され、交差点の手前で停止する将来挙動２０２ａが予測される。この結果、地点２０３で将来挙動２０２ａ及び将来挙動２０２ｂが交差するという無理な挙動が予測されて予測精度が低下する。また、車両１０２ａ、１０２ｂの処理領域２０１ａ、２０１ｂが重なっているため、重複領域の情報についての演算処理が無駄になる。

図３は、第１の実施形態の移動体の将来挙動の予測例を示す図である。本実施形態では、移動体毎に周辺領域の情報を演算処理する代わりに、複数の移動体を含む広い処理領域３０１の情報を一括で演算処理している。車両１０２ａ、１０２ｂの両方で共通の処理領域３０１の情報が一括で演算処理されることで演算量が抑えられ、遠方の情報を考慮して車両１０２ａ、１０２ｂの将来挙動が予測される。車両１０２ａについては将来挙動２０２ａ（図２参照）と同様に交差点手前で停止する将来挙動３０２ａが予測され、車両１０２ｂについては車両１０２ａの後方で停止するような将来挙動３０２ｂが予測される。よって、地点２０３で車両１０２ａ、１０２ｂの将来挙動が交差するという無理な挙動が予測されることがなく予測精度が向上される。

図４は、予測対象の移動体数と演算量の関係を示すグラフである。図４では、横軸が予測対象の移動体数、縦軸が将来挙動の予測に必要な演算量を示している。演算量４０１に示すように、従来法で広い領域の情報が演算処理されると、演算負荷が急増して、実時間で車両が処理可能な演算量４０４では少数の移動体の将来挙動しか予測することができない。このため、現実には演算量４０２に示すように狭い周辺領域の情報だけが演算処理される。周辺領域の情報だけを演算することで、移動体数の増加に対する演算量の増加比率が抑えられるが、遠方の情報が考慮されないため、将来挙動の予測精度が低下する。

これに対して、演算量４０３に示すように、本実施形態の処理方法で広い処理領域の情報が一括で演算処理されると、少数の移動体の将来挙動の予測時には従来法よりも演算量が多くなる。しかしながら、従来法と比較して、多数の移動体の挙動を予測しても演算量の増加が抑えられると共に、広い処理領域の情報が演算処理されることで将来挙動の予測精度が向上される。なお、単一の処理領域の演算処理にも関わらず、移動体数に応じて演算量が増加するのは、全ての移動体で一括処理する周辺領域以外に、移動体毎の演算処理が必要になるためである。

以下、本実施形態の移動体挙動予測装置について説明する。図５は、第１の実施形態の移動体挙動予測システムのシステム構成図である。移動体挙動予測システムでは、外部のサーバ１０と移動体挙動予測装置２０が搭載された車両３０とがネットワーク４０を介して接続されている。サーバ１０は、データセンタ等に設置されており、車両３０から収集した各種データの管理、各種データから将来挙動を畳み込みニューラルネットワークによって学習している。車両３０にはサーバ１０から畳み込みニューラルネットワークのパラメータが定期的に通知されている。車両３０の移動体挙動予測装置２０は、サーバ１０から通知されたパラメータによって学習済みの畳み込みニューラルネットワークを構築して周辺の移動体の将来挙動を予測している。

図６は、第１の実施形態の学習イメージを示す図である。各移動体は、図１に示した車両１０２ａ－１０２ｄ及び歩行者１０２ｅと同一である。将来挙動のイメージには時刻ｔ＋１、ｔ＋２の各移動体の位置を将来挙動として三角で示している。本実施形態の将来挙動の予測処理では、時刻ｔで観測した各移動体の将来挙動が予測される。このとき、時刻ｔ＋１、ｔ＋２の自車両や移動体の位置が教師データとして学習され、時刻ｔの情報から時刻ｔ＋１、ｔ＋２の各移動体の将来挙動が予測される。なお、ここでは２時刻分の将来挙動のみを予測しているが、２時刻以上の将来挙動を予測してもよい。

図７は、第１の実施形態のサーバの機能ブロック図である。サーバには、走行データ記憶部７０１、入力マップ生成部７０３、出力マップ生成部７０４、移動量推定部７０５、パラメータ更新部７０６が設けられている。走行データ記憶部７０１には、各移動体から収集した各時刻の走行データ７０２が記憶されている。各時刻の走行データ７０２には自車情報、マップデータ、移動体情報が含まれている。自車情報は、各時刻の位置、姿勢、速度等に関する情報であり、例えば、ＧＰＳ情報、ｘｙ方向の速度情報、ヨーレイト情報、方位角情報である。マップデータは、自車両周辺の地形データであり、例えば、道路形状、建物、交差点、横断歩道、標識等のデータによって構成される。移動体情報は、予測対象である移動体に関する情報であり、例えば、ＩＤ、姿勢、速度、自車両からの相対位置、過去時刻からの移動量である。移動体情報は、ＩＤによって時間軸方向で追跡することが可能になっている。

入力マップ生成部７０３は、走行データ記憶部７０１から任意時刻ｔの走行データ７０２を読み込んで単一の入力マップ８０１を生成する。図８に示すように、入力マップ８０１は、複数の移動体を包含可能な領域が複数のセルに分割されたグリッドマップである。入力マップ８０１は自車両１０１を基準に設定されている。将来挙動の予測には、各移動体の周辺環境、移動体間の相互作用、各移動体の過去の挙動といった多様な要素が影響する。これら多様な要素を考慮するために、入力マップ８０１の各セルには、静的物体の関連情報、任意時刻ｔの移動体の関連情報、任意時刻ｔよりも前の過去時刻の移動体の関連情報を含むデータ８０２が格納されている。

静的物体の関連情報とは、道路、建物、交差点等の固定された地物に関する情報である。図８では省略しているが、静的物体の関連情報として横断歩道、白線、標識といった情報が含まれていてもよい。データ８０２には、各セルに含まれる静的物体の項目に「１」が設定され、各セルに含まれない静的物体の項目に「０」が設定される。静的物体の関連情報は、任意時刻ｔの走行データ７０２（図７参照）のマップデータによって生成される。

任意時刻ｔの移動体の関連情報とは、交差点状態、車両、歩行者、移動体の速度情報等の時間変化する情報である。交差点状態は、自車両進行方向から交差点領域に進入してよい場合にはデータ８０２に「１」が設定され、自車両進行方向から交差点領域に進入してはいけない場合にはデータ８０２に「０」が設定される。また、各セルが非交差点領域に属する場合にはデータ８０２に「１」が設定される。データ８０２には、各セルに含まれる移動体の項目に「１」が設定され、各セルに含まれない移動体の項目に「０」が設定される。また、セルに移動体が存在する場合にはデータ８０２に速度情報ｖｘ、ｖｙが設定され、セルに移動体が存在しない場合にはデータ８０２に０が設定される。任意時刻ｔの移動体の情報は、任意時刻ｔの走行データ７０２（図７参照）の移動体情報によって生成される。

過去時刻の移動体の関連情報とは、各セルに存在する移動体が任意時刻ｔよりも前の過去時刻に存在した位置から任意時刻ｔに存在する位置までの移動量である。例えば、データ８０２には、車両１０２ｂの時刻ｔ－１、ｔ－２から任意時刻ｔまでのｘｙ方向の移動量ｄｘ１、ｄｙ１、ｄｘ２、ｄｙ２が設定される。図８では、データ８０２に２時刻分だけ移動量が設定されたが、１時刻だけ移動量が設定されてもよいし、３時刻以上の移動量が設定されてもよい。また、データ８０２には、移動量に加えて時刻毎に速度情報が設定されていてもよい。過去時刻の移動体の情報は、任意時刻ｔの走行データ７０２（図７参照）の移動体情報によって生成される。このように、入力マップ８０１は、各セルにデータ８０２で示す静的物体や移動体の各種ベクトル情報が格納された３次元テンソルとなる。

出力マップ生成部７０４は、走行データ記憶部７０１から任意時刻ｔよりも後の将来時刻ｔ＋１から将来時刻ｔ＋Ｔまでの走行データ７０２を読み込んで出力マップを生成する。図９に示すように、出力マップ９０１は入力マップ８０１と同様な範囲で同様な分解能を持ったグリッドマップである。出力マップ９０１の各セルには、各セルに存在する移動体の任意時刻ｔの位置から将来時刻に存在する位置までの移動量がデータ９０２として格納されている。例えば、各セルには、データ９０２として、車両１０２ｂの任意時刻ｔから将来時刻ｔ＋１、…ｔ＋Ｔまでのｘｙ方向の移動量ｄｘ１、ｄｙ１、…ｄｘＴ、ｄｙＴが格納される。移動体が存在しないセルについては移動量が格納されず、空のベクトル情報が格納される。このように、出力マップ９０１は、各セルにデータ９０２で示す移動量のベクトル情報が格納された３次元テンソルとなる。

移動量推定部７０５は、入力マップ生成部７０３が生成した入力マップ８０１を用いて、入力マップ８０１上の各セル座標の移動量を推定する。移動量推定部７０５で推定された移動量は出力マップ９０１と同様な次元を持つ３次元テンソルになる。移動量の推定は、畳み込みニューラルネットワークで実施される。畳み込みニューラルネットワークは、複数の畳み込み層を重ねることで高精度に予測するニューラルネットワークであり、例えばＵ－Ｎｅｔと呼ばれる構成を用いる。また、畳み込みニューラルネットワークは、畳み込み層に加えて注意機構と呼ばれる構造を内部に持ったニューラルネットワークでもよい。

パラメータ更新部７０６は、移動量推定部７０５が推定した移動量と出力マップ生成部７０４が生成した出力マップ９０１の移動量の誤差が小さくなるように、畳み込みニューラルネットワークで使用されるパラメータが更新される。パラメータとは、例えば、畳み込み層や注意機構で用いられる荷重行列やバイアス項等である。パラメータの更新は、例えば確率勾配効果法や確率勾配効果法の拡張によって実施される。なお、移動量の誤差の算出は、出力マップ９０１にデータ９０２として移動量が格納された領域に対してのみ実施される。このように、サーバは、任意時刻に観測された移動体の将来時刻までの移動量を目標出力とし、入力マップ８０１から畳み込みニューラルネットワークによって推定される将来時刻の移動量と目標出力の誤差が小さくなるように、畳み込みニューラルネットワークのパラメータを更新している。

また、移動量推定部７０５は、入力マップ８０１から畳み込みニューラルネットワークによって移動量を推定するため、出力マップ９０１と同様な３次元テンソルで移動量が推定される。この際、出力マップ９０１が対応する領域は自車両の位置によって変化する。すなわち、自車量の位置に応じて入力マップ８０１の位置が変わるため、入力マップ８０１と出力マップ９０１にズレが生じる。したがって、畳み込みニューラルネットワークによって移動体の将来挙動が直に予測されると、自車両と移動体の相対位置に推定結果が影響を受ける。各移動体の将来挙動に影響を与えるのは、各移動体と自車両の相対位置ではなく、各移動体の周辺環境や移動体同士の相互作用であるため、各移動体の将来挙動を直に予測することで学習が不安定になる。そこで、本実施形態では、直に各移動体の将来挙動を予測せずに、各セル座標からの将来時刻に対する移動量を予測して、各移動体の自車両との相対位置の影響が排除されることで学習を安定させている。

サーバにて学習が完了すると、サーバから車両の移動体挙動予測装置に学習結果が通知される。移動体挙動予測装置は、学習結果を移動量の推定に反映させることで、車両上で移動体の移動量を推定することが可能になっている。なお、通常は演算資源の豊富なサーバで移動量の推定処理が学習されるが、車両にて移動量の推定処理が学習されてもよい。

図１０は、第１の実施形態の移動体挙動予測装置の機能ブロック図である。移動体挙動予測装置には、入力マップ生成部１００３、移動量推定部（特徴量推定部）１００４、移動体別の移動量取得部（特徴量取得部）１００５、将来位置予測部１００６が設けられている。入力マップ生成部１００３には、マップ範囲設定部１００７、マップ分解能設定部１００８、マップ生成部１００９が設けられている。また、移動体挙動予測装置には、車両に設けられた各種センサや車載カメラ等から時刻ｔ’（現在時刻）の走行データ１００１が入力される。走行データ１００１には、学習時の走行データ７０２と同様に、自車情報、マップデータ、移動体情報が含まれている。本実施形態の将来挙動の予測は、大部分の処理がマップ上で実施されるため、マップ範囲及びマップ分解能が予測精度に影響する。このため、入力マップ生成部１００３は、走行データ１００１を用いて、マップ範囲設定部１００７でマップ範囲を動的に設定すると共に、マップ分解能設定部１００８でマップ分解能を動的に設定している。

図１１は、第１の実施形態のマップ範囲の設定処理の説明図である。マップ範囲設定部１００７は、自車両が走行する道路種別によって入力マップのマップ範囲を動的に設定する。例えば、自車両が高速道路を走行している場合には、左右方向よりも前後方向に移動体が集まるため、自車両に対して縦長なマップ範囲１１０１が設定される。自車両が一般道を走行している場合には、自車両の進路に側方から進入する車両や歩行者を考慮するために、自車両に対して幅広なマップ範囲１１０２が設定される。マップ範囲１１０２の前後方向はマップ範囲１１０１よりも狭く設定される。これは、一般道では高速道路よりも自車両や他の移動体の速度が遅いため、処理領域が狭くても予測精度に影響がないからである。自車両が駐車場等で徐行している場合には、遠方の移動体を考慮する必要がないため、自車両に対して自車両周辺のマップ範囲１１０３が設定される。

図１２は、第１の実施形態のマップ範囲の設定処理の他の説明図である。自車両又は移動体の挙動は速度が高いほど遠方の物体の影響を受ける。このため、マップ範囲設定部１００７は、自車両含めた移動体の中で最も高速な移動体に応じてマップ範囲を設定する。移動体の速度が高くなるにつれて、マップ範囲１２０１、１２０２、１２０３のように範囲が拡大される。このように、マップ範囲設定部１００７は、自車両が走行する環境及び自車両を含む移動体の速度によってマップ範囲の形状および大きさを設定する。なお、自車両が走行する環境毎にマップ範囲の形状が事前に用意されており、自車両を含む移動体の速度毎にマップ範囲の大きさが事前に決定されている。

図１３は、第１の実施形態のマップ分解能の設定処理の説明図である。マップ分解能設定部１００８は、入力マップの単位面積当たりの移動体数に応じてマップ分解能を設定する。入力マップの単位面積当たりの移動体数が多く、移動体間の距離が小さい場合には、マップ分解能１３０１のようにマップ範囲に高い分解能が設定される。反対に入力マップの単位面積当たりの移動体数が減少して、移動体間の距離が大きくなるにつれて、マップ分解能１３０２、１３０３のように分解能が低くなる。これにより、１つのセルに対して二つ以上の移動体に関する情報が格納されることが防止されて予測精度の劣化が抑えられている。なお、マップ範囲と移動体間の距離に応じてマップ分解能は事前に決定されている。

なお、マップ範囲設定部１００７及びマップ分解能設定部１００８の処理は、サーバによる学習時に入力マップ８０１及び出力マップ９０１を生成する際にも使用される。

マップ生成部１００９は、マップ範囲及びマップ分解能の設定後に、車両の車載カメラ等から入力された時刻ｔ’の走行データ１００１を用いて入力マップを生成する。入力マップは、図８に示す入力マップ８０１と同様な構成であり、複数のセルに分割されたグリッドマップである。入力マップの各セルには、静的物体の情報、時刻ｔ’の移動体の情報、時刻ｔ’よりも前の過去時刻の移動体の情報からなるデータが格納されている。

移動量推定部１００４は、学習済みの畳み込みニューラルネットワークによって入力マップから各セルの特徴量として移動量を推定する。学習済みの畳み込みニューラルネットワークは、サーバから移動体挙動予測装置に通知されたパラメータ等を反映することで構築される。ここでは、各セルの特徴量として移動量がマップ形式で推定されており、マップの各セルに異なる将来時刻の移動量が格納されている。なお、移動量の推定段階では、各セルに格納される移動量が推定されるだけであり、移動体の移動量が推定されるわけではない。

図１４は、第１の実施形態の移動量の取得処理の説明図である。移動量取得部１００５は、移動量推定部１００４で推定された移動量マップ１４０１の各セルの移動量に基づき、移動体の現在位置からの異なる将来時刻の移動量を所得する。星印に示すように、移動体が各セル座標の中心に存在することは稀であり、実際には移動量マップ１４０１上の各セル座標の中心から外れた座標に位置している。移動量マップ１４０２は移動量マップ１４０１から移動体周辺を抜き出したものであり、移動量マップ１４０２の各セルには各セル座標の中心に存在した場合の移動体の将来時刻の移動量が格納されている。移動量取得部１００５は、移動体が存在するマップ上の座標と周辺セルの移動量との位置関係から移動量を取得する。移動量取得部１００５は、例えば、将来時刻毎に移動体の周辺４セルからバイリニア補間を用いて、移動体の存在するマップの座標における将来時刻の移動量を取得する。

図１５は、第１の実施形態の将来位置の予測処理の説明図である。将来位置予測部１００６は、移動体の現在位置からの移動量に基づき移動体の異なる将来時刻の将来位置を予測する。この場合、移動量取得部１００５の出力は異なる将来時刻における現在位置からの移動量であるため、将来時刻毎に移動量に各移動体の自車両に対する相対位置を加算することで、各移動体の自車両に対する将来挙動の予測結果を得ることができる。

続いて、サーバによる学習処理、移動体挙動予測装置による移動体の将来位置の予測処理について説明する。

図１６は、第１の実施形態のサーバによる学習フローの一例である。なお、学習フローは、システム管理者によって学習フローが指示されたタイミングや、走行データ記憶部７０１にて所定量以上の走行データが更新されたタイミングに実施される。学習フローが開始されると（ステップＳ０１）、学習の終了条件を満たすか否かが判定される（ステップＳ０２）。終了条件には、例えばパラメータの更新回数や更新量の条件が含まれている。パラメータの更新処理が規定回数以上繰り返された場合や、パラメータの更新量が一定量以下になった場合には、終了条件を満たしたと判定され（ステップＳ０２でＹＥＳ）、学習フローが終了する（ステップＳ０７）。

学習の終了条件を満たさない場合（ステップＳ０２でＮＯ）、入力マップ生成部７０３によって入力マップが生成される（ステップＳ０３）。入力マップ生成部７０３は、走行データ記憶部７０１に記憶された任意時刻の走行データ７０２から入力マップを生成する。次に、出力マップ生成部７０４によって出力マップが生成される（ステップＳ０４）。出力マップ生成部７０４は、走行データ記憶部７０１に記憶された任意時刻よりも後の将来時刻の走行データ７０２から出力マップを生成する。次に、移動量推定部７０５によって入力マップからマップ上の各セル座標における移動量が推定される（ステップＳ０５）。移動量推定部７０５は、畳み込みニューラルネットワークによって入力マップから移動量を推定する。

次に、パラメータ更新部７０６によって移動量推定部７０５の出力と出力マップ生成部７０４の出力の誤差が小さくなるように畳み込みニューラルネットワークのパラメータが更新される（ステップＳ０６）。そして、ステップＳ０３からステップＳ０６の各処理がステップＳ０２の終了条件を満たすまで繰り返されて、畳み込みニューラルネットワークに最適なパラメータが設定される。学習後のパラメータはサーバから車両の移動体挙動予測装置に向けて通知され、移動体挙動予測装置で学習済みの畳み込みニューラルネットワークの構築に使用される。

図１７は、第１の実施形態の移動体挙動予測装置による予測フローの一例である。予測フローが開始されると（ステップＳ１１）、マップ範囲設定部１００７によって入力マップのマップ範囲が設定されると共に、マップ分解能設定部１００８によって入力マップのマップ分解能が設定される（ステップＳ１２）。マップ範囲設定部１００７は、自車両の走行環境情報及び移動体の速度情報に応じて入力マップのマップ範囲を設定する。マップ分解能設定部１００８は、入力マップの単位面積当たりの移動体数に応じてマップ分解能を設定する。次に、マップ生成部１００９によって入力マップが生成される（ステップＳ１３）。

次に、移動量推定部１００４によって入力マップからマップ上の各セル座標における移動量が推定される（ステップＳ１４）。移動量推定部１００４は、サーバによる学習結果を反映した学習済みの畳み込みニューラルネットワークによって入力マップから移動量を推定する。次に移動量取得部１００５によって移動体の現在位置からの移動量が取得される（ステップＳ１５）。移動量取得部１００５は、移動体の周辺に位置する周辺セルに格納された移動量からバイリニア補間によって所定座標の移動体の移動量を取得する。次に、将来位置予測部１００６によって移動体の将来位置が予測される（ステップＳ１６）。将来位置予測部１００６は、自車両に対する各移動体の相対位置と移動量から将来位置を推定する。このようにして、各移動体の将来挙動が予測されて予測フローが終了する（ステップＳ１７）。

以上のように、第１の実施形態に係る移動体挙動予測装置では、単一のマップ上で複数の移動体の移動量を推定している。よって、単一の入力マップの静的物体の関連情報及び移動体の関連情報が全ての移動体の挙動予測に共通に使用されるため、移動体毎に必要な演算処理を削減して、予測対象となる移動体数の増加に伴う演算量の増加を抑えることができる。また、広範囲のマップの情報を用いて各移動体の将来挙動を予測できるため予測精度を向上させることができる。

［第２の実施形態］
第１の実施形態では、入力マップを用いて各移動体の移動量を推定している。上記したように、各移動体の周辺セルの移動量のバイリニア補間によって移動量が求められるが（図１４参照）、移動体がすれ違う際には予測精度が低下する恐れがある。図１８は、移動体同士のすれ違い時の予測例を示す図である。移動体同士の間隔が狭く、各移動体の周辺セルが部分的に共通している。共通セル１８０１には、一方の移動体の予測に使用される移動量だけが格納されるため、この移動量が他方の移動体の予測に使用されることで予測精度が低下する。

そこで、第２の実施形態では、マップ処理によって移動量を推定せずに、地形や移動体同士の相互作用に関する周辺情報を推定し、これに各移動体の進行方向に関する情報を組み合わせて将来挙動を予測している。以下、図面を参照して、第２の実施形態について説明する。なお、第２の実施形態は、地形や移動体同士の相互作用等に関する周辺情報までをマップ処理で推定する点で第１の実施形態と相違している。したがって、第１の実施形態と同様な構成については説明を極力省略する。

図１９は、第２の実施形態のサーバの機能ブロック図である。サーバには、走行データ記憶部１９０１、入力マップ生成部１９０３、出力生成部１９０４、特徴量推定部１９０５、特徴量取得部１９０６、将来位置予測部１９０７、パラメータ更新部１９０８が設けられている。走行データ記憶部１９０１には、各移動体から収集した各時刻の走行データ１９０２が記憶されている。入力マップ生成部１９０３は、走行データ記憶部１９０１から任意時刻ｔの走行データ１９０２を読み込んで単一の入力マップを生成する。出力生成部１９０４は、走行データ記憶部１９０１から任意時刻ｔよりも後の将来時刻ｔ＋１から将来時刻ｔ＋Ｔまでの走行データ１９０２を読み込んで、各移動物体の将来時刻における移動量を出力する。出力生成部１９０４の出力は、第１の実施形態の出力マップのような３次元テンソルではなく、移動体数分の移動量ベクトルとなる。これは、出力マップで移動体が存在するセルに格納される移動量ベクトルと同一である。

特徴量推定部１９０５は、特徴量推定用の畳み込みニューラルネットワークを用いて、入力マップから特徴マップを抽出して各セルの特徴量を推定する。特徴マップには、特徴量として、地形、移動体の相互作用に関する周辺情報が含まれている。特徴量取得部１９０６は、各移動体の周辺セルの特徴量からバイリニア補間によって各移動体の特徴マップの値を取得する。将来位置予測部１９０７は、移動量推定用のニューラルネットワークを用いて、特徴マップの値、各移動体の速度情報、移動体の過去時刻の移動量から移動体毎に移動量を予測する。パラメータ更新部１９０８は、将来位置予測部１９０７で取得された移動量と出力生成部１９０４で出力された移動量の誤差が小さくなるように、特徴量推定用の畳み込みニューラルネットワーク及び移動量推定用のニューラルネットワークが更新される。パラメータの更新処理は、第１の実施形態と同様に、終了条件を満たすまで繰り返される。

図２０は、第２の実施形態の移動体挙動予測装置の機能ブロック図である。移動体挙動予測装置には、入力マップ生成部２００３、特徴量推定部２００４、移動体別の特徴量取得部２００５、将来位置予測部２００６が設けられている。入力マップ生成部２００３には、マップ範囲設定部２００７、マップ分解能設定部２００８、マップ生成部２００９が設けられている。入力マップ生成部２００３は、マップ範囲設定部２００７でマップ範囲を設定すると共に、マップ分解能設定部２００８でマップ分解能を設定して入力マップを生成する。

特徴量推定部２００４は、学習済みの畳み込みニューラルネットワークによって入力マップから特徴マップを抽出してセル毎の特徴量を推定する。特徴量取得部２００５は、各移動体の周辺セルの特徴量からバイリニア補間によって各移動体の特徴マップの値を取得する。将来位置予測部２００６は、特徴マップの値、各移動体の速度情報、移動体の過去時刻の移動量を学習済みのニューラルネットワークに入力して各移動体の移動量を予測する。そして、将来位置予測部２００６は、各移動体の移動量に各移動体の自車両に対する相対位置を加算することで、各移動体の自車両に対する将来挙動の予測結果を得ることができる。

以上のように、第２の実施形態に係る移動体挙動予測装置では、第１の実施形態と同様に、演算負荷の増加を抑えると共に各移動体の予測精度を向上させることができる。また、特徴量推定部２００４の演算処理は各移動体の周辺環境の認識までとなる。このため、移動体がすれ違うような交通状況においても、周辺環境の情報に対して各移動体の過去時刻の移動量、すなわち進行方向に関する情報を組み合わせることで高精度に予測することができる。

［第３の実施形態］
第１の実施形態の予測手法（以下、第１の予測手法）は、マップ上で移動量を予測するため演算処理が高速になるが、移動体同士がすれ違う交通状況においては予測精度が低下する。一方で、第２の実施形態の予測手法（以下、第２の予測手法）は、移動体同士がすれ違う交通状況においても予測精度の低下が避けられるが、移動体個別の演算処理が増加して処理時間が長くなる。そこで、第３の実施形態では、移動体同士のすれ違いが生じる交通状況か否かに応じて第１、第２の予測手法を使い分けている。

図２１は、第３の実施形態の移動体挙動予測装置の機能ブロック図である。移動体挙動予測装置には、予測手法選択部２１０１、予測手法呼び出し部２１０２、予測手法記憶部２１０３、予測部２１０４が設けられている。予測手法選択部２１０１は、第１、第２の予測手法のいずれの予測手法を使用するかを選択する。予測手法選択部２１０１は、複数の移動体の距離の最小値が閾値以上の場合には第１の予測手法を選択し、複数の移動体の距離の最小値が閾値よりも小さい場合には第２の予測手法を選択する。なお、閾値以上の距離とは移動体同士の周辺セルが共通しない距離であり、閾値よりも小さい距離とは移動体同士の周辺セルが共通する距離である。

予測手法呼び出し部２１０２は、予測手法選択部２１０１で選択された予測手法を予測手法記憶部２１０３から読み出す。予測部２１０４は、予測手法記憶部２１０３から呼び出した予測手法によって各移動体の将来挙動を予測する。移動体同士のすれ違いが生じる交通状況では第２の予測手法が呼び出されて、演算処理の処理速度よりも予測精度が優先されて予測精度の低下が抑えられている。移動体同士のすれ違いが生じない交通状況では第１の予測手法が呼び出されて、予測精度よりも演算処理の処理速度が優先されて処理時間が短縮される。このように、第３の実施形態では、処理速度と予測精度が両立されている。

上記した各移動体挙動予測装置のハードウェア構成について説明する。図２２は、本実施形態の移動体挙動予測装置のハードウェア構成を示すブロック図である。移動体挙動予測装置には、プログラムに従って各種演算処理するプロセッサ２２０１、プログラム等が格納されたＲＯＭ（Read Only Memory）２２０２、各種処理過程で利用するワークエリア等を有するＲＡＭ（Random Access Memory）２２０３等が内蔵され、これらがバスライン２２０４によって相互接続されている。このように、移動体挙動予測装置の各部の演算処理は、プロセッサ２２０１、ＲＯＭ２２０２、ＲＡＭ２２０３を協働させることで実行されている。なお、サーバも移動体挙動予測装置と同様なハードウェア構成を有し、サーバの各部の演算処理はプロセッサ、ＲＯＭ、ＲＡＭを協働させることで実行されている。

なお、上記の各実施形態では、移動体挙動予測装置は、移動体の異なる時刻の将来位置を予測する構成にしたが、移動体の単一時刻の将来位置を予測してもよい。移動体挙動予測装置は、複数の移動体の将来位置を予測する構成にしたが、単一の移動体の将来位置を予測してもよい。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０サーバ
２０移動体挙動予測装置
３０車両
１００３入力マップ生成部
１００４移動量推定部（特徴量推定部）
１００５移動量取得部（特徴量取得部）
１００６将来位置予測部
１００７マップ範囲設定部
１００８マップ分解能設定部
２００３入力マップ生成部
２００４特徴量推定部
２００５特徴量取得部
２００６将来位置予測部
２００７マップ範囲設定部
２００８マップ分解能設定部
２１０１予測手法選択部
２１０３予測手法記憶部

Claims

自車両周辺の移動体の挙動を予測する移動体挙動予測装置であって、
複数の前記移動体を包含可能な領域が複数のセルに分割されて、各セルに静的物体の関連情報及び前記移動体の関連情報が格納された単一の入力マップを生成する入力マップ生成部と、
前記入力マップから学習済みの畳み込みニューラルネットワークによって各セルの特徴量を推定する特徴量推定部と、
前記移動体の周辺に位置するセルに格納された特徴量から前記移動体の現在位置における特徴量を取得する特徴量取得部と、
前記移動体の現在位置の特徴量に基づき前記移動体の将来位置を予測する将来位置予測部とを備えたことを特徴とする移動体挙動予測装置。
前記特徴量推定部は、各セルの特徴量として移動量を推定することを特徴とする請求項１に記載の移動体挙動予測装置。
前記特徴量推定部は、各セルの特徴量として周辺情報を推定することを特徴とする請求項１に記載の移動体挙動予測装置。
前記特徴量取得部は、前記入力マップに存在する前記移動体の異なる将来時刻の移動量を取得することを特徴とする請求項１に記載の移動体挙動予測装置。
前記特徴量取得部は、前記移動体の周辺に位置するセルに格納された特徴量からバイリニア補間を用いて、当該移動体の存在する座標における特徴量を取得することを特徴とする請求項１に記載の移動体挙動予測装置。
前記入力マップ生成部は、前記移動体の関連情報として現在時刻の移動体の情報及び過去時刻の移動体の情報をセルに格納して入力マップを生成することを特徴とする請求項１に記載の移動体挙動予測装置。
前記入力マップ生成部は、前記自車両の走行環境情報及び前記移動体の速度情報に応じて前記入力マップのマップ範囲を設定するマップ範囲設定部を有することを特徴とする請求項１に記載の移動体挙動予測装置。
前記入力マップ生成部は、前記入力マップの単位面積当たりの移動体数に応じてマップ分解能を設定するマップ分解能設定部を有することを特徴とする請求項１に記載の移動体挙動予測装置。
特徴量として移動量を用いた第１の予測手法及び特徴量として周辺情報を用いた第２の予測手法を記憶する予測手法記憶部と、
複数の移動体の距離に応じて前記第１の予測手法と前記第２の予測手法を選択する予測手法選択部とを備え、
前記予測手法選択部は、前記複数の移動体の距離の最小値が閾値以上の場合に前記第１の予測手法を選択し、前記複数の移動体の距離の最小値が閾値よりも小さい場合に前記第２の予測手法を選択することを特徴とする請求項１に記載の移動体挙動予測装置。