JP6905433B2 - 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 - Google Patents

Description

本発明は、未来における車両の行動を予測するための車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法に関する。

車載カメラなどのセンシング装置を使って歩行者を検知し、車両のドライバに報知するシステムが知られている。このようなシステムでは、車両の行動を予測し、車両から歩行者の近傍に到達するまでの時間を推定する必要がある。

非特許文献１では、車両の前方を撮影する単眼カメラを使って路上の対象オブジェクト（歩行者等）を検知し、該対象オブジェクトと衝突する危険性がある場合に、所定の数式モデルを適用して車両が対象オブジェクトと衝突するまでの時間を推定している。ところが、非特許文献１では、相対速度一定ないしは相対加速度一定を仮定しており、このような仮定が成立しない場合には精度よく衝突までの時間を推定できない。

そこで、数式モデルを適用するのではなく、予め運転挙動を学習した人工知能を利用して車両の行動を予測し、衝突までの時間を推定することも考えられる。しかしながら、通常の人工知能は最も可能性が高い１つの車両行動を予測するため、この予測が外れた場合には、そもそも必要とする時間の推定が行われない。

Raphael, E., Kiefer, R., Reisman, P., and Hayon, G., "Development of a Camera-Based Forward Collision Alert System," SAE Int. J. Passeng. Cars Mech. Syst. 4(1):467-478, 2011, doi:10.4271/2011-01-0579. Yichuan Tang and Ruslan R. Salahhutdinov, "Learning Stochastic Feedforward Neural Networhs", Advances in Neural Information Processing Systems 26 (NIPS 2013).

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、対象オブジェクトの近傍に到達するまでの時間をより高精度に推定することを可能とする車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法を提供することである。

本発明の一態様によれば、過去の画像情報および過去の車両情報から未来における車両情報を出力するように予め学習が行われたニューラルネットワークを有し、特定車両についての過去の画像情報および車両情報に基づいて、未来における前記特定車両の複数パターンの車両情報を予測する学習器を備える車両行動予測装置が提供される。
複数パターンの車両情報を予測するため、想定し得る各パターンについて対象オブジェクトの近傍に到達するまでの時間を算出可能となり、推定が向上する。

前記学習器は、前記特定車両についての過去の画像情報を畳み込み処理する畳み込み層と、前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、前記全結合層は、入力される値に応じて、複数の値のうちのいずれかの値を確率的に出力する確率ニューロンを含むのが望ましい。
確率ニューロンが複数の値のうちのいずれかの値を確率的に出力することで、複数パターンの車両情報を予測できる。

具体的には、前記確率ニューロンは、前記確率ニューロンに入力される値と、予め行われた学習によって前記確率ニューロンに設定された重みと、に応じた確率で、第１の値または前記第１の値とは異なる第２の値を出力し、前記第１の値に対応して未来における１つのパターンの車両情報が予測され、前記第２の値に対応して未来における他のパターンの車両情報が予測されてもよい。
このような構成により、ｎ個の確率ニューロンを設けることで、２ⁿパターンの車両情報を予測できる。

前記学習器は、前記特定車両についての過去の画像情報を畳み込み処理する畳み込み層と、前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、前記全結合層は、入力される値に関わらず複数の値のうちのいずれかの値を順繰りに出力する確率ニューロンを含み、前記確率ニューロンから出力される各値に対応して、未来における各パターンの車両情報が予測されてもよい。
確率ニューロンが複数の値のうちのいずれかの値を順繰りに出力することで、複数パターンの車両情報を予測できる。

前記未来における車両情報は、前記特定車両の車速、舵角およびヨーレートとして表わされてもよい。

前記学習器は、前記未来における複数パターンの車両情報のそれぞれが実際に発生する確率を出力するのが望ましい。
この場合、前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記確率を考慮して警報を発する警報部を備えてもよい。

また、前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記オブジェクトの近傍に到達するまでの時間を算出する警報部を備えてもよい。
この構成により、車両の行動パターンが複数考えられる場合に、実際に対象オブジェクトの近傍に到達するまでの時間を精度よく算出できる。

また、本発明の別の態様によれば、人が運転する車両によって収集された画像情報および車両情報を学習データとして用いて、過去の画像情報および車両情報に基づいて、未来における複数パターンの車両情報を予測するためのニューラルネットワークの学習を行う、車両行動予測用ニューラルネットワークの学習方法が提供される。
人が運転する車両によって収集された画像情報および車両情報を学習データとすることで、簡易に学習を行うことができる。

前記ニューラルネットワークは、入力される画像情報を畳み込み処理する畳み込み層と、前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、前記全結合層は、入力される値に応じて、複数の値のうちのいずれかの値を確率的に出力する確率ニューロンを含んでもよい。

また、前記ニューラルネットワークは、入力される画像情報を畳み込み処理する畳み込み層と、前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、前記全結合層は、入力される値に関わらず複数の値のうちのいずれかの値を順繰りに出力する確率ニューロンを含み、前記確率ニューロンから出力される各値に対応して、未来における各パターンの車両情報が予測されてもよい。

また、本発明の別の態様によれば、人が運転する車両によって収集された画像情報および車両情報を学習データとして用いて、過去の画像情報および車両情報に基づいて、未来における複数パターンの車両情報を予測するためのニューラルネットワークの学習を行うステップと、前記学習が行われたニューラルネットワークを用いて、特定車両についての過去の画像情報および車両情報に基づいて、未来における前記特定車両の複数パターンの車両情報を予測するステップと、を備える車両行動予測方法が提供される。

未来における複数パターンの車両情報を予測するため、対象オブジェクトの近傍に到達するまでの時間をより高精度に推定することを可能となる。

本発明の概要を説明する図。 車両行動予測システムの概略構成を示すブロック図。 学習器３２の入出力を模式的に説明する図。 学習器３２におけるニューラルネットワーク構造の一例を模式的に示す図。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、本発明の概要を説明する図である。車両２００が三叉路に向かって走行しており、直進した先に歩行者Ｑがおり、左折した先に歩行者Ｒがいる状況を例示している（図１（ａ））。車両２００の未来の行動パターンとしては、直進（図１（ｂ））、左折（図１（ｃ））、停車（図１（ｄ））などが考えられる。車両２００が直進するのであれば、車両２００が歩行者Ｑの近傍（例えば、歩行者Ｑから半径所定距離内）に到達するまでの時間を推定する必要がある。一方、車両２００が左折するのであれば、車両２００が歩行者Ｒの近傍に到達するまでの時間を推定する必要がある。

通常の人工知能を利用した車両行動予測装置であれば、複数考えられる車両２００の行動パターンのうち最も可能性が高い１つを予測する。例えば、車両２００の車速がある程度速い場合、「直進」との予測結果を出力し、歩行者Ｑの近傍に到達するまでの時間を推定することとなる。

しかしながら、車速が速い場合、確かに直進する可能性が高いかもしれないが、急減速して左折する可能性もなくはない。左折する可能性を考えると、車両２００が歩行者Ｒの近傍に到達するまでの時間も推定する必要があるが、行動パターンの予測結果が「直進」であると、そのような時間は推定されない。

このような例から分かるように、車両の行動パターンは本来的に複数あり得、唯一絶対の真値が定まるものではない。例えば、特定の道路を異なるドライバが運転する場合には、当然ながら運転挙動にドライバの個人差が現れるし、特定の道路を特定のドライバが運転する場合でも、ハンドル操作や加減速には人特有のゆらぎが含まれる。

そこで、本発明では、車両の行動パターンを複数予測することとする。

図２は、車両行動予測システムの概略構成を示すブロック図である。車両行動予測システムは、車載カメラ１と、車両情報取得部２と、車両行動予測装置３とを備えている。

車載カメラ１は車両に搭載され、その周囲（典型的には前方）を撮影する。撮影によって得られた複数の画像が画像情報として逐次車両行動予測装置３に供給される。

車両情報取得部２は１または複数の車載センサで構成され、車両情報を取得する。車両情報とは車両の行動を記述できる情報であり、例えば車輪速、ハンドル操作に応じた舵角、ヨーレート、車両の位置（緯度・経度）などであるが、これらに限られない。取得された車両情報は逐次車両行動予測装置３に供給される。

車両行動予測装置３は、オブジェクト検知部３１と、学習器３２と、行動パターン推定部３３と、警報部３４とを有する。車両行動予測装置３は、１つの装置であってもよいし、２以上に分散された装置であってもよい。また、車両行動予測装置３における各部の一部または全ては、ハードウェアで実装されてもよいし、プロセッサが所定のプログラムを実行することによって実現される機能であってもよい。

オブジェクト検知部３１は、画像情報および／または車両情報に基づいて警報対象となり得るオブジェクト（歩行者や壁など）を検知し、検知したオブジェクトと車両との距離を推定する。図１（ａ）の例では、歩行者Ｑ，Ｒを検知し、車両２００と歩行者Ｑ，Ｒとの各距離が推定される。得られたオブジェクトの位置や車両との距離は警報部３４に供給される。なお、オブジェクト検知部３１は公知のオブジェクト検知アルゴリズムを利用すればよい。

学習器３２はニューラルネットワークを有し、予め、過去の画像情報および過去の車両情報から未来における車両情報を出力するよう学習が行われている。未知のシーンへの充分な汎化能力を得るためには、多種多様なシーンを走行して得られたデータを用いて学習が行われているのが望ましい。

そして、本実施形態におけるニューラルネットワークは確率ニューロン（後述）を含んでおり、学習器３２は、車載カメラ１から供給される過去（より正確には、ある時点より前）の画像情報、および、車両情報取得部２から供給される過去の車両情報に基づいて、未来（より正確には、ある時点より後）における車両の複数パターンの車両情報を予測できる。

この車両情報は、未来における車両の行動パターン（直進、左折、停止など）を記述し得る情報であり、具体的には車輪速、ハンドル操作に応じた舵角、ヨーレート、車両の位置などである。学習器３２が出力する車両情報は、車両情報取得部２が取得する車両情報と同じであってもよいし、異なっていてもよい。

また、学習器３２は出力する各パターンの車両情報に対して、当該車両情報が実際に発生する確率を関連付けて出力してもよい。学習器３２からの車両情報および確率は行動パターン推定部３３に供給される。学習器３２については後に詳しく説明する。

行動パターン推定部３３は、学習器３２が予測した複数パターンのそれぞれにつき、各パターンの車両情報に基づいて、車両の行動パターン（進路や加減速など）を推定する。図１の例では、学習器３２から出力される、あるパターンの車両情報に基づく行動パターンが直進（図１（ｂ））であり、別のパターンの車両情報に基づく行動パターンが左折（図１（ｃ））であり、また別のパターンの車両情報に基づく行動パターンが停車（図１（ｄ））である。

また、行動パターン推定部３３は、推定された行動パターンと、その行動パターンが実際に発生する確率とを関連付ける。その行動パターンが実際に発生する確率とは、当該行動パターンの推定元となった車両情報に関連付けられた確率そのものである。確率が関連付けられた行動パターンが警報部３４に供給される。

警報部３４は、オブジェクト検知部３１によって検知されたオブジェクトの情報と、行動パターン推定部３３によって推定された各行動パターンとを比較し、各行動パターンにおいて警報対象とすべきオブジェクトの有無を判断する。警報対象とするオブジェクトが存在する場合、行動パターンに基づいて、警報部３４は当該オブジェクトの近傍に車両が到達するまでの時間（近傍到達時間）を算出する。図１の例では、車両２００が直進する場合に歩行者Ｑの近傍に車両２００が到達するまでの時間と、車両２００が左折する場合に歩行者Ｒの近傍に車両２００が到達するまでの時間とが算出される。

そして、警報部３４は、行動パターンに関連付けられた確率を考慮して警報を発する。例えば、警報部３４は、確率が所定の閾値以上である場合に警報対象に関する警報を発してもよい。あるいは、警報部３４は、多数の警報対象がある場合、確率が上位所定数の行動パターンにおける警報対象に関する警報を発してもよい。警報の内容は任意であるが、例えば当該オブジェクトのおおよその位置の通知であってもよいし、当該オブジェクトの近傍に到達するまでの時間の通知であってもよい。

図３は、学習器３２の入出力を模式的に説明する図である。学習器３２には、過去の（ｍ＋１）時刻分（ｔ−ｍ，ｔ−ｍ＋１，・・・，ｔ）の画像情報および過去の車両情報が入力される。なお、ここでの時刻は画像情報が入力される間隔を１としている。そして、学習器３２は、未来のｎ時刻分（ｔ＋１，ｔ＋２，・・・，ｔ＋ｎ、例えば数秒に相当）のｋ（予め定めた定数）パターンの車両情報１〜ｋと、各車両情報が発生する確率１〜ｋとの組がランダムに出力される。

図４は、学習器３２におけるニューラルネットワーク構造の一例を模式的に示す図である。学習器３２は複数段の畳み込み層４１および複数段の全結合層４２を有する。畳み込み層４１は過去の画像情報および過去の車両情報を畳み込み処理する。全結合層４２のそれぞれは、畳み込み層４１からの処理結果に応じた値が入力され、未来の車両情報を予測するために用いられる値を出力する。より詳しくは以下のとおりである。

初段の畳み込み層４１は、車載カメラ１からの画像情報に対してフィルタを適用して畳み込みを行い、次いで非線形写像を行う。続いて、不図示のプーリング層は、画像情報の解像度を下げるプーリング操作を行い、特徴マップを生成する。２段目以降の畳み込み層４１は前段の畳み込み層４１によって生成された特徴マップに対して同様の処理を行う。

初段の全結合層４２には、最終段の畳み込み層４１から出力される特徴マップと、車両情報とが入力される。２段目以降の全結合層４２には、前段の全結合層４２からの出力が入力される。最終段の全結合層４２からの出力が、１つの未来の車両情報に相当する。

ここで、全結合層４２のそれぞれは複数のニューロン４３から構成される。各ニューロン４３は、入力される値（列ベクトル）ｘと、各ニューロン４３に設定された重み（行ベクトル）Ｗとの積和演算（必要に応じてバイアス値の加算）を行い、その結果Ｗｘに対してシグモイド関数σを適用する。なお、重みＷやバイアス値は後述する機械学習によって予め定められている。

ここで、少なくとも１つの全結合層４２は、少なくとも１つ（図４では２つ）の確率ニューロン４３１，４３２を有する（以下、区別のため、他のニューロン４３を「通常のニューロン４３」と呼ぶこともある）点が本実施形態の特徴の１つと言える。通常のニューロン４３は上記シグモイド関数σを適用した結果σ（Ｗｘ）を出力する。よって、通常のニューロン４３による出力は、入力される値に応じて一意に定まる。

一方、確率ニューロン４３１，４３２による出力は、入力される値に応じて一意に定まるわけではなく、複数の値をとり得る。より具体的には、確率ニューロン４３１，４３２は、予め定められた複数の値のうちのいずれかを、入力される値に応じて確率的に出力する。さらに具体的には、確率ニューロン４３１，４３２は、０を下限とし、１を上限とする連続一様分布から乱数ｒを発生させ、ｒ＞σ（Ｗｘ）であれば０を出力し、ｒ≦σ（Ｗｘ）であれば１を出力する。このことは、確率ニューロン４３１，４３２は、σ（Ｗｘ）の確率で１を出力し、１−σ（Ｗｘ）の確率で０を出力すると言い換えることができる。

このように確率ニューロン４３１，４３２が複数の値のうちのいずれかを確率的に出力するため、本学習器３２は複数パターンの車両情報を予測できる。

一般に、全結合層４２がｎ個の確率ニューロンを有する場合、２ⁿパターンの車両情報が出力される（そのうちのいくつかが重複することもあり得る）。例えば、ｎ＝２である場合、図１の例において、２つの確率ニューロン４３１，４３２の出力が（０，０）または（０，１）である場合の車両情報に基づく行動パターンが「直進」であり、同（１，０）である場合の車両情報に基づく行動パターンが「左折」であり、同（１，１）である場合の車両情報に基づく行動パターンが「停車」であったりする。

また、ｎ＝２とし、確率ニューロン４３１，４３２への入力をそれぞれｘ１，ｘ２とし、確率ニューロン４３１，４３２に設定された重みをそれぞれＷ１，Ｗ２とすると、
２つの確率ニューロン４３１，４３２の出力が（０，０）である確率
＝｛１−σ（Ｗ１ｘ１）｝｛１−σ（Ｗ２ｘ２）｝
２つの確率ニューロン４３１，４３２の出力が（０，１）である確率
＝｛１−σ（Ｗ１ｘ１）｝σ（Ｗ２ｘ２）
２つの確率ニューロン４３１，４３２の出力が（１，０）である確率
＝σ（Ｗ１ｘ１）｛１−σ（Ｗ２ｘ２）｝
２つの確率ニューロン４３１，４３２の出力が（１，１）である確率
＝σ（Ｗ１ｘ１）σ（Ｗ２ｘ２）
である。上記の例では、２つの確率ニューロン４３１，４３２の出力が（０，０）または（０，１）である場合の行動パターンが「直進」であり、その確率は｛１−σ（Ｗ１ｘ１）｝σ（Ｗ２ｘ２）＋｛１−σ（Ｗ１ｘ１）｝σ（Ｗ２ｘ２）である。同（１，０）である場合の行動パターンが「左折」であり、その確率はσ（Ｗ１ｘ１）｛１−σ（Ｗ２ｘ２）｝である。同（１，１）である場合の行動パターンが「停車」であり、その確率はσ（Ｗ１ｘ１）σ（Ｗ２ｘ２）である。

以上のようにして学習器３２は車両情報と、各車両情報が発生する確率とを出力できる。

続いて、学習器３２のニューラルネットワークにおける重みＷの学習について説明する（上記非特許文献２参照）。学習には、人が運転する車両によって収集された画像情報および車両情報を学習データとして活用するのが望ましい。ある時点までに収集された画像情報および車両情報を入力データとし、その時点以降に収集された車両情報を正解データとすることで、人手の加工不要で簡易に理想的な入力データと出力すべき正解データを得ることができるからである。加えて、同一である（とみなせる）画像情報および車両情報に対して、複数の未来の車両情報を収集できる。

その理由は、人の運転挙動が確率的だからである。仮に運転するシーンが同一（つまり、入力データである画像情報および車両情報が同一）であっても、その時その時で運転挙動（つまり、出力すべき車両情報）は確率的に異なる。運転者が異なれば運転挙動が異なるのは当然であるし、特定の運転者であっても運転挙動は異なり得る。例えば、必ずしも道路の同じ位置を同じ速度で車両が通過するとは限らないし、先行車両に追従するか追い抜くかも確率的である。交差点を右折するか、左折するか、直進するかの選択も確率的である。

学習データセットのある１つの学習データに着目すれば、入力データである画像情報および車両情報に対する、正解データとすべき車両情報は一意に定まっている。しかしながら、学習データセットには同一とみなせる似通ったシーンが多く含まれていると考えられる。そうすると、学習データセット全体としては、同一とみなせるシーンにおける車両の行動パターンが確率的と考えることができる。このことから、学習データセットには、入力データである同一とみなせる画像情報および車両情報に対して、正解データである未来の車両情報が複数パターン含まれる。

このような学習データセットを用いて学習を行う。学習とは各ニューロンに設定される重みを最適化することであり、重みが反復的に更新されることによって行われる。重みは、反復の度に、学習アルゴリズムに基づいてある更新量だけ変化する。

更新量は２種類の量の足し合わせとして計算することができる。１つの量は、「現状の（学習の中のある時点の）重みが推論する未来の車両情報（行動パターン）のうち、最も正解データに近い車両情報の発生確率を優先的に増大させる」ような量であり、他の１つの量は「現状の重みが推論する未来の車両情報のうち、最も正解データに近い車両情報を優先的に正解データ（＝理想値＝真値）に近づける」ような量である。より理想的な行動パターンの発生確率と出力の精度を相対的に高めようとする学習アルゴリズムと言える。

どのような出力（未来の車両情報）に対しても相応の更新量が発生する。各更新では、これら複数（または全部）の未来の車両情報を算出し、正解データと比較して相対的な精度の良さ（すなわち、正解データとの近さ）を算出する。そして、算出結果を、出力された未来の車両情報に対する重みとする。各更新では、未来の車両情報に対する重みづけがなされた、前述の２種類の量の総和を、その反復における更新量として重みを更新する。

今、ある入力データ（過去の画像情報および車両情報）に対する正解データが確率的な値（正確には、意味のある範囲内でランダムに変動する値であって、全く無意味な乱数ではない）を取るとき、この学習則を適用すると、最終的にニューラルネットワークが出力する未来の車両情報は正解データの発生パターンと見分けがつかなくなる。つまり、正解データの確率分布と、出力される未来の車両情報の確率分布とが一致するように学習を進めることができる。

このように、第１の実施形態では、予め学習が行われたニューラルネットワークを用いるため、相対速度一定あるいは相対加速度一定といった非現実的な仮定が不要であり、高精度に未来の車両情報や行動パターンを予測できる。そして、学習器３２におけるニューラルネットワークが複数の値を確率的に出力する確率ニューロン４３１，４３２を含むことで、複数パターンの車両情報を予測できる。その結果、想定し得る各パターンについて近傍到達時間を算出可能となり、推定を向上できる。また、人が運転する車両によって収集された画像情報および車両情報を学習データとすることで、簡易に学習を行うことができる。

（第２の実施形態）
第１の実施形態では、確率ニューロン４３１，４３２が、入力される値に応じて複数の値のうちのいずれかを確率的に出力するものであった。

ところで、図４に示す学習器３２において、畳み込み層４１は、画像情報や特徴マップにおける各画素が処理対象であるため、重い処理が必要となる。これに対し、最終段の畳み込み層４１からは十分に画素数（要素数）が減少した特徴マップが出力される。そのため、各全結合層４２の計算負荷なそれほど大きくない。第２の実施形態ではこの点に着目している。以下、第１の実施形態との相違点を中心に説明する。

図４に示す学習器３２において、確率ニューロン４３１，４３２は、入力される値に関わらず、出力の全組み合わせを網羅的に順繰りに出力する。具体例として、まず２つの確率ニューロン４３１，４３２は（０，０）を出力し、これに応じて１つの車両情報が予測される。続いて、２つの確率ニューロン４３１，４３２は（０，１）を出力し、これに応じて別の車両情報が予測される。続いて、２つの確率ニューロン４３１，４３２は（１，０）を出力し、これに応じてまた別つの車両情報が予測される。続いて、２つの確率ニューロン４３１，４３２は（１，１）を出力し、これに応じてさらに別の車両情報が予測される。

このように、第２の実施形態では、確率ニューロン４３１，４３２が複数の値を順繰りに出力することで、複数パターンの車両情報を予測できる。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１ 車載カメラ
２ 車両情報取得部
３ 車両行動予測装置
３１ オブジェクト検知部
３２ 学習器
３３ 行動パターン推定部
３４ 警報部
２００ 車両
Ｑ，Ｒ 歩行者

Claims (11)

1. 過去の画像情報および過去の車両情報から未来における車両情報を出力するように予め学習が行われたニューラルネットワークを有し、特定車両についての過去の画像情報および車両情報に基づいて、未来における前記特定車両の複数パターンの車両情報を予測する学習器を備え、
   前記未来における車両情報は、前記特定車両の車速、舵角およびヨーレートとして表わされる車両行動予測装置。
2. 前記学習器は、
   前記特定車両についての過去の画像情報を畳み込み処理する畳み込み層と、
   前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
   前記全結合層は、入力される値に応じて、複数の値のうちのいずれかの値を確率的に出力する確率ニューロンを含む、請求項１に記載の車両行動予測装置。
3. 前記確率ニューロンは、前記確率ニューロンに入力される値と、予め行われた学習によって前記確率ニューロンに設定された重みと、に応じた確率で、第１の値または前記第１の値とは異なる第２の値を出力し、
   前記第１の値に対応して未来における１つのパターンの車両情報が予測され、前記第２の値に対応して未来における他のパターンの車両情報が予測される、請求項２に記載の車両行動予測装置。
4. 前記学習器は、
   前記特定車両についての過去の画像情報を畳み込み処理する畳み込み層と、
   前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
   前記全結合層は、入力される値に関わらず複数の値のうちのいずれかの値を順繰りに出力する確率ニューロンを含み、
   前記確率ニューロンから出力される各値に対応して、未来における各パターンの車両情報が予測される、請求項１に記載の車両行動予測装置。
5. 前記学習器は、前記未来における複数パターンの車両情報のそれぞれが実際に発生する確率を出力する、請求項１乃至４のいずれかに記載の車両行動予測装置。
6. 前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、
   前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記確率を考慮して警報を発する警報部を備える、請求項５に記載の車両行動予測装置。
7. 前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、
   前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記オブジェクトの近傍に到達するまでの時間を算出する警報部を備える、請求項１ないし４のいずれかに記載の車両行動予測装置。
8. 人が運転する車両によって収集された画像情報および車両情報を学習データとして用いて、過去の画像情報および車両情報に基づいて、未来における複数パターンの車両情報を予測するためのニューラルネットワークの学習を行い、
   前記未来における車両情報は、前記車両の車速、舵角およびヨーレートとして表わされる、車両行動予測用ニューラルネットワークの学習方法。
9. 前記ニューラルネットワークは、
   入力される画像情報を畳み込み処理する畳み込み層と、
   前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
   前記全結合層は、入力される値に応じて、複数の値のうちのいずれかの値を確率的に出力する確率ニューロンを含む、請求項８に記載の車両行動予測用ニューラルネットワークの学習方法。
10. 前記ニューラルネットワークは、
    入力される画像情報を畳み込み処理する畳み込み層と、
    前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
    前記全結合層は、入力される値に関わらず複数の値のうちのいずれかの値を順繰りに出力する確率ニューロンを含み、
    前記確率ニューロンから出力される各値に対応して、未来における各パターンの車両情報が予測される、請求項８に記載の車両行動予測用ニューラルネットワークの学習方法。
11. 人が運転する車両によって収集された画像情報および車両情報を学習データとして用いて、過去の画像情報および車両情報に基づいて、未来における複数パターンの車両情報を予測するためのニューラルネットワークの学習を行うステップと、
    前記学習が行われたニューラルネットワークを用いて、特定車両についての過去の画像情報および車両情報に基づいて、未来における前記特定車両の複数パターンの車両情報を予測するステップと、を備え、
    前記未来における車両情報は、前記特定車両の車速、舵角およびヨーレートとして表わされる車両行動予測方法。

Images