JP7258077B2

JP7258077B2 - 他車両行動予測装置

Info

Publication number: JP7258077B2
Application number: JP2021081366A
Authority: JP
Inventors: 貴之井對
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-05-13
Filing date: 2021-05-13
Publication date: 2023-04-14
Anticipated expiration: 2041-05-13
Also published as: JP2022175160A

Description

本願は、他車両行動予測装置に関するものである。

他車両との衝突を回避するため、他車両の行動を予測する技術が提案されている。従来の他車両行動予測技術では、予測対象の車両が隣接レーンの流れに対する「所定の相対的動作」を行ったことを検知することにより、予測対象車両が自車両のレーンへの横移動を開始する前に予測対象車両の行動を予測している（例えば、特許文献１参照）。特許文献１に開示されている他車両行動予測では、上記「所定の相対的動作」を様々な状況について定めている。
また、他車両の行動予測では、機械学習により行動予測モデルを生成する方法もある。従来の行動予測モデル学習装置では、収集した他車両の走行データを用いて、教師あり学習により行動予測モデルを生成する手法を適用している（例えば、非特許文献１参照）。

特開２０１９－１５３０３９号公報

A. Kawasaki and A. Seki, "Multimodal Trajectory Predictions for Urban Environments Using Geometric Relationship between a Vehicle and a Lane," ICRA, 2020.

しかしながら、上記のような手法の他車両行動予測において、車両走行速度および車両密度等に対して頑健な他車両行動予測を行う場合、設計コストが増大するおそれがある。特許文献１に記載の技術の場合、「所定の相対的動作」を様々な状況について定めることは、通常、設計段階で人手により実施される。このような場合、複雑な条件分岐を伴う下でのパラメータの調整などのために、設計コストが増大するおそれがある。
また、非特許文献１のように、教師あり学習により行動予測モデルを生成する場合は、他車両の走行データを大量に収集する必要があるため、データ収集に伴うコストが大きく、設計コストが増大するおそれがある。

本願は、上記のような課題を解決するための技術を開示するものであり、設計コストの増大を防ぎつつ、頑健な他車両行動予測を行うことを可能にする他車両行動予測装置を得ることを目的とする。

本願に開示される他車両行動予測装置は、予測対象の他車両の周辺の地図情報と、予測対象の他車両の位置、速度、および加速度を少なくとも含む認知情報とを取得して、地図情報と認知情報とを組み合わせて車両周辺情報を生成する車両周辺情報生成部と、強化学習により学習済みであり、車両周辺情報から、予測対象の他車両の行動予測結果を出力する行動予測モデルを格納する行動予測モデル格納部と、行動予測モデル格納部から行動予測モデルを読み出し、読み出した行動予測モデルに車両周辺情報生成部が生成した車両周辺情報を入力して、予測対象の他車両の行動予測結果を行動予測モデルに出力させる他車両行動予測部とを備え、行動予測モデルは、強化学習において、行動予測対象の車両の平均速度、および行動予測対象の車両が他の車両または障害物と衝突する可能性に基づいて報酬を計算されており、報酬のうちの正の報酬は、平均速度が予め定められた速度以下の場合は、平均速度に対して単調増加する関数によって計算され、平均速度が予め定められた速度よりも大きい場合は、平均速度に対して単調減少する関数によって計算されるものである。

本願に開示される他車両行動予測装置によれば、設計コストの増大を防ぎつつ、頑健な他車両行動予測を行うことができる。

実施の形態１における他車両行動予測装置を示すブロック図である。実施の形態１における他車両行動予測装置および行動予測モデル学習装置のハードウェア構成の例を示す図である。実施の形態１における他車両行動予測装置の動作を示すフロー図である。実施の形態１における行動予測モデル学習装置を示すブロック図である。実施の形態１に係る強化学習を説明する図である。実施の形態１に係る学習部を示すブロック図である。実施の形態１に係る強化学習における報酬の例を示す図である。実施の形態１における行動予測モデル学習装置の動作を示すフロー図である。

実施の形態１．
実施の形態１を図１から図８に基づいて説明する。図１は、実施の形態１における他車両行動予測装置を示すブロック図である。他車両行動予測装置１０は、行動予測モデル学習装置５０によって生成された行動予測モデルＭを用いて予測対象の他車両（以下、対象他車両）の行動予測を行うものであり、外部から入力される地図情報Ｘ１ｒおよび認知情報Ｘ２ｒに基づいて、他車両の行動予測に用いられる自車両周辺情報Ｘｒを生成する自車両周辺情報生成部１１、すなわち車両周辺情報生成部と、行動予測モデル学習装置５０で生成された行動予測モデルＭを格納する行動予測モデル格納部１２と、自車両周辺情報Ｘｒおよび行動予測モデルＭを用いて、対象他車両の行動予測を行う他車両行動予測部１３と、他車両行動予測部１３による行動予測の結果に基づいて、自車両の制御量を演算する車両制御部１４とを備えている。なお、対象他車両としては、例えば、自車両が走行するレーンとは隣接するレーンを走行する他車両であって、自車両が走行するレーンに割り込みを行う可能性がある車両などが考えられる。どのような他車両を予測対象とするかは、ユーザが任意に設定可能である。

地図情報Ｘ１ｒは、対象他車両の周辺の地図情報を含むとともに、自車両が走行中の道路およびその道路の周辺に関する地図情報、自車両が走行中の道路のレーンの総数、および自車両が走行しているレーンの番号を含む。なお、ここでの地図情報とは、例えば、自車両の自動運転に使用される地図情報であり、例えばダイナミックマップが該当する。ダイナミックマップは、静的情報と、準静的情報と、準動的情報と、動的情報とからなる。ダイナミックマップの静的情報は、３次元の基盤的地図データである。ダイナミックマップの静的情報は、路面情報、車線情報、および３次元構造物などを含む、地物を示す３次元位置座標または線形ベクトルデータから構成される。準静的情報、準動的情報、および動的情報は、時々刻々と変化する動的データである。準静的情報、準動的情報、および動的情報は、位置参照基盤を基に静的情報に重畳されるデータである。準静的情報は、交通規制情報、道路工事情報、および広域気象情報などを含む。準動的情報は、事故情報、渋滞情報、および狭域気象情報などを含む。動的情報は、ＩＴＳ情報（周辺車両、歩行者、および信号の情報など）を含む。なお、ダイナミックマップデータは、自車両内部の車載ストレージ（図示無し）に記憶されたものを取得してもよいし、路側機または外部サーバーから取得してもよい。なお、地図情報Ｘ１ｒが少なくとも含む必要がある情報は対象他車両の周辺の地図情報であり、その他の情報は必須ではない。

認知情報Ｘ２ｒは、例えば、自車両に備えられたカメラ、ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）、ミリ波レーダ、および超音波ソナーなどの車載センサから得られる自車両の周辺環境の情報であり、少なくとも、自車両の周辺にある他車両の位置、速度、および加速度を示す情報を含んでいる。

自車両周辺情報生成部１１は、上述した地図情報Ｘ１ｒおよび認知情報Ｘ２ｒを取得し、取得した地図情報Ｘ１ｒと認知情報Ｘ２ｒとを組み合わせて、自車両に対する他車両（対象他車両を含む）の相対位置および相対速度などをベクトルで表現した情報を自車両周辺情報Ｘｒ、すなわち車両周辺情報として生成する。自車両周辺情報生成部１１は、生成した自車両情報Ｘｒを他車両行動予測部１３に出力する。なお、自車両周辺情報Ｘｒには、自車両の位置、ヨー角、速度、加速度、制御量（例えば、スロットル、ブレーキ、ステアリング）など、自車両の状態を示す情報が含まれていてもよい。

なお、認知情報Ｘ２ｒは、現時刻のものに限定せず、過去時刻のものを含んでいてもよい。また、認知情報Ｘ２ｒは、自車両の車載センサから取得した情報に限定しない。すなわち、上述した認知情報Ｘ２ｒに相当する情報が路側機または他車両の車載センサなどによって取得されている場合、路側機または他車両の車載センサなどによって取得された、認知情報Ｘ２ｒに相当する情報を路車間通信または車々間通信によって取得し、これらの情報に基づいて間接的に得られる情報も認知情報Ｘ２ｒに含まれる。「自車両の周辺にある他車両の位置」を例に説明すると、当該他車両の位置が路側機により取得されている場合、路側機が取得した当該他車両の位置を路車間通信により取得し、当該路側機と自車両の位置関係を反映させることで認知情報Ｘ２ｒ（自車両からの当該他車両の位置）とすることができる。このように、路側機または他車両の車載センサなどによって取得される情報に基づく認知情報Ｘ２ｒを用いることにより、自車両からは見えない位置、および自車両の車載センサでは検知できない位置にある他車両についての情報も認知情報Ｘ２ｒに含めて取得することができ、行動予測に用いる自車両周辺情報Ｘｒの情報量が充実化する。このため、対象他車両の行動予測の精度が向上する。

行動予測モデル格納部１２に格納されている行動予測モデルＭは、予測対象の車両およびその周辺の状態を示す情報から、予測対象の車両の行動予測結果を出力する行動予測モデルであり、行動予測対象の車両が、衝突可能性を低く保ちつつ、できるだけ適した速度（例えば、法定速度により近い速度）で走行するという観点で、様々な走行シーンにおいてとるであろう行動を予測するように、強化学習により生成された学習済の行動予測モデルである。他車両行動予測部１３は、行動予測モデルＭを行動予測モデル格納部１２から読み出し、自車両周辺情報Ｘｒを入力データとして行動予測モデルＭに入力して、予測対象とする他車両（この場合は対象他車両）の行動を予測する。この際、自車両周辺情報Ｘｒに含まれていない対象他車両の情報（図１において「対象他車両情報」としている）があれば、他車両行動予測部１３は、必要に応じて対象他車両情報も行動予測モデルＭに入力する。他車両行動予測部１３は、行動予測モデルＭを用いて得られる行動予測の結果を行動予測結果Ｙとして車両制御部１４に出力する。このように、他車両行動予測部１３は、自車両周辺情報Ｘｒを入力データとして対象他車両の行動予測を行うので、他車両行動予測部１３は、自車両周辺情報Ｘｒに対応する走行シーンに応じて、対象他車両の行動を予測することとなる。他車両行動予測部１３が出力する行動予測結果Ｙは、例えば、加速、減速、左レーンに移動、右レーンに移動、現状維持の５種の行動選択肢から、最適と判断される行動を一つ選択した結果となる。行動予測モデルＭの生成方法については後述する。

他車両行動予測部１３は、対象他車両の位置情報に基づいて、自車両周辺情報Ｘｒの補正を行う機能を有している。より具体的には、自車両周辺情報Ｘｒにおける障害物などの座標情報を、対象他車両の位置が原点になるように座標変換する。この場合、座標変換後の自車両周辺情報Ｘｒを入力データとして行動予測モデルＭに入力する。ただし、この変換処理は必須ではなく、例えば、自車両の位置を原点とした上で、対象他車両の行動予測を行う構成としてもよい。

車両制御部１４は、行動予測結果Ｙに基づき、自車両の行動判断、経路計画、車両制御などを含む一連の車両制御処理を行い、得られた結果を自車両の制御量として出力することで、自車両の車両制御を実施する。車両制御部１４による具体的な制御内容として、例えば、対象他車両が自車両の前方に割り込みする可能性が高いことを行動予測結果Ｙが示す場合に、自車両の速度を低減するなどの行動判断を行い、この判断に対応する制御量（自車両の減速制御量）をＥＰＳ（ＥｌｅｃｔｒｉｃＰｏｗｅｒＳｔｅｅｒｉｎｇ）モータに出力することなどがある。なお、実施の形態１では「制御量」としているが、車両制御部１４の出力は、数量的なものに限定されず、オン・オフ指令などであってもよい。

なお、自車両周辺情報取得部１１、行動予測モデル格納部１２、他車両行動予測部１３、車両制御部１４は、必ずしも自車両の内部に配置する必要はなく、これらの機能部の一部を路側機または外部のサーバーに配置してもよい。自車両の内部と外部に配置された機能部との通信は、ネットワークを介して通信または路車間通信により実現される。

上述した、他車両行動予測装置１０の各機能部を実現するハードウェア構成について説明する。図２は、実施の形態１における他車両行動予測装置および行動予測モデル学習装置のハードウェア構成の例を示す図である。ここでは他車両行動予測装置１０について説明するが、ハードウェア構成については行動予測モデル学習装置５０についても同様なので、図２ではまとめて記載している。他車両行動予測装置１０は、主に、プロセッサ９１と、主記憶装置としてもメモリ９２および補助記憶装置９３から構成される。プロセッサ９１は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などで構成される。メモリ９２はランダムアクセスメモリ等の揮発性記憶装置で構成され、補助記憶装置９３はフラッシュメモリ等の不揮発性記憶装置またはハードディスクなどで構成される。補助記憶装置９３には、プロセッサ９１が実行する所定のプログラムが記憶されており、プロセッサ９１は、このプログラムを適宜読み出して実行し、各種演算処理を行う。この際、補助記憶装置９３からメモリ９２に上記所定のプログラムが一時的に保存され、プロセッサ９１はメモリ９２からプログラムを読み出す。図１に示した各機能部による演算処理は、上記のようにプロセッサ９１が所定のプログラムを実行することで実現される。プロセッサ９１による演算処理の結果は、メモリ９２に一旦記憶され、実行された演算処理の目的に応じて補助記憶装置９３に記憶される。

また、他車両行動予測装置１０は、地図情報Ｘ１ｒおよび認知情報Ｘ２ｒの入力など、外部からの各種入力を受け付ける入力回路９４と、制御量などの出力を外部に行うための出力回路９５を備えている。

次に、他車両行動予測装置１０の動作について説明する。なお、ここでは行動予測モデルＭは生成済みであるとする。図３は、実施の形態１における他車両行動予測装置の動作を示すフロー図である。

まず、自車両周辺情報生成部１１は、車載ストレージ等から地図情報Ｘ１ｒを取得するとともに、車載センサ等から認知情報Ｘ２ｒを取得する（ステップＳＴ００１）。

次に、自車両周辺情報生成部１１は、ステップＳＴ００１で取得した地図情報Ｘ１ｒと認知情報Ｘ２ｒとを組み合わせ、自車両周辺情報Ｘｒを生成する（ステップＳＴ００２）。自車両周辺情報生成部１１は、生成した自車両周辺情報Ｘｒを他車両行動予測部１３に出力する。

次に、他車両行動予測部１３は、行動予測モデル格納部１２から行動予測モデルＭを読み込む（ステップＳＴ００３）。また他車両行動予測部１３は、読み出した行動予測モデルＭに対し、自車両周辺情報Ｘｒを入力データとして入力する（ステップＳＴ００４）。これにより、行動予測モデルＭによって対象他車両の行動予測が行われる。また、他車両行動予測部１３は、必要に応じて対象他車両情報も行動予測モデルＭに入力する。

次に、他車両行動予測部１３は、対象他車両の行動予測結果Ｙとして、行動予測モデルＭの出力を取得する（ステップＳＴ００５）。他車両行動予測部１３は、行動予測結果Ｙを車両制御部１４に出力する。

次に、車両制御部１４は、行動予測結果Ｙに基づいて自車両の車両制御処理を行い、得られた結果を自車両の制御量として出力することで、自車両の車両制御を実施する（ステップＳＴ００６）。

次に、行動予測モデル学習装置５０および行動予測モデルＭの生成方法について説明する。図４は、実施の形態１における行動予測モデル学習装置を示すブロック図であり、図５は、実施の形態１に係る強化学習を説明する図である。行動予測モデル学習装置５０は、様々な走行シーンを再生可能なシミュレータ（図示無し）を有するシミュレーション再生部５１と、上記シミュレータが生成するシミュレーション空間における地図情報Ｘ１ｖと認知情報Ｘ２ｖとを組み合わせて自車両周辺情報Ｘｖを生成する自車両周辺情報生成部５２、すなわち車両周辺情報生成部と、行動予測モデルＭを学習させる学習部５３とを備えている。シミュレーション再生部５１は、シミュレーション空間内の環境に基づく地図情報Ｘ１ｖおよび認知情報Ｘ２ｖを自車両周辺情報生成部５２に出力するとともに、所定の基準に基づいて定められる報酬Ｒを学習部５３に出力する。学習部５３は、行動指示Ａをシミュレーション再生部５１に出力する。地図情報Ｘ１ｖおよび認知情報Ｘ２ｖは、上述した地図情報Ｘ１ｒおよび認知情報Ｘ２ｒに含まれる情報と同種の情報であるが、地図情報Ｘ１ｒおよび認知情報Ｘ２ｒが現実空間の情報であるのに対し、地図情報Ｘ１ｖおよび認知情報Ｘ２ｖは、上記シミュレータが生成するシミュレーション空間内の環境に基づく情報である点が異なる。すなわち、上記シミュレーション空間は、地図情報Ｘ１ｖおよび認知情報Ｘ２ｖを取得可能な空間である。

なお、実施の形態１における強化学習のためのシミュレーションにおいては、シミュレータとなるコンピュータによって生成される仮想空間をシミュレーション空間としている。しかしながら、シミュレーションを行う空間が現実空間であってもよい。例えば、実際の車両を用いた実証実験、またはトイカーを用いた簡易実験などで同様のシミュレーションを行い、実施の形態１と同じ強化学習を行ってもよい。

行動予測モデル学習装置５０は、強化学習により行動予測モデルＭを学習させる。強化学習は、ある環境内のエージェントが、現在の環境との相互作用から学習して目標を達成する問題を扱うものである。エージェントは、環境に対して継続的に行動を実行し、その行動の応答として環境から新しい状態と報酬が与えられる。エージェントは、行動の実行と、新しい状態および報酬の受領を繰り返し、報酬を最も多く得ることができる行動方針を学習する。

具体的には、図５に示すように、初期状態（時刻ｔ０）において、ＡＩ学習側からシミュレータにアクション（図５ではａｃｔｉｏｎと記載）が送られ、シミュレータは、この行動指示をエージェントに与える。エージェントは、シミュレータが生成したシミュレーション空間内で、行動指示に従って行動を実行する。エージェントの行動によりシミュレーション空間内の環境は変化する。シミュレータ側で１ｓｔｅｐ経過したとき（時刻ｔ１）、シミュレータは、変化後の新しい環境と、所定の基準に基づいて決定される報酬をステート（図５ではｓｔａｔｅと記載）としてＡＩ学習側に送る。ＡＩ学習側は、シミュレータから与えられた新しい環境と報酬に基づき、次のステップの行動指示を決定してシミュレータ側に送る。図中、Δｔは、ＡＩ学習がシミュレータからの応答を受信してから次のステップの行動指示を送るまでにかかる時間である。このように、シミュレータとＡＩ学習との間で行動指示と応答を繰り返す中で、エージェントは、報酬を最も多く得ることができる行動方針を学習していくこととなる。

図４と図５の対応を説明する。図５のシミュレータは、シミュレーション再生部５１に対応している。シミュレーション再生部５１において、シミュレーション空間内のエージェントは、「自車両に見立てた対象他車両」である。すなわち、行動予測の予測対象は対象他車両であるが、シミュレーションのエージェントとしては自車両のように扱う。これにより、シミュレーションを通じて自車両の地図情報Ｘ１ｖ、認知情報Ｘ２ｖ、および自車両周辺情報Ｘｖを得ることで、対象他車両の周辺情報を得ることができる。自車両周辺情報Ｘｖは、見かけ上は自車両の周辺情報であるため、説明でも「自車両周辺情報」と記載しているが、内容的には対象他車両の車両周辺情報となっている。図５のＡＩ学習は、学習部５３に対応する。また、図５のアクションは行動指示Ａに対応しており、図５のステートに含まれる環境は、地図情報Ｘ１ｖ、認知情報Ｘ２ｖ、および自車両周辺情報Ｘｖに対応しており、報酬は報酬Ｒに対応する。

すなわち、シミュレーション再生部５１は、様々な走行シーンを再生可能なシミュレータを用いて、シミュレーション空間内の自車両（実際は、自車両に見立てた対象他車両）が、与えられた行動指示に基づいて行動する場合の走行シーンをシミュレーションにより再生する。まず時刻ｔ０において、シミュレーション空間内の対象他車両に行動指示Ａが与えられる。行動指示Ａの具体例は、加速、減速、左レーンに移動、右レーンに移動、現状維持、などがある。シミュレーション再生部５１は、時刻を次のステップに進める。この間に、対象他車両の行動により、シミュレーション空間内の環境が変化する。シミュレーション再生部５１は、次のステップ（時刻ｔ１）における地図情報Ｘ１ｖおよび認知情報Ｘ２ｖを自車両周辺情報生成部５２に出力する。なお、ここでの地図情報Ｘ１ｖおよび認知情報Ｘ２ｖは、対象他車両の地図情報および認知情報である。シミュレーション空間内の対象他車両による地図情報Ｘ１ｖおよび認知情報Ｘ２ｖの取得は、現実空間内の自車両による地図情報Ｘ１ｒおよび認知情報Ｘ２ｒの取得と同様に行われる。

自車両周辺情報生成部５２は、シミュレーション再生部５１から取得した地図情報Ｘ１ｖと認知情報Ｘ２ｖとを組み合わせ、自車両周辺情報Ｘｖを生成する。この自車両周辺情報Ｘｖは、内容的には対象他車両の車両周辺情報である。

また、シミュレーション再生部５１は、対象他車両への行動指示Ａに対し、所定の基準に基づいて報酬Ｒを決定し、報酬Ｒを学習部５３に出力する。

学習部５３は、自車両周辺情報生成部５２から取得した自車両周辺情報Ｘｖおよびシミュレーション再生部５１から取得した報酬Ｒを用いて、次の行動指示Ａを決定し、時刻ｔ１＋Δｔにおいて次の行動指示Ａをシミュレーション再生部５１に出力して、次の行動指示Ａを対象他車両に与える。シミュレーション再生部５１は、さらに次のステップ（時刻ｔ２）における地図情報Ｘ１ｖおよび認知情報Ｘ２ｖを自車両周辺情報生成部５２に出力するとともに、報酬Ｒを計算して学習部５３に出力する。以降も同様のことを繰り返す。

学習部５３による行動指示Ａの決定について説明する。図６は、実施の形態１に係る学習部を示すブロック図である。学習部５３は、強化学習の手法により、自車両周辺情報Ｘｖおよび報酬Ｒに基づいて行動予測モデルＭを更新し、更新後の行動予測モデルＭを行動予測モデル格納部１２に出力する関数更新部５３１と、行動指示Ａをシミュレーション再生部５１に出力する行動指示部５３２とを備えている。

強化学習の代表的な手法として、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）およびＴＤ学習（ＴＤ－ｌｅａｒｎｉｎｇ）が知られている。実施の形態１の関数更新部５３１はＱ学習の手法を用いるため、以下ではＱ学習について説明する。ただし、ＴＤ学習の手法を用いてもよい。はＱ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式は以下の式（１）で表される。

式（１）において、ｓ_ｔは時刻ｔにおける環境の状態を表し、ａ_ｔは時刻ｔにおける行動を表す。行動ａ_ｔにより、状態はｓ_ｔ＋１に変わる。ｒ_ｔ＋１はその状態の変化によってもらえる報酬（報酬Ｒ）を表し、γは割引率を表し、αは学習係数を表す。なお、γは０＜γ≦１、αは０＜α≦１の範囲とする。実施の形態１では、時刻ｔにおける行動指示Ａが行動ａ_ｔ、時刻ｔにおける自車両周辺情報Ｘｖが状態ｓ_ｔとなり、時刻ｔの状態ｓ_ｔ（自車両周辺情報Ｘｖ）おける最良の行動ａ_ｔ（行動指示Ａ）を学習する。ここで、「最良の行動ａ_ｔ」とは、「累積報酬が最も高くなる行動ａ_ｔ」である。ｒ_ｔ＋１は、時刻ｔ＋１における環境および行動によって与えられる報酬Ｒである。

関数更新部５３１は、学習中の行動予測モデルＭについて、式（１）に従って、行動価値関数Ｑを更新する。これにより、行動予測モデルＭも更新される。関数更新部５３１は、更新後の行動予測モデルＭを行動予測モデル格納部１２に格納する。行動指示部５３２は、更新後の行動価値関数Ｑに基づいて次の行動指示Ａを決定し、シミュレーション再生部５１に出力する。

式（１）で表される更新式は、時刻ｔ＋１において最もＱ値を高くする行動ａの行動価値Ｑが、時刻ｔにおいて実行された行動ａの行動価値Ｑよりも大きければ、行動価値Ｑを大きくし、逆の場合は、行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ，ａ）を更新する。それにより、ある環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。

報酬Ｒについて説明する。図７は、実施の形態１に係る強化学習における報酬の例を示す図である。報酬Ｒは、対象他車両が、衝突可能性を低く保ちつつ、できるだけ法定速度に近い速度で走行するように設計される。図７に示すように、対象他車両の平均速度ｖが許容範囲内（予め定められた範囲の範囲内）である場合は、正の報酬Ｒ＿ｖ（＝Ｒ＿ｖ（ｖ））が与えられる。逆に、対象他車両の平均速度ｖが許容範囲外（予め定められた範囲の範囲外）である場合は、負の報酬Ｒ＿ｏを与える。また、対象他車両から他車等の障害物までの距離が予め定められた閾値Ｄｏ＿ｔｈ以下である場合、または、対象他車両から壁までの距離が予め定められた閾値Ｄｗ＿ｔｈ以下である場合、それぞれ衝突可能性を低く保つことできていないと判断し、それぞれ負の報酬Ｒ＿ｄ、Ｒ＿ｗを与える。また、他車両（対象他車両から見た他車両）に急ブレーキを踏ませる場合も同様に、衝突可能性を低く保つことできていないと判断し、負の報酬Ｒ＿ｂを与える。なお、実施の形態１では、上記「許容範囲」の範囲内に法定速度を含むように設定している。ただし、これは法定速度を最適速度と設定しているためであるので、法定速度とは別の速度を最適速度に設定する場合は、その速度を含むように「許容範囲」を設定すればよい。

正の報酬Ｒ＿ｖは、対象他車両の平均速度ｖに依存する。対象他車両の平均速度ｖができるだけ法定速度に近くなるようにするためには、平均速度ｖが法定速度以下の場合は正の報酬Ｒ＿ｖを平均速度ｖに対して単調増加させ、平均速度ｖが法定速度より大きい場合は正の報酬Ｒ＿ｖを平均速度ｖに対して単調減少させるとよい。例えば、正の報酬Ｒ＿ｖは、平均速度ｖに対する単調増加関数ｆ（ｖ）、および平均速度ｖに対する単調減少関数ｇ（ｖ）を用いて、以下の式（２）、式（３）にように設計することが考えられる。
Ｒ＿ｖ＝Ｒ＿ｖ（ｖ）＝ｆ（ｖ）（ｖ≦法定速度）・・（２）
Ｒ＿ｖ＝Ｒ＿ｖ（ｖ）＝ｇ（ｖ）（ｖ＞法定速度）・・（３）
なお、ｆ（ｖ）、ｇ（ｖ）は、平均速度ｖに対し、それぞれ単調増加、単調減少する関数であればよく、１次関数、２次関数、指数関数等、関数の種類は問わない。

上記したようなそれぞれの状況に対する報酬を用い、報酬Ｒは、一例として以下の式（４）で表すことができる。
Ｒ＝Ｒ＿ｖ＋Ｒ＿ｏ＋Ｒ＿ｄ＋Ｒ＿ｂ・・（４）
式（４）のように報酬Ｒを設計すれば、環境の変化に応じた報酬Ｒが学習指針として行動予測モデルＭに与えられるため、実施の形態１のような強化学習では教師データを必要としない。なお、式（４）ではＲ＿ｖ（ｖ）などの各報酬を単純に加算して報酬Ｒを求めているが、各報酬に重みづけを行った上で加算することにより報酬Ｒを求めてもよい。上述した報酬Ｒの計算は、シミュレーション再生部５１で行われる。

次に、行動予測モデル学習装置５０の動作について説明する。図８は、実施の形態１における行動予測モデル学習装置の動作を示すフロー図である。

まず、学習部５３の行動指示部５３２は、シミュレーション再生部５１に対して行動指示Ａを出力する。この行動指示Ａはシミュレーション空間内のエージェントである、「自車両に見立てた対象他車両」に与えられる（ステップＳＴ１０１）。行動指示Ａの具体例は上述したとおりである。

次に、シミュレーション再生部５１は、行動指示Ａに基づいて、報酬Ｒを計算する（ステップＳＴ１０２）。より具体的には、シミュレーション再生部５１は、行動指示Ａに応じて１ｓｔｅｐの走行シミュレーションを行い、１ｓｔｅｐ経過後（次時刻）の環境における報酬Ｒを計算する。報酬Ｒの計算方法は上述したとおりである。シミュレーション再生部５１は、報酬Ｒを学習部５３の関数更新部５３１に出力する。

次に、シミュレーション再生部５１は、次時刻における自車両周辺の地図情報Ｘ１ｖおよび認知情報Ｘ２ｖを出力する（ステップＳＴ１０３）。自車両周辺情報生成部５２は、シミュレーション再生部５１が出力した地図情報Ｘ１ｖおよび認知情報Ｘ２ｖを取得する。

次に、自車両周辺情報生成部５２は、シミュレーション再生部５１から取得した地図情報Ｘ１ｖと認知情報Ｘ２ｖとを組み合わせ、自車両周辺情報Ｘｖを生成する（ステップＳＴ１０４）。自車両周辺情報生成部５２は、生成した自車両周辺情報Ｘｖを学習部５３の関数更新部５３１に出力する。

次に、関数更新部５３１は、自車両周辺情報Ｘｖおよび報酬Ｒに基づき、強化学習により行動予測モデルＭおよび行動価値関数Ｑを更新する（ステップＳＴ１０５）。関数更新部５３１は、更新後の行動予測モデルＭを行動予測モデル格納部１２に格納する。

学習部５３は、強化学習を終了するか否かを判定し（ステップＳＴ１０６）、終了する場合は処理を終了する。強化学習を終了しない場合、ステップＳＴ１０１に戻り、行動指示部５３２は、シミュレーション再生部５１に対して現時刻の行動指示Ａを出力する。

強化学習を終了するか否かの判断は、例えば、ステップＳＴ１０１からステップ１０６までの処理が行われた回数が、予め定められた回数以上であるか否かを判定することにより行えばよい。

実施の形態１によれば、設計コストの増大を防ぎつつ、頑健な他車両行動予測を行うことができる。より具体的には、予測対象の他車両の周辺の地図情報および予測対象の他車両の状態を含む自車両周辺情報を生成し、強化学習により学習済みであり、上記自車両周辺情報から予測対象の他車両の行動予測結果を出力する行動予測モデルに、生成された自車両周辺情報を入力することにより予測対象の他車両の行動を予測する。このため、設計段階で人手によって様々な状況に対してルールを定める必要はない。また、教師あり学習のように多量のデータを収集する必要もない。このため、設計コストの増大を防ぎつつ、頑健な他車両行動予測を行うことができるのである。

また、実施の形態１の行動予測モデルの学習においては、行動予測対象の車両の平均速度、および行動予測対象の車両が他の車両などと衝突する可能性を基準として、強化学習に用いる報酬を計算している。このため、隣接レーンの前方を他車両が低速走行していて、かつ、自車両のレーンの前方が空いている状況で、自車両の前方に上記他車両が割り込むような場合において、他車両の車両挙動変化を検知するよりも早く割り込み動作を予測することができ、従来よりも確実に衝突を回避しつつ、例えば法定速度により近い速度など、より適した速度で走行することが可能となる。

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

１０他車両行動予測装置、１１自車両周辺情報生成部、１２行動予測モデル格納部、１３他車両行動予測部、１４車両制御部、５０行動予測モデル学習装置、５１シミュレーション再生部、５２自車両周辺情報生成部、５３学習部、５３１関数更新部、５３２行動指示部、Ａ行動指示、Ｍ行動予測モデル、Ｒ報酬、Ｘｒ、Ｘｖ自車両周辺情報、Ｘ１ｒ、Ｘ１ｖ地図情報、Ｘ２ｒ、Ｘ２ｖ認知情報、Ｙ行動予測結果

Claims

予測対象の他車両の周辺の地図情報と、前記予測対象の他車両の位置、速度、および加速度を少なくとも含む認知情報とを取得して、前記地図情報と前記認知情報とを組み合わせて車両周辺情報を生成する車両周辺情報生成部と、
強化学習により学習済みであり、前記車両周辺情報から、前記予測対象の他車両の行動予測結果を出力する行動予測モデルを格納する行動予測モデル格納部と、
前記行動予測モデル格納部から前記行動予測モデルを読み出し、読み出した前記行動予測モデルに前記車両周辺情報生成部が生成した前記車両周辺情報を入力して、前記予測対象の他車両の行動予測結果を前記行動予測モデルに出力させる他車両行動予測部とを備え、
前記行動予測モデルは、前記強化学習において、行動予測対象の車両の平均速度、および前記行動予測対象の車両が他の車両または障害物と衝突する可能性に基づいて報酬を計算されており、前記報酬のうちの正の報酬は、
前記平均速度が予め定められた速度以下の場合は、前記平均速度に対して単調増加する関数によって計算され、前記平均速度が前記予め定められた速度よりも大きい場合は、前記平均速度に対して単調減少する関数によって計算されることを特徴とする他車両行動予測装置。