JP7013284B2

JP7013284B2 - 移動体挙動予測装置

Info

Publication number: JP7013284B2
Application number: JP2018042742A
Authority: JP
Inventors: 昌義石川; 浩朗伊藤
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-03-09
Filing date: 2018-03-09
Publication date: 2022-01-31
Anticipated expiration: 2038-03-09
Also published as: DE112019000325T5; WO2019172104A1; JP2019159535A

Description

本開示は、車両の周囲の移動体の挙動を予測する移動体挙動予測装置に関する。

従来から車両周囲の環境状態を推定する車両環境推定装置に関する発明が知られている（下記特許文献１を参照）。特許文献１に記載された発明は、死角領域を移動する移動体などの予測進路に基づいて自車両周辺の走行環境を的確に推定できる車両環境推定装置を提供することを目的としている（同文献、第０００５段落等を参照）。

上記目的を達成するために、上記従来の発明に係る車両環境推定装置は、自車両周辺の移動体の挙動を検出する挙動検出手段と、前記移動体の挙動に基づいて前記移動体の走行に影響を与える環境を推定する推定手段とを備えている（同文献、請求項１等を参照）。

この従来の発明によれば、自車両周辺の移動体の挙動を検出し、その移動体の挙動に基づいて移動体の走行に影響を与える環境を推定することにより、自車両から認識できないが自車両周辺の移動体から認識できる車両走行環境を推定することが可能となる（同文献、第０００７段落等を参照）。

特開２０１０－２６７２１１号公報

前記従来の車両環境推定装置は、未検出障害物の有無や数、状態等の設定の異なる複数の走行環境を仮定する未検出障害物設定部を備えている。この未検出障害物設定部は、自車両が障害物検出できない死角領域において未検出障害物の存否を設定する（同文献、第００３１段落等を参照）。

たとえば、この未検出障害物設定部は、交差点などにおいて自車両が障害物検出できない死角領域に未検出の他車両が存在すると仮定して他車両の存在を設定したり、死角領域に未検出の他車両が存在していないと仮定したりする。このとき、死角領域の障害物の個数、各障害物の位置、速度などの属性に対し複数の仮説が設定される（同文献、第００３１段落等を参照）。

上記従来の車両環境推定装置のように、死角領域の全域にわたって、複数の障害物の多様な属性に対して複数の仮説を設定すると、装置の演算負荷が過大になるおそれがある。

本開示は、従来よりも演算負荷を抑制しつつ、自車両から直接的に認識できない死角領域の移動体または静止体の存在を予測し、その予測された移動体または静止体の存在に基づく他の移動体の挙動を予測することが可能な移動体挙動予測装置を提供する。

本開示に係る移動体挙動予測装置は、自車両の周囲の移動体および静止体を認識する認識部と、前記認識部によって前記移動体および前記静止体を直接的に認識することができない死角領域に該死角領域よりも狭い予測領域を設定する限定部と、前記移動体の予測挙動と実挙動との誤差を算出する評価部と、前記誤差を減少させるように前記予測領域に前記移動体または前記静止体の存在を推定する推定部と、前記推定部の推定結果に基づいて前記認識部の認識結果を修正する修正部と、前記修正部によって修正された前記認識部の認識結果に基づいて前記移動体の挙動を予測する予測部と、を備える。

本開示によれば、従来よりも演算負荷を抑制しつつ、自車両から直接的に認識できない死角領域の移動体または静止体の存在を予測し、その予測された移動体または静止体の存在に基づく他の移動体の挙動を予測することが可能な移動体挙動予測装置を提供することができる。

移動体挙動予測装置が搭載される車両の構成の一例を示すブロック図。移動体挙動予測装置の構成の一例を示すブロック図。移動体挙動予測装置の限定部の構成の一例を示すブロック図。移動体挙動予測装置の動作の一例を示すフロー図。自車両の周囲の移動体を示す模式図。自車両の周囲の移動体を示す模式図。自車両の周囲の移動体を示す模式図。自車両の周囲の移動体を示す模式図。自車両の周囲の移動体を示す模式図。移動体挙動予測装置の予測部の構成を示すブロック図。図６Ａの予測部の空間埋め込み部の詳細を示すブロック図。移動体挙動予測装置の演算負荷等の時刻による変化の一例を示すグラフ。移動体挙動予測装置による予測領域の推定が行われる状況を示す模式図。移動体挙動予測装置による予測領域の推定後の状況を示す模式図。移動体挙動予測装置による新たな予測領域の推定の状況を示す模式図。移動体挙動予測装置の構成の他の一例を示すブロック図。従来の車両環境推定装置による死角領域の一例を示す模式図。

以下、図面を参照して本開示の移動体挙動予測装置の実施形態を説明する。

図１は、本開示の一実施形態に係る移動体挙動予測装置が搭載される車両の構成の一例を示すブロック図である。図２は、本開示の一実施形態に係る移動体挙動予測装置１００の構成の一例を示すブロック図である。

本実施形態に係る移動体挙動予測装置１００は、たとえば、車両に搭載され、車両の周囲の移動体の挙動を予測する装置である。移動体挙動予測装置１００は、たとえば、自動車などの車両の自動運転制御システムまたは運転支援システムに適用することが可能である。

以下の説明において、「自車両」は本実施形態の移動体挙動予測装置１００が搭載された制御対象の車両であり、「他車両」は自車両の周囲の車両である。また、「移動体」は、たとえば、自動車、自動二輪車および自転車を含む他車両、電動車いす、歩行者、動物、またはボールなど、時間の経過とともに移動する障害物である。また、「静止体」は、静止または停止した状態の移動体や、自ら移動しない落下物などを含む障害物である。

移動体挙動予測装置１００は、たとえば、車両に搭載されたセンサ１、地図情報２、全地球測位システム（Global Positioning System：ＧＰＳ）３、電子制御ユニット（Electronic Control Unit：ＥＣＵ）４、およびアクチュエータ５によって構成されている。センサ１は、たとえば、単眼カメラやステレオカメラなどのカメラ、ライダー（Light Detection and Ranging：ＬＩＤＡＲ）、レーダ（Radar）などを含む。地図情報２は、たとえば、地形や道路網の情報などを含む静的な情報である。

ＥＣＵ４は、たとえば、中央処理装置（Central Processing Unit：ＣＰＵ）４ａ、ＲＡＭやＲＯＭなどを含むメモリ４ｂ、およびアクセラレータ４ｃなどによって構成されている。アクセラレータ４ｃは、たとえば、ＦＰＧＡ（Field-Programmable Gate Array）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、ＧＰＵ（Graphics Processing Unit）などを含む。

アクチュエータ５は、たとえば、ＥＣＵ４から出力される制御信号に応じて自車両の走行を制御する駆動部である。アクチュエータ５は、たとえば、自車両の制動状態を制御するブレーキアクチュエータ、自車両のアクセル開度を制御するアクセルアクチュエータ、自車両の変速を制御する変速アクチュエータ、自車両の操舵系を制御する操舵アクチュエータなどを含む。

本実施形態の移動体挙動予測装置１００は、認識部１０と、限定部２０と、評価部３０と、推定部４０と、修正部５０と、予測部６０と、を備えている。認識部１０は、たとえば、センサ１、地図情報２、ＧＰＳ３およびＥＣＵ４によって構成され、自車両Ｖｓの周囲の移動体Ｍｏおよび静止体Ｓｏ（図５Ａ参照）の三次元空間における位置情報などを認識する。限定部２０は、たとえば、ＥＣＵ４によって構成され、認識部１０によって移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない死角領域ＢＡに、その死角領域ＢＡよりも狭い予測領域ＰＡ（図５Ｂ参照）を設定する。

評価部３０は、たとえば、ＥＣＵ４によって構成され、認識部１０の認識結果に基づく移動体Ｍｏの予測挙動Ｔｐと実挙動Ｔｒ（図５Ｃ参照）との間の誤差を算出する。推定部４０は、たとえば、ＥＣＵ４によって構成され、評価部３０によって算出された誤差を減少させるように予測領域ＰＡに移動体Ｍｏまたは静止体Ｓｏの存在を推定する。より具体的には、推定部４０は、予測部６０において微分可能な関数で記述された情報に基づいて勾配降下法により誤差を減少させる。

修正部５０は、たとえば、ＥＣＵ４によって構成され、推定部４０の推定結果に基づいて認識部１０の認識結果を修正する。ここで、修正部５０は、たとえば、自車両Ｖｓが前時刻における過去の位置から現時刻における現在位置まで移動した場合に、自車両Ｖｓの現在位置における座標を用いて認識部１０の認識結果を修正する。予測部６０は、たとえば、ＥＣＵ４によって構成され、修正部５０によって修正された認識部１０の認識結果に基づいて移動体Ｍｏの挙動を予測する。

図３は、図２に示す限定部２０の構成の一例を示すブロック図である。限定部２０は、たとえば、第１判定部２１と、第２判定部２２と、第３判定部２３と、範囲推定部２４と、参照部２５と、を含んでいる。

第１判定部２１は、たとえば、認識部１０によって移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない死角領域ＢＡを判定する、死角領域判定部として機能する。より具体的には、第１判定部２１は、たとえば、認識部１０を構成するセンサ１によって、自車両Ｖｓから移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない領域を死角領域ＢＡとして判定する。

第２判定部２２は、たとえば、移動体Ｍｏによって他の移動体Ｍｏまたは静止体Ｓｏを認識可能な範囲を判定し、その範囲に予測領域ＰＡを設定する、予測領域設定部として機能する。より具体的には、第２判定部２２は、たとえば、一般的な車両に搭載されるカメラの画角に基づいて、他車両Ｖｏが移動体Ｍｏまたは静止体Ｓｏを認識可能な範囲を判定する。なお、第２判定部２２によって他車両Ｖｏが備えるセンサの種類が認識可能である場合には、第２判定部２２は、認識した他車両Ｖｏのセンサの種類に応じて、他車両Ｖｏが移動体Ｍｏまたは静止体Ｓｏを認識可能な範囲を判定してもよい。

第３判定部２３は、たとえば、第２判定部２２による前時刻の処理ですでに予測領域ＰＡが設定されているか否かを判定する、予測領域判定部として機能する。また、第３判定部２３は、たとえば、前時刻の処理ですでに予測領域ＰＡが設定されている場合に、次時刻の処理で新たに予測領域ＰＡを設定する領域から、前時刻の処理で予測領域ＰＡが設定されている領域を除外する、予測領域除外部としても機能する。

範囲推定部２４は、たとえば、移動体Ｍｏの挙動に影響を与える範囲を推定し、その範囲に含まれる領域のみを予測領域ＰＡとする、予測領域限定部として機能する。より具体的には、範囲推定部２４は、たとえば、センサ１、地図情報２、ＧＰＳ３等から得られた情報に基づいて、自車両Ｖｓの前方の道路上とその道路に隣接する歩道上を、移動体Ｍｏの挙動に影響を与える範囲と推定し、その範囲に含まれない領域を予測領域ＰＡから除外する。

また、範囲推定部２４は、たとえば、センサ１、地図情報２、ＧＰＳ３等から得られた情報に基づいて、自車両Ｖｓからの距離が一定の範囲である領域を移動体Ｍｏの挙動に影響を与える範囲と推定したり、対向車線を移動体Ｍｏの挙動に影響を与える範囲から除外したりすることも可能である。また、範囲推定部２４は、たとえば、センサ１、地図情報２、ＧＰＳ３等から得られた地形や道路網などの情報に基づいて、自車両Ｖｓの走行車線に交差する道路などを移動体Ｍｏの挙動に影響を与える範囲と推定することも可能である。

参照部２５は、たとえば、地図情報２に基づいて、移動体Ｍｏが存在し得る領域を参照し、予測領域ＰＡを補正する、予測領域補正部として機能する。より具体的には、参照部２５は、地図情報２に基づいて、道路上および歩道上などの領域を参照し、その参照した情報に基づいて予測領域ＰＡを補正する。

以下、本実施形態の移動体挙動予測装置１００の動作を説明する。図４は、本実施形態の移動体挙動予測装置１００の動作の一例を示すフロー図である。図５Ａから図５Ｅは、自車両Ｖｓの周囲の移動体Ｍｏおよび静止体Ｓｏを示す模式図である。

本実施形態の移動体挙動予測装置１００は、前述のように、自車両Ｖｓに搭載され、認識部１０と、限定部２０と、評価部３０と、推定部４０と、修正部５０と、予測部６０とを備えている。認識部１０は、自車両Ｖｓの周囲の移動体Ｍｏおよび静止体Ｓｏを認識する。限定部２０は、認識部１０によって移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない死角領域ＢＡに、その死角領域ＢＡよりも狭い予測領域ＰＡを設定する。評価部３０は、認識部１０の認識結果に基づく移動体Ｍｏの予測挙動Ｔｐと実挙動Ｔｒとの誤差を算出する。推定部４０は、評価部３０によって算出された誤差を減少させるように予測領域ＰＡに移動体Ｍｏまたは静止体Ｓｏの存在を推定する。修正部５０は、推定部４０の推定結果に基づいて認識部１０の認識結果を修正する。予測部６０は、修正部５０によって修正された認識部１０の認識結果に基づいて移動体Ｍｏの挙動を予測する。

移動体挙動予測装置１００は、まず、図４のステップＳ１において、自車両Ｖｓの周囲の情報を取得する。具体的には、たとえば、図５Ａに示すように、自車両Ｖｓが直線道路の左車線を前方へ走行し、自車両Ｖｓの前方に他車両Ｖｏが走行しており、その他車両Ｖｏに前方に停車中の他車両Ｖｏが存在する場合を想定する。また、停車中の他車両Ｖｏの前方で、歩行者Ｐが道路を横断しようとしている。この場合、移動体挙動予測装置１００は、たとえば、認識部１０によって、自車両Ｖｓの周囲の情報を取得し、三次元空間上で自車両Ｖｓの周囲の移動体Ｍｏおよび静止体Ｓｏの位置情報を認識する。この段階では、認識部１０は、死角領域ＢＡの移動体Ｍｏである歩行者Ｐを認識していない。

移動体挙動予測装置１００は、次に、図４のステップＳ２において、移動体Ｍｏまたは静止体Ｓｏの存在を予測する領域である予測領域ＰＡを決定する。具体的には、移動体挙動予測装置１００は、たとえば、限定部２０により、認識部１０によって移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない死角領域ＢＡに、その死角領域ＢＡよりも狭い予測領域ＰＡを設定する。

より具体的には、本実施形態の移動体挙動予測装置１００において、限定部２０は、たとえば、図３に示す第１判定部２１により、認識部１０によって移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない死角領域ＢＡを判定する。さらに、限定部２０は、たとえば、図３に示す第２判定部２２により、前方を走行中の他車両Ｖｏである移動体Ｍｏによって他の移動体Ｍｏまたは静止体Ｓｏを認識可能な範囲を判定し、その範囲に予測領域ＰＡを設定する。

これにより、図５Ｂに示すように、限定部２０によって、自車両Ｖｓからセンサ１によって直接観測を行うことができない死角領域ＢＡで、かつ、他車両Ｖｏである移動体Ｍｏによって他の移動体Ｍｏまたは静止体Ｓｏを認識可能な範囲に、死角領域ＢＡよりも狭い予測領域ＰＡを設定することができる。なお、限定部２０は、このように、移動体Ｍｏによって他の移動体Ｍｏまたは静止体Ｓｏを認識可能な範囲に予測領域ＰＡを設定する構成に限定されない。

本実施形態の移動体挙動予測装置１００において、限定部２０は、たとえば、前時刻の処理で予測領域ＰＡが設定されていない死角領域ＢＡの一部の領域に、新たに予測領域ＰＡを設定してもよい。より具体的には、限定部２０は、たとえば、図４のステップＳ３において、既定の予測領域ＰＡの存在の有無を判定する。より詳細には、限定部２０は、たとえば、図３に示す第３判定部２３によって、前時刻の第２判定部２２による処理ですでに予測領域ＰＡが設定されているか否かを判定する。そして、前時刻の処理ですでに予測領域ＰＡが設定されている場合に、限定部２０は、たとえば、次時刻の処理で新たに予測領域ＰＡを設定する領域から、前時刻の処理で予測領域ＰＡが設定されている領域を除外する。

また、本実施形態の移動体挙動予測装置１００において、限定部２０は、たとえば、移動体Ｍｏの挙動に影響を及ぼす可能性のある、その移動体Ｍｏの近傍の領域に、予測領域ＰＡを設定してもよい。より具体的には、限定部２０は、たとえば、図３に示す範囲推定部２４によって、他車両Ｖｏである移動体Ｍｏからの距離が、その移動体Ｍｏの前方の数メートルから数十メートル以内の移動体Ｍｏの近傍の領域を、移動体Ｍｏの挙動に影響を与える範囲と推定し、その範囲に含まれる領域のみを予測領域ＰＡとする。

また、本実施形態の移動体挙動予測装置１００において、限定部２０は、たとえば、自車両Ｖｓの周囲の地図情報２およびＧＰＳ３等の情報に基づいて、移動体Ｍｏの挙動に影響を及ぼす範囲に予測領域ＰＡを設定してもよい。より具体的には、限定部２０は、たとえば、図３に示す範囲推定部２４によって、他車両Ｖｏである移動体Ｍｏの前方の道路上および歩道上の領域を、その移動体Ｍｏの挙動に影響を与える範囲と推定し、その範囲に含まれる領域のみを予測領域ＰＡとする。

図４に示す例では、ステップＳ３の判定で既定の予測領域ＰＡが存在する場合（Ｙ）、移動体挙動予測装置１００は、ステップＳ４からステップＳ６までの処理を行うことなく、ステップＳ７の挙動予測を行う。一方、ステップＳ３の判定で既定の予測領域ＰＡが存在しない場合（Ｎ）、移動体挙動予測装置１００は、ステップＳ４の誤差算出を実行する。

移動体挙動予測装置１００は、図４に示すステップＳ４において、たとえば、図２に示す評価部３０により、認識部１０の認識結果に基づく移動体Ｍｏの予測挙動Ｔｐと実挙動Ｔｒとの誤差を算出する。より具体的には、評価部３０は、まず、認識部１０の認識結果に基づいて、移動体Ｍｏである他車両Ｖｏの各時刻における位置、速度、移動方向を算出し、図５Ｃに示す移動体Ｍｏの予測挙動Ｔｐとして、他車両Ｖｏの軌道を予測する。そして、評価部３０は、他車両Ｖｏの予測された軌道、すなわち移動体Ｍｏの予測挙動Ｔｐと、認識部１０によって測定された他車両Ｖｏの実際の軌道、すなわち移動体Ｍｏの実挙動Ｔｒとの誤差を算出する。

次に、移動体挙動予測装置１００は、図４に示すステップＳ５において、予測領域ＰＡの状態を推定する。より具体的には、移動体挙動予測装置１００は、たとえば、図２に示す推定部４０により、評価部３０によって算出された誤差を減少させるように、予測領域ＰＡの道路、移動体Ｍｏまたは静止体Ｓｏの存在を推定する。これにより、図５Ｄに示すように、予測領域ＰＡにおいて、たとえば歩行者Ｐなどの移動体Ｍｏの存在が推定される。

次に、移動体挙動予測装置１００は、図４に示すステップＳ６において、予測領域ＰＡの認識結果を修正する。より具体的には、移動体挙動予測装置１００は、たとえば、図２に示す修正部５０により、推定部４０の推定結果に基づいて認識部１０の認識結果を修正する。これにより、たとえば、図５Ｄに示す推定部４０による予測領域ＰＡにおける移動体Ｍｏの推定結果が、認識部１０の認識結果に追加される。

次に、移動体挙動予測装置１００は、図４に示すステップＳ７において、移動体Ｍｏの挙動を予測する。より具体的には、移動体挙動予測装置１００は、たとえば、図２に示す予測部６０により、修正部５０によって修正された認識部１０の認識結果に基づいて移動体Ｍｏの挙動を予測する。これにより、予測領域ＰＡにおける移動体Ｍｏである歩行者Ｐの推定結果が反映された状態で、移動体Ｍｏである他車両Ｖｏの軌道が予測され、図５Ｅに示すように、移動体Ｍｏの実挙動Ｔｒにより近い予測挙動Ｔｐが得られる。

図６Ａは、図２に示す予測部６０の構成を示すブロック図である。詳細については後述するが、本実施形態の移動体挙動予測装置１００において、予測部６０は、第１のニューラルネットワーク（ＲＮＮ６１（１，…，Ｎ））と、第２のニューラルネットワーク（畳み込み層６４）と、第３のニューラルネットワーク（畳み込み層６６）と、空間埋め込み部６２（１，…，Ｎ）と、結合部（結合層６５）と、を備えている。第１のニューラルネットワークは、Ｎ（Ｎは正の整数）個の移動体Ｍｏ（１，…，Ｎ）の各々の将来位置をベクトル表現で予測する。第２のニューラルネットワークは、自車両Ｖｓの周囲の地形情報をテンソル表現で認識する。第３のニューラルネットワークは、地形情報と一つ以上の移動体Ｍｏの処理結果を組み合わせて処理する。空間埋め込み部６２（１，…，Ｎ）は、ベクトル表現である第１のニューラルネットワークの内部状態をテンソル表現である第２のニューラルネットワークの内部状態に次元が合うように変換し結合する。結合部は、移動体Ｍｏごとに空間埋め込み部６２（１，…，Ｎ）で変換された情報を集約して第２のニューラルネットワークの内部状態を結合する。予測部６０は、結合部で結合されたテンソル表現に第３のニューラルネットワークを適用して移動体Ｍｏ（１，…，Ｎ）の将来時刻ごとの将来位置を予測する。

より具体的には、予測部６０には、たとえば、Ｎ（Ｎは正の整数）個の移動体Ｍｏ（１，…，Ｎ）のそれぞれに対し、第１のニューラルネットワークであるリカレントニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）６１（１，…，Ｎ）と空間埋め込み部６２（１，…，Ｎ）とが設けられる。さらに、予測部６０は、Ｎ個の移動体Ｍｏ（１，…，Ｎ）に共通の総和層６３、畳み込み層６４，６６、および結合層６５を有している。これらはＮ個の移動体Ｍｏ（１，…，Ｎ）に対して一度だけ処理を行う。

予測部６０は、自車両Ｖｓの周辺の移動体Ｍｏ（１，…，Ｎ）ごとにＲＮＮ６１（１，…，Ｎ）による位置予測を行う。移動体Ｍｏ（１，…，Ｎ）は、認識部１０で認識されたＮ個の物体である。予測部６０は、各移動体Ｍｏ（１，…，Ｎ）のＲＮＮ６１（１，…，Ｎ）の中間状態を、空間埋め込み部６２（１，…，Ｎ）および総和層６３により集約し、自車両Ｖｓの周辺の道路状況および交通状況と結合し、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）によって、各移動体Ｍｏ（１，…，Ｎ）および道路情報との相互作用を考慮した挙動の予測を行う。ＲＮＮ６１（１，…，Ｎ）は、通常のＲＮＮでもよいし、ＧＲＵ（Gated Recurrent Unit）やＬＳＴＭ（Long-Short Term Memory）などのＲＮＮの派生系でもよい。

各ＲＮＮ６１（１，…，Ｎ）は、各移動体Ｍｏ（１，…，Ｎ）の現在時刻における位置データＰｃ（１，…，Ｎ）を入力として、各移動体Ｍｏ（１，…，Ｎ）の将来時刻における位置データＰｆ（１，…，Ｎ）を出力する。各移動体Ｍｏ（１，…，Ｎ）の現在時刻における位置データＰｃ（１，…，Ｎ）は、各移動体Ｍｏ（１，…，Ｎ）の車両座標系における相対的な位置情報である。各移動体Ｍｏ（１，…，Ｎ）の将来時刻における位置データＰｆ（１，…，Ｎ）は、各移動体Ｍｏ（１，…，Ｎ）の現時刻の車両座標系における将来時刻での相対位置である。これは、各移動体Ｍｏ（１，…，Ｎ）が、現在時刻から時刻ｔ０，ｔ１，…，ｔＴ後に、どの程度移動するかを示している。移動体Ｍｏ（１，…，Ｎ）の現在時刻における移動データおよび移動体Ｍｏ（１，…，Ｎ）の将来時刻における移動データは、各移動体Ｍｏ（１，…，Ｎ）の現在時刻における位置を基準とした車両座標系で計算される。

移動体Ｍｏ（１，…，Ｎ）の将来時刻における位置データＰｆ（１，…，Ｎ）は、各移動体Ｍｏ（１，…，Ｎ）の将来位置を、各移動体Ｍｏ（１，…，Ｎ）の過去の移動軌跡のみを用いて予測するものである。この位置データＰｆ（１，…，Ｎ）は、精度のよい予測情報とはならないため、各移動体Ｍｏ（１，…，Ｎ）の挙動予測の結果としては用いない。これら各移動体Ｍｏ（１，…，Ｎ）の将来時刻における位置データＰｆ（１，…，Ｎ）を結合層６５で地形情報と組み合わせることで、交通情報や移動体Ｍｏ（１，…，Ｎ）間の相互作用などの空間的な影響を考慮して将来時刻における挙動データＢｆを予測し、その予測された挙動データＢｆを、予測部６０における挙動予測の結果として用いる。

各移動体Ｍｏ（１，…，Ｎ）の将来時刻における位置データＰｆ（１，…，Ｎ）は、ＲＮＮ６１（１，…，Ｎ）をより簡易に学習するために用いることができる。ＲＮＮ６１（１，…，Ｎ）を学習する際には、各移動体Ｍｏ（１，…，Ｎ）の将来時刻における位置データＰｆ（１，…，Ｎ）から各移動体Ｍｏの将来時刻ｔ０，ｔ１，…，ｔＴにおける位置を教師情報として与えることができる。

ＲＮＮ６１（１，…，Ｎ）は、車両座標系における位置情報で移動体Ｍｏの状態遷移を認識し、将来位置を予測するため、グリッドマップで与えられるマップデータＭｄおよびマップデータＭｄにＣＮＮを適用して得られた特徴マップと直接組み合わせることが難しい。そこで、本実施形態では、空間埋め込み部６２（１，…，Ｎ）を用いて、車両座標系の表現であるＲＮＮ６１（１，…，Ｎ）の内部状態を、グリッドマップの表現である特徴マップに容易に結合できる形式に変換する。移動体Ｍｏ（１，…，Ｎ）ごとに得られた空間埋め込み部６２（１，…，Ｎ）の出力を総和層６３で総和演算により集約し、結合層６５でマップデータＭｄに畳み込み層６４を適用して得られた特徴マップと結合する。その後、ＣＮＮによる各移動体Ｍｏ（１，…，Ｎ）と道路情報の相互作用を考慮した予測を行う。

マップデータＭｄは、たとえば、自車両Ｖｓの周辺の道路情報が格納されたデータであるとともに、認識部１０による認識結果のうちセマンティックセグメンテーションで得られた各ピクセルのクラス情報を視差画像によって変換し、自車両Ｖｓの周囲の俯瞰画像とした移動体Ｍｏ（１，…，Ｎ）の情報を含む情報である。

畳み込み層６４の出力と総和層６３の出力との結合は、例えば、畳み込み層６４の出力結果のチャンネル方向に、総和層６３の出力を追加することで行われる。なお、総和層６３と結合層６５との間に畳み込み層などのニューラルネットワークを追加してもよい。

畳み込み層６６は、総和層６３の出力と畳み込み層６４の出力の結合結果に対してＣＮＮを適用し、将来時刻における挙動データＢｆを出力する。将来時刻における挙動データＢｆは、自車両Ｖｓの周辺の座標系上で将来時刻ｔ０，ｔ１，…，ｔＴにおける各座標に移動体Ｍｏ（１，…，Ｎ）が存在する確率を表す。将来時刻における挙動データＢｆの形式は、たとえば、マップデータＭｄの形式と同様の形式である。

畳み込み層６４，６６は、必ずしも１層である必要はなく、複数層であってもよいし、マップデータＭｄ、畳み込み層６４，６６および結合層６５は、将来時刻における挙動データＢｆを通して各中間状態および出力の幅と高さを一定に保ってもよいし、縮小または拡大を行ってもよい。本実施形態では、Ｎ個の移動体Ｍｏ（１，…，Ｎ）が存在する状況での構成を示したが、移動体Ｍｏの数は限定されず、１つ以上であればよい。

図６Ｂは、図６Ａに示す空間埋め込み部６２（１，…，Ｎ）の詳細を示すブロック図である。本実施形態の移動体挙動予測装置１００において、空間埋め込み部６２は、たとえば、ベクトル表現の情報から埋め込みに用いるクエリを生成するクエリ生成部６２ａと、ベクトル表現の情報から埋め込む情報を生成する埋め込み値生成部６２ｃと、テンソル表現の情報から埋め込みに用いるキーを生成するキー生成部６２ｂと、を備えている。空間埋め込み部６２は、上記のクエリ、埋め込む情報、およびキーから埋め込みテンソルを生成する。

より具体的には、空間埋め込み部６２は、たとえば、クエリ生成部６２ａと、キー生成部６２ｂと、埋め込み値生成部６２ｃと、埋め込み荷重決定部６２ｄと、埋め込み処理部６２ｅとによって構成される。空間埋め込み部６２は、埋め込む車両座標系の情報からクエリと埋め込み値を生成するとともに、埋め込み先である畳み込み層６４の出力からキーを生成し、クエリとキーが類似する領域に埋め込み値の値を大きく反映させる。これにより、より小さい次元の特徴量である車両座標系の情報を、より大きい次元の特徴量であるグリッドマップの特定の領域に埋め込むことができ、高精度な挙動予測が可能になる。

クエリ生成部は、ＲＮＮ６１の内部状態を入力として、クエリを生成する。これは、たとえば、全結合層や多層パーセプトロンによって、入力ベクトルを次元ｄ_ｒに変換することで行われる。また、クエリ生成部は、移動体Ｍｏの現在時刻における位置データＰｃを入力としてもよい。キー生成部は、畳み込み層６４の情報を用いてキーを生成する。ここでキーとはチャンネル数がクエリの次元ｄ_ｒと同じであり、高さおよび幅が畳み込み層６４の出力である特徴マップと同じである三次元テンソルである。この三次元テンソルは、空間符号化情報または空間符号化情報に畳み込み層６４の出力の特徴マップをチャンネル方向に結合したものに、ＣＮＮを適用することで得られる。ここで、空間符号化情報ＳＥｎｃは、以下の式で定義される。

ここで、ＳＥｎｃに付随する角括弧内の値は、それぞれ、チャンネル、高さ、幅方向のインデックスを表している。ａは、事前に与えられる定数である。このような空間符号化情報ＳＥｎｃによれば、チャンネル方向の情報により特徴マップ上の高さ、幅の位置情報を一意に求めることができる。また、連続する高さ、幅の位置では連続的な符号化情報が与えられる。これにより、キー生成部は高さと幅が畳み込み層６４の出力の特徴マップの高さと幅と同じであり、チャンネル方向に位置ごとにユニークな情報を持つ三次元テンソルであるキーマップを生成できる。

埋め込み値生成部６２ｃはＲＮＮ６１の内部状態から埋め込み値を生成する。この埋め込み値は、次元ｄ_ｓのベクトルであり、たとえばＲＮＮ６１の出力に単層もしくは多層の全結合層を適用することによって得ることができる。埋め込み荷重決定部６２ｄは、クエリ生成部６２ａおよびキー生成部６２ｂにおいてそれぞれ生成されたクエリおよびキーを用いて、埋め込み荷重を決定する。この埋め込み荷重は、畳み込み層６４の出力の特徴マップと同じ高さと幅を持つ二次元テンソルであり、その総和は１に正規化されている。これは、たとえば、キーマップとクエリから、キーマップの各高さと幅の座標でのキーとクエリの類似度を内積によって求め、空間方向にソフトマックス演算を行うことによって得ることができる。

その後、埋め込み処理部６２ｅにおいて、埋め込み値と埋め込み荷重からチャンネル方向の次元がｄ_ｓ、高さと幅が畳み込み層６４の出力の特徴マップと同じ三次元テンソルを生成する。これは、たとえば埋め込み値と埋め込み荷重のそれぞれを、埋め込み処理部６２ｅの出力と同じ次元になるようにブロードキャストし、要素積を取ることによって得ることができる。また、本実施形態では、埋め込み荷重が二次元テンソルである例について記載したが、クエリとキーマップを複数生成することで三次元テンソルに拡張してもよい。これら空間埋め込み部６２で行う処理はすべて微分可能であるため、誤差逆伝播により畳み込み層およびＲＮＮを同時に学習することができる。

図７は、本実施形態の移動体挙動予測装置１００の演算負荷または消費電力の時刻による変化の一例を示すグラフである。なお、図７において、直線Ｌ１は前記従来の車両環境推定装置の演算負荷または消費電力を示し、曲線Ｌ２は本実施形態の移動体挙動予測装置１００の演算負荷または消費電力を示している。図８Ａは、移動体挙動予測装置１００による予測領域ＰＡの推定が行われる状況を示す模式図である。図８Ｂは、移動体挙動予測装置１００による予測領域ＰＡの推定後の状況を示す模式図である。図８Ｃは、移動体挙動予測装置１００による新たな予測領域ＰＡの推定が行われる状況を示す模式図である。

本実施形態の移動体挙動予測装置１００において、限定部２０は、たとえば認識部１０によって移動体Ｍｏが認識されていない場合、予測領域ＰＡを設定しない。そのため、認識部１０によって移動体Ｍｏが認識されるまでの間は、移動体挙動予測装置１００の演算負荷または消費電力は、図７の曲線Ｌ２に示すように、比較的に低い値に維持される。

図１０は、前記従来の車両環境推定装置９００による死角領域ＢＡの一例を示す模式図である。前記従来の車両環境推定装置９００は、移動体Ｍｏの有無に関係なく、死角領域ＢＡの全域で未検出障害物の存否を演算する。そのため、図７において直線Ｌ１で示す従来の車両環境推定装置９００による演算負荷または消費電力は、常に本実施形態の移動体挙動予測装置１００の演算負荷または消費電力よりも高くなる。

その後、移動体挙動予測装置１００は、たとえば図８Ａに示すように、認識部１０によって自車両Ｖｓの周囲の移動体Ｍｏおよび静止体Ｓｏを認識すると、限定部２０によって予測領域ＰＡ（図５Ｂ参照）が設定され、推定部４０によって予測領域ＰＡに移動体Ｍｏまたは静止体Ｓｏの存在が推定される。これにより、図７の曲線Ｌ２に示すように、移動体挙動予測装置１００の演算負荷または消費電力は、一時的に高くなる。

しかし、本実施形態の移動体挙動予測装置１００において、限定部２０は、前述のように、認識部１０によって移動体Ｍｏおよび静止体Ｓｏを直接的に認識することができない死角領域ＢＡに、その死角領域ＢＡよりも狭い予測領域ＰＡを設定する。そのため、図１０に示す従来の車両環境推定装置９００のように、死角領域ＢＡの全域で未検出障害物の存否を演算する場合と比較して、演算負荷または消費電力を抑制することができる。

この本実施形態の移動体挙動予測装置１００における演算負荷または消費電力の抑制効果は、前述の限定部２０による予測領域ＰＡの設定方法のいずれか一つ、または、いずれか二以上の組み合わせによって得ることができる。なお、二以上の予測領域ＰＡの設定方法は、安全性と演算負荷または消費電力の抑制効果とのバランスにより、状況に応じて適宜組み合わせることが可能である。

また、移動体挙動予測装置１００において、限定部２０が前時刻において予測領域ＰＡが設定されていない領域に予測領域ＰＡを設定する場合を想定する。この場合、最初に認識部１０によって自車両Ｖｓの周囲の移動体Ｍｏおよび静止体Ｓｏが認識され、限定部２０によって予測領域ＰＡが設定された後は、自車両Ｖｓの周囲の移動体Ｍｏの状況が変化するまでの間、図７の曲線Ｌ２に示すように、移動体挙動予測装置１００の演算負荷または消費電力は、比較的に低い値に維持される。

その後、図８Ｂに示すように自車両Ｖｓおよび他車両Ｖｏが前進して、自車両Ｖｓの周囲の移動体Ｍｏの状況が変化すると、移動体挙動予測装置１００は、限定部２０によって前時刻において予測領域ＰＡが設定されていない領域に予測領域ＰＡを設定する。また、限定部２０は、修正部５０によって修正された認識部１０の認識結果と認識部１０によって認識された自車両Ｖｓの移動量とに基づいて、死角領域ＢＡの状態を推定する。

これにより、図７の曲線Ｌ２に示すように、移動体挙動予測装置１００の演算負荷または消費電力が再び増加する。しかし、限定部２０が前時刻において予測領域ＰＡが設定されていない領域に予測領域ＰＡを設定することで、最初に予測領域ＰＡを設定するときよりも、移動体挙動予測装置１００の演算負荷または消費電力の増加が抑制される。

さらに、図８Ｃに示すように自車両Ｖｓおよび他車両Ｖｏが前進して、自車両Ｖｓの周囲の移動体Ｍｏの状況が変化しても、移動体挙動予測装置１００は、限定部２０によって前時刻において予測領域ＰＡが設定されている領域には、予測領域ＰＡを設定しない。これにより、図７に曲線Ｌ２で示すように、移動体挙動予測装置１００の演算負荷または消費電力が減少する。したがって、移動体挙動予測装置１００の演算負荷または消費電力の増加を抑制することができる。

これに対し、従来の車両環境推定装置９００の演算負荷または消費電力は、図７に直線Ｌ１で示すように、本実施形態の移動体挙動予測装置１００の演算負荷または消費電力よりも高いおおむね一定の値である。このように、本実施形態の移動体挙動予測装置１００の演算負荷または消費電力が従来の車両環境推定装置９００の演算負荷または消費電力よりも低下するのは、本実施形態の移動体挙動予測装置１００が死角領域ＢＡよりも狭い予測領域ＰＡを設定する限定部２０を有しているためである。

以上説明したように、本実施形態によれば、従来よりも演算負荷を抑制しつつ、自車両Ｖｓから直接的に認識できない死角領域ＢＡの移動体Ｍｏまたは静止体Ｓｏの存在を予測し、その予測された移動体Ｍｏまたは静止体Ｓｏの存在に基づく他の移動体Ｍｏの挙動を予測することが可能な移動体挙動予測装置１００を提供することができる。

なお、本開示に係る移動体挙動予測装置１００は、前述の実施形態に限定されない。以下、前述の実施形態に係る移動体挙動予測装置１００の変形例について説明する。

図９は、前述の実施形態に係る移動体挙動予測装置１００の構成の変形例を示すブロック図である。本変形例に係る移動体挙動予測装置１００Ａは、追従判定部７０と軌道計画部８０とを備える点で、図２に示す前述の実施形態に係る移動体挙動予測装置１００と異なっている。本変形例に係る移動体挙動予測装置１００Ａのその他の構成は、前述の実施形態に係る移動体挙動予測装置１００と同様であるので、同一の部分には同一の符号を付して説明を省略する。

本変形例に係る移動体挙動予測装置１００Ａは、認識部１０と、限定部２０と、評価部３０と、推定部４０と、修正部５０と、予測部６０と、追従判定部７０と、軌道計画部８０と、を備える。追従判定部７０は、たとえば、ＥＣＵ４によって構成され、評価部３０によって算出された誤差がしきい値以上である場合に、自車両Ｖｓが先行する他車両Ｖｏである移動体Ｍｏに追従することを決定する。軌道計画部８０は、追従判定部７０によって先行車両に追従する決定が行われた場合に、自車両Ｖｓを先行する他車両Ｖｏに追従させる。また、軌道計画部８０は、追従判定部７０によって先行車両に追従する決定が行われなかった場合に、予測部６０の予測結果に基づいて自車両Ｖｓの目標軌道を決定する。

本変形例に係る移動体挙動予測装置１００Ａによれば、たとえば、自車両Ｖｓの前方を走行する他車両Ｖｏが、評価部３０によって算出される誤差がしきい値以上となるような急な進路変更を行った場合に、自車両Ｖｓを他車両Ｖｏに追従させて危険を回避することができる。また、自車両Ｖｓの前方を走行する他車両Ｖｏが、評価部３０によって算出される誤差がしきい値よりも小さくなるような通常の進路変更を行った場合に、軌道計画部８０によって生成された目標軌道で自車両Ｖｓを走行させることができる。

以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。

２地図情報
１０認識部
２０限定部
３０評価部
４０推定部
５０修正部
６０予測部
６１ＲＮＮ（第１のニューラルネットワーク）
６２空間埋め込み部
６２ａクエリ生成部
６２ｃ埋め込み値生成部
６２ｂキー生成部
６４畳み込み層（第２のニューラルネットワーク）
６５結合層（結合部）
６６畳み込み層（第３のニューラルネットワーク）
７０追従判定部
８０軌道計画部
１００移動体挙動予測装置
１００Ａ移動体挙動予測装置
ＢＡ死角領域
ＰＡ予測領域
Ｍｏ移動体
Ｓｏ静止体
Ｔｐ予測挙動
Ｔｒ実挙動
Ｖｓ自車両

Claims

自車両の周囲の移動体および静止体を認識する認識部と、
前記認識部によって前記移動体および前記静止体を直接的に認識することができない死角領域に該死角領域よりも狭い予測領域を設定する限定部と、
前記移動体の予測挙動と実挙動との誤差を算出する評価部と、
前記誤差を減少させるように前記予測領域に前記移動体または前記静止体の存在を推定する推定部と、
前記推定部の推定結果に基づいて前記認識部の認識結果を修正する修正部と、
前記修正部によって修正された前記認識部の認識結果に基づいて前記移動体の挙動を予測する予測部と、
を備えることを特徴とする移動体挙動予測装置。
前記限定部は、前記移動体によって他の移動体または静止体を認識可能な範囲に前記予測領域を設定することを特徴とする請求項１に記載の移動体挙動予測装置。
前記限定部は、前記予測領域が設定されていない領域に前記予測領域を設定することを特徴とする請求項１または請求項２に記載の移動体挙動予測装置。
前記限定部は、前記移動体の挙動に影響を及ぼす可能性のある該移動体の近傍の領域に前記予測領域を設定することを特徴とする請求項１から請求項３のいずれか一項に記載の移動体挙動予測装置。
前記限定部は、前記自車両の周囲の地図情報に基づいて前記移動体の挙動に影響を及ぼす範囲に前記予測領域を設定することを特徴とする請求項１から請求項４のいずれか一項に記載の移動体挙動予測装置。
前記限定部は、前記修正部によって修正された前記認識部の認識結果と前記認識部によって認識された前記自車両の移動量とに基づいて前記死角領域の状態を推定することを特徴とする請求項１から請求項５のいずれか一項に記載の移動体挙動予測装置。
前記限定部は、前記認識部によって前記移動体が認識されていない場合、前記予測領域を設定しないことを特徴とする請求項１に記載の移動体挙動予測装置。
前記推定部は、前記予測部において微分可能な関数で記述された情報に基づいて勾配降下法により前記誤差を減少させることを特徴とする請求項１に記載の移動体挙動予測装置。
前記評価部によって算出された前記誤差がしきい値以上である場合に先行車両である前記移動体に追従することを決定する追従判定部と、
前記追従判定部によって前記先行車両に追従する決定が行われた場合に前記自車両を前記先行車両に追従させ、前記追従判定部によって前記先行車両に追従する決定が行われなかった場合に前記予測部の予測結果に基づいて前記自車両の目標軌道を決定する軌道計画部と、を備えることを特徴とする請求項１に記載の移動体挙動予測装置。
前記予測部は、
各々の前記移動体の将来位置をベクトル表現で予測する第１のニューラルネットワークと、
前記自車両の周囲の地形情報をテンソル表現で認識する第２のニューラルネットワークと、
前記地形情報と一つ以上の前記移動体の処理結果を組み合わせて処理する第３のニューラルネットワークと、
前記第１のニューラルネットワークの内部状態を前記第２のニューラルネットワークの内部状態に次元が合うように変換し結合する空間埋め込み部と、
前記移動体ごとに前記空間埋め込み部で変換された情報を集約して前記第２のニューラルネットワークの内部状態を結合する結合部と、を備え、
前記結合部で結合されたテンソル表現に前記第３のニューラルネットワークを適用して前記移動体の将来時刻ごとの将来位置を予測することを特徴とする請求項１に記載の移動体挙動予測装置。
前記空間埋め込み部は、
前記ベクトル表現の情報から埋め込みに用いるクエリを生成するクエリ生成部と、
前記ベクトル表現の情報から埋め込む情報を生成する埋め込み値生成部と、
前記テンソル表現の情報から埋め込みに用いるキーを生成するキー生成部と、を備え、
前記クエリ、前記埋め込む情報、および前記キーから埋め込みテンソルを生成することを特徴とする請求項１０に記載の移動体挙動予測装置。