JP7143538B2 - 運転支援装置および運転支援方法 - Google Patents

Description

この発明は、運転支援装置および運転支援方法に関するものである。

従来、移動体の運転者による運転を支援するための情報を出力する運転支援装置が知られている。
例えば、特許文献１には、運転者の運転行動から、運転者の環境に対する認知状態がスキルベースの状態であるか知識－ルールベースの状態であるかを判定し、車両が走行する環境と、判定した認知状態とによって、運転者に提供する情報を決定する運転支援装置が開示されている。

特開２００５－４４１４号公報

一般的に、移動体が走行する環境は無数に考えられる。
これに対し、特許文献１に開示されているような従来技術は、車両が走行する環境が無数に考えられることが考慮されておらず、予め設定されたルールに基づいて情報を提供する。そのため、従来技術では、情報を提供するために設定できるルールに限界があり、無数の環境に対応した情報を提供することができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、無数の環境に応じた、運転支援のための情報を出力することができる運転支援装置を提供することを目的とする。

この発明に係る運転支援装置は、移動体の周辺の環境に関する環境情報を取得する環境情報取得部と、移動体の運転者の行動に関する行動情報を取得する行動情報取得部と、環境情報取得部が取得した環境情報と、環境情報を入力とし移動体の自動運転制御を行うための制御情報を出力する機械学習モデルとに基づき、制御情報を得る演算部と、環境情報取得部が取得した環境情報と、演算部が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部と、行動情報取得部が取得した行動情報と、環境情報取得部が取得した環境情報とに基づき、移動体の周辺の環境における運転者の認知領域を示す認知情報を算出する認知情報算出部と、寄与情報判定部が判定した寄与情報と、認知情報算出部が算出した認知情報とに基づき、運転者によって認知されていないと推定される未認知寄与情報を特定する特定部と、特定部が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部とを備えたものである。

この発明によれば、無数の環境に応じた、運転支援のための情報を出力することができる。

実施の形態１に係る運転支援装置の構成例を示す図である。 実施の形態１において、環境情報取得部が取得する、画像で表現された環境情報の一例のイメージを示す図である。 実施の形態１において、寄与情報判定部が生成した寄与情報画像の一例のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像の一例のイメージを説明するための図であって、図４Ａは、運転者が前を向いている状態を示す図であり、図４Ｂは、認知情報算出部が生成した認知情報画像のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像のその他の一例のイメージを説明するための図であって、図５Ａは、運転者が左前を見てから右前を見た状態を示す図であり、図５Ｂは、認知情報算出部が生成した認知情報画像のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像のその他の一例のイメージを説明するための図であって、図６Ａは、運転者が左前を見てから右前を見た後に、右のサイドミラーを見た状態を示す図であり、図６Ｂは、認知情報算出部が生成した認知情報画像のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像のその他の一例のイメージを説明するための図である。 実施の形態１において、情報出力制御部が画像形式で出力した運転支援情報の一例のイメージを説明するための図である。 実施の形態１に係る運転支援装置の動作を説明するためのフローチャートである。 図１０Ａ，図１０Ｂは、実施の形態１に係る運転支援装置のハードウェア構成の一例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る運転支援装置１の構成例を示す図である。
運転支援装置１は、図１に示すように、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、情報出力制御部１７、および、機械学習モデル１８を備える。

実施の形態１において、運転支援装置１は、車両に搭載され、当該車両の運転者による運転を支援するための情報（以下「運転支援情報」という。）を出力する。なお、運転支援装置１が運転を支援する車両は、自動運転機能を有することを前提とする。車両が自動運転機能を有する場合であっても、運転者が、当該自動運転機能を実行せず、自ら車両を運転することができる。運転支援装置１は、自動運転が可能な車両において、運転者が自ら運転を行っている場合に、運転支援情報を出力する。運転支援情報は、具体的には、運転者に対して、車両周辺の環境において、運転者によって認知されていないと推定される領域を知らせるための情報である。

運転支援装置１は、車両周辺の環境に関する環境情報と、機械学習済みのモデル（以下「機械学習モデル」という。）１８とに基づいて、運転支援情報の出力を制御する。機械学習モデル１８は、機械学習における学習済みのモデルである。具体的には、機械学習モデル１８は、環境情報が入力されると、車両の自動運転制御を行うための制御情報を出力するように、予め機械学習が行われたモデルである。車両の自動運転制御を行うための制御情報とは、例えば、操舵角の制御量に関する情報、アクセルの制御量に関する情報、または、ブレーキの制御量に関する情報である。車両の自動運転制御を行うための制御情報は、車両の自動運転制御に必要な種々の自動運転制御量に関する情報を含む。
機械学習モデル１８は、例えば、ニューラルネットワークにより構成される。機械学習モデル１８は、予め、強化学習によって生成されている。

実施の形態１において、車両周辺の環境とは、自車両をとりまく環境である。自車両をとりまく環境とは、他車両の位置または歩行者の有無等、自車両をとりまく環境の状態をいう。実施の形態１では、自車両の位置等、自車両の状態も、自車両をとりまく環境の状態に含まれるものとする。

環境情報取得部１１は、車両周辺の環境に関する環境情報を取得する。
環境情報は、例えば、自車両に関する自車情報、他車両に関する他車情報、歩行者に関する歩行者情報、道路に関する道路情報、または、障害物に関する障害物情報を含む。
自車情報は、自車両の車速、自車両の加速度、自車両の位置、自車両の形状、または、自車両が走行している走行車線に関する情報等を含む。
他車情報は、他車両の位置、他車両の車速、他車両の形状、または、他車両が走行している走行車線に関する情報等を含む。
歩行者情報は、歩行者の位置、歩行者が歩く速度、または、歩行者の形状に関する情報等を含む。
道路情報は、車線、道路種別、道路形状、信号、標識、または、道路上の表示に関する情報等を含む。
障害物情報には、障害物の位置、障害物の移動速度、または、障害物の形状に関する情報等を含む。

なお、上述した環境情報は一例に過ぎず、環境情報には、自車両をとりまく環境に関するあらゆる情報が含まれ得る。例えば、環境情報には、天候に関する情報が含まれるようになっていてもよいし、環境情報には、交通渋滞に関する情報が含まれるようになっていてもよい。

環境情報取得部１１は、環境情報取得用装置（図示省略）から得た情報（以下「環境情報取得用情報」という。）から、特徴量を抽出して、環境情報を生成する。特徴量は、上述したような、環境情報に含まれる情報の種別に応じて分類される。例えば、環境情報取得部１１は、他車両の位置に応じた特徴量を抽出して、環境情報を生成する。以下の実施の形態１において、環境情報に含まれる情報の種別毎の、当該種別に応じた特徴量を、「種別特徴量」ともいうものとする。

環境情報取得用装置は、例えば、撮像装置（図示省略）である。撮像装置は、車両に搭載され、車両の前方を撮像する。環境情報取得部１１は、環境情報取得用情報として、撮像装置から、当該撮像装置が撮像した撮像画像を取得する。環境情報取得部１１は、撮像画像から種別特徴量を抽出して、環境情報を生成する。
具体的には、環境情報取得部１１は、例えば、撮像装置が撮像した撮像画像から、自車両の位置、自車両の速度、他車両の位置、他車両の速度、または、歩行者の位置等に応じた特徴量を抽出する。環境情報取得部１１は、抽出した特徴量が反映された画像を生成する。環境情報取得部１１が生成した画像を、環境情報とする。このように、環境情報取得部１１は、例えば、画像で表現された環境情報を取得する。

ここで、図２は、実施の形態１において、環境情報取得部１１が取得する、画像で表現された環境情報の一例のイメージを示す図である。なお、図２において、図の上側を、自車両の進行方向としている。
図２では、環境情報取得部１１が、他車両に応じた種別特徴量と、自車両に応じた種別特徴量と、歩行者に応じた種別特徴量と、信号を示す種別特徴量とを抽出し、抽出した各種別特徴量を画像で表現するものとした環境情報を示している。以下、環境情報を表現した画像を、「環境情報画像」ともいう。
図２に示すように、環境情報画像は、自車両周辺の環境を抽象化した画像である。図２では、環境情報画像は俯瞰図としている。

実施の形態１では、一例として、環境情報取得部１１は、上述のとおり、撮像装置が撮像した撮像画像に基づいて種別特徴量を抽出し、環境情報として環境情報画像を取得するものとするが、これは一例に過ぎない。
例えば、環境情報取得用装置は、距離画像センサ（図示省略）であってもよい。距離画像センサは、車両に搭載され、車両の前方の物体までの距離画像を取得する。環境情報取得部１１は、距離画像から種別特徴量を抽出して、環境情報を取得してもよい。
また、例えば、環境情報取得用装置は、レーダ装置（図示省略）であってもよい。レーダ装置は、車両に搭載され、車両の前方の物体を検出する。環境情報取得部１１は、検出された物体に関する情報から種別特徴量を抽出して、環境情報を取得してもよい。

また、環境情報は画像に限らず、例えば、ベクトルとしてもよい。環境情報取得部１１は、例えば、撮像装置が撮像した撮像画像に基づき、自車両の位置または他車両の位置等に応じた種別特徴量を示すベクトルを抽出し、当該ベクトルの情報に基づいて環境情報を取得してもよい。このように、環境情報取得部１１は、数値であらわされる情報として環境情報を取得するものとしてもよい。

また、実施の形態１では、環境情報取得部１１は、環境情報取得用装置から得られた環境情報取得用情報に基づき、種別特徴量を抽出した上で環境情報を取得するものとするが、これは一例に過ぎない。環境情報取得部１１は、例えば、環境情報取得用装置から得られた環境情報取得用情報をそのまま環境情報としてもよい。

環境情報取得部１１は、取得した環境情報を、演算部１３、寄与情報判定部１４、および、認知情報算出部１５に出力する。

行動情報取得部１２は、運転者の行動に関する行動情報を取得する。
実施の形態１において、運転者の行動とは、運転者の行動全般を含む。運転者の行動に関する情報とは、例えば、運転者の視線の向きに関する情報、運転者の顔向きに関する情報、運転者の開眼度、または、運転者の集中度を含む。
行動情報取得部１２は、上記環境情報取得用装置から得た情報に基づいて、行動情報を取得する。実施の形態１では、行動情報取得部１２は、撮像装置から得た撮像画像に基づいて、行動情報を取得する。行動情報取得部１２は、例えば、既存の画像処理技術を用いて、行動情報を取得すればよい。
行動情報取得部１２は、取得した行動情報を、認知情報算出部１５に出力する。

演算部１３は、環境情報取得部１１が取得した環境情報と機械学習モデル１８とに基づき、車両の自動運転制御を行うための制御情報を得る。
具体的には、演算部１３は、環境情報取得部１１が取得した環境情報、言い換えれば、環境情報画像を機械学習モデル１８に入力して、上記制御情報を得る。
演算部１３は、得た制御情報を、寄与情報判定部１４に出力する。
なお、演算部１３が得る制御情報は、運転支援情報の出力制御を行うために用いられるものになっていればよく、実際に自車両の自動運転制御を行う際に当該自動運転制御にて用いられるものになっていなくてよい。

寄与情報判定部１４は、環境情報取得部１１が取得した環境情報と、演算部１３が得た制御情報とに基づき、制御情報への寄与度が高い寄与情報を判定する。具体的には、寄与情報判定部１４は、環境情報取得部１１が取得した環境情報に基づき、当該環境情報に反映されている種別特徴量の、制御情報への寄与度を算出する。そして、寄与情報判定部１４は、環境情報に反映されている種別特徴量のうち、演算部１３が得た制御情報への寄与度が高い種別特徴量を、寄与情報と判定する。

例えば、寄与情報判定部１４は、機械学習モデル１８に関し、演算結果に対する入力の寄与度を算出する既存の技術を用いて寄与度を算出し、算出した寄与度に基づき寄与情報を判定すればよい。また、寄与情報判定部１４は、例えば、環境情報取得部１１が取得した環境情報において、種別特徴量を微小に変化させた環境情報（以下「寄与度判定用環境情報」という。）を生成し、環境情報と寄与度判定用環境情報とをそれぞれ機械学習モデル１８に入力して演算結果、言い換えれば、制御情報を得て、寄与度を算出するようにしてもよい。寄与情報判定部１４は、種別特徴量毎に寄与度判定用環境情報を生成する。寄与情報判定部１４は、環境情報を入力として得られた制御情報と、寄与度判定用環境情報を入力して得られた制御情報とを比較し、予め設定された値以上の差がある場合、寄与度判定用環境情報において微小に変化させた種別特徴量は制御情報に与える影響が大きいと判定し、当該種別特徴量の寄与度は「高い」とする。寄与情報判定部１４は、寄与度が「高い」とした種別特徴量を、寄与情報と判定する。

例えば、環境情報が図２に示すような環境情報画像であった場合、寄与情報判定部１４は、環境情報画像において、複数の他車両を示す種別特徴量、自車両を示す種別特徴量、または、複数の歩行者を示す種別特徴量毎に、寄与度を算出する。そして、寄与情報判定部１４は、算出した寄与度が高い種別特徴量を、寄与情報と判定する。
なお、寄与情報判定部１４が、寄与度がどれぐらいであった場合に、当該寄与度が高いと判定するかは、予め決められているものとする。

寄与情報判定部１４が判定する寄与情報は、例えば、種別特徴量が「寄与情報である」または「寄与情報ではない」の２値で判定されるものであってもよいし、種別特徴量が制御情報の演算に寄与する寄与度をあらわす数値で判定されるものであってもよい。

寄与情報判定部１４は、寄与情報をあらわす情報（以下「寄与度算出後情報」という。）を生成する。なお、実施の形態１では、寄与情報判定部１４は、寄与度算出後情報を、環境情報の表現形式とあわせるようにする。ここでは、環境情報は、画像として生成されるものとしているので、寄与情報判定部１４は、寄与度算出後情報を画像であらわすものとする。寄与情報判定部１４は、寄与情報を環境情報画像上の領域で示した画像（以下「寄与情報画像」という。）を生成する。具体的には、寄与情報判定部１４は、環境情報画像における種別特徴量のうち、寄与情報である種別特徴量をあらわす領域の明度を、当該寄与情報である種別特徴量以外の領域の明度とは異ならせた画像を、寄与情報画像として生成する。

ここで、図３は、実施の形態１において、寄与情報判定部１４が生成した寄与情報画像の一例のイメージを示す図である。
図３に示す寄与情報画像は、環境情報が図２に示す環境情報画像であった場合に、寄与情報判定部１４が当該環境情報画像と、演算部１３が得た制御情報とに基づき、寄与情報を判定して生成した寄与情報画像としている。
図３に示す寄与情報画像は、寄与情報判定部１４が、環境情報画像における種別特徴量のうち、自車両の進行方向に存在する信号を示す種別特徴量（図３の３０１参照）、自車両の進行方向に存在する歩行者を示す種別特徴量（図３の３０２参照）、および、交差点に差し掛かっている対向車を示す種別特徴量（図３の３０３参照）を、制御情報への寄与度が高い寄与情報であると判定したことをあらわしている。なお、図３の３０２で示している種別特徴量は、自車両の進行方向に対して前方にいる２人の歩行者をそれぞれ示す種別特徴量と、自車両の進行方向に対して左側にいる１人の歩行者を示す特徴量を含んでいる。
図３に示すように、寄与情報画像において、自車両の進行方向に存在する信号を示す種別特徴量が抽出された領域、自車両の進行方向に存在する歩行者を示す種別特徴量が抽出された領域、および、交差点に差し掛かっている対向車を示す種別特徴量が抽出された領域の明度は高く、これらの領域以外の領域の明度は低くなっている。図３において、寄与情報判定部１４は、明度が高い領域を白色、明度の低い領域を黒色としている。
このように、寄与情報判定部１４は、環境情報取得部１１が取得した環境情報が画像である場合、当該画像において、演算部１３が得た制御情報への寄与度が高い寄与情報を、画像上の領域であらわす。

なお、実施の形態１では、寄与情報判定部１４は、寄与度算出後情報を画像で表現するものとし、寄与情報は画像上の領域であらわされるものとしたが、これは一例に過ぎない。寄与情報判定部１４は、寄与情報を任意の表現形式で表現した情報を生成することができる。ただし、環境情報が環境情報画像で表現される場合、寄与情報判定部１４は、環境情報と表現形式をあわせて、寄与度算出後情報を寄与情報画像で表現するものとし、寄与情報を画像上の領域であらわされるものとしたほうが、寄与情報を画像上の領域以外の情報であらわされるものとする場合と比べ、運転支援装置１において、寄与情報と認知情報との差分がとりやすい。寄与情報と認知情報との差分の算出は、特定部１６が行う。特定部１６の詳細については、後述する。
寄与情報判定部１４は、生成した寄与情報画像を、特定部１６に出力する。

認知情報算出部１５は、環境情報取得部１１が取得した環境情報と、行動情報取得部１２が取得した行動情報とに基づき、自車両周辺の環境における運転者の認知領域を示す情報（以下「認知情報」という。）を算出する。
認知情報算出部１５は、認知情報をあらわす情報（以下「認知判定後情報」という。）を生成する。
実施の形態１では、認知情報算出部１５は、認知判定後情報を、環境情報の形態とあわせるようにする。ここでは、環境情報は、画像として生成されるものとしているので、認知情報算出部１５は、認知判定後情報を画像であらわすものとする。認知情報算出部１５は、認知情報を環境情報画像上の領域で示した画像（以下「認知情報画像」という。）を生成する。認知情報算出部１５は、環境情報画像上で、認知情報を示す領域の明度を、当該認知情報を示す領域以外の領域の明度とは異ならせた認知情報画像を生成する。認知情報算出部１５は、例えば、認知情報画像において、認知情報を示す領域を白色、認知情報を示す領域以外の領域を黒色であらわす。

認知情報算出部１５が生成した認知情報画像の一例のイメージについて、図面を用いて説明する。
図４～図６は、実施の形態１において、認知情報算出部１５が、環境情報と行動情報とに基づき生成した認知情報画像の一例のイメージを説明するための図である。なお、図４～図６において、図の上側を、自車両の進行方向としている。また、図４～図６では、認知情報算出部１５は、認知情報画像において、認知情報を示す領域とともに、自車両を示す領域も示すものとしている。図４～図６において、自車両を示す領域はグレーであらわされている。
図４は、運転者が前を向いている状態である場合（図４Ａ参照）に、認知情報算出部１５が生成した認知情報画像（図４Ｂ参照）のイメージを示している。図４Ｂにおいて、認知情報画像上で認知情報を示す領域は、４０１で示されている。
認知情報算出部１５は、行動情報に含まれている、運転者の視線方向から、運転者が前を向いていることを判定すればよい。
図４Ｂに示すように、認知情報画像は、自車両および認知情報を抽象化した画像である。図４Ｂでは、認知情報画像は俯瞰図としている。

認知情報算出部１５は、算出した認知情報を時系列に重ね合わせて、当該認知情報を表現してもよい。認知情報算出部１５は、認知情報を算出する都度、記憶部（図示省略）に認知情報を記憶させておくようにし、時系列の認知情報を記憶部から取得すればよい。この場合、認知情報算出部１５は、例えば、時系列の認知情報を、運転者が認知している度合い（以下「認知度」という。）に応じて、色の濃淡で表現してもよい。
図５は、運転者が左前を見てから右前を見た状態である場合（図５Ａ参照）に、認知情報算出部１５が生成した認知情報画像（図５Ｂ参照）のイメージを示している。図５Ｂにおいて、認知情報画像上で認知情報を示す領域は、５０１で示されている。
図５Ｂでは、認知情報算出部１５は、より直近に運転者が見た領域ほど運転者の認知度は高く、より過去に運転者が見た領域ほど運転者の認知度は低いと判定している。具体的には、認知情報算出部１５は、認知情報画像において、運転者が右前を見た際の認知情報を示す領域を、運転者が左前を見た際の認知情報を示す領域よりも明度を上げて表現するようにしている。

また、認知情報算出部１５は、自車両に設置されているミラーまたは撮像装置等を考慮して認知情報を表現してもよい。
図６は、運転者が左前を見てから右前を見た後に、右のサイドミラーを見た状態である場合（図６Ａ参照）に、認知情報算出部１５が生成した認知情報画像（図６Ｂ参照）のイメージを示している。図６Ｂにおいて、認知情報画像上で認知情報を示す領域は、６０１で示されている。
図６Ｂでは、認知情報算出部１５は、運転者が左前を見た際の認知情報を示す領域、および、運転者が右前を見た際の認知情報を示す領域に加え、運転者が右のサイドミラーを見た際の認知情報を示す領域を、認知情報画像上で明度を上げて表現するようにしている。なお、認知情報算出部１５は、運転者が右のサイドミラーを見たことを、環境情報に含まれている運転者の視線方向、および、右のサイドミラーの設置位置の情報に基づいて判定すればよい。右のサイドミラーの設置位置の情報は、例えば、自車情報として、環境情報に含まれている。運転者が右のサイドミラーを見たとき、認知情報算出部１５は、自車両の、進行方向に対して右後方の領域を、認知情報として算出する。
認知情報算出部１５は、運転者が左前を見た際の認知情報を示す領域、運転者が右前を見た際の認知情報を示す領域、運転者が右のサイドミラーを見た際の認知情報を示す領域の順で、領域の明度を上げるようにする。
認知情報算出部１５は、生成した認知判定後情報を、特定部１６に出力する。ここでは、認知情報算出部１５は、生成した認知情報画像を、特定部１６に出力する。

なお、実施の形態１では、認知情報算出部１５は、認知判定後情報を画像で表現し、認知情報は、画像上の領域であらわされるものとしたが、これは一例に過ぎない。認知情報算出部１５は、認知情報を任意の表現形式で表現した情報を生成するようにすることができる。ただし、環境情報および寄与情報が画像で表現される場合、認知情報算出部１５は、環境情報および寄与情報とあわせて、認知判定後情報を認知情報画像で表現するようにし、認知情報を画像上の領域であらわすようにしたほうが、認知情報を画像上の領域以外の情報であわらされるものとする場合と比べ、運転支援装置１において、寄与情報と認知情報との差分がとりやすい。寄与情報と認知情報との差分の算出は、特定部１６が行う。特定部１６の詳細については、後述する。

特定部１６は、寄与情報判定部１４が判定した寄与情報と、認知情報算出部１５が算出した認知情報とに基づき、運転者によって認知されていないと推定される寄与情報（以下「未認知寄与情報」という。）を特定する。
特定部１６は、寄与情報と認知情報とを比較し、未認知寄与情報を特定する。
実施の形態１では、特定部１６は、寄与情報判定部１４が生成した寄与情報画像と、認知情報算出部１５が生成した認知情報画像とを比較した結果生じる差異または過不足によって、未認知寄与情報を特定する。具体的には、特定部１６は、例えば、寄与情報画像と認知情報画像とを比較し、寄与情報画像において、認知情報画像上で認知情報をあらわす領域と重複していない領域であらわされている寄与情報を、差分として抽出する。特定部１６は、差分として抽出した寄与情報を、未認知寄与情報と特定する。

特定部１６が未認知寄与情報を特定する一連の処理について、図面を用いて、具体例を挙げて説明する。以下の具体例では、寄与情報画像は図３に示すような画像であるものとする。また、認知情報画像は、図７に示すような画像であるものとする。図７において、図の上側を、自車両の進行方向としている。なお、図７に示す認知情報画像は、運転者の認知領域が、運転者のやや右斜め前の領域であることを示している。すなわち、図７に示す認知情報画像は、運転者は、進行方向に対してやや右斜め前の領域を認知していることを示している。

特定部１６は、図７に示す認知情報画像と図３に示す寄与情報画像とを比較し、運転者によって認定されていないと推定される領域を特定する。
ここでは、図３に示す寄与情報画像上の、寄与情報を示す領域のうち、自車両の進行方向に対して左側にいる歩行者を示す領域が、図７に示す認知情報画像上の、認知情報を示す領域とは重複していない。よって、特定部１６は、寄与情報画像において、自車両の進行方向に対して左側にいる歩行者を示す寄与情報を、未認知寄与情報と特定する。
特定部１６は、特定した未認知寄与情報を、情報出力制御部１７に出力する。

情報出力制御部１７は、特定部１６が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する。
実施の形態１において、情報出力制御部１７は、例えば、運転支援情報を、画像形式で出力する。

図８は、実施の形態１において、情報出力制御部１７が画像形式で出力した運転支援情報の一例のイメージを説明するための図である。
図８は、寄与情報画像を図３に示すような画像とし、認知情報画像を図７に示すような画像として、特定部１６が自車両の進行方向に対して左側にいる歩行者を示す寄与情報を未認知寄与情報と特定した場合に、情報出力制御部１７が出力する、画像としての運転支援情報を示している。
図８に示す画像において、自車両の進行方向に対して左側にいる歩行者を示す領域が、当該領域以外の領域とは異なる明度であらわされている。

情報出力制御部１７が出力する運転支援情報は、例えば、車両を運転中の運転者に対して警報を出力するアプリケーションにて用いられる。具体的には、例えば、情報出力制御部１７は、走行中の自車両に搭載されている出力装置（図示省略）から、運転者に対して、必要な情報を認知できていない旨を知らせるための警報を出力する。上述の例でいうと、情報出力制御部１７は、自車両の運転者に、進行方向に対して左側にいる歩行者を認知できていない旨を知らせるメッセージを出力する。
また、例えば、情報出力制御部１７が出力する運転支援情報は、運転者による運転から自動運転に強制的に移行するアプリケーションにて用いられるようにすることもできる。具体的には、例えば、情報出力制御部１７は、走行中の自車両に搭載され、自動運転の制御を行う自動運転制御部（図示省略）に、運転支援情報を出力する。自動運転制御部は、運転支援情報が、予め決められている種別を示す運転支援情報である場合、自車両の運転を自動運転へと、強制的に移行させる。

機械学習モデル１８は、上述のとおり、環境情報が入力されると、車両の自動運転制御を行うための制御情報を出力するように、予め機械学習が行われた、機械学習における学習済みのモデルである。
図１では、機械学習モデル１８は、運転支援装置１に備えられるものとしているが、これは一例に過ぎない。機械学習モデル１８は、運転支援装置１の外部の、運転支援装置１が参照可能な場所に備えられるものとしてもよい。

実施の形態１に係る運転支援装置１の動作について説明する。
図９は、実施の形態１に係る運転支援装置１の動作を説明するためのフローチャートである。
環境情報取得部１１は、車両周辺の環境に関する環境情報を取得する（ステップＳＴ９０１）。
具体的には、環境情報取得部１１は、撮像装置が撮像した撮像画像に基づいて、種別特徴量を抽出し、画像で表現された環境情報を取得する。
環境情報取得部１１は、取得した環境情報を、演算部１３、寄与情報判定部１４、および、認知情報算出部１５に出力する。

行動情報取得部１２は、運転者の行動に関する行動情報を取得する（ステップＳＴ９０２）。
具体的には、行動情報取得部１２は、撮像装置から得た撮像画像に基づいて、行動情報を取得する。
行動情報取得部１２は、取得した行動情報を、認知情報算出部１５に出力する。

演算部１３は、ステップＳＴ９０１にて環境情報取得部１１が取得した環境情報と、機械学習モデル１８とに基づき、車両の自動運転制御を行うための制御情報を得る（ステップＳＴ９０３）。
具体的には、演算部１３は、環境情報取得部１１が取得した環境情報を機械学習モデル１８に入力して、上記制御情報を得る。
演算部１３は、得た制御情報を、寄与情報判定部１４に出力する。

寄与情報判定部１４は、ステップＳＴ９０１にて環境情報取得部１１が取得した環境情報と、ステップＳＴ９０３にて演算部１３が得た制御情報とに基づき、制御情報への寄与度が高い寄与情報を判定する（ステップＳＴ９０４）。具体的には、寄与情報判定部１４は、環境情報取得部１１が取得した環境情報に基づき、当該環境情報に反映されている種別特徴量の、制御情報への寄与度を算出する。そして、寄与情報判定部１４は、環境情報に反映されている種別特徴量のうち、演算部１３が得た制御情報への寄与度が高い種別特徴量を、寄与情報と判定する。
寄与情報判定部１４は、寄与情報を環境情報画像上の領域で示した寄与情報画像を生成する。具体的には、寄与情報判定部１４は、環境情報画像における種別特徴量のうち、寄与情報である種別特徴量をあらわす領域の明度を、当該寄与情報である種別特徴量以外の領域の明度とは異ならせた画像を、寄与情報画像として生成する。
寄与情報判定部１４は、生成した寄与情報画像を、特定部１６に出力する。

認知情報算出部１５は、ステップＳＴ９０１にて環境情報取得部１１が取得した環境情報と、ステップＳＴ９０２にて行動情報取得部１２が取得した行動情報とに基づき、自車両周辺の環境における運転者の認知領域を示す認知情報を算出する（ステップＳＴ９０５）。
認知情報算出部１５は、認知情報を環境情報画像上の領域で示した認知情報画像を生成する。
認知情報算出部１５は、生成した認知情報画像を、特定部１６に出力する。

特定部１６は、ステップＳＴ９０４にて寄与情報判定部１４が判定した寄与情報と、ステップＳＴ９０５にて認知情報算出部１５が算出した認知情報とに基づき、未認知寄与情報を特定する（ステップＳＴ９０６）。
特定部１６は、特定した未認知寄与情報を、情報出力制御部１７に出力する。

情報出力制御部１７は、ステップＳＴ９０６にて特定部１６が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する（ステップＳＴ９０７）。

なお、ここでは、ステップＳＴ９０２の動作は、ステップＳＴ９０１の動作の後であって、ステップＳＴ９０３の動作の前に行われるものとしたが、これは一例に過ぎない。ステップＳＴ９０２の動作は、ステップＳＴ９０１の動作の後、ステップＳＴ９０５の動作が行われるまでに行われるようになっていればよい。

このように、運転支援装置１は、環境情報を入力とし、車両の自動運転制御を行うための制御情報を出力する機械学習モデル１８に、車両周辺の環境に関する環境情報を入力して、制御情報を得る。運転支援装置１は、車両周辺の環境に関する環境情報のうち、得られた制御情報への寄与度が高い寄与情報を判定し、当該寄与情報と、車両周辺の環境における運転者の認知領域を示す認知情報とに基づいて、未認知寄与情報を特定する。そして、運転支援装置１は、特定した未認知寄与情報に基づき、運転支援情報を出力する。
運転支援装置１は、上述のように、運転支援情報を特定する際に、機械学習モデル１８を用いるようにしたので、無数の環境に応じた、運転支援のための情報を出力することができる。

以上の実施の形態１において、寄与情報判定部１４は、寄与情報を判定する際、算出した寄与度に重み付けを行った上で、当該寄与度が高い情報を寄与情報と判定するようにしてもよい。
例えば、環境情報を入力として、操舵角の制御量、アクセルの制御量、および、ブレーキの制御量を出力する機械学習モデル１８を用いて制御情報の演算が行われた場合、当該制御情報に対する寄与度が高い種別特徴量は、道路または白線等の地形を示す種別特徴量に限られてしまう可能性がある。この場合、寄与情報判定部１４は、地形を示す種別特徴量を寄与情報と判定する。実施の形態１に係る運転支援装置１は、運転者が認知すべき領域を認知できているか否かの判定を行い、運転者が認知すべき領域を認知できていない場合、当該認知できていない領域を運転者に知らせるために、寄与情報を利用する。そのため、運転支援装置１においては、通行者または他車両との道路環境に関する情報を示す種別特徴量を、地形情報に優先して寄与情報と判定する必要がある。寄与情報判定部１４が、寄与度に重み付けを行った上で、当該寄与度が高い種別特徴量を寄与情報と判定するようにすることで、上述したように、地形を示す種別特徴量が、道路環境に関する情報を示す種別特徴量よりも優先して寄与情報と判定されることを防ぐことができる。その結果、運転支援装置１は、運転者が認知すべき領域を認知できているか否かの判定を適切に行うことができる。

また、以上の実施の形態１では、機械学習モデル１８は、強化学習によって生成されたものとしたが、機械学習モデル１８を生成する際の学習方法は、強化学習に限らない。例えば、機械学習モデル１８は、教師あり環境情報を教師データとする教師あり学習を行うことによって生成されたものとしてもよい。ただし、機械学習モデル１８は、強化学習によって生成されるものとすることで、教師データをじゅうぶんに集められない環境であっても、例えば、シミュレータを用いて学習することが可能となる。

また、以上の実施の形態１では、機械学習モデル１８は１つであることを想定していたが、これは一例に過ぎない。
例えば、環境情報に応じて異なる機械学習モデル１８が、複数存在するようにしてもよい。環境情報に応じた機械学習モデル１８の具体例を挙げると、例えば、右折シーンに応じた機械学習モデル１８、左折シーンに応じた機械学習モデル１８、一般道路を走行中のシーンに応じた機械学習モデル１８、または、高速道路を走行中のシーンに応じた機械学習モデル１８である。
機械学習モデル１８が複数存在する場合、演算部１３は、環境情報取得部１１が取得した環境情報に応じて異なる機械学習モデル１８を用いて制御情報を得るようにすることができる。例えば、演算部１３は、自車両の右折時には、右折シーンに応じた機械学習モデル１８を用いて制御情報を得るようにすることができる。演算部１３は、環境情報に含まれる自車情報および道路情報等から、自車両が右折することを判定すればよい。
このように、演算部１３が環境情報に応じて異なる機械学習モデル１８を用いて制御情報を得るようにすることで、運転支援装置１は、機械学習モデル１８を１つのみとする場合と比べ、より車両の周辺の環境に応じた寄与情報の判定を行うことができ、その結果、運転者が認知すべき領域を認知できているか否かの判定をより適切に行うことができる。

また、以上の実施の形態１では、認知情報算出部１５は、環境情報と行動情報とに基づいて認知情報を算出するものとしたが、認知情報算出部１５は、認知情報を算出する際、環境情報を必須としない。認知情報算出部１５は、行動情報のみに基づいて認知情報を算出するようにしてもよい。
ただし、この場合、特定部１６が寄与情報と認知情報との差分を算出する際に、認知情報と重複する寄与情報を、認知情報と重複しない寄与情報と判定しないよう、特定部１６は、寄与情報画像と同様、環境情報を考慮して、環境情報画像上で認知情報をあらわす認知情報画像を生成する必要がある。すなわち、特定部１６は、例えば、寄与情報画像と認知情報画像とにおいて、それぞれ、同じ情報を画像上の領域で示すとき、寄与情報画像上の当該領域と、認知情報画像上の当該領域とが一致する認知情報画像を生成する必要がある。特定部１６は、生成した認知情報画像と、寄与情報画像とを比較する。

また、以上の実施の形態１において、運転支援装置１は、車両に搭載されるものとしたが、これは一例に過ぎない。
例えば、図１を用いて説明したような運転支援装置１の構成部の一部が、サーバに備えられるものとしてもよい。例えば、環境情報取得部１１および行動情報取得部１２は車両に搭載され、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能はサーバに備えられるものとしてもよい。

また、以上の実施の形態１では、運転支援装置１が運転支援情報を出力する対象は車両であるものとしたが、これは一例に過ぎない。
例えば、運転支援装置１が運転支援情報を出力する対象は、工場内にて物体を自動搬送可能なフォークリフト（図示省略）としてもよい。
また、例えば、運転支援装置１が運転支援情報を出力する対象は、車両の運転または走行を教育する際に用いられる、車両の運転または走行をシミュレートするドライビングシミュレータ（図示省略）としてもよい。
運転支援装置１が運転支援情報を出力する対象は、自動運転可能なあらゆる移動体とすることができる。

図１０Ａ，図１０Ｂは、実施の形態１に係る運転支援装置１のハードウェア構成の一例を示す図である。
実施の形態１において、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能は、処理回路１００１により実現される。すなわち、運転支援装置１は、機械学習モデル１８を用いて得られた制御情報に基づき判定した寄与情報と、運転者の認知領域を示す認知情報とに基づいて、運転支援情報を特定する制御を行うための処理回路１００１を備える。
処理回路１００１は、図１０Ａに示すように専用のハードウェアであっても、図１０Ｂに示すようにメモリ１００６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００５であってもよい。

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路１００１がＣＰＵ１００５の場合、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１００２、メモリ１００６等に記憶されたプログラムを実行するＣＰＵ１００５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路１００１により実現される。また、ＨＤＤ１００２、メモリ１００６等に記憶されたプログラムは、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１００６とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、環境情報取得部１１および行動情報取得部１２については専用のハードウェアとしての処理回路１００１でその機能を実現し、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７については処理回路１００１がメモリ１００６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、運転支援装置１は、図示しない環境情報取得用装置、出力装置、または、自動運転制御部等の装置と、有線通信または無線通信を行う入力インタフェース装置１００３および出力インタフェース装置１００４を備える。

以上のように、実施の形態１によれば、運転支援装置１は、移動体の周辺の環境に関する環境情報を取得する環境情報取得部１１と、移動体の運転者の行動に関する行動情報を取得する行動情報取得部１２と、環境情報取得部１１が取得した環境情報と、環境情報を入力とし移動体の自動運転制御を行うための制御情報を出力する機械学習モデル１８とに基づき、制御情報を得る演算部１３と、環境情報取得部１１が取得した環境情報と、演算部１３が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部１４と、行動情報取得部１２が取得した行動情報と、環境情報取得部１１が取得した環境情報とに基づき、移動体の周辺の環境における運転者の認知領域を示す認知情報を算出する認知情報算出部１５と、寄与情報判定部１４が判定した寄与情報と、認知情報算出部１５が算出した認知情報とに基づき、運転者によって認知されていないと推定される未認知寄与情報を特定する特定部１６と、特定部１６が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部１７とを備えるように構成した。そのため、運転支援装置１は、無数の環境に応じた、運転支援のための情報を出力することができる。

また、実施の形態１によれば、運転支援装置１において、寄与情報判定部１４は、寄与度に重み付けを行った上で、寄与情報を算出するようにした。そのため、運転支援装置１は、優先的に寄与情報とすべき種別特徴量を寄与情報と判定することができ、運転者が認知すべき領域を認知できているか否かの判定を適切に行うことができる。

また、実施の形態１によれば、機械学習モデル１８が複数存在する場合、運転支援装置１において、演算部１３は、環境情報取得部１１が取得した環境情報に応じて異なる機械学習モデル１８を用いて制御情報を得るように構成した。そのため、運転支援装置１は、機械学習モデル１８を１つのみとする場合と比べ、より車両の周辺の環境に応じた寄与情報の判定を行うことができ、その結果、運転者が認知すべき領域を認知できているか否かの判定をより適切に行うことができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係る車両制御用演算装置は、無数の環境に応じた、運転支援のための情報を出力することができるように構成したため、移動体の運転者による運転を支援するための情報を出力する運転支援装置に適用することができる。

１ 運転支援装置、１１ 環境情報取得部、１２ 行動情報取得部、１３ 演算部、１４ 寄与情報判定部、１５ 認知情報算出部、１６ 特定部、１７ 情報出力制御部、１８ 機械学習モデル、１００１ 処理回路、１００２ ＨＤＤ、１００３ 入力インタフェース装置、１００４ 出力インタフェース装置、１００５ ＣＰＵ、１００６ メモリ。

Claims (6)

1. 移動体周辺の環境に関する環境情報を取得する環境情報取得部と、
   前記移動体の運転者の行動に関する行動情報を取得する行動情報取得部と、
   前記環境情報取得部が取得した環境情報と、環境情報を入力とし前記移動体の自動運転制御を行うための制御情報を出力する機械学習モデルとに基づき、前記制御情報を得る演算部と、
   前記環境情報取得部が取得した環境情報と、前記演算部が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部と、
   前記行動情報取得部が取得した行動情報と、前記環境情報取得部が取得した環境情報とに基づき、前記移動体周辺の環境における前記運転者の認知領域を示す認知情報を算出する認知情報算出部と、
   前記寄与情報判定部が判定した寄与情報と、前記認知情報算出部が算出した認知情報とに基づき、前記運転者によって認知されていないと推定される未認知寄与情報を特定する特定部と、
   前記特定部が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部
   とを備えた運転支援装置。
2. 前記機械学習モデルは、強化学習によって生成された前記機械学習モデルである
   ことを特徴とする請求項１記載の運転支援装置。
3. 前記環境情報取得部が取得した環境情報が画像である場合、前記寄与情報判定部は、当該画像において、前記演算部が得た制御情報への前記寄与度が高い前記寄与情報を、当該画像上の領域であらわす
   ことを特徴とする請求項１記載の運転支援装置。
4. 前記寄与情報判定部は、
   前記寄与度に重み付けを行った上で、前記寄与情報を算出する
   ことを特徴とする請求項１記載の運転支援装置。
5. 前記機械学習モデルは複数存在し、
   前記演算部は、前記環境情報取得部が取得した環境情報に応じて異なる前記機械学習モデルを用いて前記制御情報を得る
   ことを特徴とする請求項１記載の運転支援装置。
6. 環境情報取得部が、移動体周辺の環境に関する環境情報を取得するステップと、
   行動情報取得部が、前記移動体の運転者の行動に関する行動情報を取得するステップと、
   演算部が、前記環境情報取得部が取得した環境情報と、環境情報を入力とし前記移動体の自動運転制御を行うための制御情報を出力する機械学習モデルとに基づき、前記制御情報を得るステップと、
   寄与情報判定部が、前記環境情報取得部が取得した環境情報と、前記演算部が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定するステップと、
   認知情報算出部が、前記行動情報取得部が取得した行動情報と、前記環境情報取得部が取得した環境情報とに基づき、前記移動体周辺の環境における前記運転者の認知領域を示す認知情報を算出するステップと、
   特定部が、前記寄与情報判定部が判定した寄与情報と、前記認知情報算出部が算出した認知情報とに基づき、前記運転者によって認知されていないと推定される未認知寄与情報を特定するステップと、
   情報出力制御部が、前記特定部が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力するステップ
   とを備えた運転支援方法。

Images