JP7003325B2

JP7003325B2 - 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法

Info

Publication number: JP7003325B2
Application number: JP2021508539A
Authority: JP
Inventors: 卓爾森本; 善彦森
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2022-01-20
Anticipated expiration: 2039-03-27
Also published as: WO2020194589A1; US20220144282A1; US12036995B2; CN113614809A; DE112019007090T5; CN113614809B; JPWO2020194589A1

Description

この発明は、車両を制御するための演算を行う車両制御用演算装置、車両制御用演算装置による演算の結果に応じて車両を制御する車両制御装置、及び、車両を制御するための演算を行う車両制御用演算方法に関する。

近年、機械学習における学習済みモデル（以下、単に「モデル」という。）に基づき車両の制御を行う車両制御システムが増加している。
一方、機械学習については、当該機械学習の精度が、アルゴリズムに加えて学習データの量又は品質に大きく依存するため、従来、学習データに対する工夫がなされてきた。例えば、特許文献１には、モデル作成に使用された入力項目が出力結果に与える寄与度を算出し、高寄与度の入力項目に基づいて高寄与度項目データセットを生成する技術が開示されている。

特開２０１８－１６９９５９号公報

特許文献１に開示されているような技術に代表される従来技術により学習データ等を改善しても、当該学習データ等を用いて作成されたモデルに基づく、実際の演算時における演算結果が、妥当である保証はない。
そのため、モデルに基づき車両の制御を行う場合、妥当でない演算結果に従った適切でない車両の制御が行われる可能性があるという課題があった。

この発明は上記のような課題を解決するためになされたもので、モデルに基づく演算結果が、車両の制御に用いるのに信頼に足るものであるか否かを判定することができる車両制御用演算装置を提供することを目的とする。

この発明に係る車両制御用演算装置は、車両周辺の環境に関する環境情報を取得する環境情報取得部と、環境情報取得部が取得した環境情報のうち、車両の制御に必要な重要環境情報を指定する重要情報指定部と、環境情報取得部が取得した環境情報と、予め取得された環境情報を入力として車両の制御に関する演算結果を出力するための機械学習を事前に行った学習済みモデルとに基づき、車両の制御に関する演算を行う演算部と、演算部が演算に用いた環境情報のうち、当該演算の過程にて、当該演算への寄与度が高い寄与環境情報を指定する寄与情報指定部と、重要情報指定部が指定した重要環境情報と寄与情報指定部が指定した寄与環境情報を比較し、演算部が行った演算の結果の信頼度を判定する信頼度判定部を備えたものである。

この発明によれば、モデルに基づく演算結果が、車両の制御に用いるのに信頼に足るものであるか否かを判定することができる。

実施の形態１に係る車両制御用演算装置を備えた車両制御装置の構成例を示す図である。実施の形態１に係る車両制御用演算装置の動作を説明するためのフローチャートである。実施の形態１に係る車両制御用演算装置における環境情報の一例を示す図である。実施の形態１において、車両制御用演算装置が車両に対して複数種類の制御を行うための複数の演算をそれぞれ行うようにした車両制御装置の構成例を示す図である。実施の形態１において、車両制御用演算装置が車両に対して複数種類の制御を行うための複数の演算をそれぞれ行うようにした車両制御装置のその他の構成例を示す図である。実施の形態１において、車両制御用演算装置が車両に対して複数種類の制御を行うための複数の演算をそれぞれ行うようにした車両制御装置のその他の構成例を示す図である。図７Ａ，図７Ｂは、実施の形態１に係る車両制御装置のハードウェア構成の一例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る車両制御用演算装置１を備えた車両制御装置１００の構成例を示す図である。
車両制御装置１００は、車両に搭載され、車両を制御する。車両制御装置１００は、図１に示すように、車両制御用演算装置１及び制御部１６を備える。
車両制御装置１００は、車両の制御に関する演算を、モデルに基づいて行うことが可能である。ここで、「モデル」とは、上記のとおり、機械学習における学習済みモデルのことである。より具体的には、実施の形態１では、「モデル」とは、環境情報を入力として車両の制御に関する演算結果を出力するための機械学習を行った学習済みモデルのことである。環境情報の詳細については、後述する。車両制御装置１００において、モデルに基づく、車両の制御に関する演算は、車両制御用演算装置１が行う。また、車両制御用演算装置１は、モデルに基づく演算の結果（以下「演算結果」という。）の信頼度を判定する。車両制御装置１００の制御部１６は、演算結果と、車両制御用演算装置１が判定した信頼度に応じて、車両を制御する。

以下の実施の形態１では、一例として、車両制御用演算装置１は、モデルに基づき、車両の速度の設定を行うための演算を行い、車両制御装置１００は、演算結果を用いて、車両の速度の設定を行うことが可能であるものとする。より具体的には、車両制御用演算装置１は、モデルに基づき車両の速度の設定を行うための演算を行うとともに、演算結果の信頼度を判定する。車両制御装置１００の制御部１６は、車両制御用演算装置１が判定した信頼度が、予め設定された閾値以上である場合、演算結果に従って車両の速度の設定を行う。なお、車両制御装置１００の制御部１６は、車両制御用演算装置１が判定した信頼度が、予め設定された閾値未満である場合は、演算結果に従った車両の速度の設定は行わない。この場合、例えば、車両に備えられた別の車両制御部（図示省略）が、車両の速度の設定を行う。車両制御部は、車両制御装置１００に備えられるものであってもよいし、車両制御装置１００の外部の、車両制御装置１００と通信可能な場所に備えられるものであってもよい。車両制御部は、モデルに基づく演算結果を用いることなく、当該車両の制御を行うことが可能なものである。

車両制御用演算装置１は、図１に示すように、環境情報取得部１１、重要情報指定部１２、演算部１３、寄与情報指定部１４、及び、信頼度判定部１５を備える。
環境情報取得部１１は、車両に搭載されているカメラ２１、車両に搭載されているレーダ２２、又は、車両に搭載されている地図データベース２３から、車両周辺の環境に関する環境情報を取得する。
実施の形態１において、環境情報は、例えば、自車情報、他車情報、歩行者情報、道路情報、又は、障害物情報を含む。自車情報は、例えば、自車両の速度の情報、加速度の情報、位置の情報、形状の情報、又は、当該自車両が現在走行している走行車線の情報を含む。他車情報は、例えば、自車両の周辺に存在する他車両の速度の情報、位置の情報、形状の情報、又は、当該他車両が現在走行している走行車線の情報を含む。歩行者情報は、例えば、自車両の周辺に存在する歩行者の速度の情報、位置の情報、又は、形状の情報を含む。道路情報は、例えば、自車両の周辺に存在する道路の車線数の情報、種別の情報、形状の情報、当該道路上の信号に関する情報、標識に関する情報、又は、表示に関する情報を含む。障害物情報は、例えば、自車両の周辺に存在する障害物の速度の情報、位置の情報、又は、形状の情報を含む。環境情報は、これらの情報を、１つ以上含む。
なお、上述した環境情報の内容は一例に過ぎず、環境情報には、車両制御装置１００が制御する車両周辺の環境に関するあらゆる情報が含まれる。

環境情報取得部１１は、環境情報の種類に応じて、当該環境情報を、例えば、カメラ２１が撮影した画像、レーダ２２が計測した計測値、又は、地図データベース２３が保持する地図データから取得することができる。また、環境情報取得部１１は、環境情報の種類に応じて、当該環境情報を、カメラ２１、レーダ２２及び地図データベース２３以外の、図示しない各種車載機器から取得することもできる。
環境情報取得部１１は、取得した環境情報を、重要情報指定部１２及び演算部１３に出力する。

重要情報指定部１２は、環境情報取得部１１が取得した環境情報のうち、車両制御装置１００がモデルに基づく演算結果に従って行おうとする車両の制御に必要な環境情報（以下「重要環境情報」という。）を指定する。言い換えれば、重要情報指定部１２は、環境情報のうち、演算部１３（詳細は後述する）が車両の制御に関する演算を適切に行うために考慮されるべき環境情報を、重要環境情報として指定する。ここでは、重要情報指定部１２は、車両の速度を設定するために考慮されるべき環境情報を指定する。
重要情報指定部１２は、任意の方法で、上述の重要環境情報を指定することができる。具体例を挙げると、例えば、重要情報指定部１２は、「周辺のｄ_１ｍ以内の車両及び歩行者、並びに、進行方向の信号機を重要環境情報とする」というロジックに基づき、重要環境情報を指定する。重要情報指定部１２が重要環境情報を指定する際に使用するロジックは、予め、開発者が設定しておく。

なお、重要情報指定部１２は、例えば、環境情報に含まれる各情報に対して、予め開発者等が設定したルールに基づき、「重要環境情報である」又は「重要環境情報でない」の２値で、重要環境情報を指定してもよい。また、例えば、重要情報指定部１２は、環境情報に含まれる各情報に対して、予め開発者等が設定したルールに基づき、「重要度ｘ％」のような数値で、重要環境情報を指定してもよい。
重要情報指定部１２は、指定した重要環境情報を、信頼度判定部１５に出力する。

演算部１３は、環境情報取得部１１が取得した環境情報と、モデルとに基づき、車両の制御に関する演算を行う。ここでは、演算部１３は、車両の速度を設定するための演算を行う。演算部１３が用いるモデルとしては、当該モデルに基づいて車両の制御に関する演算を行うことができる限りにおいて、任意のモデルを用いることができる。
演算部１３は、モデルに基づく演算結果を、寄与情報指定部１４及び制御部１６に出力する。

寄与情報指定部１４は、演算部１３が演算に用いた環境情報のうち、当該演算の過程にて、当該演算への寄与度が高い環境情報（以下「寄与環境情報」という。）を指定する。
実施の形態１において、「寄与度」とは、モデルに基づく演算結果に対する、環境情報の影響度を意味する。
寄与情報指定部１４は、例えば、機械学習の分野において一般的に周知の手法を用いて寄与度を算出し、寄与環境情報を指定することができる。
例えば、演算部１３において、ニューラルネットワークによる機械学習の結果として得られたモデルを用いる場合、寄与情報指定部１４は、ある特定の環境情報を微小変化させた際の演算結果の変化を用いて、当該環境情報の寄与度を算出することができる。また、例えば、寄与情報指定部１４は、ニューラルネットワーク内を伝播する値を、環境情報の入力方向に向かって逆算し、モデルに基づく演算結果に寄与する環境情報を算出する手法を利用して各環境情報の寄与度を算出し、寄与環境情報を指定することができる。

寄与情報指定部１４は、環境情報に含まれる各情報に対して、予め開発者等が設定したルールに基づき、「寄与環境情報である」又は「寄与環境情報でない」の２値を付与することで、寄与環境情報を指定してもよい。
また、寄与情報指定部１４は、環境情報に含まれる各情報に対して、予め開発者等が設定したルールに基づき、「寄与度ｙ％」のような数値を付与することで、寄与環境情報を指定してもよい。
寄与情報指定部１４は、指定した寄与環境情報を、信頼度判定部１５に出力する。

信頼度判定部１５は、重要情報指定部１２が指定した重要環境情報と寄与情報指定部１４が指定した寄与環境情報とを比較し、演算部１３が出力した演算結果の信頼度を判定する。
信頼度判定部１５は、演算部１３が出力した演算結果を、寄与情報指定部１４経由で取得する。なお、これは一例に過ぎず、信頼度判定部１５は、演算部１３から直接、演算結果を取得するようにしてもよい。

信頼度判定部１５は、適宜の方法で、演算結果の信頼度を判定することができる。信頼度判定部１５は、信頼度を、「高い」又は「低い」のような分類として判定するようにしてもよいし、「信頼度ｚ％」のような数値として判定するようにしてもよい。
具体的には、例えば、重要環境情報と寄与環境情報とがいずれも２値で指定されている場合、信頼度判定部１５は、「重要環境情報である」とされた情報が全て「寄与環境情報である」とされた情報に含まれていれば、演算部１３が重要環境情報を考慮した上で演算を行っていると判断し、信頼度は「高い」と判定する。一方、信頼度判定部１５は、「重要環境情報である」とされた情報のいずれかが「寄与環境情報である」とされた情報に含まれていなければ、信頼度は「低い」と判定する。信頼度判定部１５は、信頼度を「高い」又は「低い」の２値で信頼度を判定することに代えて、「重要環境情報である」とされた情報のうち「寄与環境情報である」とされた情報に含まれている情報の割合を算出することで、信頼度を判定することも可能である。
また、例えば、重要環境情報と寄与環境情報とがいずれも数値で指定されている場合、信頼度判定部１５は、全ての重要環境情報について、各重要環境情報の数値と、当該重要環境情報に対応する寄与環境情報の数値との一致度を算出し、信頼度を判定するようにしてもよい。この場合も、信頼度判定部１５は、信頼度を「高い」又は「低い」の２値で指定することも、又は、「信頼度ｚ％」のような数値として判定することも可能である。
信頼度判定部１５は、判定した信頼度の情報を、制御部１６に出力する。

制御部１６は、演算部１３が行った演算の結果と、信頼度判定部１５が判定した信頼度に基づき、車両を制御する。ここでは、制御部１６は、演算部１３が出力した演算結果と、信頼度判定部１５が判定した信頼度に応じて、車両の速度を設定する。なお、ここでは、制御部１６は、演算部１３が出力した演算結果を、演算部１３から直接取得するものとしているが、これは一例に過ぎず、制御部１６は、演算結果を、信頼度判定部１５経由で取得するようにしてもよい。

具体的には、例えば、信頼度判定部１５が「高い」又は「低い」の２値で信頼度を判定しているものとする。制御部１６は、演算結果の信頼度が「高い」と判定されている場合、当該演算結果に従って車両の速度を設定する。一方、制御部１６は、演算結果の信頼度が「低い」と判定されている場合、当該演算結果に従った車両の速度の設定は行わない。制御部１６が演算結果に従った車両速度の設定を行わない場合、上述のように、図示しない車両制御部が、演算結果を用いない別の手段によって、車両の速度の設定を行う。
また、例えば、信頼度判定部１５が数値で信頼度を判定しているものとする。制御部１６は、演算結果の信頼度が予め設定された閾値以上である場合、当該演算結果に従って車両の速度を設定する。一方、制御部１６は、演算結果の信頼度が予め設定された閾値未満である場合、当該演算結果に従った車両の速度の設定は行わない。制御部１６が演算結果に従った車両速度の設定を行わない場合、上述のように、図示しない車両制御部が、演算結果を用いない別の手段によって、車両の速度の設定を行う。

実施の形態１に係る車両制御用演算装置１の動作について説明する。
図２は、実施の形態１に係る車両制御用演算装置１の動作を説明するためのフローチャートである。
図３は、実施の形態１に係る車両制御用演算装置１における環境情報の一例を示す図である。以下、適宜、図３を用いて、図２のフローチャートに示す動作について説明する。

環境情報取得部１１は、環境情報を取得する（ステップＳＴ２０１）。この説明では、環境情報は、カメラ２１が撮影した画像から得られるものとしている。図３には、カメラ２１が撮影した画像の一例が示されている。図３に示すように、この画像からは、他車情報として、例えば、自車両の周辺に存在する他車両の位置の情報、形状の情報、又は、当該他車両が現在走行している走行車線の情報が得られる。また、当該画像からは、歩行者情報として、例えば、自車両の周辺に存在する歩行者の位置の情報、又は、形状の情報が得られる。また、当該画像からは、道路情報として、例えば、自車両の周辺に存在する道路の車線数の情報、形状の情報、当該道路上の信号に関する情報が得られる。また、当該画像からは、障害物情報として、例えば、自車両の周辺に存在する障害物である建物の位置の情報、又は、形状の情報が得られる。
環境情報取得部１１は、取得した環境情報を、重要情報指定部１２及び演算部１３に出力する。

重要情報指定部１２は、重要環境情報を指定する（ステップＳＴ２０２）。
例えば、図３に示すように、重要情報指定部１２は、環境情報のうち、演算部１３が車両の制御に関する演算を適切に行うために考慮されるべき重要環境情報として、画像上において、前方の信号１２０２、歩行者１２０３、前方走行車１２０４、及び、対向車１２０５を指定する。重要情報指定部１２によって重要環境情報が指定された画像を、図３では、重要環境情報画像１２０１として表現している。
重要情報指定部１２は、指定した重要環境情報を、信頼度判定部１５に出力する。

演算部１３は、ステップＳＴ２０１にて環境情報取得部１１が取得した環境情報とモデルとに基づき、車両の制御に関する演算を行う（ステップＳＴ２０３）。つまり、ここでは、演算部１３は、車両の速度を設定するための演算を行う。
例えば、図３に示すように、演算部１３は、ニューラルネットワークを用いたモデルと、環境情報を含む画像１３０１とに基づき、設定する速度を演算する。
演算部１３は、演算結果を、寄与情報指定部１４及び制御部１６に出力する。なお、図３では、制御部１６の図示は省略している。

寄与情報指定部１４は、ステップＳＴ２０３にて演算部１３が演算に用いた環境情報のうち、当該演算の過程にて、当該演算への寄与度が高い寄与環境情報を指定する（ステップＳＴ２０４）。
ここでは、寄与情報指定部１４は、演算部１３の演算の過程を分析し、画像１３０１の各画素の寄与度を輝度値であらわし、当該寄与度に基づき、寄与環境情報を指定するものとする。
例えば、図３に示した寄与環境情報画像１４０１は、画像１３０１の各画素の寄与度を輝度値であらわした画像である。寄与環境情報画像１４０１においては、画像１３０１を構成する複数の画素のうち、寄与度が高い画素ほど輝度値が高いために、より白く表現されている。すなわち、寄与環境情報画像１４０１においては、輝度値が高い画素ほど、言い換えれば、白い画素ほど、当該画素に対応する画像１３０１における画素の寄与度が高いことをあらわしている。寄与情報指定部１４は、寄与環境情報画像１４０１において、予め設定された閾値以上の輝度値を有する画素を、寄与環境情報に指定する。図３では、寄与環境情報画像１４０１上で、範囲１４０２，１４０３に含まれる画素が、寄与環境情報に指定されたことを示している。
寄与情報指定部１４は、指定した寄与環境情報を、信頼度判定部１５に出力する。

信頼度判定部１５は、ステップＳＴ２０２にて重要情報指定部１２が指定した重要環境情報と、ステップＳＴ２０４にて寄与情報指定部１４が指定した寄与環境情報とを比較し、ステップＳＴ２０３にて演算部１３が出力した演算結果の信頼度を判定する（ステップＳＴ２０５）。
ここでは、信頼度判定部１５は、重要度環境情報に含まれる情報が全て寄与環境情報に含まれているか否かによって、信頼度が「高い」か「低い」かを判定するものとする。

まず、信頼度判定部１５は、比較のため、重要環境情報画像１２０１を、寄与環境情報画像１４０１と同様の画像で表現する。具体的には、信頼度判定部１５は、重要環境情報画像１２０１の画素のうち、重要環境情報に指定されている環境情報に対応する画素を白く表現した画像を、寄与環境情報画像１４０１と比較する比較用重要環境情報画像１５０１として生成する。図３では、比較用重要環境情報画像１５０１において、範囲１５０２～１５０５に含まれる画素が、重要環境情報に指定されている画素であることを示している。範囲１５０２に含まれる画素は、重要環境情報画像１２０１において前方の信号１２０２に相当する画素であり、範囲１５０３に含まれる画素は、重要環境情報画像１２０１において歩行者１２０３に相当する画素である。また、範囲１５０４に含まれる画素は、重要環境情報画像１２０１において前方走行車１２０４に相当する画素であり、範囲１５０５に含まれる画素は、重要環境情報画像１２０１において対向車１２０５に相当する画素である。

次に、信頼度判定部１５は、比較用重要環境情報画像１５０１と、寄与環境情報画像１４０１を、画素単位で比較し、差分の有無で、信頼度を判定する。
今、寄与環境情報画像１４０１と比較用重要環境情報画像１５０１とでは、歩行者１２０３及び対向車１２０５に相当する画素分の差分が発生しており、比較用重要環境情報画像１５０１において歩行者１２０３及び対向車１２０５に相当する画素が、寄与環境情報画像１４０１上では、寄与環境情報として指定されていない。これは、重要度環境情報に含まれる情報の一部が寄与環境情報に含まれていないことを意味する。
よって、信頼度判定部１５は、信頼度を「低い」と判定する。演算部１３は、歩行者及び対向車を考慮せずに速度を設定し、当該速度に関する情報を演算結果として出力した可能性が高いといえる。
信頼度判定部１５は、判定した信頼度の情報を、制御部１６に出力する。
ここでは、信頼度判定部１５は、信頼度が「低い」との情報を、制御部１６に出力することになる。

なお、以上の、図２のフローチャートの説明では、車両制御用演算装置１は、ステップＳＴ２０１からステップＳＴ２０５の順番で動作を行うものとしたが、これに限らず、ステップＳＴ２０２とステップＳＴ２０３の順番を入れ換えてもよいし、ステップＳＴ２０２とステップＳＴ２０３を並行して行ってもよい。

上述したように、従来、高寄与度の入力項目に基づいて、高寄与度項目データセットを生成し、当該データセットを学習データとしてモデルを作成しようとする技術は知られていた。しかし、モデルの挙動は入力されるデータに依存しており、当該モデルに基づく演算結果が妥当である保証はない。そのため、モデルに基づき車両の制御を行う場合、妥当でない演算結果に従った適切でない車両の制御が行われる可能性があった。特に、車両の制御は、人命にも関わり得る制御であり、適切でない車両の制御が行われることは回避されなければならない。ここで、モデルに基づく演算結果の妥当性を、設計者等の人間によって別途作成されたロジックを用いて監視し、当該ロジックによって演算結果が妥当でないと判断された場合に、当該演算結果は信頼できないものとして使用しないという方法も考えられる。しかし、モデルに基づく演算結果を人間が別途作成したロジックによって制限することは、機械学習の本来の機能を人間が作成したロジックによって制限することを意味する。機械学習は、人間が考えられないロジックに従った演算を行えるという機能を有し、これが機械学習の利点の一つである。演算結果を人間が作成したロジックによって制限する上記の手法は、このような機械学習の利点を損なうものである。
これに対し、実施の形態１に係る車両制御用演算装置１は、車両の制御に関する演算を行う際に使用された環境情報が、車両を制御するにあたって重要度の高い重要環境情報であったか否かによって、演算結果の信頼度を判定するようにした。実施の形態１における手法は、演算結果を人間が作成したロジックによって制限するものではなく、演算過程の妥当性を考慮して、演算結果の使用の要否を決めるものである。これは、実施の形態１における手法では、演算結果が、仮に人間が別途作成した場合のロジックに適合しないものであったとしても、当該演算結果が制御に使用されることがあり得ることを意味する。したがって、実施の形態１における手法は、機械学習の利点を損なうものではない。

以上の実施の形態１では、一例として、車両制御装置１００が車両制御用演算装置１による演算結果に従って行う制御は、車両の速度設定の１種類のみとし、車両制御用演算装置１は、車両の速度設定のための、１種類の演算のみを行うことを前提としていた。
しかしこれは一例に過ぎず、実施の形態１において、車両制御用演算装置１は、車両に対して複数種類の制御をそれぞれ行うための複数の演算を行うことが可能である。そして、車両制御装置１００は、車両制御用演算装置１による、複数種類の制御それぞれに対応した演算結果に基づき、当該複数種類の制御を行うことができる。

図４は、実施の形態１において、車両制御用演算装置１が車両に対して複数種類の制御を行うための複数の演算をそれぞれ行うようにした車両制御装置１００の構成例を示す図である。
実施の形態１に係る車両制御装置１００は、図４に示すような構成を有するものとして、車両制御用演算装置１による、複数種類の制御それぞれに対応した演算結果に基づき、当該複数種類の制御を行うことができる。

図４に、車両制御用演算装置１が、１つの環境情報取得部１１に対して、複数の重要情報指定部１２－１～１２－ｎ、複数の演算部１３－１～１３－ｎ、複数の寄与情報指定部１４－１～１４－ｎ、及び、複数の信頼度判定部１５－１～１５－ｎを備える例を示す。なお、環境情報取得部１１、重要情報指定部１２－１～１２－ｎ、演算部１３－１～１３－ｎ、寄与情報指定部１４－１～１４－ｎ、及び、信頼度判定部１５－１～１５－ｎの具体的な動作は、それぞれ、図１を用いて説明した、環境情報取得部１１、重要情報指定部１２、演算部１３、寄与情報指定部１４、及び、信頼度判定部１５の具体的な動作と同様であるため、重複した説明を省略する。
図４に示す車両制御用演算装置１において、環境情報取得部１１は、同じ内容の環境情報を、重要情報指定部１２－１～１２－ｎ及び演算部１３－１～１３－ｎに出力することを想定している。

図４に示す車両制御用演算装置１は、車両制御装置１００がモデルに基づく演算結果に従って行う制御の種類の数だけ演算部１３－１～１３－ｎを備え、演算部１３－１～１３－ｎに対応する重要情報指定部１２－１～１２－ｎ、寄与情報指定部１４－１～１４－ｎ、及び、信頼度判定部１５－１～１５－ｎを備える。
この場合、演算部１３－１～１３－ｎは、車両制御装置１００が、モデルに基づく演算結果に従って行う制御毎に、制御に関する演算を行う。具体的には、例えば、車両制御装置１００が、モデルに基づく演算結果に従って、車両の速度の設定と、衝突被害軽減ブレーキのＯＮ／ＯＦＦの制御と、車線変更の開始判定を行うものとする。この場合、例えば、演算部１３－１が車両の速度の設定に関する演算を行い、演算部１３－２が衝突被害軽減ブレーキのＯＮ／ＯＦＦの制御に関する演算を行い、演算部１３－３が車線変更の開始判定に関する演算を行う。このように、演算部１３－１～１３－ｎは、それぞれが行うべき制御に関する演算の種類に応じて、それぞれに対応するモデルに基づいて演算を行う。このため、図４に示す車両制御用演算装置１においては、複数種類の制御に関する演算のそれぞれに対応して、複数種類のモデルが用意される。

重要情報指定部１２－１～１２－ｎは、演算部１３－１～１３－ｎが行う演算毎に、重要環境情報を指定する。上述の例でいうと、例えば、重要情報指定部１２－１が車両の速度を設定するために必要な環境情報を重要環境情報として指定し、重要情報指定部１２－２が衝突被害軽減ブレーキのＯＮ／ＯＦＦの制御のために必要な環境情報を重要環境情報として指定し、重要情報指定部１２－３が車線変更の開始判定のために必要な環境情報を重要環境情報として指定する。このとき、重要情報指定部１２－１～１２－３は、対応する演算部１３－１～１３－３が行う演算毎に、異なる方法で重要環境情報を指定してもよい。

例えば、重要情報指定部１２－１は、上述したように、「周辺のｄ_１ｍ以内の車両、周辺の歩行者、及び、進行方向の信号機を重要環境情報とする」というロジックに基づき、車両の速度を設定するための重要環境情報を指定する。
また、例えば、重要情報指定部１２－２は、自車両の前方ｄ_２ｍ以内の車両、歩行者、及び障害物を、衝突被害軽減ブレーキのＯＮ／ＯＦＦの制御のための重要環境情報に指定する。なお、重要情報指定部１２－２は、ｄ_２ｍにおける数値「ｄ_２」を、自車両の速度に応じて決定する。
また、例えば、重要情報指定部１２－３は、自車両の後方ｄ_３ｍ以内、及び、自車両の側方ｄ_４ｍ以内の車両を、車線変更の開始判定のための重要環境情報に指定する。なお、重要情報指定部１２－３は、ｄ_３ｍにおける数値「ｄ_３」を自車両の速度に応じて決定し、ｄ_４ｍにおける数値「ｄ_４」を道路幅に応じて決定する。

寄与情報指定部１４－１～１４－ｎは、対応する演算部１３－１～１３－ｎが演算に用いた環境情報のうちから、寄与環境情報を指定する。
信頼度判定部１５－１～１５－ｎは、対応する重要情報指定部１２－１～１２－ｎが指定した重要環境情報と、対応する寄与情報指定部１４－１～１４－ｎが指定した寄与環境情報を比較し、対応する演算部１３－１～１３－ｎが出力した演算結果の信頼度を、それぞれ判定する。

車両制御用演算装置１の構成を、図４に示すような構成とした場合も、車両制御用演算装置１の動作は、図２のフローチャートを用いて説明した動作と同様の動作となるので、詳細な説明を省略する。
図４に示すような車両制御用演算装置１において、各重要情報指定部１２－１～１２－ｎ、各演算部１３－１～１３－ｎ、各寄与情報指定部１４－１～１４－ｎ、及び、各信頼度判定部１５－１～１５－ｎは、それぞれ、ステップＳＴ２０２～ステップＳＴ２０５の動作を行う。

図５は、実施の形態１において、車両制御用演算装置１が車両に対して複数種類の制御を行うための複数の演算をそれぞれ行うようにした車両制御装置１００のその他の構成例を示す図である。
実施の形態１に係る車両制御装置１００は、図５に示すような構成としても、車両制御用演算装置１による、複数種類の制御それぞれに対応した演算結果に基づき、当該複数種類の制御を行うことができる。

図５に示すように、車両制御用演算装置１は、互いに対応する環境情報取得部１１－１～１－ｎ、重要情報指定部１２－１～１２－ｎ、演算部１３－１～１３－ｎ、寄与情報指定部１４－１～１４－ｎ、及び、信頼度判定部１５－１～１５－ｎの組を、複数組備えるようにすることができる。互いに対応する環境情報取得部１１－１～１－ｎ、重要情報指定部１２－１～１２－ｎ、演算部１３－１～１３－ｎ、寄与情報指定部１４－１～１４－ｎ、及び、信頼度判定部１５－１～１５－ｎの組は、車両制御装置１００がモデルに基づく演算結果に従って行う制御の数だけ備えられる。なお、環境情報取得部１１－１～１１－ｎ、重要情報指定部１２－１～１２－ｎ、演算部１３－１～１３－ｎ、寄与情報指定部１４－１～１４－ｎ、及び、信頼度判定部１５－１～１５－ｎの具体的な動作は、それぞれ、図１を用いて説明した、環境情報取得部１１、重要情報指定部１２、演算部１３、寄与情報指定部１４、及び、信頼度判定部１５の具体的な動作と同様であるため、重複した説明を省略する。

図５に示す車両制御用演算装置１において、各環境情報取得部１１－１～１１－ｎは、同じ内容の環境情報を取得することを必須としない。各環境情報取得部１１－１～１１－ｎは、対応する演算部１３－１～１３－ｎが行う演算に応じて、適宜、取得する環境情報の内容が決定されているようにしてもよい。

演算部１３－１～１３－ｎは、対応する環境情報取得部１１－１～１１－ｎが取得した環境情報に基づき、車両制御装置１００が、モデルに基づく演算結果に従って行う制御毎に、制御に関する演算を行う。演算部１３－１～１３－ｎは、それぞれが行うべき制御に関する演算の種類に応じて、それぞれに対応するモデルに基づいて演算を行う。このため、図５に示す車両制御用演算装置１においては、複数種類の制御に関する演算のそれぞれに対応して、複数種類のモデルが用意される。
重要情報指定部１２－１～１２－ｎは、対応する演算部１３－１～１３－ｎが行う演算毎に、対応する環境情報取得部１１－１～１１ｎが取得した環境情報のうちの重要環境情報を指定する。
寄与情報指定部１４－１～１４－ｎは、対応する演算部１３－１～１３－ｎが演算に用いた環境情報のうちから、寄与環境情報を指定する。
信頼度判定部１５－１～１５－ｎは、対応する重要情報指定部１２－１～１２－ｎが指定した重要環境情報と、対応する寄与情報指定部１４－１～１４－ｎが指定した寄与環境情報を比較し、対応する演算部１３－１～１３－ｎが出力した演算結果の信頼度を、それぞれ判定する。

車両制御用演算装置１の構成を、図５に示すような構成とした場合も、車両制御用演算装置１の動作は、図２のフローチャートを用いて説明した動作と同様の動作となるので、詳細な説明を省略する。
図５に示すような車両制御用演算装置１において、各環境情報取得部１１－１～１１－ｎ、各重要情報指定部１２－１～１２－ｎ、各演算部１３－１～１３－ｎ、各寄与情報指定部１４－１～１４－ｎ、及び、各信頼度判定部１５－１～１５－ｎは、それぞれ、ステップＳＴ２０１～ステップＳＴ２０５の動作を行う。

図６は、実施の形態１において、車両制御用演算装置１が車両に対して複数種類の制御を行うための複数の演算をそれぞれ行うようにした車両制御装置１００のその他の構成例を示す図である。
図６に示すように、車両制御用演算装置１は、１つの環境情報取得部１１、重要情報指定部１２、寄与情報指定部１４、及び、信頼度判定部１５と、複数の演算部１３－１～１３－ｎを備えるようにすることができる。なお、環境情報取得部１１、重要情報指定部１２、演算部１３－１～１３－ｎ、寄与情報指定部１４、及び、信頼度判定部１５の具体的な動作は、それぞれ、図１を用いて説明した、環境情報取得部１１、重要情報指定部１２、演算部１３、寄与情報指定部１４、及び、信頼度判定部１５の具体的な動作と同様であるため、重複した説明を省略する。
環境情報取得部１１は、同じ内容の環境情報を、各演算部１３－１～１３－ｎに出力することを想定している。

演算部１３－１～１３－ｎは、車両制御装置１００が、モデルに基づく演算結果に従って行う制御毎に、制御に関する演算を行う。演算部１３－１～１３－ｎは、それぞれが行うべき制御に関する演算の種類に応じて、それぞれに対応するモデルに基づいて演算を行う。このため、図６に示す車両制御用演算装置１においては、複数種類の制御に関する演算のそれぞれに対応して、複数種類のモデルが用意される。
図６に示すような車両制御用演算装置１において、演算部１３－１～１３－ｎは、演算結果を、寄与情報指定部１４及び制御部１６に出力する際、当該演算結果がどの制御に関する演算を行った結果であるかが特定可能な情報（以下「演算特定情報」という。）を、当該演算結果に付与する。また、演算部１３－１～１３－ｎは、上記演算特定情報を、重要情報指定部１２に出力する。

重要情報指定部１２は、演算部１３－１～１３－ｎが行う演算毎に、環境情報取得部１１－１～１１ｎが取得した環境情報のうちの重要環境情報を指定する。重要情報指定部１２は、演算部１３－１～１３－ｎから出力された演算特定情報に基づき、演算部１３－１～１３－ｎで行われた演算を特定し、特定した演算に対して、重要環境情報の指定方法を切り替えて、当該重要環境情報を指定する。
寄与情報指定部１４は、対応する演算部１３－１～１３－ｎが演算に用いた環境情報のうちから、寄与環境情報を指定する。寄与情報指定部１４は、演算部１３－１～１３－ｎから出力された演算特定情報に基づき、演算結果が、どの演算を行った結果であるかを特定し、特定した演算に対して、寄与環境情報を指定する。
信頼度判定部１５は、重要情報指定部１２が指定した重要環境情報と、寄与情報指定部１４が指定した寄与環境情報を比較し、対応する演算部１３－１～１３－ｎが出力した演算結果の信頼度を、それぞれ判定する。

車両制御用演算装置１の構成を、図６に示すような構成とした場合も、車両制御用演算装置１の動作は、図２のフローチャートを用いて説明した動作と同様の動作となるので、詳細な説明を省略する。
但し、図６に示すような車両制御用演算装置１では、図２のフローチャートにおいて、ステップＳＴ２０３の動作の後に、ステップＳＴ２０２の動作が行われるようにする。
図６に示すような車両制御用演算装置１において、各演算部１３－１～１３－ｎは、ステップＳＴ２０３の動作を行う。

このように、実施の形態１において、車両制御用演算装置１は、図４～図６に示すような構成を有するようにし、車両に対して複数種類の制御を行うための複数の演算を行うことが可能である。そして、車両制御装置１００は、車両制御用演算装置１による、複数種類の制御それぞれに対応した演算結果に従って、当該複数種類の制御を行うことができる。

図７Ａ，図７Ｂは、実施の形態１に係る車両制御装置１００のハードウェア構成の一例を示す図である。
実施の形態１において、環境情報取得部１１，１１－１～１１－ｎと、重要情報指定部１２，１２－１～１２－ｎと、演算部１３，１３－１～１３－ｎと、寄与情報指定部１４，１４－１～１４－ｎと、信頼度判定部１５，１５－１～１５－ｎと、制御部１６の機能は、処理回路７０１により実現される。すなわち、車両制御装置１００は、モデルに基づく演算結果に従って車両の制御を行うための処理回路７０１を備える。
処理回路７０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７０６に格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７０５であってもよい。

処理回路７０１が専用のハードウェアである場合、処理回路７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。

処理回路７０１がＣＰＵ７０５の場合、環境情報取得部１１，１１－１～１１－ｎと、重要情報指定部１２，１２－１～１２－ｎと、演算部１３，１３－１～１３－ｎと、寄与情報指定部１４，１４－１～１４－ｎと、信頼度判定部１５，１５－１～１５－ｎと、制御部１６の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、環境情報取得部１１，１１－１～１１－ｎと、重要情報指定部１２，１２－１～１２－ｎと、演算部１３，１３－１～１３－ｎと、寄与情報指定部１４，１４－１～１４－ｎと、信頼度判定部１５，１５－１～１５－ｎと、制御部１６は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）７０２、メモリ７０６等に記憶されたプログラムを実行するＣＰＵ７０５、システムＬＳＩ（Ｌａｒｇｅ－ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ７０２、メモリ７０６等に記憶されたプログラムは、環境情報取得部１１，１１－１～１１－ｎと、重要情報指定部１２，１２－１～１２－ｎと、演算部１３，１３－１～１３－ｎと、寄与情報指定部１４，１４－１～１４－ｎと、信頼度判定部１５，１５－１～１５－ｎと、制御部１６の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７０６とは、例えば、ＲＡＭ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の、不揮発性又は揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等が該当する。

なお、環境情報取得部１１，１１－１～１１－ｎと、重要情報指定部１２，１２－１～１２－ｎと、演算部１３，１３－１～１３－ｎと、寄与情報指定部１４，１４－１～１４－ｎと、信頼度判定部１５，１５－１～１５－ｎと、制御部１６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、環境情報取得部１１，１１－１～１１－ｎについては専用のハードウェアとしての処理回路７０１でその機能を実現し、重要情報指定部１２，１２－１～１２－ｎと、演算部１３，１３－１～１３－ｎと、寄与情報指定部１４，１４－１～１４－ｎと、信頼度判定部１５，１５－１～１５－ｎと、制御部１６については処理回路がメモリ７０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、車両制御装置１００は、カメラ２１、レーダ２２、又は地図データベース２３等の装置と、有線通信又は無線通信を行う入力インタフェース装置７０３及び出力インタフェース装置７０４を備える。

以上のように、実施の形態１によれば、車両制御用演算装置１は、車両周辺の環境に関する環境情報を取得する環境情報取得部１１，１１－１～１１－ｎと、環境情報取得部１１，１１－１～１１－ｎが取得した環境情報のうち、車両の制御に必要な重要環境情報を指定する重要情報指定部１２，１２－１～１２－ｎと、環境情報取得部１１，１１－１～１１－ｎが取得した環境情報と、予め取得された環境情報を入力として車両の制御に関する演算結果を出力するための機械学習を事前に行った学習済みモデルとに基づき、車両の制御に関する演算を行う演算部１３，１３－１～１３－ｎと、演算部１３，１３－１～１３－ｎが演算に用いた環境情報のうち、当該演算の過程にて、当該演算への寄与度が高い寄与環境情報を指定する寄与情報指定部１４，１４－１～１４－ｎと、重要情報指定部１２，１２－１～１２－ｎが指定した重要環境情報と寄与情報指定部１４，１４－１～１４－ｎが指定した寄与環境情報を比較し、演算部１３，１３－１～１３－ｎが行った演算の結果の信頼度を判定する信頼度判定部１５，１５－１～１５－ｎを備えるように構成した。そのため、車両制御用演算装置１は、モデルに基づく演算結果が、車両の制御に用いるのに信頼に足るものであるか否かを判定することができる。

また、車両制御装置１００は、上述したような車両制御用演算装置１と、当該車両制御用演算装置１にて演算部１３，１３－１～１３－ｎが行った演算の結果（演算結果）と、信頼度判定部１５，１５－１～１５－ｎが判定した信頼度に応じて、車両を制御する制御部１６を備えるように構成した。そのため、車両制御装置１００は、モデルに基づく演算結果が、車両の制御に用いるのに信頼に足る、モデルに基づく演算結果に従って、車両の制御を行うことができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係る車両制御用演算装置は、モデルに基づく演算結果が、車両の制御に用いるのに信頼に足るものであるか否かを判定することができるように構成したため、車両を制御するための演算を行う車両制御用制御装置に適用することができる。

１車両制御用演算装置、１１，１１－１～１１－ｎ環境情報取得部、１２，１２－１～１２－ｎ重要情報指定部、１３，１３－１～１３－ｎ演算部、１４，１４－１～１４－ｎ寄与情報指定部、１５，１５－１～１５－ｎ信頼度判定部、１６制御部、２１カメラ、２２レーダ、２３地図データベース、１００車両制御装置、７０１処理回路、７０２ＨＤＤ、７０３入力インタフェース装置、７０４出力インタフェース装置、７０５ＣＰＵ、７０６メモリ。

Claims

車両周辺の環境に関する環境情報を取得する環境情報取得部と、
前記環境情報取得部が取得した環境情報のうち、前記車両の制御に必要な重要環境情報を指定する重要情報指定部と、
前記環境情報取得部が取得した環境情報と、予め取得された環境情報を入力として車両の制御に関する演算結果を出力するための機械学習を事前に行った学習済みモデルとに基づき、前記車両の制御に関する演算を行う演算部と、
前記演算部が前記演算に用いた環境情報のうち、当該演算の過程にて、当該演算への寄与度が高い寄与環境情報を指定する寄与情報指定部と、
前記重要情報指定部が指定した前記重要環境情報と前記寄与情報指定部が指定した前記寄与環境情報を比較し、前記演算部が行った前記演算の結果の信頼度を判定する信頼度判定部
を備えた車両制御用演算装置。
前記学習済みモデルは、ニューラルネットワークによる機械学習の結果として得られるものである
ことを特徴とする請求項１記載の車両制御用演算装置。
１つ又は複数の前記環境情報取得部を備えた
ことを特徴とする請求項１記載の車両制御用演算装置。
複数の前記演算部を備え、
前記複数の前記演算部における各演算部は、前記１つ又は複数の前記環境情報取得部のうち当該演算部に対応する前記環境情報取得部が取得した環境情報と、各演算部に対応した前記学習済みモデルとに基づき、前記車両の制御に関する演算を行い、
前記重要情報指定部は、前記各演算部が行う演算に応じて前記重要環境情報を指定し、
前記寄与情報指定部は、前記各演算部が行った演算の過程にて、前記寄与環境情報を指定し、
前記信頼度判定部は、前記各演算部が行った演算の過程にて、前記重要情報指定部が指定した前記重要環境情報と、前記寄与情報指定部が指定した前記寄与環境情報を比較し、前記各演算の結果の信頼度を判定する
ことを特徴とする請求項３記載の車両制御用演算装置。
請求項１から請求項４のうちのいずれか１項記載の車両制御用演算装置と、
前記演算部が行った演算の結果と、前記信頼度判定部が判定した信頼度に応じて、前記車両を制御する制御部
を備えた車両制御装置。
環境情報取得部が、車両周辺の環境に関する環境情報を取得するステップと、
重要情報指定部が、前記環境情報取得部が取得した環境情報のうち、前記車両の制御に必要な重要環境情報を指定するステップと、
演算部が、前記環境情報取得部が取得した環境情報と、予め取得された環境情報を入力として車両の制御に関する演算結果を出力するための機械学習を事前に行った学習済みモデルとに基づき、前記車両の制御に関する演算を行うステップと、
寄与情報指定部が、前記演算部が前記演算に用いた環境情報のうち、当該演算の過程にて、当該演算への寄与度が高い寄与環境情報を指定するステップと、
信頼度判定部が、前記重要情報指定部が指定した前記重要環境情報と前記寄与情報指定部が指定した前記寄与環境情報を比較し、前記演算部が行った前記演算の結果の信頼度を判定するステップ
を備えた車両制御用演算方法。