JP7330278B2 - 自動運転制御装置および自動運転制御方法 - Google Patents

Description

この発明は、車両の自動運転制御を行う自動運転制御装置および自動運転制御方法に関する。

車両の周辺の情報（以下「車両周辺情報」という。）は、複数のセンサから取得され得る。従来、このような複数のセンサからそれぞれ出力された複数の車両周辺情報を、機械学習済みのモデル（以下「機械学習モデル」という。）に入力することにより、車両の自動運転制御に必要な各種の制御量（以下「自動運転制御量」という。）を推論して出力する技術がある。
ここで、特許文献１には、車両の自動運転制御の実行中に周囲環境を認識するために、複眼カメラが撮影した複数の画像に基づいて生成された周囲環境のマップを用いる制御装置が開示されている。この制御装置は、例えば、複眼カメラを構成する２つの車載カメラのうち、いずれかに機能不全が生じた場合、正常に動作する一方の車載カメラが撮影した画像に基づいて周囲環境を推定する。

特開２０１９－３４６６４号公報

機械学習モデルを利用して自動運転制御量を推論する上記技術では、複数のセンサのうちのいずれかのセンサから取得される情報の信頼度が低下した場合、自動運転制御量が車両の自動運転制御に適したものではなくなる可能性があるという課題があった。
特許文献１に開示された制御装置は、複数の車載カメラのうちのいずれかに機能不全が生じた場合に、正常に動作する車載カメラが撮影した画像に基づいて周囲環境を推定するものであるが、当該推定は、具体的には、理論的に定められた計算式を利用して行われるものである。これに対し、機械学習モデルは、理論的に定められた計算式を利用して推論を行うものではないため、特許文献１に開示された制御装置における技術を、上記課題の解決手段とすることはできない。

この発明は、上記のような課題を解決するためになされたもので、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデルとに基づいて、自動運転制御量を推論して出力する自動運転制御装置において、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両の自動運転制御に適した自動運転制御量を出力することができる自動運転制御装置を提供することを目的とする。

この発明に係る自動運転制御装置は、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する情報取得部と、情報取得部が取得した複数の車両周辺情報と、機械学習モデルとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部と、情報取得部が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部と、監視部により、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定された場合、信頼度が低下していると判定された車両周辺情報を除いて自動運転制御量を出力するよう学習済みの機械学習モデルを用いて、当該信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部を制御する制御部を備えたものである。

この発明によれば、複数のセンサからそれぞれ出力された複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両の自動運転制御に適した自動運転制御量を出力することができる。

実施の形態１に係る自動運転制御装置を搭載した車両の構成例を示す図である。 実施の形態１に係る自動運転制御装置の構成例を示す図である。 実施の形態１に係る自動運転制御装置の動作を説明するためのフローチャートである。 実施の形態２に係る自動運転制御装置の構成例を示す図である。 実施の形態２に係る自動運転制御装置の動作を説明するためのフローチャートである。 実施の形態３に係る自動運転制御装置の構成例を示す図である。 実施の形態３において、画素の輝度が異なる撮影画像の一例を説明するための図であって、図７Ａは、撮影画像のすべての画素が、当該撮影画像中の物体を十分識別できる輝度を有している場合の撮影画像の一例であり、図７Ｂは、撮影画像のすべての画素が、当該撮影画像中の物体を認識できないほど暗い画像となるような輝度を有している場合の撮影画像の一例であり、図７Ｃは、撮影画像のすべての画素が、当該撮影画像中の物体を認識できないほど明るい画像となるような輝度を有している場合の撮影画像の一例である。 実施の形態３に係る自動運転制御装置の動作を説明するためのフローチャートである。 実施の形態４に係る自動運転制御装置の構成例を示す図である。 実施の形態４に係る自動運転制御装置の動作を説明するためのフローチャートである。 実施の形態５に係る自動運転制御装置の構成例を示す図である。 実施の形態５において、通知制御部が通知情報を表示させたディスプレイの画面例を示す図である。 実施の形態５において、通知制御部が通知情報を表示させたディスプレイのその他の画面例を示す図である。 実施の形態６に係る自動運転制御装置の構成例を示す図である。 実施の形態６に係る自動運転制御装置の動作を説明するためのフローチャートである。 図１６Ａ，図１６Ｂは、実施の形態１～実施の形態６に係る自動運転制御装置のハードウェア構成の一例を示す図である。 図２を用いて説明した実施の形態１に係る自動運転制御装置がサーバに備えられるようにした自動運転制御システムの構成例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る自動運転制御装置１を搭載した車両１００の構成例を示す図である。
実施の形態１に係る自動運転制御装置１は、人が運転操作を行わなくても自動で走行することが可能な車両１００に搭載される装置である。図１に示すように、車両１００には、自動運転制御装置１の他、センサ、車両制御部３、および、制御対象機器４が搭載される。

車両１００には、車両１００周辺の情報を出力する複数のセンサが搭載される。複数のセンサのそれぞれが出力する情報は、車両１００周辺に存在する他車両に関する情報、車両１００周辺に存在する他車両以外の障害物に関する情報、交通信号の状態に関する情報、車線に関する情報、地形に関する情報、または、道路標識に関する情報等である。車線に関する情報には、例えば、白線または道路標示が含まれる。
実施の形態１では、センサには、カメラ２１およびミリ波レーダ２２が含まれるものとする。

カメラ２１は、車両１００よりも前方等、車両１００周辺を撮影する。カメラ２１は、車両１００周辺を撮影した撮影画像を、自動運転制御装置１に出力する。
ミリ波レーダ２２は、車両１００から、車両１００周辺に存在する物体までの距離を計測する。ミリ波レーダ２２は、計測した、車両１００から物体までの距離に関する情報（以下「距離情報」という。）を、自動運転制御装置１に出力する。自動運転制御装置１は、少なくとも、カメラ２１から出力された撮影画像、および、ミリ波レーダ２２から出力された距離情報に基づき、車両１００の自動運転制御に必要な自動運転制御量を推論する。
実施の形態１において、上述の撮影画像または距離情報のように、センサから出力され、自動運転制御装置１における自動運転制御量の推論に用いられる情報を、総称して、「車両周辺情報」ともいう。車両周辺情報は、自動運転制御装置１において自動運転制御量の推論に用いられる情報であり、車両１００周辺に関する様々な情報を含み得る。

実施の形態１では、複数のセンサのうち一部の１または複数のセンサについては、例えば、故障する可能性が、無視できる程度に低く、当該センサから出力される車両周辺情報に実質的に問題は生じないことを前提とする。一方、複数のセンサのうち他の１または複数のセンサについては、例えば、上記一部のセンサと比較して、故障する可能性が高く、当該他のセンサから出力される車両周辺情報にも問題が比較的生じ易いものであることを前提とする。具体的には、実施の形態１に係るセンサに含まれるカメラ２１とミリ波レーダ２２のうち、カメラ２１については、例えば、故障する可能性が、無視できる程度に低く、カメラ２１の撮影画像に実質的に問題は生じないことを前提とする。一方、ミリ波レーダ２２については、カメラ２１と比較して、例えば、故障する可能性が高く、ミリ波レーダ２２が出力する距離情報にも問題が比較的生じ易いものであることを前提とする。
実施の形態１では、車両周辺情報は、後述のように、自動運転制御量を推論するための機械学習モデルに対する入力データとして利用される。実施の形態１では、車両１００の自動運転制御に適した自動運転制御量を推論するための入力データとして、車両周辺情報が信頼できるものかどうかを示す度合いを、車両周辺情報の「信頼度」という。

自動運転制御装置１は、センサから出力された車両周辺情報に基づき、上記自動運転制御量を推論する。自動運転制御装置１による、自動運転制御量の推論の詳細については、自動運転制御装置１の構成例とともに、後述する。
自動運転制御装置１は、推論した自動運転制御量を、車両１００に搭載されている車両制御部３に出力する。

車両制御部３は、自動運転制御装置１から出力された自動運転制御量に基づき、車両１００を制御する。具体的には、車両制御部３は、制御対象機器４を制御して、車両１００を自動走行させる。制御対象機器４は、車両１００に搭載され、車両制御部３による制御に基づき、車両１００を自動走行させるために動作する機器である。制御対象機器４は、例えば、アクセル、ブレーキ、ステアリング、ギア、または、ライトである。
自動運転制御装置１が出力する自動運転制御量は、ブレーキ、アクセル、または、ステアリング操作等の各制御対象機器４の具体的な制御量であってもよいし、時系列的な複数の緯度および経度の値からなる走行軌跡の情報であってもよい。自動運転制御量が、走行軌跡の情報である場合、車両制御部３は、当該走行軌跡の通りに車両１００が自動走行するよう、各制御対象機器４の具体的な制御量を計算して、計算した制御量に基づき、各制御対象機器４を制御する。

実施の形態１に係る自動運転制御装置１の詳細について説明する。
図２は、実施の形態１に係る自動運転制御装置１の構成例を示す図である。
自動運転制御装置１は、情報取得部１１、制御量推論部１２、機械学習モデル１３、監視部１４、および、制御部１５を備える。制御量推論部１２は、第１制御量推論部１２１、第２制御量推論部１２２、および、選択部１２３を備える。機械学習モデル１３は、第１機械学習モデル１３１および第２機械学習モデル１３２を備える。

情報取得部１１は、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する。具体的には、情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を、車両周辺情報として取得する。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２および監視部１４に出力する。

制御量推論部１２は、情報取得部１１が取得した複数の車両周辺情報と、機械学習モデル１３に基づいて、車両１００の自動運転制御量を推論し、当該自動運転制御量を出力する。実施の形態１において、具体的には、制御量推論部１２は、推論した自動運転制御量を、制御対象となる制御対象機器４を特定する情報と対応付けて、車両制御部３に出力する。

制御量推論部１２の第１制御量推論部１２１は、情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する。具体的には、第１制御量推論部１２１は、情報取得部１１がカメラ２１から取得した撮影画像と、情報取得部１１がミリ波レーダ２２から取得した距離情報と、第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する。第１機械学習モデル１３１については、後述する。
第１制御量推論部１２１は、推論した第１自動運転制御量を選択部１２３に出力する。

制御量推論部１２の第２制御量推論部１２２は、情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２とに基づき、第２自動運転制御量を推論する。具体的には、第２制御量推論部１２２は、複数の車両周辺情報のうち、信頼度が低下し得る車両周辺情報以外の車両周辺情報と、第２機械学習モデル１３２に基づいて第２自動運転制御量を推論する。
上述のように、実施の形態１では、カメラ２１の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ２２の距離情報については、比較的問題が生じ易いことを前提とする。このため、後述のように、実施の形態１における第２機械学習モデル１３２は、具体的には、情報取得部１１が取得した撮影画像のみを入力として第２自動運転制御量を推論するものである。
第２制御量推論部１２２は、推論した第２自動運転制御量を選択部１２３に出力する。

選択部１２３は、第１自動運転制御量、または、第２自動運転制御量のうち、いずれを出力するかを選択する。実施の形態１において、選択部１２３は、選択した自動運転制御量を、具体的には、車両制御部３に出力する。
後述のように、制御部１５は、監視部１４により、複数の車両周辺情報のいずれも信頼度が低下していないと判定された場合、第１自動運転制御量を出力するように、制御量推論部１２を制御する。選択部１２３は、制御量推論部１２が制御部１５により第１自動運転制御量を出力するように制御された場合に、第１自動運転制御量を選択して出力する。
また、制御部１５は、監視部１４により、複数の車両周辺情報のうち、第２機械学習モデル１３２に入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するように、制御量推論部１２を制御する。選択部１２３は、制御量推論部１２が制御部１５により第２自動運転制御量を出力するように制御された場合に、第２自動運転制御量を選択して出力する。

機械学習モデル１３は、機械学習における学習済みのモデルである。具体的には、機械学習モデル１３は、情報取得部１１が取得した複数の車両周辺情報が入力されると、車両１００の自動運転制御に必要な自動運転制御量を出力するように、予め機械学習が行われたモデルである。機械学習モデル１３は、例えば、ニューラルネットワークにより構成される。

実施の形態１において、機械学習モデル１３は、第１機械学習モデル１３１および第２機械学習モデル１３２を備える。
第１機械学習モデル１３１は、情報取得部１１が取得する複数の車両周辺情報の全部を入力とし、第１自動運転制御量を出力する。実施の形態１では、第１機械学習モデル１３１は、情報取得部１１がカメラ２１から取得する撮影画像と、情報取得部１１がミリ波レーダ２２から取得する距離情報の両方を入力とし、第１自動運転制御量を出力する。

第２機械学習モデル１３２は、情報取得部１１が取得する複数の車両周辺情報の一部を入力とし、第２自動運転制御量を出力する。具体的には、第２機械学習モデル１３２は、情報取得部１１が取得する複数の車両周辺情報のうち、信頼度が低下している車両周辺情報以外の車両周辺情報を入力とした場合に、第２自動運転制御量を出力する。
上述のように、実施の形態１では、カメラ２１の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ２２の距離情報については、比較的問題が生じ易いことを前提とする。このため、実施の形態１における第２機械学習モデル１３２は、具体的には、情報取得部１１が取得した撮影画像のみを入力として第２自動運転制御量を出力するものである。

実施の形態１では、図２に示すように、機械学習モデル１３は、自動運転制御装置１に備えられるものとするが、これは一例に過ぎず、機械学習モデル１３は、自動運転制御装置１の外部の、自動運転制御装置１が参照可能な場所に備えられるようにしてもよい。

監視部１４は、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する。実施の形態１では、カメラ２１の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ２２の距離情報については、比較的問題が生じ易いことを前提とする。このため、実施の形態１における監視部１４は、情報取得部１１がミリ波レーダ２２から取得した距離情報の信頼度が低下しているか否かを判定する。
具体的には、監視部１４は、カメラ２１から取得された撮影画像に基づき、当該撮影画像上に存在するある物体について、車両１００から当該物体までの実空間における距離（以下「基準距離」という。）を取得する。また、監視部１４は、基準距離と、ミリ波レーダ２２から取得された距離情報に基づく車両１００から前記物体までの距離との差を算出する。そして、監視部１４は、算出された差が予め設定された閾値（以下「レーダ判定用閾値」という。）以下であるか否かを判定する。監視部１４は、算出された差がレーダ判定用閾値以下であると判定した場合、距離情報の信頼度は低下していないと判定する。一方、監視部１４は、算出された差がレーダ判定用閾値より大きいと判定した場合、距離情報の信頼度は低下していると判定する。なお、監視部１４が、カメラ２１から取得された撮影画像に基づき基準距離を取得する際の手法としては、既知の任意の手法を採用することができる。具体的な手法としては、例えば、物体が撮影された撮影画像と車両１００から当該物体までの実空間における距離の実測値との組を教師データとした学習に基づく学習済みモデルを用いる手法がある。

監視部１４は、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定した結果に関する情報（以下「監視結果情報」という。）を、制御部１５に出力する。例えば、監視部１４は、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定した場合、車両周辺情報の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。監視結果情報には、どの車両周辺情報の信頼度が低下しているかを特定するための情報が含まれる。実施の形態１では、監視部１４は、ミリ波レーダ２２から取得された距離情報の信頼度が低下していると判定した場合、距離情報の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。
また、例えば、監視部１４は、複数の車両周辺情報のうちいずれの車両周辺情報も信頼度が低下していないと判定した場合、車両周辺情報の信頼度は低下していない旨の監視結果情報を、制御部１５に出力する。

制御部１５は、監視部１４により、複数の車両周辺情報のうちのいずれかの車両周辺情報の信頼度が低下していると判定された場合、信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部１２を制御する。
具体的には、制御部１５は、監視部１４により、複数の車両周辺情報のうち、第２機械学習モデル１３２に入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するように、制御量推論部１２を制御する。制御量推論部１２の選択部１２３は、制御量推論部１２が制御部１５により第２自動運転制御量を出力するように制御された場合、第２自動運転制御量を選択して出力する。

一方、制御部１５は、監視部１４により、複数の車両周辺情報のうちいずれの車両周辺情報も信頼度は低下していないと判定された場合、第１自動運転制御量を出力するように、制御量推論部１２を制御する。制御量推論部１２の選択部１２３は、制御量推論部１２が制御部１５により第１自動運転制御量を出力するように制御された場合、第１自動運転制御量を選択して出力する。

実施の形態１に係る自動運転制御装置１の動作について説明する。
図３は、実施の形態１に係る自動運転制御装置１の動作を説明するためのフローチャートである。

情報取得部１１は、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する。具体的には、情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を取得する（ステップＳＴ３０１）。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２および監視部１４に出力する。

制御量推論部１２の第１制御量推論部１２１は、ステップＳＴ３０１にて情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する。具体的には、第１制御量推論部１２１は、ステップＳＴ３０１にて情報取得部１１がカメラ２１から取得した撮影画像と、ステップＳＴ３０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する（ステップＳＴ３０２）。
第１制御量推論部１２１は、推論した第１自動運転制御量を選択部１２３に出力する。

制御量推論部１２の第２制御量推論部１２２は、ステップＳＴ３０１にて情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２とに基づき、第２自動運転制御量を推論する。具体的には、第２制御量推論部１２２は、ステップＳＴ３０１にて情報取得部１１がカメラ２１から取得した撮影画像のみを入力として第２自動運転制御量を推論する（ステップＳＴ３０３）。
第２制御量推論部１２２は、推論した第２自動運転制御量を選択部１２３に出力する。

監視部１４は、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する。具体的には、まず、監視部１４は、ステップＳＴ３０１にて情報取得部１１がカメラ２１から取得した撮影画像に基づき、当該撮影画像上に存在するある物体について、基準距離を取得する（ステップＳＴ３０４）。
そして、監視部１４は、ステップＳＴ３０４にて取得した基準距離と、ステップＳＴ３０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報に基づく、車両１００から当該物体までの距離との差を算出し、算出された差がレーダ判定用閾値以下であるか否かを判定する（ステップＳＴ３０５）。

ステップＳＴ３０５において、算出された差がレーダ判定用閾値より大きいと判定した場合（ステップＳＴ３０５の“ＮＯ”の場合）、監視部１４は、ミリ波レーダ２２から取得された距離情報の信頼度が低下していると判定し、距離情報の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ３０３にて第２制御量推論部１２２が推論した第２自動運転制御量を出力するよう、制御量推論部１２を制御する。選択部１２３は、第２自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ３０６）。

ステップＳＴ３０５において、算出された差がレーダ判定用閾値以下であると判定した場合（ステップＳＴ３０５の“ＹＥＳ”の場合）、監視部１４は、ミリ波レーダ２２から取得された距離情報の信頼度が低下していないと判定し、距離情報の信頼度が低下していない旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ３０２にて第１制御量推論部１２１が推論した第１自動運転制御量を出力するよう、制御量推論部１２を制御する。選択部１２３は、第１自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ３０７）。

ステップＳＴ３０６またはステップＳＴ３０７の動作を行うと、自動運転制御装置１の動作は、ステップＳＴ３０１に戻り、以降の動作を繰り返す。

以上で説明した動作について、ステップＳＴ３０２にて第１自動運転制御量を推論する際、第１制御量推論部１２１は、直前のステップＳＴ３０１にて情報取得部１１が取得した撮影画像および距離情報を用いることを必須としない。例えば、情報取得部１１は、取得した車両周辺情報を記憶部（図示省略）に記憶させておくようにし、第１制御量推論部１２１は、記憶部に記憶されている、直前のステップＳＴ３０１以前に情報取得部１１が取得した撮影画像および距離情報を用いて第１自動運転制御量を推論するようにしてもよい。
また、ステップＳＴ３０３にて第２自動運転制御量を推論する際、第２制御量推論部１２２は、直前のステップＳＴ３０１にて情報取得部１１が取得した撮影画像を用いることを必須としない。例えば、第２制御量推論部１２２は、記憶部に記憶されている、直前のステップＳＴ３０１以前に情報取得部１１が取得した撮影画像を用いて第２自動運転制御量を推論するようにしてもよい。

以上のように、実施の形態１に係る自動運転制御装置１は、ミリ波レーダ２２から出力される距離情報の信頼度が低下したか否かを判定し、距離情報の信頼度が低下したと判定した場合は、自動運転制御量の推論を、ミリ波レーダ２２から出力される距離情報を用いず、継続実施することができる。
なお、自動運転制御装置１は、ミリ波レーダ２２から取得した距離情報の信頼度が低下したと判定した場合でも、車両１００の自動運転を継続させることはできるが、自動運転の水準は低下する可能性がある。つまり、第２制御量推論部１２２は、第１制御量推論部１２１よりも、自動運転制御量の推論に用いる車両周辺情報の数が少ないため、推論の水準の差が生じ得る。
具体的には、例えば、第１制御量推論部１２１は、混雑時の車線変更等の複雑な制御を行うための自動運転制御量を推論できるのに対し、第２制御量推論部１２２は、走行中の車線をキープする走行を行うための自動運転制御量の推論しかできないというような、推論の水準の差が生じ得る。
しかしながら、ミリ波レーダ２２から出力される距離情報の信頼度が低下し得ることが考慮されていない場合、具体的には、仮に、自動運転制御装置１が、第１制御量推論部１２１しか備えないような構成である場合、距離情報の信頼度が低下すると、自動運転が正常に継続できなくなる可能性が高い。これに対し、実施の形態１に係る自動運転制御装置１は、第２制御量推論部１２２を備え、第２制御量推論部１２２がカメラ２１から取得した撮影画像と第２機械学習モデル１３２とに基づいて、第２自動運転制御量を推論できるようにした。そして、ミリ波レーダ２２から出力される距離情報の信頼度が低下した場合には、第２制御量推論部１２２が推論した第２自動運転制御量を用いて、車両１００の自動運転が制御されるようにした。その結果、複数のセンサから取得した複数の車両周辺情報のうち、いずれかの車両周辺情報の信頼度が低下した場合でも、比較的低い水準ではあるが車両１００の自動運転を継続することができる。

以上の実施の形態１では、自動運転制御装置１は、監視部１４が、距離情報の信頼度が低下したか否かを判定する（図３のステップＳＴ３０５参照）よりも前に、第１制御量推論部１２１および第２制御量推論部１２２が、それぞれ、第１自動運転制御量および第２自動運転制御量の推論を行っているものとした（図３のステップＳＴ３０２およびステップＳＴ３０３参照）。しかし、これは一例に過ぎず、第１制御量推論部１２１または第２制御量推論部１２２は、監視部１４による、距離情報の信頼度が低下したか否かの判定を受けて、自動運転制御量の推論を行うようにしてもよい。具体的には、例えば、監視部１４により距離情報の信頼度が低下したと判定されると、制御部１５は、第２自動運転制御量を出力するように制御量推論部１２を制御する。制御量推論部１２が制御部１５から第２自動運転制御量を出力するように制御された場合に、第２制御量推論部１２２は、第２自動運転制御量を推論する。一方、監視部１４が、距離情報の信頼度が低下していないと判定すると、制御部１５は、第１自動運転制御量を出力するように制御量推論部１２を制御する。制御量推論部１２が制御部１５から第１自動運転制御量を出力するように制御された場合に、第１制御量推論部１２１は、第１自動運転制御量を推論する。制御量推論部１２は、制御部１５の制御に基づいて、第１制御量推論部１２１が推論した第１自動運転制御量または第２制御量推論部１２２が推論した第２自動運転制御量を、車両制御部３に出力するようにする。このような構成とする場合、自動運転制御装置１は、選択部１２３を備えないようにすることができる。

また、以上の実施の形態１では、複数の車両周辺情報は撮影画像と距離情報の２つであり、かつ、距離情報のみ比較的問題が生じやすいことを前提としているため、複数の車両周辺情報のうちいずれかの信頼度が低下した場合の機械学習モデルとしては、撮影画像を入力とする第２機械学習モデル１３２のみが備えられているものとした。しかし、複数の車両周辺情報のうち、信頼度が低下する可能性を考慮すべき車両周辺情報が複数存在する場合もある。この場合、当該信頼度が低下する可能性を考慮すべき複数の車両周辺情報のいずれか一つを除いた車両周辺情報を入力として推論を行う第２機械学習モデル、および、当該信頼度が低下する可能性を考慮すべき複数の車両周辺情報の任意の複数の組合せを除いた車両周辺情報を入力として推論を行う第２機械学習モデルを備えるものとする。

以上のように、実施の形態１によれば、自動運転制御装置１は、複数のセンサ（カメラ２１、ミリ波レーダ２２）からそれぞれ出力された複数の車両周辺情報を取得する情報取得部１１と、情報取得部１１が取得した複数の車両周辺情報と、機械学習モデル１３とに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部１２と、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部１４と、監視部１４により、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定された場合、当該信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部１２を制御する制御部１５を備えるように構成した。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３とに基づいて、自動運転制御量を推論して出力する自動運転制御装置１において、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

より詳細には、実施の形態１に係る自動運転制御装置１において、制御量推論部１２は、情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき第１自動運転制御量を推論する第１制御量推論部１２１と、情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２とに基づき第２自動運転制御量を推論する第２制御量推論部１２２とを含み、制御部１５は、監視部１４により、複数の車両周辺情報のうち、第２機械学習モデル１３２に入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するように、制御量推論部１２を制御するように構成した。そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３とに基づいて、自動運転制御量を推論して出力する自動運転制御装置１において、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

実施の形態２．
実施の形態１では、複数のセンサのうち一部の１または複数のセンサから出力される車両周辺情報に実質的に問題は生じることはない一方、複数のセンサのうち他の１または複数のセンサから出力される車両周辺情報には、問題が比較的生じ易いものであることを前提とした。具体的には、実施の形態１においてセンサに含まれるカメラ２１とミリ波レーダ２２のうち、カメラ２１から出力される撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ２２から出力される距離情報については、問題が比較的生じ易いことを前提とした。
実施の形態２では、複数のセンサのうち少なくとも１つがカメラ２１である場合を想定する。そして、複数のセンサはいずれも、故障する可能性が、無視できる程度に低い一方、カメラ２１から出力される撮影画像については、例えば気象の影響により、比較的問題が生じ易いものであることを前提とし、当該撮影画像の信頼度が低下した場合であっても、自動運転制御装置１が、車両１００の自動運転制御に適した自動運転制御量の推論を行う実施の形態について説明する。

実施の形態２に係る自動運転制御装置１ａは、実施の形態１に係る自動運転制御装置１同様、車両１００に搭載されることを想定している。
実施の形態２では、後述する図４に示すとおり、センサは、カメラ２１、および、ミリ波レーダ２２である。上述のとおり、実施の形態２においては、カメラ２１もミリ波レーダ２２も、故障する可能性が、無視できる程度に低い一方、カメラ２１から出力される撮影画像については、例えば気象の影響により、比較的問題が生じ易いものであることを前提とする。
自動運転制御装置１ａは、実施の形態１同様、カメラ２１から出力される撮影画像、および、ミリ波レーダ２２から出力される距離情報を、車両周辺情報として取得する。また、実施の形態２では、車両１００にＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）２３が搭載されており、自動運転制御装置１ａは、ＧＮＳＳ２３から出力される車両１００の現在位置に関する情報を、撮影画像の信頼度が低下しているか否かを判定するための情報として取得する。

図４は、実施の形態２に係る自動運転制御装置１ａの構成例を示す図である。
実施の形態２に係る自動運転制御装置１ａについて、実施の形態１で図２を用いて説明した自動運転制御装置１と同じ構成には、同じ符号を付して重複した説明を省略する。実施の形態２に係る自動運転制御装置１ａの構成は、実施の形態１に係る自動運転制御装置１の構成とは、気象判定部１６を備える点が異なる。また、制御量推論部１２ａの第２制御量推論部１２２ａ、および、監視部１４ａの具体的な動作が、実施の形態１に係る自動運転制御装置１の第２制御量推論部１２２、および、監視部１４の具体的な動作とは、異なる。

上述のとおり、実施の形態２では、カメラ２１から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。したがって、撮影画像の信頼度が低下した場合に備えるため、実施の形態２に係る第２機械学習モデル１３２ａは、情報取得部１１がミリ波レーダ２２から取得した距離情報を入力として第２自動運転制御量を出力するものとなっている。第２制御量推論部１２２ａは、情報取得部１１がミリ波レーダ２２から取得した距離情報と第２機械学習モデル１３２ａとに基づき、第２自動運転制御量を推論する。

情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を、車両周辺情報として取得する。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２ａ、および、監視部１４ａに出力する。

気象判定部１６は、ＧＮＳＳ２３から車両１００の現在位置に関する情報を取得する。また、気象判定部１６は、インターネット等のネットワークを介して、後述のクラウド気象サーバ５から気象情報を取得する。気象判定部１６は、ＧＮＳＳ２３から取得した車両１００の現在位置に関する情報と、クラウド気象サーバ５から取得した気象情報とに基づき、車両１００周辺の気象を判定する。気象判定部１６は、例えば、車両１００周辺に霧または降水があるか否かを判定する。
ここで、気象判定部１６が判定する、霧がある状態または降水がある状態とは、カメラ２１から出力された撮影画像の信頼度が、自動運転制御量の推論に適さないほどに低下したものとなるような、濃霧の状態または激しい降水の状態である。カメラ２１自体が故障していない場合でも、車両１００の周辺に濃霧または激しい降水がある場合、カメラ２１から出力された撮影画像には、車両１００の周辺に存在する他車両等が明確には撮影されていないことがあるため、このような撮影画像は、自動運転制御量の推論に適さないものとなる。
なお、気象判定部１６が、霧または降水があるか否かを判定する対象となる、車両１００周辺とは、例えば、車両１００の現在地を中心とした周囲１ｋｍ以内というように、予め決められているものとする。
クラウド気象サーバ５は、気象状況に関する情報を配信するサーバである。
気象判定部１６は、判定した、車両１００周辺の気象に関する情報を、監視部１４ａに出力する。

監視部１４ａは、気象判定部１６から出力された気象に関する情報に基づき、カメラ２１から出力された撮影画像の信頼度が低下しているか否かを判定する。
具体的には、監視部１４ａは、例えば、気象判定部１６が車両１００周辺に霧または降水があると判定した場合、カメラ２１から得られた撮影画像の信頼度が低下していると判定する。

実施の形態２に係る自動運転制御装置１ａの動作について説明する。
図５は、実施の形態２に係る自動運転制御装置１ａの動作を説明するためのフローチャートである。

情報取得部１１は、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する。具体的には、情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を、車両周辺情報として取得する。また、気象判定部１６は、ＧＮＳＳ２３から車両１００の現在位置に関する情報を取得する（ステップＳＴ５０１）。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２ａおよび監視部１４ａに出力する。

制御量推論部１２ａの第１制御量推論部１２１は、ステップＳＴ５０１にて情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する。具体的には、第１制御量推論部１２１は、ステップＳＴ５０１にて情報取得部１１がカメラ２１から取得した撮影画像と、ステップＳＴ５０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する（ステップＳＴ５０２）。第１制御量推論部１２１は、推論した第１自動運転制御量を選択部１２３に出力する。

制御量推論部１２ａの第２制御量推論部１２２ａは、ステップＳＴ５０１にて情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２ａとに基づき、第２自動運転制御量を推論する。具体的には、第２制御量推論部１２２ａは、ステップＳＴ５０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第２機械学習モデル１３２ａとに基づき、第２自動運転制御量を推論する（ステップＳＴ５０３）。
第２制御量推論部１２２ａは、推論した第２自動運転制御量を選択部１２３に出力する。

気象判定部１６は、ＧＮＳＳ２３から取得した車両１００の現在位置に関する情報と、クラウド気象サーバ５から取得した気象情報に基づき、車両１００周辺の気象を判定する（ステップＳＴ５０４）。気象判定部１６は、判定した、車両１００周辺の気象に関する情報を、監視部１４ａに出力する。

監視部１４ａは、ステップＳＴ５０４にて気象判定部１６から出力された気象に関する情報に基づき、カメラ２１から得られた撮影画像の信頼度が低下しているか否かを判定する。
具体的には、監視部１４ａは、気象判定部１６から出力された気象に関する情報に基づき、例えば、車両１００周辺に霧または降水があるか否かを判定する（ステップＳＴ５０５）。

ステップＳＴ５０５にて、車両１００周辺に霧も降水もないと判定した場合（ステップＳＴ５０５の“ＮＯ”の場合）、監視部１４ａは、カメラ２１から取得された撮影画像の信頼度は低下していないと判定し、撮影画像の信頼度は低下していない旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ５０２にて第１制御量推論部１２１が推論した第１自動運転制御量を出力するよう、制御量推論部１２ａを制御する。選択部１２３は、第１自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ５０６）。

ステップＳＴ５０５において、車両１００周辺に霧または降水があると判定した場合（ステップＳＴ５０５の“ＹＥＳ”の場合）、監視部１４ａは、カメラ２１から取得された撮影画像の信頼度が低下していると判定し、撮影画像の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ５０３にて第２制御量推論部１２２ａが推論した第２自動運転制御量を出力するよう、制御量推論部１２ａを制御する。選択部１２３は、第２自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ５０７）。

ステップＳＴ５０６またはステップＳＴ５０７の動作を行うと、自動運転制御装置１ａの動作は、ステップＳＴ５０１に戻り、以降の動作を繰り返す。

以上で説明した動作について、気象判定部１６が、ＧＮＳＳ２３から車両１００の現在位置に関する情報を取得する処理（図５のステップＳＴ５０１参照）、および、気象判定部１６が、ＧＮＳＳ２３から取得した車両１００の現在位置に関する情報と、クラウド気象サーバ５から取得した気象情報に基づき、車両１００周辺の気象を判定する処理（図５のステップＳＴ５０４、ステップＳＴ５０５参照）は、必ずしも毎回行わなくてもよい。例えば、以上で説明したステップＳＴ５０１～ステップＳＴ５０７の処理を行う間に、１分に１回だけ、行うようにしてもよい。気象判定部１６が、車両１００の位置情報と気象情報に基づき、車両１００周辺の気象を判定する処理を毎回行わない場合は、気象判定部１６は、クラウド気象サーバ５から取得した、最新の気象情報に基づき、車両１００周辺の気象を判定する。

以上のように、実施の形態２に係る自動運転制御装置１ａは、カメラ２１から出力された撮影画像の信頼度が、自動運転制御量の推論に適さないほどに低下したものとなるような、濃霧の状態または激しい降水の状態となるような気象状況下において、カメラ２１が撮影した撮影画像の信頼度が低下していることを判定する。自動運転制御装置１ａは、撮影画像の信頼度が低下していると判定した場合は、自動運転制御量の推論を、カメラ２１から出力される撮影画像を用いず、継続実施することができる。

なお、実施の形態２では、車両周辺情報を取得するために用いられる複数のセンサのうち少なくとも１つがカメラ２１であればよく、カメラ２１以外のセンサは、上記のミリ波レーダ２２に限られない。
ただし、カメラ２１以外のセンサとしては、カメラ２１から出力される撮影画像の信頼度が低下する気象条件において、当該センサから出力される車両周辺情報の信頼度が低下しないセンサが用いられることが必要である。

また、以上の実施の形態２では、自動運転制御装置１ａは、監視部１４ａが、撮影画像の信頼度が低下したか否かを判定する（図５のステップＳＴ５０５参照）よりも前に、第１制御量推論部１２１および第２制御量推論部１２２ａが、それぞれ、第１自動運転制御量および第２自動運転制御量の推論を行っているものとした（図５のステップＳＴ５０２およびステップＳＴ５０３参照）。しかし、これは一例に過ぎず、第１制御量推論部１２１または第２制御量推論部１２２ａは、監視部１４ａによる、撮影画像の信頼度が低下したか否かの判定を受けて、自動運転制御量の推論を行うようにしてもよい。具体的には、例えば、監視部１４ａにより撮影画像の信頼度が低下したと判定されると、制御部１５は、第２自動運転制御量を出力するように制御量推論部１２ａを制御する。制御量推論部１２ａが制御部１５から第２自動運転制御量を出力するように制御された場合に、第２制御量推論部１２２ａは、第２自動運転制御量を推論する。一方、監視部１４ａが、撮影画像の信頼度が低下していないと判定すると、制御部１５は、第１自動運転制御量を出力するように制御量推論部１２ａを制御する。制御量推論部１２ａが制御部１５から第１自動運転制御量を出力するように制御された場合に、第１制御量推論部１２１は、第１自動運転制御量を推論する。制御量推論部１２ａは、制御部１５の制御に基づいて、第１制御量推論部１２１が推論した第１自動運転制御量または第２制御量推論部１２２ａが推論した第２自動運転制御量を、車両制御部３に出力するようにする。このような構成とする場合、自動運転制御装置１ａは、選択部１２３を備えないようにすることができる。

以上のように、実施の形態２によれば、自動運転制御装置１ａは、複数のセンサ（カメラ２１、ミリ波レーダ２２）からそれぞれ出力された複数の車両周辺情報を取得する情報取得部１１と、情報取得部１１が取得した複数の車両周辺情報と、機械学習モデル１３ａとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部１２ａと、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部１４ａと、監視部１４ａにより、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定された場合、当該信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部１２ａを制御する制御部１５を備えるように構成した。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ａとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ａにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

より詳細には、実施の形態２に係る自動運転制御装置１ａにおいて、制御量推論部１２ａは、情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき第１自動運転制御量を推論する第１制御量推論部１２１と、情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２ａとに基づき第２自動運転制御量を推論する第２制御量推論部１２２ａとを含み、制御部１５は、監視部１４ａにより、複数の車両周辺情報のうち、第２機械学習モデル１３２ａに入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するように、制御量推論部１２ａを制御するように構成した。そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ａとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ａにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

実施の形態３．
実施の形態２では、複数のセンサのうち少なくとも１つがカメラ２１である場合を想定した。そして、複数のセンサはいずれも、故障する可能性が無視できる程度に低い一方、カメラ２１から出力される撮影画像については、例えば気象の影響により、比較的問題が生じ易いものであることを前提とした。そして、自動運転制御装置１ａが、車両１００周辺の気象に基づいて、カメラ２１から出力される撮影画像の信頼度が低下したか否かを判定し、当該撮影画像の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量の推論を行う実施の形態について説明した。
実施の形態３では、自動運転制御装置１ｂが、実施の形態２とは異なる方法で、カメラ２１から出力される撮影画像の信頼度が低下したか否かを判定する実施の形態について説明する。

実施の形態３に係る自動運転制御装置１ｂは、実施の形態１に係る自動運転制御装置１同様、車両１００に搭載されることを想定している。
実施の形態３では、後述する図６に示すとおり、センサは、カメラ２１、および、ミリ波レーダ２２である。上述のとおり、実施の形態３においては、カメラ２１もミリ波レーダ２２も、故障する可能性が、無視できる程度に低い一方、カメラ２１から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。

図６は、実施の形態３に係る自動運転制御装置１ｂの構成例を示す図である。
実施の形態３に係る自動運転制御装置１ｂについて、実施の形態１で図２を用いて説明した自動運転制御装置１と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態３に係る自動運転制御装置１ｂにおいて、制御量推論部１２ｂの第２制御量推論部１２２ｂ、および、監視部１４ｂの具体的な動作が、実施の形態１に係る自動運転制御装置１の第２制御量推論部１２２、および、監視部１４の具体的な動作とは、異なる。

上述のとおり、実施の形態３では、カメラ２１から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。したがって、撮影画像の信頼度が低下した場合に備えるため、実施の形態３に係る第２機械学習モデル１３２ｂは、情報取得部１１がミリ波レーダ２２から取得した距離情報を入力として第２自動運転制御量を出力するものとなっている。第２制御量推論部１２２ｂは、情報取得部１１がミリ波レーダ２２から取得した距離情報と第２機械学習モデル１３２ｂとに基づき、第２自動運転制御量を推論する。

監視部１４ｂは、情報取得部１１が取得した撮影画像の輝度に基づき、当該撮影画像の信頼度が低下しているか否かを判定する。
具体的には、監視部１４ｂは、例えば、情報取得部１１が取得した撮影画像の各画素の輝度の最大値が、予め設定された閾値（以下「輝度判定用閾値」という。）以下である場合、カメラ２１から得られた撮影画像の信頼度が低下していると判定する。輝度判定用閾値には、例えば、撮影画像のすべての画素が当該輝度判定用閾値以下の輝度となった場合に、撮影画像全体が物体を識別できないほど暗い画像となるような輝度の値が、予め設定されている。

ここで、図７は、実施の形態３において、画素の輝度が異なる撮影画像の一例を説明するための図である。図７Ａは、撮影画像のすべての画素が、当該撮影画像中の物体を十分識別できる輝度を有している場合の撮影画像の一例であり、図７Ｂは、撮影画像のすべての画素が、当該撮影画像中の物体を認識できないほど暗い画像となるような輝度を有している場合の撮影画像の一例であり、図７Ｃは、撮影画像のすべての画素が、当該撮影画像中の物体を認識できないほど明るい画像となるような輝度を有している場合の撮影画像の一例である。
例えば、撮影画像において、真っ黒な画素の輝度を「０」、真っ白な画素の輝度を「２５５」とした場合、輝度判定用閾値には「５」が設定される。
なお、図７Ｃに示すように、撮影画像が明るすぎても、撮影画像中の物体を認識できない。よって、例えば、輝度判定用閾値には、撮影画像のすべての画素が当該輝度判定用閾値以上の輝度となった場合に、撮影画像全体が物体を識別できないほど明るい画像となるような輝度の値が、予め設定されているようにしてもよい。この場合、監視部１４ｂは、情報取得部１１が取得した撮影画像の各画素の輝度の最小値が、輝度判定用閾値以上である場合、カメラ２１から得られた撮影画像の信頼度が低下していると判定する。例えば、撮影画像にいて、真っ黒な画素の輝度を「０」、真っ白な画素の輝度を「２５５」とした場合、輝度判定用閾値には「２５０」が設定される。

実施の形態３に係る自動運転制御装置１ｂの動作について説明する。
図８は、実施の形態３に係る自動運転制御装置１ｂの動作を説明するためのフローチャートである。

情報取得部１１は、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する。具体的には、情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を、車両周辺情報として取得する（ステップＳＴ８０１）。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２ｂおよび監視部１４ｂに出力する。

制御量推論部１２ｂの第１制御量推論部１２１は、ステップＳＴ８０１にて情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する。具体的には、第１制御量推論部１２１は、ステップＳＴ８０１にて情報取得部１１がカメラ２１から取得した撮影画像と、ステップＳＴ８０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する（ステップＳＴ８０２）。第１制御量推論部１２１は、推論した第１自動運転制御量を選択部１２３に出力する。

制御量推論部１２の第２制御量推論部１２２ｂは、ステップＳＴ８０１にて情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２ｂとに基づき、第２自動運転制御量を推論する。具体的には、第２制御量推論部１２２ｂは、ステップＳＴ８０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第２機械学習モデル１３２ｂとに基づき、第２自動運転制御量を推論する（ステップＳＴ８０３）。第２制御量推論部１２２ｂは、推論した第２自動運転制御量を選択部１２３に出力する。

監視部１４ｂは、情報取得部１１が取得した複数の車両周辺情報について、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する。具体的には、まず、監視部１４ｂは、ステップＳＴ８０１にて情報取得部１１がカメラ２１から取得した撮影画像を取得する（ステップＳＴ８０４）。
そして、監視部１４ｂは、ステップＳＴ８０４にて取得した撮影画像の各画素の輝度の最大値が輝度判定用閾値以下であるか否かを判定する（ステップＳＴ８０５）。

ステップＳＴ８０５において、撮影画像中の画素の輝度の最大値が輝度判定用閾値より大きいと判定した場合（ステップＳＴ８０５の“ＮＯ”の場合）、監視部１４ｂは、カメラ２１から取得された撮影画像の信頼度が低下していないと判定し、撮影画像の信頼度が低下していない旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ８０２にて第１制御量推論部１２１が推論した第１自動運転制御量を出力するよう、制御量推論部１２ｂを制御する。選択部１２３は、第１自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ８０６）。

ステップＳＴ８０５において、画像中の画素の輝度の最大値が輝度判定用閾値以下であると判定した場合（ステップＳＴ８０５の“ＹＥＳ”の場合）、監視部１４ｂは、カメラ２１から取得された撮影画像の信頼度が低下していると判定し、撮影画像の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ８０３にて第２制御量推論部１２２ｂが推論した第２自動運転制御量を出力するよう、制御量推論部１２ｂを制御する。選択部１２３は、第２自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ８０７）。

ステップＳＴ８０６またはステップＳＴ８０７の動作を行うと、自動運転制御装置１ｂの動作は、ステップＳＴ８０１に戻り、以降の動作を繰り返す。

以上のように、実施の形態３に係る自動運転制御装置１ｂは、カメラ２１から出力された撮影画像が、当該撮影画像の信頼度が、自動運転制御量の推論に適さないほどに低下したものとなるような、撮影画像中の物体を認識できない輝度を有する撮影画像である場合に、カメラ２１が撮影した撮影画像の信頼度が低下していることを判定する。自動運転制御装置１ｂは、撮影画像の信頼度が低下していると判定した場合、撮影画像を用いずに、自動運転制御量の推論を継続実施することができる。撮影画像中の物体を認識できない輝度を有する撮影画像とは、例えば、真っ暗闇な状況、カメラ２１の露出補正機能が不調な状況、または、カメラ２１の前に遮蔽物があって撮影できない状況で撮影された撮影画像をいう。このような状況下では、自動運転制御装置１ｂがカメラ２１から取得する撮影画像は、例えば、撮影画像中の物体を認識できないほど暗い画像、または、撮影画像中の物体を認識できないほど明るい画像となる。

なお、実施の形態３では、車両周辺情報を取得するために用いられる複数のセンサのうち少なくとも１つがカメラ２１であればよく、カメラ２１以外のセンサは、上記のミリ波レーダ２２に限られない。

以上のように、実施の形態３によれば、自動運転制御装置１ｂは、複数のセンサ（カメラ２１、ミリ波レーダ２２）からそれぞれ出力された複数の車両周辺情報を取得する情報取得部１１と、情報取得部１１が取得した複数の車両周辺情報と、機械学習モデル１３ｂとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部１２ｂと、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部１４ｂと、監視部１４ｂにより、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定された場合、当該信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部１２ｂを制御する制御部１５を備えるように構成した。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ｂとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ｂにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

より詳細には、実施の形態３に係る自動運転制御装置１ｂにおいて、制御量推論部１２ｂは、情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき第１自動運転制御量を推論する第１制御量推論部１２１と、情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２ｂとに基づき第２自動運転制御量を推論する第２制御量推論部１２２ｂとを含み、制御部１５は、監視部１４ｂにより、複数の車両周辺情報のうち、第２機械学習モデル１３２ｂに入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するように、制御量推論部１２ｂを制御するように構成した。そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ｂとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ｂにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

実施の形態４．
実施の形態２および実施の形態３では、複数のセンサのうち少なくとも１つがカメラ２１である場合を想定し、複数のセンサはいずれも、故障する可能性が無視できる程度に低い一方、カメラ２１から出力される撮影画像については、比較的問題が生じ易いものであることを前提とした。そして、自動運転制御装置１ａ、１ｂが、車両１００周辺の気象または撮影画像の画素の輝度に基づいて、カメラ２１から出力される撮影画像の信頼度が低下したか否かを判定し、当該撮影画像の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量の推論を行う実施の形態について説明した。
実施の形態４では、自動運転制御装置１ｃが、実施の形態２および実施の形態３とは異なる方法で、カメラ２１から出力される撮影画像の信頼度が低下したか否かを判定する実施の形態について説明する。

実施の形態４に係る自動運転制御装置１ｃは、実施の形態１～実施の形態３に係る自動運転制御装置１同様、車両１００に搭載されることを想定している。
実施の形態４では、後述の図９に示すように、センサは、カメラ２１、ミリ波レーダ２２である。実施の形態４でも、実施の形態２および実施の形態３同様、カメラ２１もミリ波レーダ２２も、故障する可能性が無視できる程度に低い一方、カメラ２１から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。
自動運転制御装置１ｃは、実施の形態１～３同様、カメラ２１から出力される撮影画像、および、ミリ波レーダ２２から出力される距離情報を、車両周辺情報として取得する。また、実施の形態４では、自動運転制御装置１ｃは、車両走行センサ２４から出力される、車両１００が走行しているか否かを判定するための情報（以下「車両走行情報」という。）を取得する。実施の形態４において、「車両１００が走行している」とは、「車両１００が移動している」ことと同義である。「車両１００が移動している」とは、「車両１００の速度が「０」でない」ことと同義である。

車両走行センサ２４は、車両走行情報を出力する。車両走行センサ２４は、車両１００が走行しているか否かを判断できる情報が出力されるものであればよく、車両走行センサ２４は、例えば、車輪の回転数を取得するセンサであってもよいし、車両１００の現在位置に関する情報を取得するＧＮＳＳ等であってもよい。
なお、車両１００が走行しているか否かの判定は、後述する走行判定部１７が、車両走行センサ２４から出力された車両走行情報に基づいて行う。

図９は、実施の形態４に係る自動運転制御装置１ｃの構成例を示す図である。
実施の形態４に係る自動運転制御装置１ｃについて、実施の形態１で図２を用いて説明した自動運転制御装置１と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態４に係る自動運転制御装置１ｃの構成は、実施の形態１に係る自動運転制御装置１の構成とは、走行判定部１７を備える点が異なる。また、実施の形態４に係る自動運転制御装置１ｃにおいて、制御量推論部１２ｃの第２制御量推論部１２２ｃ、および、監視部１４ｃの具体的な動作が、実施の形態１に係る自動運転制御装置１の第２制御量推論部１２２、および、監視部１４の具体的な動作とは、異なる。

上述のとおり、実施の形態４では、カメラ２１から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。したがって、撮影画像の信頼度が低下した場合に備えるため、実施の形態４に係る第２機械学習モデル１３２ｃは、情報取得部１１がミリ波レーダ２２から取得した距離情報を入力として第２自動運転制御量を出力するものとなっている。第２制御量推論部１２２ｃは、情報取得部１１がミリ波レーダ２２から取得した距離情報と第２機械学習モデル１３２ｃとに基づき、第２自動運転制御量を推論する。

情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を、車両周辺情報として取得する。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２ｃ、および、監視部１４ｃに出力する。

走行判定部１７は、車両走行センサ２４から取得した車両走行情報に基づき、車両１００が走行中であるか否かを判定する。
走行判定部１７は、判定した、車両１００が走行中であるか否かの情報を、監視部１４ｃに出力する。

監視部１４ｃは、走行判定部１７から取得した、車両１００が走行中であるか否かの情報と、情報取得部１１から取得した撮影画像とに基づき、撮影画像の信頼度が低下しているか否かを判定する。具体的には、監視部１４ｃは、車両１００が走行中であり、かつ、カメラ２１から取得した撮影画像で撮影されている車両１００周辺の風景が変化していないかどうかを判定する。監視部１４ｃは、情報取得部１１から取得した撮影画像と、記憶部に蓄積されている撮影画像とに基づき、撮影画像で撮影されている風景が変化していないかどうかを判定する。例えば、監視部１４ｃは、情報取得部１１から取得した撮影画像（「第１撮影画像」とする。）と、直近に記憶部に記憶された撮影画像（「第２撮影画像」とする。）とを画素単位で比較し、比較の結果、予め設定された比較条件を満たした場合、第１撮影画像で撮影されている風景に変化がないと判定する。予め設定された比較条件とは、例えば、第１撮影画像および第２撮影画像の各画素の画素値の差の絶対値の平均が、予め設定された閾値以下であること、である。なお、これは一例に過ぎず、比較条件には、第１撮影画像と第２撮影画像が同一であると判定できるような条件が設定されていればよい。実施の形態４において、第１撮影画像と第２撮影画像とが同一である、とは、完全に同一であることに限らず、ほぼ同一であることも含む。

監視部１４ｃは、車両１００は走行中であり、かつ、撮影画像で撮影されている車両１００周辺の風景が変化していない場合、撮影画像の信頼度が低下していると判定する。
車両１００が走行中である場合、撮影画像で撮影されている風景は、変化すると想定される。したがって、車両１００が走行中であるにもかかわらず、撮影画像で撮影されている風景に変化がないということは、撮影画像の信頼度が低下していることを意味する。
なお、実施の形態４では、自動運転制御装置１ｃにおいて、情報取得部１１は、カメラ２１から取得した撮影画像を、記憶部に蓄積させているものとする。監視部１４ｃは、情報取得部１１から取得した撮影画像と、記憶部に蓄積されている撮影画像とに基づき、撮影画像で撮影されている風景に変化がないかどうかを判定する。

実施の形態４に係る自動運転制御装置１ｃの動作について説明する。
図１０は、実施の形態４に係る自動運転制御装置１ｃの動作を説明するためのフローチャートである。

情報取得部１１は、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する。具体的には、情報取得部１１は、カメラ２１が撮影した撮影画像、および、ミリ波レーダ２２が計測した距離情報を、車両周辺情報として取得する。また、走行判定部１７は、車両走行センサ２４から車両走行情報を取得する（ステップＳＴ１００１）。情報取得部１１は、取得した車両周辺情報を、制御量推論部１２ｃおよび監視部１４ｃに出力する。

制御量推論部１２ｃの第１制御量推論部１２１は、ステップＳＴ１００１にて情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する。具体的には、第１制御量推論部１２１は、ステップＳＴ１００１にて情報取得部１１がカメラ２１から取得した撮影画像と、ステップＳＴ１００１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第１機械学習モデル１３１とに基づき、第１自動運転制御量を推論する（ステップＳＴ１００２）。第１制御量推論部１２１は、推論した第１自動運転制御量を選択部１２３に出力する。

制御量推論部１２ｃの第２制御量推論部１２２ｃは、ステップＳＴ１００１にて情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２ｃとに基づき、第２自動運転制御量を推論する。具体的には、第２制御量推論部１２２ｃは、ステップＳＴ１００１にて情報取得部１１がミリ波レーダ２２から取得した距離情報と、第２機械学習モデル１３２ｃとに基づき、第２自動運転制御量を推論する（ステップＳＴ１００３）。
第２制御量推論部１２２ｃは、推論した第２自動運転制御量を選択部１２３に出力する。

走行判定部１７は、車両走行センサ２４から取得した車両走行情報に基づき、車両１００が走行中であるか否かを判定する（ステップＳＴ１００４）。走行判定部１７は、判定した、車両１００が走行中であるか否かの情報を、監視部１４ｃに出力する。

監視部１４ｃは、過去にカメラ２１から取得した撮影画像が、記憶部に蓄積されているか否かを判定する（ステップＳＴ１００５）。
ステップＳＴ１００５において、撮影画像が記憶部に蓄積されていないと判定された場合（ステップＳＴ１００５の“ＮＯ”の場合）、監視部１４ｃは、カメラ２１から取得された撮影画像の信頼度は低下していないと判定し、撮影画像の信頼度は低下していない旨の監視結果情報を、制御部１５に出力する。自動運転制御装置１ｃの動作は、ステップＳＴ１００７に進む。

ステップＳＴ１００５において、撮影画像が記憶部に蓄積されていると判定された場合（ステップＳＴ１００５の“ＹＥＳ”の場合）、監視部１４ｃは、ステップＳＴ１００１にて情報取得部１１から出力された撮影画像、および、ステップＳＴ１００４にて走行判定部１７から出力された、車両１００が走行中であるか否かの情報に基づき、撮影画像の信頼度が低下しているか否かを判定する。具体的には、監視部１４ｃは、車両１００は走行中であり、かつ、撮影画像で撮影されている車両１００周辺の風景が変化していないかどうかを判定する（ステップＳＴ１００６）。

ステップＳＴ１００６において、監視部１４ｃが、車両１００は走行中ではないと判定した場合、または、撮影画像で撮影されている車両１００周辺の風景が変化していると判定した場合（ステップＳＴ１００６の“ＮＯ”の場合）、監視部１４ｃは、カメラ２１から取得された撮影画像の信頼度は低下していないと判定し、撮影画像の信頼度は低下していない旨の監視結果情報を、制御部１５に出力する。自動運転制御装置１ｃの動作は、ステップＳＴ１００７に進む。

ステップＳＴ１００７にて、制御部１５は、ステップＳＴ１００２にて第１制御量推論部１２１が推論した第１自動運転制御量を出力するよう、制御量推論部１２ｃを制御する。選択部１２３は、第１自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ１００７）。

一方、ステップＳＴ１００６において、車両１００は走行中であり、かつ、撮影画像で撮影されている車両１００周辺の風景が変化していないと判定した場合（ステップＳＴ１００６の“ＹＥＳ”の場合）、監視部１４ｃは、カメラ２１から取得された撮影画像の信頼度が低下していると判定し、撮影画像の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ１００３にて第２制御量推論部１２２ｃが推論した第２自動運転制御量を出力するよう、制御量推論部１２ｃを制御する。選択部１２３は、第２自動運転制御量を選択し、車両制御部３に出力する（ステップＳＴ１００８）。

ステップＳＴ１００７またはステップＳＴ１００８の動作を行うと、自動運転制御装置１ｃの動作は、ステップＳＴ１００１に戻り、以降の動作を繰り返す。

以上のように、実施の形態４に係る自動運転制御装置１ｃは、自動運転制御量を正しく推論できないような、走行する車両１００における車両周辺状況を適切に撮影できていない撮影画像しか取得できないような状況である場合、カメラ２１から取得された撮影画像の信頼度が低下していると判定する。自動運転制御装置１ｃは、撮影画像の信頼度が低下していると判定した場合、自動運転制御量の推論を、カメラ２１から出力される撮影画像を用いず、継続実施することができる。

なお、実施の形態４では、車両周辺情報を取得するために用いられる複数のセンサのうち少なくとも１つがカメラ２１であればよく、カメラ２１以外のセンサは、上記のミリ波レーダ２２に限られない。

以上のように、実施の形態４によれば、自動運転制御装置１ｃは、複数のセンサ（カメラ２１、ミリ波レーダ２２）からそれぞれ出力された複数の車両周辺情報を取得する情報取得部１１と、情報取得部１１が取得した複数の車両周辺情報と、機械学習モデル１３ｃとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部１２ｃと、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部１４ｃと、監視部１４ｃにより、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定された場合、当該信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部１２ｃを制御する制御部１５を備えるように構成した。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ｃとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ｃにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

より詳細には、実施の形態４に係る自動運転制御装置１ｃにおいて、制御量推論部１２ｃは、情報取得部１１が取得した複数の車両周辺情報の全部と第１機械学習モデル１３１とに基づき第１自動運転制御量を推論する第１制御量推論部１２１と、情報取得部１１が取得した複数の車両周辺情報の一部と第２機械学習モデル１３２ｃとに基づき第２自動運転制御量を推論する第２制御量推論部１２２ｃとを含み、制御部１５は、監視部１４ｃにより、複数の車両周辺情報のうち、第２機械学習モデル１３２ｃに入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するように、制御量推論部１２ｃを制御するように構成した。そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ｃとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ｃにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

実施の形態５．
実施の形態１に係る自動運転制御装置１において、センサから出力される車両周辺情報の信頼度が低下していると判定した場合に、当該信頼度が低下していることを示す情報を、自動運転制御装置１の外部に出力するようにすることもできる。
実施の形態５では、自動運転制御装置１が、センサから出力される車両周辺情報の信頼度が低下していると判定した場合に、当該信頼度が低下していることを示す情報を、自動運転制御装置１の外部に出力する実施の形態について説明する。

図１１は、実施の形態５に係る自動運転制御装置１ｄの構成例を示す図である。
実施の形態５に係る自動運転制御装置１ｄについて、実施の形態１で図２を用いて説明した自動運転制御装置１と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態５に係る自動運転制御装置１ｄの構成は、実施の形態１に係る自動運転制御装置１の構成とは、通知制御部１８を備えた点が異なる。

通知制御部１８は、制御部１５が第２自動運転制御量を出力するように制御量推論部１２を制御した場合、複数の車両周辺情報のうちの一部の車両周辺情報の信頼度が低下していることを示す通知情報を出力する。具体的には、通知制御部１８は、監視部１４により距離情報の信頼度が低下していると判定され、制御部１５が第２自動運転制御量を出力するよう制御量推論部１２を制御した場合に、ミリ波レーダ２２から出力される距離情報の信頼度が低下していることを示す通知情報を出力する。通知制御部１８は、通知情報を、自動運転制御装置１ｄとネットワークを介して接続されている出力装置（図示省略）に出力する。出力装置は、例えば、車両１００に搭載されているカーナビゲーションシステムが備えるディスプレイである。通知制御部１８は、ディスプレイに、通知情報を表示させる。
実施の形態５では、制御部１５は、監視部１４により、複数車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第２自動運転制御量を出力するよう制御するとともに、車両周辺情報の信頼度が低下していることを示す情報を、通知制御部１８に出力する。

ここで、図１２および図１３は、実施の形態５において、通知制御部１８が通知情報を表示させたディスプレイの画面例を示す図である。
通知制御部１８は、例えば、図１２に示すように、ミリ波レーダ２２から出力される距離情報の信頼度が低下していることを示す情報として、ディスプレイに、「ミリ波レーダが使用できません」とのメッセージを表示させる（図１２の１２０１参照）。このように、距離情報の信頼度が低下していることを示す情報には、例えば、信頼度が低下している車両周辺情報を出力するセンサが使用不可である旨のメッセージが含まれる。

また、通知制御部１８は、例えば、図１３に示すように、ミリ波レーダ２２から出力される距離情報の信頼度が低下していることを示す情報として、ディスプレイに、「現在車線変更機能は使用できません」とのメッセージを表示させる（図１３の１３０１参照）。このように、距離情報の信頼度が低下していることを示す情報には、例えば、信頼度が低下していると判断された車両周辺情報があることによって車両１００の自動運転制御に使用できない機能を通知するメッセージが含まれる。例えば、車両１００の自動運転の制御においてミリ波レーダ２２から出力される距離情報が使用できない場合、車線変更を行うことができない。

実施の形態５に係る自動運転制御装置１ｄの動作について説明する。
自動運転制御装置１ｄの動作は、実施の形態１において図３を用いて説明した動作と、基本的には同じであるため、フローチャートの図示は省略する。
ステップＳＴ３０５において、ステップＳＴ３０４にて取得した基準距離と、ステップＳＴ３０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報に基づく、車両１００から当該物体までの距離との差がレーダ判定用閾値より大きいと判定した場合（ステップＳＴ３０５の“ＮＯ”の場合）、監視部１４は、ミリ波レーダ２２から取得された距離情報の信頼度が低下していると判定し、距離情報の信頼度が低下している旨の監視結果情報を、制御部１５に出力する。
制御部１５は、ステップＳＴ３０３にて第２制御量推論部１２２が推論した第２自動運転制御量を出力するよう、制御量推論部１２を制御するとともに、車両周辺情報の信頼度が低下していることを示す情報を、通知制御部１８に出力する。通知制御部１８は、複数の車両周辺情報のうちの一部の車両周辺情報の信頼度が低下していることを示す通知情報を出力する。

このように、実施の形態５に係る自動運転制御装置１ｄは、制御部１５が第２自動運転制御量を出力するように制御量推論部１２を制御した場合、通知制御部１８が、複数の車両周辺情報のうちの一部の車両周辺情報の信頼度が低下していることを示す通知情報を出力する。これにより、自動運転制御装置１ｄは、車両１００の運転者等に対して、一部の車両周辺情報の信頼度が低下していることを知らせることができる。運転者等は、一部の車両周辺情報の信頼度が低下していることを確認すると、例えば、ミリ波レーダ２２のアンテナが汚れていないか確認し、当該アンテナが汚れていれば、掃除を行う。または、運転者等は、ミリ波レーダ２２の修理を行う。
また、実施の形態５に係る自動運転制御装置１ｄにおいて、通知制御部１８が、例えば、図１３に示すような通知情報を出力する場合、推論できる自動運転の機能が変更になったことを運転者等に通知することができる。これにより、自動運転制御装置１ｄは、運転者等に対して、期待していた自動運転の機能を使用できないことを把握させ、運転者等による、期待していた自動運転の機能が使用できないことへの混乱を防ぐことができる。なお、上述のとおり、通知制御部１８は、図１２に示すような通知情報を出力することも可能であるが、図１３に示すように、自動運転の制御における機能低下を通知したほうが、運転者等は、自動運転のどの機能が使用できないかを具体的に把握することができる。

以上の実施の形態５では、一例として、通知制御部１８が通知情報を出力する出力装置は、カーナビゲーションシステムが備えるディスプレイとしたが、これは一例に過ぎない。例えば、通知制御部１８が通知情報を出力する出力装置は、インストルメントパネルとし、通知制御部１８は、通知情報を、メッセージまたはアイコン等で表示させるようにしてもよい。また、通知制御部１８は、通知情報を表示させることに限らず、音声にて出力するようにしてもよい。具体的には、例えば、出力装置をスピーカ等の音声出力装置とし、通知制御部１８は、通知情報を、音声出力装置から出力するようにしてもよい。通知制御部１８は、通知情報を、自動音声で出力するようにしてもよいし、単にブザー音として出力するようにしてもよい。また、通知制御部１８は、通知情報を、メッセージとしてディスプレイに表示させるとともに、音声またはブザー音として出力させるようにしてもよい。

また、以上で説明した実施の形態５に係る自動運転制御装置１ｄの構成を、上述の実施の形態２～４に適用してもよい。すなわち、実施の形態２に係る自動運転制御装置１ａ、実施の形態３に係る自動運転制御装置１ｂ、または、実施の形態４に係る自動運転制御装置１ｃにおいて、通知制御部１８を備えるようにし、通知制御部１８は、カメラ２１から取得した撮影画像の信頼度が低下していることを示す情報を出力するようにすることもできる。

以上のように、実施の形態５によれば、自動運転制御装置１ｄは、実施の形態１に係る自動運転制御装置１の構成に加え、制御部１５が第２自動運転制御量を出力するように制御量推論部１２を制御した場合、複数の車両周辺情報のうちの一部の車両周辺情報の信頼度が低下していることを示す通知情報を出力する通知制御部１８を備えるように構成した。そのため、自動運転制御装置１ｄは、センサから出力される車両周辺情報の信頼度が低下していると判定した場合に、当該信頼度が低下していることを、運転者等に通知することができる。

実施の形態６．
実施の形態１～５に係る自動運転制御装置１～１ｄは、複数のセンサから出力された複数の車両周辺情報について、信頼度が低下している車両周辺情報がない場合には第１機械学習モデル１３１を用い、信頼度が低下している車両周辺情報がある場合には第２機械学習モデル１３２，１３２ａ～１３２ｃを用いるものであった。
しかし、これらは一例に過ぎず、自動運転制御装置は、複数のセンサから出力された複数の車両周辺情報について、信頼度が低下している車両周辺情報がない場合にも、信頼度が低下している車両周辺情報がある場合にも、同じ１つの機械学習モデル１３を用いるものとすることも可能である。実施の形態６では、自動運転制御装置が、上記２つ場合のいずれでも、同じ１つの機械学習モデルを用いる実施の形態について説明する。

図１４は、実施の形態６に係る自動運転制御装置１ｅの構成例を示す図である。
なお、ここでは、一例として、実施の形態６に係る自動運転制御装置１ｅの構成および動作を、実施の形態１に係る自動運転制御装置１の構成および動作の一部が変更されたものとして説明する。しかし、実施の形態６に係る自動運転制御装置１ｅの構成および動作を、実施の形態２～５に係る自動運転制御装置１ａ～１ｄのいずれかの構成および動作を一部変更することで実現することもできる。

実施の形態６に係る自動運転制御装置１ｅについて、実施の形態１で図２を用いて説明した自動運転制御装置１と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態６に係る自動運転制御装置１ｅの構成は、実施の形態１に係る自動運転制御装置１の構成とは、制御量推論部１２ｅが、第１制御量推論部１２１、第２制御量推論部１２２、および、選択部１２３を備えず、機械学習モデル１３ｅが、第１機械学習モデル１３１および第２機械学習モデル１３２を備えない点が異なる。
また、実施の形態６に係る自動運転制御装置１ｅは、実施の形態１に係る自動運転制御装置１とは、制御部１５ｅの動作が異なる。

制御部１５ｅは、情報取得部１１が取得した複数の車両周辺情報の全部に、監視部１４による信頼度の判定結果に基づく情報有効フラグを付与する。情報有効フラグは、各車両周辺情報が、有効か無効かを示す情報である。つまり、ある車両周辺情報の信頼度が低下していない場合は、当該車両周辺情報が有効であることを示す情報有効フラグが付与される。また、ある車両周辺情報の信頼度が低下している場合は、当該車両周辺情報が無効であることを示す情報有効フラグが付与される。
実施の形態６では、後述の図１４に示すように、センサは、実施の形態１のセンサと同様に、カメラ２１、ミリ波レーダ２２である。また、実施の形態６では、実施の形態１の前提と同様に、カメラ２１の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ２２の距離情報については、比較的問題が生じ易いことを前提とする。
したがって、制御部１５ｅは、具体的には、監視部１４により、ミリ波レーダ２２から出力される距離情報の信頼度が低下していると判定された場合、カメラ２１から出力された撮影画像に情報有効フラグ「１」を付与し、ミリ波レーダ２２から出力された距離情報に情報有効フラグ「０」を付与する。実施の形態６では、一例として、情報有効フラグが「１」の場合、当該情報有効フラグが付与された車両周辺情報の信頼度が低下していないことを示し、情報有効フラグが「０」の場合、当該情報有効フラグが付与されたフラグ付き車両周辺情報の信頼度が低下していることを示すものとする。
以下、情報有効フラグが付与された車両周辺情報を、「フラグ付き車両周辺情報」という。
制御部１５ｅは、情報取得部１１が取得した複数の車両周辺情報の全部について情報有効フラグを付与して生成した、複数のフラグ付き車両周辺情報を、制御量推論部１２ｅに出力する。

制御量推論部１２ｅは、制御部１５ｅから複数のフラグ付き車両周辺情報を取得すると、当該複数のフラグ付き車両周辺情報の全部と、機械学習モデル１３ｅとに基づき、自動運転制御量を推論し、当該自動運転制御量を出力する。

機械学習モデル１３ｅは、制御部１５ｅから出力された複数のフラグ付き車両周辺情報の全部を入力とし、自動運転制御量を出力する。機械学習モデル１３ｅは、複数のフラグ付き車両周辺情報のうち、情報有効フラグとして「０」が付与された車両周辺情報の影響を除いて、自動運転制御量を推論できるように学習されたものである。このような学習は、例えば、機械学習モデル１３ｅへの入力となり得る複数のフラグ付き車両周辺情報と、当該複数のフラグ付き車両周辺情報のうち有効な車両周辺情報のみに基づき予め導出した理想的な自動運転制御量の正解とを組とした学習データに基づき行うことができる。

制御量推論部１２ｅは、上記の機械学習モデル１３ｅと、複数のフラグ付き車両周辺情報とに基づき、自動運転制御量を推論することで、信頼度が低下した車両周辺情報の影響を除いた自動運転制御量を推論して、当該自動運転制御量を出力することができる。ここで、「信頼度が低下した車両周辺情報の影響を除いた」とは、信頼度が低下した車両周辺情報の影響を完全に除いた状態だけでなく、自動運転制御の継続が可能な自動運転制御量が取得できる程度に、信頼度が低下した車両周辺情報の影響が実質的に除かれた状態を含むものである。

実施の形態６に係る自動運転制御装置１ｅの動作について説明する。
図１５は、実施の形態６に係る自動運転制御装置１ｅの動作を説明するためのフローチャートである。
図１５のステップＳＴ１５０１～ステップＳＴ１５０２の具体的な動作は、それぞれ、実施の形態１で説明した、図３のステップＳＴ３０１、ステップＳＴ３０４の具体的な動作と同様であるため、重複した説明を省略する。

監視部１４は、ミリ波レーダ２２から取得した距離情報の信頼度が低下しているか否かの判定処理を行う（ステップＳＴ１５０３）。具体的には、監視部１４は、ステップＳＴ１５０２にて取得した基準距離と、ステップＳＴ１５０１にて情報取得部１１がミリ波レーダ２２から取得した距離情報に基づく車両１００から当該物体までの距離との差を算出し、当該算出された差がレーダ判定用閾値以下であるか否かを判定する（ステップＳＴ１５０３）。ステップＳＴ１５０３の具体的な動作は、実施の形態１で説明した、図３のステップＳＴ３０５の具体的な動作と同様である。
算出された差がレーダ判定用閾値より大きいと判定した場合、監視部１４は、ミリ波レーダ２２から取得された距離情報の信頼度が低下していると判定し、距離情報の信頼度が低下している旨の監視結果情報を、制御部１５ｅに出力する。
一方、算出された差がレーダ判定用閾値以下であると判定した場合、監視部１４は、ミリ波レーダ２２から取得された距離情報の信頼度が低下していないと判定し、距離情報の信頼度が低下していない旨の監視結果情報を、制御部１５ｅに出力する。

制御部１５ｅは、ステップＳＴ１５０３にて監視部１４が判定した判定結果に基づき、車両周辺情報に情報有効フラグを付与する（ステップＳＴ１５０４）。具体的には、例えば、監視部１４が、ミリ波レーダ２２から取得された距離情報の信頼度が低下していると判定した場合、制御部１５ｅは、距離情報に情報有効フラグ「０」を付与する。制御部１５ｅは、距離情報を、監視部１４から取得すればよい。例えば、監視部１４が、ミリ波レーダ２２から取得された距離情報の信頼度が低下していないと判定した場合、制御部１５は、距離情報に情報有効フラグ「１」を付与する。
実施の形態６では、実施の形態１の前提と同様に、カメラ２１の撮影画像については、実質的に問題は生じることはない前提であるため、制御部１５ｅは、撮影画像には、常に情報有効フラグ「１」を付与する。
制御部１５ｅは、フラグ付き車両周辺情報を、制御量推論部１２ｅに出力する。

制御量推論部１２ｅは、制御部１５ｅから出力されたフラグ付き車両周辺情報と機械学習モデル１３ｅとに基づいて、車両１００の自動運転制御量を推論する（ステップＳＴ１５０５）。そして、制御量推論部１２ｅは、推論した自動運転制御量に基づく車両制御情報を車両制御部３に出力する（ステップＳＴ１５０６）。

このように、自動運転制御装置１ｅにおいて、制御量推論部１２ｅおよび機械学習モデル１３ｅを、それぞれ、１つのみ備えるようにすることもできる。これにより、入力される車両周辺情報の数に応じた複数の機械学習モデルを用意する必要がなくなり、車両周辺情報の数に応じた複数の機械学習モデルを用意しておく場合に比べ、より簡易な構成で、自動運転制御量の推論を行うことができる。
また、自動運転制御装置１ｅは、自動運転制御量の推論の際、車両周辺情報に情報有効フラグを付与して、車両周辺情報が、自動運転制御量の推論に使用されるのに有効か否かを判別できるようにした。これにより、自動運転制御装置１ｅは、複数のセンサのうち一部の１または複数のセンサから出力される車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に使用できる自動制御量を推論することができる。

以上のように、実施の形態６によれば、自動運転制御装置１ｅは、複数のセンサ（カメラ２１、ミリ波レーダ２２）からそれぞれ出力された複数の車両周辺情報を取得する情報取得部１１と、情報取得部１１が取得した複数の車両周辺情報と、機械学習モデル１３ｅとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部１２ｅと、情報取得部１１が取得した複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部１４と、監視部１４により、複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下していると判定された場合、当該信頼度が低下していると判定された車両周辺情報の影響を除いた自動運転制御量を出力するように、制御量推論部１２ｅを制御する制御部１５ｅを備えるように構成した。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３とに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ｅにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。

より詳細には、実施の形態６に係る自動運転制御装置１ｅにおいて、制御部１５ｅは、情報取得部１１が取得した複数の車両周辺情報の全部に、監視部１４による信頼度の判定結果に基づく情報有効フラグを付与するものであり、制御量推論部１２ｅは、制御部１５ｅが情報有効フラグを付与した複数の車両周辺情報の全部と、機械学習モデル１３ｅとに基づいて、自動運転制御量を推論して、当該自動運転制御量を出力するようにした。そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル１３ｅとに基づいて、自動運転制御量を推論して出力する自動運転制御装置１ｅにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両１００の自動運転制御に適した自動運転制御量を出力することができる。また、車両周辺情報の種類に応じて機械学習モデル１３ｅを用意しておく場合に比べ、より簡易な構成で、自動運転制御量の推論を行うことができる。

図１６Ａ，図１６Ｂは、実施の形態１～実施の形態６に係る自動運転制御装置１～１ｅのハードウェア構成の一例を示す図である。
実施の形態１～６において、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８の機能は、処理回路１６０１により実現される。すなわち、自動運転制御装置１～１ｅは、車両１００の自動運転を制御するための自動運転制御量の推論を行う処理回路１６０１を備える。
処理回路１６０１は、図１６Ａに示すように専用のハードウェアであっても、図１６Ｂに示すようにメモリ１６０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０５であってもよい。

処理回路１６０１が専用のハードウェアである場合、処理回路１６０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路１６０１がＣＰＵ１６０５の場合、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１６０２、メモリ１６０６等に記憶されたプログラムを実行するＣＰＵ１６０５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１６０２、メモリ１６０６等に記憶されたプログラムは、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１６０６とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ
Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、情報取得部１１については専用のハードウェアとしての処理回路１６０１でその機能を実現し、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８については処理回路１６０１がメモリ１６０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、自動運転制御装置１～１ｅは、センサ、車両制御部３、または、出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置１６０３および出力インタフェース装置１６０４を備える。

なお、以上の実施の形態１～６では、自動運転制御装置１～１ｅは、車両１００に搭載される車載装置とし、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８は、自動運転制御装置１～１ｅに備えられているものとした。
これに限らず、情報取得部１１と、制御量推論部１２～１２ｅと、監視部１４～１４ｃと、制御部１５，１５ｅと、気象判定部１６と、走行判定部１７と、通知制御部１８のうち、一部を車両１００の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで自動運転制御システムを構成するようにしてもよい。

図１７は、図２を用いて説明した実施の形態１に係る自動運転制御装置１がサーバ２００に備えられた自動運転制御システムの構成例を示す図である。
図１７に一例として示すような自動運転制御システムでは、自動運転制御装置１と車載装置とは、通信装置１０１および通信装置２０１を介して接続される。センサが取得した車両周辺情報は、通信装置１０１および通信装置２０１を介してサーバ２００上の自動運転制御装置１に送信される。自動運転制御装置１は車載装置から受信した車両周辺情報に基づき、自動運転制御量を推論する。そして、自動運転制御装置１が推論した自動運転制御量が、通信装置２０１および通信装置１０１を介して車載装置に搭載されている車両制御部３に送信される。車両制御部３は、取得した自動運転制御量に基づき、制御対象機器４を制御する。

なお、ここでは、一例として、自動運転制御装置１のすべての機能がサーバ２００に備えられるものとしたが、自動運転制御装置１の一部の機能がサーバ２００に備えられるものとしてもよい。例えば、自動運転制御装置１の情報取得部１１および監視部１４が車載装置に備えられ、自動運転制御装置１のその他の機能がサーバ２００に備えられるものとすることもできる。
また、図１７は、一例として、自動運転制御システムは、実施の形態１に係る自動運転制御装置１がサーバ２００に備えられたものとしているが、当該自動運転制御システムは、実施の形態２～６に係る自動運転制御装置１ａ～１ｅのいずれかがサーバ２００に備えられたものとしてもよい。自動運転制御システムを、実施の形態２～６に係る自動運転制御装置１ａ～１ｅのいずれかがサーバ２００に備えられたものとした場合、図１７に示すような構成例において、自動運転制御装置１ａ～１ｅの機能の一部または全部が、サーバ２００に備えられる。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る自動運転制御装置は、車両の自動運転制御を行う自動運転制御装置に適用することができる。

１～１ｅ 自動運転制御装置、１１ 情報取得部、１２～１２ｃ，１２ｅ 制御量推論部、１２１ 第１制御量推論部、１２２～１２２ｃ 第２制御量推論部、１２３ 選択部、１３～１３ｃ，１３ｅ 機械学習モデル、１３１ 第１機械学習モデル、１３２～１３２ｃ 第２機械学習モデル、１４～１４ｃ 監視部、１５，１５ｅ 制御部、１６ 気象判定部、１７ 走行判定部、１８ 通知制御部、２１ カメラ、２２ ミリ波レーダ、２３ ＧＮＳＳ、２４ 車両走行センサ、３ 車両制御部、４ 制御機器、２００ サーバ、１０１，２０１ 通信装置、１６０１ 処理回路、１６０２ ＨＤＤ、１６０３ 入力インタフェース装置、１６０４ 出力インタフェース装置、１６０５ ＣＰＵ、１６０６
メモリ。

Claims (14)

1. 複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する情報取得部と、
   前記情報取得部が取得した前記複数の車両周辺情報と、機械学習モデルとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部と、
   前記情報取得部が取得した前記複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部と、
   前記監視部により、前記複数の車両周辺情報のうちいずれかの車両周辺情報の前記信頼度が低下していると判定された場合、前記信頼度が低下していると判定された車両周辺情報を除いて前記自動運転制御量を出力するよう学習済みの前記機械学習モデルを用いて、当該信頼度が低下していると判定された車両周辺情報の影響を除いた前記自動運転制御量を出力するように、前記制御量推論部を制御する制御部
   を備えた自動運転制御装置。
2. 前記制御量推論部は、前記情報取得部が取得した前記複数の車両周辺情報の全部と第１機械学習モデルとに基づき第１自動運転制御量を推論する第１制御量推論部と、前記情報取得部が取得した前記複数の車両周辺情報の一部と第２機械学習モデルとに基づき第２自動運転制御量を推論する第２制御量推論部とを含み、
   前記制御部は、前記監視部により、前記複数の車両周辺情報のうち、前記第２機械学習モデルに入力される前記複数の車両周辺情報の一部以外の車両周辺情報の前記信頼度が低下していると判定された場合、前記第２自動運転制御量を出力するように、前記制御量推論部を制御する
   ことを特徴とする請求項１記載の自動運転制御装置。
3. 前記制御量推論部は、前記第１自動運転制御量、または、前記第２自動運転制御量のうち、いずれを出力するかを選択する選択部を備え、
   前記選択部は、前記制御量推論部が前記制御部により前記第２自動運転制御量を出力するように制御された場合、前記第２自動運転制御量を選択して出力する
   ことを特徴とする請求項２記載の自動運転制御装置。
4. 前記第２制御量推論部は、前記制御量推論部が前記制御部により前記第２自動運転制御量を出力するように制御された場合に、前記第２自動運転制御量を推論する
   ことを特徴とする請求項２記載の自動運転制御装置。
5. 前記制御部は、前記情報取得部が取得した前記複数の車両周辺情報の全部に、前記監視部による前記信頼度の判定結果に基づく情報有効フラグを付与するものであり、
   前記制御量推論部は、前記制御部が前記情報有効フラグを付与した前記複数の車両周辺情報の全部と、前記機械学習モデルとに基づいて、前記自動運転制御量を推論して、当該自動運転制御量を出力する
   ことを特徴とする請求項１記載の自動運転制御装置。
6. 前記複数のセンサには、少なくとも、カメラおよびミリ波レーダが含まれ、
   前記情報取得部は、前記複数の車両周辺情報として、少なくとも、前記カメラが車両周辺に存在する物体を撮影した撮影画像、および、前記ミリ波レーダが計測した前記物体までの距離に関する距離情報を取得し、
   前記監視部は、前記情報取得部が取得した撮影画像に基づく前記物体までの距離と、前記情報取得部が取得した距離情報に基づく前記物体までの距離との差が、レーダ判定用閾値より大きい場合、前記ミリ波レーダから取得された距離情報の前記信頼度が低下していると判定する
   ことを特徴とする請求項１記載の自動運転制御装置。
7. 前記複数のセンサの１つは、カメラであり、
   前記情報取得部は、前記複数の車両周辺情報の１つとして、前記カメラが車両周辺を撮影した撮影画像を取得し、
   前記車両周辺の気象を判定する気象判定部を備え、
   前記監視部は、前記気象判定部が判定した気象に基づき、前記カメラから取得された撮影画像の前記信頼度が低下しているか否かを判定する
   ことを特徴とする請求項１記載の自動運転制御装置。
8. 前記監視部は、前記気象判定部が前記車両周辺に霧または降水があると判定した場合、前記カメラから取得された撮影画像の前記信頼度が低下していると判定する
   ことを特徴とする請求項７記載の自動運転制御装置。
9. 前記複数のセンサの１つは、カメラであり、
   前記情報取得部は、前記複数の車両周辺情報の１つとして、前記カメラが車両周辺を撮影した撮影画像を取得し、
   前記監視部は、前記情報取得部が取得した撮影画像の輝度に基づき、前記カメラから取得された撮影画像の前記信頼度が低下しているか否かを判定する
   ことを特徴とする請求項１記載の自動運転制御装置。
10. 前記複数のセンサの１つは、カメラであり、
    前記情報取得部は、前記複数の車両周辺情報の１つとして、前記カメラが車両周辺を撮影した撮影画像を取得し、
    車両が走行中であるか否かを判定する走行判定部を備え、
    前記監視部は、前記走行判定部が前記車両は走行中であると判定し、かつ、前記情報取得部が取得した撮影画像で撮影されている前記車両周辺の風景に変化がない場合、前記カメラから取得された撮影画像の前記信頼度が低下していると判定する
    ことを特徴とする請求項１記載の自動運転制御装置。
11. 前記制御部が前記第２自動運転制御量を出力するように前記制御量推論部を制御した場合、前記複数の車両周辺情報のうちの一部の車両周辺情報の前記信頼度が低下していることを示す通知情報を出力する通知制御部を備えた
    ことを特徴とする請求項２記載の自動運転制御装置。
12. 前記通知情報は、
    前記信頼度が低下していると判定された車両周辺情報を出力するセンサが使用不可である旨のメッセージである
    ことを特徴とする請求項１１記載の自動運転制御装置。
13. 前記通知情報は、
    前記信頼度が低下していると判断された車両周辺情報があることによって自動運転制御に使用できない機能を通知するメッセージである
    ことを特徴とする請求項１１記載の自動運転制御装置。
14. 情報取得部が、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得するステップと、
    制御量推論部が、前記情報取得部が取得した前記複数の車両周辺情報と、機械学習モデルとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力するステップと、
    監視部が、前記情報取得部が取得した前記複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定するステップと、
    制御部が、前記監視部により、前記複数の車両周辺情報のうちいずれかの車両周辺情報の前記信頼度が低下していると判定された場合、前記信頼度が低下していると判定された車両周辺情報を除いて前記自動運転制御量を出力するよう学習済みの前記機械学習モデルを用いて、当該信頼度が低下していると判定された車両周辺情報の影響を除いた前記自動運転制御量を出力するように、前記制御量推論部を制御するステップ
    を備えた自動運転制御方法。

Images