JP7370495B2 - 制御装置および制御方法 - Google Patents

Description

本開示は、種々の機器の制御を行うための制御量を推論する制御装置、および、制御方法に関する。

機械学習におけるニューラルネットワークで構成される学習済みモデル（以下、「機械学習モデル」という。）に基づき、制御を行う対象となる機器（以下「制御対象機器」という。）に対して、当該制御を行うための制御量を推論する技術が知られている。
一方、機械学習については、当該機械学習の精度が、アルゴリズムに加えて学習データの量または品質に大きく依存するため、従来、学習データに対する工夫がなされてきた。例えば、特許文献１には、多層ニューラルネットワークで作成されたモデルの作成に使用された入力項目が出力結果に与える寄与度を算出し、高寄与度の入力項目に基づいて高寄与度項目データセットを生成する技術が開示されている。

特開２０１８－１６９９５９号公報

機械学習におけるニューラルネットワークで構成される機械学習モデルは、あらゆる場面で信頼できる制御量を出力するとは限らない。機械学習モデルは、機械学習を行う際に学習対象とならなかった未知の状態に対する出力を保証できないためである。
したがって、特許文献１に開示されているような技術に代表される従来技術により学習データ等を改善しても、当該学習データ等を用いて作成された機械学習モデルに基づく、実際の制御量の推論時における推論結果が、妥当である、言い換えれば、信頼するに足る推論結果である保証はないという課題があった。

本開示は上記のような課題を解決するためになされたもので、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる制御装置を提供することを目的とする。

本開示に係る制御装置は、制御対象機器の周辺の状況に関する周辺状況情報を取得する周辺状況取得部と、周辺状況取得部が取得した周辺状況情報に基づき、制御対象機器の制御量を推論するとともに、制御量を推論する際に用いた、周辺状況情報における着目領域に関する着目領域情報を取得する制御量推論部と、周辺状況取得部が取得した周辺状況情報に基づき、制御対象機器の周辺に存在する物標の位置を検出する物標検出部と、制御量推論部が取得した着目領域情報と、物標検出部が検出した物標の位置に関する物標位置情報とに基づき、着目領域と物標位置の比較を行い、着目領域と物標位置との一致度を算出し、算出した一致度に応じて、制御量推論部が推論した制御量の信頼度を判定する信頼度判定部とを備えた。

本開示によれば、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。

実施の形態１に係る制御装置の構成例を示す図である。 実施の形態１に係る制御装置における制御量推論部の構成について、詳細に説明するための図である。 実施の形態１に係る制御装置の動作を説明するためのフローチャートである。 図４Ａおよび図４Ｂは、実施の形態１に係る制御装置のハードウェア構成の一例を示す図である。 実施の形態２に係る制御装置の構成例を示す図である。 実施の形態２に係る制御装置における制御量推論部の構成について、詳細に説明するための図である。 実施の形態２において、着目物標データベースが保持するシナリオ別物標情報の内容の一例のイメージを示す図である。 実施の形態２に係る制御装置の動作を説明するためのフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る制御装置は、制御対象機器の制御を行うための制御量を推論する。
実施の形態１において、制御対象機器は、自動運転可能な車両を想定している。制御装置は、自動運転可能な車両における自動運転制御を行う。具体的には、制御装置は、車両のハンドル制御、スロットル制御、および、ブレーキ制御を行うことで、車両における自動運転制御を行うことを想定している。よって、実施の形態１において、制御装置が推論する、制御装置が車両の自動運転制御を行うための制御量は、ハンドル操舵角、スロットル開度、および、ブレーキ量を想定している。
以下の実施の形態１において、制御装置が推論するハンドル操舵角、スロットル開度、および、ブレーキ量を、まとめて「車両の制御量」ともいう。
制御装置は、推論した車両の制御量に基づいて車両のハンドル制御、スロットル制御、および、ブレーキ制御を行うことで、車両の加減速および操舵を調整する。

図１は、実施の形態１に係る制御装置１の構成例を示す図である。
制御装置１は、車両１００に搭載される。
制御装置１は、カメラ２、レーダ３、制御決定部１５と接続される。制御決定部１５は、アクチュエータ１６と接続される。
カメラ２、レーダ３、制御決定部１５、および、アクチュエータ１６は、車両１００に搭載される。
図１では、制御決定部１５は、制御装置１の外部に備えられているが、制御決定部１５は、制御装置１に備えられてもよい。図１に示すように、制御決定部１５が制御装置１の外部に備えられる場合、例えば、制御決定部１５は、車両１００に搭載され、車両１００の運転制御を行う自動運転制御装置（図示省略）に備えられる。

カメラ２は、車両１００の周辺を撮像する。カメラ２は、車両１００の周辺を撮像した画像（以下「撮像画像」という。）を、制御装置１に出力する。

レーダ３は、車両１００の周辺に存在する他車両等の物標を検出する。
なお、カメラ２の撮像範囲と、レーダ３の物標検出範囲は重複していることを前提とする。
レーダ３は、検出した物標までの距離を示す情報（以下「距離情報」という。）を、制御装置１に出力する。距離情報には、車両１００と物標との距離、および、車両１００から見た物標の位置および角度に関する情報が含まれる。
実施の形態１において、物標とは、車両１００の制御に影響を与え得る物体をいう。具体的には、実施の形態１において、物標とは、歩行者、自転車、または、他車両等の他の交通参加者、道路、道路標示、道路標識、信号、または、看板等をいう。物標は、車両１００の制御内容に応じて予め決められている。

制御装置１は、カメラ２から出力された撮像画像、および、レーダ３から出力された距離情報を、車両１００周辺の状況に関する情報（以下「周辺状況情報」という。）として取得する。制御装置１は、取得した周辺状況情報に基づいて、車両１００の制御量を推論する。具体的には、制御装置１は、取得した周辺状況情報に含まれる撮像画像に基づいて、車両１００の制御量を推論する。また、制御装置１は、周辺状況情報に基づき、推論した車両１００の制御量が、制御対象機器、言い換えれば、車両１００、の制御を行うのにどれぐらい信頼に足るものであるかを示す度合い（以下「信頼度」という。）を判定する。
制御装置１は、推論した車両１００の制御量、および、当該制御量の信頼度に関する情報を、制御決定部１５に出力する。制御決定部１５およびアクチュエータ１６の詳細については、後述する。

制御装置１は、周辺状況取得部１１、制御量推論部１２、物標検出部１３、および、信頼度判定部１４を備える。周辺状況取得部１１は、撮像画像取得部１１１および距離情報取得部１１２を備える。

周辺状況取得部１１は、カメラ２およびレーダ３から周辺状況情報を取得する。
具体的には、周辺状況取得部１１の撮像画像取得部１１１は、カメラ２から、車両１００の周辺を撮像した撮像画像を取得する。周辺状況取得部１１の距離情報取得部１１２は、レーダ３から、車両１００の周辺に存在する物標までの距離情報を取得する。
周辺状況取得部１１は取得した周辺状況情報を制御量推論部１２および物標検出部１３に出力する。なお、ここでは、周辺状況取得部１１は、制御量推論部１２に対して周辺状況情報を出力するものとするが、これに限らず、周辺状況取得部１１は、少なくとも、撮像画像取得部１１１が取得した撮像画像を、制御量推論部１２に出力すればよい。

制御量推論部１２は、周辺状況取得部１１が取得した周辺状況情報に基づき、車両１００の制御量を推論するとともに、制御量を推論する際に用いた、周辺状況情報における着目すべき領域（以下「着目領域」という。）に関する情報（以下「着目領域情報」という。）を取得する。
より詳細には、制御量推論部１２は、周辺状況取得部１１が取得した周辺状況情報に含まれる撮像画像に基づき、車両１００の制御量を推論するとともに、当該制御量を推論する際の、撮像画像における着目領域に関する着目領域情報を取得する。

ここで、図２は、実施の形態１に係る制御装置１における制御量推論部１２の構成について、詳細に説明するための図である。
図２に示すように、制御量推論部１２は、制御量推論ネットワーク１２０を保持する。
制御量推論ネットワーク１２０は、周辺状況取得部１１から出力された周辺状況情報に含まれる撮像画像を入力とし、車両１００の制御量を出力するニューラルネットワークで構成される。すなわち、制御量推論ネットワーク１２０は、撮像画像を入力とし、車両１００の制御量を出力する機械学習モデルである。

制御量推論ネットワーク１２０は、入力層１２１、畳み込み層１２２、アテンション層１２３、特徴量生成層１２４、全結合層１２５、および、出力層１２６を有する。
制御量推論ネットワーク１２０は、入力層１２１で撮像画像を受け取り、畳み込み層１２２で当該撮像画像に対して畳み込み処理を行う。アテンション層１２３は、入力された撮像画像における着目領域をあらわす着目領域情報を有しており、制御量推論ネットワーク１２０は、当該アテンション層１２３のパラメータと、畳み込み層１２２の畳み込み結果とに基づき、特徴量生成層１２４で生成された潜在的な特徴量を抽出する。制御量推論ネットワーク１２０は、全結合層１２５で、特徴量生成層１２４で生成された潜在的な特徴量に対して車両１００の制御量を推論する。そして、制御量推論ネットワーク１２０は、出力層１２６で、推論した車両１００の制御量の出力を行う。

制御量推論ネットワーク１２０は、なるべく適切な車両１００の制御量を出力するよう事前に学習済みであり、当該学習の過程で、意味のある領域に正しく着目するようアテンション層１２３も同時に学習済みである。
すなわち、制御量推論ネットワーク１２０が出力する車両１００の制御量が適切な制御量である場合、アテンション層１２３が着目する着目領域は、適切な制御量を抽出するのに有用な領域であるといえる。なお、逆に、制御量推論ネットワーク１２０が出力する車両１００の制御量が適切な制御量でない場合、アテンション層１２３が着目する着目領域は、適切な制御量を抽出するのに有用な領域ではないといえる。例えば、制御量推論ネットワーク１２０に未知の撮像画像が入力された場合、アテンション層１２３は、適切な車両１００の制御量を抽出するのに有用な着目領域をあらわす着目領域情報を有しておらず、制御量推論ネットワーク１２０は適切な車両１００の制御量を出力できない。

制御量推論部１２は、上述したような制御量推論ネットワーク１２０を用いて、周辺状況取得部１１、より詳細には撮像画像取得部１１１によって取得された車両１００周辺の撮像画像に基づく車両１００の制御量を推論するとともに、当該制御量を推論する際の、撮像画像における着目領域に関する着目領域情報、言い換えれば、アテンション層１２３が有する着目領域情報を、制御量推論ネットワーク１２０から取得する。
制御量推論部１２は、推論した車両１００の制御量に関する情報を制御決定部１５に出力する。また、制御量推論部１２は、取得した着目領域情報を、信頼度判定部１４に出力する。

物標検出部１３は、周辺状況取得部１１が取得した周辺状況情報、言い換えれば、撮像画像取得部１１１がカメラ２から取得した撮像画像、および、距離情報取得部１１２がレーダ３から取得した距離情報に基づき、車両１００の周辺に存在する物標の位置を検出する。実施の形態１において、物標検出部１３は、物標の位置を、周辺状況情報に含まれる撮像画像における物標の位置として検出する。
実施の形態１において、撮像画像における物標の位置は、撮像画像上の画素であらわされる。物標検出部１３は、撮像画像において物標がうつっている範囲を物標の位置とし、当該範囲に含まれている画素を、物標の位置を示す情報として検出する。

物標検出部１３は、例えば、距離情報を用いて、撮像画像において物標がうつっている範囲を特定すればよい。上述のとおり、距離情報には、レーダ３によって検出された物標の、車両１００から見た位置、角度、および、車両１００と物標との距離に関する情報が含まれる。また、車両１００に搭載されているカメラ２の設置位置および画角は予めわかっている。よって、物標検出部１３は、距離情報と撮像画像に基づけば、撮像画像において、距離情報で示されている物標がどの範囲にうつっているか特定することができる。

また、例えば、物標検出部１３は、撮像画像に対して既知の画像認識処理技術を用いて、撮像画像にうつっている物標を検出してもよい。なお、この場合、物標検出部１３は、距離情報を必要としない。よって、周辺状況取得部１１は、距離情報取得部１１２を備えることを必須としない。

実施の形態１において、物標検出部１３が検出する物標は、当該物標の全体であっても、当該物標の一部であってもよい。具体例を挙げると、例えば、物標検出部１３は、他車両全体を物標として検出してもよいし、他車両のテールランプのみを、物標として検出してもよい。物標検出部１３が物標として他車両全体を検出する場合、物標の位置は、撮像画像において他車両全体がうつっている範囲に含まれている画素であらわされる。物標検出部１３が物標として他車両のテールランプのみを検出する場合、物標の位置は、撮像画像において当該テールランプがうつっている範囲に含まれている画素であらわされる。

物標検出部１３は、検出した物標の位置に関する情報（以下「物標位置情報」という。）を、信頼度判定部１４に出力する。実施の形態１では、物標位置情報は、撮像画像において物標がうつっている範囲の画素を示す情報である。

信頼度判定部１４は、制御量推論部１２から出力された着目領域情報と、物標検出部１３から出力された物標位置情報に基づき、制御量推論部１２が推論した車両１００の制御量の信頼度を判定する。
具体的には、信頼度判定部１４は、物標検出部１３から出力された物標位置情報に基づき着目領域と物標位置の比較を行い、着目領域と物標位置との一致度を算出し、算出した一致度に応じて、制御量推論部１２が推論した車両１００の制御量の信頼度を判定する。

例えば、自動運転制御装置等が車両１００を自動運転する際には、他の交通参加者、標識、表示、または、信号等、上述したような、予め決められている物標に着目すべきであり、雲または路傍の家等、予め決められた物標以外の物体等には着目する必要がないと考えられる。つまり、自動運転制御装置等が車両１００を自動運転する場合の当該車両１００の制御量は、物標以外の物体等ではなく、物標に着目して推論された制御量であるべきである。
一方、上述のとおり、制御量推論ネットワーク１２０が出力する車両１００の制御量が適切な制御量である場合、アテンション層１２３が着目する着目領域は、適切な制御量を抽出するのに有用な領域であるといえる。
そこで、制御装置１において、信頼度判定部１４は、着目領域が物標位置と一致しているか否か、言い換えれば、制御量推論ネットワーク１２０が車両１００の制御量の推論の際に物標に着目できているか否かによって、当該制御量推論ネットワーク１２０から出力される車両１００の制御量の信頼度を判定する。

信頼度判定部１４は、一致度が高い場合は高い信頼度を判定し、一致度が低い場合は低い信頼度を判定する。
例えば、信頼度判定部１４は、着目領域と物標位置との一致度を、着目領域と物標位置の重複度合いに基づいて算出する。また、例えば、信頼度判定部１４は、着目領域と物標位置との一致度を、撮像画像の画素単位で、着目領域および物標位置のいずれにも含まれているか否かを判定した結果に基づいて算出してもよい。また、例えば、信頼度判定部１４は、着目領域情報と物標位置情報とを入力とし、着目領域と物標位置との一致度を出力するニューラルネットワークを用いて、当該一致度を取得してもよい。なお、この場合のニューラルネットワークは、予め構築されているものとする。

信頼度判定部１４が判定する信頼度は、例えば、「高い」または「低い」のいずれかの離散的な値であらわされてもよいし、連続に変化する数値であらわされてもよい。
具体例を挙げると、例えば、信頼度判定部１４は、算出した一致度が、予め設定されている閾値（以下「一致度判定用閾値」という。）以上の場合、信頼度は「高い」とする。一方、信頼度判定部１４は、算出した一致度が一致度判定用閾値未満の場合、信頼度は「低い」とする。
また、例えば、信頼度判定部１４は、算出した一致度を分類分けし、分類分けされた分類によって、信頼度を判定するようにしてもよい。例えば、一致度が０～１００であらわされ、信頼度は０～１の数値であらわされるとすると、信頼度判定部１４は、一致度が０～２０の場合は信頼度「０．２」、一致度が２１～４０の場合は信頼度「０．４」、一致度が４１～６０の場合は信頼度「０．６」、一致度が６１～８０の場合は信頼度「０．８」、一致度が８１～１００の場合は信頼度「１」というように、信頼度を判定してもよい。

信頼度判定部１４は、判定した信頼度を、制御決定部１５に出力する。

制御決定部１５は、信頼度判定部１４から出力された信頼度に基づき、制御量推論部１２が推論した車両１００の制御量を、当該車両１００の制御量として採用するか否かを決定する。
例えば、制御決定部１５は、信頼度判定部１４から出力された信頼度と、予め設定されている閾値（以下「信頼度判定用閾値」という。）との比較によって、制御量推論部１２が推論した車両１００の制御量を採用するか否かを決定する。例えば、制御決定部１５は、信頼度判定部１４が判定した信頼度が信頼度判定用閾値を超えている場合、制御量推論部１２が推論した車両１００の制御量を採用すると決定する。一方、制御決定部１５は、信頼度判定部１４が判定した信頼度が信頼度判定用閾値以下である場合、制御量推論部１２が推論した車両１００の制御量を採用しないと決定する。

制御決定部１５は、制御量推論部１２が推論した車両１００の制御量を、当該車両１００の制御量として採用すると決定した場合、制御量推論部１２が推論した車両１００の制御量に関する情報を、アクチュエータ１６に出力する。
一方、制御決定部１５は、制御量推論部１２が推論した車両１００の制御量を、当該車両１００の制御量として採用しないと決定した場合、例えば、車両１００を自動運転から手動運転に切り替える。

アクチュエータ１６は、制御決定部１５から出力された車両１００の制御量に関する情報に基づき、車両１００の制御を行う。具体的には、アクチュエータ１６は、制御決定部１５から出力された車両１００の制御量に関する情報に基づき、ハンドル制御、スロットル制御、および、ブレーキ制御を行う。

なお、実施の形態１では、制御決定部１５は、信頼度判定部１４から出力された信頼度と信頼度判定用閾値との比較によって、アクチュエータ１６を介し車両１００に対して制御量推論部１２が推論した車両１００の制御量に基づく制御を行わせるか、当該制御量に基づく制御を行わず車両１００を手動運転に切り替えるかを決定するが、これは一例に過ぎない。制御決定部１５が、信頼度判定部１４から出力された信頼度に基づいて、どのような判定または制御を行うかは、適宜設定可能である。

制御決定部１５は、信頼度判定部１４から出力された信頼度に基づいて、アクチュエータ１６に出力する車両１００の制御量を調整することもできる。
例えば、制御決定部１５は、信頼度判定部１４から出力された信頼度に基づいて、制御量推論部１２が推論した車両１００の制御量と、制御量推論部１２とは別の制御量推論手段における制御量とを混ぜ合わせた制御量（以下「混合制御量」という。）を算出し、混合制御量をアクチュエータ１６に出力することもできる。なお、この一例では、制御装置１は、車両１００の制御量を推論する手段として、制御量推論部１２とは別の制御量推論手段を備えていることを前提としている。制御量推論部１２とは別の制御量推論手段は、適宜の手段とすることができ、例えば、制御装置１とは別の車載装置である。また、例えば、手動運転を制御量推論部１２とは別の制御量推論手段としてもよい。
制御決定部１５は、例えば、重み付き平均手法を用いて、信頼度判定部１４から出力された信頼度に基づき、混合制御量を算出する。
制御決定部１５が混合制御量を算出する方法について、具体例を挙げて説明する。なお、以下の具体例の説明では、制御量推論部１２とは別の制御量推論手段を、「代替制御」という。

＜具体例１＞
例えば、制御量推論部１２が推論した車両１００の制御量として、「アクセル：６０％、ブレーキ：０％、ステアリング：０°」が得られたとする。
一方、代替制御では、車両１００の制御量として、「アクセル：７０％、ブレーキ：０％、ステアリング：２０°」が得られたとする。
また、信頼度判定部１４から出力された信頼度は、「０．９」だったとする。
この場合、制御決定部１５は、アクセルの混合制御量を、以下の計算式によって、「６１％」と算出する。
６０×０．９＋７０×（１－０．９）＝６１
また、制御決定部１５は、ブレーキの混合制御量を、以下の計算式によって、「０％」と算出する。
０×０．９＋０×（１－０．９）＝０
また、制御決定部１５は、ステアリングの混合制御量を、以下の計算式によって、「２°」と算出する。
０×０．９＋２０×（１－０．９）＝２
そして、制御決定部１５は、車両１００の制御量として、混合制御量「アクセル：６１％、ブレーキ：０％、ステアリング：２°」を、アクチュエータ１６に出力する。

＜具体例２＞
例えば、制御量推論部１２が推論した車両１００の制御量として、＜具体例１＞同様、「アクセル：６０％、ブレーキ：０％、ステアリング：０°」が得られたとする。
また、代替制御でも、車両１００の制御量として、＜具体例１＞同様、「アクセル：７０％、ブレーキ：０％、ステアリング：２０°」が得られたとする。
しかし、信頼度判定部１４から出力された信頼度は、「０．１」だったとする。
この場合、制御決定部１５は、車両１００の制御量として、混合制御量「アクセル：６９％、ブレーキ：０％、ステアリング：１８°」を算出する。
なお、アクセルの混合制御量、ブレーキの混合制御量、および、ステアリングの混合制御量の計算に用いる計算式は、それぞれ、＜具体例１＞におけるアクセルの混合制御量、ブレーキの混合制御量、および、ステアリングの混合制御量の計算に用いる計算式と同様であるため重複した説明を省略する。
そして、制御決定部１５は、混合制御量「アクセル：６９％、ブレーキ：０％、ステアリング：１８°」を、アクチュエータ１６に出力する。

＜具体例１＞のように、信頼度判定部１４から出力された信頼度が高い場合、すなわち、制御量推論部１２が推論した車両１００の制御量の信頼度が高いといえる場合、制御決定部１５は、混合制御量として、制御量推論部１２が推論した車両１００の制御量に近い制御量を算出し、アクチュエータ１６に出力することになる。
一方、＜具体例２＞のように、信頼度判定部１４から出力された信頼度が低い場合、すなわち、制御量推論部１２が推論した車両１００の制御量の信頼度が低いといえる場合、制御決定部１５は、混合制御量として、代替制御による制御量に近い制御量を算出し、アクチュエータ１６に出力することになる。
このように、制御決定部１５は、制御量推論部１２が推論した車両１００の制御量について、信頼度判定部１４から出力された信頼度に応じて、実際にどれぐらい採用するかを調整することができる。

例えば、上述の例のように、制御決定部１５が、信頼度判定部１４から出力された信頼度と信頼度判定用閾値との比較によって、アクチュエータ１６を介し車両１００に対して制御量推論部１２が推論した車両１００の制御量に基づく制御を行わせるかを決定する場合、当該車両１００の制御量がある程度高い信頼度のものであっても、当該車両１００の制御量は、その信頼度が信頼度判定用閾値に満たないことによって採用されないことになる。しかし、ある程度高い信頼度の制御量も、ある程度、物標に基づいたものであるといえ、適切な制御量である可能性がある。
そこで、＜具体例１＞および＜具体例２＞のように、信頼度判定部１４から出力された信頼度に基づいて、制御量推論部１２が推論した車両１００の制御量と、制御量推論部１２とは別の制御量推論手段における制御量とを混ぜ合わせた混合制御量を算出可能とすることで、制御決定部１５は、制御量推論部１２が推論した車両１００の制御量を、その信頼度に応じた分だけ、アクチュエータ１６に出力する車両１００の制御量として採用することができる。

なお、例えば、制御決定部１５は、信頼度判定用閾値を用いてアクチュエータ１６に出力する車両１００の制御量を決定する方法と、混合制御量をアクチュエータ１６に出力する車両１００の制御量として決定する方法とを組み合わせてもよい。例えば、制御決定部１５は、信頼度判定部１４が判定した信頼度が信頼度判定用閾値を超えている場合、制御量推論部１２が推論した車両１００の制御量をアクチュエータ１６に出力する制御量として採用すると決定し、信頼度判定部１４が判定した信頼度が信頼度判定用閾値を超えていない場合、混合制御量を算出して、算出した混合制御量をアクチュエータ１６に出力する制御量として採用すると決定するようにしてもよい。

制御装置１の動作について説明する。
図３は、実施の形態１に係る制御装置１の動作を説明するためのフローチャートである。
なお、図３に示す制御装置１の動作は、制御決定部１５を備えた場合の制御装置１の動作としている。制御装置１は、図３のフローチャートに示す動作を、例えば、車両１００が自動運転中、繰り返し行う。

周辺状況取得部１１は、カメラ２およびレーダ３から周辺状況情報を取得する（ステップＳＴ１）。
具体的には、周辺状況取得部１１の撮像画像取得部１１１は、カメラ２から、車両１００の周辺を撮像した撮像画像を取得する。周辺状況取得部１１の距離情報取得部１１２は、レーダ３から、車両１００の周辺に存在する物標までの距離情報を取得する。
周辺状況取得部１１は取得した周辺状況情報を制御量推論部１２および物標検出部１３に出力する。

制御量推論部１２は、ステップＳＴ１にて周辺状況取得部１１が取得した周辺状況情報に基づき、車両１００の制御量を推論するとともに、制御量を推論する際に用いた、周辺状況情報における着目領域に関する着目領域情報を取得する（ステップＳＴ２）。
より詳細には、制御量推論部１２は、周辺状況取得部１１が取得した周辺状況情報に含まれる撮像画像に基づき、車両１００の制御量を推論するとともに、当該制御量を推論する際の、撮像画像における着目領域に関する着目領域情報を取得する。
制御量推論部１２は、推論した車両１００の制御量に関する情報を制御決定部１５に出力する。また、制御量推論部１２は、取得した着目領域情報を、信頼度判定部１４に出力する。

物標検出部１３は、ステップＳＴ１にて周辺状況取得部１１が取得した周辺状況情報、言い換えれば、撮像画像取得部１１１がカメラ２から取得した撮像画像、および、距離情報取得部１１２がレーダ３から取得した距離情報に基づき、物標の位置を検出する（ステップＳＴ３）。
物標検出部１３は、検出した物標の位置に関する物標位置情報を、信頼度判定部１４に出力する。

信頼度判定部１４は、ステップＳＴ２にて制御量推論部１２から出力された着目領域情報と、ステップＳＴ３にて物標検出部１３から出力された物標位置情報に基づき、制御量推論部１２が推論した車両１００の制御量の信頼度を判定する（ステップＳＴ４）。
信頼度判定部１４は、判定した信頼度を、制御決定部１５に出力する。

制御決定部１５は、例えば、ステップＳＴ４にて信頼度判定部１４から出力された信頼度に基づき、ステップＳＴ２にて制御量推論部１２が推論した車両１００の制御量を、当該車両１００の制御量として採用するか否かを決定する（ステップＳＴ５）。
制御決定部１５は、制御量推論部１２が推論した車両１００の制御量を当該車両１００の制御量として採用すると決定した場合、制御量推論部１２が推論した車両１００の制御量に関する情報を、アクチュエータ１６に出力する。
アクチュエータ１６は、制御決定部１５から出力された車両１００の制御量に関する情報に基づき、車両１００の制御を行う。
一方、制御決定部１５は、制御量推論部１２が推論した車両１００の制御量を、当該車両１００の制御量として採用しないと決定した場合、例えば、車両１００を自動運転から手動運転に切り替える。

なお、制御装置１の動作について、図３では、制御装置１は、ステップＳＴ２、ステップＳＴ３の順に実行したが、この順番は必須ではない。制御装置１は、ステップＳＴ３、ステップＳＴ２の順で実行してもよいし、ステップＳＴ２の動作とステップＳＴ３の動作を並行して実行してもよい。

制御量推論ネットワーク１２０のように、機械学習におけるニューラルネットワークで構成される機械学習モデルは、一般に、ありとあらゆる入力に対して適切な出力を行うことは保証し難い。これは、学習データとしてありとあらゆる状況を完璧に網羅することが困難だからである。つまり、機械学習モデルは、機械学習を行う際に学習対象とならなかった未知の状態に対する出力を保証できない。

一方、制御量推論ネットワーク１２０は、その学習過程において、様々な入力、すなわち、以上の実施の形態１では撮像画像、に対して、適切な車両１００の制御量の出力を学習するとともに、適切な領域に着目するようアテンション層１２３も同時に学習する。したがって、ある学習データに対する学習が終了し、制御量推論ネットワーク１２０が適切な車両１００の制御量を出力できるようになった場合、制御量推論ネットワーク１２０において、アテンション層１２３も適切な領域に着目するように学習ができていると考えることができる。逆に言えば、ある入力に対して適切な領域に着目できていない場合には、その入力に対して制御量推論ネットワーク１２０が出力する制御量は適切ではない可能性がある。仮に、適切ではない制御量を用いて車両１００が制御された場合、車両１００は不適切な挙動を引き起こす可能性があり、交通事故または車両の故障等の原因となる。よって、制御装置１は、制御量推論ネットワーク１２０が出力する制御量が適切ではない場合、当該制御量を用いて車両１００が制御されることを避けなければならない。

これに対し、実施の形態１に係る制御装置１は、上述のとおり、制御量推論ネットワーク１２０が車両１００の制御量の推論の際に物標に着目しているかによって、当該制御量推論ネットワーク１２０から出力される車両１００の制御量の信頼度を判定する。その際、制御装置１は、制御量推論ネットワーク１２０が車両１００の制御量の推論の際に物標に着目できていないと判定される場合には、信頼度が低くなるように当該信頼度を判定する。そして、制御装置１は、判定した信頼度を、制御量推論ネットワーク１２０を用いて推論した車両１００の制御量とあわせて制御決定部１５に出力する。
このように、制御装置１は、制御量推論ネットワーク１２０に撮像画像を入力して車両１００の制御量を推論する際に取得した着目領域情報と、当該撮像画像に基づく物標位置情報とに基づいて、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。
制御装置１が、推論した制御量とともに、判定した当該制御量の信頼度を出力することで、制御決定部１５は、例えば、信頼度が低い制御量、言い換えれば、制御量推論ネットワーク１２０の学習が不完全である可能性がある入力に対して推論された制御量が、車両１００の制御に用いられないようにすることができる。
つまり、制御装置１は、信頼度を判定することなく制御量を出力する場合に比べ、より適切な車両１００の制御量の出力を行うことができる。

以上の実施の形態１では、制御装置１において、制御量推論部１２は、周辺状況情報に含まれる撮像画像に基づき、車両１００の制御量を推論するとともに、当該制御量を推論する際の、撮像画像における着目領域に関する着目領域情報を取得していた。また、物標検出部１３は、物標の位置を、周辺状況情報に含まれる撮像画像における物標の位置として検出していた。
これに限らず、制御量推論部１２は、車両１００の周辺に存在する物標との距離および角度を示す情報（以下「点群データ」という。）に基づき、車両１００の制御量を推論するとともに、当該制御量を推論する際の、点群データにおける着目領域に関する着目領域情報を取得してもよい。この場合、物標検出部１３は、物標の位置を、点群データに基づく実空間上の位置として検出する。
この場合、制御装置１は、カメラ２およびレーダ３に代えて、ＬｉＤＡＲ（図示省略）と接続される。なお、ＬｉＤＡＲは車両１００に搭載されている。ＬｉＤＡＲは、上記点群データを制御装置１に出力する。制御装置１の周辺状況取得部１１は、ＬｉＤＡＲから出力された点群データを、周辺状況情報として取得する。
なお、この場合、周辺状況取得部１１は、撮像画像取得部１１１および距離情報取得部１１２を備えない構成とできる。
このように、制御装置１において、周辺状況情報は、車両１００と当該車両１００の周辺に存在する物標との距離および角度を示す点群データを含み、制御量推論部１２は、点群データに基づき、車両１００の制御量を推論するとともに、当該制御量を推論する際に用いた、点群データにおける着目領域に関する着目領域情報を取得するようにしても、制御装置１は、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。

図４Ａおよび図４Ｂは、実施の形態１に係る制御装置１のハードウェア構成の一例を示す図である。
制御装置１は制御決定部１５を備えているものとして、制御装置１のハードウェア構成の一例を説明する。
実施の形態１において、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５の機能は、処理回路４０１により実現される。すなわち、制御装置１は、車両１００を制御するための制御量を推論し、推論した制御量の信頼度を判定する制御を行うための処理回路４０１を備える。
処理回路４０１は、図４Ａに示すように専用のハードウェアであっても、図４Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ４０４であってもよい。

処理回路４０１が専用のハードウェアである場合、処理回路４０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ４０４の場合、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ４０５に記憶される。プロセッサ４０４は、メモリ４０５に記憶されたプログラムを読み出して実行することにより、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５の機能を実行する。すなわち、制御装置１は、プロセッサ４０４により実行されるときに、上述の図３のステップＳＴ１～ステップＳＴ５が結果的に実行されることになるプログラムを格納するためのメモリ４０５を備える。また、メモリ４０５に記憶されたプログラムは、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５の処理の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ４０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、周辺状況取得部１１については専用のハードウェアとしての処理回路４０１でその機能を実現し、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５についてはプロセッサ４０４がメモリ４０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、制御装置１は、カメラ２、レーダ３、アクチュエータ１６、または、ＬｉＤＡＲ等の装置と、有線通信または無線通信を行う入力インタフェース装置４０２および出力インタフェース装置４０３を備える。

以上の実施の形態１では、制御装置１は、車両１００に搭載される車載装置とし、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４は、制御装置１に備えられていた。また、制御決定部１５も、車両１００に備えられていた。
これに限らず、周辺状況取得部１１と、制御量推論部１２と、物標検出部１３と、信頼度判定部１４と、制御決定部１５のうち、一部が車両１００の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで制御システムを構成してもよい。

また、以上の実施の形態１では、制御対象機器は自動運転可能な車両１００を想定していたが、これは一例に過ぎない。
制御装置１は、種々の機器の制御を行うことができる。具体的には、制御装置１は、例えば、産業用ロボット、無人搬送車、または、航空機を、制御対象機器とすることもできる。

以上のように、実施の形態１によれば、制御装置１は、制御対象機器の周辺の状況に関する周辺状況情報を取得する周辺状況取得部１１と、周辺状況取得部１１が取得した周辺状況情報に基づき、制御対象機器の制御量を推論するとともに、制御量を推論する際に用いた、周辺状況情報における着目領域に関する着目領域情報を取得する制御量推論部１２と、周辺状況取得部１１が取得した周辺状況情報に基づき、制御対象機器の周辺に存在する物標の位置を検出する物標検出部１３と、制御量推論部１２が取得した着目領域情報と、物標検出部１３が検出した物標の位置に関する物標位置情報とに基づき、制御量推論部１２が推論した制御量の信頼度を判定する信頼度判定部１４を備えるように構成した。そのため、制御装置１は、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。そして、制御装置１は、信頼度を判定することなく制御量を出力する場合に比べ、より適切な車両１００の制御量の出力を行うことができる。

実施の形態２．
実施の形態１では、制御装置は、制御対象機器の制御量の推論、および、着目領域情報の取得を行うにあたり、制御対象機器の制御内容を考慮していなかった。
実施の形態２では、制御装置が、制御対象機器の制御内容を考慮して、当該制御対象機器の制御量の推論および着目領域情報の取得を行う実施の形態について説明する。

実施の形態２においても、実施の形態１同様、制御対象機器は、自動運転可能な車両を想定している。制御装置は、自動運転可能な車両における自動運転制御を行う。

図５は、実施の形態２に係る制御装置１ａの構成例を示す図である。
制御装置１ａは、車両１００ａに搭載される。
実施の形態２において、車両１００ａには、シナリオ指示装置４が搭載されており、制御装置１ａはシナリオ指示装置４と接続される。
シナリオ指示装置４は、例えば、タッチパネル式のディスプレイである。シナリオ指示装置４は、車両１００ａの自動運転制御のための制御シナリオを受け付け、受け付けた制御シナリオに関する情報（以下「制御シナリオ情報」という。）を、制御装置１ａに出力する。実施の形態２において、制御シナリオは、制御対象機器の制御内容を示す。より詳細には、制御シナリオは、制御対象機器に対して実現させようとする動作を示す。すなわち、ここでは、制御シナリオは、車両１００ａに対して実現させようとする動作を示す。具体例を挙げると、制御シナリオは、例えば、「先行車両への追従」、「交差点の右折」、または、「路肩への停車」である。
例えば、車両１００ａの乗員は、シナリオ指示装置４をタッチする等して操作し、シナリオ指示装置４から制御シナリオを入力し、当該制御シナリオを指定する。シナリオ指示装置４は、乗員によって入力された制御シナリオを受け付ける。そして、シナリオ指示装置４は、制御シナリオ情報を制御装置１ａに出力する。制御シナリオ情報には、指定された制御シナリオを特定可能な情報が含まれる。

実施の形態２に係る制御装置１ａの構成について、実施の形態１にて図１を用いて説明した制御装置１と同様の構成には、同じ符号を付して重複した説明を省略する。
制御装置１ａは、実施の形態１に係る制御装置１とは、シナリオ取得部１７を備えた点が異なる。また、制御装置１ａは、実施の形態１に係る制御装置１とは、制御量推論部１２ａの詳細な構成が異なる。また、制御装置１ａは、実施の形態１に係る制御装置１とは、物標検出部１３ａの具体的な動作が異なる。また、制御装置１ａは、実施の形態１に係る制御装置１とは、着目物標データベース１８を備える点が異なる。
なお、図５では、着目物標データベース１８は制御装置１ａに備えられているが、これは一例に過ぎない。着目物標データベース１８は、制御装置１ａの外部の、制御装置１ａが参照可能な場所に備えられてもよい。

シナリオ取得部１７は、シナリオ指示装置４から出力された制御シナリオ情報を取得する。
シナリオ取得部１７は、取得した制御シナリオ情報を、制御量推論部１２ａおよび物標検出部１３ａに出力する。

図６は、実施の形態２に係る制御装置１ａにおける制御量推論部１２ａの構成について、詳細に説明するための図である。
実施の形態２に係る制御量推論部１２ａの構成について、実施の形態１にて図２を用いて説明した制御量推論部１２と同様の構成には、同じ符号を付して重複した説明を省略する。
制御量推論部１２ａは、実施の形態１の制御量推論部１２とは、モデル選択部１２７およびパラメータデータベース１２８を備える点が異なる。

モデル選択部１２７は、シナリオ取得部１７が取得した制御シナリオ情報に基づき、ニューラルネットワーク、言い換えれば、制御量推論ネットワーク１２０の層の重み等のパラメータを設定する。
パラメータデータベース１２８は、制御シナリオと、当該制御シナリオに対応するパラメータとが対応付けられた情報（以下「パラメータ情報」という。）を記憶している。
モデル選択部１２７は、制御シナリオ情報から特定した制御シナリオと、パラメータ情報の制御シナリオとのつきあわせを行って、制御シナリオに対応するパラメータを決定する。

なお、ここでは、制御量推論部１２ａがパラメータデータベース１２８を備えているが、これは一例に過ぎない。パラメータデータベース１２８は、制御量推論部１２ａが参照可能な場所に備えられていればよい。

制御量推論部１２ａは、周辺状況取得部１１が取得した周辺状況情報に基づき、シナリオ取得部１７が取得した制御シナリオ情報に基づいてパラメータが設定された制御量推論ネットワーク１２０を用いて、車両１００ａの制御量を推論するとともに着目領域情報を取得する。
すなわち、制御量推論部１２ａは、モデル選択部１２７が制御シナリオに基づいてパラメータを設定した制御量推論ネットワーク１２０を用いて、周辺状況取得部１１が取得した周辺状況情報、より詳細には撮像画像取得部１１１によって取得された車両１００ａの周辺の撮像画像に基づく車両１００ａの制御量を推論するとともに、当該制御量を推論する際の、撮像画像における着目領域に関する着目領域情報、言い換えれば、アテンション層１２３が有する着目領域情報を、制御量推論ネットワーク１２０から取得する。
これにより、制御量推論部１２ａは、制御シナリオに応じた車両１００ａの制御量の推論、および、制御シナリオに応じた着目領域情報の取得を行うことができる。つまり、制御量推論部１２ａは、与えられた制御シナリオに特化した車両１００ａの制御量の推論、および、着目領域情報の取得を行うことができる。

制御量推論部１２ａは、推論した、制御シナリオに応じた車両１００ａの制御量に関する情報を、制御決定部１５に出力する。また、制御量推論部１２ａは、取得した、制御シナリオに応じた着目領域情報を、信頼度判定部１４に出力する。

物標検出部１３ａは、周辺状況取得部１１が取得した周辺状況情報と、シナリオ取得部１７が取得した制御シナリオ情報に基づいて、車両１００ａの周辺に存在する物標の位置を検出する。実施の形態２において、物標検出部１３ａは、物標の位置を、周辺状況情報に含まれる撮像画像における物標の位置として検出する。
実施の形態２において、撮像画像における物標の位置は、撮像画像上の画素であらわされる。物標検出部１３ａは、撮像画像において物標がうつっている範囲を物標の位置とし、当該範囲に含まれている画素を、物標の位置を示す情報として検出する。
物標検出部１３ａが撮像画像における物標の位置を検出する方法は、実施の形態１にて説明した、物標検出部１３が撮像画像における物標の位置を検出する方法と同様の方法とすればよいため、重複した説明を省略する。
ただし、実施の形態１において物標検出部１３が予め設定されている全ての物標を、位置を検出する対象としていたのに対し、実施の形態２では、物標検出部１３ａは、シナリオ取得部１７が取得した制御シナリオ情報に基づいて、検出対象とする物標の絞り込みを行う。具体的には、物標検出部１３ａは、着目物標データベース１８を参照して、予め設定されている物標のうち、位置を検出する対象とする物標（以下「検出対象物標」という。）の絞り込みを行う。物標検出部１３ａは、検出対象物標の位置を検出する。

着目物標データベース１８は、制御シナリオごとに、着目すべき物標と着目すべき領域とが対応付けられた情報（以下「シナリオ別物標情報」という。）を保持する。
ここで、図７は、実施の形態２において、着目物標データベース１８が保持するシナリオ別物標情報の内容の一例のイメージを示す図である。なお、ここでは、予め、物標として、自動車、車線、標識、および、信号が設定されているとする。
図７に示すシナリオ別物標情報によれば、例えば、制御シナリオが「先行車への追従」である場合、全ての物標（自動車、車線、標識、および、信号）が検出対象物標であり、全ての物標を、全領域で着目すべきということになる。また、図７に示すシナリオ別物標情報によれば、例えば、制御シナリオが「交差点の右折」である場合、全ての物標が検出対象物標であるが、検出対象物標のうち、自動車については車両１００ａの右側を走行する車両および対向車に着目し、車線については車両１００ａの右側の車線に注目すべきということになる。また、図７に示すシナリオ別物標情報によれば、例えば、制御シナリオが「停車」である場合、自動車および信号は検出対象物標とはしないことになる。
物標検出部１３ａは、着目物標データベース１８を参照して、検出対象物標を絞り込んだ上で、絞り込んだ検出対象物標の位置を検出する。

物標検出部１３ａは、検出した物標の位置に関する物標位置情報、より詳細には、検出した検出対象物標の位置に関する物標位置情報を、信頼度判定部１４に出力する。

実施の形態２に係る制御装置１ａの動作について説明する。
図８は、実施の形態２に係る制御装置１ａの動作を説明するためのフローチャートである。
なお、図８に示す制御装置１ａの動作は、制御決定部１５を備えた場合の制御装置１ａの動作としている。制御装置１ａは、図８のフローチャートに示す動作を、例えば、車両１００ａが自動運転中、繰り返し行う。
図８において、ステップＳＴ１１、ステップＳＴ１７、および、ステップＳＴ１８の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図３のステップＳＴ１、ステップＳＴ４、および、ステップＳＴ５の具体的な動作と同様であるため、重複した説明を省略する。

シナリオ取得部１７は、シナリオ指示装置４から出力された制御シナリオ情報を取得する（ステップＳＴ１２）。
シナリオ取得部１７は、取得した制御シナリオ情報を、制御量推論部１２ａおよび物標検出部１３ａに出力する。

モデル選択部１２７は、ステップＳＴ１２にてシナリオ取得部１７が取得した制御シナリオ情報に基づき、制御シナリオが、これまで使用していた制御シナリオと同じか否かを判定する（ステップＳＴ１３）。

モデル選択部１２７が、制御シナリオはこれまで使用していた制御シナリオと同じと判定した場合（ステップＳＴ１３の“ＹＥＳ”の場合）、制御装置１ａの動作はステップＳＴ１５に進む。

制御シナリオはこれまで使用していた制御シナリオと異なると判定した場合（ステップＳＴ１３の“ＮＯ”の場合）、モデル選択部１２７は、ステップＳＴ１２にてシナリオ取得部１７が取得した制御シナリオ情報に基づき、ニューラルネットワーク、言い換えれば、制御量推論ネットワーク１２０の層の重み等のパラメータを設定する（ステップＳＴ１４）。制御量推論ネットワーク１２０のパラメータは、現在設定されている制御量推論ネットワーク１２０のパラメータから、制御シナリオに応じたパラメータへと変更される。
なお、ステップＳＴ１３が１回目に実行される場合は、それより前に使用していた制御シナリオがないため、モデル選択部１２７は、制御シナリオはこれまで使用していた制御シナリオと異なると判定する。そして、制御装置１ａの動作はステップＳＴ１５に進む。

制御量推論部１２ａは、ステップＳＴ１１にて周辺状況取得部１１が取得した周辺状況情報に基づき、ステップＳＴ１２にてシナリオ取得部１７が取得した制御シナリオ情報に基づいてパラメータが設定された制御量推論ネットワーク１２０を用いて、車両１００ａの制御量を推論するとともに着目領域情報を取得する（ステップＳＴ１５）。
制御量推論部１２ａは、推論した、制御シナリオに応じた車両１００ａの制御量に関する情報を、制御決定部１５に出力する。また、制御量推論部１２ａは、取得した、制御シナリオに応じた着目領域情報を、信頼度判定部１４に出力する。

物標検出部１３ａは、ステップＳＴ１１にて周辺状況取得部１１が取得した周辺状況情報と、ステップＳＴ１２にてシナリオ取得部１７が取得した制御シナリオ情報に基づいて、車両１００ａの周辺に存在する物標の位置を検出する（ステップＳＴ１６）。
具体的には、物標検出部１３ａは、着目物標データベース１８を参照して、検出対象物標を絞り込んだ上で、絞り込んだ検出対象物標の位置を検出する。
物標検出部１３ａは、検出した物標の位置に関する物標位置情報、より詳細には、検出した検出対象物標の位置に関する物標位置情報を、信頼度判定部１４に出力する。

制御装置１ａの動作について、図８では、制御装置１ａは、ステップＳＴ１３～ステップＳＴ１６の順に実行したが、この順番は必須ではない。制御装置１ａは、ステップＳＴ１３～ステップＳＴ１５の動作とステップＳＴ１６の動作の順番を入れ替えてもよいし、ステップＳＴ１３～ステップＳＴ１５の動作とステップＳＴ１６の動作を並行して実行してもよい。

このように、実施の形態２において、制御装置１ａは、制御シナリオに応じて異なる制御量推論ネットワーク１２０を用いた車両１００ａの制御量の推論を行う。制御装置１ａは、実施の形態１に係る制御装置１に比べ、制御シナリオに特化した制御量推論ネットワーク１２０を用いて車両１００ａの制御量の推論を行うことができる。
制御量推論ネットワーク１２０は、制御シナリオに特化して学習するため、制御量推論ネットワーク１２０の学習が容易となる。
制御シナリオが設定される場合、各制御量推論ネットワーク１２０はいかなる状況下でも全ての物標に対して着目する必要はなく、制御シナリオに応じた物標に着目できていればよい。そこで、制御装置１ａは、制御シナリオに応じて検出対象物標の絞り込みを行った上で当該検出対象物標の位置を検出する。これにより、制御装置１ａは、制御シナリオごとに制御量推論ネットワーク１２０が構成される場合であっても、着目領域と物標位置の比較を行い、制御量推論ネットワーク１２０が車両１００ａの制御量の推論の際に物標に着目しているかによって、当該制御量推論ネットワーク１２０から出力される車両１００ａの制御量の信頼度の判定を行うことができる。
そして、制御装置１ａが、推論した制御量とともに、判定した当該制御量の信頼度を出力することで、制御決定部１５は、例えば、信頼度が低い制御量、言い換えれば、制御量推論ネットワーク１２０の学習が不完全である可能性がある入力に対して推論された制御量が、車両１００ａの制御に用いられないようにすることができる。
つまり、制御装置１ａは、信頼度を判定することなく制御量を出力する場合に比べ、より適切な車両１００ａの制御量の出力を行うことができる。

以上の実施の形態２では、制御装置１ａにおいて、制御量推論部１２ａは、周辺状況情報に含まれる撮像画像に基づき、車両１００ａの制御量を推論するとともに、当該制御量を推論する際の、撮像画像における着目領域に関する着目領域情報を取得していた。また、物標検出部１３ａは、物標の位置を、周辺状況情報に含まれる撮像画像における物標の位置として検出していた。
これに限らず、制御量推論部１２ａは、車両１００ａの周辺に存在する物標との距離および角度を示す点群データに基づき、車両１００ａの制御量を推論するとともに、当該制御量を推論する際の、点群データにおける着目領域に関する着目領域情報を取得してもよい。この場合、物標検出部１３ａは、物標の位置を、点群データに基づく実空間上の位置として検出する。
この場合、制御装置１ａは、カメラ２およびレーダ３に代えて、ＬｉＤＡＲ（図示省略）と接続される。なお、ＬｉＤＡＲは車両１００ａに搭載されている。ＬｉＤＡＲは、上記点群データを制御装置１ａに出力する。制御装置１ａの周辺状況取得部１１は、ＬｉＤＡＲから出力された点群データを、周辺状況情報として取得する。
なお、この場合、周辺状況取得部１１は、撮像画像取得部１１１および距離情報取得部１１２を備えない構成とできる。
このように、制御装置１ａにおいて、周辺状況情報は、車両１００ａと当該車両１００ａの周辺に存在する物標との距離および角度を示す点群データを含み、制御量推論部１２ａは、点群データに基づき、車両１００ａの制御量を推論するとともに、当該制御量を推論する際に用いた、点群データにおける着目領域に関する着目領域情報を取得するようにしても、制御装置１ａは、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。

実施の形態２に係る制御装置１ａのハードウェア構成は、実施の形態１において図４Ａおよび図４Ｂを用いて説明した制御装置１のハードウェア構成と同様であるため、図示を省略する。なお、制御装置１ａは制御決定部１５を備えているものとして、制御装置１ａのハードウェア構成の一例を説明する。
実施の形態２において、周辺状況取得部１１と、制御量推論部１２ａと、物標検出部１３ａと、信頼度判定部１４と、制御決定部１５と、シナリオ取得部１７の機能は、処理回路４０１により実現される。すなわち、制御装置１ａは、制御シナリオに応じて、車両１００ａを制御するための制御量を推論し、推論した制御量の信頼度を判定する制御を行うための処理回路４０１を備える。
処理回路がプロセッサ４０４の場合、制御装置１ａは、メモリ４０５に記憶されたプログラムを読み出して実行することにより、周辺状況取得部１１と、制御量推論部１２ａと、物標検出部１３ａと、信頼度判定部１４と、制御決定部１５と、シナリオ取得部１７の機能を実行する。すなわち、制御装置１ａは、処理回路により実行されるときに、上述の図８のステップＳＴ１１～ステップＳＴ１８が結果的に実行されることになるプログラムを格納するためのメモリ４０５を備える。また、メモリ４０５に記憶されたプログラムは、周辺状況取得部１１と、制御量推論部１２ａと、物標検出部１３ａと、信頼度判定部１４と、制御決定部１５と、シナリオ取得部１７の手順または方法をコンピュータに実行させるものであるとも言える。
着目物標データベース１８は、例えば、メモリ４０５で構成される。
また、制御装置１ａは、カメラ２、レーダ３、シナリオ指示装置４、アクチュエータ１６、または、ＬｉＤＡＲ等の装置と、有線通信または無線通信を行う入力インタフェース装置４０２および出力インタフェース装置４０３を備える。

以上の実施の形態２では、制御装置１ａは、車両１００ａに搭載される車載装置とし、周辺状況取得部１１と、制御量推論部１２ａと、物標検出部１３ａと、信頼度判定部１４と、シナリオ取得部１７は、制御装置１ａに備えられていた。また、制御決定部１５も、車両１００ａに備えられていた。
これに限らず、周辺状況取得部１１と、制御量推論部１２ａと、物標検出部１３ａと、信頼度判定部１４と、制御決定部１５と、シナリオ取得部１７のうち、一部が車両１００ａの車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで制御システムを構成してもよい。

また、以上の実施の形態２において、制御装置１ａは、例えば、産業用ロボット、無人搬送車、または、航空機を、制御対象機器とすることもできる。

以上のように、実施の形態２によれば、制御装置１ａは、制御対象機器の制御内容を示す制御シナリオが指定された制御シナリオ情報を取得するシナリオ取得部１７を備え、制御量推論部１２ａは、周辺状況取得部１１が取得した周辺状況情報に基づき、シナリオ取得部１７が取得した制御シナリオ情報に基づいてパラメータが設定されたニューラルネットワーク（制御量推論ネットワーク１２０）を用いて、制御対象機器の制御量を推論するとともに着目領域情報を取得し、物標検出部１３ａは、周辺状況取得部１１が取得した周辺状況情報と、シナリオ取得部１７が取得した制御シナリオ情報に基づいて、物標の位置を検出するように構成した。そのため、制御装置１ａは、制御対象機器の制御内容に応じて、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。そして、制御装置１ａは、信頼度を判定することなく制御量を出力する場合に比べ、より適切な車両１００ａの制御量の出力を行うことができる。

なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示に係る制御装置は、制御対象機器の制御を行うための制御量として推論された制御量が信頼に足るものであるか否かを判定することができる。

１，１ａ 制御装置、２ カメラ、３ レーダ、４ シナリオ指示装置、１１ 周辺状況取得部、１１１ 撮像画像取得部、１１２ 距離情報取得部、１２，１２ａ 制御量推論部、１２０ 制御量推論ネットワーク、１２７ モデル選択部、１２８ パラメータデータベース、１３，１３ａ 物標検出部、１４ 信頼度判定部、１５ 制御決定部、１６ アクチュエータ、１７ シナリオ取得部、１８ 着目物標データベース、４０１ 処理回路、４０２ 入力インタフェース装置、４０３ 出力インタフェース装置、４０４ プロセッサ、４０５ メモリ。

Claims (8)

1. 制御対象機器の周辺の状況に関する周辺状況情報を取得する周辺状況取得部と、
   前記周辺状況取得部が取得した前記周辺状況情報に基づき、前記制御対象機器の制御量を推論するとともに、前記制御量を推論する際に用いた、前記周辺状況情報における着目領域に関する着目領域情報を取得する制御量推論部と、
   前記周辺状況取得部が取得した前記周辺状況情報に基づき、前記制御対象機器の周辺に存在する物標の位置を検出する物標検出部と、
   前記制御量推論部が取得した前記着目領域情報と、前記物標検出部が検出した前記物標の位置に関する物標位置情報とに基づき、前記着目領域と物標位置の比較を行い、前記着目領域と前記物標位置との一致度を算出し、算出した前記一致度に応じて、前記制御量推論部が推論した前記制御量の信頼度を判定する信頼度判定部
   とを備えた制御装置。
2. 前記制御量推論部は、学習済みのニューラルネットワークを用いて、前記制御量を推論するとともに前記着目領域情報を取得する
   ことを特徴とする請求項１記載の制御装置。
3. 前記信頼度判定部が判定した前記制御量の前記信頼度に基づき、前記制御量推論部が推論した前記制御量を前記制御対象機器の前記制御量として採用するか否かを決定する制御決定部を備えた
   ことを特徴とする請求項１記載の制御装置。
4. 前記周辺状況情報は、前記制御対象機器の周辺を撮像した撮像画像を含み、
   前記制御量推論部は、前記撮像画像に基づき、前記制御対象機器の前記制御量を推論するとともに、当該制御量を推論する際に用いた、前記撮像画像における前記着目領域に関する前記着目領域情報を取得する
   ことを特徴とする請求項１記載の制御装置。
5. 前記周辺状況情報は、前記制御対象機器と前記制御対象機器の周辺に存在する前記物標との距離および角度を示す点群データを含み、
   前記制御量推論部は、前記点群データに基づき、前記制御対象機器の前記制御量を推論するとともに、当該制御量を推論する際に用いた、前記点群データにおける前記着目領域に関する前記着目領域情報を取得する
   ことを特徴とする請求項１記載の制御装置。
6. 前記物標検出部は、前記物標の一部の位置を、前記物標の位置として検出する
   ことを特徴とする請求項１記載の制御装置。
7. 前記制御対象機器の制御内容を示す制御シナリオが指定された制御シナリオ情報を取得するシナリオ取得部を備え、
   前記制御量推論部は、前記周辺状況取得部が取得した前記周辺状況情報に基づき、前記シナリオ取得部が取得した前記制御シナリオ情報に基づいてパラメータが設定された前記ニューラルネットワークを用いて、前記制御対象機器の前記制御量を推論するとともに前記着目領域情報を取得し、
   前記物標検出部は、前記周辺状況取得部が取得した前記周辺状況情報と、前記シナリオ取得部が取得した前記制御シナリオ情報に基づいて、前記物標の位置を検出する
   ことを特徴とする請求項２記載の制御装置。
8. 周辺状況取得部が、制御対象機器の周辺の状況に関する周辺状況情報を取得するステップと、
   制御量推論部が、前記周辺状況取得部が取得した前記周辺状況情報に基づき、前記制御対象機器の制御量を推論するとともに、前記制御量を推論する際に用いた、前記周辺状況情報における着目領域に関する着目領域情報を取得するステップと、
   物標検出部が、前記周辺状況取得部が取得した前記周辺状況情報に基づき、前記制御対象機器の周辺に存在する物標の位置を検出するステップと、
   信頼度判定部が、前記制御量推論部が取得した前記着目領域情報と、前記物標検出部が検出した前記物標の位置に関する物標位置情報とに基づき、前記着目領域と物標位置の比較を行い、前記着目領域と前記物標位置との一致度を算出し、算出した前記一致度に応じて、前記制御量推論部が推論した前記制御量の信頼度を判定するステップ
   とを備えた制御方法。

Images