JP7214018B2 - 物体認識装置、運転支援装置、サーバ、および、物体認識方法 - Google Patents

Description

本開示は、機械学習における学習済みのモデル（以下「機械学習モデル」という。）を用いて演算を行う物体認識装置、サーバ、物体認識方法、および、物体認識装置による演算結果を用いて車両の運転支援を行う運転支援装置に関するものである。

従来、自動運転等の分野において、機械学習モデルを用いて演算を行う技術が知られている。
ところで、特許文献１には、ニューラルネットワークに基づき、入力データの各画素について、付与されているラベルの信頼値を取得して、各画素がエラー領域に含まれるか否かを判断する技術が開示されている。

特開２０１８－７３３０８号公報

機械学習モデルを用いた演算過程は、いわゆるブラックボックスである。そのため、機械学習モデルを用いた演算を行って得られた結果が妥当であるとは限らないという課題があった。
特許文献１に開示されている技術は、そもそも、ニューラルネットワークに基づいて取得されたラベルの信頼値自体が妥当な値として出力されているか否かについては考慮されていない。そのため、上記課題を解決するために特許文献１に開示されているような技術を用いることはできない。

本開示は上記のような課題を解決するためになされたもので、機械学習モデルを用いた演算を行って得られた結果が妥当なものか否かの判定を行うことを可能とした物体認識装置を提供することを目的とする。

本開示に係る物体認識装置は、情報を取得する情報取得部と、情報取得部が取得した情報と、第１機械学習モデルとに基づき、周辺の環境の状態に関する周辺環境情報を取得するとともに、周辺環境情報を取得した際の演算過程を示す演算過程情報を取得する周辺認識部と、周辺認識部が取得した演算過程情報に基づき、情報取得部が取得した情報のうち、演算過程において周辺環境情報への影響が大きかった情報、を示す説明情報、を生成する説明情報生成部と、情報取得部が取得した情報と、説明情報生成部が生成した説明情報とに基づき、周辺認識部が取得した周辺環境情報の妥当性を示す評価情報を生成する評価情報生成部とを備えたものである。

本開示によれば、機械学習モデルを用いた演算を行って得られた結果が妥当なものか否かの判定を行うことができる。

実施の形態１に係る物体認識装置の構成例を示す図である。 実施の形態１において、評価情報生成部が、情報取得部が取得した撮像画像において信号が撮像されていると想定される範囲と、ヒートマップにて強調されている範囲との重なり度合いを算出する方法の一例のイメージを説明するための図であって、図２Ａは、情報取得部が取得した撮像画像の一例のイメージを説明する図であり、図２Ｂは、説明情報生成部が生成した説明情報としてのヒートマップの一例のイメージを説明する図である。 実施の形態１に係る物体認識装置の動作を説明するためのフローチャートである。 実施の形態１において、運転支援情報取得部が、周辺環境情報が妥当であるか否かの判定を行うよりも前に運転支援情報を取得する場合の、物体認識装置の動作を説明するためのフローチャートである。 実施の形態１において、図１を用いて説明した物体認識装置の構成部の一部がサーバに備えられるものとした物体認識システムの構成例を示す図である。 図６Ａ，図６Ｂは、実施の形態１に係る物体認識装置のハードウェア構成の一例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る物体認識装置１の構成例を示す図である。
実施の形態１に係る物体認識装置１は、車両（図示省略）に搭載されている運転支援装置２に備えられ、第１機械学習モデル１８に基づき、周辺の環境の状態に関する情報（以下「周辺環境情報」という。）を取得する。実施の形態１において、周辺環境情報は、自車両の周辺に存在する他車両の状態に関する情報、自車両の周辺に存在する歩行者の状態に関する情報、地形の情報、または、自車両の周辺に存在する障害物の状態に関する情報等を含む。第１機械学習モデル１８の詳細については、後述する。

その際、物体認識装置１は、取得した周辺環境情報が妥当なものか否かの判定を行う。実施の形態１において、取得した周辺環境情報が妥当であるか否か、は、具体的には、例えば、第１機械学習モデル１８に基づいて認識した周辺の環境の状態が、正しく認識されたものであるか否か、を言う。物体認識装置１は、第１機械学習モデル１８による、周辺の環境の状態を認識するための演算過程が妥当かどうかによって、第１機械学習モデル１８に基づいて取得した周辺環境情報が妥当なものか否かの判定を行う。物体認識装置１による、周辺環境情報が妥当なものか否かの判定の詳細については、後述する。
物体認識装置１は、取得した周辺環境情報が妥当なものであると判定すると、当該周辺環境情報と、第２機械学習モデル１９とに基づいて取得した、車両の運転を支援するための情報（以下「運転支援情報」という。）を、出力する。第２機械学習モデル１９の詳細については、後述する。
運転支援装置２は、物体認識装置１から出力された運転支援情報に基づいて、車両の運転支援を行う。運転支援装置２が運転を支援する車両は、自動運転機能を有することを前提とする。なお、車両が自動運転機能を有する場合であっても、運転者が、当該自動運転機能を実行せず、自ら車両を運転することはできる。

物体認識装置１は、図１に示すように、情報取得部１１、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、出力部１７、第１機械学習モデル１８、および、第２機械学習モデル１９を備える。
情報取得部１１は、情報を取得する。実施の形態１において、情報取得部１１は、車両をとりまく環境に関する情報を取得する。車両をとりまく環境に関する情報は、具体的には、車両外を撮像した撮像画像、車両の位置情報、車速に関する情報、地図情報等である。
例えば、情報取得部１１は、車両に搭載されている撮像装置（図示省略）から、当該撮像装置が車両外を撮像した撮像画像を取得する。また、例えば、情報取得部１１は、車両に搭載されているセンサ（図示省略）から、車両の位置情報等を取得する。また、例えば、情報取得部１１は、物体認識装置１と接続される地図情報データベースから、地図情報を取得する。
情報取得部１１は、取得した情報を、周辺認識部１２および評価情報生成部１４に出力する。

周辺認識部１２は、情報取得部１１が取得した情報と、第１機械学習モデル１８とに基づき、周辺環境情報を取得するとともに、当該周辺環境情報を取得した際の演算の過程を示す情報（以下「演算過程情報」という。）を取得する。
ここで、第１機械学習モデル１８は、車両をとりまく環境に関する情報が入力されると、周辺環境情報を出力するように、ニューラルネットワークまたはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等におけるディープラーニングにより予め機械学習が行われたモデルである。
周辺認識部１２は、情報取得部１１が取得した情報を第１機械学習モデル１８に入力して、周辺環境情報を取得するための演算を行い、周辺環境情報を取得する。なお、実施の形態１では、図１に示すように、第１機械学習モデル１８は、物体認識装置１に備えられているものとするが、これは一例に過ぎない。第１機械学習モデル１８は、物体認識装置１の外部の、物体認識装置１が参照可能な場所に備えられていてもよい。

周辺認識部１２は、例えば、ディープラーニングの各層の演算結果のログを、演算過程情報として取得する。周辺認識部１２は、例えば、第１機械学習モデル１８に入力した、情報取得部１１が取得した情報、および、第１機械学習モデル１８そのものを、演算過程情報としてもよい。周辺認識部１２は、第１機械学習モデル１８を用いて行った、周辺環境情報を取得するための演算の過程を示す演算過程情報を取得する。
周辺認識部１２は、取得した、周辺環境情報および演算過程情報を、説明情報生成部１３に出力する。

説明情報生成部１３は、周辺認識部１２が取得した演算過程情報に基づき、情報取得部１１が取得した情報のうち、周辺認識部１２が周辺環境情報を取得した際の演算過程において周辺環境情報への影響が大きかった情報、を示す情報（以下「説明情報」という。）、を生成する。
説明情報は、例えば、既知のＬＩＭＥ（Ｌｏｃａｌ ｉｎｔｅｒｐｒｅｔａｂｌｅ ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ ｅｘｐｌａｎａｔｉｏｎｓ）の手法によって取得することができる。例えば、情報取得部１１が取得する情報が撮像画像である場合、説明情報生成部１３は、ＬＩＭＥの手法を用いて、撮像画像全体のうちのどの部分に注目したかを示すヒートマップを取得する。説明情報生成部１３は、取得したヒートマップを説明情報とする。
なお、上述の例は一例に過ぎない。例えば、説明情報生成部１３は、第１機械学習モデル１８に入力した情報の一部または全部と、第１機械学習モデル１８の一部または全部とを用いれば、第１機械学習モデル１８が、入力された情報のどこに注目して演算を行ったかを説明する説明情報を生成することができる。入力された情報のうち、第１機械学習モデル１８が注目して演算を行った部分は、第１機械学習モデル１８の演算過程において周辺環境情報への影響が大きかった情報である。

説明情報生成部１３は、生成した説明情報を、評価情報生成部１４に出力する。説明情報生成部１３は、説明情報とともに、周辺認識部１２から取得した周辺環境情報を、評価情報生成部１４に出力する。

評価情報生成部１４は、情報取得部１１が取得した情報と、説明情報生成部１３が生成した説明情報とに基づき、周辺認識部１２が取得した周辺環境情報の妥当性を示す情報（以下「評価情報」という。）を生成する。
例えば、情報取得部１１が取得した情報は撮像画像であり、周辺認識部１２は、当該撮像画像と第１機械学習モデル１８とに基づき、周辺環境情報として、信号の情報を取得したとする。信号の情報は、例えば、撮像画像上の座標で示される。また、説明情報生成部１３が生成した説明情報はヒートマップであったとする。この場合、第１機械学習モデル１８は、ヒートマップにて強調されている部分に注目して、信号を認識したことになる。言い換えれば、周辺認識部１２が信号を認識する演算過程において、ヒートマップにて強調されている部分の影響が大きかったということになる。

評価情報生成部１４は、情報取得部１１が取得した撮像画像において信号が撮像されていると想定される範囲と、ヒートマップにて強調されている範囲とを比較して、どの程度重なっているかを評価する。具体的には、評価情報生成部１４は、例えば、撮像画像において信号が撮像されていると想定される範囲と、ヒートマップにて強調されている範囲との重なり度合いを算出する。評価情報生成部１４は、撮像画像において信号が撮像されていると想定される範囲に対して、ヒートマップにて強調されている範囲が重なっている割合（％）を、重なり度合いとしてもよいし、当該割合（％）を０～１で表現した数値を、重なり度合いとしてもよい。

評価情報生成部１４が、撮像画像において信号が撮像されていると想定される範囲と、ヒートマップにて強調されている範囲との重なり度合いを算出する具体的な方法について、一例を挙げて説明する。
例えば、周辺認識部１２が認識した周辺環境情報に応じて、撮像画像上で当該周辺環境情報が撮像されていると想定される範囲を絞り込むためのおおまかな範囲（以下「環境絞込用範囲」という。）が予め設定されている。評価情報生成部１４は、まず、周辺認識部１２が認識した周辺環境情報に応じて、撮像画像上で、環境絞込用範囲を特定する。ここでは、例えば、予め、撮像画像上で、信号に応じた環境絞込用範囲として、撮像画像の上半分の範囲が設定されている。この場合、評価情報生成部１４は、まず、撮像画像の上半分の範囲を特定する。
さらに、評価情報生成部１４は、環境絞込用範囲から、周辺環境情報が撮像されていると想定される範囲を絞り込む。評価情報生成部１４は、例えば、撮像画像上の環境絞込用範囲における輝度の変化から、周辺環境情報が撮像されていると想定される範囲を絞り込む。ここでは、評価情報生成部１４は、撮像画像上の環境絞込用範囲において輝度の変化があった範囲を、信号が撮像されていると想定される範囲として絞りこむ。
そして、評価情報生成部１４は、絞り込んだ範囲と、ヒートマップにて強調されている範囲との重なり度合いを算出する。

ここで、図２は、実施の形態１において、評価情報生成部１４が、情報取得部１１が取得した撮像画像において信号が撮像されていると想定される範囲と、ヒートマップにて強調されている範囲との重なり度合いを算出する方法の一例のイメージを説明するための図である。図２Ａは、情報取得部１１が取得した撮像画像の一例のイメージを説明する図であり、図２Ｂは、説明情報生成部１３が生成した説明情報としてのヒートマップの一例のイメージを説明する図である。
図２Ａにおいて、評価情報生成部１４が、信号が撮像されていると想定される範囲として絞りこんだ、撮像画像上の環境絞込用範囲において輝度の変化があった範囲を、２０１で示している。
図２Ａにて２０１で示す範囲は全て、図２Ｂにて２０２で示す範囲に含まれている。
従って、評価情報生成部１４は、重なり度合いを、「１００％」と算出する。評価情報生成部１４は、重なり度合いを「１」と算出してもよい。

上述の例では、評価情報生成部１４は、環境絞込用範囲から信号が撮像されていると想定される範囲を絞り込むものとしたが、例えば、評価情報生成部１４は、撮像画像において信号が撮像されていると想定される範囲を、既知の画像認識技術を用いて判定するようにしてもよい。評価情報生成部１４は、既知の画像認識技術を用いて判定した、信号が撮像されていると想定される範囲と、ヒートマップにて強調されている範囲との重なり度合いを算出する。

評価情報生成部１４は、重なり度合いを算出すると、重なり度合いを示す情報を、評価情報とする。
なお、上述した例は一例に過ぎない。評価情報生成部１４は、情報取得部１１が取得した情報と、説明情報生成部１３が生成した説明情報とに基づき、周辺認識部１２が取得した周辺環境情報が妥当であるか否かを示す評価情報を生成するようになっていればよい。

評価情報生成部１４は、生成した評価情報を、表示制御部１５および運転支援情報取得部１６に出力する。評価情報生成部１４は、評価情報とあわせて、周辺認識部１２が取得した周辺環境情報を、表示制御部１５および運転支援情報取得部１６に出力する。
評価情報生成部１４は、評価情報とともに、説明情報生成部１３が生成した説明情報を、表示制御部１５および運転支援情報取得部１６に出力するようにしてもよい。

表示制御部１５は、評価情報生成部１４が生成した評価情報に基づく情報を表示する。
表示制御部１５は、評価情報を、表示装置（図示省略）に表示する。表示装置は、例えば、車両のインストルメントパネルに設置される。
表示制御部１５は、評価情報生成部１４が生成した評価情報に基づき、周辺認識部１２が認識した周辺環境情報が妥当であるか否かを判定し、当該判定結果によって、表示装置に表示する情報の内容を制御することができる。表示制御部１５は、評価情報生成部１４が生成した評価情報が、予め設定された条件（以下「評価判定条件」という。）を満たすか否かによって、周辺環境情報が妥当であるか否かを判定する。
具体例を挙げると、例えば、評価判定条件は、「評価情報が評価判定用閾値以上であること」であったとする。なお、このとき、評価情報は、例えば、０～１の数値で表現された情報とする。数値が大きいほど、周辺環境情報が妥当であることを示す。
表示制御部１５は、評価情報が評価判定用閾値以上である場合、周辺環境情報が妥当であると判定する。具体的には、例えば、評価判定用閾値が「０．７」であり、評価情報が「０．８」であったとすると、表示制御部１５は、周辺環境情報が妥当であると判定する。この場合、表示制御部１５は、評価情報を表示装置に表示する。具体的には、例えば、表示制御部１５は、「０．８」を表示する。表示制御部１５は、評価情報を、「ＯＫ」等、周辺環境情報が妥当と言える旨を示すメッセージとして表示してもよい。

一方、表示制御部１５は、評価情報が評価判定用閾値未満である場合、周辺環境情報が妥当ではないと判定する。具体的には、例えば、評価判定用閾値が「０．７」であり、評価情報が「０．４」であったとすると、表示制御部１５は、周辺環境情報が妥当ではないと判定する。この場合、表示制御部１５は、評価情報に加えて、説明情報生成部１３が生成した説明情報を、表示装置に表示する。具体的には、表示制御部１５は、例えば、「０．４」と、ヒートマップとを、表示する。なお、説明情報は、ヒートマップであるとしている。表示制御部１５は、例えば、「ＮＧ」等、周辺環境情報が妥当とは言えない旨を示すメッセージと、ヒートマップとを表示してもよい。

運転支援情報取得部１６は、周辺認識部１２が取得した周辺環境情報と、第２機械学習モデル１９とに基づき、運転支援情報を取得する。なお、運転支援情報取得部１６は、周辺認識部１２が取得した周辺環境情報を、評価情報生成部１４から取得すればよい。
より詳細には、運転支援情報取得部１６は、評価情報生成部１４が生成した評価情報に基づき、周辺認識部１２が取得した周辺環境情報が妥当であると判定した場合、周辺認識部１２が取得した周辺環境情報と、第２機械学習モデル１９とに基づき、運転支援情報を取得する。運転支援情報取得部１６は、評価情報生成部１４が生成した評価情報に基づき、周辺認識部１２が取得した周辺環境情報が妥当ではないと判定した場合は、運転支援情報を取得しない。

運転支援情報取得部１６は、評価情報生成部１４が生成した評価情報が、評価判定条件を満たすか否かによって、周辺環境情報が妥当であるか否かを判定する。運転支援情報取得部１６が採用する評価判定条件は、表示制御部１５が、周辺環境情報が妥当であるか否かを判定する際に採用する評価判定条件と同じ条件とする。
具体例を挙げると、評価判定条件は、「評価情報が評価判定用閾値以上であること」であったとする。なお、このとき、評価情報は、例えば、０～１の数値で表現された情報とする。数値が大きいほど、周辺環境情報が妥当であることを示す。運転支援情報取得部１６は、評価情報が評価判定用閾値以上である場合、周辺環境情報が妥当であると判定する。具体的には、例えば、評価判定用閾値が「０．７」であり、評価情報が「０．８」であったとすると、運転支援情報取得部１６は、周辺環境情報が妥当であると判定する。

一方、運転支援情報取得部１６は、評価情報が評価判定用閾値未満である場合、周辺環境情報が妥当ではないと判定する。具体的には、例えば、評価判定用閾値が「０．７」であり、評価情報が「０．４」であったとすると、運転支援情報取得部１６は、周辺環境情報が妥当ではないと判定する。

運転支援情報取得部１６は、周辺環境情報が妥当であると判定すると、周辺認識部１２が取得した周辺環境情報を第２機械学習モデル１９に入力して、運転支援情報を取得するための演算を行い、運転支援情報を取得する。運転支援情報は、例えば、ブレーキの開度に関する情報、速度に関する情報、または、ハンドル操舵角に関する情報等、車両の運転を制御するための情報である。また、運転支援情報は、例えば、渋滞または障害物がある旨の通知等、ユーザである車両のドライバ、に対して提供する情報であってもよい。

第２機械学習モデル１９は、周辺環境情報が入力されると、運転支援情報を出力するように、ニューラルネットワークまたはＣＮＮ等におけるディープラーニングにより予め機械学習が行われたモデルである。
なお、実施の形態１では、図１に示すように、第２機械学習モデル１９は、物体認識装置１に備えられているものとするが、これは一例に過ぎない。第２機械学習モデル１９は、物体認識装置１の外部の、物体認識装置１が参照可能な場所に備えられていてもよい。

運転支援情報取得部１６は、運転支援情報を取得した場合、取得した運転支援情報を、出力部１７に出力する。

出力部１７は、運転支援情報取得部１６が取得した運転支援情報を、運転支援装置２に出力する。
運転支援装置２は、物体認識装置１から運転支援情報が出力されると、当該運転支援情報に基づき、車両の運転支援を行う。
具体的には、運転支援装置２が備える運転支援部２１が、物体認識装置１にて運転支援情報取得部１６が取得した運転支援情報に基づき、車両の運転支援を行う。
なお、物体認識装置１から運転支援情報が出力されない場合、運転支援装置２において、運転支援部２１は、例えば、車両の運転を手動運転へと切り替える。運転支援部２１は、例えば、物体認識装置１以外の外部装置（図示省略）から出力される情報に従って、車両の運転支援を行うようにしてもよい。

実施の形態１に係る物体認識装置１の動作について説明する。
図３は、実施の形態１に係る物体認識装置１の動作を説明するためのフローチャートである。
情報取得部１１は、情報を取得する（ステップＳＴ３０１）。
情報取得部１１は、取得した情報を、周辺認識部１２および評価情報生成部１４に出力する。

周辺認識部１２は、ステップＳＴ３０１にて情報取得部１１が取得した情報と、第１機械学習モデル１８とに基づき、周辺環境情報を取得するとともに、演算過程情報を取得する（ステップＳＴ３０２）。
周辺認識部１２は、取得した、周辺環境情報および演算過程情報を、説明情報生成部１３に出力する。

説明情報生成部１３は、ステップＳＴ３０２にて周辺認識部１２が取得した演算過程情報に基づき、説明情報を生成する（ステップＳＴ３０３）。
説明情報生成部１３は、生成した説明情報を、評価情報生成部１４に出力する。説明情報生成部１３は、説明情報とともに、周辺認識部１２から取得した周辺環境情報を、評価情報生成部１４に出力する。

評価情報生成部１４は、ステップＳＴ３０１にて情報取得部１１が取得した情報と、ステップＳＴ３０３にて説明情報生成部１３が生成した説明情報とに基づき、評価情報を生成する（ステップＳＴ３０４）。
評価情報生成部１４は、生成した評価情報を、表示制御部１５および運転支援情報取得部１６に出力する。評価情報生成部１４は、評価情報とあわせて、ステップＳＴ３０２にて周辺認識部１２が取得した周辺環境情報を、表示制御部１５および運転支援情報取得部１６に出力する。
評価情報生成部１４は、評価情報とともに、説明情報生成部１３が生成した説明情報を、表示制御部１５および運転支援情報取得部１６に出力するようにしてもよい。

表示制御部１５は、ステップＳＴ３０４にて評価情報生成部１４が生成した評価情報に基づく情報を表示する（ステップＳＴ３０５）。
具体的には、表示制御部１５は、評価情報生成部１４が生成した評価情報に基づき、周辺認識部１２が認識した周辺環境情報が妥当であるか否かを判定し、当該判定結果によって、表示装置に表示する情報の内容を制御する。

運転支援情報取得部１６は、ステップＳＴ３０２にて周辺認識部１２が取得した周辺環境情報と、第２機械学習モデル１９とに基づき、運転支援情報を取得する（ステップＳＴ３０６）。
より詳細には、運転支援情報取得部１６は、ステップＳＴ３０５にて評価情報生成部１４が生成した評価情報に基づき、ステップＳＴ３０２にて周辺認識部１２が取得した周辺環境情報が妥当であると判定した場合、周辺認識部１２が取得した周辺環境情報と、第２機械学習モデル１９とに基づき、運転支援情報を取得する。運転支援情報取得部１６は、ステップＳＴ３０５にて評価情報生成部１４が生成した評価情報に基づき、ステップＳＴ３０２にて周辺認識部が取得した周辺環境情報が妥当ではないと判定した場合、運転支援情報を取得しない。
運転支援情報取得部１６は、運転支援情報を取得した場合、取得した運転支援情報を、出力部１７に出力する。

出力部１７は、ステップＳＴ３０６にて運転支援情報取得部１６が取得した運転支援情報を、運転支援装置２に出力する（ステップＳＴ３０７）。
運転支援装置２は、物体認識装置１から運転支援情報が出力されると、当該運転支援情報に基づき、車両の運転制御を行う。
具体的には、運転支援装置２が備える運転支援部２１が、物体認識装置１にて運転支援情報取得部１６が取得した運転支援情報に基づき、車両の運転制御を行う。
なお、ステップＳＴ３０５の動作とステップＳＴ３０６の動作の順番は逆であってもよいし、ステップＳＴ３０５の動作とステップＳＴ３０６の動作が並行して行われるものとしてもよい。

このように、実施の形態１に係る物体認識装置１は、取得した情報と、第１機械学習モデル１８とに基づき、周辺環境情報を取得するとともに、演算過程情報を取得する。物体認識装置１は、演算過程情報に基づき、取得した情報のうち、周辺環境情報の演算過程において、当該周辺環境情報への影響が大きかった情報を示す説明情報を生成する。そして、物体認識装置１は、取得した情報と説明情報とに基づき、周辺環境情報の妥当性を評価し、当該妥当性を示す評価情報を生成する。
これにより、物体認識装置１は、第１機械学習モデル１８を用いた演算を行って得られた結果が妥当なものか否かの判定を行うことができる。すなわち、物体認識装置１は、第１機械学習モデル１８を用いて周辺環境の認識を行った結果である周辺環境情報が妥当なものか否かの判定を行うことができる。

また、実施の形態１において、物体認識装置１は、評価情報生成部が生成した評価情報に基づく情報を表示する。これにより、車両のドライバは、物体認識装置１が妥当な周辺環境情報を取得できていることを視認することができる。
また、物体認識装置１は、周辺環境情報の妥当性が高いと評価した場合には、評価情報のみを表示し、周辺環境情報の妥当性が低いと評価した場合には、評価情報に加えて説明情報を表示するよう、表示制御を行う。このように、物体認識装置１は、妥当な周辺環境情報が取得できている場合に表示する情報量を少なくすることができる。その結果、物体認識装置１は、ドライバによる、妥当な周辺環境情報を取得できている場合の、周辺環境情報が取得できているかの監視作業の負荷を低減させることができる。

また、実施の形態１において、物体認識装置１は、取得した周辺環境情報と第２機械学習モデル１９とに基づき、運転支援情報を取得する。そのため、物体認識装置１は、周辺環境情報の妥当性を判定した上で、当該周辺環境情報と第２機械学習モデル１９とに基づいて運転支援情報を取得するので、当該運転支援情報を取得するにあたり、適切に、取得した周辺環境情報を活用することができる。
より詳細には、物体認識装置１は、生成した評価情報に基づき、周辺環境情報が妥当であると判定した場合、運転支援情報を取得する。物体認識装置１は、評価情報に基づき、周辺環境情報が妥当ではないと判定した場合は、運転支援情報を取得しない。そのため、物体認識装置１は、周辺環境情報の妥当性を判定した上で、当該周辺環境情報と第２機械学習モデル１９とに基づいて運転支援情報を取得するので、当該運転支援情報を取得するにあたり、適切に、取得した周辺環境情報を活用することができる。

以上の実施の形態１では、図３のフローチャートで説明したように、運転支援情報取得部１６は、評価情報生成部１４が生成した評価情報に基づき、周辺認識部１２が取得した周辺環境情報が妥当であるか否かの判定を行った後、周辺環境情報が妥当であると判定した場合に、運転支援情報を取得するものとした。しかし、これに限らず、運転支援情報取得部１６は、評価情報に基づき、周辺環境情報が妥当であるか否かの判定を行うよりも前に、運転支援情報を取得しておくようにしてもよい。この場合、運転支援情報取得部１６は、周辺環境情報が妥当であるか否かの判定を行い、周辺環境情報が妥当であると判定した場合、取得済みの運転支援情報を出力部１７に出力する。運転支援情報取得部１６は、周辺環境情報が妥当ではないと判定した場合は、取得済みの運転支援情報を出力しない。
図４は、実施の形態１において、運転支援情報取得部１６が、周辺環境情報が妥当であるか否かの判定を行うよりも前に運転支援情報を取得する場合の、物体認識装置１の動作を説明するためのフローチャートである。
図４のステップＳＴ４０１～ステップＳＴ４０２、ステップＳＴ４０４～ステップＳＴ４０６、ステップＳＴ４０８の具体的な動作は、それぞれ、図３のステップＳＴ３０１～～ステップＳＴ３０５、ステップＳＴ３０７の具体的な動作と同様であるため、重複した説明を省略する。

ステップＳＴ４０３にて、運転支援情報取得部１６は、ステップＳＴ４０２にて周辺認識部１２が取得した周辺環境情報と、第２機械学習モデル１９とに基づき、運転支援情報を取得する。
ステップＳＴ４０７にて、運転支援情報取得部１６は、ステップＳＴ４０５にて評価情報生成部１４が生成した評価情報に基づき、ステップＳＴ４０２にて周辺認識部１２が取得した周辺環境情報が妥当であるか否かを判定する。
運転支援情報取得部１６は、周辺環境情報が妥当であると判定した場合、ステップＳＴ４０２にて取得済みの運転支援情報を出力すると判定する。運転支援情報取得部１６は、周辺環境情報が妥当ではないと判定した場合、ステップＳＴ４０２にて取得済みの運転支援情報を出力しないと判定する。
運転支援情報取得部１６は、運転支援情報を出力すると判定した場合、取得済みの運転支援情報を、出力部１７に出力する。
なお、ステップＳＴ４０３の動作は、ステップＳＴ４０５の動作が完了するまでに行われていればよい。また、ステップＳＴ４０６の動作とステップＳＴ４０７の動作の順番は逆であってもよいし、ステップＳＴ４０６の動作とステップＳＴ４０７の動作が並行して行われるものとしてもよい。

また、以上の実施の形態１では、物体認識装置１は、図１に示すような構成を有するものとしたが、物体認識装置１は、表示制御部１５、運転支援情報取得部１６、出力部１７、および、第２機械学習モデル１９を備えることを必須としない。
例えば、物体認識装置１が、表示制御部１５を備えない構成を有する場合、当該物体認識装置１の動作において、図３のステップＳＴ３０５、および、図４のステップＳＴ４０６の動作は行われない。
例えば、物体認識装置１が、運転支援情報取得部１６、出力部１７、および、第２機械学習モデル１９を備えない構成を有する場合、当該物体認識装置１の動作において、図３のステップＳＴ３０６～ステップＳＴ３０７、および、図４のステップＳＴ４０３、ステップＳＴ４０７～ステップＳＴ４０８の動作は行われない。

また、以上の実施の形態１において、物体認識装置１は、車両に搭載されていることを前提としたが、これは一例に過ぎない。
例えば、図１を用いて説明した物体認識装置１の構成部の一部が、サーバ３に備えられるものとしてもよい。
図５は、実施の形態１において、図１を用いて説明した物体認識装置１の構成部の一部がサーバ３に備えられるものとした物体認識システムの構成例を示す図である。
図５では、図１を用いて説明した物体認識装置１の構成部のうち、情報取得部１１および出力部１７は車両に搭載された運転支援装置２ａに備えられるものとし、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、第１機械学習モデル１８、および、第２機械学習モデル１９が、サーバ３に備えられるものとして、運転支援装置２ａとサーバ３とで物体認識システムを構成するようにしている。運転支援装置２ａとサーバ３とは、ネットワーク４を介して接続される。
サーバ３は、上記構成部に加え、情報取得部３１および出力部３２を備える。
サーバ３の情報取得部３１は、情報取得部１１から情報を取得する。情報取得部３１は、取得した情報を、周辺認識部１２に出力する。
サーバ３の出力部３２は、運転支援情報を、運転支援部２１に出力する。

また、図５では、車両は１台であることを想定しているが、これは一例に過ぎない。運転支援装置２ａをそれぞれ搭載した複数台の車両が、サーバ３と接続されるようになっていてもよい。
この場合、サーバ３において、出力部３２は、運転支援情報を、情報取得部３１が取得した情報を出力した出力元の運転支援装置２ａに出力するようにしてもよいし、当該運転支援装置２ａとは別の車両に搭載された運転支援装置２ａに出力するようにしてもよい。
具体例を挙げて説明する。以下の具体例では、サーバ３に対して情報を出力した運転支援装置２ａとは別の、１以上の運転支援装置２ａを、「他運転支援装置」という。また、運転支援装置２ａを搭載した車両を「自車両」、「他運転支援装置」を搭載した車両を「他車両」という。自車両の運転支援装置２ａからは、サーバ３に、自車両周辺を撮像した撮像画像が出力されるものとする。サーバ３は、撮像画像と第１機械学習モデル１８とに基づき、周辺環境情報を取得し、当該周辺環境情報の妥当性を判定する。
例えば、自車両を先頭とし、自車両の後ろに１台以上の他車両が渋滞している車列があったとする。サーバ３は、運転支援装置２ａから取得した撮像画像と第１機械学習モデル１８とに基づき、落石等の障害物がある旨の周辺環境情報を取得したとする。さらに、サーバ３は、取得した周辺環境情報が妥当であると判定したとする。この場合、サーバ３は、周辺環境情報と第２機械学習モデル１９とに基づいて取得した運転支援情報を、運転支援装置２ａに出力する。運転支援情報は、例えば、ブレーキの開度を制御する情報である。このとき、サーバ３は、運転支援装置２ａだけでなく、自車両の後ろで渋滞している他車両に搭載されている他運転支援装置に対しても、運転支援情報を出力することができる。

また、例えば、自車両と他車両が、異なる出発地点から、同じ目的地へ向けて走行中であったところ、自車両が渋滞に巻き込まれたとする。サーバ３は、運転支援装置２ａから取得した撮像画像と第１機械学習モデル１８とに基づき、渋滞がある旨の周辺環境情報を取得したとする。さらに、サーバ３は、取得した周辺環境情報が妥当であると判定したとする。この場合、サーバ３は、周辺環境情報と第２機械学習モデル１９とに基づいて取得した運転支援情報を、運転支援装置２ａに出力する。運転支援情報は、例えば、ドライバに対して渋滞が発生していることを通知するための情報である。このとき、サーバ３は、運転支援装置２ａだけでなく、同じ目的地へ向けて走行中の他車両に搭載されている他運転支援装置に対しても、運転支援情報を出力することができる。

このように、サーバ３は、同じ制御を行う複数の車両、または、同じ情報を提供する必要がある複数の車両、にそれぞれ搭載されている運転支援装置２ａに対して、運転支援情報を出力することができる。

図６Ａ，図６Ｂは、実施の形態１に係る物体認識装置１のハードウェア構成の一例を示す図である。
実施の形態１において、情報取得部１１、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、および、出力部１７の機能は、処理回路６０１により実現される。すなわち、物体認識装置１は、情報に基づいて取得した周辺環境情報の妥当性を評価し、当該妥当性の評価に基づいて周辺環境情報の表示、または、周辺環境情報に基づく運転支援情報の取得を行うための処理回路６０１を備える。
処理回路６０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ６０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０５であってもよい。

処理回路６０１が専用のハードウェアである場合、処理回路６０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路６０１がＣＰＵ６０５の場合、情報取得部１１、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、および、出力部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、情報取得部１１、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、および、出力部１７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６０２、メモリ６０６等に記憶されたプログラムを実行するＣＰＵ６０５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路６０１により実現される。また、ＨＤＤ６０２、メモリ６０６等に記憶されたプログラムは、情報取得部１１、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、および、出力部１７の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ６０６とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、情報取得部１１、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、運転支援情報取得部１６、および、出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、情報取得部１１および出力部１７については専用のハードウェアとしての処理回路６０１でその機能を実現し、周辺認識部１２、説明情報生成部１３、評価情報生成部１４、表示制御部１５、および、運転支援情報取得部１６については処理回路６０１がメモリ６０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、物体認識装置１は、図示しない表示装置、または、サーバ３等の装置と、有線通信または無線通信を行う入力インタフェース装置６０３および出力インタフェース装置６０４を備える。

以上のように、実施の形態１によれば、物体認識装置１は、情報を取得する情報取得部１１と、情報取得部１１が取得した情報と、第１機械学習モデル１８とに基づき、周辺の環境の状態に関する周辺環境情報を取得するとともに、周辺環境情報を取得した際の演算過程を示す演算過程情報を取得する周辺認識部１２と、周辺認識部１２が取得した演算過程情報に基づき、情報取得部１１が取得した情報のうち、演算過程において周辺環境情報への影響が大きかった情報、を示す説明情報、を生成する説明情報生成部１３と、情報取得部１１が取得した情報と、説明情報生成部１３が生成した説明情報とに基づき、周辺認識部１２が取得した周辺環境情報の妥当性を示す評価情報を生成する評価情報生成部１４とを備えるように構成した。そのため、物体認識装置１は、機械学習モデル（第１機械学習モデル１８）を用いた演算を行って得られた結果が妥当なものか否かの判定を行うことができる。

また、実施の形態１によれば、物体認識装置１は、評価情報生成部１４が生成した評価情報に基づく情報を表示する表示制御部１５を備えるように構成できる。そのため、これにより、ユーザは、物体認識装置１が妥当な周辺環境情報を取得できていることを視認することができる。

また、実施の形態１によれば、物体認識装置１において、情報取得部１１は車両周辺の情報を取得し、周辺認識部１２が取得した周辺環境情報と、第２機械学習モデル１９とに基づき、運転支援情報を取得する運転支援情報取得部１６を備えるように構成できる。そのため、物体認識装置１は、周辺環境情報の妥当性を判定した上で、当該周辺環境情報と第２機械学習モデル１９とに基づいて運転支援情報を取得するので、当該運転支援情報を取得するにあたり、適切に、取得した周辺環境情報を活用することができる。

以上の実施の形態１では、物体認識装置１は、車両の周辺の環境の状態に関する周辺環境情報を取得し、当該周辺環境情報の妥当性を判定するものとしたが、これは一例に過ぎない。
例えば、物体認識装置１は、工場内にて、画像と機械学習モデルとに基づいて、ネジを打つ位置に関する情報を演算結果情報として取得し、演算結果情報の妥当性を判定する装置に適用することができる。
例えば、物体認識装置１は、取得した、演算結果情報が妥当であると判定した場合、当該演算結果情報に基づいて、ネジ打ちを制御する支援情報を、ネジ打ち機に出力する。
このように、実施の形態１に係る物体認識装置１は、取得した情報と機械学習モデルとに基づいて演算結果情報を取得する種々の装置に適用することができ、当該種々の装置において、機械学習モデルを用いた演算を行って得られた結果が妥当なものか否かの判定を行うことができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係る物体認識装置は、機械学習モデルを用いた演算を行って得られた結果が妥当なものか否かの判定を行うことができるように構成したため、機械学習モデルを用いて演算を行う物体認識装置に適用することができる。

１ 物体認識装置、１１，３１ 情報取得部、１２ 周辺認識部、１３ 説明情報生成部、１４ 評価情報生成部、１５ 表示制御部、１６ 運転支援情報取得部、１７，３２ 出力部、１８ 第１機械学習モデル、１９ 第２機械学習モデル、２，２ａ 運転支援装置、２１ 運転支援部、３ サーバ、４ ネットワーク、６０１ 処理回路、６０２ ＨＤＤ、６０３ 入力インタフェース装置、６０４ 出力インタフェース装置、６０５ ＣＰＵ、６０６ メモリ。

Claims (10)

1. 情報を取得する情報取得部と、
   前記情報取得部が取得した情報と、第１機械学習モデルとに基づき、周辺の環境の状態に関する周辺環境情報を取得するとともに、前記周辺環境情報を取得した際の演算過程を示す演算過程情報を取得する周辺認識部と、
   前記周辺認識部が取得した演算過程情報に基づき、前記情報取得部が取得した情報のうち、前記演算過程において前記周辺環境情報への影響が大きかった情報、を示す説明情報、を生成する説明情報生成部と、
   前記情報取得部が取得した情報と、前記説明情報生成部が生成した説明情報とに基づき、前記周辺認識部が取得した周辺環境情報の妥当性を示す評価情報を生成する評価情報生成部
   とを備えた物体認識装置。
2. 前記評価情報生成部が生成した評価情報に基づく情報を表示する表示制御部
   を備えた請求項１記載の物体認識装置。
3. 前記情報取得部は車両周辺の情報を取得し、
   前記周辺認識部が取得した周辺環境情報と、第２機械学習モデルとに基づき、運転支援情報を取得する運転支援情報取得部
   を備えた請求項１記載の物体認識装置。
4. 前記運転支援情報取得部は、
   前記評価情報生成部が生成した評価情報に基づき、前記周辺認識部が取得した周辺環境情報が妥当であると判定した場合、前記運転支援情報を取得し、
   前記評価情報生成部が生成した評価情報に基づき、前記周辺認識部が取得した周辺環境情報が妥当ではないと判定した場合、前記運転支援情報を取得しない
   ことを特徴とする請求項３記載の物体認識装置。
5. 請求項３または請求項４記載の物体認識装置と、
   前記運転支援情報取得部が取得した運転支援情報に基づき、車両の運転制御を行う運転支援部
   とを備えた運転支援装置。
6. 情報を取得する情報取得部と、
   前記情報取得部が取得した情報と、第１機械学習モデルとに基づき、周辺環境に存在する物体に関する周辺環境情報を取得するとともに、前記周辺環境情報を取得した際の前記第１機械学習モデルによる演算過程を示す演算過程情報を取得する周辺認識部と、
   前記周辺認識部が取得した演算過程情報に基づき、前記演算過程において前記周辺環境情報への影響が大きかった情報を示す説明情報、を生成する説明情報生成部と、
   前記情報取得部が取得した情報と、前記説明情報生成部が生成した説明情報とに基づき、前記周辺認識部が取得した周辺環境情報の妥当性を示す評価情報を生成する評価情報生成部と、
   前記評価情報生成部が生成した評価情報を外部装置に出力する出力部
   とを備えたサーバ。
7. 前記評価情報生成部が生成した評価情報を表示する表示制御部
   を備えた請求項６記載のサーバ。
8. 前記外部装置は車両であり、
   前記情報取得部は車両周辺の情報を取得し、
   前記周辺認識部が取得した周辺環境情報と、第２機械学習モデルとに基づき、運転支援情報を取得する運転支援情報取得部を備え、
   前記出力部は、前記運転支援情報取得部が取得した運転支援情報を前記車両に出力する
   ことを特徴とする請求項６記載のサーバ。
9. 前記運転支援情報取得部は、
   前記評価情報生成部が生成した評価情報に基づき、前記周辺認識部が取得した周辺環境情報が妥当であると判定した場合、前記運転支援情報を取得し、
   前記評価情報生成部が生成した評価情報に基づき、前記周辺認識部が取得した周辺環境情報が妥当ではないと判定した場合、前記運転支援情報を取得しない
   ことを特徴とする請求項８記載のサーバ。
10. 情報取得部が、情報を取得するステップと、
    周辺認識部が、前記情報取得部が取得した情報と、第１機械学習モデルとに基づき、周辺の環境の状態に関する周辺環境情報を取得するとともに、前記周辺環境情報を取得した際の演算過程を示す演算過程情報を取得するステップと、
    説明情報生成部が、前記周辺認識部が取得した演算過程情報に基づき、前記情報取得部が取得した情報のうち、前記演算過程において前記周辺環境情報への影響が大きかった情報、を示す説明情報、を生成するステップと、
    評価情報生成部が、前記情報取得部が取得した情報と、前記説明情報生成部が生成した説明情報とに基づき、前記周辺認識部が取得した周辺環境情報の妥当性を示す評価情報を生成するステップ
    とを備えた物体認識方法。

Images