JP7177618B2 - 信頼性判定装置および信頼性判定方法 - Google Patents

Description

本発明は、カメラで撮影された撮影画像の信頼性を判定する技術に関する。

例えば、特許文献１には、ハンドル舵角に応じた車両進行方向を予測演算して車両予測軌跡を求め、モニタ画面に表示されているカメラの撮影画像に車両進行方向の予測軌跡画像を重畳表示する運転支援装置が開示されている。また、特許文献１には、予測軌跡画像を車両に設置される投影手段によって道路面上に投影することが開示されている。

特許文献１の構成によれば、運転者がサイドミラーやバックミラーを通して、或いは直接的に道路面を確認したときでも、車両の進行方向の予測軌跡を視認でき、運転操作を支援することができる。また、例えば、高輝度の太陽光によって道路面上に投影された予測軌跡の画像が見づらくなったときでも、モニタ画面にて予測軌跡を確認可能である。

特開２００４－１８２１２１号公報

ところで、例えばカメラのレンズが汚れている等の不具合が発生した場合、モニタ画面に映る撮影画像がぼやけたり、本来映るべき撮影画像の一部が欠落したりすることがある。このような場合に、運転者がモニタ画面を見ながら運転を行ったり、撮影画像に基づく自動運転が行われたりすると危険である。カメラによって撮影された撮影画像の信頼性が分かると、撮影画像を利用した運転の安全性を向上させることができる。

本発明は、上記事情に鑑みて、移動体に搭載されるカメラで撮影された撮影画像の信頼性を判定することができる技術を提供することを目的とする。

上記目的を達成するために本発明の信頼性判定装置は、移動体に搭載されるカメラで撮影された撮影画像の信頼性を判定する信頼性判定装置であって、前記移動体に搭載される投光装置により路面に投光された特定の投光パターンを前記カメラで撮影した撮影画像を取得する取得部と、前記取得部で取得した撮影画像に映る前記投光パターンの実画像と、当該実画像に対応する前記投光パターンの期待画像とに基づき前記信頼性を判定する判定部と、を備える構成（第１の構成）になっている。

上記第１の構成の信頼性判定装置において、前記判定部は、前記実画像と前記期待画像との比較により前記信頼性が低いか否かを判定する構成（第２の構成）であってよい。

上記第１又は第２の構成の信頼性判定装置において、前記判定部は、前記信頼性を低下させる原因を推定する推測処理を更に行う構成（第３の構成）であってよい。

上記第３の構成の信頼性判定装置において、前記推測処理には、前記実画像と前記期待画像との間で形状、位置、大きさ、および、明暗の少なくともいずれか１つを比較する処理が含まれる構成（第４の構成）であることが好ましい。

上記第１から第４のいずれかの構成の信頼性判定装置は、前記判定部による判定結果を知らせる報知装置を制御する報知制御部を更に備える構成（第５の構成）であってよい。

上記第１から第５のいずれかの構成の信頼性判定装置は、前記判定部による前記信頼性の判定処理を行うことができないと判断される場合に、前記投光装置の投光条件を変更する投光制御部を更に備える構成（第６の構成）であってよい。

上記第１から第６のいずれかの構成の信頼性判定装置は、前記実画像を表示する表示画面に前記期待画像を重畳して表示させる表示制御部を更に備える構成（第７の構成）であってよい。

上記第１から第７のいずれかの構成の信頼性判定装置において、前記移動体は車両であり、前記投光パターンは、前記車両の駐車を支援するためのパターンである構成（第８の構成）であってよい。

上記目的を達成するために本発明の信頼性判定方法は、移動体に搭載されるカメラで撮影された撮影画像の信頼性を判定する信頼性判定装置によって行われる信頼性判定方法であって、前記移動体に搭載される投光装置により路面に投光される特定の投光パターンを前記カメラで撮影した撮影画像を取得する取得工程と、前記取得工程で取得した撮影画像に映る前記投光パターンの実画像と、当該実画像に対応する前記投光パターンの期待画像とに基づき前記信頼性を判定する判定工程と、を備える構成（第９の構成）になっている。

本発明によれば、移動体に搭載されるカメラで撮影された撮影画像の信頼性を判定することができる。

本発明の信頼性判定装置が適用される運転支援システムの一構成例を示す図 信頼性判定装置によって実行される信頼性の判定処理の一例を示すフローチャート 本実施形態の特定の投光パターンについて説明するための模式図 特定の投光パターンの他の実施例を示す模式図 特定の投光パターンの他の実施例を示す模式図 推測処理について説明するための模式図 推測処理について説明するための模式図 推測処理について説明するための模式図 推測処理について説明するための模式図 変形例の信頼性判定装置について説明するための図 表示装置の表示画面を示す模式図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下においては、本発明の移動体が車両である場合を例に説明する。ただし、本発明の移動体は車両に限定されず、例えばロボット等であってもよい。

また、以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」と呼ぶ。

＜１．運転支援システム＞
図１は、本発明の信頼性判定装置１が適用される運転支援システムＳＹＳ１の一構成例を示す図である。本実施形態の運転支援システムＳＹＳ１は、例えば、駐車場における車両の駐車支援を行うシステム等として好適である。図１に示すように、運転支援システムＳＹＳ１は、信頼性判定装置１と、撮影部２と、投光装置３と、報知装置４と、を備える。

信頼性判定装置１は、車両に搭載されるカメラで撮影された撮影画像（映像）の信頼性を判定する装置である。本実施形態では、車両に搭載されるカメラは、車両の周辺を撮影するカメラである。信頼性判定装置１は、車両に複数のカメラが搭載される場合、各カメラについて撮影画像の信頼性を判定する。信頼性判定装置１の詳細については後述する。なお、信頼性判定装置１は、車載装置であってもよいが、車外に持ち出し可能な携帯型の装置であってもよい。

撮影部２は、上述した車両に搭載されるカメラで構成される。カメラは例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサを搭載したカメラである。本実施形態においては、撮影部２は、フロントカメラ２１、左サイドカメラ２２、右サイドカメラ２３、および、バックカメラ２４を含む。フロントカメラ２１は、車両の前端に設けられ、車両の前方を撮影する。左サイドカメラ２２は、例えば車両の左サイドミラー等の左サイドに設けられ、車両の左方向を撮影する。右サイドカメラ２３は、例えば車両の右サイドミラー等の右サイドに設けられ、車両の右方向を撮影する。バックカメラ２４は、車両の後端に設けられ、車両の後方を撮影する。各カメラ２１～２４は車両に固定され、車両からみて一定の位置を撮影する。

撮影部２は、信頼性判定装置１に有線又は無線によって接続される。すなわち、撮影部２を構成する各カメラ２１～２４は、信頼性判定装置１に撮影画像を入力することができる。なお、撮影部２を構成するカメラの数は、４つに限らず、単数または複数であってよい。例えば、撮影部２は、バックカメラ２４のみで構成されたり、左右のサイドカメラ２２、２３とバックカメラ２４とで構成されたりしてよい。

投光装置３は、信頼性判定装置１および撮影部２が搭載される車両に搭載される。投光装置３は、信頼性判定装置１に有線又は無線によって接続され、信頼性判定装置１によって制御される。投光装置３は、信頼性判定装置１による制御のもと、路面に特定の投光パターンを投光する。投光装置３は、各カメラ２１～２４の信頼性を判定する目的で備えられ、カメラ２１～２４毎に設けられる。すなわち、本実施形態の運転支援システムＳＹＳ１は、詳細には、車両の前方に光を投光するフロント投光装置と、車両の左サイドに光を投光する左サイド投光装置と、車両の右サイドに光を投光する右サイド投光装置と、車両の後方に光を投光するバック投光装置との４つの投光装置３を備える。各投光装置３は車両に固定され、車両からみて一定の位置に特定の投光パターンを投光する。

特定の投光パターンは、カメラ２１～２４のレンズの不具合を検出する必要があるために、カメラ２１～２４の撮影画像の広範囲に亘って広がることが好ましい。また、特定のパターンは、その全体が撮影画像中に映っていることが好ましい。すなわち、特定の投光パターンは、スポット状ではなく、路面の広範囲に広がるパターンであることが好ましい。投光装置３は、例えばプロジェクタで構成される。

報知装置４は、信頼性判定装置１と同じ車両に搭載される。報知装置４は、信頼性判定装置１に有線又は無線によって接続され、信頼性判定装置１によって制御される。報知装置４は、信頼性判定装置１による制御のもと、信頼性の判定結果を車両の乗員に知らせる。報知装置４は、例えば、画面表示や音声を用いて判定結果を知らせる。すなわち、報知装置４は、例えば音声出力装置、表示装置、又は、音声出力装置を含む表示装置等であってよい。本実施形態では、報知装置４は表示装置である。当該表示装置は、カメラ２１～２４で撮影された撮影画像を表示可能に設けられる。表示装置は、例えばナビゲーション装置を構成する要素であってよい。表示装置は、車載装置でもよいが、車外に持ち出し可能な携帯型の装置であってもよい。

＜２．信頼性判定装置＞
図１に示すように、信頼性判定装置１は、制御部１１と記憶部１２とを備える。制御部１１は、信頼性判定装置１の全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）などを備えるコンピュータで構成される。記憶部１２は、制御部１１が動作するために必要なコンピュータプログラムおよびデータを不揮発的に記憶する。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等を用いることができる。

図１に示す投光制御部１１１、取得部１１２、判定部１１３、および、報知制御部１１４は、記憶部１２に記憶されるコンピュータプログラムの実行により実現される制御部１１の機能である。換言すると、信頼性判定装置１は、投光制御部１１１と、取得部１１２と、判定部１１３と、報知制御部１１４とを備える。

なお、制御部１１が備える各機能部１１１～１１４の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１１が備える各機能部１１１～１１４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。

投光制御部１１１は投光装置３を制御する。本実施形態では、投光装置３の数は複数であり、投光制御部１１１は、これら複数の投光装置３の制御を行う。投光制御部１１１の制御により、各投光装置３は特定の投光パターンの光を適宜路面に投光する。特定の投光パターンは、カメラ２１～２４の撮影画像の信頼性を判定するためのパターンである。なお、特定の投光パターンは、例えば車両の運転を補助するパターンや歩行者に車両の動きを知らせるパターンを兼ねてよい。

取得部１１２は、各カメラ２１～２４からアナログ又はデジタルの撮影画像（映像）を所定の周期で取得する。そして、取得した撮影画像がアナログの場合には、取得部１１２は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。本実施形態では、取得部１１２は、車両に搭載される投光装置３により路面に投光された特定の投光パターンをカメラ２１～２４で撮影した撮影画像を取得する。

詳細には、取得部１１２は、フロント投光装置により投光された特定の投光パターンをフロントカメラ２１で撮影した撮影画像を取得する。取得部１１２は、左サイド投光装置により投光された特定の投光パターンを左サイドカメラ２２で撮影した撮影画像を取得する。取得部１１２は、右サイド投光装置により投光された特定の投光パターンを右サイドカメラ２３で撮影した撮影画像を取得する。取得部１１２は、バック投光装置により投光された特定の投光パターンをバックカメラ２４で撮影した撮影画像を取得する。取得部１１２は、各撮影画像の画像処理を行い、特定の投光パターンを認識する。

判定部１１３は、取得部１１２で取得した撮影画像に映る特定の投光パターンの実画像と、当該実画像に対応する特定の投光パターンの期待画像とに基づき撮影画像の信頼性を判定する。期待画像は、実画像の撮影時点において特定のパターンに対して撮影されることが期待された画像である。期待画像は、実画像との比較を行いたい少なくとも１つの要素を予測した画像であってよい。例えば、期待画像は、特定の投光パターンの形状のみを予測した画像等であってよい。本実施形態では、判定部１１３は、各カメラ２１～２４から得られる撮影画像に対して、実画像と期待画像とに基づき信頼性を判定する。すなわち、判定部１１３は、各カメラ２１～２４の撮影画像の信頼性を判定する。

本実施形態では、特定の投光パターンは、各カメラ２１～２４の撮影画像の広範囲に亘って広がるとともに、その全体が撮影画像中に映るように設定されている。このために、特定の投光パターンの撮影画像に注目することによって、レンズ等に起こる不具合を広く検出することが可能である。すなわち、特定の投光パターンの実画像と期待画像とに基づき、カメラ２１～２４の信頼性を低下させる事態が生じていることを広く検出することができ、カメラ２１～２４の撮影画像の信頼性を適切に判定することができる。

本実施形態では、判定部１１３は、実画像と期待画像との比較により撮影画像の信頼性が低いか否かを判定する。これによると、信頼性の判定処理を簡単に行うことができるとともに、信頼性の判定結果をユーザが即座に理解することができる。なお、判定部１１３は、撮影画像の信頼性について、３段階以上に分類して判定してもよい。

報知制御部１１４は、判定部１１３による判定結果を知らせる報知装置４を制御する。例えば、報知制御部１１４は、報知装置４を制御して、撮影画像の信頼性が低い場合にのみ判定結果を車両の乗員に知らせる構成であってよい。報知装置４によって撮影画像の信頼性が低いことが知らされることによって、車両の乗員は、撮影画像のみにしたがった運転が危険であることを認識することができ、車両を安全に運転することができる。なお、報知制御部１１４は、報知装置４を制御して、信頼性の判定内容にかかわらず判定結果を車両の乗員に知らせる構成であってもよい。

図２は、信頼性判定装置１によって実行される信頼性の判定処理の一例を示すフローチャートである。本実施形態では、前後左右の４つのカメラ２１～２４の撮影画像について、それぞれ信頼性の判定が行われる。各カメラ２１～２４の撮影画像の信頼性判定処理は同じである。このために、ここでは、バックカメラ２４の場合を代表例として信頼性判定処理について説明する。

信頼性判定装置１は、動作開始イベントが発生すると、図２に示すフローチャートの動作を開始する。動作開始イベントとしては、例えば、バックカメラ２４によって撮影された撮影画像の画面表示の開始や、信頼性の判定処理を指示するユーザのボタン操作等が挙げられる。撮影画像の画面表示は、例えば駐車支援等の運転支援の開始によって始まる。

まず、投光制御部１１１による投光処理が行われる（ステップＳ１）。詳細には、投光制御部１１１から投光装置３に対して、特定の投光パターンを投光することが指示される。これにより、投光装置３は、路面に向けて特定の投光パターンを投光する。図３Ａは、本実施形態の特定の投光パターン５について説明するための模式図である。図３Ａに示すように、特定の投光パターンは、車両６の前後左右にそれぞれ投光される。本実施形態では、特定の投光パターンは、１色、且つ、矩形状のパターンである。特定の投光パターンの色は、路面と区別できる色であることが好ましく、例えばイエロー等とされる。特定の投光パターンを矩形状のパターンとすることにより、実画像と期待画像との比較を容易に行うことができる。

なお、図３Ａに示す特定の投光パターン５は例示すぎない。例えば、特定の投光パターン５は矩形状に限定されず、円形状、楕円状、矩形以外の多角形状、環状等の他の形状であってよい。また、特定の投光パターンは、前後左右で互いに異なってもよい。

図３Ｂおよび図３Ｃは、特定の投光パターン５の他の実施例を示す模式図である。図３Ｂおよび図３Ｃにおいても、特定の投光パターン５は車両６の前後左右に投光され、各方向においてその形状は矩形状である。ただし、図３Ｂにおいては、特定の投光パターン５は２色で構成され、色の違いによって２つの矩形状の領域が構成されている。特定の投光パターン５を構成する２つの色は互いに区別できる色であることが好ましく、例えばイエローとマゼンタ等であってよい。なお、特定の投光パターン５を構成する色は３色以上であってもよい。複数色で特定の投光パターン５を構成することによって、１色のみで特定の投光パターンを構成する場合に比べて、実画像と期待画像との差異を検出し易くすることができる。すなわち、信頼性の判定精度を向上することができる。

また、図３Ｃにおいては、特定の投光パターン５は、規則性を有する模様が広範囲に広がった構成になっている。規則性を有する模様は、特に限定されるものではないが、例えばチェッカー模様等であってもよい。規則性を有する模様は、例えば、光を投光する部分と投光しない部分とで構成してもよいし、２色以上の光を投光することによって構成してもよい。例えば、規則性を有する模様で特定の投光パターン５を構成することによって、単一形状且つ単一色のみで特定の投光パターンで構成する場合に比べて、実画像と期待画像との差異を検出し易くすることができる。すなわち、信頼性の判定精度を向上することができる。

図２に戻って、路面に特定の投光パターン５が投光されると、取得部１１２は、特定の投光パターン５の実画像を取得する実画像取得処理を行う（ステップＳ２）。詳細には、特定の投光パターン５が映る撮影画像が取得部１１２により取得される。そして、取得部１１２は、取得した撮影画像に対して周知のパターン認識処理を行うことにより、撮影画像中に映る特定の投光パターン５を認識する。

取得部１１２による実画像取得処理が行われると、判定部１１３は、撮影画像の信頼性判定が可能か否かを確認する（ステップＳ３）。例えば車両の周囲が明るすぎたり、投光した光の色と路面の色とが近かったりした場合等に、撮影画像に映る特定の投光パターン５を認識できない場合があることを考慮する処理である。

撮影画像の信頼性判定が可能であると判断された場合（ステップＳ３でＹｅｓ）、判定部１１３は、取得部１１２によって取得された実画像と、当該実画像に対応する特定の投光パターンの期待画像とを比較する（ステップＳ４）。期待画像は、投光装置３（バック投光装置）およびバックカメラ２４の設定条件に関する情報に基づき予め求められた画像情報である。

また、本実施形態では、判定部１１３は、実画像と期待画像との比較に際し、画像の位置、形状および大きさを比較する。ただし、これは例示であり、実画像と期待画像との比較要素は適宜変更されてよい。例えば、画像の位置、形状および大きさの他に明暗等が比較されてもよい。また、例えば画像の形状のみが比較されてもよい。

判定部１１３は、実画像と期待画像との比較により、位置、形状および大きさのうち少なくも１つにおいて一致しない要素があると判断した場合、撮影画像の信頼性が低いと判定する。比較処理が行われると、判定部１１３は、撮影画像の信頼性が低いと判定されたか否かを確認する（ステップＳ５）。

撮影画像の信頼性が低いと判定されると（ステップＳ５でＹｅｓ）、判定部１１３は、撮影画像の信頼性を低下させる原因を推定する推測処理を行う（ステップＳ６）。撮影画像の信頼性を低下させる原因を推測することによって、例えば、信頼性を低下させる原因となっている事態を回避する処置を行ったり、信頼性の低下原因が一時的なものであるか否かの判断を行ったりすることが可能になる。

推測処理には、実画像ＲＩと期待画像ＥＩとの間で形状、位置、大きさ、および、明暗の少なくともいずれか１つを比較する処理が含まれることが好ましい。これにより、撮影画像の信頼性を低下させる原因として考えられる事態の推測を効率良く行うことができる。

図４Ａ、図４Ｂ、図４Ｃおよび図４Ｄは、推測処理について説明するための模式図である。本実施形態では、判定部１１３は、推測処理において実画像ＲＩと期待画像ＥＩとの大きさの差異を確認する。図４Ａに示すように、実線で示される特定の投光パターン５の実画像ＲＩが期待画像ＥＩに対して大きくなっている場合、判定部１１３は実画像ＲＩのぼやけを検出する。この場合、判定部１１３は、バックカメラ２４に水滴等の透過性の付着物が付いていると推測する。

なお、ぼやけが発生している場合には、通常、実画像ＲＩと期待画像ＥＩとの間で画像の明暗に差が生じる。このために、判定部１１３は、画像の大きさの比較に加えて、或いは、画像の大きさの比較に替えて、画像の明暗の比較を行ってぼやけを検出する構成としてもよい。

また、本実施形態では、判定部１１３は、推測処理において実画像ＲＩと期待画像ＥＩとの形状の差異を確認する。図４Ｂに示す例では、実画像ＲＩは、矩形状の投光パターン５内に投光パターン５の一部を欠落させる楕円状の欠落部７が存在する形状となっており、矩形状の投光パターン５となる期待画像と形状が異なる。図４Ｂに示す例のような場合、判定部１１３は実画像ＲＩと期待画像ＥＩとの形状の差異を検出する。形状の差異を検出すると、判定部１１３は、形状の差異がある部分の時間変化を観察する。図４Ｂに示す例では、欠落部７が形状の差異がある部分に該当する。

詳細には、判定部１１３は、形状の差異を検出した実画像ＲＩの撮影時間ｔから所定時間Ｔが経過した時点における特定の投光パターン５の実画像ＲＩを再取得する。そして、判定部１１３は、再取得した実画像（ｔ＋Ｔ）と期待画像ＥＩとを比較して形状の差異を確認する。判定部１１３は、先の実画像ＲＩ（ｔ）と、再取得した実画像ＲＩ（ｔ＋Ｔ）との間で、期待画像ＥＩと差異があった部分が一致するか否かを確認する。当該確認の結果、形状の差異があった部分が一致する場合には、判定部１１３は、形状の差異があった部分に動きが認められないために、形状の差異はバックカメラ２４のレンズに対して動かない静止物の存在によって生じていると推測する。一方、図４Ｃに示すように、形状の差異があった部分（欠落部７）が一致しない場合には、判定部１１３は、形状の差異があった部分に動きが認められるために、形状の差異はバックカメラ２４のレンズに対して動く移動物の存在によって生じていると推測する。

また、本実施形態では、判定部１１３は、推測処理において実画像ＲＩと期待画像ＥＩとの位置の差異を確認する。図４Ｄに示すように、実線で示される特定の投光パターン５の実画像ＲＩが期待画像ＥＩに対して位置が移動している場合、判定部１１３は実画像ＲＩと期待画像ＥＩとの位置の差異を検出する。この場合、判定部１１３は、バックカメラ２４の光軸がずれていると推測する。なお、図４Ｄでは、バックカメラ２４の光軸が下向きにずれた場合を想定しているが、これは例示に過ぎない。また、カメラの光軸が大きくずれた場合には、特定の投光パターン５の形状が変化する場合があり、この場合には、実画像ＲＩと期待画像ＥＩとの形状の差異も現れる。このような現象も考慮して、光軸ずれの推測を行ってもよい。

なお、判定部１１３による推測処理によって、信頼性の低下原因が推測できないことも起こり得る。このような場合には、例えば原因不明として処理してもよい。また、図４Ａから図４Ｄを用いて説明した信頼性の低下原因は例示にすぎない。例えば、撮影画像の信頼性の低下は複数の要因が重なって生じることがあり、図４Ａから図４Ｄを用いて説明した現象の少なくとも２つが同時に起こることも有り得る。すなわち、判定部１１３は、撮影画像の信頼性の低下原因として複数の原因を挙げることも有り得る。

図２に戻って、原因推測処理が完了すると、報知制御部１１４は、報知装置４を制御して判定部１１３による判定結果を知らせる報知処理を行う（ステップＳ７）。本実施形態では、撮影画像の信頼性が低いことに加えて、信頼性が低下している原因についても画面表示により知らせる。

例えば、報知装置４によって、「レンズに透過性の付着物が付いている可能性がある」ことが知らされる。この場合、車両の乗員は、カメラのレンズに雨滴等が付着している可能性があると判断できる。すなわち、車両の乗員は、レンズに付いた付着物のふき取りを行うことによって撮影画像の信頼性を回復できる可能性があると判断できる。また、別の例として、報知装置４によって「レンズに対して動かない静止物が存在する可能性がある」ことが知らされる。この場合、車両の乗員は、カメラのレンズに泥、雪、火山灰等の汚れが付着している可能性があると判断できる。すなわち、車両の乗員は、レンズに付いた付着物のふき取りにより撮影画像の信頼性を回復できる可能性があると判断できる。

また、別の例として、報知装置４によって「レンズに対して動く移動物が存在する可能性がある」ことが知らされる。この場合、車両の乗員は目視によって後方確認を行い、移動物を見つけることにより移動物との衝突を避けることができる。また、目視により移動物を見つけられない場合でも、時間に経過により自然に撮影画像の信頼性を回復できる可能性があると判断できる。また、別の例として、報知装置４によって「レンズの光軸がずれている可能性がある」ことが知らされる。この場合、車両の乗員は、例えばディーラ等の専門家にカメラのレンズ状態を検査してもらう必要があることを判断できる。

なお、判定部１１３によって信頼性の低下原因が推測できなかった場合には、その旨が報知装置４によって報知されてよい。この場合、車両の乗員は、例えばディーラ等の専門家にカメラのレンズ状態を検査してもらうことが好ましいことを判断できる。

報知処理の後、動作終了イベントが発生しているか否かが確認される（ステップＳ８）。動作終了イベントとしては、例えば、バックカメラ２４による撮影画像の画面表示の終了や、信頼性の判定処理の停止を指示するユーザのボタン操作等が挙げられる。

動作終了イベントが発生していない場合（ステップＳ８でＮｏ）、ステップＳ２に戻り、ステップＳ２以降の処理が繰り返される。一方、動作終了イベントが発生している場合には（ステップＳ８でＹｅｓ）、信頼性判定装置１は図２に示すフローチャートの動作を終了する。

ところで、ステップＳ３で信頼性判定が不可能であると判断された場合（ステップＳ３でＮｏ）、投光制御部１１１によって投光装置３の投光条件を変更する投光条件変更処理が行われる（ステップＳ９）。換言すると、投光制御部１１１は、判定部１１３による信頼性の判定処理を行うことができないと判断される場合に投光装置３の投光条件を変更する。投光条件の変更処理としては、例えば、投光装置３によって投光される光の強度を強くする処理や、光の色を変更する処理等が挙げられる。これにより、投光条件の変更前には路面と特定の投光パターン５とが区別できなかった場合でも、特定の投光パターン５の認識が可能になることが期待できる。投光条件の変更後は、ステップＳ８に進む。ステップＳ８の処理は上述したので説明は省略する。

なお、条件変更を行っても、特定の投光パターン５を認識できず、ステップＳ３において信頼性判定が不可能であるとの判断が繰り返し行われる可能性がある。このために、ステップＳ３で信頼性判定が不可能であると所定回数を超えて判断された場合には、例えば信頼性判定処理を停止する構成等としてもよい。

また、ステップＳ５で信頼性が低くないと判断された場合（ステップＳ５でＮｏ）、信頼性の低下を報知する必要がないために、ステップＳ８に進む。ステップＳ８の処理は上述したので説明は省略する。

以上に示したフローでは、判定部１１３は、撮影画像の信頼性の低下の原因を推測する推測処理を行う構成としたが、これは例示である。信頼性の低下原因の推測処理は行われなくてもよい。この場合には、撮影画像の信頼性が低いことのみが報知装置４によって知らされるようにしてよい。

＜３．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

例えば、以上においては、信頼性判定装置１が、報知制御部１１４を備える構成としたが、これは例示にすぎない。信頼性判定装置は、単に、信頼性の判定結果を報知装置に送信する構成であってもよい。この場合には、信頼性判定装置は、報知制御部を備えなくてもよい。

また、運転支援システムＳＹＳ１は、自車両の自動運転を制御する自動運転制御装置を備える構成としてよい。この場合、運転支援システムは、信頼性判定装置によって撮影画像の信頼性が低いと判定された場合に、自動運転制御装置に基づく自動運転を停止する構成としてよい。なお、ここでいう自動運転は、駆動力、制動力、及び、操舵のうちの少なくともいずれか１つが運転者の操作によらず自動で行われる状態を指す。すなわち、自動運転は、操舵、加減速、および、ブレーキの全てが自動で行われるものであってもよいが、例えば、操舵のみが自動で行われるもの等であってもよい。

図５は、変形例の信頼性判定装置１Ａについて説明するための図である。図５には、信頼性判定装置１Ａに接続される撮影部２、投光装置３、報知装置４および表示装置８も示されている。表示装置８は、例えば液晶ディスプレイや有機ＥＬディスプレイ等で構成される。図５に示すように、信頼性判定装置１Ａは、表示装置８を制御する表示制御部１１５を備える。この点、上述の実施形態と異なる。なお、表示装置８は、上述の実施形態と同様に報知装置４と兼用されてよい。この場合、表示制御部１１５は、報知制御部１１４と兼用されてよい。また、変形例の信頼性判定装置１Ａの撮影部２は、一例としてバックカメラ２４のみを備える構成である。

変形例の信頼性判定装置１Ａにおいて、投光装置３によって投光される特定の投光パターンは車両の駐車を支援するためのパターンである。特定の投光パターンが駐車を支援するパターンを兼ねることにより、コストの上昇を抑制しつつ安全性を向上することができる。詳細には、特定の投光パターンは、例えば、車両の後方の路面に描画される固定ガイドパターンであってよい。固定ガイドパターンは、例えば、予め定められた領域に描画される線あり、車両の移動経路や走行状態とは関係なく表示される所定の枠線である。すなわち、固定ガイドパターンは固定ガイド線であってよい。固定ガイド線は、例えば、車両の後部から車幅とほぼ同様の幅で車両の後方に延びる線と、それらを結ぶ線とで囲まれた線である。なお、固定ガイドパターンは、線に替えて複数の点で構成されてもよい。

また、別の例として、特定の投光パターンは、例えば車両の移動経路であると予測される路面上の位置に描画される予測ガイドパターンであってもよい。予測ガイドパターンは、例えば車両の後部の車幅とほぼ同様の間隔を有する２本の線で構成される。すなわち、予測ガイドパターンは予測ガイド線であってよい。予測ガイドパターンは、公知の手法によって求めることができる。予測ガイドパターンは、例えば車両のハンドルの舵角を検出する舵角センサからの情報に基づいて算出されてよいが、他の手法によって算出されてもよい。なお、予測ガイドパターンは、線に替えて複数の点で構成されてもよい。予測ガイドパターンの長さは変動してもよい。

図６は、表示装置８の表示画面８ａを示す模式図である。表示画面８ａには、バックカメラ２４で撮影された撮影画像が表示されている。すなわち、表示画面には、特定の投光パターンの実画像ＲＩが表示されている。なお、本例では、特定の投光パターンは固定ガイド線である。

本例では、図６に示すように、表示制御部１１５は、特定の投光パターンの実画像ＲＩを表示する表示画面８ａに特定の投光パターンの期待画像ＥＩを重畳して表示させる。なお、図６では、期待画像ＥＩは破線で示しているが、これは例示であり、実線であってもよい。また、期待画像ＥＩの色は特に限定されず、実画像と同じ色であってもよいし、同じ色でなくてもよい。

本例においても、信頼性判定装置１Ａは、判定部１１３によって実画像ＲＩと期待画像ＥＩとの比較により、撮影画像の信頼性を判定する。そして、撮影画像の信頼性が低いと判定された場合には、報知制御部１１４による制御のもと、車両の乗員は報知装置４によって撮影画像の信頼性が低いことが知らされる。一方で、車両の乗員は、実画像ＲＩに期待画像ＥＩが重なった表示画面８ａを見ることによっても撮影画像の信頼性を判定することができる。また、実画像ＲＩと期待画像ＥＩとの差異を目視することによって、車両の乗員は信頼性の低下原因を推測することができる。このため、判定部１１３による信頼性の低下原因の推測処理を省略することができる。なお、本例のように、実画像ＲＩに期待画像ＥＩを重ねて表示させる構成では、場合によっては、判定部１１３による信頼性の判定処理を行わない構成としてもよい。

１、１Ａ・・・信頼性判定装置
３・・・投光装置
４・・・報知装置
５・・・特定の投光パターン
６・・・車両（移動体）
８ａ・・・表示画面
２１・・・フロントカメラ
２２・・・左サイドカメラ
２３・・・右サイドカメラ
２４・・・バックカメラ
１１１・・・投光制御部
１１２・・・取得部
１１３・・・判定部
１１４・・・報知制御部
１１５・・・表示制御部
ＥＩ・・・期待画像
ＲＩ・・・実画像

Claims (9)

1. 移動体に搭載されるカメラで撮影された撮影画像の信頼性を判定する信頼性判定装置であって、
   前記移動体に搭載される投光装置により路面に投光された特定の投光パターンを前記カメラで撮影した撮影画像を取得する取得部と、
   前記取得部で取得した撮影画像に映る前記投光パターンの実画像と、当該実画像に対応する前記投光パターンの期待画像とに基づき前記信頼性を判定する判定部と、
   を備え、
   前記判定部は、前記信頼性を低下させる原因を推定する推測処理を行い、
   前記推測処理の中には、前記実画像と前記期待画像との比較による、ぼやけと欠落部とのうちの少なくとも一方の検出が含まれる、信頼性判定装置。
2. 前記判定部は、前記ぼやけの検出により、前記カメラに透過性の付着物が付いていると推測する、請求項１に記載の信頼性判定装置。
3. 前記判定部は、前記欠落部を検出した場合に、前記実画像を再取得して前記欠落部の時間変化を確認して前記欠落部の発生原因を推測する、請求項１又は２に記載の信頼性判定装置。
4. 前記推測処理には、前記実画像と前記期待画像との間で形状、位置、大きさ、および、明暗の少なくともいずれか１つを比較する処理が含まれる、請求項１から３のいずれか１項に記載の信頼性判定装置。
5. 前記判定部による判定結果を知らせる報知装置を制御する報知制御部を更に備える、請求項１から４のいずれか１項に記載の信頼性判定装置。
6. 前記判定部による前記信頼性の判定処理を行うことができないと判断される場合に、前記投光装置の投光条件を変更する投光制御部を更に備える、請求項１から５のいずれか１項に記載の信頼性判定装置。
7. 前記実画像を表示する表示画面に前記期待画像を重畳して表示させる表示制御部を更に備える、請求項１から６のいずれか１項に記載の信頼性判定装置。
8. 前記移動体は車両であり、
   前記投光パターンは、前記車両の駐車を支援するためのパターンである、請求項１から７のいずれか１項に記載の信頼性判定装置。
9. 移動体に搭載されるカメラで撮影された撮影画像の信頼性を判定する信頼性判定装置によって行われる信頼性判定方法であって、
   前記移動体に搭載される投光装置により路面に投光される特定の投光パターンを前記カメラで撮影した撮影画像を取得する取得工程と、
   前記取得工程で取得した撮影画像に映る前記投光パターンの実画像と、当該実画像に対応する前記投光パターンの期待画像とに基づき前記信頼性を判定する判定工程と、
   を備え、
   前記判定工程においては、前記信頼性を低下させる原因を推定する推測処理が行われ、
   前記推測処理の中には、前記実画像と前記期待画像との比較による、ぼやけと欠落部とのうちの少なくとも一方の検出が含まれる、信頼性判定方法。

Images