JP7398643B2 - 画像監視装置 - Google Patents

Description

本開示は、画像監視装置に関する。

従来、車両は、車載カメラが撮像した画像に基づいて把握した車両の周囲の状況に応じた各種処理を実行する。車載カメラのレンズが汚れている場合、車両は、車両の周囲の状況を把握することができない。そこで、車載カメラが撮像した画像に基づいて、車載カメラのレンズに汚れが付着しているか否かを判定する技術が知られている。このような技術では、車載カメラが撮像した画像に含まれる輝度値が平坦なブロックの数、つまり輝度値が平坦な領域の広さに基づいて、レンズに汚れが付着しているか否かを判定する（特許文献１）。また、画像内の小領域についてヒストグラムを取得し、ヒストグラムの時間的な変化がないことを検出することによってレンズに汚れが付着しているか否かを判定する（特許文献２）。

特許第６７３１６４５号公報 特許第６３１３０８１号公報

しかしながら、車載カメラが撮像した画像には、レンズに汚れが付着していなくても、輝度値が平坦な領域が形成される場合がある。また、レンズに汚れが付着していなくても、画像内の小領域のヒストグラムの時間的な変化がない場合が形成される場合がある。この場合、画像監視装置は、レンズに汚れが付着していると誤検出してしまうことがある。

本開示は、車載カメラのレンズに汚れが付着していることの誤検出を抑制することができる画像監視装置を提供する。

本開示に係る画像監視装置は、取得部と、通知部と備える。前記取得部は、撮像部が撮像した車両の外部の画像を取得する。前記通知部は、前記画像において所定の条件が満たされる場合に、前記撮像部のレンズに汚れが付着していることを通知する。そして、前記通知部は、前記画像に含まれる各画素の輝度値の差が小さく平坦な領域である平坦領域の幅方向が、前記画像において前記車両から遠ざかるに従い、狭まっている場合に、前記撮像部のレンズに汚れが付着していることを通知しない。

本開示に係る画像監視装置によれば、車載カメラのレンズに汚れが付着していることの誤検出を抑制ことができる。

図１は、第１の実施形態に係る車載装置を備える車両の一例を示す図である。 図２は、第１の実施形態に係る車両の運転席近傍の構成の一例を示す図である。 図３は、第１の実施形態に係る車載カメラのハードウェア構成の一例を示す図である。 図４は、第１の実施形態に係る画像処理部の機能構成の一例を示すブロック図である。 図５は、第１撮像画像の一例を示す図である。 図６は、第２撮像画像の一例を示す図である。 図７は、車両の影の形状の一例を示すグラフである。 図８は、第１の実施形態に係る画像処理部が実行する影判定処理の一例を示すフローチャートである。

以下、図面を参照しながら、本開示に係る画像監視装置の実施形態について説明する。

（第１の実施形態）
図１は、第１の実施形態に係る車載装置１００を備える車両１の一例を示す図である。図１に示すように、車両１は、車体１２と、車体１２に所定方向に沿って配置された２対の車輪１３とを備える。２対の車輪１３は、１対のフロントタイヤ１３ｆ及び１対のリアタイヤ１３ｒを備える。

なお、図１に示す車両１は４つの車輪１３を備えるが、車輪１３の数はこれに限定されるものではない。例えば、車両１は、２輪車であっても良い。

車体１２は、車輪１３に結合され、車輪１３によって移動可能である。この場合、２対の車輪１３が配置される所定方向が車両１の走行方向となる。車両１は、不図示のギヤの切り替え等により前進または後退することができる。また、車両１は、操舵により右左折することもできる。

また、車体１２は、フロントタイヤ１３ｆ側の端部である前端部Ｆと、リアタイヤ１３ｒ側の端部である後端部Ｒを有する。車体１２は上面視で略矩形をしており、略矩形状の４つの角部を端部と呼ぶ場合もある。また、図１では図示を省略するが、車両１は、表示装置、スピーカ、および操作部を備える。

車体１２の前後端部Ｆ，Ｒであって、車体１２の下端付近には１対のバンパー１４が設けられている。１対のバンパー１４のうち、フロントバンパー１４ｆは車体１２の下端部付近の前面全体と側面の一部を覆う。１対のバンパー１４のうち、リアバンパー１４ｒは車体１２の下端部付近の後面全体と側面の一部を覆う。

車体１２の所定の端部には、超音波等の音波の送受波を行う送受波部１５ｆ，１５ｒが配置される。例えば、フロントバンパー１４ｆには１つ以上の送受波部１５ｆが配置され、リアバンパー１４ｒには１つ以上の送受波部１５ｒが配置される。以下、送受波部１５ｆ，１５ｒを特に限定しない場合には、単に送受波部１５という。また、送受波部１５の数および位置は、図１に示す例に限定されるものではない。例えば、車両１は、左右の側方に送受波部１５を備えても良い。

本実施形態においては、超音波を使用したソナーを送受波部１５の一例とするが、送受波部１５は、電磁波を送受波するレーダーであっても良い。あるいは、車両１は、ソナーとレーダーの両方を備えても良い。また、送受波部１５を単にセンサと称しても良い。

送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物を検出する。また、送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物と車両１との距離を計測する。

また、車両１は、車両１の前方を撮影する第１の車載カメラ１６ａ、車両１の後方を撮影する第２の車載カメラ１６ｂ、車両１の左側方を撮影する第３の車載カメラ１６ｃ、および車両１の右側方を撮影する第４の車載カメラを備える。第４の車載カメラは図示を省略する。

以下、第１の車載カメラ１６ａ、第２の車載カメラ１６ｂ、第３の車載カメラ１６ｃ、および第４の車載カメラを特に区別しない場合には単に車載カメラ１６という。車載カメラ１６の位置及び数は図１に示す例に限定されるものではない。例えば、車両１は、また、第１の車載カメラ１６ａおよび第２の車載カメラ１６ｂの２台のみを備えても良い。あるいは、車両１は、上述の例の他に、さらに他の車載カメラを有しても良い。

車載カメラ１６は、車両１の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ１６が撮影する画像データは、動画でも良いし、静止画でも良い。また、車載カメラ１６は、車両１に内蔵されたカメラであっても良いし、車両１に後付けされたドライブレコーダーのカメラ等であっても良い。

また、車両１には、車載装置１００が搭載される。車載装置１００は、車両１に搭載可能な情報処理装置であり、例えば、車両１の内部に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、もしくはＯＢＵ（Ｏｎ Ｂｏａｒｄ Ｕｎｉｔ）である。あるいは、車載装置１００は、車両１のダッシュボード付近に設置された外付けの装置であっても良い。なお、車載装置１００はカーナビゲーション装置等を兼ねても良い。

次に、本実施形態の車両１の運転席近傍の構成について説明する。図２は、第１の実施形態に係る車両１の運転席１３０ａ近傍の構成の一例を示す図である。

図２に示すように、車両１は運転席１３０ａ、および助手席１３０ｂを備える。また、運転席１３０ａの前方にはフロントガラス１８０、ダッシュボード１９０、ステアリングホイール１４０、表示装置１２０、および操作ボタン１４１が設けられる。

表示装置１２０は、車両１のダッシュボード１９０に設けられたディスプレイである。表示装置１２０は、一例として、図２に示すようにダッシュボード１９０の中央に位置する。表示装置１２０は例えば液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。また、表示装置１２０は、タッチパネルを兼ねても良い。表示装置１２０は、本実施形態における表示部の一例である。

また、ステアリングホイール１４０は、運転席１３０ａの正面に設けられ、ドライバ（運転者）によって操作可能である。ステアリングホイール１４０の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ１３ｆの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ１３ｒでも良いし、フロントタイヤ１３ｆとリアタイヤ１３ｒの両方が操舵輪であっても良い。

操作ボタン１４１は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両１の運転者である。なお、操作ボタン１４１の位置は図２に示す例に限定されるものでなく、例えばステアリングホイール１４０に設けられても良い。操作ボタン１４１は、本実施形態における操作部の一例である。また、表示装置１２０がタッチパネルを兼ねる場合は、表示装置１２０が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両１の外部から車両１に対して信号を送信可能な操作端末を、操作部の一例としても良い。

次に、本実施形態の車載カメラ１６のハードウェア構成について説明する。

図３は、第１の実施形態に係る車載カメラ１６のハードウェア構成の一例を示す図である。図３に示すように、車載カメラ１６は、レンズ１６１、撮像素子１６２、洗浄部１６３、映像信号処理部１６４、露光制御部１６５、画像処理部１６６、及び画像メモリ１６７を備える。

レンズ１６１は、透明の材料により形成される。そして、レンズ１６１は、入射した光を発散又は集束する。

撮像素子１６２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサである。撮像素子１６２は、レンズ１６１を通過した光を受光し、映像信号に変換する。

洗浄部１６３は、水などをレンズ１６１に噴射することにより、レンズ１６１に付着した汚れを洗浄する装置である。

映像信号処理部１６４は、撮像素子１６２から出力された映像信号に基づいて、画像を生成する。露光制御部１６５は、映像信号処理部１６４により生成される画像の明るさを制御する。すなわち、映像信号処理部１６４は、露光制御部１６５により制御された明るさの画像を生成する。例えば、露光制御部１６５は、画像が暗い場合に、画像の明るさを上げる。一方、露光制御部１６５は、画像が明るい場合に、画像の明るさを下げる。

画像処理部１６６は、映像信号処理部１６４により生成された画像に対して各種画像処理を実行する。画像メモリ１６７は、画像処理部１６６の主記憶装置である。画像メモリ１６７は、画像処理部１６６による画像処理のワーキングメモリとして使用される。

画像処理部１６６は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、画像処理を制御する。例えば、画像処理部１６６は、プロセッサ１６６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６６Ｂ、メモリ１６６Ｃ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１６６Ｄを備える。

プロセッサ１６６Ａは、例えば、コンピュータプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。なお、プロセッサ１６６Ａは、ＣＰＵに限定されない。例えば、プロセッサ１６６Ａは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよいし、他のプロセッサであってもよい。

ＲＡＭ１６６Ｂは、キャッシュまたはバッファなどとして使用される揮発性メモリである。メモリ１６６Ｃは、例えば、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。プロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。

Ｉ／Ｏインタフェース１６６Ｄは、画像処理部１６６の入出力を制御する。例えば、Ｉ／Ｏインタフェース１６６Ｄは、映像信号処理部１６４、画像メモリ１６７、及び車載装置１００との通信を実行する。

なお、洗浄部１６３は、車載カメラ１６と一体に形成されずに、独立した装置であってもよい。また、画像処理部１６６及び画像メモリ１６７は、車載カメラ１６に限らず、車載装置１００に設けられていても良いし、独立した装置であってもよいし、他の装置に組み込まれていても良い。

次に、第１の実施形態に係る画像処理部１６６が有する機能について説明する。

図４は、第１の実施形態に係る画像処理部１６６の機能構成の一例を示すブロック図である。画像処理部１６６のプロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。更に詳しくは、画像処理部１６６は、画像取得部１６６１、領域検出部１６６２、平坦領域解析部１６６３、汚れ検出部１６６４、汚れ通知部１６６５、及び洗浄制御部１６６６を備える。

画像取得部１６６１は、車載カメラ１６が撮像した車両１の外部の画像を取得する。画像取得部１６６１は、取得部の一例である。更に詳しくは、画像取得部１６６１は、映像信号処理部１６４から車載カメラ１６が撮像した画像を取得する。例えば、画像取得部１６６１は、車載カメラ１６が撮像した画像として第１撮像画像Ｇ１ａや第２撮像画像Ｇ１ｂを取得する。

図５は、第１撮像画像Ｇ１ａの一例を示す図である。図５に示す第１撮像画像Ｇ１ａは、車両１の後方を撮像された画像であり、かつ、真上より若干前方に太陽が有る状態で撮像された画像である。図５に示すように、第１撮像画像Ｇ１ａは、非撮像領域Ｇ１１ａと、撮像領域Ｇ１２ａとを有する。非撮像領域Ｇ１１ａは、撮像素子１６２の検知領域ではあるが、車載カメラ１６の筐体などにより車両１の外部が撮像されない領域である。図５に示す撮像領域Ｇ１２ａは、レンズ１６１を介して入射した光により、車両１の外部を撮像した領域である。

撮像領域Ｇ１２ａは、水平線Ｇ１２１ａと、空領域Ｇ１２２ａと、地面領域Ｇ１２３ａとを有する。水平線Ｇ１２１ａは、空と地面との境界を示す線である。空領域Ｇ１２２ａは、第１撮像画像Ｇ１ａにおける空の領域である。地面領域Ｇ１２３ａは、第１撮像画像Ｇ１ａにおける地面の領域である。また、地面領域Ｇ１２３ａは、車両１の影と推定される平坦領域Ｇ１２４ａが形成される。図５に示す第１撮像画像Ｇ１ａは、車両１の真上より若干前方に太陽が有るため、略台形形状の平坦領域Ｇ１２４ａが形成される。また、平坦領域Ｇ１２４ａは、車両１の影と推定される領域であるため、輝度値が第１閾値よりも低い。そして、平坦領域Ｇ１２４ａは、各画素の輝度値の差が小さく、輝度値のばらつきが少なく平坦な領域である。

図６は、第２撮像画像Ｇ１ｂの一例を示す図である。図６に示す第２撮像画像Ｇ１ｂは、車両１の後方を撮像された画像であり、且つ、車両１の前方に太陽が有る状態で撮像された画像である。図５に示す第１撮像画像Ｇ１ａと同様に、第２撮像画像Ｇ１ｂは、非撮像領域Ｇ１１ｂと、撮像領域Ｇ１２ｂとを有する。また、撮像領域Ｇ１２ｂは、水平線Ｇ１２１ｂと、空領域Ｇ１２２ｂと、地面領域Ｇ１２３ｂとを有する。更に、第２撮像画像Ｇ１ｂは地面領域Ｇ１２３ｂに、車両１の影と推定される平坦領域Ｇ１２４ｂが形成される。図６に示す第２撮像画像Ｇ１ｂは、車両１の後方を撮像された画像であり、且つ、車両１の前方に太陽が有る状態で撮像された画像であるため、画像の下部から水平線Ｇ１２１ｂに向かうに従って細くなる形状の平坦領域Ｇ１２４ｂが形成される。

なお、第１撮像画像Ｇ１ａと、第２撮像画像Ｇ１ｂとを区別しない場合には、撮像画像Ｇ１と呼称する。第１撮像画像Ｇ１ａの水平線Ｇ１２１ａと、第２撮像画像Ｇ１ｂの水平線Ｇ１２１ｂとを区別しない場合には、水平線Ｇ１２１と呼称する。第１撮像画像Ｇ１ａの空領域Ｇ１２２ａと、第２撮像画像Ｇ１ｂの空領域Ｇ１２２ｂとを区別しない場合には、空領域Ｇ１２２と呼称する。第１撮像画像Ｇ１ａの地面領域Ｇ１２３ａと、第２撮像画像Ｇ１ｂの地面領域Ｇ１２３ｂとを区別しない場合には、地面領域Ｇ１２３と呼称する。第１撮像画像Ｇ１ａの平坦領域Ｇ１２４ａと、第２撮像画像Ｇ１ｂの平坦領域Ｇ１２４ｂとを区別しない場合には、平坦領域Ｇ１２４と呼称する。

領域検出部１６６２は、画像取得部１６６１により取得された撮像画像Ｇ１から各種領域を検出する。すなわち、領域検出部１６６２は、画像取得部１６６１により取得された撮像画像Ｇ１から空領域Ｇ１２２と、地面領域Ｇ１２３とを検出する。

更に詳しくは、領域検出部１６６２は、撮像画像Ｇ１から水平線Ｇ１２１を検出する。そして、領域検出部１６６２は、車載カメラ１６が撮像した撮像画像Ｇ１に含まれる水平線Ｇ１２１に基づいて、空領域Ｇ１２２と地面領域Ｇ１２３とを検出する。領域検出部１６６２は、撮像画像Ｇ１の水平線Ｇ１２１よりも上側を空領域Ｇ１２２として検出する。また、領域検出部１６６２は、撮像画像Ｇ１の水平線Ｇ１２１よりも下側を地面領域Ｇ１２３として検出する。

ここで、水平線Ｇ１２１は、車載カメラ１６の水平方向に対する角度に対応した位置に形成される。例えば、水平線Ｇ１２１は、車載カメラ１６が水平方向よりも上向きの場合には、撮像画像Ｇ１の中心よりも下側に配置される。一方、水平線Ｇ１２１は、車載カメラ１６が水平方向よりも下向きの場合には、撮像画像Ｇ１の中心よりも上側に配置される。そこで、領域検出部１６６２は、水平方向に対する車載カメラ１６の角度に基づいて、水平線Ｇ１２１を検出する。

車載カメラ１６の設置条件を変えることで、水平線Ｇ１２１が撮像される位置を予め定めるようにしてもよい。同様に、車載カメラ１６の設置条件を変えることで、空領域Ｇ１２２と地面領域Ｇ１２３が撮像される位置を予め定めるようにしてもよい。即ち、領域検出部１６６２によって、水平線Ｇ１２１と空領域Ｇ１２２および地面領域Ｇ１２３を検出することは必須ではない。

平坦領域解析部１６６３は、平坦領域Ｇ１２４を解析する。そして、平坦領域解析部１６６３は、解析結果に基づいて、平坦領域Ｇ１２４が車両１の影であるか否かを判定する。更に詳しくは、平坦領域解析部１６６３は、図５又は図６に示す点線で区切られたブロックごとに解析する。すなわち、平坦領域解析部１６６３は、撮像画像Ｇ１におけるブロックごとに平坦領域Ｇ１２４であるか否かを判定する。平坦領域解析部１６６３は、判定部の一例である。そして、平坦領域解析部１６６３は、平坦領域Ｇ１２４である場合に、車両１の影であるか否かを判定する。言い換えると撮像画像Ｇ１の幅方向、つまりＸ軸方向に並べられたブロックの行をブロックラインと称するならば、撮像画像Ｇ１の上下方向、すなわちＹ軸方向での、ブロックライン中の平坦ブロック数の変化に着目して車両１の影があるか否かを判定する。ここで、図５と図６の画像の下部から水平線Ｇ１２１に向かうに従って、第１ブロックラインＢＬ１、第２ブロックラインＢＬ２、第３ブロックラインＢＬ３～第６ブロックラインＢＬ６と称する。

図７は、車両１の影の形状の一例を示すグラフである。図７に示すグラフの横軸は、ブロックラインの位置を示す。図７では横軸の左側が第１ブロックラインＢＬ１であり、その右側が第２ブロックラインＢＬ２、第３ブロックラインＢＬ３～第６ブロックラインＢＬ６に順次対応する。また、図７に示すグラフの縦軸は、各ブロックラインの平坦ブロック数を示す。

平坦ブロックとは、車両１の影が映るブロックである。更に詳しくは、平坦ブロックとは、撮像画像Ｇ１を複数のブロックに分割した場合に、ブロック内において各画素の輝度値の差が第２閾値以下のブロックのことである。言い換えると、平坦ブロックとは、ブロック内の最大輝度値と最小輝度値との差が、第２閾値以下のブロックのことである。

すなわち、図７に示すグラフの２つの折れ線は、影の形状を示す。すなわち、折れ線が示す影は、ブロックラインが水平線Ｇ１２１に近くなるに従い、平坦ブロックの数が減少することを示している。また、図７の点線により示す影は図５の場合であり、車両１の真上より若干前方に太陽があるため、台形形状の影が形成されていることを示している。図７の実線により示す影は図６の場合であり、車両１の前方に太陽が有るため、太陽光は車両１の前方から後方に向かって斜めに照射され、画像の下部から水平線Ｇ１２１に向かうに従って細くなる影が形成されていることを示している。このように、あるブロックラインの平坦ブロック数は、水平線Ｇ１２１に近くなるにつれ、直上にあるブロックラインの平坦ブロック数が少なくなり、増加していないことになる。

そこで、平坦領域解析部１６６３は、水平線Ｇ１２１に近くなるにつれ、直上にあるブロックラインの平坦ブロック数が増加しているか否かにより平坦領域Ｇ１２４が車両１の影であるか否かを判定する。

また、車両１の影は、車両１の直下から水平線Ｇ１２１に向かって形成される。平坦領域解析部１６６３は、平坦領域Ｇ１２４が車両１の影であるか否かの判定条件に、撮像画像Ｇ１の下部から水平線Ｇ１２１に向かって形成されているか否かを加えてもよい。さらに、車両１の影は、地面に形成される。そこで、平坦領域解析部１６６３は、平坦領域Ｇ１２４が車両１の影であるか否かの判定条件に、撮像画像Ｇ１の地面領域Ｇ１２３に形成されているか否かを加えてもよい。

汚れ検出部１６６４は、車載カメラ１６が撮像した撮像画像Ｇ１に基づいて、車載カメラ１６に付着した汚れを検出する。

ここで、車載カメラ１６のレンズ１６１に泥などの汚れが付着した場合、撮像素子１６２は、レンズ１６１に付着した濃度の濃い汚れにより可視光を受光できなくなる。そのため、汚れが付着した部分に対応する画像は、輝度値が低くなる。すなわち、汚れが付着した部分に対応する画像は、各画素の輝度値の差が小さく平坦な領域になる。そこで、汚れ検出部１６６４は、撮像画像Ｇ１に含まれる各画素の輝度値の差が小さく平坦な領域の割合に基づいて、汚れが付着しているか否かを判定する。

汚れ通知部１６６５は、車載カメラ１６が撮像した撮像画像Ｇ１において所定の条件が満たされる場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。汚れ通知部１６６５は、通知部の一例である。すなわち、汚れ通知部１６６５は、汚れ検出部１６６４により車載カメラ１６のレンズ１６１に汚れが付着していると判定された場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。また、所定の条件は、画像において各画素の輝度値の差が小さく平坦な領域の割合が閾値以上の場合である。

例えば、汚れ通知部１６６５は、表示装置１２０などに車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。なお、汚れ通知部１６６５は、表示装置１２０に限らず、音声により通知してもよいし、ＬＥＤなどを発光させることにより通知してもよいし、他の方法により通知してもよい。

撮像画像Ｇ１において各画素の輝度値の差が小さく平坦な領域の割合が閾値以上の場合であっても、車載カメラ１６のレンズ１６１は、汚れが付着していない場合がある。このような場合に、汚れ通知部１６６５は、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

汚れ通知部１６６５は、撮像画像Ｇ１に含まれる各画素の輝度値の差が小さく平坦な領域である平坦領域Ｇ１２４の幅方向が、撮像画像Ｇ１において車両１から遠ざかるに従い、狭まっている場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。すなわち、汚れ通知部１６６５は、平坦領域Ｇ１２４が車両１の影の形状の場合には、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

汚れ通知部１６６５は、平坦領域解析部１６６３で判定された、撮像画像Ｇ１の水平方向における平坦領域Ｇ１２４の平坦ブロックの数が、撮像画像Ｇ１において車両１から遠ざかるに従い、増加していない場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。すなわち、汚れ通知部１６６５は、平坦領域Ｇ１２４の平坦ブロックの数が車両１の影の形状を示している場合には、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

汚れ通知部１６６５は、撮像画像Ｇ１に含まれる平坦領域Ｇ１２４が、撮像画像Ｇ１の下部から水平線Ｇ１２１に向かって形成される場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。すなわち、汚れ通知部１６６５は、平坦領域Ｇ１２４が車両１の影に適合する条件の一つである、撮像画像Ｇ１の下部から水平線Ｇ１２１に向かって形成との条件を満たしている場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

汚れ通知部１６６５は、撮像画像Ｇ１に含まれる平坦領域Ｇ１２４が、撮像画像Ｇ１の地面の領域に形成される場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。すなわち、汚れ通知部１６６５は、平坦領域Ｇ１２４が車両１の影に適合する条件の一つである、撮像画像Ｇ１の地面の領域に形成されるとの条件を満たしている場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

洗浄制御部１６６６は、洗浄部１６３を制御して車載カメラ１６のレンズ１６１を洗浄する。例えば、汚れ通知部１６６５は、汚れが付着していることが汚れ検出部１６６４により検出された場合に、レンズ１６１に汚れが付着していることを表示装置１２０に表示させる。これに伴い、運転者等の操作者は、操作ボタン１４１や表示装置１２０が兼ねるタッチパネルを使用して、洗浄部１６３に洗浄させる操作を入力する。そして、洗浄制御部１６６６は、洗浄部１６３に洗浄させる操作を受け付けた場合に、洗浄部１６３にレンズ１６１を洗浄させる。

次に、画像処理部１６６が実行する影判定処理の流れについて説明する。

図８は、第１の実施形態に係る画像処理部１６６が実行する影判定処理の一例を示すフローチャートである。

平坦領域解析部１６６３は、処理対象のブロックラインの位置を示す変数を初期化する（ステップＳ１）。平坦領域解析部１６６３は、平坦ブロック数を示す変数を初期化する（ステップＳ２）。

平坦領域解析部１６６３は、処理対象のブロックラインを選択する（ステップＳ３）。言い換えると、平坦領域解析部１６６３は、処理対象のブロックラインの位置を示す変数に、最初に処理する地面領域Ｇ１２３下部に位置するブロックラインである１を指定する。

平坦領域解析部１６６３は、処理対象のブロックラインのうち、処理対象のブロックについて輝度値の差を算出する（ステップＳ４）。言い換えると、平坦領域解析部１６６３は、処理対象のブロック内の最大輝度値から最小輝度値を減算する。

平坦領域解析部１６６３は、処理対象のブロックについて輝度値が第１閾値未満であるか否かを判定する（ステップＳ５）。すなわち、平坦領域解析部１６６３は、処理対象のブロックが影であるか否かを判定するにあたり影の候補であるかを判断する。ここで、輝度値は、ブロック内の平均値であってもよいし、ブロック内の最大値であってもよいし、ブロック内の最小値であってもよいし、ブロック内の他の値であってもよい。

輝度値が第１閾値以上の場合に（ステップＳ５；Ｎｏ）、平坦領域解析部１６６３は、ステップＳ４に移行して、ブロックラインのうち、別のブロックに対して処理を実行する。

輝度値が第１閾値未満の場合に（ステップＳ５；Ｙｅｓ）、平坦領域解析部１６６３は、処理対象のブロック内の最大輝度値から最小輝度値を減算した値が第２閾値未満であるか否かを判定する（ステップＳ６）。すなわち、平坦領域解析部１６６３は、処理対象のブロックが平坦ブロックであるか否かを判定する。

最大輝度値から最小輝度値を減算した値が第２閾値以上の場合に（ステップＳ６；Ｎｏ）、平坦領域解析部１６６３は、ステップＳ４に移行して、ブロックラインのうち、別のブロックに対して処理を実行する。

最大輝度値から最小輝度値を減算した値が第２閾値未満の場合に（ステップＳ６；Ｙｅｓ）、平坦領域解析部１６６３は、ブロックラインの平坦ブロック数に１を加算する。

平坦領域解析部１６６３は、ブロックラインの全てのブロックに対する処理が終了したか否かを判定する（ステップＳ８）。全てのブロックに対する処理が終了していない場合に（ステップＳ８；Ｎｏ）、平坦領域解析部１６６３は、ステップＳ４に移行して、ブロックラインのうち、別のブロックに対して処理を実行する。

ブロックラインの全てのブロックに対する処理が終了した場合（ステップＳ８；Ｙｅｓ）に、平坦領域解析部１６６３は、全てのブロックラインに対する処理が終了したか否かを判定する（ステップＳ９）。全てのブロックラインに対する処理が終了していない場合に（ステップＳ９；Ｎｏ）、平坦領域解析部１６６３は、ステップＳ３に移行して、別のブロックラインを処理対象に選択する。

全てのブロックラインに対する処理が終了した場合に（ステップＳ９；Ｙｅｓ）、平坦領域解析部１６６３は、平坦ブロック数を取得したブロックラインを上方へと順次変更した場合に平坦ブロック数が増加しているか否かを判定する（ステップＳ１０）。すなわち、あるブロックラインの平坦ブロック数は、このブロックラインよりも直上にあるブロックラインの平坦ブロック数以下が増加しているか否かを判定する。

上部にあるブロックラインの平坦ブロック数が図７で示すように増加していない場合に（ステップＳ１０；Ｙｅｓ）、平坦領域解析部１６６３は、平坦領域Ｇ１２４は影であると判定する（ステップＳ１１）。また、汚れ通知部１６６５は、通知しないと判定する。

平坦ブロック数が図７で示されない、即ち、増加している場合に（ステップＳ１０；Ｎｏ）、汚れ検出部１６６４は、例えば汚れ検出処理の一例として、画像において輝度値の平坦な領域の割合に基づいて車載カメラ１６のレンズ１６１に付着した汚れを検出する汚れ検出処理を実行する（ステップＳ１２）。

なお、汚れ検出部１６６４の汚れ検出処理はこれに限らず、特許第６３１３０８１号に記載の様に、車両１の移動中に背景は変化するが、汚れの写り方は変化しない原理を利用して汚れを検出するようにしてもよい。即ち、画像内の小領域についてヒストグラムを取得し、ヒストグラムの時間的な変化がないことを検出することによってレンズ１６１に汚れが付着しているか否かを判定するようにしてもよい。

汚れ検出部１６６４は、汚れ検出処理の検出結果が汚れの付着ありを示しているか否かを判定する（ステップＳ１３）。

汚れの付着ありを示している場合に（ステップＳ１３；Ｙｅｓ）、汚れ通知部１６６５は、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する（ステップＳ１４）。

検出結果が汚れの付着なしを示している場合に（ステップＳ１３；Ｎｏ）、画像処理部１６６は、影判定処理を終了する。

以上のように、第１の実施形態に係る画像処理部１６６は、車載カメラ１６が撮像した車両１の外部の撮像画像Ｇ１を取得する。また、画像処理部１６６は、撮像画像Ｇ１において各画素の輝度値の差が小さく平坦な領域の割合が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。しかしながら、画像処理部１６６は、平坦領域Ｇ１２４の幅方向が、撮像画像Ｇ１において車両１から遠ざかるに従い、狭まっている場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

すなわち、画像処理部１６６は、各画素の輝度値の差が小さく平坦な領域の割合が閾値以上であっても、平坦領域Ｇ１２４の形状が車両１の影の形状を示している場合に、レンズ１６１汚れは付着していないと判定して汚れ付着を通知しない。よって、画像処理部１６６は、車載カメラ１６のレンズ１６１に汚れが付着していることの誤検出を抑制することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 車両
１６ 車載カメラ
１２０ 表示装置
１４１ 操作ボタン
１６１ レンズ
１６２ 撮像素子
１６３ 洗浄部
１６４ 映像信号処理部
１６５ 露光制御部
１６６ 画像処理部
１６７ 画像メモリ
１６６Ａ プロセッサ
１６６Ｂ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１６６Ｃ メモリ
１６６Ｄ Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース
１６６１ 画像取得部
１６６２ 領域検出部
１６６３ 平坦領域解析部
１６６４ 汚れ検出部
１６６５ 汚れ通知部
１６６６ 洗浄制御部
Ｇ１ 撮像画像
Ｇ１ａ 第１撮像画像
Ｇ１ｂ 第２撮像画像
Ｇ１１ａ、Ｇ１１ｂ 非撮像領域
Ｇ１２ａ、Ｇ１２ｂ 撮像領域
Ｇ１２１、Ｇ１２１ａ、Ｇ１２１ｂ 水平線
Ｇ１２２、Ｇ１２２ａ、Ｇ１２２ｂ 空領域
Ｇ１２３、Ｇ１２３ａ、Ｇ１２３ｂ 地面領域
Ｇ１２４、Ｇ１２４ａ、Ｇ１２４ｂ 平坦領域

Claims (5)

1. 撮像部が撮像した車両の外部の画像を取得する取得部と、
   前記画像において所定の条件が満たされる場合に、前記撮像部のレンズに汚れが付着していることを通知する通知部と、
   を備え、
   前記通知部は、前記画像に含まれる各画素の輝度値の差が小さく平坦な領域である平坦領域の幅方向が、前記画像において前記車両から遠ざかるに従い、狭まっている場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
2. 請求項１に記載の画像監視装置であって、
   前記所定の条件は、前記画像において各画素の輝度値の差が小さく平坦な領域の割合が閾値以上の場合である、
   画像監視装置。
3. 請求項１又は２に記載の画像監視装置であって、
   前記画像における複数のブロックごとに前記平坦領域であるか否かを判定する判定部を更に備え、
   前記通知部は、前記判定部に判定された、前記画像の水平方向における前記平坦領域のブロックの数が、前記画像において前記車両から遠ざかるに従い、増加していない場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
4. 請求項１から３の何れか一項に記載の画像監視装置であって、
   前記通知部は、前記画像に含まれる前記平坦領域が、前記画像の下部から水平線に向かって形成される場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
5. 請求項１から４の何れか一項に記載の画像監視装置であって、
   前記通知部は、前記画像に含まれる前記平坦領域が、前記画像の地面の領域に形成される場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。

Images