JP7265693B2 - 付着物検出装置、および付着物検出方法 - Google Patents

Description

本発明は、付着物検出装置、および付着物検出方法に関する。

従来、撮像画像の分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１４－３０１８８号公報

しかしながら、従来技術では、車両に搭載されたカメラのレンズに対する付着物の付着判定を行う場合に、車両の走行状態によっては、付着判定を正確に行うことができず、誤判定を行うおそれがある。

例えば、車両がトンネルなどの暗い路面を走行する場合には、撮像画像の輝度が一時的に低くなるため、付着物が付着していない領域においても、付着物が付着していると判定するおそれがある。

本発明は、上記に鑑みてなされたものであって、付着物の誤判定を抑制する付着物検出装置、および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出部と、車速と、対象領域における輝度の代表値とに基づいて分割領域における付着物の付着状態を示す情報の遷移状態を設定する状態設定部と、遷移状態が、対象領域における輝度の代表値が所定低照度値よりも大きい状態であっても、車速が所定高車速よりも大きい場合には、情報のうち、対象領域に付着物が付着していることを示すフラグを保持する検出部とを備える。
また一態様に係る付着物検出装置は、車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出部と、車速と、対象領域における輝度の代表値とに基づいて分割領域における付着物の付着状態を示す情報の遷移状態を設定する状態設定部と、遷移状態が、対象領域における輝度の代表値が所定低照度値よりも小さい状態であるとき、情報のうち、対象領域に付着物が付着していることを示すフラグをＯＦＦにする検出部とを備える。
また一態様に係る付着物検出方法は、車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定工程と、複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出工程と、車速と、対象領域における輝度の代表値とに基づいて分割領域における付着物の付着状態を示す情報の遷移状態を設定する状態設定工程と、遷移状態が、対象領域における輝度の代表値が所定低照度値よりも大きい状態であっても、車速が所定高車速よりも大きい場合には、情報のうち、対象領域に付着物が付着していることを示すフラグを保持する検出工程とを含む。
また一態様に係る付着物検出方法は、車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定工程と、複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出工程と、車速と、対象領域における輝度の代表値とに基づいて分割領域における付着物の付着状態を示す情報の遷移状態を設定する状態設定工程と、遷移状態が、対象領域における輝度の代表値が所定低照度値よりも小さい状態であるとき、情報のうち、対象領域に付着物が付着していることを示すフラグをＯＦＦにする検出工程とを含む。

実施形態の一態様によれば、付着物の誤判定を抑制することができる。

図１は、付着物検出方法の概要を示す図である。 図２は、付着物検出装置の構成を示すブロック図である。 図３は、対象領域における輝度の平均値と、車速と、遷移状態との関係を示す図である。 図４は、状態設定処理を説明するフローチャートである。 図５は、付着判定処理を説明するフローチャートである。

以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置１によって実行される。

付着物検出装置１は、例えば、車両Ｃに搭載され、車両Ｃの周囲を撮像する車載カメラ１０（撮像装置）への付着物、具体的には、車載カメラ１０のレンズへの付着物Ｍの付着を検出する。

車載カメラ１０は、車両Ｃの周囲を撮像する。車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備える。車載カメラ１０には、例えば、車両Ｃの前方を撮像するフロントカメラ１０ａ、車両Ｃの後方を撮像するリアカメラ１０ｂ、車両Ｃの左側方を撮像するレフトカメラ１０ｃ、車両Ｃの右側方を撮像するライトカメラ１０ｄが含まれる。

車載カメラ１０のレンズに、泥や、埃など遮光性を有する付着物Ｍが付着すると、車載カメラ１０によって得られた撮像画像Ｉから車両Ｃの周囲の情報、例えば、駐車枠や、他車両や、人の情報を取得できず、駐車枠や、他車両や、人などを正確に検出することができなくなるおそれがある。

また、車両Ｃがトンネルを走行する場合などには、車両Ｃの周囲が一時的に暗くなり、撮像画像Ｉの輝度が一時的に低くなる。また、車速が高い場合には、ぶれが生じた撮像画像Ｉが撮像されることがあり、車速が低い場合には、撮像画像Ｉの背景の変化、すなわち輝度の変化が小さくなる。このような状態で、付着物Ｍの付着判定を行うと、誤判定するおそれがある。

そのため、実施形態に係る付着物検出装置１は、車両Ｃの走行状態に応じて付着物Ｍの付着状態を示す情報の遷移状態を設定し、付着物Ｍの誤判定を抑制することとした。

付着物Ｍの付着状態を示す情報は、付着物Ｍの付着継続性を示すカウンタ値や、車載カメラ１０のレンズに付着物Ｍが付着していることを示す付着物検出フラグや、撮像画像Ｉが含まれる。

付着物検出装置１は、車載カメラ１０によって撮像された撮像画像Ｉ、および車速を取得する（Ｓ１０）。

付着物検出装置１は、付着物Ｍの付着を検知する対象領域Ｒ０に複数の分割領域Ｒ１を設定する（Ｓ１１）。対象領域Ｒ０は、撮像画像Ｉに対して予め設定された領域であり、レンズに付着物Ｍが付着した場合に、撮像画像Ｉを用いた処理、例えば、駐車枠の検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域Ｒ０は、例えば矩形領域である。

分割領域Ｒ１は、対象領域Ｒ０を縦方向、および横方向に分割することで形成される領域である。分割領域Ｒ１には、複数の画素が含まれる。例えば、分割領域Ｒ１は、４０×４０の画素を含む矩形領域である。

なお、図１の撮像画像Ｉには、一例として、対象領域Ｒ０を縦方向に５つ、および横方向に８つに分割した４０個の分割領域Ｒ１を示すが、これに限られることはない。

付着物検出装置１は、対象領域Ｒ０における輝度の代表値を算出する（Ｓ１２）。代表値とは、具体的には平均値である。

付着物検出装置１は、車速と、対象領域Ｒ０における輝度の代表値とに基づいて分割領域Ｒ１における付着物Ｍの付着状態を示す情報の遷移状態を設定する（Ｓ１３）。付着物検出装置１は、車速と、対象領域Ｒ０における輝度の平均値とに基づいて遷移状態を設定する。詳しい説明については、後述するが、付着物検出装置１は、車速と、対象領域Ｒ０における輝度の代表値とに基づいて遷移状態を第１状態～第５状態のいずれかに設定する。

これにより、付着物検出装置１は、車両Ｃの走行状態に応じて付着物Ｍの付着状態を示す情報を制御することができ、付着物Ｍの誤判定を抑制することができる。

次に、付着物検出装置１について図２を参照し、説明する。図２は、付着物検出装置１の構成を示すブロック図である。

付着物検出装置１は、車載カメラ１０と、車速センサ４０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、車載カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、車載カメラ１０、および各種機器５０の少なくとも一方と一体で構成されてもよい。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両Ｃの各種制御を行う機器である。各種機器５０は、例えば、車載カメラ１０のレンズに付着物Ｍが付着していることや、ユーザによる付着物Ｍの拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物Ｍを除去する除去装置、自動運転等を制御する車両Ｃ制御装置を含む。

付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、領域設定部２１と、状態設定部２２と、選択部２３と、算出部２４と、判定部２５と、検出部２６とを備える。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０と、領域設定部２１と、状態設定部２２と、選択部２３と、算出部２４と、判定部２５と、検出部２６として機能する。

また、制御部２の取得部２０と、領域設定部２１と、状態設定部２２と、選択部２３と、算出部２４と、判定部２５と、検出部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０と、領域設定部２１と、状態設定部２２と、選択部２３と、算出部２４と、判定部２５と、検出部２６は、統合されてもよく、複数に分けられてもよい。

取得部２０は、車速センサ４０からの信号に基づいて車速を取得する。また、取得部２０は、車載カメラ１０で撮像された画像を取得し、撮像画像Ｉを生成する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である撮像画像Ｉを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物Ｍを検出するための処理時間を短くすることができる。

なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Ｉを生成（取得）してもよい。

領域設定部２１は、撮像画像Ｉに対して対象領域Ｒ０、および分割領域Ｒ１を設定する。領域設定部２１は、各撮像画像Ｉに対して、対象領域Ｒ０、および分割領域Ｒ１を予め設定された位置に設定する。

状態設定部２２は、車速、および後述する算出部２４において算出する対象領域Ｒ０における輝度の代表値に基づいて、図３に示すように遷移状態を第１状態～第５状態に設定する。図３は、対象領域Ｒ０における輝度の代表値と、車速と、遷移状態との関係を示す図である。

具体的には、状態設定部２２は、対象領域Ｒ０における輝度の代表値が所定低照度値よりも高く、車速が所定低車速以上であり、かつ所定高車速以下である場合には、遷移状態を第１状態に設定する。第１状態では、付着物Ｍの付着判定が行われる。所定低照度値は、予め設定された値であり、撮像画像Ｉから付着物Ｍの付着を正確に判定することができる下限値である。なお、所定低照度値は、車載カメラ１０の性能に応じて設定することができる。

また、状態設定部２２は、対象領域Ｒ０における輝度の代表値が所定低照度値よりも高く、かつ車速が所定低車速よりも小さい場合には、遷移状態を第２状態に設定する。第２状態では、付着物Ｍの付着判定のうち、付着物Ｍの除去判定のみが行われる。

また、状態設定部２２は、対象領域Ｒ０における輝度の代表値が所定低照度値よりも高く、かつ車速が所定高車速よりも大きい場合には、遷移状態を第３状態に設定する。第３状態では、付着物Ｍの付着判定は行われない。

また、状態設定部２２は、対象領域Ｒ０における輝度の代表値が所定低照度値以下であり、かつ車速が所定低車速よりも小さい場合には、遷移状態を第４状態に設定する。第４状態では、付着物Ｍの付着判定は行われない。

また、状態設定部２２は、対象領域Ｒ０における輝度の代表値が所定低照度値以下であり、かつ車速が所定低車速以上である場合には、遷移状態を第５状態に設定する。第５状態では、付着物Ｍの付着判定は行われない。

なお、遷移状態の第１状態～第５状態についての詳細は、後述する。

図２に戻り、選択部２３は、付着物Ｍの付着判定を行う場合には、分割領域Ｒ１の中から、所定条件を満たすか否かの判定を行っていない分割領域Ｒ１を選択する。所定条件については後述する。

算出部２４は、撮像画像Ｉの対象領域Ｒ０に含まれる各画素の輝度を検出し、対象領域Ｒ０における輝度の代表値、および輝度のばらつき量を算出する。また、算出部２４は、各分割領域Ｒ１における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象領域における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象とする領域における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。

また、算出部２４は、付着物Ｍの付着判定を行う場合には、第１差分、および第２差分を算出する。

第１差分は、現在の撮像画像Ｉ（以下、「現在フレームＩ１」と称する場合がある。）の分割領域Ｒ１における輝度の平均値と、現在フレームＩ１よりも前の処理で取得された撮像画像Ｉ（以下、「過去フレームＩ０」と称する。）の分割領域Ｒ１における輝度の平均値との差分である。すなわち、第１差分は、対応する分割領域Ｒ１における現在の輝度の平均値と、過去の輝度の平均値との差分である。なお、第１差分は、絶対値である。

第１差分を算出する際に用いられる、現在フレームＩ１における分割領域Ｒ１、および過去フレームＩ０における分割領域Ｒ１は、対象領域Ｒ０に対して同じ位置となる分割領域Ｒ１である。以下では、このような分割領域Ｒ１を「同一分割領域Ｒ１」と称する。

第２差分は、同一分割領域Ｒ１における輝度の標準偏差の差分である。すなわち、第２差分は、対応する分割領域Ｒ１における現在の輝度の標準偏差と、過去の輝度の標準偏差との差分である。なお、第２差分は、絶対値である。

過去フレームＩ０は、遷移状態が第１状態である場合には、現在フレームＩ１よりも１つ前の処理で取得された撮像画像Ｉである。

また、遷移状態が第１状態から他の状態（第２状態～第５状態）に変更された場合には、過去フレームＩ０は、遷移状態が第１状態から他の状態に変更される直前の撮像画像Ｉである。そのため、付着物Ｍの付着が検出されており、遷移状態が第１状態から他の状態に変更された場合には、第１状態で撮像され、付着物Ｍが付着した撮像画像Ｉが過去フレームＩ０となる。

遷移状態が第１状態から第２状態に変更された場合には、例えば、現在フレームＩ１の分割領域Ｒ１における輝度の平均値と、過去フレームＩ０、具体的には、遷移状態が第１状態から第２状態に変更される直前の撮像画像Ｉの分割領域Ｒ１における輝度の平均値との差分が、第１差分として算出される。

なお、遷移状態が第１状態から、第３状態～第５状態を経由して第２状態に変更された場合も、同様に、例えば、現在フレームＩ１の分割領域Ｒ１における輝度の平均値と、過去フレームＩ０、具体的には、遷移状態が第１状態から他の状態（第３状態～第５状態）に変更される直前の撮像画像Ｉの分割領域Ｒ１における輝度の平均値との差分が、第１差分として算出される。

算出部２４は、付着物Ｍの付着判定を行う場合には、分割領域Ｒ１におけるカウンタ値を算出する。具体的には、算出部２４は、遷移状態が第１状態であり、現在フレームＩ１の分割領域Ｒ１が所定条件を満たすと判定された場合に、現在のカウンタ値を増加させる。また、算出部２４は、遷移状態が第１状態であり、現在フレームＩ１の分割領域Ｒ１が所定条件を満たさないと判定された場合に、現在のカウンタ値を減少させる。すなわち、算出部２４は、遷移状態が第１状態である場合には、分割領域Ｒ１におけるカウンタ値を増減させて、更新する。

また、算出部２４は、遷移状態が第２状態であり、現在フレームＩ１の分割領域Ｒ１が所定条件を満たすと判定された場合に、現在のカウンタ値を保持する。また、算出部２４は、遷移状態が第２状態であり、現在フレームＩ１の分割領域Ｒ１が所定条件を満たさないと判定された場合には、現在のカウンタ値を減少させる。すなわち、算出部２４は、遷移状態が第２状態である場合には、分割領域Ｒ１におけるカウンタ値を減少させるが、増加させない。

所定条件は、（１）第１差分が第１所定差分以下であり、（２）第２差分が第２所定差分以下であり、かつ（３）分割領域Ｒ１における輝度の平均値が第１所定値以下である、場合に満たされる。すなわち、上記（１）～（３）のうち、いずれか一つの条件を満たさない場合には、所定条件は満たされない。

第１所定差分は、付着物Ｍが付着している場合の輝度の平均値の上限差分であり、予め実験などにより設定された差分である。第１所定差分は、例えば、「５」である。第２所定差分は、付着物Ｍが付着している場合の輝度の標準偏差の上限差分であり、予め実験などにより設定された差分である。第２所定差分は、例えば、「１」である。第１所定値は、分割領域Ｒ１に付着物Ｍが付着していると判定可能な値であり、例えば、現在フレームＩ１の対象領域Ｒ０における輝度の平均値に基づいて設定される値である。第１所定値は、対象領域Ｒ０の輝度の平均値が高くなると大きくなる。

カウンタ値は、分割領域Ｒ１が所定条件を満たすと判定されると増加し、分割領域Ｒ１が所定条件を満たさないと判定されると減少する。カウンタ値は、付着物Ｍの付着継続性すなわち、分割領域Ｒ１が所定条件を満たすと判定された継続性を示す。カウンタ値の増加値、および減少値は、予め設定された値であり、例えば、「１」である。

なお、カウンタ値には、予め設定された上限カウンタ値、および下限カウンタ値が設けられている。また、１回の判定に対するカウンタ値の増加値、および減少値は、異なる値であってもよい。

また、算出部２４は、付着物Ｍの付着判定を行わない場合であり、遷移状態が第３状態、および第４状態である場合には、カウンタ値を保持する。

また、算出部２４は、付着物Ｍの付着判定を行わない場合であり、遷移状態が第５状態である場合には、カウンタ値を保持し、または所定固定値に設定する。

算出部２４は、第５状態において、第５状態に変更される直前のカウンタ値が所定固定値よりも小さい場合には、カウンタ値を保持する。また、算出部２４は、第５状態において、第５状態に変更される直前のカウンタ値が所定固定値よりも大きい場合には、カウンタ値を所定固定値に変更し、その後、所定固定値に保持する。

所定固定値は、予め設定された値であり、所定カウンタ値よりも小さい値である。所定カウンタ値は、予め設定された値であり、分割領域Ｒ１に付着物Ｍが付着していると判定する閾値である。具体的には、所定固定値は、所定カウンタ値から、カウンタ値の増加値に所定処理回数を乗算した値を減算した値である。所定処理回数は、付着物Ｍが付着していることが連続して検出された場合に、分割領域Ｒ１を付着領域として判定する処理回数である。

例えば、所定カウンタ値が「２０」であり、増加値が「１」であり、所定処理回数が「３」である場合には、所定固定値は「１７」である。例えば、第１状態におけるカウンタ値が「２１」である状態から、第５状態に変更された場合には、カウンタ値は「１７」に変更され、その後、遷移状態が第５状態である場合には、「１７」に保持される。

また、算出部２４は、付着物Ｍの付着判定を行う場合には、対象領域Ｒ０に対する付着領域の割合である占有率を算出する。占有率は、付着物Ｍが付着した分割領域Ｒ１である付着領域の面積を合算した値を対象領域Ｒ０の面積で除算することで算出される。なお、占有率は、付着領域の数を対象領域Ｒ０に含まれる分割領域Ｒ１の数で除算して算出されてもよい。占有率は、例えば、百分率で表される。

なお、算出部２４は、自車両Ｃが写る撮像画像Ｉでは、自車両Ｃが写る分割領域Ｒ１を除外して占有率を算出する。

判定部２５は、車速が所定低車速以上であるか否かを判定する。車速が小さい場合には、現在フレームＩ１と過去フレームＩ０とがほぼ同一の撮像画像Ｉとなり、例えば、同一分割領域Ｒ１における輝度の第１差分が小さくなる。そのため、付着物Ｍの付着判定を正確に行うことが困難となる。所定低車速は、予め設定された車速であり、付着物Ｍの付着判定を正確に行うことができる車速の下限値である。例えば、所定低車速は、１５ｋｍ／ｈである。

また、判定部２５は、車速が所定高車速以下であるか否かを判定する。所定高車速は、予め設定された車速であり、所定低車速よりも大きい。車速が大きい場合には、撮像画像Ｉのぶれが大きくなり、付着物Ｍの付着判定を正確に行うことが困難となる。所定高車速は、車載カメラ１０によって撮像画像Ｉを撮像した場合に、撮像画像Ｉのぶれによる付着物Ｍの誤判定を防止することができる上限車速である。例えば、所定高車速は、８０ｋｍ／ｈである。

なお、所定低車速や、所定高車速は、車載カメラ１０の性能に応じて設定することができる。

また、判定部２５は、対象領域Ｒ０における輝度の平均値が所定低照度値以下であるか否かを判定する。

また、判定部２５は、付着物Ｍの付着判定を行う場合に、所定条件を満たすか否かを判定する。

また、判定部２５は、付着物Ｍの付着判定を行う場合に、分割領域Ｒ１が付着領域であるか否かを判定する。具体的には、判定部２５は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値以上であるか否かを判定する。

判定部２５は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値以上である場合には、分割領域Ｒ１が、付着物Ｍが付着した付着領域であると判定する。すなわち、判定部２５は、所定条件を満たす状態が継続する分割領域Ｒ１を付着領域であると判定する。また、判定部２５は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値よりも小さい場合には、分割領域Ｒ１が付着領域ではなく、付着物Ｍが付着していない未着領域であると判定する。

なお、所定カウンタ値には、ヒステリシスが設けられてもよい。すなわち、分割領域Ｒ１の判定を未着領域から付着領域に変更する場合の所定カウンタ値と、分割領域Ｒ１の判定を付着領域から未着領域に変更する場合の所定カウンタ値とを異なる値にしてもよい。

また、判定部２５は、付着物Ｍの付着判定を行う場合に、現在フレームＩ１の全ての分割領域Ｒ１に対して所定条件を満たすか否かの判定を行ったか否かを判定する。

また、判定部２５は、付着物Ｍの付着判定を行う場合に、車載カメラ１０のレンズに付着物Ｍが付着しているか否かを判定する。具体的には、判定部２５は、占有率が所定占有率以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、「４０％」である。判定部２５は、占有率が所定占有率以上である場合には、車載カメラ１０のレンズに付着物Ｍが付着していると判定する。また、判定部２５は、占有率が所定占有率よりも小さい場合には、車載カメラ１０のレンズに付着物Ｍが付着していないと判定する。

検出部２６は、付着物Ｍの付着判定を行う場合に、付着物Ｍが付着していると判定された分割領域Ｒ１を付着領域として検出する。また、検出部２６は、付着物Ｍの付着判定を行う場合に、付着物Ｍが付着していないと判定された分割領域Ｒ１を未着領域として検出する。

また、検出部２６は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、車載カメラ１０に対する付着物Ｍの付着を検出する。具体的には、検出部２６は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、付着物検出フラグを「ＯＮ」にする。また、検出部２６は、車載カメラ１０に付着物Ｍが付着していないと判定された場合には、付着物検出フラグを「ＯＦＦ」にする。また、検出部２６は、遷移状態が第３状態である場合には、付着物検出フラグを保持する。また、検出部２６は、遷移状態が第４状態、または第５状態である場合には、付着物検出フラグを「ＯＦＦ」にする。

また、検出部２６は、遷移状態が第４状態、および第５状態である場合に、低照度フラグを「ＯＮ」にし、遷移状態が第１状態～第３状態である場合に、低照度フラグを「ＯＦＦ」にする。

記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、分割領域Ｒ１における輝度の平均値や、分割領域Ｒ１における輝度の標準偏差や、分割領域Ｒ１におけるカウンタ値や、所定低照度値などの閾値情報や、過去フレームＩ０や、各種プログラムの情報などを記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

次に、遷移状態の第１状態～第５状態について説明する。

第１状態は、対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きく、車速が所定低車速以上であり、かつ車速が所定高車速以下であり、付着物Ｍの付着を正確に判定可能である。そのため、第１状態では、付着物Ｍの付着判定が行われる。具体的には、第１状態では、分割領域Ｒ１において、第１差分、第２差分などが算出され、カウンタ値が増減されて更新される。そして、分割領域Ｒ１が付着領域であるか否かが判定され、付着領域の検出が行われる。そして、占有率が所定占有率以上であるか否かが判定され、付着物Ｍの付着検出が行われ、検出結果に応じて付着物検出フラグが「ＯＮ」、または「ＯＦＦ」に設定される。

第２状態は、対象領域Ｒ０における輝度の平均値が所定低照度値以上であるが、車速が所定低車速よりも小さい。そのため、付着物Ｍが付着していない場合であっても、第１差分、および第２差分が小さくなり、付着物Ｍの付着判定を正確に行うことが困難である。従って、第２状態では、付着物Ｍの付着判定のうち除去判定のみが行われる。付着物Ｍが除去された場合、例えば、付着物Ｍが拭き取られた場合には、拭き取りの前後で第１差分、および第２差分が大きくなる。そのため、付着物Ｍの除去判定を行うことは可能である。

具体的には、第２状態では、第１差分、第２差分などが算出され、第１状態と同様に付着判定が行われる。しかし、第２状態では、所定条件を満たす場合であっても、カウンタ値は増加されず、所定条件を満たさない場合に、カウンタ値の減少のみが許可される。そのため、第２状態では、カウンタ値は、減少されて更新され、または保持される。付着物検出フラグが「ＯＮ」から「ＯＦＦ」へ変わることがあるが、付着物検出フラグが「ＯＦＦ」から「ＯＮ」へ変わることはない。

なお、付着物検出フラグが「ＯＮ」であり、遷移状態が第１状態から第２状態に変更された場合には、遷移状態が第２状態に変更される直前の処理で得られた撮像画像Ｉが過去フレームＩ０として記憶部３に記憶される。そして、第２状態では、現在フレームＩ１と、遷移状態が第２状態に変更される直前の処理で得られた過去フレームＩ０とを用いて第１差分、および第２差分が算出される。

第３状態は、対象領域Ｒ０における輝度の平均値が所定低照度値以上であるが、車速が所定高車速よりも大きい。そのため、撮像画像Ｉのぶれが大きくなり、付着物Ｍの付着判定を正確に行うことが困難である。そのため、第３状態では、付着物Ｍの付着判定は行われず、カウンタ値が保持され、付着物検出フラグが保持される。

なお、付着物検出フラグが「ＯＮ」であり、遷移状態が第１状態から第３状態に変更された場合には、遷移状態が第３状態に変更される直前の処理で得られた撮像画像Ｉが過去フレームＩ０として記憶部３に記憶される。

第４状態は、対象領域Ｒ０における輝度の平均値が所定低照度値よりも低いため、撮像画像Ｉにおいて付着物Ｍを正確に検出することができない。そのため、第４状態では、付着物Ｍの付着判定は行われず、カウンタ値が保持され、付着物検出フラグが「ＯＦＦ」に設定され、低照度フラグが「ＯＮ」に設定される。

第４状態において、カウンタ値が保持されるのは、付着物Ｍが付着しており、例えば、車載カメラ１０が手などで覆われた後に、覆いが無くなった場合や、夜間に他車両の照明によって明るくなった場合などに、付着物検出フラグを早期に「ＯＮ」にするためである。

これにより、付着物検出フラグが「ＯＮ」であり、遷移状態が、第１状態、または第２状態から、一時的に第４状態になり、再び、第１状態、または第２状態に戻った場合に、付着物Ｍフラグを早期に「ＯＮ」にすることができる。

なお、付着物検出フラグが「ＯＮ」であり、遷移状態が第１状態から第４状態に変更された場合には、遷移状態が第４状態に変更される直前の処理で得られた撮像画像Ｉが過去フレームＩ０として記憶部３に記憶される。

第５状態は、対象領域Ｒ０における輝度の平均値が所定低照度値よりも低いため、撮像画像Ｉにおいて付着物Ｍを正確に検出することができない。そのため、第５状態では、付着物Ｍの付着判定を行われず、カウンタ値が保持、または所定固定値に設定される。また、付着物検出フラグが「ＯＦＦ」に設定され、低照度フラグが「ＯＮ」に設定される。

第５状態では、第５状態に変更される直前のカウンタ値が所定固定値よりも小さい場合には、カウンタ値は保持される。

また、第５状態では、第５状態に変更される直前のカウンタ値が所定固定値よりも大きい場合には、カウンタ値は所定固定値に変更され、その後、所定固定値に保持される。これにより、例えば、付着物Ｍが付着した状態で、車両Ｃがトンネルを走行する場合に、付着物検出フラグが「ＯＮ」と「ＯＦＦ」との間で繰り返し変更されることを抑制することができる。また、例えば、付着物Ｍが付着した状態で、車両Ｃがトンネルを出た場合に、付着物検出フラグを早期に「ＯＮ」にすることができる。

なお、付着物検出フラグが「ＯＮ」であり、遷移状態が第１状態から第５状態に変更された場合には、遷移状態が第５状態に変更される直前の処理で得られた撮像画像Ｉが過去フレームＩ０として記憶部３に記憶される。

次に、実施形態に係る状態設定処理について図４を参照し説明する。図４は、状態設定処理を説明するフローチャートである。

付着物検出装置１は、車載カメラ１０によって撮像した画像から現在フレームＩ１を生成し、対象領域Ｒ０、および分割領域Ｒ１を設定し（Ｓ１００）、車速を取得する（Ｓ１０１）。

付着物検出装置１は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値と、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差と、現在フレームＩ１の各分割領域Ｒ１における輝度の平均値と、現在フレームＩ１の各分割領域Ｒ１における輝度の標準偏差とを算出する（Ｓ１０２）。

付着物検出装置１は、対象領域Ｒ０における輝度の平均値が所定低照度値以下であるか否かを判定する（Ｓ１０３）。付着物検出装置１は、対象領域Ｒ０における輝度の平均値が所定輝度以下である場合には（Ｓ１０３：Ｙｅｓ）、車速が所定低車速以上であるか否かを判定する（Ｓ１０４）。

付着物検出装置１は、車速が所定低車速以上である場合には（Ｓ１０４：Ｙｅｓ）、遷移状態を第５状態に設定する（Ｓ１０５）。具体的には、付着物検出装置１は、第５状態では、付着物Ｍの付着判定を行わず、カウンタ値を保持、または所定固定値に設定する。また、付着物検出装置１は、第５状態では、付着物検出フラグを「ＯＦＦ」に設定し、低照度フラグを「ＯＮ」に設定する。

付着物検出装置１は、車速が所定低車速よりも小さい場合には（Ｓ１０４：Ｎｏ）、遷移状態を第４状態に設定する（Ｓ１０６）。具体的には、付着物検出装置１は、第４状態では、付着物Ｍの付着判定を行わず、カウンタ値を保持し、付着物検出フラグを「ＯＦＦ」に設定し、低照度フラグが「ＯＮ」に設定する。

付着物検出装置１は、対象領域Ｒ０における輝度の平均値が所定低照度値よりも高い場合には（Ｓ１０３：Ｎｏ）、車速が所定低車速以上であるか否かを判定する（Ｓ１０７）。付着物検出装置１は、車速が所定低車速よりも小さい場合には（Ｓ１０７：Ｎｏ）、遷移状態を第２状態に設定する（Ｓ１０８）。具体的には、付着物検出装置１は、第２状態では、付着物Ｍの付着判定を行う。

付着物検出装置１は、車速が所定低車速以上である場合には（Ｓ１０７：Ｙｅｓ）、車速が所定高車速以下であるか否かを判定する（Ｓ１０９）。

付着物検出装置１は、車速が所定高車速以下である場合には（Ｓ１０９：Ｙｅｓ）、遷移状態を第１状態に設定する（Ｓ１１０）。具体的には、付着物検出装置１は、第１状態では、付着物Ｍの付着判定を行う。

付着物検出装置１は、車速が所定高車速よりも大きい場合には（Ｓ１０９：Ｎｏ）、遷移状態を第３状態に設定する（Ｓ１１１）。具体的には、付着物検出装置１は、第３状態では、付着物Ｍの付着判定は行わず、カウンタ値を保持し、付着物検出フラグを保持する。

次に、実施形態に係る付着判定処理について図５を参照し説明する。図５は、付着判定処理を説明するフローチャートである。付着判定処理は、遷移状態が第１状態、または第２状態の場合に実行される。

付着物検出装置１は、分割領域Ｒ１を選択する（Ｓ２００）。具体的には、付着物検出装置１は、現在フレームＩ１の分割領域Ｒ１の中から、所定条件を満たすか否かの判定を行っていない分割領域Ｒ１を選択する。

付着物検出装置１は、選択した分割領域Ｒ１における第１差分、および第２差分を算出する（Ｓ２０１）。なお、付着物検出装置１は、各分割領域Ｒ１における第１差分、および第２差分を予め算出しておき、選択した分割領域Ｒ１に対応する第１差分、および第２差分を読み出してもよい。

付着物検出装置１は、分割領域Ｒ１が所定条件を満たすか否かを判定する（Ｓ２０２）。付着物検出装置１は、判定結果に基づいて分割領域Ｒ１のカウンタ値を更新する（Ｓ２０３）。

具体的には、付着物検出装置１は、遷移状態が第１状態であり、かつ分割領域Ｒ１が所定条件を満たす場合には、分割領域Ｒ１のカウンタ値を増加させる。また、付着物検出装置１は、遷移状態が第１状態であり、分割領域Ｒ１が所定条件を満たさない場合には、分割領域Ｒ１のカウンタ値を減少させる。

また、付着物検出装置１は、遷移状態が第２状態であり、かつ分割領域Ｒ１が所定条件を満たす場合には、分割領域Ｒ１のカウンタ値を保持する。また、付着物検出装置１は、遷移状態が第２状態であり、分割領域Ｒ１が所定条件を満たさない場合には、分割領域Ｒ１のカウンタ値を減少させる。

付着物検出装置１は、カウンタ値が所定カウンタ値以上であるか否かを判定する（Ｓ２０４）。付着物検出装置１は、カウンタ値が所定カウンタ値以上である場合には（Ｓ２０４：Ｙｅｓ）、分割領域Ｒ１を付着領域として検出する（Ｓ２０５）。また、付着物検出装置１は、カウンタ値が所定カウンタ値よりも小さい場合には（Ｓ２０４：Ｎｏ）、分割領域Ｒ１を未着領域として検出する（Ｓ２０６）。

付着物検出装置１は、全ての分割領域Ｒ１に対して所定条件を満たすか否かの判定を行った場合には（Ｓ２０７：Ｙｅｓ）、占有率を算出し（Ｓ２０８）、占有率が所定占有率以上であるか否かを判定する（Ｓ２０９）。付着物検出装置１は、所定条件を満たすか否かの判定を行っていない分割領域Ｒ１が有る場合には（Ｓ２０７：Ｎｏ）、新たに分割領域Ｒ１を選択し（Ｓ２００）、上記処理を繰り返す。

付着物検出装置１は、占有率が所定占有率以上である場合には（Ｓ２０９：Ｙｅｓ）、付着物検出フラグを「ＯＮ」にする（Ｓ２１０）。また、付着物検出装置１は、占有率が所定面積よりも小さい場合には（Ｓ２０９：Ｎｏ）、付着検出フラグを「ＯＦＦ」にする（Ｓ２１１）。

付着物検出装置１は、車速と、対象領域Ｒ０における輝度の平均値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を示す情報の遷移状態を設定する。

これにより、付着物検出装置１は、車両Ｃの走行状態に応じて付着物Ｍの付着状態を示す情報を制御することができ、付着物Ｍの誤判定を抑制することができる。

付着物検出装置１は、対象領域Ｒ０における輝度の平均値が所定低照度値以下の場合には、カウンタ値を保持する。具体的には、付着物検出装置１は、遷移状態が第４状態、または第５状態の場合には、カウンタ値を保持する。

これにより、付着物検出装置１は、車載カメラ１０のレンズに付着物が付着しており、遷移状態が第４状態、または第５状態から、第１状態、または第２状態に変わった場合に、付着物検出フラグを早期に「ＯＮ」にすることができる。

付着物検出装置１は、カウンタ値が所定カウンタ値よりも大きく、対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい状態から、車速が所定低車速以上であり、かつ対象領域Ｒ０における輝度の平均値が所定低照度値以下になった場合には、カウンタ値を所定固定値に設定する。具体的には、付着物検出装置１は、遷移状態が、例えば、第１状態から第５状態に変わり、第１状態においてカウンタ値が所定カウンタ値以上である場合には、カウンタ値を所定固定値に設定する。

これにより、付着物検出装置１は、車載カメラ１０のレンズに付着物Ｍが付着した状態で、例えば、車両Ｃがトンネルを走行している場合に、付着物検出フラグがハンチングすることを抑制することができる。また、付着物検出装置１は、例えば、付着物Ｍが付着した状態で、車両Ｃがトンネルを通過した場合に、付着物検出フラグを早期に「ＯＮ」にすることができる。

また、付着物検出装置１は、車速が所定低車速以上であり、車速が所定高車速以下であり、かつ対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい場合に、カウンタ値を増減させる。具体的には、付着物検出装置１は、遷移状態が第１状態である場合に、カウンタ値を増減する。

これにより、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着状態正確に判定可能な場合に、付着物Ｍの付着判定を行う。そのため、付着物検出装置１は、付着物Ｍの付着を正確に検出することができる。

また、付着物検出装置１は、車速が所定低車速よりも小さく、かつ対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい場合には、カウンタ値を保持し、または減少させる。具体的には、付着物検出装置１は、遷移状態が第２状態である場合に、カウンタ値の減少のみを可能とする。

これにより、付着物検出装置１は、車速が小さく、第１差分などが小さい撮像画像Ｉに基づいて付着物Ｍの付着判定が行われることを抑制し、付着物Ｍの誤判定を抑制することができる。また、付着物検出装置１は、例えば、付着物Ｍが拭き取られた場合に、付着物Ｍが拭き取られたことを検出することができる。

付着物検出装置１は、車速が所定車速よりも大きく、かつ対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい場合には、カウンタ値を保持する。具体的には、付着物検出装置１は、遷移状態が第３状態である場合にはカウンタ値を保持する。

これにより、付着物検出装置１は、車速が大きく、ぶれが大きい撮像画像Ｉに基づいて付着物Ｍの付着判定が行われることを抑制し、付着物Ｍの誤判定を抑制することができる。

付着物検出装置１は、対象領域Ｒ０における輝度の平均値が所定低照度値以下である場合には、付着検出フラグを「ＯＦＦ」にする。具体的には、付着物検出装置１は、遷移状態が第４状態、または第５状態である場合には、付着検出フラグを「ＯＦＦ」にする。

これにより、付着物検出装置１は、付着物Ｍの付着を正確に行うことができない場合に、付着物検出フラグが「ＯＮ」とされることを防止し、各種機器５０に正確な情報を送信することができる。

変形例に係る付着物検出装置１では、車載カメラ１０毎に所定低照度値や、所定低車速などが設定されてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ 車載カメラ（撮像装置）
２０ 取得部
２１ 領域設定部
２２ 状態設定部
２４ 算出部
２５ 判定部
２６ 検出部
４０ 車速センサ

Claims (10)

1. 車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、
   前記複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出部と、
   車速と、前記対象領域における前記輝度の代表値とに基づいて前記分割領域における前記付着物の付着状態を示す情報の遷移状態を設定する状態設定部と、
   前記遷移状態が、前記対象領域における前記輝度の代表値が所定低照度値よりも大きい状態であっても、前記車速が所定高車速よりも大きい場合には、前記情報のうち、前記対象領域に前記付着物が付着していることを示すフラグを保持する検出部と
   を備えることを特徴とする付着物検出装置。
2. 車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、
   前記複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出部と、
   車速と、前記対象領域における前記輝度の代表値とに基づいて前記分割領域における前記付着物の付着状態を示す情報の遷移状態を設定する状態設定部と、
   前記遷移状態が、前記対象領域における前記輝度の代表値が所定低照度値よりも小さい状態であるとき、前記情報のうち、前記対象領域に前記付着物が付着していることを示すフラグをＯＦＦにする検出部と
   を備えることを特徴とする付着物検出装置。
3. 前記算出部は、前記輝度の代表値として、前記輝度の平均値を算出する
   ことを特徴とする請求項１または２に記載の付着物検出装置。
4. 前記算出部は、前記情報のうち、前記付着物の付着継続性を示すカウンタ値を算出し、
   前記遷移状態が、前記対象領域における前記輝度の代表値が前記所定低照度値以下の状態である場合には、前記算出部が前記カウンタ値を保持し、前記検出部が前記フラグをＯＦＦにする
   ことを特徴とする請求項１～３のいずれか一つに記載の付着物検出装置。
5. 前記算出部は、
   前記カウンタ値が所定固定値よりも大きく、前記遷移状態が、前記対象領域における前記輝度の代表値が前記所定低照度値よりも大きい状態から、前記車速が所定低車速以上であり、かつ前記対象領域における前記輝度の代表値が前記所定低照度値以下の状態になった場合には、前記カウンタ値を前記所定固定値に設定する
   ことを特徴とする請求項４に記載の付着物検出装置。
6. 前記遷移状態が、前記車速が所定低車速以上であり、所定高車速以下であり、かつ前記対象領域における前記輝度の代表値が前記所定低照度値よりも大きい状態である場合には、前記算出部が前記カウンタ値を増減させ、前記検出部が前記フラグをＯＮまたはＯＦＦにする
   ことを特徴とする請求項４または５に記載の付着物検出装置。
7. 前記遷移状態が、前記車速が所定低車速よりも小さく、かつ前記対象領域における前記輝度の代表値が前記所定低照度値よりも大きい状態である場合には、前記算出部が前記カウンタ値を保持または減少させ、前記検出部が前記フラグを保持またはＯＦＦにする
   ことを特徴とする請求項４～６のいずれか一つに記載の付着物検出装置。
8. 前記遷移状態が、前記車速が所定高車速よりも大きく、かつ前記対象領域における前記輝度の代表値が前記所定低照度値よりも大きい状態である場合には、前記算出部が前記カウンタ値を保持し、前記検出部が前記フラグを保持する
   ことを特徴とする請求項４～７のいずれか一つに記載の付着物検出装置。
9. 車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領
   域設定工程と、
   前記複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出工程と、
   車速と、前記対象領域における前記輝度の代表値とに基づいて前記分割領域における前記付着物の付着状態を示す情報の遷移状態を設定する状態設定工程と、
   前記遷移状態が、前記対象領域における前記輝度の代表値が所定低照度値よりも大きい状態であっても、前記車速が所定高車速よりも大きい場合には、前記情報のうち、前記対象領域に前記付着物が付着していることを示すフラグを保持する検出工程と
   を含むことを特徴とする付着物検出方法。
10. 車両に搭載された撮像装置によって撮像された撮像画像に複数の分割領域を設定する領
    域設定工程と、
    前記複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出する算出工程と、
    車速と、前記対象領域における前記輝度の代表値とに基づいて前記分割領域における前記付着物の付着状態を示す情報の遷移状態を設定する状態設定工程と、
    前記遷移状態が、前記対象領域における前記輝度の代表値が所定低照度値よりも小さい状態であるとき、前記情報のうち、前記対象領域に前記付着物が付着していることを示すフラグをＯＦＦにする検出工程と
    を含むことを特徴とする付着物検出方法。

Images