JPWO2018021076A1 - 検出装置、撮像装置、移動体及び検出方法 - Google Patents

Abstract

検出装置は、撮像部で撮像された撮像画像を取得する画像取得部と、撮像画像を平滑化した平滑化画像を生成又は取得する制御部とを備える。制御部は、撮像画像と平滑化画像とを比較し、撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。

Description

関連出願へのクロスリファレンス

本出願は、日本国特許出願２０１６−１４７８９２号（２０１６年７月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

本開示は、検出装置、撮像装置、移動体及び検出方法に関する。

カメラで撮像した画像は、複数の波が重なった合成波と捉えられうる。画像は、空間周波数解析によって、空間周波数スペクトルとして表されうる。従来、空間周波数スペクトルに基づいて、カメラのレンズ表面に付着した汚れ又は水滴等の異物を検出する構成が知られている（例えば、特許文献１参照）。

特開２０１５−２６９８７号公報

本開示の一実施形態に係る検出装置は、撮像部で撮像された撮像画像を取得する画像取得部と、前記撮像画像を平滑化した平滑化画像を生成又は取得する制御部とを備える。前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。

本開示の一実施形態に係る撮像装置は、撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部を備える。前記撮像装置は、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を取得する制御部とを備える。前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。

本開示の一実施形態に係る移動体は、撮像装置を備える。前記撮像装置は、撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部を備える。前記撮像装置は、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を取得する制御部とを備える。前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。

本開示の一実施形態に係る検出方法は、撮像光学系を介して撮像された撮像画像を取得する。前記検出方法は、前記撮像画像を平滑化した平滑化画像を取得する。前記検出方法は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。

一実施形態に係る撮像装置の概略構成例を示すブロック図である。 図１の撮像装置を搭載した移動体の例を示す図である。 撮像画像の一例を示す模式図である。 図３の第１領域の空間周波数スペクトルの例を示すグラフである。 図３の第２領域の空間周波数スペクトルの例を示すグラフである。 異物の付着の影響を受けた撮像画像の一例を示す模式図である。 低周波数領域検出処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 平滑化画像の一例を示す図である。 差分画像から低周波数領域を検出する手順の例を示すフローチャートである。 差分画像の一例を示す図である。 異物の付着を判定する手順の例を示すフローチャートである。 判定閾値を用いる手順の例を示すフローチャートである。 撮像画像をブロックに分割して判定する手順の例を示すフローチャートである。 差分画像をブロックに分割して判定する手順の例を示すフローチャートである。

画像の空間周波数解析は、例えばフーリエ変換等によって行われうる。空間周波数解析のための画像処理は、多くの演算量を必要とし、装置に対して大きい負荷をかけうる。つまり、空間周波数解析によって画像から所定の空間周波数スペクトルを有する領域を検出する処理は、装置にとって大きい負荷となりうる。

本開示に係る検出装置及び撮像装置は、移動体に搭載されてよい。本開示における「移動体」には、車両、船舶、航空機が含まれる。本開示における「車両」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における船舶は、マリンジェット、ボート、タンカーを含む。本開示における航空機は、固定翼機、回転翼機を含む。

本開示に係る検出装置及び撮像装置は、移動端末又は携帯端末等に搭載されてよい。本開示に係る検出装置及び撮像装置は、据え置き型の装置に搭載されてよい。本開示に係る検出装置及び撮像装置は、据え置き型装置又は移動型装置等として単独で使用されてよい。

図１に示されるように、一実施形態に係る撮像装置１００は、検出装置１と、撮像部２０とを備える。検出装置１は、制御部１０と、記憶部１２と、画像取得部１４と、報知部１６と、表示部１８とを備える。撮像部２０は、撮像光学系２２と、撮像素子２４とを備える。

制御部１０は、検出装置１の各構成部を制御する。制御部１０は、アプリケーションソフトウェアを実行可能なプロセッサまたはマイクロコンピュータ等により構成されうる。制御部１０は、各種情報、または検出装置１の各構成部を動作させるためのプログラム等が格納される記憶デバイスを備えてよい。記憶デバイスは、例えば半導体メモリ等で構成されうる。記憶デバイスは、制御部１０のワークメモリとして機能してよい。制御部１０は、記憶部１２を記憶デバイスとして用いてよい。

制御部１０は、検出装置１の各構成部と通信するための通信デバイスを備えてよい。通信デバイスは、例えば、ＬＡＮ（Local Area Network）又はＣＡＮ（Control Area Network）等の通信インターフェースであってよい。検出装置１は、通信デバイスを通信部として備えてよい。制御部１０は、通信デバイスによって外部装置と接続されてよい。制御部１０は、外部装置から各種情報または表示画像データ等を取得してよい。通信デバイスは、有線または無線によって、検出装置１の各構成部又は外部装置と通信可能であってよい。

制御部１０は、画像取得部１４を通じて、撮像部２０で撮像された画像を取得してよい。撮像部２０で撮像された画像は、撮像画像１１０（図３参照）ともいう。制御部１０は、撮像画像１１０を平滑化してよい。平滑化された撮像画像１１０は、平滑化画像ともいう。言い換えれば、制御部１０は、撮像画像１１０に基づいて、平滑化画像を生成又は取得してよい。制御部１０は、撮像画像１１０と平滑化画像とを比較し、撮像画像１１０が所定の空間周波数スペクトルを有するか検出しうる。言い換えれば、制御部１０は、撮像画像１１０及び平滑化画像に基づいて、撮像画像１１０が所定の空間周波数スペクトルを有するか検出しうる。制御部１０は、撮像画像１１０及び平滑化画像に基づいて、撮像部２０における汚れ又は水滴等の異物の付着を検出してよい。制御部１０は、撮像画像１１０に基づいて、例えば、他の移動体又は歩行者等の存在を検出してよい。制御部１０が少なくとも撮像画像１１０に基づいて検出した結果は、検出結果ともいう。制御部１０は、検出結果に基づいて、報知部１６に対して報知内容を出力してよい。制御部１０は、撮像画像１１０を表示部１８に出力してよい。制御部１０は、撮像画像１１０を加工した画像を表示部１８に出力してよい。制御部１０は、検出結果に基づく表示内容を撮像画像１１０に重畳した画像を表示部１８に出力してよい。検出結果に基づく表示内容は、例えば、マーク若しくは矢印等の図形、又は文字等であってよい。

記憶部１２は、検出装置１の動作に係る各種情報又はパラメータを格納する。記憶部１２は、例えば半導体メモリ等で構成されてよい。記憶部１２は、制御部１０のワークメモリとして機能してよい。記憶部１２は、撮像画像１１０を格納してよい。記憶部１２は、制御部１０が撮像画像１１０に基づく検出処理を行うための各種パラメータ等を格納してよい。

画像取得部１４は、撮像部２０と接続され、撮像部２０から撮像画像１１０を取得する。画像取得部１４は、撮像画像１１０を制御部１０に出力する。画像取得部１４は、撮像画像１１０を、輝度調整又はコントラスト調整等の種々の方法で加工してよい。

報知部１６は、制御部１０から取得した報知内容をユーザ又は周囲の人に対して報知する。報知部１６は、例えば液晶、有機ＥＬ（Electro-Luminescence）、無機ＥＬ又はＬＥＤ（Light Emission Diode）等の表示デバイスを備えてよい。報知部１６は、制御部１０から取得した報知内容を表示デバイスに表示してよい。報知部１６は、音声を発出するデバイスを備え、制御部１０から取得した報知内容に基づいて音声を発出してよい。報知部１６は、振動を発生するデバイスを備え、制御部１０から取得した報知内容に基づいて振動を発生してよい。報知部１６は、音声又は振動以外にも人間が認識可能な任意の方法によって、報知内容に基づく報知を行ってよい。

表示部１８は、液晶、有機ＥＬ又は無機ＥＬ等の表示デバイスを備える。表示部１８は、制御部１０から取得した撮像画像１１０、又は、撮像画像１１０を加工した画像を表示する。

撮像部２０は、撮像光学系２２に入射した光を撮像素子２４で結像させ、撮像画像１１０として取得する。撮像光学系２２は、レンズ又はミラー等によって構成され、被写体から入射した光を撮像素子２４の撮像面において被写体像として結像する。撮像素子２４は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等で構成される。撮像素子２４は、撮像光学系２２によって結像された被写体像を光電変換する。撮像素子２４は、光電変換で得られた電気信号を所定の撮像ゲイン値に応じて各画素の輝度値として算出する。撮像素子２４は、算出した各画素の輝度値に係る情報を含む撮像画像１１０を出力する。撮像ゲイン値は、撮像素子２４の受光強度を撮像画像１１０の輝度値に変換する係数である。例えば、撮像素子２４全体の受光強度が低い場合、撮像素子２４は、撮像ゲイン値を大きくして、撮像画像１１０の輝度値を高くしてよい。一方で、撮像素子２４全体の受光強度が高い場合、撮像素子２４は、撮像ゲイン値を小さくして、撮像画像１１０の輝度値を低くしてよい。

図２に示されるように、撮像装置１００は、移動体２００に搭載されてよい。図２の例において、撮像部２０は、移動体２００のリア部に配設されるものとする。検出装置１の制御部１０は、撮像部２０とともに位置してよい。検出装置１の表示部１８は、移動体２００の車内前方に配設されるものとする。表示部１８は、移動体２００の内部の配線で、撮像部２０に接続される。表示部１８は、ＬＡＮ又はＣＡＮ等の通信インターフェースによって接続されてよい。表示部１８は、撮像部２０と有線又は無線によって接続されてよい。表示部１８は、移動体２００から後方を見た撮像画像１１０、又は、制御部１０で生成された画像、若しくは、撮像画像１１０を制御部１０で加工した画像を表示可能である。

撮像画像１１０は、複数の異なる空間周波数の波が重なった合成波として捉えられうる。撮像画像１１０は、空間周波数ごとの波の強度を示す空間周波数スペクトルとして表されうる。空間周波数スペクトルは、フーリエ変換等の空間周波数分析によって算出されうる。空間周波数スペクトルは、撮像画像１１０全体に対して算出されうるだけでなく、撮像画像１１０の一部の領域に対して算出されうる。空間周波数スペクトルは、撮像画像１１０の少なくとも一部の領域に対して算出されうる。

空間周波数スペクトルを構成する任意の空間周波数の波は、周波数成分ともいう。所定の空間周波数以上の周波数を有する波は、高周波数成分ともいう。所定の空間周波数未満の周波数を有する波は、低周波数成分ともいう。所定の空間周波数は、単に所定周波数ともいう。所定周波数は、適宜定められてよい。空間周波数スペクトルの特性は、各周波数成分の強度によって示される。輝度が急峻に変化する画像を表す空間周波数スペクトルは、高周波数成分を比較的高い強度で含みうる。輝度が緩やかに変化する画像を表す空間周波数スペクトルは、低周波数成分を比較的高い強度で含みうる。

例えば、図３に示される撮像画像１１０において、路面５０上に描かれたセンターライン５１を含む第１領域１１１は、輝度が比較的大きく変化する画像である。図４に示されるように、第１領域１１１の空間周波数スペクトルは、高周波数成分を比較的高い強度で含む。一方、路面５０を含み、センターライン５１を含まない第２領域１１２は、輝度が比較的小さく変化する画像である。図５に示されるように、第２領域１１２の空間周波数スペクトルは、低周波数成分を比較的高い強度で含む。

撮像部２０が撮像画像１１０を取得する際、撮像光学系２２に異物が付着している場合、当該異物によって、撮像画像１１０の一部が影響を受けうる。異物は、例えば汚れ又は水滴等でありうる。撮像光学系２２に付着した異物は、撮像光学系２２の焦点から外れることによって、輪郭がぼやけた、輝度が比較的小さく変化する画像として撮像画像１１０に映り込みうる。撮像光学系２２に付着した水滴は、撮像光学系２２に入射する光を散乱しうる。結果として、撮像画像１１０の、水滴が付着した部分に対応する領域は、光の散乱によって、輝度が比較的小さく変化する領域になりうる。

例えば、図６に示されるように、異物によって影響を受けた第３領域１１３は、輝度が比較的小さく変化する領域となりうる。撮像光学系２２に付着した異物によって影響を受けた領域は、異物付着領域ともいう。図３の第１領域１１１と同じ領域を示す第４領域１１４は、異物付着領域である第３領域１１３に含まれる。第４領域１１４は、異物の影響によって、実際には存在しているはずのセンターライン５１の画像を含まない。第４領域１１４は、異物によって影響を受けない図３の第１領域１１１と比較して、輝度が比較的小さく変化する領域である。第４領域１１４の空間周波数スペクトルは、図５に類似して低周波数成分を比較的高い強度で有する。つまり、撮像画像１１０の異物付着領域の空間周波数スペクトルは、異物によって影響を受けない場合と比較して、低周波数成分を比較的高い強度で有しうる。

図３〜図６に示されるように、撮像画像１１０は、高周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域と、低周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域とを含みうる。制御部１０は、撮像画像１１０に基づいて、所定の空間周波数スペクトルを有する領域を検出できる。制御部１０は、低周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域を低周波数領域として検出してよい。制御部１０は、高周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域を高周波数領域として検出してよい。低周波数領域又は高周波数領域は、撮像画像１１０に含まれる所定領域であるものとする。

低周波数領域は、所定周波数以上の周波数成分の強度が所定強度未満となる空間周波数スペクトルを有する領域として定義されてよい。図４及び図５において、所定周波数及び所定強度はそれぞれ、ｆｐ及びＩｐとして示される。図４に示される空間周波数スペクトルは、所定周波数以上の少なくとも一部の周波数成分の強度が所定強度以上である。低周波数領域の定義によれば、図４に示される空間周波数スペクトルを有する領域は、低周波数領域ではない。図５に示される空間周波数スペクトルは、所定周波数以上の周波数成分の強度が所定強度未満である。低周波数領域の定義によれば、図５に示される空間周波数スペクトルを有する領域は、低周波数領域である。

撮像画像１１０に含まれる低周波数領域は、撮像画像１１０の空間周波数スペクトルを解析することによって検出されてよい。一方で、低周波数領域は、空間周波数スペクトルを解析せずに検出されうる。制御部１０は、図７に示されるフローチャートの手順によって、撮像画像１１０の所定領域が低周波数領域であるか判定して、撮像画像１１０から低周波領域を検出できる。

制御部１０は、画像取得部１４から撮像画像１１０を取得する（ステップＳ１）。撮像画像１１０は、例えば図８に示されるように、移動体２００に搭載された撮像部２０によって撮像されてよい。図８の撮像画像１１０は、地面に白く描かれたライン１２０及び水滴１２２の画像を含む。水滴１２２の画像の後ろに存在するはずのライン１２０は、水滴１２２があることによって判別されず、水滴１２２の画像によって途切れている。仮に水滴１２２が存在しない場合、撮像画像１１０は、ライン１２０がつながっている画像を含む。撮像画像１１０には、ライン１２０を含む第５領域１１５と、ライン１２０を含まない第６領域１１６とが設けられるものとする。第５領域１１５は、高周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域である。第６領域１１６は、低周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域である。制御部１０は、第５領域１１５を高周波数領域として検出し、第６領域１１６を低周波数領域として検出するように、所定周波数を決定しうる。

制御部１０は、撮像画像１１０を平滑化し、図９に示されるような平滑化画像１３０を生成する（ステップＳ２）。制御部１０は、画像取得部１４に撮像画像１１０を平滑化させてよい。画像は、それに含まれる高周波数成分がカットされることによって平滑化されうる。言い換えれば、画像は、それに対してローパスフィルタが適用されることによって平滑化されうる。画像は、例えば、各画素の移動平均が計算されることによって平滑化されてよい。画像は、各画素にガウシアンフィルタが適用されることによって平滑化されてよい。画像は、他の方法で平滑化されてよい。平滑化画像１３０において、図８の撮像画像１１０に類似して、ライン１２０を示す部分と、水滴１２２を示す部分とが判別されうる。平滑化画像１３０には、図８の撮像画像１１０と同一に、第５領域１１５と第６領域１１６とが設けられてよい。

制御部１０は、撮像画像１１０と平滑化画像１３０とを比較し、撮像画像１１０の所定領域が低周波数領域であるか判定し、撮像画像１１０から低周波数領域を検出する（ステップＳ３）。制御部１０は、撮像画像１１０から、低周波数領域ではなく高周波数領域を検出してもよい。制御部１０は、撮像画像１１０から所定の空間周波数スペクトルを有する領域を検出してよい。制御部１０は、ステップＳ３において、種々の手順を含むサブルーチンの手順を実行してよい。制御部１０は、例えば、撮像画像１１０と平滑化画像１３０との間の差異が少ない領域を低周波数領域であると判定してよい。制御部１０は、ステップＳ３の後、図７のフローチャートの手順を終了する。

制御部１０は、図７のステップＳ３において、図１０に示されるフローチャートの手順を実行してよい

制御部１０は、撮像画像１１０と平滑化画像１３０との各画素の輝度値の差分をとって、図１１に示されるような差分画像１４０を生成する（ステップＳ１１）。差分画像１４０において、ライン１２０は、輝度値が高い部分として判別されうる。差分画像１４０において、水滴１２２は、輝度値が低い部分として判別されうる。水滴１２２の画像に対応する部分において、ライン１２０は判別されない。差分画像１４０には、図８の撮像画像１１０と同一に、第５領域１１５と第６領域１１６とが設けられるものとする。差分画像１４０の生成方法からすると、差分画像１４０の画素のうち輝度値が高い画素は、撮像画像１１０の高周波数領域に含まれる画素に対応しうる。

第５領域１１５及び第６領域１１６は、撮像画像１１０、平滑化画像１３０及び差分画像１４０に共通に設けられてよい。第５領域１１５及び第６領域１１６は、撮像画像１１０、平滑化画像１３０及び差分画像１４０の間で互いに対応する領域になりうる。第５領域１１５及び第６領域１１６だけでなく、他の任意の領域が、撮像画像１１０、平滑化画像１３０及び差分画像１４０に共通に設けられてよい。

制御部１０は、差分画像１４０の所定領域に含まれる画素の輝度値を積算する（ステップＳ１２）。例えば、差分画像１４０の第５領域１１５は、ライン１２０を示す画素を含む。第５領域１１５に含まれる画素の輝度値の積算値は、ライン１２０を示す画素の輝度値が積算された値である。一方で、差分画像１４０の第６領域１１６は、ライン１２０を示す画素等の輝度値の高い画素を含まない。この場合、第６領域１１６に含まれる画素の輝度値の積算値は、第５領域１１５に含まれる画素の輝度値の積算値より低くなる。

制御部１０は、差分画像１４０の所定領域に含まれる画素の輝度値の積算値が判定閾値未満であるか判定する（ステップＳ１３）。差分画像１４０の所定領域に含まれる画素の輝度値の積算値は、撮像画像１１０の所定領域の空間周波数スペクトルに含まれる高周波数成分の強度に対応する。例えば、積算値が大きいほど、高周波数成分の強度が高い。判定閾値は、適宜決定されてよい。制御部１０は、輝度値の積算値が判定閾値未満である場合（ステップＳ１３：ＹＥＳ）、所定領域が低周波数領域であると判定する（ステップＳ１４）。例えば、第６領域１１６は、輝度値の積算値が比較的低いことに基づいて、低周波数領域であると判定されうる。制御部１０は、ステップＳ１４の後、図１０のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値未満でない場合（ステップＳ１３：ＮＯ）、所定領域が低周波数領域であると判定することなく、図１０のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値以上である場合、所定領域が高周波数領域であると判定してよい。制御部１０は、判定閾値を適宜決定したり、複数の判定閾値を組み合わせたりすることによって、所定領域が所定の空間周波数スペクトルを有する領域であると判定してよい。

仮に、制御部１０が低周波数領域を検出するために撮像画像１１０の空間周波数を解析する場合、空間周波数を解析する演算量は、非常に大きくなることがある。一方、本実施形態に係る検出装置１は、平滑化画像及び差分画像１４０の生成だけで撮像画像１１０から低周波数領域を検出しうる。結果として、空間周波数が解析されないことによって、画像の低周波数領域が比較的軽い負荷で検出されうる。

撮像画像１１０から検出される低周波数領域は、少なくとも一部に、図６の第３領域１１３のような異物付着領域を含みうる。低周波数領域は、被写体像の変化に応じて位置、形状又は大きさが変化する。一方で、異物付着領域は、撮像光学系２２に付着している異物が動かない限り、被写体像の変化にかかわらず、位置、形状又は大きさが変化しにくい。

制御部１０が撮像画像１１０から歩行者又は他の移動体等を監視対象として検出している間に、監視対象が異物付着領域に入ることがある。監視対象が異物付着領域に入った場合、制御部１０は、撮像画像１１０から監視対象を検出できず、監視を継続できなくなることがある。制御部１０は、検出していた監視対象を撮像画像１１０から検出できなくなった場合、監視対象が異物付着領域に存在すると推定してよい。制御部１０は、監視対象が検出できないにもかかわらず監視対象の存在を推定する場合、監視対象の存在が推定されることを示す表示内容を撮像画像１１０に重畳して表示部１８に出力してよい。撮像画像１１０から検出された異物付着領域が監視対象の検出に反映されることによって、撮像画像１１０から監視対象が検出されなくなった場合にも、監視対象が見落とされにくくなる。

制御部１０は、低周波数領域から異物付着領域を判定するために、低周波数領域を無条件に異物付着領域とみなしてよい。このようにすることで、監視対象はより見落とされにくくなる。一方で、制御部１０は、図１２に示されるフローチャートの手順によって、低周波数領域から異物付着領域を判定してよい。図１２のステップＳ２１〜ステップＳ２３は、図７のステップＳ１〜ステップＳ３と同じ又は類似の手順である。

制御部１０は、ステップＳ２３で低周波数領域を検出した場合、低周波数領域として検出された領域を記憶部１２に格納する（ステップＳ２４）。制御部１０は、低周波数領域として検出された領域を自らが備える記憶デバイスに格納してよい。

制御部１０は、図１２のフローチャートの手順を前回実行した際にステップＳ２３において検出した領域がある場合、記憶部１２から前回検出した領域を取得する。制御部１０は、前回検出した領域と、今回検出した領域との間で重複する領域があるか判定する（ステップＳ２５）。つまり、制御部１０は、ステップＳ２３における検出を、前回と今回との少なくとも２回実行し、少なくとも２回連続で検出した低周波数領域が重複する領域を含むか判定する。

制御部１０は、重複する領域がある場合（ステップＳ２５：ＹＥＳ）、重複して検出した領域が異物付着領域であると判定する（ステップＳ２６）。言い換えれば、制御部１０は、少なくとも２回連続で検出した低周波数領域に重複する領域が含まれる場合、重複する領域が異物付着領域であると判定する。制御部１０は、ステップＳ２６の後、図１２のフローチャートの手順を終了する。制御部１０は、ステップＳ２６の後、ステップＳ２１に戻ってよい。制御部１０は、重複する領域がない場合（ステップＳ２５：ＮＯ）、図１２のフローチャートの手順を終了する。制御部１０は、ステップＳ２１に戻ってよい。

少なくとも２回連続して同じ領域が低周波数領域として検出されることを条件とすることによって、建物の壁面等のように輝度が変化しにくい領域であって、撮像画像１１０内の位置が移動することが多い領域が異物付着領域と判定されにくくなる。つまり、異物付着領域の検出精度が向上しうる。

図１０のフローチャートの手順において、所定領域が低周波数領域であるか判定するために用いられる判定閾値は、いくつかの方法で決定されうる。判定閾値は、例えば、撮像画像１１０の輝度値に基づいて決定されてよい。制御部１０は、例えば図１３に示されるフローチャートの手順によって、判定閾値を決定し、低周波数領域を判定することができる。図１３のステップＳ３１〜ステップＳ３４は、図１０のステップＳ１１〜ステップＳ１４と同じ又は類似の手順である。

制御部１０は、差分画像１４０の所定領域に対応する、撮像画像１１０の所定領域に含まれる画素の輝度値から判定閾値を決定する（ステップＳ３５）。制御部１０は、例えば、撮像画像１１０の所定領域に含まれる画素の輝度値の総和を算出し、総和に所定の係数を乗じた値を判定閾値としてよい。所定領域内の各画素の座標を（ｉ，ｊ）と表現し、所定領域内の各画素の輝度値をＩ（ｉ，ｊ）と表現する場合、制御部１０は、以下の式（１）によって判定閾値を決定できる。
（判定閾値）＝（所定の係数）×ΣＩ（ｉ，ｊ） （１）
所定の係数は、０より大きく１未満の範囲で適宜定められうる値であり、撮像画像１１０全体に対して同じ値であってよいし、所定領域ごとに異なる値であってよい。所定の係数は、日中の屋外等で高コントラストの被写体像が想定できる場合、比較的大きい値として設定されてよく、低コントラストの被写体像が想定される場合、比較的小さい値として設定されてよい。所定の係数は、高周波数領域が誤って低周波数領域と判定されることを避けるために、小さい値として設定されてよい。所定の係数は、低周波数領域が誤って高周波数領域と判定されることを避けるために、大きい値として設定されてよい。

制御部１０は、撮像画像１１０の所定領域に含まれる画素の輝度値の最大値を算出し、最大値に所定の係数と所定領域内の画素数とを乗じた値を判定閾値としてよい。制御部１０は、撮像画像１１０の所定領域に含まれる画素の輝度値に対して、総和の算出又は最大値の算出等の他の演算によって、判定閾値を決定してよい。判定閾値が撮像画像１１０の所定領域に含まれる画素の輝度値から決定されることによって、路面５０等のように輝度が変化しにくい領域であって、輝度値が比較的低い領域が異物付着領域と判定されにくくなる。つまり、異物付着領域の検出精度が向上しうる。制御部１０は、判定閾値を算出せずに、予め決められた値を判定閾値としてよい。

制御部１０は、撮像素子２４の撮像ゲイン値を判定閾値に反映する（ステップＳ３６）。制御部１０は、ステップＳ３５で決定した判定閾値と撮像ゲイン値との積を判定閾値としてよい。撮像素子２４の撮像ゲイン値は、撮像素子２４に入射する光の光量変化に応じて変化する。例えば、撮像素子２４に入射する光量が少ない場合、撮像素子２４の撮像ゲイン値は大きくされうる。撮像素子２４の撮像ゲイン値が大きい場合、撮像素子２４が出力する撮像画像１１０にはノイズ成分が比較的多く含まれうる。ノイズ成分を含む画像における輝度値の変化は、比較的大きくなる。判定閾値に撮像素子２４の撮像ゲイン値が反映されない場合、ノイズ成分の影響を受けて、異物付着領域が判定されにくくなることがある。言い換えれば、判定閾値に撮像素子２４の撮像ゲイン値が反映されることによって、判定におけるノイズ成分の影響が低減されうる。

制御部１０は、ステップＳ３５で輝度値の平均値に基づいて決定された判定閾値と撮像ゲイン値との積を判定閾値としてよい。制御部１０は、ステップＳ３５で輝度値の最大値に基づいて決定された判定閾値と撮像ゲイン値との積を判定閾値としてよい。制御部１０は、ステップＳ３５で予め決められた値に決定された判定閾値と撮像ゲイン値との積を判定閾値としてよい。

制御部１０は、差分画像１４０の所定領域に含まれる画素の輝度値の積算値が判定閾値未満であるか判定する（ステップＳ３７）。制御部１０は、輝度値の積算値が判定閾値未満である場合（ステップＳ３７：ＹＥＳ）、所定領域が異物付着領域であると判定する（ステップＳ３８）。制御部１０は、ステップＳ３８の後、図１３のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値未満でない場合（ステップＳ３７：ＮＯ）、所定領域が異物付着領域であると判定せず、図１３のフローチャートの手順を終了する。

撮像画像１１０から異物付着領域を検出した場合、制御部１０は、撮像画像１１０に異物付着領域を示す表示内容を重畳した画像を表示部１８に出力してよい。制御部１０は、報知部１６に、撮像画像１１０から異物付着領域を検出したことを報知させてよい。このようにすることで、ユーザに対して、撮像部２０への異物付着を確認するように促すことができる。

撮像画像１１０から異物付着領域を検出した場合、制御部１０は、歩行者又は他の移動体等の監視対象の検出に際して、異物付着領域内に監視対象が存在すると推定してよい。制御部１０は、監視対象の存在が推定される領域を示す表示内容を撮像画像１１０に重畳して表示部１８に出力してよい。このようにすることで、監視対象がユーザによって見落とされにくくなる。

制御部１０は、図１０のフローチャートの手順において、所定領域が低周波領域であるか判定する。一方で、制御部１０は、撮像画像１１０、平滑化画像１３０又は差分画像１４０をブロックに分割して、各ブロックが低周波数領域であるか判定してよい。

制御部１０は、例えば図１４に示されるフローチャートの手順によって、撮像画像１１０をブロックに分割して、各ブロックが低周波数領域であるか判定する。図１４のステップＳ４１は、図７のステップＳ１と同じ又は類似の手順である。

制御部１０は、撮像画像１１０を複数のブロックに分割する（ステップＳ４２）。ブロックは、所定の大きさの領域であってよい。各ブロックの大きさ又は形状は、同じであってよいし、互いに異なってよい。各ブロックの形状は、例えば矩形若しくは三角形、その他の多角形、又は任意の形状であってよい。撮像画像１１０をブロックに分割したそれぞれのブロックは、撮像画像ブロックともいう。

制御部１０は、撮像画像ブロックを平滑化した平滑化画像ブロックを取得する（ステップＳ４３）。平滑化の手順は、図７のステップＳ２で行われる手順と同じ又は類似の手順である。

制御部１０は、各ブロックを順次判定対象として、撮像画像ブロックと平滑化画像ブロックとを比較し、撮像画像ブロックが低周波数領域であるか判定する（ステップＳ４４）。制御部１０は、例えば、撮像画像ブロックと平滑化画像ブロックとの間の差異が少ないブロックを低周波数領域であると判定してよい。制御部１０は、図１０のステップＳ１１〜ステップＳ１４に類似して、撮像画像ブロックと平滑化画像ブロックとの差分の輝度値の積算値に基づいて、そのブロックが低周波数領域であるか判定してよい。判定対象となるブロックは、分割された全てのブロックであってよいし、一部のブロックであってよい。制御部１０は、ブロックの少なくとも一部を判定対象として、図１２のステップＳ２４〜ステップＳ２６と類似の手順によって、各ブロックが異物付着領域であるか判定してよい。制御部１０は、ステップＳ４４の後、図１４のフローチャートの手順を終了する。

制御部１０は、例えば図１５に示されるフローチャートの手順によって、差分画像１４０をブロックに分割して、各ブロックが低周波数領域であるか判定してよい。図１５のステップＳ５１〜ステップＳ５３は、図１０のステップＳ１１〜ステップＳ１３と同じ又は類似の手順である。

制御部１０は、差分画像１４０を複数のブロックに分割する（ステップＳ５４）。ブロックは、図１４のステップＳ４２で説明したものと類似であってよい。差分画像１４０をブロックに分割したものを、差分画像ブロックともいう。

制御部１０は、差分画像ブロックに含まれる画素の輝度値を積算する（ステップＳ５５）。

制御部１０は、各ブロックを順次判定対象として、輝度値の積算値が判定閾値未満であるか判定する（ステップＳ５６）。判定閾値は、適宜決定されうる。判定閾値は、図１３のステップＳ３５又はステップＳ３６の手順と類似に決定されてよい。判定対象となるブロックは、分割された全てのブロックであってよいし、一部のブロックであってよい。

制御部１０は、輝度値の積算値が判定閾値未満である場合（ステップＳ５６：ＹＥＳ）、判定対象のブロックが低周波数領域であると判定する（ステップＳ５７）。制御部１０は、ステップＳ５７の後、図１５のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値未満でない場合（ステップＳ５６：ＮＯ）、判定対象のブロックが低周波数領域でないと判定する（ステップＳ５８）。制御部１０は、ステップＳ５８の後、図１５のフローチャートの手順を終了する。制御部１０は、ブロックの少なくとも一部を判定対象として、図１３のステップＳ３４〜ステップＳ３８と類似の手順を実行して、各ブロックが異物付着領域であるか判定してよい。

撮像画像１１０に基づいて検出される他の情報は、各撮像画像ブロックから検出されてよい。低周波数領域又は異物付着領域がブロックに分割された画像から検出されることによって、撮像画像ブロックから検出される他の情報と連携されやすくなる。画像をブロック分割することによって、低周波数領域又は異物付着領域が、より効率的に、より精度よく検出されうる。

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

１ 検出装置
１０ 制御部
１２ 記憶部
１４ 画像取得部
１６ 報知部
１８ 表示部
２０ 撮像部
２２ 撮像光学系
２４ 撮像素子
１００ 撮像装置
１１０ 撮像画像
１１１〜１１６ 第１〜第６領域
１２０ ライン
１２２ 水滴
１３０ 平滑化画像
１４０ 差分画像
２００ 移動体

Claims (12)

1. 撮像部で撮像された撮像画像を取得する画像取得部と、前記撮像画像を平滑化した平滑化画像を生成又は取得する制御部とを備え、
   前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する検出装置。
2. 前記所定の空間周波数スペクトルは、所定周波数以上の周波数成分の強度が所定強度未満となる空間周波数スペクトルである、請求項１に記載の検出装置。
3. 前記制御部は、
   前記撮像画像と前記平滑化画像との差分画像を生成し、
   前記差分画像の所定領域に含まれる各画素の輝度値の積算値を算出し、
   前記積算値が判定閾値未満である場合、前記差分画像の所定領域に対応する前記撮像画像の所定領域から前記所定の空間周波数スペクトルを有する低周波数領域を検出する、請求項１または２に記載の検出装置。
4. 前記制御部は、前記低周波数領域を前記撮像部に付着した異物によって影響を受けた異物付着領域として検出する、請求項１乃至３いずれか一項に記載の検出装置。
5. 前記制御部は、前記撮像画像が所定の空間周波数スペクトルを有するか少なくとも２回検出し、少なくとも２回連続して検出した前記低周波数領域が重複する領域を含む場合、前記重複する領域を前記撮像部に付着した異物によって影響を受けた異物付着領域として検出する、請求項１乃至３いずれか一項に記載の検出装置。
6. 前記判定閾値は、前記撮像画像の所定領域に含まれる各画素の輝度値に応じて決定される、請求項３乃至５いずれか一項に記載の検出装置。
7. 前記判定閾値は、前記撮像画像が撮像された際の前記撮像部の撮像ゲイン値に応じて決定される、請求項３乃至６いずれか一項に記載の検出装置。
8. 前記制御部は、前記撮像画像を複数のブロックに分割し、各ブロックを平滑化した平滑化画像を生成又は取得し、各ブロックについて前記低周波数領域であるか判定し、前記撮像画像から前記低周波数領域を検出する、請求項１乃至７いずれか一項に記載の検出装置。
9. 前記制御部は、前記差分画像を複数のブロックに分割し、各ブロックについて前記低周波数領域であるか判定し、前記撮像画像から前記低周波数領域を検出する、請求項３乃至７いずれか一項に記載の検出装置。
10. 撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部と、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を生成又は取得する制御部とを備え、
    前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する
    撮像装置。
11. 撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部と、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を生成又は取得する制御部とを有する撮像装置を備え、
    前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する
    移動体。
12. 撮像部で撮像された撮像画像を取得し、
    前記撮像画像を平滑化した平滑化画像を生成又は取得し、
    前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する
    検出方法。

Images