JP4656977B2 - センシング装置 - Google Patents

Description

本発明は、特に屋外の監視空間を撮像した画像と赤外線から検出対象である移動物体を検出するのに好適なセンシング装置に関する。

従来、監視カメラによる画像センサと赤外線センサとを併用して侵入者を検出する侵入者検出システムがある。例えば下記特許文献１に記載の侵入者検出システムは、画像センサと赤外線センサのいずれか一方が侵入者を検出した場合には発報するという技術である。このシステムでは、入力画像とそれより過去に撮像された背景画像との差分からなる差分画像に基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像の領域において、輝度変化が大きい画素の数が「人らしさ」を表す所定の条件を満たす場合に侵入者が存在すると判断することで、画像センサによる侵入者の検出を行う。

特開２０００−２０９５７３号公報

画像センサは赤外線センサに比べて侵入者の検出確度が高く、信頼性も高い。特に、屋外で侵入者の監視を行う場合には、太陽光の影響が大きいため、赤外線センサでの監視では誤動作が発生することが多い。

しかしながら、画像センサでは、雨天時に屋外を監視する場合には、降雨により水滴がカメラ部のレンズ部分等に付着すると、水滴を撮像した画像領域はぼやけた状態で画像データ中に映り込むため、ぼやけた水滴画像領域における検出対象物の検出処理が困難となることがあった。

また、例えば雨天時の屋外のようにカメラ部に水滴が付着する環境下で上記特許文献１に記載の技術を使用すると、撮像画像中の水滴画像が、入力画像と背景画像との差分画像からそれぞれ変動領域として抽出され、この変動領域の面積や形状が「人らしさ」の条件を満たすと、これにより侵入者が存在するものとして誤報を発することがあった。

さらに、上記特許文献１に記載の技術では、例えば水滴が画像中に大きく映り込んだ場合には赤外線センサは反応せず、水滴の付着により画面全体の明るさが変化したことで照度変動とみなして検出の通報を行わないため、結局はぼやけた水滴画像領域における検出対象物の検出処理が困難となり、通報漏れ（失報）が発生してしまう虞があった。

本発明の目的は、撮像部に付着した水滴が原因となって画像処理による検出対象物の検出が困難となる状況でも、他の手段、例えば赤外線による検出処理を併用することで検出対象物の検出確度を高め、より確実な監視を継続することを可能とするセンシング装置を提供することにある。

本発明のセンシング装置は、監視空間を撮像した画像を取得する撮像部と、前記撮像部により撮像された入力画像に基づいて検出対象物を検出する第一の対象物検出部と、前記入力画像に基づいて前記撮像部への水滴の付着を検出する水滴検出部と、前記入力画像を用いることなく前記監視空間の検出対象物を検出する第二の対象物検出部と、前記水滴検出部が水滴を検出した場合は、前記第一の対象物検出部と前記第二の対象物検出部のいずれか一方が検出対象物を検出すると検出対象物が存在すると判定し、前記水滴検出部が水滴を検出しない場合は、前記第一の対象物検出部が検出対象物を検出したときのみ、検出対象物が存在すると判定する判定部と、を備えることを特徴とする。

また、上記構成のセンシング装置において、第二の対象物検出部は赤外線センサであるのが好適である。

本発明によれば、画像センサ（第一の対象物検出部）とＰＩＲセンサ等の他の移動体検出センサ（第二の対象物検出部）を併用しており、通常は画像センサによる検出結果を優先し、水滴の付着を検出した場合には、他の移動体検出センサによる検出結果をも利用するようにしたため、水滴の付着が原因で検出対象物の検出が困難となる状況を回避して、検出対象物の検出確度を高めることができ、より確実な監視を継続することが可能となる。

本発明の実施の形態におけるセンシング装置１００は、図１に示すように、撮像部１０、照明部２０、照明制御部３０、画像侵入者検出部４０、水滴検出部５０、ＰＩＲ（Ｐａｓｓｉｖｅ Ｉｎｆｒａｒｅｄ）センサ６０、ＰＩＲ侵入者検出部７０、判定部８０及び出力部９０を含み、以下に説明する処理を実行するためのプログラムを実行可能なコンピュータで構成することができる。尚、本実施形態では、検出対象物を「侵入者」としているが、これに限定されるものではない。従って、符号４０及び７０の構成要素をいずれも侵入者検出部という名称としているが、検出対象物によって名称も変更し得るものであり、センシング装置１００による所望の検出対象物を検出する処理を行う構成であれば良い。

撮像部１０は、監視空間を２次元画像データとして取得可能なＣＣＤ素子又はＣ−ＭＯＳ素子等の光電変換素子を備えたカメラ、撮像された画像に対してアナログ／デジタル変換等の処理を行う処理部、及び、画像データを出力するインターフェース（図示せず）を含んで構成される。撮像部１０は、所定の時間周期Ｔｉ（例えば、０．１秒）で監視空間の画像を撮像して画像データとして出力する。

照明部２０は、例えば複数の発光ダイオード（ＬＥＤ）素子やランプ等が例えばマトリックス状に配列された構成となっている。この照明部２０により、夜間等における監視空間を照射した状態で撮像部１０により撮像した画像を取得することができる。尚、撮像部１０と照明部２０とは屋外向け防水性能を備えた筐体に収納されている。本発明では、その前面のガラスに付着した水滴を検出する。

照明制御部３０は、撮像部１０による入力画像全体の平均輝度を算出し、所定値以下であれば、夜間の監視のように環境光による明るさだけでは監視困難であるとして、監視空間を照射させるよう照明部２０を制御する。一方、入力画像全体の平均輝度が所定値以上であれば、昼間の監視のように環境光による明るさで十分監視可能であるとして、照明部２０による照射を行わないように照明部２０を制御する。また、例えば夜間における監視空間が街灯等で明るい場合には、街灯等による監視空間を撮像した入力画像全体の平均輝度に応じて、照明部２０が制御される。また照明制御部３０は、水滴検出部５０（詳しくは、後述のプログラム選択部５８）に、いずれの照明制御を行うか（照明の有無）を示す照明有無信号を出力する。

尚、照明有無を判断する条件としては、例えば撮像部１０に内蔵された入力画像信号を増幅するＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）アンプにおいて、入力画像信号がＡＧＣアンプによるゲイン調整可能なレンジを超えたら夜間とみなす（環境光による明るさだけでは監視困難とする）、画像信号のレベルが所定値以下なら夜間とみなす（環境光による明るさだけでは監視困難とする）、等の条件を設定しても良い。また本実施形態では、撮像部１０による入力画像データを用いて監視空間の照度を判断しているが、照度センサを別途設け、この照度センサにより取得した照度に基づいて照明を当てるか否かを判断するようにしても良い。

画像侵入者検出部４０は、従来と同様に、撮像部１０から所定の時間周期Ｔｉで入力画像データを取得し、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データに基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像データ中の領域の属性値が検出対象物（本実施形態では「侵入者」すなわち「人」）に特有の特徴を有する場合に、検出対象物が監視空間内に存在するものとして、監視空間内における「侵入者」の存在を検出する。例えば、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして「侵入者」の存在を検出する。また、こうして得られた検出結果を示す信号を判定部８０に出力する。

水滴検出部５０は、画像侵入者検出部４０と同様に、所定の時間周期Ｔｉで入力画像データを取得する。水滴検出部５０は、図２に示すように、背景画像更新部５１、背景差分演算部５２、エッジ抽出部５３、水滴候補画像生成部５４、フレーム間差分演算部５５、水滴候補近傍画像処理部５６、水滴判定部５７、プログラム選択部５８及び記憶部５９を含んで構成される。記憶部５９は、半導体メモリ、ハードディスク装置、光ディスク装置等から構成することができる。記憶部５９は、背景差分画像を算出するために必要な背景画像データ、及び、後述の水滴候補画像の移動情報を算出するために必要な過去水滴候補画像データを格納及び保持する。尚、過去水滴候補画像データは、最も新しい入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）に撮像された画像データにおいて後述の如く抽出された水滴候補画像の画像データとされる。記憶部５９以外の構成部における処理については後述する。

水滴検出部５０は、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データを生成する。そして、入力画像データ、背景画像データ及び差分画像データに後述の各種処理を行い、各種処理により得られた画像データに基づいて、入力画像が水滴に起因して生じた画像か否かを判定する。水滴に起因する画像であると判定した場合には、水滴の付着を検出した旨の信号を判定部８０に出力する。また、ＰＩＲ侵入者検出部７０に対し、ＰＩＲセンサ６０のセンシング結果に基づく検出結果を判定部８０に出力する旨の信号（出力許可信号）を出力する。ここで、水滴検出部５０は、水滴画像領域の面積等から水滴の付着状態（どの程度の付着量があるか、等）を判断し、水滴付着状態に関する情報を出力するようにしても良い。この場合、水滴の付着状態によってＰＩＲセンサ６０による侵入監視の感度を調節できるよう、水滴付着状態に関する情報をＰＩＲ侵入者検出部７０に出力するようにしても良い。

ＰＩＲセンサ６０は、撮像部１０が撮像可能な範囲と略同一範囲の監視空間を監視できるように調整されており、監視空間における赤外線の変化量をセンシングする。ＰＩＲセンサ６０によるセンシングは、画像侵入者検出部４０による侵入者検出処理及び水滴検出部５０による水滴検出処理と併行して常時行われる。ＰＩＲセンサ６０の動作原理は従来のものと同一である。ＰＩＲセンサ６０による侵入者の存否に関するセンシング結果は、ＰＩＲ侵入者検出部７０に出力される。尚、本実施形態では、侵入者の存否を検出する手段として、人等が発する赤外線を感知する一般的なＰＩＲセンサ６０を採用しているが、例えば超音波センサ、マイクロ波センサ、測距センサ等、侵入者の存否を検出可能であれば他のセンサ類を用いても良い。

ＰＩＲ侵入者検出部７０は、ＰＩＲセンサ６０によるセンシング結果を受けて、監視空間における赤外線の変化量に基づき、監視空間に侵入者が存在するか否かの検出を行う。ＰＩＲ侵入者検出部７０は、水滴検出部５０から出力許可信号を受けた場合に、検出結果を判定部８０に出力する。尚、水滴検出部５０から上記の水滴付着状態に関する情報を受けるようにした場合には、ＰＩＲ侵入者検出部７０は、それに応じて侵入者の存否の判断基準を変更、すなわちＰＩＲセンサ６０による侵入監視の感度を可変にしても良い。

判定部８０は、画像侵入者検出部４０、水滴検出部５０及びＰＩＲ侵入者検出部７０において検出された結果に基づいて、監視空間に検出対象物が存在するか否か、撮像部１０のレンズ部分等に水滴が付着しているか否か、について判定する。ここで得られた判定結果は出力部９０に出力される。

出力部９０は、判定部８０において監視空間に検出対象物が存在する、あるいは撮像部１０のレンズ部分等に水滴が付着している、と判定された場合に装置外部へ警報信号等を出力するために用いられる。例えば、警報ランプや警報ブザーを含む警報装置としても良いし、遠方の監視室に警報信号を送信するためのネットワーク・インターフェースとすることも好適である。

次に、本実施形態におけるセンシング装置１００で行われる画像データに対する処理について、図３を参照して説明する。

ステップＳ１では、最新の入力画像データが取得され、撮像部１０において撮像された監視空間の最新の画像データが画像侵入者検出部４０及び水滴検出部５０へ入力される。このとき、入力画像データに基づいて照明制御部３０による照明部２０の制御が行われており、昼間等あるいは街灯等による明るい状況下での監視のように環境光による明るさで十分監視可能である場合には、環境光を利用して撮像された画像が、最新の入力画像データとして取得される。一方、夜間等のように環境光による明るさだけでは監視困難な場合には、照明部２０により監視空間を照射した状態で撮像された画像が、最新の入力画像データとして取得される。

ステップＳ２では、画像侵入者検出部４０により、監視空間内における「侵入者」の存在を検出する。画像侵入者検出部４０では、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データに基づいて画像内の変動領域を抽出する。そして、その変動領域に対応する入力画像データ中の領域の属性値が「侵入者」すなわち「人」に特有の特徴を有する場合、例えば、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に、「侵入者」が監視空間内に存在するものとして、監視空間内における「侵入者」の存在を検出する。そして画像侵入者検出部４０は、こうして得られた検出結果を示す信号を判定部８０に出力する（ステップＳ３）。

ステップＳ４では、水滴検出部５０により、撮像部１０の前面への水滴の付着を検出する。水滴検出部５０により行われる水滴付着検出処理について、図４を参照して説明する。尚、以下の画像信号処理はプログラム選択部５８内の記憶装置（図示せず）等に予め格納されている画像信号処理プログラムを実行することによって実現することができる。

画像信号処理プログラムには、例えば昼間等の明るい状況下で環境光を利用して撮像された撮像画像を処理して水滴検出処理を行うための明監視空間用プログラムと、夜間等に照明部２０から照明光を当てて撮像された撮像画像を処理して水滴検出処理を行うための暗監視空間用プログラムとがある。そして、以下の処理が行われる前に、照明制御部３０からの信号に基づき、プログラム選択部５８が、撮像状況に適した画像信号処理プログラムを選択し、選択された画像信号処理プログラムに基づいて各構成部が実行することによって、以下の処理は実現される。すなわち、特に断らない限り、処理の名称が同じでも照明光を用いずに環境光を用いて撮像された撮像画像を対象とする処理と、照明を当てて撮像された撮像画像を対象とする処理とがある。

ステップＳ４−１では、最新の入力画像データと背景画像データとに基づいて背景差分データが生成される。背景差分演算部５２は、記憶部５９から背景画像データを読み出し、撮像部１０で取得された最新の入力画像データと背景画像データとの差分を算出することによって背景差分データを生成する。具体的には、最新の入力画像データに含まれる各画素を順に着目画素として、その画素の輝度値からその画素に対応する背景画像データの画素の輝度値を引くことによって、着目画素に対する差分データを算出する。例えば、この差分データが所定の閾値以上の値であれば着目画素に対応する背景差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する背景差分データの画素の画素値を“０”として２値化された背景差分データを生成する。すなわち、入力画像データと背景画像データとにおいて閾値以上の変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。尚、背景差分データに含まれる画素値“１”を有する画素のうち連続する画素群で構成される領域は、一つの変動領域を形成することとなる。

ここで、ステップＳ４−１での処理において、さらに輝度値の閾値ＴＨ１（例えば輝度情報を２５６階調で設定した場合、２００程度）を設定しておき、この閾値ＴＨ１を用いて同様の２値化処理も行う。これにより、上記の２値化処理により得られた入力画像データにおける水滴に起因して生じた画像領域（水滴画像領域）について、この水滴画像領域内で特に閾値ＴＨ１以上である入力高輝度領域と、閾値ＴＨ１未満である他の領域（入力非高輝度領域）とを別個のものとして差分処理も行われ、入力高輝度領域についての入力高輝度差分データと入力非高輝度領域についての入力非高輝度差分データとが生成される。これは、昼間等の明るい場合に環境光を利用して撮像された場合、環境光を利用して撮像された画像中の水滴画像領域は、明るい領域（入力高輝度領域に相当）と暗い領域（入力非高輝度領域に相当）とに分かれる特徴があり、以後の処理において両者を個別に処理するのが望ましいためである。一方、夜間等に照明部２０から照明光を当てて撮像した場合には、水滴はほぼ全域が明るくなるため、水滴画像領域は入力高輝度領域となる。従って、以下の説明において、入力高輝度領域の処理は、昼間等に環境光を利用して撮像した場合における入力高輝度領域及び夜間等に照明光を当てて撮像した場合における水滴画像領域の双方に対する処理を示すものとする。

また、水滴画像領域とみなせる最低限の輝度として閾値ＴＨ２（例えば輝度情報を２５６階調で設定した場合、８０〜１６０程度）を設定しておき、入力画像データに対して閾値ＴＨ２以上の輝度値の画素を抽出し、抽出した画素に対してのみ上記の２値化処理の画素値を“１”としても良い。これによれば、あまりにも低い輝度の画像領域は水滴に起因した画像領域ではない可能性が高いため、このような画像領域を水滴付着検出処理の処理対象外とすることができる。こうして生成された各差分データは水滴候補画像生成部５４に渡される。

ステップＳ４−２では、最新の入力画像データ及び背景画像データのそれぞれについて、画像中のエッジ強度が算出され、エッジ処理が行われる。この処理は、水滴がレンズ部分等に付着すると、水滴を撮像した画像領域はレンズ効果によりぼやけた状態で画像データ中に映り込み、エッジの変化が顕著となるという特徴を利用したものである。エッジ抽出部５３は、撮像部１０で取得された最新の入力画像データと、記憶部５９内の背景画像データとについて、それぞれの画像中のエッジ強度を、既存の算出方法を用いて算出する。例えば、Ｘ方向（画像の上下方向）のエッジ強度とＹ方向（画像の左右方向）のエッジ強度をそれぞれ算出し、得られた各エッジ強度の絶対値を加算することでエッジ強度を算出する。

エッジ抽出部５３は、最新の入力画像データ及び背景画像データについて上記処理を行い、これにより得られた入力エッジ画像データ及び背景エッジ画像データを用いて、次の各画像データを生成する。まず、入力エッジ画像中でエッジ強度が所定の閾値ＴＨ３（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以下であるという条件を満たす画像のデータ（入力弱エッジ画像データ）を生成する。これは、ぼやけて映る水滴画像領域の内部ではエッジ強度が弱いという特徴を水滴検出に利用するためのものである。

また、入力エッジ画像中でエッジ強度が所定の閾値ＴＨ４（例えば輝度情報を２５６階調で設定した場合、２０程度）以上であるという条件を満たす画像のデータ（入力強エッジ画像データ）を生成する。これは、入力高輝度領域はほぼ全域が明るくなるため、これら入力高輝度領域の内部ではエッジ強度が強くない一方で、これら入力高輝度領域の周辺近傍ではエッジ強度が強いという特徴を水滴検出に利用するためのものである。

さらに、入力エッジ画像中ではエッジ強度が上記所定の閾値ＴＨ４以上であり且つ背景エッジ画像中ではエッジ強度が所定の閾値ＴＨ５（例えば輝度情報を２５６階調で設定した場合、２０程度）以下であるという条件を満たす画像のデータ（差分強エッジ画像データ）を生成する。差分強エッジ画像の生成手順としては、まず背景エッジ画像中でエッジ強度が前記ＴＨ５より大きい所定の閾値ＴＨ６（例えば輝度情報を２５６階調で設定した場合、２０程度）以上であるという条件を満たす画像のデータ（背景強エッジ画像データ）を生成する。次に、上記の入力強エッジ画像データと背景強エッジ画像データとで差分をとることで差分強エッジ画像データを生成する。これは、水滴画像領域の内部では強いエッジが新たに出現しないという特徴や、入力高輝度領域はほぼ全域が明るいため、これらの領域の周辺部分では光の屈折の関係で強エッジが形成されやすい、すなわち入力高輝度領域の周辺部分に相当する領域では、背景エッジ画像中には存在せず入力エッジ画像中に新たに出現する強エッジが多いという特徴を、水滴検出に利用するためのものである。

以上のようにしてエッジ抽出部５３で生成された各エッジ画像データは、水滴候補画像生成部５４に渡される。

ステップＳ４−３では、エッジ抽出部５３で抽出された入力エッジ画像データと背景エッジ画像データの対応する画素のエッジ強度を比較し、両エッジ画像間でのエッジ強度の変化を示す画像が生成される。水滴候補画像生成部５４は、入力エッジ画像データと背景エッジ画像データとの差分エッジ画像データを生成し、これに基づいて、以下の各画像データを生成する。

まず、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定値ＴＨ７（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以上低いという条件を満たす画像のデータ（エッジ減画像データ）を差分エッジ画像から生成する。これは、ぼやけて映る水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度が減少するという特徴を水滴検出に利用するためのものである。

また、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定値ＴＨ８（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以上高いという条件を満たす画像のデータ（エッジ増画像データ）を差分エッジ画像から生成する。これは、ぼやけて映る水滴画像領域の周辺近傍では、背景画像において水滴画像領域の周辺近傍と対応する画像領域と比べ、エッジ強度が増加するという特徴を水滴検出に利用するためのものである。入力画像中の水滴画像領域におけるエッジ強度は背景画像における水滴画像領域と対応する画像領域よりも弱まると考えられることから、逆に強まった場合にはエッジ増領域を水滴候補画像の生成の際に除外することが効果的である。

ここで、例えば背景画像として白い壁を映していた場合に光の関係で水滴が黒く映る場合、水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度が増加する。しかし、上記のエッジ増画像の定義に従えば、このような水滴画像領域に起因したエッジ増画像は水滴候補画像の生成の際に除外されてしまうこととなり、望ましくない。そこで、このような場合に対応するため、水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度がある程度以上は増加しないであろう閾値ＴＨ９（例えば輝度情報を２５６階調で設定した場合、２０程度）を新たに設定し、エッジ強度増加量が閾値ＴＨ９以上という条件を満たす画像のデータ（エッジ大幅増画像データ）を差分エッジ画像から生成することとした。エッジ大幅増画像は、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定の閾値ＴＨ９以上高い（ここでＴＨ９≧ＴＨ８）という条件を満たすものである。そして、このエッジ大幅増画像を水滴候補画像の生成の際に除外することとした。

ステップＳ４−４では、入力画像が撮像部１０への水滴の付着により生じた可能性のある画像か否かを判定するための水滴候補画像が生成される。水滴候補画像生成部５４は、背景差分演算部５２から取得した背景差分データ、入力高輝度差分データ及び入力非高輝度差分データ、エッジ抽出部５３から取得した各エッジ画像データ、及び水滴候補画像生成部５４で生成した各画像データを用いて、水滴候補画像を生成する。

ここで、昼間等の明るい監視空間に対して環境光を利用して撮像した場合、水滴画像領域には、ステップＳ４−１の処理で形成された入力高輝度領域と入力非高輝度領域とが含まれる。そこで、以後の処理を入力高輝度領域と入力非高輝度領域とで別個に処理する必要があるため、水滴画像領域についての水滴候補画像（全水滴候補画像）の他に、入力高輝度領域についての水滴候補画像（高輝度水滴候補画像）と入力非高輝度領域についての水滴候補画像（非高輝度水滴候補画像）とをそれぞれ生成する。

全水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力画像においてある程度以上の輝度を持つ画像（ステップＳ４−１で得られた背景差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。

高輝度水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力高輝度領域の特徴を満たす画像（ステップＳ４−１で得られた入力高輝度差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。

非高輝度水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力非高輝度領域の特徴を満たす画像（ステップＳ４−１で得られた入力非高輝度差分データ）である。特徴２及び特徴３は、高輝度水滴候補画像と同一である。

一方、夜間等の暗い監視空間に対して照明部２０により照明を当てて撮像した場合における水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がプラスであり且つ入力画像においてある程度以上の輝度を持つ画像（ステップＳ４−１で得られた背景差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。そこで、水滴候補画像生成部５４は、背景差分データ、入力弱エッジ画像データ、エッジ減画像データ、差分強エッジ画像データ及びエッジ大幅増画像データを用いて、上記特徴を満たす画像を水滴候補画像として生成する。

尚、以後の説明中、単に水滴候補画像と述べている場合には、特にことわりのない限り、明るい撮像状況の場合の全水滴候補画像、高輝度水滴候補画像及び非高輝度水滴候補画像と、暗い撮像状況の場合の水滴候補画像とを全て含むものとする。

ここで、水滴候補画像を生成する際に考慮する特徴として、水滴候補画像につきそれぞれ上記の特徴１〜３を挙げているが、少なくとも特徴１及び特徴２を満たしている画像については、水滴候補画像として生成可能である。特徴１及び特徴２のみならず特徴３をも満たす画像を生成することで、より精度の高い水滴候補画像の生成が可能となる。

以上のようにして水滴候補画像が生成されると、水滴判定部５７は、この水滴候補画像に基づいて水滴が存在するか否かを判定する。例えば、上記各特徴を満たした画素あるいは画素群から構成される領域が水滴候補画像内に存在している場合には、水滴が存在すると判定し、そのような画素あるいは領域が水滴候補画像内に存在しない場合には、水滴が存在しないと判定する。水滴判定部５７は、水滴が存在すると判定した場合には水滴を検出した旨の信号を、水滴が存在しないと判定した場合には水滴を検出しない旨の信号を、それぞれ判定部８０に出力する。しかし、以下に説明するステップＳ４−５以降の処理を行うことによって、より水滴検出の検出確度を高めることができる。

ステップＳ４−５では、水滴候補画像生成部５４により生成された水滴候補画像において、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の近傍（外周部分）の一定範囲が、当該画素あるいは領域の周辺領域として特定される。水滴候補近傍画像処理部５６は、その周辺領域を示す画像を水滴候補近傍画像として生成する。これは、水滴画像領域の内部ではレンズ効果により背景画像の対応する部分よりもエッジ強度が弱くなる傾向にあるのに対して、その周辺部分では逆に屈折の関係で背景画像よりもエッジ強度が増加する傾向にある、さらには明るく映る水滴の周辺には強いエッジが出やすい、という現象を捉えるためのものである。水滴候補近傍画像は、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域について、これら画素あるいは領域を所定の画素数分（例えば４画素）膨張させた部分の内、当該画素あるいは領域に含まれない部分を当該画素あるいは領域の周辺領域として示すものである。

ステップＳ４−６では、水滴候補近傍画像処理部５６が、水滴候補近傍画像に含まれる強いエッジに関する画像を生成する。まず、ステップＳ４−２で取得した強いエッジ画像と水滴候補近傍画像との論理積により得られる画像のデータ（近傍強エッジ画像データ）を生成する。この論理積処理には、強いエッジ画像として差分強エッジ画像を用いる。これは、明るく映る場合には、その周辺部分では背景と比べて強いエッジが新たに現れやすいと想定できるためである。一方、明るく映らない場合には、逆に背景と比べて強いエッジが現れにくいと想定できるためである。尚、昼間等に環境光を利用して撮像された場合における非高輝度水滴候補画像に対しては、上記の論理積処理に用いられる強いエッジ画像として入力強エッジ画像を用いても良いが、上述の如く差分強エッジ画像を用いるのが好ましい。次に、ステップＳ４−３で取得したエッジ増画像と水滴候補近傍画像との論理積により得られる画像のデータ（近傍エッジ増画像データ）を生成する。

以上の２種類の画像データは、次のような目的で利用する。まず、昼間等に照明光を用いずに環境光を利用して撮像された場合には、特に水滴画像領域における入力高輝度領域及び入力非高輝度領域の以下の特徴を捉えるために利用するものである。まず、入力高輝度領域及び入力非高輝度領域の周辺領域では、いずれも背景に比べてエッジが増えるという特徴がある。また、入力高輝度領域の周辺領域では、エッジ強度が強いという特徴があり、入力非高輝度領域の周辺領域では、エッジ強度が強くないという特徴がある。従って、近傍強エッジ画像データ及び近傍エッジ増画像データを用いることで、上記の周辺領域におけるエッジの特徴を満たさない画像を、水滴候補画像から除外することができる。

また、以上の２種類の画像データは、水滴候補画像が実は水滴ではない他の原因によるものである可能性があるため、その区別をするためにも利用するものである。他の原因としては、昼間等の明るい状況に関して言えば、例えば監視空間に存在する移動物体があり、夜間等の暗い状況に関して言えば、それに加えて、例えば監視空間に懐中電灯の光や自動車のヘッドライトが差し込んで作り出された明るい光の領域などがある。

具体的には、光の領域の場合には、近傍強エッジ画像において強いエッジの存在する部分の面積（あるいは総画素数）が小さく、かつ近傍エッジ増画像においてエッジ強度が増加した部分の面積（あるいは総画素数）が大きいという特徴がある。これは、光の領域の輪郭部分では背景よりも強くなるエッジは増えるが、グラデーションのように輝度が緩やかに変化するので強いエッジは多くない、という光の領域の特徴による。また移動物体の場合には、近傍強エッジ画像において強いエッジの存在する部分の面積（あるいは総画素数）が大きく、かつ近傍エッジ増画像においてエッジ強度が増加した部分の面積（あるいは総画素数）が小さいという特徴がある。これは、逆に輪郭部分では急峻に輝度が変化するためエッジ強度は高いが、背景よりも強くなるエッジの増加量は多くない、という移動物体の特徴による。これに対して水滴の場合には、近傍強エッジ画像において強いエッジの存在する部分の面積（あるいは総画素数）が大きく、かつ近傍エッジ増画像においてエッジ強度が増加した部分の面積（あるいは総画素数）が大きいという傾向にある。従って、近傍強エッジ画像データ及び近傍エッジ増画像データを用いることで、水滴候補画像から、他の原因に起因した画像を除外することができる。

以上のようにして水滴候補画像からの除外処理を行った上で、水滴判定部５７は、この除外処理後の水滴候補画像に基づいて水滴が存在するか否かを判定する。判定の仕方は上記ステップＳ４−６における判定処理と同様である。水滴判定部５７は、水滴が存在すると判定した場合には水滴を検出した旨の信号を、水滴が存在しないと判定した場合には水滴を検出しない旨の信号を、それぞれ判定部８０に出力する。これにより、高い検出確度で水滴検出を行うことができる。しかし、さらに以下に説明するステップＳ４−７以降の処理を行うことによって、さらなる水滴検出の検出確度を高めることができる。

ステップＳ４−７では、水滴候補画像生成部５４により生成された水滴候補画像に関して、記憶部５９内の過去水滴候補画像データとの差分処理を行う。フレーム間差分演算部５５は、水滴候補画像生成部５４にて生成された水滴候補画像について、記憶部５９に記憶されている、最新の入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）の過去水滴候補画像データとの差分を算出することによってフレーム間差分データを生成する。そして、生成されたフレーム間差分データを用いて、例えば後述のフレーム間差分面積を算出する。これにより、水滴候補画像の移動に関する情報を取得する。これは、水滴候補画像の動きの情報を取り入れ、水滴が付着したまま動かない場合と、流れ落ちる場合とで区別して水滴の判断条件を分けた方が、より高い検出確度が望めるためである。

フレーム間差分演算部５５は、現在の入力画像から得られた水滴候補画像と過去の水滴候補画像との排他的論理和により定まる画素あるいは画素群から構成される領域の面積（あるいは総画素数）をフレーム間差分面積として算出する。また、最新の水滴候補画像データと、過去水滴候補画像データとのそれぞれの重心の位置を算出する。

ステップＳ４−８以降では、水滴候補画像生成部５４により生成された水滴候補画像に関して、流れ落ちずに滞留している水滴（滞留水滴）に起因した画像か否か、流れ落ちる水滴（流動水滴）に起因した画像か否かを判定する。水滴判定部５７は、水滴候補画像生成部５４にて生成された水滴候補画像と、フレーム間差分演算部５５にて算出された水滴候補画像の移動情報などから、背景差分演算部５２にて生成された背景差分データが、滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定する。

ステップＳ４−８では、水滴候補画像が滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定するために必要な判定情報を算出する。ここでは図５に示す各処理により以下の各判定情報が算出される。

ステップＳ４−８−１では、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の、水滴候補画像１フレーム中に占める割合である面積比率Ｆ１が、面積比率Ｆ１＝（各特徴を満たした画素あるいは領域の面積）／（水滴候補画像１フレームの面積）により算出される。面積比率Ｆ１は、水滴候補画像の各特徴を満たした画素あるいは領域は水滴候補画像中である程度以上の大きさを有するはずである、という特徴を反映させるためのものである。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−２では、ステップＳ４−７で求められたフレーム間差分面積を用いて、差分面積比率Ｆ２が、差分面積比率Ｆ２＝（フレーム間差分面積）／（最新及び過去の少なくとも一方に出現している水滴候補画像の面積）により算出される。尚、最新及び過去の少なくとも一方に出現している水滴候補画像の面積とは、最新の水滴候補画像と過去の水滴候補画像との論理和によって生成される画像の面積のことである。差分面積比率Ｆ２は、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域が所定の時間間隔（例えば１フレーム分）でどれだけ出現したか、あるいは消滅したかを水滴候補画像中に占める比率で表す。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−３では、ステップＳ４−５で求められた水滴候補近傍画像を用いて、近傍画像面積比率Ｆ３が、近傍画像面積比率Ｆ３＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍画像面積比率Ｆ３は、水滴画像領域が画像フレームからはみ出して映る等により、水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域が大きく欠けて映っている場合には、このような画像についての水滴判定は適切に行えないため、判定対象外とするために用いられる情報である。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−４では、ステップＳ４−５で求められた水滴候補近傍画像とステップＳ４−６で求められた近傍強エッジ画像とを用いて、近傍強エッジ画像比率Ｆ４が、近傍強エッジ画像比率Ｆ４＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域内で強いエッジが存在する領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍強エッジ画像比率Ｆ４は、水滴候補近傍画像に強いエッジがどれだけ含まれているかを表す。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−５では、ステップＳ４−５で求められた水滴候補近傍画像とステップＳ４−６で求められた近傍エッジ増画像とを用いて、近傍エッジ増画像比率Ｆ５が、近傍エッジ増画像比率Ｆ５＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域内でエッジ強度が増加した領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍エッジ増画像比率Ｆ５は、入力画像において背景画像よりもエッジ強度が増加した部分が、水滴候補近傍画像にどれだけ含まれているかを表す。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−６では、ステップＳ４−７で生成されたフレーム間差分データにおいて、最新の水滴候補画像データと過去水滴候補画像データとのそれぞれの重心の位置を算出し、画像中における座標値の差を重心位置変化量として算出する。画像中の座標軸は任意に設定できるが、例えば画像左上端を原点とし、左右方向の軸をＸ軸（右方向が正）、上下方向の軸をＹ軸（下方向が正）と設定する。そして、設定した座標軸により最新の水滴候補画像データと過去水滴候補画像データの重心の座標を算出し、Ｘ座標の差を（最新の水滴候補画像データのＸ座標）−（過去水滴候補画像データのＸ座標）より求め、Ｙ座標の差を（最新の水滴候補画像データのＹ座標）−（過去水滴候補画像データのＹ座標）より求める。これらは水滴画像領域がどれだけ移動したのかを示すものであり、Ｘ座標の差すなわちＸ方向の移動量ΔＸが正ならば水滴が画面中において右方向に移動したことを示し、Ｙ座標の差すなわちＹ方向の移動量ΔＹが正ならば水滴が画面中において下方向に移動したことを示す。こうして水滴の移動情報を取得する。

以上のようにして、ステップＳ４−８では、水滴候補画像が滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定するために必要な各判定情報を算出している。こうして各判定情報が算出されたら、図４におけるステップＳ４−９の処理へ移行する。

ステップＳ４−９では、水滴判定部５７は、水滴候補画像が滞留水滴に起因した画像か否かを判定する。この処理は、明るい撮像状況か暗い撮像状況かによって処理が異なる。以下、それぞれの撮像状況ごとに説明する。

昼間等に環境光を利用して撮像された場合には、高輝度水滴候補画像、非高輝度水滴候補画像、及び全水滴候補画像について、それぞれ次の各条件を満たすか否かを判定し、得られる判定結果の内で、滞留水滴によるものであるとの判定結果が少なくとも一つあれば、水滴候補画像は滞留水滴に起因した画像であると判定する。

高輝度水滴候補画像についての条件とは、＜滞留条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−１（例えば２％）以上であること（滞留水滴は一定以上の面積を有するため）、＜滞留条件２＞差分面積比率Ｆ２が所定の閾値ＴＨＦ２（例えば５〜１０％）以下であること（滞留状態の水滴は移動が少ないため）、＜滞留条件３＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴候補画像の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜滞留条件４＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜滞留条件５＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−１（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、といったものであり、これらの条件を満たせば、判定対象の高輝度水滴候補画像は滞留水滴に起因した画像であると判定する。

非高輝度水滴候補画像についての条件は、＜滞留条件４＞及び＜滞留条件５＞以外は高輝度水滴候補画像についての条件と同様で、＜滞留条件４＞については、近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−２（例えば１０％）未満であること（水滴の周囲部分に強いエッジは存在しないため）とし、＜滞留条件５＞については、近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−２（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）とし、これらの条件を満たせば、判定対象の非高輝度水滴候補画像は滞留水滴に起因した画像であると判定する。

全水滴候補画像についての条件は、上記＜滞留条件１＞〜＜滞留条件３＞を満たし、且つ、高輝度水滴候補画像と非高輝度水滴候補画像のそれぞれについて＜滞留条件４＞及び＜滞留条件５＞を満たすことである。これらを満たせば、判定対象の全水滴候補画像は滞留水滴に起因した画像であると判定する。

一方、夜間等に照明を当てて撮像された場合には、次の各条件を満たすか否かを判定する。各条件とは、＜滞留条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−１（例えば２％）以上であること（滞留水滴は一定以上の面積を有するため）、＜滞留条件２＞差分面積比率Ｆ２が所定の閾値ＴＨＦ２（例えば５〜１０％）以下であること（滞留状態の水滴は移動が少ないため）、＜滞留条件３＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜滞留条件４＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜滞留条件５＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、といったものであり、これらの条件を満たせば、判定対象の水滴候補画像は滞留水滴に起因した画像であると判定する。

ステップＳ４−１０では、水滴判定部５７は、水滴候補画像が流動水滴に起因した画像か否かを判定する。具体的には、ステップＳ４−９の処理と同様に、明るい撮像状況か暗い撮像状況かによって処理が異なる。以下、それぞれの撮像状況ごとに説明する。

昼間等に環境光を利用して撮像された場合には、高輝度水滴候補画像、非高輝度水滴候補画像、及び全水滴候補画像について、それぞれ次の各条件を満たすか否かを判定し、得られる判定結果の内で、流動水滴によるものであるとの判定結果が少なくとも一つあれば、水滴候補画像は流動水滴に起因した画像であると判定する。

高輝度水滴候補画像についての条件とは、＜流動条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−２（例えば１０％）以上であること（流動水滴は一定以上の面積を有するため）、＜流動条件２＞近傍領域面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜流動条件３＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜流動条件４＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−１（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、＜流動条件５＞移動量ΔＹが所定の閾値ＴＨΔＹ（例えば５％）以上であること（流動水滴では、一定以上の距離を下方向に流れ落ちているはずであるため）、＜流動条件６＞移動量ΔＹが、移動量ΔＸの絶対値以上の値であること（流動水滴では、左右方向の移動量よりも下方向の移動量の方が大きいはずであるため）といったものであり、これらの条件を満たせば、判定対象の高輝度水滴候補画像は流動水滴に起因した画像であると判定する。

非高輝度水滴候補画像についての条件は、＜流動条件３＞及び＜流動条件４＞以外は高輝度水滴候補画像についての条件と同様で、＜流動条件３＞については、近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−２（例えば１０％）未満であること（水滴の周囲部分に強いエッジは存在しないため）とし、＜流動条件４＞については、近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−２（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）とし、これらの条件を満たせば、判定対象の非高輝度水滴候補画像は流動水滴に起因した画像であると判定する。

全水滴候補画像についての条件は、上記＜流動条件１＞、＜流動条件２＞、＜流動条件５＞及び＜流動条件６＞を満たし、且つ、高輝度水滴候補画像と非高輝度水滴候補画像のそれぞれについて＜流動条件３＞及び＜流動条件４＞を満たすことである。これらを満たせば、判定対象の全水滴候補画像は流動水滴に起因した画像であると判定する。

一方、夜間等に照明を当てて撮像された場合には、次の各条件を満たすか否かを判定する。各条件とは、＜流動条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−２（例えば１０％）以上であること（流動水滴は一定以上の面積を有するため）、＜流動条件２＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜流動条件３＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜流動条件４＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、＜流動条件５＞移動量ΔＹが所定の閾値ＴＨΔＹ（例えば５％）以上であること（流動水滴では、一定以上の距離を下方向に流れ落ちているはずであるため）、＜流動条件６＞移動量ΔＹが、移動量ΔＸの絶対値以上の値であること（流動水滴では、左右方向の移動量よりも下方向の移動量の方が大きいはずであるため）といったものであり、これらの条件を満たせば、判定対象の水滴候補画像は流動水滴に起因した画像であると判定する。

以上のようにして水滴判定部５７は、ステップＳ４−９〜ステップＳ４−１１により、水滴候補画像が滞留水滴に起因した画像か、流動水滴に起因した画像かを判定し、得られた判定結果に基づき、水滴の状態をも考慮した水滴の検出を行うことができる。そして水滴判定部５７は、得られた検出結果を示す信号を図１における判定部８０に出力する（ステップＳ５）。検出結果としては、水滴の有無を示すのみでも良いし、あるいは滞留水滴か流動水滴かまでの情報を検出結果に含めて水滴付着ありとしても良い。また、水滴の付着を検出した場合には、ＰＩＲ侵入者検出部７０に対し、ＰＩＲセンサ６０のセンシング結果に基づく検出結果を判定部８０に出力する旨の出力許可信号を出力する。こうして水滴検出部５０における水滴付着検出処理が終了し、続いて図３におけるステップＳ６の処理へ移行する。

ステップＳ６では、判定部８０が、画像侵入者検出部４０及び水滴検出部５０からの検出結果信号に基づいて、監視空間に検出対象物が存在するか否か、撮像部１０のレンズ部分等に水滴が付着しているか否か、について判定する。そして、判定部８０において侵入者の存在も水滴の付着も検出されなかった場合にはステップＳ７に処理を移行させ、侵入者の存在あるいは水滴の付着を検出した場合にはステップＳ８以降に処理を移行させる。

ステップＳ７では、背景画像データの更新処理が行われる。背景画像更新部５１は、所定の背景更新周期Ｔｒ（例えば、１０秒）で記憶部５９に保持されている背景画像データを最新の入力画像データで更新する。背景更新周期Ｔｒは、監視空間に対する日照の変動等を考慮して決定することが好適である。また、他の方法として、「人」が存在しないと判定された入力画像データで背景画像データを更新しても良く、さらに、過去に取得された複数の入力画像データの移動平均画像データにより背景画像データを更新しても良い。

ステップＳ８以降の処理では、水滴の付着が検出されたか否かで、それぞれ警報信号を作成し、出力部９０から警報信号を出力させる。水滴の付着が検出されなかった場合には、画像侵入者検出部４０による検出結果のみで侵入者の存否を判定し、侵入者の存在を検出した場合に、侵入者検出の旨の警報信号を出力部９０から出力させる。すなわち、水滴の付着が検出されず、且つ画像侵入者検出部４０により侵入者の存在が検出された場合に、ＰＩＲセンサ６０によるセンシング結果にかかわらず出力部９０から警報信号を出力させる（ステップＳ８，Ｓ９）。

一方、水滴の付着が検出された場合には、水滴検出部５０から出力許可信号を受けたＰＩＲ侵入者検出部７０により、ＰＩＲセンサ６０によるセンシング結果を受けて侵入者が存在するか否かの検出を行う。そして、画像侵入者検出部４０による検出結果とＰＩＲ侵入者検出部７０による検出結果とを合わせて侵入者の存否を判定し、侵入者の存在を検出した場合に出力部９０から警報信号を出力させる。例えば、水滴の付着が検出され、且つ画像侵入者検出部４０により侵入者の存在が検出された場合には、ＰＩＲセンサ６０によるセンシング結果にかかわらず、侵入者検出及び水滴検出の旨の警報信号を出力部９０から出力させる。また水滴の付着が検出され、且つ画像侵入者検出部４０により侵入者の存在が検出されなかった場合であっても、ＰＩＲ侵入者検出部７０により侵入者の存在が検出された場合には、侵入者検出及び水滴検出の旨の警報信号を出力部９０から出力させる。また水滴の付着が検出され、且つ画像侵入者検出部４０及びＰＩＲ侵入者検出部７０のいずれにおいても侵入者の存在が検出されなかった場合には、水滴検出の旨の警報信号を出力部９０から出力させる（ステップＳ８，Ｓ１０）。

以上のようにして出力部９０から警報信号が出力されるが、出力部９０が警報ランプや警報ブザーを含む警報装置である場合には、ランプを点灯させたり、ブザー音を発したりさせる。このとき、侵入者の存在のみを検出した場合、水滴の付着のみを検出した場合、侵入者及び水滴の双方を検出した場合に応じてそれぞれ別種の警報信号を出力し、それぞれ別種のランプを点灯させたり、別種のブザー音を発したりさせるようにすると良い。また、出力部９０がネットワーク・インターフェースである場合には、インターネットや専用回線を介して遠方の監視室に警報信号を送信させることもできる。この場合の警報信号も、上記の３通りの場合に応じて別種の警報信号を送信させるようにすると良い。またこのとき、警報信号と共に検出判定対象の入力画像データを送信させるようにすると良い。またステップＳ９，Ｓ１０において、出力部９０から水滴を検出した旨の信号が出力した場合には、その出力信号に基づいて、撮像部１０の前面に温風を吹き付けるブロアや、付着した水滴を除去するワイパー（図示せず）が作動するようにしても良い。

尚、本実施形態では、撮像部１０により取得された最新の入力画像１フレーム全体について水滴の検出処理を行っているが、最新の入力画像データと背景画像データとの差分を算出することによって得られる背景差分データ内の変動領域ごとに、同様の水滴検出処理を行うようにしても良い。また、最新の入力画像１フレーム全体についての水滴検出処理と、背景差分データ内の変動領域ごとについての水滴検出処理とを併行して行っても良い。

以上のように、本実施の形態によれば、撮像部に付着した水滴の検出確度を高めることができる。また、画像センサとＰＩＲセンサ等の他の移動体検出センサを併用し、通常時は画像センサによる検出結果を優先し、水滴の付着を検出した場合には、他の移動体検出センサによる検出結果をも利用するため、水滴の付着が原因で検出対象物の検出が困難となる状況を回避して、検出対象物の検出確度を高めることができ、より確実な監視を継続することが可能となる。

本発明の実施の形態におけるセンシング装置の構成を示す図である。 本発明の実施の形態における水滴検出部の構成を示す図である。 本発明の実施の形態におけるセンシング処理のフローチャートである。 本発明の実施の形態における水滴付着検出処理のフローチャートである。 本発明の実施の形態における水滴判定情報算出処理のフローチャートである。

符号の説明

１０ 撮像部、２０ 照明部、３０ 照明制御部、４０ 画像侵入者検出部、５０、水滴検出部、５１ 背景画像更新部、５２ 背景差分演算部、５３ エッジ抽出部、５４ 水滴候補画像生成部、５５ フレーム間差分演算部、５６ 水滴候補近傍画像処理部、５７ 水滴判定部、５８ プログラム選択部、５９ 記憶部、６０ ＰＩＲセンサ、７０ ＰＩＲ侵入者検出部、８０ 判定部、９０ 出力部、１００ センシング装置。

Claims (2)

1. 監視空間を撮像した画像を取得する撮像部と、
   前記撮像部により撮像された入力画像に基づいて検出対象物を検出する第一の対象物検出部と、
   前記入力画像に基づいて前記撮像部への水滴の付着を検出する水滴検出部と、
   前記入力画像を用いることなく前記監視空間の検出対象物を検出する第二の対象物検出部と、
   前記水滴検出部が水滴を検出した場合は、前記第一の対象物検出部と前記第二の対象物検出部のいずれか一方が検出対象物を検出すると検出対象物が存在すると判定し、前記水滴検出部が水滴を検出しない場合は、前記第一の対象物検出部が検出対象物を検出したときのみ、検出対象物が存在すると判定する判定部と、
   を備えることを特徴とするセンシング装置。
2. 請求項１に記載のセンシング装置において、
   前記第二の対象物検出部は赤外線センサであることを特徴とするセンシング装置。
   
   

Images