JP4611910B2 - 画像センサ - Google Patents

Description

本発明は、撮像画像に含まれるノイズの影響を減ずる画像センサに関する。

近年、侵入者等を検出するセキュリティシステムにおいて画像センサ等の撮像装置によって撮像された画像を用いるシステムが数多く提供されている。このようなシステムでは、基準となる背景画像を記録しておき、随時撮像される撮像画像と背景画像との背景差分処理によって差分画像を生成し、この差分画像中の変化領域が侵入者によるものかを判定する。

ところが、撮像画像内に塵、埃、雨、雪等の劣悪環境に基づくノイズが含まれることがある。このようなノイズは差分画像中で変化領域として抽出されてしまい、実際には侵入者がいないにも関わらずノイズを侵入者として判定し、誤警報を発してしまうことがある。このようなノイズの影響は、撮像装置を屋外に設置して侵入者を検出する場合に顕著となる。すなわち、撮像装置を屋外に設置した場合、屋内に設置した場合と比べて雨や埃等の外部環境の影響を受け易くなり、撮像画像にノイズが取り込まれる可能性が高くなるからである。

例えば、雨粒の位置は時々刻々と変化するため、雨粒の移動速度と撮像装置のフレームレートとの関係によって、撮像画像には雨粒の移動軌跡が線状の軌跡となって残ることがある。特に、雨の降る夜間に撮像を行った場合、雨によって強く反射された照明光が撮像画像中に写し込まれるのでノイズがより明瞭となる。その軌跡の位置は時々刻々と変化するため、これを侵入者であると誤って判定してしまう可能性がある。

特許文献１には、このようなノイズ成分を除去する画像処理装置が開示されている。この技術では、雨の移動速度が侵入者等の移動速度に比べて速く、撮像画像内に雨が細長く映り込み、かつ、次に撮られた撮像画像からは雨の画像が消えていることを利用して雨によるノイズを除去している。すなわち、異なる時刻に２フレームの画像を撮像し、予め取得していた背景画像とそれらの撮像画像との背景差分処理を行い、それぞれの差分画像を同一の間隔で横方向又は縦方向に複数の短冊状の領域に分割する。さらに、一方のフレームにおける短冊状の領域と他方のフレームにおける短冊状の領域を交互に配置した画像を生成し、この画像において差分領域が短冊幅にて断続した領域は雨によるノイズ成分であると判断し、侵入者判定に使用する画像からそのノイズ成分にあたる領域を除いて処理を行っている。

特開２００５−２６７５１０号公報

基本的に雨は上から下へと落下するものであるが、風等の影響により必ずしも上下方向だけでなく、左右、斜め、渦状に移動することがある。したがって、撮像画像内における雨の軌跡も単純に上下方向に伸びた画像とならない場合も多く、上記従来技術のように短冊状に領域を分割する方法では十分な精度で雨によるノイズ領域を除去することが困難な場合がある。また、雨の画像は幅広の線状や細い線状などの不定な形状として撮像されるので、雨の画像に合わせた幅の短冊状の領域に区切ることが難しく、雨によるノイズ領域のみを精度よく除去することが困難な場合がある。

一方、屋外に設置された画像センサでは、夜間に照明した状況下で撮像を行った場合に、雨粒は照明の光を強く反射するので撮像画像内において高輝度な画像領域として撮像される。したがって、夜間に照明した状況下において撮像画像に映り込んだ雨の画像は侵入者判定処理に強い影響を及ぼす。

そこで、本発明は、撮像画像内の雨粒の影響を受けた画素を適確に抽出して侵入物判定の精度を向上させた画像センサを提供することを目的とする。

本発明は、屋外の監視空間を撮像した入力画像を順次取得し、前記入力画像を処理して雨が撮像された画素からなる画像領域の有無を検知する画像センサであって、前記入力画像を時系列的に記憶する記憶部と、前記記憶部から時系列的に順に撮像された第１入力画像、第２入力画像及び第３入力画像を読み出し、前記第２入力画像の輝度が前記第１入力画像及び前記第３入力画像の輝度より高く、前記第１入力画像と前記第３入力画像との輝度が略等しい画素を雨が撮像された画素として抽出する画像処理部と、を備えることを特徴とする。

ここで、前記画像処理部は、前記第１入力画像と前記第２入力画像を差分処理し、輝度が前記第１入力画像から前記第２入力画像にかけて増加した画素を抽出してプラス差分画像を生成するプラス輝度変化抽出手段と、前記第２入力画像と前記第３入力画像を差分処理し、輝度が前記第２入力画像から前記第３入力画像にかけて減少した画素を抽出してマイナス差分画像を生成するマイナス輝度変化抽出手段と、前記第１入力画像と前記第３入力画像を差分処理し、輝度の変化が所定閾値より小さい画素を抽出して小輝度差分画像を生成する小輝度差分抽出手段と、前記プラス差分画像、前記マイナス差分画像及び前記小輝度差分画像の論理積を演算して論理積雨候補画像を生成する論理積演算手段と、を備え、前記論理積雨候補画像に基づいて雨が撮像された画素を抽出することが好適である。

また、前記画像処理部は、さらに、前記プラス差分画像と前記マイナス差分画像との論理和を演算して論理和雨候補画像を生成する論理和演算手段と、前記論理和雨候補画像と前記論理積雨候補画像とが一致している比率を雨判別比率として求める雨判別比率演算手段と、を備え、前記雨判別比率に基づいて雨が撮像された画素を抽出することが好適である。

なお、本発明において、入力画像の輝度の代わりに入力画像のエッジ強度を用いても同様に処理を行うことができる。

すなわち、本発明の別の態様は、屋外の監視空間を撮像した入力画像を順次取得し、前記画像を処理して雨による画像領域の有無を検知する画像センサであって、前記入力画像を時系列的に記憶する記憶部と、前記記憶部から時系列的に順に撮像された第１入力画像、第２入力画像及び第３入力画像を読み出し、前記第２入力画像のエッジ強度が前記第１入力画像及び前記第３入力画像のエッジ強度より高く、前記第１入力画像と前記第３入力画像とのエッジ強度が略等しい画素を雨が撮像された画素として抽出する画像処理部と、を備えることを特徴とする。

ここで、前記画像処理部は、前記第１入力画像と前記第２入力画像を差分処理し、エッジ強度が前記第１入力画像から前記第２入力画像にかけて増加した画素を抽出してプラス差分画像を生成するプラスエッジ強度変化抽出手段と、前記第２入力画像と前記第３入力画像を差分処理し、エッジ強度が前記第２入力画像から前記第３入力画像にかけて減少した画素を抽出してマイナス差分画像を生成するマイナスエッジ強度変化抽出手段と、前記第１入力画像と前記第３入力画像を差分処理し、エッジ強度の変化が所定閾値より小さい画素を抽出して小エッジ強度差分画像を生成する小エッジ強度差分抽出手段と、前記プラス差分画像、前記マイナス差分画像及び前記小エッジ強度差分画像の論理積を演算して論理積雨候補画像を生成する論理積演算手段と、を備え、前記論理積雨候補画像に基づいて雨が撮像された画素を抽出することが好適である。

また、前記画像処理部は、さらに、前記プラス差分画像と前記マイナス差分画像との論理和を演算して論理和雨候補画像を生成する論理和演算手段と、前記論理和雨候補画像と前記論理積雨候補画像とが一致している比率を雨判別比率として求める雨判別比率演算手段と、を備え、前記雨判別比率に基づいて雨が撮像された画素を抽出することが好適である。

また、前記画像処理部は、さらに、前記論理和雨候補画像において画像領域をラベリングするラベリング手段を備え、前記雨判別比率演算手段は、前記ラベリングされた画像領域毎に、前記論理和雨候補画像のラベリングされた画像領域と前記論理積雨候補画像における当該ラベリングされた画像領域に対応する画像領域とが一致している比率を雨判別比率として求めることが好適である。

また、前記画像処理部は、さらに、前記入力画像の全画素数に対する前記雨が撮像された画素の比率が所定閾値以上である場合に警報を出力する豪雨判定手段を備えることが好適である。

また、前記画像処理部は、さらに、前記第２入力画像に侵入者が撮像された画像領域が存在するか否かを判定する侵入者判定手段を備え、前記侵入者判定手段は、前記雨が撮像された画素が多いほど侵入者が撮像された画像領域として判定する率を低くすることが好適である。

本発明によれば、撮像画像内の雨粒の影響を受けた画素を適確に抽出して侵入物判定の精度を向上させることができる。これにより、侵入者等をより確実に検出することができる。

本発明の実施の形態における画像センサ１００は、図１に示すように、制御部１０、照明部１２、照明制御部１４、撮像部１６、記憶部１８、画像処理部２０及び通信部（出力部）２２を含んで構成される。画像センサ１００は、撮像装置を備えコンピュータにより実現することができる。

制御部１０は、ＣＰＵであって、内蔵メモリ等に格納された画像処理プログラムを実行することによって画像センサ１００の各部を統合的に制御する。照明部１２は、発光ダイオード（ＬＥＤ）やランプ等を含み、照明制御部１４の制御により監視空間に光を照射する。照明制御部１４は、制御部１０からの点灯命令信号及び消灯命令信号に基づいて、照明部１２を点灯及び消灯させる。例えば、昼間の自然光によって監視空間の撮像に十分な光量が得られている場合には照明部１２を点灯させる必要はなく、夜間において監視空間の撮像に十分な光量が得られていない場合には照明部１２を点灯させる。

撮像部１６は、画像センサやカメラなどの撮像手段を含んで構成される。例えば、ＣＣＤ撮像素子又はＣＭＯＳ撮像素子等を含む光学システムを含む。撮像部１６は、光学的な映像を電気的な画像信号に変換し、その画像信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に記憶部１８に出力する。本実施の形態では、撮像部１６では時間間隔Δｔで１フレームの画像が撮像されて記憶部に出力されているものとする。また、撮像画像は、離散的な画素毎に輝度値がデジタル化されているものとする。

記憶部１８は、半導体メモリ、ハードディスク装置等から構成され、背景画像、入力画像、蓄積画像、雨画像等の各種画像データ、雨比率等の各種パラメータ及び制御部１０で実行される画像処理プログラム等の各種プログラムを格納及び保持する。なお、背景画像とは、監視空間に侵入者が存在しないときに撮像された画像である。入力画像とは、所定フレーム数の最新の撮像画像である。本実施の形態では、時刻ｔ１，ｔ２，ｔ３に連続して撮像された３フレームの画像を入力画像とする。各フレームの撮像間隔は、少なくとも侵入者等の検知対象物と雨とを判別できる時間とすることが好適である。通常、人の歩行速度は４ｋｍ／時間程度であり、雨粒の落下速度は９ｍ／秒程度であるので、４〜５フレーム／秒の撮像間隔では人は２５ｃｍ程度移動し、雨は２００ｃｍ程度移動する。したがって、数フレーム／秒の撮像間隔であれば侵入者等の検知対象物と雨とを判別できる。入力画像は先入れ先出し方式にて順次更新されるＦＩＦＯ形式のフレームバッファに格納され、少なくとも連続して撮像された３フレーム分の画像が記憶される。蓄積画像とは、侵入者の検出時の画像を含む前後複数のフレームの入力画像、及び、後述する雨警報の出力時の入力画像である。蓄積画像は、基本的に、これらの異常が解消されれば記憶部１８から消去される。雨画像とは、画像処理部２０における雨検知処理にて生成された雨らしい画像領域と他の領域とを２値化して表した画像である。雨比率とは、画像全体に占める雨の領域の割合であって、侵入者判定処理に用いられるパラメータの１つである。雨比率が高いほど、侵入者を検出する率が低くなるように処理を行う。画像処理プログラムには、雨検出プログラム、侵入者判定プログラム、通信用プログラム等の画像センサ１００の処理に必要なものが含まれる。また、記憶部１８には、画像処理に必要なワークエリアが確保されている。

画像処理部２０は、デジタル信号処理回路（ＤＳＰ）やＣＰＵを含んで構成される。画像処理部２０は、記憶部１８に格納されている各種プログラムに従って、記憶部１８に保持されている画像に対する処理を実行する。

通信部２２は、通信用のインターフェースモジュール等で構成され、ネットワークを介して接続されている監視装置（図示しない）と画像センサ１００との間で情報の送受信を行う。例えば、ＴＣＰ／ＩＰ等の通信プロトコルに則って、ローカルエリアネットワークやインターネットを介して監視装置に警報信号や撮像画像を送信する。

画像センサ１００による侵入者検知処理は、図２に示すフローチャートに沿って行われる。侵入者検知処理は、フローチャートの各工程を制御部１０又は画像処理部２０で実行可能なプログラムとして記憶部１８に保持しておき、そのプログラムを実行することによって実現される。

画像センサ１００の電源が投入されると、図２のフローチャートのステップＳ１０に処理が移行され、侵入者検知処理が開始される。

ステップＳ１０では、監視空間の撮像及び撮像画像の記録が行われる。撮像部１６では監視空間の画像を所定の時間間隔で撮像する。本実施の形態では、毎秒５フレーム程度の時間間隔で撮像を行う。撮像された画像は、アナログ／デジタル変換処理等が施され、記憶部１８に入力画像として保存される。

このとき、制御部１０により必要に応じて照明部１２を点灯させて撮像が行われる。制御部１０は、入力画像の輝度情報（例えば、入力画像の平均輝度値）に基づいて監視空間の明るさを推定し、監視空間の明るさが所定値以下である場合に照明制御部１４へ点灯命令信号を出力すると共に照明フラグをオンにする。一方、監視空間の明るさが所定値より高い場合には照明制御部１４へ消灯命令信号を出力すると共に照明フラグをオフにする。照明制御部１４は、点灯命令信号を受けると、照明部１２を点灯させて監視空間を照明する。なお、監視空間の明るさを測定する照明センサを設置し、その照明センサによる明るさの測定結果に基づいて照明の要否を判定してもよい。

ステップＳ１２では、照明フラグがオンであるかオフであるかが判定される。照明フラグがオンである場合には処理をステップＳ１４に移行させ、オフである場合には処理をステップＳ１６に移行させる。

ステップＳ１４では、雨検知処理が行われる。雨検知処理は、照明が点灯されている場合に実行される。ただし、画像センサ１００における画像処理の能力に余裕がある場合には照明の点灯／消灯に関わらず雨検知処理を行ってもよい。雨検知処理は、図３に示すフローチャートに沿って実行される。

ステップＳ１４−１では、入力画像の読み出しが行われる。制御部１０は、記憶部１８に保持されている連続する３フレームの入力画像を読み出す。すなわち、時刻ｔ１において撮像された入力画像Ｔ１、時刻ｔ１の直後の時刻ｔ２において撮像された入力画像Ｔ２、及び、時刻ｔ２の直後の時刻ｔ３において撮像された入力画像Ｔ３を記憶部１８から読み出す。

具体的には、監視空間に雨が降っている場合には入力画像Ｔ１〜Ｔ３は図４の第一段目のようなものになる。また、監視空間に侵入者が存在している場合には入力画像Ｔ１〜Ｔ３は図５の第一段目のようなものになる。

ステップＳ１４−２では、輝度差分処理が行われる。制御部１０は、画像処理部２０を用いて、読み出した３フレームの入力画像Ｔ１，Ｔ２，Ｔ３間の輝度値の差分をとった輝度差分画像を生成する。すなわち、入力画像Ｔ２に含まれる画素の輝度値から入力画像Ｔ１におけるその画素に対応する位置にある画素の輝度値を引いてＴ２−Ｔ１輝度差分画像を生成する。同様に、入力画像Ｔ３に含まれる画素の輝度値から入力画像Ｔ１におけるその画素に対応する位置にある画素の輝度値を引いたＴ３−Ｔ１輝度差分画像、及び、入力画像Ｔ３に含まれる画素の輝度値から入力画像Ｔ２におけるその画素に対応する位置にある画素の輝度値を引いたＴ３−Ｔ２輝度差分画像を生成する。ここで、Ｔ２−Ｔ１輝度差分画像、Ｔ３−Ｔ１輝度差分画像及びＴ３−Ｔ２輝度差分画像の各画素の値は、それぞれの算出に用いられた入力画像間において輝度値が増加したか、減少したかを示す極性情報を有している。

具体的には、監視空間に雨が降っている場合には、図４の第二段目のように、雨による画像が差分領域として顕在化されたＴ２−Ｔ１輝度差分画像、Ｔ３−Ｔ１輝度差分画像及びＴ３−Ｔ２輝度差分画像が算出される。また、監視空間に侵入者が存在している場合には、図５の第二段目のように、侵入者による画像が差分領域として顕在化されたＴ２−Ｔ１輝度差分画像、Ｔ３−Ｔ１輝度差分画像及びＴ３−Ｔ２輝度差分画像が算出される。ここで、図４及び図５のＴ２−Ｔ１輝度差分画像、Ｔ３−Ｔ１輝度差分画像及びＴ３−Ｔ２輝度差分画像では、輝度値が増加した領域を背景領域よりも薄いハッチングで示し、輝度値が減少した領域を背景領域よりも濃いハッチングで示している。

ステップＳ１４−３では、２値化処理が行われる。画像処理部２０では、各輝度差分画像の極性、及び、雨による輝度値の変化として認められる程度の輝度差分値であるか否かを判定する閾値を用いて各輝度差分画像を２値化する。

Ｔ２−Ｔ１輝度差分画像については、輝度値が所定の閾値以上増加した画素を「１」、それ以外の画素を「０」としたＴ２−Ｔ１プラス２値画像が生成される。ここで、輝度値が増加した画素のみを抽出する理由は、雨粒がＴ２輝度画像に含まれている場合は、時刻ｔ１では撮像されていない雨粒が時刻ｔ２で撮像され、かつ、時刻ｔ２において照明光を反射して高輝度の画素として写し込まれるという雨粒に特有の性質を利用するためである。

Ｔ３−Ｔ１輝度差分画像については、輝度値が所定の閾値以上増加した画素を「１」、それ以外の画素を「０」としたＴ３−Ｔ１プラス２値画像が生成される。ここで、輝度値が増加した画素のみを抽出する理由は、前後する時刻の画像に写し込まれた雨粒の画像は輝度の変化が小さいという特性を利用して、まず輝度が増加した画像を抽出し、後に否定演算をして変化の少ない画像を抽出するためである。

Ｔ３−Ｔ１輝度差分画像については、輝度値が所定の閾値以上減少した画素を「１」、それ以外の画素を「０」としたＴ３−Ｔ１マイナス２値画像も生成される。ここで、輝度値が減少した画素のみを抽出する理由は、前後する時刻の画像に写し込まれた雨粒の画像は輝度の変化が小さいという特性を利用して、まず輝度が減少した画像を抽出し、後に否定演算をして変化の少ない画像を抽出するためである。

Ｔ３−Ｔ１輝度差分画像に関する処理は、時刻ｔ１と時刻ｔ３とにおいて撮像された雨粒の画像が同程度の輝度を有する画像であることを検出するための処理である。このため、本実施の形態のようにプラスとマイナスに分けて論理否定を行う処理以外であっても、Ｔ３−Ｔ１輝度差分画像の変化幅が小さい画素を抽出する処理を行えばよい。

Ｔ３−Ｔ２輝度差分画像については、輝度値が所定の閾値以上減少した画素を「１」、それ以外の画素を「０」としたＴ３−Ｔ２マイナス２値画像が生成される。ここで、輝度値が減少した画素のみを抽出する理由は、雨粒がＴ２輝度画像に含まれている場合は、時刻ｔ３では雨粒はすでに撮像領域から外れており、入力画像Ｔ３には写し込まれず、かつ、時刻ｔ２において照明光を反射して高輝度の画素として写し込まれるという雨粒に特有の性質を利用するためである。

具体的には、監視空間に雨が降っている場合には、図４の第三段目のように、Ｔ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値画像、Ｔ３−Ｔ１マイナス２値画像及びＴ３−Ｔ２マイナス２値画像が算出される。同様に、監視空間に侵入者が存在している場合には、図５の第三段目のように、Ｔ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値画像、Ｔ３−Ｔ１マイナス２値画像及びＴ３−Ｔ２マイナス２値画像が算出される。ここで、図４及び図５のＴ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値画像、Ｔ３−Ｔ１マイナス２値画像及びＴ３−Ｔ２マイナス２値画像では、画素値「１」の領域を黒で示し、画素値「０」の領域を白で示している。

ステップＳ１４−４では、各画像の合成処理が行われる。合成処理には、論理否定演算、論理積演算及び論理和演算が含まれる。

まず、Ｔ３−Ｔ１プラス２値画像及びＴ３−Ｔ１マイナス２値画像の各画素の論理否定をそれぞれ演算してＴ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像を生成する。Ｔ３−Ｔ１プラス２値否定画像では、入力画像Ｔ３と入力画像Ｔ１との間で輝度の増加が小さい画素が「１」であり、輝度の増加が大きい画素が「０」となる。Ｔ３−Ｔ１マイナス２値否定画像では、入力画像Ｔ３と入力画像Ｔ１との間で輝度の減少が小さい画素が「１」であり、輝度の減少が大きい画素が「０」となる。

次に、Ｔ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値否定画像、Ｔ３−Ｔ１マイナス２値否定画像及びＴ３−Ｔ２マイナス２値画像における互いに対応する各画素の論理積を演算して論理積雨候補画像を生成する。さらに、Ｔ２−Ｔ１プラス２値画像及びＴ３−Ｔ２マイナス２値画像における互いに対応する各画素の論理和を演算して論理和雨候補画像を生成する。

ここで、論理積雨候補画像は、入力画像Ｔ１に比べて入力画像Ｔ２の輝度が高く、入力画像Ｔ２に比べて入力画像Ｔ３の輝度が低く、かつ、入力画像Ｔ１と入力画像Ｔ３の輝度が同程度である画素を雨粒を写した画像の特徴を有する画素とするものである。論理積雨候補画像では、雨粒の画像による画素はほぼ「１」となるが、人等の雨粒に比べて移動速度が遅い物体の画像による画素は部分的に「１」となる。これを利用して、雨粒の画像と他の移動物体の画像とを区別することができる。

また、論理和雨候補画像は、入力画像Ｔ１に比べて入力画像Ｔ２の輝度が高い、又は、入力画像Ｔ２に比べて入力画像Ｔ３の輝度が低い画素を雨粒を写した画像の特徴を有する画素とするものである。

具体的には、監視空間に雨が降っている場合には、図４の第四段目のように、Ｔ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像が算出される。さらに、図４の第五段目のように、論理積雨候補画像及び論理和雨候補画像が算出される。同様に、監視空間に侵入者が存在している場合には、図５の第四段目のように、Ｔ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像が算出される。さらに、図５の第五段目のように、論理積雨候補画像及び論理和雨候補画像が算出される。ここで、図４及び図５のＴ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像では、画素値「１」の領域をハッチングで示し、画素値「０」の領域を白で示している。また、図４及び図５の論理積雨候補画像及び論理和雨候補画像では、画素値「１」の領域を黒で示し、画素値「０」の領域を白で示している。

ステップＳ１４−５では、ラベリング処理が行われる。ラベリング処理は、論理和雨候補画像に対して、画素値「１」の画素が１つに纏まった領域毎に固有の識別番号を割り付けてラベル領域として特定する処理である。

ステップＳ１４−６では、論理和雨候補画像と論理積雨候補画像とを用いて雨領域判別処理が行われる。雨粒による画像は、論理和雨候補画像及び論理積雨候補画像においてほぼ一致する。一方、人のように移動速度が雨よりも遅い物体による画像は、論理和雨候補画像及び論理積雨候補画像において一致しない。この性質を利用して各ラベル領域が雨粒による領域か否かを判別する。

具体的には、ステップＳ１４−４での合成処理で生成された論理和雨候補画像及び論理積雨候補画像を用いて、論理和雨候補画像において特定された各ラベル領域に対して、雨による画像かその他の物体による画像かを判別するための特徴量である雨判別比率Ｒを算出する。雨判別比率Ｒは、論理和雨候補画像において着目する着目ラベル領域の画素数Ｓｏと、論理積雨候補画像内の着目ラベル領域に対応する領域に含まれる画素値「１」の画素数をＳａと、に基づいてＲ＝Ｓａ／Ｓｏとして算出される。ここで、画素数Ｓｏは着目ラベル領域の面積（ラベル面積）に相当し、画素数Ｓａは論理積雨候補画像内における着目ラベル領域に相当する画像の面積に相当する。

算出された雨判別比率Ｒが所定の閾値Ｒｔｈ以上であれば着目ラベル領域を雨による画像領域（雨領域）と判定する。一方、算出された雨判別比率Ｒが所定の閾値Ｒｔｈより小さければ着目ラベル領域を雨以外の物体による画像領域と判定する。ここで、所定の閾値Ｒｔｈは、雨判別比率Ｒに基づいて雨による画像と雨以外（人等）による画像とを区別可能な値として経験的に設定することが好適である。

ステップＳ１４−７では、論理和雨候補画像において特定された総てのラベル領域について雨領域判別処理が終了したか否かが判断される。総てのラベル領域について処理が終了していなければ未処理のラベル領域を新たな着目ラベル領域としてステップＳ１４−６の処理を繰り返し、総てのラベル領域について処理が終了していればステップＳ１４−８へ処理を移行させる。

ステップＳ１４−５〜ステップＳ１４−７については、ラベル領域毎に雨領域判定する場合に必要となるが、ラベル領域を用いずに画像全体を一度に処理する場合はステップＳ１４−６を画像全体に実行すればよい。

ステップＳ１４−８では、雨画像が生成される。ステップＳ１４−６において雨領域とされた総てのラベル領域に対応する論理積雨候補画像の画像領域に含まれる画素値「１」の画素を合成して１つの画像として雨画像を生成する。生成された雨画像は記憶部１８に格納される。

また、ステップＳ１４−８では、雨比率が算出される。雨比率は、雨画像に含まれる画素値「１」の画素数の全画素数に対する割合である。雨比率は、画像全体としての雨の程度を示す尺度（特徴量）として利用される。算出された雨比率は記憶部１８に格納される。

ステップＳ１４−９では、雨比率に基づいて雨の状態が豪雨であるか否かが判断される。雨比率が所定の閾値以上であれば豪雨状態であると判断してステップＳ１４−１０へ処理を移行させ、所定値未満であれば豪雨状態でないと判定してステップＳ１６へ処理を移行させる。ここで、所定の閾値は、非常に大量の雨粒によって侵入者が画像に写り難くなる程度の雨比率として経験的に設定することが好適である。

具体的には、監視空間が豪雨の状況下にある場合、図６に示すように、入力画像Ｔ１〜Ｔ３のセット（輝度画像セット）に基づいて輝度差分画像セット、２値画像セット、２値否定画像セット及び論理演算画像セットが生成される。豪雨下で撮像された入力画像セットから得られる論理和雨候補画像と論理積雨候補画像では重なり合う画像領域が多く、雨比率は高くなる。このような状況において豪雨であると判断される。

ステップＳ１４−１０では、雨警報が出力される。ステップＳ１４−９において豪雨状態であると判断された場合、雨警報を通信部２２から外部の警報装置へ出力すると共に、警報出力時における入力画像Ｔ２を記憶部１８に蓄積画像として格納する。なお、外部の警報装置が雨警報の通知を受けた場合、画像センサ１００以外のセンサの併用、画像による自動監視から人による目視監視への切り替え等の監視方法の変更を行うことが好適である。

ステップＳ１６では侵入者判定処理が行われる。侵入者判定処理は、図７に示すフローチャートに沿って実行される。

ステップＳ１６−１では、処理対象となる入力画像Ｔ２及び背景画像が記憶部１８から読み出される。なお、背景画像は、撮像画像から時々刻々と変化する領域を抽出するために基準となる画像であり、撮像装置において背景を撮像した画像である。

ステップＳ１６−２では、背景差分処理、変化領域抽出処理及びラベリング処理が行われる。ステップＳ１６−１で読み出された入力画像Ｔ２及び背景画像は画像処理部２０へ送られ、入力画像Ｔ２と背景画像との差分画像が生成される。さらに、差分画像に対して変化領域抽出処理が行われる。差分画像における各画素の値の絶対値が所定の閾値以上である画素を変化画素として抽出する。さらに、１つに纏まった変化画素毎を変化領域として特定し、各変化領域に固有の識別番号を割り付けるラベリング処理を施す。

ステップＳ１６−３では、変化領域が存在するか否かが判断される。少なくとも１つの変化領域が存在する場合にはステップＳ１６−４に処理を移行させ、変化領域が存在しない場合には処理を終了する。ステップＳ１６−４では、変化領域の１つを着目変化領域として特定する。

ステップＳ１６−５では、各変化領域の雨らしさを示す指標である雨属性値が算出される。雨属性値は、記憶部１８に保持されている雨画像及び雨比率を用いて算出される。雨属性値は、複数の特徴量の線形荷重和として算出することが好適である。

本実施の形態では、雨画像と着目変化領域との重複度ａ１及び雨比率ａ２の線形荷重和として雨属性値を算出する。雨画像と着目変化領域との重複度ａ１は、着目変化領域と雨画像との重なりの程度を示す特徴量である。雨画像における着目変化領域に対応する領域内で画素値「１」を有する画素数をカウントし、そのカウント値と着目変化領域の全素数との比率を重複度ａ１とする。重複度ａ１が大きいほど、その着目変化領域は雨らしいと考えられる。また、雨比率ａ２を特徴量として用いる。雨比率は、雨の全体的な程度を表す指標である。雨比率が大きいほど雨が降っている確率が高いと考えられ、個々の変化領域の雨らしさも増すと考えられる。

これら重複度ａ１及び雨比率ａ２に予め定めた荷重係数Ｗａ１及びＷａ２をそれぞれ乗算して数式（１）のように線形荷重和を算出する。
（数１）
雨属性値Ａ＝Ｗａ１×ａ１＋Ｗａ２×ａ２ （１）

なお、本実施の形態では、重複度ａ１及び雨比率ａ２の線形荷重和に基づいて雨属性値を算出したが、これに限定されるものではない。重複度ａ１及び雨比率ａ２のいずれか一方のみを用いて雨属性値を算出してもよい。この場合、雨比率ａ２は画像全体についての雨の程度を表しているのに対し、重複度ａ１は各変化領域についての雨らしさを表しているので重複度ａ１を用いることが好ましい。また、他の特徴量に基づいて雨属性値を算出してもよい。

ステップＳ１６−６では、各変化領域の人らしさを示す指標である人属性値が算出される。人属性値は、雨属性値と同様に、複数の特徴量の線形荷重和として算出することが好適である。

本実施の形態では、輝度の正規化相関値ｂ１及び着目変化領域の大きさ評価値ｂ２の線形荷重和として人属性値を算出する。輝度の正規化相関値ｂ１は、背景画像及び入力画像Ｔ２における着目変化領域に対応する領域の輝度の正規化相関値である。正規化相関値ｂ１が大きいほど両者のテクスチャが似ていることを示し、正規化相関値ｂ１が小さいほど両者のテクスチャが似ていないことを示す。着目変化領域が人による画像であれば、背景画像と入力画像Ｔ２とのテクスチャは大きく異なるので正規化相関値ｂ１は小さくなる。すなわち、正規化相関値ｂ１が小さいほど人らしいと考えられる。また、着目変化領域の大きさ評価値ｂ２は、着目変化領域の大きさが人を撮像した場合の領域の大きさに近いほど大きな値を持つ特徴量である。すなわち、人を撮像した画像領域の平均的な大きさを予め求めておき、着目変化領域がその大きさに近いほど着目変化領域の大きさ評価値ｂ２を大きくする。

これら正規化相関値ｂ１及び評価値ｂ２に予め定めた荷重係数Ｗｂ１及びＷｂ２をそれぞれ乗算して数式（２）のように線形荷重和を算出する。
（数２）
人属性値Ｂ＝Ｗｂ１×ｂ１＋Ｗｂ２×ｂ２ （２）

なお、本実施の形態では、正規化相関値ｂ１及び評価値ｂ２の線形荷重和に基づいて人属性値を算出したが、これに限定されるものではない。正規化相関値ｂ１及び評価値ｂ２のいずれか一方のみを用いて人属性値を算出してもよい。また、他の特徴量に基づいて人属性値を算出してもよい。

ステップＳ１６−７では、特定された総ての変化領域についてステップＳ１６−４〜Ｓ１６−６の処理が終了したか否かが判断される。総ての変化領域について処理が終了していなければステップＳ１６−４において未処理の変化領域を新たな着目変化領域として処理を繰り返し、総ての変化領域について処理が終了していればステップＳ１６−８へ処理を移行させる。

ステップＳ１６−８では、総ての変化領域についてそれぞれ人による画像であるか否かが判定される。具体的には、変化領域毎にその変化領域に対して算出された人属性値と雨属性値とを比較して（１）人属性値＞雨属性値であり、かつ、（２）人属性値＞所定の閾値、である場合にその変化領域が人による画像であると判定する。ここで、所定の閾値は、変化領域が人による画像である場合の人属性値として経験的に設定することが好適である。

ステップＳ１６−９では、侵入者が検知されたか否かが判断される。ステップＳ１６−８において少なくとも１つの変化領域が人によるものであると判定された場合にはステップＳ１６−１０へ処理を移行させ、そうでない場合には処理を終了する。

ステップＳ１６−１０では、侵入異常警報が通信部２２を介して外部の警報装置へ出力される。また、ステップＳ１６−１１では、侵入異常警報出力時における入力画像Ｔ２を記憶部１８に蓄積画像として格納する。

以上のように、本実施の形態によれば、撮像画像内の雨粒の影響を受けた画素を適確に抽出して侵入物判定の精度を向上させることができる。これにより、侵入者等をより確実に検出することができる。

＜変形例＞
上記実施の形態では、入力画像Ｔ１〜Ｔ３の輝度値に基づいて雨検知処理を行った。本変形例では、入力画像Ｔ１〜Ｔ３の輝度のエッジ強度に基づいて雨検知処理を行う形態について説明する。

本変形例は、基本的に図２に示すフローチャートと同様に処理されるが、ステップＳ１４においてエッジ強度に基づいて雨検知処理が実行される点で異なる。エッジ強度に基づく雨検知処理は、図８に示すフローチャートに沿って実行される。図８において、図３に示すフローチャートと同一の処理を行うステップについては同一の符号を付して説明を省略する。

ステップＳ１４−１１では、読み出した３フレームの入力画像Ｔ１，Ｔ２，Ｔ３に対してエッジ強度画像生成処理が施され、それぞれＴ１エッジ強度画像、Ｔ２エッジ強度画像及びＴ３エッジ強度画像が生成される。エッジ強度画像生成処理は既存のアルゴリズムを用いて行うことができる。

具体的には、監視空間に雨が降っている場合には、図９の第二段目のように、Ｔ１エッジ強度画像、Ｔ２エッジ強度画像及びＴ３エッジ強度画像が算出される。また、監視空間に侵入者が存在している場合には、図１０の第二段目のように、Ｔ１エッジ強度画像、Ｔ２エッジ強度画像及びＴ３エッジ強度画像が算出される。ここで、図９及び図１０のＴ１エッジ強度画像、Ｔ２エッジ強度画像及びＴ３エッジ強度画像では、画像のエッジ部分を背景領域よりも薄いハッチングで示している。

ステップＳ１４−１２では、エッジ強度差分処理が行われる。制御部１０は、生成されたＴ１エッジ強度画像、Ｔ２エッジ強度画像及びＴ３エッジ強度画像の差分をとったエッジ強度差分画像を生成する。すなわち、Ｔ２エッジ強度画像に含まれる画素値からＴ１エッジ強度画像におけるその画素に対応する位置にある画素値を引いてＴ２−Ｔ１エッジ強度差分画像を生成する。同様に、Ｔ３エッジ強度画像に含まれる画素値からＴ１エッジ強度画像におけるその画素に対応する位置にある画素値を引いたＴ３−Ｔ１エッジ強度差分画像、及び、Ｔ３エッジ強度画像に含まれる画素値からＴ２エッジ強度画像におけるその画素に対応する位置にある画素値を引いたＴ３−Ｔ２エッジ強度差分画像を生成する。ここで、Ｔ２−Ｔ１エッジ強度差分画像、Ｔ３−Ｔ１エッジ強度差分画像及びＴ３−Ｔ２エッジ強度差分画像の各画素の値は、それぞれの算出に用いられた入力画像間においてエッジ強度が増加したか、減少したかを示す極性情報を有している。

具体的には、監視空間に雨が降っている場合には、図９の第三段目のように、雨による画像が差分領域として顕在化されたＴ２−Ｔ１エッジ強度差分画像、Ｔ３−Ｔ１エッジ強度差分画像及びＴ３−Ｔ２エッジ強度差分画像が算出される。また、監視空間に侵入者が存在している場合には、図１０の第三段目のように、侵入者による画像が差分領域として顕在化されたＴ２−Ｔ１エッジ強度差分画像、Ｔ３−Ｔ１エッジ強度差分画像及びＴ３−Ｔ２エッジ強度差分画像が算出される。ここで、図９及び図１０のＴ２−Ｔ１エッジ強度差分画像、Ｔ３−Ｔ１エッジ強度差分画像及びＴ３−Ｔ２エッジ強度差分画像では、エッジ強度が増加した領域を背景領域よりも薄いハッチングで示し、エッジ強度が減少した領域を背景領域よりも濃いハッチングで示している。

ステップＳ１４−１３では、２値化処理が行われる。画像処理部２０では、エッジ強度差分画像の極性、及び、雨によるエッジ強度の変化として認められる程度のエッジ強度差分値であるか否かを判定する閾値を用いて各エッジ強度画像を２値化する。

Ｔ２−Ｔ１エッジ強度差分画像については、エッジ強度が所定の閾値以上増加した画素を「１」、それ以外の画素を「０」としたＴ２−Ｔ１プラス２値画像が生成される。ここで、エッジ強度が増加した画素のみを抽出する理由は、雨粒が入力画像Ｔ２に含まれている場合は、時刻ｔ１では撮像されていない雨粒が時刻ｔ２で撮像され、かつ、時刻ｔ２において照明光を反射して高いエッジ強度の画素として写し込まれるという雨粒に特有の性質を利用するためである。

Ｔ３−Ｔ１エッジ強度差分画像については、エッジ強度が所定の閾値以上増加した画素を「１」、それ以外の画素を「０」としたＴ３−Ｔ１プラス２値画像が生成される。ここで、エッジ強度が増加した画素のみを抽出する理由は、前後する時刻の画像に写し込まれた雨粒の画像はエッジ強度の変化が小さいという特性を利用して、まずエッジ強度が増加した画像を抽出し、後に否定演算をして変化の少ない画像を抽出するためである。

Ｔ３−Ｔ１エッジ強度差分画像については、エッジ強度が所定の閾値以上減少した画素を「１」、それ以外の画素を「０」としたＴ３−Ｔ１マイナス２値画像も生成される。ここで、エッジ強度が減少した画素のみを抽出する理由は、前後する時刻の画像に写し込まれた雨粒の画像はエッジ強度の変化が小さいという特性を利用して、まずエッジ強度が減少した画像を抽出し、後に否定演算をして変化の少ない画像を抽出するためである。

Ｔ３−Ｔ１エッジ強度差分画像に関する処理は、時刻ｔ１と時刻ｔ３とにおいて撮像された雨粒の画像が同程度のエッジ強度を有する画像であることを検出するための処理である。このため、本実施の形態のようにプラスとマイナスに分けて論理否定を行う処理以外であっても、Ｔ３−Ｔ１エッジ強度差分画像の変化幅が小さい画素を抽出する処理を行えばよい。

Ｔ３−Ｔ２エッジ強度差分画像については、エッジ強度が所定の閾値以上減少した画素を「１」、それ以外の画素を「０」としたＴ３−Ｔ２マイナス２値画像が生成される。ここで、エッジ強度が減少した画素のみを抽出する理由は、雨粒が入力画像Ｔ２に含まれている場合は、時刻ｔ３では雨粒はすでに撮像領域から外れており、入力画像Ｔ３には写し込まれず、かつ、時刻ｔ２において照明光を反射して高いエッジ強度の画素として写し込まれるという雨粒に特有の性質を利用するためである。

具体的には、監視空間に雨が降っている場合には、図９の第四段目のように、Ｔ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値画像、Ｔ３−Ｔ１マイナス２値画像及びＴ３−Ｔ２マイナス２値画像が算出される。同様に、監視空間に侵入者が存在している場合には、図１０の第四段目のように、Ｔ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値画像、Ｔ３−Ｔ１マイナス２値画像及びＴ３−Ｔ２マイナス２値画像が算出される。ここで、図９及び図１０のＴ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値画像、Ｔ３−Ｔ１マイナス２値画像及びＴ３−Ｔ２マイナス２値画像では、画素値「１」の領域を黒で示し、画素値「０」の領域を白で示している。

なお、ラベリング処理をこの段階で行い、画素値「１」の各領域について縮小、拡大処理を行って領域内部を埋める処理を行ってもよい。

ステップＳ１４−１４では、各画像の合成処理が行われる。合成処理には、論理否定演算、論理積演算及び論理和演算が含まれる。

まず、Ｔ３−Ｔ１プラス２値画像及びＴ３−Ｔ１マイナス２値画像の各画素の論理否定をそれぞれ演算してＴ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像を生成する。Ｔ３−Ｔ１プラス２値否定画像では、入力画像Ｔ３と入力画像Ｔ１との間でエッジ強度の増加が小さい画素が「１」であり、エッジ強度の増加が大きい画素が「０」となる。Ｔ３−Ｔ１マイナス２値否定画像では、入力画像Ｔ３と入力画像Ｔ１との間でエッジ強度の減少が小さい画素が「１」であり、エッジ強度の減少が大きい画素が「０」となる。

次に、Ｔ２−Ｔ１プラス２値画像、Ｔ３−Ｔ１プラス２値否定画像、Ｔ３−Ｔ１マイナス２値否定画像及びＴ３−Ｔ２マイナス２値画像における互いに対応する各画素の論理積を演算して論理積雨候補画像を生成する。さらに、Ｔ２−Ｔ１プラス２値画像及びＴ３−Ｔ２マイナス２値画像における互いに対応する各画素の論理和を演算して論理和雨候補画像を生成する。

ここで、論理積雨候補画像は、入力画像Ｔ１に比べて入力画像Ｔ２のエッジ強度が高く、入力画像Ｔ２に比べて入力画像Ｔ３のエッジ強度が低く、かつ、入力画像Ｔ１と入力画像Ｔ３のエッジ強度が同程度である画素を雨粒を写した画像の特徴を有する画素とするものである。論理積雨候補画像では、雨粒の画像による画素はほぼ「１」となるが、人等の雨粒に比べて移動速度が遅い物体の画像による画素は部分的に「１」となる。これを利用して、雨粒の画像と他の移動物体の画像とを区別することができる。

また、論理和雨候補画像は、入力画像Ｔ１に比べて入力画像Ｔ２のエッジ強度が高い、又は、入力画像Ｔ２に比べて入力画像Ｔ３のエッジ強度が低い画素を雨粒を写した画像の特徴を有する画素とするものである。

具体的には、監視空間に雨が降っている場合には、図９の第五段目のように、Ｔ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像が算出される。さらに、図９の第六段目のように、論理積雨候補画像及び論理和雨候補画像が算出される。同様に、監視空間に侵入者が存在している場合には、図１０の第五段目のように、Ｔ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像が算出される。さらに、図１０の第六段目のように、論理積雨候補画像及び論理和雨候補画像が算出される。ここで、図９及び図１０のＴ３−Ｔ１プラス２値否定画像及びＴ３−Ｔ１マイナス２値否定画像では、画素値「１」の領域をハッチングで示し、画素値「０」の領域を白で示している。また、図９及び図１０の論理積雨候補画像及び論理和雨候補画像では、画素値「１」の領域を黒で示し、画素値「０」の領域を白で示している。

ステップＳ１４−５以降では、上記実施の形態と同様に処理が行われる。以上のように、本変形例によれば、入力画像のエッジ強度に基づいて撮像画像内の雨粒の影響を受けた画素を適確に抽出して侵入物判定の制度を向上させることができる。これにより、侵入者等をより確実に検出することができる。

本発明の実施の形態における画像センサを示すブロック図である。 本発明の実施の形態における画像処理方法のフローチャートを示す図である。 本発明の実施の形態における雨検知処理のフローチャートを示す図である。 本発明の実施の形態における雨粒が撮像された入力画像に対する処理を説明する図である。 本発明の実施の形態における侵入者が撮像された入力画像に対する処理を説明する図である。 本発明の実施の形態における豪雨下で撮像された入力画像に対する処理を説明する図である。 本発明の実施の形態における侵入者検知処理のフローチャートを示す図である。 本発明の変形例における雨検知処理のフローチャートを示す図である。 本発明の変形例における雨粒が撮像された入力画像に対する処理を説明する図である。 本発明の変形例における侵入者が撮像された入力画像に対する処理を説明する図である。

符号の説明

１０ 制御部、１２ 照明部、１４ 照明制御部、１６ 撮像部、１８ 記憶部、２０ 画像処理部、２２ 通信部、１００ 画像センサ。

Claims (6)

1. 屋外の監視空間を撮像した入力画像を順次取得し、前記入力画像を処理して雨が撮像された画素からなる画像領域の有無を検知する画像センサであって、
   前記入力画像を時系列的に記憶する記憶部と、
   前記記憶部から時系列的に順に撮像された第１入力画像、第２入力画像及び第３入力画像を読み出し、前記第２入力画像の輝度が前記第１入力画像及び前記第３入力画像の輝度より高く、前記第１入力画像と前記第３入力画像との輝度が略等しい画素を雨が撮像された画素として抽出する画像処理部と、
   を備えることを特徴とする画像センサ。
2. 請求項１に記載の画像センサであって、
   前記画像処理部は、
   前記第１入力画像と前記第２入力画像を差分処理し、輝度が前記第１入力画像から前記第２入力画像にかけて増加した画素を抽出してプラス差分画像を生成するプラス輝度変化抽出手段と、
   前記第２入力画像と前記第３入力画像を差分処理し、輝度が前記第２入力画像から前記第３入力画像にかけて減少した画素を抽出してマイナス差分画像を生成するマイナス輝度変化抽出手段と、
   前記第１入力画像と前記第３入力画像を差分処理し、輝度の変化が所定閾値より小さい画素を抽出して小輝度差分画像を生成する小輝度差分抽出手段と、
   前記プラス差分画像、前記マイナス差分画像及び前記小輝度差分画像の論理積を演算して論理積雨候補画像を生成する論理積演算手段と、を備え、
   前記論理積雨候補画像に基づいて雨が撮像された画素を抽出することを特徴とする画像センサ。
3. 請求項２に記載の画像センサであって、
   前記画像処理部は、さらに、
   前記プラス差分画像と前記マイナス差分画像との論理和を演算して論理和雨候補画像を生成する論理和演算手段と、
   前記論理和雨候補画像と前記論理積雨候補画像とが一致している比率を雨判別比率として求める雨判別比率演算手段と、を備え、
   前記雨判別比率に基づいて雨が撮像された画素を抽出することを特徴とする画像センサ。
4. 請求項３に記載の画像センサであって、
   前記画像処理部は、さらに、前記論理和雨候補画像において画像領域をラベリングするラベリング手段を備え、
   前記雨判別比率演算手段は、前記ラベリングされた画像領域毎に、前記論理和雨候補画像のラベリングされた画像領域と前記論理積雨候補画像における当該ラベリングされた画像領域に対応する画像領域とが一致している比率を雨判別比率として求めることを特徴とする画像センサ。
5. 請求項１〜４のいずれか１つに記載の画像センサにおいて、
   前記画像処理部は、さらに、
   前記入力画像の全画素数に対する前記雨が撮像された画素の比率が所定閾値以上である場合に警報を出力する豪雨判定手段を備えることを特徴とする画像センサ。
6. 請求項１〜５のいずれか１つに記載の画像センサにおいて、
   前記画像処理部は、さらに、
   前記第２入力画像に侵入者が撮像された画像領域が存在するか否かを判定する侵入者判定手段を備え、
   前記侵入者判定手段は、前記雨が撮像された画素が多いほど侵入者が撮像された画像領域として判定する率を低くすることを特徴とする画像センサ。