JP4565738B2 - 画像センサ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置にてある領域を撮影し、得られた画像に対して画像処理を施すことによって、撮影領域内における侵入者等の移動体の存在の有無を検出する画像センサに関する。
【０００２】
【従来の技術】
従来、監視カメラにて撮影した画像から、侵入者等の移動体の特徴を示す領域の存在を検出することによって、監視領域における侵入者の存在の有無を判定する画像センサがあった。このセンサでは、例えば、現在撮影した入力画像と予め記憶してある基準画像とを比較して、両画像の差分を変化領域として抽出する（以後、抽出した領域を「抽出領域」と呼ぶ）。もし、入力画像に侵入者等が写っていれば、基準画面に写っていなかった侵入者等は、抽出領域として検出される。
【０００３】
この抽出領域について、所定の面積(大きさ)、所定の輝度、所定の移動距離などを演算し、抽出領域が侵入者を示す特徴を有した場合は、侵入者が監視領域に存在すると判断していた。一方、抽出領域が、急激な輝度変化である場合、又は、テクスチャ（模様等）の変化が小さい場合などは、照明や太陽光などに起因するものであるとして、侵入者による画像変化でないと判断していた。
【０００４】
すなわち、従来の画像センサは、抽出領域における「変化面積」「輝度」「テクスチャ」など種々のパラメータについて、それぞれ「侵入者」による特徴を示すか、「外乱」による特徴を示すかの２値で判定し、パラメータが「侵入者」による特徴を示すと判定された場合に、侵入者が存在すると判断していた。
【０００５】
【発明が解決しようとする課題】
しかし、図３に示すように、比較的大きな光（又は影）領域９の中に侵入者８が渾然一体に存在していた場合、上記の方法では、侵入者を検出できない場合（失報）がある。これは、抽出領域１０における光領域９が大きな面積を占め、侵入者８によるテクスチャの変化領域の面積が占める割合が小さくなっているため、抽出領域１０は外乱によると判定してしまうためである。
【０００６】
これに対処するため、抽出領域１０全体に対するテクスチャの変化が小さくても侵入者と判断するようにすると、ねずみ等の小動物を侵入者として検出（誤報）することにもなる。
本発明は、光（影）領域の中に侵入者等の移動体が存在する状況であっても、確実に移動体を検出できる画像センサを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。
本発明の画像センサは、基準画像と入力画像との差分画像から一体的な変化領域を抽出する変化領域抽出手段と、変化領域を複数の領域に分割する領域分割手段と、前記分割された変化領域内のテクスチャの変化に基づいて移動体の存在を判定する手段とを具備する。
【０００８】
変化領域を分割すると、分割した領域に占める移動体の像の割合が大きくなる。したがって、入力画像中の移動体が、大きな光領域内に存在した場合であっても、失報、誤検出を防止することができる。
前記変化画像の分割に当たっては、変化領域が所定面積以上の場合にのみ分割を行うことにより、無駄な作業を省くことができる。また、分割をした場合に、分割後の領域が所定面積以下の場合は、隣接する領域と結合をすることにより、適切な領域を用いてテクスチャの変化度合いを精度よく計算することができる。
【０００９】
また、複数の領域に分割された場合は、テクスチャの変化度合いが最大な領域のテクスチャの変化度合いを代表値として、移動体の判定を行うことにより、処理数を低減することができるとともに、移動体の判定精度が向上する。
また、領域を分割する方向は、縦方向、横方向のいずれでも良い。
【００１０】
【発明の実施の形態】
本発明を防犯用画像センサに適用した実施形態について、図を用いて説明する。
図１は画像センサの構成を示す。
画像センサは、監視カメラ等で撮影された撮像データをＡ／Ｄ変換してディジタルの画像情報として出力する画像入力部２、この画像情報から侵入者の存在の有無を判断する画像処理部１、及びこの判断結果を外部に対して出力する出力部７から構成される。
【００１１】
画像処理部１は、画像入力部２の出力から画像変化領域を抽出する変化領域抽出手段３、抽出領域の分割・結合を行う抽出領域の分割・結合手段４、各分割領域から侵入者の存在の有無を示す判断情報を算出する判断情報算出手段５、および算出した判断情報とその他の手法で獲得した判断情報とを組み合わせて、総合的に侵入者の存在の有無を判定する判定部６から構成されている。
【００１２】
図２のフローチャートにより、画像処理部1の処理内容を詳細に説明する。図示の処理は、所定時間間隔（例、０．３秒ごと）で行われる。
ステップＳ１において、画像入力部２からディジタル化された現画像データを取り込む。
図３は、現画像の一例を示す。画像は５１２×５１２ピクセルで構成される。
画像中には、侵入者８が光領域９中に存在することが示されている。
【００１３】
ステップＳ２において、ステップＳ１で取り込んだ現画像と基準画像との比較を行い、変化した領域を抽出領域１０として得る。図３の例では、抽出領域１０は、侵入者８を含んだ光領域９となる。なお、基準画像とは、侵入者等がない状態で、監視領域を所定の時点で予め撮影した画像をいう。
ステップＳ３では、変化領域抽出手段３により、基準画像との比較により抽出領域１０のテクスチャの変化度合いを計算する。変化度合いとしては、例えば正規化相関による相関値が使用される。
【００１４】
ステップＳ４では、抽出領域の分割・結合手段４により、抽出領域１０を小さな領域に分割する必要があるかどうかの判断を行う。判断は、次の（１）（２）（３）の条件について行う。
（１）抽出領域面積≧５０００ピクセル
（２）抽出領域の逆透視面積≧人間サイズ比４倍
ここで、逆透視面積とは、カメラの設置位置と抽出領域との間の距離などから、抽出領域の面積を実寸大相当の面積に換算しなおした面積をいう。
【００１５】
（３）０．０１≦抽出領域輝度変化率≦０．９９
ここで、抽出領域輝度変化率とは、詳細な説明は省略するが、抽出領域が全体的に明るくなったり、暗くなったりしたことを表現できる指標である。上記の範囲外になった場合は、大きな照明変動があったと判断できるので、分割処理等は行われない。
【００１６】
上記（１）〜（３）の判断のいずれの条件も満足したときは、抽出領域１０の分割を実施するために、ステップＳ５へ進む。なお、分割の実施に進む条件として、上記(１)〜(３)のいずれか一つを満足するようにしても、又は、いずれかの組み合わせによってもよい。
上記条件が満足されない場合は、分割処理を行わずに、抽出領域１０を一つの領域として取り扱い、ステップ３にて求めたテクスチャの変化度合いを後述の代表値としてステップＳ１０の侵入者の判定部に進む。
【００１７】
ステップＳ５では、抽出領域の分割・結合手段４により、抽出領域１０の仮の分割を行う。抽出領域１０の分割方向は、カメラの設置条件や計算処理のやり易さにより、横方向又は縦方向でも、縦横両方でもよい。
図４は、横方向に領域Ａ，Ｂ，Ｃ，Ｄ，Ｅに分割された例を示す。抽出領域１０の幅は、例えば６０ピクセルごとに分割される。これを式で表すと、以下のようになる。
【００１８】
仮の分割数＝（抽出領域幅／６０ピクセル）の四捨五入 （式１）
次に、ステップＳ６で、抽出領域の分割・結合手段４により、仮に分割された各領域Ａ〜Ｅの面積を計算し、面積が規定値より小さい領域については、隣接する左右の領域のうち小さい方と結合させる。この処理は、分割した領域の面積が小さすぎると、特徴量の信頼性が低下するので、分割領域の結合処理により最低限必要な面積を保つために行われる。
【００１９】
領域間の結合をするかどうかの判定の基準値として、例えば、７００ピクセルが使用される。これを式で表すと、
分割した領域の面積＜７００ピクセル （式２）
の時、左右の分割領域の小さい方と結合する。
図４の例において、左右両端の領域ＡとＥが７００ピクセルよりも小さいとすると、図５に示すように、領域ＡとＢおよびＤとＥが結合され、それぞれＢ′およびＤ′となる。
【００２０】
ステップＳ７では、抽出領域の分割・結合手段４により、分割数の判定が行われる。結合を行った後の最終的分割数が２以上の場合は、次のステップＳ８へ進む。分割数が２未満の場合（分割数１)は、侵入者の判定に用いる領域（以後「判定領域」と呼ぶ）の選択の必要がないので、ステップ３にて求めたテクスチャの変化度合いを後述の代表値として侵入者等の判定を行うステップＳ１０へ進む。
【００２１】
次のステップＳ８においては、判定情報算出手段５により、分割領域ごとにテクスチャの変化度合いを計算する。テクスチャの変化度合いを計算するものとしては、分割領域の正規化相関値やエッジの類似度などがある。
続いて、ステップＳ９において、判定情報算出手段５により、ステップＳ８で計算した各分割領域Ｂ’，Ｃ，Ｄ’のテクスチャの変化度合いと、ステップＳ３で計算した元の抽出領域におけるテクスチャの変化度合いが最大となる領域を判定領域とし、そこでのテクスチャの変化度合いを、侵入者等移動体判定のための代表値とする。なお、変化度合いのパラメータとして正規化相関値を使用した場合は、正規化相関値が最小となる領域の正規化相関値を使用する。
【００２２】
図５の例では、侵入者８を含む領域Ｂ′でのテクスチャの変化度合いが最も大きくなり、そのテクスチャの変化度合いが代表値となる。このようにして、ステップＳ９において、最も侵入者等が存在する可能性が大きい領域Ｂ′のテクスチャの変化度合いを用いて判定処理が可能となる。
ステップＳ１０において、判定部６により、代表値等を用いて、侵入者８が存在するかどうかの判定を行う。この判定処理の一例としては、別途出願している特願２０００−５４４０８に示した手法が利用できる。ここでは、抽出領域の画像変化における前記代表値、形状情報、輝度情報などの属性を解析する。これらの特徴が光や影や小動物による外乱ではなく、人間に特有な属性を持っているか否かについて解析を行い、侵入者の存在の有無を判断する。
【００２３】
なお、テクスチャ変化度合いの代表値のみによって判断しても良い。
ここで侵入者が存在すると判定された場合は、この情報を画像処理部１から出力部７に伝え、外部に対する警報等が行われる。
以上説明した図２の処理を、図６〜図９を用いて具体的数値を用いて説明する。
【００２４】
図６は、図２のステップＳ２の処理により、現画像から変化領域として抽出された抽出領域１０を示す。抽出領域１０には、侵入者８の他に、外乱光の影響で輝度が変化して書類キャビネット１１、パソコン１２及び床などが含まれる。
図７は、ステップＳ４〜５により処理された抽出領域１０を示す。なお、抽出領域１０の面積が３２５００ピクセルあるとする。この面積はステップＳ４の条件を満足しているので、ステップＳ５に進む。抽出領域１０の幅が３４０ピクセルあるとすると、仮の分割数は、式１により、
３４０ (抽出領域幅)／６０＝５．６６
これを四捨五入すると、仮の分割数＝６となり、抽出領域１０は領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆにほぼ均等に分割される。
【００２５】
ステップＳ６において、領域Ａ〜Ｆごとに面積を計算した結果を各分割領域の下に示す。この結果を、式（２）に当てはめると、領域Ｆが基準値の７００ピクセル以下になる。したがって、領域Ｆは領域Ｅと結合されて領域Ｅ’となる。
図８は、結合の結果を示す。領域数は領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ’の５個となるので、ステップＳ７ではＹＥＳとなり、ステップＳ８へ進む。ここでは、領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ’ごとにテクスチャの変化度合い（正規化相関値）を計算する。
【００２６】
図９（Ａ）に、各領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ’の正規化相関値の計算結果を示す。比較のため、（Ｂ）に、基準画像における抽出領域１０に相当する領域１４を示す。この例では領域Ａ，Ｂ，ＣおよびＥ’はテクスチャに変化がないため相関値は１に近いものになっているが、領域Ｄについては、比較的狭い領域に侵入者８の像が入りテクスチャに大きな変化が生じるため、正規化相関値は格段に小さな値になっている。
【００２７】
したがって、ステップＳ９において、相関値が最小になった領域Ｄはテクスチャの変化度合いが最大であったとして、この領域Ｄのテクスチャの変化度合いを判定に用いる代表値に選定し、次の判定部Ｓ１０に進む。
この例のように抽出領域を分割することにより、大きな光領域の中での比較的小さな侵入者等による変化であっても、侵入者による画像の変化の度合いが大きくなる。したがって、侵入者を確実に検出することが可能になる。
【００２８】
【発明の効果】
本発明によれば、光（影）領域の中に侵入者が存在する状況であっても、確実に侵入者を検出する画像センサを得ることができる。
【図面の簡単な説明】
【図１】本発明を適用した画像センサの構成を示す図。
【図２】図１の画像処理部の処理手順を示すフローチャート。
【図３】図２の処理における光領域と侵入者の関係を示す図。
【図４】図２の処理における抽出領域の仮分割例を示す図。
【図５】図４の仮分割した領域を結合した例を示す図。
【図６】本発明の具体的実施例における抽出画像を示す図。
【図７】図６で仮分割した各領域の面積を示す図。
【図８】図７の仮分割した領域を結合した画像を示す図。
【図９】図８の画像におけるテクスチャの変化度合いを示す図。
【符号の説明】
１…画像処理部
２…画像入力部
３…変化領域抽出手段
４…抽出領域の分割・結合手段
５…判定情報算出手段
６…判定部
７…出力部
８…侵入者
９…光領域
１０…抽出領域
１１…書類キャビネット
１２…パソコン
１３…抽出領域

Claims (5)

1. 基準画像と入力画像との間の画像の変化に基づき移動体を検出する画像センサであって、
   前記基準画像と前記入力画像との差分画像から一体的な変化領域を抽出する変化領域抽出手段と、
   前記変化領域を複数の領域に分割する領域分割手段と、
   前記分割した領域ごとに、前記基準画像上の当該領域に対応する第１のテクスチャに対する、入力画像上の当該領域に対応する第２のテクスチャの変化度合いを算出する判定情報算出手段と、
   前記判定情報算出手段が算出した変化度合いを用いて、前記変化領域における移動体の存在の有無を判定する判定手段と、
   を具備することを特徴とした画像センサ。
2. 前記領域分割手段は、前記変化領域が所定面積以上の場合に前記分割を行う請求項１に記載の画像センサ。
3. 前記分割した領域が所定面積より小さい場合、その領域を隣接する領域と結合する手段を有する請求項１又は２に記載の画像センサ。
4. 前記判定手段は、前記分割した領域の内、テクスチャの変化度合いが最大である値を代表値として、前記移動体存在の判定を行う請求項１〜３のいずれか１項に記載の画像センサ。
5. 前記領域分割手段は、前記変化領域を縦及び／又は横方向に分割をする請求項１〜４のいずれか１項に記載の画像センサ。

Images