JP4641902B2 - 画像センサ - Google Patents

Description

本発明は、画像センサに関するものであり、より詳しくは、監視装置に使用される画像センサに関する。

従来、画像監視装置に使用される画像センサとして、撮像装置としてのカメラから入力される監視空間の画像と、その監視空間について過去に取得された画像との変化態様から、入力画像中の移動物体（人間など）の有無を判定する画像センサが知られている。この画像センサとしては、例えば、現在撮影した入力画像と、予め記憶している過去の画像（背景画像）とを比較して、両画像の輝度に差のある領域を変動領域として抽出し、この抽出された領域についてテクスチャ（模様等）の変化度合いから、照明光の光量変化または監視空間に写り込んだ影などによって生じた外乱による画像の変動か、人間がその監視空間に侵入したことによる画像の変動かを判断するものが知られている（特許文献１参照）。

このような画像センサに関して、特に特許文献１では、入力画像と背景画像の差分から求めた変動領域と、その変動領域に対応する背景画像の対応領域との間における、エッジの変化、テクスチャの変化、輝度変化の極性方向などの特徴量を算出して、変動領域が人間に相当するのか、人間以外の影などの外乱によるものかを判定する画像センサが記載されている。

例えば、変動領域が、負の輝度変化を示す場合（変動領域中の画素の輝度値が、背景画像における対応領域中の画素の輝度値よりも低い場合）で、エッジの変化が少ない場合、若しくはテクスチャの変化が少ない場合、変動領域の「影らしさ」が高く算出されて、この変動領域は影であると判定される。

しかしながら、上述した従来の画像センサでは、人間とこの人間から伸びた影とが変動領域として抽出された場合に、人間の存在を検出できないおそれがある。
これは、影が長く伸びたような場合（例えば、日没直前時のように、光源と人間を結ぶ線と影の投影される面とのなす角が非常に狭い鋭角をなす場合）において、変動領域として抽出された領域中に占める影部分の割合が大きくなり、影部分の画像特徴（エッジ類似度、テクスチャ類似度など）が変動領域全体に対して支配的になり、変動領域の「影らしさ」が高く算出されてしまうためである。

この様子を図５に示す。入力画像Ｉ中に、人間ａ１とその影ａ２、及び単なる影ｂが写っている場合、それらの存在しない背景画像Ｂとの差分を行うことにより、人間ａ１とその影ａ２の部分、及び単なる影ｂの部分を、それぞれ画素の輝度値が変動した領域、即ち変動領域として抽出することができる。

ここで、逆光の場合、または人間が黒い衣服を着ている場合などの理由により、監視空間の入力画像Ｉ中に黒く（すなわち、低輝度で）写り込んだ人間から影が長く伸びている場合、この「黒い」人間と影を含む変動領域（ａ１＋ａ２）は、背景画像Ｂの対応領域に対し負の輝度変化を示すこととなり、また、影部分ａ２から算出されるエッジ変化度合い若しくはテクスチャ変化度合いなどの画像特徴が、変動領域全体の画像特徴に対して支配的となるために、総じて変動領域の「影らしさ」が高く算出されてしまう。

このため、変動領域（ａ１＋ａ２）について算出された画像特徴は、影だけからなる変動領域ｂについて算出された画像特徴と、大差がなくなる。そのため、従来の画像センサでは、影を伴う人間と、単なる影とを区別することが困難となり、影を伴う人間を単なる影として判定してしまい、本来なら人間の存在を検知すべき場合に、人間を検知しないおそれがあった。

また、この人間を検知しないおそれがあるという問題に対処するために、「影らしさ」が如何に高く算出されていても、少しでも人間である可能性があれば人間と判定するように設定すると、単なる影を人間と判定してしまい、誤報してしまう可能性が高くなるという問題が生じていた。

特開平２００１−２４３４７５号公報

上記の問題点に鑑み、本発明は、人間などの移動物体とその影とが監視空間内に写り込む場合であっても、移動物体が写っているか否かを正確に判断できる画像センサを提供することを目的とする。

上記の目的を達成するために、本発明に係る画像センサは、撮像部にて取得される画像と過去の画像の差分から変動領域を抽出して、変動領域が外乱により生じたものか否かを判定する。その画像センサは、変動領域において所定の特徴量を有する画素群を抽出する画素群抽出部と、画素群の位置が変動領域において偏った位置であるかを判定するための偏り度合いを算出する偏差算出部と、偏り度合いが小さいと判定した場合、変動領域は外乱により生じたものと判定する外乱判定部と、を備えることを特徴とする。

上記のように、変動領域内である特徴を有する画素が変動領域全体に対し偏った位置に存在するかを調べることにより、監視空間を撮像した画像に、影が長く伸びた移動物体が写っている場合でも、影の領域に影響されず、正確に移動物体の存在の有無を判定することが可能となる。

なお、上記の外乱とは、監視空間を照明する照明光（太陽、街灯、照明灯などの光源による光）の光量変化、天候変化、または監視空間の近傍を横切る車の影など、監視空間内に侵入した物体（人、動物を含む）以外に起因するものをいう。また、過去の画像とは、変動領域の抽出を行う撮像画像よりも前に撮影された監視空間の画像である。具体的には、本発明に係る画像センサの設置時またはメンテナンス時に予め監視空間を撮影した画像、若しくは本発明に係る画像センサで所定時間前に撮影した画像とすることができる。

また、上記の偏差算出部は、変動領域の重心位置と画素群の重心位置間の距離と、変動領域の大きさとの比に基づき変動領域における画素群の位置の偏り度合いを算出することが好ましい。変動領域中に占める所定の特徴量を有する画素群の位置関係を正確に把握することができるため、変動領域に対して前記画素群の位置が偏った位置であるか否かを正確に調べることが可能となる。

さらに、上記の画素群は、所定の閾値以下の輝度を有する低輝度画素、又は所定の閾値以上の輝度を有する高輝度画素の何れか一方よりなる画素群であることが好ましい。また更に、画素群抽出部は、変動領域を変動領域の輝度平均値以下の閾値で２値化して、変動領域における低輝度画素を抽出し、低輝度画素よりなる画素群を上記の画素群として抽出することが好ましい。変動領域内における、特徴の異なる画素群を簡便且つ正確に抽出することが可能なためである。

また、外乱判定部は、変動領域が過去の画像における対応領域よりも低輝度であり、且つ偏り度合いが小さいと判定した場合に変動領域を外乱により生じたものと判定し、変動領域が過去の画像における対応領域よりも高輝度である場合、又は、変動領域が過去の画像における対応領域よりも低輝度であり、且つ偏り度合いが大きいと判定した場合、変動領域は外乱により生じたものではないと判定することが好ましい。

ここで、変動領域と過去の画像における対応領域とについて、どちらの輝度が高いか否かの判定は、具体的には変動領域及びその対応領域内の平均輝度値の比較により行う。

また、外乱判定部において変動領域が外乱により生じたものではないと判定されると、他の判定基準に基づいて変動領域が移動物体により生じたものか否かを判定する移動物体判定部をさらに備えることが好ましい。このような移動物体判定部を備えることにより、監視空間内の変動領域が、監視対象物となる移動物体に起因するものか、それ以外の物に起因するものかを正確に判定することが可能である。

本発明によれば、移動物体とその影とが監視空間内に写り込む場合であっても、移動物体が写っているか否かを正確に判断できる画像センサを提供することが可能となる。

以下、図面を参照しつつ本発明に係るについて詳細に説明する。
本発明の一例に係る画像センサは、監視対象となる空間（監視空間）を撮影した画像において、撮像画像に写りこんだ移動物体、特に人間による輝度変動と、監視空間を横切る影または光量変化などの外乱による輝度変動とを区別する検出ロジックを搭載した画像センサである。

また以下の説明においては、監視対象となる移動物体として、監視空間に侵入した人間（侵入者）を検出して出力する例について説明する。

図１に、本発明の一例に係る画像センサの機能ブロック図を示す。
本発明の一例に係る画像センサ１は、監視空間の撮像画像を取得する撮像部２と、画像センサ１の各種処理で使用される情報を記憶する記憶部３と、撮像画像から監視空間に侵入者がいるか否かを判定する画像処理部４と、その判定結果を出力する出力部５から構成される。

以下、各部について詳細に説明する。
撮像部２は、ＣＣＤカメラなどの撮像装置から構成される。撮像部２は、監視空間の光学的な映像を、離散的な画素群からなるデジタル化された画像に変換して、各画素が輝度値で表現された撮像画像Ｉ（ｘ，ｙ）（ただし、ｘ、ｙは、それぞれ画像データ中の画素の水平座標、垂直座標を表す、以下同じ）を取得し、その撮像画像Ｉ（ｘ，ｙ）を画像処理部４へ出力する。また撮像部２は、所定の時間間隔（例えば１／５秒毎）で１フレームの撮像画像Ｉ（ｘ，ｙ）を取得して画像処理部４に出力する。
撮像画像Ｉ（ｘ，ｙ）は、一例として、１フレームあたり、水平７６８画素、垂直４９４画素（約３８万画素）、且つ１画素あたりの輝度値が０〜２５５（２５６階調）のグレー階調で表現され、明るいほど輝度値が大きな値を有する。

記憶部３は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブ及びそのメディアで構成される。また記憶部３は、画像センサ１の各種処理で使用される情報、例えば、撮像画像との比較対象となる過去の画像及び各種の閾値などを記憶する。そして、画像処理部４などからの要求に応じて、必要な情報を提供する。

画像処理部４は、ＣＰＵ、数値演算プロセッサなどの演算装置、及び記憶部３からその演算装置で実行可能に読み込まれたソフトウェアから構成される。そして、画像処理部４は、撮像部２から取得した、デジタル化された撮像画像Ｉ（ｘ，ｙ）に基づいて、変動領域の抽出処理、特徴算出処理、及び外乱判定処理などの処理を実行する。なお、画像処理部４の詳細については後述する。

出力部５は、画像処理部４で判定された異常を外部に出力するための手段であって、ＬＥＤ、ブザーなどで構成される。出力部５は、画像処理部４から異常信号の入力があると、ＬＥＤを点灯若しくは点滅させたり、ブザーを鳴らして異常の発生を報知する。
なお、出力部５は、警備装置または遠隔の監視センタ（図示せず）などと有線若しくは無線通信によって接続され、画像処理部４から入力された異常信号をそれらに出力する通信インターフェースとして構成されてもよい。

以下、画像処理部４について詳述する。
画像処理部４は、撮像画像Ｉ（ｘ，ｙ）から、過去画像中の対応画素と輝度値に差異のある画素領域である変動領域を抽出する変動領域抽出部１１と、抽出された変動領域中の特徴を算出する特徴算出部１２と、特徴算出部１２で算出された特徴に基づいて、変動領域が外乱に起因するものか否かを判定する外乱判定部１３と、変動領域が外乱に起因するものでないと判定された場合に、その変動領域が侵入者によるものか否かを判定する移動物体判定部１４を有する。

次に、画像処理部４で行われる処理内容について、図２を参照しつつ説明する。
一般に、人間と、その人間から伸びる影とを含む領域（人間を含む影の領域）では、人間が領域の端部に位置し、逆方向の端部に向けて影が伸びる。また、人間を含む影の領域においては、人間と影とで輝度差が生じる。例えば、逆光時など、黒く写りこんだ人間から影が伸びている場合であっても、この人間を含む影の領域では、人間と影とで輝度差が生じて暗い画素の出現位置が偏る。これは、影が投影される地面の反射率と、人間の衣服及び皮膚、毛髪の反射率が異なるためである。

一方、影だけの領域では、暗い画素がその領域全体に分布する。また、単なる影だけが写っている領域に関して、例えば、影が淡いために、影が投影されている領域の背景部分のテクスチャが保存されている（透けて見える）場合には、その領域内にほぼ均一にテクスチャが現れ、暗い画素群が領域内の偏った位置に出現することはない。また、影が強い場合には、影が投影されている領域の背景部分のテクスチャが全く見えなくなり、且つ一様に暗い領域となり、暗い画素群が領域内の偏った位置に出現することはない。
つまり、人間を含む影の領域は、暗い画素群が領域端部に偏って出現するのに対し、影だけの領域では偏りは見られない。

そこで、監視空間について、侵入者がいない状態で撮影された過去画像（以下、背景画像Ｂという）と、撮像部２によって撮影された入力画像Ｉとで、対応画素間の輝度値の差分画像Ｓをもとめると、侵入者（領域ａ１）とその影（領域ａ２）、若しくは単なる影だけの領域（領域ｂ）について大きな差分輝度値を得ることができる。そこで、差分輝度値の大きい画素群が連続する領域を、各々変動領域ｃ（ここでは、領域ａ１＋ａ２と領域ｂ）として抽出する。次に、各変動領域ｃに含まれる、撮像画像の各画素の輝度値を平均した値を閾値とし、その閾値以下の輝度値を有する画素の分布を調べる。すると、領域（ａ１＋ａ２）では、閾値以下の輝度値を有する画素が領域（ａ１＋ａ２）中の一方の端部に集中するのに対して、領域ｂでは、閾値以下の輝度値を有する画素が領域ｂ全体に広がる。そこで、閾値以下の輝度値を有する画素群が変動領域中の一端部に寄る程大きくなる度合いとしての偏り度合いが小さいか大きいかを調べることにより、変動領域ｃが侵入者によるものか、影などの外乱によるものかを判別することができる。

なお、偏り度合いとは、変動領域ｃ内において上記画素群の位置が偏っているかどうかを示す度合いであって、上記の画素群が変動領域中の一端部に偏っている程大きくなるような値をいう。また、偏り度合いが小さいとは、変動領域ｃ中の最も離れた２点を結ぶ直線に直交する任意の直線で、変動領域を２分割した場合において、分割されたそれぞれの変動領域に占める上記画素群に所属する画素の比率に有意差がないことをいう。
一方、偏り度合いが大きいとは、変動領域中の最も離れた２点を結ぶ直線に直交する或る直線で、変動領域を２分割した場合において、分割されたそれぞれの変動領域に占める上記画素群に所属する画素の比率に有意差が有ることをいう。

以下、画像処理部４の各部について詳細に説明する。
変動領域抽出部１１は、撮像部から取得した撮像画像Ｉ（ｘ，ｙ）と、基準となる背景画像Ｂ（ｘ，ｙ）とにおいて互いに対応する画素同士の輝度差を算出して撮像画像Ｉ（ｘ，ｙ）と背景画像Ｂ（ｘ，ｙ）との差分画像Ｓ（ｘ，ｙ）（＝Ｉ（ｘ，ｙ）−Ｂ（ｘ，ｙ））を得る。

背景画像Ｂ（ｘ，ｙ）は、監視空間に侵入者が存在しない状態で撮像部２により撮像された過去画像であり、予め取得され、記憶部３に記憶されている。そして、変動領域抽出部１１は、差分画像Ｓ（ｘ，ｙ）から、差分輝度値の絶対値が所定値以上となる画素（変動画素）を１、それ以外の画素を０として表現した差分２値画像Ｓｂ（ｘ，ｙ）を生成する。ここで所定値としては、ノイズによる悪影響を避け、且つ適切に変動領域を抽出するために、監視空間の状況に応じて２から１０程度の値（２５６階調に対して）を使用する。

差分２値画像Ｓｂ（ｘ，ｙ）を生成すると、略連続した変動画素群を１つの変動領域ｃ（ｘ，ｙ）として抽出する。この場合において、ノイズを除去するために、差分２値画像Ｓｂ（ｘ，ｙ）に対してモルフォロジー基本演算のオープニング演算を行って、抽出された変動画素（差分２値画像Ｓｂ（ｘ，ｙ）で１の値を有する画素）の孤立点を削除することが好ましい。同様に、差分２値画像Ｓｂ（ｘ，ｙ）に対してクロージング演算を行って、変動画素に囲まれた非変動画素（差分２値画像Ｓｂ（ｘ，ｙ）で０の値を有する画素）を削除することが好ましい。また、微小面積除去に用いられる既知のフィルタリング演算を行って、変動画素の孤立点を削除してもよい。変動領域ｃ（ｘ，ｙ）は、上記のノイズ除去処理を施された差分２値画像Ｓｂ（ｘ，ｙ）において、画素値が１の画素が略連続してなる領域である。

変動領域ｃ（ｘ，ｙ）が求められると、変動領域ｃ（ｘ，ｙ）に含まれる総画素数Ｃｔｏｔａｌを算出する。そして、侵入者として考えられる最低限度の大きさに基づいて、予め定められた閾値Ｔｈｃと比較し、総画素数Ｃｔｏｔａｌが閾値Ｔｈｃよりも大きい場合、変動領域が存在すると判定される。変動領域ｃ（ｘ，ｙ）が存在しないと判定された場合、次の撮像画像が撮像部２により取得され、再度変動領域の抽出がなされる。一方、変動領域が存在すると判定された場合、生成された差分画像Ｓ（ｘ，ｙ）、及び差分２値画像Ｓｂ（ｘ，ｙ）は、記憶部３に記憶される。

なお、背景画像Ｂ（ｘ，ｙ）は、１０分毎、１時間毎といった所定時間毎に撮像された画像で更新するように構成してもよい。また、所定フレーム前に取得された撮像画像を背景画像として用いることにより、フレーム間における差分画像を上記のＳ（ｘ，ｙ）として求め、変動領域ｃ（ｘ，ｙ）の抽出に用いてもよい。

特徴算出部１２は、抽出された変動領域ｃ（ｘ，ｙ）内の特徴量を調べ、変動領域中で所定の輝度を示す画素の位置に偏りが有るか否かを調べる。そこで、特徴抽出部１２は、抽出された変動領域ｃ（ｘ，ｙ）内における低輝度又は高輝度の画素よりなる画素群を抽出する画素群抽出部２１と、その画素群の出現位置の偏り度合いを算出する偏差算出部２２とを含む。

以下、低輝度画素群の出現位置の偏り度合いを算出する場合を例として説明する。なお、高輝度画素群の出現位置の偏り度合いを算出した場合には、以降の処理で低輝度画素群の偏り度合いに代えて高輝度画素群の偏り度合いを使用する。

画素群抽出部２１は、変動領域ｃ（ｘ，ｙ）内における低輝度の画素群を抽出する（高輝度画素群の偏り度合いを使用する場合は、高輝度の画素群を抽出する）。変動領域ｃ（ｘ，ｙ）内の低輝度画素群の抽出は、撮影画像Ｉ（ｘ，ｙ）における変動領域ｃ（ｘ，ｙ）について、所定の輝度閾値で２値化して、低輝度画素と高輝度画素とに分離することによって行う。具体的には、以下の手順で行う。

まず、撮像画像Ｉ（ｘ，ｙ）から、変動領域ｃ（ｘ，ｙ）に含まれる変動画素の輝度値についての平均値（輝度平均値ｃａ）を算出する。次に、算出した輝度平均値ｃａを用いて、以下の式に基づいて輝度閾値Ｔｈ１を算出する。
Ｔｈ１＝ ｃａ ＊ ｐ
ここでパラメータｐは、高輝度ノイズによる影響を低減しつつ、暗い（低輝度の）画素を抽出するために設定される値であり、一例として０．９などに設定される。パラメータｐを１未満にすることで、より厳密に暗い画素を抽出することができる。一方、パラメータｐを１よりも大きくすることで、より厳密に明るい（高輝度な）画素を抽出できる。このように、パラメータｐは、２値化により抽出したい画素をより厳しい条件で抽出するための調整ファクタとして用いられる。ただし、パラメータｐを使用することは必ずしも必要でなく、輝度平均値ｃａそのものの値を閾値Ｔｈ１として用いてもよい。

輝度閾値Ｔｈ１を算出すると、撮像画像Ｉ（ｘ，ｙ）における変動領域ｃ（ｘ，ｙ）に相当する各画素の輝度値と、輝度閾値Ｔｈ１を比較する。そして、輝度閾値Ｔｈ１未満の輝度値を有する画素の画素値を１、輝度閾値Ｔｈ１以上の輝度値を有する画素の画素値を０とし、低輝度画素群ｌ（ｘ，ｙ）として抽出する。低輝度画素群ｌ（ｘ，ｙ）において画素値１で表される画素に対応する撮像画像Ｉ（ｘ，ｙ）の画素が低輝度画素である（なお、低輝度画素でない画素（輝度閾値Ｔｈ１以上の輝度を有する変動領域中の高輝度画素）は、低輝度画素群ｌ（ｘ，ｙ）において、画素値０として表される）。逆に、撮像画像Ｉ（ｘ，ｙ）における変動領域ｃ（ｘ，ｙ）に相当する各画素のうち、輝度閾値Ｔｈ１以上の輝度値を有する画素を、高輝度画素群ｈ（ｘ，ｙ）として抽出してもよい。高輝度画素群ｈ（ｘ，ｙ）において画素値１で表される画素に対応する撮像画像Ｉ（ｘ，ｙ）の画素が高輝度画素である（なお、高輝度画素でない画素（変動領域中の低輝度画素）は、高輝度画素群ｈ（ｘ，ｙ）において、画素値０として表される）。

なお、低輝度の画素群若しくは高輝度の画素群を抽出する方法は、上記に限られるものではない。例えば、事前に実験的に監視空間に人を配置し、撮像部２で撮影したサンプル画像を複数準備し、それらサンプル画像を解析して人が写っている領域と影が映っている領域とを最も良好に分離可能な輝度閾値を実験的に見つけ、その実験的に見つけた輝度閾値以下の輝度値を有する画素とそれ以外の画素とに２値化することにより、低輝度画素群または高輝度画素群を抽出することができる。

偏差算出部２２は、画素群抽出部２１で抽出された低輝度画素群ｌ（ｘ，ｙ）の出現位置が、変動領域ｃ（ｘ，ｙ）全体に対して偏っている度合い（偏り度合いＲ）を算出する。この偏り度合いＲは、変動領域ｃ（ｘ，ｙ）の重心位置ｃｇ（ｃｇｘ，ｃｇｙ）（ただし、ｃｇｘは撮像画像Ｉ（ｘ，ｙ）中の水平座標値、ｃｇｙは撮像画像Ｉ（ｘ，ｙ）中の垂直座標値を表す）と、低輝度画素群ｌ（ｘ，ｙ）の重心位置ｌｇ（ｌｇｘ，ｌｇｙ）（ただし、ｌｇｘは撮像画像Ｉ（ｘ，ｙ）中の水平座標値、ｌｇｙは撮像画像Ｉ（ｘ，ｙ）中の垂直座標値を表す）との距離に基づき算出される。即ち、偏差算出部２２は、変動領域ｃ（ｘ，ｙ）とこの変動領域内の低輝度画素群ｌ（ｘ，ｙ）との重心間距離ｄと、変動領域の大きさとの比を算出して、これを低輝度画素群ｌ（ｘ，ｙ）の偏り度合いＲとして出力する。この様子を図３に示す。
ここで、重心間距離ｄは、以下に示す式（１）に基づいて算出される。

変動領域ｃ（ｘ，ｙ）の大きさとしては、変動領域ｃ（ｘ，ｙ）の外接矩形の長辺の長さが用いられる。例えば、変動領域の重心位置ｃｇ（ｃｇｘ，ｃｇｙ）が変動領域ｃ（ｘ，ｙ）の外接矩形の中心近傍になると仮定したとき、変動領域ｃ（ｘ，ｙ）内における低輝度画素群ｌ（ｘ，ｙ）の位置が変動領域の一端部に大きく偏っている場合、変動領域ｃ（ｘ，ｙ）とこの変動領域内の低輝度画素群ｌ（ｘ，ｙ）との重心間距離ｄは、外接矩形の長辺距離を２分した距離ｒに近づく。そこで、本実施形態では、以下に示す式（２）に基づいて、距離ｄと距離ｒの比を求め、得られた値を低輝度画素群ｌ（ｘ，ｙ）の偏り度合いＲとして記憶部に記憶する。

なお、上述の算定に用いられる外接矩形は、変動領域ｃ（ｘ，ｙ）を楕円近似した際の楕円の長短軸に矩形の長短辺が平行となるような外接矩形を用いることが好ましい。代わりとして、面積が最も小さくなる外接矩形を用いてもよい。
これにより、変動領域ｃ（ｘ，ｙ）において低輝度を示す画素群の出現位置の偏り度合いを算出することができる。

外乱判定部１３は、特徴算出部１２で算出された変動領域の画像特徴量、本実施形態では、偏差算出部２２で算出した偏り度合いＲに基づいて、変動領域が、光量変化などで生じた外乱によるものか否かを判定する。
外乱判定部１３は、以下の手順で判定を行う。
まず、記憶部３に記憶された差分画像Ｓ（ｘ，ｙ）から、変動領域ｃ（ｘ，ｙ）中の各画素の差分輝度値の平均値（差分輝度平均値ｅａ）を算出する。そして、差分輝度平均値ｅａに基づき、撮像画像Ｉ（ｘ，ｙ）から抽出された変動領域ｃ（ｘ，ｙ）が、背景画像Ｂ（ｘ，ｙ）の対応領域の輝度平均値よりも暗いか否かを判定する。ここで変動領域が１つだけ抽出されている場合において、この変動領域の差分輝度平均値ｅａは、以下に示す式（３）で算出される他、複数の変動領域が抽出されている場合には、各変動領域毎に、差分画像から領域内の各画素の差分輝度値を求めて加算し、領域内の総画素数で除することで差分輝度平均値ｅａを算出できる。

ここで、ｍは撮像画像Ｉ（ｘ，ｙ）の水平方向画素数であり、ｎは垂直方向画素数である。算出された輝度平均値ｅａが正の値若しくは０を示す場合、すなわち、変動領域ｃ（ｘ，ｙ）が背景画像Ｂ（ｘ，ｙ）の対応領域よりも明るい場合、変動領域ｃ（ｘ，ｙ）は光量変化による影などの外乱に起因するものではないと判定し、外乱判定部１３は処理を終了する。このような場合、変動領域は、監視空間内に存在する移動物体に起因する可能性が高いためである。

一方、差分輝度平均値ｅａが負の値を示す場合、すなわち、変動領域ｃ（ｘ，ｙ）が背景画像Ｂ（ｘ，ｙ）の対応領域よりも暗い場合、変動領域ｃ（ｘ，ｙ）は影である可能性がある。

上述したように、人間を含む影の領域が変動領域ｃ（ｘ，ｙ）として抽出されている場合、暗い画素群が変動領域ｃ（ｘ，ｙ）の領域端部に偏って出現するのに対し、影だけの領域が変動領域ｃ（ｘ，ｙ）として抽出されている場合には、そのような偏りは見られない。

そこで、外乱判定部１３は、変動領域ｃ（ｘ，ｙ）が背景画像Ｂ（ｘ，ｙ）中の対応領域よりも暗く、影の可能性がある場合には、偏差算出部２２にて算出された偏り度合いＲに基づいて、変動領域が単なる影（影だけの領域）なのか、人間を含む可能性がある領域なのかを判定する。そして、外乱判定部１３は、偏り度合いＲが所定の閾値Ｔｈ２以上である場合、変動領域は人間を含む可能性があるとし、その変動領域ｃ（ｘ，ｙ）は外乱によるものではないと判定する。一方、偏り度合いが閾値Ｔｈ２未満であれば、変動領域ｃ（ｘ，ｙ）は外乱によるものと判定する。ここで所定の閾値Ｔｈ２は、例えば、０．０６２５（重心間距離ｄが、外接矩形の長辺の１／２の長さｒの１／４に相当）などに設定される。

このような判定を行うことにより、人間が影とともに変動領域として抽出された場合であっても、光量変化などの外乱による単なる影と区別することができる。また、特に、逆光や黒い衣服などにより、黒く写りこんだ人間から影が長く伸びている場合であっても、これを単なる影と誤判定してしまうことを防止して、監視空間に侵入者がいるか否かを正確に判定することが可能となる。

外乱判定部１３は、判定処理を終了すると、その判定結果Ｊを移動体判定部１４へ送る。判定結果Ｊは、変動領域ｃ（ｘ，ｙ）が外乱によるものと判定した場合、１となり、そうでない場合、０の値を有するように設定される。

移動体判定部１４は、外乱判定部１３より判定結果Ｊを受け取ると、その判定結果Ｊを参照する。そして、判定結果Ｊが、変動領域ｃ（ｘ，ｙ）は外乱によるものではないと判定されたものである場合（Ｊ＝０）、他の付加的情報を用いた判定基準に基づいて、変動領域ｃ（ｘ，ｙ）が侵入者によるものか否かを判定する。

移動体判定部１４は、変動領域ｃ（ｘ，ｙ）が人間によるものと判定すると、出力部５に異常信号を出力する。なお、移動体判定部１４の判定に用いられる他の付加的情報としては、例えば「変動領域ｃ（ｘ，ｙ）の大きさ」、「変動領域ｃ（ｘ，ｙ）の形状」、または「移動情報」などを用いることができる。

ここで、「変動領域ｃ（ｘ，ｙ）の大きさ」は、変動領域ｃ（ｘ，ｙ）に含まれる総画素数として表すことができ、人間らしい大きさを満たすか否かを判定するために使用することができる。人間らしい大きさを満たすか否かについては、撮像画像Ｉ（ｘ，ｙ）に写る監視空間の大きさに基づいて、経験的に決定することができる。また、「変動領域ｃ（ｘ，ｙ）の形状」は、変動領域ｃ（ｘ，ｙ）の縦横比とすることができ、人間らしい形状を満たすか否かを判定するために使用することができる。その縦横比の算出には、変動領域ｃ（ｘ，ｙ）の上端座標と下端座標間の距離と、左端座標と右端座標の距離との比を用いることができる。さらに、「移動情報」とは、時間的に近接した複数のフレーム間で、変動領域ｃ（ｘ，ｙ）の重心位置を求め、その重心位置の差に基づいて算出した変動領域ｃ（ｘ，ｙ）の移動速度とすることができる。この移動速度と、人間が移動できる通常の速度の限界に相当する閾値とを比較して、閾値以上であれば、人間では有り得ないと判定することができる。

以下、本発明の一例に係る画像センサ１の動作手順について、図４を参照しつつ説明する。
図４に、本発明の一例に係る画像センサ１の動作フローチャートを示す。
まず、撮像部２により、監視空間を撮影した撮像画像Ｉ（ｘ，ｙ）を取得する（ステップＳ０１）。

次に、撮像画像Ｉ（ｘ，ｙ）は画像処理部４へ送信され、背景画像Ｂ（ｘ，ｙ）との対応画素間の差分輝度値を表す差分画像Ｓ（ｘ，ｙ）を算出し、その差分画像Ｓ（ｘ，ｙ）に基づいて変動領域ｃ（ｘ，ｙ）が存在するか否かを判定する。変動領域ｃ（ｘ，ｙ）に含まれる総画素数Ｃｔｏｔａｌが、所定値Ｔｈｃ以上であれば、変動領域ｃ（ｘ，ｙ）が存在し、そうでなければ、変動領域ｃ（ｘ，ｙ）は存在しないと判定する。（ステップＳ０２）。変動領域ｃ（ｘ，ｙ）が存在しないと判定された場合、再度撮像画像を取得する。一方、変動領域ｃ（ｘ，ｙ）が存在すると判断された場合、変動領域ｃ（ｘ，ｙ）内の低輝度画素群ｌ（ｘ，ｙ）を抽出する（ステップＳ０３）。

次に、変動領域ｃ（ｘ，ｙ）内の重心と、低輝度画素群ｌ（ｘ，ｙ）の重心を求め、それらの距離ｄを算出する（ステップＳ０４）。
距離ｄが算出されると、その距離ｄと、変動領域ｃ（ｘ，ｙ）を楕円近似した外接矩形の長辺距離の１／２となるｒとの比に基づいて変動領域ｃ（ｘ，ｙ）の偏り度合いＲを算出する（ステップＳ０５）。

その後、変動領域ｃ（ｘ，ｙ）が背景画像の対応領域よりも暗いか否かを判定する。変動領域ｃ（ｘ，ｙ）が、背景画像の対応領域よりも明るい場合は、変動領域ｃ（ｘ，ｙ）は背景よりも反射率の高い移動物体として監視空間内に存在する可能性が高いため、この変動領域が外乱に起因するものか否かの判定を行わず、この変動領域が侵入者か否かの判定を必ず行う方が好ましいためである。この判定は、撮像画像内における変動領域内の各画素の輝度値と、背景画像Ｂ（ｘ，ｙ）における対応画素の輝度値との差分輝度値の平均値ｅａを算出し、ｅａが負の値となるか否かで判定する（ステップＳ０６）。ｅａ＜０の場合、変動領域ｃ（ｘ，ｙ）が外乱に起因する領域か否かの判定を行う（ステップＳ０７）．一方、ｅａ≧０の場合、変動領域ｃ（ｘ，ｙ）は、外乱に起因する領域ではないと判定され、移動体判定処理を行う（ステップＳ０８）。

変動領域が外乱に起因する領域か否かの判定（ステップＳ０７）においては、ステップＳ０５で算出した変動領域ｃ（ｘ，ｙ）中の低輝度画素群ｌ（ｘ，ｙ）の偏り度合いＲが、所定の閾値Ｔｈ２以上か否かを調べることによって、変動領域ｃ（ｘ，ｙ）が外乱に起因する領域か否かを判定する。偏り度合いＲが、所定の閾値Ｔｈ２以上の場合、変動領域は外乱に起因する領域ではないと判定され、その後移動体判定処理が行われる（ステップＳ０８）。一方、偏り度合いＲが、閾値Ｔｈ２未満の場合、変動領域ｃ（ｘ，ｙ）を外乱に起因する領域と判定する。そして、再度監視空間の撮像画像を取得する。

移動体判定処理（ステップＳ０８）では、変動領域ｃ（ｘ，ｙ）の大きさ、形状、及び移動の速さなどの情報を用いて、変動領域ｃ（ｘ，ｙ）が侵入者に起因するものか否かを判定する。変動領域ｃ（ｘ，ｙ）が侵入者に起因するものと判定された場合には、出力処理が行われ（ステップＳ０９）、画像センサの一連の処理手順が終了する。一方、変動領域ｃ（ｘ，ｙ）が、侵入者に起因するものでないと判定された場合には、再度監視空間の撮像画像を取得する。

上述した画像センサ１の動作手順において、変動領域ｃ（ｘ，ｙ）が背景画像Ｂ（ｘ，ｙ）の対応領域よりも暗いか否かを判定するステップ（ステップＳ０６）を、変動領域ｃ（ｘ，ｙ）が存在するか否かを判定するステップ（ステップＳ０２）の後で、変動領域ｃ（ｘ，ｙ）内の低輝度画素群ｌ（ｘ，ｙ）を抽出するステップ（ステップＳ０３）の前に行ってもよい。この場合、ステップＳ０６でＮｏと判定されればステップＳ０３に、Ｙｅｓと判定されれば外乱に起因する領域ではないと判定され、ステップＳ０８に進む。これにより、変動領域ｃ（ｘ，ｙ）が背景領域Ｂ（ｘ，ｙ）の対応領域よりも明るければ、変動領域内の偏り度合いを求める手順を省略することができる。

なお、本発明に係る画像センサは、上述した実施例に限るものではない。例えば、撮像部に使用するカメラとして、１００万画素、２００万画素などの高画素数のカメラを使用してもよく、カラー撮影可能なカメラを使用してもよい。さらに、撮像素子として、ＣＣＤの代わりに、Ｃ−ＭＯＳセンサを備えたカメラを使用することもできる。

また、画像処理部４においては、輝度以外の特徴量に基づいて変動領域中の偏り度合いを算出することができる。例えば、特徴算出部１２では、低輝度または高輝度の画素群を抽出する代わりに、濃度共起行列に基づくエントロピーなどのテクスチャ特徴量を算出して偏り度合いの算出に用いることができる。この場合、画素群抽出部２１では、変動領域中を複数の小領域に分割し、各小領域内のテクスチャ特徴量などをそれぞれ算出し、算出された特徴量が予め定めた閾値以上となるか否かで、各小領域を２つ以上の画素群に分類することができる。また、変動領域内における近傍画素間の輝度差に基づくエッジ分布と背景画像の対応領域における同様のエッジ分布との差や変動領域のテクスチャ特徴量と背景画像の対応領域におけるテクスチャ特徴量との差を用いて、この差が閾値以上となるか否かで変動領域を２つ以上の画素群に分類することができる。

さらに、偏差算出部２２では、偏り度合いの指数として、上述したＲの平方根、若しくは逆数を用いてもよい。さらに、変動領域を楕円近似する代わりに、単純に変動領域の上端座標ｔｐ、下端座標ｂｐ、左端座標ｌｐ、右端座標ｒｐを求め、点（ｌｐ，ｔｐ）を左上端、点（ｒｐ，ｂｐ）を右下端とする矩形で近似して、その矩形に基づいて偏り度合いＲの算出で使用する、変動領域の大きさに基づく値として上述のｒを求めてもよい。また、変動領域の総画素数をｒとしてもよい。一方、偏り度合いＲの算出で使用する距離ｄについて、例えば変動領域ｃ（ｘ，ｙ）を楕円近似して求めた楕円の中心点と、低輝度画素群ｌ（ｘ，ｙ）（若しくは高輝度画素群ｈ（ｘ，ｙ））を楕円近似して求めた楕円の中心点との距離を用いることができる。さらに、偏り度合いＲとして、変動領域ｃ（ｘ，ｙ）中の最も離れた２点間の距離と、低輝度画素群ｌ（ｘ，ｙ）中の最も離れた２点間の距離との比を用いてもよい。当然ながら、偏り度合いＲとして、ここに挙げた指標を用いる場合は、閾値Ｔｈ２もそれら指標に合わせて最適化する必要がある。いずれの指標を用いる場合にも、実験的に閾値Ｔｈ２を最適化することができる。

さらに、上記の例では、変動領域が外乱に起因するものか否かの判定に、変動領域中の異なる画像特徴を有する画素群の偏り度合いを使用したが、代わりとして、変動領域中の均質度合いを使用してもよい。この均質度合いと上記の偏り度合いとは、表裏一体の関係にあり、変動領域中の均質度合いを使用する場合、偏り度合いを使用する場合と逆に、均質度合いが高い程、変動領域は外乱に起因する可能性が高くなる。

本発明の一例に係る画像センサの機能ブロック図である。 本発明による、変動領域が外乱によるものか否かの判定の原理についての説明図である。 変動領域内の低輝度画素群の偏り度合いを説明する図である。 本発明の一実施形態における動作フローチャートである。 従来例の画像センサによる、監視空間内の人間有無判定処理の説明図である。

符号の説明

１ 画像センサ
２ 撮像部
３ 記録部
４ 画像処理部
５ 出力部
１１ 変動領域抽出部
１２ 特徴算出部
１３ 外乱判定部
１４ 移動体判定部
２１ 画素群抽出部
２２ 偏差算出部

Claims (5)

1. 撮像部にて取得される画像と過去の画像の差分から変動領域を抽出して、該変動領域が外乱により生じたものか否かを判定する画像センサであって、
   前記変動領域において所定の特徴量を有する画素群を抽出する画素群抽出部と、
   前記変動領域の大きさに対する、前記変動領域の重心位置と前記画素群の重心位置間の距離の比である前記変動領域における前記画素群の位置の偏り度合いを算出する偏差算出部と、
   前記偏り度合いが大きいと判定した場合、前記変動領域は外乱により生じたものでないと判定する外乱判定部と、
   を備えることを特徴とする画像センサ。
2. 前記画素群は、所定の閾値以下の輝度を有する低輝度画素又は所定の閾値以上の輝度を有する高輝度画素の何れか一方よりなる画素群である、請求項１に記載の画像センサ。
3. 前記画素群抽出部は、前記変動領域に含まれる画素を該変動領域の輝度平均値以下の閾値で２値化して、前記変動領域における低輝度画素を抽出し、該低輝度画素よりなる画素群を前記画素群として抽出する、請求項１または２に記載の画像センサ。
4. 前記外乱判定部は、前記変動領域が前記過去の画像における対応領域よりも低輝度であり、且つ前記偏り度合いが小さいと判定した場合に該変動領域を外乱により生じたものと判定し、前記変動領域が前記過去の画像における対応領域よりも高輝度である場合、又は、前記変動領域が前記過去の画像における対応領域よりも低輝度であり、且つ前記偏り度合いが大きいと判定した場合、該変動領域は外乱により生じたものではないと判定する、請求項２または３に記載の画像センサ。
5. 前記外乱判定部において前記変動領域が外乱により生じたものではないと判定されると、人らしさを表す判定基準に基づいて前記変動領域が移動物体により生じたものか否かを判定する移動物体判定部をさらに備える、請求項１〜４の何れか一項に記載の画像センサ。