JP4925942B2

JP4925942B2 - 画像センサ

Info

Publication number: JP4925942B2
Application number: JP2007169056A
Authority: JP
Inventors: 豊宮北
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2007-06-27
Filing date: 2007-06-27
Publication date: 2012-05-09
Anticipated expiration: 2027-06-27
Also published as: JP2009010594A

Description

本発明は、監視領域に進入した移動物体を検知する画像センサに関し、特に、監視領域を撮影した監視画像に写った強い光を認識する処理を利用して、その光を移動物体と誤認識することを防止できる画像センサに関する。

近年、セキュリティシステムにおいて、カメラ等の撮像装置によって撮像された画像を画像処理して侵入者を検出する画像センサが提供されている。このようなシステムでは、侵入者が写っていない基準となる背景画像を記憶しておき、随時撮像される監視画像と背景画像との背景差分処理によって差分画像を生成する。そして、この差分画像中において差分信号が所定値以上となる変化領域から求めた画像特徴量に基づいて、その変化領域が監視領域に侵入した移動物体によるものか、光や影等の移動物体以外の要因によるものかを判定する。

変化領域から求める画像特徴量としては、監視領域内に存在する物体のテクスチャの類似度が挙げられる。変化領域が外乱である光または影による場合、その変化領域に対応する監視画像と背景画像とにおいてテクスチャは類似する。
一方、移動物体が監視空間に元々存在する物体を遮蔽して生じた変化領域においては、監視空間に存在する物体のテクスチャは類似しない。したがって、物体のテクスチャの類似度の変化を利用すれば移動物体と外乱とを区別することができる。

例えば、特許文献１に開示された画像センサでは、背景差分処理により変化領域を抽出し、背景画像における変化領域に対応する領域のテクスチャと監視画像における変化領域に対応する領域のテクスチャとの類似度が高ければ光または影らしさを示す属性値を高く算出する。光属性値または影属性値が高い変化領域は外乱によるものと判定される。

特開２００１−２４３４７５号公報

しかしながら、夜間、車のヘッドライトやサーチライトなど、指向性を有する強い光が監視領域に差し込んだことによって発生する変化領域については、その変化領域に対応する監視画像と背景画像の領域のテクスチャの類似度が低い場合がある。例えば、ヘッドライトの強い光により監視画像中の一部の輝度値が画像のダイナミックレンジを超えて飽和して、光が照射された部分の濃淡変化が消失してしまったり、ヘッドライトの光による地面の凹凸等の影が濃くなって、その凹凸に相当するテクスチャが強調されることがある。このような場合には、ヘッドライトの光により発生した変化領域に対応する監視画像と背景画像の領域のテクスチャの類似度が低くなる。そのため光らしさを示す光属性値が低くなり、変化領域が光によるものとして判定されず、移動物体と判定されるという誤検出が発生する。

そこで、本発明の目的は、監視領域内に強い光が照射された場合でも、その光による誤検出を防止できる移動物体検知装置を提供することにある。
また本発明の他の目的は、監視画像内に写り込んだ光を検出する画像センサを提供することにある。

かかる課題を解決するための本発明は、一つの形態として、所定周期にて撮像した監視画像に基づいて、監視画像に写り込んだ光の可能性が高い画素を光候補画素として抽出する光候補画素抽出手段を有する画像センサを提供する。係る画像センサにおいて、光候補画素抽出手段は、所定周期で撮像された複数の監視画像間の対応する画素の輝度値が増加または減少しているか否かを判定する判定手段と、判定手段にて増加との判定の時間的な連続性または減少との判定の時間的な連続性に基づき累積変化度数を画素ごとに算出する累積変化度数算出手段とを有し、その累積変化度数が所定の閾値以上となる画素を光候補画素として抽出する。

また、本発明に係る画像センサにおいて、判定手段は、累積変化度数を求める対象の注目画素の近傍の少なくとも半数の画素の輝度値が増加または減少している場合にその注目画素の輝度値が増加または減少しているものと判定することが好ましい。

さらに、本発明に係る画像センサにおいて、累積変化度数算出手段は、判定手段が増加判定すると第１の所定値を加算し、減少判定すると第１の所定値より大きい第２の所定値を減算する正変化度数を計数する手段と、判定手段が減少判定すると第１の所定値を加算し、増加判定すると第１の所定値より大きい第２の所定値を減算する負変化度数を計数する手段とを有し、正変化度数と負変化度数の合計値を累積変化度数とすることが好ましい。

さらに、本発明に係る画像センサにおいて、累積変化度数算出手段は、正変化度数および負変化度数に下限値を設定し、複数の監視画像間の対応する輝度値が変化しない場合は、正変化度数および負変化度数から第３の所定値を減算することが好ましい。

また、本発明に係る画像センサは、移動物体が写っていない画像を背景画像として記憶する記憶部と、監視画像と背景画像とを差分処理して差分領域を抽出する差分領域抽出手段と、光候補画素の全部または一部が差分領域に含まれているとその差分領域が移動物体によるものである可能性を下げる移動物体判定手段とをさらに有することが好ましい。

本発明によれば、監視領域内に強い光が照射された場合でも、その光による誤検出を防止できる移動物体検知装置を提供することが可能となった。
また本発明によれば、監視画像内に写り込んだ光を検出する画像センサを提供することが可能となった。

以下、本発明にかかる移動物体検知装置を侵入者検知装置に適用した実施の形態について図を参照しつつ説明する。
本発明を適用した侵入者検知装置は、監視領域を撮影した監視画像と背景画像との差分領域に基づいて侵入者を検知する装置である。特に、この侵入者検知装置は、求めた差分領域について、ヘッドライトなど、ある程度指向性を有する強い光が照射された可能性を調べることにより、照射された光を侵入者と誤って検知することを防止するものである。

図１は、本発明を適用した侵入者検知装置１の全体システム構成を示す図である。図１に示すように、侵入者検知装置１は、撮像部２、通信部３、記憶部４、画像処理部５及び警報部６を有する。以下、侵入者検知装置１の各部について詳細に説明する。

撮像部２は、侵入者の検知を行う監視領域を撮影し、監視画像を取得する。そのために、撮像部２は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。また撮像部２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行う。ここで監視画像I(x,y)（ただし、ｘ、ｙは、それぞれ画像データ中の画素の水平座標、垂直座標を表す。以下同じ）は、各画素が例えば0〜255の輝度値を有するデジタル画像データとして表現される。撮像部２で取得された監視画像は、通信部３を通じて画像処理部５へ送られる。

通信部３は、画像処理部５と、撮像部２または外部の機器との間で各種の信号を送受信する入出力インタフェースであり、ＵＳＢ、ＳＣＳＩ、ＲＳ２３２Ｃ、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして通信部３は、撮像部２で取得された監視画像を画像処理部５へ送る。また、通信部３は、画像処理部５によって侵入者が検知されたことを示す異常発生信号を、警備装置または遠隔の監視センタ（図示せず）などに出力する。

記憶部４は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体で構成される。また記憶部４は、画像処理部５の動作を制御するソフトウェア、画像処理部５の各種処理で使用される情報、例えば、監視画像との比較対象となる過去の画像および各種閾値などを記憶する。そして記憶部４は、画像処理部５からの要求に応じて、必要な情報を提供する。

また記憶部４は、侵入者の無い状態で監視領域を撮影した監視画像を、侵入者検知の基準となる背景画像として記憶する。具体的には、侵入者検知装置１を設置したときなど、侵入者検知装置１が初期化された後、最初に撮影された監視画像を背景画像とする。また、侵入者検知装置１が稼動している間、時間経過による監視領域内の明るさの変化や、影の位置の変化に対応するため、一定周期ごとに、撮像部２で取得された監視画像のうち、背景差分領域がないと判定されたもの、あるいは、侵入者が検知されなかった監視画像を、背景画像として更新し、記憶部４に記憶してもよい。また、数フレーム（例えば５フレーム）にわたって取得された監視画像を平均化した画像を、背景画像としてもよい。

画像処理部５は、ＣＰＵまたは数値演算プロセッサなどの演算装置、および記憶部４からその演算装置で実行可能に読み込まれたソフトウェアなどで構成される。そして、画像処理部５は、撮像部２から取得した監視画像I(x,y)に基づいて、監視領域内に侵入者がいるか否かを判定する。

ここで、画像処理部５は、数フレームにわたって生じる輝度変化を参照することにより、監視画像中に生じた輝度変化が、ヘッドライトなどの光による可能性を調べる。
そこで、図２を参照しつつ、監視領域内にヘッドライトなどの光が照射された場合と、侵入者が存在する場合との輝度変化の違いを説明する。図２（ａ）は、照射された光の移動に伴う注目画素の輝度変化を示し、図２（ｂ）は、侵入者の移動に伴う注目画素の輝度変化を示す。まず、図２（ａ）に示すように、時刻ｔ〜（ｔ＋２）にかけて、監視領域を撮影した監視画像２０１内で、光２０２が左側から右側へ移動するものとする。通常、ヘッドライトのように、ある程度の指向性を持った強い光は、その中心が最も明るく、中心から離れるにつれて徐々に暗くなる。そのため、注目画素２０３における、時間経過に伴う輝度変化を調べると、図２（ａ）の下方に示したグラフ２０４のように、光２０２が注目画素２０３に近づくにつれて徐々に明るくなり、光２０２が注目画素２０３から離れるにつれて徐々に暗くなる。

一方、図２（ｂ）に示すように、時刻ｔ〜（ｔ＋２）にかけて、監視領域を撮影した監視画像２１１内で、侵入者２１２が左側から右側へ移動するものとする。この場合、監視画像２１１上では、侵入者２１２に相当する領域だけが、監視領域を照明する照明光の反射などにより輝度が変化する。そのため、注目画素２１３における、時間経過に伴う輝度変化を調べると、図２（ｂ）の下方に示したグラフ２１４のように、侵入者２１２と注目画素２１３が重なっている期間だけ明るくなる。そして、注目画素２１３に侵入者２１２が重なったとき、及び注目画素２１３と侵入者２１２が重ならなくなっときの注目画素２１２の輝度変化は急峻である。

このように、監視領域内に照射された光と侵入者とでは、経過時間と輝度変化との関係が異なっている。そこで、この関係を調べて侵入者の有無の判定に利用することにより、監視領域内に照射された光を侵入者と誤認識する可能性を低減できる。
そのために、画像処理部５は、侵入者の無い状態で監視領域を撮影した背景画像と監視画像との差分処理を行って背景差分領域を求め、その背景差分領域から、人らしさを表す人属性値を求める。一方、画像処理部５は、監視領域に照射された光により明るくなったと考えられる光候補画素を時間的に連続した輝度変化を調べることにより抽出し、背景差分領域にその光候補画素が含まれている割合に基づいて、光らしさを表す光属性値を求める。そして、画像処理部５は、人属性値と光属性値に基づいて、監視領域内に侵入者がいるか否かを判定する。なお、画像処理部５の個々の処理の詳細については後述する。

警報部６は、ＬＥＤ、ブザーなどで構成される。そして警報部６は、画像処理部５で侵入者が検知されると、ＬＥＤを点灯若しくは点滅させたり、ブザーを鳴らしたりして侵入者を検知したことを報知する。

以下、画像処理部５について詳細に説明する。図１に示すように、画像処理部５は、光候補画素抽出手段１０、背景差分領域抽出手段２０、ラベリング手段３０、トラッキング手段４０、特徴量算出手段５０及び侵入者判定手段６０を有する。

光候補画素抽出手段１０は、監視領域内において光が照射された領域に含まれると考えられる光候補画素を抽出する。上記のように、光が注目画素を通過する場合、時間経過に伴って、その注目画素の輝度値は、徐々に明るくなり、その後徐々に暗くなる。そこで、光候補画素抽出手段１０は、各画素の時間経過による輝度変化を、プラス変化カウンタとマイナス変化カウンタとして記憶していく。プラス変化カウンタは注目画素の輝度値が連続して明るくなるに連れてカウントアップするカウンタ（累積変化度数）で、マイナス変化カウンタは注目画素の輝度値が連続して暗くなるにつれてカウントアップするカウンタである。プラス変化カウンタ及びマイナス変化カウンタは、それぞれ監視画像の各画素に対応して設けられ、各々の画素位置の輝度変化に応じたポイントを加減算され、カウント結果が記憶部４に記憶される。そして、プラス変化カウンタとマイナス変化カウンタの加算値が、所定の閾値以上となった画素を、光候補画素とする。

図３に示したフローチャートを参照しつつ、光候補画素抽出手段１０の動作を説明する。光候補画素抽出手段１０は、まず、撮像部２から取得された最新の監視画像と記憶部４に記憶してある１フレーム前の監視画像間で互いに対応する画素同士の差分を算出し、フレーム間差分画像を生成する（ステップＳＴ０２１）。

光候補画素抽出手段１０は、ステップＳＴ０２１で生成したフレーム間差分画像の各画素について、その輝度値を所定の閾値Ｔｈ１と比較する。そして、光候補画素抽出手段１０は、輝度値がＴｈ１以上の画素、すなわち、１フレーム前と比較して明るくなった画素（プラス変化画素）を１、輝度値が−Ｔｈ１以下の画素、すなわち、１フレーム前と比較して暗くなった画素（マイナス変化画素）を−１、輝度値が−Ｔｈ１〜Ｔｈ１の間の画素、すなわち、輝度変化のない画素（変化なし画素）を０とした３値のプラスマイナス変化画像を生成する（ステップＳＴ０２２）。なお、所定の閾値Ｔｈ１は、例えば２とすることができる。

また上記のように、ヘッドライトのような光が注目画素上を通過する場合、そのような光はある程度の大きさを持った領域を照射するため、注目画素の周辺領域に含まれる画素についても、注目画素が明るくなるのとほぼ同時に明るくなり、注目画素が暗くなるのとほぼ同時に暗くなる。

そこで次に、光候補画素抽出手段１０は、ステップＳＴ０２２で生成したプラスマイナス変化画像について、輝度変化の方向が統一されている領域に含まれる画素だけをプラス変化画素、又はマイナス変化画素とするよう修正する（ステップＳＴ０２３）。
具体的には、プラス変化画素である注目画素の周辺画素（例えば８近傍）に、プラス変化画素が所定数以上（少なくとも半数。例えば４画素以上）なければ、光候補画素抽出手段１０は、注目画素を変化なし画素（画素値０）に修正する。なお、修正結果は、プラスマイナス変化画像を複製した、更新用プラスマイナス変化画像に反映する。

光候補画素抽出手段１０は、マイナス変化画素に関しても、プラス変化画素と同様に、マイナス変化画素のうちの注目画素の周辺画素（例えば８近傍）に、マイナス変化画素が所定数以上（少なくとも半数。例えば４画素以上）なければ、その注目画素に対応する更新用プラスマイナス変化画像の画素を変化なし画素（画素値０）に修正する。
光候補画素抽出手段１０は、全てのプラス変化画素及びマイナス変化画素について上記の処理を終えると、修正結果を反映した更新用プラスマイナス画像を改めてプラスマイナス変化画像として以降の処理に用いる。

次に、光候補画素抽出手段１０は、更新したプラスマイナス変化画像から、各画素に対するプラス変化カウンタの値とマイナス変化カウンタの値を更新する。そして、各画素のプラス変化カウンタ及びマイナス変化カウンタの値を加算し、閾値処理することで、光候補画素を抽出し、光候補画素の位置を表す光候補画素画像を生成する（ステップＳＴ０２４）。

図４に、上記のステップＳＴ０２４の処理の詳細を表すフローチャートを示す。まず、光候補画素抽出手段１０は、プラスマイナス変化画像上の任意の画素を注目画素に設定する（ステップＳＴ２４−１）。次に、光候補画素抽出手段１０は、注目画素がプラス変化画素か否か判定する（ステップＳＴ２４−２）。注目画素がプラス変化画素の場合、すなわち、注目画素の値が１の場合、光候補画素抽出手段１０は、その注目画素に対応するプラス変化カウンタの値を２カウントアップし、マイナス変化カウンタの値を４カウントダウンする（ステップＳＴ２４−４）。

一方、ステップＳＴ２４−２において、注目画素がプラス変化画素でない場合、光候補画素抽出手段１０は、注目画素がマイナス変化画素か否かを判定する（ステップＳＴ２４−３）。注目画素がマイナス変化画素の場合、すなわち、注目画素の値が−１の場合、光候補画素抽出手段１０は、注目画素に対応するプラス変化カウンタの値を４カウントダウンし、マイナス変化カウンタの値を２カウントアップする（ステップＳＴ２４−５）。一方、ステップＳＴ２４−３において、注目画素がマイナス変化画素でない場合、すなわち、注目画素の値が０の場合、光候補画素抽出手段１０は、輝度変化がない場合に光候補画素が残るのを避けるために、注目画素に対応するプラス変化カウンタ、マイナス変化カウンタの値を共に１カウントダウンする（ステップＳＴ２４−６）。

その後、光候補画素抽出手段１０は、輝度変化が長時間発生していない場合にプラス変化カウンタの値が極端に低下して、実際の光が照射されたときに光候補画素として抽出されなくなることを避けるために設定された下限値と、プラス変化カウンタの値を比較する（ステップＳＴ２４−７）。そして光候補画素抽出手段１０は、プラス変化カウンタの値が下限値を下回っている場合、プラス変化カウンタの値をその下限値（例えば０）に設定する（ステップＳＴ２４−８）。同様に、光候補画素抽出手段１０は、マイナス変化カウンタの値を下限値と比較する（ステップＳＴ２４−９）。そして光候補画素抽出手段１０は、マイナス変化カウンタの値が下限値を下回っている場合、マイナス変化カウンタの値をその下限値に設定する（ステップＳＴ２４−１０）。

次に、光候補画素抽出手段１０は、プラス変化カウンタとマイナス変化カウンタの合計を算出し、その合計値と所定の閾値Ｔｈ２とを比較する（ステップＳＴ２４−１１）。なお、所定の閾値Ｔｈ２は、例えば８とすることができる。そして、カウンタの合計値が閾値Ｔｈ２以上の場合、光候補画素抽出手段１０は、当該注目画素を光候補画素とする（ステップＳＴ２４−１２）。一方、ステップＳＴ２４−１１において、カウンタの合計値が閾値Ｔｈ２未満の場合、当該注目画素を光候補画素ではないとする（ステップＳＴ２４−１３）。なお、光候補画素か否かは、監視画像と同一の大きさを持つ２値画像である光候補画素画像で表され、注目画素が光候補画素である場合、光候補画素画像の対応する位置の画素値が１に設定され、その他の場合、画素値が０に設定される。

その後、光候補画素抽出手段１０は、全ての画素について上記のステップＳＴ２４−２〜ＳＴ２４−１３の処理を行ったか否かを調べる（ステップＳＴ２４−１４）。そして、それらの処理を行っていない画素が残っている場合、ステップＳＴ２４−１に処理を戻し、未処理の画素から新たな注目画素を設定する。一方、全ての画素についてそれらの処理が行われた場合、光候補画素抽出手段１０は、光候補画素の抽出を終了する。そして、光候補画素画像を、記憶部４に記憶する。

なお、各カウンタの増減値及び閾値Ｔｈ２は、実験または経験などにより、適切な値に調整される。また、ステップＳＴ２４−４及びＳＴ２４−５において、各カウンタの１フレーム当たりの増加値よりも、減少値を大きくしたことにより、輝度の変化が増加または減少の何れか一方で連続していないときはカウンタの値を急速にカウントダウンして、監視領域を通過する光以外の原因による輝度変化の抽出を防ぐことができる。また、カウントダウンを行う代わりに、カウンタの下限値（例えば０）を代入してもよい。
また、ステップＳＴ２４−６についても、各カウンタの値を１カウントダウンする代わりに、カウンタの下限値を代入してもよい。

さらに、プラス変化カウンタとマイナス変化カウントを別々に設定するのではなく、プラス方向及びマイナス方向の両方の輝度変化を一つの指標として表す変化カウンタを用意してもよい。この場合、光候補画素抽出手段１０は、１フレーム前において求めたプラスマイナス変化画像の注目画素がプラス変化画素であり、かつ現時刻で求めたプラスマイナス変化画像の対応する画素もプラス変化画素のとき、変化カウンタをカウントアップする。同様に、光候補画素抽出手段１０は、１フレーム前において求めたプラスマイナス変化画像の注目画素がマイナス変化画素であり、かつ現時刻で求めたプラスマイナス変化画像の対応する画素もマイナス変化画素のときにも、変化カウンタをカウントアップする。それ以外の場合は、光候補画素抽出手段１０は、変化カウンタをカウントダウンするか、若しくは下限値（例えば０）に設定する。
この場合、上記のステップＳＴ２４−１１では、プラス変化カウンタとマイナス変化カウンタの合計値の代わりに、変化カウンタの値を直接閾値Ｔｈ２と比較する。

理解を容易にするため、図５（ａ）〜（ｅ）を用いて、注目画素における、光が通過した際の輝度変化、各カウンタの値及び光候補画素に相当するか否かの判定結果の一例を示す。図５（ａ）は、監視画像の注目画素の輝度値変化を表す。横軸は時間（フレーム数）であり、便宜上、２フレームごとに区切ってある。また、縦軸は輝度値を表し、１目盛の値は２とする。グラフ５０１は、輝度値の時間変化を表す。図５（ｂ）は、プラス変化カウンタの値の時間変化を表し、図５（ｃ）は、マイナス変化カウンタの値の時間変化を表す。また図５（ｄ）は、プラス変化カウンタとマイナス変化カウンタの合計値の時間変化を表す。図５（ｂ）〜（ｄ）において、横軸は、時間（フレーム数）であり、図５（ａ）と対応している。また、縦軸は、各カウンタの値またはその合計値を表す。グラフ５０２〜５０４は、それぞれプラス変化カウンタ、マイナス変化カウンタ、及びそれらの合計値の時間変化を表す。図５（ｅ）は、各フレームにおいて注目画素が光候補画素に該当するか否かを表す。図５（ｅ）についても、横軸は時間（フレーム数）を表し、図５（ａ）と対応している。また各フレームに対応する数値が「１」のとき、注目画素が光候補画素であることを示し、その数値が「０」のとき、注目画素が光候補画素ではないことを示す。

以下、１フレーム目から順に、輝度変化及び各カウンタの値の変化を追っていく。図５（ａ）において、２フレーム目までは輝度変化なしだが、３〜１０フレーム（図中、５１０として表される）で輝度が徐々に高くなる。その後、１１〜１４フレームでは輝度変化がなく、１５〜２０フレーム（図中、５２０として表される）で輝度が徐々に低くなっている。２１フレーム以降は輝度変化はなしである。
図５（ｂ）に示すように、注目画素の輝度が徐々に高くなる３〜１０フレームの間、プラス変化カウンタの値５０２も２ずつ増加する。その後、注目画素の輝度が変化しない１１〜１４フレームの間、プラス変化カウンタの値５０２は１ずつ減少する。そして、注目画素の輝度が低くなる１５〜２０フレームでは、プラス変化カウンタの値５０２は−４ずつ急激に低下し、下限値に到達した以降、一定となる。
一方、図５（ｃ）に示すように、注目画素の輝度が一定または高くなる１４フレームまでは、マイナス変化カウンタの値５０３は下限値で一定である。そして、その輝度値が低下する１５〜２０フレームの間、マイナスカウンタの値５０３は２ずつ増加する。そして、その輝度値が一定となる２１フレーム以降、マイナスカウンタの値５０３は１ずつ減少する。
この結果、図５（ｄ）に示すように、両カウンタの合計値５０４は、注目画素の輝度値が上昇するにつれて増加し、６フレーム目で閾値Ｔｈ２以上となる。そして、プラス変化カウンタまたはマイナス変化カウンタの少なくとも一方が比較的大きな値を持つ２４フレーム目まで、その合計値５０４が閾値Ｔｈ２以上となる。
従って、図５（ｅ）に示すように、６フレーム以降２４フレームまで、注目画素は光候補画素となる。

図５の設定例では、プラス変化カウンタとマイナス変化カウンタの合計値に基づいて光候補画素を抽出するため、光が照射されている期間とほぼ等しい期間中、注目画素を光候補画素と判定することができる。しかし、カウンタの増減値または閾値Ｔｈ２を適切に調整することにより、プラス変化カウンタあるいはマイナス変化カウンタのみを用いて光候補画素の抽出を行うようにしてもよい。

背景差分領域抽出手段２０は、監視領域内に侵入した侵入者などによって、監視画像と背景画像との間で輝度変動を生じた背景差分領域を抽出する。そのために、背景差分領域抽出手段２０は、撮像部２から取得した最新の監視画像と背景画像の互いに対応する画素同士の差分値を算出し、差分画像を生成する。そして、背景差分領域抽出手段２０は、生成した差分画像に含まれる各画素の輝度値を所定のしきい値と比較して、輝度値の変動が閾値以上となる背景差分領域を抽出した差分２値画像Ｂ(x,y)を生成する。ここで、所定の閾値は、例えば、差分画像の輝度値に関して、最小値からの累積ヒストグラムが、差分画像全体の累積ヒストグラムに対して所定の比率（例えば、７０％）となったときの輝度値とすることができる。また所定の閾値は、差分画像の輝度値の平均値に、所定のバイアス値を加えた値としてもよい。

さらに、背景差分領域抽出手段２０は、モルフォロジー演算の膨張・収縮処理、または微小面積除外のフィルタリング処理を差分２値画像Ｂ(x,y)に対して行い、ノイズを除去することが好ましい。

ラベリング手段３０は、背景差分領域抽出手段２０で得られた差分２値画像Ｂ(x,y)に対してラベリング処理を行い、独立した背景差分領域、すなわち、互いに連結されない背景差分領域ごとにラベルを付す。なお、ラベリング処理は公知の技術を用いて行うことができるので、ここでは詳細な説明を省略する。その後、ラベリング手段３０は、独立した背景差分領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、ラベリング手段３０は、算出した面積が予め設定した面積閾値以上の背景差分領域を、以降の処理の対象となる「物体候補領域」として管理番号を付与して管理する。一方、ラベリング手段３０は、その面積が面積閾値未満の背景差分領域については、ノイズにより生じた領域と判断して削除し、以降の処理対象としない。
ラベリングされた差分２値画像Ｂ(x,y)は、人属性値及び光属性値の算出に用いるため、及び、次に取得された監視画像に対するトラッキング処理の基準とするために記憶部４に記憶される。

トラッキング手段４０は、最新の差分２値画像Ｂ_t(x,y)において注目する物体候補領域と、１フレーム前の時刻t-1に取得された監視画像から求めた差分２値画像Ｂ_t-1(x,y)に含まれる物体候補領域のうち、同一の物体によると考えられる物体候補領域を関係付ける。そのためにトラッキング手段４０は、最新の差分２値画像Ｂ_t(x,y)から、注目する物体候補領域の重心位置G_t(x,y)及び面積を求める。次に、トラッキング手段４０は、１フレーム前の差分２値画像Ｂ_t-1(x,y)に含まれる各物体候補領域mの重心G_mt-1(x,y)（ただし、mは各物体候補領域を表すラベル番号であり、例えば、m=1,2,..）及び面積を求める。そして、トラッキング手段４０は、G_t(x,y)と各G_mt-1(x,y)の距離ΔG_mを求める。トラッキング手段４０は、１フレーム前の差分２値画像Ｂ_t-1(x,y)に含まれる物体候補領域のうち、その距離ΔG_mの値が人の移動速度から想定される最大移動距離よりも小さく、且つその面積が注目する物体候補領域に最も近いものを、最新の差分２値画像Ｂ_t(x,y)の注目する物体候補領域と同一の物体によるものとし、それらの物体候補領域に同一の参照番号を付する。
なお、トラッキング手段４０は、他のトラッキング方法を用いて、同一の物体による、最新の監視画像に対する物体候補領域と過去に取得された監視画像に対する物体候補領域を関連付けてもよい。

特徴量算出手段５０は、ラベリング手段３０により監視対象とされた物体候補領域に対して、光候補画素抽出手段１０によって抽出された光候補画素の占める割合を、「光らしさ」を表す光属性値として算出する。具体的には、特徴量算出手段５０は、背景差分領域抽出手段２０で求めた差分２値画像と、光候補画素抽出手段１０で求めた光候補画素画像の対応画素同士で論理積を求め、注目する物体候補領域においてその論理積が１となった画素の数の合計を求める。そして、その合計を注目する物体候補領域に含まれる画素数で割った値を物体候補領域に占める光候補画素の割合を表す光属性値とする。この値は注目する物体候補領域に含まれる画素が全て光候補画素である場合１となり、注目する物体候補領域に含まれる何れの画素も光候補画素でない場合０となる。光属性値はその値が１に近いほど「光らしさ」の度合いも大きいことを表す。なお、物体候補領域が差分２値画像に複数個含まれる場合、特徴量算出手段５０は、各物体候補領域に対して光属性値を算出する。

また、特徴量算出手段５０は、物体候補領域に対して、「人らしさ」を表す人属性値を算出する。なお、物体候補領域が差分２値画像に複数個含まれる場合、特徴量算出手段５０は、各物体候補領域に対して人属性値を算出する。

特徴量算出手段５０は、異なる観点から「人らしさ」の度合いを表すパラメータを複数種類算出する。そして特徴量算出手段５０は、それら複数のパラメータを重み付けした後、加算または積算して求めた値を正規化することにより、人属性値を算出する。
ここで、特徴量算出手段５０は、「人らしさ」の度合いを表すパラメータとして、例えば、物体候補領域内のエッジの類似度、テクスチャの類似度などを算出する。以下、これらのパラメータの具体的な算出方法の例について説明する。なお、以下の例では、何れのパラメータについても、その値が大きいほど「人らしさ」の度合いも大きいことを表すものとする。

まず、物体候補領域内のエッジの類似度を表すパラメータについて説明する。特徴量算出手段５０は、注目する物体候補領域について、最新の監視画像と背景画像の対応する領域内で、エッジ画素の分布を調べる。そのために、特徴量算出手段５０は、注目する物体候補領域内の各画素について、例えばラプラシアンフィルタを用いてエッジ強度を算出したエッジ画像を求める。そして特徴量算出手段５０は、最新の監視画像について求めたエッジ画像のうち、所定以上のエッジ強度（例えば、５０）を有する画素の合計E_totalを求める。また特徴量算出手段５０は、最新の監視画像について求めたエッジ画像のうち、所定以上のエッジ強度を有する画素について、背景画像について求めたエッジ画像の対応する画素とのエッジ強度の差の絶対値を求める。そして特徴量算出手段５０は、エッジ強度の差の絶対値が所定の閾値（例えば、３０）以上である画素の累計値E_sを求める。そして、特徴量算出手段５０は、(1-E_s/E_total)を、エッジの類似度を表すパラメータの値とする。このパラメータの値は、注目する物体候補領域について、最新の監視画像のエッジ分布と背景画像のエッジ分布が異なるほど１に近づき、そのエッジ分布が似ているほど０に近づく。

次に、物体候補領域内のテクスチャの類似度を表すパラメータについて説明する。テクスチャの指標としては、例えば、輝度値のヒストグラムの中央値または最頻値、輝度分散値、フーリエパワースペクトルの所定周波数の強度、濃度共起行列の所定要素の値などを用いることができる。特徴量算出手段５０は、注目する物体候補領域について、最新の監視画像と背景画像の対応する領域のそれぞれについて、これらテクスチャの指標のうち、少なくとも一つについてその値を算出する。そして、特徴量算出手段５０は、監視画像について算出したテクスチャの指標値Tと、背景画像について算出したテクスチャの指標値T_Bとに基づいて、両者の値が一致するほど０に近い値となるような関数を用いて、テクスチャの類似度を表すパラメータの値を算出する。なお、上記の関数として、例えば、次に示すものを用いることができる。

ここでαは定数である。

特徴量算出手段５０は、上記のパラメータの他、例えば、輝度変化の極性分布、物体候補領域の形状及び面積などを基準としたパラメータを算出してもよい。
各パラメータ値を算出すると、特徴量算出手段５０は、各パラメータの値に対し、実験などに基づいて最適化した重み係数を用いて重み付けする。そして、特徴量算出手段５０は、その重み付けを行なった各パラメータの値を、加算または積算して求めた値を０〜１の範囲で正規化する。特徴量算出手段５０は、その正規化された値を人属性値とする。得られた人属性値は、１に近いほど、人である可能性が高いことを表す。また特徴量算出手段５０は、各パラメータの値から、ファジー推論に基づいて人属性値を求めるようにしてもよい。

侵入者判定手段６０は、特徴量算出手段５０で算出された人属性値及び光属性値に基づいて、物体候補領域が侵入者によるものか否かを判定する。そのために、侵入者判定手段６０は、所定数だけ連続したフレーム（例えば、５フレーム）にわたって、同一の物体によるものとしてトラッキング手段４０により関連付けられた物体候補領域について、求めた人属性値及び光属性値から算出した判定値が所定の閾値以上となるとき、その物体候補領域は侵入者によるものと判定する。そして、警報部６や、通信部３を通じて監視センタなどに異常発生信号を送信する。一方、判定値が所定の閾値以上となる連続フレーム数が、所定数未満であれば、侵入者判定手段６０は、その物体候補領域は侵入者によるものではないと判定する。
侵入者判定手段６０は、例えば以下の式にしたがって、その判定に用いる判定値を算出する。
判定値＝人属性値／（１＋光属性値）
また、所定の閾値は、用途に応じて実験的に定めることができる。なお、判定値の算出方法は、上記のものに限られない。例えば、（人属性値−光属性値）を判定値として用いてもよい。あるいは、侵入者判定手段６０は、人属性値と光属性値を直接判定値として用い、それぞれ別個に評価してもよい。この場合、例えば、人属性値が所定の閾値（例えば、０．８）より高く、光属性値が別個に定められた閾値（例えば、０．２）未満となるフレームが、所定数連続した場合、侵入者判定手段６０は、その物体候補領域は侵入者によるものと判定する。さらに、閾値を適切に調整することにより、上記の何れかの判定値が、１フレームでも閾値以上となったとき、侵入者判定手段６０は、物体候補領域が侵入者によるものと判定してもよい。

図６に示したフローチャートを参照しつつ、本発明を適用した侵入者検知装置１の動作を以下に説明する。
まず、侵入者検知装置１に電源が投入されると、撮像部２は、一定の時間間隔で監視領域を撮影し、監視画像を取得する。そして、撮像部２は、監視画像を通信部３を介して画像処理部５へ送信する（ステップＳＴ０１）。そして、画像処理部５は、取得した監視画像を、その取得時刻の順番にしたがって配列するように、記憶部４に記憶する。なお、侵入者検知装置１の起動直後など、背景画像が設定されていない場合、あるいは、背景画像が設定されてから一定時間を経過した場合、画像処理部５は取得した監視画像を背景画像として設定し、記憶部４に記憶する。
次に、画像処理部５は、光候補画素抽出手段１０において、光候補画素を抽出する（ステップＳＴ０２）。光候補画素の抽出の詳細については、上述したとおりである。

その後、画像処理部５は、背景差分領域抽出手段２０において、最新の監視画像と背景画像との対応画素間で差分を行い、輝度変動が相対的に大きい背景差分領域を抽出する（ステップＳＴ０３）。そして、画像処理部５は、ラベリング手段３０により、独立した背景差分領域のうち、所定以上の面積を持つ領域にラベルを付けて、物体候補領域とする（ステップＳＴ０４）。さらに、トラッキング手段４０により、同一の物体によると考えられる、最新の監視画像に対する物体候補領域と過去に取得された監視画像に対する物体候補領域を関連付ける（ステップＳＴ０５）。

次に、画像処理部５は、特徴量算出手段５０において、各物体候補領域について人属性値及び光属性値を算出する（ステップＳＴ０６）。そして、画像処理部５は、侵入者判定手段５０において、各物体候補領域について、人属性値及び光属性値に基づいて算出された判定値が所定の閾値以上となるフレーム数が所定数連続するか否かを判定することにより、その物体候補領域が侵入者によるものか否かを判定する（ステップＳＴ０７）。画像処理部５は、何れの物体候補領域についても、侵入者によるものではないと判定すると、処理をステップＳＴ０１へ戻し、監視を継続する。
一方、画像処理部５は、何れか一つの物体候補領域でも侵入者によるものと判定すると、警報部６へ異常発生信号を送信し、警報部６はその異常発生信号の受信に伴って、ＬＥＤの明滅、ブザー音の発振など、異常の報知を行う。また画像処理部５は、通信部３を介して、外部の警備装置または監視センタへ異常発生信号を送信する（ステップＳＴ０８）。そして、処理をステップＳＴ０１へ戻す。

以上説明してきたように、監視領域に車のヘッドライトのような指向性を持った強い光が照射された場合、その光の中心から離れるにつれて徐々に明るさが減少する。そのため、その光の接近または離反に伴って、輝度が徐々に変化する。そこで本発明を適用した侵入者検知装置１は、時間経過に伴って輝度が徐々に変化する画素を光候補画素として抽出する。そして、侵入者の可能性があるとして抽出した物体候補領域と、その光候補画素の重なり度合いなどに基づいて、物体候補領域が侵入者によるものか否かを判定するので、監視領域内に照射された光を侵入者と誤って検知することを防止できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。本発明は、車両、動物など、人以外の物体の監視領域内への侵入を検出するために使用してもよい。また、画像処理部５の光候補画素抽出手段１０を含んで、撮像部から取得した監視画像を処理して監視画像に写り込んだ光部分を抽出する画像センサとして使用してもよい。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明を適用した侵入者検知装置の機能ブロック図である。（ａ）は、照射された光の移動に伴う注目画素の輝度変化を表す概略図であり、（ｂ）は、侵入者の移動に伴う注目画素の輝度変化を表す概略図である。光候補画素を抽出する動作を示すフローチャートである。光候補画素を抽出する動作を示すフローチャートである。（ａ）〜（ｅ）は、注目画素の輝度変化と各カウンタ値の関係を示す図である。本発明を適用した侵入者検知装置の動作フローチャートである。

符号の説明

１侵入者検知装置
２撮像部
３通信部
４記憶部
５画像処理部
６警報部
１０光候補画素抽出手段
２０背景差分領域抽出手段
３０ラベリング手段
４０トラッキング手段
５０特徴量算出手段
６０侵入者判定手段

Claims

所定周期にて撮像した監視画像に基づいて、監視画像に写り込んだ光の可能性が高い画素を光候補画素として抽出する光候補画素抽出手段を有する画像センサであって、
前記光候補画素抽出手段は、
前記所定周期で撮像された複数の監視画像間の対応する画素の輝度値が増加または減少しているか否かを判定する判定手段と、前記判定手段にて増加との判定の時間的な連続性または減少との判定の時間的な連続性に基づき累積変化度数を画素ごとに算出する累積変化度数算出手段とを有し、
該累積変化度数が所定の閾値以上となる画素を前記光候補画素として抽出することを特徴とした画像センサ。
前記判定手段は、
前記累積変化度数を求める対象の注目画素の近傍の少なくとも半数の画素の輝度値が増加または減少している場合に該注目画素の輝度値が増加または減少しているものと判定する請求項１に記載の画像センサ。
前記累積変化度数算出手段は、
前記判定手段が増加判定すると第１の所定値を加算し、減少判定すると第１の所定値より大きい第２の所定値を減算する正変化度数を計数する手段と、
前記判定手段が減少判定すると第１の所定値を加算し、増加判定すると第１の所定値より大きい第２の所定値を減算する負変化度数を計数する手段とを有し、
前記正変化度数と前記負変化度数の合計値を前記累積変化度数とする、請求項１または２に記載の画像センサ。
前記累積変化度数算出手段は、
さらに前記正変化度数および前記負変化度数に下限値を設定し、
前記複数の監視画像間の対応する輝度値が変化しない場合は、前記正変化度数および前記負変化度数から第３の所定値を減算する請求項３に記載の画像センサ。
さらに、移動物体が写っていない画像を背景画像として記憶する記憶部と、
前記監視画像と前記背景画像とを差分処理して差分領域を抽出する差分領域抽出手段と、
前記光候補画素の全部または一部が前記差分領域に含まれていると当該差分領域が前記移動物体によるものである可能性を下げる移動物体判定手段とを有する請求項１〜４の何れか一項に記載の画像センサ。