JP3721071B2 - 侵入者検知システム - Google Patents
侵入者検知システム Download PDFInfo
- Publication number
- JP3721071B2 JP3721071B2 JP2000350257A JP2000350257A JP3721071B2 JP 3721071 B2 JP3721071 B2 JP 3721071B2 JP 2000350257 A JP2000350257 A JP 2000350257A JP 2000350257 A JP2000350257 A JP 2000350257A JP 3721071 B2 JP3721071 B2 JP 3721071B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- intruder
- fixed background
- previous
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理により侵入者を検知するシステムに関する。
【０００２】
【従来の技術】
画像処理による侵入者検知の手法は、カメラで撮影した最新画像と保持している背景画像との差分を取り、その差分画像を解析することで侵入者の有無を判定するものが一般的である。従来手法は、背景画像として何を用いるかにより、固定背景方式と連続背景更新方式の２種類に大別できる。
【０００３】
固定背景方式は、システム起動時等に撮影した画像を背景画像として保持し、その後背景画像の更新を行わずに同じ背景画像を利用する方式である。背景画像の取り込みは、侵入者が存在しないタイミングで行われる。
【０００４】
一方、連続背景更新方式は、前回の侵入者判定処理時の撮影画像を保持しておき、それを最新の撮影画像と比較して判定処理を行う方式である。すなわちこの場合、背景画像は前回の撮影画像である。ただし当然ながら、背景画像として採用されるのは、前回の判定処理時に侵入者無しと判定された場合に限る。この方式では、前回判定時からみて変化の起こった画像領域を抽出でき、その変化領域の情報を侵入者の判定処理に用いる。
【０００５】
【発明が解決しようとする課題】
固定背景方式は、変化の少ない環境の監視には有効な手法であり、例えば侵入者が静止していても、侵入者がいないときの固定背景との比較によりそれを安定して検知できる。しかしながら、この方式は、背景自体が変化するような環境での使用には適さない。例えば屋外の監視では、時間によって背景の輝度自体が変化してしまう。このように背景自体が変化する環境の監視では、固定背景方式を採用すると、侵入者有無の判定を含めシステム動作が不安定になるという問題があった。
【０００６】
これに対し、連続背景更新方式は、少し前に撮影した画像と最新画像を比較する方式なので、背景が時間経過に従って徐々に変化していく環境の監視には適している。しかしながら、この方式は、侵入者が静止していたり、あるいはその動きが非常に緩慢な場合には、前回画像との差分が小さくなるため、侵入者を見逃す可能性が大きい。また、この方式は、前回画像との単純な差分を用いているため、侵入者が検知できたとしても、その位置の特定精度はあまりよくない。なぜなら、この方式では、（１）前回撮影時には侵入者がいたが今回撮影時にはいなくなった領域と、（２）今回撮影時には侵入者がいるが前回撮影時には侵入者がいなかった領域、の両方が変化領域として同時に検出されるからである。
【０００７】
本発明は、このような従来技術の問題点に鑑みなされたものであり、従来の連続背景更新方式のように環境（背景）の変化に追従して安定的に侵入者判定ができるとともに、固定背景方式のように侵入者の位置を高精度に特定できるシステムを提供することを目的とする。また本発明は、監視領域内で静止した侵入者も検知できるシステムを提案する。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る侵入者検知システムは、固定背景画像を保持する手段と、前回の検知処理タイミングに監視カメラから取得した前回画像を保持する手段と、今回の検知処理タイミングに監視カメラから取得した最新画像を保持する手段と、最新画像及び前回画像について、それぞれ固定背景画像との差分の絶対値をとって固定背景差分画像を生成する手段と、最新画像についての固定背景差分画像から前回画像についての固定背景差分画像を差し引いて、移動物体の現在位置の部分が正の値を持つ差分画像を生成する差分画像生成手段と、前記差分画像の正の値を持つ部分を抽出する整流手段と、前記整流手段により抽出された前記差分画像の正の値を持つ部分に基づき侵入者を検知する手段とを備える。
【０００９】
また、好適な態様では、侵入者検知システムは、前回の検知処理タイミングにおいて検知した侵入者の画像内での存在場所に関する情報を保持する手段と、前記侵入者の画像内での前記存在場所について前記最新画像及び前回画像の相関を求め、その相関が所定値より高い場合に当該侵入者がその場所に静止していると判断する手段とをさらに備える。
【００１０】
また、別の好適な態様では、侵入者検知システムは、前記監視カメラの監視領域内に存在する既知の可動物体の存在領域を記憶する手段を備え、その存在領域を侵入者検知対象から外して処理を行う。
【００１１】
さらに別の態様では、前記差分画像に基づき侵入者を検知する手段は、前記差分画像を２値化し、その２値化結果の画像に現れる白画素塊を、当該画像内での人間のサイズの範囲ごに統合し、その統合結果ごとに侵入者か否かをを判定する。この態様において、白画素塊の統合を、前記２値化結果を前記画像内での人間のサイズに応じて低解像度化した低解像度画像を用いて行うことにより、処理を簡便に行える。
【００１２】
また、別の好適な態様では、予め設定された時間帯ごとに、それに対応する固定背景画像を保持し、今回の検知処理タイミングの時間帯に対応する固定背景画像を選択して用いる。
【００１３】
また、別の好適な態様では、明るさの異なる時点で撮影した複数の固定背景画像を保持し、それら複数の固定背景画像のうち、最新画像に対する類似性がもっとも高い固定背景画像を選択して用いる。
【００１４】
これらの態様によれば、監視期間を複数の区間に分けてそれぞれの区間で最適な固定背景画像を用いることができるので、監視期間における背景の明るさの変化幅が著しい場合などでも、請求項１の原理による侵入者検知を実行できる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１６】
一般に侵入者検知システムでは、所定の時間間隔（例えば１秒）ごとの侵入者検知処理の際に、今回監視カメラから最新の画像を取り込み、それを基準画像と比較して侵入者の有無を判定する。従来方式でいえば、基準画像として固定背景画像を用いるのが固定背景方式であり、前回の検知処理時の撮影画像を用いるのが連続背景更新方式である。これに対し、最新の撮影画像、前回撮影画像、及び固定背景の３つの画像を用いる。
【００１７】
本実施形態の侵入者検知処理の原理を説明する前に、説明の簡素化のために記号を導入する。まず、所定時間間隔ごとの侵入者検知処理時点で最新の原画像をＩ;t、前回検知処理時の原画像をＩ;t-1 と表す。ここで原画像とは、侵入者検知システム付属の監視カメラで得られた生のデジタル画像である。この画像に対し後述する各種の画像処理が施され、侵入者の有無やその位置などの各種判定が行われることになる。また、添え字ｔは検知処理タイミングの一連番号である。また、固定背景画像をＩ(B)と表す。また、画像Ｉ中の座標（ｘ，ｙ）の画素値はｙｘを下付き添え字で付加することにより表す。例えば、最新原画像Ｉ;tの座標（ｘ，ｙ）の画素値はＩyx;tとなる。なお、以下の処理では画像の輝度に注目するので、以下画像Ｉは輝度画像（グレースケール）であるものとする。監視カメラがカラーである場合は、そのカラー画像から輝度画像を生成した上で、以下に示す処理を実行する。
【００１８】
さて、従来の連続背景更新方式で侵入者位置の特定精度が悪かった理由は、最新原画像Ｉ;tと前回原画像Ｉ;t-1の差分画像において、最新の侵入者位置と前回の侵入者位置の両方が変化領域として検出されるためであった。ところが、このように両方が変化領域として検出されても、背景が暗く侵入者が明るいという限定された環境であれば、現在の侵入者位置が特定できる。この点について、図１を参照して説明する。
【００１９】
図１において、（ａ）は最新の原画像、（ｂ）は前回の原画像、（ｃ）は両者の差分の画像、すなわち｛（最新原画像）−（前回原画像）｝を示す。ここでは、背景１００及び移動物体（侵入者の候補）１１０はそれぞれ単一輝度とし、移動物体１１０は背景１００よりも輝度が高いものとする。最新原画像（ａ）と前回原画像（ｂ）では、移動物体１１０の位置が移動している。差分画像（ｃ）では、差分値ｄが正（ｄ＞０）の領域、負（ｄ＜０）の領域、ほぼ０（ｄ≒０）の領域ができる。ここで差分画像（ｃ）において、前回原画像では移動物体１１０がないが最新原画像では移動物体１１０がある位置ではｄ＞０であり、逆に前回原画像では移動物体１１０があったが最新原画像では移動物体１１０がなくなった位置ではｄ＜０となっている。上記条件が満たされれば、このような関係が維持される。したがって、差分画像（ｃ）において画素値が正になる部分が移動物体１１０と推定できる。なお、本実施形態のシステムでは、このように抽出した移動物体のうち、人間のサイズの範囲に収まるものを侵入者と判定する（詳細は後述）。
【００２０】
なお、この方法では移動物体の形状を完全に抽出することができない場合がある。例えば、移動物体の輝度が均一で移動速度が低い（すなわち前回の検知処理タイミングから今回までの移動距離が短い）場合には、移動物体の一部分しか抽出できない。しかしながら、このような場合でも、前回に移動物体があった位置を現在の移動物体の存在位置として誤検出することは防がれるので、メリットは大きい。
【００２１】
本実施形態では、このような限定された環境と同等な画像を作り出すのに固定背景方式を利用する。すなわち、最新原画像Ｉ;t及び前回原画像Ｉ;t-1から、固定背景画像Ｉ(B)をそれぞれ減算する。本システムが設置された環境が、背景の輝度変化の大きくないものであれば、各時点での撮影画像の背景部分と固定背景画像の対応部分と輝度差よりも、移動物体と固定背景画像との輝度差の方が一般に大きくなる。したがって、最新原画像と固定背景との差分｛Ｉ;t−Ｉ(B)｝、及び前回原画像と固定背景との差分｛Ｉ;t-1−Ｉ(B)｝のそれぞれについて絶対値をとれば、それら各絶対値画像は背景部分よりも移動物体の部分の方が高レベルとなった画像、すなわち、背景が暗く移動物体が明るい画像、が得られる。これら絶対値画像同士の差をとれば、前述した原理のように、現検知処理タイミングでの移動物体の位置が正の値、前回の移動物体の位置が負の値、前回も今回もともに背景であった部分がほぼ０値、となる画像が得られる。ここで、絶対値画像同士の差の負値の部分の値を強制的に０に変更すれば、現在の移動物体の存在する部分のみが正の値となり、その他の部分がほぼ０となる画像が得られる。このようにして、現処理タイミングにおける移動物体（すなわち侵入者の候補）を求めることができる。
【００２２】
このような侵入者検出手法の処理を図２の回路図を参照して説明する。この図は、上記原理に従った処理をわかりやすく説明するために、概念的な回路として示したものであり、実際にはこの回路機能はコンピュータソフトウエアとして構築することが一般的であろう。ただし、この回路機能をハードウエア回路として構築することももちろん可能である。この回路システムには、最新原画像Ｉ;t、前回原画像Ｉ;t-1、固定背景画像Ｉ(B)の画像信号がそれぞれ入力される。サブトラクタ（引算器）１２０ａは最新原画像が固定背景を差し引き、サブトラクタ１２０ｂは前回原画像から固定背景を差し引く。絶対値演算器１２５ａ，１２５ｂは、サブトラクタ１２０ａ，１２０ｂから出力される引算結果の絶対値を求めて出力する。サブトラクタ１３０は、絶対値演算器１２５ａの出力信号から絶対値演算器１２５ｂの出力を差し引く。このサブトラクタ１３０の出力は、整流器１３５を通ることにより、信号の負レベルの部分が０レベルとなる。したがって、整流器１３５の出力信号は、移動物体に対応する部分のみが正レベルで、他の部分がほぼ０に近いレベルの信号となる。これが出力画像Ｄである。この出力画像信正レベルの部分が、侵入者の候補となる移動物体を表していると考えられる。
【００２３】
以上の処理は次のような数式で表現できる。
【００２４】
【数１】
【数２】
すなわち、上記式（１）では、原画像と固定背景画像について、画素ごとに差分及び絶対値演算が行われる。この演算で得られる画像ｄを固定背景差分画像と呼ぶことにする。この演算を最新原画像及び前回原画像の両方について行い、固定背景差分画像ｄ;t、ｄ;t-1を求める。式（２）では、これら両者の差（ｄ;t−ｄ;t-1）が画素ごとに計算され、さらに半波整流処理が行われる。この結果得られる画像Ｄでは、移動物体の現在の存在領域が正レベルで、他の部分が０となる。この画像Ｄを差分画像と呼ぶことにする。
【００２５】
そして、本実施形態では、このようにして求められた差分画像Ｄに対し、２値化やラベリングなどの画像処理を施すことにより、移動物体を表す画像部分を切り出し、その大きさなどから、それが侵入者であるか否かを判定する。なお、この処理の詳細は、後に後述する。
【００２６】
以上、背景が時々刻々変化する場合でも、現時点での侵入者の位置を求める方法の概要を説明した。この方法を用いれば、侵入者が移動していれば、それを検出してその現在位置を求めることができる。ところが、侵入者が静止してしまうと、上記の方法では侵入者を検出できなくなる。そこで、本実施形態のシステムでは、静止している侵入者を検知するための手法を実装している。以下、この手法について説明する。
【００２７】
侵入者は、今現在静止しているとしても、監視領域に侵入してその位置に来るまでの間に、上述した移動物体の検知手法により必ず検知されているはずである。そして、侵入者が静止している場合、前回の検知処理タイミングにおいて上述の手法で検出された侵入者と同じ場所にいる。このような知見に基づき、本実施形態では、前回検知タイミングで侵入者が検出されている場合に、その侵入者を表す画像領域について、前回原画像と最新原画像の相関値を計算し、その相関値が所定のしきい値以上の場合（すなわち前回原画像と最新原画像がある程度以上似ている場合）に、侵入者がその場所で静止していると判定する。
【００２８】
図３は、この侵入者静止判定処理の概念を説明するための図である。この図の例は、前回の検知タイミングで撮影した前回原画像にて２人の侵入者１４０ａ，１４０ｂが検出され、今回の検知タイミングでは侵入者１４０ａは前回の位置に止まっており、侵入者１４０ｂは前回の位置から動いている場合を示している。この場合、今回の検知タイミングにおける静止侵入者検知のためには、前回原画像及び最新原画像の中に、前回原画像での各侵入者１４０ａ，１４０ｂの存在領域それぞれのバウンディングボックス（ｘ、ｙ軸に平行な辺からなり、存在領域を取り囲む最小の矩形）を、相関処理領域１４２ａ，１４２ｂとしてそれぞれ設定する。そして、相関処理領域１４２ａと１４２ｂのそれぞれについて、前回原画像における当該領域の画像と最新原画像における当該領域の画像との相関値を計算する。この例では、相関処理領域１４２ａについては相関値が大きくなり、相関処理領域１４２ｂについては相関値が小さくなる。これにより、前回検知タイミングに相関処理領域１４２ａにいた侵入者は、今回のタイミングでもその場所に居続け、静止していると判定できる。
【００２９】
以上、本実施形態の侵入者検知の主要なポイントについて説明した。次に、本実施形態のシステム構成及び処理内容について詳細に説明する。
【００３０】
図４を参照して、本実施形態の侵入者検知システムのソフトウエア的なシステム構成を説明する。この画像処理機構では、前述した最新原画像１５０，前回原画像１５２、及び固定背景画像１５４の３つの画像に加え、処理領域マスク１５６が用いられる。処理領域マスク１５６は、監視領域内に存在する可動物体（例えば風によって揺れる可能性のある枝や木の葉の部分）を侵入者検知処理から除くためのマスク画像である。侵入者検知処理部１６０は、これら各画像１５０〜１５６を用いて、各検知タイミングにて侵入者の検知処理を行う処理モジュールである。侵入者検知処理部１６０は、典型的には、以下に説明する処理内容を記述したプログラムを、侵入者検知装置のＣＰＵで実行することにより実現される。侵入者検知処理パラメータ１６２は、この検知処理で用いられる各種パラメータである。侵入者情報格納領域１６４は、侵入者検知処理部１６０が検出した侵入者の情報などを保持しておく記憶領域である。そして、作業領域１６６は、侵入者検知処理部１６０が検知処理を行う際に利用する記憶領域である。なお、処理領域マスク１５６や侵入者検知処理パラメータ１６２，侵入者情報格納領域１６４の内容や利用の仕方については、後述する処理手順の説明の際にあわせて説明する。
【００３１】
次に、このシステムの処理手順について、図５を参照して説明する。
【００３２】
システムに電源を投入したあと最初に到来した検知タイミングでは、前回原画像が存在しないので、今回のタイミングで撮影した原画像を前回原画像Ｉ;t-1にセットする（Ｓ１０）。その後に続く処理ステップＳ１２〜Ｓ３６のループは、検知タイミングが到来するごとに繰り返し実行される処理である。
【００３３】
この処理ループでは、まずＳ１２では、今回の検知タイミングにて監視カメラで撮影された原画像を最新原画像Ｉ;tにセットする。
【００３４】
次に侵入者静止判定処理を実行する（Ｓ１４）。この静止判定処理の概要についてはすでに図３を参照して説明したが、ここではさらに図６のフローチャートを参照してその手順を説明する。この処理手順では、侵入者情報格納領域１６４に格納されているすべての侵入者情報について、Ｓ４０〜Ｓ４４の処理を実行する。ここで、侵入者情報格納領域１６４には、後述するＳ３０の侵入者判定処理で検出された各侵入者ごとに、その侵入者の存在領域その他の情報が格納されており（詳細は後述）、ここではそれら各侵入者ごとに静止判定が繰り返されることになる。まず、この繰り返し処理の最初では、判定対象に選んだ侵入者の画像のバウンディングボックス（相関処理領域）について、前回原画像Ｉ;t-1と最新原画像Ｉ;tとの間の画像の相関値が計算される（Ｓ４０）。相関値Ｒは次式から計算される。
【００３５】
【数３】
ここで、座標（ｘ0，ｙ0）及び（ｘ1，ｙ1）は、それぞれ相関処理領域（バウンディングボックス）の左上隅及び右下隅の頂点の座標を示している。この相関値Ｒは、正規化相関係数と呼ばれ、０≦Ｒ≦１の範囲の値をとる。そして、任意の定数λ（≠０）に関し、矩形領域のすべての画素（ｘ，ｙ）についてＩyx;t＝λＩyx;t-1が成り立つ場合にのみ、Ｒ＝１となる。すなわち、最新原画像と前回原画像との間で、相関処理領域内の各対応画素が比例関係の画素値を持っている場合に、Ｒ＝１となる。そして、このように求めた相関値Ｒをあらかじめ定めた規定値と比較し（Ｓ４２）、相関値Ｒが規定値より小さい場合は、現在判定対象としている侵入者情報を侵入者情報格納領域１６４から削除する（Ｓ４４）。この場合、前回検知された侵入者は移動しているはずなので、このステップで侵入者情報を削除しても、その侵入者はこの後のＳ３０（詳細は後述）の侵入者判定処理にて改めて検知されることになる。一方、Ｓ４２の判定で相関値Ｒが規定値以上の場合は、当該侵入者情報の削除は行わない。これにより、前回検知タイミングで検出された侵入者が静止している場合は、その旨を検知して、その静止している侵入者の侵入者情報を格納領域１６４内に残すことができる。すなわち、静止している侵入者は、Ｓ３０の侵入者判定処理では検知されないが、この静止判定処理により検知することができる。この静止判定処理は、侵入者情報格納領域１６４に登録されているすべての侵入者情報について行われるので、前回検知タイミングの終了時点で検知されているすべての侵入者について、静止しているか否かが判定でき、静止している場合にはそれを格納領域１６４から削除しないようにすることができる。なお、電源投入後、最初の侵入者が検知されるまでは、侵入者情報格納領域１６４は空なので、この侵入者静止判定処理は実質的には行われない。なお、侵入者静止の判断基準となる相関値のしきい値（規定値）は、例えば０．９９５などの大きい値とし、侵入者検知処理パラメータ１６２に予め登録しておく。
【００３６】
再び図５の説明に戻り、静止判定処理が終わると、次に差分画像Ｄを求める（Ｓ１６）。この差分画像Ｄは、図２を用いて説明した処理操作により得られる、現在の移動物体の領域を抽出した画像である。Ｓ１６において、Diff（）は、最新原画像Ｉ;t、前回原画像Ｉ;t-1及び固定背景Ｉ(B)から、前述の式（１）及び（２）で表される演算処理により差分画像Ｄを求める処理操作を表している。
【００３７】
差分画像Ｄが求められると、次にその差分画像Ｄに対し２値化処理を施す（Ｓ１８）。Ｓ１８においてBinr()は２値化演算を表す。この２値化演算では、差分画像Ｄの各画素ごとに、画素値（輝度）を２値化しきい値と比較し、画素値がそのしきい値を越える場合はその画素に白、すなわち２値のうちの“１”を割り当て、それ以外の場合はその画素に黒、すなわち“０”の値を割り当てる。この２値化処理は、移動物体部分とそれ以外の部分とを２値で区別できるようにするために行う。
【００３８】
この２値化処理において、移動物体部分と他の部分と正しく区別するには、２値化しきい値を画像全体の輝度に応じて適切に設定する必要がある。このため、本実施形態では、判別分析法（大津の方法）を用いることにより、最適なしきい値を動的に計算する。ただし、この判別分析法は、入力画像によらず必ずしきい値を算出するので、移動物体が存在しない画像でもその画像に応じた２値化しきい値を算出してしまい、その結果移動物体がないにもかかわらず２値化処理により白になる部分が現れる場合がある。本実施形態では、このようなことを防ぐため、差分画像Ｄに移動物体がない場合には判別分析法により求めたしきい値を用いず、予め設定しておいた固定しきい値を用いる。すなわち、移動物体がない場合には、差分画像Ｄの導出手順（式（１）、（２）等参照）から分かるように、差分画像Ｄは全画素がほぼ０に近い小さい値となるので、判別分析法で求められる２値化しきい値も０に近い小さい値となる。そこで、判別分析法で求めたしきい値をその固定しきい値と比較し、固定しきい値の方が大きい場合には、固定しきい値の方を２値化しきい値として採用する。このような２値化しきい値制御により、移動物体がない場合に白画素が生じることを防止することができる。固定しきい値の値は、侵入者検知処理パラメータ１６２に予め登録しておく。なお、固定しきい値は、例えば、１画素８ビット（すなわち画素値が０〜２５５の整数）の画像で昼間の場合には３０程度に設定する。
【００３９】
しかしながら、２値化処理（Ｓ１８）で白画素として抽出されるのは、侵入者の候補となる厳密な意味での移動物体のみとは限らない。例えば、監視領域内の草木などの可動物体が風などで揺れた場合には、その部分が白画素となることもあるし、画像取り込み処理の際のハードウエアのノイズによって白画素が生じる場合もある。また、カメラ自体が揺れれば、監視領域全体がカメラに対して相対的に動いたことになり、白画素が生じる。これらは、侵入者検知という観点から見ればいずれもノイズであり、正確な判定のためにこれらノイズの除去が求められる。本実施形態では、このようなノイズに対する対策の一環として、まずマスク処理（Ｓ２０）及び収縮・膨張処理（Ｓ２２）を行う。
【００４０】
マスク処理（Ｓ２０）は、監視領域内にある草木等の既知の可動物が侵入者として検出されてしまうのを防止するための処理である。すなわち、既知可動物の存在領域自体は予め分かっているので、この処理では、２値画像Ｂ上の既知可動物の存在領域をマスクで覆ってしまうことで、それが動いても白画素として抽出されないようにする。マスク処理のための演算では、２値画像Ｂと、予め用意した処理領域マスクＭ（図４では処理領域マスク１５６）との論理積（＆）を求める。マスクＭは、既知可動物の存在領域の各画素を黒（０）に、それ以外の部分を白（１）にした画像である。この論理積演算により、２値画像Ｂ上で既知可動物の部分に白画素があったとしても、その部分はマスクにより値が０（黒）になる。
【００４１】
収縮・膨張処理（Ｓ２２）は、ハードウエアノイズやカメラの揺れなどによるノイズを除去するための処理である。これらの原因によるノイズは、たいていの場合、せいぜい１画素程度の点状であったり、１〜２画素程度の幅のライン状であったりすることが多い。そこで、この収縮・膨張処理（Ｓ２２）では、まずマスク処理済みの画像Ｂ1に対して収縮処理を施す。収縮処理では、白画素の各塊を１画素幅ずつ狭める（黒画素部分を広げると言ってもよい）。この処理により、２画素幅の白画素のラインや点は消えてしまう。次に、この逆の操作（すなわち膨張処理）を行うことで、消えてしまった細いラインや点以外の大きな白画素塊は収縮前の状態に戻る。
【００４２】
なお、この収縮をＮ回繰り返した後、膨張をＮ回行う用にすれば、２Ｎ画素幅の白画素の点やラインを除去することができる。ノイズが大きい場合には、収縮、膨張の繰り返し回数Ｎを大きく設定すればよい。この回数Ｎの値は、ノイズ除去レベルとして、侵入者検知処理パラメータ１６２に登録することができる。
【００４３】
膨張・収縮処理（ConExp()）が終わると、その結果得られた画像Ｂ2 も対してラベリング処理を行って、白画素群を連結成分の塊に分けて整理する（Ｓ２４）。ラベリング処理には、公知の様々な手法があり、本実施形態は基本的にそのいずれを用いてもよい。ラベリングにより、白画素の各塊（連結成分）ごとに、異なるラベルが割り当てられる。例えば、本出願人が特願平１２−８７８３号で提案した高速ラベリング手法を用いた場合、ラベリング処理を高速に行うことができるとともに、生成された白画素塊の位置や面積、重心位置など幾何学的情報を同時に求めることができる。この手法の詳細については、上記公開公報を参照されたい。
【００４４】
ラベリングが終わると、次に、ノイズ除去の一環として、小面積の白画素塊の除去処理を行う（Ｓ２６）。この処理では、ラベリングした白画素塊のうち、予め登録された面積（例えば１０平方画素）未満のもののラベリングを無効にする。ラベリングを無効とされた白画素塊は、以降の処理では無視される。これにより、ノイズの可能性の高い小面積の白画素塊を除去することができる。
【００４５】
次に、ラベルが付与された各白画素塊の統合処理を行う（Ｓ２８）。監視カメラの画像から１人の侵入者が１つの白画素塊として抽出されることは少なく、一般には、頭や胴、四肢といった部位ごとに異なる塊として抽出されることが多い。そこで、この統合処理では、それら１人の侵入者を構成すると考えられる複数の塊を互いに関連づけて１つにまとめる。この処理で統合するのは、画像内での互いの距離が所定のしきい値以下である塊である。この統合処理の基準となる距離のしきい値は、監視カメラの画像の中に映る人物のサイズに応じて定め、侵入者検知処理パラメータ１６２に予め設定しておく。例えば、監視カメラの撮影画像が水平６４０画素×垂直４８０画素であり、監視領域の幅が１０ｍである場合、１ｍの幅は約６４画素に相当する。したがって、この場合、水平方向には肩幅相当の２０画素程度のしきい値、垂直方向には胴体長さ相当の６０画素程度のしきい値をそれぞれ設定すれば、分離抽出された１人の侵入者の各部位を１つに統合することができる。なお、この例では、統合処理のための距離のしきい値を、水平方向及び垂直方向のそれぞれについて定め、登録しているが、これはあくまで一例である。
【００４６】
具体的な統合の方法としては、画像の解像度を落とす方法を用いる。ここで、解像度変換による統合の原理を以下に説明する。
【００４７】
水平Ｗ画素×垂直Ｈ画素の２値画像Ｂの座標（ｘ，ｙ）の画素値をＢyxと標記し、白画素は値“１”、黒画素は値“０”であるとする。この２値画像Ｂにラベリングを施して得たラベル画像Ｌを、水平方向の距離しきい値２ｕx、垂直方向の距離しきい値２ｕyを用いて統合する場合を考える。この統合処理のため、まず元の２値画像Ｂから、解像度を落とした２値画像ｂを生成する。低解像度２値画像ｂは、
【数４】
のサイズになる。ここで、
【数５】
は、実数ａの小数部を切り上げて整数化した値である。なお、低解像度化に当たり、元の画像Ｂの外側（すなわちｘ≧Ｗ、ｙ≧Ｈ）は、画素値を０（黒）とする。低解像度画像ｂを求める演算は、ξ＝０，１，２，…，ｗ−１、η＝０，１，２，…，ｈ−１として、次のように表される。
【００４８】
【数６】
この演算は、元の２値画像Ｂをｕx×ｕy個のメッシュに分割し、その画像Ｂの中で、低解像度画像ｂ上の座標（ξ，η）に対応するメッシュの中の各画素の値Ｂyxの論理和をとる処理を表している。すなわち、メッシュの中に１つでも“１”（白）があれば、低解像度画像の当該メッシュに対応する画素の値も“１”になる。
【００４９】
そして、この低解像度化処理により得られた低解像度画像ｂに対してラベリングを行う。このラベリングの結果得られたラベル画像ｌの各画素の値ｌhxを用いて、元の２値画像Ｂに対応するラベル画像Ｌの各画素の値を修正する。この修正の演算式を次に示す。
【００５０】
【数７】
ここで、演算、
【数８】
は、実数ａの小数部を切り捨てて整数化する処理である。
【００５１】
以上説明した式（６）、（７）等によるラベル修正により、１人の侵入者を構成すると考えられる各白画素塊に対して同じラベルが割り当てられる。以上の処理は、厳密な意味では上述した水平及び垂直方向のしきい値判定とは異なっているものの、得られる修正ラベル画像Ｌは厳密な処理によって得られるものに近いものとなっている。そしてなによりも、この近似的な手法は、厳密な処理よりも計算コストが大幅に少ないという点で大きな利点を有する。
【００５２】
図７に、この統合処理の結果の一例を示す。この例では、統合処理前のラベル画像２００は８連結ラベリング処理によるものである。低解像度ラベル画像２１０は、元の画像２００の２×３画素を１画素にしており、４連結ラベリングによりラベルを付与した結果である。そして、統合処理結果２２０では、元の解像度の画像の各白画素に対し、低解像度ラベル画像２１０の対応画素と同じラベルが設定されている。
【００５３】
このように同一ラベルを付与されて統合された塊（以下「統合塊」という）について、重心や面積などの幾何学的情報を計算することもできる。面積は、同一ラベルを持つ画素の数を計数すればよいし、重心はそれら各画素の座標の平均をとることにより求めることができる。また、侵入者静止判定や後述する侵入者判定の際の相関処理のために、統合塊のバウンディングボックスを求めることもできる。これには、同一ラベルを持つ画素のｘ、ｙ座標それぞれの最小値及び最大値を求めればよい。また、前述の本出願人が特願平１２−８７８３号で提案した手法を用いて予め個々の塊の重心等が求められている場合は、これを情報を利用して統合塊の重心等をより高速に求めることができる。これには、例えば同じ侵入者の一部を構成する塊同士が同じラベルで統合されるのに併せて、元は塊単位で求められていた面積や重心、左上隅座標、右下隅座標などを、同一ラベルの塊群での値に更新するわけである。例えば、ラベルｎとｍが付与されていた塊が統合されてラベルＮの統合塊となった場合、その統合塊Ｎの左上隅座標（ｘN (UL)，ｙN (UL)）、右下隅座標（ｘN (LR)，ｙN (LR)）、面積ＳN、重心座標（ｘN (G)，ｙN (G)）は、それぞれ次のように求めることができる。
【００５４】
【数９】
なお、この統合処理の最後に、求めた各統合塊の面積をチェックし、予め登録された上限値を超える面積の統合塊があった場合には、監視カメラの揺れ等による画像異常と判断して、以降の侵入者検知処理を取りやめる。監視カメラの揺れ等はノイズ処理においても取り上げたが、ノイズ処理が対象とするのは比較的小さい揺れであるのに対し、ここでは、何らかの原因によりもっと大きな揺れ等が生じた場合を対象とする。このように大きな揺れが生じた場合、監視領域各部のカメラに対する相対移動量はきわめて大きくなるので、ノイズとして除去されなくなり、侵入者と誤認識される可能性がでてくる。ところが、このような場合、ほぼ画面全体が前回の位置から移動することになるので、白画素として抽出される面積は非常に大きくなる。そこで、このことを利用して、統合塊の面積が所定の上限値より大きい場合は、侵入者ではなく、カメラの揺れに起因するものと判断するわけである。なお、この判断の基準として用いる上限値は、監視カメラの画像内で侵入者が通常とりうる面積の範囲より大きく定める。この上限値は、侵入者検知処理パラメータ１６２に登録しておく。
【００５５】
統合処理が終わると、次に、その統合結果を用いて侵入者判定処理を実行する（Ｓ３０）。侵入者判定処理の詳細を図８に示す。この処理では、統合処理で求められた各統合塊ごとに、Ｓ５０〜Ｓ５６の処理により、その統合塊が侵入者であるか否かを判定する。
【００５６】
Ｓ５０では、統合塊が侵入者（人間）らしい面積を持っているかどうかを判定する。例えば前述した水平幅１０ｍの監視領域を６４０×４８０画素の画像として撮影する例の場合、身長１７０ｃｍ、肩幅５０ｃｍの人物の画像を囲むバウンディングボックスの面積は理論的には３８４０平方画素程度となる。ただし、実際には、本実施形態では移動部分のみを抽出して２値化しており、また侵入者の全身がカメラによってとらえられるとは限らないので、統合塊の面積がもっと小さくなる可能性も大いにある。逆に、侵入者が荷物を持っていたり、複数人の侵入者が接近していたりする場合には、統合塊の面積がその理論値よりも大きくなることもあり得る。このようなことから、Ｓ５０の判断基準は、上記理論値から比較的余裕を持った幅にすることが望ましい。例えば、理論値の２５〜２００％（８７０〜６９６９平方画素）を、侵入者と判断する面積の範囲とするなどである。この侵入者と判断する面積の範囲は、侵入者検知処理パラメータ１６２に予め登録しておく。
【００５７】
Ｓ５０の判定で、統合塊が侵入者らしい面積を持っていない（ＦＡＬＳＥ）と判定された場合、この統合塊は侵入者でない可能性が極めて高いので、これについてはなにも行わず、次の統合塊の処理に移行する。
【００５８】
Ｓ５０の判定で統合塊が侵入者らしい面積を持っている（ＴＲＵＥ）と判定された場合、次にその統合塊のバウンディングボックスの内部について、最新原画像Ｉ;tと前回原画像Ｉ;t-1の相関を演算する（Ｓ５２）。
【００５９】
ここでの相関演算にも、上述の式（３）を用いる。この相関演算は、照明の変化（屋内監視の場合）や急激な天候変化（屋外監視の場合）などの場合に、侵入者でないものを侵入者と判定することを防ぐための処理である。すなわち、本実施形態では、移動物体を抽出するのに最新原画像Ｉ;tと前回原画像Ｉ;t-1の輝度差をみているため（式（１）、（２）参照）、天候や照明状況の急変により監視領域内の既存物体（侵入者以外）の輝度が変化した場合、それが差分画像Ｄ中に抽出されてしまう。ところが、このような既存物体は動かないので、最新原画像と前回原画像とで、その物体の画像は、輝度は変わっても全体的なパターンはほとんど変わらない。したがって、このような場合、式（３）により求めた相関値はきわめて１に近い値になる。そこで、注目している統合塊について求めた相関値が高ければ、その統合塊は侵入者でないと判断するようにする。
【００６０】
したがって、以降の手順では、Ｓ５２で求めた相関値が予め登録しておいた規定値より小さいか否かを判定し（Ｓ５４）、相関値が規定値より小さい場合にのみ、当該統合塊が侵入者であると判断し、その統合塊の情報を侵入者情報格納領域１６４に格納する（Ｓ５６）。なお、判断基準となる規定値は、例えば０．９９５などの高い値であり、予め侵入者検知処理パラメータ１６２に登録しておく。なお、この規定値は、静止判定処理（Ｓ１２）で用いた規定値と兼用することもできるし、それらを別々に登録することもできる。Ｓ４６で侵入者情報格納領域１６４に格納する情報は、その侵入者の統合塊の幾何学的情報（面積、重心、バウンディングボックスの定義情報など）などである。このように格納された侵入者情報は、次の検知処理タイミングでの侵入者静止判定などに利用される。また、Ｓ５４で相関値が規定値以上であった場合、注目している統合塊は侵入者でないと判断され、侵入者情報の登録は行われない。
【００６１】
以上説明したＳ５０〜Ｓ５６の処理が、統合処理Ｓ２８で求められたすべての統合塊に対して完了すると、侵入者判定処理（Ｓ３０）が完了する。すると、再び図５のメインルーチンの処理に戻り、侵入者情報格納領域１６４が空でないか判定する（Ｓ３２）。そして、格納領域１６４が空でなければ、すなわち格納領域１６４に侵入者情報が格納されていれば、侵入者が検知されたと判定し、警報出力や監視者への通知などの処理を実行する（Ｓ３４）。一方、格納領域１６４が空であれば、侵入者はいないので、通知処理は行わない。
【００６２】
以上の処理が終了すると、最新原画像Ｉ;tを前回原画像Ｉ;t-1にコピーした上で、Ｓ１２に戻って次の検知処理タイミングの処理に移行する。
【００６３】
以上本実施形態における侵入者検知処理を説明したが、処理の安定性を向上させるために、Ｓ１２で最新原画像Ｉ;tを取得した後で、その原画像の平均輝度レベルを求め、その平均輝度レベルが、予め想定していた範囲からはずれた場合には、その処理タイミングにおけるＳ１４以降の処理動作をスキップするようにすることも好適である。すなわち、侵入者検知が可能な画像輝度の上限値及び下限値を予め侵入者検知処理パラメータ１６２に登録しておき、取得した原画像の平均輝度がその上限値以上、または下限値以下になると、以降の処理を取りやめる。これにより、明るすぎたり暗すぎたりするときに無理に侵入者検知処理を行うことを防止し、侵入者の誤検出を低減できる。
【００６４】
次に、以上説明した侵入者検知処理を実行する侵入者検知装置の一例を、図９を参照して説明する。図４は、処理に用いるデータの観点から説明したシステム構成図であったのに対し、この図９はよりハードウエアよりの図となっている。この例では、監視カメラが撮影した画像がＮＴＳＣ映像信号の形で侵入者検知装置３００に入力される。装置３００内の画像取込部３０２は、侵入検知処理部１６０からの制御指示に従ってＮＴＳＣ映像信号を取り込み、その信号をＡ／Ｄ変換してフレームメモリ３０４に書き込む。ランダムアクセスメモリ３０８には、最新原画像や前回原画像が記憶されるとともに、それら両画像を用いた侵入者検知処理の際の途中の計算結果が保持され、さらにその検知処理の結果得られた侵入者情報が保持される。すなわち、ランダムアクセスメモリ３０８は、図４における最新原画像１５０及び前回原画像１５２の保持部、作業領域１６６、及び侵入者情報格納領域１６４として機能する。侵入者検知処理部１６０は、フレームメモリ３０４に取り込んだ画像（最新原画像）をランダムアクセスメモリ３０８に展開し、その原画像と既にメモリ３０８内に保持されている前回原画像とから、前述した処理を行うことにより、侵入者検知を行う。このときに参照される固定背景画像１５４や処理領域マスク１５６、侵入者検知処理パラメータ１６２は、不揮発性メモリ３０６に保持されており、電源断などが起こってもある程度の期間は失われないようになっている。システムアプリケーション３１０は、各種侵入者検知パラメータの設定など、オペレータからの操作を受け付けたり、あるいはネットワークを介した他の装置との通信処理を行ったりする機能モジュールである。侵入者検知処理部１６０は、侵入者を検知すると（Ｓ３４）、その旨をシステムアプリケーション３１０に通知する。すると、システムアプリケーション３１０は、警報装置制御信号を発して警報装置を作動させたり、所定の場所に設置された上位システム（監視センタのホストなど）に侵入者情報を通知したりする。この通知の際に、画像伝送処理部３１２を駆動して、その際の最新原画像などを圧縮して上位システムへ伝送することもできる。
【００６５】
以上、本発明の好適な実施の形態を説明した。以上説明したように、本実施形態によれば、最新原画像、前回原画像及び固定背景画像を組み合わせることにより、移動物体の現在位置の部分の輝度が高く、それ以外の部分の輝度がほぼ０に近い差分画像Ｄを作成するので、この差分画像Ｄから移動物体の位置を精度よく特定できる。この方式では、１秒程度という短い時間間隔の最新画像と前回画像の差分をとるので、従来の連続背景更新方式と同様、背景の明るさの変化の影響を受けずに安定した検知処理を行える。
【００６６】
また本実施形態では、差分画像Ｄにより検出した移動物体部分（２値画像Ｂの白画素の塊）群を、人の大きさを基準として統合した上で、統合により得られた統合塊について侵入者か否かを判定するので、撮影状況により侵入者の身体の各部が分離して抽出された場合でも、それらを統合して侵入者と判断することができる。
【００６７】
また、本実施形態では、前回の検知処理の際に侵入者を検知した領域について、最新原画像と前回原画像の相関をとることにより、侵入者が静止している場合でもそれを検出することができる。
【００６８】
また、本実施形態では、監視領域内に草木等の可動物体が存在することが分かっている場合、その物体の存在領域を覆うマスクを設定し、その領域については侵入者検知の処理を行わないので、草木等の揺れを侵入者と誤認識することを防止できる。
【００６９】
なお、以上説明した実施形態のシステムは、背景の輝度変化の幅が著しくない環境（すなわち、侵入者の画像と固定背景との輝度差が、撮影した画像の背景と固定背景の輝度差よりも大きいことが想定できる環境）での運用を想定したものであり、そのような条件が満たされる運用環境であれば、時間経過に伴って背景の明るさが変化しても安定して侵入者を検知できる。
【００７０】
ところが、屋外で２４時間監視を行う場合などでは、昼と夜、朝夕などで背景の明るさが著しく異なる。このような場合にも侵入者検知を可能にするためには、工夫が必要になる。以下、このような背景の変化幅が大きい場合に対応可能な変形例を説明する。
【００７１】
この変形例の基本的な考え方は、例えば昼、夜、朝、夕など、明るさの異なる各時点ごとに、その時点の監視領域を撮影した固定背景画像１５４を用意し、検知処理の際、その時点で適切な固定背景画像１５４を選択して利用するというものである。検知処理の際の固定背景画像１５４の選択には、いくつかの方法がある。
【００７２】
まず１つの方法は、監視期間を複数の時間帯に分け、時間帯ごとに利用する固定背景画像を設定しておくという方法である。侵入者の画像と固定背景画像との輝度差が、撮影した画像の背景とその固定背景画像の輝度差よりも大きくなるという条件が満足されるよう、時間帯を分割し、その時間帯に対応する固定背景画像を用意する。この方法では、各検知処理タイミングにおいて、現在時刻に該当する時間帯の固定背景画像を選択して用いる。また、季節ごとに同じ時間でも背景の明るさは異なるので、時間帯の分割や、各時間帯に用いる固定背景画像を、季節ごとに定めておくことも好適である。
【００７３】
また固定背景画像の選択方法の別法として、撮影した原画像（最新原画像）にもっともよく似た固定背景画像を選択するという方法もある。類似性は、例えば画像同士の２乗偏差で測定できる。この場合、各固定背景画像と最新原画像との２乗偏差をそれぞれ求め、その２乗偏差がもっとも小さい固定背景画像を選択する。最新原画像Ｉ(B)と固定背景画像のＩ;tの２乗偏差Ｖは、次式で求めることができる。
【００７４】
【数１０】
ここで、Ｈ，Ｗは、それぞれ画像の高さと幅（単位：画素）である。このように、検知処理時に撮影した原画像に対して類似性の高い固定背景を選択するという方法では、個々の検知処理の際の処理量は多くなるものの、時間帯をチェックする必要がなく、また季節の移り変わりに応じて時間帯と固定背景を変えるなどの処理も不要になるという利点がある。なお、この方法でも、侵入者の画像と固定背景画像との輝度差が、撮影した画像の背景とその固定背景画像の輝度差よりも大きくなるという条件を満足するのに十分な種類の固定背景画像を用意する。
【００７５】
以上説明した変形例のシステムによれば、背景の明るさの変化幅が著しい監視環境でも、上記実施形態で説明した効果が得られる。
【図面の簡単な説明】
【図１】 特定条件が満たされる場合の、最新の原画像と前回の原画像との差分の性質を説明するための図である。
【図２】 移動物体抽出の原理を説明するための図である。
【図３】 相関演算による侵入者静止判定の処理を説明するための図である。
【図４】 実施形態の侵入者検知システムをデータの観点から示した図である。
【図５】 実施形態の侵入者検知処理の全体的な手順を示すフローチャートである。
【図６】 侵入者静止判定処理の手順を示すフローチャートである。
【図７】 解像度低下を利用した白画素塊の統合処理を説明するための図である。
【図８】 統合された白画素塊に対する侵入者判定の処理手順を説明するための図である。
【図９】 実施形態の侵入者検知装置の機能モジュール構成を示す図である。
【符号の説明】
１５０ 最新原画像、１５２ 前回原画像、１５４ 固定背景画像、１５６ 処理領域マスク、１６０ 侵入者検知処理部、１６２ 侵入者検知処理パラメータ、１６４ 侵入者情報格納領域、１６６ 作業領域。
【発明の属する技術分野】
本発明は、画像処理により侵入者を検知するシステムに関する。
【０００２】
【従来の技術】
画像処理による侵入者検知の手法は、カメラで撮影した最新画像と保持している背景画像との差分を取り、その差分画像を解析することで侵入者の有無を判定するものが一般的である。従来手法は、背景画像として何を用いるかにより、固定背景方式と連続背景更新方式の２種類に大別できる。
【０００３】
固定背景方式は、システム起動時等に撮影した画像を背景画像として保持し、その後背景画像の更新を行わずに同じ背景画像を利用する方式である。背景画像の取り込みは、侵入者が存在しないタイミングで行われる。
【０００４】
一方、連続背景更新方式は、前回の侵入者判定処理時の撮影画像を保持しておき、それを最新の撮影画像と比較して判定処理を行う方式である。すなわちこの場合、背景画像は前回の撮影画像である。ただし当然ながら、背景画像として採用されるのは、前回の判定処理時に侵入者無しと判定された場合に限る。この方式では、前回判定時からみて変化の起こった画像領域を抽出でき、その変化領域の情報を侵入者の判定処理に用いる。
【０００５】
【発明が解決しようとする課題】
固定背景方式は、変化の少ない環境の監視には有効な手法であり、例えば侵入者が静止していても、侵入者がいないときの固定背景との比較によりそれを安定して検知できる。しかしながら、この方式は、背景自体が変化するような環境での使用には適さない。例えば屋外の監視では、時間によって背景の輝度自体が変化してしまう。このように背景自体が変化する環境の監視では、固定背景方式を採用すると、侵入者有無の判定を含めシステム動作が不安定になるという問題があった。
【０００６】
これに対し、連続背景更新方式は、少し前に撮影した画像と最新画像を比較する方式なので、背景が時間経過に従って徐々に変化していく環境の監視には適している。しかしながら、この方式は、侵入者が静止していたり、あるいはその動きが非常に緩慢な場合には、前回画像との差分が小さくなるため、侵入者を見逃す可能性が大きい。また、この方式は、前回画像との単純な差分を用いているため、侵入者が検知できたとしても、その位置の特定精度はあまりよくない。なぜなら、この方式では、（１）前回撮影時には侵入者がいたが今回撮影時にはいなくなった領域と、（２）今回撮影時には侵入者がいるが前回撮影時には侵入者がいなかった領域、の両方が変化領域として同時に検出されるからである。
【０００７】
本発明は、このような従来技術の問題点に鑑みなされたものであり、従来の連続背景更新方式のように環境（背景）の変化に追従して安定的に侵入者判定ができるとともに、固定背景方式のように侵入者の位置を高精度に特定できるシステムを提供することを目的とする。また本発明は、監視領域内で静止した侵入者も検知できるシステムを提案する。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る侵入者検知システムは、固定背景画像を保持する手段と、前回の検知処理タイミングに監視カメラから取得した前回画像を保持する手段と、今回の検知処理タイミングに監視カメラから取得した最新画像を保持する手段と、最新画像及び前回画像について、それぞれ固定背景画像との差分の絶対値をとって固定背景差分画像を生成する手段と、最新画像についての固定背景差分画像から前回画像についての固定背景差分画像を差し引いて、移動物体の現在位置の部分が正の値を持つ差分画像を生成する差分画像生成手段と、前記差分画像の正の値を持つ部分を抽出する整流手段と、前記整流手段により抽出された前記差分画像の正の値を持つ部分に基づき侵入者を検知する手段とを備える。
【０００９】
また、好適な態様では、侵入者検知システムは、前回の検知処理タイミングにおいて検知した侵入者の画像内での存在場所に関する情報を保持する手段と、前記侵入者の画像内での前記存在場所について前記最新画像及び前回画像の相関を求め、その相関が所定値より高い場合に当該侵入者がその場所に静止していると判断する手段とをさらに備える。
【００１０】
また、別の好適な態様では、侵入者検知システムは、前記監視カメラの監視領域内に存在する既知の可動物体の存在領域を記憶する手段を備え、その存在領域を侵入者検知対象から外して処理を行う。
【００１１】
さらに別の態様では、前記差分画像に基づき侵入者を検知する手段は、前記差分画像を２値化し、その２値化結果の画像に現れる白画素塊を、当該画像内での人間のサイズの範囲ごに統合し、その統合結果ごとに侵入者か否かをを判定する。この態様において、白画素塊の統合を、前記２値化結果を前記画像内での人間のサイズに応じて低解像度化した低解像度画像を用いて行うことにより、処理を簡便に行える。
【００１２】
また、別の好適な態様では、予め設定された時間帯ごとに、それに対応する固定背景画像を保持し、今回の検知処理タイミングの時間帯に対応する固定背景画像を選択して用いる。
【００１３】
また、別の好適な態様では、明るさの異なる時点で撮影した複数の固定背景画像を保持し、それら複数の固定背景画像のうち、最新画像に対する類似性がもっとも高い固定背景画像を選択して用いる。
【００１４】
これらの態様によれば、監視期間を複数の区間に分けてそれぞれの区間で最適な固定背景画像を用いることができるので、監視期間における背景の明るさの変化幅が著しい場合などでも、請求項１の原理による侵入者検知を実行できる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１６】
一般に侵入者検知システムでは、所定の時間間隔（例えば１秒）ごとの侵入者検知処理の際に、今回監視カメラから最新の画像を取り込み、それを基準画像と比較して侵入者の有無を判定する。従来方式でいえば、基準画像として固定背景画像を用いるのが固定背景方式であり、前回の検知処理時の撮影画像を用いるのが連続背景更新方式である。これに対し、最新の撮影画像、前回撮影画像、及び固定背景の３つの画像を用いる。
【００１７】
本実施形態の侵入者検知処理の原理を説明する前に、説明の簡素化のために記号を導入する。まず、所定時間間隔ごとの侵入者検知処理時点で最新の原画像をＩ;t、前回検知処理時の原画像をＩ;t-1 と表す。ここで原画像とは、侵入者検知システム付属の監視カメラで得られた生のデジタル画像である。この画像に対し後述する各種の画像処理が施され、侵入者の有無やその位置などの各種判定が行われることになる。また、添え字ｔは検知処理タイミングの一連番号である。また、固定背景画像をＩ(B)と表す。また、画像Ｉ中の座標（ｘ，ｙ）の画素値はｙｘを下付き添え字で付加することにより表す。例えば、最新原画像Ｉ;tの座標（ｘ，ｙ）の画素値はＩyx;tとなる。なお、以下の処理では画像の輝度に注目するので、以下画像Ｉは輝度画像（グレースケール）であるものとする。監視カメラがカラーである場合は、そのカラー画像から輝度画像を生成した上で、以下に示す処理を実行する。
【００１８】
さて、従来の連続背景更新方式で侵入者位置の特定精度が悪かった理由は、最新原画像Ｉ;tと前回原画像Ｉ;t-1の差分画像において、最新の侵入者位置と前回の侵入者位置の両方が変化領域として検出されるためであった。ところが、このように両方が変化領域として検出されても、背景が暗く侵入者が明るいという限定された環境であれば、現在の侵入者位置が特定できる。この点について、図１を参照して説明する。
【００１９】
図１において、（ａ）は最新の原画像、（ｂ）は前回の原画像、（ｃ）は両者の差分の画像、すなわち｛（最新原画像）−（前回原画像）｝を示す。ここでは、背景１００及び移動物体（侵入者の候補）１１０はそれぞれ単一輝度とし、移動物体１１０は背景１００よりも輝度が高いものとする。最新原画像（ａ）と前回原画像（ｂ）では、移動物体１１０の位置が移動している。差分画像（ｃ）では、差分値ｄが正（ｄ＞０）の領域、負（ｄ＜０）の領域、ほぼ０（ｄ≒０）の領域ができる。ここで差分画像（ｃ）において、前回原画像では移動物体１１０がないが最新原画像では移動物体１１０がある位置ではｄ＞０であり、逆に前回原画像では移動物体１１０があったが最新原画像では移動物体１１０がなくなった位置ではｄ＜０となっている。上記条件が満たされれば、このような関係が維持される。したがって、差分画像（ｃ）において画素値が正になる部分が移動物体１１０と推定できる。なお、本実施形態のシステムでは、このように抽出した移動物体のうち、人間のサイズの範囲に収まるものを侵入者と判定する（詳細は後述）。
【００２０】
なお、この方法では移動物体の形状を完全に抽出することができない場合がある。例えば、移動物体の輝度が均一で移動速度が低い（すなわち前回の検知処理タイミングから今回までの移動距離が短い）場合には、移動物体の一部分しか抽出できない。しかしながら、このような場合でも、前回に移動物体があった位置を現在の移動物体の存在位置として誤検出することは防がれるので、メリットは大きい。
【００２１】
本実施形態では、このような限定された環境と同等な画像を作り出すのに固定背景方式を利用する。すなわち、最新原画像Ｉ;t及び前回原画像Ｉ;t-1から、固定背景画像Ｉ(B)をそれぞれ減算する。本システムが設置された環境が、背景の輝度変化の大きくないものであれば、各時点での撮影画像の背景部分と固定背景画像の対応部分と輝度差よりも、移動物体と固定背景画像との輝度差の方が一般に大きくなる。したがって、最新原画像と固定背景との差分｛Ｉ;t−Ｉ(B)｝、及び前回原画像と固定背景との差分｛Ｉ;t-1−Ｉ(B)｝のそれぞれについて絶対値をとれば、それら各絶対値画像は背景部分よりも移動物体の部分の方が高レベルとなった画像、すなわち、背景が暗く移動物体が明るい画像、が得られる。これら絶対値画像同士の差をとれば、前述した原理のように、現検知処理タイミングでの移動物体の位置が正の値、前回の移動物体の位置が負の値、前回も今回もともに背景であった部分がほぼ０値、となる画像が得られる。ここで、絶対値画像同士の差の負値の部分の値を強制的に０に変更すれば、現在の移動物体の存在する部分のみが正の値となり、その他の部分がほぼ０となる画像が得られる。このようにして、現処理タイミングにおける移動物体（すなわち侵入者の候補）を求めることができる。
【００２２】
このような侵入者検出手法の処理を図２の回路図を参照して説明する。この図は、上記原理に従った処理をわかりやすく説明するために、概念的な回路として示したものであり、実際にはこの回路機能はコンピュータソフトウエアとして構築することが一般的であろう。ただし、この回路機能をハードウエア回路として構築することももちろん可能である。この回路システムには、最新原画像Ｉ;t、前回原画像Ｉ;t-1、固定背景画像Ｉ(B)の画像信号がそれぞれ入力される。サブトラクタ（引算器）１２０ａは最新原画像が固定背景を差し引き、サブトラクタ１２０ｂは前回原画像から固定背景を差し引く。絶対値演算器１２５ａ，１２５ｂは、サブトラクタ１２０ａ，１２０ｂから出力される引算結果の絶対値を求めて出力する。サブトラクタ１３０は、絶対値演算器１２５ａの出力信号から絶対値演算器１２５ｂの出力を差し引く。このサブトラクタ１３０の出力は、整流器１３５を通ることにより、信号の負レベルの部分が０レベルとなる。したがって、整流器１３５の出力信号は、移動物体に対応する部分のみが正レベルで、他の部分がほぼ０に近いレベルの信号となる。これが出力画像Ｄである。この出力画像信正レベルの部分が、侵入者の候補となる移動物体を表していると考えられる。
【００２３】
以上の処理は次のような数式で表現できる。
【００２４】
【数１】
【００２５】
そして、本実施形態では、このようにして求められた差分画像Ｄに対し、２値化やラベリングなどの画像処理を施すことにより、移動物体を表す画像部分を切り出し、その大きさなどから、それが侵入者であるか否かを判定する。なお、この処理の詳細は、後に後述する。
【００２６】
以上、背景が時々刻々変化する場合でも、現時点での侵入者の位置を求める方法の概要を説明した。この方法を用いれば、侵入者が移動していれば、それを検出してその現在位置を求めることができる。ところが、侵入者が静止してしまうと、上記の方法では侵入者を検出できなくなる。そこで、本実施形態のシステムでは、静止している侵入者を検知するための手法を実装している。以下、この手法について説明する。
【００２７】
侵入者は、今現在静止しているとしても、監視領域に侵入してその位置に来るまでの間に、上述した移動物体の検知手法により必ず検知されているはずである。そして、侵入者が静止している場合、前回の検知処理タイミングにおいて上述の手法で検出された侵入者と同じ場所にいる。このような知見に基づき、本実施形態では、前回検知タイミングで侵入者が検出されている場合に、その侵入者を表す画像領域について、前回原画像と最新原画像の相関値を計算し、その相関値が所定のしきい値以上の場合（すなわち前回原画像と最新原画像がある程度以上似ている場合）に、侵入者がその場所で静止していると判定する。
【００２８】
図３は、この侵入者静止判定処理の概念を説明するための図である。この図の例は、前回の検知タイミングで撮影した前回原画像にて２人の侵入者１４０ａ，１４０ｂが検出され、今回の検知タイミングでは侵入者１４０ａは前回の位置に止まっており、侵入者１４０ｂは前回の位置から動いている場合を示している。この場合、今回の検知タイミングにおける静止侵入者検知のためには、前回原画像及び最新原画像の中に、前回原画像での各侵入者１４０ａ，１４０ｂの存在領域それぞれのバウンディングボックス（ｘ、ｙ軸に平行な辺からなり、存在領域を取り囲む最小の矩形）を、相関処理領域１４２ａ，１４２ｂとしてそれぞれ設定する。そして、相関処理領域１４２ａと１４２ｂのそれぞれについて、前回原画像における当該領域の画像と最新原画像における当該領域の画像との相関値を計算する。この例では、相関処理領域１４２ａについては相関値が大きくなり、相関処理領域１４２ｂについては相関値が小さくなる。これにより、前回検知タイミングに相関処理領域１４２ａにいた侵入者は、今回のタイミングでもその場所に居続け、静止していると判定できる。
【００２９】
以上、本実施形態の侵入者検知の主要なポイントについて説明した。次に、本実施形態のシステム構成及び処理内容について詳細に説明する。
【００３０】
図４を参照して、本実施形態の侵入者検知システムのソフトウエア的なシステム構成を説明する。この画像処理機構では、前述した最新原画像１５０，前回原画像１５２、及び固定背景画像１５４の３つの画像に加え、処理領域マスク１５６が用いられる。処理領域マスク１５６は、監視領域内に存在する可動物体（例えば風によって揺れる可能性のある枝や木の葉の部分）を侵入者検知処理から除くためのマスク画像である。侵入者検知処理部１６０は、これら各画像１５０〜１５６を用いて、各検知タイミングにて侵入者の検知処理を行う処理モジュールである。侵入者検知処理部１６０は、典型的には、以下に説明する処理内容を記述したプログラムを、侵入者検知装置のＣＰＵで実行することにより実現される。侵入者検知処理パラメータ１６２は、この検知処理で用いられる各種パラメータである。侵入者情報格納領域１６４は、侵入者検知処理部１６０が検出した侵入者の情報などを保持しておく記憶領域である。そして、作業領域１６６は、侵入者検知処理部１６０が検知処理を行う際に利用する記憶領域である。なお、処理領域マスク１５６や侵入者検知処理パラメータ１６２，侵入者情報格納領域１６４の内容や利用の仕方については、後述する処理手順の説明の際にあわせて説明する。
【００３１】
次に、このシステムの処理手順について、図５を参照して説明する。
【００３２】
システムに電源を投入したあと最初に到来した検知タイミングでは、前回原画像が存在しないので、今回のタイミングで撮影した原画像を前回原画像Ｉ;t-1にセットする（Ｓ１０）。その後に続く処理ステップＳ１２〜Ｓ３６のループは、検知タイミングが到来するごとに繰り返し実行される処理である。
【００３３】
この処理ループでは、まずＳ１２では、今回の検知タイミングにて監視カメラで撮影された原画像を最新原画像Ｉ;tにセットする。
【００３４】
次に侵入者静止判定処理を実行する（Ｓ１４）。この静止判定処理の概要についてはすでに図３を参照して説明したが、ここではさらに図６のフローチャートを参照してその手順を説明する。この処理手順では、侵入者情報格納領域１６４に格納されているすべての侵入者情報について、Ｓ４０〜Ｓ４４の処理を実行する。ここで、侵入者情報格納領域１６４には、後述するＳ３０の侵入者判定処理で検出された各侵入者ごとに、その侵入者の存在領域その他の情報が格納されており（詳細は後述）、ここではそれら各侵入者ごとに静止判定が繰り返されることになる。まず、この繰り返し処理の最初では、判定対象に選んだ侵入者の画像のバウンディングボックス（相関処理領域）について、前回原画像Ｉ;t-1と最新原画像Ｉ;tとの間の画像の相関値が計算される（Ｓ４０）。相関値Ｒは次式から計算される。
【００３５】
【数３】
【００３６】
再び図５の説明に戻り、静止判定処理が終わると、次に差分画像Ｄを求める（Ｓ１６）。この差分画像Ｄは、図２を用いて説明した処理操作により得られる、現在の移動物体の領域を抽出した画像である。Ｓ１６において、Diff（）は、最新原画像Ｉ;t、前回原画像Ｉ;t-1及び固定背景Ｉ(B)から、前述の式（１）及び（２）で表される演算処理により差分画像Ｄを求める処理操作を表している。
【００３７】
差分画像Ｄが求められると、次にその差分画像Ｄに対し２値化処理を施す（Ｓ１８）。Ｓ１８においてBinr()は２値化演算を表す。この２値化演算では、差分画像Ｄの各画素ごとに、画素値（輝度）を２値化しきい値と比較し、画素値がそのしきい値を越える場合はその画素に白、すなわち２値のうちの“１”を割り当て、それ以外の場合はその画素に黒、すなわち“０”の値を割り当てる。この２値化処理は、移動物体部分とそれ以外の部分とを２値で区別できるようにするために行う。
【００３８】
この２値化処理において、移動物体部分と他の部分と正しく区別するには、２値化しきい値を画像全体の輝度に応じて適切に設定する必要がある。このため、本実施形態では、判別分析法（大津の方法）を用いることにより、最適なしきい値を動的に計算する。ただし、この判別分析法は、入力画像によらず必ずしきい値を算出するので、移動物体が存在しない画像でもその画像に応じた２値化しきい値を算出してしまい、その結果移動物体がないにもかかわらず２値化処理により白になる部分が現れる場合がある。本実施形態では、このようなことを防ぐため、差分画像Ｄに移動物体がない場合には判別分析法により求めたしきい値を用いず、予め設定しておいた固定しきい値を用いる。すなわち、移動物体がない場合には、差分画像Ｄの導出手順（式（１）、（２）等参照）から分かるように、差分画像Ｄは全画素がほぼ０に近い小さい値となるので、判別分析法で求められる２値化しきい値も０に近い小さい値となる。そこで、判別分析法で求めたしきい値をその固定しきい値と比較し、固定しきい値の方が大きい場合には、固定しきい値の方を２値化しきい値として採用する。このような２値化しきい値制御により、移動物体がない場合に白画素が生じることを防止することができる。固定しきい値の値は、侵入者検知処理パラメータ１６２に予め登録しておく。なお、固定しきい値は、例えば、１画素８ビット（すなわち画素値が０〜２５５の整数）の画像で昼間の場合には３０程度に設定する。
【００３９】
しかしながら、２値化処理（Ｓ１８）で白画素として抽出されるのは、侵入者の候補となる厳密な意味での移動物体のみとは限らない。例えば、監視領域内の草木などの可動物体が風などで揺れた場合には、その部分が白画素となることもあるし、画像取り込み処理の際のハードウエアのノイズによって白画素が生じる場合もある。また、カメラ自体が揺れれば、監視領域全体がカメラに対して相対的に動いたことになり、白画素が生じる。これらは、侵入者検知という観点から見ればいずれもノイズであり、正確な判定のためにこれらノイズの除去が求められる。本実施形態では、このようなノイズに対する対策の一環として、まずマスク処理（Ｓ２０）及び収縮・膨張処理（Ｓ２２）を行う。
【００４０】
マスク処理（Ｓ２０）は、監視領域内にある草木等の既知の可動物が侵入者として検出されてしまうのを防止するための処理である。すなわち、既知可動物の存在領域自体は予め分かっているので、この処理では、２値画像Ｂ上の既知可動物の存在領域をマスクで覆ってしまうことで、それが動いても白画素として抽出されないようにする。マスク処理のための演算では、２値画像Ｂと、予め用意した処理領域マスクＭ（図４では処理領域マスク１５６）との論理積（＆）を求める。マスクＭは、既知可動物の存在領域の各画素を黒（０）に、それ以外の部分を白（１）にした画像である。この論理積演算により、２値画像Ｂ上で既知可動物の部分に白画素があったとしても、その部分はマスクにより値が０（黒）になる。
【００４１】
収縮・膨張処理（Ｓ２２）は、ハードウエアノイズやカメラの揺れなどによるノイズを除去するための処理である。これらの原因によるノイズは、たいていの場合、せいぜい１画素程度の点状であったり、１〜２画素程度の幅のライン状であったりすることが多い。そこで、この収縮・膨張処理（Ｓ２２）では、まずマスク処理済みの画像Ｂ1に対して収縮処理を施す。収縮処理では、白画素の各塊を１画素幅ずつ狭める（黒画素部分を広げると言ってもよい）。この処理により、２画素幅の白画素のラインや点は消えてしまう。次に、この逆の操作（すなわち膨張処理）を行うことで、消えてしまった細いラインや点以外の大きな白画素塊は収縮前の状態に戻る。
【００４２】
なお、この収縮をＮ回繰り返した後、膨張をＮ回行う用にすれば、２Ｎ画素幅の白画素の点やラインを除去することができる。ノイズが大きい場合には、収縮、膨張の繰り返し回数Ｎを大きく設定すればよい。この回数Ｎの値は、ノイズ除去レベルとして、侵入者検知処理パラメータ１６２に登録することができる。
【００４３】
膨張・収縮処理（ConExp()）が終わると、その結果得られた画像Ｂ2 も対してラベリング処理を行って、白画素群を連結成分の塊に分けて整理する（Ｓ２４）。ラベリング処理には、公知の様々な手法があり、本実施形態は基本的にそのいずれを用いてもよい。ラベリングにより、白画素の各塊（連結成分）ごとに、異なるラベルが割り当てられる。例えば、本出願人が特願平１２−８７８３号で提案した高速ラベリング手法を用いた場合、ラベリング処理を高速に行うことができるとともに、生成された白画素塊の位置や面積、重心位置など幾何学的情報を同時に求めることができる。この手法の詳細については、上記公開公報を参照されたい。
【００４４】
ラベリングが終わると、次に、ノイズ除去の一環として、小面積の白画素塊の除去処理を行う（Ｓ２６）。この処理では、ラベリングした白画素塊のうち、予め登録された面積（例えば１０平方画素）未満のもののラベリングを無効にする。ラベリングを無効とされた白画素塊は、以降の処理では無視される。これにより、ノイズの可能性の高い小面積の白画素塊を除去することができる。
【００４５】
次に、ラベルが付与された各白画素塊の統合処理を行う（Ｓ２８）。監視カメラの画像から１人の侵入者が１つの白画素塊として抽出されることは少なく、一般には、頭や胴、四肢といった部位ごとに異なる塊として抽出されることが多い。そこで、この統合処理では、それら１人の侵入者を構成すると考えられる複数の塊を互いに関連づけて１つにまとめる。この処理で統合するのは、画像内での互いの距離が所定のしきい値以下である塊である。この統合処理の基準となる距離のしきい値は、監視カメラの画像の中に映る人物のサイズに応じて定め、侵入者検知処理パラメータ１６２に予め設定しておく。例えば、監視カメラの撮影画像が水平６４０画素×垂直４８０画素であり、監視領域の幅が１０ｍである場合、１ｍの幅は約６４画素に相当する。したがって、この場合、水平方向には肩幅相当の２０画素程度のしきい値、垂直方向には胴体長さ相当の６０画素程度のしきい値をそれぞれ設定すれば、分離抽出された１人の侵入者の各部位を１つに統合することができる。なお、この例では、統合処理のための距離のしきい値を、水平方向及び垂直方向のそれぞれについて定め、登録しているが、これはあくまで一例である。
【００４６】
具体的な統合の方法としては、画像の解像度を落とす方法を用いる。ここで、解像度変換による統合の原理を以下に説明する。
【００４７】
水平Ｗ画素×垂直Ｈ画素の２値画像Ｂの座標（ｘ，ｙ）の画素値をＢyxと標記し、白画素は値“１”、黒画素は値“０”であるとする。この２値画像Ｂにラベリングを施して得たラベル画像Ｌを、水平方向の距離しきい値２ｕx、垂直方向の距離しきい値２ｕyを用いて統合する場合を考える。この統合処理のため、まず元の２値画像Ｂから、解像度を落とした２値画像ｂを生成する。低解像度２値画像ｂは、
【数４】
【数５】
【００４８】
【数６】
【００４９】
そして、この低解像度化処理により得られた低解像度画像ｂに対してラベリングを行う。このラベリングの結果得られたラベル画像ｌの各画素の値ｌhxを用いて、元の２値画像Ｂに対応するラベル画像Ｌの各画素の値を修正する。この修正の演算式を次に示す。
【００５０】
【数７】
【数８】
【００５１】
以上説明した式（６）、（７）等によるラベル修正により、１人の侵入者を構成すると考えられる各白画素塊に対して同じラベルが割り当てられる。以上の処理は、厳密な意味では上述した水平及び垂直方向のしきい値判定とは異なっているものの、得られる修正ラベル画像Ｌは厳密な処理によって得られるものに近いものとなっている。そしてなによりも、この近似的な手法は、厳密な処理よりも計算コストが大幅に少ないという点で大きな利点を有する。
【００５２】
図７に、この統合処理の結果の一例を示す。この例では、統合処理前のラベル画像２００は８連結ラベリング処理によるものである。低解像度ラベル画像２１０は、元の画像２００の２×３画素を１画素にしており、４連結ラベリングによりラベルを付与した結果である。そして、統合処理結果２２０では、元の解像度の画像の各白画素に対し、低解像度ラベル画像２１０の対応画素と同じラベルが設定されている。
【００５３】
このように同一ラベルを付与されて統合された塊（以下「統合塊」という）について、重心や面積などの幾何学的情報を計算することもできる。面積は、同一ラベルを持つ画素の数を計数すればよいし、重心はそれら各画素の座標の平均をとることにより求めることができる。また、侵入者静止判定や後述する侵入者判定の際の相関処理のために、統合塊のバウンディングボックスを求めることもできる。これには、同一ラベルを持つ画素のｘ、ｙ座標それぞれの最小値及び最大値を求めればよい。また、前述の本出願人が特願平１２−８７８３号で提案した手法を用いて予め個々の塊の重心等が求められている場合は、これを情報を利用して統合塊の重心等をより高速に求めることができる。これには、例えば同じ侵入者の一部を構成する塊同士が同じラベルで統合されるのに併せて、元は塊単位で求められていた面積や重心、左上隅座標、右下隅座標などを、同一ラベルの塊群での値に更新するわけである。例えば、ラベルｎとｍが付与されていた塊が統合されてラベルＮの統合塊となった場合、その統合塊Ｎの左上隅座標（ｘN (UL)，ｙN (UL)）、右下隅座標（ｘN (LR)，ｙN (LR)）、面積ＳN、重心座標（ｘN (G)，ｙN (G)）は、それぞれ次のように求めることができる。
【００５４】
【数９】
【００５５】
統合処理が終わると、次に、その統合結果を用いて侵入者判定処理を実行する（Ｓ３０）。侵入者判定処理の詳細を図８に示す。この処理では、統合処理で求められた各統合塊ごとに、Ｓ５０〜Ｓ５６の処理により、その統合塊が侵入者であるか否かを判定する。
【００５６】
Ｓ５０では、統合塊が侵入者（人間）らしい面積を持っているかどうかを判定する。例えば前述した水平幅１０ｍの監視領域を６４０×４８０画素の画像として撮影する例の場合、身長１７０ｃｍ、肩幅５０ｃｍの人物の画像を囲むバウンディングボックスの面積は理論的には３８４０平方画素程度となる。ただし、実際には、本実施形態では移動部分のみを抽出して２値化しており、また侵入者の全身がカメラによってとらえられるとは限らないので、統合塊の面積がもっと小さくなる可能性も大いにある。逆に、侵入者が荷物を持っていたり、複数人の侵入者が接近していたりする場合には、統合塊の面積がその理論値よりも大きくなることもあり得る。このようなことから、Ｓ５０の判断基準は、上記理論値から比較的余裕を持った幅にすることが望ましい。例えば、理論値の２５〜２００％（８７０〜６９６９平方画素）を、侵入者と判断する面積の範囲とするなどである。この侵入者と判断する面積の範囲は、侵入者検知処理パラメータ１６２に予め登録しておく。
【００５７】
Ｓ５０の判定で、統合塊が侵入者らしい面積を持っていない（ＦＡＬＳＥ）と判定された場合、この統合塊は侵入者でない可能性が極めて高いので、これについてはなにも行わず、次の統合塊の処理に移行する。
【００５８】
Ｓ５０の判定で統合塊が侵入者らしい面積を持っている（ＴＲＵＥ）と判定された場合、次にその統合塊のバウンディングボックスの内部について、最新原画像Ｉ;tと前回原画像Ｉ;t-1の相関を演算する（Ｓ５２）。
【００５９】
ここでの相関演算にも、上述の式（３）を用いる。この相関演算は、照明の変化（屋内監視の場合）や急激な天候変化（屋外監視の場合）などの場合に、侵入者でないものを侵入者と判定することを防ぐための処理である。すなわち、本実施形態では、移動物体を抽出するのに最新原画像Ｉ;tと前回原画像Ｉ;t-1の輝度差をみているため（式（１）、（２）参照）、天候や照明状況の急変により監視領域内の既存物体（侵入者以外）の輝度が変化した場合、それが差分画像Ｄ中に抽出されてしまう。ところが、このような既存物体は動かないので、最新原画像と前回原画像とで、その物体の画像は、輝度は変わっても全体的なパターンはほとんど変わらない。したがって、このような場合、式（３）により求めた相関値はきわめて１に近い値になる。そこで、注目している統合塊について求めた相関値が高ければ、その統合塊は侵入者でないと判断するようにする。
【００６０】
したがって、以降の手順では、Ｓ５２で求めた相関値が予め登録しておいた規定値より小さいか否かを判定し（Ｓ５４）、相関値が規定値より小さい場合にのみ、当該統合塊が侵入者であると判断し、その統合塊の情報を侵入者情報格納領域１６４に格納する（Ｓ５６）。なお、判断基準となる規定値は、例えば０．９９５などの高い値であり、予め侵入者検知処理パラメータ１６２に登録しておく。なお、この規定値は、静止判定処理（Ｓ１２）で用いた規定値と兼用することもできるし、それらを別々に登録することもできる。Ｓ４６で侵入者情報格納領域１６４に格納する情報は、その侵入者の統合塊の幾何学的情報（面積、重心、バウンディングボックスの定義情報など）などである。このように格納された侵入者情報は、次の検知処理タイミングでの侵入者静止判定などに利用される。また、Ｓ５４で相関値が規定値以上であった場合、注目している統合塊は侵入者でないと判断され、侵入者情報の登録は行われない。
【００６１】
以上説明したＳ５０〜Ｓ５６の処理が、統合処理Ｓ２８で求められたすべての統合塊に対して完了すると、侵入者判定処理（Ｓ３０）が完了する。すると、再び図５のメインルーチンの処理に戻り、侵入者情報格納領域１６４が空でないか判定する（Ｓ３２）。そして、格納領域１６４が空でなければ、すなわち格納領域１６４に侵入者情報が格納されていれば、侵入者が検知されたと判定し、警報出力や監視者への通知などの処理を実行する（Ｓ３４）。一方、格納領域１６４が空であれば、侵入者はいないので、通知処理は行わない。
【００６２】
以上の処理が終了すると、最新原画像Ｉ;tを前回原画像Ｉ;t-1にコピーした上で、Ｓ１２に戻って次の検知処理タイミングの処理に移行する。
【００６３】
以上本実施形態における侵入者検知処理を説明したが、処理の安定性を向上させるために、Ｓ１２で最新原画像Ｉ;tを取得した後で、その原画像の平均輝度レベルを求め、その平均輝度レベルが、予め想定していた範囲からはずれた場合には、その処理タイミングにおけるＳ１４以降の処理動作をスキップするようにすることも好適である。すなわち、侵入者検知が可能な画像輝度の上限値及び下限値を予め侵入者検知処理パラメータ１６２に登録しておき、取得した原画像の平均輝度がその上限値以上、または下限値以下になると、以降の処理を取りやめる。これにより、明るすぎたり暗すぎたりするときに無理に侵入者検知処理を行うことを防止し、侵入者の誤検出を低減できる。
【００６４】
次に、以上説明した侵入者検知処理を実行する侵入者検知装置の一例を、図９を参照して説明する。図４は、処理に用いるデータの観点から説明したシステム構成図であったのに対し、この図９はよりハードウエアよりの図となっている。この例では、監視カメラが撮影した画像がＮＴＳＣ映像信号の形で侵入者検知装置３００に入力される。装置３００内の画像取込部３０２は、侵入検知処理部１６０からの制御指示に従ってＮＴＳＣ映像信号を取り込み、その信号をＡ／Ｄ変換してフレームメモリ３０４に書き込む。ランダムアクセスメモリ３０８には、最新原画像や前回原画像が記憶されるとともに、それら両画像を用いた侵入者検知処理の際の途中の計算結果が保持され、さらにその検知処理の結果得られた侵入者情報が保持される。すなわち、ランダムアクセスメモリ３０８は、図４における最新原画像１５０及び前回原画像１５２の保持部、作業領域１６６、及び侵入者情報格納領域１６４として機能する。侵入者検知処理部１６０は、フレームメモリ３０４に取り込んだ画像（最新原画像）をランダムアクセスメモリ３０８に展開し、その原画像と既にメモリ３０８内に保持されている前回原画像とから、前述した処理を行うことにより、侵入者検知を行う。このときに参照される固定背景画像１５４や処理領域マスク１５６、侵入者検知処理パラメータ１６２は、不揮発性メモリ３０６に保持されており、電源断などが起こってもある程度の期間は失われないようになっている。システムアプリケーション３１０は、各種侵入者検知パラメータの設定など、オペレータからの操作を受け付けたり、あるいはネットワークを介した他の装置との通信処理を行ったりする機能モジュールである。侵入者検知処理部１６０は、侵入者を検知すると（Ｓ３４）、その旨をシステムアプリケーション３１０に通知する。すると、システムアプリケーション３１０は、警報装置制御信号を発して警報装置を作動させたり、所定の場所に設置された上位システム（監視センタのホストなど）に侵入者情報を通知したりする。この通知の際に、画像伝送処理部３１２を駆動して、その際の最新原画像などを圧縮して上位システムへ伝送することもできる。
【００６５】
以上、本発明の好適な実施の形態を説明した。以上説明したように、本実施形態によれば、最新原画像、前回原画像及び固定背景画像を組み合わせることにより、移動物体の現在位置の部分の輝度が高く、それ以外の部分の輝度がほぼ０に近い差分画像Ｄを作成するので、この差分画像Ｄから移動物体の位置を精度よく特定できる。この方式では、１秒程度という短い時間間隔の最新画像と前回画像の差分をとるので、従来の連続背景更新方式と同様、背景の明るさの変化の影響を受けずに安定した検知処理を行える。
【００６６】
また本実施形態では、差分画像Ｄにより検出した移動物体部分（２値画像Ｂの白画素の塊）群を、人の大きさを基準として統合した上で、統合により得られた統合塊について侵入者か否かを判定するので、撮影状況により侵入者の身体の各部が分離して抽出された場合でも、それらを統合して侵入者と判断することができる。
【００６７】
また、本実施形態では、前回の検知処理の際に侵入者を検知した領域について、最新原画像と前回原画像の相関をとることにより、侵入者が静止している場合でもそれを検出することができる。
【００６８】
また、本実施形態では、監視領域内に草木等の可動物体が存在することが分かっている場合、その物体の存在領域を覆うマスクを設定し、その領域については侵入者検知の処理を行わないので、草木等の揺れを侵入者と誤認識することを防止できる。
【００６９】
なお、以上説明した実施形態のシステムは、背景の輝度変化の幅が著しくない環境（すなわち、侵入者の画像と固定背景との輝度差が、撮影した画像の背景と固定背景の輝度差よりも大きいことが想定できる環境）での運用を想定したものであり、そのような条件が満たされる運用環境であれば、時間経過に伴って背景の明るさが変化しても安定して侵入者を検知できる。
【００７０】
ところが、屋外で２４時間監視を行う場合などでは、昼と夜、朝夕などで背景の明るさが著しく異なる。このような場合にも侵入者検知を可能にするためには、工夫が必要になる。以下、このような背景の変化幅が大きい場合に対応可能な変形例を説明する。
【００７１】
この変形例の基本的な考え方は、例えば昼、夜、朝、夕など、明るさの異なる各時点ごとに、その時点の監視領域を撮影した固定背景画像１５４を用意し、検知処理の際、その時点で適切な固定背景画像１５４を選択して利用するというものである。検知処理の際の固定背景画像１５４の選択には、いくつかの方法がある。
【００７２】
まず１つの方法は、監視期間を複数の時間帯に分け、時間帯ごとに利用する固定背景画像を設定しておくという方法である。侵入者の画像と固定背景画像との輝度差が、撮影した画像の背景とその固定背景画像の輝度差よりも大きくなるという条件が満足されるよう、時間帯を分割し、その時間帯に対応する固定背景画像を用意する。この方法では、各検知処理タイミングにおいて、現在時刻に該当する時間帯の固定背景画像を選択して用いる。また、季節ごとに同じ時間でも背景の明るさは異なるので、時間帯の分割や、各時間帯に用いる固定背景画像を、季節ごとに定めておくことも好適である。
【００７３】
また固定背景画像の選択方法の別法として、撮影した原画像（最新原画像）にもっともよく似た固定背景画像を選択するという方法もある。類似性は、例えば画像同士の２乗偏差で測定できる。この場合、各固定背景画像と最新原画像との２乗偏差をそれぞれ求め、その２乗偏差がもっとも小さい固定背景画像を選択する。最新原画像Ｉ(B)と固定背景画像のＩ;tの２乗偏差Ｖは、次式で求めることができる。
【００７４】
【数１０】
【００７５】
以上説明した変形例のシステムによれば、背景の明るさの変化幅が著しい監視環境でも、上記実施形態で説明した効果が得られる。
【図面の簡単な説明】
【図１】 特定条件が満たされる場合の、最新の原画像と前回の原画像との差分の性質を説明するための図である。
【図２】 移動物体抽出の原理を説明するための図である。
【図３】 相関演算による侵入者静止判定の処理を説明するための図である。
【図４】 実施形態の侵入者検知システムをデータの観点から示した図である。
【図５】 実施形態の侵入者検知処理の全体的な手順を示すフローチャートである。
【図６】 侵入者静止判定処理の手順を示すフローチャートである。
【図７】 解像度低下を利用した白画素塊の統合処理を説明するための図である。
【図８】 統合された白画素塊に対する侵入者判定の処理手順を説明するための図である。
【図９】 実施形態の侵入者検知装置の機能モジュール構成を示す図である。
【符号の説明】
１５０ 最新原画像、１５２ 前回原画像、１５４ 固定背景画像、１５６ 処理領域マスク、１６０ 侵入者検知処理部、１６２ 侵入者検知処理パラメータ、１６４ 侵入者情報格納領域、１６６ 作業領域。
Claims (8)
- 固定背景画像を保持する手段と、
前回の検知処理タイミングに監視カメラから取得した前回画像を保持する手段と、
今回の検知処理タイミングに監視カメラから取得した最新画像を保持する手段と、
最新画像及び前回画像について、それぞれ固定背景画像との差分の絶対値をとって固定背景差分画像を生成する手段と、
最新画像についての固定背景差分画像から前回画像についての固定背景差分画像を差し引いて、移動物体の現在位置の部分が正の値を持つ差分画像を生成する差分画像生成手段と、
前記差分画像の正の値を持つ部分を抽出する整流手段と、
前記整流手段により抽出された前記差分画像の正の値を持つ部分に基づき侵入者を検知する手段と、
を含む侵入者検知システム。 - 前回の検知処理タイミングにおいて検知した侵入者の画像内での存在場所に関する情報を保持する手段と、
前記侵入者の画像内での前記存在場所について前記最新画像及び前回画像の相関を求め、その相関が所定値より高い場合に当該侵入者がその場所に静止していると判断する手段と、
をさらに備える請求項１記載の侵入者検知システム。 - 前記監視カメラの監視領域内に存在する既知の可動物体の存在領域を記憶する手段を備え、その存在領域を侵入者検知対象から外して処理を行うことを特徴とする請求項１記載の侵入者検知システム。
- 前記差分画像に基づき侵入者を検知する手段は、前記差分画像を２値化し、その２値化結果の画像に現れる白画素塊を、当該画像内での人間のサイズの範囲ごとに統合し、その統合結果ごとに侵入者か否かをを判定することを特徴とする請求項１記載の侵入者検知システム。
- 前記白画素塊の統合は、前記２値化結果を前記画像内での人間のサイズに応じて低解像度化した低解像度画像を用いて行うことを特徴とする請求項４記載の侵入者検知システム。
- 前記固定背景画像を保持する手段は、予め設定された時間帯ごとに、それに対応する固定背景画像を保持し、
前記固定背景差分画像を生成する手段は、今回の検知処理タイミングの時間帯に対応する固定背景画像を選択して用いる、
ことを特徴とする請求項１記載の侵入者検知システム。 - 前記固定背景画像を保持する手段は、明るさの異なる時点で撮影した複数の固定背景画像を保持し、
前記固定背景差分画像を生成する手段は、前記複数の固定背景画像のうち、前記最新画像に対する類似性がもっとも高い固定背景画像を選択して用いる、
ことを特徴とする請求項１記載の侵入者検知システム - 固定背景画像を保持する手段と、
前回の検知処理タイミングに監視カメラから取得した前回画像を保持する手段と、
今回の検知処理タイミングに監視カメラから取得した最新画像を保持する手段と、
最新画像及び前回画像について、それぞれ固定背景画像との差分の絶対値をとって固定背景差分画像を生成する手段と、
最新画像についての固定背景差分画像から前回画像についての固定背景差分画像を差し引いて、移動物体の現在位置の部分が正の値を持つ差分画像を生成し、この差分画像に基づき侵入者を検知する手段と、
を含み、
前記差分画像に基づき侵入者を検知する手段は、前記差分画像を２値化し、その２値化結果の画像に現れる白画素塊を、当該画像内での人間のサイズの範囲ごとに統合し、その 統合結果ごとに侵入者か否かをを判定するものであり、
前記白画素塊の統合は、前記２値化結果を前記画像内での人間のサイズに応じて低解像度化した低解像度画像を用いて行うものであり、
前記低解像度画像を用いた前記白画素塊の統合では、前記差分画像の２値化結果の画像に現れる白画素塊を、前記低解像度画像のラベリング結果において同一ラベル値が与えられたもの同士で統合する、
ことを特徴とする侵入者検知システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000350257A JP3721071B2 (ja) | 2000-11-16 | 2000-11-16 | 侵入者検知システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000350257A JP3721071B2 (ja) | 2000-11-16 | 2000-11-16 | 侵入者検知システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002157598A JP2002157598A (ja) | 2002-05-31 |
| JP3721071B2 true JP3721071B2 (ja) | 2005-11-30 |
Family
ID=18823517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000350257A Expired - Fee Related JP3721071B2 (ja) | 2000-11-16 | 2000-11-16 | 侵入者検知システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3721071B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4217501B2 (ja) * | 2003-02-26 | 2009-02-04 | Ｈｏｙａ株式会社 | 自動焦点調節装置 |
| US7599576B2 (en) * | 2004-01-23 | 2009-10-06 | Electro Scientific Industries, Inc. | Image subtraction of illumination artifacts |
| JP2008217690A (ja) * | 2007-03-07 | 2008-09-18 | Nippon Signal Co Ltd:The | 移動体検出方法 |
| JP5115556B2 (ja) * | 2007-07-05 | 2013-01-09 | 日本電気株式会社 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
| JP4831626B2 (ja) * | 2007-12-14 | 2011-12-07 | 池上通信機株式会社 | 移動物体検知判定方法 |
| JP4544342B2 (ja) * | 2008-05-08 | 2010-09-15 | トヨタ自動車株式会社 | 画像処理装置 |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| JP6495696B2 (ja) * | 2015-03-13 | 2019-04-03 | 株式会社東芝 | 画像収集装置、画像収集方法及びコンピュータプログラム |
| JP7039208B2 (ja) * | 2016-11-02 | 2022-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2020205027A (ja) * | 2019-06-14 | 2020-12-24 | オムロン株式会社 | データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体 |
| WO2020250501A1 (ja) * | 2019-06-14 | 2020-12-17 | オムロン株式会社 | データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体 |
| KR102454715B1 (ko) * | 2021-08-10 | 2022-10-17 | 인트플로우 주식회사 | 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628449B2 (ja) * | 1985-12-10 | 1994-04-13 | 松下電工株式会社 | 侵入監視装置 |
| JP3053837B2 (ja) * | 1990-03-29 | 2000-06-19 | 株式会社東芝 | 画像監視装置 |
| JP2612662B2 (ja) * | 1992-06-23 | 1997-05-21 | 日本無線株式会社 | 侵入者識別システム |
| JP3729562B2 (ja) * | 1996-06-12 | 2005-12-21 | 松下電器産業株式会社 | 自動監視装置 |
| JP2962290B2 (ja) * | 1997-09-11 | 1999-10-12 | 日本電気株式会社 | トンネル内自動監視装置 |
| JP3612227B2 (ja) * | 1998-01-07 | 2005-01-19 | 株式会社東芝 | 物体抽出装置 |
| JP3382529B2 (ja) * | 1998-02-13 | 2003-03-04 | 名古屋電機工業株式会社 | 降雨雪状況の評価方法およびその装置 |
| JPH11284989A (ja) * | 1998-03-31 | 1999-10-15 | Sumitomo Heavy Ind Ltd | 移動物体の自動捜索追尾装置 |
| WO2001067393A1 (fr) * | 2000-03-10 | 2001-09-13 | Mkc Stat Corporation | Dispositif et procede de traitement d'images, et support d'enregistrement sur lequel le programme relatif a ce procede de traitement est enregistre |
-
2000
- 2000-11-16 JP JP2000350257A patent/JP3721071B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002157598A (ja) | 2002-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9652863B2 (en) | Multi-mode video event indexing | |
| US7916944B2 (en) | System and method for feature level foreground segmentation | |
| KR100476019B1 (ko) | 침입물체검출용 감시방법 및 침입물체검출용 감시장치 | |
| US8305440B2 (en) | Stationary object detection using multi-mode background modelling | |
| US7479980B2 (en) | Monitoring system | |
| US7778445B2 (en) | Method and system for the detection of removed objects in video images | |
| US8787617B2 (en) | Imaging apparatus, mobile body detecting method, mobile body detecting circuit and program | |
| JP4832894B2 (ja) | 画像センサ | |
| JP3721071B2 (ja) | 侵入者検知システム | |
| EP2549759B1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
| JP2009048428A (ja) | 移動物体追跡装置 | |
| McIvor et al. | The background subtraction problem for video surveillance systems | |
| US8923552B2 (en) | Object detection apparatus and object detection method | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| JP5950628B2 (ja) | 物体検知装置、物体検知方法及びプログラム | |
| KR100513739B1 (ko) | 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템 | |
| EP1261951B1 (en) | Surveillance method, system and module | |
| JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
| JP4828265B2 (ja) | 画像センサ | |
| JPH0514891A (ja) | 画像監視装置 | |
| JPH06274625A (ja) | 監視画像の移動物体追跡方法 | |
| JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
| JP6155106B2 (ja) | 画像センサ | |
| JP3871051B2 (ja) | 監視用画像処理装置 | |
| Spagnolo et al. | Fast background modeling and shadow removing for outdoor surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050909 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3721071 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130916 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |