以下、本発明の実施の形態(以下実施形態という)である画像監視装置1について、図面に基づいて説明する。画像監視装置1は、監視空間から得られた監視画像において、検出対象物である人間の特徴を有する特徴領域を抽出することで侵入者を検出する。侵入者を検出すると画像監視装置1は異常信号を出力する。図1は、実施形態に係る画像監視装置1の概略のブロック構成図である。画像監視装置1は、画像入力部2、記憶部3、制御部4及び出力部5を含んで構成される。
画像入力部2は、監視カメラであり、監視空間内に設置され、監視空間を所定の時間間隔で撮影し、各画素が多階調の画素値で表現される監視画像(処理対象画像)を出力する。本実施形態において監視画像はカラー画像であり、例えば、各画素の画素値がそれぞれ256階調のR値、G値及びB値の組で表現される。また、監視画像は輝度値で表される濃淡画像であってもよく、この場合、画素値は例えば256階調の輝度値で表現される。本画像監視装置1において監視カメラは、少なくとも検出対象物と共にその周辺の背景が監視画像に含まれるような設置条件(設置位置等)及び撮像条件(画角等)にて撮像を行うように構成されている。より好適には、検出対象物が撮像されたときに監視画像に占める背景の面積が検出対象物の面積以上となるような設置条件および撮像条件にて撮像を行うように構成されている。撮影された監視空間の監視画像は順次、制御部4へ出力される。
記憶部3は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等の記憶装置であり、制御部4で使用されるプログラムやデータを記憶する。記憶部3はこれらプログラム、データを制御部4との間で入出力する。記憶部3に記憶されるデータには抽出用情報30、分割粒度31が含まれる。
抽出用情報30は、対象物の領域を抽出するための情報であり、抽出処理に先立って生成され記憶部3に格納されている情報である。背景差分処理で対象物を抽出する本実施形態では、抽出用情報30は、具体的には対象物の像を含まない監視空間の画像であり、抽出処理に先立って監視画像に基づいて背景画像として生成される。なお、対象物の領域を識別器により抽出する他の実施形態では、抽出用情報30として、特徴空間において対象物とそれ以外を分ける識別面を表すパラメータが格納される。この識別面を表すパラメータは、対象物が撮像されている多数のサンプル画像、及び対象物が撮像されていない多数のサンプル画像の特徴量(コントラスト、エッジ方向等)をサポートベクターマシーンやブースティング法に適用することで予め学習される。
分割粒度31は、後述するセグメンテーション処理により監視画像を画像断片に分割する粒度(粗さ、又は細かさ)を規定する設定パラメータである。本画像監視装置1では、複数の粒度に対応する設定パラメータが分割粒度31として予め記憶される。設定パラメータは3通り以上記憶され、望ましくは5〜7通りの設定パラメータが記憶される。
制御部4は、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、画像入力部2、記憶部3及び出力部5と接続される。制御部4は、記憶部3からプログラムを読み出して実行し、後述する各種の手段(領域設定手段40、画像分割手段41、断片明瞭度算出手段42、帰属度算出手段43、帰属度統合手段44、存否判定手段45、領域修正手段46、異常検知手段47)として機能する。
領域設定手段40は、監視画像と抽出用情報30との比較により、監視画像にて検出対象物の特徴を有する特徴領域を抽出し、当該特徴領域を検出対象物の像の候補領域として設定する。抽出された特徴領域の情報は帰属度算出手段43へ出力される。具体的には、領域設定手段40は、抽出用情報30として記憶されている背景画像を用いて、監視画像と当該背景画像との差分処理を行い、差分閾値より大きな差を有する画素のまとまりを特徴領域として抽出する。この場合、画素値が背景と異なる領域が特徴領域として抽出されることになる。
識別器を用いる他の実施形態では、領域設定手段40は、監視画像に所定大きさ、所定形状の識別領域を順次設定し、識別領域の画像を分析して特徴量(コントラスト、エッジ方向など)を抽出し、抽出された特徴量を、抽出用情報30として記憶されている識別面のパラメータと比較して識別結果(対象物か否か)を導出する。なお、識別領域を設定した探索は、識別領域の大きさ及び形状を変更して複数回繰り返してもよい。この場合、特徴量が対象物と類似する識別領域が特徴領域として抽出されることになる。
画像分割手段41は、監視画像において画素値が互いに類似する隣接画素をまとめることで複数の画像断片を抽出する。この抽出処理により、監視画像は、画素値が所定の類似性を有する画素からなる複数の画像断片に分割される。このような画像断片は、一般にセグメントと称され、セグメントを抽出する処理は一般にセグメンテーションと称される。画像分割手段41は、複数の分割粒度31のそれぞれに対応した粒度にて、監視画像を画像断片に分割する。処理結果である画像断片の情報は断片明瞭度算出手段42及び存否判定手段43へ出力される。
代表的なセグメンテーションの方式として、k平均法や平均シフト法がある。これらによるセグメンテーションを説明する。
[k平均法に基づくセグメンテーション]
この方式によるセグメンテーションは以下の手順で行われる。
(手順1)監視画像からk個の画素を任意に選択し、選択された画素の画素値をシードに設定する。
(手順2)監視画像中の各画素を最も類似するシードに関連付ける。
(手順3)シードごとに、関連付けられた画素の平均画素値を算出し、シードから平均画素値への移動量を求める。
(手順4)移動量が予め設定された閾値ε以下なら次の手順5へ進み、そうでなければ算出された平均画素値をシードに設定して手順2に戻る。
(手順5)同一シードに関連付けられた画素のうち互いに隣接する画素同士をひとつのセグメントにまとめる。
この方式では、粒度はシードの数kに依存する。kが大きいほど粒度は細かくなる。この方式を採用する場合、分割粒度31にはシードの数kが複数通り設定される。
[平均シフト法に基づくセグメンテーション]
この方式によるセグメンテーションは以下の手順で行われる。
(手順1)監視画像中の各画素を中心とする所定大きさの局所領域を初期設定する。
(手順2)局所領域の密度勾配ベクトルを算出しては山登り法を用いて該ベクトル方向へ(密度が高くなる方向へ)局所領域をシフトすることをシフト量が収束するまで繰り返す。
(手順3)監視画像中の各画素に収束点の画素値(最頻画素値を意味する)を設定する。
(手順4)手順3により生成される画像にて、隣接する画素との画素値の差が規定値以下の画素同士を一つのセグメントにまとめる。
この方式では、粒度は、局所領域の大きさや上記規定値に依存する。局所領域が小さいほど粒度は細かくなり、規定値が小さいほど粒度は細かくなる。この方式を採用する場合、分割粒度31には複数通りの局所領域の大きさや規定値が設定される。
なお、平均シフト法についての参考文献として、Dorin Comaniciu, Peter Meer: Mean
Shift: A Robust Approach Toward Feature Space Analysis. IEEE Trans. Pattern
Anal. Mach. Intell. 24(5): 603-619 (2002)がある。
その他のセグメンテーション方法として、画像をグラフとみなした上でその最小切断や正規化切断を求める方法などを用いることもできる。
図2は、分割粒度の違いによる分割結果の違いを説明する模式図である。図2には、同じ監視画像を異なる粒度でセグメンテーションした結果の画像70〜72が示されており、画像70,71,72の順で粒度が細かくなる。各画像70〜72の右横には、対応する画像70〜72の階調を模式的に示すスケールを示している。説明を簡単化するため各階調を等間隔としている。これらスケールの縦方向の全体が画素値の範囲(256階調の画素値)を表し、全体を縦方向に区分した各区画がセグメンテーション後の画像の階調を表している。セグメンテーションにより、いずれの場合も元の監視画像より階調が少なくなるが、一般に粒度が粗いほど分割後の階調数は少なくなり、粒度が粗いほど分割後の1階調が表す元画像の画素値の幅が広くなる。
一般に粒度が粗いと個々の画像断片は大きくなる。背景と対象物との境界付近の画素値が比較的類似しており1階調の幅の中に納まってしまうと、図10,図11を参照して述べたように背景と対象物を分離できない状態になる。
画像70,72の右横の階調スケールに示す矢印73〜76は画素値の例を示すものである。例えば、矢印73,74は対象物と背景との真の境界付近において互いに隣接している画素の画素値を表しており、これらの画素の一方は対象物側、他方は背景側に存在しているものとする。粗く分割された画像70において画素値73,74は同じ階調の区画に属し、画素値73,74を有する画素は同一画像断片にまとめられてしまう。これに対して、細かく分割された画像72において画素値73,74は別の階調区画に属し、画素値73,74は別々の画像断片に正しく分かれる。この例示は粒度が粗いときには正しく分離されず、粒度が細かいときには正しく分離される図10のケースに対応する。
また、例えば、矢印75,76は上述の例と同様に、対象物と背景との真の境界付近において互いに隣接している画素の画素値を表しているものとする。粗く分割された画像70において画素値75,76は別の階調の区画に属し、画素値75,76を有する画素は別々の画像断片に正しく分かれる。これに対して、細かく分割された画像72において画素値75,76は同じ階調の区画に属し、画素値75,76を有する画素は同一画像断片にまとめられてしまう。この画素値75,76による例示は粒度が粗いときには正しく分離され、粒度が細かいときには正しく分離されない図11のケースに対応する。
上述した階調の境と領域境界との不整合は、k平均法のシード数k、平均シフト法の規定値が処理対象画像に対し不適切である場合に生じ得る。
正しく分離されない別の要因は平均シフト法の局所領域の大きさが処理対象画像に対して不適切である場合に生じ得る。すなわち、局所領域が抽出されるべき画像断片に対して大きすぎたり小さすぎたりすると、密度勾配ベクトルが収束すべき最頻画素値の存在する方向と一致しなくなるのである。
断片明瞭度算出手段42は、画像分割手段41において抽出された各画像断片について、その内外での画素値の所定の相違性に応じた断片明瞭度を算出し帰属度統合手段44へ出力する。当該画像断片の周囲画像と大きく相違する画像断片は周囲画像と明瞭に区別でき、その輪郭は対象物の輪郭、対象物を構成する対象構成物の輪郭、又は背景を構成する背景構成物の輪郭といった真の輪郭と一致している可能性が高い。一方、相違が小さい画像断片は、陰影等の影響により対象構成物や背景構成物の一部のみが抽出された画像断片である可能性が高い。
例えば、断片明瞭度は、注目断片の縁部に存在する各縁部画素と、注目断片の外側に存在し当該縁部画素に隣接する周囲画素との相違度(相互相違度)を総和することで算出される。具体的には、縁部画素の画素値をci、各縁部画素に隣接する周囲画素の画素値をcjと表すと、画像断片sの断片明瞭度Lsの算出式は次の(1)式で定義することができる。
Ls=G(1/Σ{α・exp(−‖ci−cj‖2/β)}) ・・・(1)
(1)式において、G(x)はx=0で0、x=∞で1となる増加関数であり、このG(x)により断片明瞭度Lsの値域は[0,1)に正規化される。本実施形態では画素値ci,cjはRGB値からなるベクトルであり、‖x‖はベクトルxのノルムを表す。また、α及びβは予め設定される定数である。Σは、画素値ci,cjの組についての総和を表す。
ここで、縁部画素の多寡や縁部画素の画素値の分布は画像断片ごとに異なるため、縁部画素と周囲画素との関係のみから断片明瞭度を算出すると、画像断片間で断片明瞭度の信頼性に格差が生じ得る。そこで、断片明瞭度算出手段42は、注目断片内の画素間についての相違度(自己相違度)を算出し、当該自己相違度により上記相互相違度を正規化する。自己相違度は、注目断片内の互いに隣接する画素間の相違度を総和することで算出され、画像断片s内の互いに隣接する2つの画素の画素値をそれぞれch1,ch2と表すと、画像断片sの正規化された断片明瞭度Lsの算出式は(2)式で与えられる。
Ls=G(Σ{exp(−‖ch1−ch2‖2/β)}/Σ{exp(−‖ci−cj‖2/β)}) ・・・(2)
(2)式において第1のΣは画素値ch1,ch2の組についての総和、第2のΣは画素値ci,cjの組についての総和を表す。このように正規化処理を行うことで、画像断片間の格差により生じる断片明瞭度の信頼性低下を防ぐことができる。
図3(a)は注目断片s及び周囲画像の模式図であり、注目断片s内の縁部画素(画素値ci)、注目断片s外の周囲画素(画素値cj)の位置が示されている。図3(b)は関数Gの一例を示しており、横軸が引数x、縦軸が関数値G(x)である。
帰属度算出手段43は、各画像断片と特徴領域との重複度合いに応じた評価値を算出する。ここで算出される評価値は、画像断片のうち特徴領域の内側にある画素数に応じて増加するものであり、当該画像断片の検出対象物への帰属度を表す。そこで当該評価値を対象物帰属度と呼ぶことにする。また、帰属度算出手段43は、各画像断片と背景との重複度合いに応じた評価値を算出する。ここで算出される評価値は、画像断片のうち特徴領域の外側にある画素数に応じて増加するものであり、当該画像断片の背景への帰属度を表す。そこで当該評価値を背景帰属度と呼ぶことにする。
図4は、画像断片と特徴領域との重複関係を説明するための模式図である。図4には、監視画像にて抽出される画像断片の例として、特徴領域80に対する位置関係が異なる画像断片81〜84が示されている。画像断片81,82は部分的に特徴領域80と重複し、特徴領域80の輪郭を内側に含んでいる。このように特徴領域の内外に跨っている画像断片は当該特徴領域への帰属が不確かであるため不確定断片と呼ぶことにする。画像断片83はその全体が特徴領域80と重複する。画像断片84はその全体が特徴領域80の外側にあり特徴領域80とは重複しない。これら画像断片83,84は特徴領域80の輪郭を内側に含まないので不確定断片ではない。図4にて横線で網掛けされた部分は画像断片における特徴領域80との重複部分であり、一方、縦線で網掛けされた部分は画像断片における特徴領域80からのはみ出し部分である。
図5は、帰属度算出手段43の対象物帰属度及び背景帰属度の算出を説明するための説明図であり、同図の上側には特徴領域80と、その輪郭85に跨る画像断片81とを示している。また同図の右上には、以下の説明で用いる画素e1,e2及び距離de1,de2を図示している。また同図の下側には特徴領域80を横切る直線86に沿った関数Fのグラフ87を示している。
帰属度算出手段43は、対象物帰属度として、重複部分の面積(画素数)や当該面積が画像断片に占める割合を算出するようにすることもできるが、本実施形態では、特徴領域の輪郭からの距離に応じた重み付けを行った値を算出する。この構成について以下説明する。帰属度算出手段43は、重複部分の画素をe1、特徴領域の輪郭から当該画素e1までの距離をde1と表すと、画像断片sの対象物帰属度gsを下記(3)式で算出する。
gs=ΣF(de1) ・・・(3)
(3)式においてΣは画素e1についての総和を表す。また、F(x)は引数xとして入力される距離de1に応じた重みを定義する予め定められた関数であり、x>0に対して値域が(0,1)であり、かつ増加関数である。
帰属度算出手段43は上述の対象物帰属度と同様に、背景帰属度として、はみ出し部分の面積(画素数)や当該面積が画像断片に占める割合を算出するようにすることもできるが、本実施形態では、特徴領域の輪郭からの距離に応じた重み付けを行った値を算出する。この構成について以下説明する。帰属度算出手段43は、はみ出し部分の画素をe2、特徴領域80の輪郭85から当該画素e2までの距離をde2と表すと、画像断片sの背景帰属度nsを下記(4)式で算出する。
ns=ΣF(de2) ・・・(4)
(4)式においてΣは画素e2についての総和を表す。また、F(x)は(3)式におけるものと同様の関数であり、(4)式では引数xとして入力される距離de2に応じた重み付けを行う。
画素単位でみた場合、特徴領域の輪郭近傍の画素の帰属(当該画素が対象物と背景とのいずれに属するか)の不確定性が高い。逆に、輪郭から離れるほど帰属の不確定性は低くなり、特徴領域の中心に近い画素ほど対象物に帰属する確度が高く、一方、輪郭から特徴領域の外側へ離れるほど背景に帰属する確度が高い。そこで、上述のように、重複部分の各画素について特徴領域の輪郭から当該画素までの距離に応じた重み付けを行うことで、各画素の帰属の確度を反映した対象物帰属度を算出することができ、またはみ出し部分の各画素について特徴領域の輪郭から当該画素までの距離に応じた重み付けを行うことで、各画素の帰属の確度を反映した背景帰属度を算出することができる。
ちなみに、図4に示す例では、不確定断片81に関しては背景帰属度が対象物帰属度を上回り、不確定断片82に関しては対象物帰属度が背景帰属度を上回る。
なお、帰属度算出手段43は、(3)式、(4)式で得られる対象物帰属度gs、背景帰属度nsをそれぞれ画像断片sの面積Asで除して、各帰属度gs,nsをそれぞれの最大値が1となるように正規化してもよい。この場合、特徴領域80に包含される画像断片83では対象物帰属度が最大値“1”に近い値となる一方、背景帰属度は最小値“0”となり、また、特徴領域80の外側に位置する画像断片84では対象物帰属度が最小値“0”になる一方、背景帰属度は最大値“1”に近い値となる。
帰属度統合手段44は、互いに異なる粒度について算出される複数の対象物帰属度及び背景帰属度を統合して統合評価値を決定する。帰属度統合手段44は、存否判定手段45から統合を指示された場合は特徴領域単位で各帰属度を統合し、領域修正手段46から統合を指示された場合は画素単位で各帰属度を統合する。
画像分割手段41は同一の処理対象画像から複数の粒度にて画像断片を抽出し、帰属度算出手段43はこの画像断片の情報を基に対象物帰属度と背景帰属度とを算出する。つまり処理対象画像の各部分に対応する対象物帰属度と背景帰属度とはそれぞれ粒度について複数通り算出される。
図2を参照して説明したように画像分割手段41により抽出される画像断片の中には背景と対象物とを分離できていない不適正な画像断片が含まれる問題がある。しかしこの問題は粒度の設定と処理対象画像との相性が悪い場合に生じるものであり、不適正な画像断片が抽出される確率は比較的低い。
そのため、もし不適正な画像断片に基づく不適正な対象物帰属度と背景帰属度が含まれていたとしても、その存在は複数の粒度の中での少数派であり、適正な画像断片に基づく適正な対象物帰属度と背景帰属度が多数派である。
よって、複数の粒度について算出された対象物帰属度と背景帰属度とを統合することで不適正な画像断片の影響が希釈又は排除された統合評価値を算出することができる。そのため、存否判定手段45及び領域修正手段46がこの統合評価値を用いて行う検出処理は、不適正な画像断片の影響が希釈又は排除された高精度な検出処理となる。
まず、特徴領域単位での帰属度の統合について説明する。帰属度統合手段44は、画像断片の中からその内側に特徴領域の輪郭を含む不確定断片を検出する。不確定断片81のように背景帰属度の方が大きい不確定断片は背景に属する画像断片である可能性が高く、一方、不確定断片82のように対象物帰属度の方が大きい不確定断片は対象物に属する画像断片である可能性が高いといえる。
背景帰属度が対象物帰属度よりも大きい不確定断片(背景画像断片)の対象物帰属度は、当該画像断片が背景に帰属する可能性が高いにもかかわらず特徴領域に帰属している度合いである。よって、これを総和することで特徴領域の抽出誤差の程度を表す指標となる統合評価値として統合領域評価値Jが得られる。
具体的には、(5)式に示すように、帰属度統合手段44は各不確定断片について対象物帰属度と背景帰属度とを比較し、背景帰属度が対象物帰属度よりも大きい不確定断片の対象物帰属度の合計値を統合領域評価値Jとして算出する。
J=Σgs {s;gs<ns} ・・・(5)
(5)式において、Σは全粒度でのgs<nsなる不確定断片sについての総和を表す。
また、統合領域評価値Jを、背景画像断片だけでなく、対象物帰属度が背景帰属度よりも大きい不確定断片(対象物画像断片)も考慮に入れて算出することもできる。対象物画像断片の背景帰属度は、当該画像断片が対象物に帰属する可能性が高いにもかかわらず背景に帰属している度合いであり、特徴領域が対象物の一部を抽出し損ねているという側面からの特徴領域の抽出誤差の程度を表す指標となる。そこで、(5)式の統合領域評価値Jにさらに、対象物画像断片についての背景帰属度を加えるように帰属度統合手段44を構成してもよい。
この場合、統合領域評価値Jの算出式は次の(6)式で与えられる。
J=Σ{min(gs,ns)} ・・・(6)
(6)式においてΣは特徴領域の全粒度の不確定断片sについての総和を表す。これにより特徴領域が背景を含んでいるという観点と特徴領域が対象物を抽出し損ねているという観点との両面から評価した抽出誤差である統合領域評価値Jが得られる。
さらに、統合領域評価値Jの算出において、断片明瞭度算出手段42にて得られる断片明瞭度を考慮することができる。この構成を以下説明する。断片明瞭度算出手段42の説明で述べたように、陰影等の影響により対象構成物や背景構成物の像の一部分だけが画像断片として不適切に抽出される場合がある。このような不適切な画像断片においては対象物画像断片と背景帰属度との大小関係が本来の関係とは異なって判断されることがある。このような誤りが統合領域評価値Jに与える影響を軽減するために、統合領域評価値Jの算出に際して、帰属度統合手段44は不確定断片sの対象物帰属度及び背景帰属度を当該不確定断片の断片明瞭度Lsで重み付けする。
具体的には(6)式に対応する統合領域評価値Jは、断片明瞭度を考慮する構成では次式で計算される。
J=Σ{Ls・min(gs,ns)} ・・・(7)
これにより、断片明瞭度が高く信頼できる不確定断片に高い加重をかけて統合領域評価値Jを算出できるので、統合領域評価値Jの信頼性が向上する。
なお、この断片明瞭度による重み付けは、(5)式の統合領域評価値Jの計算にも導入することができる。
上述の(5)〜(7)式の統合領域評価値Jでは、粒度にかかわらず不確定断片の各帰属度を総和した。これに対し、帰属度統合手段44は、(5)〜(7)式の右辺の総和を粒度ごとに行って得られる合計値に基づいて、粒度ごとの粒度別領域評価値を算出し、当該粒度別領域評価値のうち値が小さいものから順に所定数の和、平均値、又は粒度別領域評価値の最小値を統合領域評価値Jと定めるように構成することもできる。これにより、背景と対象物とが分離できていない粒度の影響が除去・軽減された統合領域評価値Jを得ることができる。
ここで、粒度別領域評価値は、(5)〜(7)式の右辺の総和を粒度ごとに行って得られる合計値そのものとしてもよいが、粒度別領域評価値の算出に利用される不確定断片の数や面積は粒度ごとに異なることを考慮に入れて定めることがより好適である。すなわち、各粒度における不確定断片の総数や総面積で粒度別領域評価値を正規化することで粒度別領域評価値間の格差の是正を図る。具体的には、各不確定断片の面積をAs、粒度μにおける不確定断片の総数をNμとすると当該粒度μにおける粒度別領域評価値Jμの算出式は例えば、次式で定義できる。
Jμ=1/(Nμ・ΣAs)×Σ{Ls・min(gs,ns)} ・・・(8)
以上、特徴領域単位での帰属度の統合について説明した。この特徴領域単位での統合領域評価値Jは存否判定手段45で利用される。
次に画素単位での帰属度の統合について説明する。この場合、帰属度統合手段44は、統合評価値として注目画素ごとに、当該注目画素を含む各粒度の画像断片の対象物帰属度を統合した統合対象物帰属度と背景帰属度を統合した統合背景帰属度とを求める。例えば、帰属度統合手段44は、各粒度における各帰属度の和を各統合帰属度として算出する。すなわち、各粒度における対象物帰属度の和を統合対象物帰属度として算出し、各粒度における背景帰属度の和を統合背景帰属度として算出する。また、帰属度統合手段44は、複数の粒度それぞれについての帰属度(対象物帰属度及び背景帰属度)のうち値が小さいものから順に所定数の和もしくは平均値、又は複数の粒度それぞれについての帰属度のうち最小値を統合帰属度(統合対象物帰属度及び統合背景帰属度)と定めるように構成することもできる。また、帰属度統合手段44は、粒度ごとに対象物帰属度及び背景帰属度について予め設定された閾値を用い、対象物帰属度及び背景帰属度が当該閾値を越える粒度の個数を統合対象物帰属度及び統合背景帰属度と定める構成とすることもできる。
このように求められた画素単位での統合対象物帰属度及び統合背景帰属度は領域修正手段46で利用される。
存否判定手段45は、特徴領域について帰属度統合手段44により算出された統合領域評価値を当該特徴領域の設定誤差として、当該特徴領域に検出対象物が存在するか否かの判定に用いる。存否判定手段45は、統合領域評価値Jが予め設定された基準値を越える特徴領域には対象物は存在しないと判定し、一方、統合領域評価値Jが基準値以下である特徴領域には対象物が存在すると判定する。存否判定手段45の判定結果は、異常検知手段47へ出力される。
不適正な画像断片の影響が希釈又は排除された統合評価値に基づいて判定を行うので、高い確度で対象物の存在を検出することができる。
領域修正手段46は、帰属度統合手段44が画素ごとに算出した統合対象物帰属度と統合背景帰属度との大小関係に応じて、当該画素を検出対象物の像を構成する画素群に加えるか否かを定めることにより、特徴領域を修正して検出対象物の像を求める。例えば、領域修正手段46は、監視画像を構成する画素のうち、統合対象物帰属度が統合背景帰属度を越える画素の集合を検出対象物が存在する領域として検出し直す。
不適正な画像断片の影響が希釈又は排除された統合評価値に基づいて修正を行うので、高精度に対象物の領域を検出することができる。
異常検知手段47は、存否判定手段45により対象物の存在が検知され、領域修正手段46により修正が行われた特徴領域の情報に基づいて異常を検知する。具体的には、異常検知手段47は対象物の存在が検知された特徴領域を複数時刻に亘って追跡して対象物の動きを分析し、例えば、監視空間内にて所定距離以上の動きが確認された場合に侵入異常を検知する。また、不審者が存在する異常を検知する別の実施形態では、同様に動きを分析して所定時間以上の滞留を確認すると異常を検知したり、動きパターンが予め定めた不審パターンに合致すると異常を検知する。
異常検知手段47は、存否判定手段45にて誤抽出の排除がなされた特徴領域の情報に基づいて異常を検知するので、確実に誤報を減じることができる。また、異常検知手段47は、領域修正手段46によって修正された特徴領域の情報に基づいて追跡を行い異常を検知するので、追跡精度が向上し誤報を減じることができる。異常を判定した場合、制御部4は出力部5を制御して異常信号の出力を行わせる。
出力部5は、外部装置と接続され当該外部装置へ異常信号を出力するインターフェース回路である。外部装置は、侵入者の存在を警報するスピーカー、ブザー又はランプ等の警報表示手段、又は/及び通信網を介して接続される遠隔地のセンタ装置等である。
次に図6を参照して、画像監視装置1の動作を説明する。監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段が初期化され動作を開始する(S1)。初期化の後は、画像入力部2から制御部4へ新たな監視画像が入力されるたびにステップS2〜S12の処理がループ処理として繰り返される。
画像監視装置1は、領域設定手段40の背景差分処理にて用いる背景画像を、ループ処理の各回が終わるごとに更新する(S2)。制御部4は、前回のループ処理における監視画像のうち特徴領域が抽出されなかった部分の画像を現在の背景画像に合成して、背景画像を更新する(S2)。なお、電源投入直後、すなわち初回のステップS3〜S12の処理の開始時においては背景画像は未だ記憶されていない。この場合、制御部4は背景画像更新処理(S2)として、画像入力部2から得られる監視画像によって背景画像を初期化する。
新たな監視画像が入力されると(S3)、領域設定手段40は、更新された背景画像を用いて背景差分処理を行い、監視画像から特徴領域を抽出する(S4)。
ちなみに、識別器により特徴領域を抽出する装置構成ではステップS2の更新処理は不要となる。
特徴領域が一つも抽出されなかった場合(S5にてNO)、処理はステップS2へ戻される。一方、1以上の特徴領域が抽出された場合(S5にてYES)、制御部4は監視画像から画像断片の情報を生成する(S6)。
図7を参照して、画像断片情報生成処理の詳細を説明する。制御部4は各粒度を順次、注目粒度に設定して粒度に関するループ処理を実行する(S60〜S69)。この粒度について繰り返されるループ処理において、制御部4の画像分割手段41は、記憶部3の分割粒度31から注目粒度に対応する設定を読み出し、当該設定に従ったセグメンテーション処理を監視画像に施して当該監視画像を画像断片に分割する(S61)。
監視画像が画像断片に分割されると制御部4はこれらの画像断片を順次、注目断片に設定して画像断片に関するループ処理を実行する(S62〜S68)。この画像断片ごとに繰り返されるループ処理において、制御部4の断片明瞭度算出手段42は、注目断片及びその周辺画像の画素値を(2)式に適用して各画像断片の断片明瞭度Lsを算出する(S63)。
制御部4は、画像断片のループ内においてさらに図6のステップS4にて抽出された特徴領域を順次、注目特徴領域に設定して特徴領域に関するループ処理を実行する(S64〜S67)。この特徴領域ごとに繰り返されるループ処理において、制御部4の帰属度算出手段43は、注目断片と注目特徴領域との位置関係を判定して重複部分の画素e1、はみ出し部分の画素e2及び注目特徴領域の輪郭画素をピックアップし、画素e1の座標と輪郭画素の座標に(3)式を適用して対象物帰属度gsを算出するとともに(S65)、画素e2の座標と輪郭画素の座標に(4)式を適用して背景帰属度nsを算出する(S66)。帰属度算出手段43は、算出された対象物帰属度gs及び背景帰属度nsを注目粒度、注目断片及び注目特徴領域を識別する情報と関連付けて記憶部3に一時記憶させる。
こうして特徴領域のループ処理、画像断片のループ処理、粒度のループ処理が終了すると、処理は図6のステップS7へ進められる。
ステップS7において制御部4は、各特徴領域に対象物が存在するか否か、すなわち各特徴領域が対象物を含んで正しく抽出されたものか否かを判定する。
図8を参照して、存否判定処理の詳細を説明する。制御部4の存否判定手段45は、図6のステップS4にて抽出された特徴領域を順次、注目特徴領域に設定して特徴領域に関するループ処理を実行し(S70〜S79)、この特徴領域ごとに繰り返されるループ処理内で分割粒度31により規定される各粒度を順次、注目粒度に設定して粒度に関するループ処理を実行する(S71〜S74)。
この粒度について繰り返されるループ処理において、存否判定手段45は図7のステップS61において注目粒度で分割された各画像断片と注目特徴領域との位置関係から注目特徴領域の輪郭との重複がある画像断片を不確定断片として検出し(S72)、これらの不確定断片の面積As及び総数Nμを算出し、さらにこれらの不確定断片について図7のステップS63にて算出された断片明瞭度Ls、同図ステップS65にて算出された対象物帰属度gs、同図ステップS66にて算出された背景帰属度nsを記憶部3から読み出して(8)式に適用して粒度別領域評価値Jμを算出する(S73)。
粒度についてのループ処理が終わると(S74にてYES)、存否判定手段45は、ステップS73にて算出された粒度別領域評価値Jμの最小値を統合領域評価値Jとして算出し(S75)、統合領域評価値Jを基準値Tと比較する(S76)。
存否判定手段45は、統合領域評価値Jが基準値T以下であれば(S76にてYES)、注目特徴領域に対象物が存在すると判定する(S77)。一方、統合領域評価値Jが基準値Tを越えていれば(S76にてNO)、注目特徴領域に対象物は存在しないと判定する(S78)。対象物が存在しないと判定された特徴領域の情報は誤抽出であるとして一時記憶されている情報から削除される。
こうして全ての特徴領域に対して対象物の存否が判定されると(S79にてYES)、処理は図6のステップS8へ進められる。
ステップS8において制御部4は存否判定手段45の判定結果を参照する。対象物が存在すると判定された特徴領域がある場合(S8にてYES)、制御部4の領域修正手段46は当該特徴領域に対して特徴領域の修正を行う(S9)。
図9を参照して、領域修正処理の詳細を説明する。制御部4の領域修正手段46は、図6のステップS4にて抽出された特徴領域を順次、注目特徴領域に設定して特徴領域に関するループ処理を実行し(S90〜S99)、この特徴領域のループ処理内で監視画像を構成する各画素を順次、注目画素に設定して画素に関するループ処理を実行する(S91〜S97)。
この画素のループ処理において、領域修正手段46は、帰属度統合手段44に対して注目画素を指定し、当該注目画素について統合対象物帰属度及び統合背景帰属度を算出させる。
注目画素を指定された帰属度統合手段44は、図7のステップS61にて抽出された画像断片の中から注目画素を含む画像断片を、各粒度について選出する(S92)。そして、帰属度統合手段44は、図7のステップS65において算出された対象物帰属度の中から、ステップS92にて選出された選出断片についてのものであって、かつ現在処理対象として設定されている注目特徴領域に対するものを記憶部3から読み出して、それらの和を統合対象物帰属度として算出する(S93)。同様に、帰属度統合手段44は、図5のステップS66において算出された背景帰属度の中から、ステップS92の選出断片についてのものであって、かつ現在の注目特徴領域に対するものを記憶部3から読み出して、それらの和を統合背景帰属度として算出する(S94)。
領域修正手段46は、算出された統合対象物帰属度と統合背景帰属度とを比較して(S95)、統合対象物帰属度が統合背景帰属度を越えていれば(S95にてYES)、注目画素を対象物画素に設定する(S96)。
全画素についてのループ処理(S91〜S97)が終了すると(S97にてYES)、領域修正手段46は、元の注目特徴領域の情報を、ステップS96にて設定された対象物画素の集合に置き換えて特徴領域を修正する(S98)。
以上の処理が全特徴領域に対して実行され(S99にてYES)、全ての特徴領域が修正されると、処理は図6のステップS10へ進められる。
再び図6を参照して画像監視処理の続きを説明する。制御部4の異常検知手段47は、対象物の存在が判定され、かつ修正された特徴領域に基づき異常の有無を判定する(S10)。すなわち異常検知手段47は、特徴領域の追跡を行い、追跡の結果、予め設定された距離閾値を越える距離の移動が検出されると、当該特徴領域は侵入者によるものであるとして異常を検知する。追跡は、例えば、現時刻の監視画像において特徴領域に対応する部分画像の色ヒストグラムを分析し、当該色ヒストグラムと、同様にして過去に分析され記憶されている色ヒストグラムとを比較することで前後する時刻の特徴領域を対応付けることで行われる。また、次時刻の追跡に備えて異常検知手段47は、現時刻の監視画像から分析された色ヒストグラムを記憶部3に追加記憶させる。
異常検知手段47により異常が検知されると(S11にてYES)、出力部5は異常信号を生成して、異常信号を例えば、警報表示手段及び通信網へ出力する(S12)。このとき出力部5は通信網へ出力する異常信号に現時刻の監視画像のデータを含ませる。異常信号が入力された警報表示手段は、スピーカーの鳴動やランプの点灯により警報表示を行って侵入者を威嚇するとともに利用者の注意を喚起する。また、異常信号は通信網により監視員が常駐する警備センタのセンタ装置へ伝送され、異常信号を受信したセンタ装置は警報音の鳴動や監視画像の表示等を行う。そして、監視画像により状況確認した監視員は状況に応じた対処を行う。
一方、存否判定手段45により対象物の存在が判定された特徴領域が無い場合(S8にてNO)、ステップS9以降の処理はスキップされる。また、対象物の存在が判定された特徴領域があっても未だ異常が判定されない場合(S11にてNO)、ステップS12の処理はスキップされる。
以上の処理が終了すると、処理は再びステップS2へ戻され、次時刻の監視画像に対する処理が行われる。
上述の実施形態では、画像入力部2に監視カメラを備え、リアルタイムで監視空間から得られる監視画像に基づいて対象物の検知を行う構成を説明した。これとは別の実施形態では、画像入力部2がHDDレコーダー等の画像記録装置であって、記録している監視画像を制御部4に入力する構成とすることもできる。この構成では、画像監視装置1は、過去に撮像された監視画像から対象物の検出を行う。
また、上述の実施形態においては、対象物の存在が推定される候補領域は、領域設定手段40が監視画像と抽出用情報30とを比較することによって抽出された。これとは別の実施形態として、領域設定手段40はポインティングデバイスとディスプレイから構成され、利用者が目視確認しながら領域設定手段40を操作して対象物が含まれる概略の領域を候補領域として設定する構成も可能である。
また、上述の実施形態では、統合領域評価値Jは候補領域の設定の誤りの可能性の多さ、つまり設定誤差を表していたが、逆に統合領域評価値Jが、設定の誤りの可能性の少なさ、つまり設定の正確性を表す指標となるように定義することもできる。例えば、対象物帰属度gsの逆数の和、又は対象物帰属度gsの逆数及び背景帰属度nsの逆数の和を、設定の正確性を表す統合領域評価値Jとして定めることができる。この場合、(5)に相当する領域評価値Jの定義式は下記(9)式となり、また(7)式、(8)式に相当する定義式はそれぞれ下記(10)式、(11)式となる。
J=Σ(1/gs) {s;gs<ns} ・・・(9)
J=Σ{Ls/min(gs,ns)} ・・・(10)
Jμ=1/(Nμ・ΣAs)×Σ{Ls/min(gs,ns)} ・・・(11)
なお、統合領域評価値Jをこのような正確性を表す指標として定義した場合、統合領域評価値Jと基準値Tとの大小関係は逆になり、例えば、ステップS76では統合領域評価値Jが基準値T以上である特徴領域に対象物が存在すると判定され、そうでない特徴領域に対象物は存在しないと判定される。