JP5877722B2 - 画像監視装置 - Google Patents

Description

本発明は、監視空間を撮像した監視画像を順次取得し、この順次取得した監視画像を画像処理して監視空間における目標移動物体の有無を判定する画像監視装置に関する。

従来、例えばカメラなどの撮像装置から入力される画像と背景画像などの基準画像との変化態様から侵入者等の目標移動物体の特徴を示す領域を検出し、当該領域が目標移動物体（例えば侵入者）であるか否かを判定するような画像監視装置が知られている。

この種の画像監視装置としては、例えば撮像装置が現在撮影した入力画像と予め記憶している背景画像などの基準画像とを比較して、両画像の差分を変化領域として抽出し、この抽出された変化領域について面積や移動速度などを演算し、演算結果を元に監視空間に目標移動物体が存在するか否かを判断するものが知られるところである。そして、下記特許文献１には、この種の画像監視装置に用いられる画像センサとして、撮像部にて順次取得される監視空間の撮像画像と基準画像との差分から変化領域を抽出するとともに変化領域の移動を追跡するものが開示されている。

この種の画像監視装置では、変化領域を抽出した際、微小面積のノイズ抽出が生じることがあった。従来、このような微小面積のノイズ抽出を除去するため、例えば、下記特許文献２に開示されるように、予め定めた画素数（面積）を閾値とし、抽出された変化領域の画素数が当該閾値に満たないような小さい変化領域をノイズ抽出とみなして除去していた。

特開２００６−３１８０６４号公報 特開平０５−０２０５５８号公報

ところで、目標移動物体による変化領域の大きさは、当該目標移動物体が撮像装置から遠方に存在するほど、一般的に小さな面積の変化領域として抽出される。また、侵入者などの目標移動物体の状態によっては、顔や手などの領域のみが部分的に抽出される場合があるため、遠方に存在する目標移動物体がより小さな変化領域群として抽出され易い。例えば、可視画像を撮像する撮像装置を用いた画像監視装置では、侵入者の衣服と基準画像との輝度差が少ない場合、当該衣服の領域を抽出できずに顔や手などの領域のみが小さな変化領域群として抽出され易い。また、熱画像（赤外線画像）を撮像する撮像装置を用いた画像監視装置においても、衣服に遮蔽されていない顔や手などの部分領域のみが小さな変化領域群として抽出され易い。そのため、従来のように、画像内で一律の閾値を用いてノイズ除去を適用した場合、遠方にいる目標移動物体による小さな変化領域や小さな変化領域群を誤ってノイズ抽出とみなして除去してしまい、目標移動物体を失検出する可能性があるといった問題があった。

一方で、遠方の目標移動物体を誤って除去しないように小さい閾値を用いてノイズ除去を行った場合、ノイズ抽出が残りやすいといった問題があった。特に、信号雑音比（ＳＮ比）が小さい領域では、画素値が出力変動しやすく、元々ノイズ抽出が多く発生し易い領域であるため、画像内で一律の閾値を用いてノイズ除去を適用した場合にノイズ抽出が残り易かった。ＳＮ比が小さい領域の例としては、画像中央領域と比較してレンズ収差などの影響を受け易い画像外周領域が挙げられる。

そこで、本発明は上記問題点に鑑みてなされたものであり、誤ったノイズ除去によって生じうる目標移動物体の失検出を抑制できる画像監視装置を提供することを目的とするものである。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、監視空間を撮像して監視画像を出力する撮像部と、前記監視画像と基準画像とを比較して変化領域を抽出する抽出部と、前記変化領域の特徴から物体を判定する判定部と、を具備する画像監視装置であって、
前記抽出部は、過去の所定期間において前記変化領域が位置していた画像領域を含む所定範囲の近傍画像領域を設定し、現在の前記変化領域が該近傍画像領域に位置していたとき、該変化領域がノイズか否かを判定するための閾値を小さい値となるよう設定し、該閾値より小さい面積の前記現在の変化領域をノイズと判定し除去することを特徴としている。

かかる構成により、本発明の抽出部は、過去の所定期間（例えば１フレーム前）に抽出された変化領域が位置している画像領域を含んだ近傍の画像領域（近傍画像領域）を、監視画像上に設定する。そして、抽出部は、現在フレームにおける変化領域が当該近傍画像領域に位置していたとき、当該変化領域のノイズ判定閾値を小さめの値に設定する。そして、抽出部は、設定したノイズ判定閾値を用いてノイズ除去する。ある過去のフレームで移動物体による変化領域が抽出された場合、次のフレームでは当該変化領域の近傍に、同じ移動物体による変化領域が抽出される可能性が高い。このため、現在フレームの変化領域が、過去のフレームにおいて変化領域の位置していた領域の近傍に位置していたとき、ノイズ判定閾値を小さめに設定することによって、このような移動物体による変化領域である可能性の高い領域についてはできるだけノイズ抽出とみなさないようにすることができ、誤ったノイズ除去に起因する失検出を抑制することができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記監視空間における前記撮像部の設置位置及び撮影方向からなる設置情報を記憶する記憶部を更に備え、
前記抽出部は、前記変化領域の前記監視画像上の位置と前記設置情報とから前記監視空間における該変化領域の物体と前記撮像部との間の距離を示す想定距離を求め、前記閾値を該想定距離が大きくなるほど小さい値となるよう設定することを特徴としている。

かかる構成により、本発明の抽出部は、監視画像から抽出した変化領域の監視画像上の位置と設置情報（設置位置や撮影方向など）とから監視空間における変化領域に対応する物体と撮像部との間の距離（想定距離）を、例えば透視変換処理などによって求める。そして、抽出部は、求めた想定距離が大きくなるほど（すなわち変化領域に対応する物体の監視空間における位置が撮像部から遠くなるほど）、ノイズ判定のための閾値（以下、「ノイズ判定閾値」という）を小さくなるよう設定する。そして、抽出部は、設定したノイズ判定閾値よりも小さい面積の変化領域をノイズ抽出とみなして除去する処理を行う。撮像部から遠方に存在する物体であるほど、一般的に小さな変化領域として抽出されやすいが、本発明では、このような遠方にある変化領域に対しては小さな値に設定されたノイズ判定閾値を用いてノイズ除去を行う。そのため、日照変動やカメラ筐体等からの熱といった環境温度変動などの影響に起因して生じる実体の存在しないノイズ抽出（環境ノイズ）は、想定距離に関係しない大きさで出現すため効果的に除去できる一方で、想定距離に応じて変化する目標移動物体の変化領域は、当該想定距離を考慮してノイズ除去することにより、ノイズ抽出であるとみなされて誤ってノイズ除去されることを抑制することができ、失検出を効果的に減らすことができる。

本願請求項３に係る画像監視装置は、請求項２の画像監視装置において、
前記抽出部は、前記監視画像の画像領域を複数の部分画像領域に分割し、該部分画像領域の画像上の位置と前記設置情報とから前記監視空間における該部分画像領域の実位置と前記撮像部との間の距離である領域距離を求めて部分画像領域毎に予め設定しておき、前記変化領域が位置している前記部分画像領域の前記領域距離を前記想定距離とすることを特徴としている。

かかる構成により、本発明の抽出部は、監視画像の画像領域を複数の部分画像領域に分割し、各部分画像領域の画像上の位置と設置情報とから監視空間における部分画像領域の実位置と撮像部との間の距離（領域距離）を求めて、部分画像領域毎に予め設定しておく。そして、抽出部は、変化領域がどの部分画像領域に位置しているのかを判定し、当該変化領域の位置している部分画像領域に設定された領域距離を、当該変化領域の想定距離として求める。そして、抽出部は、求めた想定距離に基づいて変化領域毎にノイズ判定閾値を設定し、ノイズ除去する。このように、部分画像領域ごとに領域距離を予め算出して設定しておき、変化領域の位置している部分画像領域の領域距離から想定距離を求めることにより、変化領域が抽出される毎に想定距離を算出する必要が無くなり、ノイズ判定閾値の設定に必要な計算量を減らすことができる。

本願請求項４に係る画像監視装置は、請求項１〜３の何れかの画像監視装置において、
前記抽出部は、前記変化領域が前記監視画像における信号雑音比の小さい所定領域に位置するとき、前記閾値を大きめに変更することを特徴としている。

かかる構成により、本発明の抽出部は、まず、抽出した変化領域の画像上の位置が、監視画像における予め設定した信号雑音比（ＳＮ比）の小さい領域に位置しているか否かを判定する。例えば、監視画像の画像外周領域は、レンズの収差の影響などによって、画像中央領域と比較してＳＮ比が小さい領域であるため、当該画像外周領域を予め設定しておく。そして、変化領域が設定された画像外周領域に位置しているか否かを判定する。変化領域が当該画像外周領域に位置していた場合、抽出部は、設定されたノイズ判定閾値を大きめの値に変更してノイズ除去を行う。つまり、抽出された変化領域の想定距離が大きいときは小さめのノイズ判定閾値に設定されるものの、当該変化領域が画像外周領域に存在していた場合、設定された小さめのノイズ判定閾値よりも所定割合だけ大きく変更され、当該変更されたノイズ判定閾値を用いてノイズ除去を行う。これにより、ＳＮ比が小さい領域は、画素値が出力変動しやすいためノイズ抽出が生じ易く、大きめのノイズ抽出が生じやすい領域であるものの、当該領域では、大きめのノイズ判定閾値を用いてノイズ除去を行うことができるため、上記のように失検出を抑制できるだけでなく、ＳＮ比が小さい領域における誤検出をさらに抑制することができる。

本発明に係る画像監視装置によれば、遠方に位置する物体の小さい変化領域であっても誤って除去することなく、目標移動物体の失検出を抑制できる。

本発明に係る画像監視装置の全体構成を示すブロック構成図である。 本発明に係る画像監視装置において撮像部からラベルの監視画像上の位置までの想定距離からノイズ判定閾値を決定する場合の説明図である。 本発明に係る画像監視装置において前フレームのラベルの近傍画像領域のノイズ判定閾値を変更する場合の説明図である。 本発明に係る画像監視装置においてラベルが外周領域に位置するときのノイズ判定閾値を変更する場合の説明図である。 本発明に係る画像監視装置による全体動作の処理手順を示すフローチャートである。 図５のノイズ除去処理の具体的処理内容の手順を示すフローチャートである。 本発明に係る画像監視装置の他の実施形態における想定距離を決定する際に用いられる距離テーブルの例を示す図である。 本発明に係る画像監視装置の他の実施形態における想定距離を決定する方法の説明図である。

以下、本発明を監視空間における侵入者を検出する画像監視装置に適用した実施形態について、添付した図面を参照しながら詳細に説明する。

（画像監視装置の全体構成について）
本発明に係る画像監視装置は、監視空間を撮像した監視画像を順次取得し、この順次取得した監視画像を画像処理して監視空間における目標移動物体（例えば侵入者）の有無を判定するものである。

特に、本実施形態は、撮像部が監視空間を撮像した監視画像の中から変化のある領域として抽出される変化領域に対応する物体と撮像部との間の監視空間における実距離（想定距離）に見合うノイズ判定閾値を設定し、この設定されたノイズ判定閾値を用いてノイズ除去を行うノイズ除去処理の機能を含む画像監視装置を提供するものである。すなわち、監視画像から抽出された変化領域の面積がノイズ判定閾値以下であるとき、当該変化領域をノイズ抽出とみなして除去する処理を行うが、その際、例えば遠方の人物のように、監視画像上での変化領域の面積が小さくなりやすい状況では、当該変化領域に対しては小さいノイズ判定閾値を用いてノイズ除去することにより、侵入者による変化領域をノイズ抽出とみなして誤って除去することを防いでいる。

図１に示すように、本実施形態の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで概略構成される。

撮像部２は、例えばレンズなどの光学系およびＣＣＤやＣＭＯＳなどの２次元アレイ素子を有する二次元イメージセンサで構成され、監視空間を撮像した撮像画像（以下、画像と言う）を画像処理部４に出力している。撮像部２は、天井や壁に設置され上から斜め下方の空間を撮像している。さらに説明すると、二次元イメージセンサによる撮像部２は、監視空間から入射した光をレンズなどの光学系によって２次元アレイ素子の受光平面に結像させ、その像の光による明暗を電荷の量に光電変換し、これを順次読み出して、各画素が電荷量に対応した輝度値で表現された画像を画像処理部４に出力する。その際、１フレームの画像を所定の時間間隔で取得して画像処理部４に出力する。

また、撮像部２は、その設置位置や撮像方向を示す外部パラメータと、焦点距離、画角（視野角）、レンズ歪み、その他のレンズ特性や撮像素子の画素数を示す内部パラメータとを撮像パラメータとして含む。この撮像パラメータは、実際に計測を行うなどして得ることができ、設置情報として予め記憶部３に記憶される。

そして、この撮像パラメータを用いれば、監視画像中の画素位置を撮像部２の撮像面における座標（撮像面座標）と実空間における座標（実座標）との間で座標変換することが可能となる。本実施形態では、この設置情報を用いた（１）撮像面座標から実座標への変換及び（２）実座標から撮像面座標への変換の両変換を透視変換と総称している。

なお、撮像部２としては、所定画素（例えば３２０×３２０画素）の赤外線検出素子を有し、監視領域から放射される赤外線を検出し、この検出した赤外線の量に応じた監視領域の温度分布を監視画像として画像処理部４に出力する熱画像センサで構成することもできる。

記憶部３は、画像監視装置１に関する装置の設定情報、画像処理部４の各種処理に使用される情報を記憶している。画像監視装置１に関する設定情報としては、上述した撮像部２の撮像パラメータなどの設置情報が含まれる。また、画像処理部４の各種処理に使用される情報としては、例えばフレーム毎の画像データ、画像データから変化領域を抽出するための基準画像、後述するノイズ除去処理に用いられるノイズ判定閾値の他、処理に用いられる計算式や閾値、基準値等の各種パラメータが含まれる。

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図５、図６に示す一連の処理として、入力画像取得処理、抽出処理、ラベリング処理、ラベル統合処理、ノイズ除去処理、トラッキング（物体候補の追跡）処理、特徴量算出処理、侵入者判定処理を実行するべく、抽出部４ａ、追跡部４ｂ、特徴量算出部４ｃ、判定部４ｄを含んでいる。

抽出部４ａは、図１に示すように、ラベル抽出手段１１、閾値設定手段１２、ノイズ除去手段１３を含む構成である。

ラベル抽出手段１１は、撮像部２で取得された監視画像の中から変化のある領域を変化領域として抽出する抽出処理を行っている。基準画像を予め記憶部３に保存しておき、今回取得した監視画像と基準画像との差分が所定の閾値以上の領域を変化領域として抽出する。この際、基準画像として監視空間の背景画像や、過去に取得した監視画像を適宜選択して採用することができる。また、ラベル抽出手段１４は、抽出した各変化領域に対し、それぞれユニークな数値であるラベルを付与するラベリング処理を行っている。さらに、ラベル抽出手段１４は、画像上の位置に基づく人物の想定サイズを求め、当該想定サイズの範囲内にある複数の変化領域を一つの物体からなる変化領域とみなし、単一ラベルに統合するラベル統合処理を行っている。以下では、ラベリング処理によってラベルが付与された変化領域（ラベル統合処理によって統合された一又は複数の変化領域を含む）を「ラベル領域」という。なお、本実施形態では、現在取得した監視画像において、予め記憶した基準画像からの差分値の大きい領域を変化領域として抽出しているが、これに限らず、画素値の時間変化をディジタルフィルタなどの周波数解析を行うことによって変化領域を抽出する方法を用いても良い。また、上記のラベル統合処理を省略することもできる。

閾値設定手段１２は、予め記憶部３に記憶されている設置情報や計算式を用いて、ラベル領域毎にノイズ判定閾値を求め、記憶部３に記憶する処理を行っている。以下、閾値設定手段１２における処理の詳細について説明する。

まず、閾値設定手段１２は、各ラベル領域の想定距離を求める。ここで、本実施形態における想定距離とは、ラベル領域に対応する物体と撮像部２との間の監視空間（実空間）における距離を意味し、ラベル領域の監視画像上の位置（ｙ座標）と設置情報とを用いて既知の透視変換処理をすることによって求まる距離値である。そして、閾値設定手段１２は、想定距離が大きくなるほど小さい値をとるようノイズ判定閾値を求める。本実施形態では、想定距離と予め定めた基準閾値および基準距離とを用いて、ラベル領域毎に（ノイズ判定閾値）＝（基準閾値）×ｅｘｐ［｛（基準距離）−（想定距離）｝／１０］の計算式からノイズ判定閾値を算出する。

本実施形態におけるノイズ判定閾値を求める具体的な例について、図２を用いて説明する。図２に表すように、ラベル抽出手段１１の抽出処理、ラベリング処理、ラベル統合処理にて処理された抽出画像２０内に２つのラベル領域２１ａ、２１ｂが抽出されている。閾値設定手段１２は、まず、ラベル領域２１ａ、２１ｂのそれぞれの想定距離を算出する。想定距離を求めるにあたって、ラベル領域２１ａ、２１ｂの監視画像上における位置として、ラベル領域２１ａ、２１ｂの最上部Ｐ１、Ｐ２の抽出画像２０（監視画像）上におけるｙ座標を求める。そして、この最上部Ｐ１、Ｐ２を侵入者の頭部位置とみなし、ｙ座標と上述した設置情報とを用いて既知の透視変換処理を行うことによって、ラベル領域２１ａ、２１ｂに対応する物体と撮像部２との間の監視空間（実空間）における距離である想定距離を算出する。図２の例では、透視変換処理によって、ラベル領域２１ａの想定距離が８ｍ、ラベル領域２１ｂの想定距離が６ｍと求められたとする。その後、閾値設定手段１２は、前述のノイズ判定閾値を求める計算式を用いて、ラベル領域毎にノイズ判定閾値を算出する。本実施形態では、基準閾値を３０画素、基準距離を１ｍとして予め記憶部３に記憶しておく。この場合、ラベル領域２１ａのノイズ判定閾値は３０×ｅｘｐ｛（１−８）／１０｝≒１４．９となり、ラベル領域２１ｂのノイズ判定閾値は３０×ｅｘｐ｛（１−６）／１０｝≒１８．２として算出される。このようにして求めたノイズ判定閾値を、閾値設定手段１２は、記憶部３にラベルと対応付けて記憶する処理を行う。なお、本実施形態では、想定距離を求めるにあたってラベル領域の最上部のｙ座標を用いたが、これに限らず、最下部のｙ座標や、重心位置のｙ座標などの監視画像上の位置を用いて、想定距離を求めても良い。

また、閾値設定手段１２は、注目する現在フレームのラベル領域の重心位置が、前フレームのラベル領域を含む所定範囲の画像領域である近傍画像領域内に位置していたとき、当該ラベル領域のノイズ判定閾値を小さめの値に変更する処理を行う。本処理の具体例について図３を用いて説明する。図３の符号２０は、それぞれ前フレーム（ｎフレーム）及び現在フレーム（ｎ＋１フレーム）の抽出画像である。図３に示すように、閾値設定手段１２は、前フレーム（ｎフレーム）のラベル領域２１に外接する矩形領域から上下左右に３画素分だけ大きい範囲の画像領域（同図中、点線で囲まれる領域）を近傍画像領域２２として予め記憶部３に記憶しておく。そして、現在フレーム（ｎ＋１フレーム）のラベル領域２１の重心位置Ｇが近傍画像領域２２内に位置しているとき、当該ラベル領域のノイズ判定閾値を予め設定された割合（例えば、５０％）分だけ、小さくなるように変更する処理を行う。例えば、図３における現在フレームのラベル領域２１のノイズ判定閾値は、上記の処理等によって２０画素と設定されていたとき、当該ラベル領域２１のノイズ判定閾値は、２０×０．５＝１０画素として変更され、記憶部３に記憶される。

また、閾値設定手段１２は、注目するラベル領域２１の監視画像上の重心位置が監視画像における予め定めたＳＮ比の小さい領域に位置するときに、当該ラベル領域のノイズ判定閾値を大きめの値に変更する処理を行う。なお、ＳＮ比の小さい領域として、本実施形態では、監視画像端から１０画素の距離以内の領域である画像外周領域を予め記憶部３に設定されていることとする。本処理の具体例について図４を用いて説明する。図４は現在フレームのラベル領域２１の重心位置Ｇが抽出画像２０の画像外周領域２３内に位置する場合の一例を示している。この場合、閾値設定手段１２は、ラベル領域２１のノイズ判定閾値を予め設定された割合（例えば、１５０％）分だけ、大きくなるように変更する処理を行う。例えば、図４のラベル領域２１のノイズ判定閾値が、上記の処理等によって２０画素と設定されていたとき、当該ラベル領域２１のノイズ判定閾値は、２０×１．５＝３０画素として変更され、記憶部３に記憶される。

なお、本実施形態では、監視画像端からの距離に基づいてノイズ抽出の出やすい領域（ＳＮ比が小さい領域）を規定している。しかし、ノイズ抽出の出やすい領域の規定方法としては、これに限らず、例えば、予め画素ごとにＳＮ比を評価して、ＳＮ比が一定値以下の領域を当該領域と定めておく方法などが考えられる。具体的には、まず、均一な温度物体を一定期間撮影したときの画素値の時間的変動量を求める。次に、異なる温度の均一な温度物体を見た時の画素値の差分値を求める。前者は画素ごとのノイズ成分を、後者は同じ温度変化に対する画素ごとの出力値変化量を得ることに相当するため、後者を前者で除算することにより、画素ごとのＳＮ比を求めることができる。このようにして求めた、ＳＮ比が所定値以下の画素の領域をノイズの出やすい領域として記憶部３に記憶させておく方法を用いてもよい。

ノイズ除去手段１３は、注目するラベル領域２１の面積（画素数）と閾値設定手段１２にて決定されたノイズ判定閾値とを比較し、ラベル領域２１の面積がノイズ判定閾値以下であるときにそのラベル領域２１をノイズ抽出として除去する処理を行う。

上記のように、ラベル領域２１の想定距離を算出し、当該想定距離が大きくなるほど小さい値をとるようノイズ判定閾値を求め、当該ノイズ判定閾値を用いてノイズ除去を行うことによって、侵入者による抽出をノイズ抽出とみなして誤って除去することを防ぎ、侵入者の失検出を抑制することができる。すなわち、撮像部から遠方に存在する物体であるほど、一般的に小さなラベル領域２１として抽出されやすいが、このような遠方にあるラベル領域２１に対しては小さな値に設定されたノイズ判定閾値を用いてノイズ除去を行うため、当該ラベル領域２１がノイズ抽出であるとみなされて誤ってノイズ除去されることを抑制することができ、失検出を減らすことができる。

また、上記のように、現在フレームのラベル領域２１の重心位置が近傍画像領域２２に位置していたとき、当該ラベル領域２１のノイズ判定閾値を小さめの値に更新して変更することにより、誤ったノイズ除去に起因する失検出をさらに抑制することができる。すなわち、ある過去フレームにおいて侵入者によるラベル領域２１が存在していた場合、現在フレームでも、そのラベル領域２１の近傍の画像領域（近傍画像領域２２）に同じ侵入者によるラベル領域２１が存在している可能性が高い。このため、現在フレームのラベル領域２１が、前フレームにおいてラベル領域２１の位置していた領域の近傍に位置していたとき、ノイズ判定閾値を小さめに変更することによって、同じ侵入者によって生じた可能性の高いラベル領域２１をノイズ抽出とみなさないようにすることができ、誤ったノイズ除去に起因する失検出を抑制することができる。

また、上記のように、ラベル領域２１の監視画像上の重心位置が監視画像における予め定めたＳＮ比の小さい領域に位置するときに、当該ラベル領域２１のノイズ判定閾値を大きめの値に変更して更新する処理を行うことにより、監視画像の中央領域における失検出を抑制できるとともに、ノイズ抽出の出現しやすい画像外周領域２３のようなＳＮ比の小さい領域における誤検出を抑制することができる。

追跡部４ｂは、抽出部４ａが抽出した変化領域を時間的に追跡するもので、抽出部４ａによる各処理（抽出処理、ラベリング処理、ラベル統合処理、ノイズ除去処理）で求まったラベル領域２１に対し、前回取得した画像の追跡ラベル領域との対応付けをするトラッキング処理を行っている。

なお、追跡ラベル領域とは、これまでに取得した画像において、同一の追跡物体によるラベル領域が常に同じラベルになるように、抽出部４ａによるラベリング処理でのラベルと異なるユニークなラベル（以下、追跡ラベルという）を付与し直したラベル領域のことを指す。

特徴量算出部４ｃは、追跡部４ｂにて求めた追跡ラベル領域について、侵入者を判定するための特徴量を算出する特徴量算出処理を実行している。本実施形態では、透視変換によって推定される実空間での幅・高さや移動量などを用いて求められる追跡ラベル領域の人らしさを侵入者を判定するための特徴量としている。

判定部４ｄは、予め定められた判定条件に従い、特徴量算出処理によって算出された特徴量を元に、対象となる追跡ラベル領域（変化領域）が侵入者か否かを判定する侵入者判定処理を実行している。そして、判定部４ｄは、侵入者ありと判定したときに、その旨の判定信号を出力部５に出力している。

出力部５は、画像処理部４の判定部４ｄにて侵入者ありと判定された旨の判定信号を外部に出力するもので、例えば表示器やブザーなどで構成される。出力部５は、画像処理部４の判定部４ｄから侵入者ありの判定信号が入力されると、表示器やブザーを駆動して侵入者ありの旨を報知する。

なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定部４ｄから入力された侵入者ありの判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

（画像監視装置１による侵入者有無の判定処理について）
次に、上記構成による画像監視装置１を用いて監視空間における侵入者の有無を判定する場合の画像処理部４の処理動作について図５を参照しながら説明する。

画像処理部４は、画像監視装置１の電源がオンされると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関する設定情報や画像処理部４の各種処理に使用される情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や俯角、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像、各種閾値などである。

次に、画像処理部４は、入力画像取得処理を実行する（ＳＴ２）。入力画像取得処理では、撮像部２が監視空間の監視範囲を撮像した監視画像の取得を行う。

次に、画像処理部４の抽出手段４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、入力画像取得処理で取得された画像から変化領域を抽出する。本実施形態では、今回取得した監視画像と予め記憶した監視空間の基準画像との差分をとることにより変化領域を抽出する。

なお、画像として熱画像を撮像部２から取得する他の実施形態の場合は、取得した熱画像から温度変化があった領域を変化領域として抽出する。例えば予め過去の熱画像を基準画像として記憶部３に保存しておき、現在の熱画像と基準画像との差分が閾値以上の領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。

次に、画像処理部４の抽出手段４ａによりラベリング処理を実行する（ＳＴ４）。ラベリング処理では、ＳＴ３の抽出処理で求めた変化領域についてラベル付けを行う。例えば注目抽出画素の周囲で隣接する抽出画素をひとまとまりとしてラベル領域２１とする手法などが利用できる。また、ラベリング処理では、所定範囲にある複数のラベルを一つのラベルに統合するラベル統合処理を行う。例えばそれぞれのラベルの抽出領域について、設定情報取得処理で得た設置情報（例えば撮像部２の設置高や俯角などの情報）を活用し、画面上での人想定サイズに基づいた領域の位置と大きさを算出する。そして、算出した領域に別のラベルが付与された抽出領域が含まれる場合は、同一のラベルとなるようにラベルを付与し直す。これに対し、画面内にラベル領域２１が１つしか存在しない場合は、何も処理を行わない。

次に、画像処理部４における抽出部４ａの閾値設定手段１２及びノイズ除去手段１３によりノイズ除去処理を実行する（ＳＴ５）。ノイズ除去処理では、注目するラベル領域２１に対するノイズ判定閾値を閾値設定手段１２にて設定し、ＳＴ４のラベリング処理で得られた個々のラベル領域２１がノイズ抽出であるか否かをラベル領域２１の面積とノイズ判定閾値との比較によってノイズ除去手段１３が判定し、ノイズ抽出と判定された場合は当該ラベル領域２１を除去する処理を行う。このノイズ除去処理の詳細については追って説明する。

次に、画像処理部４の追跡部４ｂにより追跡処理を実行する（ＳＴ６）。追跡処理では、ＳＴ４のラベリング処理及びＳＴ５のノイズ除去処理が施されたラベル領域２１に対し、前回取得した監視画像の追跡ラベル領域との対応付けを行う。具体的には、前回取得した監視画像の追跡ラベル領域と現在処理中の監視画像のラベル領域２１について、監視画像内での位置関係などをもとに、同一の追跡物体によるものか否かを判別する。そして、同一の追跡物体によるものと判定された場合には、前回取得した監視画像の追跡ラベル領域と同じ追跡ラベルを付与し直す処理を行う。また、現在処理中の監視画像に出現しているラベル領域２１であって、前回の追跡ラベル領域のいずれとも対応付けられないラベル領域２１については、新規に出現した追跡ラベル領域として追跡を開始し、新たな追跡ラベルを付与する。さらに、前回存在した追跡ラベル領域で、現在処理中の監視画像に出現したラベル領域２１のいずれとも対応付けられない追跡ラベル領域については、追跡を終了し、当該ラベルを破棄する。

次に、画像処理部４の特徴量算出部４ｃにより特徴量算出処理を実行する（ＳＴ７）。特徴量算出処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域について、侵入者か否かを判定するための特徴量を算出する。具体的には、対象の追跡ラベル領域について、（１）実空間上での推定幅が６０ｃｍ以上１００ｃｍ以下、（２）実空間上での推定高さが１４０ｃｍ以上２００ｃｍ以下という条件を定め、（１）と（２）の条件を満たす場合のみ、追跡ラベル領域の人らしさを１とし、（１）と（２）の条件の何れか一つでも満たさない場合は、追跡ラベル領域の人らしさを０とする。

次に、画像処理部４の判定部４ｄにより侵入者判定処理を実行する（ＳＴ８）。侵入者判定処理では、ＳＴ７の特徴量算出処理で求めた侵入者を判定するための特徴量を用い、予め定められた判定条件に従って追跡ラベル領域が侵入者か否かの判定を行う。例えば追跡ラベル領域の人らしさを１フレーム毎に算出し、判定条件として、変化領域の出現時刻からの人らしさの累積値が所定閾値（例えば、５フレーム）以上で、かつ移動量も所定閾値（例えば、１０画素）以上のときに、追跡ラベル領域が侵入者であると判定する。その際の閾値は、予め記憶部３に記憶されている。

なお、図５のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ８の各処理を１フレームの画像取得毎に実行することを意味し、ループ２はＳＴ７〜ＳＴ８の各処理をラベル領域２１の数だけ実行することを意味している。

（ノイズ除去処理の詳細について）
次に、図５のフローチャートにおいて、画像処理部４の抽出部４ａが実行するノイズ除去処理について図６を参照しながら説明する。このノイズ除去処理によりノイズ抽出と判定されたラベル領域２１については抽出されていないものとして除去され、図５におけるＳＴ７の特徴量算出処理以降の処理は行われない。

抽出部４ａの閾値設定手段１２は、ラベル抽出手段１１によるＳＴ３の抽出処理にてラベル領域２１を抽出すると、この抽出した一又は複数のラベル領域２１の中から一つのラベル領域２１を選択する（ＳＴ１１）。次に、抽出部４ａの閾値設定手段１２は、当該選択したラベル領域２１の画像上の座標について透視変換処理を行い（ＳＴ１２）、選択したラベル領域２１に対応する物体と撮像部２との間の監視空間における想定距離を算出する。図２の例では、上述したように、ラベル領域２１ａの想定距離が８ｍであり、ラベル領域２１ｂの想定距離が６ｍと求められたとする。

そして、抽出部４ａの閾値設定手段１２は、監視空間におけるラベル領域２１に対応する物体の位置と撮像部２との間の想定距離を算出すると、算出した想定距離に見合ったノイズ判定閾値を設定する（ＳＴ１３）。図２の例では、上述したように、基準閾値を３０画素、基準距離を１ｍとして、ラベル領域２１ａのノイズ判定閾値が３０×ｅｘｐ｛（１−８）／１０｝≒１４．９となり、ラベル領域２１ｂのノイズ判定閾値が３０×ｅｘｐ｛（１−６）／１０｝≒１８．２となる。このように、ラベル領域２１の想定距離を算出し、当該想定距離が大きくなるほど小さい値をとるようノイズ判定閾値を求め、当該ノイズ判定閾値を用いてノイズ除去を行うことによって、侵入者による抽出をノイズ抽出とみなして誤って除去することを防ぎ、侵入者の失検出を抑制することができる。

続いて、ＳＴ１３の処理によりノイズ判定閾値を設定すると、抽出部４ａの閾値設定手段１２は、近傍画像領域を用いてノイズ判定閾値を更新する処理を行う。この処理では、まず、現在フレームのラベル領域２１の重心位置Ｇが前フレームのラベル領域２１の近傍領域（近傍画像領域２２）内に位置するか否かを判別する（ＳＴ１４）。そして、現在フレームのラベル領域２１の重心位置Ｇが近傍画像領域２２内に位置していると判定すると、ノイズ判定閾値を小さめの値に更新して設定し（ＳＴ１５）、次の処理（ＳＴ１６）に移行する。これに対し、現在のフレームのラベルが近傍画像領域２２に位置しないと判定すると、そのまま次の処理（ＳＴ１６）に移行する。このように、現在フレームのラベル領域２１が近傍画像領域２２に位置していたとき、当該ラベル領域２１のノイズ判定閾値を小さめの値に更新して変更することにより、誤ったノイズ除去に起因する失検出をさらに抑制することができる。

次に、抽出部４ａの閾値設定手段１２は、ラベル領域２１が画像外周領域２３に位置するか否かを判別する（ＳＴ１６）。そして、ラベル領域２１が画像外周領域２３に位置すると判定すると、抽出部４ａの閾値設定手段１２は、ノイズ判定閾値を大きめの値に更新して設定し（ＳＴ１７）、次の処理（ＳＴ１８）に移行する。これに対し、ラベル領域２１が画像外周領域２３に位置しないと判定すると、そのまま次の処理（ＳＴ１８）に移行する。これにより、監視画像において特に大きめのノイズ抽出が発生し易いＳＮ比の小さい領域（画像外周領域２３）における誤検出を抑制できるとともに、それ以外の領域における失検出をさらに抑制することができる。

次に、抽出部４ａのノイズ除去手段１３は、ラベル領域２１の面積とノイズ判定閾値とを比較し、ラベル領域２１の面積がノイズ判定閾値以下か否かを判別する（ＳＴ１８）。そして、ラベル領域２１の面積がノイズ判定閾値以下であると判定すると、そのラベル領域２１をノイズ抽出として除去する（ＳＴ１９）。これに対し、ラベル領域２１の面積がノイズ判定閾値以下でないと判定すると、そのラベル領域２１は有効なものとして記憶部３に保持する。

なお、図６のフローチャートにおいて、ループ３はＳＴ１１〜ＳＴ１９の各処理をラベル領域２１の数だけ実行することを意味している。また、ＳＴ１４，ＳＴ１５の処理とＳＴ１６，ＳＴ１７の処理に関しては、必要に応じて選択処理が可能であり、これらの処理を削除することもできる。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

前記実施形態では、抽出部４ａの閾値設定手段１２は、ラベル領域２１の監視画像上における位置（例えば、ラベル領域２１の最上部のｙ座標）と、設置情報（設置位置、撮影方向など）とを用いて既知の透視変換処理を行うことにより、ラベル領域２１の想定距離をラベル毎に算出している。しかし、これに限らず、閾値設定手段１２は、監視画像を複数の分割画像領域に分割して、各分割画像領域の監視空間における撮像部２からの実距離である領域距離を予め対応付けた距離テーブルを参照し、抽出されたラベル領域２１の監視画像上における位置と当該距離テーブルとから当該ラベル領域２１の想定距離を求めてもよい。

図７は当該別の実施形態を説明するために用いた距離テーブルの一例である。図７に示すように、距離テーブルは、撮像部２の設置位置（設置高）及び撮像部２の撮影方向（俯角）といった設置情報と、分割画像領域の範囲（例えば、監視画像上におけるラベル領域２１のｙ座標の範囲）と、領域距離とを対応付けたテーブル情報として、記憶部３に記憶されていることとする。なお、図７の距離テーブルにおける領域距離は、抽出部４ａの閾値設定手段１２にて、分割画像領域の重心位置と撮像部２の設置情報とを用いて、既知の透視変換処理により算出した値が、距離テーブルにおける領域距離として予め設定されていることとする。この例の場合、撮像部２の設置高が２ｍ、俯角が２５ｄｅｇであるとき、分割画像領域は図８（ａ）に例示しているように３つの領域で表すことができる。すなわち、領域Ａが監視画像上のｙ座標として１〜９９の領域であり、領域Ｂが監視画像上のｙ座標として１００〜１９９の領域であり、領域Ｃが監視画像上のｙ座標として２００〜３２０の領域である。そして、図８（ａ）のように、ラベル領域２１の位置（例えば、ラベル領域２１の最下部のｙ座標）が分割画像領域Ａの範囲内に位置しているとき、当該ラベル領域２１の想定距離を分割画像領域Ａの領域距離である１２ｍとして概算する。このように、分割画像領域毎に求めた領域距離を用いて想定距離を算出することにより、ラベル領域２１が抽出される毎に想定距離を算出する必要が無く、ラベル領域２１の監視画像上の位置に基づいて想定距離を直接的に求めることができるため、ノイズ判定に必要な計算量を減らすことができる。なお、上記他の実施形態では、分割画像領域の範囲を、監視画像上におけるラベル領域２１のｙ座標の範囲として設定しているが、これに限らず、閉領域を形成する各頂点のｘ、ｙ座標からなる範囲として設定してもよい。

また、前記実施形態では、抽出部４ａの閾値設定手段１２は、求めた想定距離と予め決められた基準閾値および基準距離とを用いて、ラベル領域２１毎に（ノイズ判定閾値）＝（基準閾値）×ｅｘｐ［｛（基準距離）−（想定距離）｝／１０］の計算式からノイズ判定閾値を算出している。しかし、これに限らず、閾値設定手段１２は、想定距離の所定範囲毎にノイズ判定閾値を設定した閾値テーブルを参照し、ラベル領域２１の想定距離と閾値テーブルとから当該ラベル領域２１のノイズ判定閾値を求めても良い。例えば、閾値テーブルの想定距離範囲を０〜３ｍ、３〜７ｍ、７〜∞ｍとして３つの範囲に区分けし、想定距離範囲毎にノイズ判定閾値をそれぞれ、３０画素、２０画素、１５画素と対応付けたテーブルとして、予め記憶部３に記憶しておく。そして、ラベル領域２１の想定距離が５ｍと算出されたとき、閾値テーブルを参照して、当該ラベル領域２１のノイズ判定閾値を２０画素と求める。このように、想定距離範囲を用いてノイズ判定閾値を求めることにより、ラベル領域２１が抽出される毎にノイズ判定閾値を算出する必要が無く、ラベル領域２１の監視画像上の位置に基づいてノイズ判定閾値を直接的に求めることができるため、ノイズ判定に必要な計算量を減らすことができる。

また、前記実施形態では、抽出部４ａの閾値設定手段１２は、ラベル領域２１の位置と設置情報（設置位置、撮影方向など）とから透視変換処理することによって想定距離を算出し、当該想定距離に基づいてノイズ判定閾値を算出している。しかし、これに限らず、ラベル領域２１の画像上の位置と設置情報とから、想定距離として、所定位置を基準とした「遠い／近い」を表す相対値を求め、当該相対値に基づいてノイズ判定閾値を算出してもよい。例えば、設置情報として、「撮像部２が監視空間を高所から斜めに見下ろす方向に設置されている」といった情報が予め記憶部３に設定されていた場合、一般的に監視画像の上の画像領域にラベル領域２１が存在するほど、当該ラベル領域２１の物体は、監視空間における撮像部から遠方の位置に存在していることが推定できる。そこで、ラベル領域２１のｙ座標からラベル領域２１の想定距離として相対値を求める。図８（ｂ）の例では、係数αは、撮像部２に最も近い監視画像の下端位置の値を１とし、撮像部２から最も離れた監視画像の上端位置の値を０．５として、その間が距離に応じて等分割した値であり、監視画像の下端位置を基準（α＝１）としたときのラベル領域２１の想定距離の相対値である。すなわち、監視画像の垂直方向の画素数をＹｍａｘ（本実施例では、３２０画素）としたとき、ｙ座標に位置するラベル領域２１の係数αをα＝０．５ｙ／Ｙｍａｘ＋０．５＝０．５ｙ／３２０＋０．５により求める。そして、ラベル領域２１が監視画像の下端に位置していたとき（α＝１）のノイズ判定閾値を基準閾値（例えば、３０画素）として予め設定していたとき、ノイズ判定閾値＝α×基準閾値の計算式からノイズ判定閾値を算出する。例えば、図８（ｂ）のラベル領域２１の位置Ｐのｙ座標が６４であるとき、係数αはα＝０．５×６４／３２０＋０．５＝０．６と求めることができ、当該ラベル領域２１のノイズ判定閾値は、０．６×３０画素＝１８画素として算出することができる。このように、透視変換処理を用いることなく想定距離を概算してノイズ判定閾値を概算することにより、ノイズ判定に必要な計算量を更に減らすことができる。

１ 画像監視装置
２ 撮像部
３ 記憶部
４ 画像処理部
４ａ 抽出部
４ｂ 追跡部
４ｃ 特徴量算出部
４ｄ 判定部
１１ ラベル抽出手段
１２ 閾値設定手段
１３ ノイズ除去手段
２０ 監視画像
２１ ラベル領域
２２ 近傍画像領域
２３ 画像外周領域
２４ 内側領域

Claims (4)

1. 監視空間を撮像して監視画像を出力する撮像部と、前記監視画像と基準画像とを比較して変化領域を抽出する抽出部と、前記変化領域の特徴から物体を判定する判定部と、を具備する画像監視装置であって、
   前記抽出部は、過去の所定期間において前記変化領域が位置していた画像領域を含む所定範囲の近傍画像領域を設定し、現在の前記変化領域が該近傍画像領域に位置していたとき、該変化領域がノイズか否かを判定するための閾値を小さい値となるよう設定し、該閾値より小さい面積の前記現在の変化領域をノイズと判定し除去することを特徴とした画像監視装置。
2. 前記監視空間における前記撮像部の設置位置及び撮影方向からなる設置情報を記憶する記憶部を更に備え、
   前記抽出部は、前記変化領域の前記監視画像上の位置と前記設置情報とから前記監視空間における該変化領域の物体と前記撮像部との間の距離を示す想定距離を求め、前記閾値を該想定距離が大きくなるほど小さい値となるよう設定する請求項１に記載の画像監視装置。
3. 前記抽出部は、前記監視画像の画像領域を複数の部分画像領域に分割し、該部分画像領域の画像上の位置と前記設置情報とから前記監視空間における該部分画像領域の実位置と前記撮像部との間の距離である領域距離を求めて部分画像領域毎に予め設定しておき、前記変化領域が位置している前記部分画像領域の前記領域距離を前記想定距離とする請求項２に記載の画像監視装置。
4. 前記抽出部は、前記変化領域が前記監視画像における信号雑音比の小さい所定領域に位置するとき、前記閾値を大きめに変更する請求項１〜３の何れかに記載の画像監視装置。

Images