JP5805511B2 - 画像監視装置 - Google Patents

Description

本発明は、監視空間を撮像した監視画像を順次取得し、この順次取得した監視画像を画像処理して監視空間における人物の有無を判定する画像監視装置に関する。

従来、例えばカメラなどの撮像装置から入力される画像と過去の画像との変化態様から侵入者等の移動物体の特徴を示す領域を検出し、当該領域が目標移動物体（例えば侵入者）であるか否かを判定するような画像監視装置が知られている。

この種の画像監視装置としては、例えば撮像装置が現在撮影した入力画像と予め記憶している過去の画像とを比較して、両画像の差分を変化領域として抽出し、この抽出された領域について面積や移動速度などを演算し、演算結果を元に監視空間に目標移動物体が存在するか否かを判断するものが知られるところである。そして、下記特許文献１には、この種の画像監視装置に用いられる画像センサとして、撮像部にて順次取得される監視空間の撮像画像と過去の画像との差分から変動領域を抽出するとともに変動領域の移動を追跡するものが開示されている。

特開２００６−３１８０６４号公報

ところで、監視領域を撮影した画像を用いて、監視領域内に侵入する侵入者を検知するにあたっては、画像中に発生した変化領域の特徴を使用して、侵入者が存在するか否かの判定を行っている。この際、侵入者以外にも、様々な要因で画像に変化が起きるため、それらの変化と侵入者による変化とを区別する必要がある。特に、侵入者以外に、画像に変化を引き起こす要因の一例としては、監視領域内に侵入する小動物がある。このため、従来の画像監視装置では、（１）画像中の変化領域の画素数の違い（侵入者：多い、小動物：少ない）、（２）画像中の変化領域の外接矩形の幅から透視変換によって推定される実空間上での推定幅の違い（侵入者：大きい、小動物：小さい）、（３）画像中の変化領域の外接矩形の高さから透視変換によって推定される実空間上での推定高さの違い（侵入者：高い、小動物：低い）を利用して侵入者と小動物とを区別している。

しかしながら、侵入者が例えばカメラなどの撮像装置の直近に位置している場合、その侵入者の全身像が画像内に映らないことがある。具体的には、図７（ａ）に示すように、侵入者の下半身がフレームアウトして上半身のみが映る場合がそれに該当する。このように、侵入者の全身像が画面内に映らないと、変化領域として抽出した部分の大きさが画像上小さく見えてしまい、図７（ｂ）に示すように、撮像装置の直近に小動物が映っている状態と類似する。これにより、撮像装置の直近における侵入者と小動物の実空間での推定高さを同等とみなし（図７（ａ），（ｂ）の矢印で表現）、上述した（１）〜（３）において侵入者と小動物との区別が困難となり、侵入者ではなく小動物であるとして誤判定する恐れがあった。

そこで、本発明は上記問題点に鑑みてなされたものであり、変化領域の画像下端に略接している時間的割合（頻度）が、変化領域が人物であるときよりも小動物であるときの方が小さいという特徴があることに着目し、画面下端の接触を含む画面下端から所定領域内に存在する変化領域の時間的割合を効果的に利用することにより、人物と小動物とを精度良く判別することができる画像監視装置を提供することを目的とするものである。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、監視空間を撮像した監視画像を順次取得し、前記監視画像を画像処理して監視空間における人物の有無を判定する画像監視装置であって、
前記監視画像と予め記憶した監視空間の基準画像とを比較して前記基準画像から変化した変化領域を抽出する抽出部と、
前記変化領域を時間的に追跡する追跡部と、
前記変化領域の出現時刻から人物の有無を判定する判定時刻までにおける所定の評価期間において該変化領域の下端と前記監視画像の下端とが略接しているとみなせる期間である領域内存在期間を求め、該領域内存在期間が前記評価期間に占める割合が大きくなるほど該変化領域が人物像らしいとする特徴量を算出する特徴量算出部と、
前記特徴量を用いて前記変化領域が人物像であるか否かを判定する判定部と、
を備えることを特徴としている。

かかる構成により、本発明の特徴量算出部は、追跡部にて追跡する変化領域について、所定の評価期間（例えば、変化領域の出現時刻から判定時刻までの出現期間）において、当該変化領域の下端と監視画像の下端とが略接しているとみなせるほど近接している期間（以下、これを「領域内存在期間」という）を求める。そして、本発明の特徴量算出部は、領域内存在期間が評価期間に占める時間的割合（すなわち、領域内存在期間の累積時間と評価期間の累積時間との比率）を求め、当該割合が大きくなるほど変化領域が人物らしいとする特徴量を算出する。そして、本発明の判定部は、当該特徴量に基づいて変化領域が人物像であるか否かを判定する。
これにより、装置直近に存在する移動物体が人物である場合には、変化領域が画像下端との接触を含む画像下端から所定領域内（変化領域の下端と監視画像下端とが略接しているとみなせる範囲内）に存在する時間的割合（頻度）が大きいため人物らしいと判定できる。一方、装置直近に存在する移動物体が小動物の場合には、変化領域が画像下端との接触を含む画像下端から所定領域内に存在する時間的割合（頻度）が比較的少ないため、小動物らしいと判定できる。このように、小動物の変化領域は人物の変化領域と比較して監視画像の下端に略接している時間的割合が小さいといった事象を利用することにより、画像監視装置の直近に存在する移動物体が、侵入者であるか否かを精度良く区別して判定することができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記特徴量を算出する際、前記変化領域の下端と前記監視画像の下端との距離が大きくなるほど前記領域内存在期間の時間長を小さくするよう補正することを特徴としている。

かかる構成により、本発明の特徴量算出部は、追跡部にて追跡する変化領域の領域内存在期間を求めた後に特徴量を算出する際、変化領域の下端と監視画像の下端との距離が略接しているとみなせる距離に変化領域があったとしても、その距離が大きくなるほど当該領域内存在期間の時間長が小さくなるよう補正し、当該補正した領域内存在期間と評価期間との時間比率（すなわち、補正した領域内存在期間の累積時間と評価期間の累積時間との比率）に応じて特徴量を算出する。そして、本発明の判定部は、当該特徴量に基づいて変化領域が人物像であるか否かを判定する。
例えば、変化領域の下端と監視画像の下端とが接している場合（すなわち、監視画像の下端領域の全部又は一部を変化領域が包含している場合）、当該変化領域は最も人物らしいとして最も大きい値をとるよう特徴量が算出されることになる。また、たとえ、変化領域の下端が監視画像の下端に接していなくても、その距離が比較的小さいならば、抽出精度の問題に起因する誤差（例えば人物の衣服が背景と非常に似ている箇所を変化領域として抽出されにくいことに起因する誤差）の疑いが強いため、比較的大き目の特徴量が算出されることになる。一方、たとえ、監視画像の下端に略接しているとみなせる距離の範囲内に変化領域があったとしても、その距離が大きいほど、抽出精度の問題に起因する誤差の疑いが弱く小動物の可能性が高いため、人物らしくないとして小さ目の特徴量が算出されることになる。
このように、変化領域の下端と監視画像の下端との距離を考慮して人物らしさの特徴量を算出することにより、変化領域の抽出精度に関わらず、人物と小動物とを精度良く区別して判定することができる。そして、人物を小動物とみなすことによる失報を低減することができ、また、小動物を人物とみなすことによる誤報を低減することができる。

本願請求項３に係る画像監視装置は、請求項１又は２の画像監視装置において、
前記特徴量算出部は、前記変化領域が所定以上移動している１又は複数の期間のみを前記所定の評価期間として算出することを特徴としている。

かかる構成により、本発明の特徴量算出部は、追跡部にて追跡する変化領域の移動量を求め、当該移動量が所定以上である１又は複数の期間のみを所定の評価期間として設定し、当該評価期間における領域内存在期間が当該評価期間に占める割合に応じた特徴量を算出する。そして、本発明の判定部は、当該特徴量に基づいて変化領域が人物像であるか否かを判定する。
小動物が監視画像の下端寄りに滞留していた場合、特徴量が大きく算出され、結果として小動物を誤って人物であると誤判定する恐れがある。そのため、変化領域が小動物であるならば、変化領域が人物である場合と比較して、当該変化領域が移動しているときには監視画像の下端から離れ略接することがなくなり易い、といった特徴を利用することにより、高い精度で人物と小動物とを区別できる。すなわち、変化領域の移動量が所定値以上である期間を評価期間とすることにより、小動物の滞留期間を除外して特徴量を算出することができるため、滞留している小動物を誤って人物と判定することなく、高い精度で人物と小動物とを区別できる。

上記のように、本発明の画像監視装置は、装置直近に存在する移動物体が人物である場合には、その変化領域が画像下端と略接しているとみなせる（すなわち、変化領域の接触を含む監視画像下端から所定領域内に存在する）時間的割合（頻度）が多いが、その反面、装置直近に存在する移動物体が小動物の場合には、その変化領域が画像下端と略接しているとみなせる時間的割合（頻度）が比較的少ないといった特徴を積極的に活用することにより、画像監視装置の直近に存在する移動物体が、侵入者であるか否かを精度良く区別して判定することができる。

本発明に係る画像監視装置の全体構成を示すブロック構成図である。 （ａ）装置直近に存在する侵入者による追跡ラベル領域が移動したときの様子を示す図である。 （ｂ）装置直近に存在する小動物による追跡ラベル領域が移動したときの様子を示す図である。 本発明に係る画像監視装置において定義される各期間の説明図である。 本発明に係る画像監視装置による全体動作の処理手順を示すフローチャートである。 図４の特徴量算出処理の具体的処理内容の手順を示すフローチャートである。 本発明に係る画像監視装置において領域内存在フレーム数を計算する際の評価関数の一例を示す図である。 （ａ），（ｂ）従来の画像監視装置による誤報の一例を示す説明図である。

以下、本発明を実施するための形態について、添付した図面を参照しながら詳細に説明する。尚、この実施の形態によりこの発明が限定されるものではなく、この形態に基づいて当業者などによりなされる実施可能な他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれる。

（画像監視装置の全体構成について）
本発明に係る画像監視装置は、監視空間を撮像した監視画像を順次取得し、この順次取得した監視画像を画像処理して監視空間における人物の有無を判定するものである。

特に、本発明は、図２（ａ），（ｂ）に示すように、監視画像の下端において、人の場合は画面外に人体があるために監視画像の下端から所定領域内に存在する頻度（割合）が多いのに対し、小動物の場合は全身がほぼ見えているために監視画像の下端から所定領域内に存在する頻度（割合）が少ないことに着目し、当該頻度（割合）に応じた特徴量を算出する。すなわち、監視画像から抽出される変化領域の出現時刻から侵入者か否かを判定する判定時刻までにおける所定の期間（以下、これを「評価期間」という）において、当該変化領域が監視画面の下端に略接しているとみなせる期間（領域内存在期間）の占める割合（以下、これを「領域内占有割合」という）を特徴量として算出する。なお、本実施例では、変化領域の下端と監視画像の下端との距離を求め、（監視画像下端への接触を含め）当該距離が予め定めた所定範囲内（１０ピクセル内）にあるとき「略接している」とみなすこととし、当該範囲内に変化領域が存在している期間を領域内存在期間として求めることとする。そして、算出した領域内占有割合を元に変化領域が人物像であるか否かを判定する機能を含む画像監視装置を提供するものである。

図１に示すように、本例の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで概略構成される。

撮像部２は、例えばレンズなどの光学系およびＣＣＤやＣＭＯＳなどの２次元アレイ素子を有する二次元イメージセンサで構成され、監視空間を撮像した撮像画像（以下、画像と言う）を画像処理部４に出力している。撮像部２は、天井や壁に設置され上から斜め下方の空間を撮像している。さらに説明すると、二次元イメージセンサによる撮像部２は、監視空間から発した光をレンズなどの光学系によって２次元アレイ素子の受光平面に結像させ、その像の光による明暗を電荷の量に光電変換し、これを順次読み出して電気信号に変換し、各画素が輝度値で表現された画像として画像処理部４に出力する。その際、１フレームの画像を所定の時間間隔で取得して画像処理部４に出力する。

また、撮像部２は、その設置位置や撮像方向を示す外部パラメータと、焦点距離、画角、レンズ歪み、その他のレンズ特性や撮像素子の画素数を示す内部パラメータとを撮像パラメータとして含む。この撮像パラメータは、実際に計測を行うなどして得ることができ、予め記憶部３に記憶される。

そして、この撮像パラメータを用いれば、監視画像中の画素位置を撮像部２の撮像面における座標（撮像面座標）と実空間における座標（実座標）との間で座標変換することが可能となる。本実施例では、この撮像パラメータを用いた（１）撮像面座標から実座標への変換及び（２）実座標から撮像面座標への変換の両変換を透視変換と総称している。

なお、撮像部２としては、所定画素（例えば３２０×３２０画素）の赤外線検出素子を有し、監視領域から放射される赤外線を検出し、この検出した赤外線の量に応じた監視領域の温度分布を監視画像として画像処理部４に出力する熱画像センサで構成することもできる。

記憶部３は、画像監視装置１に関する設定情報（例えば装置の設置高、俯角など）、画像処理部４の各種処理に使用される情報を記憶している。画像監視装置１に関する設定情報としては、上述した撮像部２の設置環境を含む撮像パラメータが含まれる。また、画像処理部４の各種処理に使用される情報としては、例えばフレーム毎の画像データ、画像データから変化領域を抽出するための基準画像の他、本実施例の処理に用いられる計算式や閾値等の各種パラメータが含まれる。

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図４や図５に示す一連の処理として、抽出処理、ラベリング処理、ラベル統合処理、ノイズ除去処理、トラッキング（物体候補の追跡）処理、特徴量算出処理、侵入者判定処理を実行するべく、抽出手段４ａ、追跡手段４ｂ、特徴量算出手段４ｃ、判定手段４ｄを含んでいる。

抽出手段４ａは、撮像部２で取得された画像の中から変化のある領域を変化領域として抽出する抽出処理を行っている。また、抽出手段４ａは、抽出した変化領域に対し、ラベリング処理によってラベル付けを行っている。さらに、抽出手段４ａは、所定範囲にある複数のラベルを一つのラベルに統合するラベル統合処理を行っている。また、抽出手段４ａは、個々のラベルに対し、ノイズ抽出であるか否かを判定し、ノイズ抽出と判定された場合に除去するノイズ除去処理を行っている。

追跡手段４ｂは、抽出手段４ａが抽出した変化領域を時間的に追跡するもので、抽出手段４ａによるラベリング処理で求まったラベル領域（変化領域）に対し、前回取得した画像の追跡ラベル領域との対応付けを行っている。

なお、追跡ラベル領域とは、これまでに取得した画像において、同一の追跡物体によるラベル領域が常に同じラベルになるように、抽出手段４ａによるラベリング処理でのラベルと異なるユニークなラベル（以下、追跡ラベルという）を付与し直したラベル領域のことを指す。

特徴量算出手段４ｃは、図５に示すように、追跡ラベル領域の外接矩形座標計算処理、透視変換処理、追跡ラベル領域の移動量計算処理、領域内占有割合算出処理、装置直近の人らしさ算出処理、装置直近以外の人らしさ算出処理、人らしさ算出処理を含む特徴量算出処理を実行し、追跡手段４ｂにて求めた追跡ラベル領域について、侵入者を判定するための特徴量を算出している。

特徴量算出処理にて算出される特徴量には、画像上における変化領域の大きさから透視変換によって推定される実空間での大きさ（推定幅・推定高さ）、移動量及び前述した領域内占有割合などが含まれる。なお、特徴量算出処理の詳細については追って説明する。

判定手段４ｄは、後述する侵入者判定処理を実行し、予め定められた判定条件に従い、特徴量算出手段４ｃによって算出された特徴量を元に、対象となる追跡ラベル領域（変化領域）が侵入者か否かを判定している。

出力部５は、画像処理部４の判定手段４ｄにて侵入者ありと判定された旨の判定信号を外部に出力するもので、例えば表示器やブザーなどで構成される。出力部５は、画像処理部４の判定手段４ｄから侵入者ありの判定信号が入力されると、表示器やブザーを駆動して侵入者ありの旨を報知する。

なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定手段４ｄから入力された侵入者ありの判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

（画像監視装置１による人物有無の判定処理について）
次に、上記構成による画像監視装置１を用いて監視空間における人物の有無を判定する場合の画像処理部４の処理動作について図４を参照しながら説明する。

画像処理部４は、画像監視装置１の電源がオンされると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関する設定情報や画像処理部４の各種処理に使用される情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や俯角、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像、各種閾値などである。

次に、画像処理部４は、入力画像取得処理を実行する（ＳＴ２）。入力画像取得処理では、撮像部２が監視空間の監視範囲を撮像した画像の取得を行う。

次に、画像処理部４の抽出手段４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、入力画像取得処理で取得された画像から変化領域を抽出する。本実施例では、今回取得した監視画像と予め記憶した監視空間の基準画像との差分をとることにより変化領域を抽出する。この際、基準画像として監視空間の背景画像や、過去に取得した監視画像を適宜選択して採用することができる。

なお、画像として熱画像を撮像部２から取得する場合は、取得した熱画像から温度変化があった領域を変化領域として抽出する。例えば予め過去の熱画像を基準画像として記憶部３に保存しておき、現在の熱画像と基準画像との差分が閾値以上の領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。

次に、画像処理部４の抽出手段４ａによりラベリング処理を実行する（ＳＴ４）。ラベリング処理では、ＳＴ３の抽出処理で求めた変化領域についてラベル付けを行う。例えば注目画素の周囲で隣接する抽出画素をひとまとまりとしてラベル領域とする手法などが利用できる。また、ラベリング処理では、所定範囲にある複数のラベルを一つのラベルに統合するラベル統合処理を行う。例えばそれぞれのラベルの抽出領域について、設定情報取得処理で得た設置情報（例えば撮像部２の設置高や俯角などの情報）を活用し、画面上での人想定サイズに基づいた領域の位置と大きさを算出する。そして、算出した領域に別のラベルが付与された抽出領域が含まれる場合は、同一のラベルとなるようにラベルを付与し直す。これに対し、画面内にラベルが１つしか存在しない場合は、何も処理を行わない。

次に、画像処理部４の抽出手段４ａによりノイズ除去処理を実行する（ＳＴ５）。ノイズ除去処理では、ＳＴ４のラベリング処理で得られた個々のラベルがノイズ抽出であるか否かを判定し、ノイズ抽出と判定された場合は除去する。例えばラベルの画素数が設定値以下である場合は、そのラベルをノイズ抽出として除去する。なお、その際の設定値は、予め記憶部３に記憶されている。

次に、画像処理部４の追跡手段４ｂにより追跡処理を実行する（ＳＴ６）。追跡処理では、ＳＴ４のラベリング処理及びＳＴ５のノイズ除去処理が施されたラベル領域に対し、前回取得した画像の追跡ラベル領域との対応付けを行う。具体的には、前回取得した画像の追跡ラベル領域と現在処理中の画像のラベル領域について、画像内での位置関係などをもとに、同一の追跡物体によるものか否かを判別する。そして、同一の追跡物体によるものと判定された場合には、前回取得した画像の追跡ラベル領域と同じ追跡ラベルを付与し直す処理を行う。また、現在処理中の画像に出現しているラベル領域であって、前回の追跡ラベル領域のいずれとも対応付けられないラベル領域については、新規に出現した追跡ラベル領域として追跡を開始し、新たな追跡ラベルを付与する。さらに、前回存在した追跡ラベル領域で、現在処理中の画像に出現したラベル領域のいずれとも対応付けられない追跡ラベル領域については、追跡を終了し、当該ラベルを破棄する。

次に、画像処理部４の特徴量算出手段４ｃにより特徴量算出処理を実行する（ＳＴ７）。特徴量算出処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域について、侵入者を判定するための特徴量を算出する。具体的には、透視変換によって推定される実空間での幅・高さや移動量などを用いて、追跡ラベル領域の人らしさを求める。

次に、画像処理部４の判定手段４ｄにより侵入者判定処理を実行する（ＳＴ８）。侵入者判定処理では、ＳＴ７の特徴量算出処理で求めた侵入者を判定するための特徴量を用い、予め定められた判定条件に従って追跡ラベル領域が侵入者か否かの判定を行う。例えば後述する特徴量算出処理により追跡ラベル領域の人らしさを１フレーム毎に算出し、判定条件として、出現時刻からの人らしさの累積値が閾値以上で、かつ移動量も閾値以上のときに、追跡ラベル領域が侵入者であると判定する。その際の閾値は、予め記憶部３に記憶されている。

なお、図４のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ８の各処理を１フレームの画像取得毎に実行することを意味し、ループ２はＳＴ７〜ＳＴ８の各処理をラベル領域の数だけ実行することを意味している。

（特徴量算出処理の詳細について）
次に、図４のフローチャートにおいて、画像処理部４の特徴量算出手段４ｃが実行する特徴量算出処理（ＳＴ７）について図５を参照しながら説明する。

画像処理部４の特徴量算出手段４ｃは、まず、追跡ラベル領域の外接矩形座標計算処理を実行する（ＳＴ１１）。追跡ラベル領域の外接矩形座標計算処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域について、この追跡ラベル領域に外接する外接矩形の頂点の座標値、外接矩形の幅や高さを算出する。

次に、透視変換処理を実行する（ＳＴ１２）。透視変換処理では、ＳＴ１１の追跡ラベル領域の外接矩形座標計算処理で求めた外接矩形の頂点の座標値、幅や高さ、記憶部３に記憶されている設定情報である画像監視装置１の設置高・俯角を利用し、追跡ラベル領域の実空間上での推定幅と推定高さを透視変換によって計算する。

次に、追跡ラベル領域の移動量計算処理を実行する（ＳＴ１３）。追跡ラベル領域の移動量計算処理では、ＳＴ６の追跡処理で求めた追跡ラベル領域の移動量を計算する。例えば一つ前のフレームの追跡ラベル領域の重心座標と今回の追跡ラベル領域の重心座標からフレーム間の重心移動距離を求め、この重心移動距離の値を移動量とする。

なお、ＳＴ６の追跡処理にて、対象の追跡ラベル領域が新規に出現した追跡ラベル領域であった場合には、前回の追跡ラベル領域が存在しないため、移動量を０とするとともに、後述する領域内占有割合を０とする。

ＳＴ１３の追跡ラベル領域の移動量計算処理が実行されると、領域内占有割合処理として、まず、追跡ラベルの移動量が予め定めた最小移動量以上であるか否かを判定する（ＳＴ１４）。ここで最小移動量とは、追跡ラベル領域が移動しているとみなすことができる最小の移動量のことをいい、本実施例では具体的には２ピクセルとして、予め記憶部３に設定されていることとする。ＳＴ１４にて追跡ラベルの移動量が最小移動量以上であると判定されると、移動期間をインクリメント（＋１）する（ＳＴ１５）。ここで、移動期間とは、ラベル領域が出現した出現時刻から侵入者か否かを判定する判定時刻までの期間において、追跡ラベル領域の移動量が所定の移動量（最小移動量）以上となっている期間であり、本実施例では、ラベル領域が出現したフレームから判定フレームまでにおけるＳＴ１５にて加算された累積フレーム数として計算される。これに対し、追跡ラベルの移動量が最小移動量以上でないと判定されると、領域内占有割合算出処理を終了して領域内占有割合を算出（更新）せずに、後述するＳＴ２２の装置直近の人らしさ算出処理に移行する。
このように、本実施例では、ラベル領域の所定時間における移動量が、所定の移動量（最小移動量）以上生じているときにのみ領域内占有割合を算出することになる。すなわち、移動期間を本発明における評価期間とし、当該評価期間（移動期間）における領域内占有割合を算出することに等しい。このように、ラベル領域が小動物であるならば、ラベル領域が人物である場合と比較して、当該ラベル領域が移動しているときには監視画像の下端から離れ略接することがなくなり易い、といった特徴を利用することにより、高い精度で人物と小動物とを区別できる。すなわち、小動物が監視画像の下端寄りに滞留していた場合、上記処理を行わないと、特徴量（領域内占有割合）が大きく算出されるため、その小動物を誤って人物であると誤判定する恐れがある。しかし、上記処理のようにラベル領域の移動量が所定の移動量（最小移動量）以上を生じている期間（移動期間）を評価期間として当該評価期間における領域内占有割合を算出することにより、小動物の滞留期間を評価期間から除外して算出することができるため、滞留している小動物を誤って人物と判別することなく、高い精度で人と小動物とを区別して判定することができる。
なお、ＳＴ１４では、後述するＳＴ２１における処理のため、フレーム番号とここでの移動判定結果とを対応付けて記憶部３に記憶しておく。

次に、ＳＴ１４にて追跡ラベルの移動量が予め定めた最小移動量以上であると判定され、ＳＴ１５にて移動期間がインクリメント（＋１）されると、追跡ラベル領域が監視画像下端から所定領域内に存在するか否かを判定する（ＳＴ１６）。すなわち、追跡ラベル領域の外接矩形座標計算処理にて求めた外接矩形の下端ｙ座標が、画面下端から所定のｙ座標以内（１０ピクセル内）に位置しているか否かを判定する。
ＳＴ１６にて追跡ラベルの下端が監視画像下端から所定領域内に存在すると判定されると、領域内存在期間をインクリメント（＋１）する（ＳＴ１７）。これに対し、追跡ラベルの下端が監視画像下端から所定領域内に存在しないと判定されると、処理をＳＴ１８に進める。なお、ＳＴ１７では、後述するＳＴ２１における処理のため、フレーム番号と領域内存在可否の判定結果とを対応付けて記憶部３に記憶しておく。

次に、ＳＴ１６にて追跡ラベル領域が監視画像下端から所定領域内に存在すると判定されると、変化領域の移動期間が予め定めた最小評価期間（例えば、１０フレームの固定期間）以上であるか否かを判別する（ＳＴ１８）。ＳＴ１８にて移動期間が最小評価期間以上であると判定すると、処理をＳＴ１９へ進め、ＳＴ１９〜ＳＴ２１における領域内占有割合を算出（更新）するための処理を継続する。これに対し、移動期間が最小評価期間以上でないと判定すると、領域内占有割合を算出（更新）せずに、後述するＳＴ２２の装置直近の人らしさ算出処理に移行する。
このように、本発明における評価期間に相当する移動期間が予め定めた所定期間（最小評価期間）以上であるときに特徴量算出手段４ｃが特徴量（領域内占有割合）を算出することにより、短い評価期間によって特徴量（領域内占有割合）を算出して判定することを避けることができる。すなわち、短い評価期間によって算出された特徴量（領域内占有割合）は極端な値となって表れ易く、判定結果に誤りが生じ易いため、評価期間が予め定めた所定期間（最小評価期間）以上経過した後に初めて特徴量（領域内占有割合）を算出することにより、信頼性の高い判定結果を得ることができる。

次に、ＳＴ１８にて変化領域の移動期間が予め定めた最小評価期間以上であると判定されると、移動期間が予め定めた過去期間（判定時刻から予め定めた期間分だけ過去に遡った期間のこと。例えば２０フレームの固定期間）以上であるか否かを判別する（ＳＴ１９）。移動期間が過去期間以上でないと判定すると、「移動期間における領域内存在期間÷移動期間」により領域内占有割合を算出する（ＳＴ２０）。すなわち、ＳＴ２０では、移動期間を本発明における評価期間として領域内占有割合を算出する。
これに対し、移動期間が過去期間以上であると判定すると、移動期間のうち判定時刻から予め定めた過去期間の時間分だけ遡った期間（以下、これを「移動期間内過去期間」という）を求め、当該移動期間内過去期間における領域内存在期間を算出する。具体的には、まず、ＳＴ１４にて記憶部３に記憶されたフレーム番号と移動判定結果との対応付けを示す情報を読み出して、移動していると判定されたフレーム番号のうち、判定時刻から過去期間のフレーム数（ここでは、２０フレーム分）だけ遡ったフレーム番号を抽出することで、移動期間内過去期間に該当するフレーム番号を求める。そして、ＳＴ１７にて記憶部３に記憶されたフレーム番号と領域内存在可否の判定結果との対応付けを示す情報を読み出して、移動期間内過去期間に該当するフレーム番号において所定領域内に存在していたと判定されたフレーム番号を抽出し、そのフレーム数を「移動期間内過去期間における領域内存在期間」として算出する。なお、移動期間内過去期間は２０フレームとなる。続いて、「移動期間内過去期間における領域内存在期間÷移動期間内過去期間」により領域内占有割合を算出する（ＳＴ２１）。すなわち、ＳＴ２１では、移動期間内過去期間を本発明における評価期間として領域内占有割合を算出する。
このように、移動期間が過去期間以上であるか否かに基づいて領域内占有割合を算出するための評価期間を切り替えることにより、人物と小動物とを高精度に区別することができる。すなわち、移動物体が移動しながら長時間監視範囲内に存在している場合（移動期間が大きい場合）、移動期間を評価期間として領域内占有割合を算出すると母数の評価期間が大きくなることにより、人物と小動物とを弁別するための特徴量（領域内占有割合）に明確な差異が現れづらくなることがある。そのため、この場合は、移動期間のうち判定時刻から予め定めた過去期間の時間分だけ遡った期間（移動期間内過去期間）を評価期間として特徴量（領域内占有割合）を算出することにより、比較的精度良く人物と小動物とを区別して判定することができる。

なお、最小移動量、最小評価期間、過去期間は、それぞれ予め記憶部３に記憶されている。また、「移動期間」及び「領域内存在期間」は、追跡ラベル領域ごとに対応付けて記憶部３に保持される。また、ＳＴ２０又はＳＴ２１にて算出した領域内占有割合については、次に領域内占有割合が計算されて更新されるまで、追跡ラベル領域ごとに保持しておき、領域内占有割合算出処理によって領域内占有割合が算出されなかった場合（すなわち、ＳＴ１４又はＳＴ１８にてＮｏの場合）でも、後述する装置直近の人らしさ算出処理以降の処理で利用できるようにする。

以上のように、本実施例では、人物であるか否かを判定するための特徴量の一つとして、領域内存在期間が評価期間に占める割合である「領域内占有割合」を算出している。すなわち、領域内占有割合は、「評価期間における領域内存在期間÷評価期間」として算出している。
この際、本実施例では、「評価期間」を「出現期間において所定以上の移動量を生じている期間（移動期間）」又は「移動期間のうち判定時刻から予め定めた過去期間の時間分だけ遡った期間（移動期間内過去期間）」とし、当該評価期間における領域内存在期間と当該評価期間との割合として領域内占有割合を算出している。
しかし、これに限らず、「評価期間」を「出現期間」又は「過去期間」とし、当該評価期間における領域内存在期間と当該評価期間との割合として領域内占有割合を算出してもよい。すなわち、これは、ＳＴ１４にて追跡ラベルの移動量を判定せずに領域内占有割合を算出することに相当する。
したがって、本発明における領域内占有割合は、図３に表すように、（１）出現期間における領域内存在期間が出現期間に占める割合、（２）過去期間における領域内存在期間が過去期間に占める割合、（３）移動期間における領域内存在期間が移動期間に占める割合、（４）移動期間内過去期間における領域内存在期間が過去期間に占める割合、によって算出することができる。
なお、上述した領域内占有割合の計算式は予め記憶部３に記憶されている。

ところで、上述した領域内存在期間の算出には、図６に示すように、画面下端のｙ座標とラベル外接矩形の下端ｙ座標とのピクセル距離（画像下端ｙ座標−ラベル外接矩形の下端ｙ座標）に応じた評価関数を用意しておき、その出力値（領域内存在期間に相当）を利用する方法も考えられる。例えば対象のラベル外接矩形が画面下端から２ピクセルずれた位置に存在したときには、図６の評価関数に基づき、領域内存在期間を＋０．８するといったものである。
これにより、ラベル外接矩形の下端と監視画像の下端とが接している場合、当該ラベル領域は最も人物らしいとして大きい領域内占有割合が算出されることになる。また、たとえ、ラベル外接矩形の下端が監視画像の下端に接していなくても、その距離が比較的小さいならば、抽出精度の問題に起因する誤差（例えば人物の衣服が背景と非常に似ている箇所を変化領域として抽出されにくいことに起因する誤差）の疑いが強いため、比較的大き目の領域内占有割合が算出されることになる。一方、たとえ、監視画像の下端に略接しているとみなせる距離の範囲内にラベル領域があったとしても、その距離が大きいほど、抽出精度の問題に起因する誤差の疑いが弱いため、人物らしくないとして小さ目の領域内占有割合が算出されることになる。このように、ラベル領域の下端と監視画像の下端との距離を考慮して領域内占有割合を算出することにより、ラベル領域の抽出精度に関わらず、人物と小動物とを精度良く区別して判定することができる。そして、人物を小動物とみなすことによる失報を低減することができ、また、小動物を人物とみなすことによる誤報を低減することができる。
なお、上記の抽出精度に起因する誤差は、撮像部２として熱画像センサを用いた場合、人物像の衣服の温度と背景温度との差異が明確に表れにくいため、より顕著に現れる。したがって、撮像部２として熱画像センサを用いた場合に上記処理を活用することにより、より効果的に機能し、人物と小動物とを精度良く区別して判定できる。

ＳＴ１４〜ＳＴ２１における領域内占有割合算出処理にて領域内占有割合が算出されると、続いて、装置直近の人らしさ算出処理に移行する（ＳＴ２２）。

次に、ＳＴ２２の装置直近の人らしさ算出処理では、ＳＴ１１の追跡ラベル領域の外接矩形座標計算処理にて求めた外接矩形の下端ｙ座標、ＳＴ１２の透視変換処理にて求めた追跡ラベル領域外接矩形の実空間上での推定幅・推定高さ、上述した領域内占有割合をパラメータとして、装置直近の人らしさを算出する。ここで求めた人らしさは、ＳＴ８の侵入者判定処理において、対象の追跡ラベル領域が侵入者か否かを判定するための情報（特徴量）として利用される。

なお、ＳＴ２２の装置直近の人らしさの算出処理は、前述のパラメータが、それぞれに定められた条件を満たしている場合にのみ、装置直近の人らしさを１とし、それ以外の場合には０とするというように計算する。具体的には、（１）外接矩形の下端ｙ座標が監視画面下端から所定範囲内に存在している、（２）実空間上での推定幅が２０ｃｍ〜１００ｃｍの範囲内、（３）実空間上での推定高さが７０ｃｍ〜１６０ｃｍの範囲内、（４）領域内占有割合が０．９〜１．０の範囲内として、各パラメータの条件を定め、（１）〜（４）のすべての条件を満たす場合のみ、装置直近の人らしさを１とし、（１）〜（４）の条件の一つでも満たさない場合は、装置直近の人らしさを０とする。

続いて、装置直近以外の人らしさ算出処理を実行する（ＳＴ２３）。この装置直近以外の人らしさ算出処理では、画像監視装置１から離れた場所での侵入者と小動物の区別のための人らしさ（以下、「装置直近以外の人らしさ」と言う）を算出する。具体的には、対象のラベル領域について、（１）実空間上での推定幅が６０ｃｍ以上１００ｃｍ以下、（２）実空間上での推定高さが１４０ｃｍ以上２００ｃｍ以下、（３）領域内占有割合が０〜０．１の範囲内といった条件を定め、（１）〜（３）のすべての条件を満たす場合のみ、装置直近以外の人らしさを１とし、（１）〜（３）の条件の一つでも満たさない場合は、装置直近以外の人らしさを０とする。

次に、人らしさ算出処理を実行する（ＳＴ２４）。この人らしさ算出処理では、上述したＳＴ２２の装置直近の人らしさ算出処理にて求めた装置直近の人らしさと、ＳＴ２３の装置直近以外の人らしさ算出処理にて求めた装置直近以外の人らしさとを元に、対象の追跡ラベル領域の人らしさを算出する。具体的には、装置直近の人らしさと装置直近以外の人らしさとを比較し、大きな方の値を人らしさの値として採用する。

ところで、これまでに示した処理では、対象のラベル領域が装置直近の侵入者によるものの場合は装置直近の人らしさが高くなり、装置から離れた場所での侵入者の場合は装置直近以外の人らしさが高くなるように条件付けをしている。このため、装置直近の人らしさと装置直近以外の人らしさのうち、大きい方の値として採用することで、侵入者の存在位置が、装置直近・装置から離れた場所のいずれであっても、常に人らしさを高くすることができる。

本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

前記実施例では、特徴量算出手段４ｃにおける特徴量算出処理にて、人物と小動物とを判別するための特徴量として、変化領域が監視画面の下端から所定領域内に存在する割合を表す「領域内占有割合」を算出している。
しかし、これに限らず、特徴量算出手段４ｃは、「領域内占有割合」に代わる特徴量として、評価期間において変化領域（の外接矩形）の下端が監視画面の下端に接している期間の時間的割合を表す「下端接触割合」を算出しても良い。この場合、上記実施例における「領域内存在期間」を、変化領域（の外接矩形）の下端が監視画像の下端と接している期間を表す「下端接触期間」に置き換えて算出すればよい。すなわち、図５のＳＴ１６における判定では、追跡ラベルが監視画像下端に接しているか否かを判定する。そして、図５のＳＴ１７におけるインクリメント処理では、「領域内存在期間」を「下端接触期間」として置き換える。そして、図５のＳＴ２０における下端接触割合の計算式は「下端接触割合＝移動期間における下端接触期間÷移動期間」となり、ＳＴ２１における下端接触割合の計算式は「下端接触割合＝移動期間内過去期間における下端接触期間÷過去期間」となる。
このように、監視画像における変化領域が画像下端に接している期間を示す下端接触期間を求め、この下端接触期間が評価期間に占める割合に応じた特徴量に基づいて変化領域が人物像であるか否かを判定することにより、上述した変化領域が監視画像下端から所定領域内に存在する変化領域の割合に応じた特徴量を算出する場合と比較して、人物と小動物とを弁別するためのより特徴的な事象（人物による変化領域は小動物の変化領域と比較して、監視画像下端に接している頻度が大きいといった事象）を捉えて、より高い精度における判定を行うことができる。すなわち、小動物が監視画像下端付近に沿って横方向に移動しているような場合においても、人物像と小動物とを判別することができる。さらに、上述した変化領域が監視画像下端から所定領域内に存在する変化領域の割合に応じた特徴量を算出する場合と比較して、情報量を削減して画像下端近傍における人体と小動物とを区別して判定することができる。

前記実施例では、特徴量算出手段４ｃが特徴量として監視画像上における変化領域の大きさから透視変換によって推定される実空間での大きさ（推定幅・推定高さ）、領域内占有割合（又は下端接触割合）などを算出し、これらの特徴量に基づいて人らしさ（装置直近の人らしさ、装置直近以外の人らしさ）を算出し、判定手段４ｄがこれら人らしさに基づいて変化領域が人物か小動物かを判定している。
しかし、これに限らず、特徴量算出手段４ｃは、特徴量として領域内占有割合（又は下端接触割合）のみを算出し、当該特徴量に基づいて判定手段４ｄは、変化領域が人物であるか小動物であるかを判定しても良い。
すなわち、ＳＴ２２〜ＳＴ２４において人らしさを算出するための一連の処理を省略し、ＳＴ８において判定条件として、例えば「領域内占有割合（又は下端接触割合）が所定値以上であるとき（又は、所定値以上の領域内占有割合が所定フレーム以上継続したとき）に、追跡ラベル領域を侵入者であると判定する」とし、当該判定条件に基づいて判定手段４ｄが人物であるか小動物であるか判定しても良い。

１ 画像監視装置
２ 撮像部
３ 記憶部
４ 画像処理部
４ａ 抽出手段
４ｂ 追跡手段
４ｃ 特徴量算出手段
４ｄ 判定手段
５ 出力部

Claims (3)

1. 監視空間を撮像した監視画像を順次取得し、前記監視画像を画像処理して監視空間における人物の有無を判定する画像監視装置であって、
   前記監視画像と予め記憶した監視空間の基準画像とを比較して前記基準画像から変化した変化領域を抽出する抽出部と、
   前記変化領域を時間的に追跡する追跡部と、
   前記変化領域の出現時刻から人物の有無を判定する判定時刻までにおける所定の評価期間において該変化領域の下端と前記監視画像の下端とが略接しているとみなせる期間である領域内存在期間を求め、該領域内存在期間が前記評価期間に占める割合が大きくなるほど該変化領域が人物像らしいとする特徴量を算出する特徴量算出部と、
   前記特徴量を用いて前記変化領域が人物像であるか否かを判定する判定部と、
   を備えることを特徴とした画像監視装置。
2. 前記特徴量算出部は、前記特徴量を算出する際、前記変化領域の下端と前記監視画像の下端との距離が大きくなるほど前記領域内存在期間の時間長を小さくするよう補正する請求項１に記載の画像監視装置。
3. 前記特徴量算出部は、前記変化領域が所定以上移動している１又は複数の期間のみを前記所定の評価期間として算出する請求項１又は２に記載の画像監視装置。

Images