JP5399755B2 - 複合型監視装置 - Google Patents

Description

本発明は画像センサと赤外線センサを備えた複合型監視装置に関し、特に画像センサにて人体の検出が困難である場合に、赤外線センサを用いて人体の検出を行う複合型監視装置に関する。

人体の検出を目的として、異なる種類のセンサを組み合わせた複合型監視装置が知られている。特許文献１および特許文献２には、監視領域を撮影した画像に人体が存在するか否かを画像処理して検出する画像センサと、監視領域から発せられる赤外線を受光し、その変化から人体が存在するか否かを検出する赤外線センサを組み合わせた複合型監視装置が開示されている。

従来の複合型監視装置では、画像センサによって、画像中の変化領域が人体に起因する可能性を人体らしさとして算出し、人体以外のものに起因する可能性を外乱らしさとして算出している。人体らしさが高く、外乱らしさが低い場合に人体の存在を判定し、外乱らしさが高く、人体らしさが低い場合には、人体の存在を判定しない。また人体らしさも外乱らしさも同時に高くなった場合に、画像センサの検知結果に代え、赤外線センサの検知結果を用いる技術を開示している（特許文献１）。

また、従来の複合型監視装置では、監視領域に存在する物体の速度と、物体までの距離を画像センサにて算出し、その結果を踏まえて、赤外線センサにて人体が否かを判断する際に用いる判断閾値を決定している（特許文献２）。

特願２００７−３３０４２１号公報 特開２０００−３４１６７５号公報

しかし、移動物体の振る舞いによっては、従来の複合型監視装置では対応しきれないことがある。例えば、失報（検知漏れ）を避けるために判断閾値を小さく設定した状況で、赤外線センサを中心にして環状方向に移動する移動物体があると、人体以外であっても赤外線センサは反応し、誤報（検知誤り）となる。逆に、誤報を避けるために判断閾値を大きく設定した状況で、赤外線センサを中心にして放射線方向に移動する移動物体があると、人体であっても赤外線センサは反応せず、失報となる。

この理由を、焦電素子を用いた一般的な赤外線センサの検知方法に基づき、図７を用いて説明する。
図７には、プラス極性を持つ素子２００１aとマイナス極性を持つ素子２００１ｂから構成される焦電素子２０００を用いた赤外線センサの検知原理が模式的に示されている。符号２００２は分割ミラーであり、監視領域を、赤外線センサを中心にした放射線方向に複数の監視ゾーンを設定するものである。１つの監視ゾーンはプラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂから構成される。

移動物体がプラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂの両方にまたがるように存在することがある。この場合、素子２００１ａと素子２００１ｂからの出力は打ち消しあうため、赤外線センサの出力は小さくなる。このことは移動物体が符号２００５に示す監視ゾーンに沿った放射線方向に移動する場合では、その赤外線センサの出力が小さい状態が維持されやすい。失報を避けるためには、判断閾値を小さくする必要がある。

一方、移動物体が符号２００６に示すように、監視ゾーンを横切る環状方向に移動すると、順次プラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂの片方に存在するため、素子２００１ａと素子２００１ｂからの出力は打ち消しあわずに、赤外線センサの出力は大きくなる。小動物などによる誤報を避けるためには、判断閾値を大きくするのが望ましい。

即ち、移動物体の移動方向によって赤外線センサの出力の大きさが異なるため、固定の判断閾値を用いると、適切な判断が難しいことがある。

本発明は、画像センサと赤外線センサとを組み合わせた複合型監視装置に関するものであり、画像センサにて得られた移動物体の振る舞い（移動方向）に応じて判定条件を変更する複合型監視装置の提供を目的とする。

本発明にかかる複合型監視装置は、移動物体を含む監視領域を撮影する画像センサ部と、画像センサ部と略同一位置に設置され、監視領域と略同一の範囲からの赤外線に応じた赤外検出信号を出力する赤外線センサ部と、少なくとも赤外検出信号と比較する赤外閾値を記憶する記憶部と、赤外閾値を調整する調整部と、赤外検出信号と赤外閾値との比較結果と画像センサの検出結果に基づいて、移動物体が進入者であるか否かを判定する統合判定部を備え、画像センサ部は、入力画像から移動物体により背景と変化が生じている変化領域を抽出する変化領域抽出手段と、入力画像中における変化領域の移動方向を検出する移動方向検出手段を有し、調整部は、移動方向が、赤外線センサ部が高感度となる方向の場合に、赤外線センサ部が低感度となる方向の場合よりも赤外閾値を大きくなるよう調整し、統合判定部は、調整部が調整した赤外閾値と赤外検出信号との比較結果にて人体の判定を行うことを特徴とする。

この構成により、本発明にかかる複合型監視装置は、赤外線センサにおける人体検出の判断に用いる赤外閾値を、移動方向が異なることによる検出のしやすさに応じて調整するので、例えば、誤報原因が存在するため、赤外閾値を高くせざるを得ない状況において、赤外線センサの出力が小さくなる方向に移動する進入者がいても、的確に検出できる。
また、移動方向を、実際の監視領域における移動物体の位置を求めること無しに、入力画像中の移動方向に基づき赤外閾値を調整できる。

本発明にかかる複合型監視装置の赤外線センサ部は、光学手段と、該光学手段により赤外線センサ部を中心とする放射線方向に複数の監視ゾーンを形成する焦電素子を有し、調整部は、画像センサ部の移動方向検出手段が検出した移動方向が、赤外線センサ部を中心とする環状方向に対応する方向であれば高感度となる方向とし、赤外線センサ部を中心とする放射線方向に対応する方向であれば低感度となる方向とすることを特徴とする。

この構成により、本発明にかかる複合型監視装置は、移動物体が、赤外線センサ部を中心とする環状方向（概略監視領域を横切る方向）については、赤外線センサ部を中心とする放射線方向（赤外線センサから遠ざかる方向、逆に近づく方向）の場合よりも赤外閾値を大きくなるよう調整するので、赤外線センサの出力の特性を反映してより高精度に検知できる。

また、本発明にかかる複合型監視装置の画像センサ部および赤外線センサ部は、移動物体が移動する基底面の上方において、当該基底面に対して斜め方向に向けられて配置されていることが好適である。

この構成により、本発明にかかる複合型監視装置は、屋内なら天井、屋外なら支柱の上方に取り付けることで、取得された画像中で上方が実際の監視領域では遠方に相当し、画像中で下方が近傍に相当することが仮定できるなど、移動物体の移動方向を的確に把握することが可能となり、さらに検出精度を高めることができる。

本発明によれば、画像センサと赤外線センサを組み合わせて有する複合型監視装置において、人体の移動方向に関わらず高精度に判定が可能となる

本発明にかかる複合型監視装置１の設置例を表す模式図である 複合型監視装置１の構成を表すブロック図である 画像センサ２０にて取得された画像中における移動方向を定義する図である 複合型監視装置１の動作を表すメインフロー図である 赤外線センサ１０を用いて人体の存在を判断する第１の実施の形態にかかるフロー図である 赤外線センサ１０を用いて人体の存在を判断する第２の実施の形態にかかるフロー図である 焦電素子を用いた赤外線センサの監視ゾーンを模式的に示す図である

図１に、本発明の好適な実施形態の１つが示されている。本実施にかかる複合型監視装置は、例えば監視用途として用いられるものであり、その複合型監視装置は、屋内を監視する場合には部屋の天井に設置され、屋外を設置する場合には建物の軒下や、別途専用に用意された支柱の上方に設置される。図１（ａ）では、屋外において、符号１に示す複合型監視装置が、支柱１００１の上方に設置されている様子を示している。

図１（ａ）において、符号１００３と１００４に挟まれる部分が複合型監視装置１の検知可能な範囲（以下、「監視領域」）である。複合型監視装置１は、内蔵の画像センサと赤外線センサにより、この監視領域に目的の検知対象である人体１０００が存在しているか否かを判定するものである。
符号１００２は、図１が屋外を監視する場合を示しているので、地面を表す。
符号２００４は、図７に示したプラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂから構成される監視ゾーンを横から見たものである。
夜間、図示しない警備装置本体により、警備状態に設定されている場合、人体１０００は進入者と判断できるので、その旨を通信回線経由で警備センター（ともに不図示）に通報する。

また、図１（ｂ）には、複合型監視装置１に内蔵されている画像センサと赤外線センサがそれぞれ検知できる範囲を示している。符号１０５０は画像センサが検知できる範囲であり、符号１０５１は赤外線センサが検知できる範囲であり、両者は概略一致するよう調整されるものとする。

図２は、本発明にかかる複合型監視装置１の構成を表すブロック図である。複合型監視装置１は、赤外線センサ１０、画像センサ２０、統合判定部３０、記憶部４０、調整部５０、出力部６０から構成される。なお、複合型監視装置１を収納する筐体や、各部を駆動するための電源機構については、本発明の主要部ではなく、前述の特許文献２に開示されているものなど、適宜実現可能なものを選択すればよいので、作図上は省略した。

赤外線センサ１０は、監視領域内からの赤外線を検出するセンサであり、本実施形態においては、ＰＩＲセンサとしての焦電素子が利用されている。もちろん、サーモパイル素子など他のタイプの赤外線センサを利用することも可能である。焦電素子は、室温の上昇等による赤外線の増加により誤動作をしないようプラスとマイナスの極性を持つ素子から構成される。
赤外線センサ１０の前方には図示しないフレネルレンズまたは分割ミラーが設けられ、これによって監視領域内に赤外線センサ１０を中心にした放射線方向に複数の監視ゾーン２００４が設定され、各監視ゾーン２００４からの赤外線が赤外線センサ１０によって受光される。これらの構成は、本明細書の「発明が解決しようとする課題」の欄において図７を用いて説明した、一般的な赤外線センサと同様な構成である。
ちなみに、本実施形態においては、監視領域内における物体の移動に伴う赤外線出力信号に基づいて人体判定処理が実行されている。

画像センサ２０は、図２に示すように、撮像部２１、照明部２２、画像処理部２３から構成され、統合判定部３０、記憶部４０、調整部５０と接続されている。

撮像部２１は、たとえば近赤外領域の光を検出するＣＣＤ素子などで構成されるものであり、ＣＣＤ素子以外にもＣＭＯＳ撮像素子などの装置を利用してもよい。また、画像センサ２０は、光学系部品、Ａ／Ｄ変換器等を含むものとし、解像度は、図１に示す設置条件に基づき、人体１０００との距離を考慮するなど、具体的な実施形態に応じて選ぶことができ、例えばＮＴＳＣ規格、ＳＤＴＶ規格またはＨＤＴＶ規格を用いることができる。また、撮像に用いる波長帯として近赤外領域の他、可視光波長又は赤外線波長などを、適宜選択することが好ましい。撮像部２１は、決められた時間間隔毎（例えば、０．２秒毎、以下、「時刻」と称する）に、監視領域の画像を取得する。

照明部２２は、監視領域が暗く、撮像部２１の特性によっては適切に撮像が困難であると画像処理部２３により判定された場合に点灯されるものである。照明部２２は、撮像部２１の分光感度特性や、監視領域の大きさ、機器寿命、運用条件などを考慮して適切なものを用いることができる。例えば、撮像部２１が近赤外領域にも十分な感度を持つ場合には、寿命や消費電力の点から近赤外ＬＥＤを用いるのが好適である。また、監視領域が広大な場合には、大光量を照射できるキセノンランプを用いるのが好適である。近赤外光で撮影すれば、監視領域を明るくすることなく監視が行える。

一方、撮影条件によっては監視領域を明るくすることができる場合には、蛍光灯などによる可視光照明を用いることができる。例えば建物内の通路を監視する場合である。なお、例えば２４時間営業の商店の店内など、複合型監視装置１の設置条件によっては、照明を用意する必要がないと判断される場合には、照明部２２は省略することができる。

画像処理部２３は、撮像部２１が取得した監視領域の画像（以下、「入力画像」と称する）を処理し、統合判定部３０にて、入力画像中に検知対象である人体が存在するか否かを判定するための各種情報を算出する。画像処理部２３は、変化領域抽出手段２３１と、特徴抽出手段２３２と、人体判定手段２３３と、非人体判定手段２３４と、移動方向検出手段２３５とから構成される。

変化領域抽出手段２３１は、監視領域に人体などの物体が存在することにより、入力画像中に生じた変化を抽出する。その方法としては、各種の公知の方法を用いることができる。例えば、記憶部４０に、監視領域に物体が存在しない状態で取得された画像を背景画像（基準画像）として記憶しておき、得られた入力画像を公知の方法で白黒化した上で画素毎に差分を計算し、所定の閾値以上の差分がある画素の集合を変化領域として抽出することができる。そして、一定以上近い位置にある画素と変化領域をひとまとめにて、番号付けをする（ラベリング処理）。

変化領域抽出手段２３１にて、入力画像中に生じた変化を抽出する方法は、上記に限られない。例えば、識別器と呼ばれる方法を用いることができる。これは、事前に検知対象のサンプル画像を数多く用意しておいて学習させた識別器を入力画像中で順次走査し、最も類似度の高い位置にて検知対象の存在を判定するものである。事前の学習が必要な面はあるが、背景画像を用意して、記憶部４０に記憶しておく必要は無い。
いずれの方法を用いる場合にも、入力画像中における抽出された変化領域の位置を記憶部４０に記憶しておくものとする。本実施の形態では、変化領域の重心位置を、付与したラベル毎にその変化領域の位置として時刻毎に記憶部４０に記憶しておく。

特徴抽出手段２３２は、変化領域抽出手段２３１にて抽出した変化領域における入力画像に含まれる画素値から、特徴量を算出する手段である。この特徴量を用いて人体属性値と非人体属性値を算出し、抽出された変化領域が検知対象である人体なのか、それ以外の要因、即ち小動物や外乱光が差し込むなどにより生じたものなのかの判別を行う。

人らしさの特徴量を表す人体属性値は、変化領域が人である場合に高い値となるように設定する。例えば、変化領域の大きさ、背景画像との正規化相関（背景画像と入力画像との一致度）、背景画像と比較した場合のエッジの変化率等から算出される。これらの特徴量を用いて変化領域の人体属性値は、次の（１）〜（３）のような特徴量に重み付けをして、その総和を求めることにより算出する。
（１）変化領域の大きさが、一定の範囲であると、人である可能性が高い
（２）変化領域における入力画像と背景画像の類似度が低いと、人の可能性が高い
（３）変化領域における背景画像と比較した入力画像のエッジの変化率が高いと、人の可能性が高い。

これらの特徴量は、人である可能性が高いほど１に近づき、低いほど０に近づくように正規化される。正規化後のこれらの特徴量をａ１、ａ２、ａ３とし、それぞれの特徴量に対する重み付けをｂ１、ｂ２、ｂ３として、人体属性値を次の式により求める。
人体属性値＝ａ１×ｂ１＋ａ２×ｂ２＋ａ３×ｂ３
但し、ｂ１＋ｂ２＋ｂ３＝１

人以外らしさを表すための非人体属性値は、小動物らしさを表す小動物属性値、光らしさを表す光属性値、影らしさを表す影属性値等、複数の事象に個別に対応した属性値を算出し、それらを統合して求める。これ以外にも、植栽揺れらしさを表す植栽ゆれ属性値、虫らしさを表す虫属性値など、人の侵入かどうかの判定精度を向上させることのできる他の種類の人以外らしさを表す属性値を用いることもできる。

たとえば、変化領域が植裁によるものである場合に高い値となる植裁属性値を算出する。植裁属性値は、植裁らしさを表す特徴量、例えば、背景画像と入力画像のヒストグラムの差、エッジ強度の割合、輝度分散から算出される。
以下の（４）〜（６）の特徴量に重み付けをして、その総和を求めることにより算出する。
（４）変化領域における基準画像と入力画像の輝度ヒストグラムまたは各色成分に関するヒストグラムの差が小さいほど植裁の可能性が高い
（５）変化領域における一定以上のエッジ強度を示した画素数が、変化領域の画素数に対して割合が高いほど植裁の可能性が高い
（６）変化領域における輝度値（入力画像がカラー画像の場合は公知の方法で白黒化する）に関する分散が高いほど植裁の可能性が高い

このような特徴量から植裁属性値などを算出する方法は、人体属性値を算出する方法と同様の方法を用いる。但し、これらの特徴量に対する重み付けその他の条件は、環境に応じて、実験等を通じて確定する。

人以外らしさを表す属性値のうち、最大のものを非人体属性値と決定する。これらの各属性値の算出方法は、本願の出願人が出願済みの特開２００６−２７７６３９号や特開２００１−２４３４７５号に開示された方法を適宜用いることができるので、本明細書では詳細を省略する。

人体判定手段２３３は、特徴抽出手段２３２にて求めた変化領域の人体属性値が、所定の人体の判定基準を満たしているか否かを判定する。即ち、人体属性値が予め設定された人の基準値以上であれば、その人体属性値が求められた変化領域は人体によるものである可能性が高い旨を統合判定部３０に出力する。逆に、人体属性値が予め設定された人の基準値未満であれば、その人体属性値が求められた変化領域は人体によるものである可能性が低い旨を統合判定部３０に出力する。

非人体判定手段２３４は、特徴抽出手段２３２にて求めた変化領域の非人体属性値が、所定の人以外の判定基準を満たしているか否かを判定する。即ち、非人体属性値が予め設定された人以外の基準値以上であれば、その非人体属性値が求められた変化領域は人体以外によるものである可能性が高い旨を統合判定部３０に出力する。逆に、非人体属性値が予め設定された人以外の基準値未満であれば、その非人体属性値が求められた変化領域は人体以外によるものである可能性が低い旨を統合判定部３０に出力する。

なお、人体属性値と非人体属性値は、それぞれ独立に算出されるため、同一の変化領域が人体によるものである可能性が高く、かつ非人体によるものである可能性が高い場合もある。この場合、どのような判断にするかは後述する。

移動方向検出手段２３５は、変化領域抽出手段２３１が検出した変化領域について、記憶部４０に記憶されている、各時刻における入力画像中の重心位置の履歴を参照し、変化領域の移動方向を検出する。移動方向は、前回撮像部２１にて入力された時点（１時刻前）からの座標の差から定義する。図３に、移動方向の定義を示す。

図３には、入力画像１１００に人体１０００が写っている様子が示されている。複合型監視装置１は、図１に示すように、支柱１００１の上方に取り付けられ、見下ろすように向けられているので、撮像部２１にて得られた入力画像１１００では、複合型監視装置１から遠方が上、近傍が下になる。

移動方向は図３に示すように、入力画像１１００中、右に移動する場合を角度０度、そして反時計回りに角度が大きくなるように定義する。
例えば、人体１０００が、複合型監視装置１から遠ざかる方向に動く場合には移動方向は９０度、逆に近づく方向に動く場合には移動方向は２７０度、視野を横切るように動く場合は、移動方向は０度または１８０度として定義される。

角度の定義は、後述する処理の都合によるものなので、図３に示すものに限定されることは無いのは言うまでもない。何らかの基準が存在するならば、それに沿った方向を角度０度としても本件発明は実施できる。

統合判定部３０は、赤外線センサ１０と画像センサ２０の処理結果を入力し、監視領域に検知対象である人体１０００が存在するか否かを判定する。
まず、統合判定部３０は、画像センサ２０の人体判定手段２３３と非人体判定手段２３４の判定結果を調べる。

（ｉ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が高いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性は低いと出力している場合、統合判定部３０は、赤外線センサ１０の出力にかかわらず、当該変化領域は人体によるものであるとして、監視領域に検知対象である人体１０００が存在すると判定する。

（ｉｉ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が低いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性は高いと出力している場合、統合判定部３０は、赤外線センサ１０の出力にかかわらず、当該変化領域は人体以外の要因によるものであるとして、何らの出力をしないものとする。例えば、前述のように、猫などの小動物や、揺れる植裁などが考えられるためであり、この場合に通報すると、監視装置としての信頼性を大きく損なうからである。

（ｉｉｉ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が低いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性は低いと出力している場合も、統合判定部３０は、赤外線センサ１０の出力にかかわらず、当該変化領域は人体以外の要因によるものであるとして、何らの出力をしないものとする。

上記（ｉ）乃至（ｉｉｉ）は、統合判定部３０は、画像センサ２０の処理結果のみを参照して出力の有無を決定する。これに対し、次の（ｉｖ）は、赤外線センサ１０の出力を参照する場合である。

（ｉｖ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が高いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性が高いと出力している場合、統合判定部３０は、赤外線センサ１０の出力を参照する。即ち、記憶部４０に記憶されている赤外閾値４１を読み出し、赤外線センサ１０の出力が赤外閾値４１以上の場合には、監視領域に人体１０００が存在すると判定する。赤外線センサ１０の出力が赤外閾値４１を越えない場合には、監視領域に人体１０００は存在しないと判定する。

記憶部４０は、各種プログラム及び各種データを記憶することができ、例えばＲＡＭ又はＲＯＭ、ＥＰＲＯＭなどの半導体メモリ、ハードディスクなどの磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗなどの光記録媒体などを用いて構成することができる。記憶部４０は、画像センサ２０、統合判定部３０、調整部５０と接続されており、各部からの要求に応じて各種プログラムや各種データなどを読み書きする。

記憶部４０には、赤外閾値４１を記憶しておく。この赤外閾値４１は、統合判定部３０にて、赤外線センサ１０の出力である電圧値をＡ／Ｄ変換した結果と比較するためのものであり、初期値として、適切なものを設定した後は、調整部５０にて、適宜調整され得るものである。

このほか、記憶部４０には、図示しないが、変化領域抽出手段２３１が背景差分処理を行う場合には基準画像、人体判定手段２３３と非人体判定手段２３４にて所定の基準との比較結果を格納するフラグ（人体フラグ、非人体フラグ）、変化領域抽出手段２３１が抽出した変化領域の入力画像における位置である重心位置を記憶しておく。

調整部５０は、赤外閾値４１を変更する。即ち、前述した統合判定部３０の説明で（ｉｖ）の場合、移動方向検出手段２３５が検出した変化領域の移動方向を参照し、変化領域が概略左右方向であるとの条件を満たした場合には、赤外閾値４１を初期設定の値よりも大きくする。これは、赤外線センサ１０の特性として、赤外線センサ１０から遠ざかる方向または近づく方向よりも、それとは直角の、いわば横切る方向には出力が大きくなる傾向にあるためである。

出力部６０は、統合判定部３０の判定結果を入力して外部へ出力するインターフェース回路であり、出力側は警備システムのコントローラ等の図示しない外部装置に接続されて当該外部装置に電気信号を出力する。
例えば、判定結果が人体を検出したことを表すものであった場合、その旨を表す電気信号を外部装置へ伝送する。
出力部６０はブザーやＬＥＤ等の報知手段を備えても良く、検出結果が侵入者を検出したことを表すものであると、これらの報知手段に通電してブザーを鳴動させたりＬＥＤを点灯させたりして周囲の者の注意を喚起することもできる。

次に、複合型監視装置１の動作について、フロー図を参照して説明する。図４は、基本となるメインフロー図である。

まず複合型監視装置１は、電源投入後、各種パラメータをクリアしたり、変化領域抽出手段２３１が背景差分処理を行う場合、監視領域に人体や誤報原因となる物体が存在しないことを条件に基準画像の取得を行う。またフラグ類をＯＦＦにする（ステップＳ１００）。

撮像部２１は、時刻毎に入力画像を取得し、画像処理部２３に渡す（ステップＳ２００）。この際、画像処理部２３は、予備処理として、入力画像全体の平均輝度を算出して、照明部２２の点灯が必要なほど監視領域が暗い場合には照明部２２を点灯させてから、再度撮像部２１に撮影を指示するようにしてもよい。また、別途照度センサを備えるならば、その出力により照明部２２の点灯の有無を決定しても良い。

ステップＳ３００にて、変化領域抽出手段２３１は、入力画像中に生じた変化領域を抽出する。抽出の方法は前述の通り、周知な背景差分処理によっても良いし、識別器によっても良い。

変化領域抽出手段２３１が変化領域を抽出しなかった場合（ステップＳ４００でＮＯの分岐）、処理をステップＳ２００に戻し、次の時刻にて入力画像を取得する。

変化領域抽出手段２３１が変化領域を抽出した場合（ステップＳ４００でＹＥＳの分岐）、処理をステップＳ５００に移し、特徴抽出手段２３２は、抽出された変化領域について各種特徴量を算出する。

ステップＳ６００にて、特徴抽出手段２３２は、ステップＳ５００にて算出された特徴量から、人体属性値を算出する。人体属性値は、変化領域が人によるものかどうかを判定するためのものであり、人らしさを表すものである。

ステップＳ７００にて、人体判定手段２３３は、ステップＳ６００にて特徴抽出手段２３２が算出した人体属性値が、所定の基準を満たすか否かを判定し、満たすと判定される場合（ＹＥＳの分岐）、記憶部４０に記憶されている人体フラグをＯＮにセットする（ステップＳ８００）。人体属性値が所定の基準を満たさない場合（ＮＯの分岐）、人体フラグはＯＦＦのままとする。

ステップＳ６００乃至Ｓ８００の処理とは並行して、ステップＳ９００乃至Ｓ１１００の処理を行う。
ステップＳ９００にて、特徴抽出手段２３２は、ステップＳ５００にて算出された特徴量から、非人体属性値を算出する。非人体属性値は、変化領域が人以外によるものかどうかを判定するためのものであり、人以外らしさを表すものである。

ステップＳ１０００にて、非人体判定手段２３４は、ステップＳ９００にて特徴抽出手段２３２が算出した非人体属性値が、所定の基準を満たすか否かを判定し、満たすと判定される場合（ＹＥＳの分岐）、記憶部４０に記憶されている非人体フラグをＯＮにセットする（ステップＳ１１００）。非人体属性値が所定の基準を満たさない場合（ＮＯの分岐）、非人体フラグはＯＦＦのままとする。

ステップＳ１２００にて、統合判定部３０は、人体フラグと非人体フラグがＯＮにセットされているか否かを調べる。いずれかがＯＦＦになっている場合（ＮＯの分岐）には、画像センサ２０の出力のみを参照して、判定する（ステップＳ１３００）。この処理は、統合判定部３０の説明で述べた（ｉ）乃至（ｉｉｉ）に相当する。

一方、人体フラグと非人体フラグの両方がＯＮにセットされている場合（ＹＥＳの分岐）、統合判定部３０は、赤外線センサ１０の出力を参照して、監視領域に人体が存在するか否かを判定する。これは統合判定部３０の説明で述べた（ｉｖ）に相当する。詳細は後述する。

ステップＳ１５００にて、統合判定部３０の判定結果を出力部６０経由で外部に接続された機器に送信する。
なお、図４では図が煩雑になるので省略したが、ステップＳ３００およびＳ４００にて変化領域が抽出されても、ステップＳ１３００またはＳ１４００にてその変化領域が人体によるものではなく、人以外の要因によると判断できる場合には、特に外部に信号出力することはせずに、処理をステップＳ２００に戻して、上記の処理を繰り返すようにしても良い。

（赤外線センサによる判定処理の第１の実施形態）
ステップＳ１４００の処理について、図５を参照して説明する。
まずステップＳ１４１０にて、移動方向検出手段２３５は、記憶部４０に記憶してある変化領域の過去時点における位置を読み出す。変化領域の位置とは、入力画像における変化領域の重心についての左右方向の座標（Ｘ軸座標）と上下方向の座標（Ｙ軸座標）であり、１時点前の座標をそれぞれ読み出す。

現時点での重心座標をＰ（ｘｎ、ｙｎ）、１時点前の重心座標をＱ（ｘｏ、ｙｏ）とすると、１時点前からの移動ベクトルの成分は（ｘｎ―ｘｏ、ｙｎ―ｙｏ）となる。よって、図３に示す移動方向に関する角度をθとすると、その余弦は、角度０度方向の単位ベクトルの成分が（１、０）であることを考慮し、次の式１から求めることができる。
ｃｏｓθ＝（ｘｎ―ｘｏ）／√（（ｘｎ―ｘｏ）＾２ ＋ （ｙｎ―ｙｏ）＾２）・・・（式１）
ここで「＾２」は２乗を表す。

ステップＳ１４２０において、調整部５０は、式１により求められた余弦値の絶対値がθに関する閾値θｔｈ１に関する余弦の絶対値を越えるか否かを調べ、
｜ｃｏｓθ｜ ＞ ｜ｃｏｓθｔｈ１｜・・・（式２）
を満たす場合には、変化領域抽出手段２３１にて抽出した変化領域は、入力画像中で概略左右方向に移動している場合であるので、赤外閾値Ａを赤外閾値４１として記憶し直す（ステップＳ１４３０）。

一方、
｜ｃｏｓθ｜ ≦ ｜ｃｏｓθｔｈ１｜・・・（式３）
を満たす場合には、概略左右方向には移動していない場合であるので、調整部５０は、赤外閾値Ｂを赤外閾値４１として記憶し直す（ステップＳ１４４０）。
なお、
赤外閾値Ａ＞赤外閾値Ｂ ・・・（式４）
を満たすものとし、赤外閾値Ｂは、ステップＳ１００において赤外閾値４１の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。

式４のように、赤外閾値Ａを大きくする理由は、赤外線センサは、赤外線センサを中心として考えて、環状方向に移動する場合は、赤外線センサの出力信号は大きいが、赤外線センサを中心として考えて、放射線方向に移動する場合には、赤外線センサの出力信号は小さいからである。理由は、「発明が解決しようとする課題」において述べたように、プラス極性の素子とマイナス極性の素子による監視ゾーンを放射線状に配置するのが一般的であり（図７参照）、また、移動物体が放射線方向に移動すると、背景との温度差の時間変化が検出されにくい一方、移動物体が環状方向に移動すると、背景との温度差の時間変化が検出されやすいからである。
また、赤外線センサ１０と画像センサ２０が検知対象とする領域はおおよそ一致させ、かつ見下ろす設定されるのが通常である。よって、前述の移動方向を画像センサ２０にて得られる画像で置き換えると、上記の画像中で左右方向に移動することは、赤外線センサ１０を中心にして環状方向に移動することを意味し、本出願の特許請求の範囲に記載した「高感度となる方向」に相当する。同様に、上記の画像中で上下方向に移動することは、赤外線センサ１０を中心にして放射線方向に移動することを意味し、本出願の特許請求の範囲に記載した「低感度となる方向」に相当する。

ステップＳ１４５０において、統合判定部３０は、赤外線センサ１０の出力を参照し、ステップＳ１４３０またはＳ１４４０にて、調整部５０が記憶部４０に記憶し直した赤外閾値４１を読み出して、比較する。

赤外線センサ１０の出力が赤外閾値４１以上となる場合（ＹＥＳの分岐）、ステップＳ１４６０にて、統合判定部３０は、変化領域が人体によるものであると判断する。監視領域に人体が存在する場合なので、進入者あり、との判定となる。
一方、赤外線センサ１０の出力が赤外閾値４１より小さい場合（ＮＯの分岐）、ステップＳ１４７０にて、統合判定部３０は、変化領域が人体によるものではないと判定する。

なお、変化領域が時間的にほとんど移動しない場合は、式１ではｃｏｓθは計算できないので、便宜的にｃｏｓθ＝０と定義する。

（赤外線センサによる判定処理の第２の実施形態）
ステップＳ１４００の処理について、他の実施形態を、図６を参照して説明する。第１の実施の形態と異なるのは、ステップＳ１４２０乃至Ｓ１４４０の代わりにステップＳ１４９０としたもので、その他は第１の実施の形態と同じなので説明は省略する。

ステップＳ１４９０において、調整部５０は、第１の実施の形態と同様に、図３に示す移動方向に関する角度θの余弦ｃｏｓθを求め、次の式５から、赤外閾値４１を算出し、記憶部４０に記憶し直すとする。
赤外閾値４１ ＝ α｜ｃｏｓθ｜ ＋ β ・・・・（式５）
ここで、βはステップＳ１００にて初期化される赤外閾値４１であり、入力画像中で変化領域が上下方向、つまり移動方向の角度がほぼ９０度または２７０度の場合でも失報しないように定められた値である。これに対しαは所定の重み係数であり、変化領域が入力画像中で左右方向に移動するほど赤外閾値４１を大きく調整するために正数として、適宜実験により設定される。

以上が、本発明にかかる複合型監視装置の動作であるが、その技術的思想を越えない範囲での変更は適宜可能である。
例えば、移動方向検出手段２３５における移動方向の算出は、過去１時点のみの重心位置の参照ではなく、複数時点での位置を参照して、移動方向の傾向を把握して赤外閾値４１を決定しても良い。
あるいは、式５において、｜ｃｏｓθ｜の代わりに、θが９０度または２７０度に近づくほど小さくなるような、θの関数を定義しても同様な効果が得られる。

本発明にかかる複合型監視装置は、赤外線センサにより検出しにくい振る舞いをする人体であっても、進入者として精度良く検出できる。これにより、映像を目視確認する警備員の負担軽減、および、進入者として判断された物体のみを追跡することで、処理負荷軽減ができるので、装置の簡略化が図れる。

１ 複合型監視装置
１０ 赤外線センサ
２０ 画像センサ
３０ 統合判定部
５０ 調整部

Claims (3)

1. 移動物体を含む監視領域を撮影する画像センサ部と、
   前記画像センサ部と略同一位置に設置され、前記監視領域と略同一の範囲からの赤外線に応じた赤外検出信号を出力する赤外線センサ部と、
   少なくとも前記赤外検出信号と比較する赤外閾値を記憶する記憶部と、
   前記赤外閾値を調整する調整部と、
   前記赤外検出信号と赤外閾値との比較結果と前記画像センサの検出結果に基づいて、前記移動物体が進入者であるか否かを判定する統合判定部
   を備えた複合型監視装置であって、
   前記画像センサ部は、
   該画像センサ部が取得した入力画像から前記移動物体により背景と変化が生じている変化領域を抽出する変化領域抽出手段と、
   前記入力画像中における前記変化領域の移動方向を検出する移動方向検出手段
   を有し、
   前記調整部は、前記移動方向が、前記赤外線センサ部が高感度となる方向の場合に、前記赤外線センサ部が低感度となる方向の場合よりも前記赤外閾値を大きくなるよう調整し、前記統合判定部は、前記調整部が調整した前記赤外閾値と前記赤外検出信号との比較結果にて人体の判定を行う
   ことを特徴とする複合型監視装置。
2. 前記赤外線センサ部は、
   光学手段と、該光学手段により該赤外線センサ部を中心とする放射線方向に複数の監視ゾーンを形成する焦電素子を有し、
   前記調整部は、前記画像センサ部の前記移動方向検出手段が検出した移動方向が、
   該赤外線センサ部を中心とする環状方向に対応する方向であれば前記高感度となる方向とし、
   該赤外線センサ部を中心とする放射線方向に対応する方向であれば前記低感度となる方向とする
   ことを特徴とする請求項１に記載の複合型監視装置。
3. 前記画像センサ部および前記赤外線センサ部は、前記移動物体が移動する基底面の上方において、当該基底面に対して斜め方向に向けられて配置されていることを特徴とする請求項２に記載の複合型監視装置。