JP5399756B2 - 複合型監視装置 - Google Patents

Description

本発明は画像センサと赤外線センサを備えた複合型監視装置に関し、特に画像センサにて人体の検出が困難である場合に、赤外線センサを用いて人体の検出を行う複合型監視装置に関する。

人体の検出を目的として、異なる種類のセンサを組み合わせた複合型監視装置が知られている。特許文献１および特許文献２には、監視領域を撮影した画像に人体が存在するか否かを画像処理して検出する画像センサと、監視領域から発せられる赤外線を受光し、その変化から人体が存在するか否かを検出する赤外線センサを組み合わせた複合型監視装置が開示されている。

従来の複合型監視装置では、画像センサによって、画像中の変化領域が人体に起因する可能性を人体らしさとして算出し、人体以外のものに起因する可能性を外乱らしさとして算出している。人体らしさが高く、外乱らしさが低い場合に人体の存在を判定し、外乱らしさが高く、人体らしさが低い場合には、人体の存在を判定しない。また人体らしさも外乱らしさも同時に高くなった場合に、画像センサの検知結果に代え、赤外線センサの検知結果を用いる技術を開示している（特許文献１）。

また、従来の複合型監視装置では、監視領域に存在する物体の速度と、物体までの距離を画像センサにて算出し、その結果を踏まえて、赤外線センサにて人体か否かを判断する際に用いる判断閾値を決定している（特許文献２）。この判断閾値は、誤報（検知誤り）を避けるために高く、失報（検知漏れ）を避けるためには低く１つの固定値を用いている。

特願２００７−３３０４２１号公報 特開２０００−３４１６７５号公報

しかし、赤外線センサの判断閾値を１つの固定値とすると対応できない場合がある。それは監視領域に複数の移動物体が存在する場合である。即ち、誤報の要因が監視領域に存在するので、赤外線センサの判断閾値を高くした状況で、赤外線センサの出力が小さくなる振る舞いをする人体は検出するのが難しく、失報になりやすい。逆にそれを避けようと赤外線センサの判断閾値を低くすると、人体は検出できるが、誤報の要因を排除しきれずに誤報する。

その例を、図８を参照して説明する。図８（ａ）には、画像センサにより取得された画像１１００中に、移動中の人体１０００、風により揺れる植裁１０１０、画像センサの近傍を飛来中の昆虫１０１１が写っている様子が模式化されて表されている。図８（ｂ）には、移動中の人体１０００のみが写っている様子が模式化されて表されている。
図９は、図８に示したそれぞれの場合について、赤外線センサの出力（電圧値の大きさ）の時間ｔに対する変化を模式的にグラフ化したものである。

図８（ａ）のように、画像１１００中の植裁１０１０や昆虫１０１１による赤外線センサの出力（符号１０２０に示す）が、図９（ａ）に示すように大きくなっている場合、誤報を防ぐため、赤外線センサの判断閾値はｔｈ１（符号１０２１に示す）のように、大きな値を用いる必要がある。

一方、図８（ｂ）のように、人体１０００のみが画像センサにより検知され、その振る舞いにより、赤外線センサの出力（符号１０２２に示す）が図９（ｂ）に示すように小さい場合、失報を防ぐため、赤外線センサの判断閾値をｔｈ２（符号１０２３に示す）のようにｔｈ１よりも小さな値を用いる必要がある。

従って、図８（ａ）のように、植裁１０１０や昆虫１０１１が画像１１００中で移動し、赤外線センサの判断閾値がｔｈ１に設定されている中、赤外線センサの出力が小さくなる振る舞いをする人体１０００が存在すると、人体１０００による赤外線センサの出力の増加はわずかであるので、赤外線センサの出力は判断閾値ｔｈ１を越えにくい。よって、人体１０００が存在するのにもかかわらず検出できないので、失報になる。逆に、失報を避けようと赤外線センサの判断閾値にｔｈ２を用いると、赤外線センサの出力は判断閾値ｔｈ２を越え続け、誤報になる。

本発明は、画像センサと赤外線センサとを組み合わせた複合型監視装置に関するものであり、監視領域において複数の移動物体が存在する場合に、画像センサにて得られた移動物体の振る舞い（移動方向など）に応じて判定条件を変更する複合型監視装置の提供を目的とする。

本発明にかかる複合型監視装置は移動物体を含む監視領域を撮影する画像センサ部と、画像センサ部と略同一位置に設置され、監視領域と略同一の範囲からの赤外線に応じた赤外検出信号を出力する赤外線センサ部と、少なくとも赤外検出信号と比較する赤外閾値を記憶する記憶部と、赤外閾値を調整する調整部と、赤外検出信号と赤外閾値との比較結果と画像センサの検出結果に基づいて、移動物体が進入者であるか否かを判定する統合判定部を備えた複合型監視装置であって、画像センサ部は、入力画像から複数の移動物体の動き情報をそれぞれ検出する移動物体情報検出手段および入力画像から移動物体により背景と変化が生じている変化領域を抽出する変化領域抽出手段を備え、移動物体情報検出手段は、入力画像中における変化領域の移動方向を検出する移動方向検出手段を有し、調整部は、移動方向検出手段が、赤外線センサ部が高感度となる移動方向を検出した場合に、赤外線センサ部が低感度となる移動方向を検出した場合よりも赤外閾値を大きくなるよう調整し、統合判定部は、調整部が調整した赤外閾値と赤外検出信号との比較結果にて移動物体毎に人体の判定を行うことを特徴とする。

この構成により、本発明にかかる複合型監視装置は、赤外線センサにおける人体検出の判断に用いる赤外閾値を、振る舞いが異なることによる検出のしやすさに応じて移動物体毎に調整するので、例えば、赤外閾値を高くせざるを得ない状況において、赤外線センサの出力が小さくなる振る舞いをする進入者がいても、的確に検出できる。

また、本発明にかかる複合型監視装置の赤外線センサ部は、光学手段と、該光学手段により該赤外線センサ部を中心とする放射線方向に複数の監視ゾーンを形成する焦電素子を有し、調整部は、画像センサ部の移動方向検出手段が検出した移動方向が、該赤外線センサ部を中心とする環状方向に対応する方向であれば高感度となる移動方向とし、該赤外線センサ部を中心とする放射線方向に対応する方向であれば低感度となる移動方向とすることが好適である。

この構成により、本発明にかかる複合型監視装置は、画像センサにて検出した移動方向に合わせて、赤外閾値を移動物体毎に調整することで、移動方向に応じて出力の大きさが異なる赤外線センサの特性を反映させて、さらに検出精度を高めることができる。
また、移動方向を、実際の監視領域における移動物体の位置を求めること無しに、入力画像中の移動方向に基づき赤外閾値を調整できる。
なお、移動方向に応じて赤外線センサの出力の大きさが異なる理由については後述する。

また、本発明にかかる複合型監視装置の移動物体情報検出手段は、さらに、入力画像に基づいて、監視領域における移動物体の速度を検出する移動速度検出手段および移動物体までの距離を検出する距離検出手段を有し、調整部は、さらに、移動速度検出手段が検出した速度が低いほど赤外閾値を大きくなるように調整し、距離検出手段が検出した距離が短いほど赤外閾値を大きくなるように調整し、統合判定部は、調整部が調整した、移動方向検出手段に基づく調整結果、移動速度検出手段に基づく調整結果、距離検出手段に基づく調整結果のうち、最も小さく調整された赤外閾値と赤外検出信号との比較結果にて移動物体毎に人体の判定を行うことが好適である。

この構成により、本発明にかかる複合型監視装置は、複合型監視装置の設置高やレンズの焦点距離などの情報を付加することで、画像センサにて移動物体の移動速度を検出可能であり、画像センサにて検出した移動速度に合わせて赤外線センサの赤外閾値を調整する。これにより、移動物体の移動速度が高いと受光できる赤外線の量が少なくなって出力が小さくなるが、移動物体の移動速度が低いと受光できる赤外線の量が多くなって出力が大きくなる性質を持つ赤外線センサの特性を反映させて、さらに検出精度を高めることができる。

この構成により、本発明にかかる複合型監視装置は、複合型監視装置の設置高やレンズの焦点距離などの情報を付加すれば、画像センサにて移動物体までの距離を検出可能であり、画像センサにて検出した距離に合わせて赤外線センサの赤外閾値を調整する。これにより、移動物体までの距離が長いと受光できる赤外線の量が少なくなって出力が小さくなるが、移動物体までの距離が短いと受光できる赤外線の量が多くなって出力が大きくなる性質を持つ赤外線センサの特性を反映させて、さらに検出精度を高めることができる。

また、本発明にかかる複合型監視装置の画像センサ部および赤外線センサ部は、移動物体が移動する基底面の上方において、当該基底面に対して斜め方向に向けられて配置されていることが好適である。

この構成により、本発明にかかる複合型監視装置は、屋内なら天井、屋外なら支柱の上方に取り付けることで、取得された画像中で上方が実際の監視領域では遠方に相当し、画像中で下方が近傍に相当することが仮定できるなど、移動物体の振る舞いを的確に把握することが可能となり、さらに検出精度を高めることができる。

本発明によれば、画像センサと赤外線センサを有する複合型監視装置において、誤報の原因となる物体と人体とが混在する状況でも、人体を高精度に判定することが可能となる。

本発明にかかる複合型監視装置１の設置例を表す模式図である 複合型監視装置１の構成を表すブロック図である 移動物体情報検出手段２３６の構成を表すブロック図である 画像センサ２０にて取得された画像中における移動方向を定義する図である 複合型監視装置１の動作を表すメインフロー図である 赤外線センサ１０を用いて人体の存在を判断する第１の実施の形態にかかるフロー図である 赤外線センサ１０を用いて人体の存在を判断する第２の実施の形態にかかるフロー図である 入力画像の様子を表す模式図である 赤外線センサ１０の出力を表す模式図である 焦電素子を用いた赤外線センサの監視ゾーンを模式的に示す図である

図１に、本発明の好適な実施形態の１つが示されている。本実施にかかる複合型監視装置は、例えば監視用途として用いられるものであり、その複合型監視装置は、屋内を監視する場合には部屋の天井に設置され、屋外を設置する場合には建物の軒下や、別途専用に用意された支柱の上方に設置される。図１（ａ）では、屋外において、符号１に示す複合型監視装置が、支柱１００１の上方に設置されている様子を示している。

図１（ａ）において、符号１００３と１００４に挟まれる部分が複合型監視装置１の検知可能な範囲（以下、「監視領域」）である。複合型監視装置１は、内蔵の画像センサと赤外線センサにより、この監視領域に目的の検知対象である人体１０００が存在しているか否かを判定するものである。
符号１００２は、図１が屋外を監視する場合を示しているので、地面を表す。
符号２００４は、プラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂから構成される監視ゾーンを横から見たものである。
夜間、図示しない警備装置本体により、警備状態に設定されている場合、人体１０００は進入者と判断できるので、その旨を通信回線経由で警備センター（ともに不図示）に通報する。

また、図１（ｂ）には、複合型監視装置１に内蔵されている画像センサと赤外線センサがそれぞれ検知できる範囲を示している。符号１０５０は画像センサが検知できる範囲であり、符号１０５１は赤外線センサが検知できる範囲であり、両者は概略一致するよう調整されるものとする。

図２は、本発明にかかる複合型監視装置１の構成を表すブロック図である。複合型監視装置１は、赤外線センサ１０、画像センサ２０、統合判定部３０、記憶部４０、調整部５０、出力部６０から構成される。なお、複合型監視装置１を収納する筐体や、各部を駆動するための電源機構については、本発明の主要部ではなく、前述の特許文献２に開示されているものなど、適宜実現可能なものを選択すればよいので、作図上は省略した。

赤外線センサ１０は、監視領域内からの赤外線を検出するセンサであり、本実施形態においては、ＰＩＲセンサとしての焦電素子が利用されている。もちろん、サーモパイル素子など他のタイプの赤外線センサを利用することも可能である。焦電素子は、室温の上昇等による赤外線の増加により誤動作をしないようプラスとマイナスの極性を持つ素子から構成される。
赤外線センサ１０の前方には図示しないフレネルレンズまたは分割ミラーが設けられ、これによって監視領域内に赤外線センサ１０を中心にした放射線方向に複数の監視ゾーン２００４が設定され、各監視ゾーン２００４からの赤外線が赤外線センサ１０によって受光される。これらの構成は、一般的な赤外線センサと同様な構成である。
ちなみに、本実施形態においては、監視領域内における物体の移動に伴う赤外線出力信号に基づいて人体判定処理が実行されている。

画像センサ２０は、図２に示すように、撮像部２１、照明部２２、画像処理部２３から構成され、統合判定部３０、記憶部４０、調整部５０と接続されている。

撮像部２１は、たとえば近赤外領域の光を検出するＣＣＤ素子などで構成されるものであり、ＣＣＤ素子以外にもＣＭＯＳ撮像素子などの装置を利用してもよい。また、画像センサ２０は、光学系部品、Ａ／Ｄ変換器等を含むものとし、解像度は、図１に示す設置条件に基づき、人体１０００との距離を考慮するなど、具体的な実施形態に応じて選ぶことができ、例えばＮＴＳＣ規格、ＳＤＴＶ規格またはＨＤＴＶ規格を用いることができる。また、撮像に用いる波長帯として近赤外領域の他、可視光波長又は赤外線波長などを、適宜選択することが好ましい。撮像部２１は、決められた時間間隔毎（例えば、０．２秒毎、以下、「時刻」と称する）に、監視領域の画像を取得する。

照明部２２は、監視領域が暗く、撮像部２１の特性によっては適切に撮像が困難であると画像処理部２３により判定された場合に点灯されるものである。照明部２２は、撮像部２１の分光感度特性や、監視領域の大きさ、機器寿命、運用条件などを考慮して適切なものを用いることができる。例えば、撮像部２１が近赤外領域にも十分な感度を持つ場合には、寿命や消費電力の点から近赤外ＬＥＤを用いるのが好適である。また、監視領域が広大な場合には、大光量を照射できるキセノンランプを用いるのが好適である。近赤外光で撮影すれば、監視領域を明るくすることなく監視が行える。

一方、撮影条件によっては監視領域を明るくすることができる場合には、蛍光灯などによる可視光照明を用いることができる。例えば建物内の通路を監視する場合である。なお、例えば２４時間営業の商店の店内など、複合型監視装置１の設置条件によっては、照明を用意する必要がないと判断される場合には、照明部２２は省略することができる。

画像処理部２３は、撮像部２１が取得した監視領域の画像（以下、「入力画像」と称する）を処理し、統合判定部３０にて、入力画像中に検知対象である人体が存在するか否かを判定するための各種情報を算出する。画像処理部２３は、変化領域抽出手段２３１と、特徴抽出手段２３２と、対応付け手段２３５と、移動物体情報検出手段２３６と、移動物体情報更新手段２３７と、人体判定手段２３３と、非人体判定手段２３４とから構成される。

変化領域抽出手段２３１は、監視領域に人体などの物体が存在することにより、入力画像中に生じた変化を抽出する。その方法としては、各種の公知の方法を用いることができる。例えば、記憶部４０に、監視領域に物体が存在しない状態で取得された画像を背景画像（基準画像）として記憶しておき、得られた入力画像を公知の方法で白黒化した上で画素毎に差分を計算し、所定の閾値以上の差分がある画素の集合を変化領域として抽出することができる。そして、一定以上近い位置にある画素と変化領域をひとまとめにて、番号付けをする（ラベリング処理）。

変化領域抽出手段２３１にて、入力画像中に生じた変化を抽出する方法は、上記に限られない。例えば、識別器と呼ばれる方法を用いることができる。これは、事前に検知対象のサンプル画像を数多く用意しておいて学習させた識別器を入力画像中で順次走査し、最も類似度の高い位置にて検知対象の存在を判定するものである。事前の学習が必要な面はあるが、背景画像を用意して、記憶部４０に記憶しておく必要は無い。
いずれの方法を用いる場合にも、入力画像中における抽出された変化領域の位置を記憶部４０に記憶しておくものとする。本実施の形態では、変化領域の重心位置を、付与したラベル毎にその変化領域の位置として時刻毎に記憶部４０に記憶しておく。

特徴抽出手段２３２は、変化領域抽出手段２３１にて抽出した変化領域における入力画像に含まれる画素値から、特徴量を算出する手段である。特徴抽出手段２３２にて算出される特徴量は、人か否かの判定に用いられるものと、追跡処理に用いられるものの２つに分かれる。

人か否かの判定に用いられる特徴量としては、変化領域の大きさや背景画像との類似度であり、この特徴量を用いて、人体属性値と非人体属性値を算出し、抽出された変化領域が検知対象である人体なのか、それ以外の要因、即ち小動物や外乱光が差し込むなどにより生じたものなのかの判別を行う。

追跡処理に用いられる特徴量としては、各変化領域に含まれる各画素の画素値、即ち輝度値や色情報から求まるテクスチャや、高周波成分、色の分布、ヒストグラムなどである。

人らしさの特徴量を表す人体属性値は、変化領域が人である場合に高い値となるように設定する。例えば、変化領域の大きさ、背景画像との正規化相関（背景画像と入力画像との一致度）、背景画像と比較した場合のエッジの変化率等から算出される。これらの特徴量を用いて変化領域の人体属性値は、次の（１）〜（３）のような特徴量に重み付けをして、その総和を求めることにより算出する。
（１）変化領域の大きさが、一定の範囲であると、人である可能性が高い
（２）変化領域における入力画像と背景画像の類似度が低いと、人の可能性が高い
（３）変化領域における背景画像と比較した入力画像のエッジの変化率が高いと、人の可能性が高い。

これらの特徴量は、人である可能性が高いほど１に近づき、低いほど０に近づくように正規化される。正規化後のこれらの特徴量をａ１、ａ２、ａ３とし、それぞれの特徴量に対する重み付けをｂ１、ｂ２、ｂ３として、人体属性値を次の式により求める。
人体属性値＝ａ１×ｂ１＋ａ２×ｂ２＋ａ３×ｂ３
但し、ｂ１＋ｂ２＋ｂ３＝１

人以外らしさを表すための非人体属性値は、小動物らしさを表す小動物属性値、光らしさを表す光属性値、影らしさを表す影属性値等、複数の事象に個別に対応した属性値を算出し、それらを統合して求める。これ以外にも、植栽揺れらしさを表す植栽ゆれ属性値、虫らしさを表す虫属性値など、人の侵入かどうかの判定精度を向上させることのできる他の種類の人以外らしさを表す属性値を用いることもできる。

たとえば、変化領域が植裁によるものである場合に高い値となる植裁属性値を算出する。植裁属性値は、植裁らしさを表す特徴量、例えば、背景画像と入力画像のヒストグラムの差、エッジ強度の割合、輝度分散から算出される。
以下の（４）〜（６）の特徴量に重み付けをして、その総和を求めることにより算出する。
（４）変化領域における基準画像と入力画像の輝度ヒストグラムまたは各色成分に関するヒストグラムの差が小さいほど植裁の可能性が高い
（５）変化領域における一定以上のエッジ強度を示した画素数が、変化領域の画素数に対して割合が高いほど植裁の可能性が高い
（６）変化領域における輝度値（入力画像がカラー画像の場合は公知の方法で白黒化する）に関する分散が高いほど植裁の可能性が高い

このような特徴量から植裁属性値などを算出する方法は、人体属性値を算出する方法と同様の方法を用いる。但し、これらの特徴量に対する重み付けその他の条件は、環境に応じて、実験等を通じて確定する。

人以外らしさを表す属性値のうち、最大のものを非人体属性値と決定する。これらの各属性値の算出方法は、本願の出願人が出願済みの特開２００６−２７７６３９号や特開２００１−２４３４７５号に開示された方法を適宜用いることができるので、本明細書では詳細を省略する。

対応付け手段２３５は、特徴抽出手段２３２が抽出した各変化領域の特徴情報と記憶部４０に記憶された各移動物体の移動物体情報４２との対応度に基づいて、処理対象の各変化領域と当該変化領域に存在する最も可能性の高い移動物体とを対応づける。
具体的には、記憶部４０に記憶された各移動物体の移動物体情報４２を、現時刻での各変化領域に対応づけることにより算出される評価値を、両者の対応付けの組み合わせ毎に算出し、それが最良の評価値となる組み合わせを求める。即ち、過去時点での移動物体情報４２と、現時刻での変化領域との対応付けが判明することにより、いわゆる追跡処理が実現できることになる。

移動物体情報検出手段２３６は、処理対象となっている変化領域に対応づけられた移動物体について、入力画像上または実際の監視領域における振る舞いを検出するものであり、図３に示すように、移動方向検出手段２３６１と、移動速度検出手段２３６２と、距離検出手段２３６３を備える。これらの各手段の説明については、後述する。

移動物体情報更新手段２３７は、特徴抽出手段２３２が抽出した特徴量および移動物体情報検出手段２３６が抽出した移動物体情報を用いて、記憶部４０に記憶している移動物体情報４２を更新する。

人体判定手段２３３は、特徴抽出手段２３２にて求めた各変化領域の人体属性値が、所定の人体の判定基準を満たしているか否かを判定する。即ち、人体属性値が予め設定された人の基準値以上であれば、その人体属性値が求められた変化領域は人体によるものである可能性が高い旨を統合判定部３０に出力する。逆に、人体属性値が予め設定された人の基準値未満であれば、その人体属性値が求められた変化領域は人体によるものである可能性が低い旨を統合判定部３０に出力する。

非人体判定手段２３４は、特徴抽出手段２３２にて求めた各変化領域の非人体属性値が、所定の人以外の判定基準を満たしているか否かを判定する。即ち、非人体属性値が予め設定された人以外の基準値以上であれば、その非人体属性値が求められた変化領域は人体以外によるものである可能性が高い旨を統合判定部３０に出力する。逆に、非人体属性値が予め設定された人以外の基準値未満であれば、その非人体属性値が求められた変化領域は人体以外によるものである可能性が低い旨を統合判定部３０に出力する。

なお、人体属性値と非人体属性値は、それぞれ独立に算出されるため、同一の変化領域が人体によるものである可能性が高く、かつ非人体によるものである可能性が高い場合もある。この場合、どのような判断にするかは後述する。

統合判定部３０は、赤外線センサ１０と画像センサ２０の処理結果を入力し、監視領域に検知対象である人体１０００が存在するか否かを判定する。
まず、統合判定部３０は、画像センサ２０の人体判定手段２３３と非人体判定手段２３４の判定結果を調べる。

（ｉ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が高いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性は低いと出力している場合、統合判定部３０は、赤外線センサ１０の出力にかかわらず、当該変化領域は人体によるものであるとして、監視領域に検知対象である人体１０００が存在すると判定する。

（ｉｉ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が低いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性は高いと出力している場合、統合判定部３０は、赤外線センサ１０の出力にかかわらず、当該変化領域は人体以外の要因によるものであるとして、何らの出力をしないものとする。例えば、前述のように、猫などの小動物や、揺れる植裁などが考えられるためであり、この場合に通報すると、監視装置としての信頼性を大きく損なうからである。

（ｉｉｉ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が低いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性は低いと出力している場合も、統合判定部３０は、赤外線センサ１０の出力にかかわらず、当該変化領域は人体以外の要因によるものであるとして、何らの出力をしないものとする。

上記（ｉ）乃至（ｉｉｉ）は、統合判定部３０は、画像センサ２０の処理結果のみを参照して出力の有無を決定する。これに対し、次の（ｉｖ）は、赤外線センサ１０の出力を参照する場合である。

（ｉｖ）変化領域抽出手段２３１にて抽出した変化領域について、人体判定手段２３３が人体によるものである可能性が高いと出力し、かつ、非人体判定手段２３４が人体以外によるものである可能性が高いと出力している場合、統合判定部３０は、赤外線センサ１０の出力を参照する。即ち、記憶部４０に記憶されている赤外閾値４１を読み出し、赤外線センサ１０の出力が赤外閾値４１以上の場合には、監視領域に人体１０００が存在すると判定する。赤外線センサ１０の出力が赤外閾値４１を越えない場合には、監視領域に人体１０００は存在しないと判定する。

記憶部４０は、各種プログラム及び各種データを記憶することができ、例えばＲＡＭ又はＲＯＭ、ＥＰＲＯＭなどの半導体メモリ、ハードディスクなどの磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗなどの光記録媒体などを用いて構成することができる。記憶部４０は、画像センサ２０、統合判定部３０、調整部５０と接続されており、各部からの要求に応じて各種プログラムや各種データなどを読み書きする。

記憶部４０には、赤外閾値４１と移動物体情報４２を記憶しておく。この赤外閾値４１は、統合判定部３０にて、赤外線センサ１０の出力である電圧値をＡ／Ｄ変換した結果と比較するためのものであり、初期値として、適切なものを設定した後は、調整部５０にて、適宜調整され得るものである。

移動物体情報４２は、移動物体毎に記憶され、時刻ごとに取得された過去の移動物体に関する情報である。例えば、特徴抽出手段２３２により算出された特徴量（変化領域の面積、高さ、幅、輝度または各色成分のヒストグラム情報が含まれる）、一時刻または複数時刻前からの各時刻における移動物体の監視領域における位置と入力画像上での座標などが含まれる。

このほか、記憶部４０には、図示しないが、変化領域抽出手段２３１が背景差分処理を行う場合には基準画像、人体判定手段２３３と非人体判定手段にて所定の基準との比較結果を格納するフラグ（人体フラグ、非人体フラグ）を記憶しておく。

調整部５０は、前述した統合判定部３０の説明で（ｉｖ）の場合に赤外閾値４１を変更する。
変更するのは、移動物体情報検出手段２３６の、移動方向検出手段２３６１、移動速度検出手段２３６２、距離検出手段２３６３の検出結果に依る。

調整部５０は、移動方向検出手段２３６１が検出した変化領域の移動方向を参照し、変化領域が概略左右方向であるとの条件を満たした場合には、赤外閾値４１を初期設定の値よりも大きくする。これは、赤外線センサ１０の特性として、赤外線センサ１０から遠ざかる方向または近づく方向よりも、それとは直角の、いわば横切る方向には出力が大きくなる傾向にあるためである。

または、調整部５０は、移動方向検出手段２３６１が検出した、移動物体の移動速度を参照し、移動物体が所定以下の速度であるとの条件を満たした場合には、赤外閾値４１を初期設定の値よりも大きくする。これは、赤外線センサ１０の特性として、移動物体の移動速度が高いときよりも、移動速度が低いときのほうが、出力が大きくなる傾向にあるためである。ただし、移動速度が静止していると見なせるほどの速度の場合には、赤外線センサ１０の出力が極めて小さくなるため、初期設定の値を保持するものとする。

または、調整部５０は、距離検出手段２３６３が検出した、移動物体と複合型監視装置１との距離を参照し、移動物体が複合型監視装置１から所定以上近い位置に存在するという条件を満たした場合には、赤外閾値４１を初期設定の値よりも大きくする。これは、赤外線センサ１０の特性として、移動物体が赤外線センサ１０からの距離が遠いときよりも、赤外線カメラからの距離が近いときのほうが、出力が大きくなる傾向にあるためである。

調整部５０は、上記の移動方向、移動速度、距離のいずれかを選択して参照し、赤外閾値４１を調整する。なお、全てを用いて赤外閾値４１を調整することもでき、その場合には、調整結果のうち、失報を回避するために、最小のものを採用して赤外閾値４１とする。

出力部６０は、統合判定部３０の判定結果を入力して外部へ出力するインターフェース回路であり、出力側は警備システムのコントローラ等の図示しない外部装置に接続されて当該外部装置に電気信号を出力する。
例えば、判定結果が人体を検出したことを表すものであった場合、その旨を表す電気信号を外部装置へ伝送する。
出力部６０はブザーやＬＥＤ等の報知手段を備えても良く、検出結果が進入者を検出したことを表すものであると、これらの報知手段に通電してブザーを鳴動させたりＬＥＤを点灯させたりして周囲の者の注意を喚起することもできる。

次に、移動物体情報検出手段２３６の構成について、図４を参照して詳述する。移動物体情報検出手段２３６は、移動方向検出手段２３６１、移動速度検出手段２３６２、距離検出手段２３６３から構成されている。

移動方向検出手段２３６１は、変化領域抽出手段２３１が抽出した変化領域について、記憶部４０に記憶されている、各時刻における入力画像中の重心位置の履歴を参照し、変化領域の移動方向を検出する。移動方向は、前回撮像部２１にて入力された時点（１時刻前）からの座標の差から定義する。図４に、移動方向の定義を示す。

図４には、入力画像１１００に人体１０００が写っている様子が示されている。複合型監視装置１は、図１に示すように、支柱１００１の上方に取り付けられ、見下ろすように向けられているので、撮像部２１にて得られた入力画像１１００では、複合型監視装置１から遠方が上、近傍が下になる。

移動方向は図４に示すように、入力画像１１００中、右に移動する場合を角度０度、そして反時計回りに角度が大きくなるように定義する。
例えば、人体１０００が、複合型監視装置１から遠ざかる方向に動く場合には移動方向は９０度、逆に近づく方向に動く場合には移動方向は２７０度、視野を横切るように動く場合は、移動方向は０度または１８０度として定義される。

角度の定義は、後述する処理の都合によるものなので、図４に示すものに限定されることは無いのは言うまでもない。何らかの基準が存在するならば、それに沿った方向を角度０度としても本件発明は実施できる。

移動速度検出手段２３６２は、処理対象の変化領域に対応する移動物体が、監視領域において、前時刻での位置から、現時刻での位置にどの程度の速度で移動したかを算出する。算出には、複合型監視装置１の地面１００２からの設置高、撮像部２１の焦点距離および水平方向に対する俯角などの撮影条件が既知であることを前提として、入力画像の座標値から、監視領域における移動物体の位置を算出することができるので、位置の変化を撮像部２１が撮影する時間間隔（撮影間隔）で除算すれば移動速度を求めることができる。

移動物体の位置に関する具体的な算出方法は、本願の出願人が、本願と同様な画像撮影手段と物体検出センサを備えた監視装置について、監視範囲の設定方法について出願した特開２００７−０１１７７６と全く同様なので、詳細は省略する。
なお、撮影条件が既知でない場合には、監視領域における移動物体の位置を精度良く算出できないので、入力画像での座標値の変化を速度としても良い。

距離検出手段２３６３は、複合型監視装置１と処理対象となっている移動物体との距離を算出する。距離の算出には、図１の符号１００５に示すように、複合型監視装置１と移動物体（図１においては人体１０００）とを結んだ直線１００６を地面１００２に射影した符号１００５の距離とする。直線１００６の長さを、複合型監視装置１と移動物体との距離と定義しても良い。

次に、複合型監視装置１の動作について、フロー図を参照して説明する。図５は、基本となるメインフロー図である。

まず複合型監視装置１は、電源投入後、各種パラメータをクリアしたり、変化領域抽出手段２３１が背景差分処理を行う場合、監視領域に人体や誤報原因となる物体が存在しないことを条件に基準画像の取得を行う。またフラグ類をＯＦＦにする（ステップＳ１００）。

撮像部２１は、時刻毎に入力画像を取得し、画像処理部２３に渡す（ステップＳ２００）。この際、画像処理部２３は、予備処理として、入力画像全体の平均輝度を算出して、照明部２２の点灯が必要なほど監視領域が暗い場合には照明部２２を点灯させてから、再度撮像部２１に撮影を指示するようにしてもよい。また、別途照度センサを備えるならば、その出力により照明部２２の点灯の有無を決定しても良い。

ステップＳ３００にて、変化領域抽出手段２３１は、入力画像中に生じた変化領域を抽出し、ラベルを付与する。抽出の方法は前述の通り、周知な背景差分処理によっても良いし、識別器によっても良い。

ステップＳ３５０にて、特徴抽出手段２３２は、抽出された変化領域について各種特徴量を算出する。特徴量の種類や算出方法は既に述べたとおりである。

ステップＳ４００にて、対応付け手段２３５は、記憶部４０に記憶されている一時刻前の移動物体の移動物体情報４２と、ステップＳ３５０にて、特徴抽出手段２３２が抽出した特徴量とから、変化領域抽出手段２３１が抽出した変化領域に、いずれの移動物体が存在しているかの対応付けを行う。

ステップＳ４５０にて、移動物体情報検出手段２３６は、変化領域抽出手段２３１が抽出した各変化領域について、入力画像から、入力画像中での大きさや座標値、監視領域における複合型監視装置１と移動物体との距離などの移動物体情報を検出する。

ステップＳ５００にて、移動物体情報更新手段２３７は、ステップＳ４５０にて、移動物体情報検出手段２３６が検出した移動物体情報を、移動物体毎に、記憶部４０の移動物体情報４２と置き換える。

監視領域に複数の移動物体が存在する場合には、ステップＳ５５０乃至Ｓ１３５０は、ステップＳ３００にて、変化領域抽出手段２３１が付与したラベルごとに繰り返す。

ステップＳ６００にて、特徴抽出手段２３２は、ステップＳ３５０にて算出された特徴量から、人体属性値を算出する。人体属性値は、変化領域が人によるものかどうかを判定するためのものであり、人らしさを表すものである。

ステップＳ７００にて、人体判定手段２３３は、ステップＳ６００にて特徴抽出手段２３２が算出した人体属性値が、所定の基準を満たすか否かを判定し、満たすと判定される場合（ＹＥＳの分岐）、記憶部４０に記憶されている人体フラグをＯＮにセットする（ステップＳ８００）。人体属性値が所定の基準を満たさない場合（ＮＯの分岐）、人体フラグはＯＦＦのままとする。

ステップＳ６００乃至Ｓ８００の処理とは並行して、ステップＳ９００乃至Ｓ１１００の処理を行う。
ステップＳ９００にて、特徴抽出手段２３２は、ステップＳ５００にて算出された特徴量から、非人体属性値を算出する。非人体属性値は、変化領域が人以外によるものかどうかを判定するためのものであり、人以外らしさを表すものである。

ステップＳ１０００にて、非人体判定手段２３４は、ステップＳ９００にて特徴抽出手段２３２が算出した非人体属性値が、所定の基準を満たすか否かを判定し、満たすと判定される場合（ＹＥＳの分岐）、記憶部４０に記憶されている非人体フラグをＯＮにセットする（ステップＳ１１００）。非人体属性値が所定の基準を満たさない場合（ＮＯの分岐）、非人体フラグはＯＦＦのままとする。

ステップＳ１２００にて、統合判定部３０は、人体フラグと非人体フラグがＯＮにセットされているか否かを調べる。いずれかがＯＦＦになっている場合（ＮＯの分岐）には、画像センサ２０の出力のみを参照して、判定する（ステップＳ１３００）。この処理は、統合判定部３０の説明で述べた（ｉ）乃至（ｉｉｉ）に相当する。

一方、人体フラグと非人体フラグの両方がＯＮにセットされている場合（ＹＥＳの分岐）、統合判定部３０は、赤外線センサ１０の出力を参照して、監視領域に人体が存在するか否かを判定する。これは統合判定部３０の説明で述べた（ｉｖ）に相当する。詳細は後述する。

ステップＳ１５００にて、統合判定部３０の判定結果を出力部６０経由で外部に接続された機器に送信する。
なお、図５では図が煩雑になるので省略したが、ステップＳ３００およびＳ４００にて変化領域が抽出されても、ステップＳ１３００またはＳ１４００にてその変化領域が人体によるものではなく、人以外の要因によると判断できる場合には、特に外部に信号出力することはせずに、処理をステップＳ２００に戻して、上記の処理を繰り返すようにしても良い。

（赤外線センサによる判定処理の第１の実施形態）
ステップＳ１４００の処理について、図６を参照して説明する。図６は、調整部５０にて、移動方向検出手段２３６１が検出した入力画像中での移動方向を参照して、赤外閾値４１を調整する場合を示している。

まずステップＳ１４１０にて、移動方向検出手段２３６１は、記憶部４０に記憶してある変化領域の過去時点における位置を読み出す。変化領域の位置とは、入力画像における変化領域の重心についての左右方向の座標（Ｘ軸座標）と上下方向の座標（Ｙ軸座標）であり、１時点前の座標をそれぞれ読み出す。

現時点での重心座標をＰ（ｘｎ、ｙｎ）、１時点前の重心座標をＱ（ｘｏ、ｙｏ）とすると、１時点前からの移動ベクトルの成分は（ｘｎ―ｘｏ、ｙｎ―ｙｏ）となる。よって、図４に示す移動方向に関する角度をθとすると、その余弦は、角度０度方向の単位ベクトルの成分が（１、０）であることを考慮し、次の式１から求めることができる。
ｃｏｓθ＝（ｘｎ―ｘｏ）／√（（ｘｎ―ｘｏ）＾２ ＋ （ｙｎ―ｙｏ）＾２）・・・（式１）
ここで「＾２」は２乗を表す。

ステップＳ１４２０において、調整部５０は、式１により求められた余弦値の絶対値がθに関する閾値θｔｈ１に関する余弦の絶対値を越えるか否かを調べ、
｜ｃｏｓθ｜ ＞ ｜ｃｏｓθｔｈ１｜・・・（式２）
を満たす場合には、変化領域抽出手段２３１にて抽出した変化領域は、入力画像中で概略左右方向に移動している場合であるので、赤外閾値Ａを赤外閾値４１として記憶し直す（ステップＳ１４３０）。

一方、
｜ｃｏｓθ｜ ≦ ｜ｃｏｓθｔｈ１｜・・・（式３）
を満たす場合には、概略左右方向には移動していない場合であるので、調整部５０は、赤外閾値Ｂを赤外閾値４１として記憶し直す（ステップＳ１４４０）。
なお、
赤外閾値Ａ＞赤外閾値Ｂ ・・・（式４）
を満たすものとし、赤外閾値Ｂは、ステップＳ１００において赤外閾値４１の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。

式４のように、赤外閾値Ａを大きくする理由は、赤外線センサは、赤外線センサを中心として考えて、環状方向に移動する場合は、赤外線センサの出力信号は大きいが、赤外線センサを中心として考えて、放射方向に移動する場合には、赤外線センサの出力信号は小さいからである。

この理由を、焦電素子を用いた一般的な赤外線センサの検知方法に基づき、図１０を用いて説明する。
図１０には、プラス極性を持つ素子２００１aとマイナス極性を持つ素子２００１ｂから構成される焦電素子２０００を用いた赤外線センサの検知原理が模式的に示されている。符号２００２は分割ミラーであり、監視領域を、赤外線センサを中心にした放射線方向に複数の監視ゾーンを設定するものである。１つの監視ゾーンはプラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂから構成される。

移動物体がプラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂの両方にまたがるように存在することがある。この場合、素子２００１ａと素子２００１ｂからの出力は打ち消しあうため、赤外線センサの出力は小さくなる。このことは移動物体が符号２００５に示す監視ゾーンに沿った放射線方向に移動する場合では、その赤外線センサの出力が小さい状態が維持されやすい。失報を避けるためには、判断閾値を小さくする必要がある。

一方、移動物体が符号２００６に示すように、監視ゾーンを横切る環状方向に移動すると、順次プラス極性の検知エリア２００４ａとマイナス極性の検知エリア２００４ｂの片方に存在するため、素子２００１ａと素子２００１ｂからの出力は打ち消しあわずに、赤外線センサの出力は大きくなる。小動物などによる誤報を避けるためには、判断閾値を大きくするのが望ましい。

また、赤外線センサ１０と画像センサ２０が検知対象とする領域はおおよそ一致させ、かつ見下ろす設定されるのが通常である。よって、前述の移動方向を画像センサ２０にて得られる画像で置き換えると、上記の画像中で左右方向に移動することは、赤外線センサ１０を中心にして環状方向に移動することを意味し、本出願の特許請求の範囲に記載した「高感度となる移動方向」に相当する。同様に、上記の画像中で上下方向に移動することは、赤外線センサ１０を中心にして放射線方向に移動することを意味し、本出願の特許請求の範囲に記載した「低感度となる移動方向」に相当する。

ステップＳ１４５０において、統合判定部３０は、赤外線センサ１０の出力を参照し、ステップＳ１４３０またはＳ１４４０にて、調整部５０が記憶部４０に記憶し直した赤外閾値４１を読み出して、比較する。

赤外線センサ１０の出力が赤外閾値４１以上となる場合（ＹＥＳの分岐）、ステップＳ１４６０にて、統合判定部３０は、変化領域が人体によるものであると判断する。監視領域に人体が存在する場合なので、進入者あり、との判定となる。
一方、赤外線センサ１０の出力が赤外閾値４１より小さい場合（ＮＯの分岐）、ステップＳ１４７０にて、統合判定部３０は、変化領域が人体によるものではないと判定する。

なお、変化領域が時間的にほとんど移動しない場合は、式１ではｃｏｓθは計算できないので、便宜的にｃｏｓθ＝０と定義する。

赤外閾値Ａおよび赤外閾値Ｂについて、図８および図９を用いて説明する。
本実施の形態における赤外閾値Ａは図９に示す閾値ｔｈ１（符号１０２１）に相当し、赤外閾値Ｂは同じく閾値ｔｈ２（符号１０２３）に相当する。

図５のステップＳ５５０乃至Ｓ１３５０にて処理対象となっている、変化領域抽出手段２３１にて抽出した変化領域が、入力画像中で概略左右方向に移動している場合には、調整部５０により、赤外閾値４１は図９の閾値ｔｈ１（符号１０２１）に調整されている。変化領域が図８（ａ）の植裁１０１０や昆虫１０１１、その他小動物によるであっても、赤外線センサ１０の出力は同図の符号１０２０のようになっているので、図６のステップＳ１４５０では、ＮＯの分岐をたどり、その変化領域については人体ではないと判断される。

変化領域抽出手段２３１にて抽出した変化領域が植裁や昆虫、その他小動物によるものであり、入力画像中で概略上下方向に移動している場合には、調整部５０により赤外閾値４１は図９の閾値ｔｈ２（符号１０２３）に調整されているが、赤外線センサ１０の出力は図９（ｂ）の符号１０２２よりもさらに出力は小さくなるので、同様に人体ではないと判断される。
即ち、変化領域抽出手段２３１にて抽出した変化領域が植裁や昆虫、その他小動物によるものである場合には、移動方向によらず人体ではないと判断され、誤報にはならない。

一方、変化領域抽出手段２３１にて抽出した変化領域が人体によるものであり、入力画像中で概略左右方向に移動している場合には、赤外線センサ１０の出力は図９（ｃ）の符号１０２４のように大きくなり、閾値ｔｈ１（符号１０２１）を越えるので、図６のステップＳ１４５０では、ＹＥＳの分岐をたどり、その変化領域については人体であると判断される。

変化領域抽出手段２３１にて抽出した変化領域が人体によるものであり、入力画像中で概略上下方向に移動している場合には、赤外線センサ１０の出力は図９（ｂ）の符号１０２２のように小さくなるが、その場合は赤外閾値４１が、調整部５０により調整された閾値ｔｈ２（符号１０２３）を越えるので、図６のステップＳ１４５０では、ＹＥＳの分岐をたどり、その変化領域については人体であると判断される。

また、図８（ａ）に示すように、誤報源である植裁１０１０や昆虫１０１１も入力画像中に存在する場合も、赤外閾値４１は閾値ｔｈ２（符号１０２３）を越えるので、同様に人体であると判断される。
即ち、変化領域抽出手段２３１にて抽出した変化領域が人体によるものである場合には、移動方向によらず人であると判断され、失報を防ぐことができる。

よって、赤外閾値Ａは、人体が入力画像中で概略左右方向に移動している時に検知可能であるが、人体以外の物体が概略左右方向に移動している場合に、その人体以外の物体については検知しない値として、実験により定めるとする。また、赤外閾値Ｂは、人体が入力画像中で概略上下方向に移動しても検知可能な値として、実験により定めるとする。

このように、第１の実施の形態においては、変化領域の移動方向によって赤外閾値４１を設定するので、処理対象となっている変化領域が人体によるものか否かの判断精度が向上する。
更に、変化領域毎に赤外閾値４１を設定するので、上下方向に移動する人体と左右方向に移動する小動物や植裁などが混在する場合においても、人体による変化領域とそれ以外の変化領域を区別して判定できるようになる。

（赤外線センサによる判定処理の第２の実施形態）
ステップＳ１４００の処理について、第２の実施形態を、図７を参照して説明する。第１の実施の形態と異なるのは、ステップＳ１４２０乃至Ｓ１４４０の代わりにステップＳ１４９０としたもので、その他は第１の実施の形態と同じなので説明は省略する。図７も、調整部５０にて、移動方向検出手段２３６１が検出した入力画像中での移動方向を参照して、赤外閾値４１を調整する場合を示している。

ステップＳ１４９０において、調整部５０は、第１の実施の形態と同様に、図４に示す移動方向に関する角度θの余弦ｃｏｓθを求め、次の式５から、赤外閾値４１を算出し、記憶部４０に記憶し直すとする。
赤外閾値４１ ＝ α｜ｃｏｓθ｜ ＋ β ・・・・（式５）
ここで、βはステップＳ１００にて初期化される赤外閾値４１であり、入力画像中で変化領域が上下方向、つまり移動方向の角度がほぼ９０度または２７０度の場合でも失報しないように定められた値である。これに対しαは所定の重み係数であり、変化領域が入力画像中で左右方向に移動するほど赤外閾値４１を大きく調整するために正数として、適宜実験により設定される。

第２の実施形態における、変化領域の移動方向と、赤外線センサ１０の出力と、赤外閾値４１との関係については、第１の実施の形態と同様なので省略する。

このように、第２の実施の形態においても、変化領域の移動方向によって赤外閾値４１を設定するので、処理対象となっている変化領域が人体によるものか否かの判断精度が向上する。
更に、変化領域毎に赤外閾値４１を設定するので、上下方向に移動する人体と左右方向に移動する小動物や植裁などが混在する場合においても、人体による変化領域とそれ以外の変化領域を区別して判定できるようになる。

（赤外線センサによる判定処理の第３の実施形態）
ステップＳ１４００の処理について、第３の実施形態を説明する。第３の実施形態では、入力画像中での移動方向を参照した、図６に示す処理のフローにおけるステップＳ１４１０とＳ１４２０の代わりに、移動物体の監視領域における移動速度を参照するものである。

まず、移動速度検出手段２３６２は、図６のステップＳ１４１０に代えて、処理対象となっている変化領域に対応する移動物体の移動速度を算出する。そのため、移動速度検出手段２３６２は、記憶部４０の移動物体情報４２から一時刻前の移動物体の位置を読み出し、移動物体情報検出手段にて検出した現時刻での移動物体情報の位置と比較して、移動距離を求める。
この移動距離を撮影間隔で除算したものが速度ｖである。

次に調整部５０は、図６のステップＳ１４２０に代えて、上記の速度ｖを所定の速度閾値ｖｔｈと比較し、速度ｖが速度閾値ｖｔｈ以下の場合には、ステップＳ１４３０に代えて赤外閾値Ａ１を赤外閾値４１として記憶部４０に記憶し直す。速度ｖが速度閾値ｖｔｈより高い場合には、ステップＳ１４４０に代えて、赤外閾値Ｂ１を赤外閾値４１として記憶部４０に記憶し直す。

なお、
赤外閾値Ａ１＞赤外閾値Ｂ１・・・（式６）
を満たすものとし、赤外閾値Ｂ１は、ステップＳ１００において、赤外閾値４１の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。

式６のように、赤外閾値Ａ１を大きくする理由は、物体が速く動くと、センサが受光する赤外線の量が少なく、出力が小さくなるが、ゆっくり動くと大きくなるからである。
よって、上記の移動速度が高いことは本出願の特許請求の範囲に記載した「高感度となる動き情報」に相当し、移動速度が低いことは本出願の特許請求の範囲に記載した「低感度となる動き情報」に相当する。
また、物体の位置は、撮像部２１の撮影条件を用いることで、監視領域における実際の距離としても良いし、画像中の位置を用い、下方では複合型監視装置１の近傍であるとしてもよい。

赤外閾値Ａ１は、第１の実施の形態における赤外閾値Ａに相当し、赤外閾値Ｂ１は、第１の実施の形態における赤外閾値Ｂに相当する。また、移動物体の移動速度と、赤外線センサ１０の出力と、赤外閾値４１との関係については、第１の実施の形態と同様なので省略する。

さらには、第２の実施の形態に準じて、移動速度が高いほど赤外閾値４１が小さくなり、速度が低いほど赤外閾値が大きくなるような計算式を定義し、移動速度に応じて赤外閾値４１を決定する方法を採用することもできる。
例えば
赤外閾値４１ ＝ α’（ｖｍａｘ―ｖ） ＋ β’ ・・・・（式７）
として求めることができる。ここで、ｖｍａｘは、想定される人体の移動速度の最大値であり、α’とβ’は、赤外閾値４１の最大値と最小値を規定するため、実験により適宜決めた正の係数である。

このように、第３の実施の形態においては、移動物体の移動速度によって赤外閾値４１を設定するので、移動物体が人体なのか否かの判断精度が向上する。
更に、移動物体毎に赤外閾値４１を設定するので、素早く移動する人体とゆっくり移動する小動物や植裁が混在する場合においても、人体とそれ以外の移動物体を区別して判定できるようになる。

（赤外線センサによる判定処理の第４の実施形態）
ステップＳ１４００の処理について、第４の実施形態を説明する。第４の実施形態では、入力画像中での移動方向を参照した、図６に示す処理のフローにおけるステップＳ１４１０とＳ１４２０の代わりに、監視領域における複合型監視装置１から移動物体までの距離を参照するものである。

まず、距離検出手段２３６３は、図６のステップＳ１４１０に代えて、複合型監視装置１から、処理対象となっている変化領域に対応する移動物体までの距離ｄを算出する。

次に調整部５０は、図６のステップＳ１４２０に代えて、上記の距離ｄを所定の距離閾値ｄｔｈと比較し、距離ｄが距離閾値ｄｔｈ以下の場合には、ステップＳ１４３０に代えて赤外閾値Ａ２を赤外閾値４１として記憶部４０に記憶し直す。距離ｄが距離閾値ｄｔｈより大きい場合には、ステップＳ１４４０に代えて、赤外閾値Ｂ２を赤外閾値４１として記憶部４０に記憶し直す。

なお、
赤外閾値Ａ２＞赤外閾値Ｂ２・・・（式８）
を満たすものとし、赤外閾値Ｂ２は、ステップＳ１００において、赤外閾値４１の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。

式７のように、赤外閾値Ａ２を大きくする理由は、赤外線センサから遠ければ受光する赤外線の量が少なくなるが、近いと大きくなるからである。
よって、上記の距離が長いことは本出願の特許請求の範囲に記載した「高感度となる動き情報」に相当し、距離が短いことは本出願の特許請求の範囲に記載した「低感度となる動き情報」に相当する。
また、物体の位置は、撮像部２１の撮影条件を用いることで、監視領域における実際の距離としても良いし、画像中の位置を用いてもよい。

赤外閾値Ａ２は、第１の実施の形態における赤外閾値Ａに相当し、赤外閾値Ｂ２は、第１の実施の形態における赤外閾値Ｂに相当する。また、移動物体の移動速度と、赤外線センサ１０の出力と、赤外閾値４１との関係については、第１の実施の形態と同様なので省略する。

さらには、第２の実施の形態に準じて、距離が遠いほど赤外閾値４１が小さくなり、距離が近いほど赤外閾値４１が大きくなるような計算式を定義し、距離に応じて赤外閾値４１を決定する方法を採用することもできる。
例えば
赤外閾値４１ ＝ α’’（ｄｍａｘ―ｄ） ＋ β’’ ・・・・（式９）
として求めることができる。ここで、ｄｍａｘは、赤外線センサ１０が検知できる最大の距離であり、α’’とβ’’は、赤外閾値４１の最大値と最小値を規定するため、実験により適宜決めた正の係数である。

このように、第４の実施の形態においては、複合型監視装置１から移動物体までの距離によって赤外閾値４１を設定するので、移動物体が人体なのか否かの判断精度が向上する。
更に、移動物体毎に赤外閾値４１を設定するので、複合型監視装置１から遠方に存在する人体と近傍に存在する小動物や植裁などが混在する場合においても、人体とそれ以外の移動物体を区別して判定できるようになる。

（赤外線センサによる判定処理の第５の実施形態）
上記の第１乃至第４の実施の形態に記載された赤外閾値４１の調整方法は、移動方向（第１および第２の実施形態）、移動速度（第３の実施形態）、距離（第４の実施形態）について、組み合わせても実施できる。さらには、上記３種類の方法全てを組み合わせるのではなく、選択した２種類の方法を組み合わせても良い。

赤外閾値４１の調整方法を組み合わせる場合には、いずれの方法により調整された赤外閾値を採用するかが問題になるが、失報は回避することが求められる監視装置の性質を踏まえ、最も小さい値を採用して赤外閾値４１として記憶部４０に記憶し直して、図６または図７のステップＳ１４５０の判定処理を行う。

または、総和が１となる重み係数を考え、各方法により求まった赤外閾値に乗算し、線形和にて赤外閾値４１を決定し、記憶部４０に記憶し直して、図６または図７のステップＳ１４５０の判定処理を行うこともできる。

このように、第５の実施の形態においては、移動物体の移動方向、移動物体の移動速度および複合型監視装置１から移動物体までの距離を組み合わせた結果に基づいて赤外閾値４１を設定するので、移動物体が人体なのか否かの判断精度が向上する。
更に、移動物体毎に赤外閾値４１を設定するので、移動方向、移動速度および複合型監視装置１からの距離がそれぞれ異なる人体と小動物が混在する場合においても、人体とそれ以外の移動物体を区別して判定できるようになる。

以上が、本発明にかかる複合型監視装置の動作であるが、その技術的思想を越えない範囲での変更は適宜可能である。
例えば、移動方向検出手段２３６１における移動方向の算出は、過去１時点のみの重心位置の参照ではなく、複数時点での位置を参照して、移動方向の傾向を把握して赤外閾値４１を決定しても良い。

本発明にかかる複合型監視装置は、感度を下げないと誤報が多発する状況において、検出しにくい振る舞いをする人体であっても、進入者として精度良く検出できる。これにより、映像を目視確認する警備員の負担軽減、および、進入者として判断された物体のみを追跡することで、処理負荷軽減ができるので、装置の簡略化が図れる。

１ 複合型監視装置
１０ 赤外線センサ
２０ 画像センサ
３０ 統合判定部
５０ 調整部
６０ 出力部

Claims (4)

1. 移動物体を含む監視領域を撮影する画像センサ部と、
   前記画像センサ部と略同一位置に設置され、前記監視領域と略同一の範囲からの赤外線に応じた赤外検出信号を出力する赤外線センサ部と、
   少なくとも前記赤外検出信号と比較する赤外閾値を記憶する記憶部と、
   前記赤外閾値を調整する調整部と、
   前記赤外検出信号と赤外閾値との比較結果と前記画像センサの検出結果に基づいて、前記移動物体が進入者であるか否かを判定する統合判定部
   を備えた複合型監視装置であって、
   前記画像センサ部は、
   入力画像から複数の移動物体の動き情報をそれぞれ検出する移動物体情報検出手段および前記入力画像から前記移動物体により背景と変化が生じている変化領域を抽出する変化領域抽出手段を備え、
   前記移動物体情報検出手段は、前記入力画像中における前記変化領域の移動方向を検出する移動方向検出手段
   を有し、
   前記調整部は、前記移動方向検出手段が、前記赤外線センサ部が高感度となる移動方向を検出した場合に、前記赤外線センサ部が低感度となる移動方向を検出した場合よりも前記赤外閾値を大きくなるよう調整し、
   前記統合判定部は、前記調整部が調整した前記赤外閾値と前記赤外検出信号との比較結果にて前記移動物体毎に人体の判定を行う
   ことを特徴とする複合型監視装置。
2. 前記赤外線センサ部は、
   光学手段と、該光学手段により該赤外線センサ部を中心とする放射線方向に複数の監視ゾーンを形成する焦電素子を有し、
   前記調整部は、前記画像センサ部の前記移動方向検出手段が検出した移動方向が、
   該赤外線センサ部を中心とする環状方向に対応する方向であれば前記高感度となる移動方向とし、
   該赤外線センサ部を中心とする放射線方向に対応する方向であれば前記低感度となる移動方向とする
   ことを特徴とする請求項１に記載の複合型監視装置。
3. 前記移動物体情報検出手段は、さらに、前記入力画像に基づいて、前記監視領域における前記移動物体の速度を検出する移動速度検出手段および前記移動物体までの距離を検出する距離検出手段を有し、
   前記調整部は、さらに、前記移動速度検出手段が検出した速度が低いほど前記赤外閾値を大きくなるように調整し、前記距離検出手段が検出した距離が短いほど前記赤外閾値を大きくなるように調整し、
   前記統合判定部は、前記調整部が調整した、前記移動方向検出手段に基づく調整結果、前記移動速度検出手段に基づく調整結果、前記距離検出手段に基づく調整結果のうち、最も小さく調整された前記赤外閾値と前記赤外検出信号との比較結果にて前記移動物体毎に人体の判定を行うことを特徴とする請求項１または２に記載の複合型監視装置。
4. 前記画像センサ部および前記赤外線センサ部は、前記移動物体が移動する基底面の上方において、当該基底面に対して斜め方向に向けられて配置されていることを特徴とする請求項１〜３のいずれか１つに記載の複合型監視装置。