JP5393086B2

JP5393086B2 - 画像センサ

Info

Publication number: JP5393086B2
Application number: JP2008235398A
Authority: JP
Inventors: 真司新井; 幸一尾坐; 佳孝濱石
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2008-09-12
Filing date: 2008-09-12
Publication date: 2014-01-22
Anticipated expiration: 2028-09-12
Also published as: JP2010068452A

Description

本発明は、監視カメラが撮影した画像から監視領域への侵入物体を自動的に検出する画像センサに関し、特に、カラー画像と近赤外画像とを同時に取得できるカメラを用いて撮影された画像を解析することにより侵入物体を検出する画像センサに関する。

従来より、監視領域への侵入物体（侵入者を含む）を検知することを目的として、監視領域を撮影した画像を解析する画像センサが使用されている。このような画像センサは、通常、２４時間中、すなわち、監視領域が明るいときだけでなく、暗いときにも侵入物体を検出することが求められる。
そこで、監視領域の明るさを検出し、昼間のようにその明るさが所定値以上のときにはカラーＣＣＤカメラにより監視を行い、一方、その明るさが所定値未満の場合には、赤外光に感度を持つ白黒ＣＣＤカメラにより監視を行う監視カメラシステムが開発されている（例えば、特許文献１を参照）。
また近年、カラー画像及び近赤外画像を独立に取得できる撮像装置が開発されている（例えば、特許文献２を参照）。

特開２０００−１８４３６２号公報特開２００２−１４２２２８号公報

特許文献１に開示された監視カメラシステムに、特許文献２に開示されたようなカラー画像及び近赤外画像を取得できる撮像装置を組み合わせることにより、１個の撮像装置で監視領域のカラー画像と近赤外画像とを同時に取得して、監視に利用するシステムを構築することができる。
しかしながら、同時に取得されたカラー画像と近赤外画像とを利用して、侵入物体の検知を行う監視カメラシステムはこれまで検討されてこなかった。そのため、監視領域のカラー画像と近赤外画像とが同時に得られたとしても、それら２種類の画像を侵入物体検出において有効利用することができなかった。

そこで、本発明の目的は、監視領域を撮影した近赤外画像とカラー画像を同時に取得できる場合には、両方の画像を併用して侵入物体を検出し、近赤外画像のみが取得される場合には、近赤外画像に適した方法で侵入物体を検出することにより、監視領域の明るさによらず、良好な精度で監視領域への侵入物体を検出できる画像センサを提供することにある。

かかる課題を解決するための本発明は、一つの形態として監視領域内に侵入した侵入物体を検出する画像センサを提供する。係る画像センサは、監視領域を撮影したカラー画像と近赤外画像とを同時に取得する撮像部と、カラー画像と近赤外画像の両方を用いて侵入物体を検出する明時物体検出手段と、近赤外画像のみを用いて侵入物体を検出する暗時物体検出手段と、監視領域の照度がカラー画像を侵入物体の検出に利用できる明るさであると判定したときは明時物体検出手段に侵入物体を検出させ、一方、監視領域の照度がカラー画像を侵入物体の検出に利用するには不十分な明るさであると判定したときは暗時物体検出手段に侵入物体を検出させる処理選択手段とを有する。
なお、監視領域の照度を測定するために、係る画像センサは照度検出手段をさらに有してもよく、その照度検出手段を、撮像部の周囲における照度を検出する照度計で構成できる。またその照度検出手段は撮像部が撮影したカラー画像の輝度情報に基づいて監視領域の照度を測定するものであってもよい。

また、本発明に係る画像センサは、カラー画像または近赤外画像と、撮像部により監視領域を過去に撮影した画像から作成された基準画像の差分によって輝度値が変化した変化領域を抽出する変化領域抽出手段をさらに有することが好ましい。この場合において、明時物体検出手段は、カラー画像に含まれる赤色画像及び近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出し、その植物確信度が植物であることを示す所定の閾値以上となる画素の集合を植栽領域として抽出する植物確信度算出手段と、変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、変化領域に占める植栽領域と重なった領域の割合が大きいほど外乱らしさが高くなる外乱属性度を算出する外乱属性度算出手段と、侵入物体属性度及び外乱属性度に基づいて、変化領域が侵入物体か否かを判定する判定手段とを有することが好ましい。

あるいは、明時物体検出手段は、カラー画像に含まれる赤色画像及び近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出し、その植物確信度が植物であることを示す所定の閾値以上となる画素の集合を植栽領域として抽出する植物確信度算出手段と、カラー画像または近赤外画像と、撮像部により監視領域を過去に撮影した画像から作成された基準画像の差分によって各画素ごとの輝度値差を算出し、その輝度値差が差分２値化閾値よりも大きい画素の集合を変化領域として抽出する変化領域抽出手段と、変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、変化領域について、外乱らしさを表す外乱属性度を算出する外乱属性度算出手段と、侵入物体属性度及び外乱属性度に基づいて、変化領域が侵入物体か否かを判定する判定手段とを有することが好ましい。この場合において、変化領域抽出手段は、植物確信度が第１の値となる画素が、植物確信度が第１の値よりも低い第２の値となる画素よりも変化領域に含まれ難くすることが好ましい。
なお、植物確信度の第１の値を持つ画素が、植物確信度の第２の値を持つ画素よりも変化領域に含まれ難くする具体的な方法として、変化領域抽出手段は、植物確信度が第１の値となる画素に対する差分２値化閾値を、植物確信度が第１の値よりも低い第２の値となる画素に対する差分２値化閾値よりも高い値とすることが好ましい。あるいは、変化領域抽出手段は、植物確信度が植物であることを示す所定の閾値以上となる画素を変化領域から除くことが好ましい。

さらに、本発明に係る画像センサにおいて、植物確信度は、近赤外画像の画素の輝度値が赤色画像の対応する画素の輝度値よりも大きくなるほど高くなる値であることが好ましい。例えば、植物確信度を正規化植生指数とすることが好ましい。

本発明に係る画像センサは、監視領域を撮影した近赤外画像とカラー画像を同時に取得できる場合には、両方の画像を併用して侵入物体を検出し、近赤外画像のみが取得される場合には、近赤外画像に適した方法で侵入物体を検出することにより、監視領域の明るさによらず、良好な精度で監視領域への侵入物体を検出できるという効果を奏する。

以下、本発明を適用した画像センサの実施の形態について図を参照しつつ説明する。
この画像センサは、可視光のカラー画像と近赤外画像（以下ＩＲ画像という）とを同時に取得できるカメラを用いて、監視領域を撮影して得られたカラー画像とＩＲ画像を解析して、監視領域内に侵入した侵入物体（侵入者を含む）を検出するものである。特に、この画像センサは、監視領域の明るさがカラー画像の撮影にとって十分に明るい場合には、カラー画像とＩＲ画像を併用して侵入物体を検出し、監視領域の明るさがカラー画像の撮影にとって不十分な場合には、ＩＲ画像のみを用いて侵入物体を検出するものである。

図１は、本発明を適用した画像センサを用いた警備システム１０００の全体システム構成を示す図である。図１に示すように、警備システム１０００は、店舗、オフィス、マンション、倉庫、家屋、工場などの少なくとも一つの監視対象１０に設置される少なくとも一つのコントローラ１を有する。そして各コントローラ１には、監視対象１０の監視領域内への侵入物体を、その監視領域を撮影した監視画像に基づいて検出するための１以上の画像センサ２と、画像センサ２により撮影された監視画像を記録する録画装置３とが、構内ＬＡＮ４を介して接続される。ここで、本実施形態では、監視領域には、監視対象１０周囲の屋外領域が含まれる。なお、各コントローラ１には、火災を検知するための熱感知センサあるいは煙感知センサ、窓やドアの開閉を検知するマグネットセンサなど、監視対象１０の異常を検出するための１以上のセンサを接続してもよい。
また警備システム１０００は、警備センタ１１に設置され、公衆電話回線または構内ＬＡＮなどの通信網５を介して各コントローラ１と接続される監視装置６を有する。なお警備センタ１１は、例えば、遠隔地にある警備会社の警備センタまたは各コントローラ１が設置された工場またはマンションの守衛室などである。

コントローラ１は、構内ＬＡＮ４を介してそれ自体に接続された画像センサ２あるいは他のセンサから異常発生信号を受信すると、その異常発生信号及びコントローラ１自体の識別信号または監視対象１０あるいは異常を検出した画像センサ２若しくは他のセンサの識別信号を監視装置６へ送信する。そのために、コントローラ１は、画像センサ２などのセンサと通信するための通信インターフェースと、警備センタ１１に設置された監視装置６と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。またコントローラ１は、各種設定を行うための操作スイッチと、コントローラ１の設定状態を表示する液晶ディスプレイなどを備えたユーザインターフェースを有する。そしてその操作スイッチを操作することにより、警備モードを、警備セットモードか警備解除モードの何れかに設定することができる。ここで警備セットモードは、異常がなければ、監視対象１０は無人状態であることが想定され、そのため監視画像から監視対象１０への侵入物体を検出するモードである。一方、警備解除モードは、監視対象１０に利用者がいる状態であることが想定され、そのため、監視対象１０への侵入物体を検出しないモードである。コントローラ１は、警備モードが変更される度、現在設定されている警備モードを各画像センサ２及び監視装置６へ通知する。

さらにコントローラ１は、監視装置６から受信した、あるいはユーザによるユーザインターフェースの操作に基づく画像送出要求信号を、そのコントローラ１に接続された何れかの画像センサ２に対して送信する。そしてコントローラ１は、その画像送出要求信号にしたがって送られてきた監視領域のカラー画像及びＩＲ画像の両方または何れか一方を、監視装置６へ転送する。またコントローラ１は、監視装置６から受信した、あるいはユーザによるユーザインターフェースの操作に基づく画像送出停止信号を、画像送出中の画像センサ２に送ることにより、画像送出を停止させる。

録画装置３は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ−ＲＡＭなどの光記録媒体のように、録画装置３に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。そして録画装置３は、画像センサ２が撮影した監視領域のカラー画像及びＩＲ画像の両方または何れか一方を、コントローラ１から受け取り、撮影時刻と関連付けて記録する。

監視装置６は、いわゆるコンピュータで構成され、監視装置６を操作するためのユーザインターフェースと、通信網５を介してコントローラ１と通信するための通信インターフェースと、液晶ディスプレイなどの表示部と、ブザーやＬＥＤなどで構成される報知部を有する。そして監視装置６は、コントローラ１から通信網５を介して異常発生信号を受信すると、その異常発生信号を送信したコントローラ１が設置された監視対象１０及び検出された異常の内容を、報知部及び表示部を通じて、監視員に報知する。さらに監視装置６は、異常発生信号を送信してきたコントローラ１から受信した、異常が検知された監視領域の画像（カラー画像またはＩＲ画像若しくはその両方を含む）を表示部に表示して、監視員が画像を参照しつつ侵入物体を確認することを可能とする。

また監視装置６は、監視員の操作にしたがって、任意のコントローラ１に対して、そのコントローラ１に接続されている何れかの画像センサ２により撮影されたカラー画像及びＩＲ画像の両方または何れか一方を、監視装置６へ送出することを要求する画像送出要求信号を送信する。そして監視装置６は、その画像送出要求信号にしたがって送られてきた画像を表示部に表示することができる。また監視装置６は、監視員の操作にしたがって、画像送出中のコントローラ１に対して画像送出停止信号を送信することにより、その画像送出を停止させる。

次に、本発明を適用した画像センサ２の詳細について説明する。図２に、画像センサ２の機能ブロック図を示す。図２に示すように、画像センサ２は、制御部２０、照明部２１、撮像部２２、記憶部２３、通信部２４、画像出力部２５及び照度検出部２６を有する。

照明部２１は、監視領域を照明するための光源であり、撮像部２２の２次元検出器が感度を持つ近赤外領域の波長（例えば、850nm前後の波長）に十分な輝度を持つ光源（例えば、複数の赤外ＬＥＤあるいはキセノンランプなど）で構成される。なお、照明部２１は、近赤外領域だけでなく、可視光領域の波長についても十分な輝度を持つ光源を有してもよい。あるいは、照明部２１は、近赤外領域の波長を持つ光源と可視光領域の波長を持つ光源とを有し、それら２種類の光源を選択的に切り替えて点灯させることが可能なものでもよい。ただし、監視領域内への侵入者に監視されていることを悟らせたくない場合、あるいは可視光による照明が望まれない場合には、照明部２１は、可視光領域の波長の輝度が人に検知できないほど小さい光源であることが好ましい。
照明部２１は、後述する制御部２０の撮像制御部２０１により制御されて、点灯または消灯する。

撮像部２２は、１回の撮影において、可視光領域の波長（約400nm〜約830nm）を持つ光から監視領域のカラー画像と、近赤外領域の波長を持つ光から監視領域のＩＲ画像を、それぞれ監視画像として生成する。そのために、撮像部２２は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、可視光及び近赤外光に感度を有する光電変換器で構成された少なくとも一つの２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系と、２次元検出器から出力された電気信号を増幅し、アナログ−デジタル変換する電気回路などで構成される。なお、このような同時にカラー画像とＩＲ画像を取得できるカメラは、例えば上記の引用文献１または特開２００５−１４３０３８号公報に開示されている。

ここでカラー画像は、青色領域の波長（約470nm前後）の光の成分についての強度を表す青色画像（Ｂ画像）と、緑色領域の波長（約530nm前後）の光の成分についての強度を表す緑色画像（Ｇ画像）と、赤色領域の波長（約700nm前後）の光の成分についての強度を表す赤色画像（Ｒ画像）の三つの画像により構成される。一方ＩＲ画像は、近赤外領域の波長（約850nm前後の波長）の光の成分についての強度を表す。
撮像部２２は、一定の時間間隔（例えば0.2秒）ごとに撮影し、撮影の度に同時に監視領域のカラー画像とＩＲ画像を取得する。そして撮像部２２は、得られたカラー画像及びＩＲ画像を制御部２０及び記憶部２３へ送信する。

記憶部２３は、半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体で構成される。そして記憶部２３は、侵入物体検出の基準となる背景画像及び侵入物体が検出された異常画像を記憶する。なお、記憶部２３には、監視領域が明るく、撮像部２２により監視領域のカラー画像が取得される場合には、そのカラー画像に基づいて作成された背景画像と、監視領域のＩＲ画像に基づいて作成された２種類の背景画像が記憶される。一方、監視領域の明るさが不十分であり、監視領域のカラー画像が取得されない場合には、監視領域のＩＲ画像に基づいて作成された背景画像のみが記憶される。
さらに記憶部２３は、現在設定されている警備モードを示すフラグ、制御部２０上で実行されるプログラム、そのプログラムにより使用される各種設定パラメータ、画像処理の結果あるいは途中結果として得られた計算値あるいは画像なども記憶する。そして記憶部２３は、制御部２０からの制御信号にしたがって、上記の画像または計算値などを記憶し、あるいは記憶している各種の情報を制御部２０へ渡す。

通信部２４は、画像センサ２とコントローラ１との間で構内ＬＡＮ４などの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インタフェースであり、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部２４は、コントローラ１から警備モード設定信号、画像送出要求信号または画像送出停止信号を受信する。また通信部２４は、制御部２０によって侵入物体が検出されたことを示す侵入異常発生信号をコントローラ１へ出力する。

画像出力部２５は、画像送信専用の通信回線のインターフェース回路及びその回路を駆動するドライバソフトウェアなどで構成される。制御部２０がコントローラ１から（または監視装置６からコントローラ１を介して）画像送出要求信号を受信すると、制御部２０は画像出力部２５を介して記憶部２３に記憶されている監視領域のカラー画像及びＩＲ画像の両方または何れか一方をコントローラ１へ出力する。なお、画像出力部２５は、撮像部２２により取得された監視領域のカラー画像及びＩＲ画像の両方または何れか一方を、コントローラ１へ常時出力するようにしてもよい。

照度検出部２６は、監視領域の近赤外光に対する照度及び可視光に対する照度を検出する。そのために、照度検出部２６は、例えば、公知の様々な照度センサの何れかで構成される。そして照度検出部２６は、逐次的に、あるいは制御部２０から照度測定要求信号を受信したときに、撮像部２２周囲の照度を測定し、その測定結果を示す照度測定信号を制御部２０へ渡す。
なお、照度検出部２６を、撮像部２２により撮影された画像により監視領域の照度を決定するプログラムモジュールとしてもよい。この場合には、照度検出部２６は、撮像部２２により１フレーム前に撮影された監視領域のＩＲ画像について、その画像全体または画像中の所定領域に含まれる各画素の平均輝度を監視領域の近赤外光に対する照度として算出する。同様に、照度検出部２６は、撮像部２２により１フレーム前に撮影された監視領域のカラー画像あるいは最新のカラー画像について、その画像全体または画像中の所定領域に含まれる各画素の平均輝度を監視領域の可視光に対する照度として算出する。

制御部２０は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２全体を制御する。そのために、制御部２０は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される照度検出部２６と、撮像制御部２０１と、画像処理部２０２とを有する。

撮像制御部２０１は、設定された警備モードにしたがって照明部２１を点灯させるか否かを決定し、照明部２１を点灯させる際には、撮像部２２による撮像のタイミングと、照明部２１が照明するタイミングの同期をとる。ここで、撮像制御部２０１は、コントローラ１から受信した警備モード設定信号を参照して、警備モードが警備セットモードか警備解除モードの何れに設定されているかを確認する。
そして警備モードが警備セットモードに設定されている場合、撮像制御部２０１は、監視領域の明るさによらず、撮像部２２が撮影する度に、その撮影のタイミングに合わせて照明部２１を点灯させて監視領域を照明する。あるいは、この場合、撮像制御部２０１は照明部２１を連続的に点灯させてもよい。

一方、警備モードが警備解除モードに設定されている場合、画像センサ２が画像送出要求信号を受信すると、撮像制御部２０１は、監視領域の明るさに基づいて照明部２１を点灯させるか否かを決定する。そして撮像制御部２０１は、照明なしで撮影するには監視領域が暗過ぎると判断した場合には、撮像部２２が撮影する度に、その撮影のタイミングに合わせて照明部２１を点灯させて監視領域を照明する。照明部２１を点灯させるか否かを決定するために、例えば、撮像制御部２０１は、照度検出部２６から受け取った照度測定信号が表す監視領域の近赤外光に対する照度が所定の閾値未満である場合、監視領域が暗過ぎると判断して照明部２１を点灯させる。一方、撮像制御部２０１は、その照度が所定の閾値以上である場合、監視領域は十分に明るいと判断して照明部２１を点灯しない。
なお、撮像制御部２０１は、警備モードが警備解除モードに設定されている場合であっても、画像センサ２が画像送出要求信号を受信してから画像送出停止信号を受信するまでの間、照明部２１を連続的に点灯させてもよい。

図２を再度参照すると、画像処理部２０２は、処理選択手段２１１、変化領域抽出手段２１２、明時物体検出手段２１３及び暗時物体検出手段２１４を有する。
このうち、明時物体検出手段２１３は、監視領域の明るさがカラー画像を取得するのに十分である場合において、侵入物体を検出するために使用される手段であり、一方、暗時物体検出手段２１４は、監視領域の明るさがカラー画像を取得するには不十分な場合において、侵入物体を検出するために使用される手段である。
画像処理部２０２は、これらの手段を有することにより、照度検出部２６から受け取った照度測定信号に応じて選択した画像検出方法を用いて、撮像部２２により撮影された監視領域の監視画像に基づいて、監視領域内への侵入物体の有無を判定する。
以下、画像処理部２０２の各部について詳細に説明する。

処理選択手段２１１は、警備モードが警備セットモードに設定されている場合、監視領域内への侵入物体を検出するために、照度検出部２６より受け取った照度測定信号に基づいて、明時物体検出手段２１３または暗時物体検出手段２１４の何れかを選択する。例えば、処理選択手段２１１は、照度測定信号が表す監視領域の可視光に対する照度が所定の閾値以上である場合、明時物体検出手段２１３を選択する。なお、所定の閾値は、監視領域の明るさが、カラー画像を取得するのに必要とされる最低照度に対応する値とすることができる。一方、監視領域の可視光に対する照度がその所定の閾値未満である場合、処理選択手段２１１は、暗時物体検出手段２１４を選択する。

あるいは、処理選択手段２１１は、照度測定信号を参照する代わりに、撮像部２２により取得されたカラー画像に含まれる各画素のＲＧＢ各色の最大輝度値と最小輝度値の差に基づいて、明時物体検出手段２１３または暗時物体検出手段２１４の何れかを選択してもよい。この場合、ＲＧＢ各色の最大輝度値と最小輝度値の差が、何れも一定の基準値以上となるとき、処理選択手段２１１は明時物体検出手段２１３を選択する。一方、何れか一色でも最大輝度値と最小輝度値の差がその基準値未満となったときには、処理選択手段２１１は暗時物体検出手段２１４を選択する。なお、上記の基準値は、監視領域内の物体の色コントラストを再現するために最低限必要な値とすることができ、例えば、各画素の輝度値が０〜２５５の範囲で表現される場合、上記の基準値は、その中間値である１２８に設定される。

処理選択手段２１１が明時物体検出手段２１３を選択したとき、撮像部２２により取得されたカラー画像とＩＲ画像の両方と、記憶部２３に記憶されている背景画像（カラーの背景画像と近赤外の背景画像の両方を含む）が明時物体検出手段２１３に渡される。そして、明時物体検出手段２１３により監視領域内の侵入物体の有無が判定される。一方、処理選択手段２１１が暗時物体検出手段２１４を選択したとき、撮像部２２により取得されたＩＲ画像と記憶部２３に記憶されている背景画像（近赤外の背景画像のみを含む）が暗時物体検出手段２１４に渡される。そして、暗時物体検出手段２１４により監視領域内の侵入物体の有無が判定される。

なお、警備モードが警備解除モードに設定されている場合には、上記のように、利用者など異常検出の対象外の人物が監視領域内に存在することが想定されるので、処理選択手段２１１は、明時物体検出手段２１３及び暗時物体検出手段２１４の何れも選択しない。すなわち、警備モードが警備解除モードに設定されている場合、画像処理部２０２は監視領域内への侵入物体を検出しない。
しかしこの場合においても、画像センサ２がコントローラ１から画像送出要求を受けている場合、処理選択手段２１１は、監視領域のカラー画像またはＩＲ画像の何れを送出するかを決定するために、上記と同様の判断基準にて、監視領域の明るさがカラー画像を取得するために十分だったか否かを判定してもよい。そして処理選択手段２１１が監視領域の明るさがカラー画像を取得するために十分だったと判定すれば、制御部２０はカラー画像（もしくはカラー画像とＩＲ画像の両方）をコントローラ１へ送出する。一方、処理選択手段２１１が監視領域の明るさがカラー画像を取得するために不十分だったと判定すれば、制御部２０はＩＲ画像をコントローラ１へ送出する。

変化領域抽出手段２１２は、新たな監視領域の画像が取得される度に、輝度値に変化のある変化領域を抽出する。そのために、変化領域抽出手段２１２は、最新の監視領域のＩＲ画像と、記憶部２３に記憶されている背景画像との間で差分演算を行い、対応画素間の輝度差を求める。なお、背景画像は、侵入物体が存在しない状態の監視領域を過去に撮影したＩＲ画像とすることができる。または、背景画像は、侵入物体が存在しない状態の監視領域を過去に撮影した複数毎のＩＲ画像に基づいて、各画素ごとに輝度値を平均することにより作成される。あるいはまた、背景画像は、１フレーム前に取得された監視領域のＩＲ画像であってもよい。そして変化領域抽出手段２１２は、その輝度差の絶対値が、所定の差分２値化閾値以上となる画素を変動画素として検出する。なお、昼間時、あるいは可視光で照明された監視領域を撮影したカラー画像が得られる場合には、変化領域抽出手段２１２は、最新のＩＲ画像及び過去に取得された監視領域のＩＲ画像に基づいて作成された背景画像の代わりに、監視領域の最新のカラー画像と、過去に取得された監視領域のカラー画像から作成された背景画像を用いてもよい。

変化領域抽出手段２１２は、検出された変動画素をラベリングして、変動画素同士が一つに連結された領域を変化領域として抽出する。なお、同時に抽出される変化領域の数は一つに限られず、複数の変化領域が抽出されてもよい。さらに変化領域抽出手段２１２は、その変化領域に含まれる変動画素の画素数（すなわち変化領域のサイズ）、変化領域の形状を特徴量として算出する。変化領域抽出手段２１２は、算出した特徴量が、検出対象である移動物体に対応する所定の条件を満たす場合、その変化領域を侵入物体候補領域として抽出する。なお、上記のような背景画像の作成処理、及び背景差分による侵入物体候補領域の抽出処理は公知であるので、ここではその詳細な説明を省略する。
変化領域抽出手段２１２は、処理選択手段２１１により明時物体検出手段２１３が選択されている場合には、抽出した侵入物体候補領域を明時物体検出手段２１３へ渡し、処理選択手段２１１により暗時物体検出手段２１４が選択されている場合には、抽出した侵入物体候補領域を暗時物体検出手段２１４へ渡す。

明時物体検出手段２１３は、監視領域の明るさがカラー画像を取得するのに十分であった場合において、侵入物体を検出する。
図３（ａ）に、明時物体検出手段２１３の機能ブロック図を示す。図３に示すように、明時物体検出手段２１３は、植物確信度算出手段３１、明時外乱属性度算出手段３２、明時侵入物体属性度算出手段３３及び明時判定手段３４を有する。

植物確信度算出手段３１は、同時に取得されたＩＲ画像とカラー画像から、それらの画像の対応する画素の輝度値に基づいて、植物らしさの度合いを表す植物確信度を算出する。本実施形態では、植物確信度算出手段３１は、植物確信度として近似的に正規化植生指数（ＮＤＶＩ）を算出する。正規化植生指数（ＮＤＶＩ）は次式で定義される。

ここで、irは近赤外領域の波長に対する反射率を表し、rは赤色領域の波長に対する反射率を表す。正規化植生指数は、植物の光合成有効放射吸収量（ＡＰＡＲ）または植物バイオマス量、葉面積指数（ＬＡＩ）などと高い関連があり、リモートセンシングの分野において、植物の生育量把握あるいは作物収量の推定などに利用されている量である。また、（１）式から明らかなように、正規化植生指数は−１〜＋１の範囲内の値となり、特に、対象となる物体が赤色領域の波長と比較して近赤外領域の波長の光を多く反射するほど、正規化植生指数は＋１に近い値となる。ここで、正規化植生指数の算出対象となる物体が木の葉である場合、木の葉は赤色領域の波長の光をほとんど反射しない一方、近赤外領域の波長の光を良好に反射するので、木の葉に対する正規化植生指数は＋１に近い値となる。そのため、正規化植生指数は、植物らしさの度合いを表す植物確信度として非常に適した指標である。

本実施形態において、植物確信度算出手段３１は、上記の（１）式を用いて、同時に取得されたＩＲ画像及びカラー画像の各画素ごとに正規化植生指数を植物確信度として算出する。そのために、植物確信度算出手段３１は、ＩＲ画像の着目する画素の輝度値を（１）におけるirとし、カラー画像のうちの赤色画像の着目する画素の輝度値を（１）におけるrとして、近似的に正規化植生指数を算出する。特に、太陽光のように、可視光領域から近赤外領域まで、比較的均一な強度を持つ照明光で監視領域が照明される場合、監視領域内の物体により反射された光の可視光領域から近赤外領域に含まれる波長に対する強度は、その波長領域に含まれる各波長に対する反射率に比例する。そのため、赤色画像の着目画素の輝度値及びＩＲ画像の着目画素の輝度値を、赤色領域の波長に対する反射率及び近赤外領域の波長に対する反射率の代わりに使用することにより、近似的に正規化植生指数を算出することができる。
なお、植物確信度算出手段３１は、植物確信度として、ir/(ir+r)、あるいはir/rに所定の正規化係数を乗じた値などを用いてもよい。

植物確信度算出手段３１は、同時に取得されたＩＲ画像及びカラー画像の各画素ごとに植物確信度を算出し、その結果に基づいて瞬時植栽領域画像と蓄積植栽領域画像の２種類の画像を作成する。
瞬時植栽領域画像は、同時に取得された一組のＩＲ画像とカラー画像から求められる、ある瞬間において木の葉に対応する可能性の高い瞬時植栽領域を表す２値化画像である。そのため、植物確信度算出手段３１は、各画素について求められた植物確信度をそれぞれ所定の閾値と比較し、植物確信度がその閾値よりも大きければ'1'、植物確信度がその閾値以下であれば'0'となるように２値化処理を行って、瞬時植栽領域画像を作成する。したがって、この実施形態の場合、瞬時植栽領域は画素値'1'の画素の集合領域となる。なお、所定の閾値は、特定の画素が木の葉に対応する可能性が少しでもある場合に、その画素を木の葉に相当する領域として抽出できる値（例えば、0.2）に設定される。ただし、実施形態によっては、所定の閾値は、これよりも高い値とすることができ、例えば、特定の画素が木の葉である可能性が非常に高い場合にのみ、その画素が抽出されるような値（例えば、0.6）としてもよい。

植物確信度算出手段３１は、撮像部２２により監視領域の画像が撮影される度に新たな瞬時植栽領域画像を作成する。そして植物確信度算出手段３１は、新たに作成した瞬時植栽領域画像を記憶部２３に記憶する。そのため、植栽が大きく揺れている場合でも、瞬時植栽領域は植栽の揺れに追従して変化するので、瞬時植栽領域は特定時点における植栽の位置及び形状を表すことができる。なお、記憶部２３は、後述する蓄積植栽領域画像の作成のために、過去一定期間の間（例えば、１分間）に作成された複数の瞬時植栽領域画像を記憶する。

一方、蓄積植栽領域画像は、時間的に連続して取得された複数の瞬時植栽領域画像において、所定回数以上瞬時植栽領域となったことのある画素の集合である蓄積植栽領域を表す２値化画像である。そのために、植物確信度算出手段３１は、記憶部２３に記憶されている、過去一定期間の間に作成された瞬時植栽領域画像の画素値を、各画素ごとに累積加算する。そして、植物確信度算出手段３１は、累積加算された画素値を、瞬時植栽領域画像の加算枚数に所定割合を乗じて得た所定回数で除し、その計算結果が１以上となった画素と１未満の画素に２値化して、蓄積植栽領域画像を求める。なお、所定回数は、最低でも２となるように決定される。例えば、その所定回数は、常に木の葉が写っている可能性の高い画素を抽出するために、加算枚数の半分以上、あるいは3/4以上に設定することが好ましい。このため、蓄積植栽領域は、瞬時植栽領域よりも時間的にゆっくりと変化し、長時間にわたり木の葉が写っている領域に対応する。
植物確信度算出手段３１は、撮像部２２により監視領域の画像が撮影される度に蓄積植栽領域画像を更新し、記憶部２３に記憶する。

明時外乱属性度算出手段３２は、変化領域抽出手段２１２により抽出された侵入物体候補領域ごとに、その領域が侵入物体以外のものである可能性を表す外乱属性度を算出する。本実施形態では、外乱属性度dは以下の式にて算出される。
外乱属性度d ＝ max(光属性度l、影属性度s、植栽領域度p) （２）
ここで関数max(l,s,p)は、変数l,s,pのうちの最大値を出力する関数である。

光属性度lは、侵入物体候補領域が光らしい度合いを表す量である。光属性度lは、最新の監視画像のカラー画像の各色成分（すなわち、Ｒ、Ｇ、Ｂごと）画像及びＩＲ画像について求められる以下の各特徴量l₁〜l₃の統計値として定義される。ただし、各特徴量l₁〜l₃は、光らしいほど１に近い値を有し、光らしくないほど０に近い値を有するように正規化された値である。
特徴量l₁：侵入物体候補領域における最新の監視画像と背景画像の正規化平均輝度値差。具体的には、侵入物体候補領域における最新の監視画像の平均輝度値から、当該領域における背景画像の平均輝度値を引いた差をカラー画像またはＩＲ画像の画素が取り得る輝度値の最大値で除した値。これは光が当たった部分は明るくなることを捉えたものである。
特徴量l₂：侵入物体候補領域における最新の監視画像と背景画像の正規化相関値。これは光が当たっても、その内部に含まれる形状情報（テクスチャ情報）は変わらないことを捉えたものである。
特徴量l₃：侵入物体候補領域における背景画像に対する最新の監視画像のエッジ画素数の増加割合。これは、光が当たっても、その内部にて抽出されるエッジ画素数はおおよそ変わらないことを捉えたものである。特徴量l₃は、増加割合が小さいほど１に近い値とする。

明時外乱属性度算出手段３２は、Ｒ、Ｇ、Ｂ及びＩＲの各色について上記の各特徴量l₁〜l₃を算出すると、下記の式により、各色ごとの光属性度lc（ただし、｛c|R,G,B,IR｝）を算出する。
lc ＝ β₁×l₁＋β₂×l₂＋β₃×l₃ （３）
ただし、β₁〜β₃は重み係数であり、その合計（Σβ_i）は１である。なお、β₁〜β₃の具体的な値をどのように設定するかは、画像センサ２が設置される環境などに応じて適宜最適化される。また、明時外乱属性度算出手段３２は、上記の各特徴量l₁〜l₃のうちの一部の特徴量のみの重み付け和により、各色毎の光属性度lcを算出してもよい。
明時外乱属性度算出手段３２は、Ｒ、Ｇ、Ｂ及びＩＲの各色について各色ごとの光属性度lcを算出すると、そのうちの最大値を光属性度lとする。あるいは明時外乱属性度算出手段３２は、各色ごとの光属性度lcの平均値を光属性度lとしてもよい。

影属性度sは、侵入物体候補領域が影らしい度合いを表す量である。影属性度sは、最新の監視画像のカラー画像の各色成分（すなわち、Ｒ、Ｇ、Ｂごと）画像及びＩＲ画像について求められる以下の各特徴量s₁〜s₃の統計値として定義される。ただし、各特徴量s₁〜s₃は、影らしいほど１に近い値を有し、影らしくないほど０に近い値を有するように正規化された値である。
特徴量s₁：侵入物体候補領域における背景画像と最新の監視画像の正規化平均輝度差。具体的には、侵入物体候補領域における背景画像の平均輝度値から、当該領域における最新の監視画像の平均輝度値を引いた差をカラー画像またはＩＲ画像の画素が取り得る輝度値の最大値で除した値。これは影となった部分は暗くなることを捉えたものである。
特徴量s₂：侵入物体候補領域における最新の監視画像と背景画像の正規化相関値。これは影になっても、その内部に含まれる形状情報（テクスチャ情報）は変わらないことを捉えたものである。
特徴量s₃：侵入物体候補領域における背景画像に対する最新の監視画像のエッジ画素数の増加割合。これは、影になっても、その内部にて抽出されるエッジ画素数はおおよそ変わらないことを捉えたものである。特徴量s₃は、増加割合が小さいほど１に近い値とする。

明時外乱属性度算出手段３２は、Ｒ、Ｇ、Ｂ及びＩＲの各色について上記の各特徴量s₁〜s₃を算出すると、下記の式により、各色ごとの影属性度sc（ただし、｛c|R,G,B,IR｝）を算出する。
sc ＝ γ₁×s₁＋γ₂×s₂＋γ₃×s₃ （４）
ただし、γ₁〜γ₃は重み係数であり、その合計（Σγ_i）は１である。なお、γ₁〜γ₃の具体的な値をどのように設定するかは、画像センサ２が設置される環境などに応じて適宜最適化される。また、明時外乱属性度算出手段３２は、上記の各特徴量s₁〜s₃のうちの一部の特徴量のみの重み付け和により、各色ごとの影属性度scを算出してもよい。
明時外乱属性度算出手段３２は、Ｒ、Ｇ、Ｂ及びＩＲの各色について各色ごとの影属性度scを算出すると、そのうちの最大値を影属性度sとする。あるいは明時外乱属性度算出手段３２は、各色ごとの光属性度scの平均値を影属性度sとしてもよい。
なお、明時外乱属性度算出手段３２は、特開２００１−２４３４７５号公報に開示されているような公知の方法を利用して、光属性度l及び影属性度sを算出してもよい。

植栽領域度pは、侵入物体候補領域において植栽領域が占める割合を表す量である。植栽領域度pは、以下の各特徴量p₁及びp₂について、植栽らしいほど１に近い値を有し、植栽らしくないほど０に近い値を有するように正規化し、そのうちの大きい方の値（すなわち、p=max(p₁,p₂)）として定義される。
特徴量p₁：侵入物体候補領域の全画素数nに対する、その侵入物体候補領域と瞬時植栽領域の重なっている画素の数niの割合(ni/n)。
特徴量p₂：侵入物体候補領域の全画素数nに対する、その侵入物体候補領域と蓄積植栽領域の重なっている画素の数ncの割合(nc/n)。

また、植栽領域度pを以下のように定義してもよい。蓄積植栽領域は、植栽が揺れているときでも植栽が写っている領域に相当する可能性が高い。そのため、瞬時植栽領域のうち、蓄積植栽領域と重なっている領域あるいは蓄積植栽領域の周辺近傍で検出された瞬時植栽領域は、植栽が写っている可能性が非常に高い。そこで、植栽領域度pを、侵入物体候補領域の全画素数nに対する、その侵入物体候補領域と、瞬時植栽領域と、蓄積植栽領域またはその近傍画素（例えば、蓄積植栽領域から３画素以内）の三つの領域が重なっている画素の数nsの割合(ns/n)で定義してもよい。
また、植栽領域度pを、単に上記の特徴量p₁または特徴量p₂の何れかの値としてもよい。

明時外乱属性度算出手段３２は、各侵入物体候補領域ごとに、光属性度l、影属性度s及び植栽領域度pを算出すると、それらの値を用いて、上記の（２）式に従って外乱属性度dを算出する。そして明時外乱属性度算出手段３２は、算出した外乱属性度dを明時判定手段３４へ渡す。

明時侵入物体属性度算出手段３３は、変化領域抽出手段２１２により抽出された侵入物体候補領域ごとに、その領域の侵入物体らしさの度合いを表す侵入物体属性度を算出する。本実施形態では、侵入物体属性度fは、侵入物体候補領域が侵入者である可能性を表す複数の特徴量f₁〜f₃に基づいて算出される。各特徴量f₁〜f₃は、侵入者らしいほど１に近い値を有し、侵入者らしくないほど０に近い値を有するように正規化される。
特徴量f₁：侵入物体候補領域に含まれる画素数が、人の大きさに対応する所定範囲に含まれるか否かの指標。その画素数が所定範囲に含まれる場合、１となり、所定範囲から外れる場合、０となる。
特徴量f₂：侵入物体候補領域における最新のＩＲ画像と背景画像の正規化相関値cを１から引いた値（1-c）。すなわち、正規化相関値が低いほど、侵入者らしいことを表す。
特徴量f₃：侵入物体候補領域に含まれる画素数に対する、その領域内の最新のカラー画像の各画素のうち肌色に対応する色を持つ画素数の比率。
明時侵入物体属性度算出手段３３は、上記の各特徴量f₁〜f₃を算出すると、下記の式により、侵入物体属性度fを算出する。
侵入物体属性度f ＝ α₁×f₁＋α₂×f₂＋α₃×f₃ （５）
ただし、α₁〜α₃は重み係数であり、その合計（Σα_i）は１である。なお、α₁〜α₃の具体的な値をどのように設定するかは、画像センサ２が設置される環境などに応じて適宜最適化される。また、明時侵入物体属性度算出手段３３は、上記の各特徴量f₁〜f₃のうちの一部の特徴量のみの重み付け和により、侵入物体属性度fを算出してもよい。あるいは、明時侵入物体属性度算出手段３３は、上記の各特徴量f₁〜f₃のうちの一部の特徴量を、検出対象物体に応じて別の特徴量に入れ替えてもよい。例えば、検出対象物体が車であれば、明時侵入物体属性度算出手段３３は上記の特徴量f₃を使用せず、特徴量f₁についても基準となる画素数の所定範囲が車のサイズに合わせた値に修正される。
なお、侵入物体属性度の算出方法として、明時侵入物体属性度算出手段３３は特開２００１−２４３４７５号公報に開示されている人属性算出方法のような公知の方法を利用してもよい。

明時侵入物体属性度算出手段３３は、各侵入物体候補領域ごとに算出した侵入物体属性度fを明時判定手段３４へ渡す。

明時判定手段３４は、各侵入物体候補領域ごとに、対応する侵入物体属性度f及び外乱属性度dに基づいて、その侵入物体候補領域に侵入物体が写っているか否かを判定する。具体的には、明時判定手段３４は、着目する侵入物体候補領域ごとに、対応する侵入物体属性度fと外乱属性度dとを比較する。そして明時判定手段３４は、侵入物体属性度fが外乱属性度dよりも大きい場合、その着目する侵入物体候補領域に侵入物体が写っている、すなわち、監視領域内に侵入物体が存在すると判定する。一方、侵入物体属性度fが外乱属性度d以下の場合、明時判定手段３４は、その着目する侵入物体候補領域は植栽などの外乱によるものであり、侵入物体は写っていないと判定する。

なお、明時判定手段３４は、侵入物体属性度f及び外乱属性度dを入力とし、侵入物体である確信度を出力とする、ファジー理論のメンバシップ関数を用いて、侵入物体か否かを判定してもよい。この場合、明時判定手段３４は、着目する侵入物体候補領域についての侵入物体属性度f及び外乱属性度dをそのメンバシップ関数に入力して得られた確信度が所定の閾値以上の場合、その着目する侵入物体候補領域に侵入物体が写っていると判定する。あるいは明時判定手段３４は、侵入物体属性度f及び外乱属性度dを入力とし、侵入物体であるか否かを出力する判別関数、パーセプトロンタイプのニューラルネットワークまたはサポートベクトルマシンを用いて、侵入物体か否かを判定してもよい。

暗時物体検出手段２１４は、監視領域の明るさがカラー画像を取得するには不十分であった場合において、侵入物体を検出する。
図３（ｂ）に示すように、暗時物体検出手段２１４は、暗時外乱属性度算出手段４１、暗時侵入物体属性度算出手段４２及び暗時判定手段４３を有する。

暗時外乱属性度算出手段４１は、明時外乱属性度算出手段３２と同様に、変化領域抽出手段２１２により抽出された侵入物体候補領域ごとに、その領域が侵入物体以外のものである可能性を表す外乱属性度を算出する。ただし暗時外乱属性度算出手段４１は、明時外乱属性度算出手段３２と比較して、ＩＲ画像のみに基づいて算出される属性度のみを用いて外乱属性度dを算出する点で異なる。そのため、暗時外乱属性度算出手段４１は、植栽領域度pは求めず、外乱属性度dを光属性度l及び影属性度sのうちの何れか大きい方の値とする。
さらに、光属性度ｌ及び影属性度sについても、ＩＲ画像に関する特徴量のみが算出される。すなわち、暗時外乱属性度算出手段４１は、l=lir、s=sirとする。なお、光属性度ｌ及び影属性度sの算出方法の詳細については、明時外乱属性度算出手段３２と同様であるため、ここではその説明を省略する。

暗時侵入物体属性度算出手段４２は、明時侵入物体属性度算出手段３３と同様に、変化領域抽出手段２１２により抽出された侵入物体候補領域ごとに、その領域の侵入物体らしさの度合いを表す侵入物体属性度を算出する。ただし暗時侵入物体属性度算出手段４２は、明時侵入物体属性度算出手段３３と比較して、上記の特徴量f₁〜f₃のうち、ＩＲ画像のみに基づいて算出される特徴量のみを用いて侵入物体属性度fを算出する点で異なる。なお、侵入物体属性度fの算出方法の詳細については、明時侵入物体属性度算出手段３３と同様であるため、ここではその説明を省略する。

また、暗時判定手段４３も、明時判定手段３４と同様に、各侵入物体候補領域ごとに、対応する侵入物体属性度f及び外乱属性度dに基づいて、その侵入物体候補領域に侵入物体が写っているか否かを判定する。なお、暗時判定手段４３は、明時判定手段３４と同様の判定処理を行うため、ここではその判定処理の詳細な説明を省略する。

明時物体検出手段２１３または暗時物体検出手段２１４の何れかが監視領域への侵入物体を検出すると、制御部２０は、その旨を表す侵入異常発生信号を通信部２４を介してコントローラ１へ通知する。また制御部２０は、侵入物体が検出された監視領域のＩＲ画像及びカラー画像の両方または何れか一方を、画像出力部２５を介してコントローラ１へ送出する。

図４に示したフローチャートを参照しつつ、画像センサ２の全体動作を説明する。なお、以下に説明する侵入物体検出動作は、制御部２０によって制御され、撮像部２２による画像取得間隔で繰り返し実行される。
まず、撮像制御部２０１により、記憶部２３に記憶されている警備モードのフラグを参照して、警備モードが警備セットモードまたは警備解除モードの何れに設定されているかが判定される（ステップＳ１１０）。警備モードが警備セットモードに設定されている場合、撮像制御部２０１は、照明部２１を点灯させて監視領域を照明し、その状態において撮像部２２により監視領域を撮影させる（ステップＳ１２０）。そして撮像部２２により監視領域のカラー画像とＩＲ画像が取得され、制御部２０に渡される。

画像処理部２０２の処理選択手段２１１は、撮影時において照度検出部２６により検出された監視領域の可視光に対する照度に基づいて、監視領域の明るさがカラー画像を取得するために十分だったか否かを判定する（ステップＳ１３０）。
ステップＳ１３０において、処理選択手段２１１は、監視領域の明るさがカラー画像を取得するために十分だったと判定した場合、明時物体検出手段２１３を選択する。そして明時物体検出手段２１３により、監視領域内への侵入物体の検出処理が実行される（ステップＳ１４０）。すなわち、監視領域のカラー画像とＩＲ画像の両方を用いて侵入物体の検出処理が実行される。一方、ステップＳ１３０において、処理選択手段２１１は、監視領域の明るさがカラー画像を取得するために不十分だったと判定した場合、暗時物体検出手段２１４を選択する。そして暗時物体検出手段２１４により、監視領域内への侵入物体の検出処理が実行される（ステップＳ１５０）。すなわち、監視領域のＩＲ画像のみを用いて侵入物体の検出処理が実行される。
ステップＳ１４０またはＳ１５０の後、画像処理部２０２は、監視領域内への侵入物体が検出されたか否かを判定する（ステップＳ１６０）。ステップＳ１６０において侵入物体が存在すると判定された場合、制御部２０は、侵入物体が検出されたことをコントローラ１へ通報する（ステップＳ１７０）。
ステップＳ１７０の後、あるいはステップＳ１６０で監視領域に侵入物体が存在しないと判定された後、制御部２０は画像センサ２が画像送出要求を受けているか否かを判定する（ステップＳ１８０）。そして、画像送出要求を受けている場合（すなわち、画像送出要求信号を受信してから画像送出停止信号を受信するまでの間である場合）、制御部２０は、監視画像をコントローラ１へ送出する（ステップＳ１９０）。なお、送出される監視画像には、暗時物体検出手段２１４が選択されている場合、ＩＲ画像のみが含まれ、明時物体検出手段２１３が選択されている場合、カラー画像のみ、若しくはＩＲ画像とカラー画像の両方が含まれる。
ステップＳ１９０の後、あるいはステップＳ１８０において画像送出要求を受けていない場合、制御部２０は処理を終了する。

また、ステップＳ１１０において、警備モードが警備解除モードに設定されている場合、撮像制御部２０１は、画像センサ２が画像送出要求を受けているか否かを判定する（ステップＳ２００）。画像送出要求を受けていない場合、制御部２０は処理を終了する。
一方、ステップＳ２００において画像送出要求を受けている場合、撮像制御部２０１は、照明部２１を点灯させて監視領域を照明し、その状態において撮像部２２により監視領域を撮影させる（ステップＳ２１０）。そして撮像部２２により監視領域のカラー画像とＩＲ画像が取得され、制御部２０に渡される。

その後、画像処理部２０２の処理選択手段２１１は、撮影時において照度検出部２６により検出された監視領域の可視光に対する照度に基づいて、監視領域の明るさがカラー画像を取得するために十分だったか否かを判定する（ステップＳ２２０）。
ステップＳ２２０において、処理選択手段２１１が監視領域の明るさがカラー画像を取得するために十分だったと判定した場合、制御部２０は、カラー画像をコントローラ１へ送出する（ステップＳ２３０）。なお、制御部２０は、カラー画像とＩＲ画像の両方をコントローラ１へ送出してもよい。一方、処理選択手段２１１が監視領域の明るさがカラー画像を取得するために不十分だったと判定した場合、制御部２０は、ＩＲ画像をコントローラ１へ送出する（ステップＳ２４０）。
そしてステップＳ２３０またはＳ２４０の後、制御部２０は処理を終了する。

図５に、図４のステップＳ１４０における明時の侵入物体検出処理の詳細のフローチャートを示す。
図５に示すように、撮像部２２から制御部２０が監視領域のカラー画像とＩＲ画像を受け取ると、画像処理部２０２の変化領域抽出手段２１２は、受け取った最新のカラー画像またはＩＲ画像と背景画像との背景差分を行って変化領域を抽出し、そのうちの所定の条件を満たす領域を侵入物体候補領域とする（ステップＳ１４１）。そして、侵入物体候補領域を示す情報及び監視領域のカラー画像及びＩＲ画像が明時物体候補検出手段２１３に渡される。
次に、明時物体候補検出手段２１３の植物確信度算出手段３１が、それらの画像に基づいて植物確信度を算出する。さらに植物確信度算出手段３１は、求めた植物確信度を用いて、瞬時植栽領域画像及び蓄積植栽領域画像を求める（ステップＳ１４２）。

その後、明時物体候補検出手段２１３の明時外乱属性度算出手段３２は、抽出された侵入物体候補領域ごとに、カラー画像とＩＲ画像の両方を用いて外乱属性度dを算出する（ステップＳ１４３）。一方、明時物体候補検出手段２１３の明時侵入物体属性度算出手段３３は、抽出された侵入物体候補領域ごとに、カラー画像とＩＲ画像の両方を用いて侵入物体属性度fを算出する（ステップＳ１４４）。
抽出された侵入物体候補領域について外乱属性度d及び侵入物体属性度fが算出されると、明時物体候補検出手段２１３の明時判定手段３４は、その外乱属性度d及び侵入物体属性度fに基づいて監視領域内に侵入物体が存在するか否か判定する（ステップＳ１４５）。そしてその判定結果を制御部２０へ返す。

図６に、図４のステップＳ１５０における暗時の侵入物体検出処理の詳細のフローチャートを示す。
図６に示すように、撮像部２２から制御部２０が監視領域のＩＲ画像を受け取ると、画像処理部２０２の変化領域抽出手段２１２は、受け取った最新のＩＲ画像と背景画像との背景差分を行って変化領域を抽出し、そのうちの所定の条件を満たす領域を侵入物体候補領域とする（ステップＳ１５１）。そして、侵入物体候補領域を示す情報及び監視領域のＩＲ画像が暗時物体候補検出手段２１４に渡される。

その後、暗時物体候補検出手段２１４の暗時外乱属性度算出手段４１は、抽出された侵入物体候補領域ごとに、ＩＲ画像のみを用いて外乱属性度dを算出する（ステップＳ１５２）。一方、暗時物体候補検出手段２１４の暗時侵入物体属性度算出手段４２は、抽出された侵入物体候補領域ごとに、ＩＲ画像のみを用いて侵入物体属性度fを算出する（ステップＳ１５３）。
抽出された侵入物体候補領域について外乱属性度d及び侵入物体属性度fが算出されると、暗時物体候補検出手段２１４の暗時判定手段４３は、その外乱属性度d及び侵入物体属性度fに基づいて監視領域内に侵入物体が存在するか否か判定する（ステップＳ１５４）。そしてその判定結果を制御部２０へ返す。
なお、上記の図４〜図６に示したフローチャートの各ステップにおける処理の詳細については、画像センサ２の各部の説明において詳しく説明したので、ここではその説明を省略する。

以上説明してきたように、本発明に係る画像センサは、監視領域を撮影したＩＲ画像とカラー画像を同時に取得できる明時には、両方の画像を併用して侵入物体を検出し、ＩＲ画像のみが取得される暗時には、ＩＲ画像に適した方法で侵入物体を検出することにより、監視領域の明るさによらず、良好な精度で監視領域への侵入物体を検出することができる。特に、係る画像センサは、明時において同時に取得された監視領域のＩＲ画像とカラー画像から各画素ごとに植物らしさの度合いを表す植物確信度を求め、植物確信度が高い画素の集合に対応する領域を侵入物体として検出し難くしている。そのため、係る画像センサは、植栽の揺れによって輝度が変化する領域が検出されたとしても、その領域を誤って侵入物体と誤判定することを防止できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、侵入者候補物体領域の抽出方法を、処理選択手段２１１により明時物体検出手段２１３が選択されたときと暗時物体検出手段２１４が選択されたときとで変えてもよい。具体的には、変化領域抽出手段２１２は、処理選択手段２１１により暗時物体検出手段２１４が選択されたときには、上記と同様の手法により侵入者候補物体領域を抽出する。一方、処理選択手段２１１により明時物体検出手段２１３が選択されたときには、変化領域抽出手段２１２は、記憶部２３に記憶されている蓄積植栽領域画像または瞬時植栽領域画像を参照し、抽出した変化領域から蓄積植栽領域または瞬時植栽領域の何れか一方または両方と重なっている領域を除いた後、変化領域に関する上記の所定の条件を満たすか否か判定して侵入物体候補領域とするか否かを決定する。
あるいは、変化領域抽出手段２１２は、蓄積植栽領域または瞬時植栽領域の何れか一方または両方に含まれる画素に対する差分２値化閾値を、蓄積植栽領域にも瞬時植栽領域にも含まれない画素に対する差分２値化閾値よりも高くしてもよい。あるいは、変化領域抽出手段２１２は、瞬時植栽領域と、蓄積植栽領域の近傍画素（例えば、蓄積植栽領域から３画素以内）が重なる画素に対する差分閾値を、瞬時植栽領域と、蓄積植栽領域の近傍画素が重ならない画素に対する差分閾値よりも高くしてもよい。さらに、変化領域抽出手段２１２は、各画素について求められた植物確信度が高くなるにつれて大きな値となるように差分２値化閾値を設定してもよい。例えば、正規化植生指数が植物確信度として算出される場合、正規化植生指数が1のとき、差分２値化閾値をカラー画像あるいはＩＲ画像の画素が取り得る輝度値の最大値とし、正規化植生指数が0のとき、差分２値化閾値を差分画像の輝度値の平均値とすることができる。

また、明時物体検出手段２１３及び暗時物体検出手段２１４は、他の様々な侵入物体検知方法を利用することができる。例えば、明時物体検出手段２１３は、連続して取得される複数フレームの監視領域のカラー画像またはＩＲ画像から、フレーム間差分によりそれぞれ変化領域を抽出し、公知のトラッキング処理を利用して、一つの移動物体として関連付けられる変化領域を検出する。そして明時物体検出手段２１３は、その変化領域から抽出された特徴量が、検出対象となる移動物体の条件を満たす場合、その変化領域が侵入物体に相当すると判断してもよい。この場合、明時物体検出手段２１３は、例えば、上記の植栽領域と重なった変化領域を追跡対象とする変化領域から除くことにより、植栽を侵入物体と誤検出することを防止できる。

さらに、画像処理部２０２は、明時判定手段及び暗示判定手段をそれぞれ明時物体検出手段２１３及び暗時物体検出手段２１４から独立させ、共通の一つの判定手段としてもよい。この場合には、明時物体検出手段２１３及び暗時物体検出手段２１４は、それぞれ、侵入物体属性度及び外乱属性度を算出する属性度算出手段として機能し、判定手段は、明時物体検出手段２１３または暗時物体検出手段２１４の何れかから出力された侵入物体属性度及び外乱属性度に基づいて、各侵入物体候補領域が侵入物体か否かを判定する。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明に係る画像センサを用いた警備システムのシステム構成図である。本発明を適用した画像センサの機能ブロック図である。（ａ）は、画像センサの画像処理部が有する明時物体検出手段の機能ブロック図であり、（ｂ）は、画像処理部が有する暗時物体検出手段の機能ブロック図である。画像センサの全体動作を示すフローチャートである。明時における侵入物体検出処理の動作フローチャートである。暗時における侵入物体検出処理の動作フローチャートである。

符号の説明

１０００警備システム
１コントローラ
２画像センサ
３録画装置
４構内ＬＡＮ
５通信網
６監視装置
１０監視対象
１１警備センタ
２０制御部
２１照明部
２２撮像部
２３記憶部
２４通信部
２５画像出力部
２６照度検出部
２０１撮像制御部
２０２画像処理部
２１１処理選択手段
２１２変化領域抽出手段
２１３明時物体検出手段
３１植物確信度算出手段
３２明時外乱属性度算出手段
３３明時侵入物体属性度算出手段
３４明時判定手段
２１４暗時物体検出手段
４１暗時外乱属性度算出手段
４２暗時侵入物体属性度算出手段
４３暗時判定手段

Claims

監視領域内に侵入した侵入物体を検出する画像センサであって、
監視領域を撮影したカラー画像と近赤外画像とを同時に取得する撮像部と、
前記カラー画像と近赤外画像の両方を用いて前記侵入物体を検出する明時物体検出手段と、
前記近赤外画像のみを用いて前記侵入物体を検出する暗時物体検出手段と、
監視領域の照度が前記カラー画像を前記侵入物体の検出に利用できる明るさであると判定したときは前記明時物体検出手段に前記侵入物体を検出させ、一方、前記照度が前記カラー画像を前記侵入物体の検出に利用するには不十分な明るさであると判定したときは前記暗時物体検出手段に前記侵入物体を検出させる処理選択手段と、
前記カラー画像または近赤外画像と、前記撮像部により監視領域を過去に撮影した画像から作成された基準画像の差分によって輝度値が変化した変化領域を抽出する変化領域抽出手段と、を有し、
前記明時物体検出手段は、
前記カラー画像に含まれる赤色画像及び前記近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出し、該植物確信度が植物であることを示す所定の閾値以上となる画素の集合を植栽領域として抽出する植物確信度算出手段と、
前記変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、
前記変化領域に占める前記植栽領域と重なった領域の割合が大きいほど外乱らしさが高くなる外乱属性度を算出する外乱属性度算出手段と、
前記侵入物体属性度及び前記外乱属性度に基づいて、前記変化領域が侵入物体か否かを判定する判定手段と、
を有することを特徴とする画像センサ。
監視領域内に侵入した侵入物体を検出する画像センサであって、
監視領域を撮影したカラー画像と近赤外画像とを同時に取得する撮像部と、
前記カラー画像と近赤外画像の両方を用いて前記侵入物体を検出する明時物体検出手段と、
前記近赤外画像のみを用いて前記侵入物体を検出する暗時物体検出手段と、
監視領域の照度が前記カラー画像を前記侵入物体の検出に利用できる明るさであると判定したときは前記明時物体検出手段に前記侵入物体を検出させ、一方、前記照度が前記カラー画像を前記侵入物体の検出に利用するには不十分な明るさであると判定したときは前記暗時物体検出手段に前記侵入物体を検出させる処理選択手段と、
を有し、
前記明時物体検出手段は、
前記カラー画像に含まれる赤色画像及び前記近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出する植物確信度算出手段と、
前記カラー画像または近赤外画像と、前記撮像部により監視領域を過去に撮影した画像から作成された基準画像の差分によって各画素ごとの輝度値差を算出し、当該輝度値差が差分２値化閾値よりも大きい画素の集合を変化領域として抽出する変化領域抽出手段と、
前記変化領域に対応する前記カラー画像と前記近赤外画像の領域における特徴量に基づいて前記変化領域が侵入物体か否かを判定する判定手段と、を有し、
前記変化領域抽出手段は、前記植物確信度が第１の値となる画素が、前記植物確信度が前記第１の値よりも低い第２の値となる画素よりも前記変化領域に含まれ難くする、
ことを特徴とする画像センサ。
前記植物確信度は、前記近赤外画像の画素の輝度値が前記赤色画像の対応する画素の輝度値よりも大きくなるほど高くなる値である、請求項１または２に記載の画像センサ。