JP5042177B2

JP5042177B2 - 画像センサ

Info

Publication number: JP5042177B2
Application number: JP2008235422A
Authority: JP
Inventors: 真司新井; 幸一尾坐
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2008-09-12
Filing date: 2008-09-12
Publication date: 2012-10-03
Anticipated expiration: 2028-09-12
Also published as: JP2010067206A

Description

本発明は、監視カメラが撮影した画像から監視領域への侵入物体を自動的に検出する画像センサに関し、特に、カラー画像と近赤外画像とを同時に取得できるカメラを用いて撮影された画像を解析することにより侵入物体を検出する画像センサに関する。

従来より、監視領域への侵入物体（侵入者を含む）を検知することを目的として、監視領域を撮影した画像を解析する画像センサが使用されている。このような画像センサは、侵入物体の検出にあたって、一般的に検出対象となる侵入物体が写っていないと判断される画像を背景画像（あるいは基準画像という）として保持し、現在の入力画像と背景画像との間で、対応する各画素ごとの輝度値の差を求める。そして画像センサは、その差が所定の閾値以上となる画素の集合領域について、大きさ、縦横比またはテクスチャ情報などを特徴量として求め、その特徴量が所定の基準を満たすか否かを判断することにより、侵入物体の有無を検出する。
ところが、屋外にこのような画像センサを設置すると、植栽のように、風などによって形状が変化する物体が監視領域に含まれることがある。このような場合において、植栽などの物体が風により揺れると、侵入者検出の条件を満たしてしまい、画像センサが入力画像中のその物体に相当する領域を侵入者と誤認識し、遠隔の警備センタへ侵入者の検出を通報する（すなわち、誤報）問題があった。
そこで、例えば、特許文献１には、植栽に対応する各画素は、植栽が揺れてもその近傍に同等の特性（例えば、輝度）を持つ画素が存在するという性質を利用し、ノイズ除去の考え方に基づいて植栽の揺れによる誤報を防ぐ技術が開示されている。

特開２００５−２９３０３３号公報

しかしながら、植栽の揺れが大きいと、植栽自体の形状変化が大きくなるため、植栽に対応する画素であっても、その近傍画素とは輝度値あるいは色の特性が大きく異なる可能性が高くなる。そのため、特許文献１に記載された方法を適用するのは困難となる。また、特許文献１に記載された方法では、近傍の範囲が適切に設定されなければ、その近傍の範囲に類似の特性を持つ画素の数が不十分となり、誤報の発生を防止しきれない可能性があった。

そこで、本発明の目的は、監視領域に侵入した侵入物体を検出するとともに、監視領域内に存在する植栽の揺れによる誤報を防止できる画像センサを提供することにある。

かかる課題を解決するための本発明は、一つの形態として監視領域内に侵入した侵入物体を検出する画像センサを提供する。係る画像センサは、監視領域を撮影した赤色画像を含むカラー画像と近赤外画像とを同時に取得する撮像部と、撮像部により監視領域を過去に撮影した画像から作成された基準画像を記憶する記憶部と、赤色画像及び近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出し、その植物確信度が植物であることを示す所定の閾値以上となる画素の集合を植栽領域として抽出する植物確信度算出手段と、カラー画像または近赤外画像と基準画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、変化領域に占める植栽領域と重なった領域の割合が大きいほど外乱らしさが高くなる外乱属性度を算出する外乱属性度算出手段と、侵入物体属性度及び外乱属性度に基づいて変化領域が侵入物体か否かを判定する判定手段とを有する。

係る画像センサにおいて、植物確信度算出手段は、撮像部により赤色画像及び近赤外画像が取得される度に、植物確信度が所定の閾値以上となる画素の集合を求めて瞬時植栽領域とし、一定期間の間に求められた複数の瞬時植栽領域のうちの少なくとも２個以上が重なった領域を植栽領域とすることが好ましい。

また、本発明の他の形態は、監視領域内に侵入した侵入物体を検出する画像センサを提供する。係る画像センサは、監視領域を撮影した赤色画像を含むカラー画像と近赤外画像とを同時に取得する撮像部と、撮像部により監視領域を過去に撮影した画像から作成された基準画像を記憶する記憶部と、赤色画像及び近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出する植物確信度算出手段と、カラー画像または近赤外画像と基準画像の差分によって、各画素ごとの輝度値差を算出し、その輝度値差が差分２値化閾値よりも大きい画素を変化領域として抽出する変化領域抽出手段と、変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、変化領域について、外乱らしさを表す外乱属性度を算出する外乱属性度算出手段と、侵入物体属性度及び外乱属性度算出度に基づいて、変化領域が侵入物体か否かを判定する判定手段とを有する。ここで変化領域抽出手段は、植物確信度が第１の値となる画素が、植物確信度が第１の値よりも低い第２の値となる画素よりも変化領域に含まれ難くする。
なお、植物確信度の第１の値を持つ画素が、植物確信度の第２の値を持つ画素よりも変化領域に含まれ難くする具体的な方法として、変化領域抽出手段は、植物確信度が第１の値となる画素に対する差分２値化閾値を、植物確信度が第１の値よりも低い第２の値となる画素に対する差分２値化閾値よりも高い値とすることが好ましい。あるいは、変化領域抽出手段は、植物確信度が植物であることを示す所定の閾値以上となる画素を変化領域から除くことが好ましい。

さらに、本発明に係る画像センサにおいて、植物確信度は、近赤外画像の画素の輝度値が赤色画像の対応する画素の輝度値よりも大きくなるほど高くなる値であることが好ましい。例えば、植物確信度を正規化植生指数とすることが好ましい。

本発明に係る画像センサは、監視領域に侵入した侵入物体を検出できるとともに、監視領域内に存在する植栽の揺れによる誤報を防止できるという効果を奏する。

以下、本発明を適用した画像センサの実施の形態について図を参照しつつ説明する。
この画像センサは、可視光のカラー画像と近赤外画像（以下ＩＲ画像という）とを同時に取得できるカメラを用いて、監視領域を撮影して得られたカラー画像とＩＲ画像を解析して、監視領域内に侵入した侵入物体（侵入者を含む）を検出するものである。特に、この画像センサは、近赤外光に対する反射率と赤色光に対する反射率の差が大きいという植物に特有の特性を利用して、カラー画像とＩＲ画像から監視領域内の植栽に相当する領域を抽出することにより、植栽の揺れによる誤報の発生を防止するものである。

図１は、本発明を適用した画像センサを用いた警備システム１０００の全体システム構成を示す図である。図１に示すように、警備システム１０００は、店舗、オフィス、マンション、倉庫、家屋、工場などの少なくとも一つの監視対象１０に設置される少なくとも一つのコントローラ１を有する。そして各コントローラ１には、監視対象１０の監視領域内への侵入物体を、その監視領域を撮影した監視画像に基づいて検出するための１以上の画像センサ２と、画像センサ２により撮影された監視画像を記録する録画装置３とが、構内ＬＡＮ４を介して接続される。ここで、本実施形態では、監視領域には、監視対象１０周囲の屋外領域が含まれる。なお、各コントローラ１には、火災を検知するための熱感知センサあるいは煙感知センサ、窓やドアの開閉を検知するマグネットセンサなど、監視対象１０の異常を検出するための１以上のセンサを接続してもよい。
また警備システム１０００は、警備センタ１１に設置され、公衆電話回線または構内ＬＡＮなどの通信網５を介して各コントローラ１と接続される監視装置６を有する。なお警備センタ１１は、例えば、遠隔地にある警備会社の警備センタまたは各コントローラ１が設置された工場またはマンションの守衛室などである。

コントローラ１は、構内ＬＡＮ４を介してそれ自体に接続された画像センサ２あるいは他のセンサから異常発生信号を受信すると、その異常発生信号及びコントローラ１自体の識別信号または監視対象１０あるいは異常を検出した画像センサ２若しくは他のセンサの識別信号を監視装置６へ送信する。そのために、コントローラ１は、画像センサ２などのセンサと通信するための通信インターフェースと、警備センタ１１に設置された監視装置６と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。またコントローラ１は、各種設定を行うための操作スイッチと、コントローラ１の設定状態を表示する液晶ディスプレイなどを備えたユーザインターフェースを有する。そしてその操作スイッチを操作することにより、警備モードを、警備セットモードか警備解除モードの何れかに設定することができる。ここで警備セットモードは、異常がなければ、監視対象１０は無人状態であることが想定され、そのため監視画像から監視対象１０への侵入物体を検出するモードである。一方、警備解除モードは、監視対象１０に利用者がいる状態であることが想定され、そのため、監視対象１０への侵入物体を検出しないモードである。コントローラ１は、警備モードが変更される度、現在設定されている警備モードを各画像センサ２及び監視装置６へ通知する。

さらにコントローラ１は、監視装置６から受信した、あるいはユーザによるユーザインターフェースの操作に基づく画像送出要求信号を、そのコントローラ１に接続された何れかの画像センサ２に対して送信する。そしてコントローラ１は、その画像送出要求信号にしたがって送られてきた監視領域のカラー画像及びＩＲ画像の両方または何れか一方を、監視装置６へ転送する。またコントローラ１は、監視装置６から受信した、あるいはユーザによるユーザインターフェースの操作に基づく画像送出停止信号を、画像送出中の画像センサ２に送ることにより、画像送出を停止させる。

録画装置３は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ−ＲＡＭなどの光記録媒体のように、録画装置３に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。そして録画装置３は、画像センサ２が撮影した監視領域のカラー画像及びＩＲ画像の両方または何れか一方を、コントローラ１から受け取り、撮影時刻と関連付けて記録する。

監視装置６は、いわゆるコンピュータで構成され、監視装置６を操作するためのユーザインターフェースと、通信網５を介してコントローラ１と通信するための通信インターフェースと、液晶ディスプレイなどの表示部と、ブザーやＬＥＤなどで構成される報知部を有する。そして監視装置６は、コントローラ１から通信網５を介して異常発生信号を受信すると、その異常発生信号を送信したコントローラ１が設置された監視対象１０及び検出された異常の内容を、報知部及び表示部を通じて、監視員に報知する。さらに監視装置６は、異常発生信号を送信してきたコントローラ１から受信した、異常が検知された監視領域の画像（カラー画像またはＩＲ画像若しくはその両方を含む）を表示部に表示して、監視員が画像を参照しつつ侵入物体を確認することを可能とする。

また監視装置６は、監視員の操作にしたがって、任意のコントローラ１に対して、そのコントローラ１に接続されている何れかの画像センサ２により撮影されたカラー画像及びＩＲ画像の両方または何れか一方を、監視装置６へ送出することを要求する画像送出要求信号を送信する。そして監視装置６は、その画像送出要求信号にしたがって送られてきた画像を表示部に表示することができる。また監視装置６は、監視員の操作にしたがって、画像送出中のコントローラ１に対して画像送出停止信号を送信することにより、その画像送出を停止させる。

次に、本発明を適用した画像センサ２の詳細について説明する。図２に、画像センサ２の機能ブロック図を示す。図２に示すように、画像センサ２は、制御部２０、照明部２１、撮像部２２、記憶部２３、通信部２４及び画像出力部２５を有する。

照明部２１は、監視領域を照明するための光源であり、撮像部２２の２次元検出器が感度を持つ近赤外領域の波長（例えば、850nm前後の波長）に十分な輝度を持つ光源（例えば、複数の赤外ＬＥＤあるいはキセノンランプなど）で構成される。なお、照明部２１は、近赤外領域だけでなく、可視光領域の波長についても十分な輝度を持つ光源を有してもよい。あるいは、照明部２１は、近赤外領域の波長を持つ光源と可視光領域の波長を持つ光源とを有し、それら２種類の光源を選択的に切り替えて点灯させることが可能なものでもよい。ただし、監視領域内への侵入者に監視されていることを悟らせたくない場合、あるいは可視光による照明が望まれない場合には、照明部２１は、可視光領域の波長の輝度が人に検知できないほど小さい光源であることが好ましい。
照明部２１は、後述する制御部２０の撮像制御部２０１により制御されて、点灯または消灯する。

撮像部２２は、１回の撮影において、可視光領域の波長（約400nm〜約830nm）を持つ光から監視領域のカラー画像と、近赤外領域の波長を持つ光から監視領域のＩＲ画像を、それぞれ監視画像として生成する。そのために、撮像部２２は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、可視光及び近赤外光に感度を有する光電変換器で構成された少なくとも一つの２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系と、２次元検出器から出力された電気信号を増幅し、アナログ−デジタル変換する電気回路などで構成される。なお、このような同時にカラー画像とＩＲ画像を取得できるカメラは、例えば特開２００５−１４３０３８号公報に開示されている。

ここでカラー画像は、青色領域の波長（約470nm前後）の光の成分についての強度を表す青色画像（Ｂ画像）と、緑色領域の波長（約530nm前後）の光の成分についての強度を表す緑色画像（Ｇ画像）と、赤色領域の波長（約700nm前後）の光の成分についての強度を表す赤色画像（Ｒ画像）の三つの画像により構成される。一方ＩＲ画像は、近赤外領域の波長（約850nm前後の波長）の光の成分についての強度を表す。
撮像部２２は、一定の時間間隔（例えば0.2秒）ごとに撮影し、撮影の度に同時に監視領域のカラー画像とＩＲ画像を取得する。そして撮像部２２は、得られたカラー画像及びＩＲ画像を制御部２０及び記憶部２３へ送信する。

記憶部２３は、半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体で構成される。そして記憶部２３は、侵入物体検出の基準となる背景画像及び侵入物体が検出された異常画像を記憶する。さらに記憶部２３は、制御部２０上で実行されるプログラム、そのプログラムにより使用される各種設定パラメータ、画像処理の結果あるいは途中結果として得られた計算値あるいは画像なども記憶する。そして記憶部２３は、制御部２０からの制御信号にしたがって、上記の画像または計算値などを記憶し、あるいは記憶している各種の情報を制御部２０へ渡す。

通信部２４は、画像センサ２とコントローラ１との間で構内ＬＡＮ４などの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インタフェースであり、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部２４は、コントローラ１から警備モード設定信号、画像送出要求信号または画像送出停止信号を受信する。また通信部２４は、制御部２０によって侵入物体が検出されたことを示す侵入異常発生信号をコントローラ１へ出力する。

画像出力部２５は、画像送信専用の通信回線のインターフェース回路及びその回路を駆動するドライバソフトウェアなどで構成される。制御部２０がコントローラ１から（または監視装置６からコントローラ１を介して）画像送出要求信号を受信すると、制御部２０は画像出力部２５を介して記憶部２３に記憶されている監視領域のカラー画像及びＩＲ画像の両方または何れか一方をコントローラ１へ出力する。なお、画像出力部２５は、撮像部２２により取得された監視領域のカラー画像及びＩＲ画像の両方または何れか一方を、コントローラ１へ常時出力するようにしてもよい。

制御部２０は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２全体を制御する。そのために、制御部２０は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される撮像制御部２０１と、画像処理部２０２とを有する。

撮像制御部２０１は、設定された警備モードにしたがって照明部２１を点灯させるか否かを決定し、照明部２１を点灯させる際には、撮像部２２による撮像のタイミングと、照明部２１が照明するタイミングの同期をとる。ここで、撮像制御部２０１は、コントローラ１から受信した警備モード設定信号を参照して、警備モードが警備セットモードか警備解除モードの何れに設定されているかを確認する。
そして警備モードが警備セットモードに設定されている場合、撮像制御部２０１は、監視領域の明るさによらず、撮像部２２が撮影する度に、その撮影のタイミングに合わせて照明部２１を点灯させて監視領域を照明する。あるいは、この場合、撮像制御部２０１は照明部２１を連続的に点灯させてもよい。

一方、警備モードが警備解除モードに設定されている場合、画像センサ２が画像送出要求信号を受信すると、撮像制御部２０１は、監視領域の明るさに基づいて照明部２１を点灯させるか否かを決定する。そして撮像制御部２０１は、照明なしで撮影するには監視領域が暗過ぎると判断した場合には、撮像部２２が撮影する度に、その撮影のタイミングに合わせて照明部２１を点灯させて監視領域を照明する。照明部２１を点灯させるか否かを決定するために、例えば、撮像制御部２０１は、撮像部２２により１フレーム前に撮影された監視領域のＩＲ画像またはカラー画像の各画素の平均輝度を算出する。そして撮像制御部２０１は、その平均輝度が所定の閾値未満である場合、監視領域が暗過ぎると判断して照明部２１を点灯させる。一方、撮像制御部２０１は、その平均輝度が所定の閾値以上である場合、監視領域は十分に明るいと判断して照明部２１を点灯しない。あるいは、画像センサ２が監視領域の明るさを検出する照度センサを有してもよく、その照度センサにより検出された監視領域の照度が所定の閾値未満である場合、撮像制御部２０１は、照明部２１を点灯させてもよい。
なお、撮像制御部２０１は、警備モードが警備解除モードに設定されている場合であっても、画像センサ２が画像送出要求信号を受信してから画像送出停止信号を受信するまでの間、照明部２１を連続的に点灯させてもよい。

図２を再度参照すると、画像処理部２０２は、植物確信度算出手段２１１、変化領域抽出手段２１２、外乱属性度算出手段２１３、侵入物体属性度算出手段２１４及び判定手段２１５を有する。画像処理部２０２は、これらの手段を有することにより、撮像部２２により撮影された監視領域の監視画像に基づいて、監視領域内への侵入物体の有無を判定する。
以下、画像処理部２０２の各部について詳細に説明する。

植物確信度算出手段２１１は、同時に取得されたＩＲ画像とカラー画像から、それらの画像の対応する画素の輝度値に基づいて、植物らしさの度合いを表す植物確信度を算出する。本実施形態では、植物確信度算出手段２１１は、植物確信度として近似的に正規化植生指数（ＮＤＶＩ）を算出する。正規化植生指数（ＮＤＶＩ）は次式で定義される。

ここで、irは近赤外領域の波長に対する反射率を表し、rは赤色領域の波長に対する反射率を表す。正規化植生指数は、植物の光合成有効放射吸収量（ＡＰＡＲ）または植物バイオマス量、葉面積指数（ＬＡＩ）などと高い関連があり、リモートセンシングの分野において、植物の生育量把握あるいは作物収量の推定などに利用されている量である。また、（１）式から明らかなように、正規化植生指数は−１〜＋１の範囲内の値となり、特に、対象となる物体が赤色領域の波長と比較して近赤外領域の波長の光を多く反射するほど、正規化植生指数は＋１に近い値となる。ここで、正規化植生指数の算出対象となる物体が木の葉である場合、木の葉は赤色領域の波長の光をほとんど反射しない一方、近赤外領域の波長の光を良好に反射するので、木の葉に対する正規化植生指数は＋１に近い値となる。そのため、正規化植生指数は、植物らしさの度合いを表す植物確信度として非常に適した指標である。

本実施形態において、植物確信度算出手段２１１は、上記の（１）式を用いて、同時に取得されたＩＲ画像及びカラー画像の各画素ごとに正規化植生指数を植物確信度として算出する。そのために、植物確信度算出手段２１１は、ＩＲ画像の着目する画素の輝度値を（１）におけるirとし、カラー画像のうちの赤色画像の着目する画素の輝度値を（１）におけるrとして、近似的に正規化植生指数を算出する。特に、太陽光のように、可視光領域から近赤外領域まで、比較的均一な強度を持つ照明光で監視領域が照明される場合、監視領域内の物体により反射された光の可視光領域から近赤外領域に含まれる波長に対する強度は、その波長領域に含まれる各波長に対する反射率に比例する。そのため、赤色画像の着目画素の輝度値及びＩＲ画像の着目画素の輝度値を、赤色領域の波長に対する反射率及び近赤外領域の波長に対する反射率の代わりに使用することにより、近似的に正規化植生指数を算出することができる。
なお、植物確信度は、ＩＲ画像の画素の輝度値が赤色画像の対応する画素の輝度値よりも大きくなるほど高くなる値であればよく、例えば、正規化植生指数の代わりに、ir/(ir+r)、あるいはir/rに所定の正規化係数を乗じた値などを用いてもよい。

植物確信度算出手段２１１は、同時に取得されたＩＲ画像及びカラー画像の各画素ごとに植物確信度を算出し、その結果に基づいて瞬時植栽領域画像と蓄積植栽領域画像の２種類の画像を作成する。
瞬時植栽領域画像は、同時に取得された一組のＩＲ画像とカラー画像から求められる、ある瞬間において木の葉に対応する可能性の高い瞬時植栽領域を表す２値化画像である。そのため、植物確信度算出手段２１１は、各画素について求められた植物確信度をそれぞれ所定の閾値と比較し、植物確信度がその閾値よりも大きければ'1'、植物確信度がその閾値以下であれば'0'となるように２値化処理を行って、瞬時植栽領域画像を作成する。したがって、この実施形態の場合、瞬時植栽領域は画素値'1'の画素の集合領域となる。なお、所定の閾値は、特定の画素が木の葉に対応する可能性が少しでもある場合に、その画素を木の葉に相当する領域として抽出できる値（例えば、0.2）に設定される。ただし、実施形態によっては、所定の閾値は、これよりも高い値とすることができ、例えば、特定の画素が木の葉である可能性が非常に高い場合にのみ、その画素が抽出されるような値（例えば、0.6）としてもよい。

植物確信度算出手段２１１は、撮像部２２により監視領域の画像が撮影される度に新たな瞬時植栽領域画像を作成する。そして植物確信度算出手段２１１は、新たに作成した瞬時植栽領域画像を記憶部２３に記憶する。そのため、植栽が大きく揺れている場合でも、瞬時植栽領域は植栽の揺れに追従して変化するので、瞬時植栽領域は特定時点における植栽の位置及び形状を表すことができる。なお、記憶部２３は、後述する蓄積植栽領域画像の作成のために、過去一定期間の間（例えば、１分間）に作成された複数の瞬時植栽領域画像を記憶する。

一方、蓄積植栽領域画像は、時間的に連続して取得された複数の瞬時植栽領域画像において、所定回数以上瞬時植栽領域となったことのある画素の集合である蓄積植栽領域を表す２値化画像である。そのために、植物確信度算出手段２１１は、記憶部２３に記憶されている、過去一定期間の間に作成された瞬時植栽領域画像の画素値を、各画素ごとに累積加算する。そして、植物確信度算出手段２１１は、累積加算された画素値を、瞬時植栽領域画像の加算枚数に所定割合を乗じて得た所定回数で除し、その計算結果が１以上となった画素と１未満の画素に２値化して、蓄積植栽領域画像を求める。なお、所定回数は、最低でも２となるようにに決定される。例えば、その所定回数は、常に木の葉が写っている可能性の高い画素を抽出するために、加算枚数の半分以上、あるいは3/4以上に設定することが好ましい。このため、蓄積植栽領域は、瞬時植栽領域よりも時間的にゆっくりと変化し、長時間にわたり木の葉が写っている領域に対応する。
植物確信度算出手段２１１は、撮像部２２により監視領域の画像が撮影される度に蓄積植栽領域画像を更新し、記憶部２３に記憶する。

変化領域抽出手段２１２は、新たな監視領域の画像が取得される度に、輝度値に変化のある変化領域を抽出する。そのために、変化領域抽出手段２１２は、最新の監視領域のＩＲ画像と、記憶部２３に記憶されている背景画像との間で差分演算を行い、対応画素間の輝度差を求める。なお、背景画像は、侵入物体が存在しない状態の監視領域を過去に撮影したＩＲ画像とすることができる。または、背景画像は、侵入物体が存在しない状態の監視領域を過去に撮影した複数毎のＩＲ画像に基づいて、各画素ごとに輝度値を平均することにより作成される。あるいはまた、背景画像は、１フレーム前に取得された監視領域のＩＲ画像であってもよい。そして変化領域抽出手段２１２は、その輝度差の絶対値が、所定の差分２値化閾値以上となる画素を変動画素として検出する。なお、昼間時、あるいは可視光で照明された監視領域を撮影したカラー画像が得られる場合には、変化領域抽出手段２１２は、最新のＩＲ画像及び過去に取得された監視領域のＩＲ画像に基づいて作成された背景画像の代わりに、監視領域の最新のカラー画像と、過去に取得された監視領域のカラー画像から作成された背景画像を用いてもよい。

変化領域抽出手段２１２は、検出された変動画素をラベリングして、変動画素同士が一つに連結された領域を変化領域として抽出する。なお、同時に抽出される変化領域の数は一つに限られず、複数の変化領域が抽出されてもよい。さらに変化領域抽出手段２１２は、その変化領域に含まれる変動画素の画素数（すなわち変化領域のサイズ）、変化領域の形状を特徴量として算出する。変化領域抽出手段２１２は、算出した特徴量が、検出対象である移動物体に対応する所定の条件を満たす場合、その変化領域を侵入物体候補領域として抽出する。なお、上記のような背景画像の作成処理、及び背景差分による侵入物体候補領域の抽出処理は公知であるので、ここではその詳細な説明を省略する。
変化領域抽出手段２１２は、抽出した侵入物体候補領域を外乱属性度算出手段２１３及び侵入物体属性度算出手段２１４へ渡す。

外乱属性度算出手段２１３は、変化領域抽出手段２１２により抽出された侵入物体候補領域ごとに、その領域が侵入物体以外のものである可能性を表す外乱属性度を算出する。本実施形態では、外乱属性度dは以下の式にて算出される。
外乱属性度d ＝ max(光属性度l、影属性度s、植栽領域度p) （２）
ここで関数max(l,s,p)は、変数l,s,pのうちの最大値を出力する関数である。

光属性度lは、侵入物体候補領域が光らしい度合いを表す量である。光属性度lは、以下の各特徴量l₁〜l₃について、光らしいほど１に近い値を有し、光らしくないほど０に近い値を有するように正規化し、それらの重み付け和として定義される。
特徴量l₁：侵入物体候補領域における最新のＩＲ画像の平均輝度値から、当該領域における背景画像の平均輝度値を引いた差を、ＩＲ画像の画素が取り得る輝度値の最大値で除した値。これは光が当たった部分は明るくなることを捉えたものである。
特徴量l₂：侵入物体候補領域における最新のＩＲ画像と背景画像の正規化相関値。これは光が当たっても、その内部に含まれる形状情報（テクスチャ情報）は変わらないことを捉えたものである。
特徴量l₃：侵入物体候補領域における背景画像に対する最新のＩＲ画像のエッジ画素数の増加割合。これは、光が当たっても、その内部にて抽出されるエッジ画素数はおおよそ変わらないことを捉えたものである。特徴量l₃は、増加割合が小さいほど１に近い値とする。
なお、上記各特徴量の算出において、背景画像としてカラー画像が記憶されている場合には、最新のＩＲ画像の代わりに、監視領域を撮影した最新のカラー画像が使用される。

外乱属性度算出手段２１３は、上記の各特徴量l₁〜l₃を算出すると、下記の式により、光属性度lを算出する。
光属性度l ＝ β₁×l₁＋β₂×l₂＋β₃×l₃ （３）
ただし、β₁〜β₃は重み係数であり、その合計（Σβ_i）は１である。なお、β₁〜β₃の具体的な値をどのように設定するかは、画像センサ２が設置される環境などに応じて適宜最適化される。また、外乱属性度算出手段２１３は、上記の各特徴量l₁〜l₃のうちの一部の特徴量のみの重み付け和により、光属性度lを算出してもよい。

影属性度sは、侵入物体候補領域が影らしい度合いを表す量である。影属性度sは、以下の各特徴量s₁〜s₃について、影らしいほど１に近い値を有し、影らしくないほど０に近い値を有するように正規化し、それらの重み付け和として定義される。
特徴量s₁：侵入物体候補領域における背景画像の平均輝度値から、当該領域における最新のＩＲ画像の平均輝度値を引いた差を、ＩＲ画像の画素が取り得る輝度値の最大値で除した値。これは影となった部分は暗くなることを捉えたものである。
特徴量s₂：侵入物体候補領域における最新のＩＲ画像と背景画像の正規化相関値。これは影になっても、その内部に含まれる形状情報（テクスチャ情報）は変わらないことを捉えたものである。
特徴量s₃：侵入物体候補領域における背景画像に対する最新のＩＲ画像のエッジ画素数の増加割合。これは、影になっても、その内部にて抽出されるエッジ画素数はおおよそ変わらないことを捉えたものである。特徴量s₃は、増加割合が小さいほど１に近い値とする。

外乱属性度算出手段２１３は、上記の各特徴量s₁〜s₃を算出すると、下記の式により、影属性度sを算出する。
影属性度s ＝ γ₁×s₁＋γ₂×s₂＋γ₃×s₃ （４）
ただし、γ₁〜γ₃は重み係数であり、その合計（Σγ_i）は１である。なお、γ₁〜γ₃の具体的な値をどのように設定するかは、画像センサ２が設置される環境などに応じて適宜最適化される。また、外乱属性度算出手段２１３は、上記の各特徴量s₁〜s₃のうちの一部の特徴量のみの重み付け和により、影属性度sを算出してもよい。
なお、外乱属性度算出手段２１３は、特開２００１−２４３４７５号公報に開示されているような公知の方法を利用して、光属性度l及び影属性度sを算出してもよい。

植栽領域度pは、侵入物体候補領域において植栽領域が占める割合を表す量である。植栽領域度pは、以下の各特徴量p₁及びp₂について、植栽らしいほど１に近い値を有し、植栽らしくないほど０に近い値を有するように正規化し、そのうちの大きい方の値（すなわち、p=max(p₁,p₂)）として定義される。
特徴量p₁：侵入物体候補領域の全画素数nに対する、その侵入物体候補領域と瞬時植栽領域の重なっている画素の数niの割合(ni/n)。
特徴量p₂：侵入物体候補領域の全画素数nに対する、その侵入物体候補領域と蓄積植栽領域の重なっている画素の数ncの割合(nc/n)。

また、植栽領域度pを以下のように定義してもよい。蓄積植栽領域は、植栽が揺れているときでも植栽が写っている領域に相当する可能性が高い。そのため、瞬時植栽領域のうち、蓄積植栽領域と重なっている領域あるいは蓄積植栽領域の周辺近傍で検出された瞬時植栽領域は、植栽が写っている可能性が非常に高い。そこで、植栽領域度pを、侵入物体候補領域の全画素数nに対する、その侵入物体候補領域と、瞬時植栽領域と、蓄積植栽領域またはその近傍画素（例えば、蓄積植栽領域から３画素以内）の三つの領域が重なっている画素の数nsの割合(ns/n)で定義してもよい。

外乱属性度算出手段２１３は、各侵入物体候補領域ごとに、光属性度l、影属性度s及び植栽領域度pを算出すると、それらの値を用いて、上記の（２）式に従って外乱属性度dを算出する。そして外乱属性度算出手段２１３は、算出した外乱属性度dを判定手段２１５へ渡す。

侵入物体属性度算出手段２１４は、変化領域抽出手段２１２により抽出された侵入物体候補領域ごとに、その領域の侵入物体らしさの度合いを表す侵入物体属性度を算出する。本実施形態では、侵入物体属性度fは、侵入物体候補領域が侵入者である可能性を表す複数の特徴量f₁〜f₃に基づいて算出される。各特徴量f₁〜f₃は、侵入者らしいほど１に近い値を有し、侵入者らしくないほど０に近い値を有するように正規化される。
特徴量f₁：侵入物体候補領域に含まれる画素数が、人の大きさに対応する所定範囲に含まれるか否かの指標。その画素数が所定範囲に含まれる場合、１となり、所定範囲から外れる場合、０となる。
特徴量f₂：侵入物体候補領域における最新のＩＲ画像と背景画像の正規化相関値cを１から引いた値（1-c）。すなわち、正規化相関値が低いほど、侵入者らしいことを表す。
特徴量f₃：侵入物体候補領域に含まれる画素数に対する、その領域内の最新のカラー画像の各画素のうち肌色に対応する色を持つ画素数の比率。
侵入物体属性度算出手段２１４は、上記の各特徴量f₁〜f₃を算出すると、下記の式により、侵入物体属性度fを算出する。
侵入物体属性度f ＝ α₁×f₁＋α₂×f₂＋α₃×f₃ （５）
ただし、α₁〜α₃は重み係数であり、その合計（Σα_i）は１である。なお、α₁〜α₃の具体的な値をどのように設定するかは、画像センサ２が設置される環境などに応じて適宜最適化される。また、侵入物体属性度算出手段２１４は、上記の各特徴量f₁〜f₃のうちの一部の特徴量のみの重み付け和により、侵入物体属性度fを算出してもよい。あるいは、侵入物体属性度算出手段２１４は、上記の各特徴量f₁〜f₃のうちの一部の特徴量を、検出対象物体に応じて別の特徴量に入れ替えてもよい。例えば、検出対象物体が車であれば、侵入物体属性度算出手段２１４は上記の特徴量f₃を使用せず、特徴量f₁についても基準となる画素数の所定範囲も車のサイズに合わせた値に修正される。
なお、侵入物体属性度の算出方法として、侵入物体属性度算出手段２１４は特開２００１−２４３４７５号公報に開示されている人属性算出方法のような公知の方法を利用してもよい。

侵入物体属性度算出手段２１４は、各侵入物体候補領域ごとに算出した侵入物体属性度fを判定手段２１５へ渡す。

判定手段２１５は、各侵入物体候補領域ごとに、対応する侵入物体属性度f及び外乱属性度dに基づいて、その侵入物体候補領域に侵入物体が写っているか否かを判定する。具体的には、判定手段２１５は、着目する侵入物体候補領域ごとに、対応する侵入物体属性度fと外乱属性度dとを比較する。そして判定手段２１５は、侵入物体属性度fが外乱属性度dよりも大きい場合、その着目する侵入物体候補領域に侵入物体が写っている、すなわち、監視領域内に侵入物体が存在すると判定する。一方、侵入物体属性度fが外乱属性度d以下の場合、判定手段２１５は、その着目する侵入物体候補領域は植栽などの外乱によるものであり、侵入物体は写っていないと判定する。

なお、判定手段２１５は、侵入物体属性度f及び外乱属性度dを入力とし、侵入物体である確信度を出力とする、ファジー理論のメンバシップ関数を用いて、侵入物体か否かを判定してもよい。この場合、判定手段２１５は、着目する侵入物体候補領域についての侵入物体属性度f及び外乱属性度dをそのメンバシップ関数に入力して得られた確信度が所定の閾値以上の場合、その着目する侵入物体候補領域に侵入物体が写っていると判定する。あるいは判定手段２１５は、侵入物体属性度f及び外乱属性度dを入力とし、侵入物体であるか否かを出力する判別関数、パーセプトロンタイプのニューラルネットワークまたはサポートベクトルマシンを用いて、侵入物体か否かを判定してもよい。

判定手段２１５が監視領域への侵入物体を検出すると、制御部２０は、その旨を表す侵入異常発生信号を通信部２４を介してコントローラ１へ通知する。また制御部２０は、侵入物体が検出された監視領域のＩＲ画像及びカラー画像の両方または何れか一方を、画像出力部２５を介してコントローラ１へ送出する。
なお、判定手段２１５は、警備モードが警備解除モードである場合には、上記のように、利用者など異常検出の対象外の人物が監視領域内に存在することが想定されるので、監視領域内への侵入物体を検出しない。

図３に示したフローチャートを参照しつつ、画像センサ２が警備セットモードに設定されているときの侵入物体検出動作を説明する。なお、以下に説明する侵入物体検出動作は、制御部２０によって制御され、撮像部２２による画像取得間隔で繰り返し実行される。
まず、撮像部２２により監視領域のカラー画像とＩＲ画像が取得され、制御部２０に渡される（ステップＳ１１０）。制御部２０がカラー画像とＩＲ画像を受け取ると、画像処理部２０２の植物確信度算出手段２１１が、それらの画像に基づいて植物確信度を算出する。さらに植物確信度算出手段２１１は、求めた植物確信度を用いて、瞬時植栽領域画像及び蓄積植栽領域画像を求める（ステップＳ１２０）。
次に、画像処理部２０２の変化領域抽出手段２１２は、受け取った最新のカラー画像またはＩＲ画像と背景画像との背景差分を行って変化領域を抽出し、そのうちの所定の条件を満たす領域を侵入物体候補領域とする（ステップＳ１３０）。

その後、画像処理部２０２の外乱属性度算出手段２１３は、抽出された侵入物体候補領域ごとに、外乱属性度dを算出する（ステップＳ１４０）。一方、画像処理部２０２の侵入物体属性度算出手段２１４は、抽出された侵入物体候補領域ごとに、侵入物体属性度fを算出する（ステップＳ１５０）。
抽出された侵入物体候補領域について外乱属性度d及び侵入物体属性度fが算出されると、画像処理部２０２の判定手段２１５は、その外乱属性度d及び侵入物体属性度fに基づいて監視領域内に侵入物体が存在するか否か判定する（ステップＳ１６０）。そして判定手段２１５が侵入物体が存在すると判定した場合、制御部２０は、侵入物体が検出されたことをコントローラ１へ通報する（ステップＳ１７０）。
ステップＳ１７０の後、あるいはステップＳ１６０で監視領域に侵入物体が存在しないと判定された後、制御部２０は侵入物体検出処理を終了する。
なお、上記の各ステップにおける処理の詳細については、画像センサ２の各部の説明において詳しく説明したので、ここではその説明を省略する。

以上説明してきたように、本発明に係る画像センサは、同時に取得された監視領域のＩＲ画像とカラー画像から、各画素ごとに植物らしさの度合いを表す植物確信度を求め、植物確信度が高い画素の集合に対応する領域を侵入物体として検出し難くしている。そのため、係る画像センサは、植栽の揺れによって輝度が変化する領域が検出されたとしても、その領域を誤って侵入物体と誤判定することを防止できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、植物確信度算出手段２１１は、瞬時植栽領域画像のみを作成してもよい。この場合、外乱属性度算出手段２１３は、上記の特徴量p₁を植栽領域度pとすればよい。あるいはまた、植物確信度算出手段２１１は、蓄積植栽領域画像のみを外乱属性度算出手段２１３に渡してもよい。この場合、外乱属性度算出手段２１３は、上記の特徴量p₂を植栽領域度pとすればよい。

また植物確信度を、外乱属性度の算出に利用する代わりに、あるいは外乱属性度の算出とともに、侵入物体候補領域を抽出するために利用してもよい。この場合、変化領域抽出手段２１２は、記憶部２３に記憶されている蓄積植栽領域画像または瞬時植栽領域画像を参照し、抽出した変化領域から蓄積植栽領域または瞬時植栽領域の何れか一方または両方と重なっている領域を除いた後、変化領域に関する上記の所定の条件を満たすか否か判定して侵入物体候補領域とするか否かを決定してもよい。
あるいは、変化領域抽出手段２１２は、蓄積植栽領域または瞬時植栽領域の何れか一方または両方に含まれる画素に対する差分２値化閾値を、蓄積植栽領域にも瞬時植栽領域にも含まれない画素に対する差分２値化閾値よりも高くしてもよい。あるいは、変化領域抽出手段２１２は、瞬時植栽領域と、蓄積植栽領域の近傍画素（例えば、蓄積植栽領域から３画素以内）が重なる画素に対する差分閾値を、瞬時植栽領域と、蓄積植栽領域の近傍画素が重ならない画素に対する差分閾値よりも高くしてもよい。さらに、変化領域抽出手段２１２は、各画素について求められた植物確信度が高くなるにつれて大きな値となるように差分２値化閾値を設定してもよい。例えば、正規化植生指数が植物確信度として算出される場合、正規化植生指数が1のとき、差分２値化閾値をカラー画像あるいはＩＲ画像の画素が取り得る輝度値の最大値とし、正規化植生指数が0のとき、差分２値化閾値を差分画像の輝度値の平均値とすることができる。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明に係る画像センサを用いた警備システムのシステム構成図である。本発明を適用した画像センサの機能ブロック図である。画像センサの侵入物体検出動作を示すフローチャートである。

符号の説明

１０００警備システム
１コントローラ
２画像センサ
３録画装置
４構内ＬＡＮ
５通信網
６監視装置
１０監視対象
１１警備センタ
２０制御部
２１照明部
２２撮像部
２３記憶部
２４通信部
２５画像出力部
２０１撮像制御部
２０２画像処理部
２１１植物確信度算出手段
２１２変化領域抽出手段
２１３外乱属性度算出手段
２１４侵入物体属性度算出手段
２１５判定手段

Claims

監視領域内に侵入した侵入物体を検出する画像センサであって、
監視領域を撮影した赤色画像を含むカラー画像と近赤外画像とを同時に取得する撮像部と、
前記撮像部により監視領域を過去に撮影した画像から作成された基準画像を記憶する記憶部と、
前記赤色画像及び近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出し、該植物確信度が植物であることを示す所定の閾値以上となる画素の集合を植栽領域として抽出する植物確信度算出手段と、
前記カラー画像または近赤外画像と前記基準画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、
前記変化領域に占める前記植栽領域と重なった領域の割合が大きいほど外乱らしさが高くなる外乱属性度を算出する外乱属性度算出手段と、
前記侵入物体属性度及び前記外乱属性度に基づいて前記変化領域が侵入物体か否かを判定する判定手段と、
を有することを特徴とする画像センサ。
監視領域内に侵入した侵入物体を検出する画像センサであって、
監視領域を撮影した赤色画像を含むカラー画像と近赤外画像とを同時に取得する撮像部と、
前記撮像部により監視領域を過去に撮影した画像から作成された基準画像を記憶する記憶部と、
前記赤色画像及び近赤外画像の各画素の輝度値から、画素毎に植物らしさの度合いを表す植物確信度を算出する植物確信度算出手段と、
前記カラー画像または近赤外画像と前記基準画像の差分によって、各画素ごとの輝度値差を算出し、当該輝度値差が差分２値化閾値よりも大きい画素の集合を変化領域として抽出する変化領域抽出手段と、
前記変化領域について、侵入物体らしさを表す侵入物体属性度を算出する侵入物体属性度算出手段と、
前記変化領域について、外乱らしさを表す外乱属性度を算出する外乱属性度算出手段と、
前記侵入物体属性度及び前記外乱属性度算出度に基づいて、前記変化領域が侵入物体か否かを判定する判定手段と、を有し、
前記変化領域抽出手段は、前記植物確信度が第１の値となる画素が、前記植物確信度が前記第１の値よりも低い第２の値となる画素よりも前記変化領域に含まれ難くすることを特徴とする画像センサ。
前記植物確信度は、前記近赤外画像の画素の輝度値が前記赤色画像の対応する画素の輝度値よりも大きくなるほど高くなる値である、請求項１または２に記載の画像センサ。
前記植物確信度算出手段は、前記撮像部により前記赤色画像及び近赤外画像が取得される度に、前記植物確信度が前記所定の閾値以上となる画素の集合を求めて瞬時植栽領域とし、一定期間の間に求められた複数の瞬時植栽領域のうちの少なくとも２個以上が重なった領域を前記植栽領域とする、請求項１に記載の画像センサ。