JP6133700B2

JP6133700B2 - 画像センサ

Info

Publication number: JP6133700B2
Application number: JP2013126158A
Authority: JP
Inventors: 全史大津
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2013-06-14
Filing date: 2013-06-14
Publication date: 2017-05-24
Anticipated expiration: 2033-06-14
Also published as: JP2015001835A

Description

本発明は、監視領域を撮像した画像を順次処理し、監視領域中に検出対象が存在するか否かを判定する画像センサに関する。

従来、監視領域の画像をカメラにて撮像し、撮像した画像と基準画像とを比較して変化のある領域（変化領域）を求め、変化領域の大きさに基づいて侵入者等の検出対象の有無を判定する画像センサがある。

このような画像センサにおいては、人間以外にも監視領域に飛来する虫が撮像されることがある。特に、カメラの近傍に存在する虫が撮像された場合、画像上の大きさが人間程度となり、虫を侵入者として検出してしまうというおそれがある。

そこで、飛来した虫等と人間を区別するための対策が施されている。例えば、夜間のように監視領域が暗い場合であっても侵入者が撮像されるように照明を設けた画像センサにおいて、この照明の光量を切り替えて画像を撮像することによって虫等と人間を区別する技術が開示されている。特許文献１には、監視領域全域に対する照明とカメラの近傍に限定した照明を用いて撮像された２枚の画像を比較し、カメラの近傍に限定した照明においても高輝度に写された物体をカメラ近傍の虫と判定することで、虫等と人間を区別する画像センサが記載されている。

特開２０００−３４８２６６号公報

ところで、カメラの近傍に限定した照明を用いて撮像を行った場合であっても完全に光の到達する距離を制御できるわけではなく、光を反射しやすい白い服等を着た人間は、カメラの近傍に限定した照明からの光を反射してしまうことがある。このような人間と虫は、共に、照明の光が反射して高輝度領域となって画像上に現れるので、従来の方式のみでは、区別が困難となる場合があった。

そこで、本発明は、カメラの近傍に限定した照明で高輝度に写された物体について、虫等と人間を区別できる画像センサを提供することを目的とする。

本発明の１つの態様は、監視領域を撮像する撮像部と、前記監視領域に対して照明を施す照明部と、前記撮像部において撮像された画像の変化に基づき前記撮像部から離れた位置に存在する検出対象と前記撮像部の近くに存在する非検出対象を識別する画像処理部と、前記照明部を点灯して撮像した画像であって前記検出対象が写されていない画像を背景画像として記憶する記憶部と、を有する画像センサであって、前記画像処理部は、前記照明部を点灯して撮像された画像と前記背景画像との差分領域の輪郭を輪郭領域として抽出する輪郭領域抽出手段と、前記照明部を点灯して撮像された画像から、前記非検出対象の輪郭として画像上に現れるエッジ強度以上のエッジを強エッジ領域として抽出する強エッジ領域抽出手段と、前記輪郭領域と前記強エッジ領域との類似している程度を特徴量として算出する特徴算出手段と、前記特徴量を用いて前記類似している程度が低い場合は、高い場合よりも前記検出対象と判定しやすくする判定手段と、を備えることを特徴とする。

ここで、さらに、前記検出対象の有無を判定する領域を抽出する判定領域抽出手段を備え、前記画像処理部は、前記判定領域に対してのみ前記輪郭領域及び前記強エッジ領域の抽出を行うことが好適である。

また、前記特徴算出手段は、前記輪郭領域と前記強エッジ領域との重なり合っている比率を前記特徴量として算出することが好適である。

また、前記特徴算出手段は、前記輪郭領域の形状と前記強エッジ領域の形状との一致している程度である形状一致比率を前記特徴量として算出することが好適である。

また、前記照明部は、前記撮像部の近傍に限定して照明を行うことが好適である。

本発明によれば、撮像部近傍にいる虫等の非検出対象物と撮像部から離れた位置にいる侵入者等の検出対象物を明確に区別できる画像センサを提供することができる。

本発明の実施の形態における画像センサの構成を示すブロック図である。本発明の実施の形態における監視領域の侵入者と虫の位置を例示する図である。本発明の実施の形態における変化領域の抽出方法を説明する図である。本発明の実施の形態における差分領域、輪郭領域及び強エッジ領域の抽出方法を説明する図である。本発明の実施の形態における画像処理方法のフローチャートを示す図である。本発明の実施の形態における人属性値及び虫属性値の算出方法を説明する図である。本発明の変形例における強エッジ領域の抽出方法を説明する図である。本発明の変形例における虫属性値の算出方法を説明する図である。

本発明の実施の形態である画像センサについて、図面に基づいて説明する。画像センサは、建物内外の監視領域について検出対象の存否を検出する装置である。以下、画像センサは、監視領域への侵入者を検出対象として検出するセンサとして説明する。

図１は、本発明の実施形態である画像センサ１の構成を示した図である。画像センサ１は、照明部２０、撮像制御部３０、撮像部４０、記憶部５０、画像処理部６０及び出力部７０から構成される。

照明部２０及び撮像部４０は、撮像制御部３０にて制御される。撮像制御部３０によって照明部２０の照明の強度と撮像部４０のシャッター速度との関係が調整されることによって、撮像部４０は、照明部２０の光によって監視領域全域が明るく写された通常照明画像５１と照明部２０の光によって撮像部４０の近傍が明るく写された近傍照明画像５３を撮像する。また、通常背景画像５２は、照明部２０の光によって監視領域全域が明るく写された画像であって監視領域内に侵入者が存在しないときの画像である。また、近傍背景画像５４は、照明部２０の光によって撮像部４０の近傍が明るく写された画像であって監視領域内に侵入者が存在しないときの画像である。

撮像部４０で撮影された各種画像は、Ａ／Ｄ変換によりデジタル画像に変換されて、記憶部５０に記憶される。また、記憶部５０には、通常照明画像５１及び近傍照明画像５３に対応する条件で監視領域内に侵入者が存在しないときの画像がそれぞれ通常背景画像５２及び近傍背景画像５４として記憶される。これらの背景画像は、背景画像更新手段６７にて適宜更新される。

画像処理部６０は、記憶部５０に記憶された画像を撮影した順に処理し、監視領域への侵入者の存否を判定する。画像処理部６０にて侵入者の存在を検出すると、出力部７０は、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する構成とすることができる。また、画像センサ１は、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に接続され、出力部７０は、異常信号を監視センタに出力することによって、異常の発生を監視センタに通知する構成としてもよい。

画像処理部６０は、一般的な処理部、記憶部、入力部等を備えたコンピュータにより画像処理プログラムを実行することにより実現することができる。

図２は、監視領域のイメージ図である。本実施の形態では、画像センサ１の撮像部４０が監視領域の上方に設置された例を示しており、撮像部４０は上方から下方に向けて所定の俯角で監視領域を撮像している。図２の例では、侵入者２と虫３が監視領域内に存在している状態を示している。

図３及び図４は、各処理にて生成される画像を示したものである。図３（ａ）は、通常照明画像５１の例であり、侵入者２と虫３が写されている。侵入者２と虫３は物体の大きさが異なるが、通常照明画像５１では、撮像部４０との距離の違いによって同じような大きさに写されている。図３（ｂ）は、侵入者２と虫３とが存在しない状態で監視領域を撮像した通常背景画像５２の例である。通常照明画像５１と通常背景画像５２との差分をとることにより、図３（ｃ）に示すように、背景差分画像５５が生成される。背景差分画像５５では、侵入者２による変化領域２Ａと虫３による変化領域３Ａがそれぞれ抽出される。本発明は、これらの変化領域２Ａ，３Ａを「人間」であるか否かを判定する判定領域とする。

図４（ａ）は、近傍照明画像５３の例であり、侵入者２と虫３が写されている。近傍照明画像５３では、侵入者２と虫３は同じように明るく写る物体であるが、写り方に違いがある。本実施の形態では、近傍照明画像５３で明るく写る物体の写り方の違いに着目することにより、通常照明画像５１から得られる特徴や近傍照明画像５３で明るく写るという特徴だけでは区別が困難である侵入者２と虫３を区別できるようにする。

具体的には、近傍照明画像５３で一様に明るく写された物体を“虫”と判定し、一様に明るく映らない物体（鉛直方向の輝度にグラデーションがあり、物体内のエッジが不明瞭となるように写された物体）を“侵入者”と判定する。図２に示したように、虫３は体が小さいために体全体の撮像部４０からの距離に大差がなく、体全体に一様に照明を受けて一様に反射して写る。これに対して、侵入者２である人間の身体は大きく、高さがあるため、身体全体の撮像部４０からの距離が頭部から脚部に向かって遠くなり、身体全体に照明が一様に当たらず、一様に反射し難くなるので、上方から下方に向かって輝度にグラデーションがあるように写る。身体を撮像した画像領域にグラデーションが発生することによって、脚部付近では画像の背景領域との明暗の差が小さくなる領域が生じ、身体部分では、上下にゆるやかな明暗の差が生じる。その結果として物体内のエッジが不明瞭となる。本実施の形態では、この差を利用して侵入者２と虫３とを区別する。

以下、画像センサ１を構成する照明部２０、撮像制御部３０、撮像部４０、記憶部５０、画像処理部６０及び出力部７０について詳細に説明する。

照明部２０は、夜間等、監視領域が暗い場合においても監視領域内に生じた変化を画像から検出できるように、監視領域に対して照明を施す。照明部２０は、監視領域全域を照らすことができる照明用ＬＥＤ等の照明装置を含んで構成される。照明部２０は、撮像制御部３０による制御に基づき、監視領域に対して様々な明るさで照明を点灯させる。例えば、照明用ＬＥＤには近赤外ＬＥＤを用いる。

撮像制御部３０は、照明部２０と撮像部４０の設定及び制御を行う。具体的には、撮像制御部３０は、通常照明画像５１と近傍照明画像５３を取得するために、照明部２０の点灯強度の制御を行い、撮像部４０の露光制御を行う。撮像制御部３０は、通常照明画像５１の取得時には、監視領域全体が適度な明るさで撮像されるように照明部２０及び撮像部４０を制御する。例えば、撮像部４０のシャッター速度を遅くし、照明部２０の照明点灯強度を強める。また、撮像制御部３０は、近傍照明画像５３の取得時には、監視領域の撮像部４０の近傍のみが明るく、遠方は暗く撮像されるように照明部２０及び撮像部４０を制御する。例えば、撮像部４０のシャッター速度を通常照明画像５１の撮像時より速くしたり、照明部２０の照明点灯強度を通常照明画像５１の撮像時より弱めたりする。なお、通常照明画像５１及び近傍照明画像５３の条件を満たすことができるなら、照明部２０の照明点灯強度の制御、又は、撮像部４０の露光制御のどちらか一方を制御するようにしてもよい。

撮像部４０は、監視領域を撮像し、通常照明画像５１と近傍照明画像５３を記憶部５０に出力する。撮像部４０は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像部４０は、撮像制御部３０からの制御に基づき、監視領域を撮影した撮像データ（通常照明画像５１、近傍照明画像５３等）をＡ／Ｄ変換したデジタル画像を記憶部５０に出力する。撮像は、所定時間間隔で行うことが好適である。

記憶部５０は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部５０は、撮像部４０及び画像処理部６０からアクセス可能であり、各種プログラムや各種データを記憶する。例えば、撮像部４０で撮影された各種画像データや外部から設定される設定情報を記憶し、画像処理部６０に対して出力する。設定情報は、外部より設定される画像センサ１の撮像部４０の設置高や俯角などの情報である。

画像処理部６０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）又はＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）等の演算装置により画像処理プログラムを実行することにより実現される。画像処理部６０は、後述する各手段で処理を記述した画像処理プログラムを記憶部５０から読み出して実行することにより、以下の各手段として機能する。画像処理部６０は、撮像部４０で撮影された監視画像を順に処理する。このとき、監視画像を古い画像から新しい画像へ向けて処理することが好ましい。例えば、監視画像を１フレーム毎順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部６０は、判定領域抽出手段６１、通常特徴算出手段６２、輪郭領域抽出手段６３、強エッジ領域抽出手段６４、近傍特徴算出手段６５、判定手段６６及び背景画像更新手段６７として機能する。

判定領域抽出手段６１は、記憶部５０に記憶された通常照明画像５１から、侵入者か否かの判定対象となる領域（判定領域）を抽出する。具体的には、通常照明画像５１と通常背景画像５２との間の輝度値の差分を求め、所定の閾値以上の差分のある領域を変化領域として抽出とする。変化領域は、差分が閾値以上の領域の画素値を“１”とし、閾値未満の領域の画素値を“０”とした二値画像としても表現することが好ましい。

さらに、判定領域抽出手段６１は、抽出された変化領域に対して、同一物体による変化領域についてラベル付けを行う。具体的には、８連結で隣接する画素をひとまとまりとしてラベル領域とし、近接する複数のラベル領域が一定の大きさや位置関係にあれば同一物体によるものであるとして１つのラベル領域に設定する。また、判定領域抽出手段６１は、複数の変化領域が所定距離以内にある場合、一定の大きさや位置関係にある変化領域を同一物体による変化領域であるとし、これらを１つ変化領域としてラベル付けしてもよい。本実施の形態では、１つのラベル領域を１つの判定領域として処理する。

なお、判定領域の抽出は、通常照明画像５１と通常背景画像５２との差分に限らず、異なる時刻に撮像された複数の通常照明画像５１のフレーム間差分が所定の輝度閾値以上である領域や、学習識別器等で判定の対象とするべき領域を抽出して判定領域としてもよい。

また、判定領域抽出手段６１は、異なる時刻に撮像された画像について、同一の物体によるラベル領域を対応付けることで、ラベル領域の追跡を実現する。具体的には、判定領域抽出手段６１は、ラベル領域に対して、前回フレーム処理時の追跡物体との対応付けを行う。対応付けには、既存の追跡処理方法を適用することができる。また、前回の追跡物体と対応付けられない新たなラベル領域が発生した場合には新規追跡物体として追跡を開始し、過去のラベル領域と対応付けできるラベル領域が存在しない場合には追跡物体の追跡を終了する。

通常特徴算出手段６２は、各ラベル領域について「人間らしさ」を判定するための特徴量を求める。例えば、追跡対象である各ラベル領域に該当する物体の大きさ、形、傾き、色、移動範囲等の特徴量を抽出する。

具体的には、物体の「大きさ」とは、画像内におけるラベル領域に外接する矩形の画像内の位置と、記憶部５０に予め記憶されている撮像部４０の設置高・俯角の情報から、ラベル領域の実空間での高さ及び幅を算出した値とすればよい。物体の「形」とは、画像内におけるラベル領域を楕円近似したときの画像内の短軸長と長軸長との比（短軸長÷長軸長）を算出した長短軸比とすればよい。物体の「傾き」とは、ラベル領域を楕円近似したときの水平方向（Ｘ軸方向）を０度としたときの長軸方向の傾きの角度を算出した長軸角度絶対値とすればよい。

また、物体の「移動範囲」とは、追跡したラベル領域の重心位置の移動距離である。移動距離は、物体が監視領域に初めて出現した位置から現在の位置までの移動距離でもよいし、フレーム間における移動距離でもよい。また、距離の単位は画素でも良いし、記憶部５０に記憶された撮像部４０の設置高・俯角の情報を用いて、実空間での移動距離を算出してもよい。

また、通常特徴算出手段６２において、通常照明画像５１から判断できる「虫らしさ」を判定するための特徴量を求めてもよい。例えば、追跡しているラベル領域が画像の上下方向に移動した際の領域の面積の変化率（面積変化率）を特徴量として抽出する。このとき、上下方向に移動しても領域の面積が変化しない場合（面積変化率が低い場合）は飛行している虫らしい特徴となり、上下方向に移動したときに領域の面積が変化する場合（面積変化率が高い場合）は地面を移動する人間らしい特徴となる。また、例えば、ラベル領域内が通常照明画像５１で通常背景画像５２より明るく写された領域の比率である背景差分プラス点率を特徴量として抽出する。このとき、撮像部４０の近傍にいる虫であれば撮像部４０から離れた位置にいる人間よりも照明の影響を強く受けるので、この比率が高くなる。

輪郭領域抽出手段６３は、追跡物体（ラベル領域）毎に近傍照明画像５３で明るく写された差分領域を抽出する。具体的には、各追跡物体（ラベル領域）に対応する画像領域について、近傍照明画像５３と記憶部５０に記憶されている近傍背景画像５４との輝度値の差分を求め、差分値が所定の差分閾値以上となる領域を差分領域として抽出する。そして、差分領域を所定ピッチで縮小した収縮領域を求め、差分領域から収縮領域を除いて差分領域の輪郭のみが残された輪郭領域を生成する。差分領域は、近傍照明画像５３と近傍背景画像５４との差分が差分閾値以上の領域の画素値を“１”とし、差分閾値未満の領域の画素値を“０”とした二値画像として表現することが好ましい。ここで、近傍照明画像５３における追跡物体（ラベル領域）に対応する領域の輝度値が差分閾値以上となる領域を差分領域(二値)として抽出してもよい。

例えば、図４（ａ）に示す近傍照明画像５３と図４（ｂ）に示す近傍背景画像５４の差分により、図４（ｃ）に示すように、差分領域２Ｂ，３Ｂを含む差分領域画像５６が生成される。この差分領域画像５６をもとに輪郭画像５７では、図４（ｄ）に示すように、侵入者による輪郭領域２Ｃと虫による輪郭領域３Ｃが抽出される。

強エッジ領域抽出手段６４は、追跡物体（ラベル領域）毎に近傍照明画像５３からエッジ強度が高い画素を強エッジ領域として抽出する。具体的には、近傍照明画像５３のエッジ強度、すなわち隣接する画素の輝度の差が所定のエッジ閾値以上となる領域を抽出し、追跡物体（ラベル領域）におけるその領域を強エッジ領域とする。

ここで、強エッジ領域を抽出するためのエッジ閾値は、非検出対象である虫の輪郭として画像領域に現れるエッジ強度以上のエッジが抽出されるような値に設定することが好適である。

具体的には、強エッジ画像抽出手段６４にて強エッジ領域を抽出するためのエッジ閾値は、虫の輪郭は強エッジとして抽出されるがグラデーションは強エッジとならない程度の値に設定することが好適である。

例えば、各画素の輝度値が０〜２５５の２５６階調で表現されている場合、差分領域を抽出するときの差分閾値を１００階調とし、強エッジ領域を抽出するときのエッジ閾値を５０階調に設定したとする。この場合、近傍照明画像５３と近傍背景画像５４との輝度の差分が１００階調以上であれば差分領域として抽出されるが、近傍照明画像５３において隣接する画素の差分が５０階調以上でなければ強エッジ領域として抽出されなくなる。

このような閾値の設定によれば、図４（ａ）の近傍照明画像５３から強エッジ画像５８を生成すると、図４（ｅ）に示すように、侵入者による強エッジ領域２Ｄ及び虫による強エッジ領域３Ｄを含む画像となる。すなわち、近傍照明画像５３にてグラデーションをもたない画像領域（虫による画像領域）では輪郭領域３Ｃとほぼ同様の強エッジ領域３Ｄが抽出される。これに対して、グラデーションを有する画像領域（人間による画像領域）では輪郭領域２Ｃよりも小さな領域を有する強エッジ領域２Ｄが抽出される。

近傍特徴算出手段６５は、追跡物体が撮像部４０の近傍に存在することを表す近傍特徴量を算出する。近傍特徴量として、各ラベル領域に占める差分領域の比率、強エッジ領域が輪郭領域に重なっている割合が挙げられる。

ここで、撮像部４０の近傍にいる虫が撮像されているのであれば身体全体が一様に明るくなり、差分領域内も一様に明るくなるため、強エッジ領域が輪郭領域に重なっている割合は大きくなる。一方、侵入者が撮像されているのであれば身体の上下方向に輝度のグラデーションがあり、脚部付近は暗くなっているので差分領域として抽出されず、その輪郭領域の下端は、近傍照明画像５３にてグラデーションになっているため、強いエッジが現われなくなり、強エッジ領域が輪郭領域に重なっている割合は小さくなる。

判定手段６６は、通常特徴算出手段６２及び近傍特徴算出手段６５から算出される特徴量を用いて、追跡物体ごとの「人間らしさ」を表す人属性値（検出対象属性）や「虫らしさ」を表す虫属性値（非検出対象属性）の算出処理を行う。そして、各属性値を用いて、監視領域内に人間（侵入者）がいるか否かの判定を行う。

例えば、通常特徴算出手段６２で求めた特徴量を用いて、物体の「大きさ」に基づいて人属性値を設定する。図６に、人属性値を決定するための人属性値要素１の設定方法を示す。ここでは、特徴量を人体である可能性が高いほど１に近づき、低いほど０に近づくように正規化した人属性値要素として求めている。

例えば、物体の実面積が人間らしい大きさに近いほど人属性値要素１を大きな値に設定する。また、物体の「形」に基づいて人属性値を設定してもよい。例えば、物体の長短軸比が縦長な形状を示すものであれば人属性値要素２に大きな値を設定する。また、物体の「傾き」に基づいて人属性値を設定してもよい。例えば、物体の長軸角度絶対値が大きいほど人属性値要素３を大きな値に設定する。

判定手段６６は、複数の人属性値要素を用いて、追跡物体（ラベル領域）毎に「人間らしさ」を表わす人属性値を算出する。例えば、複数の人属性値要素を乗算して、人属性値＝人属性値要素１×人属性値要素２×人属性値要素３・・とする。

また、通常特徴算出手段６２で求めた特徴量や近傍特徴算出手段６５で求めた近傍特徴量を用いて、追跡物体毎に「虫らしさ」を表わす虫属性値を算出する。図６に、虫属性値を決定するための虫属性値要素１の設定方法を示す。ここでは、特徴量を虫である可能性が高いほど１に近づき、低いほど０に近づくように正規化した虫属性値要素として求めている。

例えば、物体の追跡しているラベル領域が画像の上下方向に移動した際の領域の面積変化率が大きいほど虫属性値要素１を大きな値とする。また、例えば、虫であれば変化領域内が通常照明画像５１で通常背景画像５２より明るく写されるので、この比率が高い領域内の画素において通常照明画像５１の輝度値から通常背景画像５２の輝度値を引いた値がプラスとなる画素数（領域面積）を変化領域全体の画素数（領域面積）で割った背景差分プラス点率を虫属性値要素２とする。

さらに、近傍特徴算出手段６５で求めた特徴量を用いて虫属性値を算出する。虫であれば、近傍照明画像５３において変化領域に対応する領域のうち差分領域として抽出される領域が大きくなる。そこで、例えば、各ラベル領域に含まれる変化領域毎に対応する差分領域の大きさを変化領域の大きさで割った差分領域包含率を算出し、この差分領域包含率を虫属性値要素３とする。また、虫であれば、近傍照明画像５３にて一様に明るく写るので、差分領域から抽出された輪郭領域と近傍照明画像５３の強エッジ領域とが重なり合う部分が大きくなる。すなわち、輪郭領域と強エッジ領域との重なりの比率である輪郭強エッジ重なり比率が大きくなるほど、追跡物体（ラベル領域）は虫である可能性が高くなるので、虫属性値要素４を大きな値に設定する。例えば、輪郭領域と強エッジ領域とが重なった領域の画素数を差分領域の画素数で除算した値を輪郭強エッジ重なり比率として算出して虫属性値要素４とする。

判定手段６６は、複数の虫属性値要素を用いて、追跡物体（ラベル領域）毎に「虫らしさ」を表わす虫属性値を算出する。例えば、複数の虫属性値要素を乗算して、虫属性値＝虫属性値要素１×虫属性値要素２×虫属性値要素３×虫属性値要素４・・・とする。

本実施の形態では近傍特徴算出手段６５で求めた近傍特徴を虫属性値に用いたが、人属性値に用いてもよい。例えば、輪郭強エッジ重なり比率が高ければ人属性値を低くし、低ければ人属性値を高くするようにしてもよい。

判定手段６６は、追跡物体（ラベル領域）毎に「人間」か「虫」かを判定する。追跡物体の人属性値が大きく、虫属性値が小さい、かつ、移動量も大きい場合、当該追跡物体を「人間」と判定する。また、１フレームにて判定するのではなく、数フレーム分の属性値を蓄積して判定を行うようにしてもよい。つまり、虫属性値が大きいと検出対象である人間と判定しにくくなり、虫属性値が小さいと検出対象と判定しやすくなる。

背景画像更新手段６７は、撮像部４０にて撮影された各種画像と判定手段６６の判定結果などを用いて、通常背景画像５２及び近傍背景画像５４を更新する。背景画像更新時は、処理対象となっていた通常照明画像５１と近傍照明画像５３それぞれの画像を、記憶部５０に記憶されている通常背景画像５２及び近傍背景画像５４に代わる新たな通常背景画像５２及び近傍背景画像５４として更新する。

背景画像更新手段６７は、判定手段６６の結果を用いて更新処理を行うことが好適である。背景画像更新手段６７は、監視領域に人間がいると判定された場合には背景更新を行わず、人間がいないと判定された場合には背景更新を行う。

また、背景画像の更新方法はこれに限らず、人間はいないが追跡物体がある場合は背景更新頻度を下げるなどしてもよい。また、一定時間間隔で更新する方法や追跡物体がないと判断された画像を更新する方法、照明変動を検知した場合に更新する方法などを用いてもよい。

出力部７０は、判定手段６６で監視領域内に侵入者（人間）がいると判定された場合、その情報を画像センサ１の外部に出力する。外部の装置では出力結果に基づき、警報などを発する。

次に、図５のフローチャートを参照して、本実施形態の画像センサ１における画像処理による監視について説明する。

ステップＳ１では、撮像部４０で監視領域を撮影する。撮像する画像は、通常照明画像５１と近傍照明画像５３の２種類である。通常照明画像５１の撮像時には、監視領域全体が十分明るく撮像されるように、撮像部４０の露光調整や照明部２０の照明点灯強度を設定して撮像を行う。また、近傍照明画像５３の撮像時には、撮像部４０の近傍のみが明るく撮像されるように、撮像部４０の露光調整や照明部２０の照明点灯強度を設定して撮像を行う。撮像部４０の露光設定、及び、照明部２０の照明点灯強度設定は撮像制御部３０から出力される信号によって行われる。通常照明画像５１及び近傍照明画像５３は、例えば、１／６０秒ごとに交互に撮像され、２種類の画像が揃った時点で以降の処理に移行する。

ステップＳ２では、判定領域抽出手段６１において、通常照明画像５１と記憶部５０に記憶されている通常背景画像５２との差分の絶対値を閾値処理し、通常照明画像５１から変化領域を２値画像として抽出する。

ステップＳ３では、判定領域抽出手段６１にて、関連のある変化領域を纏めてラベル付けを行いラベル領域を設定する。本実施の形態ではラベル領域を判定領域とする。

ステップＳ４では、判定領域抽出手段６１にて、各ラベル領域に対して前回の追跡物体との対応付けを行う。また、前回の追跡物体と対応付けられないラベル領域は新規追跡物体として追跡を開始し、過去のラベル領域と対応付けられない追跡物体は追跡を終了する。

以降、ステップＳ５及びステップＳ１４では、追跡物体（ラベル領域）毎にステップＳ６からＳ１３までの処理を繰り返す設定を行う。これにより、ステップＳ６からＳ１３の処理は、追跡物体に対して追跡物体の数だけ実行される。

ステップＳ６では、通常特徴算出手段６２にて、追跡物体ごとに「人間らしさ」及び「虫らしさ」を判定するために用いられる特徴量を求める。例えば、追跡物体の大きさ、形・色及び移動範囲等を特徴量として算出する。また、ラベル領域が画像の上下方向に移動した際の領域の面積変化率、ラベル領域内が通常照明画像５１で通常背景画像５２より明るく写された領域の比率である背景差分プラス点率を特徴量として算出する。

ステップＳ７では、輪郭領域抽出手段６３にて、追跡物体ごとに、近傍照明画像５３で明るく写された領域（差分領域）を抽出する。ステップＳ８では、差分領域がある場合にはステップＳ９に処理を移行させ、差分領域がない場合にはステップＳ１２に処理を移行させる。

ステップＳ９では、輪郭領域抽出手段６３にて、追跡物体毎に差分領域の輪郭を抽出して輪郭領域とする。ステップＳ１０では、強エッジ画像抽出手段６４にて、追跡物体毎に近傍照明画像５３から強エッジ領域を抽出する。

ステップＳ１１では、近傍特徴算出手段６５において、追跡物体ごとに、近傍特徴量を算出する。具体的には、差分領域の大きさやラベル領域に占める差分領域の比率である差分領域包含率、輪郭領域と強エッジ領域とが重なり合った比率である輪郭強エッジ重なり比率を算出する。

ステップＳ１２では、ステップＳ６及びＳ１１において画像処理部６０の通常特徴算出手段６２や近傍特徴算出手段６５で算出された追跡物体の特徴量を用いて、追跡物体の「人間らしさ」を表す人属性値や「虫らしさ」を表す虫属性値を算出する。

ステップＳ１３では、算出された属性値などを用いて、判定手段６６にて、追跡物体が人であるかどうかを判定する。追跡物体の人属性値が大きく、虫属性値が小さい、かつ、移動量も大きい場合、またはそのような状態が連続している場合は、処理対象とした追跡物体（ラベル領域）を「人間」と判定する。

このような処理を追跡物体（ラベル領域）毎に行い、各追跡物体が検出対象である人間（侵入者）であるか否かを判定する。すべての追跡対象（ラベル領域）について判定が終了するとステップＳ１５に処理を移行させる。

ステップＳ１５では、背景画像更新手段６７は、記憶部５０に記憶されている通常背景画像５２及び近傍背景画像５４を更新する。上述したように、背景画像更新手段６７のよる更新は、監視領域に人間がいると判定された場合には背景更新を行わず、人間がいないと判定された場合には背景更新を行うものとしてもよい。

ステップＳ１６では、判定手段６６にて、人間と判定された追跡物体があった場合には処理をステップＳ１７に移行させ、そうでない場合にはステップＳ１に処理を戻して、新たなフレームについての処理を開始する。ステップＳ１７では、出力部７０は、判定手段６６で監視領域内に侵入者（人間）がいると判定されたことを示す情報を画像センサ１の外部に出力する。外部の装置では出力結果に基づき、警報などを発する。

本発明は、本実施の形態にかぎるものではない。以下に、本発明の変形例を示す。
強エッジ領域抽出手段６４では、上記のように、グラデーションを有する画像領域から抽出される強エッジ領域が輪郭領域抽出手段６３にて同じグラデーションを有する画像領域から抽出される輪郭領域とは異なる形状の領域として抽出されればよい。

例えば、強エッジ領域抽出手段６４にて強エッジ領域を抽出するためのエッジ閾値を小さくしていくと、グラデーションを有する領域内の画素間の輝度差がエッジと判定されて強エッジ領域として抽出されるようになる。

具体的には、例えば、各画素の輝度値が０〜２５５の２５６階調で表現されている場合、差分領域を抽出するときの差分閾値を１００階調とし、強エッジ領域を抽出するときのエッジ閾値を５階調に設定する。この場合、近傍照明画像５３と近傍背景画像５４との輝度の差分が１００階調以上でなければ差分領域として抽出されないが、近傍照明画像５３において隣接する画素の差分が５階調以上であれば強エッジ領域として抽出される。

このような閾値の設定によれば、図４（ａ）の近傍照明画像５３から強エッジ画像５８を生成すると、図７に示すように、侵入者による強エッジ領域２Ｅ及び虫による強エッジ領域３Ｅを含む画像となる。すなわち、近傍照明画像５３にてグラデーションをもたない画像領域（虫による画像領域）では輪郭領域３Ｃとほぼ同様の強エッジ領域３Ｅが抽出される。これに対して、グラデーションを有する画像領域（人間による画像領域）では、グラデーションを有する画像領域の隣接する画素の輝度差がエッジ閾値以上となり輪郭領域２Ｃとは異なる形状の強エッジ領域２Ｅが抽出される。

近傍特徴算出手段６５では、強エッジ領域と輪郭領域との形状の違いを近傍特徴量として求める。すなわち、輪郭強エッジ重なり比率の代わりに、または輪郭強エッジ重なり比率に加えて、輪郭領域の形状と強エッジ領域の形状との一致している程度を表わす形状一致比率を近傍特徴量として算出する。形状一致比率は、例えば、輪郭領域と強エッジ領域とが重なり合っている領域（画素数）を強エッジ領域（画素数）で除算した値とすればよい。

判定手段６６では、近傍特徴算出手段６５で求めた形状一致比率を用いて虫属性値を算出する。虫であれば、近傍照明画像５３に一様に明るく写るので、差分領域から抽出された輪郭領域と近傍照明画像５３の強エッジ領域との形状の一致度は高くなる。すなわち、図８に示すように、輪郭領域と強エッジ領域との形状の一致する程度を表わす形状一致比率が大きくなるほど、追跡物体（ラベル領域）は虫である可能性が高くなるので、虫属性値要素５を大きな値に設定する。

判定手段６６は、複数の虫属性値要素を用いて、追跡物体（ラベル領域）毎に「虫らしさ」を表わす虫属性値を算出する。例えば、輪郭強エッジ重なり比率の代わりに形状一致比率を用いる場合、虫属性値＝虫属性値要素１×虫属性値要素２×虫属性値要素３×虫属性値要素５・・・とする。例えば、輪郭強エッジ重なり比率に加えて形状一致比率を用いる場合、虫属性値＝虫属性値要素１×虫属性値要素２×虫属性値要素３×虫属性値要素４×虫属性値要素５・・・とする。

そして、追跡物体の人属性値が大きく、虫属性値が小さい、かつ、移動量も大きい場合、当該追跡物体を「人間」と判定する。

１画像センサ、２侵入者、３虫、２Ａ，３Ａ変化領域、２Ｂ，３Ｂ差分領域、２Ｃ，３Ｃ輪郭領域、２Ｄ，３Ｄ，２Ｅ，３Ｅ強エッジ領域、２０照明部、３０撮像制御部、４０撮像部、５０記憶部、５１通常照明画像、５２通常背景画像、５３近傍照明画像、５４近傍背景画像、５５背景差分画像、５６差分領域画像、５７輪郭画像、５８強エッジ画像、６０画像処理部、６１判定領域抽出手段、６２通常特徴算出手段、６３輪郭領域抽出手段、６４強エッジ領域抽出手段、６５近傍特徴算出手段、６６判定手段、６７背景画像更新手段、７０出力部。

Claims

監視領域を撮像する撮像部と、前記監視領域に対して照明を施す照明部と、前記撮像部において撮像された画像の変化に基づき前記撮像部から離れた位置に存在する検出対象と前記撮像部の近くに存在する非検出対象を識別する画像処理部と、前記照明部を点灯して撮像した画像であって前記検出対象が写されていない画像を背景画像として記憶する記憶部と、を有する画像センサであって、
前記画像処理部は、
前記照明部を点灯して撮像された画像と前記背景画像との差分領域の輪郭を輪郭領域として抽出する輪郭領域抽出手段と、
前記照明部を点灯して撮像された画像から、前記非検出対象の輪郭として画像上に現れるエッジ強度以上のエッジを強エッジ領域として抽出する強エッジ領域抽出手段と、
前記輪郭領域と前記強エッジ領域との類似している程度を特徴量として算出する特徴算出手段と、
前記特徴量を用いて前記類似している程度が低い場合は、高い場合よりも前記検出対象と判定しやすくする判定手段と、
を備えることを特徴とする画像センサ。
請求項１に記載の画像センサであって、
さらに、
前記検出対象の有無を判定する領域を抽出する判定領域抽出手段を備え、
前記画像処理部は、前記判定領域に対してのみ前記輪郭領域及び前記強エッジ領域の抽出を行うことを特徴とする画像センサ。
請求項１又は２に記載の画像センサであって、
前記特徴算出手段は、前記輪郭領域と前記強エッジ領域との重なり合っている比率を前記特徴量として算出することを特徴とする画像センサ。
請求項１〜３のいずれか１項に記載の画像センサであって、
前記特徴算出手段は、前記輪郭領域の形状と前記強エッジ領域の形状との一致している程度である形状一致比率を前記特徴量として算出することを特徴とする画像センサ。
請求項１〜４のいずれか１項に記載の画像センサであって、
前記照明部は、前記撮像部の近傍に限定して照明を行うことを特徴とする画像センサ。