JP6155106B2

JP6155106B2 - 画像センサ

Info

Publication number: JP6155106B2
Application number: JP2013126159A
Authority: JP
Inventors: 全史大津
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2013-06-14
Filing date: 2013-06-14
Publication date: 2017-06-28
Anticipated expiration: 2033-06-14
Also published as: JP2015001836A

Description

本発明は、監視領域を撮像した画像を順次処理し、監視領域中に検出対象が存在するか否かを判定する画像センサに関する。

従来、監視領域の画像をカメラにて撮像し、撮像した画像と基準画像とを比較して変化のある領域（変化領域）を求め、変化領域の大きさに基づいて侵入者等の検出対象の有無を判定する画像センサがある。

このような画像センサにおいては、人間以外にも監視領域に飛来する虫が撮像されることがある。特に、カメラの近傍に存在する虫が撮像された場合、画像上の大きさが人間程度となり、虫を侵入者として検出してしまうというおそれがある。

そこで、飛来した虫等と人間を区別するための対策が施されている。例えば、夜間のように監視領域が暗い場合であっても侵入者が撮像されるように照明を設けた画像センサにおいて、この照明の光量を切り替えて画像を撮像することによって虫等と人間を区別する技術が開示されている。特許文献１には、監視領域全域に対する照明とカメラの近傍に限定した照明を用いて撮像された２枚の画像を比較し、カメラの近傍に限定した照明においても高輝度に写された物体をカメラ近傍の虫と判定することで、虫等と人間を区別する画像センサが記載されている。

特開２０００−３４８２６６号公報

ところで、カメラの近傍に限定した照明を用いて撮像を行った場合であっても完全に光の到達する距離を制御できるわけではなく、光を反射しやすい白い服等を着た人間は、カメラの近傍に限定した照明からの光を反射してしまうことがある。このような人間と虫は、共に、照明の光が反射して高輝度領域となって画像上に現れるので、従来の方式のみでは、区別が困難となる場合があった。

そこで、本発明は、カメラの近傍に限定した照明で高輝度に写された物体について、虫等と人間を区別できる画像センサを提供することを目的とする。

本発明の１つの態様は、監視領域を撮像する撮像部と、前記監視領域に対して照明を施す照明部と、前記撮像部において撮像された画像の変化に基づき前記撮像部から離れた位置に存在する検出対象と前記撮像部の近くに存在する非検出対象を識別する画像処理部と、前記照明部を点灯して撮像した画像であって前記検出対象が写されていない画像を背景画像として記憶する記憶部と、を有する画像センサであって、前記画像処理部は、前記照明部を点灯して撮像された画像と前記背景画像との差分領域を抽出する差分領域抽出手段と、前記照明部を点灯して撮像された画像から前記差分領域内の輝度が均一である程度を特徴量として求める特徴算出手段と、前記特徴量を用いて前記均一の程度が低い場合は、高い場合よりも前記検出対象と判定しやすくする判定手段と、を備えることを特徴とする。

ここで、前記特徴算出手段は、前記差分領域内の輝度が鉛直方向に変化しているほど均一の程度が低くなるように前記特徴量を算出することが好適である。

本発明によれば、撮像部近傍にいる虫等の非検出対象物と撮像部から離れた位置にいる侵入者等の検出対象物を明確に区別できる画像センサを提供することができる。

本発明の実施の形態における画像センサの構成を示すブロック図である。本発明の実施の形態における監視領域の侵入者と虫の位置を例示する図である。本発明の実施の形態における変化領域の抽出方法を説明する図である。本発明の実施の形態における差分領域の抽出方法を説明する図である。本発明の実施の形態における画像処理方法のフローチャートを示す図である。本発明の実施の形態における人属性値及び虫属性値の算出方法を説明する図である。

本発明の実施の形態である画像センサについて、図面に基づいて説明する。画像センサは、建物内外の監視領域について検出対象の存否を検出する装置である。以下、画像センサは、監視領域への侵入者を検出対象として検出するセンサとして説明する。

図１は、本発明の実施形態である画像センサ１の構成を示した図である。画像センサ１は、照明部２０、撮像制御部３０、撮像部４０、記憶部５０、画像処理部６０及び出力部７０から構成される。

照明部２０及び撮像部４０は、撮像制御部３０にて制御される。撮像制御部３０によって照明部２０の照明の強度と撮像部４０のシャッター速度との関係が調整されることにより、撮像部４０は、照明部２０の光によって監視領域全域が明るく写された通常照明画像５１と照明部２０の光によって撮像部４０の近傍が明るく写された近傍照明画像５３を撮像する。また、通常背景画像５２は、照明部２０の光によって監視領域全域が明るく写された画像であって監視領域内に侵入者が存在しないときの画像である。また、近傍背景画像５４は、照明部２０の光によって撮像部４０の近傍が明るく写された画像であって監視領域内に侵入者が存在しないときの画像である。

撮像部４０で撮影された各種画像は、Ａ／Ｄ変換によりデジタル画像に変換されて、記憶部５０に記憶される。また、記憶部５０には、通常照明画像５１及び近傍照明画像５３に対応する条件で監視領域内に侵入者が存在しないときの画像がそれぞれ通常背景画像５２及び近傍背景画像５４として記憶される。これらの背景画像は、背景画像更新手段６７にて適宜更新される。

画像処理部６０は、記憶部５０に記憶された画像を撮影した順に処理し、監視領域への侵入者の存否を判定する。画像処理部６０にて侵入者の存在を検出すると、出力部７０は、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する構成とすることができる。また、画像センサ１は、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に接続され、出力部７０は、異常信号を監視センタに出力することによって、異常の発生を監視センタに通知する構成としてもよい。

画像処理部６０は、一般的な処理部、記憶部、入力部等を備えたコンピュータにより画像処理プログラムを実行することにより実現することができる。

図２は、監視領域のイメージ図である。本実施の形態では、画像センサ１の撮像部４０が監視領域の上方に設置された例を示しており、撮像部４０は上方から下方に向けて所定の俯角で監視領域を撮像している。図２の例では、侵入者２と虫３が監視領域内に存在している状態を示している。

図３及び図４は、各処理にて生成される画像を示したものである。図３（ａ）は、通常照明画像５１の例であり、侵入者２と虫３が写されている。侵入者２と虫３は物体の大きさが異なるが、通常照明画像５１では、撮像部４０との距離の違いによって同じような大きさに写されている。図３（ｂ）は、侵入者２と虫３とが存在しない状態で監視領域を撮像した通常背景画像５２の例である。通常照明画像５１と通常背景画像５２との差分をとることにより、図３（ｃ）に示すように、背景差分画像５５が生成される。背景差分画像５５では、侵入者２による変化領域２Ａと虫３による変化領域３Ａがそれぞれ抽出される。本発明は、これらの変化領域２Ａ，３Ａを「人間」であるか否かを判定する判定領域とする。

図４（ａ）は、近傍照明画像５３の例であり、侵入者２と虫３が写されている。近傍照明画像５３では、侵入者２と虫３は同じように明るく写る物体であるが、写り方に違いがある。本実施の形態では、近傍照明画像５３で明るく写る物体の写り方の違いに着目することにより、通常照明画像５１から得られる特徴や近傍照明画像５３で明るく写るという特徴だけでは区別が困難である侵入者２と虫３を区別できるようにする。

具体的には、近傍照明画像５３で一様に明るく写された物体を“虫”と判定し、一様に明るく映らない物体（鉛直方向の輝度にグラデーションがあるように写された物体）を“侵入者”と判定する。図２に示したように、虫３は体が小さいために体全体の撮像部４０からの距離に大差がなく、体全体に一様に照明を受けて一様に反射して写る。これに対して、侵入者２である人間の身体は大きく、高さがあるため、身体全体の撮像部４０からの距離が頭部から脚部に向かって遠くなり、身体全体に照明が一様に当たらず、一様に反射し難くなるので、上方から下方に向かって輝度にグラデーションがあるように写る。本実施の形態では、この差を利用して侵入者２と虫３とを区別する。

以下、画像センサ１を構成する照明部２０、撮像制御部３０、撮像部４０、記憶部５０、画像処理部６０及び出力部７０について詳細に説明する。

照明部２０は、夜間等、監視領域が暗い場合においても監視領域内に生じた変化を画像から検出できるように、監視領域に対して照明を施す。照明部２０は、監視領域全域を照らすことができる照明用ＬＥＤ等の照明装置を含んで構成される。照明部２０は、撮像制御部３０による制御に基づき、監視領域に対して様々な明るさで照明を点灯させる。例えば、照明用ＬＥＤには近赤外ＬＥＤを用いる。

撮像制御部３０は、照明部２０と撮像部４０の設定及び制御を行う。具体的には、撮像制御部３０は、通常照明画像５１と近傍照明画像５３を取得するために、照明部２０の点灯強度の制御を行い、撮像部４０の露光制御を行う。撮像制御部３０は、通常照明画像５１の取得時には、監視領域全体が適度な明るさで撮像されるように照明部２０及び撮像部４０を制御する。例えば、撮像部４０のシャッター速度を遅くし、照明部２０の照明点灯強度を強める。また、撮像制御部３０は、近傍照明画像５３の取得時には、監視領域の撮像部４０の近傍のみが明るく、遠方は暗く撮像されるように照明部２０及び撮像部４０を制御する。例えば、撮像部４０のシャッター速度を通常照明画像５１の撮像時より速くしたり、照明部２０の照明点灯強度を通常照明画像５１の撮像時より弱めたりする。なお、通常照明画像５１及び近傍照明画像５３の条件を満たすことができるなら、照明部２０の照明点灯強度の制御、又は、撮像部４０の露光制御のどちらか一方を制御するようにしてもよい。

撮像部４０は、監視領域を撮像し、通常照明画像５１と近傍照明画像５３を記憶部５０に出力する。撮像部４０は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像部４０は、撮像制御部３０からの制御に基づき、監視領域を撮影した撮像データ（通常照明画像５１、近傍照明画像５３等）をＡ／Ｄ変換したデジタル画像を記憶部５０に出力する。撮像は、所定時間間隔で行うことが好適である。

記憶部５０は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部５０は、撮像部４０及び画像処理部６０からアクセス可能であり、各種プログラムや各種データを記憶する。例えば、撮像部４０で撮影された各種画像データや外部から設定される設定情報を記憶し、画像処理部６０に対して出力する。設定情報は、外部より設定される画像センサ１の撮像部４０の設置高や俯角などの情報である。

画像処理部６０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）又はＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）等の演算装置により画像処理プログラムを実行することにより実現される。画像処理部６０は、後述する各手段で処理を記述した画像処理プログラムを記憶部５０から読み出して実行することにより、以下の各手段として機能する。画像処理部６０は、撮像部４０で撮影された監視画像を順に処理する。このとき、監視画像を古い画像から新しい画像へ向けて処理することが好ましい。例えば、監視画像を１フレーム毎順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部６０は、判定領域抽出手段６１、通常特徴算出手段６２、差分領域抽出手段６３、近傍特徴算出手段６４、判定手段６５及び背景画像更新手段６６として機能する。

判定領域抽出手段６１は、記憶部５０に記憶された通常照明画像５１から、侵入者か否かの判定対象となる領域（判定領域）を抽出する。例えば、通常照明画像５１と通常背景画像５２との間の輝度値の差分を求め、所定の閾値以上の差分のある領域を変化領域として抽出とする。変化領域は、差分が閾値以上の領域の画素値を“１”とし、閾値未満の領域の画素値を“０”とした二値画像としても表現することが好ましい。

さらに、判定領域抽出手段６１は、抽出された変化領域に対して、同一物体による変化領域についてラベル付けを行う。具体的には、８連結で隣接する画素をひとまとまりとしてラベル領域とし、近接する複数のラベル領域が一定の大きさや位置関係にあれば同一物体によるものであるとして１つのラベル領域に設定する。また、判定領域抽出手段６１は、複数の変化領域が所定距離以内にある場合、一定の大きさや位置関係にある変化領域を同一物体による変化領域であるとし、これらを１つ変化領域としてラベル付けしてもよい。本実施の形態では、１つのラベル領域を１つの判定領域として処理する。

なお、判定領域の抽出は、通常照明画像５１と通常背景画像５２との差分に限らず、異なる時刻に撮像された複数の通常照明画像５１のフレーム間差分が所定の輝度閾値以上である領域や、学習識別器等で判定の対象とするべき領域を抽出して判定領域としてもよい。

また、判定領域抽出手段６１は、異なる時刻に撮像された画像について、同一の物体によるラベル領域を対応付けることで、ラベル領域の追跡を実現する。具体的には、判定領域抽出手段６１は、ラベル領域に対して、前回フレーム処理時の追跡物体との対応付けを行う。対応付けには、既存の追跡処理方法を適用することができる。また、前回の追跡物体と対応付けられない新たなラベル領域が発生した場合には新規追跡物体として追跡を開始し、過去のラベル領域と対応付けできるラベル領域が存在しない場合には追跡物体の追跡を終了する。

通常特徴算出手段６２は、各ラベル領域について「人間らしさ」を判定するための特徴量を求める。例えば、追跡対象である各ラベル領域に該当する物体の大きさ、形、傾き、色、移動範囲等の特徴量を抽出する。

具体的には、物体の「大きさ」とは、画像内におけるラベル領域に外接する矩形の画像内の位置と、記憶部５０に予め記憶されている撮像部４０の設置高・俯角の情報から、ラベル領域の実空間での高さ及び幅を算出した値とすればよい。物体の「形」とは、画像内におけるラベル領域を楕円近似したときの画像内の短軸長と長軸長との比（短軸長÷長軸長）を算出した長短軸比とすればよい。物体の「傾き」とは、ラベル領域を楕円近似したときの水平方向（Ｘ軸方向）を０度としたときの長軸方向の傾きの角度を算出した長軸角度絶対値とすればよい。

また、物体の「移動範囲」とは、追跡したラベル領域の重心位置の移動距離である。移動距離は、物体が監視領域に初めて出現した位置から現在の位置までの移動距離でもよいし、フレーム間における移動距離でもよい。また、距離の単位は画素でも良いし、記憶部５０に記憶された撮像部４０の設置高・俯角の情報を用いて、実空間での移動距離を算出してもよい。

また、通常特徴算出手段６２において、通常照明画像５１から判断できる「虫らしさ」を判定するための特徴量を求めてもよい。例えば、追跡しているラベル領域が画像の上下方向に移動した際の領域の面積の変化率（面積変化率）を特徴量として抽出する。このとき、上下方向に移動しても領域の面積が変化しない場合（面積変化率が低い場合）は飛行している虫らしい特徴となり、上下方向に移動したときに領域の面積が変化する場合（面積変化率が高い場合）は地面を移動する人間らしい特徴となる。また、例えば、ラベル領域内が通常照明画像５１で通常背景画像５２より明るく写された領域の比率である背景差分プラス点率を特徴量として抽出する。このとき、撮像部４０の近傍にいる虫であれば撮像部４０から離れた位置にいる人間よりも照明の影響を強く受けるので、この比率が高くなる。

差分領域抽出手段６３は、追跡物体（ラベル領域）毎に近傍照明画像５３で明るく写された差分領域を抽出する。具体的には、各追跡物体（ラベル領域）について、近傍照明画像５３と記憶部５０に記憶されている近傍背景画像５４との輝度値の差分を求め、差分値が所定の閾値以上となる領域を差分領域として抽出する。差分領域は、差分が閾値以上の領域の画素値を“１”とし、閾値未満の領域の画素値を“０”とした二値画像として表現することが好ましい。ここで、近傍照明画像５３における追跡物体（ラベル領域）に対応する領域の輝度値が閾値以上となる領域を差分領域(二値)として抽出してもよい。

例えば、図４（ａ）に示す近傍照明画像５３と図４（ｂ）に示す近傍背景画像５４の差分により、図４（ｃ）に示すように、差分領域画像５６が生成される。差分領域画像５６には、侵入者による差分領域２Ｂと虫による差分領域３Ｂが抽出される。

近傍特徴算出手段６４は、追跡物体が撮像部４０の近傍に存在することを表す近傍特徴量を算出する。近傍特徴量として、各ラベル領域に占める差分領域の割合、近傍照明画像５３における差分領域内の輝度のバラツキが均一であるか均一でないか示す値が挙げられる。本実施の形態では、輝度が均一である程度として、差分領域内の輝度が一様であるかや鉛直方向のグラデーションが存在するかを判定する。本実施の形態において、鉛直方向のグラデーションであれば差分領域内の輝度が均一である程度は低く、一様であれば均一の程度は高くなる。このため、均一である程度が低い場合は人間らしい、均一である程度が高い場合は虫らしい近傍特徴となる。本実施の形態では、図２のように撮像部４０が監視領域の上方に設置され、上方から下方に向かって所定の俯角で監視領域を撮像するので、差分領域において輝度のグラデーションが鉛直方向に沿って上方から下方に向かって明から暗になるか否かを求める。ただし、撮像方向はこれに限定されるものではなく、例えば、撮像部４０が監視領域を下方から上方に撮像するのであれば鉛直方向に下方から上方に向かって明から暗になるか否かを求めればよい。また、撮像部４０が監視領域を地面と水平方向に撮像するのであれば、鉛直方向又は水平方向に沿って中央から外に向かって明から暗になるか否かを求めればよい。このように、近傍特徴量の求め方は、撮像部４０の撮像方向に沿ったグラデーションを判定できるように適宜変更するようにすればよい。

差分領域内における近傍照明画像５３の輝度パターンを示すと、図４（ｄ）に示すような画像５７となり、画像領域２Ｃ、画像領域３Ｃ内の輝度分布が一様かグラデーションを有しているかを判定する。

近傍特徴算出手段６４における、差分領域内の輝度が均一である程度の判定方法を以下に詳細に説明する。

ここでは、差分領域内の輝度分布が一様か否か、鉛直方向（上から下に）に輝度のグラデーションがあるか否かを判定する判定方法について説明する。以下、例として２種類の判定方法について説明する。

第１の判定方法では、まず、差分領域の上から下に向かう方向をＹ軸方向として、Ｙ軸の座標行（画素）毎の輝度最大値（平均値、中央値）を求める。そして、Ｙ軸方向に沿って座標行毎に求めた輝度最大値（平均値、中央値）が、上から下に向かって変化しない場合は、一様であると判定し、上から下に向かって小さくなる場合はグラデーションであると判定する。具体的には、差分領域の上端行、中央行、下端行の輝度最大値（平均値、中央値）を用いて、上端行値と中央行値、中央行値と下端行値の差分絶対値が所定の閾値１未満の場合は、一様と判定する。また、（上端行値−中央行値）、（中央行値−下端行値）の値がそれぞれ所定の閾値２以上の場合、グラデーションであると判定する。

第２の方法では、まず、差分領域の重心Ｙ座標と外接矩形上端・下端Y座標を記憶部５０に記憶する。次に、近傍照明画像５３から差分領域を抽出したときの二値化のための閾値より、少し大きな閾値で再度二値領域を抽出し、その領域の重心Ｙ座標と外接矩形上端・下端Y座標を記憶部５０に記憶する。さらに少し大きな閾値で二値領域を抽出し、その領域の重心Ｙ座標と外接矩形上端・下端Y座標を記憶部５０に記憶する。このように、二値化のための閾値を少しずつ大きくし、抽出される領域の面積が少しずつ小さくなるように二値領域を抽出する処理を繰り返す。

二値化の閾値を上げていった際に、（１）重心Ｙ座標が動かない（動きが所定閾値未満である）、（２）外接矩形下端Ｙ座標が動かない（動きが所定閾値未満である）及び（３）外接矩形上端Ｙ座標が動かない（動きが所定閾値未満である）の条件を満たすときは、一様であると判定する。一方、（４）重心Ｙ座標が上に移動する（動きが所定閾値以上である）、（５）外接矩形下端Ｙ座標が上に移動する（動きが所定閾値以上である）及び（６）外接矩形上端Ｙ座標が動かない（動きが所定閾値未満である）の条件を満たすときは、グラデーションがあると判定する。

なお、輝度分布が一様かグラデーションを有しているかを判定する判定方法については、これらの方法に限定されるものではなく、他の方法によって判定してもよい。

近傍照明画像５３における差分領域内の輝度が均一である程度を判定する方法として、差分領域内の各画素の輝度の分散値が小さいほどより均一であると判定してもよい。具体的には、差分領域内の各画素の輝度の分散値を求め、分散値が所定の閾値以上である場合にはその差分領域は均一でないと判定し、閾値未満である場合には均一であると判定する。さらに、この判定の条件を上述した「一様判定」や「グラデーション判定」の条件に追加してもよい。

判定手段６５は、通常特徴算出手段６２及び近傍特徴算出手段６４から算出される特徴量を用いて、追跡物体ごとの「人間らしさ」を表す人属性値（検出対象属性）や「虫らしさ」を表す虫属性値（非検出対象属性）の算出処理を行う。そして、各属性値を用いて、監視領域内に人間（侵入者）がいるか否かの判定を行う。

例えば、通常特徴算出手段６２で求めた特徴量を用いて、物体の「大きさ」に基づいて人属性値を設定する。図６に、人属性値を決定するための人属性値要素１の設定方法を示す。ここでは、特徴量を人体である可能性が高いほど１に近づき、低いほど０に近づくように正規化した人属性値要素として求めている。

例えば、物体の実面積が人間らしい大きさに近いほど人属性値要素１を大きな値に設定する。また、物体の「形」に基づいて人属性値を設定してもよい。例えば、物体の長短軸比が縦長な形状を示すものであれば人属性値要素２に大きな値を設定する。また、物体の「傾き」に基づいて人属性値を設定してもよい。例えば、物体の長軸角度絶対値が大きいほど人属性値要素３を大きな値に設定する。

判定手段６５は、複数の人属性値要素を用いて、追跡物体（ラベル領域）毎に「人間らしさ」を表わす人属性値を算出する。例えば、複数の人属性値要素を乗算して、人属性値＝人属性値要素１×人属性値要素２×人属性値要素３・・とする。

また、通常特徴算出手段６２で求めた特徴量や近傍特徴算出手段６４で求めた近傍特徴量を用いて、追跡物体毎に「虫らしさ」を表わす虫属性値を算出する。図６に、虫属性値を決定するための虫属性値要素１の設定方法を示す。ここでは、特徴量を虫である可能性が高いほど１に近づき、低いほど０に近づくように正規化した虫属性値要素として求めている。

例えば、追跡物体のラベル領域が画像の上下方向に移動した際の領域の面積変化率が小さいほど虫属性値要素１を大きな値とする。また、例えば、虫であれば変化領域内が通常照明画像５１で通常背景画像５２より明るく写されるので、この比率が高い領域内の画素において通常照明画像５１の輝度値から通常背景画像５２の輝度値を引いた値がプラスとなる画素数（領域面積）を変化領域全体の画素数（領域面積）で割った背景差分プラス点率に応じて虫属性値要素２を決定する。

さらに、近傍特徴算出手段６４で求めた特徴量を用いて虫属性値を算出する。虫であれば、近傍照明画像５３において変化領域に対応する領域のうち差分領域として抽出される領域が大きくなる。そこで、例えば、各ラベル領域に含まれる変化領域毎に対応する差分領域の大きさを変化領域の大きさで割った差分領域包含率を算出し、この差分領域包含率に応じて虫属性値要素３を決定する。また、撮像部４０の近傍にいる虫であれば差分領域は一様な明るさとなり、撮像部４０から離れた位置にいる人間であればグラデーションになる。そこで、差分領域に対応するラベル領域について輝度分布の度合いである差分領域輝度分布度を求める。差分領域輝度分布度は、一様であれば「１」、グラデーションであれば「０」、どちらでもなければ「０．５」となる特徴量であり、虫属性値要素４は、差分領域輝度分布度が大きいほど大きな値となる。

なお、差分領域輝度分布度は輝度が一様であるか、グラデーションであるか、どちらでもないかに応じた固定値でなく、その度合いに応じた値としても良い。例えば、グラデーションがあると判定された場合に、グラデーションの度合いに応じて差分領域輝度分布度の値を変えてもよい。例えば、輝度値が小さくなる振り幅に応じて差分領域輝度分布度の値を０〜０．５の間で変動させる。具体的には、差分領域上端での輝度最大値（平均値、中央値）と差分領域の閾値の差をＤ、差分領域上端での輝度最大値（平均値、中央値）と下端での輝度最大値（平均値、中央値）の差をｄとして、０．５×（１−ｄ／Ｄ）を差分領域輝度分布度とすればよい。こうすることにより、グラデーションの度合いに応じた属性値を算出することもできる。一様側についても同様な処理を行ってもよい。例えば、座標の移動具合や分散値に応じて変動させるなどすればよい。

判定手段６５は、複数の虫属性値要素を用いて、追跡物体（ラベル領域）毎に「虫らしさ」を表わす虫属性値を算出する。例えば、複数の虫属性値要素を乗算して、虫属性値＝虫属性値要素１×虫属性値要素２×虫属性値要素３×虫属性値要素４・・・とする。

本実施の形態では、近傍特徴算出手段６４で求めた近傍特徴を虫属性値に用いたが、人属性値に用いてもよい。例えば、グラデーションであれば人属性値を高くし、一様であれば人属性値を低くするようにしてもよい。

判定手段６５は、追跡物体（ラベル領域）毎に「人間」か「虫」かを判定する。追跡物体の人属性値が大きく、虫属性値が小さい、かつ、移動量も大きい場合、当該追跡物体を「人間」と判定する。また、１フレームにて判定するのではなく、数フレーム分の属性値を蓄積して判定を行うようにしてもよい。つまり、虫属性値が大きいと検出対象である人間と判定しにくくなり、虫属性値が小さいと検出対象と判定しやすくなる。

背景画像更新手段６６は、撮像部４０にて撮影された各種画像と判定手段６５の判定結果などを用いて、通常背景画像５２及び近傍背景画像５４を更新する。背景画像更新時は、処理対象となっていた通常照明画像５１と近傍照明画像５３それぞれの画像を、記憶部５０に記憶されている通常背景画像５２及び近傍背景画像５４に代わる新たな通常背景画像５２及び近傍背景画像５４として更新する。

背景画像更新手段６６は、判定手段６５の結果を用いて更新処理を行うことが好適である。背景画像更新手段６６は、監視領域に人間がいると判定された場合には背景更新を行わず、人間がいないと判定された場合には背景更新を行う。

また、背景画像の更新方法はこれに限らず、人はいないが追跡物体がある場合は背景更新頻度を下げるなどしてもよい。また、一定時間間隔で更新する方法や追跡物体がないと判断された画像を更新する方法、照明変動を検知した場合に更新する方法などを用いてもよい。

出力部７０は、判定手段６５で監視領域内に侵入者（人間）がいると判定された場合、その情報を画像センサ１の外部に出力する。外部の装置では出力結果に基づき、警報などを発する。

次に、図５のフローチャートを参照して、本実施形態の画像センサ１における画像処理による監視について説明する。

ステップＳ１では、撮像部４０で監視領域を撮影する。撮像する画像は、通常照明画像５１と近傍照明画像５３の２種類である。通常照明画像５１の撮像時には、監視領域全体が十分明るく撮像されるように、撮像部４０の露光調整や照明部２０の照明点灯強度を設定して撮像を行う。また、近傍照明画像５３の撮像時には、撮像部４０の近傍のみが明るく撮像されるように、撮像部４０の露光調整や照明部２０の照明点灯強度を設定して撮像を行う。撮像部４０の露光設定、及び、照明部２０の照明点灯強度設定は撮像制御部３０から出力される信号によって行われる。通常照明画像５１及び近傍照明画像５３は、例えば、１／６０秒ごとに交互に撮像され、２種類の画像が揃った時点で以降の処理に移行する。

ステップＳ２では、判定領域抽出手段６１において、通常照明画像５１と記憶部５０に記憶されている通常背景画像５２との差分の絶対値を閾値処理し、通常照明画像５１から変化領域を２値画像として抽出する。

ステップＳ３では、判定領域抽出手段６１にて、関連のある変化領域を纏めてラベル付けを行いラベル領域を設定する。本実施の形態ではラベル領域を判定領域とする。

ステップＳ４では、判定領域抽出手段６１にて、各ラベル領域に対して前回の追跡物体との対応付けを行う。また、前回の追跡物体と対応付けられないラベル領域は新規追跡物体として追跡を開始し、過去のラベル領域と対応付けられない追跡物体は追跡を終了する。

以降、ステップＳ５及びステップＳ１２では、追跡物体（ラベル領域）毎にステップＳ６からＳ１１までの処理を繰り返す設定を行う。これにより、ステップＳ６からＳ１１の処理は、追跡物体に対して追跡物体の数だけ実行される。

ステップＳ６では、通常特徴算出手段６２にて、追跡物体ごとに「人間らしさ」及び「虫らしさ」を判定するために用いられる特徴量を求める。例えば、追跡物体の大きさ、形・色及び移動範囲等を特徴量として算出する。また、ラベル領域が画像の上下方向に移動した際の領域の面積変化率、ラベル領域内が通常照明画像５１で通常背景画像５２より明るく写された領域の比率である背景差分プラス点率を特徴量として算出する。

ステップＳ７では、差分領域抽出手段６３にて、追跡物体ごとに、近傍照明画像５３で明るく写された領域（差分領域）を抽出する。ステップＳ８では、差分領域がある場合にはステップＳ９に処理を移行させ、差分領域がない場合にはステップＳ１０に処理を移行させる。

ステップＳ９では、近傍特徴算出手段６４において、追跡物体ごとに、近傍特徴量を算出する。具体的には、差分領域の大きさやラベル領域に占める差分領域の比率である差分領域包含率、差分領域内の輝度が一様であるか上下のグラデーションであるかを示す差分領域輝度分布度を算出する。

ステップＳ１０では、ステップＳ６及びＳ９において画像処理部６０の通常特徴算出手段６２や近傍特徴算出手段６４で算出された追跡物体の特徴量を用いて、追跡物体の「人間らしさ」を表す人属性値や「虫らしさ」を表す虫属性値を算出する。

ステップＳ１１では、算出された属性値などを用いて、判定手段６５にて、追跡物体が人間であるかどうかを判定する。追跡物体の人属性値が大きく、虫属性値が小さい、かつ、移動量も大きい場合、またはそのような状態が連続している場合は、処理対象とした追跡物体（ラベル領域）を「人間」と判定する。

このような処理を追跡物体（ラベル領域）毎に行い、各追跡物体が検出対象である人間（侵入者）であるか否かを判定する。すべての追跡対象（ラベル領域）について判定が終了するとステップＳ１３に処理を移行させる。

ステップＳ１３では、背景画像更新手段６６は、記憶部５０に記憶されている通常背景画像５２及び近傍背景画像５４を更新する。上述したように、背景画像更新手段６６のよる更新は、監視領域に人間がいると判定された場合には背景更新を行わず、人間がいないと判定された場合には背景更新を行うものとしてもよい。

ステップＳ１４では、判定手段６５にて、人間と判定された追跡物体があった場合には処理をステップＳ１５に移行させ、そうでない場合にはステップＳ１に処理を戻して、新たなフレームについての処理を開始する。ステップＳ１５では、出力部７０は、判定手段６５で監視領域内に侵入者（人間）がいると判定されたことを示す情報を画像センサ１の外部に出力する。外部の装置では出力結果に基づき、警報などを発する。

以上のように、本発明によれば、撮像部近傍にいる虫等の非検出対象物と撮像部から離れた位置にいる侵入者等の検出対象物を明確に区別することができる。

１画像センサ、２侵入者、２Ａ，３Ａ変化領域、２Ｂ，３Ｂ差分領域、２Ｃ，３Ｃ画像領域、２０照明部、３０撮像制御部、４０撮像部、５０記憶部、５１通常照明画像、５２通常背景画像、５３近傍照明画像、５４近傍背景画像、５５背景差分画像、５６差分領域画像、５７画像、６０画像処理部、６１判定領域抽出手段、６２通常特徴算出手段、６３差分領域抽出手段、６４近傍特徴算出手段、６５判定手段、６６背景画像更新手段、７０出力部。

Claims

監視領域を撮像する撮像部と、前記監視領域に対して照明を施す照明部と、前記撮像部において撮像された画像の変化に基づき前記撮像部から離れた位置に存在する検出対象と前記撮像部の近くに存在する非検出対象を識別する画像処理部と、前記照明部を点灯して撮像した画像であって前記検出対象が写されていない画像を背景画像として記憶する記憶部と、を有する画像センサであって、
前記画像処理部は、
前記照明部を点灯して撮像された画像と前記背景画像との差分領域を抽出する差分領域抽出手段と、
前記照明部を点灯して撮像された画像から前記差分領域内の輝度が均一である程度を特徴量として求める特徴算出手段と、
前記特徴量を用いて前記均一の程度が低い場合は、高い場合よりも前記検出対象と判定しやすくする判定手段と、
を備えることを特徴とする画像センサ。
請求項１に記載の画像センサであって、
前記特徴算出手段は、前記差分領域内の輝度が鉛直方向に変化しているほど均一の程度が低くなるように前記特徴量を算出することを特徴とする画像センサ。