JP6124739B2 - 画像センサ - Google Patents

Description

本発明は、監視領域を撮像した画像を順次処理し、監視領域に検出対象が存在するか否かを判定する画像センサに関する。

従来、監視領域をカメラにて撮像し、撮像した画像と基準画像とを比較して変化のある領域（変化領域）を求め、変化領域の大きさや形状などの画像特徴に基づいて侵入者等の検出対象の有無を判定する画像センサがある。

このような画像センサでは、人物等の影が監視画像に写りこむことがある。画像センサでは、画像中の変化領域の大きさや形状から人物を検知しているので、画像に写った人影と人物とは大きさや形状が似ており、人物と誤って検知することがある。

従来、影と人物を区別する技術として特許文献１には、入力された画像に写った影は、背景画像より暗く変化することを利用し、背景差分によって抽出した変化領域から入力された画像の輝度レベルが背景画像の輝度レベルに比べて一定の割合で低下している部分を影とする動体抽出装置が記載されている。

特開平５−１５１３５６号公報

しかしながら、光を反射しにくい黒い服を着た人物（黒服人物）が監視領域内に入って来た場合、背景画像にもよるが黒服人物は画像上において背景画像より暗く写ることが多い。このため、従来の動体抽出装置では、黒服人物が監視領域内に入って来た場合、画像中の人物及び人影ともに、背景画像の輝度レベルより低下し、両者を区別することが難しいことがあった。

そこで、本発明は、物体である人物の周辺には環境光によって影が生じるのに対し、影自体は物体ではないため環境光によって影が生じない、という性質の違いを画像特徴として利用し、影と影以外の物体を区別できる画像センサを提供することを目的とする。

本発明の１つの態様は、監視領域を撮像して監視画像を取得する撮像部と、前記監視画像の変化に基づいて検出対象の有無を判定する画像処理部と、前記検出対象が写っていない監視画像を背景画像として記憶している記憶部と、を有する画像センサであって、前記画像処理部は、前記監視画像から前記検出対象か否かを判定する対象となる判定領域を設定する判定領域設定手段と、前記監視画像が前記背景画像よりも低い輝度の領域を影領域として抽出する影領域抽出手段と、前記判定領域の周辺領域に前記影領域が存在する度合いを特徴量として算出する特徴量算出手段と、前記判定領域について、前記影領域が存在する度合いが小さいほど前記検出対象有りと判定され難くする判定手段と、を有することを特徴とする画像センサである。

ここで、前記影領域抽出手段は、前記背景画像と前記監視画像の輝度差が微少となる第１輝度閾値より小さい領域を前記影領域として抽出することが好適である。

また、前記影領域抽出手段は、前記監視画像と前記背景画像の相関が背景物のテクスチャが保存されているといえる程度に高い領域を前記影領域として抽出することが好適である。

また、前記特徴量算出手段は、前記判定領域のうち前記背景画像から前記監視画像が影と黒い検出対象を区別困難となる程度以上暗く変化した暗変化領域を判定領域として前記特徴量を算出することが好適である。

本発明によれば、環境光が存在する監視領域において、影と影以外の物体を高い確度で区別することができる画像センサを提供することができる。

本発明の実施の形態における画像センサ１の構成を示すブロック図である。 本発明の実施の形態における画像センサ１が設置された環境光の存在する監視領域２とその周辺の状況を模式的に示した図である。 本発明の実施の形態における淡い影領域、変化領域及び影除外領域の抽出方法を説明する図である。 本発明の実施の形態における暗変化領域の抽出方法を説明する図である。 本発明の実施の形態における暗変化領域と淡い影領域との位置関係を説明する図である。 本発明の実施の形態における人属性値及び影属性値の算出方法を説明する図である。 本発明の実施の形態における画像処理のフローチャートを示す図である。

本発明を監視領域の出入り口付近を監視する画像センサに適用した実施の形態について、図面に基づいて説明する。画像センサは、監視領域への侵入者を検出対象として検出するセンサである。

先ず、本発明の実施形態について説明する。図１は、本発明の実施形態である画像センサ１の構成を示した図である。画像センサ１は、撮像部２０、記憶部３０、画像処理部４０及び出力部５０にて構成されている。本実施の形態では、画像センサ１として各部を一体的に説明するが、撮像部２０・記憶部３０・画像処理部４０・出力部５０とを別筐体とし、通信技術を駆使して必要な制御信号等を通信するようにしてもよい。その他の筐体構成を採用してもよい。

撮像部２０は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像部２０は、監視すべき領域を順次撮像し、撮像したデジタル画像を記憶部３０に出力する。

記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部３０は、撮像部２０及び画像処理部４０からアクセス可能である。記憶部３０に記憶される主な画像には、入力画像３２、背景画像３３がある。また、記憶部３０は、後述する画像処理部４０の淡い影領域抽出手段４１にて抽出された淡い影領域を記憶する。淡い影領域の詳細については後述する。なお、図示していないが、記憶部３０には、撮像部２０の設置高・俯角などの各種カメラパラメータ、画像センサ１の各処理を実現するための各種プログラムやパラメータなども記憶している。

ここで、記憶部３０に記憶する各種画像について説明する。入力画像３２は、撮像部２０にて撮像した画像であって、現時点の処理対象となる画像である。入力画像３２は、撮像部２０から撮影される都度に記憶部３０に記憶される。背景画像３３は、過去の入力画像３２のうち侵入者等が抽出されていない画像であり、後述する画像処理部４０の背景画像生成手段４８にて適宜更新される。

画像処理部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の演算装置により構成され、記憶部３０に記憶している各種プログラムを読み出して実行する。画像処理部４０は、撮像部２０で撮影された画像を順次処理する。なお、処理する画像は、１フレーム毎に撮影時間順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部４０は、淡い影領域抽出手段４１、変化領域抽出手段４２、淡い影除去手段４３、判定領域設定手段４４、暗変化判定手段４５、特徴量算出手段４６、判定手段４７及び背景画像生成手段４８の各モジュールから構成されている。

淡い影領域抽出手段４１は、影領域抽出手段として作用し、記憶部３０に記憶された入力画像３２中から画像特徴が所定条件を満たす領域を影領域として抽出する。本実施の形態では、入力画像３２と背景画像３３を用いて、入力画像３２中から淡い影の生じている領域を抽出する。具体的には、淡い影領域抽出手段４１は、入力画像３２に含まれている淡い影領域を抽出し、記憶部３０に淡い影領域３１として記憶させる。

以下に、淡い影領域の抽出について詳述する。淡い影は、複雑に乱反射した環境光が遮られることで生じる影であり、画像上では、直射日光等の強い光が遮られて生じる影に比べ、背景物よりも微少に暗く、背景物のテクスチャが保存されて撮像される。淡い影領域抽出手段４１は、以下の３つの条件の論理積を満たす画素の集合を淡い影領域として抽出する。
（条件１）淡い影は、背景物よりも暗く撮像される。すなわち、入力画像３２の輝度値が背景画像３３の輝度値より低い。
（条件２）淡い影は背景物よりも少しだけ暗く撮像される。すなわち、背景画像３３の輝度値から入力画像３２の輝度値を減算した差分値が微少となる第１輝度閾値より小さい。例えば、入力画像３２の輝度レンジが０〜２５５である場合、第１輝度閾値は５以下に設定することが好適である。
（条件３）淡い影はテクスチャが保存されて撮像される。すなわち、入力画像３２と背景画像３３のテクスチャやエッジの相関が高い。具体的には、入力画像３２の３×３画素の小領域と対応する背景画像３３の３×３画素の小領域との正規化相関値を求め、その正規化相関値が所定の相関閾値以上である。ここで、所定の相関閾値は、相関値の最大値を１とした場合に閾値を０．８以上に設定することが好適である。

なお、本実施の形態では、条件１から条件３の論理積を満たす画素の集合を淡い影領域として抽出したが、淡い影領域の抽出方法はこれに限られるものではなく、条件１および条件２の論理積、条件１および条件３の論理積、条件１のみを満たす画素の集合を淡い影領域として抽出する方法を採用してもよい。

変化領域抽出手段４２は、記憶部３０に記憶された入力画像３２において変化が生じた領域を変化領域として抽出する手段である。具体的には、記憶部３０に記憶された入力画像３２の輝度値と背景画像３３の輝度値の差分値を求め、差分値が第３輝度閾値以上となる領域を変化領域として抽出する。なお、変化領域の抽出方法は、これに限られるものではなく、時間的に隣り合う入力画像３２のフレーム間差分処理によって抽出した領域を変化領域として抽出する方法、検出対象である人物画像を学習した学習識別器によって人物領域とされた領域を変化領域として抽出する方法、人物テンプレートとのマッチング処理にて類似するとされた領域を変化領域として抽出する方法など種々の方法を採用してもよい。

淡い影除去手段４３は、変化領域抽出手段４２にて抽出された変化領域から淡い影領域抽出手段４１にて抽出された淡い影領域を除外した影除外領域を生成する手段である。具体的には、入力画像３２における変化領域中から入力画像３２における淡い影領域を引くことにより影除外領域を生成する。淡い影の除去は、変化領域抽出手段４２にて抽出された変化領域について、後述する各種処理にて人間らしい大きさや形状を精度良く判断するために行われる処理である。特に、変化領域抽出手段４２が本実施の形態のように背景差分処理で変化領域を抽出する場合、第３輝度閾値の値にもよるが入力画像３２中に写った人物と周辺の淡い影が１つの変化領域として抽出されることがある。このため、変化領域の大きさや形状を精度良く判断するために抽出した変化領域から淡い影領域を除去することが必要となる。なお、淡い影除去処理は、必要に応じて行えばよい。例えば、変化領域抽出手段４２が上述した学習識別器を用いて変化領域を抽出する場合や、第３輝度閾値を淡い影が抽出されないような値に設定した場合は、淡い影除去処理を省略してもよい。また、淡い影領域抽出手段４１が、上述した条件１のみを満たす領域を単に「影領域」として抽出する場合、淡い影除去処理を省略してもよい。

判定領域設定手段４４は、記憶部３０に記憶された入力画像３２から、侵入者が存在するか否かを判定する対象となる判定領域を設定する手段である。具体的には、淡い影除去手段４３にて生成された影除外領域に対して、カメラパラメータ等を用いて算出される物体の大きさや位置関係を考慮して、単一物体（一人の人物）による変化領域として統合した領域を判定領域として設定する。なお、判定領域の設定方法は、これに限られるものではなく、変化領域抽出手段４２にて背景差分やフレーム間差分によって抽出した変化領域や、学習識別器によって抽出された変化領域を判定領域として設定してもよい。

暗変化判定手段４５は、入力画像３２における判定領域において、影や黒服人物が監視領域２に出現した場合に生じる「暗くなる変化」が生じているかを判定する手段である。具体的には、判定領域毎に、背景画像３３の輝度値から入力画像３２の輝度値を減算した差分値が第２輝度閾値以上となる領域を暗変化領域として抽出する。ここで、第２輝度閾値は、淡い影領域抽出手段４１にて淡い影領域を抽出するために用いた第１輝度閾値よりも大きな値に設定することが好適である。なお、この閾値は、影や黒服人物によって輝度が暗く変化する量を実験的または経験的に定めた値であり、入力画像３２の輝度レンジが０〜２５５の階調で表現されている場合、第２輝度閾値は１０以上とすることが好適である。

特徴量算出手段４６は、各判定領域に対して、判定領域が人物である可能性を示す特徴量である人属性値要素と、影である可能性を示す特徴量である影属性値要素を算出する手段である。

特徴量算出手段４６は、人属性値要素として、人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」を判定領域から算出する。
「実面積」は、判定領域に外接する矩形について、その画像内の位置と記憶部３０に記憶された設置高・俯角情報等のカメラパラメータに基づいて実空間での高さ×幅から面積を算出した値であり、判定領域が人物の大きさとしての妥当性を示す。「長短軸比」は、判定領域を楕円近似したときの画像内の短軸長と長軸長との比（短軸長÷長軸長）を算出した長短軸比であり、判定領域が人物の形状としての妥当性を示す。「長軸角度絶対値」は、判定領域を楕円近似したときに、水平方向（Ｘ軸方向）を０度とした場合の長軸の傾きを算出した長軸角度絶対値であり、判定領域が人物の姿勢としての妥当性を示す。本実施の形態では、説明を簡単にするために、３つの人属性値要素にて説明したが、これに限られるものではなく、種々の特徴量を利用してもよい。

また、特徴量算出手段４６は、影属性値要素として、影属性値要素１「背景画像平均値」、影属性値要素２「暗変化領域比率」を判定領域から算出する。「背景画像平均値」は、判定領域に対応する背景画像３３の輝度値の平均値を算出したものである。影は背景画像３３の輝度が高い、すなわち背景が明るい（光の反射率が高い）ほど入力画像３２との輝度差が大きくなるので、判定領域の影としての妥当性を示している。「暗変化領域比率」は、暗変化領域の面積を判定領域の面積で除算したものであり、影は判定領域中で暗く変化するので、その割合は判定領域の影としての妥当性を示している。

また、特徴量算出手段４６は、影属性値要素として、影属性値要素３「淡い影画素比率」を判定領域から算出する。「淡い影画素比率」は、判定領域の周辺に淡い影領域抽出手段４１にて抽出された淡い影領域が存在する度合いを表す特徴量である。具体的には、暗変化領域周辺（暗変化判定手段４５にて抽出した暗変化領域を５画素拡大した領域から、暗変化領域を除外した領域）に含まれる淡い影領域の割合を算出する。かかる淡い影画素比率は、判定領域が人物であれば大きな値となり、影であれば小さな値となる。これは、物体である人物の周辺には環境光によって淡い影が生じるのに対し、影自体は物体ではないため環境光によって淡い影が生じないので、人物と影とを区別する有力な特徴量となる。

なお、本実施の形態では、淡い影画素比率として、暗変化領域周辺に含まれる淡い影領域の割合を算出したが、暗変化領域周辺に限定せず、暗変化領域と判定された判定領域周辺（判定領域を５画素拡大した領域から、判定領域を除外した領域）に含まれる淡い影領域の割合を算出してもよい。また、淡い影画素比率は、変化領域抽出手段４２において抽出された変化領域に対する淡い影領域の占める割合としてもよい。

また、暗変化の有無によらず判定領域周辺から淡い影画素比率を算出するようにしてもよい。例えば、淡い影領域抽出手段４１にて上述した条件１のみを満たす領域を単に「影領域」として抽出し、変化領域抽出手段４２にて学習識別器を用いて抽出した変化領域を判定領域設定手段４４にて判定領域として設定し、その判定領域の周辺（判定領域を５画素拡大した領域から、判定領域を除外した領域）に存在する「影領域」の割合を淡い影画素比率として算出してもよい。

特徴量算出手段４６は、算出した人属性要素及び影属性要素を判定手段４７に出力する。

判定手段４７は、特徴量算出手段４６から入力された人属性値要素１、２、３を用いて、判定領域毎に「人らしさ」を表す人属性値（検出対象属性）を算出し、特徴量算出手段４６から入力された影属性値要素１、２、３を用いて、判定領域毎に「影らしさ」を表す影属性値（非検出対象属性）の算出処理を行う。そして、各属性値を用いて、判定領域が人物によるものか否かの判定を行う。

特徴量算出手段４６から入力された人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」をそれぞれ図６に示すメンバーシップ関数に適用して人属性値を算出する。ここで、図６に示すメンバーシップ関数について説明する。ここでは、特徴量を人物である可能性が高いほど１に近づき、低いほど０に近づくように正規化した人属性値要素として求めている。

人属性値要素１「実面積」は、４０００平方センチメートル以下は人物の可能性が低いとして「０」、４０００平方センチメートル〜６０００平方センチメートルは直線的に人物の可能性を０から１の間で高くし、６０００平方センチメートル以上では人物の可能性が高いとして「１」とするメンバーシップ関数である。

人属性値要素２「長短軸比」は、０．５以下の場合は、太った人物を含めて人物の可能性が高く「１」とし、０．５から０．７５になるほど人物の形状として崩れるので直線的に人物の可能性を１から０の間で低くなるようにし、０．７５以上の場合はもはや人物の形状に程遠いとして「０」とするメンバーシップ関数である。

人属性値要素３「長軸角度絶対値」は、５０度以下の場合は、歩行等している人物である可能性が低く「０」とし、５０度から７５度に近づくほど歩行等している人物の可能性が１から０の間で高くなるようにし、７５度以上の場合は歩行等する人物の可能性が高いとして「１」とするメンバーシップ関数である。なお、本実施の形態にて紹介する人属性値要素のメンバーシップ関数は本実施例の設定であって、他の実施例においては、実験・経験・設置場所・検出対象によって適宜設計されるものである。

判定手段４７は、複数の人属性値要素を用いて、判定領域毎に「人らしさ」を表わす人属性値を算出する。すなわち、人属性値要素を乗算して、人属性値＝人属性値要素１×人属性値要素２×人属性値要素３として求める。人属性値の算出は、乗算に限られるものではなく、各要素の重み付け和とするなど、目的に応じて種々の算出方法を用いてもよい。

次に、影属性値を算出するためのメンバーシップ関数について説明する。特徴量算出手段４６から入力された影属性値要素１「背景画像平均値」、影属性値要素２「暗変化領域比率」、影属性値要素３「淡い影画素比率」をそれぞれ図６に示すメンバーシップ関数に適用して影属性値を算出する。ここでは、特徴量を影である可能性が高いほど１に近づき、低いほど０に近づくように正規化した影属性値要素として求めている。

影属性値要素１「背景画像平均値」は、影が撮影された影領域は、背景画像の輝度値が低いほど変化領域として現れにくいことを利用し、背景画像平均値が０〜３０では高くなるほど直線的に影の可能性を０から１の間で高くし、３０以上は影の可能性が高いとして「１」とするメンバーシップ関数である。本実施の形態では、前述したとおり、画像の輝度階調を０〜２５５に分解して表現している。これは、影であれば、背景が暗すぎるところに現われることは少ないので、背景画像平均値が小さいほど影属性値要素１が小さな値になることを利用したものである。

影属性値要素２「暗変化領域比率」は、判定領域のうち輝度が暗く変化した領域の度合いであり、０．７以下であれば人物の服装等による部分的な影響によって暗く変化した可能性があり影である可能性を低く「０」とし、０．７から１．０まで直線的に影の可能性を０〜１の間で高くなるようにしたメンバーシップ関数である。これは、影であれば判定領域の多くの部分が背景画像よりも暗く変化するので、暗変化領域比率が高いほど影属性値要素２が大きな値になることを利用したものである。

影属性値要素３「淡い影画素比率」は、判定領域の周辺に影領域（淡い影領域）が存在する度合いであり、０．２以下であれば判定領域周辺に影が生じていないため物体でない影である可能性を高く「１」とし、０．２から０．４まで直線的に影の可能性を１〜０の間で低くなるようにし、０．４以上であれば判定領域周辺に影が生じているため物体である人物である可能性が高いため影である可能性を低く「０」とするメンバーシップ関数である。これは、影であれば、影自体は、物体でないので環境光によって影を生じず、立体物である人物であれば周辺に環境光によって影が生じることを利用したものである。

判定手段４７は、複数の影属性値要素を用いて、判定領域毎に「影らしさ」を表わす影属性値を算出する。すなわち、影属性値要素を乗算して、影属性値＝影属性値要素１×影属性値要素２×影属性値要素３として求める。なお、本実施の形態では影属性値を用いているが、影属性値を用いることなく、影属性値が小さいほど人属性値を大きくするようにしてもよい。なお、影属性値の算出は、乗算に限られるものではなく、各要素の重み付け和とするなど、目的に応じて種々の算出方法を用いてもよい。

判定手段４７は、判定領域毎に、求めた人属性値と影属性値にもとづき、すなわち人属性値が大きく、且つ影属性値が小さい判定領域を「人物」と判定する。具体的には、人属性値が０．９以上、且つ影属性値が０．１以下のときに「人物」と判定する。他方、この条件を満たさない場合は、判定領域を「人物」とは判定しない。また、１枚の入力画像３２にて判定するのではなく、判定領域を順次追跡して、時系列に入力される複数組分の人属性値および影属性値を蓄積して総合的に判定を行うようにしてもよい。

背景画像生成手段４８は、撮像部２０にて撮影された入力画像３２と判定手段４７の判定結果を用いて、背景画像３３を更新する。具体的には、背景画像生成手段４８は、人物が存在していないと判定手段４７が判定した入力画像３２を記憶部３０の背景画像３３として上書き更新して記憶する。本実施の形態では、判定手段４７にて人物が存在していないと判定する毎に更新しているが、数フレーム毎や一定時間毎に取得した入力画像３２にて更新するようにしてもよい。また、変化領域抽出手段４２にて変化領域が所定面積以下である入力画像３２にて更新するようにしてもよい。

出力部５０は、判定手段４７で監視領域内に侵入者がいると判定された場合、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する構成とすることができる。また、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に監視センタに出力することによって、異常の発生を監視センタに通知する構成としてもよい。

次に、本実施形態の画像センサ１の動作を説明する。図２は、環境光の存在する状況において、画像センサ１が設置された監視領域２とその周辺の状況を模式的に示した図である。監視領域２内には、家屋４および塀に囲まれている敷地があり、画像センサ１は、家屋４および敷地への侵入を監視している。このため、画像センサ１は、図２に示すように家屋４がある監視領域２への侵入経路として想定される塀が開口している領域を撮像部２０にて撮像できるように設置されている。図２（ａ）は、塀に囲まれている監視領域２内に侵入者３が入っている状況を示している。なお、侵入者３は、黒い服を着用している。図２（ｂ）は、監視領域２の外側に通行人５が所在し、強い日光等によって生じた通行人５の影６が監視領域２に入っている状況を示している。

図７、図３、図４、図５を参照して、本実施の形態の画像センサ１の処理を説明する。なお、図７は、画像処理のフローチャート、図３は、淡い影領域、変化領域及び影除外領域の抽出方法を説明する図、図４は、暗変化領域の抽出方法を説明する図、図５は暗変化領域と淡い影領域との位置関係を説明する図である。

先ず、ステップＳ１では、撮像部２０にて撮影した画像の取得を行う。取得する画像は入力画像３２である。入力画像３２は、例えば、１／５秒ごとに撮像され、撮像された時点で以降の処理に移行する。

ステップＳ２では、淡い影領域抽出手段４１にて、記憶部３０に記憶されている背景画像３３および入力画像３２を用いて、入力画像３２から淡い影領域を抽出する。抽出した淡い影領域３１は、記憶部３０に記憶される。図３（ａ）は、図２（ａ）に示す状況での画像であり、図３（ｂ）は、図２（ｂ）に示す状況での画像である。図３（ａ）の例では、入力画像３２ａと背景画像３３ａから淡い影領域１２が抽出され、図３（ｂ）の例では、入力画像３２ｂと背景画像３３ｂから淡い影領域は抽出されない。

ステップＳ３では、変化領域抽出手段４２にて、入力画像３２と背景画像３３との差分値を第３輝度閾値によって閾値処理し、入力画像３２中の変化領域を抽出する。図３（ａ）の例では、入力画像３２ａと背景画像３３ａから変化領域７が抽出され、図３（ｂ）の例では、入力画像３２ｂと背景画像３３ｂから変化領域８が抽出される。

ステップＳ４では、淡い影除去手段４３において、ステップＳ３で抽出された変化領域からステップＳ２で抽出された淡い影領域を除去した影除外領域を生成する。図３（ａ）の例では、変化領域７から淡い影領域１２を除去した影除外領域９が生成され、図３（ｂ）の例では、変化領域８について淡い影除去処理を実行した影除外領域１０が生成される。

ステップＳ５では、判定領域設定手段４４にて、淡い影除去手段４３において生成された影除外領域について、人物の大きさ等を考慮し、一人の人物による影除外領域が纏まるようにラベル付けを順次行い判定領域として設定する。図４（ａ）は、図２（ａ）に示す状況での画像であり、図４（ｂ）は、図２（ｂ）に示す状況での画像である。図４（ａ）の例では、判定領域１３が設定され、図４（ｂ）の例では、判定領域１４が設定される。

以降、ステップＳ６からＳ１２では、ステップＳ５で設定された判定領域毎にステップＳ７からＳ１１までの処理を繰り返す。これにより、ステップＳ７からＳ１１の処理は、判定領域に対して判定領域の数だけ実行される。

ステップＳ７では、暗変化判定手段４５にて、判定領域について入力画像３２が背景画像３３より第２輝度閾値（例えば輝度値１０）以上暗くなる領域を暗変化領域として抽出する。図４（ａ）の例では、判定領域１３に対して暗変化領域１５が抽出され、図４（ｂ）の例では、判定領域１４に対して暗変化領域１６が抽出される。

ステップＳ８では、特徴量算出手段４６にて、判定領域について、影属性値要素３として淡い影画素比率を算出する。図５（ａ）は、図２（ａ）に示す状況での画像であり、図５（ｂ）は、図２（ｂ）に示す状況での画像である。図５（ａ）の例では、暗変化領域１５の周囲には淡い影領域１２が存在し、図５（ｂ）の例では、暗変化領域１６の周囲には淡い影領域は存在していない。このため、判定領域１３の淡い影画素比率は高い値なり、判定領域１４の淡い影画素比率は低い値となる。

ステップＳ９では、特徴量算出手段４６にて、判定領域毎に、判定領域毎に、人属性値要素１，２，３および影属性値要素１，２を算出する。すなわち、特徴量算出手段６４にて、人属性値要素１の「実面積」、人属性値要素２の「長短軸比」、人属性値要素３の「長軸角度絶対値」、影属性値要素１の「背景画像平均値」、影属性値要素２の「暗変化領域比率」をそれぞれ算出する。

特徴量算出手段４６は、算出した人属性値要素１，２，３及び影属性値要素１，２，３を判定手段４７に出力する。

ステップＳ１０では、判定手段４７にて、人属性値要素１，２，３および影属性値要素１，２，３を図６にて説明した各メンバーシップ関数に代入し、人属性値および影属性値を算出する。

ステップＳ１１では、判定手段４７は、算出された各属性値を用いて、判定領域が人物であるかどうか判定する。具体的には、人属性値が大きく、影属性値が小さいと人物と判定する。ステップＳ７〜ステップＳ１１の処理を抽出した全ての判定領域に対して実行し、判定領域が検出対象である人物（侵入者）であるか否かを判定する。すべての判定領域について判定が終了するとステップＳ１３に処理を移行させる。

ステップＳ１３では、背景画像生成手段４８は、記憶部３０に記憶されている背景画像３３を更新する。上述したように、背景画像生成手段４８による更新は、監視領域に人物がいると判定された場合には背景更新を行わず、人物がいないと判定された場合には背景更新を行う。

ステップＳ１４では、判定手段４７にて、人物と判定された判定領域があった場合には処理をステップＳ１５に移行させ、そうでない場合にはステップＳ１に処理を戻る。ステップＳ１５では、出力部５０は、判定手段４７で監視領域内に侵入者（人物）がいると判定されたことを示す情報を画像センサ１の外部の警報装置に出力する。外部の警報装置では出力結果に基づき、警報などを発する。

以上のように、本発明によれば、環境光が存在する監視領域において、影と影以外の物体を高い確度で区別することができる。

１ 画像センサ、２ 監視領域、３ 侵入者、４ 家屋、５ 通行人、６ 影、７，８ 変化領域、９，１０ 影除外領域、１１ 淡い影、１２ 淡い影領域、１３，１４ 判定領域、１５，１６ 暗変化領域、２０ 撮像部、３０ 記憶部、３１ 淡い影領域、３２ 入力画像、３３ 背景画像、４０ 画像処理部、４１ 淡い影領域抽出手段、４２ 変化領域抽出手段、４３ 淡い影除去手段、４４ 判定領域設定手段、４５ 暗変化判定手段、４６ 特徴量算出手段、４７ 判定手段、４８ 背景画像生成手段、５０ 出力部。

Claims (4)

1. 監視領域を撮像して監視画像を取得する撮像部と、前記監視画像の変化に基づいて検出対象の有無を判定する画像処理部と、前記検出対象が写っていない監視画像を背景画像として記憶している記憶部と、を有する画像センサであって、
   前記画像処理部は、
   前記監視画像から前記検出対象か否かを判定する対象となる判定領域を設定する判定領域設定手段と、
   前記監視画像が前記背景画像よりも低い輝度の領域を影領域として抽出する影領域抽出手段と、
   前記判定領域の周辺領域に前記影領域が存在する度合いを特徴量として算出する特徴量算出手段と、
   前記判定領域について、前記影領域が存在する度合いが小さいほど前記検出対象有りと判定され難くする判定手段と、を有することを特徴とする画像センサ。
2. 請求項１に記載の画像センサであって、
   前記影領域抽出手段は、前記背景画像と前記監視画像の輝度差が微少となる第１輝度閾値より小さい領域を前記影領域として抽出することを特徴とした画像センサ。
3. 請求項１または２に記載の画像センサであって、
   前記影領域抽出手段は、前記監視画像と前記背景画像の相関が背景物のテクスチャが保存されているといえる程度に高い領域を前記影領域として抽出することを特徴とした画像センサ。
4. 請求項１〜３のいずれか１項に記載の画像センサであって、
   前記特徴量算出手段は、前記判定領域のうち前記背景画像から前記監視画像が影と黒い検出対象を区別困難となる程度以上暗く変化した暗変化領域を判定領域として前記特徴量を算出することを特徴とした画像センサ。

Images