JP6093270B2 - 画像センサ - Google Patents

Description

本発明は、監視領域を撮像した画像を順次処理し、監視領域に検出対象が存在するか否かを判定する画像センサに関する。

従来、監視領域をカメラにて撮像し、撮像した画像と基準画像とを比較して変化のある領域（変化領域）を求め、変化領域の大きさや形状などの画像特徴に基づいて侵入者等の検出対象の有無を判定する画像センサがある。

このような画像センサでは、夜間など監視領域が暗い場合であっても侵入者を検知できるように、撮影の際に監視領域を照らす照明装置を設けている。しかし、夜間は、この照明装置による光以外にも車のヘッドライト等によって、監視領域外から監視領域内に光が射し込み、さらにその光により監視領域外に存在する人物等の影が監視領域内に写り込むことがある。画像センサでは、画像中の変化領域の大きさや形状から人物を検知しているので、画像に写った人影と人物とは大きさや形状が似ており、監視領域外に存在する人物の影を監視領域内の人物と誤って検知することがある。

従来、影と人物を区別する技術として特許文献１には、入力された画像に写った影は背景画像より暗く変化することを利用し、背景差分によって抽出した変化領域から入力された画像の輝度レベルが背景画像の輝度レベルに比べて一定の割合で低下している部分を影と判定する動体抽出装置が記載されている。

特開平５−１５１３５６号公報

しかしながら、光を反射しにくい黒い服を着た人物（黒服人物）が監視領域内に入って来た場合、背景画像にもよるが黒服人物は画像上において背景画像より暗く写ることが多い。このため、従来の動体抽出装置では、黒服人物が監視領域内に入って来た場合、画像中の人物及び人影ともに、背景画像の輝度レベルより低下し、両者を区別することが難しいことがあった。

そこで、発明者は鋭意研究したところ、黒服人物は光を吸収するため投光の有無にかかわらず低輝度に撮像されるのに対し、影自体は物体ではないため投光の有無によって輝度が変化して撮像されることを見出した。本発明は、この性質を画像特徴として利用し、影と影以外の黒い物体を区別できる画像センサを提供することを目的とする。

本発明の１つの態様は、監視領域を撮像して監視画像を取得する撮像部と、前記監視領域に対して照明を施す照明部と、前記監視画像中の変化に基づいて検出対象の有無を判定する画像処理部と、前記検出対象が写っていない監視画像を背景画像として記憶している記憶部と、を有する画像センサであって、前記画像処理部は、前記監視画像中から前記検出対象か否かを判定する対象となる判定領域を設定する判定領域設定手段と、前記判定領域の輝度値が所定の基準値よりも低いか否かを判定する暗変化判定手段と、前記照明部を点灯して撮像した点灯監視画像における判定領域と前記照明部を消灯して撮像した消灯監視画像における判定領域の輝度差を点消灯差分値として算出する点消灯差分手段と、前記判定領域が前記暗変化判定手段にて前記基準値よりも低いと判定され、且つ前記点消灯差分値が大きいときほど前記検出対象有りと判定され難くする判定手段と、を有することを特徴とする画像センサである。

また、前記記憶部は、前記照明部を点灯して撮像した画像および消灯して撮像した画像であって、前記監視領域中に照明変動が生じていないときの前記検出対象が写っていない画像を外部光無点灯画像および外部光無消灯画像として記憶し、前記画像処理部は、前記外部光無点灯画像における判定領域の輝度値と前記外部光無消灯画像における判定領域の輝度差を外部光無差分値として算出する外部光有無差分手段を更に有し、前記判定手段は、前記外部光無差分値と前記点消灯差分値が近い値となるほど前記検出対象有りと判定され難くすることが好適である。

これによれば、照明部に起因する輝度変化量である外部光無差分値を特徴量として更に用いることで、単に点消灯差分値のみを用いるよりも黒服人物と影で顕著に異なる特徴によって判定を行うことが可能になる。

また、前記暗変化判定手段は、前記判定領域から前記監視画像の輝度値が前記基準値よりも低くなる領域を暗変化領域として抽出し、前記点消灯差分手段は、前記点灯監視画像における前記暗変化領域と前記消灯監視画像における前記暗変化領域との輝度差を前記点消灯差分値として算出することが好適である。

また、前記基準値は、前記背景画像における判定領域の輝度値であることが好適である。

本発明によれば、夜間など監視領域が暗い場合であっても、影と影以外の黒い物体（例えば、黒服人物）を精度良く区別できる画像センサを提供することができる。

本発明の第１の実施の形態における画像センサ１の構成を示すブロック図である。 本発明の実施の形態における画像センサ１が設置された監視領域２とその周辺の夜間における状況を模式的に示した図である。 本発明の実施の形態における判定領域及び暗変化領域の抽出方法を説明する図である。 本発明の第１の実施の形態における点消灯差分値のイメージを説明する図である。 本発明の第１の実施の形態における人属性値及び影属性値の算出方法を説明する図である。 本発明の実施の形態における画像処理のフローチャートを示す図である。 本発明の第２の実施の形態における画像センサ１の構成を示すブロック図である。 本発明の第２の実施の形態における人属性値及び影属性値の算出方法を説明する図である。

本発明を監視領域の出入り口付近を監視する画像センサに適用した実施の形態について、図面に基づいて説明する。画像センサは、監視領域への侵入者を検出対象として検出するセンサである。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態である画像センサ１の構成を示した図である。画像センサ１は、照明部２０、撮像制御部３０、撮像部４０、記憶部５０、画像処理部６０及び出力部７０にて構成されている。本実施の形態では、画像センサ１として各部を一体的に説明するが、照明部２０・撮像制御部３０・撮像部４０と、記憶部５０・画像処理部６０・出力部７０とを別筐体とし、通信技術を駆使して必要な制御信号等を通信するようにしてもよい。その他の筐体構成を採用しても良い。

照明部２０は、夜間等であっても撮像部４０にて監視領域に生じた変化を画像から検出できるように、少なくとも撮像部４０の撮像範囲を照らすことができる照明用ＬＥＤ等の照明装置である。照明部２０は、撮像制御部３０による制御にしたがい点灯または消灯する。本実際の形態では、照明用ＬＥＤに近赤外ＬＥＤを用いている。

撮像制御部３０は、照明部２０を消灯させた状態で撮像部４０にて撮像した消灯入力画像５１と照明部２０を消灯させた状態で撮像部４０にて撮像した点灯入力画像５２を取得するために、照明部２０の点灯または消灯の制御を行い、撮像部４０の撮像タイミングや露光制御を実行する。なお、本実施の形態では、照明部２０を点灯または消灯のいずれかに制御するものとしたが、画像に写った影の領域と人物の領域の輝度差が十分出る程度に照明部２０の点灯強度を制御するようにしてもよい。

撮像部４０は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像部４０は、撮像制御部３０からの制御に基づき、監視すべき領域を順次撮像し、撮像したデジタル画像を記憶部５０に出力する。

記憶部５０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部５０は、撮像部４０及び画像処理部６０からアクセス可能である。記憶部５０に記憶される主な画像には、消灯入力画像５１、点灯入力画像５２、背景画像５３がある。なお、図示していないが、記憶部５０には、撮像部４０の設置高・俯角などの各種カメラパラメータ、画像センサ１の各処理を実現するための各種プログラムやパラメータなども記憶している。

ここで、記憶部５０に記憶する各種画像について説明する。消灯入力画像５１は、照明部２０を消灯させた状態で撮像部４０にて撮像した画像であって、現時点の処理対象となる画像である。消灯入力画像５１は、撮像部４０から撮影される都度に記憶部５０に記憶される。点灯入力画像５２は、照明部２０を点灯させた状態で撮像部４０により撮像した画像であって、現時点の処理対象となる画像である。消灯入力画像５１及び点灯入力画像５２は、撮像部４０から撮影される都度に記憶部５０に記憶される。

背景画像５３は、過去の点灯入力画像５２のうち侵入者等が抽出されていない画像であり、後述する画像処理部６０の背景画像生成手段６６にて適宜更新される。

画像処理部６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の演算装置により構成され、記憶部５０に記憶している各種プログラムを読み出して実行する。画像処理部６０は、撮像部４０で撮影された画像を順次処理する。なお、処理する画像は、１フレーム毎に撮影時間順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部６０は、判定領域設定手段６１、暗変化判定手段６２、点消灯差分手段６３、特徴量算出手段６４、第１判定手段６５及び背景画像生成手段６６の各モジュールから構成されている。

判定領域設定手段６１は、記憶部５０に記憶された点灯入力画像５２中に、侵入者が存在するか否かを判定する対象となる判定領域を設定する。具体的には、先ず、点灯入力画像５２と背景画像５３との間にて輝度差分の処理を実行し、所定の閾値以上の差分のある変化領域を抽出する。

次に、判定領域設定手段６１は、抽出された変化領域に対して、カメラパラメータ等を用いて算出される物体の大きさや位置関係を考慮して、単一物体（一人の人物）による変化領域として統合した領域を判定領域として設定する。なお、判定領域の設定方法は、これに限られるものではなく、時間的に隣り合う点灯入力画像５２のフレーム間差分処理によって抽出した領域を判定領域として設定する方法、検出対象である人物画像を学習した学習識別器によって人物領域とされた領域を判定領域として設定する方法、人物テンプレートとのマッチング処理にて類似するとされた領域を判定領域として設定する方法など種々の方法を採用してもよい。

暗変化判定手段６２は、点灯入力画像５２における判定領域において、影や黒服人物が監視領域２に出現した場合に生じる「暗くなる変化」が生じているかを判定する手段である。具体的には、判定領域毎に点灯入力画像５２が背景画像５３よりも閾値以上暗くなったか否かを判定し、暗くなった領域を暗変化領域として抽出する。
なお、この閾値は、影や黒服人物によって輝度が暗く変化する量を実験的または経験的に定めた値であり、例えば画像の輝度レベルが０〜２５５の階調で表現されている場合、例えば輝度値２０に設定する。

また、本実施の形態では、「暗くなる変化」が生じているかを判定する際に、点灯入力画像５２の輝度値と背景画像５３の輝度値を比較しているが、点灯入力画像５２の輝度値と所定の基準値を比較するようにしてもよい。この場合、所定の基準値は、影や黒服人物によって輝度が暗く変化したことを点灯入力画像５２との比較によって判定可能な値を実験的または経験的に定めればよい。

点消灯差分手段６３は、判定領域について、照明部２０の点灯時と消灯時で明るさにどの程度の変化が生じているかを求める手段である。具体的には、先ず、暗変化判定手段６２で抽出した暗変化領域における消灯入力画像５１と点灯入力画像５２の差分の平均値である点消灯差分値を算出する。かかる点消灯差分値は、判定領域が影であれば大きな値となり、黒服人物であれば比較的小さな値となる。これは、照明部２０が黒服人物に照射した場合の画像における輝度変化は、光を吸収するため小さいが、影であれば背景物にもよるが光を吸収することが少ないので比較的大きくなるので、黒服人物と影とを区別する有力な特徴量となる。点消灯差分手段６３は、特徴量算出手段６４を介して後述する影属性値要素として、算出した点消灯差分値を第１判定手段６５に出力する。本実施の形態では、暗変化領域と判定された判定領域全体について点消灯差分値を算出したが、判定領域における暗変化した画素について点消灯差分値を算出するようにしてもよい。なお、本実施の形態では、発明を明確にするために、点消灯差分手段６３を特徴量算出手段６４と分けて説明しているが、特徴量算出手段６４に含め、その一つの特徴を算出する手段に位置づけられる。

特徴量算出手段６４は、各判定領域に対して、判定領域が人物である可能性を示す特徴量である人属性値要素と、影である可能性を示す特徴量である影属性値要素を算出する手段である。

特徴量算出手段６４は、人属性値要素として、人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」を判定領域から算出する。
「実面積」は、判定領域に外接する矩形について、その画像内の位置と記憶部５０に記憶された設置高・俯角情報等のカメラパラメータに基づいて実空間での高さ×幅から面積を算出した値であり、判定領域が人物の大きさとしての妥当性を示す。「長短軸比」は、判定領域を楕円近似したときの画像内の短軸長と長軸長との比（短軸長÷長軸長）を算出した長短軸比であり、判定領域が人物の形状としての妥当性を示す。「長軸角度絶対値」は、判定領域を楕円近似したときに、水平方向（Ｘ軸方向）を０度とした場合の長軸の傾きを算出した長軸角度絶対値であり、判定領域が人物の姿勢としての妥当性を示す。本実施の形態では、説明を簡単にするために、３つの人属性値要素にて説明したが、これに限られるものではなく、種々の特徴量を利用しても良い。

また、特徴量算出手段６４は、影属性値要素として、影属性値要素１「背景画像平均値」、影属性値要素２「暗変化領域比率」を判定領域から算出する。「背景画像平均値」は、判定領域に対応する背景画像５３の輝度値の平均値を算出したものである。影は背景画像５３の輝度が高い、すなわち背景が明るい（光の反射率が高い）ほど点灯入力画像５２との輝度差が大きくなるので、判定領域の影としての妥当性を示している。「暗変化領域比率」は、暗変化領域の面積を判定領域の面積で除算したものであり、影は判定領域中で暗く変化するので、その割合は判定領域の影としての妥当性を示している。

特徴量算出手段６４は、算出した人属性要素及び影属性要素を第１判定手段６５に出力する。なお、特徴量算出手段６４は、点消灯差分手段６３が算出した点消灯差分値を影属性値要素３として第１判定手段６５に出力する。

第１判定手段６５は、特徴量算出手段６４から入力された人属性値要素１、２、３を用いて、判定領域毎に「人らしさ」を表す人属性値（検出対象属性）を算出し、特徴量算出手段６４から入力された影属性値要素１、２、３を用いて、判定領域毎に「影らしさ」を表す影属性値（非検出対象属性）の算出処理を行う。そして、各属性値を用いて、判定領域が人物によるものか否かの判定を行う。

特徴量算出手段６４から入力された人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」をそれぞれ図５に示すメンバーシップ関数に適用して人属性値を算出する。ここで、図５に示すメンバーシップ関数について説明する。ここでは、特徴量を人物である可能性が高いほど１に近づき、低いほど０に近づくように正規化した人属性値要素として求めている。

人属性値要素１「実面積」は、４０００平方センチメートル以下は人物の可能性が低いとして「０」、４０００平方センチメートル〜６０００平方センチメートルは直線的に人物の可能性を０から１の間で高くし、６０００平方センチメートル以上では人物の可能性が高いとして「１」とするメンバーシップ関数である。

人属性値要素２「長短軸比」は、０．５以下の場合は、太った人物を含めて人物の可能性が高く「１」とし、０．５から０．７５になるほど人物の形状として崩れるので直線的に人物の可能性を１から０の間で低くなるようにし、０．７５以上の場合はもはや人物の形状に程遠いとして「０」とするメンバーシップ関数である。

人属性値要素３「長軸角度絶対値」は、５０度以下の場合は、歩行等している人物である可能性が低く「０」とし、５０度から７５度に近づくほど歩行等している人物の可能性が１から０の間で高くなるようにし、７５度以上の場合は歩行等する人物の可能性が高いとして「１」とするメンバーシップ関数である。なお、本実施の形態にて紹介する人属性値要素のメンバーシップ関数は本実施例の設定であって、他の実施例においては、実験・経験・設置場所・検出対象によって適宜設計されるものである。

第１判定手段６５は、複数の人属性値要素を用いて、判定領域毎に「人らしさ」を表わす人属性値を算出する。すなわち、人属性値要素を乗算して、人属性値＝人属性値要素１×人属性値要素２×人属性値要素３として求める。人属性値の算出は、乗算に限られるものではなく、各要素の重み付け和とするなど、目的に応じて種々の算出方法を用いても良い。

次に、影属性値を算出するためのメンバーシップ関数について説明する。特徴量算出手段６４から入力された影属性値要素１「背景画像平均値」、影属性値要素２「暗変化領域比率」、影属性値要素３「点消灯差分値」をそれぞれ図４に示すメンバーシップ関数に適用して影属性値を算出する。ここでは、特徴量を影である可能性が高いほど１に近づき、低いほど０に近づくように正規化した影属性値要素として求めている。

影属性値要素１「背景画像平均値」は、影が撮影された影領域は、背景画像の輝度値が低いほど変化領域として現れにくいことを利用し、背景画像平均値が０〜３０では高くなるほど直線的に影の可能性を０から１の間で高くし、３０以上は影の可能性が高いとして「１」とするメンバーシップ関数である。本実施の形態では、前述したとおり、画像の輝度階調を０〜２５５に分解して表現している。これは、影であれば、背景が暗すぎるところに現われることは少ないので、背景画像平均値が小さいほど影属性値要素１が小さな値になることを利用したものである。

影属性値要素２「暗変化領域比率」は、判定領域のうち輝度が暗く変化した領域の度合いであり、０．７以下であれば人物の服装等による部分的な影響によって暗く変化した可能性があり影である可能性を低く「０」とし、０．７から１．０まで直線的に影の可能性を０〜１の間で高くなるようにしたメンバーシップ関数である。これは、影であれば判定領域の多くの部分が背景画像よりも暗く変化するので、暗変化領域比率が高いほど影属性値要素２が大きな値になることを利用したものである。

影属性値要素３「点消灯差分値」は、影領域は輝度差が３０以下の場合は、黒服人物の可能性が高いので影である可能性が低く「０」とし、３０から６５に近づくほど黒服人物より影である可能性が０から１の間で直線的に高くなるようにし、６５以上の場合は影である可能性が高いとして「１」とするメンバーシップ関数である。本実施の形態では、前述したとおり、画像の輝度階調を０〜２５５に分解して表現している。これは、光が遮られることで暗く写る影ならば照明部２０の光を反射し、そもそも光を反射しにくいため暗く写る「黒い物体」ならば照明部２０の光も反射しにくいので、点消灯差分値が大きいほど影属性値要素３が大きな値になることを利用したものである。この点消灯差分値を用いることにより、影と黒服人物を区別することができるようになる。

なお、本実施の形態にて紹介する影属性値要素のメンバーシップ関数は本実施例の設定であって、他の実施例においては、実験・経験・設置場所・検出対象・照明部２０の出力などによって適宜設計されるものである。

第１判定手段６５は、複数の影属性値要素を用いて、判定領域毎に「影らしさ」を表わす影属性値を算出する。すなわち、影属性値要素を乗算して、影属性値＝影属性値要素１×影属性値要素２×影属性値要素３として求める。なお、本実施の形態では影属性値を用いているが、影属性値を用いることなく、影属性値が小さいほど人属性値を大きくするようにしてもよい。なお、影属性値の算出は、乗算に限られるものではなく、各要素の重み付け和とするなど、目的に応じて種々の算出方法を用いても良い。

第１判定手段６５は、判定領域毎に、求めた人属性値と影属性値にもとづき、すなわち人属性値が大きく、且つ影属性値が小さい判定領域を「人物」と判定する。具体的には、人属性値が０．９以上、且つ影属性値が０．１以下のときに「人物」と判定する。他方、この条件を満たさない場合は、判定領域を「人物」とは判定しない。また、一組の点灯入力画像５２と消灯入力画像５１にて判定するのではなく、判定領域を順次追跡して、時系列に入力される複数組分の人属性値および影属性値を蓄積して総合的に判定を行うようにしてもよい。

背景画像生成手段６６は、撮像部４０にて撮影された点灯入力画像５２と第１判定手段６５の判定結果を用いて、背景画像５３を更新する。具体的には、背景画像生成手段６６は、人物が存在していないと第１判定手段６５が判定した点灯入力画像５２を記憶部５０の背景画像５３として上書き更新して記憶する。本実施の形態では、第１判定手段６５にて人物が存在していないと判定する毎に更新しているが、数フレーム毎や一定時間毎に取得した点灯入力画像５２にて更新するようにしても良い。また、判定領域設定手段６１にて変化領域が所定面積以下である点灯入力画像５２にて更新するようにしてもよい。

出力部７０は、第１判定手段６５で監視領域内に侵入者がいると判定された場合、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する構成とすることができる。また、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に監視センタに出力することによって、異常の発生を監視センタに通知する構成としてもよい。

次に、本実施形態の画像センサ１の動作を説明する。図２は、画像センサ１が設置された監視領域２とその周辺の夜間における状況を模式的に示した図である。図２（ａ）は、塀に囲まれている監視領域２内に侵入者３が入り、自動車５のヘッドライトによる光６が監視領域２に差し込み、侵入者３の影４が出ている状況を示している。なお、侵入者３は、黒い服を着用している。図２（ｂ）は、監視領域２の外側に通行人７が所在し、自動車５のヘッドライトによる光６により、通行人７の影８が監視領域２に入っている状況を示している。また、画像センサ１は、図２に示すように監視領域２への侵入経路として想定される塀が開口している領域を撮像部４０にて撮像できるように設置されている。

図６、図３及び図４を参照して、本実施の形態の画像センサ１の処理を説明する。なお、図６は、画像処理のフローチャート、図３は判定領域、及び暗変化領域の抽出方法の説明図、図４は、点消灯差分値のイメージを説明する図である。先ず、ステップＳ１では、撮像部４０にて撮影した画像の取得を行う。取得する画像は、消灯入力画像５１と点灯入力画像５２の２種類である。例えば、１／１０秒毎に交互に取得し、２種類の画像の組が揃ったところで以降の処理を行う。

ステップＳ２では、判定領域設定手段６１において、点灯入力画像５２と、記憶部５０に記憶されている背景画像５３との差分の絶対値を閾値処理し、点灯入力画像５２中の変化領域を２値画像として抽出する。点灯入力画像５２と背景画像５３との二値化差分処理を実行して変化領域（図示しない）を抽出する。

ステップＳ３では、判定領域設定手段６１にて、人物の大きさ等を考慮し、一人の人物による変化領域が纏まるようにラベル付けを順次行い判定領域として設定する。図３（ａ）は、図２（ａ）に示す状況での画像であり、図３（ｂ）は、図２（ｂ）に示す状況での画像である。図３（ａ）の例では、ステップＳ２にて抽出した変化領域から判定領域９および判定領域１０を抽出している。図３（ｂ）の例では判定領域１１を抽出している。

以降、ステップＳ４からステップＳ１０では、ステップＳ３にて抽出された判定領域毎にステップＳ５からＳ９までの処理を繰り返す。

ステップＳ５では、暗変化判定手段６２にて、判定領域について点灯入力画像５２が背景画像５３より閾値（例えば輝度値２０）以上暗くなる領域を暗変化領域（２値）として抽出する。図３（ａ）の例では、ステップＳ３にて抽出した判定領域９に対して暗変化領域１２、判定領域１０に対して暗変化領域１３をそれぞれ抽出している。図３（ｂ）の例では判定領域１１に対して暗変化領域１４を抽出している。

ステップＳ６では、点消灯差分手段６３にて、暗変化判定手段６２で抽出した暗変化領域における点消灯差分値を算出する。そして、点消灯差分手段６３は、影属性値要素３として算出した点消灯差分値を特徴量算出手段６４に出力する。図４（ａ）は、図２（ａ）に示す状況での画像であり、図４（ｂ）は、図２（ｂ）に示す状況での画像である。図４に示した点消灯差分値のイメージ図は、暗変化領域について、点灯入力画像５２と消灯入力画像５１の輝度差が所定値以上である領域を白色、それ以外の領域を黒色で表現している。すなわち、暗変化領域がイメージ図の白色の領域に重なるほど点消灯差分手段６３にて算出される点消灯差分値は大きな値になることを示している。図４（ａ）の例では、暗変化領域１２の位置は、イメージ図で黒色の領域になっており、暗変化領域１３の位置は、イメージ図で白色の領域になっている。図４（ｂ）の例では、暗変化領域１４の位置は、イメージ図で白色の領域になっている。すなわち、暗変化領域１３、１４について算出された点消灯差分値は、暗変化領域１２について算出された点消灯差分値より大きい値になる。

ステップＳ７では、判定領域毎に、人属性値要素１，２，３および影属性値要素１，２を算出する。すなわち、特徴量算出手段６４にて、人属性値要素１の「実面積」、人属性値要素２の「長短軸比」、人属性値要素３の「長軸角度絶対値」、影属性値要素１の「背景画像平均値」、影属性値要素２の「暗変化領域比率」をそれぞれ算出する。

特徴量算出手段６４は、算出した人属性値要素１，２，３及び影属性値要素１，２，３を第１判定手段６５に出力する。

ステップＳ８では、第１判定手段６５は、人属性値要素１，２，３および影属性値要素１，２，３を図５にて説明した各メンバーシップ関数に代入し、人属性値および影属性値を算出する。

ステップＳ９では、第１判定手段６５は、算出された各属性値を用いて、判定領域が人物であるかどうか判定する。具体的には、人属性値が大きく、影属性値が小さいと人物と判定する。ステップＳ５〜ステップＳ９の処理を抽出した全ての判定領域に対して実行し、判定領域が検出対象である人物（侵入者）であるか否かを判定する。すべての判定領域について判定が終了するとステップＳ１１に処理を移行させる。

ステップＳ１１では、背景画像生成手段６６は、記憶部５０に記憶されている背景画像５３を更新する。上述したように、背景画像生成手段６６による更新は、監視領域に人物がいると判定された場合には背景更新を行わず、人物がいないと判定された場合には背景更新を行う。

ステップＳ１２では、第１判定手段６５にて、人物と判定された判定領域があった場合、ステップＳ１３に移行させ、そうでない場合にはステップＳ１に処理を戻る。ステップＳ１３では、出力部７０は、第１判定手段６５で監視領域内に侵入者（人物）がいると判定されたことを示す情報を画像センサ１の外部の警報装置に出力する。外部の警報装置では出力結果に基づき、警報などを発する。

以上のように、本発明によれば、夜間など監視領域が暗い場合に、影と影以外の黒い物体（例えば、黒服人物）を精度良く区別することができる。

次に、本発明の第二の実施形態を説明する。図７は、本発明の第２の実施形態である画像センサ１ａの構成を示した図である。第二の実施形態では、第一の実施形態と構成および処理が部分的に異なる。以下に、第１の実施形態と異なる構成、処理について詳述する。

先ず、記憶部５０ａは、消灯入力画像５１、点灯入力画像５２、背景画像５３、に加えて、外部光無点灯画像５４、外部光無消灯画像５５を記憶している。外部光無点灯画像５４は、過去に照明部２０を点灯して撮像した画像であって、侵入者等が抽出されておらず、照明部２０からの光以外である外部光による輝度変化すなわち照明変動する直前の画像である。外部光無消灯画像５５は、過去に照明部２０を消灯して撮像した画像であって、侵入者等が抽出されておらず、照明部２０からの光以外である外部光による輝度変化すなわち照明変動する直前の画像である。外部光無点灯画像５４および外部光無消灯画像５５は、後述する画像処理部６０ａの外部光無画像生成手段６９にて適宜更新される。

画像処理部６０ａは、判定領域設定手段６１、暗変化判定手段６２、外部光有無差分手段６７、特徴量算出手段６４ａ、第２判定手段６８、背景画像生成手段６６及び外部光無画像生成手段６９の各モジュールから構成されている。

外部光有無差分手段６７は、判定領域について、照明部２０の点灯時と消灯時の明るさの変化をヘッドライトの光６のような外部光の有る場合と無い場合で比較する手段である。
具体的には、先ず、外部光有無差分手段６７は、第１の実施形態と同様に暗変化判定手段６２で抽出した暗変化領域における消灯入力画像５１と点灯入力画像５２の差分の平均値である点消灯差分値を算出する。また、暗変化判定手段６２で抽出した暗変化領域における外部光無点灯画像５４と外部光無消灯画像５５の差分の平均値である外部光無差分値を算出する。そして、外部光無差分値と点消灯差分値の比率を外部光有無差分比率として算出する。外部光有無差分比率は、点消灯差分値を外部光無差分値で除算して求める。かかる外部光有無差分比率は、判定領域が影であれば点消灯差分値と外部光無差分値は近い値となるため１に近くなり、黒服人物であれば点消灯差分値と外部光無差分値は近い値にならないため１に近くならない。

以下に、外部光有無差分比率の原理を説明する。先ず、影は光が遮られることで生じるため、外部光による影の輝度値とその影に対応するその外部光が入射していないときの輝度値はほぼ等しくなる。一方、黒服人物は物体であるので、外部光が入射したときの黒服人物の輝度値とその黒服人物に対応するその外部光が入射していないときの輝度値は等しくならない。さらに、照明部２０が黒服人物に照射した場合の画像における輝度変化は、光を吸収するため小さいが、影であれば背景物にもよるが光を吸収することが少ないので比較的大きくなる。したがって、点消灯差分値は、黒服人物では小さく、影では大きくなる。また、侵入者、新たな外部光が入射していない監視領域に照明部２０が光を照射した場合と照射しない場合の画像における輝度変化は、照明部２０による光の有無による変化となる。つまり、外部光無差分値は、照明部２０に起因する輝度変化を示すこととなる。したがって、外部光無差分値と点消灯差分値の比率である外部光有無差分比率は、照明部２０に起因する輝度変化量に対する黒服人物と影との違いに起因する輝度変化量の比率で示すので単に点消灯差分値を用いるよりも黒服人物と影で顕著に異なる値となり、黒服人物と影とを区別する有力な特徴量となる。

外部光有無差分手段６７は、特徴量算出手段６４ａを介して後述する影属性値要素として、算出した外部光有無差分比率を第２判定手段６８に出力する。本実施の形態では、暗変化領域と判定された判定領域全体について外部光有無差分比率を算出したが、判定領域における暗変化した画素について外部光有無差分比率を算出するようにしてもよい。なお、本実施の形態では、発明を明確にするために、外部光有無差分手段６７を特徴量算出手段６４ａと分けて説明しているが、特徴量算出手段６４ａに含め、その一つの特徴を算出する手段に位置づけられる。

特徴量算出手段６４ａは、第１の実施形態の特徴量算出手段６４と同様に人物属性値要素として、人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」を判定領域から算出する。また、特徴量算出手段６４ａは、第１の実施形態と同様に影属性値要素として、影属性値要素１「背景画像平均値」、影属性値要素２「暗変化領域比率」を判定領域から算出する。そして、特徴量算出手段６４ａは、算出した人属性要素及び影属性要素を第２判定手段６８に出力する。なお、特徴量算出手段６４ａは、外部光有無差分手段６７が算出した外部光有無差分比率を影属性値要素４として第２判定手段６８に出力する。

第２判定手段６８は、第１の実施形態の第１判定手段６５と同様に特徴量算出手段６４ａから入力された人属性値要素１、２、３を用いて、判定領域毎に「人らしさ」を表す人属性値（検出対象属性）を算出する。また、第２判定手段６８は、特徴量算出手段６４ａから入力された影属性値要素１、２、４を用いて、判定領域毎に「影らしさ」を表す影属性値（非検出対象属性）の算出処理を行う。そして、第１判定手段６５と同様に各属性値を用いて、判定領域が人物によるものか否かの判定を行う。

図８は、本実施の形態で用いる人属性値および影属性値を算出するためのメンバーシップ関数である。本実施の形態では、第２判定手段６８は、影属性値要素４「外部光有無差分比率」を影属性値の算出に用いる点のみが第１判定手段６５と異なるため、以下では、影属性値要素４「外部光有無差分比率」について図８のメンバーシップ関数を説明する。

影属性値要素４「外部光有無差分比率」は、影領域は外部光有無差分比率が０．７以下の場合は、黒服人物の可能性が高いので影である可能性が低く「０」とし、０．７から１に近づくほど黒服人物より影である可能性が０から１の間で直線的に高くなるようにし、１以上の場合は影である可能性が高いとして「１」とするメンバーシップ関数である。

なお、本実施の形態にて紹介する影属性値要素のメンバーシップ関数は本実施例の設定であって、他の実施例においては、実験・経験・設置場所・検出対象・照明部２０の出力などによって適宜設計されるものである。

第２判定手段６８は、第１判定手段６５と同様に複数の影属性値要素を用いて、判定領域毎に「影らしさ」を表わす影属性値を算出する。すなわち、影属性値要素を乗算して、影属性値＝影属性値要素１×影属性値要素２×影属性値要素４として求める。なお、本実施の形態では影属性値を用いているが、影属性値を用いることなく、影属性値が小さいほど人属性値を大きくするようにしてもよい。なお、影属性値の算出は、乗算に限られるものではなく、各要素の重み付け和とするなど、目的に応じて種々の算出方法を用いても良い。

なお、図示はしないが、影属性値要素４に変えて別の影属性値要素を用いてもよい。具体的には、別の影属性値要素として、図５に示した第１の実施形態の影属性値要素３「点消灯差分値」の閾値を外部光無差分値に応じて可変したメンバーシップ関数を設定する。この場合、外部光無差分値をＲとし、図５に示す点消灯差分値のメンバーシップ関数を輝度差が（Ｒ×０．８）以下の場合は、黒服人物の可能性が高いので影である可能性が低く「０」とし、（Ｒ×０．８）からＲに近づくほど黒服人物より影である可能性が０から１の間で直線的に高くなるようにし、Ｒ以上の場合は影である可能性が高いとして「１」とすればよい。

背景画像生成手段６６は、第１の実施形態と同様に撮像部４０にて撮影された点灯入力画像５２と第２判定手段６８の判定結果を用いて、背景画像５３を更新する。

外部光無画像生成手段６９は、外部光有無差分手段６７で用いられる外部光無点灯画像５４、外部光無消灯画像５５を記憶部５０ａに記憶する。具体的には、外部光無画像生成手段６９は、人物が存在していないと第２判定手段６８が判定した点灯入力画像５２と、その点灯入力画像５２と組になって処理対象とされた消灯入力画像５１を記憶部５０ａに記憶する。次のフレーム以降は、第２判定手段６８にて人物が存在していないと判定される毎に記憶部５０ａに記憶した人物が存在していない消灯入力画像５１および点灯入力画像５２を更新する。なお、本画像センサ１の初期起動時には人物が存在していない消灯入力画像５１および点灯入力画像５２が記憶部５０ａに保持されてないため、初期起動時には予め照明部２０を消灯・点灯させて人物の存在しない監視領域を撮像した画像を消灯入力画像５１および点灯入力画像５２として記憶部５０ａに保持する処理を行う。また、外部光無画像生成手段６９は、処理対象の点灯入力画像５２について、照明部２０からの光以外の新たな外部光による輝度変化の有無すなわち照明変動の有無を検知する。そして「照明変動の有」と判定された点灯入力画像５２が撮像される以前に撮像された画像であって、記憶部５０ａに保持されている人物が存在していない消灯入力画像５１および消灯入力画像５１をそれぞれ外部光無点灯画像５４、外部光無消灯画像５５として記憶部５０ａに記憶する。外部光無画像生成手段６９は、「照明変動の有」と判定する毎に記憶部５０ａに記憶している外部光無点灯画像５４、外部光無消灯画像５５を更新する。なお、本画像センサ１の初期起動時には外部光無点灯画像５４、外部光無消灯画像５５が記憶部５０ａに保持されてないため、初期起動時に予め照明部２０を消灯・点灯させて外部光がなく人物の存在しない夜間の監視領域を撮像した画像を外部光無点灯画像５４、外部光無消灯画像５５として記憶部５０ａに保持する処理を行う。本実施の形態では、画像処理によって特定された外部光無点灯画像５４、外部光無消灯画像５５を記憶部５０ａに記憶しているが、照明部２０を消灯・点灯させて外部光がなく人物の存在しない夜間の監視領域を撮像した画像を撮像した時刻と対応付けて予め用意し、点灯入力画像５２の撮像時刻に対応する撮像時刻の予め用意した画像を外部光無点灯画像５４、外部光無消灯画像５５として順次記憶部５０ａに記憶・更新するような構成にしてもよい。

外部光無画像生成手段６９の照明変動検知について説明する。外部光無画像生成手段６９は、点灯入力画像５２の平均輝度値を毎フレーム算出し、その値を数フレーム分、記憶部５０ａに保持する。そして、現在処理対象となっている点灯入力画像５２の平均輝度値と保持している過去の平均輝度値の平均値とを比較し、算出した平均輝度値から過去の平均輝度値の平均値を減算した値が所定値以上となったときに照明変動が有ったことを検知する。この所定値は、ヘッドライトの光など照明部２０からの光以外である外部光によって輝度が明るく変化する量を実験的または経験的に定めた値に設定する。記憶部５０ａに平均輝度値を保持する際、外部光無画像生成手段６９は、「照明変動無し」と判定された点灯入力画像５２の平均輝度値を算出する毎に保持してある平均輝度値のうち時系列順に古いものから削除し、算出した平均輝度値を時系列順に最も新しい輝度平均値として記憶する。なお、本画像センサ１の初期起動時には数フレーム分の輝度平均値が記憶部５０ａに保持されてないため、初期起動時に予め人物の存在しない監視領域を撮像した画像の輝度平均値を数フレーム分、記憶部５０ａに保持する処理を行う。本実施の形態では、画像処理によって照明変動の有無を検知しているが、照度計の計測値を用いて照明変動の有無を検知するようにしてもよい。具体的には、監視領域内の照度を計測する照度計を設け、外部光無画像生成手段６９は、照度計から、現在処理対象となっている点灯入力画像５２の撮像時刻に照度計にて計測された照度を入力して、計測した照度が所定値以上であれば「照明変動有り」を検知するようにしてもよい。

出力部７０は、第１の実施形態と同様に第２判定手段６８で監視領域内に侵入者がいると判定された場合、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する。

次に、第２の実施形態の画像センサ１の処理を説明する。本実施の形態の処理は、図６に示したフローチャートのステップＳ１、ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ１０、ステップＳ５について、前述した第１の実施形態の処理と同様であるのでこれらの処理については、説明を省略する。以下、第１の実施形態と異なる処理について説明する。

先ず、ステップＳ６では、外部光有無差分手段６７は、記憶部５０ａから外部光無点灯画像５４、外部光無消灯画像５５を読み出し、暗変化判定手段６２で抽出した暗変化領域における外部光有無差分比率を算出する処理を行う。そして、外部光有無差分手段６７は、影属性値要素４として算出した外部光有無差分比率を特徴量算出手段６４に出力する。

ステップＳ７では、前述した第１の実施形態と同様に判定領域毎に、人属性値要素１，２，３および影属性値要素１，２を算出する。そして、特徴量算出手段６４ａは、算出した人属性値要素１，２，３及び影属性値要素１，２，４を第２判定手段６８に出力する。

ステップＳ８では、第２判定手段６８は、人属性値要素１，２，３および影属性値要素１，２，４を図８にて説明した各メンバーシップ関数に代入し、人属性値および影属性値を算出する。

ステップＳ９では、第２判定手段６８は、算出された属性値を用いて、判定領域が人物であるかどうか判定する。具体的には、人属性値が大きく、影属性値が小さいと人物と判定する。ステップＳ５〜ステップＳ９の処理を抽出した全ての判定領域に対して実行し、判定領域が検出対象である人物（侵入者）であるか否かを判定する。すべての判定領域について判定が終了するとステップＳ１１に処理を移行させる。

ステップＳ１１では、背景画像生成手段６６は、記憶部５０ａに記憶されている背景画像５３を更新する。上述したように、背景画像生成手段６６のよる更新は、監視領域に人物がいると判定された場合には背景更新を行わず、人物がいないと判定された場合には背景更新を行う。

ステップＳ１２では、第２判定手段６８にて、人物と判定された判定領域があった場合、ステップＳ１３に移行させる。ステップＳ１３では、出力部７０は、第２判定手段６８で監視領域内に侵入者（人物）がいると判定されたことを示す情報を画像センサ１の外部の警報装置に出力し、ステップＳ１４（図示しない）に移行する。外部の警報装置では出力結果に基づき、警報などを発する。第２判定手段６８にて、人物と判定された判定領域がなかった場合、ステップＳ１４（図示しない）に移行する。

ステップＳ１４では、外部光無画像生成手段６９は、処理対象の点灯入力画像５２について、照明部２０からの光以外である外部光による輝度変化の有無すなわち照明変動の有無を検知する。ステップＳ１４で「照明変動有り」とされた場合、記憶部５０ａに記憶されている人物が存在していないと第２判定手段６８が判定した点灯入力画像５２と、その点灯入力画像５２と組になって処理対象とされた消灯入力画像５１をそれぞれ外部光無点灯画像５４、外部光無消灯画像５５として記憶部５０ａに記憶し、ステップＳ１に移行する。

ステップＳ１４で「照明変動無し」とされた場合、外部光無画像生成手段６９は、Ｓ１４の照明変動検知処理で用いる情報として、処理対象である点灯入力画像５２の平均輝度値を算出し、その値を記憶部５０ａに記憶・更新する。その後、処理をステップＳ１５（図示しない）に移行する。

ステップＳ１５では、外部光無画像生成手段６９は、人物が存在していないと第２判定手段６８が判定した点灯入力画像５２と、その点灯入力画像５２と組になって処理対象とされた消灯入力画像５１を記憶部５０ａに記憶・更新し、ステップＳ１に移行する。

以上のように、本発明によれば、夜間など監視領域が暗い場合に、影と影以外の黒い物体（例えば、黒服人物）を精度良く区別することができる。

１，１ａ 画像センサ、２ 監視領域、３ 侵入者、４ 影、５ 車、６ ヘッドライトの光、７ 通行人、８ 影、９〜１１ 判定領域、１２〜１４ 暗変化領域、２０ 照明部、３０ 撮像制御部、４０ 撮像部、５０，５０ａ 記憶部、５１ 消灯入力画像、５２ 点灯入力画像、５３ 背景画像、５４ 外部光無点灯画像、５５ 外部光無消灯画像、６０，６０ａ 画像処理部、６１ 判定領域設定手段、６２ 暗変化判定手段、６３ 点消灯差分手段、６４，６４ａ 特徴量算出手段、６５ 第１判定手段、６６ 背景画像生成手段、６７ 外部光有無差分手段、６８ 第２判定手段、６９ 外部光無画像生成手段、７０ 出力部。

Claims (4)

1. 監視領域を撮像して監視画像を取得する撮像部と、前記監視領域に対して照明を施す照明部と、前記監視画像中の変化に基づいて検出対象の有無を判定する画像処理部と、前記検出対象が写っていない監視画像を背景画像として記憶している記憶部と、を有する画像センサであって、
   前記画像処理部は、
   前記監視画像中から前記検出対象か否かを判定する対象となる判定領域を設定する判定領域設定手段と、
   前記判定領域の輝度値が所定の基準値よりも低いか否かを判定する暗変化判定手段と、
   前記照明部を点灯して撮像した点灯監視画像における判定領域と前記照明部を消灯して撮像した消灯監視画像における判定領域の輝度差を点消灯差分値として算出する点消灯差分手段と、
   前記判定領域が前記暗変化判定手段にて前記基準値よりも低いと判定され、且つ前記点消灯差分値が大きいときほど前記検出対象有りと判定され難くする判定手段と、を有することを特徴とする画像センサ。
2. 請求項１に記載の画像センサであって、
   前記記憶部は、前記照明部を点灯して撮像した画像および消灯して撮像した画像であって、前記監視領域中に照明変動が生じていないときの前記検出対象が写っていない画像を外部光無点灯画像および外部光無消灯画像として記憶し、
   前記画像処理部は、
   前記外部光無点灯画像における判定領域の輝度値と前記外部光無消灯画像における判定領域の輝度差を外部光無差分値として算出する外部光有無差分手段を更に有し、
   前記判定手段は、前記外部光無差分値と前記点消灯差分値が近い値となるほど前記検出対象有りと判定され難くすることを特徴とする画像センサ。
3. 請求項１又は２に記載の画像センサであって、
   前記暗変化判定手段は、前記判定領域から前記監視画像の輝度値が前記基準値よりも低くなる領域を暗変化領域として抽出し、
   前記点消灯差分手段は、前記点灯監視画像における前記暗変化領域と前記消灯監視画像における前記暗変化領域との輝度差を前記点消灯差分値として算出することを特徴とする画像センサ。
4. 請求項１〜３のいずれか１項に記載の画像センサであって、
   前記基準値は、前記背景画像における判定領域の輝度値であることを特徴とする画像センサ。

Images