JP4865328B2

JP4865328B2 - 画像センサ

Info

Publication number: JP4865328B2
Application number: JP2005377349A
Authority: JP
Inventors: 幸一尾坐
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2005-12-28
Filing date: 2005-12-28
Publication date: 2012-02-01
Anticipated expiration: 2025-12-28
Also published as: JP2007180932A

Description

本発明は、監視空間を撮像した画像を用いて侵入者を検出することを目的とした画像センサに関する。

監視空間を撮像するカメラ等の撮像装置を用いて撮像して得た画像情報を画像処理して、監視空間への移動体の侵入を検出する画像センサが提案されている。例えば、監視空間に許可なく侵入してきた不審な侵入者を検出して警報を発する画像センサ等が開発されている。

このような画像センサでは、画像情報に含まれるテクスチャやエッジ等の特徴量を抽出し、これらの特徴量が侵入者による画像の特徴を示すか否かを判定することによって、監視空間に侵入者が存在するか否かを検知する。

特許文献１には、監視領域を撮影した画像において、非常に高い輝度の領域を光領域として検出し、基準画像と現画像との差の変化領域が光領域を含むとき又は光領域に含まれるときは侵入者を検出する感度を通常の輝度領域における感度より低くする技術が開示されている。これにより、撮影画像中の光又は影を侵入者として検出することがなくなり誤報を防止することができる。

また、画像センサに用いられるカメラは、一般的にＣＣＤ等の受光素子、増幅器及びアナログ／デジタル変換器を含んで構成される。受光素子にて監視空間の明るさを電圧値又は電流値で表す電気信号に変換し、その電気信号を増幅器で増幅した後にアナログ／デジタル変換器でデジタル信号に変換して画像情報として出力する。画像情報において監視空間の明るさを表すパラメータは輝度値と呼ばれる。画像センサにおいて、輝度値を表現する階調数は限定されており、例えば、８ビットのデジタル信号を適用した場合には画像情報における輝度値は２５６階調で表現される。

特開２０００−３４１６７７号公報

ところで、監視空間の明暗分布は日照や照明により変動し、カメラの設置場所によっても変動する。したがって、画像センサには、監視空間の明暗分布の変化に応じて限られた階調でできるだけ広いダイナミックレンジを実現するように、増幅器の増幅率を自動的に変更する自動利得制御（ＡＧＣ：ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）機能を有するカメラが用いられることがある。

監視空間が全体的に明るく、明暗分布が比較的狭い場合、ＡＧＣ機能により、画像中の平均的な明るさが輝度の階調の中央値（例えば、１２８）となり、画像中の最高の明るさが輝度の階調の最大値（例えば、２５５）となり、画像中の最低の明るさが輝度の階調の最小値（例えば、０）となるように画像のダイナミックレンジが調整される。これによって、侵入者を検出するためのテクスチャやエッジ等の特徴量において十分な分解能を得ることができる。監視空間が全体的に暗く、明暗分布が比較的狭い場合もＡＧＣ機能によりダイナミックレンジが調整され、侵入者を検出するためのテクスチャやエッジ等の特徴量において十分な分解能を得ることができる。

しかしながら、監視空間の明暗分布が非常に広い場合、ＡＧＣ機能によるダイナミックレンジの調整の限界を超えてしまい、１階調で表現される輝度の範囲が非常に大きくなる。特に明るい領域と特に暗い領域において画像が不明りょうとなる“つぶれ”が生じる場合がある。このような場合、侵入者を検出するためのテクスチャやエッジ等の特徴量において十分な分解能を得ることができなくなるおそれがある。

このような現象は、例えば、夜間における監視空間の一部が部分照明で照らされた場合、監視空間に白い壁や白い床等と黒いカーテンや黒いカーペット等が存在する場合等、空間的に明暗差が大きい監視空間にて起こり易い。

一方、分解能の低下を避けるためにＡＧＣ機能を持たないカメラを用いると、監視空間が全体的に明るい場合には、明るい領域において輝度の階調が限界を超えて飽和する。一方、監視空間が全体的に暗い場合には、暗い領域において輝度の階調が限界を超えて飽和する。また、明暗分布が広い場合は、明るい領域及び暗い領域において輝度の階調が限界を超えて飽和する。いずれの場合も、侵入者を検出するためのテクスチャやエッジ等の特徴量において十分な分解能を得ることができなくなるおそれがある。

十分な分解能を持たないテクスチャやエッジ等の特徴量に基づいて侵入者の検出処理をすれば検出性能の低下を招きかねない。

特許文献１の従来技術においては、局所的な光領域のみに注目しているため、暗い領域における分解能の低下は検出することができず、また、変化領域における感度を下げていたために侵入者の検出性能の低下を招きかねない。

本発明は、上記従来技術の問題を鑑み、画面の輝度分布に応じて検出処理における判定基準を変更することによって検出対象物の検出の確度を向上させた画像センサを提供することを目的とする。

本発明は、監視空間を撮像して前記監視空間の明暗分布に応じた輝度分解能にて画像を出力する撮像部から取得した前記画像を画像処理して前記監視空間に存在する特定の対象物を検出する画像センサであって、前記撮像部から取得した画像を複数のブロックに分割して当該ブロック毎の明暗を示す明暗値を求め、前記複数のブロック間における前記明暗値の最大差が大きいほど当該画像の輝度の分解能が低いと判定する分解能判定部と、前記撮像部から取得した画像を画像処理して前記対象物の特徴量を抽出する特徴量抽出部と、前記特徴量が検出基準より高いと前記対象物の検出となる対象物検出部と、を備え、前記分解能の程度が低いと前記対象物を検出する感度を高めることを特徴とする。

このように、画像の輝度分布に応じて画像の輝度の分解能の程度を判定し、前記分解能の程度が低いと前記対象物を検出する感度を高める、監視空間内の明暗分布によって画像中の検出対象物のテクスチャやエッジ等の特徴量が不明確になる影響を低減することができる。

また、前記特徴量抽出部は、前記分解能の程度が低いほど前記対象物の特徴量を抽出する感度を高くすることが好適である。また、前記対象物検出部は、前記分解能の程度が低いほど前記検出基準を低くすることが好適である。
また、前記特徴量抽出部は、さらに、前記分解能の程度が低いほど低い感度にて外乱の特徴量を抽出する外乱特徴量抽出手段を備え、前記対象物検出部は、前記対象物の特徴量が前記外乱の特徴量より高く、かつ、前記検出基準より高い場合に前記対象物の検出となることも好適である。

本発明によれば、画像の輝度分布に応じて侵入者等の対象物を検出する感度を変更することによって対象物の検出の確度を向上させることができる。

本発明の実施の形態における画像センサ１００は、図１に示すように、撮像部１０、背景画像記憶部１２、変化領域抽出部１４、分解能判定部１６、特徴劣化判定部１８、人属性値算出部２０、外乱属性値算出部２２、侵入者検出部２４及び出力部２６を含んで構成される。

画像センサ１００は、ＣＰＵ、メモリ、入出力装置等を含む基本的なコンピュータの構成によって実現することができる。画像センサ１００の各部での処理は、図２に示すフローチャートに沿ってプログラムを実行することによって実現される。なお、本実施の形態では、検出対象物を侵入者として説明を行うが、他の検出対象物に置き換えても同様に処理を行うことができる。

画像センサ１００は、画像監視を開始させる操作や設定されたタイミングにて侵入者検知を開始する。撮像部１０は、ＣＣＤ撮像素子を備えたカメラ、増幅器及びアナログ／デジタル変換器を含んで構成される。撮像部１０は、カメラにて監視空間の明るさを電圧値又は電流値で表す電気信号に変換し、その電気信号を増幅器で増幅した後にアナログ／デジタル変換器でデジタル信号に変換して背景画像記憶部１２、変化領域抽出部１４及び特徴劣化判定部１８へ出力する（ステップＳ１０）。画像は、モノクロ画像の輝度信号の画像、カラー画像から輝度信号を抜き出した画像、又は、カラー画像からカラー成分の１つを抜き出した画像でもよい。撮像部１０で取得される画像は、静止画、動画を問わず、両方を取得してもよい。なお、ＣＣＤ撮像素子の代わりにＣＭＯＳ撮像素子等の光電変換素子を用いることもできる。

撮像部１０には、監視空間の明暗分布に応じて画像のダイナミックレンジを自動的に調整する自動利得制御（ＡＧＣ）機能を持たせることが好ましい。例えば、画像全体が２５６階調（０〜２５５階調）のダイナミックレンジを可能な限り広く用いるように輝度分解能の調整を行うことが好適である。

背景画像記憶部１２は、侵入者が存在しない状態における監視空間の画像を格納及び保持するメモリを含んで構成される。メモリは、一般的に半導体メモリが適用されるが、ハードディスク、光ディスク、光磁気ディスク等の外部記憶装置を適宜用いてもよい。背景画像記憶部１２は、撮像部１０で撮像された画像情報を受けて、所定のタイミング又は所定の条件に応じてメモリに現在記憶されている背景画像を撮像部１０から新たに受信した画像に更新する（ステップＳ１２）。例えば、ユーザからの更新指示に応じたタイミングで新たな画像を撮像して背景画像を更新したり、所定の周期で新たな画像を撮像して背景画像を更新したりすることが好適である。また、入力された画像の平均輝度を所定の閾値と比較し、日中と夜間のように監視空間の平均的な明るさが変化した場合に背景画像を更新することも好適である。

変化領域抽出部１４は、侵入者が存在しない基準時に取得された背景画像と監視空間から順次取得される入力画像との差分を算出する機能を持つ。変化領域抽出部１４は、撮像部１０から入力画像を受信し、背景画像記憶部１２に予め格納及び保持されている背景画像を読み出して入力画像と背景画像との間で対応する画素同士の差分値を算出する。さらに、各画素についての差分値の絶対値が所定の二値化閾値以上である場合は画素値“１”を有する変化画素、所定の二値化閾値より小さい場合は画素値“０”を有する無変化画素とする２値化画像を生成する。そして、２値化画像内において纏まって１つの群を構成する変化画素の領域を纏めて変化領域としてグループ化し、各変化領域を識別するためにラベリングを行う（ステップＳ１４）。

分解能判定部１６は、背景画像記憶部１２に記憶されている背景画像を読み出し、撮像部１０で撮像されている画像の輝度の分解能の程度を判定し、判定結果を示す分解能フラグの値を設定する（ステップＳ１６）。この処理は、背景画像記憶部１２の背景画像が更新される毎に行うことが好適である。背景画像を予め定められたブロックに分割し、ブロック毎の明暗を示す明暗値として各ブロックの輝度の平均値を算出し、ブロック間で明暗値の最大差を求める。この最大差が所定の輝度差閾値を超えていれば分解能が低下しているものとして分解能フラグを“１”とし、所定の輝度差閾値以下であれば分解能が低下していないものとして分解能フラグを“０”に設定する。

具体的には、図３に示すフローチャートに沿って処理が実行される。ステップＳ１６−１では、背景画像記憶部１２から取得した画像を所定の大きさのブロックに分割する。分割するブロックのサイズが大きすぎると画像内に明るい領域と暗い領域とが混在しているか否かを判別し難くなり、分割するブロックのサイズが小さすぎると画像内の局所的な輝度の変化の影響により画像全体としての明るい領域と暗い領域との差が判別し難くなる。したがって、監視空間に被検出対象となる侵入者が侵入した場合に画像内に写し出される侵入者の画像の大きさに基づいて分割するブロックのサイズを決定することが好ましい。すなわち、侵入者の画像の大きさとほぼ等しいサイズのブロックに分割することによって侵入者検出への分解能の影響を適切に判定することが可能となる。例えば、撮像部１０を天井付近に設置して、監視空間を見下ろすように撮像する場合、撮像される画像の下部には撮像部１０により近い空間が写され、画像の上部には撮像部１０からより遠い空間が写されることになるので、画像の上部から下部へと向かうに従って分割するブロックが大きくなるようにすることも好適である。

ステップＳ１６−２では、各ブロックに含まれる画素の輝度値の平均値ＡＶｎ（ｎはブロックを特定する識別番号）を算出する。ステップＳ１６−３では、数式（１）に基づいて各ブロックについて求められた平均輝度値の最大値Ｍａｘ＿Ａｖｇと最小値Ｍｉｎ＿Ａｖｇとを算出する。そして、数式（２）に基づいて、その差が所定の輝度差閾値ＴＨ１を超えていれば画像中に非常に明るい領域と非常に暗い領域が混在しており分解能が低下している状態であると判断してステップＳ１６−４において分解能フラグＦ１を“１”に設定し、その差が所定の輝度差閾値ＴＨ１以下であれば分解能は低下していない状態であると判断してステップＳ１６−５において分解能フラグＦ１を“０”に設定する。分解能フラグＦ１の設定が終了すると処理をステップＳ１８へ移行させる。輝度差閾値ＴＨ１は、２５６階調の画像に対して１８０〜２２０の範囲内に設定するのが好適である。

(数１)
Ｍａｘ＿Ａｖｇ＝ｍａｘ（ＡＶ０，ＡＶ１，・・・，ＡＶｎ）
Ｍｉｎ＿Ａｖｇ＝ｍｉｎ（ＡＶ０，ＡＶ１，・・・，ＡＶｎ）

(数２)
（Ｍａｘ＿Ａｖｇ−Ｍｉｎ＿Ａｖｇ）＞ＴＨ１

例えば、背景画像を９等分のブロックに分割して処理する場合について図５及び図６を参照して説明する。背景画像４００，５００においては、左上のブロックから右下のブロックに対して１〜９の識別番号が順に付与されており、各ブロックの平均輝度値ＡＶ₁〜ＡＶ₉を求めた結果、第１のブロックの平均輝度値ＡＶ₁が最小であり、第８のブロックの平均輝度値ＡＶ₈が最大であったものとする。また、図中の４１０，５１０は監視空間の明暗分布の範囲を表し、４２０，５２０は２５６階調の輝度値の範囲を示している。監視空間内の明暗差が比較的大きくない場合、図４に示すように、ブロック間の平均輝度値の最大差（ＡＶ₈−ＡＶ₁）は階調の最大値（例えば、２５５）から階調の最小値（例えば、０）の範囲内で侵入者を検出するためのテクスチャやエッジ等の特徴量を得るのに十分な分解能を維持することができる。そこで、分解能フラグＦ１を“０”に設定する。一方、監視空間内の明暗差が非常に大きい場合、図５に示すように、ブロック間の平均輝度値の最大差（ＡＶ₈−ＡＶ₁）は階調の最大値（例えば、２５５）から階調の最小値（例えば、０）の範囲内で侵入者を検出するためのテクスチャやエッジ等の特徴量を得るのに十分な分解能を保つことができない。特に、図中の５３０，５４０で示す明るさの範囲においては、輝度値が飽和して、輝度値の空間変化に関する情報が失われている。また、他の明るさの範囲においても分解能が低下して空間変化に関する情報が得難くなっている。そこで、分解能フラグＦ１を“１”に設定する。

なお、本実施の形態では、ブロック毎の明暗分布を表す明暗値としてブロック内の平均輝度値を用いたが、明暗値としてブロック内の輝度の中央値を用いてもよい。

特徴劣化判定部１８、人属性値算出部２０、外乱属性値算出部２２は、本発明の特徴量抽出部を構成し、検出対象物である侵入者の特徴量（人属性値）及び外乱の特徴量（外乱属性値）を算出する。これらの特徴量を抽出する感度は分解能の程度により変更される。特徴劣化判定部１８は、変化領域抽出部１４で抽出された変化領域及び分解能判定部１６で設定された分解能フラグを受けて、各変化領域において画像特徴量が劣化している可能性が高いか否かを判定し、判定結果を人属性値算出部２０及び外乱属性値算出部２２へ出力する（ステップＳ１８）。

具体的には、図６に示すフローチャートに沿って処理が実行される。ステップＳ１８−１では、分解能フラグが“１”であるか否かが判定される。分解能フラグが“１”でない場合には画像の輝度の分解能の低下による画像特徴量の劣化はないものとしてステップＳ１８−４に処理を移行させ、分解能フラグが“１”である場合には画像の輝度の分解能の低下によって画像特徴量が劣化している可能性があるのでステップＳ１８−２に処理を移行させる。

ステップＳ１８−２では、各変化領域において侵入者を検出するための画像特徴量が劣化しているか否かを示す特徴劣化フラグの設定を行うための判断が行われる。例えば、（１）変化領域に対応する背景画像内の領域の明るさ、（２）変化領域の上下方向の位置、（３）変化領域の画素数（面積）、（４）変化領域における輝度値の分散、等に基づいて画像特徴量が劣化しているか否かを判定する。以下、（１）〜（４）の判定について説明する。

（１）変化領域に対応する背景画像内の領域の明るさに基づいて画像特徴量が劣化しているか否かを判定する。すなわち、侵入者（移動物体）が存在する可能性がある変化領域が非常に暗い領域、又は、非常に明るい領域にある場合、侵入者検出に利用される特徴量の１つであるテクスチャ情報が劣化していると判定する。具体的には、変化領域に対応する背景画像内の領域の平均輝度値が輝度閾値ＴＨ２よりも小さい場合には変化領域が非常に暗い領域にありテクスチャ情報が劣化していると判定する。また、変化領域に対応する背景画像内の領域の平均輝度値が輝度閾値ＴＨ３よりも大きい場合には変化領域が非常に明るい領域にありテクスチャ情報が劣化していると判定する。輝度閾値ＴＨ２，ＴＨ３は、侵入者検出に必要な安全度や確度に基づいて設定することが好適である。例えば、２５６階調の画像に対して、輝度閾値ＴＨ２は２０〜５０の範囲内に、輝度閾値ＴＨ３は２００〜２３０の範囲内に設定するのが好適である。

（２）変化領域の上下方向の位置に基づいて画像特徴量が劣化しているか否かを判定する。具体的には、画像の横方向（監視空間の水平方向に対応する方向）をＸ方向、画像の縦方向（監視空間の鉛直方向に対応し、監視空間の下から上に向かって増加する座標値を有する方向）をＹ方向として、変化領域のＹ方向の重心座標Ｙｇを算出し、重心座標Ｙｇが位置閾値ＴＨ４より大きい場合、侵入者検出に利用される特徴量の１つであるテクスチャ情報が劣化していると判定する。なぜならば、撮像部１０を天井付近に取付けて監視空間を見下ろすように撮像している場合、侵入者（移動物体）が存在する可能性がある変化領域が画像の上部にあれば、その変化領域は監視空間において撮像部１０から遠方に相当する領域であるので小さく写りテクスチャ情報が劣化する傾向があるからである。位置閾値ＴＨ４は、撮像部１０の設置条件、撮像部１０と監視空間との距離等に基づいて設定することが好適である。例えば、位置閾値ＴＨ４は、画像の上下方向の画素数の１／４〜１／３の範囲に設定するのが好適である。

（３）変化領域の画素数（面積）に基づいて画像特徴量が劣化しているか否かを判定する。すなわち、変化領域が小さい場合、侵入者検出に利用される特徴量であるテクスチャ情報やエッジ情報が劣化していると判定する。具体的には、変化領域の画素数が面積閾値ＴＨ５よりも小さい場合、侵入者検出に利用される特徴量が劣化していると判定する。面積閾値ＴＨ５は、画像全体の面積の０．１〜１．０％の範囲に設定することが好適である。

（４）変化領域における輝度値の分散に基づいて画像特徴量が劣化しているか否かを判定する。すなわち、変化領域の輝度分散が低い場合、侵入者検出に利用される特徴量の１つであるエッジ情報が劣化していると判定する。具体的には、変化領域の輝度分散が分散閾値ＴＨ６よりも小さい場合、侵入者検出に利用される特徴量が劣化していると判定する。分散閾値ＴＨ６は、８０〜１５０の範囲に設定するのが好適である。

上記（１）〜（４）の条件が総て満足される場合にはステップＳ１８−３に処理を移行させて特徴劣化フラグＦ２を“１”に設定する。一方、上記（１）〜（４）の条件のいずれかが満足されない場合にはステップＳ１８−４に処理を移行させて特徴劣化フラグＦ２を“０”に設定する。画像特徴量の劣化の判定及び特徴劣化フラグの設定はラベリングされた変化領域毎に行われる。

なお、上記（１）〜（４）の条件は適宜選択又は組み合わせて画像特徴量の劣化の判定に利用してもよい。このとき、上記（１）の判定基準は侵入者検出に対する画像特徴量の劣化を最もよく表すので、少なくとも上記（１）の判定基準を用いて画像特徴量の劣化の判定を行うことが好ましい。また、上記（１）及び（４）の判定基準の組み合わせは侵入者検出に対する画像特徴量の劣化をより明確にするので、少なくとも上記（１）及び（４）の判定基準を組み合わせて画像特徴量の劣化の判定を行うことも好ましい。

人属性値算出部２０は、変化領域抽出部１４で抽出された変化領域及び特徴劣化判定部１８で設定された特徴劣化フラグを受けて、各変化領域が有する画像特徴量から「侵入者らしさ」の度合いを表す特徴量である人属性値を算出する（ステップＳ２０）。人属性値は、変化領域の大きさに基づく値ｆ１、変化領域と変化領域に対応する背景画像内の領域との正規化相関値に基づく値ｆ２、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの変化率に基づく値ｆ３，ｆ４に基づいて算出する。これらの値ｆ１〜ｆ４は、画像特徴量が侵入者らしいほど１に近づき、侵入者らしくないほど０に近づくように正規化される。但し、これらに限定されるものではなく、各変化領域における「侵入者らしさ」を示す他の画像特徴量に基づいて人属性値を求めてもよい。ここで、人属性値の算出に際しては、特徴劣化フラグの値が“１”である場合は“０”である場合より画像特徴量に対するｆ１〜ｆ４の感度が高くなるように算出の基準を変更する。

具体的には、図７に示すフローチャートに沿って処理が実行される。以下の処理はラベリングされた変化領域毎に実行される。ステップＳ２０−１では、特徴劣化フラグＦ２が“１”であるか否かが判定される。特徴劣化フラグＦ２が“０”である場合にはステップＳ２０−２に処理を移行させ、特徴劣化フラグＦ２が“１”である場合にはステップＳ２０−３に処理を移行させる。

ステップＳ２０−２では、処理対象とする変化領域において画像特徴量の劣化がないものとして通常の基準に従って人属性値が算出される。まず、図８の実線で示す関数により変化領域の大きさからｆ１を算出する。同様に、変化領域と変化領域に対応する背景画像内の領域との正規化相関値が低いほど値が大きくなるようにｆ２を算出し、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの増加率が高いほど値が大きくなるようにｆ３を算出し、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの減少率が高いほど値が大きくなるようにｆ４を算出する。そして、処理対象とする変化領域の人属性値Ｆを数式（３）によって算出する。係数α₁〜α₄は重み付けの係数である。その後、処理をステップＳ２２へ移行させる。

一方、ステップＳ２０−３では、処理対象とする変化領域において画像特徴量の劣化があるものとして、ステップＳ２０−２の通常の基準よりも画像特徴量に対する人属性値の感度が高い補正された基準に従って人属性値が算出される。まず、図８の破線で示す関数により変化領域の大きさからｆ１を算出する。このとき、算出されるｆ１は図８中の実線で示す関数を用いて算出したｆ１以上となる。同様に、それぞれステップＳ２０−２で用いた基準よりも画像特徴量に対する人属性値の感度が高い基準を用いて、変化領域と変化領域に対応する背景画像内の領域との正規化相関値からｆ２、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの増加率からｆ３、及び、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの減少率からｆ４を算出する。そして、処理対象とする変化領域の人属性値Ｆを数式（３）によって算出する。その後、処理をステップＳ２２へ移行させる。

外乱属性値算出部２２では、変化領域抽出部１４で抽出された変化領域及び特徴劣化判定部１８で設定された特徴劣化フラグを受けて、各変化領域が有する画像特徴量から「外乱らしさ」の度合いを表す特徴量である外乱属性値を算出する（ステップＳ２２）。外乱属性値算出部２２での処理はラベリングされた変化領域毎に実行される。具体的には、図９に示すフローチャートに沿って処理が実行される。外乱属性値は、変化領域における「光らしさ」の度合いを示す特徴量である光属性値（ステップＳ２２−１）と変化領域における「影らしさ」の度合いを示す特徴量である影属性値（ステップＳ２２−２）とに分けられる。外乱属性値は、光属性値と影属性値のいずれか大きい値とする（ステップＳ２２−３）。

ステップＳ２２−１において、光属性値は、図１０に示すフローチャートに沿って決定される。変化領域と変化領域に対応する背景画像内の領域との正規化相関値に基づく値ｌ１、変化領域の平均輝度値と変化領域に対応する背景画像の領域の平均輝度値と差に基づく値ｌ２、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの変化率に基づく値ｌ３，ｌ４に基づいて算出する。但し、これらの画像特徴量に限定されるものではなく、各変化領域における「光らしさ」を示す他の画像特徴量に基づいて光属性値を求めてもよい。ここで、光属性値の算出に際しては、特徴劣化フラグの値が“１”である場合は“０”である場合より画像特徴量に対するｌ１〜ｌ４の感度が低くなるように算出の基準を変更する。

ステップＳ３０−１では、特徴劣化フラグＦ２が“１”であるか否かが判定される。特徴劣化フラグＦ２が“０”である場合にはステップＳ３０−２に処理を移行させ、特徴劣化フラグＦ２が“１”である場合にはステップＳ３０−３に処理を移行させる。

ステップＳ３０−２では、処理対象とする変化領域において画像特徴量の劣化がないものとして通常の基準に従って光属性値が算出される。まず、図１１の実線で示す関数により変化領域と変化領域に対応する背景画像内の領域との正規化相関値が高いほど値が大きくなるようにｌ１を算出し、同様に、変化領域の平均輝度値と変化領域に対応する背景画像の領域の平均輝度値と差において入力画像の変化領域の輝度値が大きいほど値が大きくなるようにｌ２を算出する。変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの増加率が低いほど値が大きくなるようにｌ３を算出し、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの減少率が低いほど値が大きくなるようにｌ４を算出する。そして、処理対象とする変化領域の光属性値Ｌを数式（４）によって算出する。係数β１〜β４は重み付けの係数である。その後、処理をステップＳ２２−２へ移行させる。

一方、ステップＳ３０−３では、処理対象とする変化領域において画像特徴量の劣化があるものとして、ステップＳ３０−２の通常の基準よりも画像特徴量に対する光属性値の感度が低く補正された基準に従って光属性値が算出される。まず、図１１の破線で示す関数により変化領域と変化領域に対応する背景画像内の領域との正規化相関値からｌ１を算出する。このとき、算出されるｌ１は図１１中の実線で示す関数を用いて算出したｌ１以下となる。同様に、それぞれステップＳ３０−２で用いた基準よりも光属性値が低く算出される基準を用いて、変化領域の平均輝度値と変化領域に対応する背景画像の領域の平均輝度値との差からｌ２、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの増加率からｌ３、及び、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの減少率からｌ４を算出する。そして、処理対象とする変化領域の光属性値Ｌを数式（４）によって算出する。その後、処理をステップＳ２２−２へ移行させる。

ステップＳ２２−２において、影属性値は、図１２に示すフローチャートに沿って決定される。変化領域と変化領域に対応する背景画像内の領域との正規化相関値に基づく値ｓ１、変化領域の平均輝度値と変化領域に対応する背景画像の領域の平均輝度値との差に基づく値ｓ２、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの変化率に基づく値ｓ３，ｓ４に基づいて算出する。但し、これらの画像特徴量に限定されるものではなく、各変化領域における「影らしさ」を示す他の画像特徴量に基づいて影属性値を求めてもよい。ここで、影属性値の算出に際しては、特徴劣化フラグの値が“１”である場合は“０”である場合より画像特徴量に対するｓ１〜ｓ４の感度が低くなるように算出の基準を変更する。

ステップＳ４０−１では、特徴劣化フラグＦ２が“１”であるか否かが判定される。特徴劣化フラグＦ２が“０”である場合にはステップＳ４０−２に処理を移行させ、特徴劣化フラグＦ２が“１”である場合にはステップＳ４０−３に処理を移行させる。

ステップＳ４０−２では、処理対象とする変化領域において画像特徴量の劣化がないものとして通常の基準に従って影属性値が算出される。まず、図１３の実線で示す関数により、変化領域と変化領域に対応する背景画像内の領域との正規化相関値が高いほど値が大きくなるようにｓ１を算出する。同様に、変化領域の平均輝度値と変化領域に対応する背景画像の領域の平均輝度値との差において入力画像の変化領域の輝度値が小さいほど値が大きくなるようにｓ２を算出し、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの増加率が低いほど値が大きくなるようにｓ３を算出し、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの減少率が低いほど値が大きくなるようにｓ４を算出する。そして、処理対象とする変化領域の影属性値Ｓを数式（５）によって算出する。その後、処理をステップＳ２２−３へ移行させる。

一方、ステップＳ４０−３では、処理対象とする変化領域において画像特徴量の劣化があるものとして、ステップＳ４０−２の通常の基準よりも画像特徴量に対する影属性値の感度が低く補正された基準に従って影属性値が算出される。まず、図１３の破線で示す関数により変化領域と変化領域に対応する背景画像内の領域との正規化相関値からｓ１を算出する。このとき、算出されるｓ１は、図１３中の実線で示す関数を用いて算出したｓ１よりも低くなる。同様に、それぞれステップＳ４０−２で用いた基準よりも影属性値が低く算出される基準を用いて、変化領域の平均輝度値と変化領域に対応する背景画像の領域の平均輝度値との差からｓ２、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの増加率からｓ３、及び、変化領域と変化領域に対応する背景画像内の領域とを比較した場合のエッジの減少率からｓ４を算出する。そして、処理対象とする変化領域の影属性値Ｓを数式（５）によって算出する。その後、処理をステップＳ２２−３へ移行させる。

ステップＳ２２−３では、光属性値Ｌと影属性値Ｓのいずれか大きい方の値を外乱属性値Ｍとする。

本発明の対象物検出部である侵入者検出部２４は、変化領域毎に人属性値算出部２０で求められた人属性値及び外乱属性値算出部２２で求められた外乱属性値を受けて、各変化領域に対する人属性値及び外乱属性値に基づいて各変化領域が侵入者によるものか否かを判定する（ステップＳ２４）。具体的には、人属性値が所定の人判定閾値（本発明の検出基準）よりも大きく、かつ、人属性値が外乱属性値よりも大きい場合にその変化領域は侵入者によるものと判定する。少なくとも１つの変化領域が侵入者によるものと判定された場合にはステップＳ２６へ処理を移行させ、そうでない場合にはステップＳ１０から処理を繰り返す。

出力部２６は、侵入者検出部２４において少なくとも１つの変化領域が侵入者によるものと判定された場合、侵入者の存在を示す信号を出力するインターフェースとして機能する（ステップＳ２６）。例えば、ブザー等により周囲に警告を発したり、監視センタに対して撮像画像やアラーム信号を送信したりする。

以上のように、本実施の形態によれば、画像の輝度分布の広がりに応じて人属性値、外乱属性値の算出条件を変更することによって、画像の輝度分布の広がりに応じて侵入者の検出を適切に行うことができる。これによって、侵入者の検出の確度を向上させることができる。

なお、上記実施の形態では、分解能判定部１６は背景画像記憶部１２に記憶されている背景画像に基づいて分解能フラグを設定したがこれに限定されるものではない。分解能判定部１６は、撮像部１０から入力画像を受けて、入力画像を予め定められたブロックに分割し、各ブロックの輝度の平均値を算出し、ブロック間で輝度の平均値の最大差が所定の輝度差閾値を超えていれば分解能が低下しているものとして分解能フラグを“１”とし、所定の輝度差閾値以下であれば分解能が低下していないものとして分解能フラグを“０”に設定してもよい。もちろん、撮像部１０で撮像が行われる毎に背景画像に基づいて分解能フラグの設定を行ってもよい。

背景画像に基づいて分解能フラグを設定する場合、更新時のみ分解能フラグの設定処理を行えばよいので、装置の処理負担が軽減され、高速処理が可能となる。一方、入力画像に基づいて分解能フラグを設定する場合、監視空間の輝度分布の広がりの変化にリアルタイムに対応した処理を行うことができるので監視の確度をより高めることができる。

また、上記実施の形態では、画像の輝度分解能の程度が低いときに画像特徴量に対する人属性値の感度が高くなるように算出条件を変更したがこれに限定されるものではない。画像の輝度分解能の程度が低いときに人属性値に係る画像特徴量を抽出処理する感度が高くなるように変更することも好適である。例えば、分解能が低下しているものとして分解能フラグが“１”に設定されている場合、変化領域からエッジを抽出する際に抽出の閾値を下げたり、入力画像と背景画像との差分の２値化を行う際に２値化の閾値を下げて変化領域を広げる処理を行ったりすることが好適である。もちろん、人属性値、外乱属性値の算出条件を変更と画像特徴量の抽出処理の変更とを必要に応じて組み合わせることも好適である。

また、侵入者検出部２４において、画像の輝度分解能の程度が低いときに侵入者を検出する感度が高くなるように処理を変更することも好適である。具体的には、画像の輝度分解能の程度が低いときに侵入者として判定される可能性が高くなるように検出基準を低く設定する。もちろん、検出基準の変更を、人属性値及び外乱属性値の算出条件の変更並びに画像特徴量の抽出処理の変更と必要に応じて組み合わせることも好適である。

また、上記実施の形態では、分解能判定部１６において、画像の輝度分解能の程度を２段階で判定したが、これに限定されるものではない。明暗差を予め定めた複数の閾値と比較して画像の輝度分解能の程度を３段階以上の段階で判定することも好適である。この場合、人属性値算出部２０及び外乱属性値算出部２２においては段階数と対応付けて同じ個数の算出条件を予め設定しておき、輝度分解能の程度に応じて算出条件を選択する。算出条件は、図８及び図１１、図１３における実線の関数と破線の関数との関係のように異なる感度を有する関数とすればよい。

本発明の実施の形態における画像センサの構成を示すブロック図である。本発明の実施の形態における画像センサの処理を示すフローチャートである。本発明の実施の形態における分解能判定処理を示すフローチャートである。本発明の実施の形態における分解能判定処理を説明する図である。本発明の実施の形態における分解能判定処理を説明する図である。本発明の実施の形態における特徴劣化判定処理を示すフローチャートである。本発明の実施の形態における人属性値算出処理を示すフローチャートである。本発明の実施の形態における通常の基準及び補正された基準による画像特徴量と人属性値との関係を示す図である。本発明の実施の形態における外乱属性値算出処理を示すフローチャートである。本発明の実施の形態における光属性値算出処理を示すフローチャートである。本発明の実施の形態における通常の基準及び補正された基準による画像特徴量と光属性値との関係を示す図である。本発明の実施の形態における影属性値算出処理を示すフローチャートである。本発明の実施の形態における通常の基準及び補正された基準による画像特徴量と影属性値との関係を示す図である。

符号の説明

１０撮像部、１２背景画像記憶部、１４変化領域抽出部、１６分解能判定部、１８特徴劣化判定部、２０人属性値算出部、２２外乱属性値算出部、２４侵入者検出部、２６出力部、１００画像センサ。

Claims

監視空間を撮像して前記監視空間の明暗分布に応じた輝度分解能にて画像を出力する撮像部から取得した前記画像を画像処理して前記監視空間に存在する特定の対象物を検出する画像センサであって、
前記撮像部から取得した画像を複数のブロックに分割して当該ブロック毎の明暗を示す明暗値を求め、前記複数のブロック間における前記明暗値の最大差が大きいほど当該画像の輝度の分解能が低いと判定する分解能判定部と、
前記撮像部から取得した画像を画像処理して前記対象物の特徴量を抽出する特徴量抽出部と、
前記特徴量が検出基準より高いと前記対象物の検出となる対象物検出部と、
を備え、
前記分解能の程度が低いと前記対象物を検出する感度を高めることを特徴とする画像センサ。
請求項１に記載の画像センサであって、
前記特徴量抽出部は、前記分解能の程度が低いほど前記対象物の特徴量を抽出する感度を高くした画像センサ。
請求項１又は２に記載の画像センサであって、
前記対象物検出部は、前記分解能の程度が低いほど前記検出基準を低くした画像センサ。
請求項１から３のいずれか１つに記載の画像センサであって、
前記特徴量抽出部は、さらに、前記分解能の程度が低いほど低い感度にて外乱の特徴量を抽出する外乱特徴量抽出手段を備え、
前記対象物検出部は、前記対象物の特徴量が前記外乱の特徴量より高く、かつ、前記検出基準より高い場合に前記対象物の検出となる画像センサ。