JP5930915B2 - 対象物検出装置 - Google Patents

Description

本発明は、監視領域を順次撮像した入力画像に基づいて、監視領域中の対象物を検出する対象物検出装置に関する。

監視領域を順次撮像した入力画像を画像処理し、監視領域中の対象物を検出する対象物検出装置が広く使用されている。こうした対象物検出装置では、例えば対象物として監視領域への侵入者を検出する場合、背景差分処理やフレーム間差分処理により変化領域を抽出し、変化領域のテクスチャなどの特徴量に基づいて、その変化領域が侵入者によるものか、光や影などの侵入者以外の要因によるものかを判定する。

背景差分処理は、侵入者が存在しないと推定されるときに撮像された監視領域の画像を背景画像として記憶しておき、監視中に新たに得られた入力画像と背景画像とで対応する画素の値（輝度値）の差が基準値以上である領域を変化が生じた変化領域として抽出する処理である。

ここで、入力画像において、照明ＯＮ／ＯＦＦなどの照明変動が発生すると、その輝度変化によって変化領域が抽出されることがある。このような照明変動による変化領域が抽出されないように、従来は、照明変動を検出した際には、その時点の入力画像を新たな背景画像として、背景画像を更新する（すなわち、照明変動による光の変化を背景画像に取り込む）ことを行っていた。

例えば、特許文献１には、現画像と基準画像とを比較して、侵入者や火災等の異常な変化を検知する画像監視方式において、日射や照明等の外光の変化を検知する照度変化検知手段と、この照度変化検知手段の照度変化検知出力時に画像の異常変化検知を行わない手段と、照度変化が所定以上の時に基準画像を更新する手段とを有する画像監視方式が記載されている。

特開昭６２−１４７８８８号公報

しかし、監視領域内を移動する光（ヘッドライトの光など）によって照明変動が検出され、背景画像が更新された場合、その後の入力画像では、背景画像に取り込まれている光の位置とは異なる位置に光が移動していることがある。つまり、光の位置が移動したことで、入力画像と背景画像との間に差分が生じ、変化領域が抽出されることがある。このような変化領域によって誤検出が生じる可能性があった。

そこで、本発明は、監視領域を順次撮像した入力画像に基づいて監視領域中の対象物を検出する対象物検出装置において、対象物以外の要因による誤検出が生じる可能性を低減し、検出の精度を向上させることを目的とする。

かかる課題を解決するために、本発明に係る、監視領域を順次撮像した入力画像に基づいて所定の対象物を検出する対象物検出装置は、監視領域の背景を撮像した現背景画像および現背景画像より前の時刻に撮像され監視領域の背景を撮像した前背景画像を記憶する記憶部と、入力画像と現背景画像を差分処理して入力画像において変化した入力変化領域を抽出する入力変化領域抽出部と、現背景画像と前背景画像を差分処理して現背景画像が変化した背景変化領域を抽出する背景変化領域抽出手段、入力画像と前背景画像を差分処理して前背景画像が保持されている背景保持領域を抽出する背景保持領域抽出手段、および背景変化領域と背景保持領域が重複する領域を判定領域として抽出する判定領域抽出手段を有する判定領域抽出部と、入力変化領域と判定領域が重複する面積の入力変化領域の面積に占める割合を一つの特徴量として含む複数の特徴量を入力変化領域から抽出する特徴量抽出部と、抽出された複数の特徴量を用いて入力変化領域に対象物があるか否かを判定する判定部を備え、判定部は、割合が大きいほど入力変化領域が対象物と判定され難くする。

本発明に係る対象物検出装置は、判定部による対象物の判定処理に影響がある変動を検出する変動検出部と、変動を検出したときに、現背景画像を新たな前背景画像として記憶部に記憶するとともに、入力画像を新たな現背景画像として記憶部に記憶する背景画像更新部と、をさらに備えることが好ましい。

本発明に係る対象物検出装置では、変動検出部は、判定部による対象物の判定処理が妨げられる限度以上の面積の入力変化領域が入力画像中を占めるときに変動有りを検出することが好ましい。

本発明に係る対象物検出装置では、背景変化領域抽出手段は、現背景画像と前背景画像の差分処理による現背景画像の変化が照明変動によって変化したと判断できる基準を満たすときに背景変化領域を抽出することが好ましい。

本発明によれば、監視領域を順次撮像した入力画像に基づいて監視領域中の対象物を検出する対象物検出装置において、対象物以外の要因による誤検出が生じる可能性を低減し、検出の精度を向上させることができる。

本発明の一実施形態である対象物検出装置の概略構成図である。 光影判定領域を説明するための図である。 入力変化領域を説明するための図である。 光影判定領域画素比率を説明するための図である。 本実施形態の対象物検出装置の動作例を説明するための概略フロー図である。 判定領域抽出部が光影判定領域を抽出する処理の例を示すフロー図である。 判定部が行う光影影響判定処理の例を示すフロー図である。 背景画像更新部が行う背景画像更新処理の例を示すフロー図である。

以下、本発明の一実施形態である対象物検出装置について、図面に基づいて説明する。本実施形態の対象物検出装置は、現在の背景画像である現背景画像と、現背景画像より前の時刻の背景画像である前背景画像とを差分処理して得られる前背景画像が変化した領域であって、かつ前背景画像と入力画像を差分処理して得られる前背景画像が保持されている領域である光影判定領域を求める。かかる光影判定領域が、本発明の判定領域の一例である。そして、対象物検出装置は、入力画像と現背景画像を差分処理して得られる入力画像において変化した入力変化領域について、入力変化領域に占める光影判定領域の面積が大きくなるほど、対象物と判定され難くする。

本実施形態の対象物検出装置は、建物外に設定された監視領域への侵入者を対象物として検出する装置である。ただし、対象物検出装置が検出する対象物は、車や動物など、人以外のどのようなものでもよい。監視領域を屋内に設定してもよい。

図１は、本発明の一実施形態である対象物検出装置１００の概略構成を示した図である。対象物検出装置１００は、記憶部２０と、画像処理部３０と、出力部４０とを有する。対象物検出装置１００では、撮像部１０にて撮像された画像が、画像処理部３０に入力される。記憶部２０は、本実施形態の処理に必要な画像情報を記憶する。画像処理部３０は、撮像部１０から入力された画像および記憶部２０に記憶された各画像情報に基づいて、監視領域内の対象物を検出する。出力部４０は、画像処理部３０にて侵入者が検出されると異常検出信号を外部に出力する。

なお、本実施形態では、撮像部１０を対象物検出装置１００とは別個の構成要素としているが、撮像部１０を対象物検出装置１００に含めてもよい。

撮像部１０は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、近赤外光または可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系と、２次元検出器から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換する電気回路などを有する。撮像部１０は、一定の時間間隔（例えば１／５秒）ごとに撮像を行う。そして撮像部１０は、監視領域を撮像した画像データをＡ／Ｄ変換してデジタル画像（以下、入力画像という）を生成する。そして撮像部１０は、生成した入力画像を画像処理部３０に出力する。

記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置である。記憶部２０は、フラッシュメモリ（登録商標）などの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（ＨＤＤ）などの記憶装置を有してもよい。記憶部２０は、対象物検出装置１００で使用される各種プログラムや各種データを記憶し、画像処理部３０との間でこれらの情報を入出力する。また記憶部２０は、例えば、対象物検出装置１００が起動したときなどに撮像部１０が生成した、監視領域内に移動物体が存在しないときの監視領域の画像を背景画像として記憶する。記憶部２０は、現背景画像や、前背景画像、光影判定領域などを記憶する。

画像処理部３０は、組み込み型のマイクロプロセッサとその周辺回路により構成され、対象物検出装置１００全体を制御する。対象物検出装置１００の各処理は、そのマイクロプロセッサなどで実行されるプログラムにより実現される。実行されるプログラムに応じて、画像処理部３０は、撮像部１０から入力された入力画像について各種の処理を行う。入力画像に基づき監視領域内への侵入者を検出するために、画像処理部３０は、判定領域抽出部３１、入力変化領域抽出部３２、追跡部３３、特徴量抽出部３４、判定部３５、背景画像更新部３６、および変動検出部３７を有する。画像処理部３０が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。

判定領域抽出部３１は、記憶部２０に記憶されている現背景画像および前背景画像、ならびに撮像部１０から入力された入力画像を用いて光影判定領域を抽出し、抽出した光影判定領域を記憶部２０に記憶する。そのために、判定領域抽出部３１は、背景変化領域抽出手段３１１、背景保持領域抽出手段３１２、および判定領域抽出手段３１３を有する。

背景変化領域抽出手段３１１は、現背景画像と前背景画像を差分処理して、前背景画像に対して現背景画像が変化した領域である背景変化領域を抽出する。その際、背景変化領域抽出手段３１１は、現背景画像と前背景画像の間で対応する画素間の輝度差を求め、その輝度差の絶対値を画素値とする差分画像を作成し、差分画像の中で画素値が基準値以上となる画素を背景変化領域として抽出する。

背景保持領域抽出手段３１２は、入力画像と前背景画像を背景変化領域抽出手段３１１と同様に差分処理して、前背景画像が保持されている領域（すなわち、変化がない領域）である背景保持領域を抽出する。

判定領域抽出手段３１３は、背景変化領域抽出手段３１１と背景保持領域抽出手段３１２が作成した差分画像間の対応する画素同士で論理積を求め、背景変化領域と背景保持領域が重複する領域を光影判定領域として抽出する。

図２は、光影判定領域を説明するための図である。光影判定領域１５１は、現背景画像１２１に取り込まれた光などによる入力変化領域のうち、現時点の入力画像１２３においては、現背景画像１２１に対して光などによる変化が生じていない領域であると定義される。つまり、光影判定領域１５１は、一時的な変化が背景画像の更新に伴って背景画像に取り込まれた領域である。光影判定領域１５１は、現背景画像１２１と前背景画像１２２を差分処理して現背景画像１２１が変化した領域（背景変化領域１４１）であって、かつ前背景画像１２２と入力画像１２３を差分処理して前背景画像１２２が保持されている領域（背景保持領域１４２）として抽出される。

ここでは、例として、現背景画像１２１には木１８３に加えてヘッドライトの光１８１と懐中電灯の光１８２が写っているが、それより前の時刻に撮像された前背景画像１２２にはこれらの光がなく木１８３だけが写っており、さらに入力画像１２３には現背景画像１２１とは異なるヘッドライトの光１８５が木１８３および人１８４とともに写っている場合を考える。

差分画像１３１は、判定領域抽出部３１の背景変化領域抽出手段３１１が、現背景画像１２１と前背景画像１２２を差分処理することにより得られた画像である。差分画像１３１では、現背景画像１２１のヘッドライトの光１８１と懐中電灯の光１８２で照らされている領域が、前背景画像１２２に対して現背景画像１２１が変化した背景変化領域１４１となる。

また、差分画像１３２は、判定領域抽出部３１の背景保持領域抽出手段３１２が、前背景画像１２２と入力画像１２３を差分処理することにより得られた画像である。差分画像１３２では、入力画像１２３でヘッドライトの光１８５と人１８４が写っている領域以外の領域が、前背景画像１２２が保持されている背景保持領域１４２となる。背景保持領域１４２は、前背景画像１２２、現背景画像１２１、入力画像１２３の順序で時間が経過し監視領域に光の変動が起こった前後で一致しており、前背景画像１２２の対応する部分の情報が保持されている領域に相当する。

差分画像１３３は、判定領域抽出部３１の判定領域抽出手段３１３が、差分画像１３１の背景変化領域１４１と差分画像１３２の背景保持領域１４２の間で重複する領域をとることにより得られる画像である。この重複する領域が光影判定領域１５１である。差分画像１３３では、ヘッドライトの光１８１および懐中電灯の光１８２で照らされている現背景画像１２１の領域から、入力画像１２３で人１８４が写っている領域を除いた領域が、光影判定領域１５１となる。この光影判定領域１５１は、現背景画像１２１に取り込まれたものがある領域であるが、前背景画像１２２と入力画像１２３の間では変化がなく、したがって、現背景画像１２１に一時的に取り込まれたものがある領域に相当する。

入力変化領域抽出部３２は、撮像部１０により入力された入力画像と、記憶部２０に記憶されている現背景画像との間で背景差分処理を行って２値化した差分画像を作成し、現背景画像に対して入力画像が変化した領域である入力変化領域を抽出する。その際、入力変化領域抽出部３２は、現背景画像と入力画像の間で対応する画素間の輝度差を求め、その輝度差の絶対値を画素値とする差分画像を作成し、差分画像の中で画素値が基準値以上となる画素を変動がある画素とする。そして、その変動がある画素からなる領域を入力変化領域として抽出する。

さらに、入力変化領域抽出部３２は、公知のラベリング手法などを用いることにより、作成した差分画像において変動がある画素同士が１つに連結された領域を１つの入力変化領域として抽出するラベリング処理を行う。このとき抽出される入力変化領域の数は１つに限らず、複数の入力変化領域が抽出されることもある。ラベリング処理は、変動画素同士が縦、横方向に連結された領域を１つの入力変化領域として抽出する４近傍連結で行ってもよいし、縦、横、斜め方向に連結された領域を１つの入力変化領域として抽出する８近傍連結で行ってもよい。また、ラベル付けされた入力変化領域が他のラベル付けされた入力変化領域と近接している場合、入力変化領域抽出部３２は、一定の大きさや位置関係にあるラベル付けされた入力変化領域を同一物体による入力変化領域であるとし、これらを１つの入力変化領域としてラベル付けし直す。この処理は、差分が出にくい環境で１つの物体によって生じた入力変化領域が異なる複数の入力変化領域として分割されるのを防ぐために行う。

図３は、入力変化領域を説明するための図である。図３の現背景画像１２１と入力画像１２３は、図２に示したものと同じである。現背景画像１２１と入力画像１２３との差分をとると、現背景画像１２１のヘッドライトの光１８１と懐中電灯の光１８２で照らされている領域、および入力画像１２３のヘッドライトの光１８５で照らされている領域が、画素値の差分の絶対値が基準値以上である入力変化領域となる。入力変化領域抽出部３２は、入力変化領域１６１、入力変化領域１６２および入力変化領域１６３の３つを抽出し、それらに対してラベル付けを行う。

追跡部３３は、入力変化領域抽出部３２により抽出されラベル付けされた入力変化領域に対して、例えば公知のトラッキング処理を利用して、前回処理した入力画像中における入力変化領域のうち同一の物体によるものと判断できる入力変化領域と対応付けする。つまり、追跡部３３は、異なる時刻に撮像された入力画像について、同一の物体による入力変化領域を対応付けることで、入力変化領域の追跡を実現する。

特徴量抽出部３４は、追跡部３３により追跡されている入力変化領域ごとに、例えば入力変化領域の大きさや縦横比、移動量、平均輝度値、背景より明るい面積の割合、背景との相関などの特徴量を抽出する。また、特徴量抽出部３４は、記憶部２０から光影判定領域を読み出し、入力変化領域の面積に占める、入力変化領域と光影判定領域が重複する面積の割合（以下、光影判定領域画素比率という）を、その入力変化領域の特徴量の１つとして抽出する。特徴量抽出部３４は、抽出した特徴量を判定部３５へ出力する。

大きさについての特徴量ａ１を求めるには、特徴量抽出部３４は、入力画像中に占める入力変化領域の大きさを求め、その値が人体の大きさに対応する所定範囲に含まれるか否かを判定する。特徴量抽出部３４は、例えば入力変化領域の大きさが所定範囲に含まれる場合に１となり、所定範囲から外れた量が大きくなるほど０に近付くように正規化した値を特徴量ａ１とする。

縦横比についての特徴量ａ２を求めるには、特徴量抽出部３４は、入力変化領域の縦横比を求め、その値が人体の縦横比に対応する所定範囲に含まれるか否かを判定する。特徴量抽出部３４は、例えば入力変化領域の縦横比が所定範囲に含まれる場合に１となり、所定範囲から外れた量が大きくなるほど０に近付くように正規化した値を特徴量ａ２とする。

移動量についての特徴量ａ３を求めるには、特徴量抽出部３４は、入力変化領域の移動量を求め、その値が人の平均的な移動量に対応する所定範囲に含まれるか否かを判定する。特徴量抽出部３４は、例えば入力変化領域の移動量が所定範囲に含まれる場合に１となり、所定範囲から外れた量が大きくなるほど０に近付くように正規化した値を特徴量ａ３とする。

平均輝度値についての特徴量ｃ１を求めるには、特徴量抽出部３４は、入力変化領域について、入力画像中の対応する各画素の輝度値から、平均値を算出する。特徴量抽出部３４は、入力変化領域に含まれる画素が全て光に対応する基準値より上の値をもつ場合に１となり、そうした基準値を上回る値をもつ画素が少なくなるほど０に近付くように正規化した値を特徴量ｃ１とする。

明るい面積の割合についての特徴量ｃ２を求めるには、特徴量抽出部３４は、入力変化領域について、入力画像と現背景画像中の対応する各画素の輝度値の差を求め、その差が正である画素が入力変化領域中で占める割合を算出する。特徴量抽出部３４は、入力変化領域中の全ての画素で入力画像が背景画像よりも明るい場合に１となり、入力画像が背景画像よりも明るい画素が少なくなるほど０に近付くように正規化した値を特徴量ｃ２とする。

また、相関についての特徴量ｃ３として、特徴量抽出部３４は、入力変化領域について、入力画像上の入力変化領域と現背景画像上の対応する領域との間で正規化相関値を算出する。

判定部３５は、特徴量抽出部３４により抽出された複数の特徴量を用いて、入力変化領域に対象物があるか否かを判定する。そのために、判定部３５は、それらの特徴量に基づき、入力変化領域ごとに、人らしさの指標となる人属性値および光や影らしさの指標となる人以外属性値を算出する。

判定部３５は、人らしさの特徴量を表す人属性値を、入力変化領域が人体である場合に高い値となるように設定する。入力変化領域の人属性値は、例えば、入力変化領域の大きさによる特徴量ａ１と、入力変化領域の縦横比による特徴量ａ２と、入力変化領域の移動量による特徴量ａ３に重み付けをして、その総和を求めることにより算出される。

特徴量ａ１、ａ２、ａ３に対する重み付けをｂ１、ｂ２、ｂ３として、判定部３５は人属性値を次の式により求める。
人属性値＝ａ１×ｂ１＋ａ２×ｂ２＋ａ３×ｂ３
ただし、ｂ１＋ｂ２＋ｂ３＝１
重み付けｂ１、ｂ２、ｂ３は、例えば入力変化領域の大きさが人らしさに最も寄与すると考えて、ｂ１＝０．５，ｂ２＝０．３，ｂ３＝０．２と設定してもよい。

次に、判定部３５は、人以外属性値を、入力変化領域が光である場合に高い値となるように設定する。入力変化領域の人以外属性値は、人属性値と同様に、例えば、入力変化領域の平均輝度値による特徴量ｃ１と、入力変化領域が背景画像よりも明るい面積の割合による特徴量ｃ２と、入力変化領域と背景との相関による特徴量ｃ３に重み付けをして、その総和を求めることにより算出される。

特徴量ｃ１、ｃ２、ｃ３に対する重み付けをｄ１、ｄ２、ｄ３として、判定部３５は人以外属性値を次の式により求める。
人以外属性値＝ｃ１×ｄ１＋ｃ２×ｄ２＋ｃ３×ｄ３
ただし、ｄ１＋ｄ２＋ｄ３＝１
重み付けｄ１、ｄ２、ｄ３は、例えば入力変化領域の平均輝度値が光らしさに最も寄与すると考えて、ｄ１＝０．５，ｄ２＝０．３，ｄ３＝０．２と設定してもよい。

さらに、判定部３５は、特徴量抽出部３４から光影判定領域画素比率を取得し、入力変化領域と光影判定領域が重複する面積の、入力変化領域の面積に占める割合が大きいほど侵入者が検出され難くなるように、対象物の検出基準を変更する。判定部３５は、その検出基準として、例えば、その入力変化領域について算出した人以外属性値を、次式のようにボーナス値（ｅ）だけ高い値に補正する。
人以外属性値＝（算出された補正前の人以外属性値）＋ｅ
その際、判定部３５は、抽出された入力変化領域の面積に占める、入力変化領域と光影判定領域が重複する面積の割合（光影判定領域画素比率）が基準値を超えれば超えるほど、入力変化領域が侵入者と判定され難くなるようにボーナス値（ｅ）を高い値にする。そのときの基準値は、例えば４０％とする。

そして判定部３５は、例えば人属性値が人以外属性値以上である入力変化領域を監視領域への侵入者であると判定し、人属性値が人以外属性値未満である入力変化領域を侵入者でないと判定する。判定部３５は、その検出結果を出力部４０に出力する。

図４は、光影判定領域画素比率を説明するための図である。差分画像１３３と差分画像１３４は、それぞれ図２と図３に示したものと同じである。差分画像１３５は、差分画像１３３の光影判定領域１５１と差分画像１３４の入力変化領域１６１，１６２および１６３との間で重複する領域をとることにより得られる画像である。その重複する領域を黒色で示している。入力変化領域１６１，１６２および１６３のそれぞれについて、特徴量抽出部３４は、入力変化領域に占める光影判定領域１５１の面積の割合を算出する。

入力変化領域１６１の光影判定領域画素比率は１００％である。つまり、入力変化領域１６１は、現背景画像１２１に取り込まれた光が入力画像１２３において移動したことで生じた入力変化領域である。入力変化領域１６１は、入力画像１２３では既に消えているため、判定部３５が算出する人以外属性値は高い値にならない可能性がある。しかし、入力変化領域１６１は、光影判定領域画素比率が基準値の４０％を超えているため、判定部３５が人以外属性値を他の入力変化領域よりも高い値に補正する。

入力変化領域１６２の光影判定領域画素比率は０％である。つまり、入力変化領域１６２は、光影判定領域１５１との間で重複する領域がない。入力変化領域１６２は、現背景画像１２１と前背景画像１２２にはなく入力画像１２３においてヘッドライトの光が照射されている領域であり、光の特徴が現れている画像である。このため、入力変化領域１６２については、判定部３５が算出する人以外属性値はそもそも高い値になる。入力変化領域１６２は、光影判定領域画素比率が基準値の４０％未満であるため、判定部３５は人以外属性値を補正しない。

入力変化領域１６３の光影判定領域画素比率は３０％である。入力変化領域１６３は、現背景画像１２１に取り込まれた光が入力画像１２３において移動したことで生じた入力変化領域と、入力画像１２３における人の領域によるものである。このため、入力変化領域１６３については、判定部３５が算出する人以外属性値が入力変化領域１６２ほど高い値にならず、また、入力画像１２３に人が写っているので人属性値が高くなる。入力変化領域１６３は、光影判定領域画素比率が基準値の４０％未満であるため、判定部３５は人以外属性値を補正しない。

背景画像更新部３６は、変動検出部３７が監視領域における照明変動を検出したときに、すなわち、入力変化領域の大きさが過大と判断できる第１の基準値以上であるときに、背景画像を更新する。また、背景画像更新部３６は、入力画像中で入力変化領域が抽出されないかもしくは抽出された入力変化領域が十分小さいときにも、すなわち、入力変化領域の大きさが微小と判断できる第２の基準値以下であるときにも、背景画像を更新する。背景画像更新部３６は、現背景画像を更新する際に、更新前の現背景画像を前背景画像として記憶部２０に記憶する。

変動検出部３７は、例えば監視領域の照明変動などの、判定部３５による侵入者の判定処理に影響がある変動を検出する。変動検出部３７は、監視領域の照度変動を検出する照度計を含んでもよいし、外部の照度計などから監視領域の照度情報を取得して、照明変動を検出してもよい。あるいは、変動検出部３７は、入力画像の画面全体の平均輝度値を一定期間保存し、輝度値の変動が大きい場合に変動を検出するようにしてもよい。一定期間のデータがない場合は、照明変動と判断しなくてもよい。

出力部４０は、構内ＬＡＮまたは公衆回線網などの通信ネットワークに接続する通信インターフェースおよびその制御回路を有する。そして出力部４０は、判定部３５により侵入者が検出された場合に、通信ネットワークを介して対象物検出装置１００と接続された警備装置または監視センター装置（いずれも図示しない）などの外部に、その情報を異常検出信号として出力する。なお、対象物検出装置１００から警報を受け取った警備装置または監視センター装置は、音声や画像により、監視領域内で侵入者が検出された旨を監視者に通知する。また、出力部４０は、外部のブザーや警告灯に対して動作信号を出力するインターフェースを有し、判定部３５が侵入者を検出したときにブザーを鳴動させたり警告灯を表示させるなどして、対象物検出装置１００の周囲に異常の発生を通知してもよい。

次に、図５〜図８を用いて、本実施形態の対象物検出装置１００の動作例を説明する。図５は、対象物検出装置１００の動作例を説明するための概略フロー図である。本フローは、対象物検出装置１００の起動によって処理を開始する。

撮像部１０は、所定の周期で監視領域を順次撮像し、その画像を入力画像として画像処理部３０に出力する。画像処理部３０は、撮像部１０から入力画像を取得する（ＳＴ１）。ここで取得した入力画像は、以下に述べる処理に用いられる。

判定領域抽出部３１は、記憶部２０に記憶されている現背景画像および前背景画像、ならびに撮像部１０から入力された入力画像を用いて光影判定領域を抽出し、その光影判定領域を記憶部２０に記憶する（ＳＴ２）。

図６は、判定領域抽出部３１が光影判定領域を抽出する処理の例を示すフロー図である。まず、判定領域抽出部３１は、光影判定領域の作成に必要な現背景画像と前背景画像が記憶部２０に記憶されているかどうかを判定する（ＳＴ２１）。それらの画像が記憶されていない場合は、そのまま入力変化領域抽出処理（図５のＳＴ３）を実行する。一方、それらの画像が記憶されている場合は、判定領域抽出部３１は、記憶部２０から現背景画像と前背景画像を読み出す（ＳＴ２２）。

次いで、背景変化領域抽出手段３１１は、現背景画像と前背景画像の差分処理を行い、背景変化領域を抽出する（ＳＴ２３）。背景変化領域が抽出されない場合（ＳＴ２４でＮｏ）は、そのまま入力変化領域抽出処理（図５のＳＴ３）を実行する。一方、背景変化領域が抽出された場合（ＳＴ２４でＹｅｓ）は、背景保持領域抽出手段３１２が、同様に前背景画像と入力画像の差分処理を行い、背景保持領域を抽出する（ＳＴ２５）。そして、判定領域抽出手段３１３が、背景変化領域と背景保持領域が重複する領域を光影判定領域として抽出する（ＳＴ２６）。判定領域抽出部３１は、抽出された光影判定領域を記憶部２０に記憶する（ＳＴ２７）。以上で、判定領域抽出部３１が光影判定領域を抽出する処理は終了し、入力変化領域抽出処理（図５のＳＴ３）を実行する。

図５に戻って、入力変化領域抽出部３２は、ＳＴ１で取得した入力画像と、記憶部２０に記憶されている現背景画像との差分を求め、その差分の絶対値が基準値以上の領域を入力変化領域として抽出する（ＳＴ３）。入力変化領域が抽出されない場合は、そのままラベリング処理（ＳＴ４）を実行する。

入力変化領域抽出部３２は、抽出した入力変化領域に対してラベル付けを行う（ＳＴ４）。例えば、入力変化領域抽出部３２は、８連結で隣接する画素をひとまとまりとしてラベル付けする。ラベル付けする入力変化領域がない場合は、そのまま追跡処理（ＳＴ５）を実行する。

追跡部３３は、入力変化領域抽出部３２にてラベル付けされた入力変化領域を、前回処理した入力画像中の入力変化領域のうち同一の物体によるものと判断できる入力変化領域と対応付けする追跡処理を行う（ＳＴ５）。また、前回処理した入力画像中の入力変化領域と対応付けられない入力変化領域は、監視領域内に新たに出現した物体による入力変化領域として追跡の対象にする。また、前回までに追跡が行われていた入力変化領域について、今回の入力画像中に対応付けられる入力変化領域がない場合、その入力変化領域に対する追跡を終了する。

以下のＳＴ６からＳＴ９の処理は、今回の入力画像中において追跡されている入力変化領域の数だけ繰り返す。すなわち、図３の例の場合は、入力変化領域１６１、入力変化領域１６２および入力変化領域１６３のそれぞれについて、以下のＳＴ６からＳＴ９の処理を行う。ＳＴ６において追跡されている入力変化領域がない場合は背景画像更新処理（ＳＴ１１）を実行する。

特徴量抽出部３４は、ＳＴ５で追跡されている入力変化領域ごとに特徴量を抽出し、判定部３５は、それらの特徴量を用いて、人らしさの指標となる人属性値、および人以外の変化らしさの指標となる人以外属性値を算出する（ＳＴ６）。本実施形態では、光らしさの指標となる光属性値を人以外属性値として算出する。

次に、判定部３５は、ＳＴ３で抽出された入力変化領域（図３の入力変化領域１６１，１６２または１６３）が、一時的な光の影響を受けた領域であるかどうかを判定する（ＳＴ７）。

図７は、判定部３５が行う光影影響判定処理の例を示すフロー図である。まず、判定部３５は、特徴量抽出部３４から取得した特徴量を用いて、人以外属性値を算出する（ＳＴ４１）。記憶部２０に光影判定領域が記憶されている場合には（ＳＴ４２でＹｅｓ）、判定部３５は、ＳＴ３で抽出された入力変化領域の面積に占める、入力変化領域と光影判定領域が重複する面積の割合（光影判定領域画素比率）を、特徴量抽出部３４から取得する（ＳＴ４３）。

入力変化領域の光影判定領域画素比率が基準値以上であれば（ＳＴ４４でＹｅｓ）、判定部３５は、上述したように、人以外属性値にボーナス値（ｅ）を加算することにより人以外属性値を高く補正する（ＳＴ４５）。ここでの基準値は、例えば４０％とする。

判定部３５が人以外属性値を補正すると、光影影響判定処理は終了し、人物判定処理（図５のＳＴ８）を実行する。また、記憶部２０に光影判定領域が記憶されていない場合（ＳＴ４２でＮｏ）と、入力変化領域の光影判定領域画素比率が基準値未満である場合（ＳＴ４４でＮｏ）は、人以外属性値が補正されずに光影影響判定処理は終了し、人物判定処理（図５のＳＴ８）を実行する。

図５に戻って、判定部３５は、ＳＴ６で算出された入力変化領域の人属性値と、ＳＴ７で算出された人以外属性値を比較する。人属性値が十分に高く、かつ、人属性値が人以外属性値より高い場合には、その入力変化領域は侵入者であると判断できる。このため、そのような入力変化領域について、判定部３５は、監視領域内に侵入者を検出する（ＳＴ８）。判定部３５は、検出結果を出力部４０に出力する。

出力部４０は、人物判定処理ＳＴ８にて侵入者が検出された場合に、異常検出信号を対象物検出装置１００の外部に出力する（ＳＴ９）。

ここで、今回の入力画像中において追跡されている入力変化領域がまだ他にある場合（ＳＴ１０でＹｅｓ）は、ＳＴ６に戻る。追跡されている全ての入力変化領域について処理が終了した場合（ＳＴ１０でＮｏ）は、背景画像更新処理（ＳＴ１１）を実行する。

背景画像更新部３６は、判定部３５による対象物の判定処理に影響がある変動を変動検出部３７が検出したときに、現背景画像を新たな前背景画像として記憶部２０に記憶するとともに、入力画像を新たな現背景画像として記憶部２０に記憶する（ＳＴ１１）。背景画像更新部３６は、例えば判定部３５による判定が妨げられる限度として予め定められた限度以上の大きさを入力変化領域が入力画像中で占めるときに、現背景画像を前背景画像とするとともに、入力画像を現背景画像とする。

図８は、背景画像更新部３６が行う背景画像更新処理の例を示すフロー図である。まず、現背景画像と前背景画像が記憶部２０に記憶されている場合（ＳＴ６１でＹｅｓ）、背景画像更新部３６は、対象物の判定処理に影響のある変動として照明変動の有無を判断する（ＳＴ６２）。その際は、例えば、ＳＴ３で抽出された入力変化領域の大きさが過大であると判断できる基準値以上であることを変動検出部３７が検出したときに、入力画像中に照明変動が有ると判断する。その基準値は、入力画像中に生じた入力変化領域によって対象物の判定が困難となるような大きさを実験的に求め、設定すればよい。

照明変動がある場合（ＳＴ６３でＹｅｓ）、ＳＴ６５へ移行する。照明変動がない場合（ＳＴ６３でＮｏ）でも、入力画像中に入力変化領域が抽出されないか、または抽出された入力変化領域の大きさが基準値以下であれば（ＳＴ６４でＹｅｓ）、ＳＴ６５へ移行する。次に、背景画像更新部３６は、記憶部２０に前背景画像が記憶されていれば（ＳＴ６５でＹｅｓ）、現背景画像を前背景画像として更新し（ＳＴ６６）、記憶部２０に前背景画像が記憶されていなければ（ＳＴ６５でＮｏ）、現背景画像を前背景画像として記憶する（ＳＴ６７）。そして、背景画像更新部３６は、入力画像を現背景画像として更新し（ＳＴ６８）、背景画像更新処理を終了する。

一方、照明変動がなく（ＳＴ６３でＮｏ）、かつ入力画像中の入力変化領域の大きさが基準値を超えていれば（ＳＴ６４でＮｏ）、背景画像更新部３６は、現背景画像と前背景画像を更新せずに、背景画像更新処理を終了する。また、対象物検出装置１００の初期起動時など、現背景画像と前背景画像が記憶部２０に記憶されていない場合（ＳＴ６１でＮｏ）は、入力画像により、現背景画像および前背景画像を置き換え、記憶部２０に記憶する（ＳＴ６９）。これで、背景画像更新処理は終了する。

図５のフローでは、ＳＴ１１の後、ＳＴ１に戻り、画像処理部３０は、新たな入力画像１２３を取得する。以上で、図５のフローの説明を終了する。

このように、本実施形態の対象物検出装置１００では、監視領域内を移動する光が背景画像に取り込まれた場合に生じる入力変化領域については、ＳＴ７の光影影響判定処理により人以外属性値が高く設定される。これにより、背景画像の更新によって一時的な変化が背景画像に取り込まれ、入力画像と背景画像に差分が生じることで入力変化領域が抽出された場合であっても、そのような入力変化領域は光影判定領域と重なるため対象物と判定され難くなる。このため、対象物検出装置１００では、背景画像の更新の際に監視領域内を移動する光が背景画像に取り込まれた場合でも、そのような入力変化領域が人と誤検出されることを防止できる可能性が高まる。また、人以外属性値を高い値に補正する領域は光影判定領域に限られており、そうした補正を行う領域の大きさを必要最小限にすることができる。

以上、本発明の実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。判定領域抽出部３１の背景変化領域抽出手段３１１は、現背景画像と前背景画像の差分処理による現背景画像の変化が照明変動によって変化したと判断できる基準を満たすときに、背景変化領域を抽出してもよい。例えば、変化した領域の大きさが基準値以上であることや、輝度が明るくなった度合い、強い光の条件といった、ヘッドライトや懐中電灯などの照明変動らしい特徴を差分処理により得られる領域が満たす場合に、背景変化領域抽出手段３１１はその領域を背景変化領域として抽出してもよい。

また、背景画像更新部３６は、照明変動以外にも、対象物の判定処理に影響がある変動として入力画像中に巨大な入力変化領域の抽出があった場合にも背景更新を行うようにしてもよい。例えば、車がカメラの近くで一時停止したことを検出するものでもよい。この場合、入力変化領域の大きさが基準値以上の場合に背景更新を行うようにすればよい。

本実施形態では、光影判定領域を用いて、背景画像に取り込まれた光によって生じた入力変化領域による誤検出を防止する目的として説明したが、同様の処理によって入力画像中の影によって生じた入力変化領域による誤検出を防止する目的としても利用できる。

また、人以外属性値について、上記の実施形態では、光らしさを表すものとして説明した。しかし、これに限らず、影らしさを表す影属性値、小動物らしさを表す小動物属性値、雨らしさを表す雨属性値など、植栽揺れらしさを表す植栽ゆれ属性値、虫らしさを表す虫属性値など、複数の事象に個別に対応した属性値を統合して求めるようにしてもよい。人の侵入かどうかの判定精度を向上させることのできる他の種類の人以外らしさを表す属性値を用いることも可能である。人属性値や人以外属性値の算出については、特開２００６−２７７６３９や特開２００１−２４３４７５に開示されている。

ＳＴ７の光影影響判定処理において、判定部３５は、人以外属性値を高めるのではなく、人属性値を低くするようにしてもよい。また、対象物検出装置１００における侵入者の判定は、人以外属性値を用いずに人属性値を用いるものでもよい。この場合は、光影判定領域を用いた処理によってＳＴ７で人属性値を下げればよい。また、対象物として判定しにくくする処理として、各属性値を補正するのではなく、属性値から対象物か否かを判定する際に用いる閾値を補正するようにしてもよい。

また、対象物検出装置１００は、判定部３５として、検出の対象物について光影判定領域画素比率が大きいほど入力変化領域が対象物であると判定し難くなるように事前学習されたパーセプトロンタイプのニューラルネットワークまたはサポートベクトルマシンのような識別器を含んでもよい。かかる場合、特徴量抽出部３４は、例えば入力変化領域の大きさや縦横比、移動量、平均輝度値、背景より明るい面積の割合、背景との相関および光影判定領域画素比率などの複数の特徴量を抽出する。そして特徴量抽出部３４からそれらの特徴量をその識別器に入力して、監視領域に対象物が存在するか否かを識別器が判定する。

なお、かかる識別器は、撮像部１０が監視領域を撮影できるように設置された状態にて、光、影および対象物などの撮影条件を変えつつ撮影した多数の学習用画像を用いて、対象物の存否の判定について事前学習されている。なお、各学習用画像には、少なくとも対象物が存在しているか否かの判定結果が事前に設定されている。

学習方法は、先ず前述の実施形態にて説明した図５におけるＳＴ１〜ＳＴ６の処理を実行する。ＳＴ６にて特徴量抽出部３４が抽出した入力変化領域の大きさや縦横比、移動量、平均輝度値、背景より明るい面積の割合、背景との相関、光影判定領域画素比率などの複数の特徴量を識別器に入力する。そして、学習用画像に設定されている対象物の存否を識別器の学習結果とする。これを全ての学習用画像に対し行うことにより、光影判定領域画素比率が大きいほど入力変化領域が対象物と判定され難くなるように学習された識別器を得ることができる。なお、識別器は、例えばバックプロパゲーション（逆誤差伝搬法）などの公知の手法を用いて学習させることができる。

１０ 撮像部
２０ 記憶部
３０ 画像処理部
３１ 判定領域抽出部
３１１ 背景変化領域抽出手段
３１２ 背景保持領域抽出手段
３１３ 判定領域抽出手段
３２ 入力変化領域抽出部
３３ 追跡部
３４ 特徴量抽出部
３５ 判定部
３６ 背景画像更新部
３７ 変動検出部
４０ 出力部
１００ 対象物検出装置

Claims (4)

1. 監視領域を順次撮像した入力画像に基づいて所定の対象物を検出する対象物検出装置であって、
   前記監視領域の背景を撮像した現背景画像および前記現背景画像より前の時刻に撮像され前記監視領域の背景を撮像した前背景画像を記憶する記憶部と、
   前記入力画像と前記現背景画像を差分処理して前記入力画像において変化した入力変化領域を抽出する入力変化領域抽出部と、
   前記現背景画像と前記前背景画像を差分処理して前記現背景画像が変化した背景変化領域を抽出する背景変化領域抽出手段、前記入力画像と前記前背景画像を差分処理して前記前背景画像が保持されている背景保持領域を抽出する背景保持領域抽出手段、および前記背景変化領域と前記背景保持領域が重複する領域を判定領域として抽出する判定領域抽出手段を有する判定領域抽出部と、
   前記入力変化領域と前記判定領域が重複する面積の前記入力変化領域の面積に占める割合を一つの特徴量として含む複数の特徴量を前記入力変化領域から抽出する特徴量抽出部と、
   抽出された前記複数の特徴量を用いて前記入力変化領域に前記対象物があるか否かを判定する判定部とを備え、
   前記判定部は、前記割合が大きいほど前記入力変化領域が前記対象物と判定され難くすることを特徴とする対象物検出装置。
2. 前記判定部による前記対象物の判定処理に影響がある変動を検出する変動検出部と、
   前記変動を検出したときに、前記現背景画像を新たな前記前背景画像として前記記憶部に記憶するとともに、前記入力画像を新たな前記現背景画像として前記記憶部に記憶する背景画像更新部と、
   をさらに備えることを特徴とする、請求項１に記載の対象物検出装置。
3. 前記変動検出部は、前記判定部による前記対象物の判定処理が妨げられる限度以上の面積の前記入力変化領域が前記入力画像中を占めるときに前記変動有りを検出することを特徴とする、請求項２に記載の対象物検出装置。
4. 前記背景変化領域抽出手段は、前記現背景画像と前記前背景画像の差分処理による前記現背景画像の変化が照明変動によって変化したと判断できる基準を満たすときに前記背景変化領域を抽出することを特徴とする、請求項１から３のいずれか一項に記載の対象物検出装置。

Images