JP6408414B2 - 動物体検出装置及びその背景モデル構築方法 - Google Patents

Description

本発明は、固定カメラで撮影した映像から、背景画像を用いた背景差分法により動物体を精度よく検出する動物体検出装置及びその背景モデル構築方法に関する。

固定カメラ映像から撮像ノイズ、多少の照明変動および周期的に微小に移動する領域の影響を取り除いて動物体を精度よく検出する技術は、監視映像解析技術の前処理として非常に重要であり、人物行動解析や異常行動検出のために利用できる。

固定カメラ映像から動物体を検出するために、映像の前後フレームの差分を動物体と認識する背景差分法が提案されており、この背景差分法を基本とする様々な動物体検出方法が考案されている。このうち、撮像ノイズ、多少の照明変動および周期的に微小に移動する領域の影響といった課題をおよそ解決し、かつオンライン処理でありながら背景モデル保持のメモリ量を少なくできる方法が特許文献1および非特許文献１に開示されている。

これらの先行技術では、動物体が全く存在しない背景画像もしくはフレーム全体を通して考慮すると動物体がほとんど存在しない背景映像を元に背景モデルを作成し、動物体を検出したい入力フレームと背景モデルとの比較を行うことで動物体を検出できる。

背景モデルの生成方法は、特許文献1では、背景画像を2次元格子(大きさW×H)とみたて、背景画像の各画素に対して、上下左右および斜めの計８方向に対して画素の走査を行い、該当画素との明度の差の絶対値が閾値Tp以上の画素の位置および明度差の符号（8bit）を算出する。ここで、閾値Tpは撮像ノイズ分布から決定される。

入力フレームからの動物体の検出は、前記背景モデルで生成した画素ごとの８方向の位置および明度差の符号を同様に算出し、明度差の符号の一致率が閾値Tb以下の画素を動物体として検出することで行われる。閾値Tbは、参照画素数が「８」であれば「６」程度に設定される。

非特許文献１も基本方式はほぼ同様であるが、背景モデル構築時に背景映像を利用し、背景画像ごとに上記の処理を実施するのに加え、背景映像の全フレーム間を通して一定の明度差が生じる画素同士の位置のみを比較に利用することにより、より照明変動にロバストな動物体検出を実現している。

非特許文献２には、ピクセルごとに明度値のGMM(Gaussian Mixture Model)を作成し、そのモデルに従って動物体を検出する技術が開示されている。

特開2003-141546号公報

岩田，佐藤，尾崎，坂上，"統計的リーチ特徴法に基づくロバスト背景差分，"電子情報通信学会論文誌，D Vol. J92-D No. 8 pp.1251-1259, 2009. Z.Zivkovic, F. van der Heijden, Efficient Adaptive Density Estimapion per Image Pixel for the Task of Background Subtraction, Pattern Recognition Letters, vol. 27, no. 7, pages 773-780, 2006.

しかしながら、上記の従来方式では、背景画像もしくは映像から背景モデルを作成する際、各注目画像pとの明度差の絶対値が閾値Tp以上となる画素が走査方向上に存在しない場合（以下、例外条件と表現する場合もある）に動物体検出の精度が低下するという技術課題があった。

ここで、走査方向上に条件を満たす画素を探索できない場合とは、例えば図１０に「×」印で示したように、探索対象の注目画素pが学習画面Vsの端部近傍に位置しているため、端部方向の探索範囲（距離）が短くなる場合、あるいは背景領域のテクスチャが少なく、明度差が生じにくい場合などであり、このような場合には、条件を満たす画素を見つけられない確率が高くなる。

図１１は、学習用の背景画像[同図(a)]と、当該背景画像において、所定の条件下で例外条件が発生したか否かを示した図[同図(b)]であり、例外条件の発生する画素が背景画像の端部に集中していることが判る。

このような技術課題に対して、特許文献１や非特許文献１は、(1) 走査方向上で極大値（差がTp未満）の画素を選択する、(2) 画面端の画素を強制的に利用する（以上、特許文献１）、あるいは当該方向の対象画素は存在しないこととして同方向の明度差の符号値の比較を実施しない、すなわち同方向の符号値判定結果は、どのような入力画素に対しても背景として扱う（以上、非特許文献１）ことで対処している。

しかしながら、閾値Tpが撮像ノイズ分布に基づき設定されていることに対して、上記例外条件の対応処理による判定は、明度差が閾値Tp未満の画素であっても強制的に選択されることになるので、動物体検出の条件としては明らかに緩やかな判定になっており、結果として動物体の誤検出や検出漏れにつながっていた。

さらに、屋内での人物領域検出を目的とした場合には、(1) 撮影範囲内であれば可能な限り画面中央と同様に精度よく動物体を検出したい、(2) 床面やテーブル面などテクスチャが少ない領域が存在するが可能な限りテクスチャが存在する場合と同様に精度よく動物体を検出したい、といったニーズがあり、改善が求められていた。

なお、非特許文献２のGMMを利用したオブジェクト抽出手法では、画素ごとにGMMが得られるが、オブジェクト内の多くの画素では背景画像と類似のGMMが得られるので、オブジェクトと背景画像との区別が難しい。

本発明の目的は、上記の技術課題を解決し、例外処理の発生しやすい背景画像を用いた背景差分法による動物体検出においても、入力画像から動体物を正確に検出できる動体物検出装置及びその背景モデル構築方法を提供することにある。

上記の目的を達成するために、本発明は、以下のような構成を具備した点に特徴がある。

(1) 背景差分法による動物体の検出に用いる背景モデルの構築方法において、背景画像から注目画素を順次に選択する手順と、注目画素ごとに複数の放射方向へ画素探索を行い、注目画素との特徴量差が所定の第１条件を満足する参照画素を放射方向ごとに登録する第１探索手順と、前記第１条件を満足する参照画素を探索できなかった放射方向数分の参照画素を、前記第１探索手順とは異なる探索方法で探索する第２探索手順と、画素ごとに前記各探索手順により探索された参照画素の位置及び特徴量差を対応付けて背景モデルを構築する手順とを含むようにした。

(2) 入力画像を背景モデルと比較して動物体を検出する動物体検出装置において、背景画像の画素ごとに複数の放射方向へ画素探索を行い、特徴量差が所定の第１条件を満足する参照画素を放射方向ごとに登録する第１探索手段と、前記第１条件を満足する参照画素を探索できなかった放射方向数分の参照画素を、前記第１探索手順とは異なる探索方法で探索する第２探索手段と、画素ごとに前記各探索手順により探索された参照画素の位置及び特徴量差を対応付けて背景モデルを構築する手段と、入力画像を背景モデルと画素単位で比較して動物体を識別する手段とを具備した。

(1) 本発明の背景モデル構築方法によれば、少ない探索コストで、かつ極めて高い確率で、所定の条件を満足する予定数の参照画素を探索できる。したがって、画像の大部分の領域に対して従来の背景差分に基づく動物体検出性能を保持したまま、画面端近辺やテクスチャが少ない背景領域についても、撮像ノイズ、多少の照明変動、および周期的に微小に移動する領域の影響を除去して十分な動物体検出性能を維持できる背景モデルを構築できる。

(2) 本発明によれば、注目画素ごとに複数の放射方向へ画素探索を行っても所定の条件を満足する予定数の参照画素を探索できないと、不足数分の参照画素が背景画像上でランダムに探索される。したがって、背景画像の画素分布に何らかの規則性があるなどして特定の放射方向に限った探索では閾値を上回る参照画素を見つけられない場合でも、高い確率で閾値を上回る参照画素を見つけられるようになる。

(3) 本発明によれば、注目画素ごとに複数の放射方向へ画素探索を行っても所定の条件を満足する予定数の参照画素を探索できないと、複数の背景画像の二次元配列を仮想し、各探索方向を維持したまま探索範囲のみが拡張される。したがって、探索位置や参照画素を特定するためのパラメータを、絶対的又は注目画素pを基準とした相対的なXY座標値ではなく、注目画素pからの距離のみで管理できるの、探索時の消費メモリ量や探索時間といった探索コストを低減できるようになる。

(4) 本発明の動物体検出装置によれば、監視カメラの視野外から視野内に移動してくる人物が画面端に現れ始めたときから動物体として認識できるようになる。そのため、人物を画像内に現れた直後から背景差分処理により動物体候補領域として算出することが可能となるので、人物領域の検出速度および精度の向上が見込める。

本発明の背景モデル構築方法を適用した動物体検出装置の構成を示したブロック図である。 第１探索部による参照画素の探索方法を示した図である。 第２探索部による参照画素の第１探索方法（その１）を示した図である。 第２探索部による参照画素の第１探索方法（その２）を示した図である。 第２探索部による第２探索方法を示した図である。 背景モデルMの構築手順を示したフローチャートである。 入力画像Vinに対する本発明の動物体検出結果と従来技術による検出結果とを示した図である。 本発明の効果を説明するための図（その１）である。 本発明の効果を説明するための図（その２）である。 参照画素を見つけられない例外条件を説明するための図である。 例外条件の発生状況を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の背景モデル構築方法を適用した動物体検出装置１の主要部の構成を示したブロック図であり、背景差分法による動物体検出に用いる背景モデルを構築し、入力画像から背景モデルに基づいて動物体を検出する。

参照画素探索部１０は、第１探索部１０１および第２探索部１０２を含み、背景画像Vsの画素ごとに画素探索を行って複数の参照画素を登録する。参照画素とは、注目した画素（注目画素）との特徴量の差が所定の閾値を上回る画素であり、特徴量としては輝度値やR，G，Bの各値を採用できる。

前記第１探索部１０１は、図２に示したように、背景画像Vsから選択した注目画素pごとに、放射方向（本実施形態では、上下左右および斜めの計８方向）へ画素探索を実行し、特徴量の差が最初に所定の閾値を上回った画素を参照画素と認定する。また、放射方向へ背景画像Vsの端部まで探索を行っても特徴量差が所定の閾値を上回る参照画素を見つけられなければ、その方向数分の参照画素の探索を第２探索部１０２へ依頼する。

前記第２探索部１０２は、前記依頼された方向数分の参照画素を、前記各放射方向以外から探索し、特徴量差が所定の第２閾値を上回る画素を参照画素に追加する。前記第１および第２閾値は同値であっても良いし異なる値であっても良い。

図３は、前記第２探索部１０２による第１の探索方法を示した図であり、前記と同一の符号は同一又は同等部分を表している。

図示の例では、注目画素pを中心に上、左、下、左上および左下の計５方向については、それぞれ参照画素a7，a5，a3，a6，a4を探索できている。これに対して、右、右上および右下の計３方向については、画像端部までの距離が短く、主に探索範囲が狭いことが原因で参照画素aを探索できていない。

そこで、第２探索部１０２は背景画像Vsの全領域を対象に画像探索をランダムに実施する。そして、特徴量差が所定の第２閾値を上回る画素を参照画素に追加する。このような参照画素のランダム探索は、第１探索部１０１が探索できなかった参照画素数分だけ繰り返される。

なお、参照画素aをランダムに探索する方法は上記に限定されるものではなく、図４に示したように、注目画素pを中心とする放射方向を、前記依頼された方向数分だけ追加でランダムに決定し、当該各放射方向上で画像探索を実施するようにしても良い。

本探索手法によれば、参照画素がランダムに探索されるので、背景画像の画素分布に何らかの規則性があるなどして特定の放射方向に限った探索では閾値を上回る参照画素を見つけられない場合でも、高い確率で閾値を上回る参照画素を見つけられるようになる。

図５は、前記第２探索部１０２による第２の探索方法を示した図であり、前記と同一の符号は同一又は同等部分を表している。

本実施形態では、複数の同一の背景画像Vsを二次元にタイル状に配列した探索範囲を仮想する。そして、前記第１探索部１０１により参照画素を探索できなかった放射方向の延長線上で、背景画像間の境界を無視して参照画素の探索を実行し、探索できた画素の背景画像Vsにおける対応画素を参照画素に追加する。

参照画素符号値算出部２０は、前記第１および第２探索部１０１，１０２により注目画素ごとに探索された予定数（ここでは、８個）の参照画素aの位置および注目画素pと各参照画素aとの特徴量差の符号値を算出する。背景モデル構築部３０は、背景画像Vsの画素ごとに探索された複数の参照画素aの位置および特徴量差の符号値の集合に基づいて背景モデルMを構築する。

本探索手法によれば、各探索方向を維持したまま探索範囲のみを拡張できるので、探索位置や参照画素を特定するためのパラメータを、絶対的又は注目画素pを基準とした相対的なXY座標値ではなく、注目画素pからの距離のみで管理できる。したがって、探索時の消費メモリ量や探索時間といった探索コストを低減できるようになる。

図６は、前記背景モデルMの構築手順を示したフローチャートであり、画像フレームごとに繰り返される。

ステップS１では、背景画像Vsが取得される。ステップS２では、背景画像Vsから一つの画素が選択されて今回の注目画素pとされる。ステップS３では、当該注目画素pについて予定数（本実施形態では、８個）の参照画像aが前記第１探索部１０１により探索される。

ステップS４では、今回の注目画素pに関して予定数の参照画像を探索できたか否かが判定される。ここで、例外条件の発生により予定数の参照画素を探索できていなければステップS５へ進み、不足数分の参照画像aが前記第２探索部１０２により探索される。

なお、第２探索部１０２によっても予定数の参照画素を探索できない注目画素については、明度値のGMMを作成し、そのモデルに従って動物体を検出するようにしても良い。

ステップS６では、前記参照画素符号値算出部２０により各参照画素の符号値が算出される。ステップS７では、背景画像の全ての画素について予定数の参照画素探索が完了したか否かが判定される。完了していなければステップS２へ戻り、注目画素を切り替えて上記の各処理が繰り返される。ステップS８では、各参照画素の位置および符号値の集合として背景モデルMが構築される。

次いで、上記の背景モデルMを用いた動物体検出について説明する。動物体検出装置１の入力画素符号値算出部４０は、入力画像Vinの画素ごとに、前記参照画素探索部１０により背景画像Vsの各画素について探索された参照画素aに対応する各画素から特徴量を求めて符号値を同様に算出する。

動物体識別部５０は、入力画像Vinの画素ごとに前記背景モデルMの対応画素との間で各参照画素の符号値を比較し、符号値の一致数が所定の閾値以下となる画素を動物体の画素に識別し、それ以外を背景画像の画素に識別する。

このような動物体検出装置１は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機とし構成しても良い。

図７は、入力画像Vinの画像フレーム[同図(a)]に対する従来技術による検出結果[同図(b)]と本発明の動物体検出結果[同図(c)]とを示した図であり、図８に詳細に示したように、画面の左右端部における動物体の誤検出が解消されていることがわかる。また、図８に示し、更に図９に拡大して示したように、動物体の領域に関しても、ノイズ成分が除去されていることが判る。

本実施形態によれば、画像の大部分の領域に対して従来の背景差分に基づく動物体検出性能を保持したまま、画面端近辺やテクスチャが少ない背景領域についても、撮像ノイズ、多少の照明変動、および周期的に微小に移動する領域の影響を除去して十分な動物体検出性能を維持できる背景モデルを構築できるようになる。

また、このような背景モデルを動物体検出装置に適用すれば、例えば監視カメラの視野外から視野内に移動してくる人物が画面端に現れ始めたときから動物体として認識できるようになる。そのため、人物を画像内に現れた直後から背景差分処理により動物体候補領域として算出することが可能となるので、人物領域の検出速度および精度の向上が見込める。

１０…参照画素探索部，２０…照画素符号値算出部，３０…背景モデル構築部，４０…入力画素符号値算出部，５０…動物体識別部，１０１…第１探索部，１０２…第２探索部

Claims (6)

1. 背景差分法による動物体の検出に用いる背景モデルの構築方法において、
   背景画像から注目画素を順次に選択する手順と、
   注目画素ごとに複数の放射方向へ画素探索を行い、注目画素との特徴量差が所定の条件を満足する参照画素を放射方向ごとに登録する第１探索手順と、
   前記所定の条件を満足する参照画素を探索できなかった放射方向数分の当該所定の条件を満足する参照画素を前記第１探索手順とは異なる探索方法で探索する第２探索手順と、
   画素ごとに前記各探索手順により探索された参照画素の位置及び特徴量差を対応付けて背景モデルを構築する手順とを含むことを特徴とする背景モデル構築方法。
2. 前記第２探索手順は、前記参照画素を探索できなかった放射方向数分の参照画素を前記背景画像上でランダムに探索することを特徴とする請求項１に記載の背景モデル構築方法。
3. 前記第２探索手順は、複数の背景画像の二次元配列を仮想し、前記所定の条件を満足する参照画素を探索できなかった放射方向の延長線上で参照画素を探索することを特徴とする請求項１に記載の背景モデル構築方法。
4. 入力画像を背景モデルと比較して動物体を検出する動物体検出装置において、
   背景画像の画素ごとに複数の放射方向へ画素探索を行い、特徴量差が所定の条件を満足する参照画素を放射方向ごとに登録する第１探索手段と、
   前記所定の条件を満足する参照画素を探索できなかった放射方向数分の当該所定の条件を満足する参照画素を前記第１探索手順とは異なる探索方法で探索する第２探索手段と、
   画素ごとに前記各探索手順により探索された参照画素の位置及び特徴量差を対応付けて背景モデルを構築する手段と、
   入力画像を背景モデルと画素単位で比較して動物体を識別する手段とを具備したことを特徴とする動物体検出装置。
5. 前記第２探索手段は、前記参照画素を探索できなかった放射方向数分の参照画素を前記背景画像上でランダムに探索することを特徴とする請求項４に記載の動物体検出装置。
6. 前記第２探索手段は、複数の背景画像の二次元配列を仮想し、前記所定の条件を満足する参照画素を探索できなかった放射方向の延長線上で参照画素を探索することを特徴とする請求項４に記載の動物体検出装置。