JP4708343B2

JP4708343B2 - 背景領域および前景領域をモデリングする方法

Info

Publication number: JP4708343B2
Application number: JP2006523478A
Authority: JP
Inventors: ポリクリ、ファティー・エム
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2004-12-15
Filing date: 2005-12-09
Publication date: 2011-06-22
Anticipated expiration: 2025-12-09
Also published as: WO2006064895A1; EP1697901B1; US20060126933A1; CN1918604B; DE602005011097D1; EP1697901A1; US7359552B2; JP2008523454A; CN1918604A

Description

本発明は、包括的には画像処理に関し、特に、画像シーケンスにおける前景の検出に関する。

前景の検出
多くのコンピュータビジョン用途、例えば、監視用途、追跡用途、および認識用途において、必要となる最初のステップは、シーン中の前景物体を検出することである。通常、これは、図１Ａに示すような背景減算方法１００によって行われる。シーンについて取得された入力画像シーケンス１１０が処理されて、背景画像１３０が生成される（１２０）。次に、この背景画像が画像１１０から減算されて（１４０）、前景画像１５０が得られる。

従来技術の前景検出方法は、シーンの構成に関して厳密な仮定を行うか、急激な照明変化に対処することができないか、または、計算が複雑で時間がかかるかのいずれかである。

従来技術の前景検出方法は、通常、単層方法または多層方法として分類することができる。単層方法は、過去の観測に基づいて単一の動的モデルを作成する。

単層の背景画像を構築する最も単純な方法は、画素輝度の平均または分散を測定することである。輝度は、（ＲＧＢ）チャネル毎に測定して、色の変化を特徴付けることができる。次に、輝度を閾値として用いて、前景領域を検出することができる。しかし、このような平均化操作は、通常、真の背景でも真の前景でもない「ゴースト」領域を生じる。

１つの方法は、ガウス関数およびアルファブレンディングにより背景画素の統計分布をモデリングする（C. R. Wren、A. Azarbayejani、T. J. Darrell、およびA. P. Pentland）著「Pfinder: Real-time tracking of the human body」（PAMI, 19(7), pp. 780-785, July 1997））。背景画像Ｂ_ｔが現画像Ｉ_ｔに従って、事前に設定されたブレンディングの重みαを用いて、次のように更新される。
Ｂ_ｔ＝（１−α）Ｂ_ｔ−１＋αＩ_ｔ

ブレンディングの重みαは、背景が現画像とブレンドされるべき速度を調節する。この平均化方法は、ブレンディングの重みの選択に大きく影響を受ける。αの値によっては、前景物体が背景に組み込まれてしまうか、または照明変化に適応しない。

代替的な「投票」方法は、出現の頻度に基づいて輝度値を選択する。この「投票」手法は、平均化に勝る利点を有する。投票手法は、背景をぼかさず、急激な照明変化を許容する。投票手法の主な欠点は、その計算の複雑度である。量子化を適用して、候補値の数および演算の回数を減らすことができる。しかし、量子化は、前景を背景と分離する能力を低下させる。

背景検出には、カルマンフィルタを用いることもできる（K. Karmann）、A. Brand著「Time-varying image processing and moving object recognition」（Elsevier Science Publish., 1990）、C. Ridder、O. Munkelt、およびH. Kirchner著「Adaptive background estimation and foreground detection using Kalman filtering」（Proc. ICAM, 1995）、並びにK. Toyama、J. Krumm、B. Brumitt、B. Meyers著「Wallflower: Principles and Practice of Background Maintenance」（Proc. of Int'l Conf. on Computer Vision, pp. 255-261, 1999））。データ部分空間に直接作用するカルマンフィルタの１バージョンが、J. ZhongおよびS. Sclaroff著「Segmenting foreground objects from a dynamic, textured background via a robust Kalman filter」（Proc. of IEEE Int'l Conf. on Computer Vision, pp. 44-50, 2003）に記載されている。

同様の自己回帰モデルが、動的なシーンの特性を取得する（A. Monnet、A. Mittal、N. Pragios、およびV. Ramesh著「Background modeling and subtraction of dynamic scenes」（Proc. of IEEE Int'l Conf. on Computer Vision, pp. 1305-1312, 2003））。

カルマンフィルタは、線形確率差分方程式、例えば,背景の輝度に従う離散時間過程の状態の最適推定値を提供する。遷移行列、プロセスノイズ共分散、および測定ノイズ共分散等の、カルマンフィルタの様々なパラメータは、時間ステップ毎に変化する可能性がある。より大きな共分散値を用いることによって、背景は、より速く照明変化に適応する。しかし、フィルタは、ノイズおよびシーン中の物体の影響をより受けやすくなる。カルマンフィルタのもう１つの欠点は、多モード分布、すなわち、動く葉若しくは草、または水面の波を区別できないことである。カルマンフィルタが発揮する性能は、大きな非線形性がある場合に低い。

別の方法は、画像中の背景をガウス分布関数の混合によりモデリングする（C. StaufferおよびW. Grimson著「Adaptive background mixture models for real-time tracking」（Proc. of IEEE Int'l Conf. on Computer Vision and Pattern Recognition, 1999））。全ての画素の値を１つの特定タイプの分布として明示的にモデリングするのではなく、背景は、多モードの背景をサポートするガウス分布関数の画素毎の混合によってモデリングされる。混合における各ガウス関数の持続性および分散に基づいて、背景領域に対応するガウスモデルを求める。背景分布に当てはまらない画素値は、それらを十分な一貫性のある裏付け証拠により背景に含めるガウスモデルが見つかるまで、前景とみなされる。この方法は、学習定数、および背景が占めるべき画素の割合を制御するパラメータを含む。ガウス混合方法は、多数の関連方法の基礎である（O. Javed、K. Shafique、およびM. Shah著「A hierarchical approach to robust background subtraction using color and gradient information」（MVC, pp. 22-27, 2002））。

混合方法は、照明変化に適応可能であり、ゴースト効果を生じない。さらに、混合方法は、多モードの背景に対処することができる。しかし、混合方法の性能は、シーンが動的であり、時間的に非静的な特性を示す場合に低下する。混合モデルベースの解決策のもう１つの欠点は、背景モデルを構築し更新する計算負荷である。混合において多数のモデルがある場合、そのような方法は、実用的には計算要求が大きくなり過ぎる。

ノンパラメトリック方法は、特定の画素における濃度のモデリングにガウシアンカーネルを用いる（A. Elgammal、D. Harwood、およびL. Davis著「Non-parametric model for background subtraction」（Proc. of European Conf. on Computer Vision, pp. II:751767, 2000））。

別の方法は、動的特性のモデリングにオプティカルフローを統合する（A. MittalおよびN. Paragios著「Motion-Based background subtraction using adaptive kernel density estimation」（Proc. Int'l Conf. on Computer Vision and Pattern Recognition, 2004））。

統計的な方法は、色特徴、グローバル特徴および動的特徴を用いて、物体検出を向上させることができる（C. JiangおよびM. O. Ward著「Shadow identification」（Proc. of IEEE Int'l Conf. on Computer Vision and Pattern Recognition, pp. 606-612, 1992）、並びにStauder、R. Mech、およびJ. Ostermann著「Detection of moving cast shadows for object segmentation」（IEEE Transactions on Multimedia, vol. 1, no. 1, pp. 65-76, March 1999））。

したがって、従来技術の前景検出方法を改良することが望ましい。

固有画像
１つのシーン解釈によれば、あらゆる画像は、シーンの複数の特性の積である。すると、「固有」画像は、シーン中の複数の特性のうちの１つを反映する画像の分解となる（H. G. BarrowおよびJ. M. Tenenbaum著「Recovering intrinsic scene characteristics from images」（Computer Vision Systems, Academic Press, pp. 3-26, 1978））。

あるシーンの入力画像Ｉ_ｔを反射率画像Ｒと照明画像Ｌ_ｔに分解したものは、次のような積として表すことができる。
Ｉ_ｔ＝Ｒ・Ｌ_ｔ（１）

反射率画像Ｒは、シーンの反射値を含み、照明画像Ｌ_ｔは、照明強度を含む。反射率画像Ｒがシーンの表面反射特性を示す一方で、照明画像Ｌ_ｔは、シーン中の入射照明の分布を表すため、この表現は、入力画像において取得されるシーンの反射特性および照明特性を解析および操作する上で有用となる。

従来技術では、固有画像は、照明、および画像のテクスチャに見ることのできる反射率等の、シーンの１枚の画像中の空間特性を扱い、シーンそのものにおける前景物体の時間的な進展は扱わない。

図１Ｂに示すように、１つの分解方法は、最尤値を推定して、固定位置から照明条件を大きく変化させて取得された入力画像シーケンス１０１から反射率画像１０２および照明画像１０３を生成する（Y. Weiss著「Deriving intrinsic images from image sequences」（Proc. of IEEE Int'l Conf. on Computer Vision, pp. 68-75, Jul., 2001））。照明画像では右（Ｒ）および左（Ｌ）からの照明をはっきりと見ることができることに留意されたい。

この方法は、画像シーケンスから様々な反射率画像および対応する照明画像を導出すべく拡張されてきた（Y. Matsushita、K. Nishino、K. Ikeuchi、およびS. Masao著「Illumination normalization with time-dependent intrinsic images for video surveillance」（Proc. of IEEE Int'l Conf. on Computer Vision and Pattern Recognition, 2004））。Matsushita他は、照明変化を捕捉する照明固有空間も記載している。この方法では、シーンは、静的であり、検出される唯一のものは、照明条件等の、シーンの外的要因の変化である。前景物体の動きは、考慮されない。

別の方法は、１枚のカラー画像から、反射率画像に似た、照明が一様の画像を回復する（G. D. Finlayson、S. D. HordleyおよびM. S. Drew著「Removing Shadows from Images」（Proc. of European Conf. on Computer Vision Vol. 4, pp. 823-836, 2002））。Finlayson他は、入力画像が影の付いていない表面と、それらの表面に落ちる影との両方を含むものと仮定する。Finlayson他は、色分布のエントロピーを最小化することによって、対数色度空間における「不変方向」の角度を計算する。

別の方法は、複数の手掛かりを用いて、１枚の画像から陰影画像および反射率画像を回復する（M. Tappen、W. Freeman、E. Adelson著「Recovering Shading and Reflectance from a single image」（NIPS, 2002））。Tappen他は、色情報と、グレースケールパターンを認識するように訓練された分類器との両方を用いる。各固有画像は、陰影または表面反射率の変化に起因するものとして分類される。なお、この方法も、また、シーン中の前景物体の動きを考慮しない。

別の決定論的方法は、グレーレベル、並びに局所的特徴および静的特徴を用いる（M. Kilger著「A shadow handler in a video-based real-time traffic monitoring system」（Proc. of IEEE Workshop on Applications of Computer Vision, pp. 11-18, 1992）、並びにD. Koller、K. Danilidis）、およびH. Nagel著「Model-based object tracking in monocular image sequences of road traffic scenes」（Int'l Journal of Computer Vision, vol. 10, pp. 257-281, 1993））。

概して、従来技術の固有画像は、シーン中の前景物体の動きを考慮しない。したがって、シーンそのものにおける動きの変化を反映する改良された固有画像を提供することが望ましい。

さらに、改良された固有画像を用いて前景検出を向上させることが望ましい。

従来の背景減算による前景検出の代わりに、本発明では、動的なシーンの画像を時間的に変化する固有背景画像と固有前景画像に分解する。これらの固有画像の積は、シーンを特徴付ける。

シーンについて画像の時間シーケンスが取得される。フィルタを用いて空間勾配が求められる。フィルタ出力が疎であることを利用して、固有背景画像が、メディアンフィルタリングされた勾配として生成される。次に、固有背景画像によって元の画像シーケンスが除算されて、固有前景画像が得られる。

本発明は、また、固有前景画像を閾値処理して検出マスクを得るためのロバストな方法も提供する。本発明は、また、静止ラインおよび移動ラインを検出することもできる。

本方法は、計算効率が高く、照明変化が急激で大きい場合にも有効である。

固有背景画像
図２に示すように、本発明は、画像中の前景領域を検出するための方法２００を提供する。前景領域は、通常、シーン中の移動物体を表す。あるシーンについて取得された入力画像シーケンス２１０を処理して、固有背景画像２３０を生成する（３００）。入力画像２１０の各々を、固有背景画像で割り（２４０）、固有前景画像シーケンス２５０を得る。好ましい実施の形態において、固有の背景画像は、シーケンス２１０中の各現画像が処理される毎に更新される。

本発明は、シーンを前景特性と背景特性の積、すなわち、
Ｉ_ｔ＝Ｂ・Ｆ_ｔ（２）
として特徴付ける。ここで、背景画像Ｂ_ｔ２３０は、比較的静的であり、前景画像Ｆ_ｔ２５０は、シーンの動的特性、すなわち移動物体を特徴付ける。背景画像は、変化し得るが、前景画像よりも遥かに長い時間スケールで変化することに留意すべきである。したがって、本発明によれば、入力画像を固有背景画像で割る（２４０）ことによって、固有前景画像Ｆ_ｔ＝Ｉ_ｔ／Ｂを求める。

この定義は、背景特性および前景特性を加法的な推定、すなわち、Ｉ_ｔ＝Ｂ＋Ｆ_ｔとして表し、前景画像をＦ_ｔ＝Ｉ_ｔ−Ｂとする従来技術とは著しい対照をなすことに留意されたい。

実世界のシーンにおいて、静的特性および動的特性は、時間的に変化するが、「静的」特性の変化は、動的特性よりも実質的に遅い。例えば、「静的な」屋外シーンにおいて、建物の影の移動は、比較的遅く、屋内シーンにおいて、荷物は、放置されたままであれば、最終的に背景に組み込まれる。

したがって、単一の時間的に不変な静止画像が背景を表し得るという概念は、誤りである。時間的に不変の背景画像Ｂ（ｘ，ｙ）は、移動物体のない静止シーンをそれなりに記述するが、推定前景画像Ｆ（ｘ，ｙ，ｔ）は、特に、グローバル照明が変化する場合、かなり多量のテクスチャおよび影を含む傾向がある。したがって、反射率画像が照明画像に対して時間的に不変であると暗示的に仮定するWeissによる方法とは異なり、本発明では、時間的に変化する固有画像を用いる。すなわち、背景画像と前景画像の両方が時間的に更新される。

図３に詳細に示すように、本発明は、シーンについてＮ枚の入力画像のシーケンス２１０｛Ｉ_ｔ−Ｎ，・・・，Ｉ_ｔ−１，Ｉ_ｔ｝を取得する。画像２１１は、現入力画像である。画像が取得されるレートは、シーン中の移動物体の速度に依存することができる。連続する画像中の移動物体の外観の重なりが最小化されれば、物体の導出される統計値が背景画像２３０に混入する可能性は低くなる。

したがって、画像のサポート集合は｛Ｉ_ｔ−ｋＮ，・・・，Ｉ_ｔ−ｋ，Ｉ_ｔ｝であり、ここで、ｋは、サンプリング周期である。より長いサンプリング周期を選択しても構わないが、物体が高速で移動するシーンには、短いサンプリング周期が用いられる。いずれにせよ、サンプリング周期ｋは、重要な決定ではない。また、画像は、時間的に、シーン中の平均の動きに応じて様々なレートで取得することができることにも留意されたい。

次に、各入力画像Ｉ_ｔ２１０の輝度値の対数（ｌｏｇ）を求める（３１０）。これにより、「ｌｏｇ」画像３１１および３１２が生成され、ここで、ｌｏｇ画像３１２は、現入力画像２１１のものである。

次に、空間微分フィルタｓ_ｎ３２０をｌｏｇ画像ｉ_ｔ３１１および３１２に適用して、
Ｓ_ｎ ^＊ｉ_ｔ
に従って輝度勾配を求める。

ここで、「^＊」は、畳み込みを表す。微分フィルタは、ｓ_０＝［１ −１］、Ｓ_１＝［１ −１］^Ｔとすることができる。

微分フィルタを用いる代わりに、ｆ_ｌｉｎｅ＝［−１２ −１］の形のライン検出器を用いることもできる。このフィルタの出力も疎である。このフィルタは、形状抽出に必要不可欠なシーン中の静止エッジおよび移動エッジを捕捉することができる。

フィルタ出力は、ラプラシアン分布であり、空間的かつ時間的に独立しているため、フィルタリングされた背景画像の最尤推定値ｂ（ハット）_ｔｎは、次式によって与えられるメディアン画像３３０である。

なお、メディアン画像３３０は、以前のｎ枚のｌｏｇ入力画像３１１および現ｌｏｇ入力画像３１２の「窓」にわたってフィルタリングを行った結果である。新たな各入力画像を更新することによって、固有背景画像は、常に適切なものとなる。これは、微分フィルタ３２０を自然シーンの画像に適用する場合、フィルタ出力は、疎になる傾向があることの直接的な結果である。

次に、推定のフィルタリングされた背景画像ｂ（ハット）_ｔｎを用いることによって、次式に従って固有前景画像ｆ_ｔｎ２５０を求める。

ここで、次の一次連立方程式を解くことによって、メディアン画像３３０を「逆」フィルタリングする。

ここで、ｓ_ｎ ^ｒ３４０は、ｓ_ｎの逆フィルタであり、フィルタｇ３５０は、次のフーリエ式を満たすフィルタである。

フィルタｇ３５０は、入力画像シーケンス２１０とは独立しており、事前に決めておくことができる。

引き続き対数領域において、固有背景画像のｌｏｇであるフィルタ３５０の出力３５１を現画像のｌｏｇ３１０から減算する。ｌｏｇ領域において、これは、除算２４０に対応する。

次に、Ｂ_ｔ＝ｅ^ｂｔ、Ｆ_ｔ＝ｅ^ｆｔに従って逆対数３６１および３６２を適用することによって、最終的な固有前景画像２５０および固有背景画像２３０を得る。

マスク画像Ｍ_ｔを用いることもできる。マスク画像Ｍ_ｔは、現固有背景画像と現固有前景画像の差分の輝度統計値
Ｄ_ｔ（ｘ，ｙ）＝Ｂ_ｔ（ｘ，ｙ）−Ｆ_ｔ（ｘ，ｙ）
に基づいて、現入力画像Ｉ_ｔ中の前景画素を表す。

この差分の分布は、ガウス関数によって近似することができる。したがって、分布の平均μ_ｔおよび分散σ^２ _ｔを求め、９５％というパーセンタイル値を閾値τ＝２．５σとして割り当てる。マスク画像Ｍ_ｔは、次式によって与えられる。

図４は、交通シーンの入力画像４０１のシーケンスについて、本発明による、対応する固有背景画像４０２、固有前景画像４０３、およびマスク画像４０４を示す。マスク画像が移動車両を追跡することは明らかである。シーンは、遠方にある動く茂みおよび雲、並びに車両の下にある広範な影を含む。前景画像４０２は正確であり、これらのアーチファクトを含まないことに留意されたい。マスク画像４０４では、広範な影が除去されていることも分かる。

図５は、ゴルフシーンの入力画像５０１、対応する固有背景画像５０２、固有前景画像５０３、およびマスク画像５０４を示す。このシーンでは、空の色の変化および影がより際立つ。本発明による方法は、入力画像を背景画像と前景画像に正確に分解する。

発明の効果
本発明は、固定カメラによって取得された入力画像シーケンスから移動物体等の前景領域を検出する。従来技術の加法的な背景／前景のシナリオとは対照的に、本発明では、シーケンスを時間的に変化する乗法的な固有背景画像と固有前景画像との積に分解する。本方法にはいくつかの利点がある。積は、和よりも利得が高く、よって本発明は、急激で大きな照明変化にさほど影響を受けない。本発明は、モデルベースではないため、モデルの当てはめが不要である。本方法は、計算効率が高く、リアルタイムシステムに実装することができる。本方法は、パラメータの微調整を必要としない。本発明は、また、シーンの静的エッジマップを推定することができる。最も重要なこととして、乗法的な背景／前景の特徴付けは、従来技術の加法的なシナリオよりも高い性能を発揮する。

本発明を好適な実施の形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および変更を行ってもよいことを理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るこのような変形および変更をすべて網羅することである。

シーンの前景を検出するための従来技術の方法を示す図である。従来技術の固有画像を示す図である。本発明によるシーンの前景を検出するための方法を示す図である。図２の方法の詳細なステップを示す図である。本発明による道路シーンの固有画像を示す図である。本発明によるゴルフシーンの固有画像を示す図である。

Claims

シーンの入力画像シーケンスから該シーンの背景領域および前景領域をモデリングする方法であって、
各入力画像を対数画像に変換することと、
各対数画像にフィルタを適用することと、
フィルタリングされた対数画像の時間窓からメディアン画像を求めることと、
前記メディアン画像を逆フィルタリングすることと、
対数前景画像を得るために、現在の対数画像から前記メディアン画像を減算することと、
固有前景画像を得るために、前記対数前景画像に逆対数を適用することと、
固有背景画像を得るために、前記メディアン画像に前記逆対数を適用することと、
固有前景画像シーケンスを得るために、各入力画像を前記固有背景画像で割ることと
を含むシーンの入力画像シーケンスから該シーンの背景領域および前景領域をモデリングする方法。
各入力画像を処理する毎に前記固有背景画像を更新することをさらに含む請求項１に記載の方法。
前記入力画像のサンプリング周期は、時間とともに変化する請求項１に記載の方法。
前記入力画像のサンプリング周期は、前記シーン中の移動物体の関数として変化する請求項１に記載の方法。
前記フィルタは、空間微分フィルタである請求項１に記載の方法。
前記フィルタは、ライン検出器である請求項１に記載の方法。
前記固有前景画像中の移動物体を検出することと、
前記移動物体に対するマスク画像を生成することと
をさらに含む請求項１に記載の方法。
前記マスク画像は、前記固有背景画像と前記固有前景画像との差分の輝度統計値に基づく請求項７に記載の方法。