JP5058010B2 - シーン中に置き去りにされた物体を検出する方法 - Google Patents

Description

本発明は、包括的には、カメラによりシーンに関して取得された画像シーケンスを背景部分と前景部分に分割することに関し、特に、シーン中に置き去りにされた物体を検出することに関する。

ビデオ監視用途では一般に、カメラによりシーンに関して取得された画像シーケンスを背景部分と前景部分に分割して、シーン中の物体を検出及び追跡できるようにする。背景部分は完全に静止しているか、又はゆっくりと若しくは周期的に変化しており、前景部分は、背景部分の画素よりもずっと高速で変化する隣接画素群に対応すると仮定されることが多い。

照明、画素ノイズ、カメラ位置等の変化に頑健ないくつかの背景差分法が知られている。単純な方法は、前景物体のないシーンの画像の画素と異なる値を有する画像の画素をマーキングする。このような方法は、照明及びシーンの幾何形状を厳密に制御することのできる屋内シーンに用いられることが多い。

マルチモーダルな背景を扱う場合、背景モデルを用いることができる。多くの場合、このモデルはガウス分布の形態である。背景モデルは、連続する画像又はフレーム毎に反復更新メカニズム、例えばオンライン期待値最大化（ＥＭ）により更新される。しかし、オンラインＥＭは、弱いモードをより強いモードにブレンドし、モデル平均値を歪めてしまう。

背景モデルの正確な適応を達成するために、ベイズ更新手順を用いることができ、この手順は、必要なモデル数も推定することができる。この手順は、シーン中の照明の変化及び他の任意の変化を扱うことができる。また、画像勾配とオプティカルフロー情報とを用いるモデル背景の混合の変形もある。モデル混合手法は、十分な観測値が与えられれば、あらゆる任意の分布に収束し得る。しかし、混合するモデル数が増えるほど、計算コストは指数関数的に増える。

別の背景モデル化方法は、ノンパラメトリックカーネル密度推定を用いる。その方法は、背景モデルをフレーム毎に反復的に更新するのではなく、シーケンス中の画像の画素の色値を記憶し、全てのデータを用いて一組のカーネル関数の寄与を推定する。記憶容量及び計算コストは共に画像数に比例する。結果として、カーネルベースの方法は、画像を長期にわたって連続的に取得するリアルタイム用途には実用的でない。

別の３Ｄ幾何形状ベースの方法は、照明の任意の変化を許容するが、背景が幾何学的に静止しているものと仮定する。その方法はステレオカメラを用いる。何もないシーンの事前に計算される差異モデルに反する画素は前景としてマーキングされる。

頻度ベースの技法は、背景の動きがごく周期的である場合に良好な結果を生じる。例えば、沿岸監視システムは、海の波の周期性を考慮に入れ、観測値の画素単位の周期性を明示的にモデル化することによって、その影響を実質的に除去することができる。

別の分割方法は、前景物体の色組成に適応しつつ背景のモデルを保持する。その方法は、画素ベースの技法、動きベースの技法、及び領域ベースの技法の利点を組み合わせることを目的とするが、周期的な動き及び非凸状の物体に関して問題がある。事前知識を背景検出に組み込むことができる。完全な共分散行列を計算することにより、特徴空間を変更して動き情報等の他の情報源を含めることができる。

しかし、従来の２クラスの分割方法では解決することができない一種の問題がある。常識的に、公共の場所に置き去りにされた物体、例えばスーツケース、バックパック、又は包みは、大きな安全上の危険を招き得るものであると分かる。残念ながら、このような物体は、背景とも前景とも見なされない。シーンに入ってくる時、その物体は前景である。置き去りにされた後、その物体は背景となる。しかし、この物体を完全に無視しないことが重要である。さらに、その後で、その物体は持ち去られる可能性がある。したがって、シーン中のその存在が忘れられてはならない。

置き去り物体を検出することができる方法は知られている（J. D. Courtney著「物体の動き解析による自動ビデオインデックス付け（Automatic video indexing via object motion analysis）」（PR 30(4), pp. 607-625, 1997）、E. Auvinet、E. Grossmann、C. Rougier、M. Dahmane、及びJ. Meunier著「ホモグラフィ及び簡単な発見法を用いる置き去り荷物検出（Left-luggage detection using homographies and simple heuristics）」（PETS, pp. 51-58, 2006）、J. M. del Rincn、J. E. Herrero-Jaraba、J. R. Gmez、及びC. Orrite-Uruuela著「マルチカメラＵＫＦを用いる自動での置き去り荷物の検出及び追跡（Automatic left luggage detection and tracking using multi-camera ukf）」（PETS, pp. 59-66, 2006）、P. T. N. Krahnstoever、T. Sebastian、A. Perera、及びR. Collins著「大量輸送環境における旅行者及び荷物の多視点による検出及び追跡（Multi-view detection and tracking of travelers and luggage in mass transit environments）」（PETS, pp. 67-74, 2006）、K. Smith、P. Quelhas、及びD. Gatica-Perez著「公衆空間における放置荷物の検出（Detecting abandoned luggage items in a public space）」（PETS, pp. 75-82, 2006）、並びにS. Guler及びM. K. Farrow著「混雑した場所における放置物体検出（Abandoned object detection in crowded places）」（PETS, pp. 99-106, 2006））。

ほとんどの従来技術の方法の主な欠点は、置き去りにされた物体に対応するビデオ画像の部分を識別するために、中間ステップとして、物体追跡又は物体検出という遥かに難しい問題を解くことを必要とするという事実である。複雑な実世界のシーンにおけるリアルタイムでの物体追跡は困難である。

本発明の実施の形態は、カメラによりシーンに関して取得された画像シーケンスを背景部分と前景部分に分割することによって、置き去り物体を検出する方法を提供する。例えば、画像シーケンスは監視ビデオを含み、前景の全部ではないが一部が置き去りにされた物体に対応し得る。

一つの利点として、本方法は物体追跡を必要とせず、追跡手順でよく起こるフレーム間の対応付けの失敗の可能性をなくす。しかし、本方法は、追跡手順と統合して、置き去り物体の検出方法の精度を高めることができる。

本方法は、シーン又は物体のモデルを必要としない。本方法は主に、画素変化の時間的側面に係る。したがって、本方法は、特定の撮影条件、例えばカメラの角度、照明等を補償するように準備を整える（train）必要がない。本方法は、並列化を用いて処理時間を短縮することができる。

本方法は、シーン中の動きを複数の時間スケールで解析し、ガウス分布の画素毎の混合として実施される長期背景モデル及び短期背景モデルを構築する。次に、ベイズ更新メカニズムを用いて両モデルを適応させる。その後、本方法は、各画像を長期背景モデル及び短期背景モデルと比較することによって、長期背景統計値及び短期背景統計値を反復的に推定する。これらの統計値は、シーンの主に静止した背景部分と、動的な前景部分と、或る時間にわたって静止している置き去り物体とに属する画素を区別するために用いられる。

この置き去り物体の検出方法は、ベイズ更新による背景生成のために、シーン中の人物の不規則な動き、照明の変化、カメラの振動、及び他のアーティファクトに対して頑健である。本発明の方法は追跡に依拠しないため、シーン中の１つ１つの物体の検出及び識別を必要とする追跡手法で使用されることが多い、事前に定義された事象検出発見法（すなわち、人物が物体を運んできて、或る一定の距離だけ離れる等）により制限されない。

従来の動きベクトル解析に基づく手法とは異なり、本発明では、置き去り物体のような事象の発生を検出するだけでなく、置き去り物体の境界を正確に検出する。本発明の方法は、置き去り物体の最大数に限定されない。本発明の方法は、一部の置き去り物体がシーンから持ち去られ、他の置き去り物体が依然として残っている場合を検出することができる。置き去り物体が後に別の物体又は人物により遮蔽されても、本発明の方法は依然としてその置き去り物体を検出することができる。

さらに、単一のカメラを用いる本発明の方法の検出性能は、マルチカメラベースの方法と同等である。上記の利点に加えて、本発明の方法は、リアルタイム用途に計算上適している。本発明の方法は、複数の個別の画素毎の演算に分割することができるため、並列処理にも適している。

図１は、本発明の実施形態による、シーン２０中に置き去りにされた物体１０を検出する方法１００を示す。カメラ３０がシーンの画像シーケンス１０１を取得する。例えば、カメラは監視カメラである。

本発明の置き去り物体の検出方法は、画素色の経時的進展の推測に基づく。置き去り物体は、以前にはそこになかったシーン中の静止物体として考えることができる。この所見は、長期的な静止背景領域を示す背景のモデル化（１２０）及び前景のモデル化（１３０）により、画像シーケンスの画素が置き去り物体に対応するか否かを推測することができることを示す。物体が長時間にわたって置き去りにされている場合、警報を発する（１６０）ことができる。

本発明の方法は、監視ビデオ中の変化する画素強度の経時的進展を複数の時間スケール１０２で解析する。したがって、本発明では、複数の時間スケールでの背景モデルのパラメータ１１０を保持する。本方法は、新たな画像を処理する毎に１つ時間を進める。

後述するように、パラメータ１１０は複数の層として保持される。すなわち、各画素は経時的に、３Ｄ多変量ガウス分布の層として表される。パラメータ１１０は、任意の時点、例えばシーケンス中の各画像におけるガウス分布を定義する。本明細書中で使用する場合、画像は既知のフレームレートで取得されるため、時間及び画像は実質的に同義である。

背景モデルを更新（１２０）した後、前景モデルを判定する（１３０）ことができる。この前景モデルは、動き画像１０３を保持する（２００）ために用いられる（図２を参照）。証拠規則１５１を動き画像１０３に適用し（１５０）、置き去り物体が検出された場合、警報を発する（１６０）ことができる。

時間スケール
主概念は、画像シーケンス１０１を複数の時間スケール１０２で解析する場合、短期静止物体１０を背景及び前景の両方から分割することができることである。本発明の適応的な背景更新（１２０）は、適応の遅い背景画素及び適応の速い前景画素をビデオから除去する。残った画素は、動きが背景よりも速いか又は頻繁であるが、前景よりは遅い物体クラスに属するため、置き去り物体に対応する画素のみが動き画像１０３に残る。

時間スケールは完全に相対的であり、用途及び検出される物体のクラスに大きく依存する。人物及び物体が比較的速く移動する駅の監視等の監視用途の場合、短期は数分の１分であり、長期は５分〜１０分であり得る。無断駐車監視システムでは、短期は１５分である場合があり、長期は数時間とすることができる。駐車施設が空港にある場合、放置車両を検出するために長期は１週間を超える可能性がある。解剖学的流体（fluids）を撮像するＭＲＩスキャン及びＣＡＴスキャン等の医療用途の場合、期間は数分又は数時間程度であり得る。

背景モデル
シーン背景は、期間設定に応じて長時間、例えば数十分にわたって統計的に一貫した情報を抽出するモデルにより表される。断続的な前景画素は、その画素が短期であるという証拠値を動き画像１０３中に保持することによって置き去り物体１０と区別される。したがって、本発明では、シーン中の動きを複数の時間スケール１０２で解析し、２つの部分から成る２つの背景モデルを構築する。

背景モデルは、長期背景（Ｂ_Ｌ）モデル及び短期背景（Ｂ_Ｓ）モデルを含む。これらの２つのモデルは、ガウス分布の混合を用いる。分布は１Ｄ、２Ｄ又はより高い次元数とすることができる。本発明では、ベイズ更新（１２０）メカニズムを用いて、モデルを正確に適応させる。統計値を用いて、シーンの静止背景部分に適切に属する画素と、動的な前景に属する画素と、長時間にわたって静止している置き去り物体に属する画素とを区別する。全ての連続するフレーム又は画像において、本発明では、現フレームＩをＢ_Ｌモデル及びＢ_Ｓモデルと比較することによって長期統計値及び短期統計値を推定する。

前景マスク
本発明では前景モデルも判定する（１３０）（図２を参照）。このモデルもまた２つの部分、すなわち、長期前景（Ｆ_Ｌ）マスク２０１及び短期前景（Ｆ_Ｓ）マスク２０２を有する。マスクの画素Ｆ_Ｓ（ｘ，ｙ）及びＦ_Ｌ（ｘ，ｙ）は０又は１であり得る。すなわち、マスクは２値画像である。Ｆ_Ｌマスクは、現画像に関して、以前の画像ではそこになかったシーンの変化、例えば、移動物体、一時的な静止物体、動く人影、背景モデルが適応できない突然の劇的な照明の変化、例えばノイズを示す。Ｆ_Ｓマスクは、移動していて、その後に短時間だけ静止した物体に対応する。画素もまたＦ_Ｌマスクと同様に、ノイズによる突然の変化を示し得る。

マスク仮説
証拠規則１５１に従って前景マスクから４つの仮説を立てることができる。
１）Ｆ_Ｌ（ｘ，ｙ）＝０且つＦ_Ｓ（ｘ，ｙ）＝０である。画素（ｘ，ｙ）は背景に対応し、現画像中の対応する画素Ｉ（ｘ，ｙ）はＢ_Ｌモデル及びＢ_Ｓモデルの両方で表される。
２）Ｆ_Ｌ（ｘ，ｙ）＝１且つＦ_Ｓ（ｘ，ｙ）＝１である。画素（ｘ，ｙ）は移動物体に対応し、Ｂ_Ｌモデル又はＢ_Ｓモデルのいずれでも表されない。
３）Ｆ_Ｌ（ｘ，ｙ）＝０且つＦ_Ｓ（ｘ，ｙ）＝１である。画素（ｘ，ｙ）はシーン背景に対応し、現画像の画素Ｉ（ｘ，ｙ）はＢ_Ｌモデルでのみ表される。
４）Ｆ_Ｌ（ｘ，ｙ）＝１且つＦ_Ｓ（ｘ，ｙ）＝０である。画素（ｘ，ｙ）は置き去り物体に対応する可能性があり、Ｂ_Ｌモデルで表され得る。

信頼値
上述のように、本発明の背景モデルは、ガウス分布の混合を用いる。モデルには統計的信頼値が関連付けられる。比較的短時間のみにわたって強度変化がある画素の場合、Ｂ_Ｌモデルの信頼度もＢ_Ｓモデルの信頼度も、それらの画素を有効な背景画素とするのに十分に上がらない。したがって、それらの画素は前景と判定される（１３０）。Ｂ_Ｓモデルが画素を背景に「ブレンドする」にもかかわらず、Ｂ_Ｌモデルがなおそれらの画素を前景としてマーキングする場合、その画素は置き去り物体の画素と見なされる。画素強度の変化により時間がかかる場合、両モデルはそれらの画素を背景と見なす。

動き画像
検出感度に時間的制約を課すと共に、ノイズによるアーティファクトを除去するために、証拠規則１５１を用いて画素毎の証拠値を動き画像Ｍ（ｘ，ｙ）１０３中で以下のように増減すること（２００）によって、画像毎の検出結果を動き画像１０３中に保持する（２００）。

ここで、証拠閾値ｍａｘ_ｅ２０３及び減衰定数ｋ２２２は正の数である。

証拠規則１５１は、長期マスク及び短期マスクの対応する画素が置き去り物体に関連する可能性がある場合、動き画像の画素の証拠値を増分する（２２０）。可能性がない場合、動き画像の画素の証拠値を定数ｋだけ減分する（２２１）。動き画像の証拠値が０よりも小さくなった場合（２３１）、証拠値を再び０に設定する（２４１）。

証拠閾値
画素毎に、動き画像Ｍ１０３は、置き去り物体の証拠値を保持する。この証拠値が閾値ｍａｘ_ｅ２０３よりも大きい場合（すなわちＭ（ｘ，ｙ）＞ｍａｘ_ｅ２３０）、その画素を置き去り物体の画素としてマーキングし、オプションの警報信号を生成する（２４０）。証拠閾値ｍａｘ_ｅ２０３は、連続する画像数、すなわち時間に関して定められる。この閾値は、本発明の方法の所望の応答性及びノイズ特性に依存し得る。画像がノイズで汚染されている場合、高い値のｍａｘ_ｅが好ましい。このような高い値はまた、誤警報率を下げる。

証拠閾値ｍａｘ_ｅの典型的な範囲は、［１０，３００］の連続画像である。減衰定数ｋ２２２は、置き去り物体がシーンから持ち去られた場合に起こるべきことを調整する。物体が持ち去られた直後に警報を発する必要がある場合、減衰定数ｋの値は大きくすべきである（例えば、ｋ＝ｍａｘ_ｅ）、すなわち、警報及び減衰に同一のパラメータを用いることができる。

比較的大きな値の減衰定数は、満足な結果を生じる。なお、背景モデルもそれらの混合モデルも上記閾値には依存しない。これは、検出がこの用途に特有の証拠及び減衰定数の変化に対して頑健であることを意味する。したがって、これらのパラメータ値は任意の好適な値に無理なく設定することができる。

逐次ベイズ更新
背景モデルの長期部分及び短期部分はベイズ更新手順により適応させられる（図３を参照）。ベイズ更新は、Tuzel他による２００６年１１月２３日付で公開された米国特許出願第２００６０２６２９５９号「ベイズ推定による低フレームレートビデオのモデル化（Modeling low frame rate videos with Bayesian estimation）」（参照により本明細書中に援用される）により詳細に記載されている。

本発明の更新手順は、背景モデルのマルチモダリティを保つ。更新の度に、現観測値（画像Ｉ）から最大で１つの層を更新する。これにより、層への重なりを確実に最小化する。本発明ではまた、各画素にいくつの層が必要かを求め、前景分割段階の間はそれらの層のみを用いる。これは、埋め込まれた信頼度を用いて行う。

各画素は、３Ｄ多変量ガウス分布の複数の層として定義される。各層は、画素の異なる外観に対応する。本発明の演算はＲＧＢ色空間で行う。本発明では、ベイズ手法を用いて各層の平均及び分散を推定しない。その代わり、本発明では、平均及び分散の確率分布を推定する。

本発明では、確率分布から平均及び分散に関する統計情報を抽出することができる。次に、平均及び分散の期待値を変化の検出に用い、平均の分散を本発明の信頼測度として用いる。

層モデル
画像データ、すなわち画素強度は、平均μ及び共分散Σを有する正規分布であると仮定する。平均及び分散は未知であり、ランダム変数としてモデル化される。ベイズ理論を用いて、同時事後密度を次のように書くことができる。

新たな観測値を用いて再帰的ベイズ推定を行うために、同時事前確率ｐ（μ，Σ）は同時事後密度ｐ（μ，Σ｜Ｘ）と同じ形を有する。分散を条件として、同時事前密度は次のようになる。

上記条件は、逆ウィシャート分布を共分散に仮定すると共に、この共分散を条件として多変量正規分布を平均に仮定する場合に実現される。逆ウィシャート分布は、スケーリングした逆χ^２分布の多変量一般化である。共分散及び平均をパラメータ化すると、それぞれ次のようになる。

ここで、ν_ｔ−１は自由度であり、Λ_ｔ−１は逆ウィシャート分布のスケール行列であり、θ_ｔ−１は事前平均であり、κ_ｔ−１は事前測定値の数である。これらの仮定により、３次元特徴空間の同時事前密度は次のようになる。

本発明では、この密度を次のようにラベル付けする。

事前密度に通常の尤度を掛け、項を整えると、同時事後密度は
ｎｏｒｍａｌ−ｉｎｖｅｒｓｅ−Ｗｉｓｈａｒｔ（θ_ｔ，Λ_ｔ／κ_ｔ；ν_ｔ，Λ_ｔ）
となり、パラメータは次のように更新される。

新たなパラメータは、事前情報を観測サンプルと結合する。事後平均θ_ｔは、事前平均及びサンプル平均の加重平均である。なお、サンプル値は、画素強度、画素色、又は強度勾配の大きさのいずれかとすることができる。事後自由度は、事前自由度にサンプルサイズを加えた値に等しい。

式（８）において、第１項は現在の背景に対応し、第２の加算項は、現画像により背景がどれだけ変化するかに影響する。両項の分母は同じであることに留意されたい。κ_ｔ−１である場合、ｎが制御パラメータとなる。

上式において、重みｎは、分布のパラメータを「学習する」時間スケールに関係する。この学習パラメータすなわち重みｎが低い場合、現画像が背景画像に加える衝撃は比較的小さく、背景はシーンの短期的な進展を反映し、重みｎが大きい場合、現画像は背景をより劇的に変化させ、シーンの長期的な進展を反映する。

本方法は以下の初期パラメータで開始する。

ここで、Ｉは３次元単位行列である。

同時事後密度を共分散Σに関して積分すると、平均の周辺事後密度が得られる。

ここで、ｔ_νｔ−２は、ν_ｔ−２自由度の多変量ｔ分布である。

平均及び共分散の周辺事後分布の期待値を、時刻（画像）ｔにおける本発明のモデルパラメータとして用いる。周辺事後平均の期待値、すなわち多変量ｔ分布の期待値は

となり、周辺事後共分散の期待値、すなわち逆ウィシャート分布の期待値は次のようになる。

層の本発明の信頼測度は、μ｜Ｘの共分散の行列式分の１に等しい。

本発明では、カラーチャネルの独立性を仮定することにより処理時間を短縮することができる。したがって、本発明では、ＲＧＢカラーチャネルを分離し、各チャネルを個別に処理する。単一層の多変量ガウスを有する代わりに、本発明では、各カラーチャネルに対応する３つの一変量ガウス分布を用いる。各カラーチャネルを個別に更新した後、分散を結合して、以下の対角共分散行列を生成する。

一変量ガウス分布毎に、スケーリングされた逆χ^２分布を分散に仮定すると共に、この分散を条件として一変量正規分布を平均に仮定する。

背景の更新
本発明の方法を、画素毎にｋ個の層で初期化する。例えば、シーンの動態及び複雑性に応じて、ｋは３〜５である。より多くの層を用いることもできる。本発明では、新たなサンプルを画素毎に処理する際に、本発明の背景モデルのパラメータを更新する。本発明のモデルの最も信頼度の高い層から更新を始める。観測サンプルが現モデルの９９％信頼区間内にある場合、式（７）、（８）及び（９）に表されるようにモデルのパラメータを更新する。信頼度の低いモデルは更新しない。背景のモデル化には、以前の観測値ほどモデルに及ぼす影響が小さくなるような「忘却」メカニズムを設けることが有用である。忘却は、不一致モデルの以前の観測値数のパラメータを減らすことによって行われる。現サンプルが信頼区間内にない場合、以前の測定値数のパラメータを次のように更新し、
κ_ｔ＝κ_ｔ−１−ｎ （１６）
次に信頼度の高い層の更新に進む。本発明では、κ_ｔを初期値である１０未満にはしない。どのモデルも更新されない場合、最も信頼度の低い層を削除し、現サンプルを有する新たなモデルを平均及び初期分散として初期化する。

単一画素の更新手順の疑似コードを図３に示す。新たなサンプルｘに関して、背景層は以下のように表される。

これらの層は、式（１４）で定義される信頼測度に従ってソートされ、Ｉは１に初期化され、ｉ＜ｋである間、以下のマハラノビス距離を測定する。

サンプルｘが９９％信頼区間内にある場合、モデルパラメータを式（７）、（８）、（９）に従って更新し、停止する。そうでない場合、モデルパラメータを式（１６）に従って更新し、ｉを増分する。層ｋを削除し、式（１０）に定義されるパラメータを有する新たな層を初期化する。

したがって、本発明は、本発明のモデルをノイズ又は前景画素で変形させず、照明効果のような滑らかな強度変化に容易に適応する。埋め込まれた信頼度は、使用する層数を決め、不要な層を避ける。通常、二次層は、背景画素の影が差した形態、又はシーンの移動領域の様々な色に対応する。シーンがユニモーダルである場合、最初の層以外の層の信頼度は非常に低くなる。

前景の分割
背景統計値を用いて、シーンの変化した領域、例えば前景物体を検出する。画素を表すために必要な層数は事前には分からない。したがって、背景は、必要であるよりも多い数の層で初期化される。本発明では、信頼度を用いて、いくつの層が各画素に対して重要であるかを判定する。式（１４）の信頼度に従って層を順序付け、所定の層閾値Ｔ_ｃを超える信頼値を有する層を選択する。本明細書中では、これらの層を信頼層と呼ぶ。

閾値Ｔ_ｃは、画素の平均の共分散に依存するため、画素の色域に依存する。本発明では、本発明の演算を［０−２５５］の範囲の画素強度値に対して行い、Ｔ_ｃ＝１．０を選択する。他の範囲に関しては、閾値Ｔ_ｃを変更することができる。本発明では、信頼層から観測色（ＲＧＢ強度）のマハラノビス距離を測定する。背景の全信頼層の９９％信頼区間外の画素は前景画素と見なされる。

連結成分解析
本発明では、連結成分解析を動き画像に適用して、物体のサイズ又はパターン（形状）を求めることもできる。例えば本方法を、小さな物体（例えば鞄若しくは人物）又は大きな物体（置き去り車両等）のみを検出するように調整することができる。置き去り物体が検出されたら、物体認識を画像シーケンスに適用することもできる。

方法の検証
この二重前景方法を試験するために、いくつかの公的に利用可能なデータセット、例えば、ＰＥＴＳ２００６及びＡＶＳＳ２００７から入手可能なよく知られた監視ビデオを用いた。試験したシーケンスの総数は３２であった。テストデータは様々な画素解像度、例えば、１８０×１４４、３２０×２４０、６４０×４８０、及び７２０×５７６を含む。シナリオは、昼食室から地下鉄の駅まで様々であった。ほとんどのシーケンスは小さな（１０×１０画素の）置き去り物体を含む。いくつかのシーケンスは複数の置き去り物体を有する。シーケンスの半分は、比較的少数（例えば３人まで）の人物がいるシーンに対応する。シーケンスの残り半分は、複数の座っている人、立っている人、歩いている人がいるより複雑なシナリオを有する。いずれの場合にも、人物は可変速度を示す。物体は、様々な時間、例えば１０秒間〜２分間にわたって置き去りにされる。

性能を定量化するために、各シーケンスについて擬陽性の数及び誤警報数をカウントした。結果を次の表Ａに示す。

セット１は地下鉄の駅のものである。セット２及び３は食堂の広角カメラから録画されている。セット４、５、６は昼食室の異なるカメラのものである。セット７は待合室のものである。セット８はレストランの並ぶ大きな閉鎖空間のプラットフォームのものである。

誤警報率及び検出率を次の表Ｂに示すように求める。

本発明の結果は、本発明の方法が、非常に低い誤警報率を達成する一方で、ほとんど全ての置き去り物体を無事に検出することを示す。本方法は、９７．９２の検知率で毎秒０．２７％の誤警報率を有する。本発明では、物体分類器を用いることにより置き去りにされた物体を識別することができる。

本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び修正を全て網羅することである。

本発明の一実施の形態による、シーン中に置き去りにされた物体を検出する方法のフロー図である。 本発明の一実施の形態による、動き画像を保持する手順のフロー図である。 本発明の一実施の形態による、背景モデルパラメータを更新する手順の擬似コードのブロック図である。

Claims (21)

1. 各背景モデルは、長期背景モデルＢ _Ｌ 及び短期背景モデルＢ _Ｓ を含み、ベイズ推定を用いて短期から長期にわたる異なる時間スケールで更新され、カメラによりシーンに関して取得された画像シーケンスを用いて各前記背景モデルを更新するステップであって、前記ベイズ推定を用いて前記背景モデルを更新するときに、動き画像の各画素を複数の層として定義し、各層の平均及び分散の確率分布を推定する、ステップと、
   前記背景モデルの更新後に、シーンの変化した領域を前景物体として検出することにより、前記シーケンスの特定の画像に関して各背景モデルから前景マスクを判定するステップと、
   動き画像の各画素は、当該画素の値である証拠値Ｍを有し、
   各前景マスクは、長期前景マスクＦ _Ｌ 及び短期前景マスクＦ _Ｓ を含み、
   各前景マスクは、０及び１の画素値を有する２値画像であり、前記１の画素値は、前記画像シーケンス中のあり得る前景物体を表し、
   Ｆ _Ｌ （ｘ，ｙ）＝０且つＦ _Ｓ （ｘ，ｙ）＝０である場合には、前記画素（ｘ，ｙ）は前記シーン中の背景に対応し、現画像中の対応する画素Ｉ（ｘ，ｙ）は対応する前記背景モデルＢ _Ｌ 及びＢ _Ｓ の両方で表され、
   Ｆ _Ｌ （ｘ，ｙ）＝１且つＦ _Ｓ （ｘ，ｙ）＝１である場合には、前記画素（ｘ，ｙ）は前記シーン中の移動物体に対応し、前記背景モデルＢ _Ｌ 又はＢ _Ｓ のいずれでも表されず、
   Ｆ _Ｌ （ｘ，ｙ）＝０且つＦ _Ｓ （ｘ，ｙ）＝１である場合には、前記画素（ｘ，ｙ）はシーン背景に対応し、前記現画像の前記画素Ｉ（ｘ，ｙ）は前記Ｂ _Ｌ モデルでのみ表され、かつ
   Ｆ _Ｌ （ｘ，ｙ）＝１且つＦ _Ｓ （ｘ，ｙ）＝０である場合には、前記画素（ｘ，ｙ）は前記置き去り物体に対応し得る、
   という証拠規則に従った、長期前景マスクＦ _Ｌ 及び短期前景マスクＦ _Ｓ を用いた仮説を用いて、次式に従って、前記証拠値Ｍ（ｘ，ｙ）を求めることにより、前記動き画像を更新するステップと、
   

   

   ここで、証拠閾値ｍａｘ _ｅ 及び減衰定数ｋは正の数である、
   前記証拠値Ｍを証拠閾値ｍａｘ _ｅ と比較して、前記証拠値Ｍが証拠閾値ｍａｘ _ｅ よりも大きい場合に、前記シーン中に置き去りにされた物体を検出して知らせるステップと
   を含む、シーン中に置き去りにされた物体を検出する方法。
2. 前記検出は、経時的に進展する前記画像シーケンスの画素の強度の推測に基づく
   請求項１記載の方法。
3. 前記時間スケールは、前記画像シーケンスが処理されるフレームレートに基づく
   請求項１記載の方法。
4. 前記時間スケールは、前記シーケンス中の全画像が前記更新中に使用される場合には短期であり、前記時間スケールは、処理すべき前記画像が前記シーケンスからサブサンプリングされる場合には長期である
   請求項３記載の方法。
5. 前記時間スケールは、前記一組の背景モデルのパラメータが更新される学習速度である
   請求項１記載の方法。
6. 前記時間スケールは、前記画像シーケンスが処理されるフレームレートと、前記一組の背景モデルのパラメータが更新される学習速度とに基づく
   請求項１記載の方法。
7. 前記時間スケールは、対応する前記背景モデルが同一学習速度において前記長期の前記背景モデルよりも頻繁に更新される場合に短期である
   請求項６記載の方法。
8. 各背景モデルは一組の層として保持され、各層は多変量ガウス分布であり、パラメータが前記更新中の任意の時点の各ガウス分布を定義する
   請求項１記載の方法。
9. 前記ガウス分布は、多次元である
   請求項８記載の方法。
10. 前記時間スケールは、前記パラメータが更新されるレートである
    請求項５記載の方法。
11. 前記動き画像の前記更新は、適応の遅い背景画素及び適応の速い前景画素に対応する前記動き画像の画素を除去し、前記動き画像の残りの画素が前記置き去り物体に対応するようにする
    請求項１記載の方法。
12. 前記時間スケールは、用途に依存する
    請求項１記載の方法。
13. 前記一組の背景モデルの前記更新は、
    各層の前記パラメータの平均及び分散の確率分布を推定することを含む、ベイズメカニズムを用いる
    請求項８記載の方法。
14. 前記平均及び分散の期待値を前記置き去り物体の検出に用い、前記平均の分散を前記証拠値の信頼度として用いる
    請求項１３記載の方法。
15. 前記証拠閾値ｍａｘ_ｅは、前記シーケンスの［１０，３００］の連続画像の範囲内にある
    請求項１記載の方法。
16. ｋ＝ｍａｘ_ｅである
    請求項１記載の方法。
17. 前記背景モデルの一部は、前記シーケンス中のあらゆる画像に関して更新される
    請求項１０記載の方法。
18. 各組の層数は、前記信頼度に従って適応される
    請求項１４記載の方法。
19. 前記一組の背景モデルは、前記背景モデルが更新される前記時間スケールを除いて同一である
    請求項１記載の方法。
20. 前記動き画像の前記画素に連結成分解析を適用すると共に、サイズ制約に従って前記置き去り物体を検出して知らせるステップをさらに含む
    請求項１記載の方法。
21. 前記動き画像の前記画素に連結成分解析を適用すると共に、パターン制約に従って前記置き去り物体を検出して知らせるステップをさらに含む
    請求項１記載の方法。

Images