JP6474854B2 - 背景モデルを更新するための方法及び装置 - Google Patents

Description

本発明は画像の背景差分の分野に関する。具体的には、画像の背景差分に使用される背景モデルの更新に関する。

ビデオ監視では、ビデオシーケンスに取り込まれたシーンの中で移動物体を検出できることが重要である。ビデオ内の運動を検出するためのツールは多数ある。これらのツールの中には、ビデオストリーム中の特徴を追うことによって、物体をフレームごとに追跡するものがある。他のツールは、ピクセルごとに現在のフレームと静止した背景フレームとの比較を行う。後者は背景差分の原理で、大きな変化が起こっているゾーンを検出することで移動物体を抽出すること目指している。静止物体が背景の一部であるのに対して、移動物体は前景とみなされる。

移動物体の背景からの分離は複雑な問題で、背景が動いている場合、例えば、風にそよぐ木々や水の波紋がある場合や、照明が変化している場合には、更に困難になる。特に、動的な背景は、移動物体の誤検出数を増大させる結果になることがある。

背景差分の方法の概要については、Ｔｈｉｅｒｒｙ Ｂｏｕｗｍａｎｓ、Ｆａｔｉｈ Ｐｏｒｉｋｌｉ、Ｂｅｎｊａｍｉｎ Ｈoｆｅｒｌｉｎ、Ａｎｔｏｉｎｅ Ｖａｃａｖａｎｔの編集による教科書『Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｆｏｒｅｇｒｏｕｎｄ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ』（ＣＲＣ Ｐｒｅｓｓ， Ｔａｙｌｏｒ ＆ Ｆｒａｎｃｉｓ Ｇｒｏｕｐ， Ｂｏｃａ Ｒａｔｏｎ， ２０１５年刊）に記載されている。例えば、第１章及び第７章を参照のこと。

背景差分の方法は一般的に、ビデオストリームの現在のフレームと、移動物体のない参照背景フレーム又はモデルとの比較を含む。画像を背景フレーム又はモデルと比較することによって、画像中の各ピクセルが前景又は背景に属するか否かの判定が行われうる。このように、画像は２つの相補的なピクセルの組、すなわち、前景と背景に分割されうる。

背景差分には、基本的な背景モデルの定義、並びに背景の経時的な変化に対応するための更新戦略が必要となる。文献には多数の背景モデルが提唱されている。パラメトリックモデルとノンパラメトリックモデルもこれに含まれる。

パラメトリックモデルの例は、画像のピクセル位置で背景をガウス分布によってモデル化することである。これは静的なシーンでは十分に機能しうるが、背景ピクセルがマルチモーダル分布している場合、例えば、風にそよぐ木々が背景にある場合には、機能しない。

マルチモーダル分布している背景に対処するため、画像のピクセル位置で背景を混合ガウス分布によってモデル化することが提唱されてきた。このようなモデルは、マルチモーダル分布している背景のモデル化には有効であるが、欠点もある。例えば、ノイズの多い実際の環境ではパラメータの推定は困難で、自然の画像がガウス分布的な振る舞いを示すかどうかは疑問視されてきた。

このような欠点があるため、文献ではノンパラメトリックモデルが検討されている。例えば、過去のピクセル値の確率密度関数のノンパラメトリックカーネル密度推定が提唱されている。このようなモデルの強みは、背景の高頻度な事象に迅速に適応しうる点にある。欠点は、背景の中で異なる速度で展開する事象の処理が困難なことである。

別のタイプのノンパラメトリックモデルは、サンプルベースモデルと称されている。このようなモデルでは、各ピクセルの背景は、過去の背景サンプルの集合体（ｃｏｌｌｅｃｔｉｏｎ）によってモデル化されている。背景の経時的な変化に対応するため、現在のフレームのピクセルが背景に属すると分類されたときに、過去の背景サンプルの集合体は更新される。ＷａｎｇとＳｕｔｅｒ（“Ａ ｃｏｎｓｅｎｓｕｓ−ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｔｒａｃｋｉｎｇ： Ｍｏｄｅｌｌｉｎｇ ｂａｃｋｇｒｏｕｎｄ ｓｃｅｎａｒｉｏ ａｎｄ ｆｏｒｅｇｒｏｕｎｄ ａｐｐｅａｒａｎｃｅ”． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ４０（３）， ２００７）は、ファーストインストアウトの原理に従って過去の背景サンプルの集合体を更新するように提唱している。これは、最も古い背景サンプルを集合体から取り除き、最新のフレームのピクセル値をこの集合体に追加するようにして、過去の背景サンプルの集合体が更新されることを意味している。ＵＳ８００９９１８Ｂ２には、背景サンプルの集合体の中からランダムに選択された背景サンプルを最新フレームのピクセル値で置き換える、代替的な更新アプローチが記載されている。

このような背景更新方法の欠点は、動きのあるマルチモーダル背景に対してロバストであるためには、ピクセルごとに多数の背景サンプルを保存することが必要であること、すなわち、モダリティ（ｍｏｄａｌｉｔｉｅｓ）の長期記憶を有するには多数の背景サンプルが必要になることである。これは、高度な処理とメモリを要求することになるため望ましくない。突風などの突発的な背景の動きに対処するためには、手に負えないほどの量の背景サンプルが必要になりうる。したがって、改良の余地がある。

上記に鑑みるならば、本発明の目的は、背景サンプルの数を低いレベルに抑えることができ、それによって、処理とメモリの要件を軽減し、同時にモデルとしてモダリティの長期記憶を有することを可能にするサンプルベース背景モデルのための更新機構を提供することになる。

本発明の第１の態様により、上記の目的は、
画像を受信すること、
画像の各ピクセルに対して背景サンプルの集合体を含む背景モデルを使用し、背景差分を実行することによって画像の各ピクセルを前景又は背景として分類すること、
画像の各ピクセルが背景として分類されることによって背景モデルを更新すること、
類似性条件を満たすピクセルに関連する背景サンプルの集合体の中から背景サンプルを選択すること、
類似性条件を満たす背景サンプルをピクセルの画像データで置き換えること
を含む、画像の背景差分で使用される背景モデルの更新のための装置で実行される方法によって実現される。

したがって、提唱した方法は、サンプルベース背景モデルを更新する方法である。新しい画像は時刻ｔに受信されるため、時刻ｔ−１に構築された背景モデルを使用して、新しい画像のピクセルを背景又は前景として分類する。その後、背景モデルは新しい画像の背景サンプルによって更新される。

本方法は、背景として分類されたピクセルの画像データに類似した背景サンプルで置き換えることによって、背景モデルを更新することを提唱している。一般的には、これは、関連するピクセルと同じモダリティに属する背景サンプルとなる。このように、背景モデルの冗長な背景サンプルの数は最小限に抑えられうる。例えば、画像シーケンス中のあるピクセル位置で非常に一般的なモダリティであっても、背景モデルの単一の背景サンプルによって表わされることがありうる。その結果、背景モデルを使用して背景差分を実行するとき、保存及び処理しなければならない背景サンプルは少なくなるため、処理及びメモリの要件は低減される。その一方で、モダリティのメモリ、すなわち、背景モデルの一時メモリは低減されない。結論として、背景サンプル数の減少分は、これまでのソリューションとの対比では、モダリティの同一メモリを表わすのに使用されうる。

一般的に背景モデルが意味するのは、ピクセルレベルで画像の背景が表わすモデルのことである。

一般的に背景差分が意味するのは、背景モデルと画像の比較である。画像と背景モデルを比較することにより、画像の各ピクセルが前景又は背景に属するか否かの判定が行われうる。

一般的に背景サンプルが意味するのは、画像のサンプル、すなわち、背景に属すると分類されたピクセルにおける（場合により、幾つかのカラーチャネルでの）観測結果又は強度値である。

一般的に類似性条件が意味するのは、背景サンプル及び画像データに基づく任意の条件又は関数が、背景サンプルとピクセルの画像データとの類似性の基準をもたらすということである。例えば、類似性条件は、Ｌ１ノルム又はＬ２ノルムなどのノルムによって測定した、背景サンプルとピクセルの画像データとの間の数学的距離に基づきうる。類似性条件は、例えば、この距離が閾値（本書では類似性閾値と呼ぶ）よりも小さい場合に満たされうる。

特に、背景サンプルが、類似性閾値未満の値だけ、ピクセルの画像データと異なる場合には、類似性条件は背景サンプルに対して満たされうる。

類似性条件を満たす特定のピクセルに関連する背景サンプルの集合体の中から背景サンプルを見つけ出すため、異なるアプローチが用いられることもある。例えば、選択するステップは、類似性条件を満たす背景サンプルが見つかるまで、ピクセルに関連する背景サンプルの集合体を繰り返し検索することを含みうる。すなわち、類似性条件を満たす背景サンプルの集合体の繰り返し検索時に見つかった最初の背景サンプルが選択されうる。これは、類似性条件を満たす背景サンプルが見つかった時点で直ちに検索が終了されうるので、処理能力が温存される点で有利である。

類似性条件を満たす背景サンプルが見つかるまで、ピクセルの画像データを背景サンプルの集合体の中の背景サンプルと比較することによって、ピクセルに関連する背景サンプルの集合体は繰り返し検索されうる。したがって、繰り返し検索は、背景サンプルの集合体の中のある位置で開始され、類似性条件を満たす最初の背景サンプルが見つかるまで、背景サンプルの集合体を１つずつ、言い換えるならば、順次くまなく調べる。

背景が徐々に変化する（すなわち、画像シーケンス中の連続する画像間の段階的変化の）間に、背景サンプルの集合体の中の同じ位置が更新されるのを回避するため、背景モデルが更新されるたびに、繰り返し検索は、背景サンプルの集合体の中の異なる位置又はインデックスで開始されうる。

幾つかの実施形態では、集合体の中の開始位置はランダムに選択される。より詳細には、ピクセルに関連する背景サンプルの集合体はインデックス付けされてもよく、繰り返し検索は、背景サンプルの集合体の中のランダムに選択されたインデックスで開始される。

他の実施形態によれば、集合体の中の開始位置は、ピクセルの背景モデルの最後の更新に対して使用された開始位置とは異なるように設定される。より具体的には、画像は画像シーケンスの一部であってもよく、ピクセルに関連する背景サンプルの集合体はインデックス付けされてもよく、繰り返し検索は、画像シーケンス中の先行画像の対応するピクセルに対して繰り返し検索を開始するために使用されるインデックスとは異なる、背景サンプルの集合体の中のインデックスで開始される。

特に、繰り返し検索は、画像シーケンス中の先行画像のピクセルに対する繰り返し検索を開始するために使用されるインデックスに続く、背景サンプルの集合体の中のインデックスで開始されうる。このように、集合体の中のどの位置で検索を開始するかを記録することは容易になる。

先行する検索で使用された開始インデックスを優先する、現在の検索のための開始インデックスの選択など、検索の開始位置の選択には代替的な方法がありうることに留意されたい。更に、画像中の異なるピクセルに対して、異なる開始位置が使用されうることにも留意されたい。単純化と効率化のため、画像中のすべてのピクセルに対して、集合体の中の同一の開始位置が選択されることが望ましい。このように、開始位置の記録には、処理及びメモリの最小限の要件が使用される。

別のアプローチは、集合体の中で、ピクセルの画像データに最も類似した背景サンプルを置き換えるものである。より詳細には、選択するステップは、類似性条件を満たす背景サンプルの中から、ピクセルの画像データに最も類似した背景サンプルを選択することを含む。最も類似した背景サンプルを置き換えることによって、集合体の中の冗長な情報は最小限に抑えられる。しかしながら、これは、背景が徐々に変化する間に、集合体の中の同一背景サンプル位置を置き換えることを犠牲にすることによって、成り立ちうるものである。

集合体の中の最も類似した背景サンプルを選択するため、選択するステップは、ピクセルの画像データとの違いが最小になる背景サンプルを特定するように、ピクセルの画像データを背景サンプルの集合体の中のすべての背景サンプルと比較することを含む。

背景サンプルの集合体の中の背景サンプルが類似性条件を満たさない場合もありうる。このような状況では、類似性条件を満たさない背景サンプルが置き換えられることもありうる。例えば、背景サンプルをランダムに置き換えること、又は（背景サンプルが最後に更新されたのはいつかを記録することによって）集合体の中の最も古い背景サンプルを置き換えることを含む、従来技術のアプローチの１つに戻ることもありうる。別の可能性としては、背景サンプルの集合体の繰り返し検索中に遭遇した最後の背景サンプルを選択することもある。

本方法は更に、集合体の中に関係のなくなった背景サンプルを有することを避けるため、古くなったサンプルを置き換えるための機構を含みうる。

これは、所定の制限時間よりも古いサンプルを置き換えることによって、実現されうる。より具体的には、本方法は更に、画像の各ピクセルに対して、ピクセルに関連する背景サンプルの集合体の中に、各背景サンプルがどれだけの期間にわたって含まれていたかを記録することを含み、選択及び置き換えのステップは、所定の制限時間よりも長い期間にわたって背景サンプルの集合体の中に含まれていた背景サンプルはなかったという条件のもとで行われ、背景サンプルが所定の制限時間よりも長い期間にわたって集合体の中にあった場合には、所定の制限時間よりも長い期間にわたって背景サンプルの集合体の中にあった背景サンプルは、ピクセルの画像データによって置き換えられる。

別の方法として、背景サンプルは長時間経過したときに置き換えられてもよい。より詳細には、画像シーケンスの中で、更新機構は、大部分の画像に対して上述の類似性アプローチに基づくことができる。しかしながら、規則的な時間間隔で選択された一部の画像に関しては、背景サンプルの集合体の中のある位置（すべての集合体に対して同一の位置）は、画像の背景サンプルによって置き換えられうる。ある位置は、ランダムに又は確定的に選択されうる。例えば、（集合体の中のインデックスによって与えられる）ある位置は、規則的な時間間隔で更新が実行されるたびに、１ずつ増大しうる。より詳細には、本方法は更に、
画像シーケンスを受信して、画像シーケンス中の毎Ｎ番目の画像を除き、画像シーケンス中の各画像に対して分類するステップと更新するステップを繰り返すことであって、Ｎ＞２では、背景モデルの更新は代わりに、背景として分類されたＮ番目の画像の各ピクセルによって行われる、繰り返すことと、
ピクセルに関連する背景サンプルの集合体の中の背景サンプルをピクセルの画像データによって置き換えることであって、置き換えられた背景サンプルは、Ｎ番目の画像の全ピクセルと同一の背景サンプルの集合体のインデックスを有する、置き換えること
を含む。

Ｎの値は一定である必要はなく、変動するように設定することもできる。例えば、画像シーケンスの開始時には、画像シーケンスのその後と比較して小さな値を有することができる。

画像のピクセルを前景又は背景のどちらかに属するように分類するため、ピクセルの画像データ（典型的には強度値）は一般的に、ピクセルに関連する背景サンプルの集合体と比較されうる。ピクセルの画像データが所定の数の背景サンプルと類似した場合には、ピクセルは背景に属する可能性が高い。そうでない場合には、ピクセルは前景に属する可能性が高い。

より具体的には、画像の各ピクセルを前景又は背景として分類するステップは、画像の各ピクセルに対して、
ピクセルの画像データを、ピクセルに関連する背景サンプルの集合体の中の各背景サンプルと比較することと、
分類閾値未満の値だけピクセルの画像データと異なる背景サンプルの数が所定の数を下回る場合には、ピクセルが前景であると判定することと
を含みうる。

先行技術の方法では、所定の数は典型的に２以上である。しかしながら、現在の方法では、所定の数は典型的に１に設定しうる。背景サンプルの集合体の冗長度が低減されるため、各モダリティを１つの背景サンプルだけで表わすことが可能である。したがって、所定の数を１に設定することは適切でありうる。

所定の数が１に等しいときには、特に、計算効率のよい分類ステップが実装されている。このようなケースで、ピクセルの画像データに類似した（閾値未満の差分によって画定される）背景サンプルの集合体の中に背景サンプルがない場合には、ピクセルは前景に属する。「類似した背景サンプルはない」という事象は、「少なくとも１つの背景サンプルも類似していない」という事象と同等である。集合体の中にＮ個の背景サンプルがあると仮定してみる。こうすると、「少なくとも１つの背景サンプルは類似している」という事象は、「『背景サンプル１は類似している』、又は『背景サンプル２は類似している』、又は・・・『背景サンプルＮは類似している』」という事象として表現されうる。これは、和集合（ｕｎｉｏｎ）

として表現されうる。結論として、「類似した背景サンプルはない」という事象は、

を否定する事象と同等となる。

このため、ピクセルが前景であると判定するステップは、ピクセルに関連する背景サンプルの少なくとも１つが、論理ＯＲ演算の実行による分類の閾値未満の値だけピクセルの画像データと異なるかどうかをチェックすること、そして、そうでない場合には、閾値未満の値だけピクセルの画像データと異なる背景サンプルの数が所定の数を下回ると判定し、これによってピクセルは前景であると判定すること、を含みうる。

論理演算は一般的に、加算とその後の閾値数との比較よりも、必要とする処理能力とメモリ使用量は少ないため、計算効率がよくなる。

本発明の第２の態様によれば、処理能力を有するデバイスによって実行されると第１態様の方法を実行するように保存されたコンピュータコード命令を有する（非一過性の）コンピュータ可読媒体を備える、コンピュータプログラム製品が提供される。

本発明の第３の態様によれば、
画像を受信するように構成された受信器と、
画像の各ピクセルに対する背景サンプルの集合体を含む背景モデルを用いて、背景差分を実行することによって、画像の各ピクセルを前景又は背景として分類するように構成された分類コンポーネントと、
背景として分類される画像の各ピクセルに対して、
類似性条件を満たすピクセルに関連する背景サンプルの集合体の中の背景サンプルを選択すること、
類似性条件を満たす背景サンプルをピクセルの画像データで置き換えること
によって、背景モデルを更新するように構成された背景更新コンポーネントと
を備える、画像の背景差分用に使用される背景モデルを更新するための装置が提供される。

第２及び第３の態様は、一般的に、第１態様と同じ特徴及び利点を有しうる。本発明は、別途明示的に記載されない限り、特徴のすべての可能な組み合わせに関することに、更に留意されたい。

上記の、並びに追加的な、本発明の目的、特徴、及び利点は、付随する図面を参照しつつ、本発明の好ましい実施形態の、以下の例示的かつ非限定的な詳細説明を通して、より明確に理解されるであろう。図面では、同じ参照番号が類似要素に対して使用される。

画像の背景差分に使用される背景モデルを更新するための装置を備えるカメラシステムを概略的に示している。 実施形態による背景モデルの背景サンプルを置き換えるための種々のアプローチを概略的に示している。 実施形態による背景モデルの背景サンプルを置き換えるための種々のアプローチを概略的に示している。 実施形態による背景モデルの背景サンプルを置き換えるための種々のアプローチを概略的に示している。 実施形態による背景モデルの背景サンプルを置き換えるための種々のアプローチを概略的に示している。 実施形態に従ってインジケータマップを更新するために使用される現在の画像と先行画像を概略的に示している。 実施形態による画像の背景差分に使用される背景モデルを更新するための方法のフロー図である。

これより、本発明の実施形態を示す添付図面を参照して、本発明をより網羅的に説明する。本書で開示されるシステム及びデバイスは、動作中のものが説明されることになる。

図１は、カメラ１０２で取り込まれた画像の背景差分に使用される背景モデルの更新のためのカメラ１０２と装置１１０を備えるカメラシステム１００を示している。カメラ１０２は、例えば、有線又は無線のネットワーク１０４を介して、装置１１０に動作可能に接続されている。

カメラ１０２は、シーン１２０の画像シーケンスを取り込み、取り込んだ画像シーケンスを装置１１０に送信するように構成されている。特に、カメラ１０２は、例えば、シーン１２０の移動物体を追うために使用されうる監視カメラであってもよい。シーン１２０は種々の物体を含みうる。例えば、ここでは走る人物として示される移動物体１２２があり、画像シーケンスの中で追跡されることになるため、前景に属する。ここには、木の枝１２４と小道１２６として示される背景物体１２４と１２６もある。背景物体は、小道１２６などのように静的なことも、風が吹くと前後に揺れる枝１２４のように動的なこともある。

装置１１０は、受信器１１２、前景分類器１１４、及び背景更新コンポーネント１１８を含む。装置１１０の内部コンポーネント１１２、１１４、及び１１８は、ハードウェア、ソフトウェア、又はこれらの組み合わせの中に実装されうる。例えば、装置１１０はプロセッサと、プロセッサによって実行されると、本書に開示の方法を実行するためのソフトウェア命令を保存しうる非一過性のコンピュータ可読媒体（すなわち、メモリ）を含みうる。

これより、図１〜図６、及び図７のフロー図を参照して説明される装置１１０の動作を解説する。

ステップＳ０２では、受信器１１２は、例えば、ネットワーク１０４を介して、カメラ１０２からシーン１２０を描写する画像２２０を受信する。画像２２０は、カメラ１０２から装置１１０へ送信された画像シーケンスの一部である。例えば、画像２２０はビデオシーケンスのフレームに対応しうる。画像２２０では、前景物体１２２と背景物体１２４、１２６が描写されている

ステップＳ０４では、前景分類器１１４は各ピクセル２２８を、背景２３４又は前景２３２に属するとして分類する。このため、前景分類器１１４は背景モデルを利用する。背景モデルは、画像２２０の各ピクセルに対して背景サンプルの集合体２４０を含む。図２に示すように、ピクセル２２８は背景サンプルの集合体２４０に関連している。背景サンプルの集合体２４０はアレイに配置されることもあり、ここではベクトルによって示されている。各ピクセルに対する背景サンプルの集合体２４０は、１０〜２０個の背景サンプルを含みうる。この例では、集合体２０４の第１の背景サンプルはエイジ（ａｇｅ）２で、第１の背景サンプルはエイジ９９となっている。この例で選択した数字は、説明のためのものにすぎない。実際には、この数字は、背景サンプルが集合体の中に含まれていたフレーム数、或いは、背景サンプルが集合体２４０の中に含まれていた（例えば、秒、分又は時間で測定した）時間単位数に対応しうる。

背景サンプルの集合体２４０はまた、幾つかの実施形態では、アレイなどのデータ構造２５０に関連することがあり、データ構造は集合体２４０の中の各背景サンプルのエイジ、すなわち、背景サンプルが集合体２４０の一部であった期間を記録する。

画像２２０の各ピクセル２２８を背景２３４又は前景２３２として分類するとき、前景分類器１１４は、例えば、ＷａｎｇとＳｕｔｅｒの論文（“Ａ ｃｏｎｓｅｎｓｕｓ−ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｔｒａｃｋｉｎｇ： Ｍｏｄｅｌｌｉｎｇ ｂａｃｋｇｒｏｕｎｄ ｓｃｅｎａｒｉｏ ａｎｄ ｆｏｒｅｇｒｏｕｎｄ ａｐｐｅａｒａｎｃｅ”． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ４０（３）， ２００７）に記載されている背景差分を適用しうる。図２の例では、前景分類器１１４は、背景差分を適用することによって、物体１２２の内側に入るピクセルを前景２３２として分類し、他のピクセルは背景２３４として分類される。この例では、ピクセル２２８は背景２３４として分類される。

より詳細には、ｘ_ｔ（ｍ）は画像シーケンスの時刻ｔにおけるピクセルｍの観測値を意味し、

はピクセルｍの背景サンプルの集合体を意味する。各観測値

はｋチャネル（例えば、ＲＧＢカラー空間内では、各観測値はＲ、Ｇ、Ｂの３つのチャネルで表現される）を有する。画像データが閾値Ｔ_ｒ未満の値だけ各背景サンプルと異なるか否かを知るため、画像２２０の各ピクセル２２８に関して、前景分類器１１４は、画像データ、すなわち（該当する場合には各チャネルに対する）強度値を、ピクセル２２８に関連する集合体２４０の中の各背景サンプルと比較する。例えば、前景分類器１１４は、

に従って、閾値Ｔ_ｒ未満の値だけピクセルの画像データとは異なる背景サンプルを“１”に結び付けてもよく、他の背景サンプルは値“０”に結び付けられる。閾値Ｔ_ｒ未満の値だけピクセルの画像データとは異なる集合体２４０の背景サンプルの数が、所定の数Ｔ_Ｎを上回るか等しい場合には、前景分類器１１４はピクセルが背景に属すると判定しうる。そうでない場合には、ピクセルは前景に属する。

これは、

に従って、時刻ｔで背景ピクセルに対して値“１”を、前景ピクセルに対して値“０”を取るバイナリマスクＢ_ｔによって実装されうる。別の言い方をするならば、前景分類器１１４はこのように、閾値Ｔ_ｒ未満の値だけピクセル２２８の画像データとは異なる集合体２４０の背景サンプルの数をカウントしてもよい。この数が所定の数Ｔ_Ｎに等しいか、これを超える場合には、前景分類器はピクセルが背景２３４に属し、それ以外のときには前景２３２に属すると判定する。したがって、前景分類器は、ピクセル２２８の画像データに（式１の意味で）類似する集合体２４０の中に少なくともＴ_Ｎ個の背景サンプルを検出する。

ピクセル２２８の画像データが１つの背景サンプルに類似する場合、すなわち、Ｔ_Ｎ＝１となる場合には、充分であることが判明している。このような場合には、式２は論理ＯＲ演算を用いて、効率的な方法で実装されうる。特に、式２は次のように書き直してもよい。

このように、前景分類器１１４は、論理ＯＲ演算（すなわち、第１の背景サンプル、又は第２の背景サンプル、又は第３の背景サンプルなど）の実行により、閾値未満の値だけピクセルの画像データとは異なるピクセルに関連する背景サンプルの少なくとも１つが、閾値Ｔ_ｒ未満の値だけピクセル２２８の画像データと異なるかどうかをチェックしうる。上記が当てはまらない場合には、前景分類器１１４はピクセルを前景に属するとして分類する。このように、論理演算が必要とする処理能力とメモリ使用量は少ないため、計算の複雑性は軽減されうる。

前景分類器１１４は、背景モデルの更新では背景ピクセルだけがあとで使用されることを確かめるため、安全マージンを適用する。より詳細には、前景分類器１１４は、前景として分類された領域（前景領域２３２など）を空間的に拡張しうる。これは、例えば、画像内容を置き換える前に、分類結果にモルフォロジー演算を適用することによって実装されうる。例えば、前景領域上でのモルフォロジカル「膨張」演算は、前景領域を空間的に増大させ、これによって、潜在的な分類エラーを補償する安全マージンを付加する。

閾値Ｔ_ｒは、画像２２０の全ピクセルに対して同一になりうる。しかしながら、幾つかの実施形態では、閾値Ｔ_ｒは画像のピクセルの位置と共に変化しうる。したがって、異なるピクセルは異なる値の閾値Ｔ_ｒを有しうる。更に、閾値Ｔ_ｒは時間と共に変化しうる。一般的に、前景分類器１１４は、ピクセルの位置での背景サンプルが、画像シーケンス中の連続する画像間で値を変化させる頻度に応じて、閾値Ｔ_ｒを設定しうる。特に、閾値Ｔ_ｒは、背景が常にほとんど同じピクセルと比較した場合、背景が頻繁に値を変える傾向にあるピクセルに対して、大きくなるように設定されうる。このように、背景が頻繁に値を変える領域、すなわち、シーン内の風に揺れる枝などによって、１つのモダリティから別のモダリティへと遷移する領域では、感度が低くなるように分類を設定することができる。

これは更に図６で例示されている。閾値Ｔ_ｒを設定するため、前景分類器１１４は、ピクセルの累積されたモダリティ遷移レベルの２次元マップ６００を保持しうる。このマップはインジケータマップと称される。したがって、インジケータマップの値は、背景が画像シーケンス中のその後の画像間で強度値を変化させる傾向を示している。したがって、インジケータマップは、背景の動態の指標又は基準をもたらす。インジケータマップ中の値に応じて、前景分類器１１４は、インジケータマップの値と閾値との間の所定の関係に応じて、各ピクセルに対して閾値Ｔ_ｒを設定しうる。この関係は一般的に、インジケータマップの低い値と比較すると、インジケータマップの大きな値に対して、大きな値の閾値Ｔ_ｒを与える。例として、閾値Ｔ_ｒはＴ_ｒ＝Ｔ_ｃ＋ａν（ｍ）に従って選択されてもよい。ここで、Ｔ_ｃは定数で、ａは、インジケータマップによって与えられた背景の動態によって、Ｔ_ｒがどの程度影響されるかを調整する係数である。

前景分類器１１４は更に、シーンの新しい条件、例えば、変化する風の条件に適応するため、インジケータマップを更新しうる。特に、前景分類器１１４は、現在の画像２２０と画像シーケンス中の先行画像６２０に基づいて、インジケータマップ６００を更新しうる。このため、前景分類器１１４は、現在の画像ｘ_ｔ（２２０）と先行画像ｘ_ｔ−１（６２０）との間の差分が所定の量Ｔ_ｍを上回るかどうかをチェックし、上回る場合には、そのようなピクセルに対してインジケータマップ６００の値を増加分だけ増やし、下回る場合には、インジケータマップ６００の値を減少分だけ減らす。ピクセルｍのインジケータマップ中での値をν（ｍ）で表わすと、前景分類器はインジケータマップ６００を

のように更新しうる。背景の運動が起こった場合には、運動はすぐに再び起こる可能性が高いため、背景の新しい動的な変化に迅速に応答し、ゆっくりと減少するため、一般的に、ν_ｉｎｃｒはν_ｄｅｃｒよりも大きい。

インジケータマップ６００は、背景ピクセルに対してのみ更新される。特に、インジケータマップは、現在の画像ｘ_ｔ（２２０）と先行画像ｘ_ｔ−１（６２０）の背景に属すると分類されるピクセル（すなわち、現在の画像２２０の前景領域２３２と先行画像６２０の前景領域６３２に入るピクセル）に対してのみ更新される。更に、前景分類器１１４は、インジケータマップの更新に背景ピクセルだけが使用されることを保証するため、安全マージンを適用しうる。より詳細には、前景分類器１１４は、前景として分類された領域２３２、６３２に空間的に近接した背景ピクセルを無視しうる。これは、例えば、分類結果にモルフォロジー演算を適用することによって実装されうる。例えば、前景領域２３２、６３２へのモルフォロジカル「膨張」演算は、これらの領域を空間的に増大させ、これによって、潜在的な分類エラーを補償する安全マージンを付加する。

ステップＳ０６では、背景更新コンポーネント１１８は背景モデルの更新に進む。背景モデルは、背景２３４として分類されたピクセルに対してのみ更新され、背景サンプルとなる。背景モデルの更新は、ピクセルごとに行われ、２つのステップを含む。最初に、当該ピクセルに関連する背景サンプルの集合体２４０から、置き換えられる背景サンプルが選択される（Ｓ０６ａ）。次に、集合体２４０の中の選択された背景サンプルを置き換えるため、ピクセル２２８の画像データが使用される（Ｓ０６ｂ）。

背景更新コンポーネント１１８は一般的に、類似性条件を満たす背景サンプルを選択する。類似性条件は、例えば、ピクセル２２８の画像データが、類似性閾値未満の値だけ背景サンプルと異なること、すなわち、

となりうる。類似性閾値は、上述の閾値Ｔ_ｒと同等の大きさになりうる。例えば、類似性閾値は、前述の式Ｔ_ｒ＝Ｔ_ｃ＋ａν（ｍ）で用いられた定数Ｔ_ｃと等しくなるように、或いはやや低くなるように設定されうる。

背景更新コンポーネント１１８は、置き換えられる背景サンプルを探し出すために、異なるアプローチを使用しうる。図２に示された一実施形態によれば、背景更新コンポーネント１１８は、類似性条件を満たす背景サンプル２４２を探し出すまで、背景サンプルの集合体２４０を検索する。より具体的には、背景更新コンポーネント１１８は、類似性条件を満たす背景サンプル２４２が見つかるまで（一致が見つからないまま集合体２４０の終端に到達した場合には、一致が見つかるまで、或いは集合体の中のすべての背景サンプルが調べられるまで）、ピクセル２２８の画像データを集合体２４０の背景サンプルと１つずつ比較する。類似性条件を満たす背景サンプル２４２が見つかると、検索は終了する。

検索は、本書では開始インデックスとも称される、集合体２４０の中の（黒で示された）開始位置２４４で開始される。開始位置２４４はランダムに選択されてもよい。代替的に、開始位置２４４は、画像シーケンス中の先行画像の対応するピクセルについて検索を開始するため、使用される開始位置に応じて選択されうる。一般的に、開始位置２４４は、先行画像の対応ピクセルに対して使用される開始位置とは異なるように選択されうる。例として、現在の画像での開始位置２４４は、先行画像で使用される開始位置２４４に対して、１だけ増やされることがある。同一の開始位置２４４が画像２２０のすべてのピクセルに対して使用されてもよい。代替的に、画像の異なるピクセルに対して、異なる開始位置２４４が選択されてもよい。

図３は異なるアプローチを示している。図３の実施形態では、背景更新コンポーネント１１８は、ピクセル２２８の画像データを集合体２４０の中のすべての背景サンプルと比較する。集合体２４０の中の複数の背景サンプルが類似性条件を満たす場合には、背景更新コンポーネント１１８は、ピクセル２２８の画像データに最も似通った背景サンプル３４２を選択する。「最も似通った」とは、一般的に、ピクセル２２８の画像データからの差異が最も小さい背景サンプル３４２が選択されることを意味する。より一般的には、「最も似通った」とは、所定のノルム（上記に例示したＬ１ノルム又はＬ２ノルム、すなわち、ユークリッドノルム）に従って、ピクセル２２８の画像データまでの最小距離を有する背景サンプルが選択されることを意味しうる。

集合体２４０の中の背景サンプルのエイジが記録される実施形態では、すなわち、背景サンプルが集合体２４０の中にある期間については、背景更新コンポーネント１１８は更にデータ構造２５０を更新しうる。所定の数の値が与えられる、新規追加された背景サンプル２４２、３４２に対応する位置での値を除き、データ構造２５０の各値には、所定の数（ここでは１）だけ加えられる。

背景更新コンポーネント１１８は、集合体２４０の中に類似性条件を満たす背景サンプルが存在しない状況に至ることがある。このような場合、背景更新コンポーネント１１８は、類似性条件を満たさない背景サンプルを置き換えてもよい。例えば、背景更新コンポーネント１１８は、ランダムに、或いは集合体２４０の中の最も古い背景サンプルを置き換えることによって、背景サンプルを置き換えてもよい。後者の場合、集合体２４０の中の最も古い背景サンプルは、背景サンプルのエイジを記録するデータ構造２５０を調べることによって、特定されうる。代替として、背景更新コンポーネント１１８は、繰り返し検索中に遭遇した最後の背景サンプルを置き換えてもよい。

集合体２４０の中に関係のなくなったサンプルを有するのを避けるため、背景更新コンポーネント１１８は更に、古くなり、期限を経過した背景サンプルを置き換える機構を実装しうる。

このような実施形態は図４に示されている。図４の例は、図２及び図３の続きである。図４は、ビデオシーケンス中の図２及び図３の画像２２０のその後の画像４２０を示している。この例では、集合体２４０の中に所定の制限時間（この例では９９に設定される）を超えて存在する背景サンプルがないという条件で、ステップＳ０６ａとＳ０６ｂが行われる。実際の例に従って、所定の制限時間は１時間の大きさの単位になりうる。すなわち、ステップＳ０６ａとＳ０６ｂを実行する前に、背景更新コンポーネント１１８は、集合体２４０の中の背景サンプルが所定の制限時間よりも古いかどうかをチェックする。そうでない場合には、背景更新コンポーネント１１８は、上述のようにステップＳ０６ａとＳ０６ｂを実行することに進む。

しかしながら、背景サンプルが集合体２４０の中に所定の制限時間よりも長い間あったことを、背景更新コンポーネント１１８が発見すると、当該背景サンプルはピクセル４２８の画像データで置き換えられる。図示した例では、背景サンプル４４２は、「エイジ」データ構造２５０に示したようにエイジ１００を有する。これは、所定の制限時間９９よりも長いため、背景サンプル４４２はピクセル４２８の画像データで置き換えられる。

古いサンプルを置き換える別のアプローチを図５に示す。背景更新コンポーネント１１８は一般的に、ステップＳ０６ａとＳ０６ｂに関連して上述した内容に従って、背景サンプルの集合体２４０を更新しうる。しかしながら、シーケンス中のＮ番目の画像５２０ごとに、例えば、１００番目の画像ごとに１回、又は１５分ごとに１回などのように、周期的に、背景更新コンポーネント１１８は、画像５２０の背景５３４として分類されたすべてのピクセル５２８ａ、５２８ｂ、５２８ｃに関連する背景サンプルの集合体５２０ａ、５４０ｂ、５４０ｃの中の特定の位置又はインデックスを有する背景の置き換えに進んでもよい。ここでは、ピクセル５２８ａ、５２８ｂ、５２８ｃにそれぞれ関連する集合体５４０ａ、５４０ｂ、５４０ｃが示されている。簡略化するため、３つのピクセルと集合体のみを描いている。しかしながら、これは、背景５３４として分類された画像５２０のすべてのピクセルに当てはまる。集合体５４０ａ、５４０ｂ、５４０ｃの同じ位置（ここでは、第２の位置）における背景サンプルは、それぞれピクセル５２８ａ、５２８ｂ、５２８ｃの画像データによって選択され、置き換えられる。集合体５４０ａ、５４０ｂ、５４０ｃの中の位置は、ランダムに選択されてもよく、確定的に選択されてもよい。例えば、第１の間隔では、集合体の中の第１の位置が選択され、第２の間隔では、集合体の中の第２の位置が選択されうる。このように、背景サンプルは遅かれ早かれ置き換えられうる。

実施形態によれば、前景分類器コンポーネント１１４は更に、種々の計画対象期間を有する幾つかの背景モデルを動作する。このように、長期変動も短期変動も改良された方法で扱われうる。例えば、（各ピクセルに対して背景サンプルの集合体を有する）上述のタイプの第１の背景モデルと、同じく上述のタイプである第２の背景モデルがありうる。第１の背景モデルの背景サンプルは、第１の間隔（例えば、最後の２秒間）に対応する画像シーケンスの画像から収集されうる。第２の背景モデルの背景サンプルは、第２の間隔（例えば、最後の３０秒間）に対応する画像シーケンスの画像から収集されうる。

前景分類器コンポーネント１１４が幾つかの背景モデルで動作するとき、このコンポーネントは、例えば、式（１）に関連する上述の方法で、ピクセルの画像データを背景モデルの各々の背景サンプルと比較する。次に、閾値未満の値だけピクセルの強度値とは異なる（全体で見たときの全背景モデルの中の）背景サンプルの数が所定の数を下回る場合には、当該ピクセルは前景であると判定する。すなわち、式（２）の和又は式（３）の和集合は、全背景モデルの背景サンプルを超えている。

すべての背景モデルは、上述の内容に従って更新されうる。特に、画像シーケンスが受信されると、装置１１０は種々の背景モデルを交換可能なように更新しうる。すなわち、装置１１０は、受信画像ごとに背景モデルの（たかだか）１つを更新しうる。背景モデルが異なる計画対象期間（ｔｉｍｅ ｈｏｒｉｚｏｎｓ）を有することが可能となるように、種々の背景モデルは種々の頻度で更新されうる。計画対象期間が長くなればなるほど、更新頻度は低下する。上記の例では、２つの背景モデルにより、第２の背景モデルの計画対象期間は、第１の背景モデルの計画対象期間の１５倍になる。したがって、第２の背景モデルの更新頻度は、第１の背景モデルの更新頻度の１５分の１の低さになる。具体例では、第１の背景モデルと第２の背景モデルはそれぞれ、１ピクセルあたり１０個の背景サンプルを有しうる。画像シーケンスの画像は、毎秒５回受信されうる。第２の背景モデルは、１５番目の画像ごとに更新されうる。第１の背景モデルは、他のすべての画像に対して更新されうる。

当業者は、上述の実施形態を多くの方法で修正し、かつ、上記の実施形態において示されている本発明の利点を依然として使用することが可能であることを、理解するであろう。従って、本発明は、図示した実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ限定されるべきである。さらに、当業者が理解しているように、示された実施形態は組み合わされてもよい。

Claims (8)

1. 画像（２２０）の背景差分に使用される背景モデルを更新するための装置（１１０）で実行される方法であって、
   画像シーケンスの一部である画像（２２０）を受信するステップ（Ｓ０２）と、
   前記画像の各ピクセルに対する背景サンプルの集合体（２４０）を含む背景モデルを使用して背景差分を実行することにより、前記画像（２２０）の各ピクセル（２２８）を前景（２３２）又は背景（２３４）として分類するステップ（Ｓ０４）であって、前記ピクセル（２２８）に関連する背景サンプルの前記集合体（２４０）はインデックス付けされる、分類するステップ（Ｓ０４）と、
   背景として分類される前記画像の各ピクセルに対して、
   背景サンプルの前記集合体（２４０）の中から、前記ピクセルに関連する、類似性条件を満たす背景サンプル（２４２、３４２）を選択するステップ（Ｓ０６ａ）であって、前記背景サンプルが類似性閾値未満の値だけ前記ピクセル（２２８）の前記画像のデータと異なる場合には、前記類似性条件は背景サンプル（２４２、３４２）に対して満たされる、選択するステップ（Ｓ０６ａ）、
   前記類似性条件を満たす前記背景サンプルを前記ピクセルの画像データで置き換えるステップ（Ｓ０６ｂ）
   によって前記背景モデルを更新するステップ（Ｓ０６）と
   を含み、
   前記選択するステップ（Ｓ０６ａ）は、前記類似性条件を満たす背景サンプル（２４２）が見つかるまで、前記ピクセルの前記画像データを背景サンプルの前記集合体の中の前記背景サンプルと１つずつ比較することによって、前記ピクセル（２２８）に関連する背景サンプルの前記集合体（２４０）を繰り返し検索することを含み、
   前記繰り返し検索は、前記画像シーケンス中の先行画像のピクセルに関する繰り返し検索を開始するために使用されるインデックスに続く背景サンプルの前記集合体のインデックス（２４４）で開始される、方法。
2. 背景サンプルの前記集合体（２４０）の中に前記類似性条件を満たす背景サンプルが１つもない場合には、前記類似性条件を満たさない背景サンプルが、前記ピクセル（２２８）の画像のデータで置き換えられる、請求項１に記載の方法。
3. 前記画像（４２０）の各ピクセル（４２８）に対して、
   前記ピクセル（４２８）に関連する背景サンプルの前記集合体（２４０）の中に、各背景サンプルがどれだけの期間にわたって含まれていたかを記録することを更に含み、
   所定の制限時間よりも長い期間にわたって背景サンプルの前記集合体（２４０）の中に含まれていた背景サンプルはなかったという条件のもとで、前記選択するステップ（Ｓ０６ａ）と置き換えるステップ（Ｓ０６ｂ）は行われ、
   背景サンプルが所定の制限時間よりも長い期間にわたって背景サンプルが前記集合体の中に含まれていた場合には、前記所定の制限時間よりも長い期間にわたって背景サンプルの前記集合体の中にあった前記背景サンプル（４４２）は前記ピクセル（４２８）の画像データによって置き換えられる、請求項１又は２に記載の方法。
4. 画像シーケンスを受信して、前記画像シーケンス中の毎Ｎ番目の画像（５２０）を除き、前記画像シーケンス中の各画像に対して分類するステップ（Ｓ０４）と更新するステップ（Ｓ０６）を繰り返すことであって、Ｎ＞２では、前記背景モデルの前記更新は代わりに、背景として分類されたＮ番目の画像（５２０）の各ピクセル（５２８ａ、５２０ｂ、５２８ｃ）によって行われる、繰り返すことと、
   前記ピクセルに関連する背景サンプルの前記集合体（５４０ａ、５４０ｂ、５４０ｃ）の中の背景サンプルを前記ピクセル（５２８ａ、５２０ｂ、５２８ｃ）の画像データによって置き換えることであって、Ｎ番目の画像（５２０）の全ピクセル（５２８ａ、５２０ｂ、５２８ｃ）で置き換えられる前記集合体（５４０ａ、５４０ｂ、５４０ｃ）の前記各背景サンプルは同一のインデックスを有する、置き換えることと
   を更に含む、請求項１から３のいずれか一項に記載の方法。
5. 前記画像の各ピクセルに対して、前記画像の各ピクセル（２２８）を前景（２３２）又は背景（２３４）として分類するステップ（Ｓ０４）は、
   前記ピクセル（２２８）の前記画像データを、前記ピクセルに関連する背景サンプルの前記集合体（２４０）の中の前記背景サンプルの各々と比較することと、
   前記ピクセル（２２８）の前記画像データと分類閾値未満の値だけ異なる背景サンプルの数が所定の数を下回る場合には、前記ピクセル（２２８）が前景（２３４）であると判定することと
   を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記所定の数が１に等しく、前記ピクセル（２２８）が前景（２３４）であると判定するステップは、
   前記ピクセル（２２８）に関連する前記背景サンプルの少なくとも１つが前記ピクセルの前記画像データと異なり、その差分が分類閾値未満の値である場合には、前記ピクセル（２２８）が背景であると判定し、そうでない場合には、前記ピクセル（２２８）は前景であると判定すること
   を含む、請求項５に記載の方法。
7. コンピュータに、請求項１から６のいずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
8. 画像（２２０）の背景差分に使用される背景モデルを更新するための装置（１１０）であって、
   画像シーケンスの一部である画像（２２０）を受信するように構成された受信器（１１２）と、
   前記画像（２２０）の各ピクセル（２２８）に対する背景サンプルの集合体（２４０）を含む背景モデルを使用して背景差分を実行することにより、前記画像（２２０）の各ピクセル（２２８）を前景（２３２）又は背景（２３４）として分類するように構成された分類コンポーネント（１１４）であって、前記ピクセル（２２８）に関連する背景サンプルの前記集合体（２４０）はインデックス付けされる、分類コンポーネント（１１４）と、
   背景として分類される前記画像の各ピクセルに対して、
   背景サンプルの前記集合体（２４０）の中から、前記ピクセル（２２８）に関連する、類似性条件を満たす背景サンプル（２４２、３４２）を選択することであって、前記背景サンプルが、類似性閾値未満の値だけ前記ピクセル（２２８）の前記画像のデータと異なる場合には、前記類似性条件は背景サンプル（２４２、３４２）に対して満たされる、選択すること、
   前記類似性条件を満たす前記背景サンプル（２４２、３４２）を前記ピクセル（２２８）の画像データで置き換えること
   によって前記背景モデルを更新するように構成された背景更新コンポーネント（１１８）と
   を含み、
   背景サンプル（２４２、３４２）を前記選択することは、前記類似性条件を満たす背景サンプル（２４２）が見つかるまで、前記ピクセル（２２８）の前記画像データを背景サンプルの前記集合体（２４０）の中の前記背景サンプルと１つずつ比較することによって、前記ピクセル（２２８）に関連する背景サンプルの前記集合体（２４０）を繰り返し検索することを含み、
   前記繰り返し検索は、前記画像シーケンス中の先行画像のピクセルに関する繰り返し検索を開始するために使用されるインデックスに続く背景サンプルの前記集合体のインデックス（２４４）で開始される、装置（１１０）。

Images