JP6275719B2 - ビデオシーケンスの画像の色をサンプル化する方法および色クラスタリングへの適用 - Google Patents

Description

本発明は、ビデオシーケンスの画像の色のクラスタリングに関し、特に、色の具体的な事前サンプリングに関する。

色のクラスタリングは、高価な計算資源を必要とする。計算資源の要求を低減するために、色は概して、クラスタ化される前にサンプルされる。このようなサンプリングの目的は、クラスタリングが考慮されなければならない各画像のピクセルの数を削減することである。画像のピクセルは、例えば、１００のファクタ(factor)によってサンプルされ得る。それは、サンプルされたピクセルのみが色のクラスタリングに使用される：例えば、各画像のピクセルの１／１００が考慮されるという意味である。サンプリングは、好適には、人工的な色を取り入れないために、任意のフィルタリングプロセスを用いずに遂行され、そして、実を言えば、サンプルされない色は、後続の色クラスタリングのために考慮される。このため、計算の複雑度と精度との間で公平なバランスを取るためのサブサンプリング率を注意深く決定しなければならない。このようなサンプリングの例として、ビデオコンテンツの画像が１９２０×１０８０ＨＤＴＶとしてフォーマットされる場合、即ち、それぞれが約２百万ピクセルを有する場合、各画像は、ファクタ１００によってフォーマット１９２×１０８、即ち、それぞれが約２万ピクセルである１００のサブ画像を得るようにサンプルされることができる。１０ラインのうちの各ラインに対し、我々は、１０ピクセルのうちの１ピクセルを取り入れる。

サンプルされるまたはサンプルされない色のクラスタリング自体に対し、主要な要素は、これらの色を類似性に基づいた意味のあるクラスタに組織することである。非特許文献１において、クラスタ形成に対する広範な技術が提案されている。この論評によれば、クラスタリングアルゴリズムには２つのタイプ、即ち、階層アルゴリズムとパーティションアルゴリズムが存在する。パーティションクラスタリングアルゴリズムは、大規模なデータセットを伴う適用において階層的方法よりも有利である。パーティション技術は、通常、基準関数を最適化することによってクラスタを作り出す。パーティションクラスタリング技術において最も直感的で頻繁に使用される基準関数は、二乗誤差基準である。ｋ平均法は、二乗誤差基準を用いた最も単純で最も広く使用されるアルゴリズムである。ｋ平均法は、ランダムな初期パーティションから開始して、パターンとクラスタセンターとの間の類似度に基づいて、収束基準を満たすまでパターンをクラスタに再割り当てし続ける。ｋ平均アルゴリズムは、実装し易い理由により好まれ、そしてそのアルゴリズムの時間複雑度はＯ（ｎ）であり、ここにｎは、パターンの数である。

非特許文献２において、著者Ｊｕ Ｇｕｏ Ｊｏｎｇｗｏｎ Ｋｉｍ Ｋｕｏその他は、平均シフトアルゴリズムと呼ばれるノンパラメトリック勾配ベースの反復色クラスタリングアルゴリズムを開示し、そのアルゴリズムは、色の類似度に従って堅固な初期の支配色領域を提供する。前のフレームから取得された支配色情報が次のフレームの初期シードとして使用されるこの色クラスタリング方法によれば、計算時間の量を５０％削減することができる。

"Data clustering :A review", published in September 1999 in ACM Computing Surveys, 31(3), pp.264-323 "Fast video Object Segmentation Using Affine Motion And Gradient-Based Color Clustering" published at pages 486-91 in 1998 in the IEEE Second Workshop on Multimedia Signal Processing (Cat. No.98EX175)

本発明の目的は、ビデオシーケンスの色クラスタリングに必要である計算時間をさらに削減することである。

このために、本発明の主題は、ビデオシーケンスの先行画像に後続する画像に対するピクセルマスクを構築する方法であって、
−当該先行画像から当該後続画像に向かう動きに対応する動きベクトルのマップを構築するステップと、
−動きベクトルの当該マップを当該先行画像に適用することによって、動きが当該後続画像を参照して当該先行画像を補償する補償画像を生成するステップと、
−１ピクセルずつの、当該補償画像と当該先行画像との間の差分から当該後続画像に対するピクセルマスクを構築するステップとを備える。

変形形態として、本発明の主題はまた、ビデオシーケンスの先行画像に後続する画像に対するピクセルマスクを構築する方法でもあって、
−当該先行画像から当該後続画像に向かう動きに対応する動きベクトルのマップを構築するステップと、
−当該先行画像の各ピクセルに対応する動きベクトルと当該ピクセルの近傍に配置された近傍ピクセルに対応する動きベクトルとの間の差分に基づいて、当該後続画像に対するピクセルマスクを構築するステップとを備える。

好適には、上記の方法はまた、各ピクセルに対し、当該差分を所定の閾値と比較して、そして当該差分が当該所定の閾値未満であるとすぐに「０」値を当該ピクセルマスクの対応するピクセルに割り当てるか、または当該差分が当該所定の閾値に等しいまたは上回るとすぐに「１」値を当該ピクセルマスクの対応するピクセルに割り当てるステップも備える。

本発明の主題はまた、ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にする方法でもあり、このシーケンスの先行画像に後続する各画像に対して連続的に、
−上述したような方法によって当該後続画像に対するピクセルマスクを構築するステップと、
−当該後続画像のピクセルをサンプルする対応するマスク画像を取得するために当該ピクセルマスクを対応する後続画像に適用するステップとを備える。

より正確に言えば、ピクセルマスクが構築される時にそのピクセルマスクが後続画像に適用されるのであれば、この後続画像におけるピクセルの選択に対応するマスク画像が形成される。

本発明の主題はまた、ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にする方法でもあり、このシーケンスの先行画像に後続する各画像に対して連続的に、
−当該ピクセルマスクが当該後続画像に適用される時に、当該後続画像に対するピクセルマスクを構築して、当該後続画像におけるピクセルの選択に対応するマスク画像が形成されるようにするステップと、
−当該後続画像のピクセルをサンプルする対応するマスク画像を取得するために当該ピクセルマスクを対応する後続画像に適用するステップであって、
所与の後続画像に対するピクセルマスクの当該構築は、当該先行画像から当該後続画像に向かう動きに対応する動きベクトルのマップに基づくことを備える。

好適には、ビデオシーケンスの画像は、連続画像である。

第１の変形形態によれば、先行画像を有する当該ビデオシーケンスの各後続画像に対する、ピクセルマスクの構築は、以下のステップ：
−動きベクトルの当該マップを当該先行画像に適用することによって、動きが当該後続画像を参照して当該先行画像を補償する補償画像を生成するステップと、
−差分画像を得るために、１ピクセルずつの、当該補償画像と当該先行画像との間の差分を算出するステップと、
−当該差分画像の各ピクセルを所定の閾値と比較して、そして当該差分画像の当該ピクセルが所定の閾値未満であるとすぐに「０」値をピクセルマスクの対応するピクセルに割り当てるか、または当該差分画像の当該ピクセルが当該所定の閾値に等しいまたは上回るとすぐに「１」値をピクセルマスクの対応するピクセルに割り当てるステップとにより遂行される。

第２の変形形態によれば、先行画像を有する当該ビデオシーケンスの各後続画像対する、ピクセルマスクの構築は、以下のステップ：
−当該先行画像の各ピクセル対する、動きベクトルの当該マップ内の当該ピクセルに対応する動きベクトルと当該ピクセルの近傍に配置された近傍ピクセルに対応する動きベクトルとを比較して、そして当該ピクセルに対応する動きベクトルと近傍ピクセルに対応する動きベクトルとの間の差分が所定の閾値未満であるとすぐに「０」値をピクセルマスクの対応するピクセルに割り当てるか、または当該差分が当該所定の閾値に等しいまたは上回るとすぐに「１」値をピクセルマスクの対応するピクセルに割り当てるステップにより遂行される。

本発明の目的はまた、ビデオシーケンスの画像の色をクラスタ化する方法でもあり、クラスタ化される前に、先行画像を有しない当該ビデオシーケンスの画像を除けば、即ち、当該ビデオシーケンスの第１の画像を除けば、上述したようなサンプリングの方法により、クラスタ化する色がサンプルされる。

好適には、色をクラスタ化する方法は、色クラスタのセットを生成するためおよび当該色を当該生成されたセットの色クラスタに分散するために、ビデオシーケンスの第１の画像の色をクラスタ化する第１のステップと、マスク画像が取得されるたびに、色クラスタのセットを更新するためおよび当該色を当該更新されたセットの色クラスタに分散するために、すでにクラスタ化された色を当該マスク画像の色と一緒にクラスタ化するステップとを備える。

有利には、このような方法を用いて、色クラスタリングが反復的に遂行され、その後計算資源の使用を最適化する。

変形形態として、マスク画像が取得されるたびに、色クラスタのセットは、マスク画像の色のみを用いて更新され、そしてこれらの色は、その後、この更新されたセットの色クラスタに分散される。ビデオシーケンスのすべての画像の色のクラスタリングは、従って、計算資源の有利な節約によって反復的に構築される。

本発明の主題はまた、ビデオシーケンスの先行画像に後続する画像に対するピクセルマスクを構築するためのピクセルマスクビルダでもあり、
−当該先行画像から当該後続画像に向かう動きに対応する動きベクトルのマップを構築するように構成された動きベクトルマップビルダと、
−当該動きベクトルマップビルダによって構築された動きベクトルのマップを適用することによって動きが当該後続画像を参照して当該先行画像を補償する補償画像を生成するように構成された画像ジェネレータであって、当該ピクセルマスクビルダが、１ピクセルずつの、当該補償画像と当該先行画像との間の差分から当該後続画像に対するピクセルマスクを構築するように構成された、画像ジェネレータとを備える。

第２の変形形態として、本発明の主題はまた、ビデオシーケンスの先行画像に後続する画像に対するピクセルマスクを構築するためのピクセルマップビルダでもあり、当該先行画像から当該後続画像に向かう動きに対応する動きベクトルのマップを構築するように構成され、および当該先行画像の各ピクセルに対応する動きベクトルと当該ピクセルの近傍に配置された近傍ピクセルに対応する動きベクトルとの間の差分から当該後続画像に対するピクセルマスクを構築するように構成された、動きベクトルマップビルダを備える。

本発明の主題はまた、ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にするための色サンプラでもあり、
−このシーケンスの先行画像に後続する各画像に対して連続的に、ピクセルマスクを構築するための、本発明によるピクセルマップビルダと、
−当該後続画像のピクセルをサンプルする対応するマスク画像を取得するために、当該ピクセルマップビルダによって構築されたピクセルマスクを当該後続画像に適用するように構成されたマスク画像ビルダとを備える。

本発明の主題はまた、ビデオシーケンスの画像の色をクラスタ化するための色クラスタリングデバイスでもあり、
−ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にするための、本発明による色サンプラと、
−色サンプラによって提供されたマスク画像から色クラスタのセットを生成するように構成された色クラスタジェネレータと、
−マスク画像の色を色クラスタジェネレータによって生成された色クラスタに分散するように構成された色ディストリビュータとを備える。

本発明は、限定されない例として与えられ、および添付図面を参照する、以下の説明を読めばより明確に理解されるであろう。

先行画像の対応するピクセルとの比較による、画像の各ピクセルに対する動き推定の一般的図式を示す図である。 本発明によるサンプリング方法の概要フローチャートである。 この画像の上を覆う動きベクトルのマップを有する画像を示す図である。 本発明のサンプリング方法の実施形態によるピクセルマスクを適用することによって特定される図３の画像上の、分散エリアを示す図である。 本発明の第１の実施形態によるサンプリング方法の詳細なフローチャートである。 本発明の第２の実施形態によるサンプリング方法の詳細なフローチャートである。

本発明はこれより、ビデオシーケンスの画像の色の色クラスタリングを具体的であるが限定されない文脈において説明される。

本明細書に提示されたフローチャートが本発明を実施する例示的回路の概念図を表すことが当業者には理解されよう。それらの図は、実質的には、コンピュータ可読媒体で表され、そしてコンピュータまたはプロセッサによって、そのようなコンピュータまたはプロセッサが明示的に示されるか否かにかかわらず実行され得る。

図面に示されたさまざまな要素の機能は、専用ハードウェアならびに適切なソフトウェアと関連してソフトウェアを実行する能力があるハードウェアの使用を介して提供され得る。

図面に示された任意のスイッチまたは他の同様の要素は、単なる概念である。それらの機能は、プログラム論理の演算を介して、専用論理を介して、プログラム制御と専用論理の対話を介して実行されてもよく、特定の技術は、文脈からより具体的に理解されるように、実装者によって選択可能である。

ビデオシーケンスの画像の色のクラスタ化は、以下のステップにより遂行される。

ステップ１：ビデオシーケンスの第１の画像の色は、任意の所定の方法（上記のクラスタリングの例を参照）によりクラスタ化される。このクラスタリングの前に、これらの色のサンプリングが好適には、任意の所定の方法（上記のサンプリングの例を参照）により遂行される。第１の画像のピクセルは、例えば、１００のファクタによって、この画像において１００よりも１ピクセルを選択することによってサンプルされて、選択されたピクセルがこの画像に幾何学的に均一に分散されるようにする。このステップの結果、色クラスタの第１のセットが生成され、選択的サンプリングの後、色がこの第１の生成されたセットの色クラスタに分散される。生成された色クラスタは一般に、色の類似度に基づく。

ステップ２：後続画像、即ち、第２の画像に関連する動きベクトルのマップを、その画像の先行画像、即ち、第１の画像と比較して決定する。このステップは、図２のパート１によって図示される。

このような決定は、先行画像と後続する所与の画像との間の変位フレーム差（ＤＦＤｓ：Displaced Frame Differences）を最小にするためにそれ自体が周知の方法で遂行される。

変位フレーム差（ＤＦＤｓ）の計算は、ＤＦＤ（Ｐ，Ｔ，Ｖ）＝Ｉ（Ｐ，Ｔ）−Ｉ（Ｐ−Ｖ，Ｔ−１）という数式により行われる。ここに、Ｉは、画像内の位置Ｐにおけるピクセルの色に対応し、Ｔは、所与の画像の時間位置によって表される時間であり、Ｖは、先行画像と所与の画像との間のこのピクセルの動きである。ピクセルの色は、例えば、Ｒ値、Ｇ値またはＢ値のいずれかのような、通常の任意の成分値を介して表される。

所与の画像１が次の画像２と比較された関連する動きベクトルのマップの決定は一般に、「動き推定」と呼ばれる演算である。このマップの動きベクトルは、所与の全体画像１（グローバル動き推定）に関連する場合もあるし、または矩形ブロック、任意の形のパッチなどの特定部分または１ピクセルごとに関連する場合もある。本発明において、「１ピクセルごと」の手法が好適である。動きベクトルは、変換モデルまたはあらゆる３次元およびズームにおける回転および変換などの、実際のビデオカメラの動きを近似することができる他の多くのモデルによって表すことができる。

この決定されたマップの動きベクトルを所与の画像１に適用することによって、動き補償画像１′を生成し、その画像がその後続画像２と比較される。この後続画像（画像２）のピクセルに割り当てられる、このマップの各２次元ベクトルは、後続画像（画像２）内のこのピクセル座標から先行画像（画像１）内の対応するピクセルの座標までのオフセットを提供する。計算される動きベクトルは、画像１から画像２に向かう動きに対応する。それらのベクトルは、画像２のすべてのピクセルに対し、画像２の時間位置において定義される。これらの動きベクトルによって動き補償画像１が可能となる。

動き推定の後、ＤＦＤが画像の各ピクセルに関連付けられることになる。第１の近似として、高いＤＦＤ値が「閉塞(occlusion)」エリアに関連付けられた後、ビデオシーケンスの新しいオブジェクトがこれらのエリアの部分になる。そういうわけでＤＦＤが高くそして動きフィールドが分散される（安定していない）ことが多い対応するピクセルのみを取り入れることが提案される。図１は、各ピクセルに対する動き推定の一般的図式を示し、図３は、この画像の上を覆う動きベクトルのマップを有する画像２を示す。

以下のステップ３の２つの異なる実施形態がこれより説明される。

ステップ３−実施形態１：図３に例示されたような動きベクトルの決定されたマップに基づいて、この第２の画像に対するピクセルマスクの構築を以下のサブステップ：
−第２の画像の各ピクセルの動きベクトルをこのピクセルに適用することによって、動きが第２の画像２を参照して第１の画像１を補償する補償画像を生成するステップと、
−差分画像を取得するために、１ピクセルずつの、生成された補償画像と第２の画像との間の差分を算出するステップと、
−計算された差分画像の各ピクセルを所定の閾値と比較して、そしてこの差分画像のピクセルが所定の閾値未満であるとすぐに０値をピクセルマスクの対応するピクセルに割り当てるか、またはこの差分画像のピクセルがこの所定の閾値に等しいまたは上回るとすぐに「１」値をピクセルマスクの対応するピクセルに割り当てるステップとにより行う。閾値は概して、実験によって決定され、例えば、最大ビデオ値が２０％に設定される場合がある。

イラストレーション
８ビットＲＧＢでエンコードされたビデオを用いて、０と２５５との間の値を有する各ピクセル成分（Ｒ、ＧおよびＢ）は、その閾値が２５５の２０％、つまり、５１に等しいことになる。

現在のピクセル位置における補償画像のピクセルの成分を（Ｒ_1′，Ｇ_1′，Ｂ_1′）、および現在のピクセル位置における画像２のピクセルの成分を（Ｒ₂，Ｇ₂，Ｂ₂）と名前付け、現在のピクセル位置におけるマスクのピクセルは、
− ｜Ｒ₁，−Ｒ₂｜≧５１および／または｜Ｇ₁，−Ｇ₂｜≧５１および／または｜Ｂ₁，−Ｂ₂｜≧５１であれば、値１
− そうでなければ、値０を有する。

任意には、ノイズを削減するために、ある形態学的フィルタリングが付加的にマスクに適用される可能性がある。

ステップ３−実施形態２：図３に示された動きベクトルの決定されたマップに基づいて、この第２の画像に対するピクセルマスクの構築は以下のようになる：
第２の画像の各ピクセルに対し、その動きベクトルとこのピクセルの近傍に配置された近傍ピクセルの動きベクトルとを比較して、そしてその動きベクトルと近傍ピクセルの動きベクトルとの差分が所定の閾値未満であるとすぐに０値をピクセルマスクの対応するピクセルに割り当てるか、または当該差分が当該所定の閾値に等しいまたは上回るとすぐに「１」値をピクセルマスクの対応するピクセルに割り当てる。

イラストレーション
動きベクトルのマップは、動き推定（Motion Estimation) モジュールの出力において提供される。画像の各ピクセルに関連付けられた１つの動きベクトルは、動きベクトルのマップのサイズが画像１または画像２のサイズと同じである。

マスクの算出：動きベクトルマップの各動きベクトルに対し、近傍ベクトルの平均距離が算出される。その近傍は、考慮される動きベクトルの周囲の（ｎ×ｎ）ウィンドウに配置される動きベクトルを含む。例えば、ｎ＝５。
ｃが現在のピクセル位置における動きベクトルの位置を表す場合、ｘがこの現在のピクセル位置ｃにおける動きベクトルの周囲の動きベクトルの位置を表す場合、Ｖ_ｃが現在のピクセル位置ｃにおける動きベクトルである場合、Ｖ_ｘｃとＶ_ｙｃがそれぞれ、この動きベクトルＶ_ｃの水平成分と垂直成分である場合、Ｖ_ｉｊがＶ_ｃの近傍の動きベクトル（０＜ｉ≦ｎかつ０＜ｊ≦ｎ）である場合、Ｖ_ｘｉ，ｊとＶ_ｙｉ，ｊがそれぞれ、この動きベクトルＶ_ｉｊの水平成分と垂直成分である場合、動きベクトルＶ_ｃとそのすべての近傍Ｖ_ｉｊとの間の平均距離がｉ＝１からｎまでおよびｊ＝１からｎまでに対する数式

により算出される。

その後、このピクセル位置ｃにおけるマスクの値は：

の２０％＞Ｄであれば、１に等しい
−そうでなければ、０に等しい。

図３に示された動きベクトルの決定されたマップに基づいて、このプロセスは、動きベクトルが他の動きベクトルと全体的に非常に異なる第２の画像エリアおいて特定できるようにさせる、即ち、いわゆる「外乱領域」を特定できるようにさせる。図４は、このような「外乱領域」を示す。これらのエリアにおけるピクセルに対し、時間Ｔ（第２の画像）におけるまたはＴ−１（第１の画像）における情報は、ＤＦＤを算出するために使用できない。そういうわけで動きフィールドが外乱されて、ＤＦＤが大きくなる。これらのエリアは概して、前の画像１、即ち、第１の画像においで閉塞していた第２の画像２のエリアに対応する。

ステップ３の最終において、どのような実施形態であれ、ピクセルマスクが構築される。この構築は、先行画像１から後続画像２に向かう動きに対応する動きベクトルのマップに基づく。

ステップ４：マスク画像を得るために、構築されたピクセルマスクを第２の画像に適用する。ピクセルマスクの具体的な構築プロセスに起因して、その適用の作用は、先行画像、即ち、第１の画像と比較して摂動される第２の画像のエリア−その後対応するピクセル−を選択することである。ピクセルマスクのこの適用の結果が、後続画像、即ち、第２の画像のピクセルの具体的なサンプリングである。

図５は、ステップ３が第１の実施形態により遂行される時のそのようなサンプリングを示す。差分画像の算出を介して進むこのサンプリングプロセスにより、ピクセルの差分が閾値よりも大きい時はいつも、対応するピクセル位置が摂動されたと宣言され、そしてそのようなピクセルは、次のステップにおいて、クラスタリングのために考慮されなければならない新しい画像情報のエリアの部分になることが考慮される。

図６は、ステップ３が第２の実施形態により遂行される時のそのようなサンプリングを示す。このサンプリングプロセスにより、第２のまたは現在の画像の動きベクトルがそのベクトル自体によって考慮される。第２のまたは現在の画像の各ピクセル位置において、対応する動きベクトルは、近傍の動きベクトルと比較される。このピクセル位置における動きベクトルフィールドの歪みが一定の閾値よりも大きい時はいつも、ピクセルは、次のステップのクラスタリングに考慮されなければならない新しい画像情報のエリアの部分になることが考慮される。

図５または図６において、参照番号１は、第１のまたは前の画像に関係し、参照番号２は、第２の、現在のまたは後続の画像に関係する。

ステップ５：好適には、上記のステップ１と同じクラスタリング方法を使用して、すでにクラスタ化された色を取得されたマスク画像の色と一緒にクラスタ化する。ここで、すでにクラスタ化された色は、第１の画像の色、任意にはサンプリングの後の色である。このクラスタリング方法を適用する前に、マスク画像の色のさらなるサンプリングが遂行され得る。ステップ５の結果として、色クラスタのセットの更新は、すでにクラスタ化された色および新しくクラスタ化された色をこの更新されたセットの色クラスタに分散することによって取得される。

本発明による第２の画像２の色の具体的なサンプリングのおかげで、この第２の画像に関する限り、この第２の画像のすべての色を取り入れる代わりに、第２の画像のピクセルマスクの出力における色のみが取り入れられ、従って、計算資源を節約する。

ビデオシーケンスの他の連続画像のそれぞれに対し、ステップ２からステップ５までがその後繰り返され、そこで第２の画像が現在の画像に置換され、そして第１の画像がこの現在の画像に先行する画像に置換される。現在の画像は、その先行画像を参照する後続画像と呼ばれる。本発明による方法により、マスク画像が取得されるたびに、色クラスタのセットを更新するためおよびこれらの色を更新されたセットの色クラスタに分散するために、すでにクラスタ化された色をこのマスク画像の色と一緒にクラスタ化するステップが遂行される。

プロセスの最終において、即ち、最後の画像が到達する時に、ビデオシーケンスのすべての画像の色クラスタリングが取得される。

本発明は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせから成るさまざまな形態に実装され得ることを理解されたい。本発明は、特に、ハードウェアとソフトウェアとの組み合わせとして実装され得る。さらに、ソフトウェアは、プログラム記憶装置上で有形に実施されるアプリケーションプログラムとして実装され得る。アプリケーションプログラムは、任意の適切なアーキテクチャを備えるマシンにアップロードされ、そしてマシンによって実行され得る。好適には、マシンは、１または複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および入力／出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実装される。コンピュータプラットフォームはまた、オペレーティングシステムおよびマイクロ命令コードも含むことができる。本明細書に説明されるさまざまなプロセスおよび機能は、ＣＰＵによって実行され得る、マイクロ命令コードの一部またはアプリケーションプログラムの一部、あるいはそれらの任意の組み合わせのいずれかであってよい。さらに、付加的なデータ記憶装置および印刷装置などの、他のさまざまな周辺装置は、コンピュータプラットフォームに接続され得る。

特に、上述したような発明は、
−ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にするための色サンプラと、
−色サンプラによって提供されたマスク画像から色クラスタのセットを生成するように構成された色クラスタジェネレータと、
−マスク画像の色を色クラスタジェネレータによって生成された色クラスタに分散するように構成された色ディストリビュータとを備える色クラスタリングデバイスによって実装される。

色サンプラは、特に、
−ビデオシーケンスの先行画像１に後続する各画像２に対して連続的に、ピクセルマスクを構築するためのピクセルマップビルダと、
−この後続画像２のピクセルをサンプルする対応するマスク画像を取得するために、ピクセルマップビルダによって構築されたピクセルマスクをこの後続画像２に適用するように構成されたマスク画像ビルダとを備える。

第１の変形形態として、ピクセルマップビルダは、
−ビデオシーケンスの先行画像１からその後続画像２に向かう動きに対応する動きベクトルのマップを構築するように構成された動きベクトルマップビルダと、
−動きベクトルマップビルダによって構築された動きベクトルのマップを適用することによって動きがその後続画像２を参照して先行画像１を補償する補償画像１′を生成するように構成された画像ジェネレータを備える。

このピクセルマスクビルダは、１ピクセルずつの、補償画像１′と先行画像１との間の差分からピクセルマスクを構築するように構成される。

第２の変形形態として、ピクセルマスクビルダは、ビデオシーケンスの先行画像１からその後続画像２に向かう動きに対応する動きベクトルのマップを構築するように構成され、および当該先行画像の各ピクセルに対応する動きベクトルと当該ピクセルの近傍に配置された近傍ピクセルに対応する動きベクトルとの間の差分から後続画像２に対するピクセルマスクを構築するように構成された、動きベクトルマップビルダを備える。

本発明は、特定の例および好適実施形態について説明されているが、本発明は、これらの例および実施形態に限定されないことを理解されたい。特許請求される本発明は、従って、当業者には明らかであるように、本明細書に説明された特定の例および好適実施形態からの変形形態を含む。いくつかの具体的な実施形態が別個に説明されて特許請求される場合もあるが、ここに説明されて特許請求される実施形態のさまざまな特徴が組み合わせにおいて使用されてもよいことを理解されたい。特許請求の範囲において見られる参照数字は、単なる実例にすぎず、特許請求の範囲の範囲を限定する作用を有しない有しないものとする。
（付記１）
ビデオシーケンスの先行画像（１）に後続する画像（２）に対するピクセルマスクを構築する方法であって、
−前記先行画像（１）から前記後続画像（２）に向かう動きに対応する動きベクトルのマップを構築するステップと、
−動きベクトルの前記マップを前記先行画像（１）に適用することによって、動きが前記後続画像（２）を参照して前記先行画像（１）を補償する補償画像（１′）を生成するステップと、
−１ピクセルずつの、前記補償画像（１′）と前記先行画像（１）との間の差分から前記後続画像（２）に対するピクセルマスクを構築するステップとを備える、前記方法。
（付記２）
ビデオシーケンスの先行画像（１）に後続する画像（２）に対するピクセルマスクを構築する方法であって、
−前記先行画像（１）から前記後続画像（２）に向かう動きに対応する動きベクトルのマップを構築するステップと、
−前記先行画像の各ピクセルに対応する動きベクトルと前記ピクセルの近傍に配置された近傍ピクセルに対応する動きベクトルとの間の差分に基づいて、前記後続画像（２）に対するピクセルマスクを構築するステップとを備える、前記方法。
（付記３）
各ピクセルに対し、前記差分を所定の閾値と比較して、そして前記差分が前記所定の閾値未満であるとすぐに「０」値を前記ピクセルマスクの対応するピクセルに割り当てるか、または前記差分が前記所定の閾値に等しいまたは上回るとすぐに「１」値を前記ピクセルマスクの対応するピクセルに割り当てるステップをさらに備える、付記１乃至２に記載のピクセルマスクを構築する方法。
（付記４）
ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にする方法であって、このシーケンスの先行画像（１）に後続する各画像（２）に対して連続的に、
−付記１乃至３のいずれか１つに従って前記後続画像（２）に対するピクセルマスクを構築するステップと、
−前記後続画像（２）のピクセルをサンプルする対応するマスク画像を取得するために前記ピクセルマスクを対応する後続画像（２）に適用するステップとを備える、前記方法。
（付記５）
クラスタ化される前に、ビデオシーケンスの画像の色をクラスタ化する方法であって、クラスタ化する画像の色は、付記４の方法に従ってサンプルされる、方法。
（付記６）
色クラスタのセットを生成するためおよび前記色を前記生成されたセットの色クラスタに分散するために、ビデオシーケンスの第１の画像の色をクラスタ化する第１のステップと、マスク画像が取得されるたびに、色クラスタのセットを更新するためおよび前記色を前記更新されたセットの色クラスタに分散するために、すでにクラスタ化された色を前記マスク画像の色と一緒にクラスタ化するステップとを備える、付記５に記載の色をクラスタ化する方法。
（付記７）
ビデオシーケンスの先行画像（１）に後続する画像（２）に対するピクセルマスクを構築するためのピクセルマスクビルダであって、
−前記先行画像（１）から前記後続画像（２）に向かう動きに対応する動きベクトルのマップを構築するように構成された動きベクトルマップビルダと、
−前記動きベクトルマップビルダによって構築された動きベクトルのマップを適用することによって動きが前記後続画像（２）を参照して前記先行画像（１）を補償する補償画像（１′）を生成するように構成された画像ジェネレータであって、
前記ピクセルマスクビルダが、１ピクセルずつの、前記補償画像（１′）と前記先行画像（１）との間の差分から前記後続画像（２）に対するピクセルマスクを構築するように構成された、画像ジェネレータとを備える、ピクセルマスクビルダ。
（付記８）
ビデオシーケンスの先行画像（１）に後続する画像（２）に対するピクセルマスクを構築するためのピクセルマップビルダであって、前記先行画像（１）から前記後続画像（２）に向かう動きに対応する動きベクトルのマップを構築するように構成され、および前記先行画像の各ピクセルに対応する動きベクトルと前記ピクセルの近傍に配置された近傍ピクセルに対応する動きベクトルとの間の差分から前記後続画像（２）に対するピクセルマスクを構築するように構成された、動きベクトルマップビルダを備える、ピクセルマップビルダ。
（付記９）
ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にするための色サンプラであって、
−このシーケンスの先行画像（１）に後続する各画像（２）に対して連続的に、付記８乃至９のいずれか１つに従ってピクセルマスクを構築するためのピクセルマップビルダと、
−前記後続画像（２）のピクセルをサンプルする対応するマスク画像を取得するために、前記ピクセルマップビルダによって構築されたピクセルマスクを前記後続画像（２）に適用するように構成されたマスク画像ビルダとを備える、色サンプル。
（付記１０）
ビデオシーケンスの画像の色をクラスタ化するための色クラスタリングデバイスであって、
−ビデオシーケンスの画像の色をサンプルして対応するマスク画像の色にするための、付記９に従った本発明による色サンプラと、
−色サンプラによって提供されたマスク画像から色クラスタのセットを生成するように構成された色クラスタジェネレータと、
−マスク画像の色を色クラスタジェネレータによって生成された色クラスタに分散するように構成された色ディストリビュータとを備える、色クラスタリングデバイス。

Claims (2)

1. ビデオシーケンスの画像の色をクラスタリングする方法であって、
   色クラスタのセットを生成し、かつ前記生成されたセットの色クラスタ内に前記色を分散するように、前記ビデオシーケンスの第１の画像の色のみをクラスタリングすることと、
   このシーケンスの先行する画像に後続する各画像について連続的に、
   前記後続する画像についてのピクセルマスクを構築することであって、前記後続する画像と、前記先行する画像に動きベクトルのマップを適用することにより生成された、補償された画像との間のピクセル毎の差分であって、前記動きベクトルのマップは前記先行する画像から前記後続する画像に向かう動きに対応する、前記差分に基づいて、またはこの後続する画像の各ピクセルについて、前記先行する画像内の対応するピクセルに関する前記ピクセルの動きベクトルと前記先行する画像内のそれらに対応するピクセルに関して前記ピクセルの近傍に配置された近傍ピクセルの動きベクトルとの間の差分に基づいて、前記後続する画像についてのピクセルマスクを構築することと、
   前記後続する画像のピクセルをサンプルするマスク画像を取得するために、前記後続する画像に前記ピクセルマスクを適用することと、
   前記色クラスタ内に前記マスク画像の前記色を分散することであって、色クラスタの更新されたセットが結果として生じる、前記分散することと、
   を含む、前記方法。
2. ビデオシーケンスの画像の色をクラスタ化するための色クラスタリングデバイスであって、
   色クラスタのセットを生成しおよび前記生成されたセットの色クラスタ内に前記色を分散するよう、前記ビデオシーケンスの第１の画像の色のみをクラスタ化するように構成された初期色クラスタリングモジュール、
   後続する画像と先行する画像に動きベクトルのマップを適用することによって生成された、補償された画像との間のピクセル毎の差分であって、前記動きベクトルのマップは前記先行する画像から後続する画像に向かう動きに対応する、前記差分に基づいて、またはこの後続する画像の各ピクセルについて、前記先行する画像内の対応するピクセルに関する前記ピクセルの動きベクトルと前記先行する画像内のそれらに対応するピクセルに関して前記ピクセルの近傍に配置された近傍ピクセルの動きベクトルとの間の差分に基づいて、前記先行する画像に後続する前記ビデオシーケンスの画像についてのピクセルマスクを構築するように構成されたピクセルマップビルダと、
   前記後続する画像の前記ピクセルをサンプルするマスク画像を取得するため、および前記色クラスタ内に前記マスク画像の前記色を分散するために、前記ピクセルマップビルダによって構築された前記ピクセルマスクを前記後続する画像に適用するように構成された更新色クラスタリングモジュールであって、色クラスタの更新されたセットが結果として生じる、前記更新色クラスタリングモジュールと、
   を備える、前記色クラスタリングデバイス。