JP6468580B2 - スーパーピクセルライフサイクル管理のための方法 - Google Patents

Description

本発明は、ビデオシーケンス用の時間的に整合性のあるスーパーピクセルを生成する方法および装置に関する。より詳細には、本発明は、一連のフレームのうちのフレームに関連するスーパーピクセルに関するライフサイクル管理に対処する。

スーパーピクセルアルゴリズムは、セグメンテーション、イメージ解析、分類などの、多種多様なコンピュータビジョンアプリケーションのための、非常に有用で、ますます普及している前処理ステップを表す。類似のピクセルをいわゆるスーパーピクセルにグループ化することは、イメージプリミティブの大きな削減となる。この結果、後続の処理ステップに関する計算効率が向上し、ピクセルレベルでは計算上実現不可能なより複雑なアルゴリズムが可能となり、領域ベースの特徴に関する空間サポートを生み出す。

スーパーピクセルアルゴリズムは、ピクセルをスーパーピクセルとしてグループ化する。スーパーピクセルはローカル、コヒーレントであり、注目のスケールでのセグメンテーションに必要な構造の大部分を保持する（例えば、非特許文献１参照。）。上記の文書でさらに明記されているように、スーパーピクセルは、サイズおよび形状において大まかに均質であるべきである。多くのスーパーピクセル方法が主に静止画像を対象としており、したがってビデオシーケンスに対して適用されたときに、限定された時間的整合性を提供するだけであり、または全く時間的整合性を提供しないが、一部の方法はビデオシーケンスを対象とする（例えば、非特許文献２〜５参照。）。これらの方法は、時間的整合性の問題に対処し始める。

X.Ren他、"Learning a classification model for segmentation"、IEEE International Conference on Computer Vision（ＩＣＣＶ）2003、１０〜１７頁 O.Veksler他、"Superpixels and Supervoxels in an Energy Optimization Framework"、in Computer Vision − ECCV 2010、vol.6315 K.Daniilidis他、Eds.Springer Berlin/Heidelberg 2010、２１１〜２２４頁 A.Levinshtein他、"Spatiotemporal Closure"、in Computer Vision − ACCV 2010、vol.6492 R.Kimmel他、Eds.Springer Berlin/Heidelberg 2011、３６９〜３８２頁 R.Achanta他、"SLIC superpixels compared to state-of-The-art superpixel methods"、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.34（2012）、２２７４〜２２８２頁 G.Zeng他、"Structure-sensitive superpixels via geodesic distance"、2011 IEEE International Conference on Computer Vision（ICCV）、４４７〜４５４頁 C.L.Zitnick他、"Stereo for image-based rendering using image over-segmentation"、International Journal of Computer Vision, Vol.75（2007）、４９〜６５頁

本発明の目的は、一連のフレームのうちのフレームに関連する、時間的に整合性のあるスーパーピクセルの処理をさらに改善することである。

本発明によれば、一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理のための方法が、
スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内のスーパーピクセルを終了するステップと、
スーパーピクセルの面積が指定された第２の値よりも大きくなった場合、フレーム内のスーパーピクセルを分離するステップと、
を含む。

したがって、一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理のための装置が、
スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内のスーパーピクセルを終了するように構成された終了ユニットと、
スーパーピクセルの面積が指定された第２の値よりも大きくなった場合、フレーム内のスーパーピクセルを分離するように構成された分離ユニットと、
を備える。

同様に、コンピュータ可読記憶媒体が、一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理をイネーブルする命令をその中に格納しており、命令は、コンピュータによって実行されるとき、コンピュータに、
スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内のスーパーピクセルを終了させ、
スーパーピクセルの面積が指定された第２の値よりも大きくなった場合、フレーム内のスーパーピクセルを分離させる。

本発明によれば、寿命、すなわち持続時間が、ビデオシーケンスについて生成される、時間的に整合性のあるスーパーピクセルについて決定される。サイズ制約および形状制約に違反することなく持続時間が最大化される。一般には、本発明は、大きくなり過ぎるスーパーピクセルが分離され、小さくなり過ぎるスーパーピクセルが終了するので、時間的に整合性のあるスーパーピクセルの均質なサイズを保証する。最大化された持続時間は、スーパーピクセルの追従を改善し、それにより、より良好なシーンおよびシーケンス理解が得られる。好ましくは、分離数と終了数の平衡が保たれ、したがってビデオフレーム当たりのスーパーピクセル数が本質的に一定に保たれる。スーパーピクセルを分離または終了する判断は、ビデオボリュームに沿ってシフトされるスライディングウィンドウ内部のスーパーピクセルの解析から得られる情報に基づく。

有利には、誤りのある時間的整合性を有するスーパーピクセルを検出および訂正するために、方法は、
第１のフレーム内のスーパーピクセルのインスタンスと、一連のフレームのうちの後のフレーム内のスーパーピクセルのインスタンスとの間の類似性を決定するステップと、
決定された類似性を閾値と比較するステップと、
類似性が閾値未満である場合、後続のフレーム内のスーパーピクセルを、新しい時間的に整合性のあるスーパーピクセルで置き換えるステップと、
をさらに含む。

したがって、好都合には、装置は、
第１のフレーム内のスーパーピクセルのインスタンスと、一連のフレームのうちの後のフレーム内のスーパーピクセルのインスタンスとの間の類似性を決定するように構成された決定部と、
求めた類似性を閾値と比較するように構成された比較部と、
類似性が閾値未満である場合、後続のフレーム内のスーパーピクセルを、新しい時間的に整合性のあるスーパーピクセルで置き換えるように構成された置換部と、
をさらに備える。

スライディングウィンドウ内の時間的に整合性のあるスーパーピクセルのインスタンスに関する類似性チェックが導入される。スライディングウィンドウ内の時間的に整合性のあるスーパーピクセルの２つまたはさらに多くのインスタンス間の類似性が決定される。それがある閾値未満である場合、スライディングウィンドウのすべての将来のフレーム内のスーパーピクセルのインスタンスが、第１の将来のフレームで開始する新しい時間的に整合性のあるスーパーピクセルのインスタンスで置き換えられる。この方法は、オプティカルフローが後続のフレームへの十分に信頼性の高い投射をし損なう場合に引き起こされる可能性のある、誤りのある時間的整合性を有するスーパーピクセルに関する検出およびスタートオーバ戦略（ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｔａｒｔ ｏｖｅｒ ｓｔｒａｔｅｇｙ）を提供する。さらに、それは、ビデオボリュームの急激で破壊的な変化があった場合、スタートオーバへの道を提供する。したがって、それは、誤って時間的に整合性があるとみなされるスーパーピクセルによる後続の処理ステップに対して引き起こされる歪みを最小限に抑える。それによって、それは、信頼性の高い時間的整合性を有するスーパーピクセルのフローを増強する。

より良い理解のために、次に図を参照しながら以下の説明において本発明がより詳細に説明される。本発明がこの例示的な実施形態に限定されないこと、および添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、特定の特徴を適宜組み合わせ、および／または修正することもできることを理解されたい。

スライディングウィンドウ方法を示す図である。 いわゆるデスクシーケンスのイメージ５を示す図である。 いわゆるデスクシーケンスのイメージ４０を示す図である。 ライフサイクル管理を使用する図２のイメージに関する輪郭線イメージおよびセグメントマップを示す図である。 ライフサイクル管理のない図２のイメージに関する輪郭線イメージおよびセグメントマップを示す図である。 ライフサイクル管理を使用する図３のイメージに関する輪郭線イメージおよびセグメントマップを示す図である。 ライフサイクル管理のない図３のイメージに関する輪郭線イメージおよびセグメントマップを示す図である。 スーパーピクセルのライフサイクルを管理する方法の実装を概略的に示す図である。 誤りのある時間的整合性を有するスーパーピクセルを検出および訂正する方法を概略的に示す図である。 図８および図９の方法を実装するように構成された装置を示す図である。

以下では、統一された観点からエネルギーを最小限に抑えるクラスタリングに基づくスーパーピクセルの作成についての簡単な考察が与えられる。それは、非特許文献６〜８に記載されている方法に基づく。３つの方法は、スーパーピクセルの生成をクラスタリング問題として考える。イメージピクセルは、各次元がピクセルの色チャネルまたはイメージ座標に対応する多次元空間内のデータ点として見える。スーパーピクセルは、この多次元空間内のクラスタによって表され、各データ点は１つのクラスタにのみ割り当てることができる。このデータ点割当てはオーバーセグメンテーションを決定する。

こうした方法を一般化するために、クラスタｋ∈Ｋに割り当てられるべきすべてのｎ∈Ｎデータ点について必要なエネルギーＥ（ｎ，ｋ）を合計する、エネルギー関数Ｅ_{ｔｏｔａｌ}が定義される。

上式で、Ｎは全ピクセル数であり、関数ｓ（・）は、データ点が現在割り当てられているクラスタのラベルｋを返す。所与のクラスタ数Ｋについて、Ｅ_{ｔｏｔａｌ}を最小限に抑えるクラスタのコンステレーションを見つけることにより、エネルギーに関する最適なオーバーセグメンテーションを生成することができる。３つの方法は主に、エネルギー項Ｅ（ｎ，ｋ）の定義が異なる。

全エネルギー関数Ｅ_{ｔｏｔａｌ}を最小限に抑えるために、方法は、局所的に最適な解に収束する反復的なロイドのアルゴリズムを使用する。グリッド状初期化後に、各反復が、割当てステップおよび更新ステップの２つのステップで実施される。割当てステップでは、各データ点が、エネルギー項がその最小値を有するクラスタに割り当てられる。こうした割当てに基づいて、クラスタ中心パラメータが更新ステップで再推定される。こうした２つのステップの反復は、割当てステップの変化なしが検出されるまで、または最大反復回数が実施されるまで続行される。

非特許文献８によって説明される方法は、クラスタ内のデータ点の分散を、平均ベクトルμ_ｋおよび共分散行列Σ_ｋを有する多変量ガウス分布としてモデル化する。エネルギー項は、クラスタｋに属するデータ点ｎの確率に反比例するように定義される。

イメージピクセルの色および位置の分布は、統計的に独立していると仮定される。したがって、同時確率分布を、２つのガウス分布（１つが色について、１つが空間範囲について）の乗算に分解することができる。反復的な最適化方式において、色空間内の共分散行列が固定に保たれ、空間範囲に関する共分散行列が、各反復で更新される。

上記のアルゴリズムの簡易版が、非特許文献６によって提示され、ＳＬＩＣスーパーピクセルと呼ばれる。非特許文献８による方法とは対照的に、色および空間範囲に関する固定の共分散行列が仮定され、その主対角線の外側の要素は０である。さらに、色次元に関する分散は等しく、ならびに空間範囲に関する分散は等しい。固定された共分散を省略することができるので、ガウス分布の平均のみが問題である。これにより、データ点ｎとクラスタｋの中心との間の距離Ｄ（ｎ，ｋ）に正比例するエネルギー項Ｅ（ｎ，ｋ）が得られる。

非特許文献６では、以下のデータ点ｎとクラスタｋの中心との間の距離Ｄ（ｎ，ｋ）が導入される。

上式で、ｄ_ｌａｂ（ｎ，ｋ）およびｄ_ｘｙ（ｎ，ｋ）は、それぞれＣＩＥＬＡＢ色空間および像平面内のユークリッド距離である。

であるとして、スケール化係数ｍ／Ｓは、２つの距離の、その最大振幅に対する正規化によるものである。ユーザが定義するパラメータｍは、構造感度と、生成されるスーパーピクセルの密集度との兼ね合いを制御する。

非特許文献７では、エネルギー関数Ｅ_{ｔｏｔａｌ}が、トレードオフ係数λによって重み付けされた２つのエネルギー項に分離され、トレードオフ係数λの機能は、式（４）中のｍと同様である。第１のエネルギー項は、データ点と、その割り当てられたクラスタｋの中心との間の測地的距離に依存し、第２の項は、平均面積から面積が外れるクラスタ、したがってスーパーピクセルにペナルティを与える。

測地的距離を使用することは、非特許文献６で使用されている直接的なピクセル比較と比べて、経路に沿って色偏差にペナルティを与えることを可能にする。

スーパーピクセルの空間範囲が事前に限定されるので、割当てステップでは、各クラスタ中心の周りの限定された探索ウィンドウ内だけでピクセルを探索することで十分である。これにより、計算の複雑さが著しく低減される。得られるセグメントの空間的接続性を実施するために、後処理ステップが、対応するスーパーピクセルの主な質量に接続されない分離割合を、その最も近い、直接的に接続された近隣に割り当てる。

時間的に整合性のあるスーパーピクセルに関する改良型の方法が、本発明者らによって最近開発された。それは、非特許文献６のＳＬＩＣスーパーピクセルに触発されたものである。しかし、短時間整合性を好む非特許文献６のスーパーボクセル方法について行われるように、ビデオボリューム内のクラスタリングに関する時間的距離を導入する代わりに、スーパーピクセルに関する元の５Ｄ特徴空間が、複数のフレームを含むグローバル色部分空間と、フレームレベルのローカル空間部分空間とに分離される。この概念は、色クラスタリングがグローバルに行われ、空間クラスタリングがローカルに行われることである。したがって、それぞれの時間的に整合性のあるスーパーピクセルは、範囲内のすべてのフレームについて単一の統一された色中心を有し、各フレームについて別々の空間中心を有する。後者はフレームレベルにおいて空間的局所性を保持し、前者は時間的整合性を保証する。この方法は、ほとんどの場合、シーン内の色は急激には変化しないという観察によって動機付けされる。したがって、合致するイメージ領域の色、したがって関連するスーパーピクセルの平均色は、第１の近似では、複数のフレームにわたってほぼ一定である。対照的に、位置は、シーン内の動きに応じて著しく変動する可能性がある。

ビデオシーケンスに関する時間的に整合性のあるスーパーピクセルの生成のために、Ｗ個の連続するフレームを含むスライディングウィンドウが、フレームごとにビデオボリュームに沿ってシフトされる。Ｗ＝５個の連続するフレームを含むスライディングウィンドウの視覚化が図１に示されている。フレームｔが現フレームであり、図示される例では、スライディングウィンドウの中心にある。このフレームについて、スーパーピクセルを生成すべきである。前フレームｔ−１およびｔ−２はいわゆる過去フレームである。そのスーパーピクセルセグメンテーションが固定され、もはや変更されない。しかし、それらはスライディングウィンドウ内部にあるので、そのスーパーピクセルセグメンテーションは、最適化方式の各反復で更新されるグローバル色中心を通じて、現フレームならびに将来フレームにおけるスーパーピクセル生成に影響を及ぼす。スライディングウィンドウ内の将来フレーム、すなわち図示する例ではｔ＋１およびｔ＋２も、現フレームでのスーパーピクセル生成に対する影響を有する。しかし、過去フレームとは対照的に、そのスーパーピクセルセグメンテーションは固定されず、したがって各反復で変化する可能性がある。将来フレームは、シーンの変化に適応する助けとなるのに対して、過去フレームは保守的であり、見つかったグローバル色中心を保存するように試みる。好ましくは、将来フレーム数Ｆおよび過去フレーム数Ｐは、Ｗ＝Ｆ＋Ｐ＋１とともに、ユーザによって指定され、非対称でもよい。将来フレーム数を超えて使用される過去フレーム数が多いほど、色中心の更新はより保守的になる。過去フレーム数を超えて使用される将来フレーム数が多いほど、更新がより適応的になる。スライディングウィンドウが前方にシフトされるとき、スライディングウィンドウを去るフレームの結果が保存され、スライディングウィンドウに入る新しいフレームが読み込まれる。

初期化として、最新のフレームの空間中心が、スライディングウィンドウに入る新しいフレームに投射される。この中心に割り当てられたすべてのピクセルにわたって計算された、密なオプティカルフローの重み付き平均が使用される。中心の投射はまた、探索ウィンドウを初期化し、これは複雑さを低減するのに重要である。このスライディングウィンドウ方法では、提案されるスーパーピクセルアルゴリズムは、ビデオボリュームにおける変化に適応する。

一般には、生成されるスーパーピクセルは、時間的に整合するだけではなく、ビデオボリューム内の最大寿命も有するべきである。後者は、経時的に、時間的に整合性のあるスーパーピクセルの良好な識別を可能にし、長期追従への第１のステップである。

ビデオコンテンツに対するスーパーピクセル生成の適応により、いくぶん均質なサイズという制約を破る傾向のある、安定して収縮または成長するスーパーピクセルが可能となる。したがって、スーパーピクセルを終了すべきとき、またはそれを分離する必要があるときを判断しなければならない。これは、時間的に整合性のあるスーパーピクセルのライフサイクル管理と呼ばれる。この方法では、このことが、スーパーピクセルがスライディングウィンドウのフレーム内を占めるピクセルエリアをトレースすることによって達成される。したがって、終了条件および分離条件が定義され、それが以下で説明される。

面積の減少は、収縮するスーパーピクセルに関するスライディングウィンドウでは線形であると仮定される。この仮定に基づいて、以下の終了条件が作成される。
Ａ（ｋ，ｔ＋Ｆ）＋ρ_Ｔ・ΔＡ（ｋ）≦０ （６）
上式で、Ａ（ｋ，ｔ＋Ｆ）は、スライディングウィンドウの最後の将来フレームｔ＋Ｆ内のスーパーピクセルｋの面積であり、ΔＡ（ｋ）は、スーパーピクセルｋに関するエリアの傾きであり、ρ_Ｔは、終了を実施または延期することのできる、ユーザが選択した重み付けするパラメータである。Ｆ＞１に関する傾きΔＡ（ｋ）は以下のように計算される。

原理上は、複数の将来フレームからのエリアサンプルを使用してΔＡ（ｋ）を計算することができる。スーパーピクセルの終了は、最終的には以下のように行われる。終了するスーパーピクセルの空間中心が、スライディングウィンドウの最後のフレーム、すなわちフレームｔ＋Ｆから除去される。結果として、このフレームが現フレームとなったとき、このスーパーピクセルにピクセルは割り当てられない。その代わり、このスーパーピクセルに以前に割り当てられたピクセルが、隣接するスーパーピクセルに割り当てられる。以下で説明する例では、２つの将来フレーム、すなわちＦ＝２、およびρ_Ｔ＝２が使用される。

Ｆ＝１である場合、将来フレームおよび現フレームのみを使用してΔＡ（ｋ）を計算することができる。

無限の成長を防止するために、以下の分離条件が定義される。

上式で、

は目標とする平均スーパーピクセルサイズであり、νは、平均サイズからの許容される最大偏差を制御する、ユーザが選択したパラメータであり、ρ_ｓは、分離を実施または延期することのできる、ユーザが選択した重み付けするパラメータである。以下で論じられる例では、ν＝１．５およびρ_ｓ＝０である。

分離条件がスーパーピクセルについて合致した場合、これを置き換える２つの新しいスーパーピクセルが生成される。置換は最新のフレームで行われる。スーパーピクセルのグローバル色中心がコピーされる間、２つの新しい空間中心が、スーパーピクセルの最大の固有ベクトルに沿って逆方向にシフトされる。

フレーム当たりのスーパーピクセル数はユーザが定義した値Ｋと常に合致するので、スーパーピクセルバランシングと呼ばれるライフサイクル管理の最後の処理ステップが、終了および分離後に適用される。スーパーピクセル数の平衡を保つために、終了数τと分離数σの差δは常に０となるべきである。
δ＝τ−σ （９）
式（９）の差δが正である場合、最大のδ個のスーパーピクセルが、上述と同様に分離される。同様に、δが負である場合、最小のδ個のスーパーピクセルが終了する。δが偶然０であった場合、システムは既に平衡状態である。

ある場合には、オプティカルフローがイメージ領域について欠乏し、前フレーム内のスーパーピクセルによってカバーされるイメージ内容が、投射される探索ウィンドウ内にもはやない。さらに、ビデオボリュームにおける急激で破壊的な変化がある可能性もある。そうした稀なケースに対して方法を強固なものとするために、スタートオーバを開始することが最良である。したがって、有利には、ライフサイクル管理が追加のスタートオーバ条件で補足される。スーパーピクセルが現フレームについて生成された後、類似性チェックが適用される。

この目的で、それぞれの時間的に整合性のあるスーパーピクセルの２つのインスタンスが、類似性についてチェックされ、一方のインスタンスはフレームｔ＋Ｆ、すなわちスライディングウィンドウの最後のフレームであり、他方のインスタンスは、フレームｔ−Ｐ、すなわちスライディングウィンドウの第１のフレームである。この類似性チェックについて、ヒストグラム比較（例えばχ２検定）、特徴、および／または記述子マッチング、色差などの異なるオプションが可能である。

そのような類似性チェックの１つの実現は、以下の観測に基づく。一般に、そうしたケースでは、スライディングウィンドウの第１のフレームｔ−Ｐと最後のフレームｔ＋Ｆ内のスーパーピクセルｋの平均色の著しい違いがある。平均色間のユークリッド距離が閾値Γよりも大きく異なる場合、スーパーピクセルｋが、フレームｔ＋１、すなわち第１の将来フレームから始まる新しいスーパーピクセルにより置き換えられる。それによって、ローカル空間中心が保たれ、新しいグローバル色中心が導入される。フレームｔ＋Ｆについて、置き換えられたスーパーピクセルｋの平均色により新しい色中心が初期化される。ＣＩＥＬＡＢについて、色空間Γ＝３０が誤り検出と保持との間の良好な平衡を与えることが判明した。

スライディングウィンドウ方法の中で、基本的には、上述の反復的最適化手順をクラスタリングについて維持することができる。スライディングウィンドウの各現フレームについて、何回かのＩ回の反復が実施され、割当てステップおよび更新ステップが適用される。割当てステップでは、スライディングウィンドウの各フレーム内の各ピクセルについて、式（４）を使用してスーパーピクセル中心までの距離が計算される。色距離ｄ_ｌａｂは、グローバル色中心までのユークリッド距離であり、ｄ_ｘｙは、フレームレベルにおけるローカル空間中心までの距離である。更新ステップでは、このスーパーピクセルに割り当てられるスライディングウィンドウのすべてのフレーム内のピクセルの色値を使用して、新しいグローバル色中心が計算される。対応するフレーム内のこのスーパーピクセルに割り当てられるピクセルのイメージ座標のみを使用して、空間中心がフレームごとに更新される。

始めは、スライディングウィンドウは空である。スライディングウィンドウに入るビデオシーケンスの第１のフレームが、シード摂動を含むグリッド状構造内のクラスタ中心をシーディングすることによって初期化される。このフレームは索引ｔ＋Ｆに配置される。ビデオシーケンスの残りのフレームは、上述のように初期化される。提案されるスライディングウィンドウ方法では、時間的に整合性のあるスーパーピクセルに関するこのアルゴリズムはストリーミングも可能であり、したがって原理上はリアルタイム処理をイネーブルすることに触れておく。

以下では、ライフサイクル管理（ＬＣＭ）の利点を示す例が与えられる。図２および３は、ビデオシーケンスからの２つのイメージ、すなわちいわゆるデスクシーケンスのイメージ５および４０をそれぞれ示す。図４および５は、ライフサイクル管理と共に（図４）、およびライフサイクル管理なしで（図４）生成されたデスクシーケンスのイメージ５に関する等高線図（左側）およびセグメントマップを示す。図６および７は、ライフサイクル管理と共に（図６）、およびライフサイクル管理なしで（図７）生成されたデスクシーケンスのイメージ４０に関する輪郭線イメージおよびセグメントマップを示す。シーケンスの先頭での結果、すなわちイメージ５に関する結果はほぼ同一であるが、イメージ４０に関する２つのバージョンの間の違いは、特に輪郭線イメージおよびセグメントマップの左側および右側で明らかである。

上記で提示されたライフサイクル管理の定量的分析に加えて、以下では、いくつかの定量化結果が示される。これについて、面積の分散（ＶｏＡ）ならびに平均等周商（ｍｅａｎ ｉｓｏ−ｐｅｒｉｍｅｔｒｉｃ ｑｕｏｔｉｅｎｔ）Ｑが使用される。面積の分散は、サイズの均質性に関する指標であり、平均面積によって正規化されるスーパーピクセルの面積の分散として計算される。スーパーピクセルｋの等周商Ｑ_ｋは、円に対する類似性に関する尺度であり、したがって密集度に関する尺度である。それは以下のように計算され、ただしＬ（ｋ）は外周であり、Ａ（ｋ）はスーパーピクセルｋの面積である。

以下の表１は、ｋ＝５１２個のスーパーピクセルを使用してデスクシーケンスについて生成された結果を示す。ライフサイクル管理がない場合、面積の分散が著しく高くなり、一方Ｑは同一であることは明らかである。以下の結果は、シーケンスのすべてのフレームにわたる平均である。

図８は、スーパーピクセルのライフサイクルを管理する方法の実装を概略的に示す。任意選択の第１のステップでは、フレームのシーケンスの現フレームと後のフレームとの間のスーパーピクセルによって占められる面積の変化が決定される（１）。スーパーピクセルの面積が指定の第１の値よりも小さくなった場合、スーパーピクセルは後のフレームにおいて終了する（２）。スーパーピクセルの面積が指定の第２の値よりも大きくなった場合、スーパーピクセルは後のフレームにおいて分離される（３）。

図９は、ライフサイクル管理の更なる特徴、すなわち誤りのある時間的整合性を有するスーパーピクセルを検出および訂正する方法を概略的に示す。第１のフレーム内のスーパーピクセルのインスタンスと、一連のフレームのうちの後のフレーム内のスーパーピクセルのインスタンスとの間の類似性が決定される（４）。次いで、決定された類似性が閾値と比較される（５）。類似性が閾値未満である場合、スーパーピクセルが、後続のフレーム内の新しい時間的に整合性のあるスーパーピクセルにより置き換えられる（６）。

図８および図９の方法を実施するように構成された装置１０が、図１０に概略的に示されている。装置１０は、一連のフレームを受け取る入力と、受信したフレームに関するスーパーピクセルを生成する処理部１２とを有する。比較部１３が、フレームのシーケンスの現フレームと後のフレームとの間のスーパーピクセルによって占められる面積の変化を決定する（１）ように構成される。終了部１４が、スーパーピクセルの面積が指定の第１の値よりも小さくなった場合、後のフレームにおいてスーパーピクセルを終了する（２）ように構成される。さらに、分離部１５が、スーパーピクセルの面積が指定の第２の値よりも大きくなった場合、後のフレームにおいてスーパーピクセルを分離する（３）ように構成される。好ましくは、装置１０は、第１のフレーム内のスーパーピクセルのインスタンスと、一連のフレームのうちの後のフレーム内のスーパーピクセルのインスタンスとの間の類似性を決定する（４）ように構成された決定部１６をさらに備える。別の比較部１７が、求めた類似性を閾値と比較する（５）ように構成される。類似性が閾値未満である場合、後続のフレーム内のスーパーピクセルを、新しい時間的に整合性のあるスーパーピクセルで置き換える（６）ように構成される置換部１８がさらに設けられる。いずれの場合も、得られるスーパーピクセルが、出力１９を介して出力される。もちろん、様々な要素のうちの２つ以上を同様に単一の要素として組み合わせることができる。
ここで例としていくつかの付記を記載する。
（付記１）
一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理のための方法であって、
前記スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内の前記スーパーピクセルを終了するステップ（２）と、
前記スーパーピクセルの前記面積が指定された第２の値よりも大きくなった場合、前記フレーム内の前記スーパーピクセルを分離するステップ（３）と、
を含む、前記方法。
（付記２）
フレーム当たりのスーパーピクセル数を本質的に一定に保つために、スーパーピクセルの終了数とスーパーピクセルの分離数の平衡を取るステップをさらに含む、付記１に記載の方法。
（付記３）
第１のフレーム内の前記スーパーピクセルのインスタンスと、前記一連のフレームのうちの後のフレーム内の前記スーパーピクセルのインスタンスとの間の類似性を求めるステップ（４）と、
前記決定された類似性を閾値と比較するステップ（５）と、
前記類似性が前記閾値未満である場合、後続のフレーム内の前記スーパーピクセルを、新しい時間的に整合性のあるスーパーピクセルにより置き換えるステップ（６）と、
をさらに含む、付記１または２に記載の方法。
（付記４）
一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理のための装置（１０）であって、
前記スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内の前記スーパーピクセルを終了する（２）ように構成された終了部（１４）と、
前記スーパーピクセルの前記面積が指定された第２の値よりも大きくなった場合、前記フレーム内の前記スーパーピクセルを分離する（３）ように構成された分離部（１５）と、
を備えることを特徴とする、前記装置（１０）。
（付記５）
第１のフレーム内の前記スーパーピクセルのインスタンスと、前記一連のフレームのうちの後のフレーム内の前記スーパーピクセルのインスタンスとの間の類似性を求める（４）ように構成された決定部（１７）と、
前記決定された類似性を閾値と比較する（５）ように構成された比較部（１８）と、
前記類似性が前記閾値未満である場合、後続のフレームにおいて前記スーパーピクセルを、新しい時間的に整合性のあるスーパーピクセルにより置き換える（６）ように構成された置換ユニット（１９）と、
をさらに備える、付記４に記載の装置（１０）。
（付記６）
一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理をイネーブルする命令をその中に格納しているコンピュータ可読記憶媒体であって、前記命令は、コンピュータによって実行されるとき、前記コンピュータに、
前記スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内の前記スーパーピクセルを終了させ（２）、
前記スーパーピクセルの前記面積が指定された第２の値よりも大きくなった場合、前記フレーム内の前記スーパーピクセルを分離させる（３）、前記コンピュータ可読記憶媒体。

Claims (5)

1. 一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理のための方法であって、
   前記スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内の前記スーパーピクセルを終了するステップと、
   前記スーパーピクセルの前記面積が指定された第２の値よりも大きくなった場合、前記フレーム内の前記スーパーピクセルを分離するステップと、
   フレーム当たりのスーパーピクセル数を本質的に一定に保つために、スーパーピクセルの終了数とスーパーピクセルの分離数の平衡を取るステップと、
   を含む、前記方法。
2. 第１のフレーム内の前記スーパーピクセルのインスタンスと、前記一連のフレームのうちの後のフレーム内の前記スーパーピクセルのインスタンスとの間の類似性を決定するステップと、
   前記決定された類似性を閾値と比較するステップと、
   前記類似性が前記閾値未満である場合、後続のフレーム内の前記スーパーピクセルを、新しいスーパーピクセルにより置き換えるステップと、
   をさらに含む、請求項１に記載の方法。
3. 一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理のための装置であって、
   前記スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内の前記スーパーピクセルを終了するように構成された終了部と、
   前記スーパーピクセルの前記面積が指定された第２の値よりも大きくなった場合、前記フレーム内の前記スーパーピクセルを分離するように構成された分離部と、
   を備え、
   フレーム当たりのスーパーピクセル数を本質的に一定に保つために、スーパーピクセルの終了数とスーパーピクセルの分離数の平衡を取る、前記装置。
4. 第１のフレーム内の前記スーパーピクセルのインスタンスと、前記一連のフレームのうちの後のフレーム内の前記スーパーピクセルのインスタンスとの間の類似性を決定するように構成された決定部と、
   前記決定された類似性を閾値と比較するように構成された比較部と、
   前記類似性が前記閾値未満である場合、後続のフレームにおいて前記スーパーピクセルを、新しいスーパーピクセルにより置き換えるように構成された置換ユニットと、
   をさらに備える、請求項３に記載の装置。
5. 一連のフレームのうちのフレームに関連するスーパーピクセルのライフサイクル管理をイネーブルする命令を含むコンピュータプログラムであって、前記命令は、コンピュータによって実行されるとき、前記コンピュータに、
   前記スーパーピクセルの面積が指定された第１の値よりも小さくなった場合、フレーム内の前記スーパーピクセルを終了させ、
   前記スーパーピクセルの前記面積が指定された第２の値よりも大きくなった場合、前記フレーム内の前記スーパーピクセルを分離させ、
   フレーム当たりのスーパーピクセル数を本質的に一定に保つために、スーパーピクセルの終了数とスーパーピクセルの分離数の平衡を取る、前記コンピュータプログラム。