JP5607079B2 - 前景−背景制約伝播に基づくビデオマッティング - Google Patents

Description

本発明は一般に、デジタル映像処理に関し、特にビデオ映像のためのマッティング方法及び装置に関する。

画像マッティングは、人によるいくつかのガイダンスで、画像から１つの対象を抽出する処理である。画像マッティングは、前景及び背景の領域を区分するために、通常は少数のスクリブル(scribble)の態様で、限定されたユーザ入力に依拠するインタラクティブな処理であり得る。以下、「前景」は抽出されるべき対象を意味し、それに対して「背景」は画像中の全てを意味する。

ビデオマッティングは、画像マッティングを拡張したものであり、ビデオの一続きの場面から動いている対象を抽出することを目的としている。また、ビデオマッティングは、ビデオ処理デバイス（ビデオエンコーダを含む）において用いられることができる。例えば、自動マット抽出は、１つのビデオシーン（例えば、空の領域）内の特定の領域を識別するために用いられることができ、与えられた処理のみをその領域に適用することができる（例えば、デバンディング、又は、誤った輪郭の除去）。また、マット抽出は、対象探知、及び対象追跡アルゴリズムを導くために用いられることができる。例えば、マット抽出技術は、サッカービデオ内の芝生領域（すなわち競技場）を探知するために用いられることができ、ボール追跡アルゴリズム内で探知範囲を制限するために用いることができる。

動画作成、及びテレビにおいて、マットは、前景と背景とを合成して最終的な画像とするために用いられている。クロマキー（ブルースクリーン）技術は、俳優を新しい背景にマッティングするために広く用いられている方法である。多くの従来技術は、画像キャプチャ処理の間において管理された環境に依存している。しかしながら、デジタル画像においては、ピクセルを直接処理することができ、したがって、人によるいくつかの指令によって前景対象を現在画像からマットアウトできるようになる。デジタル画像マッティングは、前景対象を抽出するため、及びおそらくはいくつかの対象を最終画像に組み立てるために、多くの画像及びビデオ編集アプリケーションにおいて用いられる。

上述のように、画像マッティングは、通常、例えばユーザが前景領域及び可能性として背景領域をマーキングするなどのいくつかの入力を与えるインタラクティブな処理である。マーキングをより簡単にすれば、処理はよりユーザフレンドリーになる。使用をより簡単にするインターフェースの中には、ユーザが前景領域及び背景領域をデジタルブラシマーキングによりいくつかのスクリブルを配置することも含まれる（図２Ａ）。画像マッティング処理は、ユーザ入力に従って画像情報を用いる前景対象の境界を決定する。

いくつかの画像マッティング方法においては、ユーザは、通常手書きによる、トライマップと称されるおおよその区分を与える。この場合、各ピクセルは、前景、背景、又は無名のピクセルに分類される（Berman他による米国特許第6,135,345「選択された対象を囲んでいる背景を画像から除去するための包括的な方法」、及びY.Y.Chuang他、「デジタルマッティングへのベイジアンアプローチ」 Proc. IEEE Conf. on Computer Vision Pattern Recognition, 2001を参照）。他の方法においては、よりユーザフレンドリーなスクリブルベースのインタラクションが用いられる。当該インタラクションにおいては、ユーザがデジタルブラシを用いて数本のスクリブル線を配置して、前景領域と背景領域とを区分する（J.Wang他、「統合された画像区分及びマッティングのためのインタラクティブな最適化アプローチ」 Proc. IEEE Conf. on Computer Vision Pattern Recognition, 2005、及びA.Levin他、「自然な画像マッティングのための閉形解」IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.30, no.2, pp.228-242, Feb 2008を参照）。

上記の全ての方法においては、ユーザ入力は、前景を単一の画像からマッティングアウトするために与えられる。ビデオマッティングは、動いている背景対象を含み得るという意味で、より困難な問題である。この場合、あるフレームのためのユーザ入力が、後続のフレームのために不正確となり得る。更に、ビデオ内の各フレームのための入力を与えることをユーザに要求する多大な労力を要することになる。

Chuang他によって提案されたビデオマッティング方法においては、トライマップは、ビデオ内のいくつかのキーフレームの各々のために与えられる。トライマップは、前景及び背景のオプティカルフローを用いて他のフレーム間に差し挟まれる（Y.Y.Chuang他、「複雑なシーンのビデオマッティング」、ACM Transactions on Graphics, vol.21, no.3, pp.243-248, 2002を参照）。しかしながら、オプティカルフローに基づく差し挟みは、穏やかな動きのレベルの場合でさえ、時間を要し、ノイズに敏感であり、信頼性が低い。更に、ユーザにより提供されるスクリブルによるオプティカルフローに基づく差し挟みの場合には、当該スクリブルが時間切れにより途切れるという結果になってしまう。Apostoloff他は、エッジにおける時空密度を課すことによってトライマップがフレームからフレームに潜在的に伝播されると述べている（N.E.Apostoloff他、「学習された画像先行を用いたベイジアンビデオマッティング」、Proc. IEEE Conf. on Computer Vision Pattern Recognition, 2004）。しかしながら、この方法の複雑さは、元の画像とアルファマットとの間の時空エッジ密度の強調のために本質的なものである。

本発明の原理に従う例示の実施例において、方法は、最初のフレームのためにユーザによって提供された前景−背景制約情報を後続のフレームに伝播させるために記載されている。それによって、ユーザの最小限のインタラクティブでビデオストリーム内の動いている前景対象を抽出する。ビデオマッティングは、最初のフレームに関するユーザ入力（例えば、スクリブル）が、各フレームについて見積もられたマットを用いて後続のフレームに伝播されて実行される。あるフレームのマットは、次のフレームのマットを見積もるために用いられる前景−背景のおおよその区分に到達するために処理される。各フレームにおいては、伝播された入力は、対応するマットを見積もるために画像マッティング法によって用いられる。当該マットは、当該入力を当該次のフレーム等に伝播させるために用いられる処理順内に存在する。

上記を考慮して、発明の詳細な説明から明確にされるように、他の実施例及び構成も本発明の原理内に存在することが可能である。

本発明の実施例に従う装置及び／又は方法のいくつかの実施例が、例としてのみ、本明細書に記載され、添付図面に示されている。

フレームワイズマッティング方法又は装置の一例のブロック図である。 インタラクティブ画像マッティング処理を説明する図であって、図２Ａは前景が白色のスクリブルでマーキングされ、背景が黒色のスクリブルでマーキングされた画像又はビデオを示す図である。 図２Ａに関して抽出されたマット又は不透明な背景を示す図である。 抽出された前景画像を示す図である。 新しい背景画像に合成された前景画像を示す図である。 前景−背景制約伝播方法のフロー図である。 図３の方法に関連する実例の画像を示す図である。 図３の方法に関連する実例の画像を示す図である。 図３の方法に関連する実例の画像を示す図である。 図３の方法に関連する実例の画像を示す図である。 図３の方法に関連する実例の画像を示す図である。 図３の方法に関連する実例の画像を示す図である。 本発明の例示のシステムの実施例のブロック図である。

本発明の概念は別として、図に示された構成要素は広く知られており詳細には説明されない。例えば、本発明の概念は別として、広く知られたデジタル画像処理は当然のものであり、本明細書には詳述されない。また、本発明の実施例は、ハードウェア及びソフトウェアの様々な組合せを用いて実装され得ることに留意すべきである。最後に、図面内の同様の符号は同様の構成を示している。

一般的に、画像マッティング方法は、前景画像Ｆと背景画像Ｂの合成である入力画像Ｉを処理する。ｉ^thピクセルの色は、前景Ｆ_iの色及び輝度と背景Ｂ_iの色及び輝度とに対応するものの線形合成であると考えられる。

ここで、α_iは、ｉ^thピクセルの前景の不透明度であり、０≦α≦１の範囲である。等式（１）の右辺の全ての量について既知であるとは限らない。したがって、３チャンネルカラー画像について、３つの等式と画像の各ピクセルについて既知でない７つの要素とがある。これは制約問題であるので、いくつかのユーザ入力が良好なマットを抽出するために要求される。この目的のための典型的なユーザ入力は、例えば図２Ａに示されるように、前景領域及び背景領域をマーキングするデジタルブラシで少数のスクリブルを配置することを含み得る。図２Ａにおいては、白色のスクリブルが前景領域を示し、黒色のスクリブルが背景領域を示している。ユーザ入力が与えられると、前景画像Ｆ、背景画像Ｂ、及びアルファマット（単に「マット」とも称する）αが見積もられる。

図１は、フレームワイズマッティング方法又は装置の一例のブロック図であり、前景が画像マッティングブロック１１０を用いるフレームバイフレームベースで抽出される。図１に示されるように、時刻ｔにおけるフレームについては、画像マッティングブロック１１０は、フレームｔのためのユーザによる入力に基づく前景−背景（Ｆ−Ｂ）制約ｃ^t、又は制約伝播ブロック１２０を介して前のフレームのためのユーザ入力から伝播された前景−背景（Ｆ−Ｂ）制約ｃ^tに基づく関連するアルファマットα^tを生成する。フレームｔにおいて、制約ｃ^tは、前景領域及び背景領域を指定するユーザから与えられる入力によって決定される。前景としてマークされた全てのピクセルはα＝１を有し、背景としてマークされた全てのピクセルはα＝０を有する。

図１を参照すると、ｃ^tはフレームｔのＦ−Ｂ制約を示す。ｉ^thピクセルについてのｃ^tは以下のようになる。

画像マッティング方法１１０は、ｃ^t _i＝１のピクセルのための制約α^t _i＝１、及びｃ^t _i＝０のピクセルのための制約α^t _i＝０を定める。ここで、α^t _iは、フレームｔにおけるｉ^thピクセルのアルファ値を示す。図２Ｂは、図２Ａにおいてユーザにより与えられたスクリブル（ｃ^t）に基づくフレームｔのために得られたマット（α^t）を示す図である。図２Ｃは、抽出された前景対象を示す図である。図２Ｄは、マッティングの適用を示すものであり、抽出された前景対象が新しい背景画像に合成されている。

例示の実施例においては、マッティングブロック１１０は、A.Levin他、「自然な画像マッティングのための閉形解」（IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.30, no.2, pp.228-242, Feb 2008）に記載されたマッティング技術のとおりに実装されることができる。A.Levin他のマッティング技術は、いくつかの制約の下でのアルファマットにおける２次コスト関数を最小化する。いずれかの好ましいマッティング技術がこの目的のために用いられ得る。

ビデオストリームにおける後続の各フレームについては、前景−背景制約は、制約伝播ブロック１２０を介して前のフレームからユーザ入力制約を伝播させることにより得られることができる。あるフレームから次のフレームへの前景−背景制約を伝播させるための例示の方法が以下に記載されている。

図３は、あるフレームから次のフレームへの前景−背景制約の伝播の例示の方法３００のフロー図であり、かかる例示の方法が図３に示されている。図４Ａ〜図４Ｆは、方法３００に関連する実例画像を示している。以下により詳細に記載されているように、方法３００は、時刻ｔ＋１でのＦ−Ｂ制約を見積もるためにフレームｔでアルファマットを用いる。制約（例えばスクリブル又はトライマップ）を直接伝播させる代わりに、当該方法は、フレームｔ＋１のために制約を生成するためにｔでマットを用いる。換言すれば、フレームｔからのマット（α^t）を用いてフレームｔ＋１のためのＦ−Ｂ制約（ｃ^t+1）が得られる。

図３に示されるように、連続するフレームの最初のフレームのための、すなわち時刻ｔのフレームのためのアルファマットα^t _iが、例えば図１のマッティング方法から供給される。方法３００は、前景制約伝播処理３１０と背景制約伝播処理３２０とを含む。

各ピクセルのためのアルファ値α^t _iは［０，１］の範囲内にある。ここで、α^t _i＝１は、ピクセルｉが完全に前景に属することを意味する。そのアルファ値が高い程、ピクセルの前景構成要素が大きくなる。ステップ３１１においては、以下のようなバイナリ領域β^tを生成するためにアルファ値が閾値τ_fgと比較される閾値制御が実行される。

したがって、閾値制御は、高い前景構成要素でピクセルを分離する。図４Ａは、閾値制御ステップ３１１の結果を図示している。図４Ａは、図２Ｂに示されるアルファマットα^tを閾値制御することによって得られたバイナリ領域β^tを示している。様々な例示の実施例において、閾値τ_fgの値は０．５〜０．９の範囲内にある。

ステップ３１２においては、閾値制御ステップにおいて生成されたバイナリ領域β^t上でモルフォロジ収縮処理が実行される。

ここで、Ｆ_E（．）はモルフォロジ収縮演算子を示し、Ｅ（ｓ）はスケールｓの構成要素を示している。一例を挙げれば、Ｅ（５）は、５ピクセルの半径を有する円形である。当該構成要素は、例えば四角形等の好ましい形状とし得るが、例えば円形などの等方性の形状が好ましい。構成要素のスケールは、前景と背景との間の所望の分離、及び前景のサイズ及び／又は背景のサイズに基づいて好適に選択され、前景のピクセル及び／又は背景のピクセルの過度の収縮を回避する。

仮に閾値制御ステップ３１１において生成される前景領域が、削除される場合、又はモルフォロジ収縮ステップ３１２において予め定められた最小サイズ（例えばビューワーによって知覚されないほど小さいサイズ）よりも小さい前景領域に減少される程小さい場合には、モルフォロジ収縮ステップ３１２はスキップされることに留意する。

図４Ｂには、ステップ３１２におけるバイナリ領域β^tのモルフォロジ収縮の結果得られる領域γ^tが図示されている。図４Ｂにおいては、前景制約は、白色のピクセルによって示されている。前景としてマークされた領域の収縮によって、例え前景（及び／又は背景）が一定量動いたとしても、収縮動作はフレームｔ＋１における前景内にあるこれらの領域を確定する。構成要素Ｅ（．）のスケールｓ_fgは、前景の動きの度合い及び／又は背景の動きの度合いに基づいて選択されることができる。

フレームｔ＋１のための前景制約は、ステップ３１３において、γ^t _i＝１の場合にはｃ^t+1 _iとして定義される。仮にγ^t _i＝０の場合には、ｃ^t+1 _iは未だ定義されない。ｃ^t+1 _iは、以下に記載されているように処理内の他の時点において背景として設定され得るし、未定義のままとなり得ることに留意する。

背景伝播処理３２０においては、背景制約は、既に決定された前景制約γ^t _i（図４Ｂ）
に基づいて決定される。各ピクセルのために、より低いアルファ値（α^t _i）がより高い背景構成要素を示している。（１−α^t _i）上の閾値を適用することにより、背景ピクセルが分離され得る。しかしながら、背景制約されたピクセルが前景から遠く離れた位置にあることは、背景制約されたピクセルと前景制約されたピクセルとの間の「ぼやけた領域」を増加させ、不正確な前景抽出を生じさせ得るので望ましくない。このバランスを達成するために、標準化された距離変換がステップ３２１において、以下の式により決定される。

ここで、ｄ（ｉ，ｊ）はピクセルｉとｊとの間の空間的距離であり、Ｊはγ^t _j＝１での全てのピクセルｊの一組すなわちＪ＝｛ｊ｜γ^t _j＝１｝であり、Ｈはフレームの高さであり、Ｗはフレームの幅である。

ステップ３２１において決定された距離変換を用いて、ステップ３２２において各ピクセルｉの背景スコアがアルファマット及び標準化された距離変換の反転又は補完の重み付けされた組合せとして決定される。

例示の実施例においては、重みｗは０．８の値を有している。様々な例示の実施例において、重みｗは０．５〜０．９の範囲を有する。

等式（６）の重み付けされた組合せは、低いα値を有し且つ前景ピクセルの近くに位置するピクセルのために、より高い背景スコアをもたらす。図４Ｃには、ステップ３２２において決定された背景スコアδ^tが図示されている。図４Ｃに現れるピクセルが明るい程、その背景スコアが高くなる。

ステップ３２２において決定された背景スコアは、ステップ３２３において閾値制御を受ける。当該制御においては、背景スコア領域δ^tは、以下のようなバイナリ領域λ^tを生成するために閾値と比較される。

ここで、τ_bgは予め設定された背景スコア閾値である。閾値τ_bgの例示の範囲は０．５〜０．９である。

ステップ３２３において生成されたバイナリ領域λ^tは、ステップ３２４においてモルフォロジ収縮される。

ここで、Ｆ_E（．）はモルフォロジ収縮演算子を示し、Ｅ（ｓ）はスケールｓの構成要素を示している。様々な形状及びサイズの構成要素の変化は、上述のように用いられることができる。図４Ｄには、ステップ３２４においてバイナリ領域λ^tのモルフォロジ収縮の結果得られた領域ω^tが図示されている。図４Ｄにおける白色のピクセルは背景制約ピクセルを示している。背景としてマークされた領域を収縮することにより、収縮動作は、例え前景（及び／又は背景）が一定量動いたとしても、これらの領域がフレームｔ＋１における前景の外側にあることを確かなものにする。

仮に閾値制御ステップ３２３において生成される背景領域が、削除される場合又は、モルフォロジ収縮ステップ３２４において予め定められた最小サイズ（例えばビューワーによって知覚されないほど小さいサイズ）よりも小さい背景領域に減少される程小さい場合には、モルフォロジ収縮ステップ３２４はスキップされることに留意する。

最後に、ステップ３２５において、フレームｔ＋１のための背景制約が、ω^t _i＝１の場合にｃ^t+1 _i＝０として決定される。０又は１に設定されていないｃ^t+1 _iは未定義のままである。すなわち、そのようなピクセルは未知の制約を有する。

図４Ｅには、フレームｔ＋１のための伝播された前景−背景制約が図示されている。ここでは、白色は前景制約（ｃ^t+1 _i＝１）を示し、黒色は背景制約（ｃ^t+1 _i＝０）を示している。図４Ｆには、伝播制約を用いてフレームｔ＋１から抽出されたマットα^t+1が示されている。マットα^t+1は、図１のマッティング方法１１０を用いて生成されることができる。このマットは、フレームｔ＋２等のために制約を生成するために用いられる処理順内に存在する。

例示の方法は、例えば相関関係ベースのテンプレートマッチング又は視覚フローのような動き見積もり方法の複雑さを回避し、動きレベルの範囲に亘って信頼性を保って動作する。

前景−背景制約をあるフレームから次のフレームに伝播させる方法の例示の実施例においては、例えば現在フレームにおける前景対象の領域及びその配色などの先行情報が次のフレームのためのＦ−Ｂ制約を生成するために用いられる。パラメータτ_fg、τ_bg、ｓ_fg、ｓ_bg、及びｗの全て又は一部組合せは、正確なマットを抽出するために先行情報に基づいて自動的に調整されることができる。この処理は、マットが先行情報によって課された制約を満たすまで反復して実行されることができる。例示の実施例においては、総当たり処理は、各パラメータ及び先行情報を満たす最良値の組合せの選択のために、複数の値を、好ましくは予め定められた範囲内において、試みることを含む。一例として、先行情報が前景領域を含む実施例を考える。仮に、例えば上述の処理によって決定された前景制約領域が大き過ぎた場合、パラメータτ_fg及びｓ_fgを増加することができる。この結果、前景制約ピクセルがより少なくなる。これらのパラメータは、先行制約が満たされるまで調整されることができる。

図５は、本発明の構成に関する例示のシステム５００のブロック図である。システム５００は、アルファマット、Ｆ−Ｂ制約を生成し、及び／又はビデオストリームからのマッティングを実行するために用いられることができる。システム５００は、フレーム取得部５１０と、デジタルビデオ編集部５２０と、を含む。フレーム取得部５１０は、本発明を構成するデジタルビデオ編集部５２０による処理のために、ビデオストリームの１つ又は２つ以上のフレームを捕捉する。デジタルビデオ編集部５２０は、プロセッサ５２１と、メモリ５２２と、Ｉ／Ｏ５２３と、を含む。例示の実施例においては、デジタルビデオ編集部５２０は、上述の制約伝播及び／又はマッティングを実行するためにメモリ５２２にロードされたソフトウェアを実行する汎用コンピュータとして実装され得る。

上述のように、上記は本発明の原理を単に説明したものであり、したがって、本明細書に明示されていなくとも、当業者は本発明の基本構成の意図及び範囲内において本発明の構成を具現化する多くの代替的な構成を工夫することができると考えられる。例えば、別個の機能要素として説明されている場合であっても、これらの機能要素は、１つの又は２つ以上の集積回路（ＩＣ）として具現化され得る。同様に、別個の要素として説明されている場合であっても、その要素のいくつか又は全ては、蓄積されたプログラムによって制御されるプロセッサ、例えばデジタル信号プロセッサ又は汎用プロセサとして実装され得る。プロセッサは、関連付けられたソフトウェア、例えば、対応する１つ又は２つ以上のステップを実行し、ソフトウェアは様々な好ましい記憶媒体に実装され得る。更に、本発明の原理は、様々な種類の有線及び無線の通信システム、例えば地上放送、衛星通信、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、携帯電話等に適用できる。実際に、本発明の概念は、据え置きの又はモバイルの受信器にも適用できる。したがって、説明した実施例について多くの変形がなされ得るし、その他の構成が本発明の意図及び範囲から逸脱しない範囲で工夫され得ると考えられる。
付記１．
ビデオストリームのための前景制約及び背景制約を決定する、コンピュータに実装された方法であって、
ある１つのビデオフレームのための前景制約及び背景制約を受け入れるステップと、
前記前景制約及び背景制約を用いて前記ビデオフレームのためのマットを生成するステップと、
前記マットを用いて後続ビデオフレームのための前景制約を生成するステップと、
前記マットを用いて前記後続ビデオフレームのための背景制約を生成するステップと、
を含むことを特徴とする方法。
付記２．
前記ビデオフレームのため前記前景制約及び背景制約は、ユーザ入力を介して受け入れられることを特徴とする付記１に記載の方法。
付記３．
前記後続ビデオフレームのための前景制約を生成するステップは、
前記マット上で閾値制御を実行してバイナリ領域を生成するステップを含むことを特徴とする付記１に記載の方法。
付記４．
前記後続ビデオフレームのための前景制約を生成するステップは、
前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含むことを特徴とする付記３に記載の方法。
付記５．
前記後続ビデオフレームのための背景制約を生成するステップは、
前記マットを用いて背景スコア領域を生成するステップと、
前記背景スコア領域上で閾値制御を実行してバイナリ領域を生成するステップと、を含むことを特徴とする付記１に記載の方法。
付記６．
前記後続ビデオフレームのための背景制約を生成するステップは、
前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含むことを特徴とする付記５に記載の方法。
付記７．
前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前景ピクセルの近くの前記ピクセルに直接的に関連付けられていることを特徴とする付記５に記載の方法。
付記８．
前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前記マットにおける前記ピクセルのための対応する値に反転して関連付けられていることを特徴とする付記５に記載の方法。
付記９．
前記背景スコア領域を生成するステップは、
前記前景制約から距離変換を生成するステップと、
前記マットの反転と前記距離変換の反転との重み付けされた組合せを生成するステップと、を含むことを特徴とする付記５に記載の方法。
付記１０．
前記重み付けされた組合せを生成するステップは、重みｗにより前記マットの反転を重み付けし、重み１−ｗにより前記距離変換の反転を重み付けするステップを含み、０．５≦ｗ≦０．９であることを特徴とする付記９に記載の方法。
付記１１．
コンピュータ読み出し可能な媒体に記憶されたコンピュータプログラムであって、前記プログラムは、コンピュータに
ある１つのビデオフレームのための前景制約及び背景制約を受け入れるステップと、
前記前景制約及び背景制約を用いて前記ビデオフレームのためのマットを生成するステップと、
前記マットを用いて後続ビデオフレームのための前景制約を生成するステップと、
前記マットを用いて前記後続ビデオフレームのための背景制約を生成するステップと
を実行させることにより、ビデオストリームのための前景制約及び背景制約を決定させることを特徴とするコンピュータプログラム。
付記１２．
前記ビデオフレームのため前記前景制約及び背景制約は、ユーザ入力を介して受け入れられることを特徴とする付記１１に記載のコンピュータプログラム。
付記１３．
前記後続ビデオフレームのための前景制約を生成するステップは、
前記マット上で閾値制御を実行してバイナリ領域を生成するステップを含むことを特徴とする付記１２に記載のコンピュータプログラム。
付記１４．
前記後続ビデオフレームのための前景制約を生成するステップは、
前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含むことを特徴とする付記１３に記載のコンピュータプログラム。
付記１５．
前記後続ビデオフレームのための背景制約を生成するステップは、
前記マットを用いて背景スコア領域を生成するステップと、
前記背景スコア領域上で閾値制御を実行してバイナリ領域を生成するステップと、を含むことを特徴とする付記１１に記載のコンピュータプログラム。
付記１６．
前記後続ビデオフレームのための背景制約を生成するステップは、
前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含むことを特徴とする付記１５に記載のコンピュータプログラム。
付記１７．
前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前景ピクセルの近くの前記ピクセルに直接的に関連付けられていることを特徴とする付記１５に記載のコンピュータプログラム。
付記１８．
前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前記マットにおける前記ピクセルのための対応する値に反転して関連付けられていることを特徴とする付記１５に記載のコンピュータプログラム。
付記１９．
前記背景スコア領域を生成するステップは、
前記前景制約から距離変換を生成するステップと、
前記マットの反転と前記距離変換の反転との重み付けされた組合せを生成するステップと、を含むことを特徴とする付記１５に記載のコンピュータプログラム。
付記２０．
前記重み付けされた組合せを生成するステップは、重みｗによって前記マットの反転を重み付けし、重み１−ｗによって前記距離変換の反転を重み付けするステップを含み、０．５≦ｗ≦０．９であることを特徴とする付記１９に記載のコンピュータプログラム。

Claims (16)

1. ビデオストリームのための前景制約及び背景制約を決定する、コンピュータ実装の方法であって、
   ビデオフレームのための前景制約及び背景制約を、ユーザ入力を介して受け入れるステップと、
   前記前景制約及び背景制約を用いて、フレームtにおいて前記ビデオフレームのためのマットを生成するステップと、
   前記マットを用いて、フレームｔ＋１において後続ビデオフレームのための前景制約を生成するステップと、
   前記マットを用いて、フレームｔ＋１において前記後続ビデオフレームのための背景制約を生成するステップであって、前記後続ビデオフレームのための背景制約を生成するステップは、
   前記マットを用いて背景スコア領域を生成するステップと、
   前記背景スコア領域上で閾値制御を実行してバイナリ領域を生成するステップと、を含む、ステップと、
   を含む、前記方法。
2. 前記後続ビデオフレームのための前景制約を生成するステップは、
   前記マット上で閾値制御を実行してバイナリ領域を生成するステップを含む、請求項１に記載の方法。
3. 前記後続ビデオフレームのための前景制約を生成するステップは、
   前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含む、請求項２に記載の方法。
4. 前記後続ビデオフレームのための背景制約を生成するステップは、
   前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含む、請求項１に記載の方法。
5. 前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前景ピクセルの前記ピクセル近くに直接的に関連付けられている、請求項１に記載の方法。
6. 前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前記マットにおける前記ピクセルのための対応する値に反転して関連付けられている、請求項１に記載の方法。
7. 前記背景スコア領域を生成するステップは、
   前記前景制約から距離変換を生成するステップと、
   前記マットの反転と前記距離変換の反転との重み付けされた組合せを生成するステップと、を含む、請求項１に記載の方法。
8. 前記重み付けされた組合せを生成するステップは、重みｗによる前記マットの前記反転、および、重み１−ｗによる前記距離変換の前記反転を重み付けするステップであって、０．５≦ｗ≦０．９である、ステップを含む、請求項７に記載の方法。
9. メモリにコンピュータ命令を有するデジタルビデオ編集装置であって、前記コンピュータ命令は実行時に前記デジタルビデオ編集装置に、
   ビデオフレームのための前景制約及び背景制約を、ユーザ入力を介して受け入れるステップと、
   前記前景制約及び背景制約を用いて、フレームｔにおいて前記ビデオフレームのためのマットを生成するステップと、
   前記マットを用いて、フレームｔ＋１において後続ビデオフレームのための前景制約を生成するステップと、
   前記マットを用いて、フレームｔ＋１において前記後続ビデオフレームのための背景制約を生成するステップであって、前記後続ビデオフレームのための背景制約を生成するステップは、
   前記マットを用いて背景スコア領域を生成するステップと、
   前記背景スコア領域上で閾値制御を実行してバイナリ領域を生成するステップと、を含む、ステップと、
   を実行させることにより、ビデオストリームのための前景制約及び背景制約を決定する、前記デジタルビデオ編集装置。
10. 前記後続ビデオフレームのための前景制約を生成するステップは、
    前記マット上で閾値制御を実行してバイナリ領域を生成するステップを含む、請求項９に記載のデジタルビデオ編集装置。
11. 前記後続ビデオフレームのための前景制約を生成するステップは、
    前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含む、請求項１０に記載のデジタルビデオ編集装置。
12. 前記後続ビデオフレームのための背景制約を生成するステップは、
    前記バイナリ領域上でモルフォロジ収縮制御を実行するステップを含む、請求項９に記載のデジタルビデオ編集装置。
13. 前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前景ピクセルの前記ピクセル近くに直接的に関連付けられている、請求項９に記載のデジタルビデオ編集装置。
14. 前記背景スコア領域は、前記ビデオフレームの複数のピクセルのための背景スコアを含み、あるピクセルのための前記背景スコアは、前記マットにおける前記ピクセルのための対応する値に反転して関連付けられている、請求項９に記載のデジタルビデオ編集装置。
15. 前記背景スコア領域を生成するステップは、
    前記前景制約から距離変換を生成するステップと、
    前記マットの反転と前記距離変換の反転との重み付けされた組合せを生成するステップと、を含む、請求項９に記載のデジタルビデオ編集装置。
16. 前記重み付けされた組合せを生成するステップは、重みｗによる前記マットの前記反転、および、重み１−ｗによる前記距離変換の前記反転を重み付けするステップであって、０．５≦ｗ≦０．９である、ステップを含む、請求項１５に記載のデジタルビデオ編集装置。

Images