JP6094775B2 - ビデオコンテンツ処理方法及びシステム - Google Patents

Description

本開示の様々な実施形態は、ビデオコンテンツ処理に関する。より具体的には、本開示の様々な実施形態は、ビデオコンテンツの画像シーケンスから移動オブジェクトを抽出するためのビデオコンテンツ処理に関する。

ビデオ処理分野の進歩は、デジタルイメージング業界、並びにその関連装置及びイメージングアプリケーションに革命をもたらした。デジタルカメラ又はスマートフォンなどの装置は、ビデオ又は画像シーケンスを処理して新たなタイプのメディアを生成できる機能を有することができる。新たなタイプのメディアは、新たなタイプの写真及び／又は動画を含むことができる。

シナリオによっては、ビデオコンテンツの画像シーケンスから１又はそれ以上の移動オブジェクトを抽出することに基づいて新たなタイプのメディアを生成することができる。このようなビデオ処理で行われる多くの動作の１つは、ビデオ内で動いているように見える（単複の）オブジェクトの微細な境界抽出を含むことができる。しかしながら、このような画像シーケンスから（単複の）移動オブジェクトを抽出するために、このような（単複の）移動オブジェクトのための（単複の）微細なオブジェクト境界マスクを生成することは困難な場合がある。

当業者には、説明するシステムを、本出願の残り部分に図面を参照して示すような本開示のいくつかの態様と比較することによって、従来の伝統的方法のさらなる制限及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すようなビデオコンテンツ処理方法及びシステムを提供する。

本開示のこれらの及びその他の特徴及び利点は、全体を通じて同じ参照符号が同じ要素を示す添付図面と共に本開示の以下の詳細な説明を考察することによって理解することができる。

本開示の実施形態による、例示的なビデオ処理装置を示すブロック図である。 本開示の実施形態による、開示するビデオコンテンツ処理方法及びシステムを実装するための第１の例示的なシナリオを示す図である。 本開示の実施形態による、開示するビデオコンテンツ処理方法及びシステムを実装するための第１の例示的なシナリオを示す図である。 本開示の実施形態による、開示するビデオコンテンツ処理方法及びシステムを実装するための第１の例示的なシナリオを示す図である。 本開示の実施形態による、開示するビデオコンテンツ処理方法及びシステムを実装するための第２の例示的なシナリオを示す図である。 本開示の実施形態による、例示的なビデオコンテンツ処理方法を示すフローチャートである。 本開示の実施形態による、例示的なビデオコンテンツ処理方法を示すフローチャートである。 本開示の実施形態による、例示的なビデオコンテンツ処理方法を示すフローチャートである。 本開示の実施形態による、開示するビデオコンテンツ処理方法のための例示的な隙間埋め技術を示すフローチャートである。

開示するビデオコンテンツ処理方法及びシステムは、後述する実施形態を含むことができる。本開示の例示的な態様は、ビデオコンテンツ内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定できる方法を含むことができる。第１の移動オブジェクトの第１のオブジェクト輪郭を含むことができる第１のオブジェクト境界ボックス（ＯＢＢ）を生成することができる。このようなＯＢＢの生成は、特定された１又はそれ以上のオブジェクト輪郭に基づいて行うことができる。第１の宛先画像フレーム内で、第１の移動オブジェクトのための第１のオブジェクトマスクを動的に生成することができる。このような第１のオブジェクトマスクの生成は、生成された第１のＯＢＢ内の第１のオブジェクト輪郭の隙間埋めに基づいて行うことができる。

ある実施形態では、この方法が、ビデオコンテンツの３つの連続する画像フレームに基づいて１又はそれ以上の移動オブジェクトを検出するステップを含むことができる。３つの連続する画像フレームは、前の画像フレーム、現在の画像フレーム及び次の画像フレームを含むことができる。

ある実施形態では、方法が、現在の画像フレームを前の画像フレームに整列させるステップを含むことができる。ある実施形態では、方法が、次の画像フレームを現在の画像フレームに整列させるステップをさらに含むことができる。

ある実施形態では、方法が、整列した現在の画像フレームと前の画像フレームの間の第１の絶対差画像を特定するステップを含むことができる。ある実施形態では、方法が、整列した次の画像フレームと現在の画像フレームの間の第２の絶対差画像を特定するステップを含むことができる。

ある実施形態では、方法が、１又はそれ以上の移動オブジェクトに対応する１又はそれ以上のオブジェクト輪郭を検出するステップを含むことができる。このような検出は、特定された第１の絶対差画像及び第２の絶対差画像内で行うことができる。

ある実施形態では、方法が、第１の絶対差画像内の検出された１又はそれ以上のオブジェクト輪郭に基づいて第１のオブジェクト輪郭画像を特定するステップを含むことができる。ある実施形態では、方法が、第２の絶対差画像内の検出された１又はそれ以上のオブジェクト輪郭に基づいて第２のオブジェクト輪郭画像を特定するステップをさらに含むことができる。

ある実施形態では、方法が、生成された第１のオブジェクト輪郭画像と第２のオブジェクト輪郭画像との間の共通部分に基づいて、中間オブジェクト輪郭画像を特定することを含むことができる。ある実施形態では、方法が、特定された中間オブジェクト輪郭画像、及び中間オブジェクト輪郭画像に関連する勾配情報を利用するステップを含むことができる。このような利用は、１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭の特定のために行うことができる。

ある実施形態では、方法が、第１の宛先画像フレーム内に第１の画素値を設定するステップを含むことができる。ある実施形態では、方法が、特定された１又はそれ以上のオブジェクト輪郭から色属性を抽出するステップを含むことができる。このような抽出により、特定された１又はそれ以上のオブジェクト輪郭内に第２の画素値を設定することができる。

ある実施形態では、方法が、生成された第１のＯＢＢを第１の宛先画像フレームの所定位置にコピーするステップを含むことができる。ある実施形態では、方法が、第１のＯＢＢ内の第１の画素が第３の画素値を有しているかどうかを検出するステップを含むことができる。ある実施形態では、方法が、第１の宛先画像フレーム内の隣接する第２の画素が第１の画素値を有しているか否かを検出するステップをさらに含むことができる。

ある実施形態では、方法が、隣接する第２の画素が第１の画素値を有していることが検出された時に、検出された第１の画素に第１の画素値を割り当てるステップを含むことができる。ある実施形態では、第１の画素値が灰色に対応することができる。第２の画素値は白色に対応し、第３の画素値は黒色に対応することができる。

ある実施形態では、方法が、第１のＯＢＢ内の第３の画素値を有する１又はそれ以上の画素に第２の画素値を割り当てるステップを含むことができる。このような第１のオブジェクト輪郭の隙間埋めのための割り当ては、第１のＯＢＢ内の２つの隣接する画素が第３の画素値及び第１の画素値でないことが検出された場合に行うことができる。

ある実施形態では、方法が、ビデオコンテンツ内で第２の移動オブジェクトが検出された時に、第２の移動オブジェクトを含む第２のＯＢＢを生成するステップを含むことができる。ある実施形態では、方法が、生成された第２のＯＢＢを第２の宛先画像フレームの所定位置にコピーするステップを含むことができる。第２の宛先画像フレームは、第１の移動オブジェクトの生成された第１のオブジェクトマスクを含む第１の宛先画像フレームに対応することができる。

ある実施形態では、方法が、第２のＯＢＢ内の第２の移動オブジェクトの第２のオブジェクトマスクを生成するステップを含むことができる。第２のＯＢＢ内の第２の移動オブジェクトは、第１の移動オブジェクトの生成された第１のオブジェクトマスクに関連することができる。ある実施形態では、方法が、生成された第１のオブジェクトマスク及び第２のオブジェクトマスクに基づいて、第１の移動オブジェクト及び第２の移動オブジェクトを抽出するステップを含むことができる。

図１は、本開示の実施形態による、例示的なビデオ処理装置を示すブロック図である。図１には、ビデオ処理装置１０２を示している。ビデオ処理装置１０２は、ビデオプロセッサ１０４などの１又はそれ以上のプロセッサ、メモリ１０６、Ｉ／Ｏ装置１０８などの１又はそれ以上の入力／出力（Ｉ／Ｏ）装置、及び感知装置１１０などの１又はそれ以上の感知装置を含むことができる。ビデオプロセッサ１０４は、メモリ１０６、Ｉ／Ｏ装置１０８及び感知装置１１０に通信可能に結合することができる。

ビデオ処理装置１０２は、移動オブジェクトのオブジェクト輪郭の隙間埋めに基づいて複数の移動オブジェクトのためのオブジェクトマスクを生成することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ビデオ処理装置１０２の例としては、以下に限定されるわけではないが、スマートフォン、デジタルカメラ、カムコーダ、タブレットコンピュータ、ラップトップ、プロジェクタ、テレビ、インターネットプロトコルテレビ（ＩＰＴＶ）、及び／又は携帯情報端末（ＰＤＡ）装置を挙げることができる。

ビデオプロセッサ１０４は、メモリ１０６に記憶された命令セットを実行することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ビデオプロセッサ１０４は、カメラ又はカムコーダなどの１又はそれ以上のＩ／Ｏ装置から受け取ることができるビデオコンテンツを処理することができる。さらに、ビデオプロセッサ１０４は、メモリ１０６に記憶されたビデオコンテンツ及び／又は画像シーケンスなどのデータを読み出すこともできる。ビデオプロセッサ１０４は、当業で周知のいくつかのプロセッサ技術に基づいて実装することができる。ビデオプロセッサ１０４の例は、Ｘ８６ベースプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロプロセッサ、マイクロコントローラ、及び／又はその他のプロセッサとすることができる。

メモリ１０６は、ビデオプロセッサ１０４によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを記憶することができる好適なロジック、回路及び／又はインターフェイスを含むことができる。さらに、メモリ１０６は、ビデオコンテンツ及び／又はその他のデータを記憶することもできる。さらに、メモリ１０６は、ビデオコンテンツのビデオフレームバッファ、ビデオコンテンツの画像シーケンス、オペレーティングシステム、及び関連するアプリケーションを記憶することもできる。メモリ１０６の実装例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

Ｉ／Ｏ装置１０８は、ビデオコンテンツ及び／又は画像を取り込むことができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。さらに、Ｉ／Ｏ装置１０８は、１又はそれ以上のユーザから入力を受け取り、１又はそれ以上のユーザに出力を提供することもできる。Ｉ／Ｏ装置１０８は、ビデオプロセッサ１０４と通信することができる様々な入力及び出力装置を含むことができる。入力装置の例としては、以下に限定されるわけではないが、カメラ、カムコーダ、タッチ画面、入力ポート、モーションセンサ、光センサ、及び／又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定されるわけではないが、ディスプレイ画面（図示せず）、及び／又はプロジェクタ画面を挙げることができる。ディスプレイ画面は、ビデオ処理装置１０２の１又はそれ以上の機能及び／又はアプリケーションを表示することができる。ディスプレイ画面は、以下に限定されるわけではないが、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）及び／又は有機発光ダイオードディスプレイ（ＯＬＥＤ）技術などの複数の既知の技術を通じて実現することができる。プロジェクタ画面は、投影画像及び／又はビデオを表示するために使用される表面及び／又はホログラフィック画面とすることができる。ある実施形態では、入力装置と出力装置を２つの別個のユニットとして提供することができる。

感知装置１１０は、ビデオプロセッサ１０４によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを記憶することができる好適なロジック、回路及び／又はインターフェイスを含むことができる。感知装置１１０は、画像、ビデオの取り込み、１又はそれ以上のユーザの確認認識、識別及び／又は検証に役立つ画像センサなどの１又はそれ以上のセンサを含むことができる。これらの１又はそれ以上のセンサは、１又はそれ以上のユーザから受け取られた１又はそれ以上のタッチベースの入力操作を検出するために使用される静電容量式タッチセンサを含むことができる。

ビデオプロセッサ１０４は、動作時にビデオの画像シーケンスを受け取ることができる。ある実施形態では、ビデオプロセッサ１０４が、受け取ったビデオの画像シーケンスからの画像フレームを、第１の解像度値から第２の解像度値にダウンサイズすることができる。ある実施形態では、第２の解像度値が、ビデオグラフィックスアレイ（ＶＧＡ）サイズに対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、画像シーケンス内の少なくとも３つの連続するダウンサイズされた画像フレームを循環バッファにバッファ処理することができる。これら３つの連続する画像フレームは、前の画像フレーム、現在の画像フレーム及び次の画像フレームを含むことができる。

ある実施形態では、ビデオプロセッサ１０４が、現在の画像フレームを前の画像フレームに整列させることができる。さらに、ビデオプロセッサ１０４は、次の画像フレームを現在の画像フレームに整列させることができる。ある実施形態では、ビデオプロセッサ１０４が、第１の絶対差画像及び第２の絶対差画像を特定することができる。第１の絶対差画像の特定は、現在の画像フレームと前の画像フレームとの整列に基づくことができる。第２の絶対差画像の特定は、次の画像フレームと現在の画像フレームとの整列に基づくことができる。

ある実施形態では、ビデオプロセッサ１０４が、第１の絶対差画像内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を検出することができる。このような１又はそれ以上のオブジェクト輪郭の検出は、第２の絶対差画像内でも同時に行うことができる。ある実施形態では、特定された第１の絶対差画像及び特定された第２の絶対差画像から非重複領域を除去した後にこのような検出を行うことができる。ある実施形態では、当業で周知の１又はそれ以上の輪郭検出アルゴリズム又は手法を用いることによってこのような検出を行うことができる。このような輪郭検出アルゴリズム又は手法の例としては、以下に限定されるわけではないが、検索ベースのもの、ゼロ交差ベースのもの、Ｒｏｂｅｒｔｓオペレータ、Ｐｒｅｗｉｔｔオペレータ、Ｓｏｂｅｌオペレータ、Ｃａｎｎｙオペレータ、及び／又はラプラシアンエッジ検出器を挙げることができる。とは言うものの、オブジェクト輪郭は、本開示の範囲を限定することなく、あらゆる好適な輪郭検出アルゴリズム又は手法を用いて検出し、精細化することができる。例えば、ある実施形態では、輪郭検出の結果を用いてオブジェクト輪郭のさらなる検出及び精細化を行うための所定の検出感度閾値を使用することによって輪郭検出アルゴリズムを実装することができる。

ある実施形態では、ビデオプロセッサ１０４が、特定された第１の絶対差画像内の検出された１又はそれ以上のオブジェクト輪郭に基づいて第１のオブジェクト輪郭画像を特定することができる。同様に、ビデオプロセッサ１０４は、特定された第２の絶対差画像内の第２のオブジェクト輪郭画像を同時に特定することもできる。

ある実施形態では、ビデオプロセッサ１０４が、検出された第１のオブジェクト輪郭画像と第２のオブジェクト輪郭画像との間の共通部分に基づいて中間オブジェクト輪郭画像を特定することができる。ある実施形態では、中間オブジェクト輪郭画像が、非重複領域を除去した現在の画像フレームに対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、中間オブジェクト輪郭画像内の、Ｓｏｂｅｌ勾配などの勾配情報を計算することができる。このような計算は、中間オブジェクト輪郭画像の１又はそれ以上のオブジェクト輪郭部分にオブジェクト輪郭情報が存在しない時に行うことができる。このような場合、ビデオプロセッサ１０４は、１又はそれ以上のオブジェクト輪郭部分のオブジェクト輪郭情報を回復することができる。このような１又はそれ以上のオブジェクト輪郭部分の回復には、勾配トレース操作を利用することができる。勾配情報及び特定された中間オブジェクト輪郭画像は、勾配トレース操作のための入力として用いることができる。

ある実施形態では、ビデオプロセッサ１０４が、１又はそれ以上の移動オブジェクトに対応する１又はそれ以上のオブジェクト輪郭を特定することができる。このような特定には、中間オブジェクト輪郭画像のオブジェクト輪郭情報、及び中間オブジェクト輪郭画像に関連する勾配情報を利用することができる。

ある実施形態では、ビデオプロセッサ１０４が、特定された１又はそれ以上のオブジェクト輪郭に基づいて１又はそれ以上の移動オブジェクトを検出することができる。ある実施形態では、ビデオプロセッサ１０４が、第１の移動オブジェクトの第１のオブジェクト輪郭を含む第１のＯＢＢを生成することができる。このような第１のＯＢＢの生成は、特定された１又はそれ以上のオブジェクト輪郭に基づくことができる。

ある実施形態では、ビデオプロセッサ１０４が、第１の宛先画像フレーム内に第１の画素値を設定することができる。ある実施形態では、第１の宛先画像フレームを、受け取ったビデオの画像シーケンス以外の画像フレームとすることができる。ある実施形態では、第１の宛先画像フレームを、ダウンサイズされた現在の画像フレームのサイズ及び解像度と同様のサイズ及び解像度とすることができる。

ある実施形態では、ビデオプロセッサ１０４が、特定された１又はそれ以上のオブジェクト輪郭から色属性を抽出して、特定された１又はそれ以上のオブジェクト輪郭内に第２の画素値が設定されるようにすることができる。ある実施形態では、ビデオプロセッサ１０４が、生成された第１のＯＢＢを第１の宛先画像フレームの所定位置にコピーすることができる。

ある実施形態では、ビデオプロセッサ１０４が、第１のＯＢＢ内の第１の画素が第３の画素値を有しているかどうかを検出することができる。ある実施形態では、ビデオプロセッサ１０４が、第１の宛先画像フレーム内の第１の画素に隣接する第２の画素が第１の画素値を有しているかどうかをさらに検出することができる。ある実施形態では、隣接する第２の画素も第１の画素値を有することが検出された場合、ビデオプロセッサ１０４は、検出された第１の画素に第１の画素値を割り当てることができる。ある実施形態では、第１の画素値、第２の画素値及び第３の画素値が、それぞれ灰色、白色及び黒色に対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、実際には第３の画素値を有している可能性のある第１のＯＢＢ内の１又はそれ以上の画素に第２の画素値を割り当てることができる。このような第２の画素値の割り当ては、第１のＯＢＢ内の２つの隣接する画素がそれぞれ第１の画素値及び第３の画素値を有していることが検出されなかった時に行うことができる。換言すれば、このような割り当ては、第１のオブジェクト輪郭の外側の全ての画素に灰色などの第１の画素値が割り当てられている時に行うことができる。第２の画素値の割り当ては、第１のＯＢＢ内の第１のオブジェクト輪郭の隙間埋めに対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、第１の移動オブジェクトのための第１のオブジェクトマスクを動的に生成することができる。このような第１のオブジェクトマスクの生成は、第１のＯＢＢ内の第１の移動オブジェクトのオブジェクト輪郭の隙間埋めに基づいて、第１の宛先画像フレーム内で行うことができる。

ある実施形態では、３つの連続する画像フレーム内で第２の移動オブジェクトが検出された場合、ビデオプロセッサ１０４が第２のＯＢＢを生成することができる。第２のＯＢＢは、第２の移動オブジェクトの第２のオブジェクト輪郭を含むことができる。第２のＯＢＢは、１又はそれ以上の移動オブジェクトの特定された１又はそれ以上のオブジェクト輪郭に基づいて生成することができる。

ある実施形態では、ビデオプロセッサ１０４が、生成された第２のＯＢＢを第２の宛先画像フレームの所定位置にコピーすることができる。第２の宛先画像フレームは、第１の移動オブジェクトのための生成された第１のオブジェクトマスクを含むことができる第１の宛先画像フレームに対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、第２のＯＢＢ内の第２の移動オブジェクトの第２のオブジェクトマスクを生成することができる。第２のＯＢＢ内の第２の移動オブジェクトは、第１の移動オブジェクトの生成された第１のオブジェクトマスクに関連することができる。ある実施形態では、ビデオプロセッサ１０４が、生成された第１のオブジェクトマスク及び第２のオブジェクトマスクに基づいて、第１の移動オブジェクト及び第２の移動オブジェクトを抽出することができる。

ある実施形態では、第１の画素値、第２の画素値及び第３の画素値が、それぞれ灰色、黒色及び白色に対応することができる。本開示の実施形態は、受け取った画像シーケンスの３つよりも多くの連続する画像フレームを使用することもできると理解されるであろう。このことは、開示する方法及びシステムの堅牢性を高めることができる。例えば、ある実施形態では、画像シーケンスの５つの連続する画像フレームを利用することができる。このような実施形態では、ビデオプロセッサ１０４が、５つの連続する画像フレームのうちの第１の画像フレームを第３の画像フレームに整列させることができる。同様に、ビデオプロセッサ１０４は、第５の画像フレームを第３の画像フレームに整列させることもできる。このような実施形態では、第１の画像フレームが、前の画像フレームに対応することができる。第３の画像フレームは、現在の画像フレームに対応することができる。第５の画像フレームは、上述したような次の画像フレームに対応することができる。同様に、ビデオプロセッサ１０４は、整列した第１の画像フレームと第３の画像フレームとの間の第１の絶対差画像を特定することができる。さらに、ビデオプロセッサ１０４は、整列した第５の画像フレームと第３の画像フレームとの間の第２の絶対差画像を特定することができる。

ある実施形態では、受け取った画像シーケンスからの画像フレームのダウンサイズ操作が、画像フレームのサイズ変更を意味することができる。サイズ変更は、（高精細（ＨＤ）などの）高解像度値から低解像度値（ＶＧＡ）へのものとすることができる。ある実施形態では、連続する画像フレーム間の整列に、包括的全フレーム画像整列アルゴリズム、強度ベース整列アルゴリズム及び／又は特徴ベース整列アルゴリズムなどの、当業で周知の１又はそれ以上の整列アルゴリズムを用いることができる。

ある実施形態では、前の画像フレームと現在の画像フレームとの整列が、画像フレーム内の静的シーンに関することができる。同様に、次の画像フレームと現在の画像フレームとの整列も、画像フレーム内の静的シーンに関することができる。ある実施形態では、静的シーンが、１又はそれ以上の移動オブジェクトのビューを含むことができる。

ある実施形態では、ビデオプロセッサ１０４が、特定された第１の絶対差画像及び特定された第２の絶対差画像から非重複領域を除去することができる。ある実施形態では、ビデオプロセッサ１０４が、第１の絶対差画像の特定が行われ得る際に非重複領域を除去することができる。非重複領域は、対応しない冗長領域とすることができる。例えば、ビデオカメラはビデオを取り込むことができる。カメラを右方向に動かすと、前のフレーム内には存在し得ない部分的に新たなシーンを取り込むことができる。その後、前のフレームと現在のフレームを整列させると、カメラ視野が重複しないことによってフレーム境界に対応シーンが存在しないことがある。整列後の「非重複」領域は、このような操作によって定められる。

ある実施形態では、ビデオプロセッサ１０４が、ビデオの別の期間に存在することができる別の３つの連続する画像シーケンスを用いることによって、第１の移動オブジェクト及び第２の移動オブジェクトを抽出することができる。このような異なる期間における移動オブジェクトの抽出を用いて動画を生成することができる。生成されたオブジェクトマスクは、上述したようにオブジェクト輪郭の隙間埋めによって均一にすることができる。微細な境界及び均一なオブジェクトマスクの動的生成は、画像シーケンスからの移動オブジェクトの素早い抽出を可能にすることができる。このようなビデオコンテンツの画像シーケンスからの移動オブジェクトの抽出を映画製作室で使用して、例えばビデオを処理して様々な動画を作成することができる。例えば、スポーツ、乗り物及びその他の移動オブジェクトに関するアクションシーンなどにおいて、移動オブジェクトの特殊効果及び表現を含む動画を作成することができる。

ある実施形態では、ビデオプロセッサ１０４が、ビデオの画像シーケンスをリモートサーバ（図示せず）から受け取ることができる。ある実施形態では、ビデオプロセッサ１０４が、遠隔地に存在できるＩ／Ｏ装置１０８からビデオの画像シーケンスを受け取ることができる。

図２Ａ、図２Ｂ及び図２Ｃに、本開示の実施形態による、開示するビデオコンテンツ処理方法及びシステムを実装するための第１の例示的なシナリオを示す。図２Ａ、図２Ｂ及び図２Ｃの説明は、図１の要素に関連して行う。図２Ａには、第１の宛先画像フレーム２０２及び第１のＯＢＢ２０４を示している。第１のＯＢＢ２０４は、第１の移動オブジェクトの第１のオブジェクト輪郭２０６を含むことができる。さらに、第１のオブジェクト輪郭２０６内には、領域２０６ａなどの１又はそれ以上の領域が示されている。

第１の例示的なシナリオによれば、第１の宛先画像フレーム２０２を、予めメモリ１０６に記憶されている画像フレームとすることができる。ビデオプロセッサ１０４は、第１の宛先画像フレーム内の全ての画素に、灰色などの第１の画素値を設定することができる。第１のＯＢＢ２０４は、第１の移動オブジェクトを含む生成されたＯＢＢに対応することができる。第１のオブジェクト輪郭２０６は、第１の移動オブジェクトの特定された第１のオブジェクト輪郭に対応することができる。ビデオプロセッサ１０４は、第１のオブジェクト輪郭２０６から色属性を抽出することができる。このような抽出では、第１のオブジェクト輪郭２０６に、白色などの第２の画素値を設定することができる。さらに、第１のオブジェクト輪郭２０６内の領域２０６ａ、及び第１のＯＢＢ２０４内の第１のオブジェクト輪郭２０６外側の矩形領域に黒色などの第３の画素値を設定することもできる。第１のオブジェクト輪郭２０６内の領域２０６ａは、（図示のような）移動中の人物などの第１の移動オブジェクトのための均一なオブジェクトマスクを生成するために第２の画素値で隙間埋めすることが必要となり得る。

ビデオプロセッサ１０４は、動作時に、第１のＯＢＢ２０４を第１の宛先画像フレーム２０２の所定位置にコピーすることができる。例えば、このようなコピー操作は、「ｍｅｍｃｐｙ」コマンドなどのコピーコマンドを用いて行うことができる。「ｍｅｍｃｐｙ」コマンドは、第１のＯＢＢ２０４をコピー元から第１の宛先画像フレーム２０２にコピーする際に、第１のＯＢＢ２０４の情報を保持することができる。このような保持される情報は、第１のＯＢＢ２０４の画素値及び（画素座標情報などの）位置情報に対応することができる。コピー元は、ビデオコンテンツの現在の画像フレームに対応する、特定された中間オブジェクト輪郭画像を示すことができる。

図２Ｂを参照すると、図２Ａの第１の例示的なシナリオの動作シーケンスに従う、第１の宛先画像フレーム２０２、第１のＯＢＢ２０４、及び第１のＯＢＢ２０４内の第１の移動オブジェクトの第１のオブジェクト輪郭２０６が示されている。さらに、第１のオブジェクトマスク２０６ｂも示されている。

ある実施形態では、ビデオプロセッサ１０４が、第１の宛先画像フレーム２０２内の２つの画素の画素値を検出することができる。例えば、ビデオプロセッサ１０４は、第１のＯＢＢ２０４内の第１の画素が第３の画素値を有しているかどうかを検出することができる。ビデオプロセッサ１０４は、第１の宛先画像フレーム２０２内の隣接する第２の画素が第１の画素値を有しているかどうかをさらに検出することができる。ある実施形態では、ビデオプロセッサ１０４が、第１のＯＢＢ２０４内の検出された第１の画素に第１の画素値を割り当てることができる。このような（灰色などの）第１の画素値の割り当ては、隣接する第２の画素が第１の画素値を有していることが検出された時に行われる。

ある実施形態では、このような検出及び割り当てを、第１のＯＢＢ２０４の境界画素から開始することができる。このような検出及び割り当ては、第１のＯＢＢ２０４内の第１のオブジェクト輪郭２０６の外側の全ての画素に第１の画素値が割り当てられるまで１又はそれ以上の方向に進むことができる。例えば、このような検出及び割り当ては、第１のＯＢＢ２０４内で左から右及び／又は右から左に１行ずつ反復的に進むことができる。同様に、このような検出及び割り当ては、最上部から最下部及び／又は最下部から最上部に１列ずつ反復的に進むことができる。行又は列内における検出及び割り当ては、第１のＯＢＢ２０４の境界画素の一端から開始して、第１のＯＢＢ２０４のもう一方の端部まで１又はそれ以上の方向に進むことができる。行又は列内における検出及び割り当ては、第２の画素値を有する画素が検出されるまで進むことができる。換言すれば、このような検出及び割り当ては、白色などの第２の画素値を有する第１のオブジェクト輪郭２０６に出くわすまで行うことができる。

ある実施形態では、ビデオプロセッサ１０４が、第１のＯＢＢ２０４内の第３の画素値を有している可能性のある１又はそれ以上の画素に第２の画素値を割り当てることができる。第３の画素値は、第１のオブジェクト輪郭２０６内の領域２０６ａなどの１又はそれ以上の領域内に存在することができる。このような割り当ては、第１のＯＢＢ２０４内の２つの隣接する画素が第３の画素値及び第１の画素値でないことが検出された時に行われる。第２の画素値の割り当ては、第１のＯＢＢ２０４内の第１のオブジェクト輪郭２０６の隙間埋めに対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、第１の移動オブジェクトのための第１のオブジェクトマスク２０６ｂを動的に生成することができる。このような第１のオブジェクトマスク２０６ｂの生成は、第１の宛先画像フレーム２０２の第１のＯＢＢ２０４内の第１のオブジェクト輪郭２０６の隙間埋めに基づくことができる。

図２Ｃを参照すると、図２Ｂの第１の例示的なシナリオの動作シーケンスに従う、第２の宛先画像フレーム２０２’、第１の移動オブジェクトの第１のオブジェクト輪郭２０６、第１のオブジェクトマスク２０６ｂ、第２のＯＢＢ２０８、ボールの第２のオブジェクト輪郭２１０、及びボールの第２のオブジェクトマスク２１２が示されている。

第２の宛先画像フレーム２０２’は、第１の移動オブジェクトの第１のオブジェクトマスク２０６ｂを含む第１の宛先画像フレーム２０２に対応することができる。第２のＯＢＢ２０８は、生成された第２のＯＢＢ２０８（図１）に対応することができる。第２のＯＢＢ２０８は、ボールを含んでいる点を除いて第１のＯＢＢ２０４に類似する。ボールは、第２の移動オブジェクトに対応することができる。第１のＯＢＢ２０４及び第２のＯＢＢ２０８などのＯＢＢの範囲は、ＯＢＢ内に存在するオブジェクトのサイズに関連することができる。移動オブジェクトのサイズが大きい程、対応する移動オブジェクトを含むＯＢＢも大きくすることができる。

ある実施形態では、ビデオプロセッサ１０４が、第２のＯＢＢ２０８を第２の宛先画像フレーム２０２’の所定位置にコピーすることができる。この所定位置は、ビデオの３つの連続する画像フレームのうちの現在の画像フレーム内のボールの位置に対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、第２のＯＢＢ２０８内の第１の画素が第３の画素値を有しているかどうかを検出することができる。ビデオプロセッサ１０４は、第２の宛先画像フレーム２０２’内の隣接する第２の画素が第１の画素値を有しているかどうかをさらに検出することができる。ある実施形態では、ビデオプロセッサ１０４が、第２のＯＢＢ２０８内の検出された第１の画素に第１の画素値を割り当てることができる。このような検出及び割り当て技術は、ＯＢＢ２０４について上述したものと類似することができる。ある実施形態では、ビデオプロセッサ１０４が、第１のオブジェクトマスク２０２ｂの場合と同様に第２のＯＢＢ２０８内のボールの第２のオブジェクトマスク２１２を生成することができる。

生成された第１のオブジェクトマスク２０６ｂ及び第２のオブジェクトマスク２１２に基づいて、ビデオコンテンツの３つの連続する画像シーケンスから（人物などの）第１の移動オブジェクト及びボールを抽出することができる。このような第１の移動オブジェクト及びボール（第２の移動オブジェクト）の抽出は、別のビデオ期間に発生することができる別の３つの連続する画像シーケンスについて行うことができる。このような異なる期間における移動オブジェクトの抽出を用いて、特殊効果を含む動画を生成することができる。例えば、ビデオプロセッサ１０４は、異なる期間に抽出された移動オブジェクトをデジタル写真内でオーバーレイすることができる。

図３に、本開示の実施形態による、開示するビデオコンテンツ処理方法及びシステムを実装するための第２の例示的なシナリオを示す。図３の説明は、図１の要素に関連して行う。図１には、宛先画像フレーム３０２、ＯＢＢ３０４、任意の形のオブジェクトのオブジェクト輪郭３０６、黒色の画素を有するオブジェクト輪郭３０６内の領域３０６ａ、及び任意の形のオブジェクトのオブジェクトマスク３０６ｂを示している。

この第２の例示的なシナリオでは、宛先画像フレーム３０２が、第１の宛先画像フレームに対応することができる。ＯＢＢ３０４は、生成された第１のＯＢＢに対応することができる。任意の形のオブジェクトのオブジェクト輪郭３０６は、第１の移動オブジェクトの第１のオブジェクト輪郭に対応することができる。任意の形のオブジェクトは、アクセスが困難な場合がある１又はそれ以上の範囲を含むことができる。例えば、オブジェクト輪郭３０６の外側の、英語のアルファベット文字「Ｇ」に似た溝状領域「Ａ」がそれである。

ビデオプロセッサ１０４は、宛先画像フレーム３０２内に灰色などの第１の画素値を設定することができる。例えば、宛先画像フレーム３０２の全ての画素を灰色の背景値に設定することができる。ビデオプロセッサ１０４は、オブジェクト輪郭３０６から上記と同様の色属性を抽出することができる。例えば、このような抽出では、オブジェクト輪郭３０６に白色などの第２の画素値を設定することができる。また、第１のオブジェクト輪郭２０６内の領域３０６ａ、及びＯＢＢ３０４内のオブジェクト輪郭３０６の外側の矩形領域を黒色などの第３の画素値に設定することもできる。オブジェクト輪郭３０６内の領域３０６ａは、任意の形のオブジェクトのための均一なオブジェクトマスクを生成するために第２の画素値で隙間埋めすることが必要となり得る。

ある実施形態では、ビデオプロセッサ１０４が、ＯＢＢ３０４内の第１の画素が黒色などの第３の画素値を有しているかどうかを検出することができる。ビデオプロセッサ１０４は、宛先画像フレーム３０２内の隣接する第２の画素が第１の画素値を有しているかどうかをさらに検出することができる。例えば、第１の画素は、平面の（ｘ，ｙ）座標に対応する（ＯＢＢ３０４の最下部左側の領域を指す黒色の矢印で示す）画素座標（２，１０）を有することができる。「ｘ」座標は横軸を示し、「ｙ」座標は縦軸を示すことができる。隣接する第２の画素は、画素座標（１，１０）を有することができる。ある実施形態では、隣接する第２の画素（１，１０）が第１の画素値を有していることが検出された場合、ビデオプロセッサ１０４は、第１のＯＢＢ２０４内の検出された第１の画素（２，１０）に第１の画素値を割り当てることができる。

上述の例では、ＯＢＢ３０４内の第３の画素値を有している可能性のある連続する画素（３，１０）を続けて検出することができる。連続する画素（３，１０）に隣接する検出済みの第１の画素（２，１０）は、割り当ての結果として、この時点で第１の画素値を有することができる。従って、ビデオプロセッサ１０４は、第１の画素（２，１０）が第１の画素値を有していることが検出された時に、ＯＢＢ３０４内の検出された連続する画素（３，１０）に第１の画素値を割り当てることができる。

上述したように、このような検出及び割り当ては、ＯＢＢ３０４内のオブジェクト輪郭３０６の外側の全ての画素に第１の画素値が割り当てられるまで１又はそれ以上の方向に反復的に進むことができる。第１の反復で範囲「Ａ」などの一部の範囲が残った場合には、第２の反復で再び検出及び割り当て動作を開始することができる。上述したように、ＯＢＢ３０４内の２つの隣接する画素が第３の画素値及び第１の画素値であることが検出された場合には、常にこのような検出及び割り当てを行うことができる。第２の反復は、ＯＢＢ３０４内のオブジェクト輪郭３０６の外側の全ての画素に第１の画素値が割り当てられることを確実にするためのチェック機構に対応することができる。

ある実施形態では、ビデオプロセッサ１０４が、ＯＢＢ３０４内の第３の画素値を有する１又はそれ以上の画素に第２の画素値を割り当てることができる。第３の画素値は、オブジェクト輪郭３０６内の領域３０６ａに存在することができる。このような割り当ては、ＯＢＢ３０４内の２つの隣接する画素が第３の画素値及び第１の画素値を有していることが検出されない時に行われる。ビデオプロセッサ１０４は、このような割り当てに基づいて、任意の形のオブジェクトのためのオブジェクトマスク３０６ｂを動的に生成することができる。第２の画素値の割り当ては、均一色のオブジェクトマスク３０６ｂを生成するために、オブジェクト輪郭３０６を白色などの第２の画素値で隙間埋めすることに対応することができる。

図４Ａ、図４Ｂ及び図４Ｃは、本開示の実施形態による、例示的なビデオ処理方法を示すフローチャートである。図４Ａ、図４Ｂ及び図４Ｃには、フローチャート４００を示している。フローチャート４００の説明は、図１に関連して行う。方法は、ステップ４０２から開始してステップ４０４に進む。

ステップ４０４において、ビデオの画像シーケンスを受け取ることができる。ステップ４０６において、受け取ったビデオの画像シーケンスからの画像フレームをダウンサイズすることができる。

ステップ４０８において、画像シーケンス内のダウンサイズされた３つの連続する画像フレームを循環バッファにバッファ処理することができる。ステップ４１０において、前の画像フレームを現在の画像フレームに整列させることができる。

ステップ４１２において、整列した前の画像フレームと現在の画像フレームの間の第１の絶対差画像を特定することができる。ある実施形態では、特定された第１の絶対差画像から非重複領域を除去することができる。ある実施形態では、第１の絶対差画像が特定された際に、同時に非重複領域を除去することができる。ステップ４１４において、特定された第１の絶対差画像内の１又はそれ以上の移動オブジェクトに対応する１又はそれ以上のオブジェクト輪郭を検出することができる。

ステップ４１６において、第１の絶対差画像内の検出された１又はそれ以上のオブジェクト輪郭に基づいて第１のオブジェクト輪郭画像を特定することができる。制御は、これと並行してステップ４１８〜ステップ４２４に進むことができる。ステップ４１８において、次の画像フレームを現在の画像フレームに整列させることができる。

ステップ４２０において、整列した次の画像フレームと現在の画像フレームの間の第２の絶対差画像を特定することができる。ある実施形態では、特定された第２の絶対差画像から非重複領域を除去することができる。ある実施形態では、第２の絶対差画像が特定された際に、同時に非重複領域を除去することができる。ステップ４２２において、特定された第２の絶対差画像内の１又はそれ以上の移動オブジェクトに対応する１又はそれ以上のオブジェクト輪郭を検出することができる。

ステップ４２４において、第２の絶対差画像内の検出された１又はそれ以上のオブジェクト輪郭に基づいて、第２のオブジェクト輪郭画像を特定することができる。ステップ４２６において、生成された第１のオブジェクト輪郭画像と第２のオブジェクト輪郭画像との間の共通部分に基づいて、中間オブジェクト輪郭画像を特定することができる。

ステップ４２８において、中間オブジェクト輪郭画像の１又はそれ以上の部分にオブジェクト輪郭情報が存在しないかどうかを判定することができる。存在しない場合、制御はステップ４３０に進む。ステップ４３０において、勾配トレース操作に基づいて、存在しないオブジェクト輪郭情報を回復することができる。

ステップ４３２において、中間オブジェクト輪郭画像のオブジェクト輪郭情報と、中間オブジェクト輪郭画像に関連する勾配情報とを利用して、１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定することができる。ステップ４３４において、ビデオコンテンツ内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定することができる。このような特定は、特定されたオブジェクト輪郭情報、及び中間オブジェクト輪郭画像に関連する勾配情報に基づくことができる。

ステップ４３６において、特定された１又はそれ以上のオブジェクト輪郭に基づいて、１又はそれ以上の移動オブジェクトを検出することができる。ステップ４３８において、特定された１又はそれ以上のオブジェクト輪郭に基づいて、第１の移動オブジェクトの第１のオブジェクト輪郭を含む第１のＯＢＢを生成することができる。

ステップ４４０において、第１の移動オブジェクトの第１のオブジェクト輪郭を隙間埋めすることができる。ステップ４４２において、生成された第１のＯＢＢ内のオブジェクト輪郭の隙間埋めに基づいて、第１の宛先画像フレーム内に第１の移動オブジェクトのための第１のオブジェクトマスクを生成することができる。制御は、（図示のように）これと並行してステップ４４４〜ステップ４４６に進むことができる。

ステップ４４４において、第２の移動オブジェクトが検出された場合、第２の移動オブジェクトの第２のオブジェクト輪郭を含む第２のＯＢＢを生成することができる。このような第２のＯＢＢの生成は、特定された１又はそれ以上のオブジェクト輪郭に基づくことができる。ステップ４４６において、生成された第１のＯＢＢの範囲内で第２の移動オブジェクトの第２のオブジェクト輪郭が検出された場合、第２のＯＢＢを分割することができる。また、このような分割は、第２のオブジェクト輪郭が第１のオブジェクト輪郭に接していない時に行うことができる。

ステップ４４８において、第２の宛先画像フレーム内で、第２のＯＢＢ内の第２の移動オブジェクトの第２のオブジェクト輪郭を隙間埋めすることができる。このような第２の宛先画像フレームは、第１の移動オブジェクトのための生成された第１のオブジェクトマスクを含む第１の宛先画像フレームに対応することができる。ステップ４５０において、第２のＯＢＢ内の第２の移動オブジェクトの第２のオブジェクトマスクを生成することができる。

ステップ４５２において、生成された第１のオブジェクトマスク及び第２のオブジェクトマスクに基づいて、第１の移動オブジェクト及び第２の移動オブジェクトを抽出することができる。第２の移動オブジェクトが検出されない場合、制御は、ステップ４４２からステップ４５２に進むことができる。制御は、ステップ４５４に進んで終了する。

図５は、本開示の実施形態による、開示するビデオコンテンツ処理方法の例示的な隙間埋め技術を示すフローチャートである。図５には、図４Ｃのステップ４４０のサブステップについて説明するためのフローチャートを示している。フローチャート４４０の説明は、図１、図２Ａ、図２Ｂ、図２Ｃ、図４Ａ、図４Ｂ及び図４Ｃに関連して行う。このフローチャートは、ステップ４４０ａから開始してステップ４４０ｂに進む。

ステップ４４０ｂにおいて、第１の宛先画像フレーム内に第１の画素値を設定することができる。ステップ４４０ｃにおいて、特定された第１のオブジェクト輪郭から色属性を抽出して、特定された第１のオブジェクト輪郭内に第２の画素値が設定されるようにすることができる。

ステップ４４０ｄにおいて、生成された第１のＯＢＢを第１の宛先画像フレームの所定位置にコピーすることができる。ステップ４４０ｅにおいて、第１のＯＢＢ内の第１の画素が第３の画素値を有し、第１の宛先画像フレーム内の隣接する第２の画素が第１の画素値を有しているかどうかを検出する。第１のＯＢＢ内の第１の画素が第３の画素値を有し、隣接する第２の画素が第１の画素値を有している場合、制御はステップ４４０ｆに進むことができる。

ステップ４４０ｆにおいて、隣接する第２の画素が第１の画素値を有することが検出された場合、検出された第１の画素に第１の画素値を割り当てることができる。第１のＯＢＢ内の検出及び割り当てが完了するまでステップ４４０ｅ〜４４０ｆを繰り返すことができる。第１のＯＢＢ内の第１の画素が第３の画素値を有しておらず、隣接する第２の画素が第１の画素値を有している場合、制御はステップ４４０ｇに進むことができる。

ステップ４４０ｇにおいて、第１のＯＢＢ内の第３の画素値を有する１又はそれ以上の画素に第２の画素値を割り当てることができる。このような１又はそれ以上の画素に対する第２の画素値の割り当ては、第１の移動オブジェクトの第１のオブジェクト輪郭の隙間埋めを引き起こすことができる。制御は、ステップ４４０ｈに進んで終了する。

本開示の実施形態によれば、ビデオコンテンツ処理システムが開示される。ビデオ処理装置１０２（図１）などの装置が、１又はそれ以上のビデオプロセッサ（以下、ビデオプロセッサ１０４（図１）と呼ぶ）を含むことができる。ビデオプロセッサ１０４は、ビデオコンテンツ内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定することができる。さらに、ビデオプロセッサ１０４は、特定された１又はそれ以上のオブジェクト輪郭に基づいて、第１の移動オブジェクトの第１のオブジェクト輪郭を含むことができる第１のＯＢＢを生成することができる。さらに、ビデオプロセッサ１０４は、生成された第１のＯＢＢ内の第１のオブジェクト輪郭の隙間埋めに基づいて、第１の宛先画像フレーム内で第１の移動オブジェクトのための第１のオブジェクトマスクを動的に生成することができる。

本開示の様々な実施形態は、ビデオデータを処理する機械及び／又はコンピュータによって実行できる少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを記憶した、非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。ビデオプロセッサ１０４における少なくとも１つのコードセクションは、ビデオコンテンツ内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定することを含むステップを機械及び／又はコンピュータに実行させることができる。特定された１又はそれ以上のオブジェクト輪郭に基づいて、第１の移動オブジェクトの第１のオブジェクト輪郭を含むことができる第１のＯＢＢを生成することができる。生成された第１のＯＢＢ内の第１のオブジェクト輪郭の隙間埋めに基づいて、第１の宛先画像フレーム内の第１の移動オブジェクトのための第１のオブジェクトマスクを生成することができる。

本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に、本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示について説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。

Claims (19)

1. ビデオコンテンツ処理方法であって、
   ビデオプロセッサにおいて、
   前記ビデオコンテンツ内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定するステップと、
   前記特定された前記１又はそれ以上のオブジェクト輪郭に基づいて、第１の移動オブジェクトの第１のオブジェクト輪郭を含む第１のオブジェクト境界ボックス（ＯＢＢ）を生成するステップと、
   前記生成された前記第１のＯＢＢ内の前記第１のオブジェクト輪郭の隙間埋めに基づいて、第１の宛先画像フレーム内で前記第１の移動オブジェクトのための第１のオブジェクトマスクを動的に生成するステップと、
   前記第１の宛先画像フレーム内に第１の画素値を設定するステップと、
   前記特定された前記１又はそれ以上のオブジェクト輪郭から色属性を抽出して、前記特定された前記１又はそれ以上のオブジェクト輪郭内に第２の画素値が設定されるようにするステップと、
   前記生成された前記第１のＯＢＢを前記第１の宛先画像フレームの所定位置にコピーするステップと、
   を含むことを特徴とする方法。
2. 前記ビデオコンテンツの、前の画像フレーム、現在の画像フレーム及び次の画像フレームを含む３つの連続する画像フレームに基づいて、前記１又はそれ以上の移動オブジェクトを検出するステップをさらに含む、
   請求項１に記載の方法。
3. 前記現在の画像フレームを前記前の画像フレームに整列させ、前記次の画像フレームを前記現在の画像フレームに整列させるステップと、
   前記整列した前記現在の画像フレームと前記前の画像フレームとの間の第１の絶対差画像、及び前記整列した前記次の画像フレームと前記現在の画像フレームとの間の第２の絶対差画像を特定するステップと、
   をさらに含む請求項２に記載の方法。
4. 前記特定された前記第１の絶対差画像及び前記特定された前記第２の絶対差画像内の前記１又はそれ以上の移動オブジェクトに対応する前記１又はそれ以上のオブジェクト輪郭を検出するステップをさらに含む、
   請求項３に記載の方法。
5. 前記第１の絶対差画像内の前記検出された前記１又はそれ以上のオブジェクト輪郭に基づいて第１のオブジェクト輪郭画像を特定し、前記第２の絶対差画像内の前記検出された前記１又はそれ以上のオブジェクト輪郭に基づいて第２のオブジェクト輪郭画像を特定するステップをさらに含む、
   請求項４に記載の方法。
6. 前記特定された前記第１のオブジェクト輪郭画像と、前記特定された前記第２のオブジェクト輪郭画像との間の共通部分に基づいて、中間オブジェクト輪郭画像を特定するステップをさらに含む、
   請求項５に記載の方法。
7. 前記特定された前記中間オブジェクト輪郭画像、及び該中間オブジェクト輪郭画像に関連する勾配情報を、前記１又はそれ以上の移動オブジェクトの前記１又はそれ以上のオブジェクト輪郭の前記特定に利用するステップをさらに含む、
   請求項６に記載の方法。
8. 前記第１のＯＢＢ内の第１の画素が第３の画素値を有しており、前記第１の宛先画像フレーム内の隣接する第２の画素が前記第１の画素値を有しているかどうかを検出するステップと、
   前記隣接する前記第２の画素が前記第１の画素値を有していることが検出された場合、前記検出された前記第１の画素に前記第１の画素値を割り当てるステップと、
   をさらに含む請求項１に記載の方法。
9. 前記第１の画素値は灰色に対応し、前記第２の画素値は白色に対応し、前記第３の画素値は黒色に対応する、
   請求項８に記載の方法。
10. 前記第１のＯＢＢ内の２つの隣接する画素が前記第３の画素値及び第１の画素値でないことが検出された場合、前記第１のオブジェクト輪郭の前記隙間埋めのために、前記第１のＯＢＢ内の前記第３の画素値を有する１又はそれ以上の画素に前記第２の画素値を割り当てるステップをさらに含む、
    請求項８に記載の方法。
11. 前記ビデオコンテンツ内で前記第２の移動オブジェクトが検出された場合、該第２の移動オブジェクトを含む第２のＯＢＢを生成するステップをさらに含む、
    請求項１に記載の方法。
12. 前記生成された前記第２のＯＢＢを、前記第１の移動オブジェクトのための前記生成された前記第１のオブジェクトマスクを含む前記第１の宛先画像フレームに対応する第２の宛先画像フレームの所定位置にコピーするステップをさらに含む、
    請求項１１に記載の方法。
13. 前記第１の移動オブジェクトの前記生成された前記第１のオブジェクトマスクに関連する前記第２のＯＢＢ内の前記第２の移動オブジェクトの第２のオブジェクトマスクを生成するステップをさらに含む、
    請求項１２に記載の方法。
14. 前記生成された前記第１のオブジェクトマスク及び前記生成された前記第２のオブジェクトマスクに基づいて、前記第１の移動オブジェクト及び前記第２の移動オブジェクトを抽出するステップをさらに含む、
    請求項１３に記載の方法。
15. ビデオプロセッサを備えたビデオコンテンツ処理システムであって、
    前記ビデオプロセッサは、
    前記ビデオコンテンツ内の１又はそれ以上の移動オブジェクトの１又はそれ以上のオブジェクト輪郭を特定し、
    前記特定された前記１又はそれ以上のオブジェクト輪郭に基づいて、第１の移動オブジェクトの第１のオブジェクト輪郭を含む第１のオブジェクト境界ボックス（ＯＢＢ）を生成し、
    前記生成された前記第１のＯＢＢ内の前記第１のオブジェクト輪郭の隙間埋めに基づいて、第１の宛先画像フレーム内で前記第１の移動オブジェクトのための第１のオブジェクトマスクを生成し、
    前記ビデオプロセッサはさらに、
    前記第１の宛先画像フレーム内に第１の画素値を設定し、
    前記特定された前記１又はそれ以上のオブジェクト輪郭から色属性を抽出して、前記特定された前記１又はそれ以上のオブジェクト輪郭内に第２の画素値が設定されるようにし、
    前記ビデオプロセッサはさらに、前記生成された前記第１のＯＢＢを前記第１の宛先画像フレームの所定位置にコピーする、
    ことを特徴とするシステム。
16. 前記ビデオプロセッサはさらに、前記ビデオコンテンツの、前の画像フレーム、現在の画像フレーム及び次の画像フレームを含む３つの連続する画像フレームに基づいて、前記１又はそれ以上の移動オブジェクトを検出する、
    請求項１５に記載のシステム。
17. 前記ビデオプロセッサはさらに、
    前記第１のＯＢＢ内の第１の画素が第３の画素値を有しており、前記第１の宛先画像フレーム内の隣接する第２の画素が前記第１の画素値を有しているかどうかを検出し、
    前記隣接する前記第２の画素が前記第１の画素値を有していることが検出された場合、前記検出された前記第１の画素に前記第１の画素値を割り当てる、
    請求項１５に記載のシステム。
18. 前記第１の画素値は灰色に対応し、前記第２の画素値は白色に対応し、前記第３の画素値は黒色に対応する、
    請求項１７に記載のシステム。
19. 前記ビデオプロセッサはさらに、前記第１のＯＢＢ内の２つの隣接する画素が前記第３の画素値及び第１の画素値でないことが検出された場合、前記第１のオブジェクト輪郭の前記隙間埋めのために、前記第１のＯＢＢ内の前記第３の画素値を有する１又はそれ以上の画素に前記第２の画素値を割り当てる、
    請求項１７に記載のシステム。

Images