JP6378323B2 - 密な動き場を介する下位のビデオシーケンスへの画像編集伝達 - Google Patents

Description

本発明は、一般に、ビデオ編集の分野に関する。より正確には、本発明は、複数のフレームを含むビデオシーケンスを編集するための方法およびデバイスに関する。

このセクションは、以下で説明および／または特許請求される本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを意図している。この説明は、本発明の様々な態様のより良い理解を容易にする背景情報を読者に提供するのに役立つと思われる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

単一の画像（写真）が変更される、写真編集アプリケーションが知られている。プロの芸術家用またはホームユーザ用のいくつかのツールが、現在、利用可能である。利用することができる多種多様な画像変更タスクの中で、我々は、リカラーリング、ティンティング、ブラーリング、ペインティング／ドローイング、領域別効果適用に関連付けられたセグメント化／マスキング、クローニング、インペインティング、テクスチャ挿入、ロゴ挿入、オブジェクト除去などに言及することができる。

最新のビデオキャプチャリングシステム、処理システム、およびストリーミングシステムの出現とともに、エンドユーザによってキャプチャされた、または専門家による映像（映画、広告、ＳＦＸ）からキャプチャされた大量のビデオデータが、利用可能になり、ビデオ編集ツールが、ますますの普及をみせている。

第１に、単一の画像のレベルで考えると、我々は、先に言及された画像変更タスクをビデオシーケンス全体に対して実行することができることを望む。しかしながら、写真編集アプリケーションでビデオの各フレームを手動で編集することは、非常に時間がかかり、オペレータにとって苦痛である。

第２に、ビデオ（複数の画像）のレベルで考えると、ビデオ全体を変更するためのソリューションが、Ａｄｏｂｅ Ａｆｔｅｒ Ｅｆｆｅｃｔｓソフトウェアなど、数々のプロフェッショナル用のビデオ編集アプリケーションでは提供される。最初のフレームから後続フレームに情報を伝達させるための方法が、知られている。例えば、Ａｄｏｂｅ Ａｆｔｅｒ Ｅｆｆｅｃｔｓソフトウェアとバンドルされる、いわゆるツール「ＲｏｔｏＢｒｕｓｈ」に関連する文献である、米国特許出願公開第２０１０／００４６８３０号明細書は、セグメンテーションマスクを伝達させるための方法について説明している。それは、通常はユーザによって提供される初期化、動き推定に基づいた次のフレームの２つのクラス（前景／背景）への自動的なセグメンテーション、ならびに先にセグメント化されたフレームおよび元のフレームから抽出された組み合わされたカラーモデルを含む。しかしながら、セグメンテーションの自動的な時間的伝達のためのそのような方法は、情報の順次的な伝達に依存する。ユーザは、後続画像への伝達を続行する前に、自動的なセグメンテーションを訂正することができるが、ユーザは、中間フレームのすべてにプロセスを適用せずには、ビデオシーケンスのどのフレームも訂正することができず、他のどのフレームに伝達された結果も見ることができない。したがって、そのような方法は、対話的なマルチフレーム編集タスクのための、シーケンスのうちのいくつかのフレームについての結果が同時に表示される、表示インターフェースを提供しない。同じ分野で、国際公開第２０１２／０８８４７７号パンフレットは、ビデオシーケンス全体で、マスクを使用して、カラーまたはデプス情報を自動的に適用することについて開示している。その上、国際公開第２０１２／０８８４７７号パンフレットは、一連のシーケンシャルフレームが、同時に表示され、自動的マスクフィッティング方法を介した後続フレームへのマスク伝達の準備ができている、表示インターフェースを提供する。しかしながら、国際公開第２０１２／０８８４７７号パンフレットは、単一のピクセルを任意に変更することについて開示できていない。国際公開第２０１２／０８８４７７号パンフレットは、前景全体または動くオブジェクトマスク（またはセグメント）上で画像変換をどこに適用するべきかまたは適用するべきでないかを決定するために、マスク伝達プロセスを使用する。最初のフレーム内のマスクは、後続フレーム内では、同じオブジェクトに対応するものとして識別される。しかしながら、最初のフレームの各ピクセルは、後続フレーム内のピクセルとまったくマッチさせられることができず、これは、マスク伝達プロセスから推測されることができない。これは、先行技術が、瞬時伝達とともに点単位操作を適用することを不可能にする。ピクセル単位（pixel-wise）画像編集ツール（ペイントブラシ、消去、ドローイング、ペイントバケツ．．．）は、国際公開第２０１２／０８８４７７号パンフレットにおいて使用されるマスクを用いて、自明にビデオに外挿されることができない。

第３に、３Ｄオブジェクトのテクスチャを変更するためのビデオ編集方法の分野において、ソリューションが、提供される。例えば、ＥＰ１４９８８５０は、単純なテクスチャ画像に基づいて３Ｄオブジェクトの画像を自動的にレンダリングすること、レンダリングされた画像を変更すること、および３Ｄモデルを更新することによって変更を伝達させることについて開示している。しかしながら、この方法は、ソースから獲得されたビデオ画像には適用されず、３Ｄ合成におけるのとは異なり、オペレータは、モデルへのアクセスを有さない。

ビデオ編集アプリケーションの強く望まれる機能は、シーケンスのうちの任意の画像をピクセルレベルで編集することができること、および変化をシーケンスの残りに自動的に伝達させることができることである。

本発明は、１つの画像上で適用された変化を他に伝達させながら、いくつかのビデオフレームを同時に編集および視覚化するための方法に関する。

第１の態様では、本発明は、ビデオシーケンスを編集するための、プロセッサによって実行される方法であって、上記ビデオシーケンスのマザーフレームを表示するステップと、上記表示されたマザーフレームにユーザにより適用されたフレーム編集タスクを表す情報をキャプチャするステップであって、上記フレーム編集タスクは、上記表示されたマザーフレームの少なくともピクセルに関連する情報を変更する、ステップと、上記ビデオシーケンスの少なくとも１つのチャイルドフレームを同時に表示するステップであって、上記キャプチャされた情報は、時間的に伝達され、フレーム編集タスクを表す上記情報は、上記マザーフレームと上記少なくとも１つのチャイルドフレームとの間の動き場に基づき、上記表示されたマザーフレームの上記少なくともピクセルに対応する上記少なくとも１つのチャイルドフレーム内の少なくともピクセルに伝達される、ステップと、を含む、上記方法に関する。

さらなる有利な態様によると、上記方法は、上記マザーフレームを上記少なくとも１つのチャイルドフレームに結び付ける視覚要素を表示するステップであって、上記視覚要素が、ユーザ入力によって非アクティブ化されたとき、上記キャプチャされた情報の上記少なくとも１つのチャイルドフレームへの上記時間的伝達は、非アクティブ化される、ステップを含む。

別の有利な態様によると、上記少なくとも１つのチャイルドフレームは、上記マザーフレームから少なくとも１フレーム離れた、上記ビデオシーケンスのうちの任意のフレームを含む。

別の有利な態様によると、上記キャプチャされた情報は、フロムザリファレンス（ｆｒｏｍ−ｔｈｅ−ｒｅｆｅｒｅｎｃｅ）タイプの動き場によって、上記マザーフレームから上記少なくとも１つのチャイルドフレームに時間的に伝達させられる。

別の有利な態様によると、上記少なくとも１つのチャイルドフレーム内の上記時間的に伝達されたキャプチャされた情報は、トゥーザリファレンス（ｔｏ−ｔｈｅ−ｒｅｆｅｒｅｎｃｅ）タイプの動き場によって、上記マザーフレームから決定される。

第１の変形によると、編集タスクを表す上記情報は、ポインティング要素がその上に置かれた、上記マザーフレームのピクセルの位置を含み、上記時間的に伝達されたキャプチャされた情報は、上記マザーフレームの上記ピクセルに関連付けられた、上記チャイルドフレームへの、動きベクトルの関数である、上記少なくとも１つのチャイルドフレーム内の少なくとも位置を含む。

第２の変形によると、編集タスクを表す上記情報は、ペインティング要素がその上に置かれた、上記マザーフレームのピクセルの位置を含み、かつ、上記ペインティング要素に関連付けられた、上記マザーフレーム内の領域を含み、上記時間的に伝達されたキャプチャされた情報は、上記マザーフレームの上記ピクセルに関連付けられた、上記チャイルドフレームへの、動きベクトルの関数である、上記少なくとも１つのチャイルドフレーム内の少なくとも位置を含み、かつ、上記マザーフレームから上記チャイルドフレームへの上記領域の変換の結果である、上記少なくとも１つのチャイルドフレーム内の領域を含む。

第３の変形によると、編集タスクを表す上記情報は、多角形の頂点の順序付けられたリストに対応する、上記マザーフレーム内の位置の順序付けられたリストを含み、上記時間的に伝達されたキャプチャされた情報は、上記少なくとも１つのチャイルドフレーム内の位置の順序付けられたリストを含み、上記少なくとも１つのチャイルドフレーム内の各位置は、上記マザーフレーム内の各位置に関連付けられた、上記チャイルドフレームへの、動きベクトルの関数である。

第４の変形によると、編集タスクを表す上記情報は、上記マザーフレームの一組のピクセルのカラー値を含み、上記時間的に伝達されたキャプチャされた情報は、上記マザーフレームの上記一組のピクセルのカラー値の関数である、上記少なくとも１つのチャイルドフレーム内のピクセルのカラー値を含み、上記マザーフレーム内の上記一組のピクセルの位置は、上記少なくとも１つのチャイルドフレーム内の上記ピクセルに関連付けられた、上記マザーフレームへの、動きベクトルの関数である。

第１の変形から第３の変形までの改良されたものによると、上記マザーフレーム内の上記位置に対応する、上記少なくとも１つのチャイルドフレーム内の上記位置が、上記少なくとも１つのチャイルドフレーム内で隠蔽されるとき、上記キャプチャされた情報は、伝達されない。

第４の変形の改良されたものによると、上記少なくとも１つのチャイルドフレーム内の上記ピクセルの位置に対応する、上記マザーフレーム内の上記一組のピクセルの上記位置が、上記マザーフレーム内で隠蔽される場合、上記キャプチャされた情報は、伝達されない。

別の有利な態様によると、上記方法は、ユーザ入力に応答して、上記マザーフレームを置き換える新しいマザーフレームとしてチャイルドフレームを選択するステップを含む。

有利なことには、マルチフレームビデオ編集のための上記方法は、プロフェッショナルユーザのビデオ合成ワークフローを加速させることを可能にし、かつ、既存の技術と互換性がある。有利なことには、マルチフレームビデオ編集のための上記方法は、ホームユーザに適合された、例えば、テキスト挿入、オブジェクトセグメンテーションおよび領域別フィルタリング、カラー変更、オブジェクト除去に関連する、編集タスクが、十分に単純である限り、モバイルデバイスまたはタブレットにおける実装と互換性がある。これらの機能は、その場合、パーソナルビデオを変更し、ソーシャルネットワークにシェアするために、Ｔｅｃｈｎｉｃｏｌｏｒ Ｐｌａｙなどの、モバイルアプリケーションに組み込まれることができる。複数のユーザの間での共同ビデオ編集および合成も、これらのツールから利益を得ることができる。

第２の態様では、本発明は、上記開示された方法を実行するためのコンピュータ実行可能なプログラム命令を記憶した、コンピュータ可読記憶媒体に関する。

第３の態様では、本発明は、少なくとも１つのプロセッサと、上記少なくとも１つのプロセッサに結合されたディスプレイと、上記少なくとも１つのプロセッサに結合されたメモリと、を備える、デバイスに関し、上記メモリは、プログラム命令を記憶し、上記プログラム命令は、上記開示された方法を上記ディスプレイ上で実行するために、上記少なくとも１つのプロセッサによって実行可能である。

上記方法についての説明されたいずれの態様または変形も、上記開示された方法を処理することを意図されたデバイスと、およびプログラム命令を記憶するコンピュータ可読記憶媒体と互換性がある。

本発明の好ましい態様が、添付の図面を参照しながら、非限定的な例として、今から説明される。
好ましい実施形態による、方法のステップを示す図である。 本発明の特定の実施形態による、グラフィカルインターフェースの表示された要素を示す図である。 本発明の特定の実施形態による、マザーフレームと、伝達された情報を有するチャイルドフレームと、を示す図である。 本発明の特定の実施形態による、デバイスを示す図である。

伝達プロセスを含むマルチフレームビデオ編集のためのそのような方法の背後にある技術は、密な動き推定である。すなわち、参照画像のピクセル毎に、参照内のそのようなピクセルの位置をビデオシーケンスの別の画像内と結び付ける動きベクトルを割り当てる、利用可能な動き場である。動き場を生成するためのそのような方法は、同じ出願人によって２０１３年１月１７日に出願された、国際出願ＰＣＴ／ＥＰ１３／０５０８７０において説明されている。この国際出願は、ビデオシーケンスのうちの２つのフレームの間の、動き場とも呼ばれる、改善された密な変位写像を、マルチステップフロー方法を使用して、どのように生成するかについて説明している。そのような動き場は、本発明において使用される動き場と互換性がある。その上、この国際出願は、フロムザリファレンス動き場およびトゥーザリファレンス動き場という概念を導入する。

変形では、そのような動き場は、ビデオ編集タスクの上流において事前計算され、ビデオシーケンスのために記憶されるデータの量を増加させる。より多くのコンピューティング能力を必要とする、別の変形では、そのような動き場は、伝達タスクとともに、オンラインで計算される。

図１は、好ましい実施形態による、方法のステップを示している。

マザーフレームを表示する第１のステップ１０において、ビデオシーケンスをなすフレームのうちのフレームが、ユーザによって、入力インターフェースを通して、マザーフレームとして選択される。このマザーフレームは、方法を実現する処理デバイスに結合された表示デバイス上に表示される。参照フレームとも呼ばれる、マザーフレームは、編集タスクが適用されるフレームに対応する。以下では、フレームという用語または画像という用語は、区別せずに使用され、マザーフレームという用語または参照フレームという用語は、区別せずに使用される。

編集タスクを表す情報をキャプチャする第２のステップ２０において、先に詳述されたもののような編集タスクが、表示されたマザーフレーム上で、ユーザによって、手動で適用され、入力インターフェースを通して、キャプチャされる。（編集ツールとも呼ばれる）編集タスクの変形が、マルチフレーム画像編集のためのそれぞれの伝達モードとともに、これ以降で詳述される。開示される方法の範囲内の特に興味深い変形では、フレーム編集タスクは、表示されたマザーフレームの少なくともピクセルに関連する情報の一部を変更する。マザーフレームの変更に従ったビデオシーケンスの変更は、したがって、変更されたマザーフレームのピクセル単位の伝達を必要とする。

時間的に伝達された情報を有するチャイルドフレームを表示する第３のステップ２０では、ビデオシーケンスのフレームのうちの少なくともフレームが、ユーザによって、チャイルドフレームとして選択される。有利なことには、チャイルドフレームは、ビデオシーケンス内に時間的に分布される。すなわち、チャイルドフレームは、マザーフレームから有利に時間的に離れた、ビデオシーケンスのうちの任意のフレームを含む。チャイルドフレームも、方法を実現する処理デバイスに結合された表示デバイス上に表示される。マザーフレーム内において変更されたピクセルに対応する、チャイルドフレーム内のピクセルは、適宜変更される。そのために、マザーフレーム内の変更されたピクセルに対応する、チャイルドフレーム内のピクセルは、参照フレームとチャイルドフレームの間の密な動き場を通して決定される。与えられたフレームに付加され、フレームを別のフレームに結び付ける、動き場に加えて、隠蔽マスクは、現在の場内の、他の場内で隠蔽される、ピクセルを示す。有利なことには、編集タスクの伝達モデルの変形によると、隠蔽マスクは、マザーフレームのピクセルが、チャイルドフレーム内で隠蔽される場合、またはチャイルドフレームのピクセルが、マザーフレーム内で隠蔽される場合、時間的伝達を非アクティブ化する。

方法のステップは、有利なことには、並列で実行され、すなわち、マザーフレームとチャイルドフレームは、同時に表示され、ユーザが、マザーフレーム上で変更を入力すると、表示されたチャイルドフレーム内における変更の伝達が、瞬時に適用される。変形では、方法のステップは、順次的に実行され、すなわち、マザーフレームとチャイルドフレームは、一緒に表示され、ユーザが、マザーフレーム上で変更を入力すると、表示されたチャイルドフレーム内における変更の伝達は、変更を伝達させるコマンドをユーザが入力した後に初めて適用される。

改良されたものでは、表示されたチャイルドフレームばかりでなく、ビデオシーケンスのすべてのフレームに対する伝達も、やはりユーザによってコントロールされる。この実施形態は、伝達の処理が時間のかかるものである場合、特に有利である。したがって、編集タスクを、表示されたチャイルドフレームに最初にオンザフライで適用し、その後、ユーザによる検証の後、他のすべてのフレームに伝達させることが好ましいとすることができる。有利なことには、方法は、ビデオシーケンス全体をレンダリングするさらなるステップを含み、ビデオシーケンスは、編集タスクに関連する伝達された情報を含む。

変形によると、ビデオシーケンスのうちの任意のフレームが、ユーザによって、同じ編集タスクの間に、参照フレームとして、またはチャイルドフレームとして選択される。言い換えると、変更が、画像のいずれかに適用され、変化が、ビデオシーケンスのうちの他のフレームに自動的に伝達される。したがって、第１のマザーフレームを編集するユーザは、表示されたチャイルドフレームの１つに入力インターフェースを通してフォーカスを当て、フォーカスを当てられたチャイルドフレームを新しいマザーフレームとして関係付けることによって、マザーフレームを変更し得る。ユーザが、そのような画像にフォーカスを当てた場合、それが、瞬時に参照画像になる。この機能は、ビデオシーケンスのうちのフレーム間における変更の後方伝達および前方伝達という技術的問題を引き起こす。異なる画像に異なる変化を適用した場合に生じ得る対立は、異なる方法で解決されることができる。

● フォーカスを当てられた画像における現在の変化は、残りの画像に伝達され、すべての以前の変化と置き換わる。

● フォーカスを当てられた画像における現在の変化は、残りの画像に伝達され、同じマルチフレーム編集タスクを用いて以前に変更されていない、チャイルドフレーム内のそのようなピクセルだけと置き換わる。変化のこの履歴は、選択されたタスクが変更されたときに、リセットされる。

● フォーカスを当てられた画像における現在の変化は、同じマルチフレーム編集タスクを用いて（画像にフォーカスを当てて）直接的に変更されたそのようなピクセルを除いて、残りの画像に伝達される。

● 画像のいずれもが、まったく変更されることがないようにするために、ユーザによって、独立にロックされることができる。

● 新しい変更は、ユーザ定義された標準的なブレンディング方法、すなわち、アルファ、乗算、カラーバーン、減光、増光などを用いて、以前に変更されたピクセルと混ぜ合わされる。

他の対立は、編集タスクが複数のフレームに適用される場合に生じ得る。そのような編集タスクをビデオシーケンスのうちのすべてのフレームに伝達させる場合、複数の編集されたフレームのうちのどのフレームが、ビデオの残りのフレームのための参照として機能するか、疑問に思うことがある。この問題は、ビデオの残りへの伝達が、ユーザ検証の後、オフラインで実行される変形において、特に重要である。当業者は、様々な実施形態、すなわち、最新の編集されたフレームが、シーケンスのうちのすべてのフレームのための参照フレームとして機能すること、最も近くの編集されたフレームが、シーケンスのうちの所与のフレームのための参照フレームとして機能することが、本発明と互換性があることを理解する。有利なことには、密な動き場に基づいた伝達のための参照フレームの選択に関する様々な実施形態は、ユーザによってコントロールされる。

他の有利な態様によると、（編集ツールとも呼ばれる）編集タスクの変形実施形態が、説明される。各編集タスクは、マルチフレーム画像編集伝達モードに関連付けられる。

シーケンスのうちの画像は、例えば、マルチステップフロー方法を使用して計算された、密な動き場を用いて、参照画像に結び付けられる。有利なことには、長距離運動および対応場推定器が、使用される。この種の推定器は、時間的隠蔽、照明変化に対処するために、また最小変位ドリフト誤差に対処するために良好に適合される。変形では、それらの動き場は、別のシステムまたはアルゴリズムによって事前計算されると仮定される。

変化が参照フレームから残りのフレームに自動的に伝達させられる方法は、いくつかの方法で行われることができる。

● 点単位操作複製：編集タスクは、参照画像のピクセル上にポインティングデバイス（またはカーソル）を位置付けることを含む。ポインティングデバイスの位置付けは、チャイルド画像内の対応するピクセルにも、そのようなピクセルおよびそのような画像のペアのためのフロムザリファレンス動きベクトルに従って、同様に適用される。対応するピクセルは、チャイルド画像内の動きベクトルによって指し示される位置に最も近いピクセルに対応する。ピクセルが、チャイルド画像内で隠蔽される場合、操作は、伝達されない。そのような点単位操作複製の実施形態は、ユーザが参照画像内で描画するのに用いる、何らかのカラーおよびブラシタイプを有する、マルチフレームペイントブラシである。同じ描線が、チャイルド画像に適用される。

● スケーリングおよび変形を伴う点単位操作複製：選択されたツールおよび／または選択されたブラシタイプが、特定の形状およびサイズを有する場合、この形状は、中心点の位置付けに加えて、チャイルドフレーム内で変形されることもできる。スケーリングおよび変形を伴うそのような点単位操作複製の実施形態は、参照画像内で使用される円形ブラシである。そのような円形ブラシは、形状の長軸および短軸の変形に従って、チャイルド画像内でより大きいまたは小さい楕円形に変形される。変形では、形状は、チャイルドフレーム内で変更されず、すなわち、変換は、恒等関数に対応する。

● マルチフレーム多角形ベース選択：選択されたツールが、選択ツール（四角形選択、円形選択、投げ縄選択など）のファミリに属する場合、参照画像内における選択を定めるグラフィック経路または形状は、チャイルドフレーム内における選択に変換される。特に、選択は、多角形を定める一連の頂点と見なされる。頂点間の線分は選択の境界を決定し、選択は最初と最後の頂点の間で閉じられる。マルチフレーム選択は、そのような頂点を、密な動き場を使用して、参照フレーム内と同じ順序でチャイルドフレーム内に移すことによって、適用される。マザーフレーム内の多角形の頂点に対応するピクセルがチャイルド画像内で隠蔽される場合、頂点は伝達させられず、多角形は、頂点を含まない。内部領域および外部領域は、選択曲線の囲いエリアとして定められる。当業者は、マスクが、例えば、オブジェクトまたは背景エリアの輪郭として定義される、説明された先行技術のマスクフィッティング方法とは異なり、ここでは、領域が、一連のピクセル（すなわち、頂点）の位置によって定められることを理解する。

● マルチフレーム選択ベース効果：選択が、参照フレーム内で決定され、チャイルドフレームに瞬時に伝達された後、ぼけ、エンボス、色相、ピクセレートなどの、画像処理効果またはフィルターが、各フレーム内の各選択に適用される。

● ピクセルカラー伝達：参照フレーム内におけるピクセルレベルでの変更は、参照フレーム内のベクトル最終位置の内挿されたカラー値を伝達させることによって、トゥーザリファレンス動きベクトルを使用して、チャイルドフレームにコピーされることができる。このタスクは、ロゴの挿入を含む、テクスチャ挿入タスクのために有益である。ピクセルカラー伝達の２つの変形が、可能である。

○ 参照フレームが、完全に変更され、ユーザによる検証の後、参照内の対応する点が、変更された場合、チャイルドフレームピクセルが、更新される。

○ 参照が、変更されるときに、変更のエリアが決定され、チャイルドフレーム内の編集に対応するエリアを決定するために、フロムザリファレンスベクトルが使用され、その後、カラー情報をコピーすることによって、そのようなエリアに属するそれらのピクセルを更新するために、トゥーザリファレンスベクトルが、使用される。
参照フレーム内のピクセル、すなわち、チャイルドフレーム内の対応するピクセルに適用される動きベクトルトゥーザリファレンスから得られる参照フレーム内のピクセルが、隠蔽されている場合、マザーフレーム内のピクセルのカラー値は、伝達されない。空間的伝達による領域カラーフィリング、またはチャイルドフレーム内のカラー値のインペインティングなどの、代わりのソリューションは、そのような隠蔽された領域に良好に適する。

● ズーミング：いずれの画像編集ソフトウェアでも利用可能な基本的なツールが、ズーミングである。それは、画像自体の変更には関係しないが、マルチフレーム方法から利益を得ることができる。参照画像の特定の位置においてズームを適用している間、同じ操作、すなわち、同じパーセンテージのズーミングが、チャイルド画像内の対応する位置において適用されることができる。このように、編集プロセスが、簡素化される。

図２は、本発明の特定の実施形態による、グラフィカルインターフェースの表示された要素を示している。基本的な提案されるインターフェースは、コンテナウィンドウまたはワークエリア２０と、参照画像２０１および少なくとも１つのチャイルドフレーム２０２、２０３が同時に表示されるコンポーネントと、を含む。第２のコンテナは、少なくとも１つのマルチフレームツール２１０を含む、ツールボックス２１である。視覚要素２０４は、チャイルドフレーム２０２が、それがアクティブ状態にある場合は、参照フレーム２０１における変化がチャイルドフレーム２０２に伝達するように、参照フレーム２０１に結び付けられていることを示す。ユーザは、ツールボックス２１からツール２１０を選択し、参照フレーム２０１上で編集タスクを適用する。効果は、チャイルド２０２に伝達させられる。例えば、ドローツール２０５を用いて、ユーザが、参照フレーム２０１上で描画すると、描線が、アクティブなチャイルドフレーム２０２内にも出現する。対照的に、チャイルドフレーム２０３が、参照フレーム２０１に結び付けられていないことを視覚要素２０４が示す場合、参照フレーム２０１における変化はチャイルドフレーム２０２に伝達させられない。変形では、インターフェースは、編集の任意のステップにおいて、ビデオシーケンスがレンダリングされる、第３のコンテナ（図示せず）を含む。

図３は、本発明の特定の実施形態による、マザーフレームと、伝達されキャプチャされた情報を有するチャイルドフレームと、を示す図である。例えば、変更が適用される参照フレーム３０が、表示される。変更は、人物の顔の色を変更すること、人物のロープ上の長方形を明るくすること、および人物の腕上に青い線を描画することを含む。シーケンスの時間的に離れたフレームに対応する、チャイルドフレーム３１では、変更が、自動的に伝達されている。ビデオシーケンスに関連付けられた密な動き場のために、マザーフレームのいずれのピクセルに適用される変更の伝達も、可能である。

当業者は、方法が、特別な機器を必要とせずに、グラフィック処理ユニットを含むまたは含まない、ＰＣ、ラップトップ、タブレット、ＰＤＡ、モバイルフォンなどの、デバイスによって、きわめて容易に実現されることができることも理解する。異なる変形によると、方法についての説明された機能は、ソフトウェアモジュールで、またはハードウェアモジュールで実現されている。図４は、本発明の特定の実施形態による、ビデオシーケンスを編集するためのデバイスを示している。デバイスは、ソース部から獲得されたビデオビットストリームを処理するように意図された任意のデバイスである。本発明の異なる実施形態によると、ソース部は、ローカルメモリ、例えば、ビデオメモリ、ＲＡＭ、フラッシュメモリ、ハードディスクと、ストレージインターフェース、例えば、大容量ストレージ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェースと、通信インターフェース、例えば、有線インターフェース（例えば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）、または（ＩＥＥＥ８０２．１１インターフェースもしくはＢｌｕｅｔｏｏｔｈインターフェースなどの）無線インターフェースと、画像キャプチャリング回路（例えば、ＣＣＤ（もしくは電荷結合素子）またはＣＭＯＳ（もしくは相補型金属酸化物半導体）などのセンサ）と、を備える、セットに属する。特に、ビデオビットストリームは、モデルの合成によって獲得される、コンピュータアニメーションとも呼ばれる、ダイナミックなコンピュータ生成画像（ＣＧＩ）とは異なる。デバイス４００は、本発明の実施形態を実現するように意図された物理的な手段、例えば、プロセッサ４０１（ＣＰＵまたはＧＰＵ）と、データメモリ４０２（ＲＡＭ、ＨＤＤ）と、プログラムメモリ４０３（ＲＯＭ）と、ユーザに対する情報の表示および／またはデータもしくはパラメータの入力のために適合された、マンマシン（ＭＭＩ）インターフェース４０４または特定のアプリケーション（例えば、ユーザがフレームを選択および編集することを可能にする、キーボード、マウス、タッチスクリーン．．．）と、機能のいずれかをハードウェアで実現するためのモジュール４０５と、を備える。マンマシンインターフェースという用語とユーザインターフェースという用語は、本明細書では、区別せずに使用される。有利なことには、データメモリ４０２は、ビデオシーケンスを表すビットストリームと、ビデオシーケンスに関連付けられた一組の密な動き場と、本明細書で説明された方法のステップを実現するためにプロセッサ４０１によって実行可能であり得るプログラム命令と、を記憶する。先に明らかにされたように、密な動きの生成は、有利なことに、例えば、ＧＰＵにおいて、または専用ハードウェアモジュール４０５によって、事前計算される。有利なことには、プロセッサ４０１は、プロセッサに結合された表示デバイス４０４上に、マザーフレームおよびチャイルドフレームを表示するように構成される。変形では、プロセッサ４０１は、ビデオシーケンスの並列処理を可能にし、その結果、計算時間を短縮する、表示デバイスに結合された、グラフィック処理ユニットである。別の変形では、編集方法は、ネットワーククラウドにおいて、すなわち、ネットワークインターフェースを通して接続された分散プロセッサにおいて実現される。したがって、物理的な実施形態の変形は、キャプチャされた情報を伝達させる変形実施形態を実現するように設計され、伝達は、ビデオのすべてのフレームに対してオンザフライで適用され、その結果、大量の並列コンピューティングを必要とし、または伝達は、表示されるチャイルドフレームのみに対して最初に処理され、ビデオフレームの残りに対しては後で処理される。

本説明ならびに（適切な場合は）特許請求の範囲および図面において開示される各態様は、独立して、または任意の適切な組み合わせで提供され得る。ソフトウェアで実現されるものとして説明された態様は、ハードウェアでも実現され得、逆も成り立つ。特許請求の範囲内に現れる参照番号は、もっぱら説明のためのものであり、特許請求の範囲を限定する効果を有することはない。

本発明の別の態様では、プログラム命令は、任意の適切なコンピュータ可読記憶媒体を介して、デバイス４００に提供され得る。コンピュータ可読記憶媒体は、１または複数のコンピュータ可読媒体内で具体化され、その上で具体化されたコンピュータによって実行可能であるコンピュータ可読プログラムコードを有する、コンピュータ可読プログラム製品の形態を取ることができる。本明細書で使用される場合、コンピュータ可読記憶媒体は、その中に情報を記憶するための固有の能力、およびそこからの情報の取り出しを提供するための固有の能力を与えられた、非一時的な記憶媒体であると見なされる。コンピュータ可読記憶媒体は、例えば、電子的な、磁気的な、光学的な、電磁気的な、赤外線の、もしくは半導体のシステム、装置、もしくはデバイス、または上記のものの任意の適切な組み合わせであることができるが、それらに限定されない。以下のもの、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記のものの任意の適切な組み合わせは、本発明の原理が適用されることができるコンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、説明に役立つが網羅的ではないリストにすぎないことを理解されたい。

当然ながら、本発明は、先に説明された実施形態に限定されない。特に、編集ツールの様々な実施形態が、それらのマルチフレーム伝達モデルとともに説明される場合、本発明は、説明されたツールに限定されない。特に、当業者は、説明された実施形態から、写真編集において知られた他の編集ツールについての伝達モデルを容易に一般化するであろう。
［付記１］
ビデオシーケンスを編集するための方法であって、
前記ビデオシーケンスのマザーフレームを表示するステップ（１０）と、
前記表示されたマザーフレームにユーザにより適用されたフレーム編集タスクを表す情報をキャプチャするステップ（１１）であって、前記フレーム編集タスクが前記表示されたマザーフレームの少なくともピクセルに関連する情報を変更する、ステップと、
前記ビデオシーケンスの少なくとも１つのチャイルドフレームを表示するステップ（１２）であって、前記キャプチャされた情報が時間的に伝達される、ステップと、
を備え、
前記フレーム編集タスクを表す情報が、前記マザーフレームと前記少なくとも１つのチャイルドフレームとの間の動き場に基づき、前記表示されたマザーフレームの少なくともピクセルに対応する前記少なくとも１つのチャイルドフレームにおける少なくともピクセルに伝達される、前記方法。
［付記２］
前記マザーフレームを前記少なくとも１つのチャイルドフレームに結合する視覚要素を表示するステップをさらに備え、前記視覚要素がユーザ入力により非アクティブ化されたとき、前記少なくとも１つのチャイルドフレームへの前記キャプチャされた情報の前記時間的な伝達が非アクティブ化される、付記１に記載の方法。
［付記３］
前記少なくとも１つのチャイルドフレームは、前記マザーフレームから少なくとも１フレーム離れた、前記ビデオシーケンスのうちの任意のフレームを含む、付記１または２に記載の方法。
［付記４］
前記キャプチャされた情報は、フロムザリファレンスタイプの動き場に基づき、前記マザーフレームから前記少なくとも１つのチャイルドフレームに時間的に伝達させられる、
付記１から３のいずれかに記載の方法。
［付記５］
前記少なくとも１つのチャイルドフレーム内の前記時間的に伝達されたキャプチャされた情報は、トゥーザリファレンスタイプの動き場に基づき、前記マザーフレームから決定される、付記１から４のいずれかに記載の方法。
［付記６］
編集タスクを表す前記情報は、ポインティング要素が置かれた前記マザーフレームのピクセルの位置を含み、
前記時間的に伝達されたキャプチャされた情報は、前記マザーフレームの前記ピクセルに関連付けられた、前記チャイルドフレームへの、動きベクトルの関数である、前記少なくとも１つのチャイルドフレームの少なくとも位置を含む、付記１から５のいずれかに記載の方法。
［付記７］
編集タスクを表す前記情報は、ペインティング要素が置かれた前記マザーフレームのピクセルの位置を含み、かつ、前記ペインティング要素に関連付けられた前記マザーフレーム内の領域を含み、
前記時間的に伝達されたキャプチャされた情報は、前記マザーフレームの前記ピクセルに関連付けられた、前記チャイルドフレームへの、動きベクトルの関数である、前記少なくとも１つのチャイルドフレームの少なくとも位置を含み、かつ、前記マザーフレームから前記チャイルドフレームへの前記領域の変換の結果である前記少なくとも１つのチャイルドフレーム内の領域を含む、付記１から５のいずれかに記載の方法。
［付記８］
編集タスクを表す前記情報は、多角形の頂点の順序付けられたリストに対応する前記マザーフレーム内の位置の順序付けられたリストを含み、
前記時間的に伝達されたキャプチャされた情報は、前記少なくとも１つのチャイルドフレーム内の位置の順序付けられたリストを含み、前記少なくとも１つのチャイルドフレーム内の各位置は、前記マザーフレーム内の各位置に関連付けられた、上記チャイルドフレームへの、動きベクトルの関数である、付記１から５のいずれかに記載の方法。
［付記９］
編集タスクを表す前記情報は、前記マザーフレームの一組のピクセルのカラー値を含み、
前記時間的に伝達されたキャプチャされた情報は、前記マザーフレームの前記一組のピクセルのカラー値の関数である、前記少なくとも１つのチャイルドフレーム内のピクセルのカラー値を含み、前記マザーフレーム内の前記一組のピクセルの位置は、前記少なくとも１つのチャイルドフレーム内の前記ピクセルに関連付けられた、前記マザーフレームへの、動きベクトルの関数である、付記１から５のいずれかに記載の方法。
［付記１０］
前記マザーフレーム内の前記位置に対応する、前記少なくとも１つのチャイルドフレーム内の前記位置が、前記少なくとも１つのチャイルドフレーム内で隠蔽されるとき、前記キャプチャされた情報は伝達されない、付記６から８のいずれかに記載の方法。
［付記１１］
前記少なくとも１つのチャイルドフレーム内の前記ピクセルの位置に対応する前記マザーフレーム内の前記一組のピクセルの位置が前記マザーフレーム内で隠蔽されるとき、前記キャプチャされた情報は伝達されない、付記９に記載の方法。
［付記１２］
ユーザ入力に応答して、前記マザーフレームを置き換える新しいマザーフレームとしてチャイルドフレームを選択するステップをさらに備えた、付記１から１１のいずれかに記載の方法。
［付記１３］
付記１から１２のいずれかに記載の方法を実行するためのコンピュータ実行可能なプログラム命令を記憶したコンピュータ可読記憶媒体。
［付記１４］
少なくとも１つのプロセッサ（４０１）と、
前記少なくとも１つのプロセッサに結合されたディスプレイ（４０４）と、
前記少なくとも１つのプロセッサに結合されたメモリ（４０２）と、
を備え、前記メモリはプログラム命令を記憶し、前記プログラム命令は、前記ディスプレイ上で付記１から１２のいずれかに記載の方法を実行するために、前記少なくとも１つのプロセッサにより実行可能である、装置（４００）。

Claims (14)

1. ビデオシーケンスを編集するための方法であって、
   前記ビデオシーケンスのマザーフレームを表示することと、
   前記表示されたマザーフレームにユーザにより適用されたフレーム編集タスクを表す情報をキャプチャすることであって、前記フレーム編集タスクが前記表示されたマザーフレームの少なくともピクセルに関連する情報を変更する、ことと、
   前記ビデオシーケンスの少なくとも１つのチャイルドフレームを時間的領域において表示することであって、前記キャプチャされた情報が時間的に伝達される、ことと、
   を備え、
   前記フレーム編集タスクを表す情報が、前記マザーフレームと前記少なくとも１つのチャイルドフレームとの間の動き場により決定され、前記表示されたマザーフレームの少なくともピクセルに前記時間的領域において対応する前記少なくとも１つのチャイルドフレームにおける少なくともピクセルに伝達され、
   ユーザ入力に応答して、前記マザーフレームを置き換える新しいマザーフレームとしてチャイルドフレームを選択することをさらに備えた、前記方法。
2. 前記マザーフレームを前記少なくとも１つのチャイルドフレームに結合する視覚要素を表示することをさらに備え、前記視覚要素の非アクティブ化を受信すると、前記少なくとも１つのチャイルドフレームへの前記キャプチャされた情報の前記時間的な伝達が非アクティブ化される、請求項１に記載の方法。
3. 前記少なくとも１つのチャイルドフレームは、前記マザーフレームから少なくとも１フレーム離れた、前記ビデオシーケンスのうちの任意のフレームを含む、請求項１または２に記載の方法。
4. 前記キャプチャされた情報は、フロムザリファレンスタイプの動き場に基づき、前記マザーフレームから前記少なくとも１つのチャイルドフレームに時間的に伝達させられ、
   前記フロムザリファレンスタイプの動き場は、
   基礎の動き場の入力の組に基づいて得られた現フレーム及び中間フレームの間の第１動きベクトルと、前記基礎の動き場の入力の組に基づいて得られた中間フレーム及び参照フレームの間の第２動きベクトルとの和として計算される動きベクトルであって、前記参照フレームを始点とする動きベクトルによって構成される動き場である、請求項１から３のいずれか１項に記載の方法。
5. 前記少なくとも１つのチャイルドフレーム内の前記時間的に伝達されたキャプチャされた情報は、トゥーザリファレンスタイプの動き場に基づき、前記マザーフレームから決定され、
   前記トゥーザリファレンスタイプの動き場は、
   基礎の動き場の入力の組に基づいて得られた現フレーム及び中間フレームの間の第１動きベクトルと、前記基礎の動き場の入力の組に基づいて得られた中間フレーム及び参照フレームの間の第２動きベクトルとの和として計算される動きベクトルであって、前記参照フレームを終点とする動きベクトルによって構成される動き場である、請求項１から４のいずれか１項に記載の方法。
6. 編集タスクを表す前記情報は、ポインティング要素が置かれた前記マザーフレームのピクセルの位置を含み、
   前記時間的に伝達されたキャプチャされた情報は、前記マザーフレームの前記ピクセルに関連付けられた、前記チャイルドフレームへの、動きベクトルの関数である、前記少なくとも１つのチャイルドフレームの少なくとも位置を含む、請求項１から５のいずれか１項に記載の方法。
7. 編集タスクを表す前記情報は、ペインティング要素が置かれた前記マザーフレームのピクセルの位置を含み、かつ、前記ペインティング要素に関連付けられた前記マザーフレーム内の領域を含み、
   前記時間的に伝達されたキャプチャされた情報は、前記マザーフレームの前記ピクセルに関連付けられた、前記チャイルドフレームへの、動きベクトルの関数である、前記少なくとも１つのチャイルドフレームの少なくとも位置を含み、かつ、前記マザーフレームから前記チャイルドフレームへの前記領域の変換の結果である前記少なくとも１つのチャイルドフレーム内の領域を含む、請求項１から５のいずれか１項に記載の方法。
8. 編集タスクを表す前記情報は、多角形の頂点の順序付けられたリストに対応する前記マザーフレーム内の位置の順序付けられたリストを含み、
   前記時間的に伝達されたキャプチャされた情報は、前記少なくとも１つのチャイルドフレーム内の位置の順序付けられたリストを含み、前記少なくとも１つのチャイルドフレーム内の各位置は、前記マザーフレーム内の各位置に関連付けられた、上記チャイルドフレームへの、動きベクトルの関数である、請求項１から５のいずれか１項に記載の方法。
9. 編集タスクを表す前記情報は、前記マザーフレームの一組のピクセルのカラー値を含み、
   前記時間的に伝達されたキャプチャされた情報は、前記マザーフレームの前記一組のピクセルのカラー値の関数である、前記少なくとも１つのチャイルドフレーム内のピクセルのカラー値を含み、前記マザーフレーム内の前記一組のピクセルの位置は、前記少なくとも１つのチャイルドフレーム内の前記ピクセルに関連付けられた、前記マザーフレームへの、動きベクトルの関数である、請求項１から５のいずれか１項に記載の方法。
10. 前記マザーフレーム内の前記位置に対応する、前記少なくとも１つのチャイルドフレーム内の前記位置が、前記少なくとも１つのチャイルドフレーム内で隠蔽されるとき、前記キャプチャされた情報は伝達されない、請求項６から８のいずれか１項に記載の方法。
11. 前記少なくとも１つのチャイルドフレーム内の前記ピクセルの位置に対応する前記マザーフレーム内の前記一組のピクセルの位置が前記マザーフレーム内で隠蔽されるとき、前記キャプチャされた情報は伝達されない、請求項９に記載の方法。
12. 請求項１から１１のいずれか１項に記載の方法を実行するためのコンピュータ実行可能なプログラム命令を記憶したコンピュータ可読記憶媒体。
13. １つのディスプレイに結合された少なくとも１つのプロセッサを備える装置であって、
    前記少なくとも１つのプロセッサは、
    ビデオシーケンスのマザーフレームを表示し、
    前記表示されたマザーフレームにユーザにより適用されたフレーム編集タスクを表す情報をキャプチャすることであって、前記フレーム編集タスクが前記表示されたマザーフレームの少なくともピクセルに関連する情報を変更し、
    前記ビデオシーケンスの少なくとも１つのチャイルドフレームを時間的領域において表示することであって、前記キャプチャされた情報が時間的に伝達される、
    ように適応されており、
    前記少なくとも１つのプロセッサはさらに、
    前記フレーム編集タスクを表す情報を、前記マザーフレームと前記少なくとも１つのチャイルドフレームとの間の動き場により決定され、前記表示されたマザーフレームの少なくともピクセルに前記時間的領域において対応する前記少なくとも１つのチャイルドフレームにおける少なくともピクセルに伝達するように適応されていることを特徴とする前記装置。
14. 請求億１３に記載の装置と、
    前記少なくとも１つのプロセッサに結合されたディスプレイと、
    を備える機器。