JP5451769B2 - 同じイベントの動画及び静止画をこのビデオのグローバル運動ベクトルに基づき合併すること - Google Patents

Description

本発明は、ビデオシーケンス内に静止画を一体化する方法に関する。本発明は更に、ビデオシーケンス内に静止画を一体化するデバイス及びコンピュータプログラムに関する。

今日において、より多くの人が、ビデオ及び写真キャプチャリング機能つきのデジタルデバイスを用いて自分たちの経験の音声映像記録をキャプチャしている。音声映像記録に関する技術は、ますます広範囲にわたり、かつ効率的である。今日では、短いビデオシーケンスを記録する能力を持つ光学カメラ、又は組み込み型高解像度写真及びビデオカメラ付き携帯電話を見かけることは、かなり一般的である。これらのデジタルデバイスの入手可能性は浸透しているので、実際、大部分のユーザは、同じイベントの写真及びビデオの両方を記録するか、又はイベントにいた１人又は複数の他人からそれらを受信するのに慣れている。従って、ユーザが同じ出来事、位置及び時間を参照するビデオ及び写真マテリアルを持つことは、かなり一般的である。

個人の音声映像記録を編集及び管理する際にユーザを助ける多くのアイデア及びシステムが与えられてきた。例えば、自動ビデオ編集及び半自動式のホームビデオ編集のためのシステムがある。

ストレージデバイスの容量が絶えず増大することは、ユーザが、多くの写真を撮影し、いかなる選択なしにもそれらを格納することを可能にする。この圧倒的な量のデータは、適当な視覚化ツールがないことと合わさって、ユーザがそれらの記録された思い出をたまにしか見ないことをもたらす場合がある。

ビデオ内に何らかの写真を加えることによりビデオを豊かにするため、フォトセットが利用されることもできる。所与の写真の連続したサブ部分を抽出することにより、いくつかの小さなビデオクリップが、人工的に生成され、ビデオに含まれることができる。基本的な仮定は、ビデオストリームにいくつかの内容関連の写真を加えることにより、結果として生じるビデオが、一つのビデオソースを考慮することよりもユーザにとってずっと有益であるということである。Muvee TechnologiesからのMuvee Reveal AutoProducerは、ビデオに写真を挿入することを可能にする市販ソフトウェアパッケージの例である。写真は、いくつかの仮想カメラ運動を用いてアニメーション化される。このアイデアは、こうすることによって、写真を見ることが、ユーザにとってより楽しい経験になる可能性があるというものである。

ユーザが同じイベントを参照するビデオ及び写真マテリアルの両方を持つことはかなり一般的だが、この情報を共同で利用する試みはほとんど実行されてこなかった。一方、メディア美学的ルールに基づき２つのデータソースを混合するための既知の試みは何ら実行されてこなかった。

従って、ビデオ及び静止画を結合する代替的な方法が有利である。特に、写真及びビデオの組合せが視覚的により魅力的な経験によって強化されたユーザ経験を与えるような方法が有利である。

従って、本発明は、好ましくは、単独で又は任意の組合せにおいて、上述の不利な点の１つ又は複数を緩和、軽減又は除去しようとするものである。特に、本発明の目的は、静止画及びビデオの間の移行の視覚的概観を改善する方法を与えることにある。

この目的及び他の複数の目的は、ビデオシーケンス内に静止画を一体化する方法を提供することにより、本発明の第１の側面において得られ、この方法は、
ビデオシーケンス及び静止画を得るステップと、
合成されたビデオシーケンスを作成するステップとを有し、
上記合成されたビデオシーケンスを作成するステップが、
上記静止画が含まれることになるビデオシーケンスにおける挿入位置での上記ビデオシーケンスにおけるビデオカメラ運動を推定するステップと、
上記静止画のサブフレームの仮想ビデオシーケンスを作成するステップであって、上記仮想ビデオシーケンスが、仮想カメラ運動を持ち、上記仮想ビデオシーケンスの上記仮想カメラ運動が、上記挿入位置での上記ビデオカメラ運動に相関される、ステップと、
上記ビデオシーケンス及び上記仮想ビデオシーケンスを上記合成されたビデオシーケンスに結合するステップとを含む。

ビデオ内の挿入位置でのビデオカメラ運動に相関される仮想カメラ運動を持つ静止画のサブフレームの仮想ビデオシーケンスを作成することにより、ビデオからの写真へのシームレスな移行が得られることができる。単にビデオストリームに静止画像を加えることは、視覚の連続性を妨げることになる。単に任意の仮想カメラ運動を加えることにより写真をアニメーション化することは、不自然で変な効果を生成することになる。ビデオカメラ運動に仮想カメラ運動を相関させることにより、いかなる妨害的な視覚又は音声効果を生み出すことなく、写真が、ビデオストリームにシームレスかつ連続的に溶け込む。

「相関される」という用語は、「関連付けられる」又は「関連する」と同義であり、「仮想カメラ運動が、ビデオカメラ運動に相関される」という用語は、仮想カメラ運動の決定の間ビデオカメラ運動が考慮されること、及び仮想カメラ運動がある程度、ビデオカメラ運動に従うようにされることを表すものとして意味される。１つの例は、仮想カメラ運動がビデオカメラ運動に類似する、又は同じであるようになされることである。

「仮想ビデオシーケンス」という用語は、静止画のサブフレームのシーケンスを表すものとして意味され、各サブフレームが、ビデオシーケンスに含まれる画像の寸法に再スケールされ、このサブフレームのシーケンスは一緒に、可能性として動きのある場面を表す。「仮想カメラ運動」は、例えばクロッピング及び／又は再スケーリングにより、写真の一部から得られるフレームのシーケンスにおけるシミュレーションされたカメラ運動に対応する仮想ビデオシーケンスにおける視覚効果である。仮想カメラ運動のフレームは、「サブフレーム」又は「静止画のサブフレーム」と表される。従って、「サブフレーム」という用語は、静止画の連続的な一部を表すものとして意味される。サブフレームは通常、サブフレーム上でズームインすることに対応して、静止画のピクセル寸法まで内挿される。「挿入位置」という用語は、ビデオシーケンスのフレームの範囲に含まれる位置、即ちタイムリな位置を表すものとして意味される。従って、この用語は、ビデオシーケンスの単一のフレーム内に静止画の一部を挿入することに関連付けられるものではない。

仮想カメラ運動の効果をはっきり見えるようにするため、ビデオとアニメーション化された写真との間のハードカットが設定されることができる。しかしながら、フェージング又はディゾルブ移行が、移行をより滑らかにするために適用されることができる。

この方法の側面によれば、上記仮想ビデオシーケンスの始まりにおける上記仮想カメラ運動が、上記挿入位置の前の上記ビデオシーケンスにおける上記推定されたカメラ運動に相関される。これにより、ビデオシーケンスから静止画のサブフレームの仮想ビデオシーケンスへの円滑な移行が実現される。追加的又は代替的に、上記仮想ビデオシーケンスの終わりにおける上記仮想カメラ運動が、上記挿入位置に対して後続の上記ビデオシーケンスにおける上記推定されたカメラ運動に相関される。これにより、静止画のサブフレームの仮想ビデオシーケンスからビデオシーケンスへの円滑な移行が実現される。

この方法の別の側面によれば、この方法は更に、上記挿入位置を決定するステップを有する。挿入位置の斯かる決定は、同期に基づかれることができる。例えば静止画及びビデオシーケンスと共に格納されるタイムスタンプ情報に基づかれることができる。静止画を取る瞬間の近くの時間点で記録されるビデオセグメントの間にこの静止画が挿入されるよう、挿入位置は有利に決定されることができる。挿入位置は、ビデオシーケンス及び静止画上で特定される類似する対象物に基づかれることもできる。例えばビデオシーケンス及び静止画の両方に発生する観光名所に基づかれることができる。

この方法の更に別の側面によれば、上記決定が、上記ビデオシーケンスをビデオセグメントへとセグメント化するステップと、２つのビデオセグメントの間の位置として上記ビデオシーケンスにおける上記挿入位置を決定するステップとを有する。ビデオセグメントへとビデオシーケンスをセグメント化することは、関連付けられるビデオフレームのセグメントへとビデオシーケンスを分割することになる。ここで、異なるセグメントは、異なる場面、カメラアングル、時間瞬間又はその他に関連する。これにより、仮想ビデオシーケンスが元のビデオシーケンスに含まれる既存の分割の位置に挿入されるという点で、静止画に対応する仮想ビデオシーケンスの挿入は、ビデオシーケンス内に追加の分割を生み出さない。

この方法の更に別の側面によれば、上記写真における１つ又は複数の特定の関心領域が、上記仮想ビデオシーケンスを作成するステップにおいて考慮される。従って、仮想ビデオシーケンスは例えば、静止画に含まれる特定の関心領域の一部のズームインを有することができる。

ビデオカメラ運動の推定は、パン、チルト及び／又はズームを推定するステップを有することができる。しかしながら、他のカメラ運動パラメータが考慮されることもできる。

この方法の別の側面によれば、上記仮想ビデオシーケンスに対して上記静止画のサブフレームを選択するステップを更に有し、上記静止画の上記サブフレームのいずれも、上記サブフレームに適用される上記ズーム係数に関して、上記静止画の境界を越えない。斯かるサブフレームの選択は、静止画の複数のサブフレームに対して、差分ズーム係数の決定及び適用を有することができる。差分ズーム係数は、静止画のズームアウトが静止画の境界を越えることを生じさせる状況において、ズーム係数に加えられることができる補助的なズーム係数である。

本発明は更に、ビデオシーケンスに静止画を一体化するデバイスに関する。最終的に、本発明は、コンピュータプログラムに関し、このコンピュータプログラムは、データ記憶手段を持つ少なくとも１つのコンピュータを有するコンピュータシステムが、本発明によるデバイスを制御することを可能にするよう構成される。

本発明のこの側面は、コンピュータシステムが本発明の方法を実行することを可能にするコンピュータプログラムにより本発明が実現されることができるという点で、特に、しかし排他的にではなく有利である。こうして、例えばビデオカメラデバイスといったいくつかの既知のデバイスが、このデバイスを制御するコンピュータシステムにコンピュータプログラムをインストールすることにより、本発明に基づき作動するよう変更されることができると想定される。斯かるコンピュータプログラムは、例えば磁気ベース又は光学ベースの媒体といった任意の種類のコンピュータ可読媒体上に又は例えばインターネットといったコンピュータベースのネットワークを介して提供されることができる。

本発明の異なる側面は、他のいずれかの側面とそれぞれ組み合わされることができる。本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。

本発明による方法のフローチャートである。 本発明による方法の例の概略的な図である。 図２のビデオ移行合成において実行されるステップの例の概略的な図である。 ３つのカメラ運動パラメータのダイアグラムを示す図である。 ズームパラメータ、調整されたズームパラメータ及び調整後結果として生じるズームパラメータのダイアグラムを示す図である。 異なるズーム値に関して許容される変換値を示す図である。

本発明が以下、例示に過ぎないものを用いて、添付の図面を参照して、説明されることになる。

図１は、本発明による方法１０のフローチャートである。方法１０は、ステップ１１で始まり、ステップ１２に続く。ステップ１２では、ビデオシーケンス及び静止画が得られる。

この方法は、合成されたビデオシーケンスが作成されるステップ１３に続く。

ステップ１３は、ステップ１４〜１６を有する。このステップ１４は、静止画が含まれることになるビデオシーケンスにおける挿入位置でビデオシーケンスにおけるビデオカメラの運動を推定するステップを有する。カメラ運動の推定は通常、ビデオシーケンスのパン、チルト及びズームパラメータを有する。後続のステップ１５において、静止画のサブフレームの仮想ビデオシーケンスが作成される。この場合、仮想ビデオシーケンスは、仮想カメラ運動を持ち、仮想ビデオシーケンスの仮想カメラ運動が、上記挿入位置でのビデオカメラ運動に相関される。その後、ステップ１６において、ビデオシーケンス及び仮想ビデオシーケンスは、合成されたビデオシーケンスへと結合される。この方法は、ステップ１７で終わる。

図２は、本発明による方法１００の例の概略的な図である。この方法１００において、入力は、オリジナルビデオ２０と、写真セット２１からの多くの静止画を含む。ステップ２２において、オリジナルビデオにおけるカメラ運動が推定される。カメラ運動は、カメラ運動パラメータを推定することにより推定されることができる。このパラメータは、パン、チルト、及びズームである。しかしながら、更に、以下のカメラ運動パラメータも推定されることもできる。それは、回転、トラッキング、ブーミング及びドーリングである。文書「Real-time video mosaics using Luminance-Projection Correlation」, IEICE Transactions on Information and Systems, Pt.2 (Japanese Edition), vol.J82-D-2; no.10; page.1572-1580 (1999), Akio Nagasaka, Takafumi Miyatakeは、カメラの運動パラメータがどのように推定されることができるかの例を表す。ブロック２２は、ビデオと写真との間のコヒーレントな移行を合成するためにその後利用される推定された運動パラメータ２５のセットを生じさせる。

ブロック２３において、ビデオにおける画像の他の低レベルの特徴が推定される。これは、推定された低レベルの特徴２６のセットを生じさせる。斯かる低レベルの特徴は、エッジ検出、コーナー検出、小塊検出、隆起検出、スケール不変の特徴変換の１つ又は複数を有することができる。推定された低レベルの特徴２６のセットは、その後、ビデオのセグメント化の間、要約処理の間、及びビデオ移行合成に関する開始及び終了パラメータの決定の過程で使用されることができる。

ブロック２８において、推定された運動パラメータ２５のセット及び推定された低レベルの特徴２６のセットがセグメント化処理において使用される。ここで、オリジナルビデオ２０は、ビデオセグメント２９のセットへと分割される。

ブロック２４において、例えばタイムスタンプ情報を利用することにより、オリジナルビデオ２０と写真セット２１との間の時間同期が実行される。しかしながら、他の適切な同期方法が使用されることができる。例えば、Yuichiro Takeuchi、Masanori Sugimotoによる「Video Summarization using Personal Photo Libraries」、Proceedings of the 8th ACM international workshop on Multimedia Information Retrieval、October 2006又はAya Aner-Wolf、Lior Wolfによる「Video de-Abstraction or how to save money on your wedding video」、 Proceedings of the 6th IEEE Workshop on Applications of Computer Vision、2002に記載されるような方法である。同期化プロセス２４の結果は、同期化されたビデオ及び写真のセット２７である。

ブロック３０において、要約処理が実行される。そこでは、ビデオサマリを形成するのに適したビデオセグメントが選択される。ビデオセグメントが要約にどれくらい適しているかは、例えば、このセグメントの低レベルの特徴と、そのセグメントに同期化される写真の数とにより決定されることができる。処理３０の結果は、ビデオ写真合成セグメントセット３１である。

ブロック３２において、ビデオと写真との間の移行が合成される。この処理３２は、推定された運動パラメータ２５、写真セット２１から又は同期化された写真セット２７からの写真、オリジナルビデオ２０から又はビデオ写真合成セグメントセット３１からのビデオの一部、及びビデオに写真が挿入される時点に関する情報を用いる。更に、この処理３２は、写真における１つ又は複数の関心領域を考慮に入れることができる。この処理３２は、図３を参照してより詳細に説明される。処理３２の結果は、移行セグメント３３のセットである。このセットは、ブロック３４におけるオプションの後続の再エンコード処理において使用される。この再エンコード処理３４において、ビデオストリームは、合成されたビデオシーケンス３５を与えるために、再エンコードされる。このシーケンスは、写真セット２１からの写真を用いて強化されるオリジナルビデオ２０の一部と、オリジナルビデオと挿入された写真との間の移行とを含むことができる。上述されるように、シーケンスをレンダリングしつつ、すべての処理がリアルタイムに実行されることが想定される点で、再エンコード処理はオプションである。代替的に、最終的なビデオを得るために適用されなければならない変換及び移行の説明が、プレイリスト、マルチメディア・プレゼンテーション説明又はコードの形で格納されることができる。レンダリングの間、適切なプレーヤが、説明を解釈するために構成されることができ、最終的なシーケンスを高速に作ることができる。使用されることができる言語及びプレーヤの例は、Ｍａｃｒｏｍｅｄｉａ Ｆｌａｓｈ（登録商標）及びＳＭＩＬ（標準規格）である。

図３は、図２のビデオ移行合成３２で実行されるステップの例の概略的な図を示す。ビデオ合成３２は、任意の移行に関連する。即ち２つの静止画の間の移行、静止画からビデオセグメントへの移行又はビデオセグメントから静止画への移行に関連する。ステップ４０において、移行が写真からの写真への移行であるかどうか決定するステップが実行される。肯定的である場合、この方法はステップ５０に進む。この場合、２つの静止画の間のフェージング効果が実行され、この方法はその後終わる。否定的である場合、この方法はステップ４１へと続く。この場合、移行がフェードアウト移行であるかが決定される。即ち、ビデオセグメントからの写真への移行であるか、可能であればビデオセグメントと写真との間のフェージング効果を伴うかどうかが決定される。斯かるフェージング効果は、オプションのステップ４６に関連して説明される。この移行が、フェードアウト移行ではないと決定される場合、この方法はステップ４２へと続く。そこでは、図２における方法１００のステップ２２の結果としてブロック２５において得られる推定された運動パラメータが再編成される。移行が、１つの静止画から別の静止画への移行でも、ビデオセグメントから静止画への移行でもなければ、それは、静止画からビデオセグメントへの移行でなければならない。斯かる移行は、推定された運動パラメータを反映させ、ビデオセグメントからの静止画への移行としてこの移行を扱うことにより処理されることができる。この方法は、ブロック４２からブロック４３へと続く。ブロック４１での結果が肯定的である場合には、この方法は、ブロック４１からブロック４３へと続く。

ブロック４３において、サブフレームに対する３つの運動パラメータ曲線が算出される。３つの運動パラメータ、即ちパン、チルト、ズームは、写真を囲むビデオセグメントの検出された運動に対応する必要がある。図２に関して言及されるように、仮想カメラ運動は写真における関心領域（図示省略）に依存することもできる。

ブロック４３の可能な実現が、図４に関連して説明される。図４において、運動パラメータであるパン、チルト及びズームのダイアグラムの例が示される。Ｘ軸に沿った点は、時間順にビデオのフレームを表す。従って、フレームａはフレームｂより前である、等となる。図４は、図４のグラフにおける点

から

までの運動値のカスタマイズ可能な間隔が、ビデオフレームに関して同じであるような例を示す。後続のカスタマイズ可能な間隔のフレームにおいて、点

から

まで、線形減少が適用される。後の部分において、点

から

まで、この値は写真が静止する状況に対応する０にセットされる。従って、図４の例は、ビデオフレームに対する推定された運動パラメータが、開始において追従され、滑らかに失速し、最終的に停止される状況に対応する。

点

でのグラフ値の算出は、各曲線に対して、データの間隔

における値の加重平均により実行されることができる。この算出は、以下の式

を用いて行われる。ここで、ｘは、運動パラメータ（パン、チルト又はズーム）を表し、ｎは、ｂ−ａ＋１に等しい。

図３を再度参照すると、この方法はブロック４４へと続く。その場合、推定された運動パラメータであるズームに加えられる追加的なズーム係数が決定される。仮想ビデオシーケンスに含まれるサブフレームが、ビデオシーケンスの一部である静止画の境界を超えることがないことを確実にするために、追加的なズーム係数が計算される。例えば、高いズーム係数が静止画の境界の近くにあるサブフレームに適用され、ズームアウトが開始される場合、ズームアウトされたサブフレームのすべての部分に対して十分な情報が存在するわけではない状況が起こりうる。サブ写真フレームに現れる不必要な黒いストライプをもたらすかもしれないこの状況を回避するため、適切なサブ写真フレームを運動パラメータから選択するアルゴリズムが使用される。

サブ写真フレームを合成するために、このアルゴリズムは、それらのフレームのそれぞれに対して中心及び寸法を必要とする。以下の式

は、運動の線形減少が全体の写真の静止画により追従される過去の場合に適用される。ここで、

が成り立つ。

フレームｆ−１に対する座標パラメータが、フレームｆでのそれらの値及びフレームｆ−１での運動パラメータに完全に依存するので、運動パラメータが写真境界を超えることをもたらすことがないというプリエンプティブな保証は存在しない。万が一これが起こると、サブ写真フレームのこの部分に関して何の情報も合成されることができない。従って、内挿されたサブ写真フレームにいくつかの不必要な黒いストライプが現れることになる。この問題を回避するため、このアルゴリズムは、写真境界が越えられるかどうかを各フレームに対してチェックする。もし越えられる場合、その特定のフレームに対するズーム係数は、再びフィットする寸法になるよう、十分に増加される。

そうすることの利点は、ズーム係数を増加させることにより、サブ写真フレームが写真の限られた部分を表すことになる点にある。こうした状態において、変換の特定の公称値は、より低い絶対値に対応する。例えば、サブ写真がズーム係数１に対応する場合、全体のサブ写真にわたるパンは、サブ写真フレームがその一部である静止画のわずか半分にわたるパンに対応することになる。

以下に、この効果の例が説明される。以前のフレームに対するズーム係数に基づき、（幅１０２４及び高さ７６８の）全体の写真を表すサブ写真フレームで始めることにより、許容される変換値、即ち許容されるパン及びチルトは、増加する傾向がある。これは、異なるズーム値に対する許容された変換値を示す図６に示される。

図５は、３つのズームパラメータ、即ち初期ズームパラメータｚｏｏｍ、差分ズームパラメータ及び調整後の結果として生じるズームパラメータｚｏｏｍ'のダイアグラムを示す。ズームパラメータは、点ｄから点ｂへと後退方向に算出される。

差分ズームパラメータは、ズームアウトが静止画の境界を越えるサブフレームをもたらす可能性のある任意の状況を回避するために算出及び適用される。

図５は、ゼロとは異なる差分のズームパラメータが決定される状況を示す。点

でのフレームにおいて、差分ズーム係数は、必要なサブフレームが静止画の境界を越える状況を回避するために必要である。これは、点

での頂点として、図５の中間の曲線で示される。しかしながら、算出される差分ズームパラメータは、それが必要とされるフレーム

に分離して加えられるべきではない。なぜなら、この集中された値は、ズーム係数曲線において突然の変化を引き起こすからである。差分ズームパラメータは、図５において、それが必要とされるフレームと最後のフレームとの半分にある点、即ち点

及び点

の半分にある点

におけるズーム係数曲線に適用される。正規分布が、間隔

にわたりズーム量を拡散するために突然の移行が回避されるという態様で用いられる。結果として生じるズーム係数ｚｏｏｍ'（図５における下部の曲線）は、ズーム係数（図５における上部の曲線）に差分ズーム係数（図５における中間の曲線）を追加することに対応する。

差分ズーム係数は、それが必要とされるフレームの前に、算出され、ズーム係数に完全に加えられなければならない。点

と

との間のサブフレームに対して結果として生じるズームパラメータを適用することは、仮想ビデオシーケンスにおいて開示される静止画のサブフレームにおける変化に対応する。点

において、サブフレームは、図５の３つのグラフすべてにおいて同じである。しかしながら、点ｅ、及び、フレーム

とフレーム

との間の点において、このサブフレームは、差分ズームパラメータの適用後は、図５における上の曲線のズームパラメータが適用されたサブフレームとは異なる。

フレーム寸法を算出するアルゴリズムに関する疑似コードの例が、以下の

において挙げられる。

サブフレームが静止画の境界を越えるとき、すべてのサブフレームの寸法及び位置の算出が再開される。一旦この処理が実行されると、各サブフレームの中心及び寸法を含むアレイが利用可能である。写真の各サブフレームに対して、その中心及び寸法が既知となる。従って、サブフレームの各ピクセルに対して、静止画内の対応するピクセルを決定するため、補間方法を適用することが可能である。図３を再度参照すると、この方法は、ブロック４５へと続き、そこでは、各サブフレームに対する、中心、幅、及び高さが算出される。この方法は更に、静止画のサブフレームが写真の補間により合成されるブロック４６へと続く。

後続の、しかし、オプションのステップ４７において、ビデオフレームと静止画のサブフレームとの間でフェージング効果が実行される。ステップ４８において、移行がフェードアウト移行であるかどうか、即ちビデオセグメントから写真への移行であるかどうかが決定される。否定的である場合、この方法は、合成された移行に関するフレーム順が反転されるステップ４９へと続く。その後この方法は終了する。ステップ４８で肯定的である場合も、この方法は終了する。

上述したように、図３における方法３２は、図２における方法１００の方法ステップ３２の例である。方法ステップ３２の結果は、合成されたビデオシーケンス３５を得るために再エンコードされることができる移行セグメント３３のセットである。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む適切な形式で実現されることができる。本発明又は本発明のいくつかの特徴は、１つ若しくは複数のデータプロセッサ、及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして実現されることができる。本発明の実施形態の要素及び部品は、任意の適切な態様で物理的、機能的及び論理的に実現されることができる。実際、その機能は、単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として実現されることができる。そのようなものとして、本発明は、単一のユニットで実現されることができるか、又は異なるユニット及びプロセッサ間に物理的及び機能的に分散されることができる。

本発明は、特定の実施形態と共に説明されてきたが、本書に記載される特定の形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付された特許請求の範囲によってのみ限定される。特許請求の範囲において、「有する」という用語は、他の要素又はステップの存在を排除するものではない。更に、個別の特徴が異なる請求項に含まれることができるが、これらは可能であれば有利に結合されることができる。異なる請求項に含まれることは、これらの特徴の組み合わせが、実現できない及び／又は有利でないことを意味するものではない。更に、単数形の参照は、複数性を排除するものではない。従って、「a」「an」「第１」「第２」等への参照は、複数性を除外するものではない。更に、請求項における参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (5)

1. ビデオシーケンス内に静止画を追加する方法において、
   同じ出来事、場所及び時間に関するビデオシーケンス及び静止画を得るステップと、
   前記ビデオシーケンスにおける、前記静止画が挿入されるべき挿入位置でのビデオカメラ運動を推定するステップであって、前記挿入位置は、前記ビデオシーケンスの範囲内の時間的な挿入位置である、ステップと、
   前記静止画の部分画像と前記挿入位置での前記ビデオカメラ運動に相関される仮想カメラ運動とを有する仮想ビデオシーケンスを作成するステップであって、前記部分画像は、前記ビデオシーケンス内の画像の寸法に再スケールされる、ステップと、
   前記ビデオシーケンスを複数のビデオセグメントへとセグメント化し、２つのビデオセグメントの間の時間的な位置として前記ビデオシーケンスにおける前記時間的な挿入位置を決定するステップと、
   前記時間的な挿入位置での前記２つのビデオセグメントの時間的な間に前記仮想ビデオシーケンスを含めることにより、合成されたビデオシーケンスを生成するステップとを含む、方法。
2. 前記仮想ビデオシーケンスの始まりにおける前記仮想カメラ運動が、前記挿入位置の前の前記ビデオシーケンスにおける前記推定されたカメラ運動に相関される、請求項１に記載の方法。
3. 前記仮想ビデオシーケンスの終わりにおける前記仮想カメラ運動が、前記挿入位置に対して後続の前記ビデオシーケンスにおける前記推定されたカメラ運動に相関される、請求項１又は２に記載の方法。
4. 前記ビデオカメラ運動の前記推定が、パン、チルト及び／又はズームを推定するステップを有する、請求項１に記載の方法。
5. ビデオシーケンス内に静止画を追加するデバイスであって、
   同じ出来事、場所及び時間に関するビデオシーケンス及び静止画を得る入力部と、
   合成されたビデオシーケンスを作成する処理手段とを有し、
   前記合成されたビデオシーケンスを作成する処理手段が、
   前記ビデオシーケンスにおける、前記静止画が挿入されるべき挿入位置でのビデオカメラ運動を推定する手段であって、前記挿入位置は、前記ビデオシーケンスの範囲内の時間的な挿入位置である、手段と、
   前記静止画の部分画像と前記挿入位置での前記ビデオカメラ運動に相関される仮想カメラ運動とを有する仮想ビデオシーケンスを作成する手段であって、前記部分画像は、前記ビデオシーケンス内の画像の寸法に再スケールされる、手段と、
   前記ビデオシーケンスを複数のビデオセグメントへとセグメント化し、２つのビデオセグメントの間の時間的な位置として前記ビデオシーケンスにおける前記時間的な挿入位置を決定する手段と、
   前記時間的な挿入位置での前記２つのビデオセグメントの時間的な間に前記仮想ビデオシーケンスを含めることにより、合成されたビデオシーケンスを生成する手段とを含む、デバイス。

Images