JP6305719B2 - 撮像装置上における自動シネマグラフの作成方法 - Google Patents

Description

本実施形態は、一般に画像アニメーションに関し、より具体的には、限定するわけではないが、少なくとも撮像装置上でシネマグラフを自動的に作成することに関し、最初の画像シーケンスを取り込むこと、及びこのシーケンスからシネマグラフを作成すべき旨を指示すること以外のさらなるユーザインタラクションを伴わずに撮像装置上でシネマグラフを作成することができる。

手短に言えば、シネマグラフとは、静止写真内の一部のシーンにおいて何らかの繰り返し動作のアクションが行われるものであると説明することができる。シネマグラフは、静止写真内の一部に瞬間的なアクションを取り込もうとする、写真とビデオの間にあるものと見なすことができる。いくつかの態様では、見る者にとって、シネマグラフは、グラフィックス・インターチェンジ・フォーマット（ＧＩＦ）アニメ画像、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）動画、又はその他のビデオフォーマットと多少同じように見える。これらの動画の例では、画像の一部の局面の動きが、画像シーケンス内の画像間における繰り返し動作又は継続動作として認識される。

米国特許第７，９９５，０９７号明細書

Ｊａｍｅｓ Ｍａｌｃｏｌｍ、Ｙｏｇｅｓｈ Ｒａｔｈｉ、Ａｎｔｈｏｎｙ Ｙｅｚｚｉ、及びＡｌｌｅｎ Ｔａｎｎｅｎｂａｕｍ著、「高速な近似曲線展開（Ｆａｓｔ ａｐｐｒｏｘｉｍａｔｅ ｃｕｒｖｅ ｅｖｏｌｕｔｉｏｎ）」、Ｒｅａｌ−Ｔｉｍｅ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００８、Ｎａｓｓｅｒ Ｋｅｈｔａｒｎａｖａｚ、Ｍａｔｔｈｉａｓ Ｆ．Ｃａｒｌｓｏｈｎ編集、ＳＰＩＥ会報、第６８１１巻６８１１０Ｌ（２００８年）

シネマグラフは、面白いアニメーションを提供するが、現在の方法では、ビデオシーケンスからシネマグラフを構成する処理を、時には複雑な画像編集ソフトウェアを使用して、多くの場合かなりのユーザインタラクションを伴って手作業で行う必要があることが多く、及び／又はパーソナルコンピュータ又はサーバ上でしか動作せず、従ってカメラ又はモバイル装置からこのコンピュータに取り込んだビデオをオフロードする必要があるツールの使用という面倒かつ時間の掛かる要件が必要になることが多い。多くの人々は、シネマグラフを作成しようという気にならないと思われる。従って、ユーザがさらに介入することなくカメラ上で直ちに結果を得られる自動的かつ迅速な方法でシネマグラフを作成するための改善されたメカニズムを提供したいという要望がある。従って、本考案は、これらの及びその他の検討事項に対して成されたものである。

以下の図面を参照しながら、非限定的かつ非網羅的な実施形態について説明する。これらの図面では、特に指定しない限り、様々な図全体を通じて同じ参照番号は同じ部分を示す。

本実施形態をより良く理解できるように、以下の詳細な説明を添付図面と関連付けて参照されたい。

実施形態を実施できる環境の１つの実施形態を示すシステム図である。 様々な実施形態を実施するために使用できる拡張画像プロセッサの１つの実施形態を示す図である。 実施形態を実施できる環境の別の実施形態を示すシステム図である。 シネマグラフを自動的に生成するために使用できる処理の１つの実施形態を大まかに示す論理的フロー処理である。 シネマグラフ内の単一の出力フレームを構築するために使用できる処理の１つの実施形態を大まかに示す論理フロー処理である。 シネマグラフを作成するために分割を統合する処理例の１つの実施形態を大まかに示す論理フローである。

以下、実施形態を実施できる特定の態様を一例として示す、本明細書の一部を成す添付図面を参照しながら、本実施形態をより完全に説明する。しかしながら、これらの実施形態は多くの異なる形をとることができ、これらの実施形態が本明細書に示す実施形態に限定されると解釈すべきではなく、むしろこれらの実施形態は、本開示を徹底的かつ完全なものにするとともに、当業者にその範囲を完全に伝えるように示すものである。とりわけ、本実施形態は、方法又は装置を含むことができる。従って、本実施形態は、完全にハードウェアの形、又はソフトウェアの態様とハードウェアの態様を組み合わせた形をとることができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではない。

明細書及び特許請求の範囲を通じて、以下の用語は、文脈において特に指定しない限り、本明細書で明確に関連付ける意味をとる。本明細書で使用する「１つの実施形態では」という表現は、同じ実施形態を示す場合もあるが、必ずしもそうとは限らない。さらに、本明細書で使用する「別の実施形態では」という表現は、異なる実施形態を示す場合もあるが、必ずしもそうとは限らない。従って、後述するように、本発明の範囲又は思想から逸脱することなく本発明の様々な実施形態を容易に組み合わせることができる。

それに加えて、本明細書で使用する「又は」という用語は包括的「ｏｒ」演算子であり、文脈において特に指定しない限り、「及び／又は」という用語に相当する。「〜に基づいて」という用語は、文脈において特に指定しない限り排他的なものではなく、記載していない追加の要素に基づくことを可能にするものである。また、明細書全体を通じて、「１つの（英文不定冠詞）」及び「その（英文定冠詞）」の意味は複数形の意味を含む。「〜内（ｉｎ）」の意味は、「〜内（ｉｎ）」及び「〜上（ｏｎ）」という意味を含む。

本明細書で使用する「画像」又は「画像データ」という用語は、単一の画像表示、又は時間的に離間できる複数のビデオフレームを含む画像シーケンスの時間的に変化する表示の形をとることができる、少なくとも２次元で表示すべき画像を定義するデータを意味する。

本明細書で使用する「シネマグラフ」という用語は、ほとんどが静止している画像の、画像シーケンス内の一部のシーンにおいて繰り返し動作が行われるものを意味する。

本明細書で使用する「自動化」という用語は、コンピュータ装置とユーザインタラクションを行う必要なく、一連の動作がコンピュータシステムによって行われることを意味する。具体的には、シネマグラフの作成を自動化することにより、最初の画像シーケンスを取り込むこと、及びこのシーケンスからシネマグラフを作成すべき旨を指示すること以外のさらなるユーザインタラクションを伴わずに、撮像装置が動作を行うようになる。１つの実施形態では、このようなユーザインタラクションが、カメラなどの画像取り込み装置上でボタン又はアイコンなどを選択して、シネマグラフを作成すべき旨を指示すること、及び画像取り込みを開始することを含むことができる。１つの実施形態では、画像取り込みの開始が、画像シーンの方に向けられた画像取り込み装置上でユーザが選択インジケータを押すことを含むことができる。その後、画像取り込み装置は、さらなるユーザインタラクションを伴わずに画像シーケンスの取り込みを行い、その後にシネマグラフを自動的に作成することができる。従って、本明細書で使用する自動化では、例えば、動きの領域又は背景領域などを識別し及び／又は別様に選択するためのさらなるユーザ入力を必要としない。本明細書では、ユーザインタラクションを伴わずにこのような決定を行い、これによりシネマグラフの作成を簡略化することができる。

以下、いくつかの態様の基本的な理解をもたらすために、いくつかの実施形態について簡単に説明する。この簡単な説明は、広範な概要として意図するものではない。主要な又は重要な要素を特定すること、或いは範囲を示すこと又は別様に狭めることを意図するものでもない。後述する詳細な説明の前置きとしていくつかの概念を簡略化した形で示すことのみを目的とする。

簡単に言えば、実施形態は、少なくとも撮像装置上でシネマグラフを自動的に作成することに関し、最初の画像シーケンスを取り込むこと、及びこのシーケンスからシネマグラフを作成すべき旨を指示すること以外のさらなるユーザインタラクションを伴わずにシネマグラフを作成することができる。さらに、上述したように、本考案は、デジタルカメラ、携帯電話機、カメラ又は同様の画像センサを備えたラップトップコンピュータ、ウェブカム、又はカメラ付きタブレットなどの画像取り込み装置上でシネマグラフを自動的に作成することを含む。ユーザは、シーンを選択し、装置を使用してビデオシーケンスを撮影し、さらにこのシーケンスからシネマグラフを生成すべき旨を指示する。その後は、さらなるユーザインタラクションを伴わずに、残りの処理が画像取り込み装置によって自動的に行われる。しかしながら、いくつかの実施形態では、取り込みシーケンス中に改善を提案するようにユーザを導くこともできる。例えば、メニューオプションを使用して、ユーザが自身の好みに合うようにアプリケーションを構成できるようにすることもできる。

簡単に言えば、ユーザが適当なフレームシーケンスを取り込む。このシーケンスから、フレームの１つがアンカーフレームとして自動的に選択される。次に、シーケンス内の他のフレームの各々がアンカーフレームに自動的に整合される（本明細書では「位置合わせ」と呼ぶこともある処理）。フレームと共にアンカーフレームに対して動くオブジェクトの検出及び分割が行われる。フレームの検出及び分割は、１又はそれ以上の動き範囲を自動的に選択することを含む。分割により、フレーム内の動き範囲に境界が付けられ、これをマスクとして使用することができる。いくつかの実施形態では、このマスクに対して形態学的拡張を自動的に行って、フレームのシーン内の動く前景と周囲背景の間の滑らかな漸進的遷移を可能にする周縁を加えることができる。現在のフレームのマスクは、計算したマスクとアンカーフレームのマスクを結合したものとすることができる。画像フレームの動かない背景と動く部分の間の境界を滑らかにして、シネマグラフ出力シーケンスを生成することができる。１つの実施形態では、シーケンスをそれ自体に折り重ねて、選択的アニメーションの反復シーケンスを生成することができる。別の実施形態では、シーケンスの最後にアニメーションの「逆」シーケンスを加えて、アニメーションを反復させることができる。

シネマグラフを生成するための自動化処理を提供し、シーケンスの取り込みとシネマグラフを作成すべき旨の指示との間にユーザ入力を伴わないようにすることにより、ユーザは、画像取り込み装置からビデオシーケンスをオフロードする必要がなくなる。これにより、画像シーケンスを取り込んだほぼ直後にシネマグラフの作成を行えるようになる。これにより、より早く満足感及びフィードバックが得られるようになる。ユーザは、結果に対するこのような素早いフィードバックを受け取って画像取り込み装置から確認できることにより、シーンを撮り直すことを選択し、シーンの一部、ショットの角度などを修正し、素早く新たな結果を得ることができる。

例示的動作環境
図１に、実施形態を実施できる環境の構成要素を示す。本実施形態を実施するためにこれらの構成要素が全て必要なわけではなく、本発明の思想又は範囲から逸脱することなく、構成要素の配置及び種類を変更することができる。さらに、システムの様々な実装は、図１に示すよりも多くの又は少ない構成要素を含むことができる。しかしながら、本発明を実施するための例示的な実施形態を開示するには、図示の構成要素で十分である。

図示のように、図１のシステム１００は、ビデオカメラ、携帯電話機、スマートフォン、表示ページャ、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、携帯情報端末（ＰＤＡ）、ハンドヘルドコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、タブレットコンピュータ、及びこれらの装置の１つ又はそれ以上を組み合わせた統合装置などを含む、画像シーケンスを含む画像を受け取って処理するように構成できるカメラ又はその他の様々な考えられるポータブル装置のいずれかを表すことができる。１つの実施形態では、システム１００が、レンズ又はその他の光学素子、及び画像を受け取ってこれを１又はそれ以上の記憶装置に記憶するためにデジタル画像に変換できる（単複の）画像センサなどの、図示していない構成要素を含むこともできる。

図示のように、システム１００は、構成要素を単一の集積回路チップ上に含むことも、又は複数の異なる回路チップ上に含むこともできる。いずれにせよ、図１に示す構成要素は、回路チップ及びその他の構成要素にクロック制御信号を供給するためのクロック回路１０２を含む。クロック回路１０２は、別個の構成要素として示しているが、拡張画像プロセッサ（ＥＩＰ）２００などに含めることもできると理解されたい。

また、ＥＩＰ２００に結合して一時的なデータ記憶を行うことができる揮発性ランダムアクセスメモリ（ＲＡＭ）回路チップ１０６も示している。１つの実施形態では、ＲＡＭ１０６を、ＥＩＰ２００が使用する１又はそれ以上の画像フレームデータ又はＥＩＰ２００からの出力データなどの画像データを受け取って記憶するとともに、ユーザ選択、画像シーケンス、マスク、分割データ及び閾値などを記憶するように構成することができる。ＥＩＰ２００には、別個の不揮発性リードオンリメモリ（ＲＯＭ）メモリチップ１０４も結合され、このＲＯＭメモリチップ１０４を、プロセッサプログラム、較正データ、参照テーブル（ＬＵＴＳ）、非線形関数、及びシステム１００が使用できる他の様々なデータなどの記憶に使用することができる。１つの実施形態では、ＲＯＭ１０４を、再プログラム可能なフラッシュメモリ、或いはプログラム可能リードオンリメモリ（ＰＲＯＭ）、電気的プログラム可能リードオンリメモリ（ＥＥＰＲＯＭ）などの１回のみプログラム可能なメモリ、又はその他の様々な記憶装置のいずれかとすることができる。

図示してはいないが、システム１００には、例えば、半導体フラッシュ電気的消去可能プログラム可能リードオンリメモリ、着脱可能な回転磁気ディスクストレージ、着脱可能なユニバーサルシリアルバス（ＵＳＢ）装置、又はその他の様々な記憶装置のいずれかを含むことができるメモリカードを含む他の種類のメモリ又は物理的記憶装置を含めることもできる。１つの実施形態では、システム１００を、入力／出力（Ｉ／Ｏ）装置１０８を通じて、システム１００の外部に存在できる記憶装置にアクセスするように構成することもできる。従って、ＥＩＰ２００は、１又はそれ以上の画像フレームデータを受け取り、この受け取った１又はそれ以上の画像フレームデータに基づいて、シネマグラフを生成し、このシネマグラフデータを圧縮し、結果として得られるシネマグラフデータを表す圧縮（符号化）ビットストリームを、様々な記憶装置及び／又は本明細書で説明する以外の通信メカニズムを使用して記憶又は別様に送信するように動作するよう構成できると理解されたい。

Ｉ／Ｏ装置１０８は、システム１００を１又はそれ以上の外部装置又はネットワークなどに結合するための回路を含み、システム１００との間でやりとりされる画像を含む画像を通信するために使用できる様々な通信プロトコル及び通信技術のいずれかを含む１又はそれ以上の通信プロトコル及び通信技術と共に使用されるように構成される。１つの実施形態では、Ｉ／Ｏ装置１０８が、トランシーバ、送受信装置、又はネットワークインターフェイスカード（ＮＩＣ）として知られていることもある。

Ｉ／Ｏ装置１０８は、キーパッド又はタッチスクリーンなどの様々な入力装置、並びにスクリーンディスプレイ又はオーディオ出力などを含む出力装置を使用するものを含む他の様々な通信を提供することもできる。従って、図示してはいないが、システム１００は、Ｉ／Ｏ装置１０８に結合して通信を可能にできるスピーカ及び／又はマイクを含むこともできる。システム１００はディスプレイを含むこともでき、このディスプレイは、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、発光ダイオード（ＬＥＤ）、或いはテキスト及び／又は画像を表示するために使用できる他のあらゆる種類のディスプレイを含むことができる。例えば、システム１００は、結果として得られるシネマグラフの表示に使用できるディスプレイを含み、これにより自動化動作の結果のフィードバックをほぼ即時にユーザに与えることができる。さらに、１つの実施形態では、ディスプレイが、スタイラスなどの物体又は人間の手指からの入力を受け取るように構成されたタッチ感知式スクリーンを含むこともできる。

また、画像センサ＆アナログ−デジタルコンバータ（Ｓ＆Ａ／Ｄ）１１０も示しており、このＳ＆Ａ／Ｄ１１０は、画像を表すアナログ信号を受け取り、この受け取った信号をデジタル画像データに変換するように構成することができ、１つの実施形態では、このデジタル画像データを、画像センサの様々な光検出器及び／又はレンズ配列（図示せず）を通じて受光できる光の強度を表す一連の個々のデジタル画像データブロックとすることができる。その後、Ｓ＆Ａ／Ｄ１１０は、このデジタルデータを処理のためにＥＩＰ２００に提供することができる。

図２に、ＥＩＰ２００の１つの実施形態を示す。ＥＩＰ２００は、図示のものよりも多くの又は少ない構成要素を含むことができる。しかしながら、本実施形態を実施するための例示的な実施形態を開示するには、図示の構成要素で十分である。

図２に示すように、ＥＩＰ２００は、画像プロセッサ２０８を含むことができ、この画像プロセッサ２０８は、汎用又は専用のコンピュータ処理装置（ＣＰＵ）、プログラム可能なハードウェアユニット、或いは画像及び／又は画像シーケンスに対して様々な計算を行い、ＲＯＭ１０４などの図１の記憶装置の１つに記憶できるコンピュータ可読命令に応答してシステム１００の様々な動作を制御するように構成されたいずれかの組み合わせを表すことができる。１つの実施形態では、入力インターフェイス回路２０２が１又はそれ以上の画像フレームのデジタルデータを受け取り、メモリ管理装置２０６を通じた接続により、このデジタルデータを他の構成要素に通信することができる。１つの実施形態では、以下でさらに説明するような自動シネマグラフ生成器（ＡＣＧ）２０１を使用して、画像シーケンスを受け取り、さらなるユーザ入力を伴わずにシネマグラフを出力として自動的に生成することができる。いくつかの実施形態では、記憶及び／又は送信に都合が良いように、出力を圧縮することもできる。この時、この出力を、シネマグラフ画像を表す圧縮ビットストリームとして、出力インターフェイス回路２０４を通じて様々なメモリ記憶装置に、さらには無線ネットワーク及び／又は有線ネットワークを含むネットワークを介して別の装置に出力することができる。１つの実施形態では、シネマグラフ画像を非圧縮画像データとして記憶装置に記憶することができる。

さらに、１つの実施形態では、ＡＣＧ２０１を画像プロセッサ２０８内で動作するソフトウェアの形で実装することもできる。しかしながら、別の実施形態では、ＡＣＧ２０１が、本明細書で説明する動作を行うように構成されたハードウェア構成要素又は集積回路などを表すことができる。

インターフェイス２１０は、様々なメカニズムが、画像プロセッサ２０８及び／又はメモリ管理２０６、その他の構成要素と通信して、別の装置又はエンドユーザなどが様々な動作の修正、動作状況の提供などを行えるようにすることができる。

例示的なネットワーク装置
図３に、ＥＩＰの別の実施形態と共に使用できる別の装置の１つの実施形態を示す。ネットワーク装置３００は、図示のものよりも多くの又は少ない構成要素を含むことができる。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。ネットワーク装置３００は、以下に限定されるわけではないが、パーソナルコンピュータ、デスクトップコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な電子回路、ラックマウント式マルチプロセッシング構成、ネットワークＰＣ、テレビ、カメラシステム、サーバ装置及びネットワークアプライアンスなどを含む様々なコンピュータ装置のいずれかを表すことができる。単一のネットワーク装置３００を示しているが、１つの実施形態では、少なくともＥＩＰ及び／又はＡＣＧに関して説明した動作を、例えば、クラウドアーキテクチャ、ピアツーピア構造、クラスタアーキテクチャ、又はその他の分散アーキテクチャで見られるように複数のコンピュータ装置にわたって分散させることもでき、この場合ネットワーク装置３００には、画像の取り込みが可能になるようにカメラなどの画像装置が接続される。

ネットワーク装置３００は、中央処理装置３１２、ビデオディスプレイアダプタ３１４、及び大容量メモリを含み、これらは全てバス３２２を介して互いに通信する。一般に、大容量メモリは、ＲＡＭ３１６、ＲＯＭ３３２、及びハードディスクドライブ３２８、テープドライブ、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）／デジタル多用途ディスク−ＲＯＭ（ＤＶＤ−ＲＯＭ）ドライブ３２６、及び／又はフロッピー（登録商標）ディスクドライブなどの１又はそれ以上の永久大容量記憶装置を含む。大容量メモリは、ネットワーク装置３００の動作を制御するためのオペレーティングシステム３２０を記憶する。あらゆる汎用オペレーティングシステム又は専用オペレーティングシステムを使用することができる。ネットワーク装置３００の低水準動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）３１８も設けられる。図３に示すように、ネットワーク装置３００は、ＴＣＰ／ＩＰプロトコルを含む様々な通信プロトコルとともに使用するように構成されたネットワークインターフェイスユニット３１０を介して、インターネット又は他の何らかの通信ネットワークと通信することもできる。ネットワークインターフェイスユニット３１０は、トランシーバ、送受信装置、又はネットワークインターフェイスカード（ＮＩＣ）として知られていることもある。

画像センサ＆アナログ−デジタルコンバータ（Ａ／Ｄ）（Ｓ＆Ａ／Ｄ）３６０は、画像を表すアナログ信号を受け取り、この受け取った信号をデジタル画像データに変換するように構成することができ、１つの実施形態では、このデジタル画像データを、画像センサの様々な光検出器及び／又はレンズ配列（図示せず）を通じて受光できる光の強度を表す一連の個々のデジタル画像データブロックとすることができる。その後、Ｓ＆Ａ／Ｄ３６００は、このデジタルデータを、本明細書でさらに説明する処理のために拡張画像プロセッサ（ＥＩＰ）３５８に供給することができる。

上述した大容量メモリは、別の種類のコンピュータ可読又はプロセッサ可読装置、すなわち非一時的コンピュータ可読記憶媒体を示す。コンピュータ可読記憶媒体（装置）は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するためのいずれかの方法又は技術で実装される揮発性、不揮発性、非一時的、着脱可能及び着脱不能媒体を含むことができる。非一時的コンピュータ可読記憶媒体の例としては、ＲＡＭ、ＲＯＭ、電気的消去可能プログラム可能リードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又はその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置がアクセスできる他のあらゆる物理媒体が挙げられる。

図示のように、データストア３５４は、データベース、テキスト、スプレッドシート、フォルダ又はファイルなどを含むことができ、これらは、自動シネマグラフ生成器（ＡＣＧ）３０１が使用できる、閾値データ、関数ルックアップ、テーブル、ビデオ画像、単一画像、符号化データ、復元したフレームデータ、基準フレームデータ、動きベクトル、拡張データ、分割データ、マスク、１又はそれ以上のフレームデータなどを含むデータを維持及び記憶するように構成することができる。データストア３５４は、中央処理装置（ＣＰＵ）３１２などのプロセッサが動作を実行及び実施するために使用するプログラムコード、データ及びアルゴリズムなどをさらに含むことができる。１つの実施形態では、データストア３５４に記憶されるデータ及び／又は命令の少なくとも一部を、以下に限定されるわけではないが、ｃｄ−ｒｏｍ／ｄｖｄ−ｒｏｍ３２６、ハードディスクドライブ３２８を含むネットワーク装置３００の別の装置、或いはネットワーク装置３００上に存在する、又はネットワーク装置３００が例えばネットワークインターフェイスユニット３１０を介してアクセスできる他のコンピュータ可読記憶装置に記憶することもできる。

大容量メモリは、プログラムコード及びデータも記憶する。大容量メモリには、１又はそれ以上のアプリケーション３５０がロードされ、オペレーティングシステム３２０上で実行される。アプリケーションプログラムの例としては、トランスコーダ、スケジューラ、カスタマイズ可能なユーザインターフェイスプログラム、及びセキュリティプログラムなどを挙げることができる。メモリは、ＥＩＰ３５８を含むこともでき、このＥＩＰ３５８は、ＡＣＧ３０１をさらに含むことができる。ＥＩＰ３５８及びＡＣＧ３０１をＲＡＭ３１６内に示しているが、他の実施形態では、ＥＩＰ３５８及び／又はＡＣＧ３０１をＲＯＭ３３２内に、及び／又はネットワーク装置３００内の１又はそれ以上の別個の回路基板（図示せず）内に含めることができると認識されたい。

ＥＩＰ３５８及びＡＣＧ３０１は、それぞれ図１〜図２のＥＩＰ２００及びＡＣＧ２０１と実質的に同様に動作し、少なくとも動きのある部分と、実質的に動きのない別の部分とを有する画像シーケンスを受け取って、以下でより詳細に説明するようにシネマグラフを自動的に生成する。本明細書で使用する「実質的に動きがない」という用語は、検出できるあらゆる動きが、定義可能な動きの閾値を下回ると判定される画像シーケンスの部分を意味する。

ＥＩＰ３５８及びＡＣＧ３０１は、データストア３５４、ハードディスクドライブ３２８、ｃｄ−ｒｏｍ／ｄｖｄ−ｒｏｍドライブ３２６、その他の記憶装置から、さらにはネットワークインターフェイスユニット３１０を通じてネットワーク又は別の装置から、並びにＳ＆Ａ／Ｄ３６０などを通じて様々な画像感知装置から取得された画像データに対して動作できると認識されたい。

一般的動作
以下、図４〜図６に関連して、本発明のいくつかの態様の動作について説明する。１つの実施形態では、以下で説明する処理の動作を、図１〜図２のＥＩＰ２００及び／又はＡＣＧ２０１内で、及び／又は図３のＥＩＰ３５８及び／又はＡＣＧ３０１内で行うことができる。

図４の処理４００は、ブロック４０２から開始し、ユーザ選択を受け取ることができる。例えば１つの実施形態では、ユーザが、画像シーケンスからシネマグラフを生成すべき旨を指示することができる。いくつかの実施形態では、ユーザが、以下に限定されるわけではないが、照明パラメータ及び／又は焦点パラメータなどを含む様々な画像取り込みパラメータを選択することもできる。一方、他の実施形態では、画像取り込み装置により、画像取り込みパラメータの１又はそれ以上を自動的に選択することができる。

ブロック４０４に進み、ここでユーザ選択及び／又は自動選択パラメータを使用して画像取り込み装置を構成することができる。ブロック４０４からブロック４０６まで処理が継続され、少なくとも最初の画像が取り込まれる。１つの実施形態では、この最初の画像をアンカーフレーム画像として指定することができる。しかしながら、その後画像シーケンスに他の画像が取り込まれると、シーケンス内の異なる画像をアンカーフレーム画像として選択することができ、この場合、アンカーフレーム画像は、以下でさらに説明するように、様々な比較を行う対象となり得る基準画像を表すと考えることができる。

次に、処理は判定ブロック４０８に進み、ここで画像シーケンスを取り込むべきかどうかを判定する。１つの実施形態では、最初の画像の取り込みが、画像取り込み装置上の取り込みボタンが部分的に押されたことの検出に基づくことができる。シーケンスの取り込みは、取り込みボタンが完全に押されたことの検出に基づくことができる。取り込みは、画像取り込み装置によるシーン内の動きの自動検出に基づくこともできる。しかしながら、他の基準を使用することもできる。いずれにせよ、画像シーケンスを取り込むべきでない場合、処理はブロック４０４に戻ることができる。そうでなければ、処理はブロック４１０に進み、ここで取り込みボタンなどが解除されたことが検出されるまで画像シーケンスを取り込むことができる。ブロック４１０の間、画像取り込み装置を使用して適当な画像フレームのシーケンスが取り込まれる。ユーザは、シーケンスの取り込み中には画像取り込み装置を比較的静止させて保持し、取り込んだ画像の全体的な動きを最小限に抑え、画像内で何らかの局所的な動きが生じるようにすることが望ましい。この時、画像取り込み装置は、一定時間にわたって複数の画像フレームを取り込むことができる。

１つの実施形態では、画像を複数の画像内の単一のフレームとすることができる。従って、本明細書で使用するフレームという用語は、単一画像を表すことも、又は画像シーケンス内の単一の画像を表すこともできる。いずれにせよ、ＩＳＯ／ＩＥＣ動画専門家グループ（ＭＰＥＧ）とＩＴＵ−Ｔビデオ符号化専門家（ＶＣＥＧ）との共同ビデオチーム（ＪＶＴ）により定義されたメカニズムを含む様々なメカニズムのいずれかを使用してフレームを符号化することができる。しかしながら、本明細書で説明する実施形態は、特定の種類の符号化メカニズムに限定されず、他の様々なフォーマット又は規格などのいずれを使用してもよいと理解されたい。

１つの実施形態では、フレームをアナログソースから取得し、これを赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の線で表して、例えば様々な処理を使用して色差成分に変換することができる。例えば１つの実施形態では、このような色差成分を、国際電気通信連合（ＩＴＵ）の無線通信部門（ＩＴＵ−Ｒ）による（正式にはＣＣＩＲ−６０１として知られている）Ｒｅｃ．６０１成分色テレビ規格に基づいて取得することができる。しかしながら、他の様々な技術のいずれを使用してもよく、実施形態は、特定の規格又はフォーマットに限定されるものではない。いずれにせよ、ほんの一例として、画像信号の３成分、すなわち輝度成分（Ｙ）と２つの補完的色度（色差）成分である（Ｖ＝Ｒ−Ｙ）及び（Ｕ＝Ｂ−Ｙによって画像データを定義することができる。３次元又はそれより高次元の画像、及び／又はその他のタイプの画像表現では、他の成分を含めることもできる。いくつかの実施形態では、画像データが色信号を含み、この色信号は、色度成分Ｃｂ及びＣｒの形の色情報をさらに含み、Ｃｂ及びＣｒは、それぞれ青色差（Ｕ）成分及び赤色差（Ｖ）成分である。

例えばマトリクス回路を使用して輝度（Ｙ）成分信号及び色度（Ｃｂ、Ｃｒ）成分信号を提供することを含む様々なメカニズムを使用して、ＲＧＢデータ信号を色差成分に変換することができる。１つの実施形態では、輝度成分及び色度成分をアナログ信号として受け取り、これらをそれぞれの低域通過（又は等帯域幅）フィルタに供給し、アナログ−デジタルコンバータに通してデジタルデータフォーマットを生成することができる。１つの実施形態では、フィルタ処理してデジタル化した輝度成分及び色度成分をブロック形成回路に供給することができ、１つの実施形態では、説明する画像ブロックをこのブロック形成回路で形成することができる。

さらに、いくつかの実施形態では、上述した取り込み段階中に、ブロック４０４において決定したパラメータに基づいて、及び／又はブロック４０６において取り込んだ最初の画像の分析に基づいて、露光時間、焦点及び／又はホワイトバランスの設定をロックすることができる。しかしながら、他の実施形態では、様々なパラメータを動的に決定することができる。例えば、フレーム取り込みの合間の間隔を、取り込んでいるシーン内の動作速度の分析に基づいて設定することができる。従って、１つの実施形態では、シーケンスを取り込むように装置に指示する以外のさらなるユーザ入力を伴わずに、画像取り込み装置が、シーン内の動いているオブジェクトの動きベクトルを２又はそれ以上の画像に基づいて自動的に計算し、これらの動きベクトルの長さに従って動きの速度を求めることができる。この時、この求められた動きの速度に基づいて、後続フレームの取り込み間隔を調整することができる。

次に、処理４００はブロック４１２に進み、１つの実施形態では、ここでシーケンスの分析に基づいてアンカー画像フレームを変更することができる。従って、ブロック４０６において最初のフレームをまず選択することができるが、別の実施形態では、異なるフレームをアンカーフレームとして選択することができる。このような選択は、所与のオブジェクトで検出されるフレーム間の変化量、所与のフレーム内で異なるオブジェクトをいかにして特定できるか、又はその他の様々な基準に基づくことができる。例えば１つの実施形態では、アンカーフレームを、シーン内の特定のオブジェクトの最後のフレームからの変化量が最も小さなフレームとして選択することができる。１つの実施形態では、この特定のオブジェクトを、検出可能な局所的動き量が最も大きなオブジェクトとすることができる。別の実施形態では、アンカーフレームを、シーケンス内の最後のフレームとして選択することができる。当然ながら、その他の基準を使用して、ユーザ入力を伴わずにアンカーフレームを自動的に選択することもできる。

さらに、次にブロック４１２において、フレームシーケンス内の各フレームがアンカーフレームと整合又は位置合わせされる。上記の画像は、ハンドヘルドカメラ又はその他の画像取り込み装置を使用して撮影できるので、このシーケンスでは、フレーム間でカメラが僅かに動くことがある。これにより、画像がフレーム間で不適切に移動又は回転することがある。これを補償するために、ある画像を別の画像と整合（場合によっては位置合わせと呼ぶ）させるために画像をどのように動かせばよいかを推定して整合の不正確さを補償することができる。このような整合が行われない場合、結果として得られる画像が望ましくないジッターを有し、これが表示されることがある。この整合は、自動画像整合検出によって行うことができる。

画像を整合させるロバストな方法の１つの実施形態は、１つの画像内の画像座標と第２の画像内の画像座標との関係を表すパラメトリック関数Ｔ：Ｒ²→Ｒ²を推定しようと試みることを含む。１つの例は、以下のアフィン関数を含む。

この変換を推定するには、最初に２つの画像内の対応するピクセル間の動きベクトルを抽出して、全体的な動き変換の推定を導出することができる。この処理は、例えば、各フレームからアンカーフレームまでのブロック単位の動き検索を実行することによって行うことができる。

動き検索では、多くの技術を使用することができる。例えば、１つの実施形態では、平均正規化ＳＡＤ（差分絶対値和）に基づく方法を使用することができ、この方法では、アンカーフレーム内のＭＮＳＡＤが最小になるブロックの場所により、各フレーム内のピクセルブロックの動きが求められる。すなわち、一方の画像内の場所がもう一方の画像内の場所に一致する２つの画像間の対応性を見出すことができる。１つの非限定的な動き検索方法は、２０１１年８月９日に取得された、Ｍｅｉｒ Ｔｚｕｒ、Ｖｉｃｔｏｒ Ｐｉｎｔｏ、及びＥｒａｎ Ｐｉｎｈａｓｏｖによる、「輝度を時間的に変化させて照明できるシーンの画像を取得する際の動き推定技術（Ｔｅｃｈｎｉｑｕｅｓ Ｏｆ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｗｈｅｎ Ａｃｑｕｉｒｉｎｇ Ａｎ Ｉｍａｇｅ Ｏｆ Ａ Ｓｃｅｎｅ Ｔｈａｔ Ｍａｙ Ｂｅ Ｉｌｌｕｍｉｎａｔｅｄ Ｗｉｔｈ Ａ Ｔｉｍｅ Ｖａｒｙｉｎｇ Ｌｕｍｉｎａｎｃｅ）」という名称の米国特許第７，９９５，０９７号に記載されているスキームと同様のスキームを使用することができ、この特許はその全体が本明細書に組み入れられる。しかしながら、他の方法を使用することもできる。

例えば別の実施形態では、平均減少ＳＡＤ（ＭＲＳＡＤ）を使用して動き検索を行うことができ、この方法では、一方のフレーム内のピクセルブロックの動きが、他方のフレーム内のＭＲＳＡＤが最小になると判断されるブロックの場所によって求められる。一方のフレームを「対象」−Ｉ_Tとして示し、他方のフレームを「基準」−Ｉ_Rとして示すことができる。すると、以下の方程式が得られる。
この場合、以下のようになる。
この結果、以下のようになる。
式中、Ｂ_X、Ｂ_Yはブロックのサイズを定義し、Ａ_X及びＡ_Yは検索範囲を定義する。

動き検索は、基準画像及び対象画像を受け入れて、これらの画像内の各ブロックの「動きベクトル」のリストを戻す、集積回路上に実装されたいずれかの専用ハードウェアアクセラレータを使用して行うことができる。また、低解像度の画像コピーに対して動き検索を行い、その後、高解像度でさらなる検索を行うことにより精細化することもできる。信頼性の高い動きベクトルを戻す可能性は、画像のコーナーの方が高いので、画像にコーナー検出を適用することにより、動き検索をさらに改善することができる。いくつかの実施形態では、ＭＲＳＡＤマップを（ｕ，ｖ）動きベクトルの関数として観察し、ＭＶ（ｘ，ｙ）を生じた最小値が一意のものであるかどうかを確認することにより、ロバスト性尺度を抽出することができる。

動き検索を行った後には、各画像対における対応性の組が以下のように得られる。

２番目の画像から開始して、（シーケンス内の前の画像の処理中に抽出された）動いているオブジェクトの領域内で発見された動きベクトルが、対応性の組から除外される。

１つの実施形態では、残りの対応性からの変換を推定するために、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用することができる。１つの処理では、変換の推定を反復的に構築し、異常値を排除することができる。全てが正常値である群（「Ｉ」と表記することができる）をとり、最小二乗（線形回帰）方程式によって変換を推定することにより、最終的な変換を計算することができる。
式中、加算は、
及び
にわたる。速度を改善するために、全ての加算を固定小数点演算で行う一方で、浮動小数点を使用して行列反転を行うことができる。なお、一例としてアフィン変換を用いたが、他のパラメトリック変換を同様に検討することもでき、従って実施形態はこの方法に限定されるものではない。

変換が見つかると、これに応じてフレームがアンカーフレームと整合するように変形する。いくつかの実施形態では、上記の変換に基づき、ハードウェアベースの変形メカニズムを使用して、フレームをアンカーフレームの座標上に変換することができる。この変換を、フレームシーケンス内の各フレームにわたって行うことができる。

次に、処理４００はブロック４１４に進み、フレームがアンカーフレームに整合されると、アンカーフレームに対して動いているフレーム内のオブジェクトの検出及び分割が行われる。動いているオブジェクトの分割を行うための１つの方法は、２つの段階を有すると説明することができる。

第１の段階では、（以下で説明する）正規化距離の画像を閾値処理し、次に能動輪郭を使用して分割を精細化することにより、最初の動き領域検出を行うことができる。１つの実施形態では、縮小画像に基づいて計算を行うことができる。この計算は、計算能力を節約するとともに画像を滑らかにして、ノイズ障害を避けるのに役立てるためのものである。

最初の動き検出
最初の動き検出は、例えば以下の方程式を使用して、ＹＵＶ空間におけるシーケンス内の現在のフレームの各ピクセルとアンカーフレームの各ピクセルとの間の正規化距離を計算することによって行うことができる。
式中、ｗ₁及びｗ₂は重みである。これらの重みが１又はそれ以下になり、画像間の差分の計算が主に輝度に基づくようになることが望ましい。異なるグレーレベルの異なる挙動を避けるために、正規化を使用することができる。

正規化距離値が所定の閾値を超えるピクセルをマークする。これらのピクセルは、動き範囲の肉眼的推定を構成することができる。動き範囲は、動いているオブジェクト、及びこのオブジェクトが空け渡した範囲の両方を含む。動き範囲をこのように定義することにより、動いているオブジェクトが各フレームからアンカーフレーム上に置き換わった時に、アンカーフレーム内の動いているオブジェクトの場所がパッチで覆われるようになり、そうでなければこのオブジェクトが２度出現することがある。この時、この肉眼的推定が、より精細化された分割のための最初の推測として機能する。

この段階で、ノイズ又は僅かな不整合に起因して検出された偽の動き範囲を検出して消去することができる。これらの偽の動き範囲は、非常に小さな塊として現れることがあり、例えば形態学的開口によって除去することができる。次に、互いに近い動き範囲を結合することができる。

この段階の最終結果は、０又は１の値をとる関数Ｍ（ｘ，ｙ）などの動きマスクであり、この場合、Ｍ（ｘ，ｙ）＝１は動き範囲を示し、０の値は動きが存在しない範囲を示す。

１又はそれ以上の動き範囲の選択
次に、画像内の動きが検出された領域である動き範囲の１つ又はそれ以上を選択することができる。１つの実施形態では、評価中のフレームが最初のフレーム（例えばアンカーフレーム）である場合、判定は、ブロック４０２においてユーザが設定した所定の選択に基づくことができる。これらの選択は、動きが生じると予想される範囲（例えばフレームの４分の１）、予想される動きのサイズ（例えば大きい又は小さい）、焦点面との近さ、又はその他の様々な基準のいずれかを含むことができる。しかしながら、ユーザが設定した選択を使用せずに処理が決定を行うような完全な自動化が望ましい他の実施形態では、デフォルトが適用される。例えば、特定サイズのフレームの中心の範囲を選択することができる。別の実施形態では、画像取り込み装置により選択された焦点領域に基づいて範囲を選択することができる。１つの実施形態では、フレームの幅及び／又は高さの３分の１などのデフォルト領域を選択することができる。いずれにせよ、この選択をＭ_０として表すことができるのに対し、後続の動き範囲は、それぞれのフレーム番号に従ってＭ₁、Ｍ₂、・・・として表される。

いくつかの実施形態では、各フレームに関して、選択される動き範囲が、前のフレームのマスクと最大限に重複する範囲となる。これにより、マスクの連続性が保証される。

すなわち、各フレームｉに関して、前のフレームの選択された動き範囲Ｍ_i-1、及び現在のフレームの検出された動き範囲Ｍを所与とした場合、Ｍ_i-1によりマークされた領域と最大限に重複する（共通してマークされるピクセル数が最大の）Ｍ内の単一の関連する要素となるようにＭ_iを選択する。

精細化した分割
最初の段階で行われる分割は、場合によっては十分に正確でないと判断されることがある。この１つの考えられる理由として、この分割は、動いているオブジェクトのピクセル値を背景のピクセル値と比較することのみに基づくが、背景のピクセル値と前景のオブジェクトのピクセル値が非常に類似している場合があることを挙げることができる。

従って、この段階では、判定領域の境界とこれらの（単複の）オブジェクトの境界との整合を改善するための処理を使用して分割を精細化することが望ましくなり得る。状況によっては、手掛かりのない分割は困難であり、通常は不良設定問題となり得るが、既に取得した最初の大まかな分割を考慮すると、分割を精細化することによって結果を改善することができる。

画像分割を精細化する方法は複数存在し、これらの方法のいずれを使用してもよい。例えば、使用できる１つの考えられる方法が、Ｊａｍｅｓ Ｍａｌｃｏｌｍ、Ｙｏｇｅｓｈ Ｒａｔｈｉ、Ａｎｔｈｏｎｙ Ｙｅｚｚｉ、及びＡｌｌｅｎ Ｔａｎｎｅｎｂａｕｍ著、「高速な近似曲線展開（Ｆａｓｔ ａｐｐｒｏｘｉｍａｔｅ ｃｕｒｖｅ ｅｖｏｌｕｔｉｏｎ）」、Ｒｅａｌ−Ｔｉｍｅ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００８、Ｎａｓｓｅｒ Ｋｅｈｔａｒｎａｖａｚ、Ｍａｔｔｈｉａｓ Ｆ．Ｃａｒｌｓｏｈｎ編集、ＳＰＩＥ会報、第６８１１巻６８１１０Ｌ（２００８年）に記載されており、この文献は引用により本明細書に組み入れられる。しかしながら、他の方法を使用することもでき、従って本明細書で説明する本考案は、分割を精細化するための特定の方法に限定されるものではない。

この方法では、分割された領域の境界ピクセルがマークされ、これが「曲線」と呼ばれる。曲線上のピクセルは「０」と表記されるのに対し、領域内のピクセルは「−１」と表記され、領域外のピクセルは「＋１」と表記される。当然ながら、他の値を選択することもできる。領域内の全てのピクセルの平均ピクセル値ｕを計算し、分割された領域外の全てのピクセルの平均ピクセル値ｖも計算する。

この場合、境界ピクセル上に作用する力を、以下のように定義することができる。

この式では、ピクセル値が背景の平均ｖに非常に近い（閾値によって）場合には力が強力に正であり、（閾値によって）オブジェクトの平均ｕに非常に近い場合には力が強力に負であることが示されている。

このアルゴリズムにより、各境界ピクセルを検査して、これらのピクセル上の力をチェックする。力が非ゼロである場合、ピクセルは、力が正であるか、それとも負であるかに依存して、境界から曲線の外側又は内側にそれぞれ移動し、１つの実施形態では、選択されたピクセルとは逆の符号の力を有するピクセルの近隣に沿って進むように曲線が選択される。

このアルゴリズムを、例えば分割された領域のサイズの変化が閾値よりも小さいという判定に基づいて、もはや曲線が発展していないと判定されるまで複数回（例えば数十回）繰り返すことができる。

次に、図４の処理４００はブロック４１６に進み、ここで前段階からの分割により、フレーム内の特定された興味深い動き範囲に境界が付けられる。ブロック４１６では、この分割された領域をマスクとして使用することができる。１つの実施形態では、マスク上で（例えば７×７の構造化要素を使用した）形態学的拡張を行って、動いている前景と周囲背景の間の滑らかな漸進的遷移を可能にするための周縁を加えることができる。

次にブロック４１８に進み、現在のフレームのマスクを、上記で計算したマスクと最初のフレーム（例えばアンカーフレーム）を結合したものとして定義することができる。この定義は、オブジェクトが無くなった空いた場所と現在のオブジェクトの場所が分離され、従って別個の塊として扱われ得る場合に対処するためのものである。１つの実施形態では、この時に一方のみを選択することができる。これらの状況では、最初のフレーム（例えばアンカーフレーム）のマスクを加算するのは、現在のフレームの背景が、最初のフレーム（例えばアンカーフレーム）の対応するピクセルに置き換わった時に、オブジェクトが、その最初の場所に再び現れないことを確実にするためである。

次に、処理４００はブロック４２０に進み、ここではマスクの外側のピクセルを不動背景と呼ぶ。これらのピクセルは、アンカー画像フレームからの対応するピクセルに置き換えることができる。動いているオブジェクトと背景の間の境界を、重みによってさらに滑らかにすることができる。この結果として得られる出力が、アニメーションシーケンス、すなわちシネマグラフである。１つの実施形態では、シーケンスのシームレスな繰り返しの実行を可能にする様々なループ処理技術のいずれかを使用して、このシーケンスを、フレームシーケンスを通じて繰り返しループするようにリンクさせることができる。

なお、処理４００において、フレームの狭い範囲内に局所的な動きが含まれ、例えばフレームにわたって広がっていないと判断される状況では、任意にシーケンスのループの最初と最後の間を滑らかにすることが適切となり得る。１つの実施形態では、逆再生されている（すなわち最初のシーケンスから逆転させた）同じビデオを最初のシーケンスの最後に加えることにより、これを行うことができる。

次に、処理はブロック４２２に進むことができ、ここで出力されたシネマグラフを短いビデオとして、又は場合によっては繰り返して再生できるアニメーションＧＩＦとして保存することができる。生成されたシネマグラフでは、観察されるシーンの大部分が、動きをほとんど又は全く伴わない不変画像のように見える主に静止したものとして見えるのに対し、シーンの別の小さな部分である動いているオブジェクトがわずかな動きを繰り返すように見える。１つの実施形態では、出力シーケンスを効率的に記憶及び／又は送信するための様々なメカニズムのいずれかを使用して、出力シーケンスを圧縮することもできる。その後、処理４００は、呼び出し処理などに戻ることができる。

また、ユーザは、この画像取り込み装置を使用することにより、入力取り込み装置上のファインダー内又はその他のディスプレイ画面要素内でシネマグラフを直ちに再生してシーケンスを見ることができる。このような素早いフィードバックを可能にすることにより、ユーザには、別の装置上にシーケンスをオフロードできるまで待つ必要なく、シーケンスを撮り直す機会、並びにシーン、ショットの角度又はその他のパラメータを修正する機会が与えられる。

図５は、シネマグラフ内の単一の出力フレームを構築するために使用できる処理の１つの実施形態を大まかに示す論理フロー図である。図５の処理５００は、図示のものよりも多くの又は少ない要素を含むことができる。しかしながら、本考案を実施するための例示的な実施形態を開示するには、図示の要素で十分である。１つの実施形態では、処理５００が、図４のブロックに対応する非限定的かつ非網羅的な例をフレーム毎に示すように意図される。

従って、図示のように、図５には、フレームシーケンス内の動きを有するオブジェクト５０３を含む最初の画像フレーム５０２の例を示している。フレーム５０１は、アンカーフレームとして定義することができる。図４の処理４００に関連して上述したように、これらのフレームは位置合わせされ、図５に整合された画像フレーム５０４として示すように、結果としての整合された（単複の）画像フレームが与えられる。なお、処理５００には、単一フレームのフローを示しているが、動作は一連のフレームにわたって行われる。従って、整合された画像フレーム５０４は、取り込んだ画像シーケンスから取得される複数の整合された画像フレームを含むことができる。

処理５００は、最初の動き検出を行い、フレーム５０６内にマスク５０７として示す最初のマスクの生成を行うように流れる。次に、このフローでは、マスク５０７内に示す選択された塊を分割することにより、フレーム５０８内に精細化されたマスク５０９が得られる。次に、この精細化されたマスク５０９を使用して、アンカーフレーム５０１から取得された背景との合成を行い、自動的に生成されたシネマグラフを表す結果的なフレームシーケンス５１０を作成することができる。

図６は、シネマグラフを作成するために分割を統合する処理例の１つの実施形態を大まかに示す論理フロー図である。図６の処理６００は、図示のものよりも多くの又は少ない要素を含むことができる。しかしながら、本考案を実施するための例示的な実施形態を開示するには、図示の要素で十分である。１つの実施形態では、処理６００が、バラバラな動き領域の状況において分割を統合する非限定的かつ非網羅的な例をフレーム毎に示すように意図される。処理６００に示すように、現在の整合された画像フレーム６０４内の動いたオブジェクト６０３によって表すように、アンカー画像６０１のオブジェクト６０２が大きく動いたことが分かる。この動きにより、動き領域画像６０６に示す２つのバラバラな動き領域が生じることがある。１つの実施形態では、これらの領域の一方を、シーン内の領域の場所などを含む様々な基準のいずれかに基づいて自動的に選択することができる。いくつかの実施形態では、自動選択が、アンカー画像６０１から選択された領域（オブジェクト６０２）に基づくことができる。フレーム６０８には、結果として得られる１つのこのような選択を示している。この時、画像フレーム６１０に示すような最初の画像フレームと現在の画像フレームの間の分割の統合は、このバラバラな領域の問題を解決するためのものである。しかしながら、画像シーケンスは複数の動く領域を含むこともあり、従ってこれらの領域が、上記の方法を使用することに基づいて別個のオブジェクトとして操作され、組み合わせるべき又は別様に解決すべきバラバラな領域として見なされないこともある。

注釈として、上述したように、分割は、動いているオブジェクトを過度に多く含むこと、又は動いているオブジェクトの一部しか含まないことを最小限に抑えながら、画像シーケンス内の動きを正しく識別するためのものである。従って、複数の動いているオブジェクトを選択することはできるが、１つの実施形態では、領域のサイズ、検出された動いているオブジェクトの総数、又はその他の様々な基準に基づいて閾値数を選択することができる。

図の各要素、及びこれらの図中の要素の組み合わせは、コンピュータプログラム命令により実現できると理解されるであろう。これらのプログラム命令をプロセッサに与えて機械を生産することで、このプロセッサ上で実行される命令により、フロー図の１又は複数のフロー要素に示す動作を実施する手段が生み出されるようにすることができる。これらのコンピュータプログラム命令をプロセッサにより実行して、このプロセッサにより実行される一連の動作ステップがコンピュータ実行処理を生み出すようにすることで、このプロセッサ上で実行される命令により、フロー図の１又は複数のフロー要素内に示される動作を実施するためのステップが提供されるようにすることができる。これらのコンピュータプログラム命令は、フローの要素内に示す動作ステップの少なくともいくつかが同時に実行されるようにすることもできる。さらに、ステップのいくつかを、マルチプロセッサコンピュータシステムで行われるような形で複数のプロセッサにわたって実行することもできる。また、フロー内の１又はそれ以上の要素又は要素の組み合わせを、他の要素又は要素の組み合わせと同時に、或いは図示の順序とは異なる順序で実行することもできる。

従って、フロー図の要素は、指定の動作を行うための手段の組み合わせ、指定の動作を行うためのステップの組み合わせ、及び指定の動作を行うためのプログラム命令手段をサポートする。また、指定の動作又はステップを実行する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令の組み合わせにより、フロー図の各要素、及びフロー図の要素の組み合わせを実現することもできる。

Claims (20)

1. 画像取り込み装置内で動作するプロセッサベースの方法であって、
   １又はそれ以上の画像センサ装置を使用して、取り込んだシーン内に少なくとも一部の動くコンテンツと一部の動かないコンテンツとを有する画像フレームのシーケンスを取り込むステップと、
   前記取り込んだシーケンスに対し、ユーザ入力を伴わない動作を自動的に実行するステップと、
   を含み、前記動作は、
   前記画像フレームのシーケンス内からアンカーフレームを選択するステップと、
   前記シーケンス内の他の画像フレームの各々を前記アンカーフレームに位置合わせするステップと、
   前記位置合わせされた画像フレームと前記アンカーフレームの間の局所的な動きを検出するステップと、
   各画像フレーム内の前記検出された局所的な動きの領域を分割するステップと、
   前記検出された局所的な動きの領域に関連するピクセルを除く各画像フレーム内のピクセルを、前記アンカーフレームからの対応するピクセルに置き換えてシネマグラフを生成するステップと、
   を含む、
   ことを特徴とする方法。
2. 前記画像フレームのシーケンスを取り込むステップは、焦点パラメータ又は取り込み速度の少なくとも一方を前記画像取り込み装置により自動的に選択するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記アンカーフレームを選択するステップは、該アンカーフレームを前記画像の前記シーケンス内の最初のフレーム又は最後のフレームとして選択するステップを含む、
   ことを特徴とする請求項１に記載の方法。
4. 前記他の画像フレームの各々を前記アンカーフレームに位置合わせするステップは、平均正規化差分絶対値和を使用して動き検索を実行し、結果を使用して前記他の画像フレームの各々に適用する変換を生成するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記検出された局所的な動きを分割するステップは、正規化距離の画像を閾値処理し、次に能動的輪郭処理を使用して前記分割を精細化することにより、前記シーケンス内の動き範囲を検出するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記局所的な動きを検出するステップは、前記画像フレームのシーケンス内の前の画像フレームから決定されたマスクと最大限に重複することに基づいて動き範囲を選択するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
7. 前記検出された局所的な動きの領域を分割するステップは、該局所的な動きの領域との境界ピクセルとして識別された各ピクセルを調べ、前記境界ピクセルに作用する計算された力の値に基づいて、前記ピクセルを前記局所的な動きの領域の外側又は前記局所的な動きの領域の内側に割り当てるステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
8. 画像フレームのシーケンスを取り込むために使用する画像センサ装置と、
   前記取り込んだシーケンスに対し、ユーザ入力を伴わない動作を自動的に実行する、前記画像センサと結合した１又はそれ以上のプロセッサと、
   を備え、前記動作は、
   前記画像フレームのシーケンス内からアンカーフレームを選択するステップと、
   前記シーケンス内の他の画像フレームの各々を前記アンカーフレームに位置合わせするステップと、
   前記位置合わせされた画像フレームと前記アンカーフレームの間の局所的な動きを検出するステップと、
   各画像フレーム内の前記検出された局所的な動きの領域を分割するステップと、
   前記検出された局所的な動きの領域に関連するピクセルを除く各画像フレーム内のピクセルを、前記アンカーフレームからの対応するピクセルに置き換えてシネマグラフを生成するステップと、
   を含む、
   ことを特徴とする画像システム。
9. 前記画像フレームのシーケンスを取り込むステップは、焦点パラメータ又は取り込み速度の少なくとも一方を前記画像取り込み装置により自動的に選択するステップをさらに含む、
   ことを特徴とする請求項８に記載の画像システム。
10. 前記動作は、前記シネマグラフの最後に、該シネマグラフのシーケンス内のフレームの逆シーケンスを追加するステップをさらに含む、
    ことを特徴とする請求項８に記載の画像システム。
11. 前記他の画像フレームの各々を前記アンカーフレームに位置合わせするステップは、平均正規化差分絶対値和を使用して動き検索を実行し、結果を使用して前記他の画像フレームの各々に適用する変換を生成するステップをさらに含む、
    ことを特徴とする請求項８に記載の画像システム。
12. 前記検出された局所的な動きを分割するステップは、正規化距離の画像を閾値処理し、次に能動的輪郭処理を使用して前記分割を精細化することにより、前記シーケンス内の動き範囲を検出するステップをさらに含む、
    ことを特徴とする請求項８に記載の画像システム。
13. 前記局所的な動きを検出するステップは、前記画像フレームのシーケンス内の前の画像フレームから決定されたマスクと最大限に重複することに基づいて動き範囲を選択するステップをさらに含む、
    ことを特徴とする請求項８に記載の画像システム。
14. 前記検出された局所的な動きの領域を分割するステップは、該局所的な動きの領域との境界ピクセルとして識別された各ピクセルを調べ、前記境界ピクセルに作用する計算された力の値に基づいて、前記ピクセルを前記局所的な動きの領域の外側又は前記局所的な動きの領域の内側に割り当てるステップをさらに含む、
    ことを特徴とする請求項８に記載の画像システム。
15. 画像データを管理するための装置であって、
    画像シーケンスを取り込む１又はそれ以上の物理的構成要素と、
    前記取り込んだシーケンスに対し、ユーザ入力を伴わない動作を自動的に実行する１又はそれ以上の回路ユニットと、
    を備え、前記動作は、
    前記画像フレームのシーケンス内からアンカーフレームを選択するステップと、
    前記シーケンス内の他の画像フレームの各々を前記アンカーフレームに位置合わせするステップと、
    前記位置合わせされた画像フレームと前記アンカーフレームの間の局所的な動きを検出するステップと、
    各画像フレーム内の前記検出された局所的な動きの領域を分割するステップと、
    前記検出された局所的な動きの領域に関連するピクセルを除く各画像フレーム内のピクセルを、前記アンカーフレームからの対応するピクセルに置き換えてシネマグラフを生成するステップと、
    を含む、
    ことを特徴とする、画像データを管理するための装置。
16. 前記画像フレームのシーケンスを取り込むステップは、焦点パラメータ又は取り込み速度の少なくとも一方を前記画像取り込み装置により自動的に選択するステップをさらに含む、
    ことを特徴とする請求項１５に記載の装置。
17. 前記他の画像フレームの各々を前記アンカーフレームに位置合わせするステップは、平均正規化差分絶対値和を使用して動き検索を実行し、結果を使用して前記他の画像フレームの各々に適用する変換を生成するステップをさらに含む、
    ことを特徴とする請求項１５に記載の装置。
18. 前記検出された局所的な動きを分割するステップは、正規化距離の画像を閾値処理し、次に能動的輪郭処理を使用して前記分割を精細化することにより、前記シーケンス内の動き範囲を検出するステップをさらに含む、
    ことを特徴とする請求項１５に記載の装置。
19. 前記局所的な動きを検出するステップは、前記画像フレームのシーケンス内の前の画像フレームから決定されたマスクと最大限に重複することに基づいて動き範囲を選択するステップをさらに含む、
    ことを特徴とする請求項１５に記載の装置。
20. 前記動作は、前記シネマグラフの最後に、該シネマグラフのシーケンス内のフレームの逆シーケンスを追加するステップをさらに含む、
    ことを特徴とする請求項１５に記載の装置。