JP5108893B2 - ２次元画像から３次元パーティクル・システムを復元するためのシステムおよび方法 - Google Patents

Description

本発明は、一般にはコンピュータ・グラフィックス処理および表示システムに関し、より詳細には、２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元する（recovering）ためのシステムおよび方法に関する。

単一の画像から、３次元（３Ｄ）ジオメトリを復元することは、長い間、コンピュータビジョンおよびコンピュータ・グラフィックスにおいて、未解決の問題であった。現在の技法は、ポリゴン・メッシュの形で、２次元（２Ｄ）画像からソリッドまたは変形可能なオブジェクトのジオメトリを復元することを扱うだけである。既存の研究はいずれも、ファジィ・オブジェクト、例えば、火、草、木、水などの３Ｄジオメトリを復元することに対処しておらず、特に、画像中に２Ｄファジィ・オブジェクトを生成することもできたパーティクル・システムを復元することに対処していない。

２Ｄ画像から３Ｄ情報を復元することは、将来の映画製作システムにとって重要である。重要な用途の１つは、２Ｄから３Ｄ変換として知られるプロセスである、単一の２Ｄ画像からあるシーンの３Ｄジオメトリを再構成することである。２Ｄから３Ｄを復元することは不良設定問題（ill-posed problem）であるため、正確な３Ｄ構成をするためには、人間との対話が必要である。このような半自動手法は、Ｗｅｓｔｌａｋｅ Ｖｉｌｌａｇｅ、 ＣａｌｉｆｏｒｎｉａのＩｎ−Ｔｈｒｅｅ、Ｉｎｃ．と呼ばれる会社により開発された２Ｄから３Ｄ変換システムで利用されており、それは、通常の２Ｄフィルムから立体的なフィルムを作成することに特化している。２Ｄから３Ｄ変換システムは、Ｋａｙｅに付与された、２００１年３月２７日発行の米国特許第６，２０８，３４８号明細書に述べられている。２Ｄから３Ｄのプロセスにおいて、ジオメトリのディメンショナリスト（dimensionalist）は、入力画像中のオブジェクトにマッチする３Ｄジオメトリまたは立体的な対を作成しなくてはならない。建物および人体などのソリッドまたは変形可能なオブジェクトのジオメトリを作成または修正することは、人間の編集者にとって容易であるかもしれないが、２Ｄ画像中の木および雲などのファジィ・オブジェクトにマッチする３Ｄジオメトリを作成することは、人間の編集者では非常に時間がかかり、困難である。

米国特許第６，２０８，３４８号明細書

単一ビューの３Ｄジオメトリ復元に対する従来の研究は多くあるが、２Ｄ画像からファジィ・オブジェクトの３Ｄジオメトリを復元することに関しては、ほとんど焦点が当てられていないようである。したがって、２Ｄ画像からファジィ・オブジェクトの３Ｄジオメトリを復元するためのシステムおよび方法が望まれている。

本開示は、２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元するためのシステムおよび方法を提供する。本開示のジオメトリ再構成システムおよび方法は、２Ｄ画像からファジィ・オブジェクトのジオメトリを表す３Ｄパーティクル・システムを復元する。ジオメトリ再構成システムおよび方法は、２Ｄ画像中のファジィ・オブジェクトを識別し、したがって、それをパーティクル・システムにより生成することができる。ファジィ・オブジェクトの識別は、画像編集ツールを用いて、ファジィ・オブジェクトを含む領域の輪郭を描くことにより手動で行われるか、あるいは自動の検出アルゴリズムにより行われる。これらのファジィ・オブジェクトは、次いで、ファジィ・オブジェクトとパーティクル・システムのライブラリとのマッチングをとるための基準を作り上げるためにさらに分析される。画像セグメントの光特性および表面特性を、そのフレーム中でかつ時間的に、すなわち、画像の連続するシリーズで分析することにより、最良の一致（best match）が決定される。本システムおよび方法は、ライブラリから選択されたパーティクル・システムをシミュレートし、レンダリングし、次いで、そのレンダリング結果を画像中のファジィ・オブジェクトと比較する。本発明のシステムおよび方法は、一定のマッチング基準に従って、そのパーティクル・システムが、よく一致しているかどうかを判断する。

本発明の一態様によれば、３次元（３Ｄ）再構成プロセスは、２次元（２Ｄ）画像中のファジィ・オブジェクトを識別するステップと、複数の所定のパーティクル・システムから、事前定義のファジィ・オブジェクトに関係するパーティクル・システムを選択するステップと、選択されたパーティクル・システムをシミュレートするステップと、シミュレートされたパーティクル・システムをレンダリングするステップと、レンダリングされたパーティクル・システムを２Ｄ画像中で識別されたファジィ・オブジェクトと比較するステップと、比較結果が所定の閾値未満である場合、選ばれたパーティクル・システムが識別されたファジィ・オブジェクトのジオメトリを表していることを許容するステップとを含む。

本発明の他の態様によれば、２次元（２Ｄ）画像からファジィ・オブジェクトを３次元（３Ｄ）再構成するためのシステムが提供される。本システムは、少なくとも１つの２Ｄ画像からファジィ・オブジェクトの３次元モデルを再構成するように構成された後処理装置を含み、この後処理装置は、２Ｄ画像中の少なくとも１つのファジィ・オブジェクトを識別するように構成されたオブジェクト検出器と、パーティクル・システムを生成しかつシミュレートするように構成されたパーティクル・システム発生器と、生成されたパーティクル・システムをレンダリングするように構成されたパーティクル・レンダラと、複数の所定のパーティクル・システムから、事前定義のファジィ・オブジェクトに関係するパーティクル・システムを選択すること、レンダリングされたパーティクル・システムを２Ｄ画像中の少なくとも１つの識別されたファジィ・オブジェクトと比較すること、および比較結果が所定の閾値未満である場合、選択されたパーティクル・システムを記憶することを実行するように構成された再構成モジュールとを含み、記憶されたパーティクル・システムは、少なくとも１つの識別されたファジィ・オブジェクトの復元されたジオメトリを表す。

本発明のさらなる態様では、２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元するための方法ステップを実施するためのマシンにより実行可能な命令のプログラムを有形に実施する、マシンにより読取り可能なプログラム記憶装置が提供され、その方法は、２次元（２Ｄ）画像中のファジィ・オブジェクトを識別するステップと、複数の所定のパーティクル・システムから、事前定義のファジィ・オブジェクトに関係するパーティクル・システムを選択するステップと、選択されたパーティクル・システムをシミュレートするステップと、シミュレートされたパーティクル・システムをレンダリングするステップと、レンダリングされたパーティクル・システムを２Ｄ画像中の識別されたファジィ・オブジェクトと比較するステップと、その比較結果が所定の閾値未満である場合、選択されたパーティクル・システムを記憶するステップとを含み、記憶されたパーティクル・システムは、ファジィ・オブジェクトの復元されたジオメトリを表す。

本発明のこれらの、および他の態様、特徴、ならびに利点は、添付の図面と合わせて読むべき好ましい諸実施形態に関する以下の詳細な説明で述べられ、また明らかとなろう。

図面では、同様の参照番号は、諸図を通して同様のエレメントを示す。

静的なパーティクル・システムの反復プロセスの流れ図である。 動的なパーティクル・システムの反復プロセスの流れ図である。 本発明の態様による２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元するためのシステムの例示的な図である。 本発明の態様による２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元するための例示的な方法の流れ図である。 本発明の態様による少なくとも２つの２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元するための例示的な方法の流れ図である。

図面（複数可）は、本発明の概念を示すためのものであり、必ずしも本発明を示すための唯一の可能な構成を示していないことに理解されたい。

諸図で示されたエレメントは、ハードウェア、ソフトウェア、またはその組合せの様々な形態で実装できることを理解されたい。これらのエレメントは、プロセッサ、メモリ、および入力／出力インターフェースを含むことのできる、１つまたは複数の適切にプログラムされた汎用装置上で、ハードウェアおよびソフトウェアの組合せで実装されることが好ましい。

本説明は本発明の原理を示している。したがって、本明細書で明示的に述べられ、あるいは示されていないが、本発明の原理を実施し、またその趣旨および範囲に含まれる様々な構成を、当業者であれば考案できるであろうことが理解されよう。

本明細書に記載のすべての例および条件付き言語は、本発明の原理と、本技術の促進に発明者が貢献した概念とを読者が理解するのを助けるための教示的な目的が意図されており、このように具体的に述べられた諸例および諸条件に限定するものではないものと解釈すべきである。

さらに、本発明の原理、態様、および実施形態、ならびにその特定の例を述べる本明細書のすべての記述は、その構造的かつ機能的な均等形態を共に包含することが意図されている。さらに、このような均等形態は、現在知られている均等形態、ならびに将来開発される均等形態、すなわち、構造に関係なく同様の機能を実施する開発された任意のエレメントを共に含むことが意図される。

したがって、例えば、本明細書で提示されるブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことが当業者であれば理解されよう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどは、このようなコンピュータまたはプロセッサが明示的に示されているかどうかにかかわらず、実質的にコンピュータ可読媒体中で表すことのできる、またコンピュータまたはプロセッサで実行できる様々なプロセスを表すことが理解されよう。

諸図に示された様々なエレメントの機能は、専用のハードウェア、ならびに適切なソフトウェアと併せてソフトウェアを実行できるハードウェアを使用することにより提供することができる。プロセッサにより提供される場合、諸機能は、単一の専用プロセッサにより、単一の共用プロセッサにより、またはそのいくつかが共用され得る複数の個々のプロセッサにより提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行できるハードウェアを排他的に示していると解釈すべきではなく、暗黙的に、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、および不揮発性ストレージを限定することなく含むことができる。

従来のかつ／またはカスタムの他のハードウェアもまた含めることができる。同様に、図に示されたいずれのスイッチも概念的なものに過ぎない。それらの機能は、プログラムロジックのオペレーションを介して、専用ロジックを介して、プログラム・コントロールと専用ロジックの対話を介して、あるいは手動でも実行することができ、コンテクストからより具体的に理解されるように、その特定の技法は、実装する人により選択することが可能である。

本明細書の特許請求の範囲では、指定された機能を実施するための手段として述べられているいずれのエレメントも、その機能を実施する任意の方法を包含することが意図されており、それは、例えば、ａ）その機能を実施する回路エレメントの組合せ、またはｂ）任意の形態のソフトウェアであって、ファームウェア、マイクロコードなどを含み、その機能を実施するために、そのソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを含む。このような特許請求の範囲により定義される本発明は、様々に記載される手段により提供される機能が組み合わされ、かつ本特許請求の範囲が求める方法で統合されるという点にある。したがって、これらの機能を提供できる任意の手段は、本明細書で示されたものと均等であると見なされる。

コンピュータ・グラフィックスでは、建物や人体などのソリッドまたは変形可能なオブジェクトは、ＮＵＲＢＳ（不均等有理ベジェ・スプライン）および三角形メッシュなど、解析的またはポリゴン・メッシュとして表される。しかし、ファジィ・オブジェクトをメッシュとして表現することは困難である。それに代えて、ファジィ・オブジェクトは、パーティクル・システムと呼ばれる技法を用いて生成されることが多い。ファジィ・オブジェクトのジオメトリを復元する一方法は、何らかの事前定義の仕様を有するパーティクル・システムの選択を可能にすることによって提供される（例えば、木を復元するために、葉を事前定義のパーティクル・プリミティブとすることができる）。異なる仕様を有する、すなわち、異なるファジィ・オブジェクトのためのパーティクル・システムは、本発明の３Ｄ再構成アプリケーション用としてライブラリ中に収集されることになる。

本発明のシステムおよび方法は、そのレンダリングが、２Ｄ画像中の雲、木、および波などの２Ｄファジィ・オブジェクトにマッチするはずの３Ｄパーティクル・システムを復元する問題に対処する。

復元されたパーティクル・システムは、マッチしたパーティクル・システムと呼ばれる。そのプロセスは、パーティクル・システムの画像へのマッチングと呼ばれる。このようなシステムは、２Ｄフィルムから３Ｄフィルムへの変換、およびシーンの３Ｄジオメトリを必要とする他のＶＦＸ（視覚効果）作成用途に対して有用である。

パーティクル・システムは、１組のプリミティブ（例えば、パーティクル）から構成される。これらのパーティクルのそれぞれは、パーティクルの挙動（behavior）、すなわち、そのパーティクルがどのように、またどこに表示されるかに対して直接、または間接的に影響を与える属性を有する。パーティクルは、生成率もしくは放出率、位置、速度、パーティクルの寿命、パーティクルの退色パラメータ、経時的形状、サイズ、および透明度などの１組の制御パラメータを有するシステムにより生成され、かつシミュレートされる。１組の制御パラメータは、ファジィ・オブジェクトの異なるタイプ、例えば、木、雲などのそれぞれに対して定義され、また以下で述べるパーティクル・システムのライブラリに記憶されることになる。

概して、パーティクル・システムの状態は、３つのステップ間で反復する。すなわち、（図１Ａおよび図１Ｂで示されるように）パーティクル放出、パーティクル・シミュレーション、およびレンダリングである。パーティクル放出は、新しいパーティクルを生成する。各新しく生成されたパーティクルの属性または制御パラメータには、固定された、または確率過程により決定され得る初期値が与えられる。パーティクル・シミュレーションは、既存のパーティクルの物理的性質をシミュレートし、また既存のパーティクルの消滅を制御する。各パーティクルの属性は、時間の経過で変化し得るが、あるいは時間および他のパーティクル属性の両方の関数とすることができる。レンダリングは、３Ｄパーティクル・システムを２Ｄ画像に表示する、すなわち、３Ｄパーティクル・システムを、例えば、ディスプレイにより視覚的な形態に変換する。

パーティクル・システムは、静的なパーティクル・システムと動的なパーティクル・システムに分類することができる。図１Ａで示す静的なパーティクル・システムでは、パーティクル・システムのレンダリングは、パーティクル・シミュレーションの完了後に一度行われるだけである。レンダリングの結果、静的なファジィ・オブジェクトの画像が生成される。図１Ｂで示す動的なパーティクル・システムでは、パーティクルは連続的に生成され、シミュレートされる。パーティクルは、次々に消滅し、時間と共にその状態（色など）を変化させることができる。レンダリングは、各シミュレーション・ステップ後に実施され、それは、水を波立たせるなど、動的なファジィ・オブジェクトの挙動を模倣することができる。レンダリングの結果、ファジィ・オブジェクトのビデオ出力が生成される。

３Ｄパーティクル・システムを復元する理由は、画像におけるその２Ｄ投影からファジィ・オブジェクトのジオメトリを再構成するためである。ソリッド・オブジェクトのジオメトリ復元と比較すると、ファジィ・オブジェクトのジオメトリ復元は２つの課題に直面する。まず、ファジィ・オブジェクトと背景の間の境界が普通は明確ではなく、それは、ファジィ・オブジェクトを背景から隔離することを非常に複雑化する。第２に、ファジィ・オブジェクトは、通常、一様な形状を有していないので、ファジィ・オブジェクトをパラメータ化することが非常に困難である。したがって、従来の方法では、ソリッド・オブジェクトの大域的なジオメトリ・パラメータを推定するために、モデル・ベースの手法を用いることが可能であったかもしれないが、ファジィ・オブジェクトにジオメトリ・パラメータの推定を適用することはできない。２つのパーティクル・システム間の変形または関係を、アフィン変換などの簡単なパラメータ関数により記述することができない。本発明のシステムおよび方法は、パーティクル状態およびパラメータを推定するために、シミュレーション・ベースの手法を利用する。本システムおよび方法は、パーティクル・システムをシミュレートし、かつレンダリングし、次いで、そのレンダリング結果を画像中のファジィ・オブジェクトと比較する。次いで、本発明のシステムおよび方法は、何らかのマッチング基準に従って、パーティクル・システムがよく一致しているかどうかを判断することになる。静的および動的パーティクル・システムを復元するための異なる方法が、以下で述べられる。

次に、図を参照すると、本開示の実施形態による例示的なシステム・コンポーネントが、図２で示されている。フィルム・プリント１０４、例えば、カメラから得られたネガフィルムを、デジタル形式、例えば、Ｃｉｎｅｏｎ（シネオン）フォーマット、またはＳＭＰＴＥ（映画テレビ技術者協会）ＤＰＸ（Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｅｘｃｈａｎｇｅ）ファイルへと走査するための走査装置１０３を提供することができる。走査装置１０３は、テレシネ、または例えば、ビデオ出力を有するＡｒｒｉ ＬｏｃＰｒｏ（商標）など、フィルムからビデオ出力を生成する任意の装置を含むことができる。代替的には、ポスト・プロダクション・プロセスまたはデジタル映画１０６からのファイル（例えば、すでにコンピュータで読取り可能な形式のファイル）を直接使用することもできる。コンピュータ可読ファイルの可能なソースは、ＡＶＩＤ（商標）エディタ、ＤＰＸファイル、Ｄ５テープなどである。

走査されたフィルム・プリントは、後処理装置１０２、例えば、コンピュータに入力される。コンピュータは、１つまたは複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）および／または読取り専用メモリ（ＲＯＭ）などのメモリ１１０、ならびにキーボード、カーソル制御装置（例えば、マウスもしくはジョイスティック）および表示装置などの入力／出力（Ｉ／Ｏ）ユーザ・インターフェース（複数可）１１２などのハードウェアを有する任意の様々な知られたコンピュータ・プラットフォーム上に実装される。コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードを含む。本明細書で述べる様々なプロセスおよび機能は、オペレーティング・システムにより実行されるマイクロ命令コードの一部、またはソフトウェア・アプリケーション・プログラムの一部（またはその組合せ）とすることができる。さらに、様々な他の周辺装置は、パラレルポート、シリアルポート、またはＵＳＢ（universal serial bus）などの様々なインターフェースおよびバス構造によりコンピュータ・プラットフォームに接続することができる。他の周辺装置は、さらなる記憶装置１２４およびプリンタ１２８を含むことができる。プリンタ１２８は、フィルム１２６の改訂版をプリントするために使用することができ、その場合、シーンは、以下で述べる技法の結果として、３Ｄモデル化されたオブジェクトを用いて改変され、または置換されていることもあり得る。

代替的には、すでにコンピュータ可読形式のファイル／フィルムのプリント１０６（例えば、外部のハードドライブ１２４に記憶され得る、例えば、デジタル映画）を、直接、コンピュータ１０２に入力することができる。本明細書で使用される「フィルム」という用語は、フィルム・プリントまたはデジタル映画を指すことができることに留意されたい。

ソフトウェア・プログラムは、２Ｄ画像から３Ｄファジィ・オブジェクトを再構成するための、メモリ１１０に記憶された３次元（３Ｄ）再構成モジュール１１４を含む。３Ｄ再構成モジュール１１４は、２Ｄ画像中のファジィ・オブジェクトを識別するためのオブジェクト検出器１１６を含む。オブジェクト検出器１１６は、画像編集ソフトウェアによって、ファジィ・オブジェクトを含む画像領域の輪郭を描くことにより手動で、または自動検出アルゴリズムを用いて、ファジィ・オブジェクトを含む画像領域を隔離することによりオブジェクトを識別する。３Ｄ再構成モジュール１１４はまた、パーティクル・システムを生成し、かつ制御／シミュレートするためのパーティクル・システム発生器１１８を含む。パーティクル・システム発生器は、以下で述べるパーティクル・システムのライブラリ１２２と対話することになる。パーティクル・システムのライブラリ１２２は、各パーティクル・システムが事前定義のファジィ・オブジェクトと関係する複数の所定のパーティクル・システムを含む。例えば、所定のパーティクル・システムの１つは、木をモデル化するために使用することができる。木ベースのパーティクル・システムは、木をシミュレートするために生成されたパーティクルに対する制御パラメータまたは属性を含むことになる。各パーティクルに対する制御パラメータまたは属性は、これだけに限らないが、位置、速度（速さと方向）、色、寿命、経過時間（age）、形状、サイズ、透明度などを含むことができる。

パーティクル・レンダラ１２０は、例えば、生成されたパーティクル・システムをディスプレイ上に表示するために提供される。

最初に、単一の画像から静的なパーティクル・システムを復元する方法が述べられ、次いで、方法は、画像のシーケンス（例えば、ビデオ・クリップ）からパーティクル・システムを復元するように拡張される。

図３は、本発明の態様に従って、２次元（２Ｄ）画像から３次元（３Ｄ）オブジェクトを再構成するための例示的な方法の流れ図である。単一の画像からのパーティクル・システムの復元は、試行錯誤により、シミュレーション・ベースの手法によって実現することができる。

最初に、後処理装置１０２は、コンピュータ可読フォーマットで、デジタルのマスター・ビデオ・ファイルを取得する。デジタル・ビデオ・ファイルは、デジタル・ビデオ・カメラを用いて、時間的なビデオ画像シーケンスを捕捉することにより得ることができる。代替的には、そのビデオ・シーケンスは、従来のフィルムタイプのカメラにより捕捉することもできる。このシナリオでは、フィルムは走査装置により走査される。カメラは、シーン中のオブジェクト、またはカメラを動かしながら、２Ｄ画像を取得することになる。カメラは、シーンの複数の視点を取得することになる。

フィルムが走査されていようと、あるいはすでにデジタル・フォーマットであろうと、フィルムのデジタル・ファイルは、フレームの位置に関する指示または情報を、例えば、フレーム番号、フィルの開始からの時間などを含むことを理解されたい。デジタル・ビデオ・ファイルの各フレームは、１つの画像、例えば、Ｉ₁、Ｉ₂、・・・Ｉ_nを含むことになる。

図３は、画像または画像の一部を生成できるパーティクル・システムを見出すための反復プロセスを示す。各反復において、システムは新しいパーティクルを生成する。最初に、ステップ２０１で、画像中のファジィ・オブジェクトが識別される。オブジェクト検出器１１６を用いて、ファジィ・オブジェクトは、ユーザが画像編集ツールを用いることにより、手動で選択することができるが、あるいは、代替的に、ファジィ・オブジェクトを、画像検出アルゴリズム、例えば、セグメンテーション・アルゴリズムを用いて、自動で検出することができる。輪郭が描かれた領域（すなわち、ファジィ・オブジェクト）の視覚的な外観は、マッチングのために、パーティクル・システム・ライブラリ１２２から選択されるはずの特定のパーティクル・システムを決定する。

所定のパーティクル・システムと入力画像の間の最良の一致が、フレーム内で、また時間的に画像領域の視覚特性（例えば、形状、色、テクスチャ、動きなど）を分析することにより決定される。

再構成すべきファジィ・オブジェクトが識別された後、複数の所定のパーティクル・システムの少なくとも１つが、所定のパーティクル・システムのライブラリ１２２から選択される（ステップ２０２）。所定のパーティクル・システムのそれぞれは、事前定義のファジィ・オブジェクト、例えば、木、雲などをシミュレートするために開発される。選択された所定のパーティクル・システムは、画像からのファジィ・オブジェクトのコンテンツにマッチするように選択される。選択された所定のパーティクル・システムは、パーティクル・システムに対する制御パラメータを含むことになる。パーティクルの制御パラメータ（例えば、位置）は、ランダムに決定される。例示的な手法は、確率分布からパーティクル状態を引き出すことであり、その場合、このような確率分布は反復する前に決定されるか、あるいは反復中にシステムに対して動的に適合され得る。制御パラメータが決定された後、ステップ２０４で、パーティクル・システム発生器１１８により、パーティクルが１つずつ生成される。

ステップ２０６で、パーティクル発生器により生成された各パーティクルに対して、シミュレーション手順が行われ、追加されたパーティクルの外観が画像コンテンツによくマッチするように、パーティクルの状態を更新する。例えば、パーティクルが、パーティクルの位置、速さ、およびサイズを含む状態と関連付けられている場合、シミュレーション・プロセスは、何らかの物理的な制約下で、例えば、エネルギー保存の法則に従って、これらのパラメータのすべてを更新することになる。シミュレーションの結果により、パーティクル・システムは、パーティクル・レンダラ１２０によりレンダリングされる。

ステップ２０８で、比較のためにレンダリング手順が実行される。レンダリング・アルゴリズムは、視覚効果またはコンピュータ・グラフィックス技術で、当業者により知られている。一般的なレンダリング・アルゴリズムは、これだけに限らないが、ラスター化、レイ・トレーシング（ray tracing）、フォトン・マッピング（photon mapping）を含む。レイ・トレーシングの場合、オブジェクトは、画像画素から光源まで、対応する光線を追跡して戻ることによってレンダリングされ、次いで、画素の色が、オブジェクト表面の反射率および光源の特性により決定される。

ステップ２１０で、新しいパーティクルに対して、レンダリングされたパーティクルと、画像Ｉ₁の小ウィンドウ中に位置するファジィ・オブジェクトの画像画素との間で、局所的に比較が行われる。様々な知られた差分メトリック（metric）を、比較のために使用することができる。レンダリングされたパーティクルと画像領域の間の例示的な差分メトリックは、最小二乗差（ＬＳＤ；Least Square Difference）である。レンダリングされたパーティクル画像をＰ（ｘ、ｙ）とし、ウィンドウ中で識別された領域もしくは副画像をＩ（ｘ、ｙ）と仮定すると、ＬＳＤは次のように計算される。

式中、ｘおよびｙは、画素の空間座標であり、またＰおよびＩは、その画素における色強度値を表す。一実施形態では、色強度値は、例えば、グレースケール画像では単一の数字である。他の実施形態では、色強度値は、各画素のＲＧＢ値、すなわち、３つの数となる。上記の加算は、オブジェクト検出器１１６により識別された画像領域上のすべての画素にわたって行われる。

識別された領域、すなわち、ファジィ・オブジェクトが存在する領域中のパーティクルがすべて処理されるまで、方法は反復されてステップ２０６に戻る。一実施形態では、その反復中に制御パラメータは変化しない、つまり、パーティクル・システム・ライブラリから事前に選択された同じパーティクル・システムがその反復を通して使用される。他の実施形態では、制御パラメータは、各反復中に動的に変更されて、パーティクル・システムと画像の間の最良一致を見出すように試みる。

ステップ２１２で、次いで、差分メトリックの出力がシステムにより使用され、パーティクルの生成を許容すべきかどうかを判断する。最適なパーティクル状態を見出すことは、パーティクル状態に関する上記の差分の尺度を最小化することによって、すなわち、レンダリングされた画像と入力画像の間で最小の差が達成されるように、パーティクル状態を変更することによって実現される。パーティクル状態からその画像へのマッピングが解析的である場合、状態を取得するための非反復形式の解を、勾配降下法により導くこともできる。

基本的には、差分メトリックの結果または出力が所定の閾値未満である場合、パーティクルの生成は許容される、すなわち、復元されたパーティクル・システムは、マッチしたパーティクル・システムである。所定の閾値は、実験に基づいて経験的に決定することができる。生成およびシミュレーション・ステップが許容できる場合、ステップ２１４で、そのパーティクル・システムは記憶され、ファジィ・オブジェクトの復元されたジオメトリを表現することになる。そうではなくて、差分メトリックの結果が所定の閾値を超えていた場合、ステップ２１６で、そのパーティクル・システムは破棄されることになる。

動的なパーティクル・システムを復元することは、ビデオ・シーケンスの各フレームに対して、静的なパーティクル・システムを推定することにより実現することができる。しかし、変換プロセスを促進するために、前のフレームからのパーティクル状態を、現在のフレームの最初のパーティクル状態として使用することもできる。これは、探索空間を狭くし、したがって、計算コストを減らす。

一連の画像からパーティクル・システムを復元するとき、そのパーティクルに関するさらなる情報を、異なるカメラ視点から取得することができる。このような情報は、マッチングプロセスの正確さを改良するために利用することができる。特に、最初のパーティクル・システムは、単一の画像を用いて生成することができ、次いで、そのパーティクル・システムを、ビデオ・シーケンスの残りの画像を用いて改良することができる。図４を参照すると、その改良プロセスは、ランダム・サンプリングおよびシミュレーション・プロセスを介して実現することができる。サンプリングプロセスは、さらなるパーティクルを追加し、パーティクルのいくつかを削除し、またはパーティクル・システム中のパーティクル状態を変更することができる。

図４を参照すると、ステップ３０２で、最初の許容できるパーティクル・システムが、図３に関して上記で述べたように選択される。ランダム・サンプリング手順が、次いで、ステップ３０３で示された３つの分岐の１つから開始することになる、すなわち、パーティクルの誕生（すなわち、パーティクルを追加する）、パーティクル状態の変更（すなわち、パーティクルを修正する）、およびパーティクルの消滅（すなわち、パーティクルを削除する）である。誕生プロセスでは、図３に関して上記で述べたプロセスと同様に、ステップ３０４および３０６でパーティクルが追加され、かつシミュレートされる。

プロセスは、次いで、上記で述べたステップ２１０および２１２と同様に、ステップ３１０および３１２で、その追加が許容できるかもしくは利点があるかどうかを判断し、その場合、差分メトリックの出力が計算され閾値比較されて（thresholded）、その追加が許容できるかどうかを判断する。消滅プロセスでは、システムから除外すべきパーティクルが選択され、次いで、プロセスは、その除外が許容できるかもしくは利点があるかどうかを判断する。状態変更プロセスでは、パーティクルはランダムに選択され、またシミュレーションおよび比較プロセスが行われて、パーティクルの状態を新しい画像によくマッチするように変更する。

１つの画像から、または一連の画像から静的および動的なパーティクル・システムを復元するためのシステムおよび方法が提供されてきた。開示された技法は、入力画像とレンダリングされたパーティクル・システムの間で比較を実施することにより、３Ｄパーティクル・システムを復元する。本システムおよび方法は、パーティクルが１つずつ放出されるシミュレーション・ベースの手法を使用するので、その比較は、画像全体を用いて大域的（globally）に行うのではなく、生成されたパーティクルの周囲で局所的に行われる。このように、所定のパーティクル・システムと入力画像の間の最良の一致が、フレーム内で、かつ時間的に、画像領域の視覚的特性（例えば、形状、色、テクスチャ、動きなど）を分析することにより決定される。

特定のファジィ・オブジェクトの復元された３Ｄモデルは、次いで、画像（複数可）を含むファイルとは別のデジタル・ファイル１３０に保管することができる。３Ｄオブジェクトのデジタル・ファイル１３０は、後で取り出すために、例えば、モデル化されたオブジェクトを、例えば、コンポジタにより、そのオブジェクトが前に存在していなかったシーン中に挿入できるフィルムの編集段階中に、記憶装置１２４に記憶することができる。

本発明の教示を組み込む実施形態が、本明細書で示され、詳細に述べられてきたが、当業者であれば、これらの教示をなお組み込む他の多くの変更された実施形態を容易に考案することができる。２次元（２Ｄ）画像から３次元（３Ｄ）パーティクル・システムを復元するためのシステムおよび方法のための好ましい実施形態（それは、例示的なものであり、限定するものではない）を述べてきたが、上記の教示に照らせば、当業者によって、修正および変形を加えることが可能であることに留意されたい。したがって、添付の特許請求の範囲により概略が示された本発明の範囲および趣旨に含まれる開示された本発明の特定の実施形態に対して変更を行うことが可能であることを理解されたい。

Claims (23)

1. ２次元画像から、オブジェクトの３次元パーティクル・システム表現を復元する方法であって、当該方法は、画像処理装置により実施され、
   当該画像処理装置は、
   ２次元画像中のオブジェクトを識別するステップと、
   オブジェクトの形状を表現するパーティクル・システムであって、記憶装置に格納される複数の所定のパーティクル・システムからパーティクル・システムを選択するステップと、
   前記選択したパーティクル・システムに基づいてパーティクルを生成するステップと、
   前記パーティクルを３次元画像としてシミュレートするステップと、
   前記シミュレートされたパーティクルを２次元画像としてレンダリングするステップと、
   前記レンダリングされた２次元画像を、前記識別されたオブジェクトと比較するステップと、
   前記比較結果が所定の閾値未満である場合、前記選択されたパーティクル・システムが前記識別されたオブジェクトの形状を表現していると受容するステップと
   を実行するように構成されている
   ことを特徴とする方法。
2. 前記少なくとも１つのパーティクルの状態を更新するために、前記少なくとも１つのパーティクルをシミュレートするステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記複数の所定のパーティクル・システムのそれぞれは、前記所定のパーティクル・システムの少なくとも１つのパーティクルをシミュレートするための制御パラメータを含むことを特徴とする請求項２に記載の方法。
4. 前記制御パラメータは、位置、速度、速さおよび方向、色、寿命、経過時間、形状、サイズ、または透明度のうちの少なくとも１つを含むことを特徴とする請求項３に記載の方法。
5. 第２の２次元画像を用いて、前記選択されたパーティクル・システムの前記少なくとも１つのパーティクルを更新するステップをさらに含むことを特徴とする請求項２に記載の方法。
6. 前記更新するステップは、少なくとも１つのパーティクルを追加するステップ、少なくとも１つのパーティクルを削除するステップ、または前記少なくとも１つのパーティクルの状態を修正するステップを含むことを特徴とする請求項５に記載の方法。
7. 前記少なくとも１つのパーティクルは、前記記憶されたパーティクル・システムから選択されることを特徴とする請求項６に記載の方法。
8. 前記比較するステップは、差分メトリックを用いることにより実施されることを特徴とする請求項１に記載の方法。
9. 前記比較するステップは、前記レンダリングされた２次元画像の少なくとも１つのパーティクルと、前記２次元画像中の前記識別されたオブジェクトの少なくとも１つの画素との間の最小二乗差を決定するステップをさらに含むことを特徴とする請求項１に記載の方法。
10. 前記識別するステップは、前記オブジェクトを含む前記２次元画像中の領域の輪郭を描くステップを含むことを特徴とする請求項１に記載の方法。
11. ２次元画像からオブジェクトを３次元再構成するためのシステムであって、
    ２次元画像からオブジェクトの３次元モデルを再構成するように構成された後処理装置を備え、当該後処理装置は、
    前記２次元画像中の前記オブジェクトを識別するように構成されたオブジェクト検出器と、
    パーティクルを生成し、かつ前記パーティクルを３次元画像としてシミュレートするように構成されたパーティクル発生器と、
    前記生成されたパーティクルを２次元画像としてレンダリングするように構成されたパーティクルレンダラと、
    オブジェクトの形状を表現するパーティクル・システムであって、複数の所定のパーティクル・システムからパーティクル・システムを選択すること、前記レンダリングされた２次元画像を、前記識別されたオブジェクトと比較すること、および前記比較結果が所定の閾値未満である場合、前記選択されたパーティクル・システムをライブラリに記憶することを実行するように構成された再構成モジュールとを含み、
    前記記憶されたパーティクル・システムは、前記識別されたオブジェクトの復元された形状を表すことを特徴とするシステム。
12. 前記パーティクル・システム発生器は、前記少なくとも１つのパーティクルの状態を更新することにより、前記パーティクル・システムの少なくとも１つのパーティクルをシミュレートするようにさらに構成されることを特徴とする請求項１１に記載のシステム。
13. 前記複数の所定のパーティクル・システムの各所定のパーティクル・システムは、少なくとも１つのパーティクルをシミュレートするための制御パラメータを含むことを特徴とする請求項１２に記載のシステム。
14. 前記制御パラメータは、位置、速度、速さおよび方向、色、寿命、経過時間、形状、サイズ、または透明度のうちの少なくとも１つを含むことを特徴とする請求項１３に記載のシステム。
15. 前記再構成モジュールは、第２の２次元画像を用いて、前記選択されたパーティクル・システムの前記少なくとも１つのパーティクルを更新するようにさらに構成されることを特徴とする請求項１２に記載のシステム。
16. 前記再構成モジュールは、少なくとも１つのパーティクルを追加すること、少なくとも１つのパーティクルを削除すること、または前記少なくとも１つのパーティクルの前記状態を修正することにより、前記選択されたパーティクル・システムを更新するようにさらに構成されることを特徴とする請求項１５に記載のシステム。
17. 前記再構成モジュールは、差分メトリックにより、前記レンダリングされた２次元画像を、前記２次元画像中の前記識別されたオブジェクトと比較するようにさらに構成されることを特徴とする請求項１１に記載のシステム。
18. 前記再構成モジュールは、前記レンダリングされた２次元画像の少なくとも１つのパーティクルと、前記２次元画像中の前記識別されたオブジェクトの少なくとも１つの画素との間の最小二乗差を決定することにより、前記レンダリングされた２次元画像を、前記２次元画像中の前記識別されたオブジェクトと比較するようにさらに構成されることを特徴とする請求項１１に記載のシステム。
19. 前記オブジェクト検出器は、前記少なくとも１つのオブジェクトを含む前記２次元画像中の領域の輪郭を描くことにより、前記少なくとも１つのオブジェクトを識別するように構成されることを特徴とする請求項１１に記載のシステム。
20. ２次元画像から３次元パーティクル・システムを復元するための方法ステップを実施するために、マシンにより実行可能な命令のプログラムを実施する、前記マシンにより読取り可能なプログラム記憶装置であって、前記方法は、
    ２次元画像中のファジィ・オブジェクトを識別するステップと、
    オブジェクトの形状を表現するパーティクル・システムであって、複数の所定のパーティクル・システムからパーティクル・システムを選択するステップと、
    前記選択したパーティクル・システムに基づいてパーティクルを生成するステップと、
    前記パーティクルを３次元画像としてシミュレートするステップと、
    前記シミュレートされたパーティクルを２次元画像としてレンダリングするステップと、
    前記レンダリングされた２次元画像を、前記識別されたオブジェクトと比較するステップと、
    前記比較結果が所定の閾値未満である場合、前記選択されたパーティクル・システムをライブラリに記憶するステップと、
    を含み、
    前記記憶されたパーティクル・システムが前記オブジェクトの復元された形状を表す
    ことを特徴とするプログラム記憶装置。
21. 前記オブジェクトは、背景に対して明確ではない境界を有するファジィ・オブジェクトであることを特徴とする請求項１に記載の方法。
22. 前記オブジェクトは、背景に対して明確ではない境界を有するファジィ・オブジェクトであることを特徴とする請求項１１に記載のシステム。
23. 前記オブジェクトは、背景に対して明確ではない境界を有するファジィ・オブジェクトであることを特徴とする請求項２０に記載のプログラム記憶装置。

Images