JP4896230B2 - ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法 - Google Patents

Description

本発明は、コンピュータグラフィック処理及びディスプレイシステムに関し、より詳細には、２次元から３次元への変換のためのオブジェクトのモデルフィッティング及びレジストレーションに関する。

２次元−３次元の変換は、既存の２次元（２Ｄ）フィルムを３次元（３Ｄ）の立体フィルムに変換する処理である。３Ｄの立体フィルムは、たとえばパッシブ又はアクティブな３Ｄ立体グラスで係るフィルムを見ている間、ある視聴者により深度が知覚され、経験されるようなやり方で動画を再生する。旧式のフィルムを３Ｄ立体フィルムに変換することにおいて主要なフィルムスタジオからの有意な関心がある。

立体画像形成は、僅かに異なる視点から撮影されたあるシーンの少なくとも２つの画像を視覚的に結合して、３次元の深度の錯覚を生成するプロセスである。この技術は、人間の目がある距離だけ離れて配置されていることに依存しており、したがって、正確に同じシーンを見ない。それぞれの目に異なる視野からの画像を提供することで、見る人の目は、知覚する深度への錯覚を起こす。典型的に、２つの異なる視野が提供される場合、コンポーネント画像は、「左」画像及び「右」画像と呼ばれ、それぞれ参照画像及び相補画像としても知られる。しかし、当業者であれば、２を超える視野が立体画像を形成するために形成される場合があることを認識するであろう。

立体画像は、様々な技術を使用してコンピュータにより生成される場合がある。たとえば、「立体視“ａｎａｇｌｙｐｈ”」方法は、色を使用して、立体画像の左及び右のコンポーネントをエンコードする。その後、見る人は、それぞれの目が唯一のビューを知覚するように光をフィルタリングする特別のグラスを装着する。

同様に、ページフリップ（ｐａｇｅ−ｆｌｉｐｐｅｄ）立体画像形成は、画像の右のビューと左のビューとの間の表示を迅速に切り替える技術である。さらに、見る人は、ディスプレイ上の画像と同期して開閉する、典型的に液晶材料で構成される高速電子シャッターを含む特別なメガネを装着する。立体視のケースのように、それぞれの目は唯一のコンポーネント画像を知覚する。

特別なメガネ又はヘッドギアを必要としない他の立体画像形成技術が近年に開発されている。たとえば、レンチキュラー画像形成は、２以上の異なる画像のビューを薄いスライスに分割し、そのスライスをインターリーブして単一の画像を形成する。このインターリーブされた画像は、次いで、レンチキュラーレンズの後ろに配置され、このレンチキュラーレンズは、それぞれの目が異なるビューを知覚するように異なるビューを再構成する。レンチキュラーディスプレイのなかには、ラップトップコンピュータで一般に見られるように、コンベンショナルなＬＣＤディスプレイの向こう側に位置されるレンチキュラーレンズにより実現されるものがある。

別の立体画像形成技術は、入力画像の領域をシフトして相補画像を形成する。係る技術は、Ｗｅｓｔｌａｋｅ Ｖｉｌｌａｇｅ， ＣａｌｉｆｏｒｎｉａのＩｎ−Ｔｈｒｅｅ， Ｉｎｃ．と呼ばれる企業により開発された手動的な２Ｄ−３Ｄフィルムの変換システムで利用されている。この２Ｄ−３Ｄ変換システムは、２００１年３月２７日付けＫａｙｅによる米国特許第６２０８３４８号に記載されている。３Ｄシステムとして記載されているが、２Ｄ画像ブロックを３Ｄシーンに変換せず、むしろ２Ｄ入力画像を処理して右目の画像を形成しているため、この処理は実際には２Ｄである。

図１は、米国特許第６２０８３４８号で開示されるプロセスにより開発されるワークフローを例示しており、この場合、図１は、米国特許第６２０８３４８号における図５としてオリジナルに現れている。この処理は、以下のように記載される。入力画像について、最初に、領域２，４，６の輪郭が手動的に描かれる。次いで、オペレータは、それぞれの領域をシフトして、たとえば領域８，１０，１２といったステレオ視差を形成する。それぞれの領域の深度は、３Ｄグラスを使用して別のディスプレイでその３Ｄ再生を見ることで見られる。オペレータは、最適な深度が達成されるまで、領域のシフト距離を調節する。

しかし、２Ｄ−３Ｄ変換は、入力の２Ｄ画像における領域をシフトして、相補的な右目の画像を形成することで、ほぼ手動的に達成される。このプロセスは、非常に効率が低く、膨大な人間の介入を必要とする。

本発明は、立体画像を形成するため、画像の２Ｄ−３Ｄ変換のためにオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法を提供する。本システムは、現実の世界のオブジェクトの様々な３Ｄモデルを記憶するデータベースを含む。第一の２Ｄ入力画像（たとえば左目画像又は参照画像）について、３Ｄに変換されるべき領域は、システムオペレータ又は自動検出アルゴリズムにより識別され又は輪郭が描かれる。それぞれの領域について、システムは、３Ｄモデルの投影が最適なやり方で識別された領域内の画像コンテンツに整合するように、データベースから記憶されている３Ｄモデルを選択し、選択された３Ｄモデルを位置合わせする。この整合プロセスは、幾何学的なアプローチ又は光度的なアプローチを使用して実現することができる。レジストレーションプロセスを介して第一の２Ｄ画像について３Ｄオブジェクトの３Ｄ位置及びポーズが計算された後、変形されたテクスチャをもつ位置合わせされた３Ｄオブジェクトを含む３Ｄシーンを、異なるカメラの視野角をもつ別の画像形成のプレーン上に投影することで、第二の画像（たとえば右目画像又は相補的な画像）が形成される。

本発明の開示の１態様によれば、立体画像を形成する３次元（３Ｄ）変換方法が提供される。本方法は、少なくとも１つの２次元（２Ｄ）画像を取得するステップ、少なくとも１つの２Ｄ画像の少なくとも１つのオブジェクトを識別するステップ、複数の予め決定された３Ｄモデルから、識別された少なくとも１つのオブジェクトに関連する少なくとも１つの３Ｄモデルを選択するステップ、識別された少なくとも１つのオブジェクトに対して選択された３Ｄモデルを位置合わせし、選択された３Ｄモデルを少なくとも１つの２Ｄ画像の画像プレーンとは異なる画像プレーンに投影することで、相補的な画像を形成するステップを含む。

別の態様では、位置合わせするステップは、選択された３Ｄモデルの投影された２Ｄの輪郭を少なくとも１つのオブジェクトの輪郭に整合させるステップを含む。

本発明の更なる態様では、位置合わせするステップは、選択された３Ｄモデルの少なくとも１つの光度特性を、少なくとも１つのオブジェクトの少なくとも１つの光度特性に整合させるステップを含む。

本発明の別の態様では、オブジェクトの２次元（２Ｄ）画像から３次元（３Ｄ）への変換システムは、少なくとも１つの２Ｄ画像から相補的な画像を形成するポストプロセッシング装置を含んでおり、このポストプロセッシング装置は、少なくとも１つの２Ｄ画像における少なくとも１つのオブジェクトを識別するオブジェクト検出手段、識別された少なくとも１つのオブジェクトに対して少なくとも１つの３Ｄモデルを位置合わせするオブジェクト整合手段、少なくとも１つの３Ｄモデルをあるシーンに投影するオブジェクトレンダリング手段、及び、識別された少なくとも１つのオブジェクトに関連する少なくとも１つの３Ｄモデルを複数の予め決定された３Ｄモデルから選択し、選択された３Ｄモデルを少なくとも１つの２Ｄ画像の画像プレーンとは異なる画像プレーンに投影することで相補的な画像を形成する再構成モジュールを含む。

さらに、本発明の更なる態様によれば、２次元（２Ｄ）画像から立体画像を形成する方法ステップを実行するため、コンピュータにより実行可能な命令からなるプログラムを実施する、コンピュータにより読み取り可能なプログラムストレージ装置が提供される。本方法は、少なくとも１つの２次元（２Ｄ）画像を取得するステップ、少なくとも１つの２Ｄ画像の少なくとも１つのオブジェクトを識別するステップ、識別された少なくとも１つのオブジェクトに関連する少なくとも１つの３Ｄモデルを選択するステップ、識別された少なくとも１つのオブジェクトに対して選択された３Ｄモデルを位置合わせするステップ、及び、少なくとも１つの２Ｄ画像の画像プレーンとは異なる画像プレーンに選択された３Ｄモデルを投影することで、相補的な画像を形成するステップを含む。

本発明のこれらの態様、特徴及び利点、並びに、他の態様、特徴及び利点は、好適な実施の形態に関する以下の詳細な説明から明らかとなるであろう。図面において、同じ参照符号は、図面を通して同じエレメントを示す。

図１は、入力画像から右目画像又は相補的な画像を形成する従来技術を説明する図である。 図２は、本発明の態様にかかる、立体画像を形成するための画像の２次元（２Ｄ）−３次元（３Ｄ）変換のシステムを例示的に説明する図である。 図３は、本発明の態様にかかる、立体画像を形成するための２次元（２Ｄ）画像を３次元（３Ｄ）画像に変換するシステムを例示的に説明する図である。 図４は、本発明の態様に係る、３次元（３Ｄ）モデルの幾何学的なコンフィギュレーションを例示する図である。 図５は、本発明の態様に係る、輪郭の関数表示を例示する図である。 図６は、本発明の態様に係る、多数の輪郭のマッチング関数を例示する図である。

図面は、本発明の概念を例示する目的であり、必ずしも、本発明を例示するための唯一の可能性のあるコンフィギュレーションではないことを理解されたい。

図におけるエレメントは、様々な形式のハードウェア、ソフトウェア又はそれらの組み合わせで実現される場合があることを理解されたい。好ましくは、これらのエレメントは、プロセッサ、メモリ及び入力／出力インタフェースを含む１以上の適切にプログラムされた汎用デバイス上でハードウェア及びソフトウェアの組み合わせで実現される。

本明細書の記載は、本発明の原理を例示するものである。当業者であれば、本明細書で明示的に記載又は図示されていないが、本発明の原理を実施し、本発明の精神及び範囲に含まれる様々なアレンジメントを考案できることを理解されたい。

本明細書で引用される全ての例及び条件付言語は、本発明の原理、当該技術分野の推進において本発明者により寄与される概念を理解することにおいて読者を支援する教育的な目的が意図され、係る特別に参照される例及び条件に対して限定されないとして解釈されるべきである。

さらに、本発明の特定の例と同様に、本発明の原理、態様及び実施の形態を参照する全ての説明は、本発明の構造的且つ機能的に等価なものを包含することが意図される。さらに、係る等価なものは、現在知られている等価なものと同様に、将来に開発される等価なもの、すなわち構造に関わらず同じ機能を実行する開発されたエレメントをも含むことが意図される。

したがって、たとえば、本明細書で提供されるブロック図は、本発明の原理を実施する例示的な回路の概念図を表していることが当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な媒体で実質的に表現される様々なプロセスであって、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表す。

図示される様々なエレメントの機能は、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアと同様に、専用のハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、単一の専用プロセッサにより、単一の共有プロセッサにより、又はそのうちの幾つかが供給される複数の個々のプロセッサにより機能が提供される。用語“ｐｒｏｃｅｓｓｏｒ”又は“ｃｏｎｔｒｏｌｌｅｒ”の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すものと解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性メモリを暗黙的に含む場合がある。

他のハードウェア、コンベンショナル及び／又はカスタムハードウェアも含まれる場合がある。同様に、図示される任意のスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように実現者により選択可能である。

本発明の請求項では、特定の機能を実行する手段として表現される任意のエレメントは、たとえばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するためのソフトウェアを実行する適切な回路と組み合わされる、ファームウェア、マイクロコード等を含む任意の形式のソフトウェアを含めて、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な参照される手段により提供される機能が結合され、請求項が要求するやり方で纏められるという事実にある。したがって、それらの機能を提供することができる任意の手段は本明細書で示されるものに等価であると考えられる。

本発明は、２Ｄ画像から３Ｄ幾何学的形状を形成する課題に対処するものである。この課題は、とりわけ、視覚作用（ＶＸＦ）、２Ｄフィルムから３Ｄフィルムへの変換を含む様々なフィルムプロダクションの応用において生じる。２Ｄ−３Ｄ変換用の以前のシステムは、入力画像における選択された領域をシフトすること、従って３Ｄ再生のためにステレオ視差を形成することにより、（右目画像としても知られる）相補的な画像を形成することで実現される。このプロセスは、非常に効率が低く、表面が平坦ではなく湾曲されている場合に、画像の領域を３Ｄ表面に変換することが困難である。

手動的な２Ｄ−３Ｄ変換の制限を克服するため、本発明は、オブジェクトの２Ｄ投影がオリジナルの２Ｄ画像における内容に整合するように、３Ｄオブジェクトリポジトリに前もって記憶される３Ｄソリッドなオブジェクトを３Ｄ空間において配置することで、３Ｄシーンを再形成する技術を提供する。したがって、右目画像（又は相補的な画像）は、異なるカメラの視野角をもつ３Ｄシーンを投影することで形成することができる。本発明の技術は、領域のシフトに基づく技術を回避することで２Ｄ−３Ｄ変換の効率を劇的に増加するものである。

本発明のシステム及び方法は、立体画像を形成するため、画像の２Ｄ−３Ｄ変換のための３Ｄに基づく技術を提供する。次いで、立体画像は、３Ｄ立体フィルムを形成するために、更なるプロセスで利用することができる。本システムは、現実の世界のオブジェクトの様々な３Ｄモデルを記憶するデータベースを含む。第一の２Ｄ入力画像（たとえば左目画像又は参照画像）について、３Ｄに変換されるべき領域は、システムオペレータ又は自動検出アルゴリズムにより識別され又は輪郭が描かれる。それぞれの領域について、システムは、３Ｄモデルの投影が最適なやり方で識別された領域内の画像コンテンツに整合するように、データベースから記憶されている３Ｄモデルを選択し、選択された３Ｄモデルを位置合わせする。この整合プロセスは、幾何学的なアプローチ又は光度的なアプローチを使用して実現することができる。レジストレーションプロセスを介して入力の２Ｄ画像について３Ｄオブジェクトの３Ｄ位置及びポーズが計算された後、変形されたテクスチャをもつ位置合わせされた３Ｄオブジェクトを含む３Ｄシーンを、異なるカメラの視野角をもつ別の画像形成のプレーン上に投影することで、第二の画像（たとえば右目画像又は相補的な画像）が形成される。

ここで図面を参照して、図２には、本発明の実施の形態に係る例示的なシステムコンポーネントが示される。スキャニング装置１０３は、たとえばカメラのオリジナルのネガフィルムといったフィルムプリント１０４を、たとえばＣｉｎｅｏｎフォーマット又はＳＭＰＴＥ ＤＰＸファイルといったデジタル形式にスキャニングするために提供される。スキャニング装置１０３は、たとえばビデオ出力をもつＡｒｒｉ ＬｏｃＰｒｏ（登録商標）のようなフィルムからビデオ出力を生成するテレシネ又は任意の装置を有する場合がある。代替的に、ポストプロダクションプロセスからのファイル又はデジタルシネマ１０６（たとえば既にコンピュータ読み取り可能な形式にあるファイル）は、直接的に使用することができる。

コンピュータ読み取り可能なファイルの潜在的なソースは、限定されるものではないが、ＡＶＩＤ（登録商標）エディタ、ＤＰＸファイル、Ｄ５テープ等を含む。

スキャニングされたフィルムプリントは、たとえばコンピュータであるポストプロセッシング装置１０２に入力される。コンピュータ１０２は、１以上の中央処理装置（ＣＰＵ）のようなハードウェア、ランダムアクセスメモリ（ＲＡＭ）及び／又はリードオンリメモリ（ＲＯＭ）のようなメモリ１１０、キーボード、カーソル制御装置（たとえばマウス又はジョイスティック）のような入力／出力（Ｉ／Ｏ）ユーザインタフェース１１２、及び表示装置を有する様々な既知のコンピュータプラットフォームの何れかで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載される様々なプロセス及び機能は、マイクロ命令コードの一部、又はオペレーティングシステムを介して実行されるソフトウェアアプリケーションプログラムの一部（又はその組み合わせ）の何れかである場合がある。さらに、様々な他の周辺装置は、様々なインタフェース、及び、パラレルポート、シリアルポート又はユニバーサルシリアルバス（ＵＳＢ）のようなバス構造により、コンピュータプラットフォームに接続される。他の周辺装置は、更なるストレージデバイス１２４及びプリンタ１２８を含む。プリンタ１２８は、たとえば立体のフィルムバージョンである改訂されたフィルムバージョン１２６を印刷するために利用される場合があり、あるシーン又は複数のシーンは、以下に記載される技術の結果として、３Ｄモデリングされたオブジェクトを使用して変更又は置換される。

代替的に、（たとえば外部のハードドライブ１２４に記憶されている場合があるデジタルシネマである）既にコンピュータ読み取り可能な形式１０６にあるファイル／フィルムプリントは、コンピュータ１０２に直接的に入力される場合がある。なお、本明細書で使用される用語「フィルム“ｆｉｌｍ”」は、フィルムプリント又はデジタルシネマの何れかを示す場合がある。

ソフトウェアプログラムは、立体画像を形成するため、２次元（２Ｄ）画像を３次元（３Ｄ）画像に変換するため、メモリ１１０に記憶される３次元（３Ｄ）変換モジュール１１４を含む。３Ｄ変換モジュール１１４は、２Ｄ画像においてオブジェクト又は領域を識別するオブジェクト検出器１１６を含む。オブジェクト検出器１１６は、画像編集ソフトウェアによりオブジェクトを含んでいる画像の領域の輪郭を手動的に描くか、又は、自動検出アルゴリズムでオブジェクトを含んでいる画像領域を分離することで、オブジェクトを識別する。また、３Ｄ変換モジュール１１４は、オブジェクトの３Ｄモデルを２Ｄオブジェクトに整合させ、位置合わせするオブジェクト整合手段１１８を含む。オブジェクト整合手段１１８は、以下に記載されるように、３Ｄモデルのライブラリ１２２と相互に作用する。３Ｄモデルのライブラリ１２２は、複数の３Ｄオブジェクトモデルを含み、この場合、それぞれのオブジェクトモデルは、予め定義されたオブジェクトに関連する。たとえば、予め決定された３Ｄモデルのうちの１つは、「ビルディング」オブジェクト又は「コンピュータモニタ」オブジェクトをモデリングするために使用される場合がある。それぞれの３Ｄモデルのパラメータは、予め決定されており、３Ｄモデルと共にデータベース１２２に保存される。オブジェクトレンダリング手段１２０は、３Ｄモデルを３Ｄシーンにレンダリングして、相補的な画像を形成するために設けられる。これは、ラスタライズプロセス、又はレイトレーシング又はフォトンマッピングのような更に進展された技術により実現される。

フィルムがスキャニングされるか、又は既にデジタル形式にあるかに関わらず、フィルムのデジタルファイルは、たとえばフレーム番号、フィルムの開始からの時間等といった、フレームの位置に関する指示又は情報を含む。デジタルビデオファイルのそれぞれのフレームは、たとえばＩ_１，Ｉ_２，…，Ｉ_ｎといった１つの画像を含む。

ステップ２０４では、２Ｄ画像におけるオブジェクトが識別される。オブジェクト検出器１１６を使用して、オブジェクトは、画像編集ツールを使用してユーザにより手動で選択されるか、又は代替的に、オブジェクトは、たとえばセグメント化アルゴリズムといった画像検出アルゴリズムを使用して自動的に検出される場合がある。複数のオブジェクトは、２Ｄ画像で識別される場合があることを理解されたい。オブジェクトがひとたび識別されると、ステップ２０６で、予め決定された３Ｄモデルのライブラリ１２２から、複数の予め決定された３Ｄオブジェクトモデルのうちの少なくとも１つが選択される。３Ｄオブジェクトモデルの選択は、システムのオペレータにより手動的に実行されるか、又は選択アルゴリズムにより自動的に実行される場合があることを理解されたい。

選択された３Ｄモデルは、幾つかのやり方で識別されたオブジェクトに関連しており、たとえば識別された人物のオブジェクトについてある人物の３Ｄモデルが選択され、識別された建物のオブジェクトについてある建物の３Ｄモデルが選択される、等である。

つぎに、ステップ２０８で、選択された３Ｄオブジェクトモデルは、識別されたオブジェクトに対して位置合わせされる。位置合わせプロセスのための輪郭に基づくアプローチ及び光度のアプローチが以下に記載される。

輪郭に基づく位置合わせ技術は、選択された３Ｄオブジェクトの投影された２Ｄ輪郭（すなわち閉塞している輪郭）を２Ｄ画像における識別されたオブジェクトの描かれた／検出された輪郭に整合させる。３Ｄオブジェクトの閉塞している輪郭は、３Ｄオブジェクトが２Ｄプレーンに投影された後、オブジェクトの２Ｄ領域の境界である。たとえばコンピュータモニタ２２０である３Ｄモデルのフリーパラメータが、３Ｄ位置（ｘ，ｙ，ｚ）、３Ｄポーズ（（θ，φ）及び（図４に例示される）スケールｓ）を含むと仮定すると、３Ｄモデルの制御パラメータは、Φ（ｘ，ｙ，ｚ，θ，φ，ｓ）であり、これは、オブジェクトの３Ｄコンフィギュレーションを定義する。次いで、３Ｄモデルの輪郭は、以下のようにベクトル関数として定義される。

ある輪郭に関するこの関数表現は、図５に例示される。閉塞している輪郭はあるオブジェクトの３Ｄコンフィギュレーションに依存するので、輪郭の関数はΦに依存し、以下のように書くことができる。

ここでｍは３Ｄモデルを意味する。外形が描かれた領域の輪郭は、類似の関数として表現することができる。

この関数は、ノンパラメトリックな曲線である。次いで、最良のパラメータΦは、以下のように３Ｄコンフィギュレーションに関してコスト関数Ｃ（Φ）を最小にすることで発見される。

しかし、上記式の最小化は、計算が非常に困難である。それは、３Ｄオブジェクトから２Ｄ領域へのジオメトリ変換が複雑であり、コスト関数が微分可能でない場合があり、従ってΦの閉じた解を得ることが困難な場合があるからである。計算を容易にする１つのアプローチは、（たとえばモンテカルロ法といった）非決定的なサンプリング法を使用して、たとえば予め決定された閾値といった所望のエラーに到達するまで、パラメータ空間においてパラメータをランダムにサンプリングすることである。
上記は、１つの輪郭をマッチングすることに基づいた３Ｄコンフィギュレーションの推定を説明している。しかし、多数のオブジェクトが存在する場合、又は識別されたオブジェクトにホールが存在する場合、２Ｄ投影後に多数の閉塞した輪郭が生じる場合がある。さらに、オブジェクト検出器１８８は、２Ｄ画像における多数の輪郭が描かれた領域を識別している場合がある。これらのケースでは、多対多の輪郭マッチングが処理される。モデルの輪郭（たとえば３Ｄモデルの２Ｄ投影）がｆ_ｍ１，ｆ_ｍ２，…，ｆ_ｍＮとして表され、画像の輪郭（たとえば２Ｄ画像における輪郭）がｆ_ｄ１，ｆ_ｄ２，．．．ｆ_ｄｉ，…ｆ_ｄＭとして表されるものとし、この場合、ｉ，ｊは輪郭を識別するための整数のインデックスである。輪郭間の対応は、関数ｇ（・）として表すことができ、この関数は、モデルの輪郭のインデックスを図６に例示されるような画像の輪郭のインデックスにマッピングする。次いで、最良の輪郭の対応及び最小の３Ｄのコンフィギュレーションは、以下のように計算される全体のコスト関数を最小にするために決定される。

ここでＣ _i,g(i) (Φ)は、ｉ番目の輪郭と、ｇ(i)として索引付けされる、その整合された画像の輪郭との間の式(４)で定義されるコスト関数であり、ｇ(.)は、対応関数である。
位置合わせの相補的なアプローチは、２Ｄ画像の選択された領域の光度特性を使用するアプローチである。光度特性の例は、とりわけ色の特性、テクスチャの特性を含む。光度の位置合わせについて、データベースに記憶された３Ｄモデルには、表面のテクスチャが付される。特性抽出技法は、限定されるものではないがカラーヒストグラム又はモーメントヒストグラムを含めて、オブジェクトのポース又は位置を記述するため、有益な属性を抽出するために適用することができる。その後、特性は、３Ｄモデルの幾何学的パラメータを推定するか、又は位置合わせの幾何学的アプローチの間に推定されている幾何学的パラメータをリファインするために使用することができる。
選択された３Ｄモデルの投影された画像がＩ_ｍ（Φ）であるとすると、投影された画像は、３Ｄモデルの３Ｄポーズのパラメータの関数である。画像Ｉ_ｍ（Φ）から抽出されたテクスチャの特徴はＴ_ｍ（Φ）であり、選択された領域内の画像がＩ_ｄである場合、テクスチャの特徴はＴｄである。上記と同様に、最小自乗コスト関数は、以下のように定義される。

本発明の別の実施の形態では、光度のアプローチは、輪郭に基づいたアプローチと結合することができる。これを達成するため、結合されたコスト関数が定義され、このコスト関数は、以下のように２つの関数を線形に結合する。

この場合、λは輪郭に基づく方法と光度に方法との組み合わせを決定する重み付けファクタである。この重み付けファクタは、何れかの方法に適用される場合があることを理解されたい。

ひとたびシーンで識別された全てのオブジェクトが３Ｄ空間に変換されると、変換された３Ｄオブジェクトとバックグランドプレーンとを含む３Ｄシーンを、バーチャルなライトカメラ（ｖｉｒｔｕａｌ ｒｉｇｈｔ ｃａｍｅｒａ）により決定される、入力の２Ｄ画像の画像形成プレーンとは異なる別の画像形成プレーンにレンダリングすることで、相補的な画像（たとえば右目画像）が形成される（ステップ２１０）。このレンダリングは、標準的なグラフィックカードのパイプラインにおけるようなラスタライズプロセスによるか、又は、プロフェッショナルなポストプロダクションのワークフローで使用されるレイトレーシングのような更に進展された技法により実現される場合がある。新たな画像形成プレーンの位置は、バーチャルなライトカメラの位置及び視野角により決定される。（たとえばコンピュータ又はポストプロセッシング装置でシミュレートされたカメラである）バーチャルライトカメラの位置及び視野角の設定により、１実施の形態において、入力画像を生成するレフトカメラの画像形成プレーンに平行な画像形成プレーンが得られ、これは、バーチャルカメラの位置及び視野角に対して僅かな調節を行い、表示装置で結果として得られる３Ｄ再生を見ることでフィードバックを得ることにより達成することができる。ライトカメラの位置及び視野角は、形成された立体画像が見る人により最も心地よいやり方で見ることができるように調節される。

次いで、ステップ２１２で、投影されたシーンは、たとえば左目画像である入力画像に対する、たとえば右目画像である相補的な画像として記憶される。この相補的な画像は、コンベンショナルなやり方で入力画像と関連付けされ、これらは、この時点で互いに検索される場合がある。この相補的な画像は、立体フィルムを形成するデジタルファイル１３０に入力又は参照の画像と共に保存される場合がある。デジタルファイル１３０は、たとえば立体のオリジナルフィルムのバージョンを印刷するといった、後の検索のためにストレージデバイス１２４に記憶される場合がある。

本発明の開示の教示を組み込んだ実施の形態が本明細書で詳細に図示及び記載されたが、当業者であれば、これらの教示を組み込んだ多数の他の変形された実施の形態を容易に考案することができる。（例示的であって、限定的であることが意図されない）２Ｄ−３Ｄ変換のためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法の好適な実施の形態が記載されたが、変更及び変形は、上記教示に照らして当業者により行うことができる。したがって、特許請求の範囲により概説される本発明の開示の範囲及び精神に含まれる開示された特定の実施の形態において変形がなされる場合があることを理解されたい。

Claims (23)

1. 少なくとも１つの２次元画像に相補的な２次元画像を形成するための、３次元変換システムの動作方法であって、
   複数の予め決定された３次元モデルを記憶手段に記憶するステップと、
   少なくとも１つの２次元画像を取得するステップと、
   少なくとも１つの２次元画像の少なくとも１つのオブジェクトを識別するステップと、
   前記記憶手段に記憶されている前記複数の予め決定された３次元モデルから、前記識別された少なくとも１つのオブジェクトの種類と同じ種類である少なくとも１つの３次元モデルを選択するステップと、
   前記選択された３次元モデルを前記識別された少なくとも１つのオブジェクトに対して位置合わせするステップと、
   前記選択された３次元モデルを、少なくとも１つの２次元画像の画像平面とは異なる画像平面に投影することで、前記少なくとも１つの２次元画像に相補的な２次元画像を形成するステップと、
   を含むことを特徴とする方法。
2. 前記識別するステップは、前記少なくとも１つのオブジェクトの輪郭を検出するステップを含む、
   請求項１記載の方法。
3. 前記位置合わせするステップは、前記選択された３次元モデルの投影された２次元の輪郭を前記少なくとも１つのオブジェクトの輪郭に整合させるステップを含む、
   請求項２記載の方法。
4. 前記整合させるステップは、前記識別された少なくとも１つのオブジェクトのポーズ、位置及びスケールに整合させるため、前記選択された３次元モデルのポーズ、位置及びスケールを計算し、前記少なくとも１つのオブジェクトのポーズ、位置及びスケールと、前記選択された３次元モデルのポーズ、位置及びスケールとの間の差を最小にするステップを含む、
   請求項３記載の方法。
5. 前記最小にするステップは、非決定的なサンプリング技法を適用して、前記差を表すコスト関数のパラメータをランダムにサンプリングして最小となる差を与える閉じた解を確定するステップを含む、
   請求項４記載の方法。
6. 前記位置合わせするステップは、前記選択された３次元モデルの少なくとも１つの光度特性を前記少なくとも１つのオブジェクトの少なくとも１つの光度特性に整合させるステップを含む、
   請求項１記載の方法。
7. 前記少なくとも１つの光度特性は、表面のテクスチャである、
   請求項６記載の方法。
8. 前記整合させるステップは、前記少なくとも１つのオブジェクトのポーズ及び位置と、前記選択された３次元モデルのポーズ及び位置との間の差を最小にするステップを含む、
   請求項６記載の方法。
9. 前記最小にするステップは、非決定的なサンプリング技法を適用して、前記差を表すコスト関数のパラメータをランダムにサンプリングして最小となる差を与える閉じた解を確定するステップを含む、
   請求項８記載の方法。
10. 前記位置合わせするステップは、
    前記選択された３次元モデルの投影された２次元の輪郭を前記少なくとも１つのオブジェクトの輪郭に整合させるステップと、
    前記整合される輪郭間の差を最小にするステップと、
    前記選択された３次元モデルの少なくとも１つの光度特性を前記少なくとも１つのオブジェクトの少なくとも１つの光度特性に整合させるステップと、
    前記少なくとも１つの光度特性間の差を最小にするステップと、
    を更に含む請求項１記載の方法。
11. 前記整合される輪郭間の最小となる差と、前記少なくとも１つの光度特性間の最小となる差との少なくとも１つに重み付けファクタを適用するステップを更に含む、
    請求項１０記載の方法。
12. 少なくとも１つの２次元画像に相補的な２次元画像を形成する、３次元変換システムであって、
    複数の予め決定された３次元モデルを記憶する記憶手段と、
    少なくとも１つの２次元画像を取得し、取得された少なくとも１つの２次元画像に相補的な２次元画像を形成するポストプロセッシング装置を含み、
    前記ポストプロセッシング装置は、
    前記取得された少なくとも１つの２次元画像における少なくとも１つのオブジェクトを識別するオブジェクト検出手段と、
    前記識別された少なくとも１つのオブジェクトに対して、再構成モジュールで選択された少なくとも１つの３次元モデルを位置合わせするオブジェクト整合手段と、
    前記少なくとも１つの３次元モデルをあるシーンに投影するオブジェクトレンダリング手段と、
    前記記憶手段に記憶されている前記複数の予め決定された３次元モデルから、前記識別された少なくとも１つのオブジェクトの種類と同じ種類である前記少なくとも１つの３次元モデルを選択し、前記選択された３次元モデルを、前記取得された少なくとも１つの２次元画像の画像平面とは異なる画像平面に投影することで、前記取得された少なくとも１つの２次元画像に相補的な２次元画像を形成する再構成モジュールと、
    を有することを特徴とするシステム。
13. 前記オブジェクト整合手段は、前記少なくとも１つのオブジェクトの輪郭を検出する、
    請求項１２記載のシステム。
14. 前記オブジェクト整合手段は、前記選択された３次元モデルの投影された２次元の輪郭を前記少なくとも１つのオブジェクトの輪郭に整合させる、
    請求項１３記載のシステム。
15. 前記オブジェクト整合手段は、前記識別された少なくとも１つのオブジェクトのポーズ、位置及びスケールに整合させるため、前記選択された３次元モデルのポーズ、位置及びスケールを計算し、前記少なくとも１つのオブジェクトのポーズ、位置及びスケールと、前記選択された３次元モデルのポーズ、位置及びスケールとの間の差を最小にする、
    請求項１４記載のシステム。
16. 前記オブジェクト整合手段は、非決定的なサンプリング技法を適用して、前記差を表すコスト関数のパラメータをランダムにサンプリングして最小となる差を与える閉じた解を確定する、
    請求項１５記載のシステム。
17. 前記オブジェクト整合手段は、前記選択された３次元モデルの少なくとも１つの光度特性を前記少なくとも１つのオブジェクトの少なくとも１つの光度特性に整合させる、
    請求項１２記載のシステム。
18. 前記少なくとも１つの光度特性は、表面のテクスチャである、
    請求項１７記載のシステム。
19. 前記オブジェクト整合手段は、前記少なくとも１つのオブジェクトのポーズ及び位置と、前記選択された３次元モデルのポーズ及び位置との間の差を最小にする、
    請求項１７記載のシステム。
20. 前記オブジェクト整合手段は、非決定的なサンプリング技法を適用して、前記差を表すコスト関数のパラメータをランダムにサンプリングして最小となる差を与える閉じた解を確定する、
    請求項１９記載のシステム。
21. 前記オブジェクト整合手段は、
    前記選択された３次元モデルの投影された２次元の輪郭を前記少なくとも１つのオブジェクトの輪郭に整合させ、
    前記整合される輪郭間の差を最小にし、
    前記選択された３次元モデルの少なくとも１つの光度特性を前記少なくとも１つのオブジェクトの少なくとも１つの光度特性に整合させ、
    前記少なくとも１つの光度特性間の差を最小にする、
    請求項１２記載のシステム。
22. 前記オブジェクト整合手段は、整合される輪郭間の最小となる差と、前記少なくとも１つの光度特性間の最小となる差との少なくとも１つに重み付けファクタを適用する、
    請求項２１記載のシステム。
23. コンピュータに、少なくとも１つの２次元画像に相補的な２次元画像を形成する方法を実行させるための命令を含むプログラムを記録したコンピュータにより読み取り可能な記録媒体であって、
    前記方法は、
    複数の予め決定された３次元モデルを記憶手段に記憶するステップと、
    少なくとも１つの２次元画像を取得するステップと、
    少なくとも１つの２次元画像の少なくとも１つのオブジェクトを識別するステップと、
    前記記憶手段に記憶されている前記複数の予め決定された３次元モデルから、前記識別された少なくとも１つのオブジェクトの種類と同じ種類である少なくとも１つの３次元モデルを選択するステップと、
    前記選択された３次元モデルを前記識別された少なくとも１つのオブジェクトに対して位置合わせするステップと、
    前記選択された３次元モデルを、少なくとも１つの２次元画像の画像平面とは異なる画像平面に投影することで、前記少なくとも１つの２次元画像に相補的な画像を形成するステップと、
    を含むことを特徴とする記録媒体。

Images