JP4879326B2 - ３次元画像を合成するシステム及び方法 - Google Patents

Description

本発明は、コンピュータグラフィックス処理及びディスプレイシステム全般に関し、より詳細には、３次元（３Ｄ）画像を合成するシステム及び方法に関する。

立体画像形成は、僅かに異なる視点から撮影されたあるシーンの少なくとも２つの画像を視覚的に結合して、３次元の深度の錯覚を生成するプロセスである。この技術は、人間の目がある距離だけ離れて配置されていることに依存しており、したがって、正確に同じシーンを見ない。それぞれの目に異なる視野からの画像を提供することで、見る人の目は、知覚する深度への錯覚を起こす。典型的に、２つの異なる視野が提供される場合、コンポーネント画像は、「左」画像及び「右」画像と呼ばれ、それぞれ参照画像及び相補画像としても知られる。しかし、当業者であれば、２を超える視野が立体画像を形成するために形成される場合があることを認識するであろう。

立体画像は、様々な技術を使用してコンピュータにより生成される場合がある。たとえば、「立体視“ａｎａｇｌｙｐｈ”」方法は、色を使用して、立体画像の左及び右のコンポーネントをエンコードする。その後、見る人は、それぞれの目が唯一のビューを知覚するように光をフィルタリングする特別のグラスを装着する。

同様に、ページフリップ（ｐａｇｅ−ｆｌｉｐｐｅｄ）立体画像形成は、画像の右のビューと左のビューとの間の表示を迅速に切り替える技術である。さらに、見る人は、ディスプレイ上の画像と同期して開閉する、典型的に液晶材料で構成される高速電子シャッターを含む特別なメガネを装着する。立体視のケースのように、それぞれの目は唯一のコンポーネント画像を知覚する。特別なメガネ又はヘッドギアを必要としない他の立体画像形成技術が近年に開発されている。たとえば、レンチキュラー画像形成は、２以上の異なる画像のビューを薄いスライスに分割し、そのスライスをインターリーブして単一の画像を形成する。このインターリーブされた画像は、次いで、レンチキュラーレンズの後ろに配置され、このレンチキュラーレンズは、それぞれの目が異なるビューを知覚するように異なるビューを再構成する。レンチキュラーディスプレイのなかには、ラップトップコンピュータで一般に見られるように、コンベンショナルなＬＣＤディスプレイの向こう側に位置されるレンチキュラーレンズにより実現されるものがある。

上記された技術に関連される応用は、（たとえば立体画像である）３Ｄ画像を合成するＶＦＸである。現在、Ａｐｐｌｅ Ｓｈａｋｅ（登録商標）及びＡｕｔｏｄｅｓｋ Ｃｏｍｂｕｓｔｉｏｎ（登録商標）のような既存の合成ソフトウェアは、このプロセスで使用される。しかし、これらのソフトウェアシステムは、合成及びレンダリングの間に独立に立体画像のペアにおける左目画像及び右目画像を扱う。

したがって、立体画像を合成するＶＦＸの現在のプロセスは、左画像及び右画像を正しくレンダリングするため、適切なカメラ位置、照明モデル等を決定するため、オペレータにとってシステマチックなやり方を欠いた手探り動作である。かかる手探りプロセスにより、不正確なオブジェクトの深度予測及び非効率な合成のワークフローとなる可能性がある。

さらに、これらのソフトウェアシステムは、瞳孔間隔のようなレンダリングされたステレオ画像の特定の設定をオペレータが変更するのを許容しない。不適切な瞳孔間隔により、３Ｄ動画において収束平面が絶えず変化することとなり、視聴者に対して視覚的な疲労を生じさせる可能性がある。

３次元画像を合成するシステム及び方法であって、３Ｄ特性を有する２以上の画像の１部又は少なくとも１部を結合して３Ｄ画像を形成するものである。本発明のシステム及び方法は、２以上の入力画像を取り込む。システムへの入力は、とりわけ、左目の視界（ビュー“ｖｉｅｗ”）と右目のビューをもつ立体画像のペア、そのビューに対応する深度マップをもつ単一の目の画像、コンピュータグラフィック（ＣＧ）オブジェクトの３Ｄモデル、２Ｄフォアグランド及び／又はバックグランドの平面、及び、これらの組み合わせとすることができる。次いで、本システム及び方法は、取り込まれた画像の明暗（ｌｉｇｈｔｉｎｇ）、形状（ｇｅｏｍｅｔｒｙ）及びオブジェクト情報のような関連するメタデータを取得又は抽出する。オペレータからの入力に応答して、本システム及び方法は、それぞれ取り込まれた画像の明暗、形状及びオブジェクトのような画像データを選択又は変更する。３Ｄ画像を合成するシステム及び方法は、次いで、選択又は変更された画像データを同じ座標系にマッピングし、オペレータにより提供される指示及び設定に基づいて画像データを１つの３Ｄ画像に結合する。この時点で、オペレータは、設定を変更するか、結合された３Ｄ画像を所望のフォーマット（たとえば立体画像のペア）にレンダリングするかを判断することができる。本システム及び方法は、レンダリングされた出力を関連するメタデータ（たとえば、立体画像のペアの瞳孔間隔）と関連付けすることができる。

本発明の１態様によれば、３次元（３Ｄ）画像を合成する方法は、少なくとも２つの３次元（３Ｄ）画像を取得し、少なくとも２つの３次元画像に関するメタデータを取得し、少なくとも２つの３Ｄ画像のメタデータを１つの３Ｄ座標系にマッピングし、少なくとも２つの３Ｄ画像のそれぞれの一部を１つの３Ｄ画像に合成することを含む。メタデータは、限定されるものではないが、明暗の情報、形状の情報、オブジェクトの情報、及びそれらの組み合わせを含む。

別の態様では、本方法は、１つの３Ｄ画像を予め決定されたフォーマットにレンダリングすることを更に含む。

更なる態様では、本方法は、出力メタデータをレンダリングされた３Ｄ画像と関連付けすることを更に含む。

本発明の別の態様によれば、３次元（３Ｄ）画像を合成するシステムが提供される。本システムは、少なくとも２つの３次元（３Ｄ）画像を取得する手段、少なくとも２つの３Ｄ画像に関連するメタデータを取得する抽出手段、少なくとも２つの３Ｄ画像のメタデータを１つの３Ｄ座標系にマッピングする座標マッピング手段、少なくとも２つの３Ｄ画像のそれぞれの一部を１つの３Ｄ画像に合成する合成手段を含む。

１つの態様では、本システムは、メタデータの少なくとも１つの属性を変更する色補正手段を含む。

別の態様では、抽出手段は、少なくとも２つの３Ｄ画像の光環境を決定する光抽出手段を更に含む。

さらに、更なる態様では、抽出手段は、少なくとも２つの３Ｄ画像におけるシーン又はオブジェクトの幾何学的形状を判定する幾何学的形状の抽出手段を更に含む。

別の態様では、３次元（３Ｄ）画像を合成する方法ステップを実行するためにコンピュータにより実行可能な命令からなるプログラムを実施する、コンピュータにより読み取り可能なプログラムストレージデバイスが提供される。本方法は、少なくとも２つの３次元（３Ｄ）画像を取得し、少なくとも２つの３Ｄ画像に関連するメタデータを取得し、少なくとも２つの３Ｄ画像のメタデータを１つの３Ｄ座標系にマッピングし、少なくとも２つの３Ｄ画像のそれぞれの一部を１つの３Ｄ画像に合成し、及び、１つの３Ｄ画像を予め決定されたフォーマットにレンダリングすることを含む。

本発明のこれらの態様、特徴及び利点、並びに、他の態様、特徴及び利点は、添付図面と共に読まれることとなる好適な実施の形態に関する以下の詳細な説明から明らかとなるであろう。図面において、同じ参照符号は、図面を通して同じエレメントを示す。

図１は、本発明の態様にかかる、少なくとも２つの３次元（３Ｄ）画像を１つの３Ｄ画像に合成するシステムを例示する図である。 図２は、本発明の態様にかかる、少なくとも２つの３次元（３Ｄ）画像を１つの３Ｄ画像に合成する例示的な方法のフローチャートである。 図３は、本発明の態様にかかる、１つの３次元座標系にマッピングされる２つの３次元画像を例示する図である。

図面は、本発明の概念を例示する目的であり、必ずしも、本発明を例示するための唯一の可能性のあるコンフィギュレーションではないことを理解されたい。

図に示されるエレメントは、様々な形式のハードウェア、ソフトウェア又はそれらの組み合わせで実現される場合があることを理解されたい。好ましくは、これらのエレメントは、プロセッサ、メモリ及び入力／出力インタフェースを含む１以上の適切にプログラムされた汎用デバイス上でハードウェア及びソフトウェアの組み合わせで実現される。
本明細書の記載は、本発明の原理を例示するものである。当業者であれば、本明細書で明示的に記載又は図示されていないが、本発明の原理を実施し、本発明の精神及び範囲に含まれる様々なアレンジメントを考案することができることを理解されたい。
本明細書で引用される全ての例及び条件付言語は、本発明の原理、当該技術分野の推進において本発明者により寄与される概念を理解することにおいて読者を支援する教育的な目的が意図され、係る特別に参照される例及び条件に対して限定されないとして解釈されるべきである。さらに、本発明の特定の例と同様に、本発明の原理、態様及び実施の形態を参照する全ての説明は、本発明の構造的且つ機能的に等価なものを包含することが意図される。さらに、係る等価なものは、現在知られている等価なものと同様に、将来に開発される等価なもの、すなわち構造に関わらず同じ機能を実行する開発されたエレメントをも含むことが意図される。
したがって、たとえば、本明細書で提供されるブロック図は、本発明の原理を実施する例示的な回路の概念図を表していることは、当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な媒体で実質的に表現される様々なプロセスであって、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表す。
図示される様々なエレメントの機能は、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアと同様に、専用のハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、単一の専用プロセッサにより、単一の共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより機能が提供される。用語“ｐｒｏｃｅｓｓｏｒ”又は“ｃｏｎｔｒｏｌｌｅｒ”の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すものと解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性メモリを暗黙的に含む場合がある。
他のハードウェア、コンベンショナル及び／又はカスタムハードウェアも含まれる場合がある。同様に、図示される任意のスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように実現者により選択可能である。本発明の請求項では、特定の機能を実行する手段として表現される任意のエレメントは、たとえばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するためのソフトウェアを実行する適切な回路と組み合わされる、ファームウェア、マイクロコード等を含む任意の形式のソフトウェアを含めて、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な参照される手段により提供される機能が結合され、請求項が要求するやり方で纏められるという事実にある。したがって、それらの機能を提供することができる任意の手段は本明細書で示されるものに等価であると考えられる。

合成とは、異なるソースからの複数の画像を１つの画像に結合して所定の視覚的な作用を達成するための、動画の生成で広く使用される標準的なプロセスである。コンベンショナルな合成のワークフローは、２Ｄ動画を処理するために開発され、３Ｄ動画（たとえば３Ｄ立体動画）を処理するために最適化されていない。
本発明は、３次元特性をもつ２以上の画像の一部又は少なくとも１部を新たな１つの３Ｄ画像に結合するという課題に対処するものである。本発明は、３次元（３Ｄ）特性をもつ２以上の画像のそれぞれの少なくとも１部を新たな３Ｄ画像に結合するシステム及び方法を提供する。限定されるものではないが、立体画像のペア、深度マップをもつ２Ｄ画像、ＣＧオブジェクトの３Ｄモデル、フォアグランド及び／又はバックグランドの平面等を含めて、ワイドレンジの３Ｄ画像がサポートされる。さらに、システム及び方法は、合成プロセスに関する関連するメタデータを取り込み、抽出及び出力することができる。本システム及び方法は、特定の平面におけるオブジェクトを包含すること又は除外することを可能にし、オペレータにより指定される指示に基づいてオブジェクトを混合することを可能にする。

システムへの入力は、とりわけ、左目のビューと右目のビューをもつ立体画像のペア、そのビューに対応する深度マップをもつ単一の目の画像、コンピュータグラフィックオブジェクトの３Ｄモデル、２Ｄフォアグランド及び／又はバックグランドの平面、及び、これらの組み合わせとすることができる。システムからの出力は、左目のビュー及び右目のビューの立体画像のペア、又はオペレータにより指定される入力画像の組み合わせをレンダリング及び合成する任意の他のタイプの３Ｄ画像とすることができる。

入力画像及び出力画像の両者は、とりわけ立体画像のペアの仮定される瞳孔間隔及び明暗モデルのような、関連するメタデータと関連付けすることができる。さらに、（たとえば瞳孔間隔の変更といった）他の応用による更なる処理を容易にするため、出力データが使用される。

本システム及び方法は、カラーコレクタ及びライトモデルジェネレータのようなコンベンショナルなＶＦＸツールを利用する場合がある。これは、入力画像が明暗モデル又は十分に詳細な幾何学的情報を含まないときに必要とされる。また、入力画像の３Ｄ形状と同様に、ライティングモデルをマージ及び変更するシステム及び方法が提供される。これらのモデルは、オペレータにより選択されるか指示される命令に基づいてマージされるか、変更される。

ここで図面を参照して、図１には、本発明の実施の形態に係る例示的なシステムコンポーネントが示される。スキャニング装置１０３は、たとえばカメラのオリジナルのネガフィルムといったフィルムプリント１０４を、たとえばＣｉｎｅｏｎフォーマット又はＳＭＰＴＥ ＤＰＸファイルといったデジタル形式にスキャニングするために提供される。スキャニング装置１０３は、たとえばビデオ出力をもつＡｒｒｉ ＬｏｃＰｒｏ（登録商標）のようなフィルムからビデオ出力を生成するテレシネ又は任意の装置を有する場合がある。代替的に、ポストプロダクションプロセスからのファイル又はデジタルシネマ１０６（たとえば既にコンピュータ読み取り可能な形式にあるファイル）を直接的に使用することができる。コンピュータ読み取り可能なファイルの潜在的なソースは、限定されるものではないが、ＡＶＩＤ（登録商標）エディタ、ＤＰＸファイル、Ｄ５テープ等を含む。スキャニングされたフィルムプリントは、たとえばコンピュータであるポストプロセッシング装置１０２に入力される。コンピュータは、１以上の中央処理装置（ＣＰＵ）のようなハードウェア、ランダムアクセスメモリ（ＲＡＭ）及び／又はリードオンリメモリ（ＲＯＭ）のようなメモリ１１０、キーボード、カーソル制御装置（たとえばマウス又はジョイスティック）のような入力／出力（Ｉ／Ｏ）ユーザインタフェース１１２、及び表示装置を有する様々な既知のコンピュータプラットフォームの何れかで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載される様々なプロセス及び機能は、マイクロ命令コードの一部、又はオペレーティングシステムを介して実行されるソフトウェアアプリケーションプログラムの一部（又はその組み合わせ）の何れかである場合がある。さらに、様々な他の周辺装置は、様々なインタフェース、及び、パラレルポート、シリアルポート又はユニバーサルシリアルバス（ＵＳＢ）のようなバス構造により、コンピュータプラットフォームに接続される。他の周辺装置は、更なるストレージデバイス１２４及びプリンタ１２８を含む。プリンタ１２８は、たとえば立体のフィルムバージョンである改訂されたフィルムバージョン１２６を印刷するために利用される場合があり、あるシーン又は複数のシーンは、以下に記載される技術の結果として、３Ｄモデリングされたオブジェクトを使用して変更又は置換される。

代替的に、（たとえば外部のハードドライブ１２４に記憶されている場合があるデジタルシネマである）既にコンピュータ読み取り可能な形式１０６にあるファイル／フィルムプリントは、コンピュータ１０２に直接的に入力される場合がある。なお、本明細書で使用される用語「フィルム“ｆｉｌｍ”」は、フィルムプリント又はデジタルシネマの何れかを示す場合がある。ソフトウェアプログラムは、少なくとも２つの３Ｄ画像の少なくとも１部を１つの３Ｄ画像に結合する、メモリ１１０に記憶される３次元（３Ｄ）合成モジュール１１４を含む。３Ｄ合成モジュール１１４は、あるシーンに配置されるオブジェクトの光環境を予測する光抽出手段１１６を含む。光抽出１１６は、複数の光モデルと相互作用して、光環境を判定する場合がある。３Ｄ形状検出手段１１８は、幾何学的形状の情報を抽出して、３Ｄ画像におけるオブジェクトを識別するために設けられる。３Ｄ形状検出器１１８は、画像編集ソフトウェアによりオブジェクトを含んでいる画像の領域の輪郭を手動的に描くか、又は、自動検出アルゴリズムでオブジェクトを含んでいる画像領域を分離することで、オブジェクトを識別する。色補正手段１１９は、たとえば画像の色、明るさ、コントラスト、色温度、或いは画像の一部の色、明るさ、コントラスト、色温度を変更するために設けられる。色補正手段１１９により実現される色補正機能は、限定されるものではないが、領域選択、カラーグレーディング、デフォーカス、キーチャネル及びマット仕上げ、ガンマ制御、正確さ及びコントラスト等を含む。また、３Ｄ合成モジュール１１４は、３Ｄオブジェクトのライブラリ１１７から又は入力画像からのオブジェクトを単一の座標系にマッピングする座標マッピング手段１２０を含む。レンダリング手段１２２は、とりわけ、光抽出手段１１６により生成される光情報により、あるシーンにおけるオブジェクトをレンダリングするために設けられる。レンダリング手段は、当該技術分野で知られており、限定されるものではないが、ＬｉｇｈｔＷａｖｅ ３Ｄ，Ｅｎｔｒｏｐｙ ａｎｄ Ｂｌｅｎｄｅｒを含む。

図２は、本発明の態様にかかる、少なくとも２つの３次元（３Ｄ）画像の１部を１つの３Ｄ画像に合成する例示的な方法のフローチャートである。はじめに、ポストプロセッシング装置は、ステップ２０２で、とりわけ、左目のビューと右目のビューをもつ立体画像のペア、そのビューに対応する深度マップをもつ単一の目の画像、コンピュータグラフィック（ＣＧ）のオブジェクトの３Ｄモデル、２Ｄフォアグランド及び／又はバックグランドの平面、及び、これらの組み合わせといった、少なくとも２つの３次元（３Ｄ）画像を取得する。ポストプロセッシング装置１０２は、コンピュータ読み取り可能なフォーマットでデジタルマスタ画像ファイルを取得することで、少なくとも２つの３Ｄ画像を取得する場合がある。デジタルビデオファイルは、デジタルビデオカメラで動画像の時系列を捕捉することで取得される。代替的に、ビデオ系列は、従来のフィルムタイプのカメラにより捕捉される場合がある。このシナリオでは、フィルムはスキャニング装置１０３を介してスキャニングされる。

フィルムがスキャニングされるか、又は既にデジタル形式にあるかに関わらず、フィルムのデジタルファイルは、たとえばフレーム番号、フィルムの開始からの時間等といった、フレームの位置に関する指示又は情報を含むことを理解されたい。デジタル画像ファイルのそれぞれのフレームは、たとえばＩ_１，Ｉ_２，…，Ｉ_ｎといった１つの画像を含む。

ひとたび、デジタルファイルが取得されると、２以上の入力画像が取り込まれる。明暗、形状及びオブジェクト情報のような関連するメタデータは、必要に応じて、システムにより入力されるか、抽出される。次のステップは、必要に応じて、それぞれの入力画像について、明暗、形状、オブジェクト等のようなメタデータの属性をオペレータが選択又は変更することである。次いで、入力は、オペレータからの指示及び設定に基づいて同じ座標系にマッピングされ、１つの３Ｄ画像に結合される。この時点で、オペレータは、設定を変更するか、結合された３Ｄ画像を所望のフォーマット（たとえば立体画像のペア）にレンダリング及び合成するかを判断することができる。レンダリングされた出力は、（たとえば立体画像のペアの瞳孔間隔といった）関連されるメタデータと関連付けすることができる。

図２を参照して、ステップ２０２及び２０４で、少なくとも２つの３Ｄ画像が入力される。３Ｄ画像合成手段への入力として広い範囲の３Ｄ画像がサポートされる。たとえば、左目のビューと右目のビューをもつ立体画像のペア、そのビューに対応する深度マップをもつ単一の目の画像、コンピュータグラフィックのオブジェクトの３Ｄモデル、２Ｄフォアグランド及び／又はバックグランドの平面、及び、これらの組み合わせは、システムへの入力とされる。つぎに、ステップ２０６及び２０８で、システムは、入力画像について明暗、形状、オブジェクト及び他の情報を取得する。特に、カメラ距離及び立体画像のペアの明暗モデルのような関連メタデータ１２３をもつ全ての入力画像を取り込むことができる。取り込むことは、入力画像として受け、必要に応じて処理することを意味する。たとえば、２つの立体画像を入力し、それらから深度マップを抽出することを意味する。合成のために必要なメタデータが利用可能ではない場合、システムは、図１に関連して上述されたモジュールを使用して、入力画像から半自動式又は自動式でメタデータを抽出することができる。

たとえば、光抽出手段１１６は、あるシーンの光環境を判定し、そのシーンにおける特定のポイントで、たとえば輝度といった光情報を予測する。さらに、形状抽出手段１１８は、カメラパラメータ、深度マップ等のような他の関連データと共に、シーンの形状又は画像からの入力画像の一部を抽出する。

さらに、メタデータは、オペレータにより手動で入力される場合があり、たとえば、ある特定の画像に関して生成される明暗モデルは、その画像に関連付けされる場合がある。メタデータは、外部ソースから取得又は受信される場合があり、たとえば、３Ｄ形状は、レーザスキャナ又は他の装置のような形状取得装置により取得され、形状抽出手段１１８に入力される。同様に、光情報は、たとえばミラーボール、ライトセンサ、カメラ等のような光捕捉装置により捕捉され、光抽出手段１１６に入力される。

本システムは、コンベンショナルなＶＦＸツールを使用して、合成プロセスのために必要とされる関連するメタデータ１２３を抽出又は生成することができる。係るツールは、限定されるものではないが、色補正アルゴリズム、形状検出アルゴリズム、光モデリングアルゴリズム等を含む。これらのツールは、３Ｄ入力画像が明暗モデル又は十分に詳細な幾何学的情報を含まないときに必要とされる。本システムが使用することができる他の関連するメタデータは、特に、立体画像のペアのカメラの距離である。ひとたび画像全体について又はユーザが関心のある幾つかのオブジェクトに対応するピクチャの一部について形状（深度マップ等）に関する情報が抽出されると、本システムは、入力画像において現れるオブジェクトを分割する。たとえば、握手している人物Ａと人物Ｂの立体画像のペアにおいて、本システムは、人物Ａ、人物Ｂ及びバックグランドに対応するオブジェクトを分割する。オブジェクトセグメンテーションアルゴリズムは、当該技術分野で知られている。シーン又は画像における関心のあるオブジェクトの３Ｄ形状は、モデルフィッティングのような様々な方法により決定又はリファインされる場合があり、この場合、既知の形状を有する予め定義された３Ｄモデルは、そのオブジェクトに対応する画像における領域に対して整合され、登録される。別の例示的な方法では、分割されたオブジェクトの形状は、画像の領域を予め定義された粒子系に整合させることで導出され、リファインされる場合があり、この場合、粒子系は、予め決定された形状を有するように生成される。ステップ２１０，２１２では、本システムは、少なくとも２つの入力画像について、明暗、形状、オブジェクト及び他の情報といったメタデータの属性をオペレータが変更するのを可能にする場合がある。画像の３Ｄ特性が不正確又は利用不可能である場合、正確な３Ｄ合成を得るために形成される必要があるか、又は変更される必要がある。たとえば、バックグランドの平面の深度マップは、３Ｄ取得装置の低い深度の解像度のために利用不可能なことがある。このケースでは、オペレータは、合成のために必要に応じて、３Ｄ深度をバックグランドの平面における幾つかのオブジェクトに割り当てることが必要な場合がある。また、オペレータは、必要に応じて、それぞれの入力画像の明暗、形状、オブジェクト等を変更することができる。システムは、画像における入力画像又はオブジェクトの３Ｄ形状と同様に、明暗モデルをマージ及び変更する。これらのモデルは、（たとえば所望の位置において新たな光源を追加するといった）オペレータにより選択又は指定された命令に基づいてマージ又は変更することができる。さらに、オペレータは、光の色、表面の色及び反射特性、光の位置及び表面の形状を変更することで、取得された画像のオブジェクトの「外観“ｌｏｏｋ”」又は取得された画像の一部の「外観」を変更するため、色補正手段１１９を利用する場合がある。画像又は画像の一部は、修正又は更なる修正が必要であるかを判定するため、修正の前後でレンダリングされる。つぎに、ステップ２１４で、３Ｄ合成モジュール１１４を介してオペレータにより提供される設定に基づいて、合成が行われる。

このステップの間、異なる入力画像におけるビジュアルエレメント（たとえばオブジェクト）は、図３に例示されるように、オペレータにより手動的に、又は深度情報に基づいて自動的に、同じ３Ｄ座標系で位置される。

図３を参照して、それぞれの入力画像３０２，３０４は、入力画像に関連する座標系において、オブジェクト３０８及び３１０をそれぞれ含む。それぞれの入力画像３０２，３０４からのオブジェクト３０８，３１０は、新たな３Ｄ画像３０６のグローバル座標系３１２にマッピングされる。オペレータは、入力画像のオブジェクト又は一部の間の位置又は関係を修正又は変更することができる。また、本システムは、オペレータが特定の平面におけるオブジェクトを含むこと又は排除すること（クリッピング）、及び特定のルールに基づいてオブジェクトを混合することを可能にする。

最後に、選択されたオブジェクト及び入力画像は、たとえば、グローバル座標系に関してそれぞれの画像入力の座標系について移動、回転及びスケール変換を指定する、オペレータにより選択又は指定された指示に基づいてマージ及び結合される。

たとえば、入力画像３０４からのオブジェクト３１０は、３Ｄ画像３０６のグローバル座標系３１２に関して回転され、それらのオリジナルのサイズからスケーリングされる。合成ステップの後、メタデータの属性は、更に修正される必要がある（ステップ２１６）。属性が修正される必要がある場合、本方法は、ステップ２１０，２１２に戻り、さもなければ、合成３Ｄ画像がレンダリングされる場合がある。合成３Ｄ画像は、たとえば左目のビュー及び右目のビューからなる立体画像のペア又は他のタイプの３Ｄ画像といった所望のフォーマットで、レンダリング手段１２２を介して、ステップ２１８で最終的にレンダリングされる。出力画像は、特に、立体画像のペアの想定される瞳孔間隔及び明暗モデル、３Ｄ画像の閉塞情報及び関連される深度マップのような、関連されるメタデータ１２９に関連付けされる。たとえば瞳孔間隔といったメタデータは自動的に生成することができ、たとえば光源の位置及び強度といったメタデータは手動的に入力することができる。次いで、レンダリングされた画像は、デジタルファイル１３０に記憶される。デジタルファイル１３０は、たとえば立体のオリジナルフィルムのバージョンを印刷するといった、後の検索のためにストレージデバイス１２４に記憶される。本発明の教示を組み込んだ実施の形態が本明細書で詳細に図示及び記載されたが、当業者であれば、これらの教示を組み込んだ多数の他の変形された実施の形態を容易に考案することができる。（例示的であって、限定的であることが意図されない）３Ｄ画像を合成するシステム及び方法の好適な実施の形態が記載されたが、修正及び変形は、上記教示に照らして当業者により行うことができる。したがって、特許請求の範囲により概説される本発明の開示の範囲及び精神に含まれる開示された特定の実施の形態において変形がなされる場合があることを理解されたい。

Claims (10)

1. ３次元画像を合成する方法であって、
   それぞれの３次元画像が左目のビューと右目のビューとをもつ少なくとも１つの立体画像のペア、前記ビューに対応する深度マップをもつ単一の目の画像及びコンピュータグラフィックのオブジェクトの３次元モデルを有する少なくとも２つの３次元画像を取得するステップと、
   明暗情報、形状情報及びオブジェクト情報のうちの少なくとも１つであるメタデータであって、前記少なくとも２つの３次元画像に関連するメタデータを取得するステップと、
   前記少なくとも２つの３次元画像に関連するメタデータを使用して前記少なくとも２つの３次元画像のそれぞれの１部を１つの３次元画像に合成し、入力された指示に応じて、合成された１つの３次元画像に含まれる前記少なくとも２つの３次元画像の少なくとも１つに対する変更処理を、前記合成された３次元画像の単一の３次元座標系に関して行うステップと、
   前記少なくとも２つの３次元画像のメタデータの少なくとも１つの属性を変更し、変更された属性のメタデータに従って、変更された１つの３次元画像を合成し直すステップと、
   左目のビューと右目のビューをもつ立体画像のペアである予め決定されたフォーマットで、合成し直された１つの３次元画像をレンダリングするステップと、
   前記変更された属性のメタデータを、レンダリングされた１つの３次元画像と関連付けするステップと、
   を含むことを特徴とする方法。
2. 前記変更された属性のメタデータは、前記立体画像のペアの左目の視界と右目の視界との間の瞳孔の間隔である、
   請求項１記載の方法。
3. 前記取得された少なくとも２つの３次元画像のそれぞれは、左目のビューと右目のビューとをもつ立体画像のペア、前記視界に対応する深度マップをもつ単一の目の画像、コンピュータグラフィックのオブジェクトの３次元モデル、及び、２次元の前景又は後景の平面のうちの１つである、
   請求項１記載の方法。
4. 前記メタデータを取得するステップは、前記少なくとも２つの３次元画像から前記メタデータを抽出するステップを含む、
   請求項１記載の方法。
5. 前記メタデータを取得するステップは、少なくとも１つの外部ソースから前記メタデータを受けるステップを含む、
   請求項１記載の方法。
6. ３次元画像を合成するシステムであって、
   それぞれの３次元画像が左目のビューと右目のビューとをもつ少なくとも１つの立体画像のペア、前記ビューに対応する深度マップをもつ単一の目の画像及びコンピュータグラフィックのオブジェクトの３次元モデルを有する少なくとも２つの３次元画像を取得する手段と、
   明暗情報、形状情報及びオブジェクト情報のうちの少なくとも１つであるメタデータであって、前記少なくとも２つの３次元画像に関連するメタデータを取得する抽出手段と、
   前記少なくとも２つの３次元画像に関連するメタデータを使用して前記少なくとも２つの３次元画像のそれぞれの一部を１つの３次元画像に合成し、入力された指示に応じて、合成された１つの３次元画像に含まれる前記少なくとも２つの３次元画像の少なくとも１つに対する変更処理を、前記合成された３次元画像の単一の３次元座標系に関して行う合成手段と、
   前記少なくとも２つの３次元画像のメタデータの少なくとも１つの属性を変更し、変更された属性のメタデータに従って、変更された１つの３次元画像を合成し直す色補正手段と、
   左目のビューと右目のビューをもつ立体画像のペアである予め決定されたフォーマットで、合成し直された１つの３次元画像をレンダリングするレンダリング手段とを備え、
   前記合成手段は、前記変更された属性のメタデータを、レンダリングされた１つの３次元画像と関連付けする、
   ことを特徴とするシステム。
7. 前記抽出手段は、前記少なくとも２つの３次元画像の光環境を判定する光抽出手段を更に有する、
   請求項６記載のシステム。
8. 前記抽出手段は、前記少なくとも２つの３次元画像におけるオブジェクトの形状を判定する形状抽出手段を更に有する、
   請求項６記載のシステム。
9. 前記抽出手段は、少なくとも１つの外部ソースから前記メタデータを受ける、
   請求項６記載のシステム。
10. ３次元画像を合成する方法を実行するための、コンピュータにより実行可能な命令からなるプログラムを記録した、コンピュータにより読み取り可能な記録媒体であって、
    前記方法は、
    それぞれの３次元画像が左目のビューと右目のビューとをもつ少なくとも１つの立体画像のペア、前記ビューに対応する深度マップをもつ単一の目の画像及びコンピュータグラフィックのオブジェクトの３次元モデルを有する少なくとも２つの３次元画像を取得するステップと、
    明暗情報、形状情報及びオブジェクト情報のうちの少なくとも１つであるメタデータであって、前記少なくとも２つの３次元画像に関連するメタデータを取得するステップと、
    前記少なくとも２つの３次元画像に関連するメタデータを使用して前記少なくとも２つの３次元画像のそれぞれの一部を１つの３次元画像に合成し、入力された指示に応じて、合成された１つの３次元画像に含まれる前記少なくとも２つの３次元画像の少なくとも１つに対する変更処理を、前記合成された３次元画像の単一の３次元座標系に関して行うステップと、
    前記少なくとも２つの３次元画像のメタデータの少なくとも１つの属性を変更し、変更された属性のメタデータに従って、変更された１つの３次元画像を合成し直すステップと、
    左目のビューと右目のビューをもつ立体画像のペアである予め決定されたフォーマットで、合成し直された１つの３次元画像をレンダリングするステップと、
    前記変更された属性のメタデータを、レンダリングされた１つの３次元画像と関連付けするステップと、
    を含むことを特徴とする記録媒体。

Images