JP5036132B2 - 裸眼立体表示のための視差画像のクリティカルな位置合わせ - Google Patents

Description

本発明は視覚技術分野に関し、より詳細には、ディスプレイ上で、特殊な視覚支援を使用することなく３次元になるように知覚されることが可能である、２次元画像を作成するための裸眼立体イメージング方法に関する。

３次元の錯覚を提供するために表示することができる２次元画像の作成は、視覚技術分野において長年の目標である。このような３次元の錯覚を生み出すための方法および装置は、ある程度、人間の奥行知覚の生理機能の理解の増大、ならびに、アナログ／デジタル信号処理およびコンピュータイメージングソフトウェアを通じた画像操作における発展とある程度平行に進んでいる。

両眼（すなわち、ステレオ）視は、重複する視野で同じ方向を見る２つの眼を必要とする。それぞれの眼はシーンをわずかに異なる角度から見て、シーンの焦点を網膜上に合わせ、網膜は、眼の後方の凹面であり、神経細胞またはニューロンが敷き詰められている。それぞれの眼からの２次元の網膜像が視神経に沿って脳の視覚野に伝達され、そこでこれらの網膜像が、立体視として知られるプロセスにおいて結合されて、シーンの知覚３次元モデルが形成される。

３次元空間の知覚は、例えば、単眼手がかり（ｍｏｎｏｃｕｌａｒ ｃｕｅｓ）および両眼手がかり（ｂｉｎｏｃｕｌａｒ ｃｕｅｓ）を含む、見られているシーンにおける様々な種類の情報に依存する。単眼手がかりには、相対サイズ、線遠近（ｌｉｎｅａｒ ｐｅｒｓｅｃｔｉｖｅ）、干渉（ｉｎｔｅｒｐｏｓｉｔｉｏｎ）、光および影などの要素が含まれる。両眼手がかりには、網膜視差、調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）、輻輳（ｃｏｎｖｅｒｇｅｎｃｅ）、および、学習された手がかり（例えば、対象をよく知っていること）が含まれる。これらのすべての要素は、シーンにおける３次元空間の知覚の作成に寄与しうるが、網膜視差は、３次元の知覚を作成するための情報の最も重要なソースの１つを提供する。詳細には、網膜視差は、脳に供給される視差情報（すなわち、位置における見かけの変化、運動の方向、または、異なる観察位置によって引き起こされた対象の他の視覚的特性）をもたらす。各眼は異なる観察位置を有するので、それぞれの眼は同じシーンのわずかに異なる視界を提供することができる。これらの視界の間の差は視差情報を表し、この情報を脳が使用して、シーンの３次元の態様を知覚することができる。

視差情報は、同時に脳に提示される必要はない。例えば、左および右眼の奥行情報を、交互に左および右眼に提示することができ、結果として、時間間隔が１００ミリ秒を超えない限り、奥行知覚を生じることができる。脳は、これらの眼がそれぞれ最大１００ミリ秒の期間にわたって交互に覆われ、覆いを取られるときでさえ、視差情報を３次元シーンから抽出することができる。脳はまた、視差情報が順序付けられる場合、両眼に同時に提示された視差情報を受け入れて処理することもできる。例えば、異なる観察視点から取られた同じシーンの２つ以上の視界を、ある順序で両眼に示すことができる（例えば、視界の各々を、その順序における次の視界を示す前に、短い時間の間両眼に示すことができる）。

いくつかの３次元画像表示方法が、提案および／または実施されている。これらの方法を、立体表示方法（ｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）および裸眼立体表示方法（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）という２つの主なカテゴリに分割することができる。ステレオスコープ、偏光（ｐｏｌａｒｉｚａｔｉｏｎ）、アナグリフ（ａｎａｇｌｙｐｈｉｃ）、プルフリヒ（Ｐｕｌｆｒｉｃｈ）、およびシャッタリング技術を含む立体技術は、見る者が例えばメガネなどの特殊視覚装置を着用することを必要とする。ホログラフィ、レンチキュラースクリーンおよび視差バリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒｓ）など、裸眼立体技術は、特殊メガネを使用することなく３次元の錯覚を有する画像を作成するが、これらの方法は一般に特殊なスクリーンの使用を必要とする。

しかし、特殊メガネも特殊表示スクリーンも必要としない、他のシステムが提案されている。これらのシステムには裸眼立体テレビおよび映画システムが含まれ、これらのシステムは、２台のカメラによって異なる視点から記録されたシーンの交互に表示されるビューを利用する。例えば、Ｉｍｓａｎｄの米国特許第４００６２９１号明細書、ＭｃＥｌｖｅｅｎの４００６２９１号明細書、Ｊｏｎｅｓ他の米国特許第４４２９３２８号明細書およびＭａｙｈｅｗ他の米国特許第４８１５８１９号明細書で説明されている装置はすべて、２台の慎重に位置合わせされたカメラを利用して、シーンの、水平に変位されたビュー、垂直に変位されたビュー、または水平および垂直の組み合わせで変位されたビューを記録する。これらのシステムは主に、標準のスクリーンを使用した裸眼立体表示のための画像獲得の技術を扱うが、適切な画像を取り込むために、カメラは慎重にマッチされおよび位置合わせされなければならない。さらに、カメラからの画像が取り込まれると、画像の位置合わせを再調整することはできない。

さらにもう１つの手法では、Ｍａｙｈｅｗに発行された米国特許第５５１０８３１号明細書に、スリット走査技術を使用した視差画像の裸眼立体表示の方法が説明されている。この技術では、２台のカメラが慎重に位置合わせされて、立体画像が取り込まれる。これらの画像は、第１の画像を背景画像として提供し、第２の画像を第１の画像上に走査スリットの形態でオーバーレイすることによって、表示することができる。

これらの説明されている方法およびシステムの各々を使用して、３次元画像表示のための画像を取り込むことはできるが、各々に関連する問題がある。例えば、これらの方法の多数は、視差情報を有する画像を取り込むために、慎重に位置合わせされた少なくとも２台のカメラの使用を必要とする。複数のカメラを共通のシーンで位置合わせすることは、煩わしい。搬送して位置決めするべき複数のカメラがあるだけでなく、これらのカメラの適切な位置合わせ、および、色／輝度のマッチングは、困難である場合がある。位置合わせの後でさえ、これらのカメラはなお、後の表示のために所望の程度の画像位置合わせを提供しない場合がある。さらに、従来技術の方法の多数は、３次元の錯覚を作成するために、特殊なカメラまたはレンズメカニズム、ビデオ切り替え機器、特殊視覚メガネ、および／または特殊スクリーンを必要とする。また、これらの３次元表示方法のいずれも、ランダムに獲得された画像と共に使用するため、または、従来のビデオ画像ストリーム（例えば、シーケンス）、もしくは、例えば平行のビュー（ｐａｒａｌｌｅｌ ｖｉｅｗｓ）による画像から抽出された画像と共に使用するのに適切ではない。

本発明は、従来技術の３次元画像表示システムおよび方法に関連する問題の１つまたは複数を克服することを対象とする。

本発明の第１の態様は、裸眼立体表示を生成するための方法を含む。この方法は、第１の視差画像および少なくとも１つの他の視差画像を獲得することを含む。第１の視差画像の一部を、少なくとも１つの他の視差画像の対応する部分と位置合わせすることができる。第１の視差画像および少なくとも１つの他の視差画像の交互ビュー（ａｌｔｅｒｎａｔｉｎｇ ｖｉｅｗｓ）を表示することができる。

本発明の第２の態様は、位置合わせされた視差画像の組を生成するためのシステムを含む。このシステムは、コンピュータ、および、コンピュータ上で実行するアプリケーションを含む。アプリケーションは、２つ以上の視差画像の交互ビューを所望のビューレート（ｖｉｅｗｉｎｇ ｒａｔｅ）で表示するように、および、２つ以上の視差画像を、視差画像の第１のものの少なくとも一部が視差画像の第２のものの少なくとも一部と位置合わせされるように、操作するように構成される。

本発明の１つの例示的実施形態は、視差画像を操作して、結果として得られる動画を作成することによって、裸眼立体表示を作成するための方法を含む。結果として得られる動画は、裸眼立体表示を提供することができ、従来のスクリーン（例えば、ＴＶ、コンピュータのモニタ、映写幕、動画ディスプレイ、または、動画を表示することができる他のいずれかのタイプのディスプレイ）上で表示することができる。上述のように、視差画像には、重複する視野を有するが異なる視点を有する、２つ以上の画像が含まれる。例えば、図１に例示するように、カメラ１０は第１の画像の組を取り込むことができ、カメラ１２は、互いに離れている間に、共通のシーン１４の第２の画像の組を取り込むことができる。カメラ１０および１２からの結果として得られた画像の組は、視差画像となる。すなわち、カメラ１０からの画像の組およびカメラ１２からの画像の組には、カメラ１０および１２が同じシーン１４の画像を取り込むという事実により、ある重複した視覚情報が含まれるようになる。しかし、カメラ１０および１２からの画像の組には、異なる視点の結果として得られる、ある異なる視覚情報も含まれるようになる。これらの視差画像は、本発明に一致する裸眼立体表示を生成するための基礎としての役割を果たすことができる。

カメラ１０および１２は、視差画像を同時または交互に取り込むことができることに留意されたい。視差画像を、単一のカメラ１０によって生成することもでき、カメラ１０は、新しい位置（例えば、図１のカメラ１２の位置）に移動してシーン１４の第２の画像を取り込む前に、シーン１４の第１の画像を取り込む。さらに、シーン１４の視差画像を取り込む間に、いかなる長さの時間が経過してもよい。例えば、シーン１４の第１の画像を取り込んだ後、異なる視点からの第２の画像を、後の任意の時間（１秒、１時間、１日、１年など）に取り込むことができる。加えて、カメラ１０および１２は、本発明と共に使用するために適切な視差画像を作成するために、いかなる特殊な配置構成である必要もない。

本発明の例示的方法は、ソース画像の獲得および選択、画像のクリティカルな位置合わせ、および画像の表示のステップを含むことができる。一実施形態では、図２に例示するように、この方法は、ステップ２０でソース画像を獲得すること、ステップ２２でソース画像を位置合わせソフトウェアにロードすること、ステップ２４で位置合わせパラメータを調整すること、ステップ２６で、位置合わせされた画像を保存／格納すること、および、ステップ２８で、位置合わせされた画像を表示することを含むことができる。

獲得および選択
裸眼立体表示を生成するために使用される視差画像を、デジタルスチルカメラ、デジタルビデオカメラ、従来のフィルムカメラおよび従来のビデオカメラ（その後に、続いて起こるデジタル化が続く）、コンピュータにより生成されたグラフィックスソース、および、いずれかの他の適切なイメージングソースなどの様々なイメージングソースから獲得することができる。加えて、視差画像を単一の画像ストリームから、あるいは複数の画像ストリームから取り込むことができる。複数の画像ストリームを、ビデオステレオカメラペアの出力にすることができ、あるいはより一般には、平行した視点による重複する画像シーケンスを含む、同じシーンの重複するビューを有する、いずれかの２つ以上の画像ソースにすることができる。視差画像をまた、コンピュータ（３Ｄレンダリングされたグラフィックスと同様に）、または、ＲＡＤＡＲ、ＳＯＮＡＲなどによって作り出された擬似カラー画像によって生成することもできる。

クリティカルな位置合わせ
位置合わせプロセスは、視差画像の交互ビューを所望のビューレート（すなわち、視差画像ビューが変更される頻度）で表示すること、および次いで、交互ビューを、位置合わせにマッチするように操作することを含む。交互ビューを任意の所望のビューレートで表示することもできるが、一実施形態では、ビューレートを約３Ｈｚから約６Ｈｚまでとすることができる。「位置合わせにマッチする」という用語は、位置合わせされる（すなわち、輻輳される（ｃｏｎｖｅｒｇｅｄ））画像における関心領域が、参照画像フレームにおける対応する領域として位置合わせされる画像のフレーム内の同じ場所を占有するように、位置決めされる状態を指す。関心領域は、位置合わせされる画像の全部であっても一部であってもよい。

位置合わせマッチングプロセスは、図３ａに示すような参照画像３０を、視差画像の組から選択することによって開始する。参照画像３０が選択されると、視差画像からの、図３ｂに示すような他の画像３２を、参照画像３０に対して位置合わせすることができる。単一の位置合わせされていない画像３２のみを図３ｂに示すが、位置合わせされていない画像３２は、複数のＮ個の画像を表す場合がある。複数のＮ個の画像のうち１つまたは複数を、参照画像３０に対して選択および位置合わせすることができる。ある状況では、本発明に一致する裸眼立体表示の安定性は、異なる視差位置を有する視差画像の数が増すにつれて、増大しうる。

参照画像３０は、関心領域３４を含むことができる。同じ関心領域３４’は、異なる視点から見られたにもかかわらず、位置合わせされていない画像３２に現れる可能性がある。位置合わせされていない画像３２を、例えば、図３ｄに例示するように領域３４’が領域３４との位置合わせにマッチするまで、図３ｃに示すように操作することができる。操作プロセスを、トランスレーション、回転、スケーリング、および／または他のいずれかの所望の変換を含む、アフィン変換によって表すことができる。加えて、位置合わせされていない画像３２がその周囲で回転される点を、画像の中心以外の位置に調整することもできる。

クリティカルな位置合わせプロセスを、コンピュータによって実行することができる。例えば、視差画像の組を、ユーザが参照画像を選択することを可能にするソフトウェアアプリケーションにロードすることができる。例えば、視差画像の組を、オープングラフィックス言語（ＯＧＬ）ソフトウェア、または、画像データを操作するために適切な他のソフトウェアにロードすることができる。次いで、コンピュータは、その組内の残りの視差画像の１つまたは複数の位置合わせを自動的に実行することができる。しかし、代替として、ソフトウェアは、オペレータがその組内の残りの視差画像の１つまたは複数のための変換パラメータを入力することを可能にすることができる。

１つの例示的実施形態では、ユーザは参照画像において、および、位置合わせされていない画像の１つまたは複数において、輻輳点（ｃｏｎｖｅｒｇｅｎｃｅ ｐｏｉｎｔｓ）を選択することができる。コンピュータは適切なトランスレーションを実行して、画像における輻輳点を、これらの画像において選択された輻輳点の間の計算された差に基づいて、位置合わせすることができる。コンピュータはさらに、パターンマッチングまたは特徴抽出アルゴリズムを実行して、（ａ）いずれかの有意な回転視差（ｒｏｔａｔｉｏｎａｌ ｄｉｓｐａｒｉｔｉｅｓ）が２つ以上の選択された画像の間に存在するかどうか、（ｂ）回転視差の程度、（ｃ）選択された画像の１つまたは複数をその周囲で回転させることができる点または回転、および（ｄ）選択された輻輳点で、またはその付近で、選択された画像における関心領域の位置合わせにマッチするために、何の回転トランスレーションが必要とされるかを、決定することができる。このように、コンピュータは、選択された輻輳点に基づいて画像を位置合わせし、これらの画像を、位置合わせにマッチするように回転させることができる。

別の実施形態では、コンピュータは、位置合わせプロセスのより大きい部分もコントロールすることができる。例えば、オペレータまたはコンピュータのいずれかは、輻輳点を参照画像３０において選択することができる。次に、コンピュータはパターンマッチングアルゴリズムを使用して、参照画像３０内の輻輳点の周囲の領域に対応する、位置合わせされていない画像３２内のマッチング領域のための推定値を計算することができる。当技術分野で知られるいかなる適切なパターンマッチングアルゴリズムも、この計算を実行するために使用することができる。例えば、画像３０および３２の各々からのピクセルのブロックを選択し、類似について比較することができる。このプロセスを、最良のマッチが選択されるまで、繰り返すことができる。次第により小さい変位でこのプロセスの繰り返しを実行して、トランスレーション値を精緻化することができる（例えば、サブピクセルの解像度の変換パラメータを提供するため）。回転もまた、上述のように処理することができる。

さらに別の実施形態では、コンピュータは、オペレータが１つまたは複数の視差画像のための変換パラメータを入力することを可能にすることができる。したがって、位置合わせされる画像毎に、ユーザは手動で変換パラメータを入力および変更して、視差画像を位置合わせすることができる。位置合わせソフトウェアには、例えば、グラフィカルユーザインターフェース（ＧＵＩ）が含まれる場合があり、ＧＵＩでは、ユーザは、トランスレーションパラメータ、スケーリングパラメータ、回転値、回転ピボット点、および、画像変換に関連付けられた他のいずれかのパラメータなど、変換パラメータを入力することができる。追加の機能には、マッチング領域を定性的に識別する助けとなる位置合わせガイド、ズームイン／アウトを行う能力、および、画像の関心領域の外側の部分を隠す（すなわち、覆う）能力が含まれる場合がある。

自動化の程度にかかわらず、各プロセスにおける変換パラメータを、クリティカルな位置合わせが達成されるまで、継続的に調整することができる。クリティカルな位置合わせは、安定した裸眼立体表示を達成するために位置合わせの程度が十分である状態に対応する。画像全体の安定性は、裸眼立体表示内の少なくとも特定の関心領域が安定する限り、必要とされない場合がある。

開示された位置合わせプロセスの重要な要素の１つは、クリティカルな位置合わせを達成するためのサブピクセルの解像度の視差画像操作の使用である。具体的には、クリティカルな位置合わせを達成するための変換は、サブピクセルレベルまで進むことができ、このレベルでは、あるイメージが別のイメージに対して、整数のピクセルより小さい量により移動される。すなわち、変換には、整数のピクセルに１ピクセルの大きさの任意の端数をプラスまたはマイナスした変位が含まれる場合がある。これらのサブピクセル操作は、裸眼立体表示の安定性を最大にする助けとなることができる。サブピクセル位置合わせを達成するため、双３次再スケーリング、双１次再スケーリング、または、他のいずれかの適切な画像補間方法など、画像補間方法を使用することができる。

表示
視差画像およびその交互ビューを、視差画像のクリティカルな位置合わせの前、間、または後に表示することができる。視差画像の交互ビューをクリティカルな位置合わせプロセス中に表示することは、１つまたは複数の画像がいつ参照画像との位置合わせにマッチするかを決定する助けとなりうる。例えば、視差画像の交互ビューが表示されるとき、ユーザは、上述のように断続的に変換パラメータを入力して、２つ以上の視差画像を位置合わせすることができる。視差画像を位置合わせプロセス中に表示する１つの利点は、ユーザがリアルタイムで、入力された変換パラメータがイメージの位置合わせに関して有する効果を見ることができることである。このように、ユーザは、変換パラメータを入力すること、視差画像の位置合わせ状態を観察すること、および、変換パラメータを再入力して、視差画像の位置合わせ状態を精緻化することによって、位置合わせにマッチする状態に向かって追加的に進むことができる。

視差画像が位置合わせされると、位置合わせされた画像を画像データの組として格納することができる。画像データをこの方法で格納することは、位置合わせが完了された後、位置合わせされた視差画像をスタンドアロンのオペレーションで表示するために、有用である。例えば、位置合わせされた視差画像をビデオフォーマットで格納し、後で表示することができる。さらに、格納され、位置合わせされた視差画像を、表示またはさらに処理するために、位置合わせソフトウェアに再ロードすることができ、これらの処理には、例えば、これらの画像を新しい関心領域に対して位置合わせすることが含まれる。

代替として、画像を位置合わせするために使用された変換の記録（すなわち、画像位置合わせパラメータ）を格納することができる。後のプロセスで、格納された変換を取り出し、視差画像の組に再び適用して、画像の、位置合わせにマッチする状態を再生成することができる。一実施形態では、画像位置合わせパラメータを格納し使用して、同じ画像のより高解像度のバージョンを位置合わせすることができる。このプロセスは、例えば、高解像度画像の処理を速めるために有用である。かなりの処理リソースを必要とする場合があり、画像のリアルタイム操作を遅くするか、あるいは妨げる場合のある、高解像度画像についてクリティカルな位置合わせプロセスを実行するのではなく、これらの操作を高解像度画像の低解像度バージョンで実行することができる。次いで、低解像度画像に対して決定された位置合わせパラメータを、画像のより高解像度のバージョンに適用することができる。

立体表示とは異なり、本発明に一致する裸眼立体画像を画像のシーケンスとして、テレビ、コンピュータのモニタ、映写幕、動画ディスプレイ、または、動画を表示することができる他のいずれかのタイプのディスプレイなど、従来の２次元ディスプレイ（例えば、スクリーン）上で表示することができる。位置合わせされた画像の組を順次に、ランダムに選択された順序で、または、他のいずれかの所望の順序で表示することができる。例えば、図４ａは、マッチされた位置合わせにおける６つの視差画像の組（例えば、３つの右−左ペア）を表す。図４ｂは、順次の再生パターンを例示し、このパターンでは、その組において位置合わせされた視差画像は繰り返しの順序で連続的に表示される。図４ｃおよび４ｄは、２つの可能性のあるランダム再生順序を明示している。上述のように、シーケンス内のビューが変更される頻度（すなわち、ビューレート）を、任意の所望の頻度にすることができる。しかし、一実施形態では、ビューレートを約３Ｈｚと約６Ｈｚの間にすることができる。さらに、ビューレートは一定である必要はないが、経時的に変化される場合がある。

解析
位置合わせされた視差画像を表示することに加えて、またはその代わりに、コンピュータ解析を画像について実行することができる。例えば、ある定量的情報を、位置合わせされた視差画像から抽出することができる。画像に含まれた視差情報の結果として、対象の見かけのシフトが、異なるビューの間で存在する場合がある。見かけのシフトは、画像内の点が、異なる視点から取られた複数の画像の間で移動するように見える距離を指す。２つ以上の視差画像内の点の見かけのシフトの量を測定することによって、カメラと画像内の点の間の距離など、ある他の情報が知られている場合、定量的位置の値を画像内の対象に関する点について計算することができる。例えば、カメラと、空から取り込まれた画像内の地面の間の距離を知ることによって、および、２つ以上の視差画像の間でビルの先端の見かけのシフトを測定することによって、ビルの高さおよび／または体積を計算することができる。

加えて、シーンの点についての定量的位置情報を、画像内に現れる既知の量に基づいて計算することができる。例えば、あるモデルの自動車が画像内に現れ、その自動車についての寸法データが入手可能である場合、自動車に関連付けられたシーン内の１つまたは複数の点の見かけのシフトを測定することによって、他のシーンの点のための位置の値を計算することができる。

さらに、画像内で十分なシーンの点のための位置の値を決定することによって、そのシーン内の対象についての深度マップを計算することができる。この深度マップ（ｄｅｐｔｈ ｍａｐ）を使用して、中間視差角（ｉｎｔｅｒｍｅｄｉａｔｅ ｐａｒａｌｌａｘ ａｎｇｌｅ）に対応するビューを作成することができる。これは、最初に取り込まれた画像からの複数のビューの補間を可能にする。

本発明の例示的実施形態による、視差画像を生成ための例示的カメラ位置を例示する図である。 本発明の例示的実施形態による、視差画像をクリティカルに位置合わせするための方法を表す流れ図である。 本発明の例示的実施形態による、視差画像を位置合わせするための変換プロセスを例示する図である。 本発明の例示的実施形態による、視差画像を位置合わせするための変換プロセスを例示する図である。 本発明の例示的実施形態による、視差画像を位置合わせするための変換プロセスを例示する図である。 本発明の例示的実施形態による、視差画像を位置合わせするための変換プロセスを例示する図である。 本発明の例示的実施形態による、位置合わせ中および後の視差画像の表示のための様々な順序パターンを例示する図である。 本発明の例示的実施形態による、位置合わせ中および後の視差画像の表示のための様々な順序パターンを例示する図である。 本発明の例示的実施形態による、位置合わせ中および後の視差画像の表示のための様々な順序パターンを例示する図である。 本発明の例示的実施形態による、位置合わせ中および後の視差画像の表示のための様々な順序パターンを例示する図である。

Claims (28)

1. 裸眼立体表示を生成する方法であって、
   第１の視野の第１の画像および前記第１の視野と少なくとも部分的にオーバーラップする第２の視野の少なくとも１つの第２の画像を獲得するステップであって、前記第１の画像と前記第２の画像との間の差は視差情報を含む、ステップと、
   コンピュータに関連付けられたプロセッサが、前記第１の画像および前記第２の画像を、ディスプレイ上に交互に表示するステップと、
   前記画像を表示する間に、前記第１の画像に関連付けられたユーザ選択の関心領域を、前記第２の画像の対応する関心領域と、位置合わせして、前記第１の画像の関心領域は前記ディスプレイにおいて前記第２の画像の関心領域と同じ場所を占めるようになる、位置合わせするステップと
   を備えることを特徴とする方法。
2. 前記位置合わせするステップは、トランスレーション、回転およびスケーリングのうち少なくとも１つを含むことを特徴とする請求項１に記載の方法。
3. 前記位置合わせするステップは、サブピクセルの解像度で実行されることを特徴とする請求項２に記載の方法。
4. 前記第１の画像および前記第２の画像のうち少なくとも１つに関連付けられた位置合わせパラメータを格納するステップ、および、前記位置合わせパラメータを、前記第１の画像および前記第２の画像のうち前記少なくとも１つに適用するステップをさらに備えることを特徴とする請求項１に記載の方法。
5. 前記ディスプレイは、コンピュータのモニタ、テレビ、映写幕および動画ディスプレイのうち少なくとも１つを含むことを特徴とする請求項１に記載の方法。
6. 前記第１の画像および前記第２の画像は、２台の異なるカメラが前記第１の視野を見ることによって取り込まれたことを特徴とする請求項１に記載の方法。
7. 前記第１の画像は、ビデオカメラによって取り込まれたビデオ画像ストリームの第１のフレームを含み、前記第２の画像は、前記ビデオカメラによって取り込まれた前記ビデオ画像ストリームの少なくとも１つのフレームを含み、該少なくとも１つのフレームは、前記第１のフレームからの時間遅延型であることを特徴とする請求項１に記載の方法。
8. 前記第１の画像および前記第２の画像は、その位置が、前記第１の画像および前記第２の画像を取り込むことの間で移動された、単一のカメラを使用して取り込まれたことを特徴とする請求項１に記載の方法。
9. 前記第１の画像および前記第２の画像は、コンピュータによって生成されたことを特徴とする請求項１に記載の方法。
10. 位置合わせされた視差画像の組を生成するためのシステムであって、
    コンピュータシステムで使用するためのコンピュータ可読媒体を有するコンピュータを備え、
    前記コンピュータ可読媒体は、少なくとも第１の視差画像および第２の視差画像について画像記録装置が獲得した交互ビューを所望のビューレートで表示し、前記画像を表示する間、前記第１の画像に関連付けられたユーザ選択の関心領域を、前記第２の画像の対応する関心領域と、位置合わせして、前記第１の画像の関心領域がディスプレイにおいて前記第２の画像の関心領域と同じ場所を占めるようにする、前記コンピュータに実行させるように構成されるコンピュータ実行可能アプリケーションを有することを特徴とするシステム。
11. 前記アプリケーションは、変換の組を前記第１および第２の視差画像の少なくとも１つに適用することを前記コンピュータに実行させるように、さらに構成されることを特徴とする請求項１０に記載のシステム。
12. 前記１または複数の変換は、トランスレーション、回転およびスケーリングのうち少なくとも１つを含むことを特徴とする請求項１０に記載のシステム。
13. 前記アプリケーションは、前記第１および第２の視差画像の１つを参照画像として指定する入力をオペレータから受け入れること、および、前記第１および第２の視差画像の変換に影響を及ぼす変換パラメータを前記オペレータから受け入れること、を前記コンピュータに実行させるように、さらに構成されることを特徴とする請求項１０に記載のシステム。
14. 前記アプリケーションは、前記第１および第２の視差画像における輻輳点を識別する入力をオペレータから受け入れること、および、前記第１および第２の視差画像の変換を実行するための変換パラメータを計算すること、を前記コンピュータに実行させるように、さらに構成されることを特徴とする請求項１０に記載のシステム。
15. 前記アプリケーションは、パターンマッチングを実行して、いずれかの有意な回転視差が前記第１および第２の視差画像の間に存在するかどうか、前記回転視差の程度、回転点、および、前記回転視差を補正するために必要とされる回転トランスレーションを決定することを前記コンピュータに実行させるように、さらに構成されることを特徴とする請求項１０に記載のシステム。
16. 前記アプリケーションは、前記第１および第２の視差画像の各々において現れる点に関連付けられた見かけのシフトの量を測定すること、および、前記点のための定量的位置の値を計算すること、を前記コンピュータに実行させるように、さらに構成されることを特徴とする請求項１０に記載のシステム。
17. 前記アプリケーションは、前記第１および第２の視差画像において現れる対象のための深度マップを計算することを前記コンピュータに実行させるように、さらに構成されることを特徴とする請求項１０に記載のシステム。
18. 裸眼立体表示を生成する方法であって、
    第１の画像を第１の視点で、イメージキャプチャデバイスを使用して取り込むステップと、
    前記イメージキャプチャデバイスを使用して、少なくとも１つの第２の画像を、前記第１の視点とは異なる第２の視点から取り込むステップと、
    前記第１の画像および前記第２の画像の交互ビューを、所望のビューレートでディスプレイ上で表示するステップと、
    前記画像を表示する間、前記第１の画像に関連付けられたユーザ選択の関心領域を、前記第２の画像の対応する関心領域と、位置合わせして、前記第１の画像の関心領域が前記ディスプレイにおいて前記第２の画像の関心領域と同じ場所を占めるようにする、位置合わせするステップと
    を備えることを特徴とする方法。
19. 前記イメージキャプチャデバイスはビデオカメラであることを特徴とする請求項１８に記載の方法。
20. 前記所望のビューレートは約３Ｈｚと約６Ｈｚの間であることを特徴とする請求項１８に記載の方法。
21. 前記位置合わせされた第１および第２の画像を格納するステップと、
    前記位置合わせされた画像の交互ビューをビデオフォーマットで再生するステップと
    をさらに備えることを特徴とする請求項１８に記載の方法。
22. 前記第１および第２の位置合わせされた画像に関連付けられた位置合わせパラメータを格納するステップと、前記位置合わせパラメータを前記第１および第２の画像の関連バージョンに適用するステップとをさらに備えることを特徴とする請求項１８に記載の方法。
23. 前記第１の画像および前記第２の画像の交互ビューを表示するステップは、前記第１の画像および前記第２の画像の交互ビューを所定のビューレートで表示するステップを備えることを特徴とする請求項１に記載の方法。
24. 前記所定のビューレートは約３Ｈｚと約６Ｈｚの間であることを特徴とする請求項２３に記載の方法。
25. 前記所望のビューレートは約３Ｈｚと約６Ｈｚの間であることを特徴とする請求項１０に記載のシステム。
26. 裸眼立体表示を生成する方法であって、
    画像記録装置が、第１の視野の第１の画像および前記第１の視野と少なくとも部分的にオーバーラップする第２の視野の少なくとも１つの第２の画像を獲得するステップであって、前記第１の画像と前記第２の画像との間の差は視差情報を含む、ステップと、
    コンピュータに関連付けられたプロセッサが、前記第１の画像および前記第２の画像のうちの少なくとも１つに１または複数の変換を実行している間に、交互の前記第１の画像および第２の画像を、交互にディスプレイ上に表示して、前記第１および第２の画像が表示されながら、前記第１の画像に関連付けられたユーザ選択の対応する関心領域を、前記第２の画像の対応する領域と、前記ディスプレイ上でクリティカルに位置合わせするステップと
    を備えることを特徴とする方法。
27. 裸眼立体表示を生成する方法であって、
    画像記録装置が、第１の視野の第１の画像および前記第１の視野と少なくとも部分的にオーバーラップする第２の視野の少なくとも１つの第２の画像を獲得するステップであって、前記第１の画像と前記第２の画像との間の差は視差情報を含む、ステップと、
    コンピュータに関連付けられたプロセッサが、交互の前記第１の画像および前記第２の画像を標準のディスプレイ上で、特殊メガネまたは立体表示スクリーンの使用を要することなく、交互に表示し、前記第１の画像および前記第２の画像のうちの少なくとも１つについて１または複数の変換を実行している間に、前記第１の画像および前記第２の画像に関連付けられたユーザ選択の対応する関心領域をクリティカルに位置合わせして、前記視差情報をユーザが認識できるようにするステップと
    を備えることを特徴とする方法。
28. 裸眼立体表示を生成する方法であって、
    画像記録装置が、第１の視野の第１の画像および前記第１の視野と少なくとも部分的にオーバーラップする第２の視野の少なくとも１つの第２の画像を獲得するステップであって、前記第１の画像と前記第２の画像との間の差は視差情報を含む、ステップと、
    コンピュータに関連付けられたプロセッサが、前記第１の画像および前記第２の画像のうちの少なくとも１つについて１または複数の変換を実行している間に、交互の前記第１の画像および前記第２の画像をディスプレイ上で交互に表示し、前記第１の画像および前記第２の画像に関連付けられたユーザ選択の対応する関心領域を前記ディスプレイ上でクリティカルに位置合わせすることで、クリティカルに位置合わせされた１または複数の画像を生成するステップと、
    前記１または複数のクリティカルに位置合わせされた画像を記録媒体に格納するステップと
    を備えることを特徴とする方法。

Images