JP6596510B2 - ステレオレンダリングシステム - Google Patents

Description

関連出願への相互参照
この出願は、継続出願であり、２０１５年９月１０日に出願された米国特許出願第１４／８５０，１１４号に対する優先権を主張し、その開示をここに引用により援用する。

分野
実施形態は、ステレオ画像ならびに／またはビデオの左目用および右目用画像および／もしくはビデオをレンダリングすることに関する。

背景
典型的なステレオレンダリングは、カメラの対間の高密度のオプティカルフロー場を計算し、その後３Ｄ画像全体にわたってビューポイントを補間することを含む。これは困難であり、半透明の物体など、場合によっては、不可能とみなされることさえある。それは、通常の固体の物体であっても、ほとんどのオプティカルフローアルゴリズムはリアルタイムで実行するには遅すぎるため、困難である。換言すれば、キャプチャされた２Ｄ画像から３Ｄ画像を補間することは、プロセッサ集中型であり得る。結果として、３Ｄ画像および／または３Ｄビデオをリアルタイムで生成して所望の再生ユーザ経験を達成することは、困難であり得る。したがって、リアルタイムで、および／または画像もしくはビデオがストリーミングされる際に、オプティカルフロー補間なしに３Ｄ画像および／または３Ｄビデオをレンダリングすることが望ましい。

概要
例示的な実施形態は、３Ｄ画像および／またはビデオに対するシステムならびに方法を記載する。一般的な態様において、方法は、ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野（a field of view）の指示を受信することと、ＨＭＤ上に表示されている３Ｄ画像に関連付けられる視深度（a depth of view）の指示を受信することと、視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、視深度に基づいて第１の右目用画像と第２の右目用画像とを合成することと、視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、視深度に基づいて第１の左目用画像と第２の左目用画像とを合成することとを備える。

図面の簡単な説明
例示的な実施形態は、以下に与えられる詳細な説明および添付の図面からより充分に理解されることになり、同様の要素は、同様の参照番号によって示されるが、それらは例示のみのために与えられており、したがって例示的な実施形態を限定するものではない。

少なくとも１つの例示的な実施形態による画像および／またはビデオをキャプチャおよびレンダリングするためのシステムのブロック図を示す。 少なくとも１つの例示的な実施形態による画像処理システムのブロック図を示す。 少なくとも１つの例示的な実施形態による画像キャプチャ構成のブロック図の上面視点を示す。 少なくとも１つの例示的な実施形態による画像キャプチャ構成のブロック図の正面視点である。 少なくとも１つの例示的な実施形態による方法のブロック図を示す。 少なくとも１つの例示的な実施形態による、キャプチャされるシーンの左に位置決めされたカメラによってキャプチャされた画像を示す。 少なくとも１つの例示的な実施形態による、キャプチャされるシーンの中央に位置決めされたカメラによってキャプチャされた画像を示す。 少なくとも１つの例示的な実施形態による、キャプチャされるシーンの右に位置決めされたカメラによってキャプチャされた画像を示す。 少なくとも１つの例示的な実施形態による、カメラと同じ面に沿った目で見た同じ画像を示す。 少なくとも１つの例示的な実施形態による、カメラと同じ面に沿った目で見た同じ画像を示す。 人間の視覚系によって視覚化された画像を示す。 人間の視覚系によって視覚化された画像を示す。 人間の視覚系によって視覚化された画像を示す。 少なくとも１つの例示的な実施形態による合成された画像の図を示す。 少なくとも１つの例示的な実施形態による合成された画像の図を示す。 少なくとも１つの例示的な実施形態によるＨＭＤのディスプレイ上に表示された場合の合成された画像に基づく視覚化された画像を示す図である。 少なくとも１つの例示的な実施形態による合成された画像を示す図である。 少なくとも１つの例示的な実施形態による合成された画像を示す図である。 少なくとも１つの例示的な実施形態によるＨＭＤのディスプレイ上に表示されたときの視覚化された画像を示す図である。 少なくとも１つの例示的な実施形態による合成された画像の図を示す。 少なくとも１つの例示的な実施形態による合成された画像の図を示す。 少なくとも１つの例示的な実施形態によるＨＭＤのディスプレイ上に表示されたときの視覚化された画像を示す。 少なくとも１つの例示的な実施形態による遠い視深度での視覚化された画像の並べての比較の図を示す。 少なくとも１つの例示的な実施形態による遠い視深度での視覚化された画像の並べての比較の図を示す。 少なくとも１つの例示的な実施形態による中間の視深度での視覚化された画像の並べての比較の図を示す。 少なくとも１つの例示的な実施形態による中間の視深度での視覚化された画像の並べての比較の図を示す。 少なくとも１つの例示的な実施形態による近い視深度での視覚化された画像の並べての比較の図を示す。 少なくとも１つの例示的な実施形態による近い視深度での視覚化された画像の並べての比較の図を示す。 少なくとも１つの例示的な実施形態によるヘッドマウントディスプレイ（ＨＭＤ）のブロック図を示す。 少なくとも１つの例示的な実施形態によるヘッドマウントディスプレイ（ＨＭＤ）のブロック図を示す。 視野の概略表現を示す。 前額面および正中矢状前額面を示す。 目を二等分する前額面に直交する平面を示す。目から点Ａまでの注視ベクトルも示されている。 コンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す。

これらの図は、特定の例示的な実施形態において利用される方法、構造および／または材料の一般的特徴を説明し、以下の記述を補足することを意図していることに留意されたい。しかしながら、これらの図面は、縮尺どおりではなく、任意の所与の実施形態の正確な構造または性能特性を精密に反映しない場合があり、例示的実施形態によって包含される値または特性の範囲を規定または限定するものとして解釈されるべきではない。例えば、構造要素の相対的な厚さおよび配置は、明瞭にするために、低減または誇張されるかもしれない。様々な図面において類似または同一の参照番号を使用することは、類似または同一の要素または特徴の存在を示すことを意図している。

実施形態の詳細な説明
例示的な実施形態は、様々な修正物および代替形態を含んでもよく、それらの実施形態は、図面において例として示され、本明細書で詳細に説明される。しかしながら、例示的な実施形態を開示された特定の形態に限定する意図はなく、むしろ、例示的な実施形態は、特許請求の範囲内に入るすべての修正物、均等物および代替物を包含するものであることを理解されたい。同様の番号は、図面の説明を通して同様の要素を指す。

図１は、３Ｄ仮想現実（ＶＲ）環境における画像および／またはビデオをキャプチャおよびレンダリングするための例示的なシステム１００のブロック図である。例示的なシステム１００では、カメラリグ１０２が画像をキャプチャし、ネットワーク１０４を介して提供するか、または代替的に、画像を分析および処理のために画像処理システム１０６に直接提供することができる。システム１００のいくつかの実現例では、画像処理システム１０６は、カメラリグ１０２によってキャプチャされた画像に基づいて、画像および／またはビデオを格納、修正、および／またはストリーミングすることができる。画像処理システム１０６は、この後、より詳細に説明される。システム１００のいくつかの実現例では、モバイルデバイス１０８は、カメラリグ１０２として機能して、ネットワーク１０４全体に画像を提供することができる。画像がキャプチャされると、画像処理システム１０６は、例えば、ネットワーク１０４を介してレンダリングするために、画像に対して多数の計算および処理を行い、処理された画像をヘッドマウントディスプレイ（ＨＭＤ）デバイス１１０に提供することができる。いくつかの例示的実現例では、画像処理システム１０６は、処理された画像を、レンダリング、保存、またはさらなる処理のために、モバイルデバイス１０８および／またはコンピューティングデバイス１１２に提供することもできる。

ＨＭＤデバイス１１０は、仮想現実ヘッドセット、眼鏡、接眼レンズ、または仮想現実コンテンツを表示することができる他のウェアラブルデバイスを表すことができる。動作中、ＨＭＤデバイス１１０は、受信した画像および／または処理した画像をユーザに再生することができるＶＲアプリケーション（図示せず）を実行することができる。いくつかの実現例では、ＶＲアプリケーションは、図１に示すデバイス１０６、１０８、または１１２の１つ以上によってホストされることができる。一例では、ＨＭＤデバイス１１０は、カメラリグ１０２によってキャプチャされたシーンのビデオ再生を提供することができる。別の例では、ＨＭＤデバイス１１０は、単一のシーンにステッチングされた静止画像の再生を提供することができる。

カメラリグ１０２は、ＶＲ環境でコンテンツをレンダリングするために画像データを収集するようカメラ（キャプチャデバイスとも呼ばれ得る）および／または処理装置として使用するために構成することができる。例えば、システム１００の機能性を説明するために、図１は、画像をキャプチャするようリグの周りに配置されるカメラなしにカメラリグ１０２を示す。カメラリグ１０２の他の実現例は、リグ１０２などの円形カメラリグの周囲に配置することができる任意の数のカメラを含むことができる。

図１に示すように、カメラリグ１０２は、ある数のカメラ１３０と、通信システム１３２とを含む。カメラ１３０は、単一のスチルカメラまたは単一のビデオカメラを含むことができる。いくつかの実現例では、カメラ１３０は、カメラリグ１０２の外周（例えば、リング）に沿って並んで配置された（例えば座した）複数のスチルカメラまたは複数のビデオカメラを含むことができる。カメラ１３０は、ビデオカメラ、画像センサ、立体カメラ、赤外線カメラ、モバイルデバイスなどであってもよい。通信システム１３２は、画像、命令、および／または他のカメラ関連コンテンツをアップロードおよびダウンロードするために使用することができる。通信は、有線でも無線でもよく、プライベートネットワークまたは公衆ネットワークを介してインターフェイスすることができる。

いくつかの実現例では、カメラリグ１０２は、並列にまたは背中合わせの態様で配置された複数のデジタルビデオカメラを含み、周囲のシーンまたは環境の異なる部分を見るために、それらのレンズが各々径方向外側方向を指すようにする。いくつかの実現例では、複数のデジタルビデオカメラは、視線方向が円形カメラリグ１０２に接する接線構成で配置される。例えば、カメラリグ１０２は、複数のデジタルビデオカメラを含むことができ、それらのレンズが各々リグのベースに対して接線方向に配置されながら径方向外側方向を指すように、配置される。デジタルビデオカメラは、周囲のシーンの異なる角度の部分を見るために、異なる方向においてコンテンツをキャプチャするように向けられることができる。

いくつかの実現例では、カメラは、特定の時点でカメラリグ上のカメラからビデオをキャプチャするように同期して機能するように構成（例えば、設定）することができる。いくつかの実現例では、カメラは、ある期間にわたって１つ以上のカメラからビデオの特定の部分をキャプチャするように同期して機能するように構成することができる。カメラリグを較正する他の例は、入力画像がどのように保存されるかを構成することを含むことができる。例えば、入力画像は、個々のフレームまたはビデオ（例えば、．ａｖｉファイル、．ｍｐｇファイル）として保存することができ、このような保存画像は、インターネット、別のサーバもしくはデバイスにアップロードすることができ、またはカメラリグ１０２上の各カメラでローカルに保存されてもよい。いくつかの実現例では、入力画像をエンコードされたビデオとして保存することができる。

例示的なシステム１００では、デバイス１０６，１０８、および１１２は、ラップトップコンピュータ、デスクトップコンピュータ、モバイルコンピューティングデバイス、またはゲームコンソールであってもよい。いくつかの実現例では、デバイス１０６，１０８、および１１２は、ＨＭＤデバイス１１０内に配置さ（例えば、置かれ／位置さ）れ得るモバイルコンピューティングデバイスであり得る。モバイルコンピューティングデバイスは、例えば、ＨＭＤデバイス１１０のためのスクリーンとして使用することができるディスプレイデバイスを含むことができる。デバイス１０６，１０８、および１１２は、ＶＲアプリケーションを実行するためのハードウェアおよび／またはソフトウェアを含むことができる。さらに、デバイス１０６，１０８、および１１２は、これらのデバイスがＨＭＤデバイス１１０の前方に置かれているかまたはＨＭＤデバイス１１０に対してある範囲の位置内に保持されているとき、ＨＭＤデバイス１１０の３Ｄ移動を認識し、監視し、追跡することができるハードウェアおよび／またはソフトウェアを含むことができるいくつかの実現例では、デバイス１０６，１０８、および１１２は、ネットワーク１０４を介してＨＭＤデバイス１１０に追加のコンテンツを提供することができる。いくつかの実現例では、デバイス１０２，１０６，１０８，１１０、および１１２は、ネットワーク１０４を介してペアになっているかまたは接続されている互いの１つ以上に接続されるかまたはそれ（ら）とインターフェイスされることができる。接続は有線または無線で行うことができる。ネットワーク１０４は、パブリック通信ネットワークまたはプライベート通信ネットワークとすることができる。

ＨＭＤ（例えば、ＨＭＤデバイス１１０）において、視聴者は、知覚された３次元（３Ｄ）ビデオまたは画像を投影する左（例えば、左目）ディスプレイおよび右（例えば、右目）ディスプレイの使用を通して視覚的仮想現実を体験する。例示的な実施形態によれば、ステレオもしくは３Ｄビデオまたは画像は、（例えば、カメラリグ１０２によってキャプチャされた複数の関連付けられる２Ｄ画像として）サーバ上に格納される。ビデオまたは画像は、エンコードされ、サーバからＨＭＤにストリーミングされることができる。３Ｄビデオまたは画像は、左画像および右画像に関するメタデータとともに（例えば、データパケット内に）パッケージ化される左画像および右画像としてエンコードすることができる。次いで、左画像および右画像は、左（例えば、左目）ディスプレイおよび右（例えば、右目）ディスプレイによってデコードおよび表示される。例示的な実施形態によれば、左画像および右画像は、同期キャプチャされた２つ以上の画像に基づいて生成される画像（例えば、１つの画像として合成される）であり得る。例示的な実施形態によれば、左画像および右画像は、視野および／または視深度に基づいて生成される（例えば、１つの画像として合成される）画像であり得る。

本明細書で説明されるシステムおよび方法は、左画像および右画像の両方に適用可能であり、本開示を通して、使用例に応じて、画像、フレーム、画像の一部、フレームの一部、タイルおよび／または同様のものとして言及される。言い換えれば、サーバ（例えば、ストリーミングサーバ）からユーザデバイス（例えば、ＨＭＤ）に通信され、次いで表示のためにデコードされる、エンコードされたデータは、３Ｄビデオまたは画像に関連付けられる左画像および／または右画像であり得る。

システム１００は、電子記憶部を含むことができる。電子記憶部は、電子的に情報を記憶する非一時的記憶媒体を含むことができる。電子記憶部は、キャプチャされた画像、取得された画像、前処理された画像、後処理された画像などを記憶するように構成されてもよい。開示されるカメラリグのいずれかでキャプチャされた画像は、処理され、１つ以上のビデオストリームとして保存されるか、または個々のフレームとして保存され得る。いくつかの実現例では、保存はキャプチャ中に生じ得るものであり、レンダリングはキャプチャの部分の直後に生じ得るものであり、仮にキャプチャと処理とが同時に行われた場合よりも早く、コンテンツへのより高速なアクセスを可能にする。

図２は、少なくとも１つの例示的な実施形態による画像処理システム１０６を含む装置２００のブロック図を示す。図２に示すように、装置２００は、少なくとも１つのメモリ２０５および少なくとも１つのプロセッサ２１０を含むことができる。少なくとも１つのメモリ２０５は、画像処理システム１０６を含むことができる。画像処理システム１０６は、少なくとも１つの画像／ビデオソースリポジトリ２１５、画像選択モジュール２２０、深度処理モジュール２２５、および画像合成モジュール２３０を含むことができる。装置２００は、デバイス１０６，１０８，１１０または１１２の少なくとも１つの要素とすることができる。さらに、装置２００の要素は、デバイス１０６，１０８，１１０または１１２の少なくとも１つの間で分割することができる。例えば、少なくとも１つの画像／ビデオソースリポジトリ２１５は、画像処理システム１０６に関連付けられる前述の電子記憶部に含まれてもよく、一方、深度処理モジュール２２５は、ＨＭＤ１１０のサブシステムであってもよい。

少なくとも１つの画像／ビデオソースリポジトリ２１５は、複数の２Ｄおよび／もしくは３Ｄ画像ならびに／またはビデオを格納するように構成することができる。画像および／またはビデオは、カメラ１３０によってキャプチャされ、通信モジュール１３２を使用してカメラリグ１０２によって少なくとも１つの画像／ビデオソースリポジトリ２１５に通信されるシーンを表すことができる。画像および／またはビデオは、カメラ位置、視野、画像解像度、キャプチャ時間、フレーム順序などを示す対応するメタデータを有することができる。

画像選択モジュール２２０は、（例えば、ＨＭＤ１１０から受信した）視野の指示に基づいて、画像／ビデオソースリポジトリ２１５から２Ｄ画像を選択するように構成することができる。例えば、画像選択モジュール２２０は、画像／ビデオソースリポジトリ２１５から視野に基づいて、２つ以上の右目用画像と２つ以上の左目用画像を選択することができる。２つ以上の右目用画像および２つ以上の左目用画像は、実質的に同じ瞬間に異なるカメラ１３０によって撮影されたシーンの画像であり得る。この選択は、画像／ビデオソースリポジトリ２１５に記憶される画像に対する対応するメタデータに基づくことができる。

深度処理モジュール２２５は、ＨＭＤ１１０を使用して画像および／またはビデオを見ているユーザの視深度または焦点深度を判断するように構成することができる。例えば、ＨＭＤ１１０は、視深度を判断するよう、および／または視深度を判断することができる測定を行うよう構成された眼球追跡装置（例えば、図１２Ｂに示す第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒ）を含む。例えば、眼球追跡装置は、ユーザの目の瞳孔の位置を測定することができる。眼球追跡装置は、瞳孔の収束を測定し、角度Ｃを判断することができる（図１３Ａ参照）。角度Ｃを使用して、視深度を判断することができる。

画像合成モジュール２３０は、ＨＭＤ１１０のディスプレイ上でレンダリングするためにＨＭＤ１１０に通信される第３の画像を生成するために、２つ以上の画像を合成するように構成することができる。例えば、２つ以上の左目用画像を合成して、合成された画像が視深度において鮮鋭である（例えば、歪んだりぼけたりしていない）ようにして、左目用画像を生成することができる。合成された画像を生成するために、第１の画像（例えば、カメラ３２０−１によってキャプチャされたもの）は、第１の画像と同時（または実質的に同時）にキャプチャされた第２の画像（例えば、カメラ３２０−２によってキャプチャされたもの）に関して、合成された画像の一部が鮮鋭になる（例えば、第１の画像の、深度における部分が、第２の画像の、同じ深度における部分と、実質的に重なる）まで、シフトされ得る。例示的な実施形態では、第１の画像は、２つのカメラ間の距離および角度（例えば、Ｃ、図１３Ａ参照）に基づいて、ある数の画素分だけシフトされる。別の例示的実現例では、両方の画像は、視野の位置に関連する対応するカメラ位置に基づいて、および合成された画像の一部（視深度に対応する）が鮮鋭になるまで、視野の中心に向かって（例えば、左目の中心に）シフトされる。

図３Ａは、少なくとも１つの例示的な実施形態による画像キャプチャ構成のブロック図の上面視点を示す。図３Ａに示すように、構成は、画像３００の３つの部分を含む。画像３００の３つの部分は、画像３００の遠方部分３０５、画像３００の中間部分３１０、および画像３００の近方部分３１５を含む。遠方、中間および近方は、画像３００の見る者（例えば、目３２５−１および３２５−２を有する）に関連付けられる焦点深度を示す。言い換えれば、画像３００の遠方部分３０５は、観察者から見て比較的遠い焦点深度にあり、画像３００の中間部分３１０は観察者から見て近い焦点深度と遠い焦点深度との間にあり、画像３００の近方部分３１５は、観察者から見て比較的近いまたは接近した焦点深度にある。

図３Ｂは、少なくとも１つの例示的な実施形態による画像３００キャプチャ構成のブロック図の正面視点である。図３Ｂに示すように、画像３００の近方部分３１５は、画像３００の中間部分３１０の前にあるように示されている。さらに、画像３００の遠方部分３０５は、画像３００の近方部分３１５および画像３００の中間部分３１０の後ろに（および明確にするために上に）示されている。

例示的な実施形態では、３Ｄ画像キャプチャは、各々が異なる位置にある複数のカメラを使用することを含むことができる。これは、カメラ３２０−１，３２０−２および３２０−３によって示されている。カメラ３２０−１，３２０−２および３２０−３は、静止画像、ビデオおよび／またはビデオのフレームをキャプチャするように構成されたデジタルカメラとすることができる。

図４は、少なくとも１つの例示的な実施形態による方法のブロック図を示す。図４を参照すると、ステップＳ４０５において、視野が判断される。例えば、ＨＭＤ１１０は、ＨＭＤ１１０ヘッドのユーザの位置または動きを監視する加速度計を含むことができる。例えば、ＨＭＤ１１０の外部のデバイス（例えば、カメラおよび／または赤外線センサ）で、ＨＭＤ１１０ヘッドのユーザの位置または動きを監視することができる。例えば、ＨＭＤ１１０は、注視の方向を判断するように構成された眼球追跡装置（例えば、図１２Ｂに示すような第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒ）を含むことができる。ＨＭＤ１１０の位置および／もしくは動きならびに／または注視の方向から、視野を判断することができる。換言すれば、ＨＭＤ１１０の位置および／もしくは動きならびに／または注視の方向で、ＨＭＤ１１０のユーザが何を見ているか（例えば、視野）を判断することができる。

ステップＳ４１０において、視深度が判断される。例えば、ＨＭＤ１１０は、視深度を判断するよう、および／または視深度を判断できる測定を行なうよう構成される眼球追跡装置（例えば、第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒ）を含むことができる。例えば、眼球追跡装置は、ユーザの目の瞳孔の位置を測定することができる。眼球追跡装置は、瞳孔の収束を測定し、角度Ｃを判断することができる（図１３Ａ参照）。角度Ｃを使用して、視深度を判断することができる。深度処理モジュール２２５は、ＨＭＤ１１０から受信される視深度の測定値および／または視深度の指示を使用して、視深度を、それが画像に関連するとおりに判断するように構成することができる。

ステップＳ４１５では、視野に基づいて、２つ以上の右目用画像および２つ以上の左目用画像が選択される。例えば、画像は、データ記憶部（例えば、メモリおよび／もしくはデータベース）から、ならびに／またはライブキャプチャに基づいて、選択することができる。例えば、画像選択モジュール２２０は、左目および右目の各々について、視野の指示に基づいて、画像／ビデオソースリポジトリ２１５から２Ｄ画像を選択することができる。例示的な実現例では、複数のカメラ（例えば、カメラ３２０−１，３２０−２，３２０−３または１２３０）を使用して、画像および／またはビデオをキャプチャすることができる。左目用の視野は、２つのカメラ（例えば、カメラ３２０−１および３２０−２）の間にあり得、右目用の視野は、２つの（例えば、異なる）カメラ（例えば、カメラ３２０−２および３２０−３）の間にあり得る。したがって、左目に隣接する各カメラ（例えば、カメラ３２０−１および３２０−２）によってキャプチャされた画像が選択され得、右目に隣接する各カメラ（例えば、カメラ３２０−２および３２０−３）によってキャプチャされた画像が選択され得る。

ステップＳ４２０では、２つ以上の左目用画像および視深度に基づいて左目用画像が生成される。例えば、左目用画像は、（例えば画像合成モジュール２３０によって、）２つ以上の左目用画像を合成して、合成された画像が視深度において鮮鋭である（例えば、歪んだりぼけたりしていない）ようにして、生成することができる。合成された画像を生成するために、プロセッサ（例えば命令のセットを実行するプロセッサ２１０）によって、第１の画像（例えば、カメラ３２０−１によってキャプチャされたもの）を、第１の画像と同時（または実質的に同時）にキャプチャされた第２の画像（例えば、カメラ３２０−２によってキャプチャされたもの）に関して、合成された画像の一部が鮮鋭になる（例えば、第１の画像の、深度における部分が、第２の画像の、同じ深度における部分と、実質的に重なる）まで、シフトすることができる。例示的な実現例では、第１の画像は、２つのカメラ間の距離および角度（例えば、Ｃ、図１３Ａ参照）に基づいて、ある数の画素分だけシフトされる。別の例示的実現例では、両方の画像は、合成された画像の一部（視深度に対応する）が鮮鋭になるまで、視野の中心に向かって（例えば、左目の中心に）シフトされる。

次いで、第１の画像と第２の画像とを、シフトに基づいて互いに合成（例えばオーバレイ）することができる。さらに、後処理が行われてもよい。例えば、画像の合成された部分が、第１の画像および／または第２の画像における画像の部分と実質的に同じカラーパレットを有するように、カラーマージまたは調整を実行することができる。例えば、カラー（または画素データ値）オフセットを判断し、合成された画像にわたって適用してもよい。カラーオフセットは、視野の中心からのカメラ距離に基づく加重オフセットであってもよい。

ステップＳ４２５では、２つ以上の右目用画像および視深度に基づいて右目用画像を生成する。例えば、右目用画像は、（例えば画像合成モジュール２３０によって、）２つ以上の右目用画像を合成して、合成された画像が視深度において鮮鋭である（例えば、歪んだりぼけたりしていない）ようにして、生成することができる。合成された画像を生成するために、プロセッサ（例えば命令のセットを実行するプロセッサ２１０）によって、第１の画像（例えば、カメラ３２０−２によってキャプチャされたもの）を、第１の画像と同時（または実質的に同時）にキャプチャされた第２の画像（例えば、カメラ３２０−３によってキャプチャされたもの）に関して、合成された画像の一部が鮮鋭になる（例えば、第１の画像の、深度における部分が、第２の画像の、同じ深度における部分と、実質的に重なる）まで、シフトすることができる。例示的な実現例では、第１の画像は、２つのカメラ間の距離および角度（例えば、Ｃ、図１３Ａ参照）に基づいて、ある数の画素分だけシフトされる。別の例示的実現例では、両方の画像は、合成された画像の一部（視深度に対応する）が鮮鋭になるまで、視野の中心に向かって（例えば、右目の中心に）シフトされる。

次いで、第１の画像と第２の画像とを、シフトに基づいて互いに合成（例えばオーバレイ）することができる。さらに、後処理が行われてもよい。例えば、画像の合成された部分が、第１の画像および／または第２の画像における画像の部分と実質的に同じカラーパレットを有するように、カラーマージまたは調整を実行することができる。例えば、カラー（または画素データ値）オフセットを判断し、合成された画像にわたって適用してもよい。カラーオフセットは、視野の中心からのカメラ距離に基づく加重オフセットであってもよい。

ステップＳ４３０で、ＨＭＤ１１０の少なくとも１つのディスプレイに、左目用画像および右目用画像が表示される。例えば、ＨＭＤ１１０は、左目に関連付けられる第１のディスプレイと、右目に関連付けられる第２のディスプレイとを有することができる。生成された左目用画像は、第１のディスプレイ上でレンダリングされ、生成された右目用画像は、第２のディスプレイ上でレンダリングされ得る。例示的な実現例では、ＨＭＤ１１０は、左目に関連付けられる第１の部分と右目に関連付けられる第２の部分とを含む単一のディスプレイを含むことができる。

図５Ａ、図５Ｂおよび図５Ｃは、カメラ３２０−１，３２０−２および３２０−３によってそれぞれキャプチャされた画像３００を示す。図６Ａおよび図６Ｂは、それぞれ目３２５−１および３２５−２で見たときの画像３００を示す。図５Ｂに示すように、カメラ３２０−２は、実質的にまっすぐに画像３００をキャプチャすることができ、なぜならば、図３Ｂに示される画像３００を図５Ｂに示される画像３００と比較したとき、差が（あったとしても）最小であるからである。対照的に、カメラ３２０−１によってキャプチャ画像３００を図５Ａに示す。図から分かるように、画像３００は、近方部分３１５は中間部分３１０と比較して右に（またはカメラ３２０−１から離れるように）シフトされ、遠方部分３０５は中間部分３１０と比較して左に（またはカメラ３２０−１に向かって）シフトされた状態で、示されている。さらに、図５Ｃに示されるように、カメラ３２０−３によってキャプチャされた画像３００は、近方部分３１５は中間部分３１０と比較して左に（またはカメラ３２０−３から離れるように）シフトされ、遠方部分３０５は中間部分３１０と比較して右に（またはカメラ３２０−３に向かって）シフトされた状態で、示されている。

図６Ａに示すように、（例えば、目３２５−２を閉じて見たときに）目３２５−１によって見られる画像３００は、カメラ３２０−１によってキャプチャされるかまたは図５Ａに示されるような画像３００と幾分類似している。これにより、図６Ａでは、画像３００は、近方部分３１５は中間部分３１０と比較して右に（または目３２５−１から離れるように）シフトされ、遠方部分３０５は中間部分３１０と比較して左に（または目３２５−１に向かって）シフトされた状態で、示されている。図６Ｂに示すように、（例えば、目３２５−１を閉じて見たときに）目３２５−２によって見られる画像３００は、カメラ３２０−３によってキャプチャされるかまたは図５Ｃに示されるような画像３００と幾分類似している。これにより、図６Ａでは、画像３００は、近方部分３１５は中間部分３１０と比較して左に（または目３２５−２から離れるように）シフトされ、遠方部分３０５は中間部分３１０と比較して右に（または目３２５−２に向かって）シフトされた状態で、示されている。

図７Ａ、図７Ｂおよび図７Ｃは、人間の視覚系によって視覚化された画像３００によって表されるシーンを示す。例えば、図７Ａ、図７Ｂおよび図７Ｃは、実時間または現実世界で見た場合の人間の視覚系によって視覚化された画像３００を示す。図７Ａは、焦点深度が遠い場合に人間の視覚系によって視覚化されるような画像３００によって表されるシーンを示す。換言すれば、図７Ａは、実時間または現実世界で見た場合の画像３００によって表されるシーンの視覚化を示し、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００によって表されるシーンの遠方部分３０５によって表わされるシーンに合焦している。

図７Ａに示されるように、画像３００の遠方部分３０５は図３Ｂに示される通りである。言い換えれば、画像３００の遠方部分３０５は、画像３００の近方部分３１５および画像３００の中間部分３１０の後ろに（および明瞭にするために、上に）示されている。画像３００の遠方部分３０５も、図３Ｂに示すような形状（例えば、単一の陰影付きの星）である。しかしながら、図７Ａに示すように、画像３００の近方部分３１５および画像３００の中間部分３１０は、図３Ｂに示す画像３００の近方部分３１５および画像３００の中間部分３１０と比較して歪んでいるように示されている。これは、人間の視覚系が１つの焦点深度でしかはっきりと見ることができないためである。

図７Ａに示すように、画像３００の近方部分３１５および画像３００の中間部分３１０は、二重視（double vision）部分として示されている。例えば、画像３００の近方部分３１５は、３つの視覚化された近方部分３１５−１，３１５−２，３１５−３に分割される。視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。視覚化された近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の中間部分３１０と同様の画像３００の中間部分３１０の幅を通り越して画像３００の近方部分３１５の幅を延ばすものとして示されている。視覚化された近方部分３１５−１および３１５−３は、実時間または現実世界で見られたときの画像３００の近方部分３１５の二重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の遠方部分３０５によって表されるシーンに合焦されている。

例えば、画像３００の中間部分３１０は、３つの視覚化された中間部分３１０−１，３１０−２および３１０−３に分割される。視覚化された中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。視覚化された中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。視覚化された中間部分３１０−１および３１０−３は、実時間または現実世界で見られるときの画像３００の中間部分３１０の二重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の遠方部分３０５によって表されるシーンに合焦されている。

図７Ｂは、焦点深度が中間である場合に人間の視覚系によって視覚化される画像３００によって表されるシーンを示す。換言すれば、図７Ｂは、実時間または現実世界で見た場合の画像３００によって表されるシーンの視覚化を示し、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００によって表されるシーンの中間部分３１０によって表わされるシーンに合焦している。

図７Ｂに示されるように、画像３００の中間部分３１０は図３Ｂに示される通りである。言い換えれば、画像３００の中間部分３１０は、画像３００の近方部分３１５の後ろおよび画像３００の遠方部分３０５の前に示されている。図７Ｂの画像３００の中間部分３１０も、図３Ｂに示すような形状（例えば、格子陰影付きの矩形）およびサイズである。しかしながら、図７Ｂに示すように、画像３００の近方部分３１５および遠方部分３０５は、図３Ｂに示す画像３００の近方部分３１５および画像３００の遠方部分３０５と比較して歪んでいるように示されている。これは、人間の視覚系が１つの焦点深度でしかはっきりと見ることができないためである。

図７Ｂに示すように、画像３００の近方部分３１５および画像３００の遠方部分３０５は、二重視部分として示されている。例えば、画像３００の近方部分３１５は、３つの視覚化された近方部分３１５−１，３１５−２，３１５−３に分割される。視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。視覚化された近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の中間部分３１０と同様の画像３００の中間部分３１０の幅を通り越して画像３００の近方部分３１５の幅を延ばすものとして示されている。視覚化された近方部分３１５−１および３１５−３は、実時間または現実世界で見られたときの画像３００の近方部分３１５の二重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の中間部分３１０によって表されるシーンに合焦されている。

例えば、画像３００の遠方部分３０５は、２つの視覚化された遠方部分３０５−１および３０５−２に分割される。図７Ｂに示される視覚化された遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状（例えば星）およびより明るい陰影を有するものとして示されている。視覚化された遠方部分３０５−１および３０５−２は、実時間または現実世界で見られるときの画像３００の遠方部分３０５の二重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の中間部分３１０によって表されるシーンに合焦されている。

図７Ｃは、焦点深度が近い場合に人間の視覚系によって視覚化される画像３００によって表されるシーンを示す。換言すれば、図７Ｃは、実時間または現実世界で見た場合の画像３００によって表されるシーンの視覚化を示し、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００によって表されるシーンの近方部分３１５によって表わされるシーンに合焦している。

図７Ｃに示されるように、画像３００の近方部分３１５は図３Ｂに示される通りである。言い換えれば、画像３００の近方部分３１５は、画像３００の中間部分３１０の前および画像３００の遠方部分３０５の前にあるように示されている。図７Ｃの画像３００の近方部分３１５も、図３Ｂに示すような形状（例えば、点描陰影付きの矩形）およびサイズである。しかしながら、図７Ｃに示すように、画像３００の中間部分３１０および画像３００の遠方部分３０５は、図３Ｂに示す画像３００の中間部分３１０および画像３００の遠方部分３０５と比較して歪んでいるように示されている。これは、人間の視覚系が１つの焦点深度でしかはっきりと見ることができないためである。

図７Ｃに示すように、画像３００の中間部分３１０および画像３００の遠方部分３０５は、二重視部分として示されている。例えば、画像３００の中間部分３１０は、３つの視覚化された中間部分３１０−１，３１０−２および３１０−３に分割される。視覚化された中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。視覚化された中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。視覚化された中間部分３１０−１および３１０−３は、実時間または現実世界で見られるときの画像３００の中間部分３１０の二重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の近方部分３１５によって表されるシーンに合焦されている。

例えば、画像３００の遠方部分３０５は、２つの視覚化された遠方部分３０５−１および３０５−２に分割される。図７Ｃに示される視覚化された遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状（例えば星）およびより明るい陰影を有するものとして示されている。視覚化された遠方部分３０５−１および３０５−２は、実時間または現実世界で見られるときの画像３００の遠方部分３０５の二重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の近方部分３１５によって表されるシーンに合焦されている。

図７Ａ、図７Ｂ、および図７Ｃに示す例は、互いとも比較され得る。例えば、前述の二重視部分は、焦点深度が視覚化から遠いほど大きな歪みを有するものとして示されている。例えば、図７Ｂは、画像３００の中間部分３１０によって表されるシーンに焦点を合わせたときの画像３００を示し、図７Ｃは、画像３００の近方部分３１５によって表されるシーンに焦点を合わせたときの画像３００を示す。したがって、画像３００の遠方部分３０５によって表されるシーンと比較した焦点深度は、図７Ｂにおいてよりも図７Ｃにおいての方がより遠く離れて示されている。したがって、図７Ｃおよび図７Ｂに示す視覚化された遠方部分３０５−１および３０５−２は、異なる位置で示されている。例えば、図７Ｂに示す視覚化された遠方部分３０５−１および３０５−２は、図７Ｃに示された視覚化された遠方部分３０５−１および３０５−２と比較して、互いにより近く（例えば、歪みが少なく）、実質的に中間部分３１０の幅内にある。同様の分析が、焦点が画像３００の中間部分３１０および遠方部分３０５によって表されるシーンにあるときに対して、行なわれることができる。

図８Ａおよび図８Ｂは、少なくとも１つの例示的な実施形態による合成された画像の図を示す。図８Ａは、カメラ３２０−１および３２０−２によってキャプチャされた画像３００を合成することに基づく合成された画像８０５を示す。合成された画像８０５は、画像３００の遠方部分３０５に基づいた焦点深度で合成されて示されている。言い換えれば、合成された画像８０５は、２つの異なる視野からの画像３００の組み合わせである。図８Ａに示すように、合成された画像８０５の遠方部分３０５は、図３Ｂに示される画像３００の遠方部分３０５と実質的に同様である。言い換えれば、図８Ａにおいては、合成された画像８０５の遠方部分３０５は、近方部分３１５および中間部分３１０の後ろに（および明瞭にするために、上に）示されている。合成された画像８０５の遠方部分３０５も、図３Ｂに示すような形状（例えば、単一の陰影付きの星）である。しかしながら、図８Ａにおいては、合成された画像８０５の遠方部分３０５は、図３Ｂに示される画像３００の遠方部分３０５と比較して左にシフトされて示されている。代替的に、近方部分３１５および中間部分３１０は、右にシフトされて示されている。さらに、図８Ａに示すように、近方部分３１５および中間部分３１０は、図３Ｂに示す画像３００の近方部分３１５および画像３００の中間部分３１０と比較して歪んでいるように示されている。

図８Ａに示すように、近方部分３１５および中間部分３１０は、二重視部分として示されている。例えば、近方部分３１５は、３つの近方部分３１５−１，３１５−２，３１５−３に分割される。合成された画像８０５の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている（例えば、歪んでいない）。しかしながら、合成された画像８０５の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。合成された画像８０５の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像８０５の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の中間部分３１０と同様の画像３００の中間部分３１０の幅を通り越して画像３００の近方部分３１５の幅を延ばすものとして示されている。合成された画像８０５の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、右にシフトされるように示されている。

例えば、中間部分３１０は、３つの中間部分３１０−１，３１０−２および３１０−３に分割される。合成された画像８０５の中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、合成された画像８０５の中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。合成された画像８０５の中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像８０５の中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。合成された画像８０５の中間部分３１０−１および３１０−３は、図３Ｂに示す画像３００の近方部分３１５と比較して、合成された画像８０５の近方部分３１５−１および３１５−３のシフトよりわずかに小さいシフトで、右側にシフトして示されている（例えば、合成された画像８０５の近方部分３１５−２は中間部分３１０−２の右境界を通り過ぎて延在し、これは図７Ａに示されたものとは異なる）。

図８Ｂは、カメラ３２０−２および３２０−３によってキャプチャされた画像３００を合成することに基づく合成された画像８１０を示す。合成された画像８１０は、画像３００の遠方部分３０５に基づいた焦点深度で合成されて示されている。言い換えれば、合成された画像８１０は、２つの異なる視野からの画像３００の組み合わせである。図８Ｂに示すように、合成された画像８１０の遠方部分３０５は、図３Ｂに示される画像３００の遠方部分３０５と実質的に同様である。言い換えれば、図８Ｂにおいては、合成された画像８１０の遠方部分３０５は、近方部分３１５および中間部分３１０の後ろに（および明瞭にするために、上に）示されている。合成された画像８１０の遠方部分３０５も、図３Ｂに示すような形状（例えば、単一の陰影付きの星）である。しかしながら、図８Ｂにおいては、合成された画像８０５の遠方部分３０５は、図３Ｂに示される画像３００の遠方部分３０５と比較して右にシフトされて示されている。代替的に、近方部分３１５および中間部分３１０は、左にシフトされて示されている。さらに、図８Ｂに示すように、近方部分３１５および中間部分３１０は、図３Ｂに示す画像３００の近方部分３１５および画像３００の中間部分３１０と比較して歪んでいるように示されている。

図８Ｂに示すように、近方部分３１５および中間部分３１０は、二重視部分として示されている。例えば、近方部分３１５は、３つの近方部分３１５−１，３１５−２，３１５−３に分割される。合成された画像８１０の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている（例えば、歪んでいない）。しかしながら、合成された画像８１０の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。合成された画像８１０の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像８１０の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の中間部分３１０と同様の画像３００の中間部分３１０の幅を通り越して画像３００の近方部分３１５の幅を延ばすものとして示されている。合成された画像８１０の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、左にシフトされるように示されている。

例えば、中間部分３１０は、３つの中間部分３１０−１，３１０−２および３１０−３に分割される。合成された画像８１０の中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、合成された画像８１０の中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。合成された画像８１０の中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像８１０の中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。合成された画像８１０の中間部分３１０−１および３１０−３は、図３Ｂに示す画像３００の近方部分３１５と比較して、合成された画像８１０の近方部分３１５−１および３１５−３のシフトよりわずかに小さいシフトで、左側にシフトして示されている（例えば、合成された画像８１０の近方部分３１５−２は中間部分３１０−１の左境界を通り過ぎて延在し、これは図７Ａに示されたものとは異なる）。

合成された画像（例えば合成された画像８０５および／または合成された画像８１０）を生成するために、プロセッサ（例えば命令のセットを実行するプロセッサ２１０）によって、第１の画像（例えば、カメラ３２０−１によってキャプチャされたもの）を、第１の画像と同時（または実質的に同時）にキャプチャされた第２の画像（例えば、カメラ３２０−２によってキャプチャされたもの）に関して、合成された画像の一部（例えば遠方部分３０５）が鮮鋭になる（例えば、第１の画像の部分が第２の画像の部分と実質的に重なる）まで、シフトすることができる。例示的な実現例では、第１の画像は、２つのカメラ間の距離および角度（例えば、Ｃ、図１３Ａ参照）に基づいて、ある数の画素分だけシフトされる。これに代えて、またはそれに加えて、プロセッサは、（例えば、カメラ３２０−１によってキャプチャされた）第１の画像内の画像の一部（例えば、遠方部分３０５）の位置を、第１の画像と同じ（または実質的に同じ）時間にキャプチャされた（例えば、カメラ３２０−２によってキャプチャされた）第２の画像内の画像の同じ部分（例えば、遠方部分３０５）の位置と一致させることができる。次いで、一致させた位置に基づいて、第１の画像をシフトすることができる。

次いで、第１の画像と第２の画像とを、シフトに基づいて互いに合成（例えばオーバレイ）することができる。さらに、後処理が行われてもよい。例えば、画像の合成された部分が、第１の画像および／または第２の画像における画像の部分と実質的に同じカラーパレットを有するように、カラーマージまたは調整を実行することができる。例えば、カラー（または画素データ値）オフセットを判断し、合成された画像にわたって適用してもよい。

図８Ｃは、少なくとも１つの例示的な実施形態によるＨＭＤのディスプレイ上に表示され（および見られ）たときの視覚化された画像８１５を示す。例えば、合成された画像８０５および合成された画像８１０を、それぞれ、図１Ｂに示すＨＭＤ１５０のディスプレイ１０５−Ｌおよびディスプレイ１０５−Ｒに表示することができる。視覚化された画像８１５は、人間の視覚系によって、完全両眼オーバーラップ視野１３２０および／または両眼オーバーラッピング視野の高解像度領域１３２５（図１３Ａ参照）で視覚化されるように知覚される画像であり得る。換言すれば、図８Ｃは、合成された画像８０５および８１０を使用してＨＭＤを通してレンダリングされ見られる際に画像３００によって表されるシーンの視覚化を示す。さらに、合成された画像８０５および８１０を使用することによって、知覚された３Ｄ画像は、キャプチャされた２Ｄ画像から３Ｄ画像を補間することなくレンダリングされる。

図８Ｃに示すように、視覚化された画像８１５の遠方部分３０５は、図３Ｂに示される画像３００の遠方部分３０５と実質的に同様である。言い換えれば、視覚化された画像８１５の遠方部分３０５は、視覚化された画像８１５の近方部分３１５および視覚化された画像８１５の中間部分３１０の後ろに（および明瞭にするために、上に）示されている。視覚化された画像８１５の遠方部分３０５も、図３Ｂに示すような画像３００の遠方部分３０５と同じ形状（例えば、単一の陰影付きの星）である。しかしながら、図８Ｃに示すように、視覚化された画像８１５の近方部分３１５および視覚化された画像８１５の中間部分３１０は、図３Ｂに示す画像３００の近方部分３１５および画像３００の中間部分３１０と比較して歪んでいるように示されている。これは、人間の視覚系が１つの焦点深度でしかはっきりと見ることができないためである。

図８Ｃに示すように、視覚化された画像８１５の近方部分３１５および視覚化された画像８１５の中間部分３１０は、三重視（triple vision）部分として示されている。例えば、視覚化された画像８１５の近方部分３１５は、５つの視覚化された近方部分３１５−１，３１５−２，３１５−３，３１５−４および３１５−５に分割される。視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。視覚化された近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された近方部分３１５−４および３１５−５は、視覚化された近方部分３１５−１および３１５−３と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された近方部分３１５−１，３１５−３，３１５−４および３１５−５は、図３Ｂに示される画像３００の中間部分３１０と同様の視覚化された画像８１５の中間部分３１０の幅を通り越して視覚化された画像８１５の近方部分３１５−２の幅を延ばすものとして示されている。視覚化された近方部分３１５−１，３１５−３，３１５−４および３１５−５は、合成された画像８０５および８１０を用いてＨＭＤを通して見られたときの画像３００の近方部分３１５の三重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の遠方部分３０５で合焦されている。

例えば、視覚化された画像８１５の中間部分３１０は、５つの視覚化された中間部分３１５−１，３１５−２ａ，３１５−２ｂ，３１５−３，および３１５−４に分割される。視覚化された画像８１５の視覚化された中間部分３１５−２ａおよび３１５−２ｂは、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された中間部分３１０−２ａおよび３１０−２ｂはそれらの間に歪み部分３１０−４を有するものとして示されており、一方、図３Ｂに示される画像３００の中間部分３１０は連続的である。視覚化された画像８１５の視覚化された中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された画像８１５の視覚化された中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。視覚化された画像８１５の視覚化された中間部分３１０−１、３１０−３および３１０−５は、合成された画像８０５および８１０を用いてＨＭＤを通して見られたときの画像３００の中間部分３１０の三重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の遠方部分３０５で合焦されている。

図９Ａおよび図９Ｂは、少なくとも１つの例示的な実施形態による合成された画像の図を示す図である。図９Ａは、カメラ３２０−１および３２０−２によってキャプチャされた画像３００を合成することに基づく合成された画像９０５を示す。合成された画像９０５は、画像３００の中間部分３１０に基づいた焦点深度で合成されて示されている。言い換えれば、合成された画像９０５は、２つの異なる視野からの画像３００の組み合わせである。図９Ａに示すように、合成された画像９０５の中間部分３１０は、図３Ｂに示される画像３００の中間部分３１０と実質的に同様である。言い換えれば、図９Ａにおいては、合成された画像９０５の中間部分３１０は、近方部分３１５の後ろおよび遠方部分３０５の前に示されている。合成された画像９０５の中間部分３１０も、図３Ｂに示すような形状（例えば、格子陰影付きの矩形）およびサイズである。しかしながら、図９Ａにおいては、合成された画像９０５の中間部分３１０は、図３Ｂに示される画像３００の中間部分３１０と比較して左にシフトされて示されている。代替的に、近方部分３１５および遠方部分３０５は、右にシフトされて示されている。さらに、図９Ａに示すように、近方部分３１５および遠方部分３０５は、図３Ｂに示す画像３００の近方部分３１５および画像３００の遠方部分３０５と比較して歪んでいるように示されている。

図９Ａに示すように、近方部分３１５および遠方部分３０５は、二重視部分として示されている。例えば、近方部分３１５は、３つの近方部分３１５−１，３１５−２，３１５−３に分割される。合成された画像９０５の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている（例えば、歪んでいない）。しかしながら、合成された画像９０５の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。合成された画像９０５の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像９０５の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の中間部分３１０と同様の画像３００の中間部分３１０の幅を通り越して画像３００の近方部分３１５の幅を延ばすものとして示されている。合成された画像９０５の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、右にシフトされるように示されている。

例えば、遠方部分３０５は、２つの遠方部分３０５−１および３０５−２に分割される。図９Ａに示される遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状（例えば星）およびより明るい陰影を有するものとして示されている。合成された画像９０５の遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の近方部分３１５と比較して、右にシフトされるように示されている。

図９Ｂは、カメラ３２０−２および３２０−３によってキャプチャされた画像３００を合成することに基づく合成された画像９１０を示す。合成された画像９１０は、画像３００の中間部分３１０に基づいた焦点深度で合成されて示されている。言い換えれば、合成された画像９１０は、２つの異なる視野からの画像３００の組み合わせである。図９Ｂに示すように、合成された画像９１０の中間部分３１０は、図３Ｂに示される画像３００の中間部分３１０と実質的に同様である。言い換えれば、図９Ｂにおいては、合成された画像９１０の中間部分３１０は、近方部分３１５の後ろおよび遠方部分３０５の前に示されている。合成された画像９１０の遠方部分３０５も、図３Ｂに示すような形状（例えば、格子陰影付きの矩形）およびサイズである。しかしながら、図９Ｂにおいては、合成された画像９１０の中間部分３１０は、図３Ｂに示される画像３００の中間部分３１０と比較して右にシフトされて示されている。代替的に、近方部分３１５および遠方部分３０５は、左にシフトされて示されている。さらに、図９Ｂに示すように、近方部分３１５および遠方部分３０５は、図３Ｂに示す画像３００の近方部分３１５および画像３００の遠方部分３０５と比較して歪んでいるように示されている。

図９Ｂに示すように、近方部分３１５および遠方部分３０５は、二重視部分として示されている。例えば、近方部分３１５は、３つの近方部分３１５−１，３１５−２，３１５−３に分割される。合成された画像９１０の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている（例えば、歪んでいない）。しかしながら、合成された画像９１０の近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。合成された画像９１０の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像９１０の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の中間部分３１０と同様の画像３００の中間部分３１０の幅を通り越して画像３００の近方部分３１５の幅を延ばすものとして示されている。合成された画像９１０の近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、左にシフトされるように示されている。

例えば、遠方部分３０５は、２つの遠方部分３０５−１および３０５−２に分割される。図９Ｂに示される遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状（例えば星）およびより明るい陰影を有するものとして示されている。合成された画像９１０の遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の近方部分３１５と比較して、左にシフトされるように示されている。

合成された画像（例えば合成された画像９０５および／または合成された画像９１０）を生成するために、プロセッサ（例えば命令のセットを実行するプロセッサ２１０）によって、第１の画像（例えば、カメラ３２０−１によってキャプチャされたもの）を、第１の画像と同時（または実質的に同時）にキャプチャされた第２の画像（例えば、カメラ３２０−２によってキャプチャされたもの）に関して、合成された画像の一部（例えば中間部分３１０）が鮮鋭になる（例えば、第１の画像の部分が第２の画像の部分と実質的に重なる）まで、シフトすることができる。例示的な実現例では、第１の画像は、２つのカメラ間の距離および角度（例えば、Ｃ、図２Ａ参照）に基づいて、ある数の画素分だけシフトされる。これに代えて、またはそれに加えて、プロセッサは、（例えば、カメラ３２０−１によってキャプチャされた）第１の画像内の画像の一部（例えば、中間部分３１０）の位置を、第１の画像と同じ（または実質的に同じ）時間にキャプチャされた（例えば、カメラ３２０−２によってキャプチャされた）第２の画像内の画像の同じ部分（例えば、遠方部分３０５）の位置と一致させることができる。次いで、一致させた位置に基づいて、第１の画像をシフトすることができる。

次いで、第１の画像と第２の画像とを、シフトに基づいて互いに合成（例えばオーバレイ）することができる。さらに、後処理が行われてもよい。例えば、画像の合成された部分が、第１の画像および／または第２の画像における画像の部分と実質的に同じカラーパレットを有するように、カラーマージまたは調整を実行することができる。例えば、カラー（または画素データ値）オフセットを判断し、合成された画像にわたって適用してもよい。

図９Ｃは、少なくとも１つの例示的な実施形態によるＨＭＤのディスプレイ上に表示され（および見られ）たときの視覚化された画像９１５を示す。例えば、合成された画像９０５および合成された画像９１０を、それぞれ、図１Ｂに示すＨＭＤ１５０のディスプレイ１０５−Ｌおよびディスプレイ１０５−Ｒに表示することができる。視覚化された画像９１５は、人間の視覚系によって、完全両眼オーバーラップ視野１３２０および／または両眼オーバーラッピング視野の高解像度領域１３２５（図１３Ａ参照）で視覚化されるように知覚される画像であり得る。換言すれば、図９Ｃは、合成された画像９０５および９１０を使用してＨＭＤを通してレンダリングされ見られる際に画像３００によって表されるシーンの視覚化を示す。さらに、合成された画像９０５および９１０を使用することによって、知覚された３Ｄ画像は、キャプチャされた２Ｄ画像から３Ｄ画像を補間することなくレンダリングされる。

図９Ｃに示すように、視覚化された画像９１５の中間部分３１０は、図３Ｂに示される画像３００の中間部分３１０と実質的に同様である。言い換えれば、図９Ｃにおいては、視覚化された画像９１５の中間部分３１０は、近方部分３１５の後ろおよび遠方部分３０５の前に示されている。視覚化された画像９１５の中間部分３１０も、図３Ｂに示すような形状（例えば、格子陰影付きの矩形）およびサイズである。しかしながら、図９Ｃに示すように、視覚化された画像９１５の近方部分３１５および視覚化された画像９１５の遠方部分３０５は、図３Ｂに示す画像３００の近方部分３１５および画像３００の遠方部分３０５と比較して歪んでいるように示されている。これは、人間の視覚系が１つの焦点深度でしかはっきりと見ることができないためである。

図９Ｃに示すように、視覚化された画像９１５の近方部分３１５および視覚化された画像９１５の遠方部分３０５は、三重視部分として示されている。例えば、視覚化された画像９１５の近方部分３１５は、５つの視覚化された近方部分３１５−１，３１５−２，３１５−３，３１５−４および３１５−５に分割される。視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された近方部分３１５−２は、図３Ｂに示される画像３００の近方部分３１５よりも狭いものとして示されている。視覚化された近方部分３１５−１および３１５−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された近方部分３１５−４および３１５−５は、視覚化された近方部分３１５−１および３１５−３と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された近方部分３１５−１，３１５−３，３１５−４および３１５−５は、図３Ｂに示される画像３００の中間部分３１０と同様の視覚化された画像９１５の中間部分３１０の幅を通り越して視覚化された画像９１５の近方部分３１５−２の幅を延ばすものとして示されている。視覚化された近方部分３１５−１，３１５−３，３１５−４および３１５−５は、合成された画像９０５および９１０を用いてＨＭＤを通して見られたときの画像３００の近方部分３１５の三重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の遠方部分３０５で合焦されている。

例えば、視覚化された画像９１５の遠方部分３０５は、３つの視覚化された遠方部分３０５−１，３０５−２および３０５−３に分割される。視覚化された画像９１５の視覚化された遠方部分３０５−２は、図３Ｂに示された画像３００の遠方部分３０５と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された画像９１５の視覚化された遠方部分３０５−１および３０５−３は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された画像９１５の視覚化された遠方部分３０５−１および３０５−３は、合成された画像９０５および９１０を用いてＨＭＤを通して見られたときの画像３００の遠方部分３０５の三重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の遠方部分３０５で合焦されている。

図１０Ａおよび図１０Ｂは、少なくとも１つの例示的な実施形態による合成された画像の図を示す。図１０Ａは、カメラ３２０−１および３２０−２によってキャプチャされた画像３００を合成することに基づく合成された画像１００５を示す。合成された画像１００５は、画像３００の近方部分３１５に基づいた焦点深度で合成されて示されている。言い換えれば、合成された画像１００５は、２つの異なる視野からの画像３００の組み合わせである。図１０Ａに示すように、合成された画像１００５の近方部分３１５は、図３Ｂに示される画像３００の近方部分３１５と実質的に同様である。言い換えれば、図１０Ａにおいては、合成された画像１００５の中間部分３１５は、中間部分３１０の前および遠方部分３０５の前にあるように示されている。合成された画像１００５の近方部分３１５も、図３Ｂに示すような形状（例えば、点描陰影付きの矩形）およびサイズである。しかしながら、図１０Ａにおいては、合成された画像１００５の近方部分３１５は、図３Ｂに示される画像３００の近方部分３１５と比較して右にシフトされて示されている。代替的に、中間部分３１０および遠方部分３０５は、左にシフトされて示されている。さらに、図１０Ａに示すように、中間部分３１０および遠方部分３０５は、図３Ｂに示す画像３００の中間部分３１０および画像３００の遠方部分３０５と比較して歪んでいるように示されている。

図１０Ａに示すように、中間部分３１０および遠方部分３０５は、二重視部分として示されている。例えば、中間部分３１０は、３つの中間部分３１０−１，３１０−２および３１０−３に分割される。合成された画像１００５の中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、合成された画像１００５の中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。合成された画像１００５の中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像１００５の中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。合成された画像１００５の中間部分３１０−１，３１０−２，３１０−３は、左側にシフトして示されている。

例えば、遠方部分３０５は、２つの遠方部分３０５−１および３０５−２に分割される。図１０Ａに示される遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状（例えば星）およびより明るい陰影を有するものとして示されている。合成された画像１００５の遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の近方部分３１５と比較して、左にシフトされるように示されている。

図１０Ｂは、カメラ３２０−２および３２０−３によってキャプチャされた画像３００を合成することに基づく合成された画像１０１０を示す。合成された画像１０１０は、画像３００の近方部分３１５に基づいた焦点深度で合成されて示されている。言い換えれば、合成された画像１０１０は、２つの異なる視野からの画像３００の組み合わせである。図１０Ｂに示すように、合成された画像１０１０の近方部分３１５は、図３Ｂに示される画像３００の近方部分３１５と実質的に同様である。言い換えれば、図１０Ｂにおいては、合成された画像１０１０の近方部分３１５は、中間部分３１０の前および遠方部分３０５の前にあるように示されている。合成された画像１０１０の近方部分３１５も、図３Ｂに示すような形状（例えば、点描陰影付きの矩形）およびサイズである。しかしながら、図１０Ｂにおいては、合成された画像１０１０の近方部分３１５は、図３Ｂに示される画像３００の近方部分３１５と比較して左にシフトされて示されている。代替的に、中間部分３１０および遠方部分３０５は、右にシフトされて示されている。さらに、図１０Ｂに示すように、中間部分３１０および遠方部分３０５は、図３Ｂに示す画像３００の中間部分３１０および画像３００の遠方部分３０５と比較して歪んでいるように示されている。

図１０Ｂに示すように、中間部分３１０および遠方部分３０５は、二重視部分として示されている。例えば、中間部分３１０は、３つの中間部分３１０−１，３１０−２および３１０−３に分割される。合成された画像１０１０の中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、合成された画像１０１０の中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。合成された画像１０１０の中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の中間部分３１０と比較して、同じ形状およびより明るい陰影を有するものとして示されている。合成された画像１０１０の中間部分３１０−１および３１０−３は、画像３００の中間部分３１０の幅が図３Ｂに示される画像３００の中間部分３１０よりも広いように、画像３００の中間部分３１０の幅を拡張するものとして示されている。合成された画像１００５の中間部分３１０−１，３１０−２，３１０−３は、右側にシフトして示されている。

例えば、遠方部分３０５は、２つの遠方部分３０５−１および３０５−２に分割される。図１０Ｂに示される遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状（例えば星）およびより明るい陰影を有するものとして示されている。合成された画像１０１０の遠方部分３０５−１および３０５−２は、図３Ｂに示される画像３００の近方部分３１５と比較して、右にシフトされるように示されている。

合成された画像（例えば合成された画像１００５および／または合成された画像１０１０）を生成するために、プロセッサ（例えば命令のセットを実行するプロセッサ２１０）によって、第１の画像（例えば、カメラ３２０−１によってキャプチャされたもの）を、第１の画像と同時（または実質的に同時）にキャプチャされた第２の画像（例えば、カメラ３２０−２によってキャプチャされたもの）に関して、合成された画像の一部（例えば近方部分３１５）が鮮鋭になる（例えば、第１の画像の部分が第２の画像の部分と実質的に重なる）まで、シフトすることができる。例示的な実現例では、第１の画像は、２つのカメラ間の距離および角度（例えば、Ｃ、図２Ａ参照）に基づいて、ある数の画素分だけシフトされる。これに代えて、またはそれに加えて、プロセッサは、（例えば、カメラ３２０−１によってキャプチャされた）第１の画像内の画像の一部（例えば、近方部分３１５）の位置を、第１の画像と同じ（または実質的に同じ）時間にキャプチャされた（例えば、カメラ３２０−２によってキャプチャされた）第２の画像内の画像の同じ部分（例えば、近方部分３１５）の位置と一致させることができる。次いで、一致させた位置に基づいて、第１の画像をシフトすることができる。

次いで、第１の画像と第２の画像とを、シフトに基づいて互いに合成（例えばオーバレイ）することができる。さらに、後処理が行われてもよい。例えば、画像の合成された部分が、第１の画像および／または第２の画像における画像の部分と実質的に同じカラーパレットを有するように、カラーマージまたは調整を実行することができる。例えば、カラー（または画素データ値）オフセットを判断し、合成された画像にわたって適用してもよい。

図１０Ｃは、少なくとも１つの例示的な実施形態によるＨＭＤのディスプレイ上に表示され（および見られ）たときの視覚化された画像１０１５を示す。例えば、合成された画像１００５および合成された画像１０１０を、それぞれ、図１Ｂに示すＨＭＤ１５０のディスプレイ１０５−Ｌおよびディスプレイ１０５−Ｒに表示することができる。視覚化された画像１０１５は、人間の視覚系によって、完全両眼オーバーラップ視野１３２０および／または両眼オーバーラッピング視野の高解像度領域１３２５（図１３Ａ参照）で視覚化されるように知覚される画像であり得る。換言すれば、図１０Ｃは、合成された画像１００５および１０１０を使用してＨＭＤを通してレンダリングされ見られる際に画像３００によって表されるシーンの視覚化を示す。さらに、合成された画像１００５および１０１０を使用することによって、知覚された３Ｄ画像は、キャプチャされた２Ｄ画像から３Ｄ画像を補間することなくレンダリングされる。

図１０Ｃに示すように、視覚化された画像１０１５の中間部分３１０は、図３Ｂに示される画像３００の近方部分３１５と実質的に同様である。言い換えれば、図１０Ｃにおいては、視覚化された画像１０１５の近方部分３１５は、中間部分３１０の前および遠方部分３０５の前にあるように示されている。視覚化された画像１０１５の近方部分３１５も、図３Ｂに示すような形状（例えば、点描陰影付きの矩形）およびサイズである。しかしながら、図１０Ｃに示すように、視覚化された画像１０１５の中間部分３１０および視覚化された画像９１５の遠方部分３０５は、図３Ｂに示す画像３００の近方部分３１５および画像３００の遠方部分３０５と比較して歪んでいるように示されている。これは、人間の視覚系が１つの焦点深度でしかはっきりと見ることができないためである。

図１０Ｃに示すように、視覚化された画像１０１５の中間部分３１０および視覚化された画像１０１５の遠方部分３０５は、三重視部分として示されている。例えば、視覚化された画像１０１５の中間部分３１０は、５つの視覚化された中間部分３１５−１，３１５−２，３１５−３，３１５−４，および３１５−５に分割される。視覚化された中間部分３１０−２は、図３Ｂに示された画像３００の中間部分３１０と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された中間部分３１０−２は、図３Ｂに示される画像３００の中間部分３１０よりも狭いものとして示されている。視覚化された中間部分３１０−１および３１０−３は、図３Ｂに示される画像３００の近方部分３１５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された中間部分３１０−４および３１０−５は、視覚化された中間部分３１０−１および３１０−３と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された中間部分３１０−１，３１０−３，３１０−４および３１０−５は、図３Ｂに示される画像３００の中間部分３１０と同様の視覚化された画像９１５の中間部分３１０の幅を通り越して視覚化された画像９１５の中間部分３１０−２の幅を延ばすものとして示されている。視覚化された中間部分３１０−１，３１０−３，３１０−４および３１０−５は、合成された画像１００５および１０１０を用いてＨＭＤを通して見られたときの画像３００の近方部分３１５の三重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の近方部分３１５で合焦されている。

例えば、視覚化された画像１０１５の遠方部分３０５は、３つの視覚化された遠方部分３０５−１，３０５−２および３０５−３に分割される。視覚化された画像１０１５の視覚化された遠方部分３０５−２は、図３Ｂに示された画像３００の遠方部分３０５と同じ形状および陰影を有するものとして示されている。しかしながら、視覚化された画像１０１５の視覚化された遠方部分３０５−１および３０５−３は、図３Ｂに示される画像３００の遠方部分３０５と比較して、同じ形状およびより明るい陰影を有するものとして示されている。視覚化された画像９１５の視覚化された遠方部分３０５−１および３０５−３は、合成された画像１００５および１０１０を用いてＨＭＤを通して見られたときの画像３００の遠方部分３０５の三重視部分を表すことができ、目（例えば、目２０５−１，２０５−２または３２５−１，３２５−２）は、画像３００の近方部分３１５で合焦されている。

図１１Ａおよび図１１Ｂは、少なくとも１つの例示的な実施形態による遠い視深度での視覚化された画像の並べての比較の図を示す。図１１Ａに示す視覚化された画像３００は、図７Ａに示されている同じ視覚化された画像３００である。したがって、図１１Ａに示す視覚化された画像３００は、上記において図７Ａに関して記載されている。図１１Ｂに示す視覚化された画像８１５は、図８Ｃに示されている同じ視覚化された画像８１５である。したがって、図１１Ｂに示す視覚化された画像８１５は、上記において図８Ｃに関して記載されている。図１１Ａに示す視覚化された画像３００は、図３Ｂに示す画像３００に対応するシーンを見るときに人間の視覚系が実際に見るであろうものに対応することができる。図１１Ｂに示す視覚化された画像８１５は、例示的な実施形態による、合成された画像８０５および８１０を使用してＨＭＤ上にレンダリングされる、図３Ｂに示す画像３００に対応する３Ｄ画像を見るときに、人間の視覚系が実際に見るであろうものに対応することができる。

図１１Ａに示す視覚化された画像３００を図１１Ｂの視覚化された画像８１５と比較すると、視覚化された画像の焦点深度における部分は実質的に同じである。換言すれば、図１１Ａに示す画像３００の遠方部分３０５は、図１１Ｂに示される画像８１５の遠方部分３０５と実質的に同じである。図１１Ａに示す画像３００の中間部分３１０および近方部分３１５は、図１１Ｂに示される画像８１５の中間部分３１０および近方部分３１５とは異なる。例えば、図１１Ａに示す画像３００の中間部分３１０および近方部分３１５は二重にされ、図１１Ｂに示す画像８１５の中間部分３１０および近方部分３１５は三重にされる。図１１Ａに示される視覚化された画像３００と図１１Ｂに示すレンダリングされた視覚化された画像８１５との間の相違は許容可能であり、なぜならば、人間の視覚系は１つの焦点深度でしかはっきりと見ることができないためである。

図１１Ｃおよび図１１Ｄは、少なくとも１つの例示的な実施形態による中間の視深度での視覚化された画像の並べての比較の図を示す。図１１Ｃに示す視覚化された画像３００は、図７Ｂに示されている同じ視覚化された画像３００である。したがって、図１１Ｃに示す視覚化された画像３００は、上記において図７Ｂに関して記載されている。図１１Ｄに示す視覚化された画像９１５は、図９Ｃに示されている同じ視覚化された画像９１５である。したがって、図１１Ｄに示す視覚化された画像９１５は、上記において図９Ｃに関して記載されている。図１１Ｃに示す視覚化された画像３００は、図３Ｂに示す画像３００に対応するシーンを見るときに人間の視覚系が実際に見るであろうものに対応することができる。図１１Ｄに示す視覚化された画像９１５は、例示的な実施形態による、合成された画像９０５および９１０を使用してＨＭＤ上にレンダリングされる、図３Ｂに示す画像３００に対応する３Ｄ画像を見るときに、人間の視覚系が実際に見るであろうものに対応することができる。

図１１Ｃに示す視覚化された画像３００を図１１Ｄの視覚化された画像９１５と比較すると、視覚化された画像の焦点深度における部分は実質的に同じである。換言すれば、図１１Ｃに示す画像３００の中間部分３１０は、図１１Ｄに示される画像９１５の中間部分３１０と実質的に同じである。図１１Ｃに示す画像３００の遠方部分３０５および近方部分３１５は、図１１Ｄに示される画像９１５の遠方部分３０５および近方部分３１５とは異なる。例えば、図１１Ｃに示す画像３００の遠方部分３０５および近方部分３１５は二重にされ、図１１Ｄに示す画像９１５の遠方部分３０５および近方部分３１５は三重にされる。図１１Ｃに示される視覚化された画像３００と図１１Ｄに示すレンダリングされた視覚化された画像９１５との間の相違は許容可能であり、なぜならば、人間の視覚系は１つの焦点深度でしかはっきりと見ることができないためである。

図１１Ｅおよび図１１Ｆは、少なくとも１つの例示的な実施形態による近い視深度での視覚化された画像の並べての比較の図を示す。図１１Ｅに示す視覚化された画像３００は、図７Ｃに示されている同じ視覚化された画像３００である。したがって、図１１Ｅに示す視覚化された画像３００は、上記において図７Ｃに関して記載されている。図１１Ｆに示す視覚化された画像１０１５は、図１０Ｃに示されている同じ視覚化された画像１０１５である。したがって、図１１Ｆに示す視覚化された画像１０１５は、上記において図１０Ｃに関して記載されている。図１１Ｅに示す視覚化された画像３００は、図３Ｂに示す画像３００に対応するシーンを見るときに人間の視覚系が実際に見るであろうものに対応することができる。図１１Ｆに示す視覚化された画像１０１５は、例示的な実施形態による、合成された画像１００５および１０１０を使用してＨＭＤ上にレンダリングされる、図３Ｂに示す画像３００に対応する３Ｄ画像を見るときに、人間の視覚系が実際に見るであろうものに対応することができる。

図１１Ｅに示す視覚化された画像３００を図１１Ｆの視覚化された画像１０１５と比較すると、視覚化された画像の焦点深度における部分は実質的に同じである。換言すれば、図１１Ｅに示す画像３００の近方部分３１５は、図１１Ｆに示される画像１０１５の近方部分３１５と実質的に同じである。図１１Ｅに示す画像３００の遠方部分３０５および中間部分３１０は、図１１Ｆに示される画像１０１５の遠方部分３０５および中間部分３１０とは異なる。例えば、図１１Ｅに示す画像３００の遠方部分３０５および中間部分３１０は二重にされ、図１１Ｆに示す画像１０１５の遠方部分３０５および中間部分３１０は三重にされる。図１１Ｅに示される視覚化された画像３００と図１１Ｆに示すレンダリングされた視覚化された画像１０１５との間の相違は許容可能であり、なぜならば、人間の視覚系は１つの焦点深度でしかはっきりと見ることができないためである。

図１２Ａは、少なくとも１つの例示的な実施形態によるヘッドマウントディスプレイ（ＨＭＤ）のブロック図を示す。図１２Ａに示すように、ＨＭＤ１２００は、ディスプレイ１２０５と、ディスプレイの第１の部分１２１０と、ディスプレイの第２の部分１２１５とを含む。ディスプレイの第１の部分１２１０は、目が焦点を合わせられるディスプレイ１２０５の一部またはＨＭＤ１２００のユーザの視野であってもよい。ディスプレイの第２の部分１２１５は、ディスプレイ１２０５の目の焦点の周辺の部分またはＨＭＤ１２００のユーザの周辺景であり得る。

例示的な実施形態によれば、２Ｄ画像および／またはビデオの２Ｄフレームを、３Ｄ画像および／または３Ｄビデオをレンダリングするために眼球追跡センサを使用して目の視野および視深度を追跡することに基づいて、ＨＭＤの各ディスプレイ上に表示するために選択し得る。結果として、ＨＭＤのユーザは、キャプチャされた２Ｄ画像から３Ｄ画像を補間することなく３Ｄ体験を有する。

図１２Ｂは、少なくとも１つの例示的な実施形態によるヘッドマウントディスプレイ（ＨＭＤ）のブロック図を示す。図１２Ｂに示すように、ＨＭＤ１２５０は、第１のディスプレイ１２０５−Ｌと、第２のディスプレイ１２０５−Ｒと、第１の眼球追跡センサ１２２０−Ｌと、第２の眼球追跡センサ１２２０−Ｒとを含む。第１のディスプレイ１２０５−Ｌは、ディスプレイの第１の部分１２１０−Ｌとディスプレイの第２の部分１２１５−Ｌとを含み得る。ディスプレイの第１の部分１２１０−Ｌは、第１のディスプレイ１２０５−Ｌの目が焦点を合わせられる部分またはＨＭＤ１２５０のユーザの視野であり得る。ディスプレイの第２の部分１２１５−Ｌは、第１のディスプレイ１２０５−Ｌの目の焦点の周辺の一部またはＨＭＤ１２５０のユーザの周辺景であり得る。第２のディスプレイ１２０５−Ｒは、ディスプレイの第１の部分１２１０−Ｒおよびディスプレイの第２の部分１２１５−Ｒを含み得る。ディスプレイの第１の部分１２１０−Ｒは、第２のディスプレイ１２０５−Ｒの目が焦点を合わせられる部分またはＨＭＤ１２５０のユーザの視野であり得る。ディスプレイの第２の部分１２１５−Ｒは、第２のディスプレイ１２０５−Ｒの目の焦点の周辺の一部またはＨＭＤ１２５０のユーザの周辺景であり得る。

第１のディスプレイ１２０５−Ｌの第１のディスプレイ部分１２１０−Ｌおよび第２のディスプレイ１２０５−Ｒの第１のディスプレイ部分１２１０−Ｒは、両眼オーバーラップの高解像度領域に関連付けられる視野内に画像および／またはビデオデータを表示するように構成することができる（以下により詳細に後述する）。第１のディスプレイ１２０５−Ｌの第２のディスプレイ部分１２１５−Ｌおよび第２のディスプレイ１２０５−Ｒの第２のディスプレイ部分１２１５−Ｒは、より低い解像度を含む両眼オーバーラップのさらなる領域を含む、両眼オーバーラップの高解像度領域の外部または周辺の視野に、画像および／またはビデオを表示するように構成することができる。第１のディスプレイ１２０５−Ｌは、左目に関連付けることができ、左目用画像を３Ｄ画像またはビデオで表示するように構成することができる。第２のディスプレイ１２０５−Ｒは、右目に関連付けることができ、右目用画像を３Ｄ画像またはビデオで表示するように構成することができる。別の実施形態では、第１のディスプレイ１２０５−Ｌおよび第２のディスプレイ１２０５−Ｒは、左右の画像を含む２つの部分に分割された画像を示すことができる１つの一体型ディスプレイパネルから形成される。

第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒは、対応する目の位置を追跡するように構成することができる。第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒは、カメラ、赤外線センサ、それらの組み合わせなどであってもよい。例示的実施例では、第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒは、低出力の赤外光をユーザの目に投射するように構成することができる。次いで、反射された赤外光を検出することができ、反射された赤外光の測定（例えば、プルキンエ像として）を用いて、目の位置を判断することができる。別の例示的実現例では、注視の方向を、環境光条件下で瞳孔の位置を目の残りの部分に対して突きとめることによって判断することができる。第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒは、ＨＭＤ上の点に対するユーザの注視の絶対方向および／または各眼球運動時の瞳孔の角変位を測定することができる。

例示的な実現例では、第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒを使用して、注視の方向（本開示では視点（view perspective）とも呼ばれる）およびＨＭＤのユーザの注視の深度を判断することができる。注視の方向および注視の深度を用いて、第１のディスプレイ１２０５−Ｌおよび第２のディスプレイ１２０５−Ｒの各々に表示されるべき画像を判断することができる。

図１３Ａは、水平視野の上面図からの概略図を示す。図１３Ａに示すように、瞳孔１３３０−１，１３３０−２を含む目１３０５−１，１３０５−２（例えば、人間の目）は、左視野１３１０および右視野１３１５を視覚的に知覚することができる。左視野１３１０および右視野１３１５内で、目１３０５−１，１３０５−２は、１２０度と同じ大きさであってもよい完全両眼オーバーラップ視野１３２０を視覚的に知覚することができる。完全両眼オーバーラップのサブ領域は、両眼オーバーラップ視野の高解像度領域１３２５と呼ぶことができる。図１３Ｂに示すように（および本記載を通じて）、以下において正中矢状前額面である垂直面が、頭部を目の間で二分し、以下において垂直前額面である垂直面が、目１３０５−１，１３０５−２を二等分する位置において、正中矢状面に直交して頭部と交差する。図１３Ｃは、目１３０５−１，１３０５−２に対して左右方向（水平方向）に延び、かつ目を二等分する水平面を示している。図１３Ｃにおけるこの平面は、水平前額面と呼んでもよい。図１３Ｂおよび図１３Ｃに定義された３つの平面は、左目の中心から右目の中心まで延びる線分の中点で交差することができる。

中心窩は、最高解像度を知覚する各目１３０５−１，１３０５−２の網膜の中央部分である。注視の方向（正中矢状面に平行なベクトルＧによって示される）は、中心窩の中心から瞳孔の中心を通るベクトルによって規定されてもよい。目１３０５−１および目１３０５−２のいずれも、注視の方向が完全な水平視野１３１０または１３１５を走査することを可能にするように十分には回転しない。したがって、目１３０５−１，１３０５−２の回転限界を超える像は、（このような像は網膜の他の部分によって見られるが）中心窩によって見ることはできない。

中心窩は小さい弧のみに対するが、目の回転はディスプレイが中心窩の解像度と一致すべき角度の範囲を広げることができることに注目すべきである。ユーザの目が動いて注視の方向が変化するとき、中心窩と一致する解像度が、快適な注視走査の範囲にわたって望ましい。快適な注視走査の範囲は、図１３ＡのベクトルＧに対して任意の方向に約１５度である。注視は、走査角度がベクトルＧから１５度を超えて増加するにつれて、漸進的に不快感を増しながら、より大きな角度にわたって走査し得る。

（図１３Ｃを参照しながら）ＨＭＤのある例示的実現例では、すべての水平角度（例えば、θのような水平前額面に沿った角度）を、（例えば、第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒを用いて、）矢状方向前額面（例えば、目の間に中心を配される頭部の対称性の面）に対して測定することができる。左視野１３１０の領域および右視野１３１５の領域は、片目ごとに１２０度程度であり得る部分的な両眼の重なりを有する供給された画像であり得る左目および右目の視野を表す（例えば、完全両眼オーバーラップ視野１３２０領域であり、人間の視覚系における重なりと一致する）。両眼オーバーラップ視野の高解像度領域１３２５は、左および右ディスプレイ（例えば、ディスプレイ１０５−Ｌおよびディスプレイ１０５−Ｒ）によって供給されることができる。

このように、目１３０５−１，１３０５−２は、両眼オーバーラップ視野の高解像度領域１３２５（およびある程度、完全両眼オーバーラップ視野１３２０領域）において左右の目の視野を表す左右のディスプレイに投影される（またはそれらによって表示される）画像を選択することに基づいて３Ｄ画像を視覚化することができる。言い換えれば、完全両眼オーバーラップ視野１３２０領域における表示のために画像を選択することは、人間の視覚系における重なりに合致することができ、その結果、人間の視覚系は、３Ｄ画像および／または３Ｄビデオを視覚化する。以下でより詳細に説明するように、注視の深度を用いて、人間の視覚系をより現実的に表現することができる。

ある例示的実現例によれば、各目に対するディスプレイ上に投影するための画像は、図１３Ｃに示される点Ａおよび角度θに関して示される注視の方向に基づくことができる。次いで、各画像は、図１３Ａに示される角度Ｃに基づく視界の深度によって修正され得る。例えば、点Ａ、角度θおよび角度Ｃは、第１の眼球追跡センサ１２２０−Ｌおよび第２の眼球追跡センサ１２２０−Ｒを使用して取得された測定値に基づいて判断することができる。点Ａ、角度θおよび／または角度Ｃは、上述した視野および／または視深度を判断するために使用することができる。例えば、角度Ｃは、視深度を示すことができ、角度θと組み合わされた点Ａは、視野を示すことができる。

図１４は、ここに記載される技術とともに用いられてもよいコンピュータデバイス１４００およびモバイルコンピュータデバイス１４５０の例を示す。コンピューティングデバイス１４００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータといった、様々な形態のデジタルコンピュータを表わすことを意図している。コンピューティングデバイス１４５０は、携帯情報端末、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスといった、様々な形態のモバイルデバイスを表わすことを意図している。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は例示であることが意図されているに過ぎず、本文書に記載のおよび／または請求項に記載の本発明の実現例を限定することを意図していない。

コンピューティングデバイス１４００は、プロセッサ１４０２、メモリ１４０４、記憶装置１４０６、メモリ１４０４および高速拡張ポート１４１０に接続している高速インターフェイス１４０８、ならびに低速バス１４１４および記憶装置１４０６に接続している低速インターフェイス１４１２を含む。コンポーネント１４０２，１４０４，１４０６，１４０８，１４１０および１４１２の各々は様々なバスを用いて相互に接続されており、共通のマザーボード上にまたは他の態様で適宜搭載され得る。プロセッサ１４０２は、コンピューティングデバイス１４００内で実行される命令を処理可能であり、この命令には、ＧＵＩのためのグラフィック情報を高速インターフェイス１４０８に結合されているディスプレイ１４１６などの外部入出力デバイス上に表示するためにメモリ１４０４内または記憶装置１４０６上に記憶されている命令が含まれる。他の実現例では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数種類のメモリとともに必要に応じて用いられ得る。また、複数のコンピューティングデバイス１４００が接続され得、各デバイスは（例えばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

メモリ１４０４は情報をコンピューティングデバイス１４００内に記憶する。一実現例では、メモリ１４０４は１つまたは複数の揮発性メモリユニットである。別の実現例では、メモリ１４０４は１つまたは複数の不揮発性メモリユニットである。また、メモリ１４０４は、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能媒体であってもよい。

記憶装置１４０６は、コンピューティングデバイス１４００に大容量記憶を提供可能である。一実現例では、記憶装置１４０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他のコンフィギュレーションにおけるデバイスを含む多数のデバイスといった、コンピュータ読取可能媒体であってもよく、または当該コンピュータ読取可能媒体を含んでいてもよい。コンピュータプログラムプロダクトが情報媒体内に有形に具体化され得る。また、コンピュータプログラムプロダクトは、実行されると上述のような１つ以上の方法を実行する命令を含み得る。情報媒体は、メモリ１４０４、記憶装置１４０６、またはプロセッサ１４０２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

高速コントローラ１４０８はコンピューティングデバイス１４００のための帯域幅集約的な動作を管理するのに対して、低速コントローラ１４１２はより低い帯域幅集約的な動作を管理する。そのような機能の割当ては例示に過ぎない。一実現例では、高速コントローラ１４０８はメモリ１４０４、ディスプレイ１４１６に（例えばグラフィックスプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受付け得る高速拡張ポート１４１０に結合される。当該実現例では、低速コントローラ１４１２は記憶装置１４０６および低速拡張ポート１４１４に結合される。様々な通信ポート（例えばＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータといったネットワーキングデバイスなどの１つ以上の入出力デバイスに、例えばネットワークアダプタを介して結合され得る。

コンピューティングデバイス１４００は、図に示すように多数の異なる形態で実現されてもよい。例えば、コンピューティングデバイス１４００は標準的なサーバ１４２０として、またはそのようなサーバのグループ内で複数回実現されてもよい。また、コンピューティングデバイス１４００はラックサーバシステム１４２４の一部として実現されてもよい。さらに、コンピューティングデバイス１４００はラップトップコンピュータ１４２２などのパーソナルコンピュータにおいて実現されてもよい。あるいは、コンピューティングデバイス１４００からのコンポーネントは、デバイス１４５０などのモバイルデバイス（図示せず）内の他のコンポーネントと組合されてもよい。そのようなデバイスの各々がコンピューティングデバイス１４００，１４５０の１つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス１４００，１４５０で構成されてもよい。

コンピューティングデバイス１４５０は、数あるコンポーネントの中でも特に、プロセッサ１４５２、メモリ１４６４、ディスプレイ１４５４などの入出力デバイス、通信インターフェイス１４６６、およびトランシーバ１４６８を含む。また、デバイス１４５０には、マイクロドライブまたは他のデバイスなどの記憶装置が提供されて付加的なストレージが提供されてもよい。コンポーネント１４５０，１４５２，１４６４，１４５４，１４６６および１４６８の各々は様々なバスを用いて相互に接続されており、当該コンポーネントのいくつかは共通のマザーボード上にまたは他の態様で適宜搭載され得る。

プロセッサ１４５２は、メモリ１４６４に記憶されている命令を含む、コンピューティングデバイス１４５０内の命令を実行可能である。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、例えば、ユーザインターフェイス、デバイス１４５０が実行するアプリケーション、およびデバイス１４５０による無線通信の制御といった、デバイス１４５０の他のコンポーネントの協調を提供し得る。

プロセッサ１４５２は、ディスプレイ１４５４に結合された制御インターフェイス１４５８およびディスプレイインターフェイス１４５６を介してユーザと通信し得る。ディスプレイ１４５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス１４５６は、ディスプレイ１４５４を駆動してグラフィックおよび他の情報をユーザに提示するための適切な回路を含み得る。制御インターフェイス１４５８はユーザからコマンドを受信し、当該コマンドをプロセッサ１４５２に提出するために変換し得る。さらに、外部インターフェイス１４６２が、デバイス１４５０と他のデバイスとの隣接通信を可能にするために、プロセッサ１４５２と通信した状態で提供されてもよい。外部インターフェイス１４６２は、例えば、ある実現例では有線通信を提供し、他の実現例では無線通信を提供してもよく、また、複数のインターフェイスが用いられてもよい。

メモリ１４６４は情報をコンピューティングデバイス１４５０内に記憶する。メモリ１４６４は、１つもしくは複数のコンピュータ読取可能媒体、１つもしくは複数の揮発性メモリユニット、または１つもしくは複数の不揮発性メモリユニットの１つ以上として実現され得る。さらに、拡張メモリ１４７４が提供され、例えばＳＩＭＭ（Single In Line Memory Module）カードインターフェイスを含み得る拡張インターフェイス１４７２を介してデバイス１４５０に接続されてもよい。このような拡張メモリ１４７４はデバイス１４５０に余分のストレージスペースを提供し得るか、またはデバイス１４５０のためのアプリケーションもしくは他の情報をさらに記憶し得る。具体的には、拡張メモリ１４７４は上述のプロセスを実行または補足するための命令を含み得、さらにセキュア情報を含み得る。ゆえに、例えば、拡張メモリ１４７４はデバイス１４５０のためのセキュリティモジュールとして提供されてもよく、デバイス１４５０のセキュアな使用を許可する命令でプログラムされてもよい。さらに、ハッキング不可能なようにＳＩＭＭカード上に識別情報を置くといったように、セキュアなアプリケーションが付加的な情報とともにＳＩＭＭカードを介して提供されてもよい。

メモリは、以下に記載のように、例えばフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実現例では、コンピュータプログラムプロダクトが情報媒体内に有形に具体化される。コンピュータプログラムプロダクトは、実行されると上述のような１つ以上の方法を実行する命令を含む。情報媒体は、メモリ１４６４、拡張メモリ１４７４、またはプロセッサ１４５２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体であり、これは、例えばトランシーバ１４６８または外部インターフェイス１４６２上で受信され得る。

デバイス１４５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス１４６６を介して無線通信し得る。通信インターフェイス１４６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳといった、様々なモードまたはプロトコル下の通信を提供し得る。そのような通信は、例えば無線周波数トランシーバ１４６８を介して起こり得る。さらに、ブルートゥース、Ｗｉ−Ｆｉ、または他のそのようなトランシーバ（図示せず）を用いるなどして、短距離通信が起こり得る。さらに、ＧＰＳ（全地球測位システム）レシーバモジュール１４７０が付加的なナビゲーション関連および位置関連の無線データをデバイス１４５０に提供し得、当該データはデバイス１４５０上で実行されるアプリケーションによって適宜用いられ得る。

また、デバイス１４５０は、ユーザから口頭情報を受信して当該情報を使用可能なデジタル情報に変換し得る音声コーデック１４６０を用いて可聴的に通信し得る。音声コーデック１４６０も同様に、例えばデバイス１４５０のハンドセット内で、スピーカを介すなどしてユーザに可聴音を生成し得る。そのような音は音声電話からの音を含んでいてもよく、録音された音（例えば音声メッセージ、音楽ファイル等）を含んでいてもよく、さらに、デバイス１４５０上で実行されるアプリケーションが生成する音を含んでいてもよい。

コンピューティングデバイス１４５０は、図に示すように多数の異なる形態で実現されてもよい。例えば、コンピューティングデバイス１４５０はセルラー電話１４８０として実現されてもよい。また、コンピューティングデバイス１４５０は、スマートフォン１４８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。

一般的な局面において、方法は、ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、ＨＭＤ上に表示されている３Ｄ画像に関連付けられる視深度の指示を受信することと、視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、視深度に基づいて第１の右目用画像と第２の右目用画像とを合成することと、視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、視深度に基づいて第１の左目用画像と第２の左目用画像とを合成することとを備える。

別の一般的な局面において、方法は、ヘッドマウントディスプレイ（ＨＭＤ）に３次元（３Ｄ）ビデオをストリーミングすることを含む。３Ｄビデオの各フレームは、左目用画像と右目用画像とを含む。方法は、さらに、後続フレームを生成することを含み、後続フレームを生成することは、３Ｄビデオに関連付けられる視野を判断することと、３Ｄビデオに関連付けられる視深度を判断することと、視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、第１の右目用画像と第２の右目用画像とを視深度に基づいて右目用画像として合成することと、視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、第１の左目用画像と第２の左目用画像とを視深度に基づいて左目用画像として合成することとを含む。

さらに別の一般的な局面において、コンピュータ実行可能なプログラムコードを記憶する非一時的なコンピュータ読取可能記憶媒体であって、前記プログラムコードは、コンピュータシステム上で実行されると、前記コンピュータシステムにステップを実行させる。それらのステップは、ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、ＨＭＤ上に表示されている３Ｄ画像に関連付けられる視深度の指示を受信することと、視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、視深度に基づいて第１の右目用画像と第２の右目用画像とを合成することと、視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、視深度に基づいて第１の左目用画像と第２の左目用画像とを合成することとを含む。

実施形態は、以下の特徴の１つ以上をそれらの１つ以上の組み合わせで含むことができる。例えば、第１の右目用画像および第２の右目用画像を選択することは、ＨＭＤのユーザの右目位置を判断することと、右目位置の右に位置する第１のカメラによって撮影された画像として第１の右目用画像を選択することと、右目位置の左に位置する第２のカメラによって撮影された画像として第２の右目用画像を選択することとを含み得る。

例えば、第１の左目用画像および第２の左目用画像を選択することは、ＨＭＤのユーザの左目位置を判断することと、左目位置の右に位置する第１のカメラによって撮影された画像として第１の左目用画像を選択することと、左目位置の左に位置する第２のカメラによって撮影された画像として第２の左目用画像を選択することとを含み得る。第１の右目用画像、第２の右目用画像、第１の左目用画像および第２の左目用画像は、実質的に同じ瞬間にキャプチャされた複数の画像から選択され得る。第１の右目用画像と第２の右目用画像とを合成することは、視深度に基づいて合成された画像の一部が鮮鋭になるまで、第１の右目用画像を第２の右目用画像に対してシフトさせることを含み得る。第１の右目用画像と第２の右目用画像とを合成することは、視深度に基づいて合成された画像の一部が鮮鋭になるまで、第１の右目用画像および第２の右目用画像の両方を視野の中心に向かってシフトさせることを含み得る。

例えば、第１の右目用画像と第２の右目用画像とを合成することは、合成された画像の一部が第１の右目用画像および第２の右目用画像の少なくとも１つの対応する部分と実質的に同じカラーパレットを有するようにカラーマージすることを含み得る。第１の右目用画像と第２の右目用画像とを合成することは、視野の中心からのカメラ距離に関連付けられる加重オフセットに基づくカラーオフセットを使用してカラーマージすることを含み得る。第１の左目用画像、第２の左目用画像、第１の左目用画像および第２の左目用画像は、実質的に同じ瞬間にキャプチャされた複数の画像から選択され得る。第１の左目用画像と第２の左目用画像とを合成することは、視深度に基づいて合成された画像の一部が鮮鋭になるまで、第１の左目用画像を第２の左目用画像に対してシフトさせることを含み得る。

例えば、第１の左目用画像と第２の左目用画像とを合成することは、視深度に基づいて合成された画像の一部が鮮鋭になるまで、第１の左目用画像および第２の左目用画像の両方を視野の中心に向かってシフトさせることを含み得る。第１の左目用画像と第２の左目用画像とを合成することは、合成された画像の一部が第１の左目用画像および第２の左目用画像の少なくとも１つの対応する部分と実質的に同じカラーパレットを有するように、合成された画像をカラーマージすることを含み得る。第１の左目用画像と第２の左目用画像とを合成することは、視野の中心からのカメラ距離に関連付けられる加重オフセットに基づくカラーオフセットを使用して、合成された画像をカラーマージすることを含み得る。

例えば、第１の右目用画像および第２の右目用画像を選択することは、ＨＭＤのユーザの右目位置を判断することと、右目位置の右に位置する第１のカメラによって撮影された画像として第１の右目用画像を選択することと、右目位置の左に位置する第２のカメラによって撮影された画像として第２の右目用画像を選択することとを含み得る。例えば、第１の左目用画像および第２の左目用画像を選択することは、ＨＭＤのユーザの左目位置を判断することと、左目位置の右に位置する第１のカメラによって撮影された画像として第１の左目用画像を選択することと、左目位置の左に位置する第２のカメラによって撮影された画像として第２の左目用画像を選択することとを含み得る。

本明細書に記載のシステムおよび技術の様々な実現例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現され得る。これらの様々な実現例は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実現例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信するように、かつこれらにデータおよび命令を送信するように結合されている。本明細書で説明されるシステムおよび技術の様々な実現例は、ソフトウェアおよびハードウェアの態様を組み合わせることができる回路、モジュール、ブロック、もしくはシステムとして実現され、および／または一般に本明細書で言及され得る。例えば、モジュールは、プロセッサ（例えば、シリコン基板、ＧａＡｓ基板などの上に形成されたプロセッサ）または他のプログラム可能なデータ処理装置上で実行する機能／動作／コンピュータプログラム命令を含むことができる。

上記の例示的な実施形態のうちのいくつかはフローチャートとして示される処理または方法として記載される。フローチャートは動作をシーケンシャルな処理として記載しているが、動作の多くは、並列、同時または一斉に行なわれ得る。さらに、動作の順序は再構成され得る。処理は、それらの動作が完成すると、終了し得るが、当該図に含まれていない付加的なステップを有し得る。これらの処理は、メソッド、ファンクション、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。

いくつかがフローチャートによって示されている上で論じた方法は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語またはその任意の組合せによって実現され得る。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードにおいて実現されると、必要なタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体のような機械読取可能媒体またはコンピュータ読取可能媒体に格納され得る。プロセッサは必要なタスクを実行し得る。

本願明細書において開示される特定の構造的および機能的な詳細は単に、例示的な実施形態を説明する目的のための代表的なものである。しかしながら、例示的な実施形態は、多くの代替的な形態で具現化され、本願明細書において記載される実施形態のみに限定されると解釈されるべきでない。

第１、第２などといった用語は、本願明細書において様々な要素を記載するために使用され得るが、これらの要素はこれらの用語によって限定されるべきでないということが理解されるであろう。これらの用語は単に、１つの要素を別の要素と区別するために使用されている。例えば、例示的な実施形態の範囲から逸脱することがなければ、第１の要素は、第２の要素と称することが可能であり、同様に、第２の要素を第１の要素と称することが可能である。本願明細書において使用されるように、「および／または」という用語は、関連付けられる列挙された項目の１つ以上のいずれかおよびすべての組合せを含む。

ある要素が別の要素に接続または結合されると称される場合、ある要素は直接的に他の要素に接続または結合され得るか、または、介在要素が存在し得るということが理解されるであろう。対照的に、ある要素が別の要素に直接的に接続または直接的に結合されると称される場合、介在要素は存在しない。要素同士の関係を説明するように用いられる他の単語は、類似の態様（例えば、「間に」と「直接的に間に」、「隣接」と「直接的に隣接」、など）で解釈されるべきである。

本願明細書において使用される用語は単に特定の実施形態を説明するためのものであり、例示的な実施形態に限定するようには意図されない。本願明細書において使用されるように、「ある（a, an）」および「その（the）」といった単数形は、文脈が別の態様を明白に示していなければ、複数形も含むように意図される。「備える（comprises, comprising）」および／または「含む（includes, including）」という用語は、本願明細書において使用される場合、言及された特徴、整数、ステップ、動作、要素および／またはコンポーネントの存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネントおよび／またはそのグループの存在または追加を排除しないということがさらに理解されるであろう。

さらに、いくつかの代替的な実現例では、言及された機能／動作が、図に示される順番とは異なって行われ得る。例えば、連続して示される２つの図は実際には、関連する機能／動作に依存して、同時に実行されてもよく、または、時には逆の順序で実行されてもよい。

別の態様で規定されていなければ、本願明細書において使用されるすべての用語（技術用語および科学用語を含む）は、例示的な実施形態が属する技術の当業者によって一般に理解されるのと同じ意味を有する。さらに、例えば、一般に用いられている辞書において規定されている用語のような用語は、関連技術の文脈にあるそれらの意味と一致する意味を有すると解釈されるべきであり、理想化または過度に形式的な意味で、本願明細書においてそのように明らかに規定されていなければ、解釈されないということが理解されるであろう。

ソフトウェアまたはアルゴリズム、および、コンピュータメモリ内でのデータビットに対する動作の記号的な表現に関して、上記の例示的な実施形態および対応する詳細な説明の部分が提示される。これらの記載および表現は、当業者が、他の当業者に自身の成果の実体を有効に伝えるものである。ここで使用される場合および一般的に使用される場合のアルゴリズムという用語は、所望の結果に至るステップの首尾一貫したシーケンスであると考えられる。ステップは、物理量の物理的な操作を必要とするものである。必ずではなく通常は、これらの量は、格納、転送、組み合わせ、比較、および別の態様で操作されることが可能である光学信号、電気信号、または磁気信号の形態を取る。これらの信号をビット、値、要素、記号、文字、項、または数字などと称することは、主に一般的な使用の理由により、時に簡便であると理解されている。

上記の例示的な実施形態において、プログラムモジュールまたは機能的処理として実現され得る（例えばフローチャートの形態での）行為および動作の記号的表現への参照は、特定のタスクを実行または特定の抽象データタイプを実現するとともに既存の構造要素において既存のハードウェアを使用して記述および／または実現され得るルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。そのような既存のハードウェアは、１つ以上の中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどを含み得る。

しかしながら、これらおよび同様の用語のすべては、適切な物理量に関連付けられるべきであり、単に、これらの量に適用された簡便なラベルであるということが念頭に置かれるべきである。特に別記しない限り、あるいは、議論から明白なように、表示の処理、コンピューティング、計算、または決定といった用語は、コンピュータシステムのレジスタおよびメモリ内で物理的な電子量として表わされるデータを操作し、コンピュータシステムメモリ、レジスタ、または、他のそのような情報記憶デバイス、送信デバイスもしくは表示デバイス内の物理量として同様に表わされる他のデータへ当該データを変換するコンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよび処理を意味する。

また、例示的な実施形態のソフトウェアによって実現される局面は典型的に、何らかの形態の一時的でないプログラム記憶媒体上でエンコードされるか、または、何らかのタイプの伝送媒体上で実現される。プログラム記憶媒体は、磁気的（例えばフロッピー（登録商標）ディスクまたはハードドライブ）であるか、または、光学的（例えば読み取り専用コンパクトディスクすなわちＣＤＲＯＭ）であり得、読み取り専用またはランダムアクセスであり得る。同様に、伝送媒体は、当該技術について公知であるツイストペア線、同軸ケーブル、光ファイバ、または、何らかの他の好適な伝送媒体であり得る。例示的な実施形態は、所与の実現例のこれらの局面によって限定されない。

最後に、添付の請求の範囲は、本願明細書において記載された特徴の特定の組合せを記載しているが、本開示の範囲は、請求される特定の組合せに限定されず、その代わりに、その特定の組合せが今回、添付の請求の範囲において具体的に列挙されているかどうかに関係なく本願明細書において開示される特徴または実施形態の任意の組合せを包含するよう拡張される。

Claims (17)

1. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の右目用画像と前記第２の右目用画像とを合成することは、画像の一部が一致した視深度で構成されるまで、前記第２の右目用画像に対して水平に前記第１の右目用画像をシフトさせることを含む、方法。
2. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の右目用画像と前記第２の右目用画像とを合成することは、前記視深度に基づいて合成された画像の一部の歪みがなくなるまで、前記第１の右目用画像および前記第２の右目用画像の両方を、前記視深度に基づいて、前記視野の中心に向かってシフトさせることを含む、方法。
3. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の右目用画像と前記第２の右目用画像とを合成することは、前記合成された画像の一部が前記第１の右目用画像および前記第２の右目用画像の少なくとも１つの対応する部分と実質的に同じカラーパレットを有するようにカラーマージすることを含む、方法。
4. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の右目用画像と前記第２の右目用画像とを合成することは、前記視野の中心からのカメラ距離に関連付けられる加重オフセットに基づくカラーオフセットを使用してカラーマージすることを含む、方法。
5. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の左目用画像と前記第２の左目用画像とを合成することは、前記視深度に基づいて合成された画像の一部がぼけなくなるまで、前記第１の左目用画像を前記第２の左目用画像に対してシフトさせることを含む、方法。
6. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の左目用画像と前記第２の左目用画像とを合成することは、合成された画像の一部の歪みがなくなるまで、前記第１の左目用画像および前記第２の左目用画像の両方を、前記視深度に基づいて、前記視野の中心に向かってシフトさせることを含む、方法。
7. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の左目用画像と前記第２の左目用画像とを合成することは、前記合成された画像の一部が前記第１の左目用画像および前記第２の左目用画像の少なくとも１つの対応する部分と実質的に同じカラーパレットを有するように、前記合成された画像をカラーマージすることを含む、方法。
8. ヘッドマウントディスプレイ（ＨＭＤ）上に表示されている３次元（３Ｄ）画像に関連付けられる視野の指示を受信することと、
   前記ＨＭＤに表示されている前記３Ｄ画像に関連付けられる視深度の指示を受信することと、
   前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
   前記視深度に基づいて前記第１の右目用画像と前記第２の右目用画像とを合成することと、
   前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
   前記視深度に基づいて前記第１の左目用画像と前記第２の左目用画像とを合成することとを備え、
   前記第１の左目用画像と前記第２の左目用画像とを合成することは、前記視野の中心からのカメラ距離に関連付けられる加重オフセットに基づくカラーオフセットを使用して、前記合成された画像をカラーマージすることを含む、方法。
9. 前記第１の右目用画像および前記第２の右目用画像を選択することは、
   前記ＨＭＤのユーザの右目位置を判断することと、
   前記右目位置の右に位置する第１のカメラによって撮影された画像として前記第１の右目用画像を選択することと、
   前記右目位置の左に位置する第２のカメラによって撮影された画像として前記第２の右目用画像を選択することとを含む、請求項１〜８のいずれかに記載の方法。
10. 前記第１の左目用画像および前記第２の左目用画像を選択することは、
    前記ＨＭＤのユーザの左目位置を判断することと、
    前記左目位置の右に位置する第１のカメラによって撮影された画像として前記第１の左目用画像を選択することと、
    前記左目位置の左に位置する第２のカメラによって撮影された画像として前記第２の左目用画像を選択することとを含む、請求項１〜９のいずれかに記載の方法。
11. 前記第１の右目用画像、前記第２の右目用画像、前記第１の左目用画像および前記第２の左目用画像は、実質的に同じ瞬間にキャプチャされた複数の画像から選択される、請求項１〜１０のいずれか１項に記載の方法。
12. ヘッドマウントディスプレイ（ＨＭＤ）に３次元（３Ｄ）ビデオをストリーミングすることを備え、前記３Ｄビデオの各フレームは左目用画像および右目用画像を含み、さらに、
    次のフレームを生成することを備え、前記次のフレームを生成することは、
    前記３Ｄビデオに関連付けられる視野を判断することと、
    前記３Ｄビデオに関連付けられる視深度を判断することと、
    前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
    前記第１の右目用画像と前記第２の右目用画像とを前記視深度に基づいて前記右目用画像として合成することと、
    前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
    前記第１の左目用画像と前記第２の左目用画像とを前記視深度に基づいて前記左目用画像として合成することとを含み、
    前記第１の右目用画像と前記第２の右目用画像とを合成することは、前記視深度に基づいて合成された画像の一部が一致した視深度で構成されるまで、前記第１の右目用画像を前記第２の右目用画像に対してシフトさせることを含み、
    前記第１の左目用画像と前記第２の左目用画像とを合成することは、前記視深度に基づいて合成された画像の一部が一致した視深度で構成されるまで、前記第１の左目用画像を前記第２の左目用画像に対してシフトさせることを含む、方法。
13. ヘッドマウントディスプレイ（ＨＭＤ）に３次元（３Ｄ）ビデオをストリーミングすることを備え、前記３Ｄビデオの各フレームは左目用画像および右目用画像を含み、さらに、
    次のフレームを生成することを備え、前記次のフレームを生成することは、
    前記３Ｄビデオに関連付けられる視野を判断することと、
    前記３Ｄビデオに関連付けられる視深度を判断することと、
    前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
    前記第１の右目用画像と前記第２の右目用画像とを前記視深度に基づいて前記右目用画像として合成することと、
    前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
    前記第１の左目用画像と前記第２の左目用画像とを前記視深度に基づいて前記左目用画像として合成することとを含み、
    前記第１の右目用画像と前記第２の右目用画像とを合成することは、前記視深度に基づいて、前記第１の右目用画像および前記第２の右目用画像の両方を前記視野の中心に向かって水平にシフトさせることを含み、
    前記第１の左目用画像と前記第２の左目用画像とを合成することは、前記視深度に基づいて、前記第１の左目用画像および前記第２の左目用画像の両方を前記視野の中心に向かってシフトさせることを含む、方法。
14. ヘッドマウントディスプレイ（ＨＭＤ）に３次元（３Ｄ）ビデオをストリーミングすることを備え、前記３Ｄビデオの各フレームは左目用画像および右目用画像を含み、さらに、
    次のフレームを生成することを備え、前記次のフレームを生成することは、
    前記３Ｄビデオに関連付けられる視野を判断することと、
    前記３Ｄビデオに関連付けられる視深度を判断することと、
    前記視野に基づいて第１の右目用画像および第２の右目用画像を選択することと、
    前記第１の右目用画像と前記第２の右目用画像とを前記視深度に基づいて前記右目用画像として合成することと、
    前記視野に基づいて第１の左目用画像および第２の左目用画像を選択することと、
    前記第１の左目用画像と前記第２の左目用画像とを前記視深度に基づいて前記左目用画像として合成することとを含み、
    前記第１の左目用画像と前記第２の左目用画像とを合成することは、前記合成された画像をカラーマージすることを含む、方法。
15. 前記第１の右目用画像および前記第２の右目用画像を選択することは、
    前記ＨＭＤのユーザの右目位置を判断することと、
    前記右目位置の右に位置する第１のカメラによって撮影された画像として前記第１の右目用画像を選択することと、
    前記右目位置の左に位置する第２のカメラによって撮影された画像として前記第２の右目用画像を選択することとを含み、
    前記第１の左目用画像および前記第２の左目用画像を選択することは、
    前記ＨＭＤのユーザの左目位置を判断することと、
    前記左目位置の右に位置する第１のカメラによって撮影された画像として前記第１の左目用画像を選択することと、
    前記左目位置の左に位置する第２のカメラによって撮影された画像として前記第２の左目用画像を選択することとを含む、請求項１２〜１４のいずれかに記載の方法。
16. 前記第１の右目用画像、前記第２の右目用画像、前記第１の左目用画像および前記第２の左目用画像は、実質的に同じ瞬間にキャプチャされた複数の画像から選択される、請求項１２〜１５のいずれかに記載の方法。
17. 請求項１〜１６のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。