JP7185331B2 - インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法 - Google Patents

Description

政府許認可権
本発明は、ＮＳＦによる認可を受けた登録番号１４２２６５３の下で政府の支援を受けて行われた。政府は、本発明において一定の権利を有する。

本発明は、ヘッドマウントディスプレイの分野に関し、より具体的には、排他的にではないが、インテグラルイメージング（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ：ＩｎＩ）に基づくヘッドマウントディスプレイに関する。

ニアアイディスプレイ（ｎｅａｒ－ｔｏ－ｅｙｅ ｄｉｓｐｌａｙ：ＮＥＤ）または頭部装着型ディスプレイ（ｈｅａｄ－ｗｏｒｎ ｄｉｓｐｌａｙ：ＨＷＤ）としても一般的に知られているヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＨＭＤ）は、近年、大きい関心を得ており、広範囲の消費者向けアプリケーションのための技術推進に対する多大な努力を刺激している。例えば、ユーザの物質世界の直接視野へのデジタル情報の光学重畳を可能にし、実世界へのシースルービジョンを維持する軽量の光学式シースルーＨＭＤ（ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ ＨＭＤ：ＯＳＴ－ＨＭＤ）は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）アプリケーションに対する技術を可能にする鍵の１つである。広視野（ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ：ＦＯＶ）、没入型ＨＭＤ（コンピュータが生成する仮想世界にユーザを没入させる）またはリモート操作による実世界の高解像度映像捕捉は、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：ＶＲ）アプリケーションに対する技術を可能にする鍵である。ＨＭＤは、ゲーム、シミュレーションおよび訓練、防衛、教育、並びに他の分野において無数のアプリケーションを見出している。

ＶＲディスプレイとＡＲディスプレイとの両方の開発に対する高い有望性および最近達成された多大な進歩にも関わらず、長時間のＨＭＤの着用に関わる視覚的不快感を最小限に抑えることは、依然として未解決の課題である。視覚的不快感に対する主要な寄与要因の１つは、適正な焦点手がかり（調節手がかりおよび網膜像ぶれ効果を含む）をレンダリングする能力の不足による適合的眼球離反運動の不一致（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ：ＶＡＣ）である。ＨＭＤのＶＡＣ問題は、画像源が眼から固定距離に位置する２Ｄ平坦表面であるという事実に由来する。図１は、典型的な単眼ＨＭＤの概略レイアウトを示し、主に、画像源としての２Ｄマイクロディスプレイと、マイクロディスプレイ上でレンダリングされた画像を拡大し、眼から固定距離に現れる虚像を形成する接眼レンズとを含む。ＯＳＴ－ＨＭＤは、仮想ディスプレイの光学通路と実際のシーンの光学通路とを組み合わせるために眼の前に配置される光コンバイナ（例えば、ビームスプリッタ）を必要とする。従来のＨＭＤは、単眼または両眼、シースルーまたは没入型に関わらず、虚像面に対応する距離以外の距離に現れる可能性があるデジタル情報に対する適正な焦点手がかりをレンダリングする能力が不足している。その結果、従来のＨＭＤでは、自然な眼の調節反応および網膜ぼやけ効果を刺激することができない。ＨＭＤにおいて適正な焦点手がかりが欠如する問題によって、いくつかの視覚手がかりの不一致が起こる。例えば、従来の立体ＨＭＤでは、２つのわずかに異なる視線位置から観察される、両眼視差および３Ｄシーンの他の絵画的奥行き手がかりを伴う二次元（ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ：２Ｄ）透視画像の対（それぞれの眼に対して１つずつ）によって、３Ｄ空間および形状の知覚が刺激される。したがって、従来の立体ＨＭＤは、調節手がかりおよび輻輳手がかりの不自然なデカップリングを強制する。調節深度に対する手がかりは、２Ｄ像面の奥行きによって決定され、３Ｄシーンの輻輳深度は、画像対によってレンダリングされる両眼視差によって決定される。ディスプレイによってレンダリングされる仮想オブジェクトに対する網膜像ぶれ手がかりは、自然なシーンによって作成されるものと一致しない。多くの研究により、従来のＨＭＤにおける不適正にレンダリングされた焦点手がかりに関連するこれらの視覚手がかりの不一致は、様々な視覚的アーチファクトおよび視覚的性能の劣化に寄与する強力な裏付けとなる証拠が提供されている。

以前に提案されたいくつかの手法は、体積ディスプレイ、超多視点オート・ステレオスコピック・ディスプレイ、インテグラル・イメージング方式のディスプレイ、ホログラフィックディスプレイ、多焦点面ディスプレイ、および演算多層ディスプレイを含む従来のステレオスコピックディスプレイの欠点を克服することができる。それらの膨大なハードウェア複雑性により、これらの異なる表示方法の多くは、ＨＭＤシステムの実装に適さない。他方では、多焦点面ディスプレイ、インテグラルイメージング、および演算多層手法は、一般的に、ライトフィールドディスプレイであることを指し、ヘッドマウントアプリケーションに適している。ＨＭＤにおけるそれらの使用は、ヘッドマウント・ライトフィールド・ディスプレイと呼ばれる。

ヘッドマウント・ライトフィールド・ディスプレイは、異なる奥行きの３Ｄシーンの投影または３Ｄシーンによって放射され且つ異なる眼位から観察されると考えられる光線の方向のいずれかをサンプリングすることにより、真の３Ｄシーンをレンダリングする。それらのディスプレイは、適正なまたはほぼ適正な焦点手がかりをレンダリングし、従来のＶＲおよびＡＲディスプレイの適合的眼球離反運動の不一致問題に対処することができる。例えば、インテグラルイメージング（ＩｎＩ）方式のディスプレイは、一見したところ３Ｄシーンによって放射され且つ異なる眼位から観察されると考えられる光線の方向を角度別にサンプリングすることにより、３Ｄシーンのライトフィールドを再構築する。図２に例示されるように、簡単なＩｎＩ方式のディスプレイは、典型的には、表示パネルと、マイクロレンズアレイ（ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ：ＭＬＡ）またはピンホールアレイである２Ｄアレイとを含む。ディスプレイは、２Ｄ要素画像の組をレンダリングし、その各々は、３Ｄシーンの異なる視点を表す。要素画像の対応する画素によって放射された円錐状の光線束は交差して光を放射し、３Ｄ空間を占めるように見える３Ｄシーンの知覚を一体化して作り上げる。２Ｄアレイを使用したＩｎＩ方式のディスプレイは、水平方向と垂直方向との両方における全方向視差情報を有する３Ｄ形状の再構築を可能にし、それが、一次元視差バリアまたは円筒状のレンチキュラーレンズを使用した水平視差のみを有する従来のオート・ステレオスコピック・ディスプレイとの主な違いである。１９０８年のＬｉｐｐｍａｎｎによるその刊行物以来、ＩｎＩ方式の技法は、実際のシーンのライトフィールドの捕捉と、アイウェア・フリー・オート・ステレオスコピック・ディスプレイにおけるその使用との両方に対して幅広く探究されてきた。ＩｎＩ方式の技法は、低い横分解能および縦分解能、狭い被写界深度（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ：ＤＯＦ）、並びに狭い視野角におけるその制限で知られている。他の全ての非ステレオスコピック３Ｄディスプレイ技法と比べて、ＩｎＩ技法の簡単な光学アーキテクチャは、ＨＭＤシステムと統合して着用可能なライトフィールドディスプレイを作成するという魅力を有する。
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１５／０２０１１７６号明細書
（特許文献２） 米国特許出願公開第２０１７／００７８６５２号明細書
（特許文献３） 米国特許出願公開第２００５／０１７９８６８号明細書
（非特許文献）
（非特許文献１） ＨＵＡＮＧ ｅｔ ａｌ．， "Ａｎ ｉｎｔｅｇｒａｌ－ｉｍａｇｉｎｇ－ｂａｓｅｄ ｈｅａｄ－ｍｏｕｎｔｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ ｕｓｉｎｇ ａ ｔｕｎａｂｌｅ ｌｅｎｓ ａｎｄ ａｐｅｒｔｕｒｅ ａｒｒａｙ．" Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ ０１７ Ｍａｒ １；２５（３）：２００－７，（０１．０３．２０１７），Ｆｉｇ．３； ｐｇ １９９，ｃｏｌ ２； ｐｇ ２００，ｃｏｌ ２－ｐｇ ２０１，ｃｏｌ １

しかし、他のインテグラル・イメージング・ベースのディスプレイおよびイメージング技術のように、現在のＩｎＩベースのＨＭＤ方法は、いくつかの主要な制限、すなわち（１）狭い視野（対角線上で＜３０°）、（２）低い横分解能（視覚空間において約１０分（角度））、（３）低い縦分解能（視覚空間において約０．５ディオプトリ）、（４）狭い被写界深度（ＤＯＦ）（１０分（角度）の分解能基準に対して約１ディオプトリ）、（５）クロストーク・フリー・ビューに対する限られたアイボックス（＜５ｍｍ）、および（６）視野角の限られた分解能（１ビューあたり＞２０分（角度））に直面している。これらの制限は、高性能ソリューションとして技術を取り入れることに対する深刻な障害をもたらすだけでなく、調節および輻輳の矛盾問題に対処するための技術の効力を潜在的に弱める。

したがって、本開示は、上記で要約される最先端技術の性能限界のいくつかの態様を克服する、インテグラルイメージングに基づく高性能ヘッドマウント・ライトフィールド・ディスプレイの方法、設計および実施形態を詳述する。

本発明の１つの観点は、インテグラルイメージングに基づく高性能ヘッドマウントディスプレイ（ＨＭＤ）に関連した方法を提供することであり、当該インテグラルイメージングにより、高い横分解能および縦分解能、広い被写界深度、クロストーク・フリー・アイボックス、および視野角の分解能の向上が達成される。この点に関連して、本発明は、インテグラルイメージング方式のライトフィールドディスプレイを使用してヘッドマウントディスプレイ（ＨＭＤ）において３Ｄシーンのライトフィールド画像をレンダリングする方法であって、可変焦点素子と当該可変焦点素子と光学的に連通するマイクロディスプレイとを有するインテグラルイメージング（ＩｎＩ）光学素子を提供する工程であって、前記インテグラルイメージング（ＩｎＩ）光学素子は当該光学素子に関連する中央奥行き面（ＣＤＰ）を有するものである、前記提供する工程と、画像データを前記マイクロディスプレイ上に表示する工程であって、前記画像データは、それぞれが前記３Ｄシーンの異なる視点を表す要素画像を有するものである、前記表示する工程と、前記中央奥行き面（ＣＤＰ）の位置を調整するために前記可変焦点素子の焦点距離を設定する工程とを有する、方法を提供することができる。前記方法は、シミュレーションされた仮想カメラアレイを使用して前記３Ｄシーンをサンプリングする工程を含み、それにより、各仮想カメラによって前記３Ｄシーンの各対応部分が取得され、複数の要素画像が生成される。前記複数の要素画像は集合的に前記マイクロディスプレイ上に表示される画像データを構成することができる。前記インテグラルイメージング（ＩｎＩ）光学素子は、視覚空間において前記マイクロディスプレイと光学的共役面にある仮想中央奥行き面（ＣＤＰ）を生成するように構成されてもよい。前記３Ｄシーンは対象の奥行（ＤＯＩ：ｄｅｐｔｈ ｏｆ ｉｎｔｅｒｅｓｔ）を有し、当該奥行を通して視軸に沿って延在する。前記３Ｄシーンはまた、対象の平均奥行（ＤＯＩ）を有する。前記方法は、前記仮想中央奥行き面（ＣＤＰ）の位置が前記３Ｄシーンの前記対象の平均奥行と一致するように前記前記可変焦点素子の焦点距離を設定する工程を含むことができる。

また、前記方法は、前記３Ｄシーンの前記対象の奥行（ＤＯＩ）内において視軸に沿って配置された複数の奥行を選択する工程を含み、前記複数の奥行のうち選択された各奥行について、各仮想中央奥行き面（ＣＤＰ）の位置が当該選択された各奥行と一致するように前記可変焦点素子の焦点距離を設定する工程を含み、それにより、前記複数の奥行のうち選択された各奥行と一致する、複数の仮想中央奥行き面（ＣＤＰ）のうち選択された各仮想中央奥行き面（ＣＤＰ）が生成される。前記複数の奥行のうち選択された各奥行について、前記方法は、当該選択された各奥行に関連付けられた前記３Ｄシーンの所定の部分を前記マイクロディスプレイ上に連続的に表示する工程を含むことができ、また、前記可変焦点素子の焦点距離を設定する工程を、前記マイクロディスプレイ上に連続的に表示するタイミングと同期させることができる。前記インテグラルイメージング（ＩｎＩ）光学素子はリレー群を含んでもよく、前記可変焦点素子は当該リレー群内に配置されている。このリレー群は、前記マイクロディスプレイによって生成されたライトフィールドを受け取って、選択された３Ｄシーンの光軸上に中間３Ｄシーンを生成するように構成されている。また前記リレー群は、前記中間３Ｄシーンの光軸に沿って位置調整されるように構成されている。前記マイクロディスプレイは、光学系の光軸に沿った選択的な位置において前記３Ｄシーンのライトフィールドを生成するように構成されていてもよく、前記リレー群は、前記選択された位置が当該リレー群と光学的に共役となる前記光軸上の所定の位置に配置される。また、前記インテグラルイメージング（ＩｎＩ）光学素子は、ヘッドマウントディスプレイ（ＨＭＤ）システムのユーザの鑑賞用に前記中間３Ｄシーンを前記リレー群から前記光学系の射出瞳に対して画像化する接眼レンズを含むことができる。

さらなる観点において、本願発明は、インテグラルイメージング方式のライトフィールドディスプレイを使用してヘッドマウントディスプレイ（ＨＭＤ）において３Ｄシーンのライトフィールド画像をレンダリングする方法であって、マイクロディスプレイを有するインテグラルイメージング（ＩｎＩ）光学素子を提供する工程であって、前記インテグラルイメージング（ＩｎＩ）光学素子は当該光学素子に関連する中央奥行き面（ＣＤＰ）を有するものである、前記提供する工程と、シミュレーションされた仮想カメラアレイを使用して前記３Ｄシーンをサンプリングする工程を有し、それにより、各カメラによって前記３Ｄシーンの各対応部分が取得され、複数の要素画像が生成されるものであり、前記複数の要素画像は集合的に、前記マイクロディスプレイ上に表示される画像データを構成するものである、前記サンプリングする工程と、前記画像データを前記マイクロディスプレイ上に表示する工程とを有する方法を提供することができる。前記インテグラルイメージング（ＩｎＩ）光学素子は小型レンズからなるマイクロレンズアレイを含むことができ、前記３Ｄシーンをサンプリングする工程は、各仮想カメラの位置が前記マイクロレンズアレーの対応小型レンズの主光線方向とインテグラルイメージング（ＩｎＩ）光学素子の射出瞳との間の交差位置に対応するように位置付ける工程を含むことができる。各シミュレーションされた仮想カメラアレイの視軸は、インテグラルイメージング（ＩｎＩ）光学素子を通して観察される対応小型レンズの主光線の方向と一致する。さらに、前記３Ｄシーンをサンプリングする工程は、シミュレーションされた仮想センサーアレイを提供する工程を有し、各仮想センサーは、前記仮想カメラのうち１の選択された対応仮想カメラと光学的に連通して、シミュレーションされた仮想カメラ／センサーの対を提供するものであり、前記カメラ／センサーの各対の視野が前記マイクロレンズアレイの対応する各小型レンズの視野と一致するように前記カメラ／センサーの各対は離間して配置される。

本発明の例示的な実施形態の前述の概要および以下の詳細な説明は、添付の図面と併せて読み進めることでより理解できると考えられる。
図１は、接眼レンズが、マイクロディスプレイ上でレンダリングされた画像を拡大し、眼から固定された遠距離に現れる仮想ディスプレイを形成する従来の単眼ＨＭＤを概略的に示すものである。 図２は、インテグラルイメージングに基づくニアアイ・ライトフィールド・ディスプレイを概略的に示すものである。 図３Ａは、本発明による高性能ＩｎＩ方式のヘッドマウント・ライトフィールド・ディスプレイの例示的な構成を概略的に示すものである。 図３Ｂは、本発明によるマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。 図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。 図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。 図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。 図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。 図５は、本発明による、接眼レンズの射出瞳と共役な位置にＶＦＥ（可変焦点要素）が配置されたリレー群の例示的な構成を概略的に示すものである。 図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ光路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。 図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ光路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。 図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ光路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。 図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ光路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。 図７Ａ～７Ｂは、本発明によるＩｎＩ－ＨＭＤ設計構成の２Ｄ光学レイアウトの例示的な構成を概略的に示すものであり、図７Ａは、ライトフィールドディスプレイ光路を示すものであり、図７Ｂは、シースルー光路を示すものである。 図７Ａ～７Ｂは、本発明によるＩｎＩ－ＨＭＤ設計構成の２Ｄ光学レイアウトの例示的な構成を概略的に示すものであり、図７Ａは、ライトフィールドディスプレイ光路を示すものであり、図７Ｂは、シースルー光路を示すものである。 図８Ａ～８Ｂは、軸上のフィールド（図８Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ（マイクロレンズアレイ）要素のフィールド（図８Ｂ）に対する３ディオプトリの再構築された中央奥行き面（ｃｅｎｔｒａｌ ｄｅｐｔｈ ｐｌａｎｅ：ＣＤＰ）深度の変調伝達関数（ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ：ＭＴＦ）プロットを示すものである。 図８Ａ～８Ｂは、軸上のフィールド（図８Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ（マイクロレンズアレイ）要素のフィールド（図８Ｂ）に対する３ディオプトリの再構築された中央奥行き面（ｃｅｎｔｒａｌ ｄｅｐｔｈ ｐｌａｎｅ：ＣＤＰ）深度の変調伝達関数（ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ：ＭＴＦ）プロットを示すものである。 図９Ａ～９Ｂは、ＭＬＡに対する軸上のフィールド（図９Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図９Ｂ）に対する２ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。 図９Ａ～９Ｂは、ＭＬＡに対する軸上のフィールド（図９Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図９Ｂ）に対する２ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。 図１０Ａ～１０Ｂは、ＭＬＡに対する軸上のフィールド（図１０Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１０Ｂ）に対する０ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。 図１０Ａ～１０Ｂは、ＭＬＡに対する軸上のフィールド（図１０Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１０Ｂ）に対する０ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。 図１１Ａ～１１Ｂは、ＭＬＡに対する軸上のフィールド（図１１Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１１Ｂ）に対するＣＤＰから０．２５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１１Ａ～１１Ｂは、ＭＬＡに対する軸上のフィールド（図１１Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１１Ｂ）に対するＣＤＰから０．２５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１２Ａ～１２Ｂは、ＭＬＡに対する軸上のフィールド（図１２Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１２Ｂ）に対するＣＤＰから０．５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１２Ａ～１２Ｂは、ＭＬＡに対する軸上のフィールド（図１２Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１２Ｂ）に対するＣＤＰから０．５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１３Ａ～１３Ｂは、ＭＬＡに対する軸上のフィールド（図１３Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１３Ｂ）に対するＣＤＰから０．７５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１３Ａ～１３Ｂは、ＭＬＡに対する軸上のフィールド（図１３Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１３Ｂ）に対するＣＤＰから０．７５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１４Ａ～１４Ｂは、ＭＬＡに対する軸上のフィールド（図１４Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１４Ｂ）に対するＣＤＰから１ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１４Ａ～１４Ｂは、ＭＬＡに対する軸上のフィールド（図１４Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１４Ｂ）に対するＣＤＰから１ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。 図１５は、シースルー光路ＦＯＶ６５°×４０°のＭＴＦを示すものである。 図１６は、本発明による、固定奥行モードで３Ｄシーンのライトフィールドをレンダリングする方法を概略的に示すものである。 図１７Ａは、マイクロディスプレイ上の要素画像（ＥＬｓ）を示す。図１７Ｂ～１７Ｄは、本発明に基づいて作製されたＨＭＤのプロトタイプによって取得された実世界標的および仮想標的の双方の画像を示し、当該ＨＭＤのプロトタイプは、図１７Ａの要素画像（ＥＬｓ）について、カメラの焦点距離がそれぞれ１ディオプトリ（図１７Ｂ）、０．５ディオプトリ（図１７Ｃ）、３ディオプトリ（図１７Ｄ）の固定奥行モードで動作された。 図１８は、本発明による、可変奥行モードで３Ｄシーンのライトフィールドをレンダリングする方法を概略的に示すものである。 図１９Ａ、１９Ｂは、本発明に基づいて作製されたＨＭＤのプロトタイプによって取得された実世界標的および仮想標的の双方の画像を示し、当該ＨＭＤのプロトタイプは、仮想中央奥行き面（ＣＤＰ）が３ディオプトリに設定されるとともに、カメラの焦点距離がそれぞれ３ディオプトリ（図１９Ａ）、０．５ディオプトリ（図１９Ｂ）の可変奥行モードで動作された。 図２０は、複数奥行モードで３Ｄシーンのライトフィールドをレンダリングする方法を概略的に示すものである。 図２１Ａ、２１Ｂは、本発明に基づいて作製されたＨＭＤのプロトタイプによって取得された実世界標的および仮想標的の双方の画像を示し、当該ＨＭＤのプロトタイプは、仮想中央奥行き面（ＣＤＰ）が３ディオプトリに設定されるとともに、カメラの焦点距離がそれぞれ３ディオプトリ（図２１Ａ）、および０．５ディオプトリ（図２１Ｂ）の複数奥行モードで動作された。

ここで、図を参照すると、図全体を通して同様の要素に同様に番号が付けられており、図３Ａに示されるように、本発明によるＨＭＤシステム１００は、３つの主要なサブシステム、すなわちＩ）超小型ＩｎＩユニット（マイクロＩｎＩ）１３０と、ＩＩ）リレー群１２０であって、内部に配置された、ＩｎＩユニット１３０からライトフィールドを受け取るための可変焦点要素（ＶＦＥ）１２２を有する、リレー群１２０と、ＩＩＩ）リレー群１２０から調整された中間３Ｄシーンを受け取るための接眼レンズ光学部品１１０とを含む。図３Ｂに例示されるように、マイクロＩｎＩユニット１３０は、制約された視野ゾーンから見える３Ｄシーンの全方向視差ライトフィールドを再現することができ、全方向視差ライトフィールドは、水平視線方向と垂直視線方向との両方からの３Ｄシーンの視点の変化を提供する。制約された視野ゾーンは、光学的には、マイクロＩｎＩユニット１３０のアパーチャの制限に対応し、制約された視野ゾーンは、光学的には、表示システム１００の射出瞳と共役であり、鑑賞者の眼は、再構築された３Ｄシーンを見るように置かれる。リレー群１２０はマイクロＩｎＩユニット１３０によって再構築された３Ｄシーンの中間像を生成し、その中央奥行き面（ｃｅｎｔｒａｌ ｄｅｐｔｈ ｐｌａｎｅ：ＣＤＰ）の位置は調整可能なようになっている。接眼レンズ１１０の倍率に応じて、ＣＤＰの位置は、光学的無限大（０ディオプトリ）～２０ｃｍ（５ディオプトリ）の近さまで広がる大きい奥行き範囲で３Ｄシーンの知覚を生成するために、約０．５ｍｍ～数百ミリメートルの大きさまでの範囲で調整可能である。また、リレー群１２０は、再構築された３ＤシーンＡＯＢの凹面の反転を容易にすることもできる。接眼レンズ光学部品１１０は、鑑賞者の眼に調整可能な３Ｄライトフィールドをリイメージングし、３Ｄライトフィールドの調整可能な奥行き範囲を数メートルの遠さから数センチメートルの近さまで間隔がある幅広い奥行き体積空間に拡大する。ビームスプリッタ機能を有する光学部品であるシースルーユニット（図示せず）は、接眼レンズ光学部品１１０と光学的に連通して、シースルービューが望ましい場合に現世界シーンを遮ることのない視野を光学的に可能にする。図３ＡのマイクロＩｎＩユニット１３０は、図３Ｂにさらに例示されるように、高解像度マイクロディスプレイおよびマイクロレンズアレイ（ＭＬＡ）１３２を含む。ＭＬＡ １３２の小型レンズ１３３の焦点距離は、ｆＭＬＡとして示され、マイクロディスプレイ１３４とＭＬＡ １３２との間の間隙は、ｇとして示される。２Ｄ要素画像（それぞれ３ＤシーンＡＯＢの異なる視点を表す）の組は、高解像度マイクロディスプレイ１３４上に表示することができる。ＭＬＡ １３２を通して、各要素画像は、空間的にインコヒーレントなオブジェクトとして機能し、要素画像の画素によって放射された円錐状の光線束は、交差して、光を放射して３Ｄ空間を占めるように見える３Ｄシーンの知覚を一体化して作り上げる。再構築されたミニチュアシーンの中央奥行き面（ＣＤＰ）（ｚ０の奥行き範囲）は、ＭＬＡ １３２から測定された距離ｌｃｄｐに位置する。そのようなＩｎＩシステム１３０は、水平方向と垂直方向との両方における視差情報による３Ｄ表面形状ＡＯＢの再構築を可能にする。ユーザの観視のため、再構築された３Ｄシーンのライトフィールド（すなわち図３Ｂの曲線ＡＯＢ）は、リレー群１２０を介して接眼レンズ光学部品１１０に光学的に結合することができる。分解能優先ＩｎＩシステム（ｆＭＬＡ≠ｇ）では、再構築された３Ｄシーンの中央奥行き面ＣＤＰは、マイクロディスプレイ１３４と光学的に共役であり、その位置は、

によって与えられ、式中、ＭＭＬＡは、マイクロＩｎＩユニット１３０の倍率であり、

によって表現することができる。

図３Ａ、４Ａに示されるように、任意選択で、アパーチャアレイ１３６（ＭＬＡ １３２のピッチと整合する光線制御アパーチャのグループを含む）は、マイクロディスプレイ１３４とＭＬＡ １３２との間に挿入することができる。各マイクロレンズ１３３に対応する小さいアパーチャは、望ましくない光線が隣接マイクロレンズ１３３に達することを阻止し、または近隣の要素画像からの光線がマイクロレンズ１３３に達することを阻止するとともに、意図された視野窓内の光線が光学部品を通して伝播し、アイボックスに達することを可能にする。例えば、アパーチャＡ１ブロックとアパーチャＡ２ブロックとの間の黒いゾーンは、ポイントＰ１からの破線の光線が、小型レンズＭＬＡ１に隣接するＭＬＡ２に達することを阻止する。阻止されたこれらの光線は、典型的には、ＩｎＩ表示システムにおいて観察される視野クロストークおよびゴースト像の主要な原因である。マイクロディスプレイ１３４からアパーチャアレイ１３６までの距離は、ｇａとして示され、アパーチャ開口部の直径は、ｐａとして示され、

によって制約され、式中、ｇａ－ｍａｘおよびｐａ－ｍａｘは、それぞれ最大許容間隙およびアパーチャサイズであり、ｐｅｉは、要素画像の寸法であり、ｐｍｌａは、ＭＬＡ １３２のピッチである。

固定アパーチャサイズを有するアパーチャアレイ１３６の使用における欠点の１つは、要素画像のサイズが変化した場合、各要素画像の端部の近くに位置する画素に対する光線を部分的に阻止する場合があることである。図４Ａに例示されるように、小型レンズＭＬＡ１を通して伝播するはずのポイントＰ１からの光線のごく一部は、アパーチャＡ１とアパーチャＡ２との間の黒いゾーンによって阻止され、鑑賞者が各要素画像の端部の近くのポイントに対して画像明度の低減を観察するビネッティングのような効果を引き起こす。図４Ｂは、図４Ａのものの代替の構成を示し、アパーチャアレイ１３６は、プログラマブル空間光変調器（ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ：ＳＬＭ）１３５と交換され、その結果、各アパーチャのサイズおよび形状は、所望の光線の部分的阻止を回避するように動的に適応させることができる。図４Ｃは、本発明によるマイクロＩｎＩユニットの別の実施形態を示し、マイクロディスプレイ１３４およびアパーチャアレイ１３６は、制御自在な指向性放射を有する表示源１３１と交換され、発光方向は、各画素からの光線がそれらの対応するＭＬＡ小型レンズ１３３のみに達するように精密に制御することができる。図４Ｄは、そのような表示源１３１の１つの可能な構成を実証し、空間光変調器１３５は、非指向性放射を有するバックライト源１３８と、非自発光型マイクロディスプレイ１３７との間に挿入されている。空間光変調器１３５は、マイクロディスプレイ１３７に照射され、ＭＬＡ １３２に達する光線の円錐角をプログラムおよび制御するように設定することができる。

従来のＩｎＩ方式の表示システムは、典型的には、３Ｄ再構築ポイントの奥行きがＣＤＰの奥行きからシフトしているときの空間分解能の急速な劣化による限られた被写界深度（ＤＯＦ）に直面する。例えば、３Ｄシーンの体積は、視覚空間における空間分解能を３分（角度）またはより良好に維持するために、０．５ディオプトリ未満に制限する必要がある。図３Ａの例示的な構成においてなど、高空間分解能を維持しながらはるかに大きい３Ｄシーンの体積をレンダリングするため、電子制御される可変焦点要素１２２が内側に挟まれたリレー群１２０は、マイクロＩｎＩ １３０と接眼レンズ１１０との間に挿入される。例示的なＶＦＥ １２２は、液体レンズ、液晶レンズ、可変鏡、または他の任意の調整可能な光学技術（電気的に調整可能な光学技術など）を含む。異なる電圧をＶＦＥ １２２に印加することによってリレー群１２０のオプティカルパワーφＲを動的に制御することにより、リレー群１２０は、マイクロＩｎＩ １３０によって生成された再構築されたミニチュア３Ｄシーンの中間像Ａ'Ｏ'Ｂ'を形成する。リレーされた中間シーンの中央奥行き位置ＣＤＰは、接眼レンズ１１０に対して軸方向に（光軸に沿って）調整可能である。その結果、接眼レンズ１１０による拡大された３Ｄ仮想シーンの奥行き体積は、高い横分解能および縦分解能を維持しながら、非常に近く（例えば、５ディオプトリ）から非常に遠く（例えば、０ディオプトリ）に軸方向にシフトすることができる。

図５は、図３Ａのリレー群１２０などの可変焦点リレー群１２０の例示的な構成を概略的に例示し、マイクロＩｎＩユニット１３０に隣接する前部レンズ群「前部リレー」１２６と、光学系の絞りとして機能する中間に位置するＶＦＥ光学部品１２２と、接眼レンズ１１０に隣接する後部レンズ群「後部リレー」１２４とを含む。リレー群１２０の複合パワーφＲは、

によって与えられ、式中、φ１、φＶＦＥ、およびφ２は、それぞれ前部レンズ群１２６、ＶＦＥ １２２、および後部レンズ群１２４のオプティカルパワーである。ｔ１およびｔ２は、前部レンズ群１２６とＶＦＥ １２２との間の間隔およびＶＦＥ １２２と後部レンズ群１２４との間の間隔である。ｚ０は、前部レンズ群と、マイクロＩｎＩユニット１３０によって再構築された３Ｄシーンとの間の軸方向距離である。リレーされた中間シーンの軸位置は、

によって与えられる。

可変焦点リレー光学系の横倍率は、

によって与えられる。

φｅは、接眼レンズ１１０のオプティカルパワーであり、ＺＲＣＤＰは、リレーされたＣＤＰから接眼レンズ１１０までの距離であると想定すると、接眼レンズ１１０を通した再構築された３Ｄ仮想シーンの見かけのＣＤＰ位置は、

によって与えられる。

接眼レンズ１１０を通した全光学系の横倍率は、

によって与えられる。

接眼レンズ１１０を通した全光学系の視野（ＦＯＶ）は、ＦＯＶ＝

によって与えられ、式中、ｔ３は、接眼レンズ１１０と後部リレーレンズ１２４との間の間隔であり、ｚｘｐは、射出瞳と接眼レンズ１１０との間の間隔であり、ｈ０は、再構築されたシーンの画像高さであり、
ｕｖｆｅ＝［（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２］およびｈｖｆｅ＝［（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２］－［（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２＋（（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２）］ｔ２
をさらに定義する。

接眼レンズ１１０の射出瞳と光学的に共役であるようにＶＦＥ １２２を設定すると（（すなわちｈｖｆｅ＝０）、眼の入射瞳は、ディスプレイ１３４を見るように置かれ、ｈｖｆｅ＝０を有し、ＦＯＶは、ＶＦＥ １２２のオプティカルパワーから独立している。式（９）の式は、

に簡略化される。

図５に例示されるように、可変焦点リレー群１２０の好ましい実施形態は、ＶＦＥ １２２が接眼レンズ１１０の射出瞳と光学的に共役となるようにするために（（すなわちｈｖｆｅ＝０）、前部リレー群２６の後側焦点距離にＶＦＥ １２２を配置すること（すなわちｔ１＝１／φ１）である。この好ましい実施形態を用いると、式（４）によって与えられるリレー群１２０の複合パワーφＲは、

に簡略化される。

式（６）によって与えられる可変焦点リレー光学系の横倍率は、

に簡略化される。また、式（８）によって与えられる全光学系の横倍率も簡略化される。

ｔ１＝１／φ１およびｈｖｆｅ＝０の場合、光学系のＦＯＶは、

にさらに簡略化される。

式（１０）～（１３）によって実証されるように、好ましい方法でのＶＦＥ １２２の慎重な位置決めは、物体空間テレセントリシティのプロパティによる一定の主光線方向に起因して、リレー群１２０の複合オプティカルパワーがＶＦＥ １２２のオプティカルパワーから独立して一定に維持されることを保証する。式（１３）によってさらに実証されるように、接眼レンズ１１０を通したディスプレイの対する画角は、ＶＦＥ １２２のオプティカルパワーから独立して一定にさらに維持される。リレー群１２０に対して一定のオプティカルパワーを維持することは、ＣＤＰの焦点深度に関わらず、仮想的に再構築された３Ｄシーンが一定の視野を達成する上で役立つ。したがって、視線方向連動（ｇａｚｅ－ｃｏｎｔｉｎｇｅｎｔ）または時間多重化モードにおけるシームまたはアーチファクトなしで、３Ｄシーンのはるかに大きい体積を仮想的に知覚することができる。注目すべき点は、ｔ２＝１／φ２が満たされる場合、式（１２）によって与えられるリレー群１２０の横倍率を一定にさらに維持できることであり、それにより、可変焦点リレー群１２０は、ダブルテレセントリック光学系になる。

図３Ａの接眼レンズ１１０は、多くの異なる形態を取ることができる。例えば、光学式シースルーＨＭＤのコンパクトな光学設計を達成するため、ウェッジ形状の自由曲面プリズムを取り入れることができ、ウェッジ形状の自由曲面プリズムを通して、マイクロＩｎＩユニット１３０およびリレー群１２０によって再構築された３Ｄシーンは、拡大されて見られる。ＡＲシステムに対するシースルー能力を可能にするため、自由曲面プリズムによって実世界シーンに導入された視軸偏位および望ましくない収差を補正するように、表面の１つがビームスプリッタコーティングでコーティングされた自由曲面補正レンズを自由曲面プリズム接眼レンズに取り付けることができる。

本発明の別の観点では、リレー群１２０の一部は、調整可能な中間３Ｄシーンが自由曲面接眼レンズの内側に形成されるように、自由曲面接眼レンズなどの接眼レンズ光学部品１１０に組み込むことができる。それに関連して、接眼レンズは、例えば、ウェッジ形状の自由曲面導波路型プリズムである。図６Ａは、複数の自由曲面光学表面によって形成された自由曲面導波路のようなプリズム８５０の概念を概略的に例示する。射出瞳は、拡大された３Ｄシーンを見るために使用の眼が置かれる場所に位置する。設計では、ＶＦＥ １２２に続く従来のリレー群２２０の一部は、プリズム８５０に組み込まれ、「ＶＦＥを有するリレー群」とラベル付けされたボックス内に含まれる自由曲面導波路型プリズム８５０の上部８５１によって機能が果たされる。３Ｄポイント（例えば、Ａ）から放射された光線は、最初に、リレー群２２０の最も近い光学要素１２６で屈折し、プリズム８５０内に透過し、中間像（例えば、Ａ'）を生成するために１または複数の自由曲面での反射が続く。中間像（例えば、Ａ'）の軸位置は、ＶＦＥ １２２によって調整可能である。後続の表面による複数の連続的な反射および出口表面８５５を通した最終的な屈折により、光線は、光学系の射出瞳に達することができる。異なる要素画像からの複数の光線束が存在するが、これらの光線束は、明らかに同じオブジェクトポイントから放射されたものであり、その束の各々は、オブジェクトの異なるビューを表し、射出瞳の異なる位置に入射する。これらの光線束は、眼の前に位置する仮想３Ｄポイント（例えば、「Ａ」）を一体化して再構築する。複数の光学要素を必要とするよりむしろ、光学経路は、多面プリズム８５０内で自然に折り曲げられ、回転対称要素を使用した設計と比べて、光学部品の全体積および重量を実質的に低減する上で役立つ。従来のウェッジ形状の３面プリズムを使用した設計と比べて、導波路のような接眼レンズ設計は、リレー機能の一部を組み込み、スタンドアロンリレー群１２０を３面プリズムと組み合わせたものよりはるかにコンパクトな光学系を可能にする。コンパクト性の利点以外に、導波路のようなマルチフォールド接眼レンズ設計は、残りのリレー群およびマイクロＩｎＩユニットを水平方向においてこめかみ側の方に折り畳む能力を可能にするため、はるかに好ましいフォームファクタを提供する。マルチフォールドは、はるかに重量バランスの取れた光学系をもたらすのみならず、ウェッジ形状のプリズムを使用するよりも実質的に大きいシースルーＦＯＶも可能にする。

ＡＲシステムに対するシースルー能力を可能にするため、接眼レンズ部分としてマーク付けされた図６Ａのプリズム８５０の裏面の下部８５３は、ビーム分割鏡としてコーティングすることができ、少なくとも２つの自由曲面光学表面を含む自由曲面補正レンズ８４０は、自由曲面プリズム８５０によって実世界シーンに導入された視軸偏位および望ましくない収差を補正するようにプリズム８５０の裏面に取り付けることができる。シースルー概略レイアウトは、図６Ｂに示される。仮想ライトフィールドからの光線は、プリズム８５０の裏面で反射し、実世界シーンからの光線は、自由曲面補正レンズ８４０およびプリズム８５０を通して透過する。自由曲面補正レンズ８４０の前面は、プリズム８５０の裏面の形状と整合する。自由曲面補正レンズ８４０の後面は、レンズがプリズム８５０と組み合わされる際に実世界シーンから光線に導入されるシフトおよび歪みを最小化するように最適化することができる。追加の補正レンズ「補正要素（ｃｏｍｐｅｎｓａｔｏｒ）」は、全光学系のフットプリントおよび重量を著しく増加することはない。

本発明の別の観点では、接眼レンズ部分としてマーク付けされた図６Ａのプリズム８５０の裏面の下部８５３は、２つのセグメント、すなわちセグメント８５３－１およびセグメント８５３－２に分割することができる。図６Ｃに概略的に例示されるように、８５３－１のセグメントは、マイクロＩｎＩユニットによって生成されたライトフィールドを受け取る反射性または部分反射性の表面である。また、８５３－１のセグメント上のビーム分割鏡コーティングは、実世界シーンからの光線の透過も可能にする。セグメント８５３－２は、透過性または半透過性の表面であり、マイクロＩｎＩユニット１３０によって生成されたライトフィールドを受け取らず、実世界シーンからの光線のみを受け取る。図６Ｄは、プリズム８５０の裏面の正面図を概略的に例示する。２つの表面セグメント８５３－１および８５３－２は、マイクロＩｎＩユニット１３０によって再構築された３Ｄライトフィールドを受け取るために必要なアパーチャ窓の上方境界で交差し、２つの別個の自由曲面によって作ることができる。異なる光路を有する２つの別個のセグメント８５３－１、８５３－２への裏面８５３の下部の分割は、仮想ディスプレイ光路の制約を受け取ることなく、ディスプレイ光路のＦＯＶを超えてシースルービューのＦＯＶを実質的に拡大する能力を提供する。図６Ｃに示されるように、自由曲面補正レンズ８４０は、自由曲面プリズム８５０によって実世界シーンに導入された視軸偏位および望ましくない収差を補正するようにプリズム８５０の裏面に取り付けることができる。仮想ライトフィールドからの光線は、プリズム８５０の裏面のセグメント８５３－１で反射し、実世界シーンからの光線は、プリズム８５０のセグメント８５３－１および８５３－２と自由曲面補正レンズ８４０との両方を通して透過する。表面セグメント８５３－２は、自由曲面補正レンズ８４０と組み合わされる際にシースルービューの視覚的アーチファクトを最小化するように最適化することができる。自由曲面補正レンズ８４０の前面は、プリズム８５０の表面セグメント８５３－１および８５３－２の形状と整合する。自由曲面補正レンズ８４０の後面は、自由曲面補正レンズ８４０がプリズム８５０と組み合わされる際に実世界シーンから光線に導入されるシフトおよび歪みを最小化するように最適化することができる。

本発明のさらなる別の観点によれば、図７Ａは、図６Ａの概念的システムを具体化する物理的システム７００の光学設計を概略的に例示する。図７Ａは、ライトフィールドディスプレイ光路の２Ｄ光学レイアウトを例示し、図７Ｂは、シースルー光路の光学レイアウトを示す。ライトフィールドディスプレイの光学系７００は、マイクロＩｎＩユニット、ＶＦＥを有するリレー群、および自由曲面導波路を含む。リレー群の一部は、導波路に組み込むことができる。マイクロＩｎＩユニットは、マイクロディスプレイＳ０、ピンホールアレイＳ１、およびマイクロレンズアレイＳ２を含む。リレー群は、４つのレンズと、市販のＶＦＥ（Ｏｐｔｏｔｕｎｅ Ｉｎｃ．によるＥｌｅｃｔｒｉｃａｌ Ｌｅｎｓ ＥＬ１０－３０）と、２つの自由曲面（表面Ｓ１９およびＳ２０）とを含む。自由曲面導波路型プリズム９００は、Ｓ１９、Ｓ２０、Ｓ２１、およびＳ２２としてそれぞれラベル付けされた複数の自由曲面光学表面によって形成することができる。本設計では、ＶＦＥに続く従来のリレー群の一部は、プリズム９００に組み込むことができ、表面Ｓ１９およびＳ２０によって機能を果たすことができる。３Ｄポイント（例えば、Ａ）から放射された光線は、最初に、プリズム９００の表面Ｓ１９で屈折し、中間像（例えば、Ａ'）を生成するために表面Ｓ２０での反射が続く。中間像（例えば、Ａ'）の軸位置は、ＶＦＥによって調整可能である。表面Ｓ２１'およびＳ２２－１でのもう２つの連続的な反射並びに表面Ｓ２１を通した最終的な屈折により、光線は、システム７００の射出瞳に達することができる。異なる要素画像からの複数の光線束が存在するが、これらの光線束は、明らかに同じオブジェクトポイントから放射され、その各々は、オブジェクトの異なるビューを表し、射出瞳の異なる位置に入射する。これらの光線束は、眼の前に位置する仮想３Ｄポイントを一体化して再構築する。導波路の表面Ｓ２１'で反射した光線は、全内部反射の条件を満たす必要がある。プリズム９００の裏面Ｓ２２－１、Ｓ２２－２は、実世界シーンのビューを阻止する没入型ＨＭＤシステムを構築するために、ミラーコーティングでコーティングすることができる。或いは、表面Ｓ２２－１は、図７Ｂに示されるように、補助レンズを使用した光学式シースルー能力が望ましい場合、ビームスプリッタコーティングでコーティングすることができる。

本明細書で開示される設計では、Ｚ軸は、視線方向に沿い、Ｙ軸は、左右の瞳孔を結ぶ方向と位置合わせされた水平方向に平行であり、およびＸ軸は、頭の向きと位置合わせされた垂直方向にあることに留意すべきである。その結果、全導波路システムは、水平（ＹＯＺ）平面に対して対称であり、光学表面（Ｓ１９、Ｓ２０、Ｓ２１、およびＳ２２）は、水平なＹ軸に沿って非共軸であり、且つ垂直なＸ軸を中心として回転する。光学経路は、水平なＹＯＺ平面において折り曲げられる。この配置により、マイクロＩｎＩユニットおよび可変焦点リレー群は、ユーザの頭のこめかみ側に装着することができ、バランスの取れた人間工学的なシステムパッケージングを提供することができる。

表１は、図７Ａのシステムの重要な性能仕様のいくつかを強調する。システム７００は、３Ｄシーンの真の３Ｄライトフィールドをレンダリングする能力を提供し、３５°の対角線のＦＯＶに対しており、視覚空間において１つの画素あたり２分（角度）の高さの光分解能を達成する。その上、システム７００は、単眼ディスプレイに対して約０．１ディオプトリの高い縦分解能を有し、０～５ディオプトリで調整可能な大きい奥行き範囲を提供する。その上、システム７００は、約０．５／ｍｍ２の高いビュー密度（ｖｉｅｗ ｄｅｎｓｉｔｙ）を達成し、ビュー密度σは、射出瞳の単位面積あたりの一意のビューの数として定義され、

によって与えられ、式中、Ｎは、ビューの総数であり、ＡＸＰは、表示システムの射出瞳の面積である。０．５／ｍｍ２のビュー密度は、０．２ディオプトリの距離に位置するオブジェクトに対する約１分（角度）の視野角分解能に等しい。クロストーク・フリー・ビューに対する射出瞳直径（ディスプレイのアイボックスとしても知られている）は、約６ｍｍである。この実施形態では、射出瞳直径は、市販のＶＦＥのアパーチャサイズによって制限され、別のより大きいアパーチャのＶＦＥを取り入れる場合、増加することができる。最後に、システムは、大きいシースルーＦＯＶ（水平方向に６５°および垂直方向に４０°より大きい）を提供する。本発明者らのプロトタイプで利用されるマイクロディスプレイは、８μｍのカラー画素および１９２０×１０８０の画素解像度を有する０．７インチ（約１．７７８ｃｍ）の有機発光ディスプレイ（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ：ＯＬＥＤ）（ＳｏｎｙによるＥＣＸ３３５Ａ）である。しかし、光学設計自体は、異なる寸法のＯＬＥＤパネルまたは他のタイプのマイクロディスプレイ（６μｍより大きいカラー画素サイズを有する液晶ディスプレイなど）をサポートすることができる。

表２～５では、光学表面データの形態で図７Ａのシステム７００の例示的な実装形態が提供される。表２は、ディスプレイ光路の基本的なパラメータを要約する（単位：ｍｍ）。表３～５は、非球面の光学表面を定義する最適化係数を提供する。

６μｍの小ささの画素を有する高解像度マイクロディスプレイは、高解像度の仮想再構築３Ｄ画像を達成するために取り入れられる。マイクロＩｎＩユニットに対するそのような高解像度画像を達成するため、具体的には、非球面によって形成されたマイクロレンズアレイ（ＭＬＡ）を設計することができる。ＭＬＡの非球面の各々は、

として説明することができ、式中、ｚは、局所ｘ、ｙ、ｚ座標系のｚ軸に沿って測定された表面のサグ量（ｓａｇ）であり、ｃは、頂点曲率であり、ｒは、半径方向距離であり、ｋは、円錐定数であり、Ａ～Ｅは、それぞれ４次、６次、８次、１０次、および１２次変形係数である。ＭＬＡの材料は、ＰＭＭＡである。表３は、表面Ｓ１およびＳ２に対する係数を提供する。

シースルーＦＯＶの拡大を可能にするため、自由曲面導波路型プリズム９００は、表面Ｓ１９、Ｓ２０、Ｓ２１／Ｓ２１'、Ｓ２２－１、Ｓ２２－２とそれぞれラベル付けされた５つの自由曲面によって形成することができる。自由曲面補正レンズは、２つの自由曲面によって形成することができ、前面は、導波路プリズム９００の表面Ｓ２２－１およびＳ２２－２と同じ表面仕様を共有し、裏面は、表面Ｓ２３と示される。Ｓ２２－１の表面セグメントは、マイクロＩｎＩユニットによって生成されたライトフィールドを受け取る反射性または部分反射性の表面である。また、Ｓ２２－１のセグメント上のビーム分割鏡コーティングは、シースルー能力に対する実世界シーンからの光線の透過も可能にする。表面セグメントＳ２２－２は、透過性または半透過性の表面であり、マイクロＩｎＩユニットによって生成されたライトフィールドを受け取らず、実世界シーンからの光線のみを受け取る。

Ｓ１９、Ｓ２０、Ｓ２１／Ｓ２１'、Ｓ２２－１、Ｓ２３を含む自由曲面は、

として数学的に説明することができ、式中、ｚは、局所ｘ、ｙ、ｚ座標系のｚ軸に沿って測定された自由曲面のサグ量であり、ｃは、頂点曲率（ｖｅｒｔｅｘ ｃｕｒｖａｔｕｒｅ：ＣＵＹ）であり、ｒは、半径方向距離であり、ｋは、円錐定数であり、およびＣｊは、ｘｍｙｎに対する係数である。導波路プリズムと補償レンズとの両方の材料は、ＰＭＭＡである。表４～８は、Ｓ１９～Ｓ２１、Ｓ２２－１、Ｓ２３の表面に対する係数を提供し、表９は、各光学表面の表面基準を提供する。

設計プロセス中、表面セグメントＳ２２－１に対する仕様は、マイクロＩｎＩユニット、リレーレンズ群、および表面Ｓ１９、Ｓ２０、Ｓ２１／２１'、Ｓ２２－１から構成されるプリズム９００を通したライトフィールドディスプレイ光路の最適化後に得られた。最初に、ライトフィールドディスプレイ光路に対して、表面Ｓ２０およびＳ２２－１の必要なアパーチャ寸法が決定された。次いで、表面Ｓ２２－２が作成されたＳｏｌｉｄｗｏｒｋｓ（登録商標）などの３Ｄモデリングソフトウェアに表面Ｓ２０、Ｓ２１、Ｓ２２－１がインポートされた。表面Ｓ２２－２の形状は、次の要件、すなわち（１）ディスプレイ光路によって定義された表面Ｓ２２－１に必要なアパーチャの上方境界線に沿ってまたは上方境界線の上方で表面Ｓ２２－１と交差すること、（２）表面Ｓ２２－２と表面Ｓ２２－２との間の交差線に沿って、表面Ｓ２２－２上の交点における表面傾斜がほぼ整合することであるが、等しくない場合、表面Ｓ２２－１上のそれらの対応する点が、２つの表面がほぼ連続しているように見えることを保証し、それにより、整合する自由曲面補正レンズと組み合わされた際にシースルービューに対する視覚的アーチファクトが最小化されること、（３）表面Ｓ２２－２が、ディスプレイ光路によって定義された表面Ｓ２０に必要なアパーチャの下方境界線に沿ってまたは下方境界線の下方で表面Ｓ２０と交差すること、（４）表面Ｓ２１およびＳ２２－２間の全体的な厚さが最小化されることを満たすことにより、モデリングソフトウェアにおいて作成された。最後に、閉鎖性の自由曲面導波路型プリズムを作成するため、表面Ｓ２２－２の自由曲面形状は、表面Ｓ１９、Ｓ２０、Ｓ２１／２１'、Ｓ２２－１と組み合わされた３Ｄモデリングソフトウェアにおいて得られる。図７Ｂは、上記で説明される方法を通して、実質的に拡大されたシースルーＦＯＶを実証した。

設計プロセス中、３つの代表波長４６５ｎｍ、５５０ｎｍ、６３０ｎｍが選択され、それらの波長は、選択されたＯＬＥＤマイクロディスプレイ内の青色、緑色および赤色エミッタのピーク発光スペクトルに対応する。ＭＬＡの合計で２１個の小型レンズがサンプリングされ、各々は、９つの要素画像ポイントを表し、合計で１８９のフィールドサンプルになる。画質を評価するため、接眼レンズと同じ倍率を有する理想的なレンズがシステムの射出瞳（視野窓）に配置され、それにより最終的な画像に対して２０．８３ｌｐ／ｍｍのカットオフ周波数が生じる（マイクロディスプレイの画素サイズによって制限される）。設計されたシステムの光学性能は、３つの設計波長に対する代表画角で評価された。調整可能なレンズＶＦＥの倍率を変更することにより、光学性能の著しい変性をもたらすことなく、中央奥行き面を大きい範囲（例えば、０～３ディオプトリ）で軸方向にシフトすることができる。図８～１０は、３、１、および０ディオプトリの深度でそれぞれ設定されたＣＤＰ上で再構築されたポイントに対する多色変調伝達関数（ＭＴＦ）をプロットする。各ＣＤＰ位置に対し、２組のＭＴＦがプロットされ、１つは、軸上ＭＬＡに対応するフィールドに対するものであり、１つは、端部の近くの最も遠いＭＬＡに対応するフィールドに対するものである。

他方では、特定の調整可能な状態に対して再構築画像が中央奥行き面からシフトされる際に３Ｄ再構築ポイントの画質がどのように劣化するかを評価することが等しく重要である。これは、調整可能なレンズの倍率を変更することなく、中央奥行き面をわずかな距離だけシフトすることによって評価することができる。図１１～１４は、ＣＤＰから０．２５、０．５、０．７５、および１ディオプトリだけそれぞれシフトされた再構築ポイントに対する多色ＭＴＦをプロットする。各深度に対し、２組のＭＴＦがプロットされ、１つは、軸上ＭＬＡに対応するフィールドに対するものであり、１つは、端部の近くの最も遠いＭＬＡに対応するフィールドに対するものである。

図１５は、６５°×４０°のＦＯＶに対する多色ＭＴＦをプロットする。ＦＯＶ全体にわたり、シースルー光路は、３０サイクル／度の周波数で５０％を超える平均ＭＴＦ値を達成し（２０／２０の正常視力に対応する）、６０サイクル／度の周波数でほぼ２０％の平均ＭＴＦ値を達成した（２０／１０の視力または０．５分（角度）の視力に対応する）。

プロトタイプシステム（ＩｎＩ－ＨＭＤプロトタイプ）が、図７ＡのＩｎＩ－ＨＭＤ７００、表１～９、および関連テキストから構築された。

本態様のさらなる側面として、本発明はインテグラルイメージング方式のライトフィールドディスプレイに関して、ライトフィールド画像を作成する方法を提供するものである。１つの例示的方法として、図１６のフローチャートは、３Ｄ仮想シーン１６０３のライトフィールドの作成工程を示しており、ここで、ＩｎＩ－ＨＭＤ光学系１６００は、ディオプトリで測定される鑑賞者からの固定奥行（Ｚ_ＣＤＰ）において、仮想中央奥行き面（ＣＤＰ）１６０１を形成するものである（固定奥行モード・ライトフィールドディスプレイと呼ばれる）。仮想ＣＤＰ１６０１は、可視空間におけるマイクロディスプレイ１６０１の光学共役面である。通常、ＣＤＰ１６０９の奥行に位置する３Ｄ物体において、最高コントラストおよび解像能の３Ｄライトフィールドが再構築できる。

本発明の例示的固定奥行モード方法は、３Ｄ標的シーンのライトフィールド作成のため、鑑賞者の眼の位置に対して、ＩｎＩ－ＨＭＤ光学系１６００の仮想ＣＤＰ１６０１の奥行を決定することから開始される。次に、ＩｘＪピンホールカメラで構成される仮想カメラアレー１６０４のシミュレーションが行われてもよい。アレー１６０４の各仮想カメラは、シミュレーションにおいて、各位置がマイクロレンズアレー（ＭＬＡ）１６０６の対応小型レンズの主光線方向とＩｎＩ－ＨＭＤ光学系１６００の射出瞳との間の交差位置に対応するように、並びに各仮想カメラの視軸がＩｎＩ－ＨＭＤ光学系を通して観察される対応小型レンズの主光線の方向と一致するように、配置される。シミュレーションされた仮想カメラアレー１６０４に対応するのが、ＩｘＪ仮想センサーで構成されるシミュレーションされた仮想カメラセンサーアレー１６０５である。各仮想センサーは、ＫｘＬのピクセル分解能を有していてもよい。仮想カメラの投影面１６１３は、ＩｎＩ－ＨＭＤ光学系１６００の仮想ＣＤＰ１６０１の奥行に一致するように設定され、シミュレートされた仮想カメラアレー１６０４とセンサーアレー１６０５との間の距離（カメラ相当焦点距離（ＥＦＬ）ｆとして周知）は、カメラ／センサーの各対の視野（ＦＯＶ）がＭＬＡ１６０６の各小型レンズのＦＯＶと一致するように設定される。仮想３Ｄシーン１６０３は、その基準として、シミュレーションされた仮想カメラアレー１６０４を用いて計算される。以下では、便宜上、ディオプトリで測定される３Ｄシーン物体の奥行Ｚは、鑑賞者との関係で、あるいは同様にシミュレーションされた仮想カメラアレー１６０４との関係で参照される。仮想カメラ１６０４とセンサー１６０５との各対は、３Ｄシーンの３Ｄライトフィールドにおける計算済み（作成済み）２Ｄ要素画像（ＥＩ）（シミュレーションされた仮想カメラ１６０４で見られる３Ｄシーンとは僅かに異なる視点を表す）に対応している。次に、斯かるＥＩはモザイク化され、マイクロディスプレイ１６０２用に、Ｉ^＊ＫｘＪ^＊Ｌのフル分解能ライトフィールド画像モザイク１６０７が作成されてもよい。（ここで注意されるべきは、要素１６０３、１６０４、１６０５、１６０７は、物理的ディスプレイ１６０２へ伝達されるデータを提供するためにコンピュータでシミュレーションされた非物理的要素であることである。）フル分解能の画像１６０７は、ＩｎＩ－ＨＭＤ光学系１６００のマイクロディスプレイ１６０２を通して表示される。再構築仮想３Ｄシーン１６０８が、鑑賞者の閲覧用として、ＩｎＩ－ＨＭＤ光学系１６００を通して奥行Ｚで再構築される。例えば、現在の例示的実施において、３Ｄコンピュータグラフィックに関する従来のレンダリングパイプライン（Ｆ．Ｓ． Ｈｉｌｌ， Ｊｒ．， Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｕｓｉｎｇ ＯｐｅｎＧＬ， ２ｎｄ Ｅｄｉｔｉｏｎ， Ｐｕｂｌｉｓｈｅｒ： Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９０など）の後、３Ｄ標的シーン１６０３の１５ｘ９要素画像アレー（各々１２５ｘ１２５のカラーピクセルから成る）がシミュレーションされる。斯かるＥＩはモザイク化され、マイクロディスプレイ１６０２用に、１９２０ｘ１０８０のフル分解能画像が作成されてもよい。

ＩｎＩ－ＨＭＤプロトタイプを用いて、ディスプレイシステム７００、１６００のＣＤＰ１６０９が鑑賞者から１ディオプトリの固定距離に設定されるように、同調可能レンズ１２２、Ｓ１０～Ｓ１６の光学倍率を固定する（従来のＩｎＩ方式のＨＭＤのディスプレイ特性をシミュレーションするため）ことにより、実証実験が実行された。（現在の固定奥行モード方法においては同調可能レンズは必要ないので、光学倍率は固定されていた。）固定奥行ＣＤＰモードでライトフィールド光学系１６００の光学的性能を実証するため、鑑賞者またはＩｎＩ－ＨＭＤ光学系の射出瞳から３ディオプトリ、１ディオプトリ、および０．５ディオプトリ離れた位置に３つの奥行き面を有する仮想３Ｄ標的シーン１６０３が作成された（図１７Ａ）。各奥行き面において、異なる空間分解能（スネレンレターの個々のストロークまたはギャップに関して、３、６、および１０分角）および方位（水平および垂直）、並びに奥行インジケータ（「３Ｄ」、「１Ｄ」、および「０．５Ｄ」）を有するスネレンレターＥの３つのグループが作成された。画像は、図１６との関連で上述された方法を用いて作成された。図１７Ａは、マイクロディスプレイ１６０２用に作成された仮想３Ｄシーン１６０１に関する１１ｘ５ＥＩの例示的モザイク１６０７を示しているが、仮想ＣＤＰ１６０１は１ディオプトリに設定された。焦点手がかりの定性評価のため、３つのスポーク分解能標的が、仮想３Ｄシーン１６０３の３つの奥行き面の対応奥行に物理的に配置された。２４４８ｘ２４４８ピクセルの２／３インチカラーセンサーを有するカメラ（図示しない）および１６ｍｍレンズが、鑑賞者の位置に使用された。カメラシステムは、全体的に、ピクセル当たり０．７５分角の空間分解能を示していたが、これはディスプレイ光学系１６００の空間分解能よりも実質的に優れていた。カメラレンズの入射瞳直径は、人間の眼の入射瞳直径に似るように、約４ｍｍに設定された。図１７Ｂは、実世界シーンを重ね合わせた再構築仮想３Ｄシーンの取得画像を示しており、カメラは１ディオプトリに焦点が合わされていた。カメラの焦点面の同じ奥行に置かれた実際の標的（矢印で示されている）および仮想標的（箱型で示されている）だけが正確かつ明瞭に解像されていることが観察できたが、これはＩｎＩ方式のＨＭＤ７００、１６００の機能が鑑賞者に正確な焦点手がかりを提供できることを示している。さらに、１ディオプトリ標的の上の行の最も小さいスネレンレターが解像されており、この能力は、プロトタイプの空間分解能が、設計された公称分解能３分角に一致することを示している。現在の固定レンズ焦点の構成において、カメラの焦点面とは異なる奥行にある仮想標的のＥＩが適切に収束しておらず、図１７Ｂにおいてレターの複数のコピーが取得される原因となっていることがさらに観察できる。図１７Ｃおよび１７Ｄ（それぞれ０．５ディオプトリおよび３ディオプトリに焦点を合わせたカメラを用いて、同じ仮想および実際世界シーンを取得した画像を示す）に示されるように、対応する奥行に合わせるようにカメラの焦点を調整した場合には、斯かる標的は適切に収束可能である。カメラ焦点奥行に対応する標的は、それぞれ箱型の印が付されていた。しかし、ＣＤＰ以外の奥行き面で再構築された標的のコントラストおよび分解能は、従来のＩｎＩ方式のＨＭＤ同様、比較的小さくて限定されたＤＯＦ（自由度）で維持されていたに過ぎず、斯かる標的のＥＩが正確に収束し、カメラの焦点面と同じ奥行に位置していたとしても、奥行き面を超えると甚だしく質を低下させた。例えば、図１７Ｃの取得画像は６分角までに対応するレターを解像できるが、図１７Ｄの取得画像は１０分角に対応するレターしか解像できず、ＥＩの収束は正確でなくなり始める。

本発明の同調可能レンズ１８１１、１２２（図１８、７Ａ）の支援により、ＣＤＰ１８０９の奥行は動的に調節可能である。斯かる機能により、本発明のシステム１８００は２つの異なるモード、すなわち可変奥行モード（図１８、１９Ａ～１９Ｂ）および時分割多重化方式の複数奥行モード（図２０、２１Ａ～２１Ｂ）で操作可能である。可変奥行モードにおいて、ＣＤＰ１８０９の奥行は、表示コンテンツの平均奥行または対象の奥行(ＤＯＩ：ｄｅｐｔｈ ｏｆ ｉｎｔｅｒｅｓｔ)に従って、適応的に変化させることが可能である。複数奥行モードにおいては、同調可能レンズ１８１０、１２２の倍率は、いくつかの個別のＣＤＰ奥行に対応するいくつかの状態間で迅速に切り替えが可能であり、ライトフィールドレンダリングは同期状態において同じ速度で更新されるものであり、切り替えがフリッカーフリーの速度で生じる場合には、異なる奥行のコンテンツが時分割多重化され、拡張体積として観察される。

可変奥行モードにおいて３Ｄ仮想シーンのライトフィールドをレンダリングする方法が、図１８のフローチャートに示されている。可変奥行モードは、ディオプトリで測定される３Ｄ標的シーン１６０３の対象の奥行Ｚ_ＤＯＩを決定する（鑑賞者の関心点で決定されてもよいし、コンピュータアルゴリズムで特定されてもよい）ことにより開始される。鑑賞者の関心点は、ＨＭＤシステムで利用可能であれば視線追跡装置で決定されてもよいし、コンピュータマウスのような他のユーザ入力装置で決定されてもよい。あるいは、視線追跡装置や他の入力装置に依存する代わりに、コンピュータアルゴリズムが、関連付けられた奥行マップから得られる仮想３Ｄの平均奥行に基づいて、あるいは画像処理アルゴリズムによって検出される仮想３Ｄシーンの特徴点に基づいて、標的シーンの対象の奥行を特定してもよい。シーン１６０３の対象の奥行が決定されると、制御装置１８１２（ＰＣなど）が電気制御信号Ｖを可変焦点リレー群１８１０のＶＦＥ素子に適用し、リレーされた中間ミニチュア３Ｄシーン１８１５とＩｎＩ－ＨＭＤ光学系１８００との間の距離Ｚ_ＲＣＤＰ（Ｖ）（ディオプトリで測定される）を適応的に変化させる。その結果、ディオプトリで測定されるＩｎＩ－ＨＭＤ光学系１８００の仮想ＣＤＰ１８０１の奥行Ｚ_ＣＤＰ（Ｖ）が、標的シーン１６０３の対象の奥行に一致するように適応的に設定される。シミュレーションされた仮想カメラアレー１６０４および仮想カメラセンサーアレー１６０５は、カメラ投影面１８１３が３Ｄシーン１６０３の対象の奥行と一致していると言う点を除けば、図１６に示される固定奥行と類似のやり方で構成される。レンダリング方法の残りの部分は、図１６との関連で考察された方法と同一である。

可変奥行モードを実証するため、ディスプレイ光学系１８００のＣＤＰ１８０９が３ディオプトリの奥行へ設定されるように、同調可能レンズ１８１１の光学倍率が変更された。仮想カメラおよび仮想センサーアレー１６０４、１６０５は、ディスプレイ光学系１８００の仮想ＣＤＰ１８０１の調整奥行にマッチするように適合された。次に、ＥＩは３ディオプトリおよび０．５ディオプトリの標的用に再レンダリングされ、カメラ投影面は３ディオプトリの奥行にマッチするように調整された。図１９Ａ、１９ＢはＨＭＤを通して取得された画像を示しており、鑑賞者の位置にあるカメラ（図示しない）はそれぞれ３ディオプトリおよび０．５ディオプトリに焦点を合わせている。システム１８００は、同調可能レンズ１８１１の光学倍率を正確に調整することにより、並びにマイクロディスプレイ１６０２にコンテンツを再生することにより、３ディオプトリの奥行に位置する標的（図１９Ａ）並びに図１７Ｂにおける１ディオプトリに位置する標的用に、３分角と同レベルの空間分解能および画質を維持することができた。しかし、可変奥行モードは、ディスプレイハードウェアのＣＤＰによって示された特定の奥行の近傍の標的のみに高分解度ディスプレイを達成する。図１９Ｂに示されるように、０．５ディオプトリの奥行の標的は、カメラが斯かる０．５ディオプトリの標的の奥行に焦点を合わせている場合でさえ、所定のＣＤＰからさらに離れていると言う理由で、図１７Ｃの場合よりもさらにひどく低下した分解能を示す。

本態様のさらなる観点として、３Ｄ仮想シーン２００３のライトフィールドを作成するための本発明による複数奥行モード方法が、図２０のフローチャートに示されている。複数奥行モードにおいて、ディオプトリで測定される視軸に沿って分布された３Ｄ標的シーン２００３に関して、我々はまず、対象の複数の奥行Ｚ_ＤＯＩ（ｎ）を選択した（ここで、Ｚ_ＤＯＩ（１）は鑑賞者にディオプトリで最も近い奥行き面２００３－１と画定され、Ｚ_ＤＯＩ（Ｎ）は最も遠い奥行き面２００３－Ｎと画定される）。対象の複数の奥行の配置は複数の要因の制約を受ける可能性がある。最も重要な要因は、角分解能要求、被写界深度要求、眼の調節エラーにおける許容閾値、および縦分解能要求である。対象の奥行選択に影響を及ぼす可能性のある他の要因には、可変焦点ＶＦＥ１８１１が許容する奥行範囲、および３Ｄシーン２００３の奥行分布である。奥行き面の全数Ｎはハードウェア設計によって制約を受ける可能性がある。例えば、対象の異なる奥行が時系列的に作成される時分割多重化の実施においては、ＶＦＥ１８１１、マイクロディスプレイ１６０２、およびグラフィックハードウェアの更新フレームレートは以下の式で与えられる。

ここで、ｆ_ｃはフリッカーフリービューに要求される閾値リフレッシュレートであり、ｆ_ＶＦＥは光学倍率変更用の電気信号に対するＶＦＥ１８１１の最大応答速度であり、ｆ_{ｄｉｓｐｌａｙ}はマイクロディスプレイ１６０２の最大リフレッシュレートであり、ｆ_ｃはグラフィックレンダリングハードウェアの最大フレームレートである。ハードウェアが複数の奥行き面を同時に作成できる条件で空間多重化が実施できるならば、奥行き面の数は増大可能である。配置および対象の奥行の数が決定されたならば、レンダリング方法の残りの部分は以下のように実施できる。対象の選択された奥行Ｚ_ＤＯＩ（ｎ）（ｎ＝１...Ｎ）の各々に関して、制御装置１８１２は、可変焦点リレー群１８１０のＶＦＥ素子１８１１へ電気制御信号Ｖ（ｎ）を適用し、その結果、リレーされた中間ミニチュア３Ｄシーン２１０５とＩｎＩ－ＨＭＤ光学系１８００との間の距離Ｚ_ＲＩＭ（Ｖ_ｎ）が適応的に変更される。その結果、ＩｎＩ－ＨＭＤ光学系１８００の仮想ＣＤＰ２００１の奥行は、対象の与えられた奥行Ｚ_ＤＯＩ（ｎ）（ｎ＝１...Ｎ）にそれが一致するように適応的に設定される。シミュレーションされた仮想カメラアレー１６０４および仮想カメラセンサーアレー１６０５は、図１８に記載されているのと類似の方法で、すなわち例えばカメラ投影面１８１３が対象の奥行Ｚ_ＤＯＩ（ｎ）（ｎ＝１...Ｎ）２００３－１、２００３－Ｎに一致するように、構成されてもよい。対象の与えられた奥行に関して３Ｄシーン２００３の２Ｄ要素画像をレンダリングするため、３Ｄシーン２００３の奥行マップが作成され、その結果、鑑賞者との関係でシーン物体の奥行情報が取得される。我々は、全３Ｄシーン２００３の２Ｄ要素画像をレンダリングする代わりに、以下の式で画定される奥行範囲に位置する２Ｄ要素画像だけをレンダリングするものである。

ここで、Ｚ_ＤＯＩ（ｎ－１）－Ｚ_ＤＯＩ（ｉｎ）およびＺ_ＤＯＩ（ｎ－１）－Ｚ_ＤＯＩ（ｎｉ）は、対象の与えられた奥行とその隣接奥行き面との間のディオプトリ間隔を画定する。Ｚ_ＤＯＩ（ｎ－１）は、ｎ＝１の場合、ディスプレイ１６０２によってレンダリングされる最も近い奥行限界を画定し、Ｚ_ＤＯＩ（ｎ＋１）は、ｎ＝Ｎの場合、ディスプレイ１６０２によってレンダリングされる最も遠い奥行限界を画定する。レンダリングされた２Ｄ要素画像は、固定奥行モードまたは可変奥行モードの場合と同じ方法で一緒にモザイク化され、その結果、フル分解能ライトフィールド画像の第ｎ番フレームが作成され、それが次に更新のためマイクロディスプレイ１６０２へ送られる。同じレンダリング方法が対象の次の奥行でも繰り返され、Ｎ奥行き面の全てがレンダリングされるまでそれが継続される。上述の通り、Ｎ奥行き面の全てが、時系列的方法、同時進行方法、あるいは斯かる２つの方法のハイブリッドでレンダリングされてもよい。

図２０の複数奥行モードを実証するため、我々は、２つの時間多重化奥行き面（１つは３ディオプトリに配置し、もう１つは０．５ディオプトリに配置）を実施することにした。ディスプレイ１８００の仮想ＣＤＰ２００１が３ディオプトリと０．５ディオプトリに設定されるように、同調可能レンズＶＦＥ１８１１の光学倍率が、２つの異なる信号Ｖ１およびＶ２によって電気的に連続的に制御された。２つの仮想ＣＤＰ配置の各々において、我々は、３ディオプトリと０．５ディオプトリに配置された２つの分解能標的を含む標的シーン２００３用のＥＩを再レンダリングした。この簡単な例の場合、０．５ディオプトリＣＤＰ配置用にレンダリングされたＥＩは、０．５ディオプトリに配置された標的物体のみをレンダリングし、同様に、３ディオプトリＣＤＰ配置用にレンダリングされたＥＩは、３ディオプトリに配置された標的物体のみをレンダリングした。個別にレンダリングされたＥＩは約３０Ｈｚのフレームレートで時間多重化方法によって表示され、同期状態においては、ディスプレイ１６０２のＣＤＰ２００９は、３ディオプトリの奥行と０．５ディオプトリの奥行との間で迅速に切り替えられた。３０Ｈｚのリフレックスレートが用いられたのは、ＯＬＥＤマイクロディスプレイ１６０２のリフレッシュレートが最高６０Ｈｚという制限の故である。図２１Ａ、２１Ｂは、カメラ（図示しない）が鑑賞者の場所に置かれ、３ディオプトリと０．５ディオプトリの奥行にそれぞれ焦点を合わせているＨＭＤによって取得された画像を示している。仮想ディスプレイに沿って、２つのスポーク分解能標的が、レターの対応奥行に物理的に配置された。図２１Ａに示されるように、カメラが３ディオプトリの奥行近くに焦点を合わせた場合、奥行近くに置かれた仮想物体および実物の両方（左側のレターおよびスポーク）において焦点がしっかり合っているように見えるが、遠い物体（右側のレターおよびスポーク）は、予想通り、焦点が合っておらず、顕著にぼやけている。図２１Ｂは、カメラの焦点が０．５ディオプトリの遠い奥行に切り替えられた場合を示している。遠い奥行にあるレターと近い奥行にあるレターの両方共、カメラの対応焦点において相対的に明瞭であることがはっきり観察できる。二重奥行モードでディスプレイを駆動することにより、システムは、約３ディオプトリもの大きい奥行分離を有して、標的の高分解能ディスプレイを達成し、しかも実際の対応物に匹敵する焦点手がかりをレンダリングした。

本発明のＩｎＩ方式のライトフィールドレンダリング方法に関する可変奥行モードおよび複数奥行モードは、ＣＤＰ１８０９、２００９の奥行が、可変奥行モードにおいて、対象の奥行に従って適応的に変化するという特徴、あるいは複数奥行モードにおいて、いくつかの個別奥行間で急速に切り替えられるという特徴を共有している。しかし、その視覚効果および焦点手がかりに関する意味合いは顕著に異なっている。例えば、図１９に示されるように、ＩｎＩ－ＨＭＤの可変奥行モード（図１８）において、ＣＤＰ１８０９から離れたコンテンツは、潜在的に分解能が低下してはいるが、ライトフィールドレンダリングの性質故に、正確なぼやけキューを有してレンダリングされるものである。一方、従来の可変焦点ＨＭＤにおいては、焦点面から離れたコンテンツは、人工的にぼやけさせない限り焦点奥行上のコンテンツと同じ高分解能を有してはいるが、その２Ｄレンダリングの性質上、適切な焦点手がかりを示さない。複数奥行モード（図２０）においては、従来の多焦点面ＨＭＤのアプローチと比較した場合の重要な利点は、同じ奥行範囲において、正確な焦点手がかりを作成するのに必要な奥行切り替えの数がはるかに少ないことであるが、多焦点システムにおいては、物理的焦点面から離れたコンテンツ用に焦点手がかりを作成する場合、奥行ブレンディングが必要となる。ＩｎＩ方式のライトフィールドレンダリングにおいては、３ディオプトリの奥行範囲に必要なのは２つの焦点奥行だけであり、さらにこの場合に作成される焦点手がかりはより正確で連続的でもある。

本発明の斯かる利点および他の利点は、上記の明細書から当業者には明白であろう。従って、本発明の広範な発明概念から逸脱することなく、変更または修正が上述の実施形態においてなされ得ることを当業者は認識するであろう。従って、本発明は本明細書記載の特定の実施形態に限定されるものではなく、全ての変更および修正が、特許請求の範囲に説明される本発明の範囲内および要旨に含まれるように意図されているものであることは理解されるべきである。

Claims (9)

1. インテグラルイメージング方式のライトフィールドディスプレイを使用してヘッドマウントディスプレイ（ＨＭＤ）において３Ｄシーンのライトフィールド画像をレンダリングする方法であって、
   マイクロディスプレイと小型レンズからなるマイクロレンズアレイとを有するインテグラルイメージング（ＩｎＩ）光学素子を提供する工程であって、前記インテグラルイメージング（ＩｎＩ）光学素子は当該光学素子に関連する中央奥行き面（ＣＤＰ）を有するものである、前記インテグラルイメージング（ＩｎＩ）光学素子を提供する工程と、
   前記インテグラルイメージング（ＩｎＩ）光学素子と光学的に連通する接眼レンズを提供する工程であって、前記接眼レンズおよび前記インテグラルイメージング（ＩｎＩ）光学素子によりインテグラルイメージング方式のヘッドマウントディスプレイ（ＩｎＩ－ＨＭＤ）光学系が提供されるものである、前記接眼レンズを提供する工程と、
   シミュレーションされた仮想カメラアレイを使用して前記３Ｄシーンをサンプリングする工程であって、それにより、各カメラによって前記３Ｄシーンの各対応部分が取得され、複数の要素画像が生成されるものであり、前記複数の要素画像は集合的に、前記マイクロディスプレイ上に表示される画像データを構成するものである、前記３Ｄシーンをサンプリングする工程と、
   前記画像データを前記マイクロディスプレイ上に表示する工程と
   を有し、
   前記３Ｄシーンをサンプリングする工程は、各仮想カメラの位置が前記マイクロレンズアレイの対応小型レンズの主光線方向と前記インテグラルイメージング方式のヘッドマウントディスプレイ（ＩｎＩ－ＨＭＤ）光学系の射出瞳との交差位置に対応するように各仮想カメラを位置付ける工程を有するものである、
   方法。
2. 請求項１記載の方法において、
   可変焦点素子を有する前記インテグラルイメージング（ＩｎＩ）光学素子を提供する工程と、
   前記画像データを前記マイクロディスプレイ上に表示する工程は、前記３Ｄシーンの異なる視点を表す要素画像を有する前記画像データを表示する工程を含むものである、前記表示する工程と、
   前記可変焦点素子により、リレーされた前記３Ｄシーンの中間像を提供する工程であって、前記中間像は、中間中央奥行き面（ＣＤＰ）を有するものである、前記中間像を提供する工程と、
   前記中間中央奥行き面（ＣＤＰ）の位置を調整するために前記可変焦点素子の焦点距離を設定する工程と
   を有する、方法。
3. 請求項１または２記載の方法において、前記インテグラルイメージング（ＩｎＩ）光学素子は、視覚空間において前記マイクロディスプレイと光学的共役面にある仮想中央奥行き面（ＣＤＰ）を生成するように構成されているものであり、
   前記３Ｄシーンは関心対象の奥行（ＤＯＩ：ｄｅｐｔｈ ｏｆ ｉｎｔｅｒｅｓｔ）を有し、当該奥行を通して視軸に沿って延在するものであり、
   前記３Ｄシーンは関心対象の平均奥行（ＤＯＩ）を有し、
   当該方法は、前記仮想中央奥行き面（ＣＤＰ）の位置が前記３Ｄシーンの前記関心対象の平均奥行と一致するように前記可変焦点素子の焦点距離を設定する工程を有するものである、
   方法。
4. 請求項１または２記載の方法において、前記インテグラルイメージング（ＩｎＩ）光学素子は、視覚空間において前記マイクロディスプレイと光学的共役面にある仮想中央奥行き面（ＣＤＰ）を生成するように構成されているものであり、
   前記３Ｄシーンは関心対象の奥行（ＤＯＩ）を有し、当該奥行を通して視軸に沿って延在するものであり、当該方法は、前記３Ｄシーンの前記関心対象の奥行（ＤＯＩ）内において視軸に沿って配置された複数の奥行を選択する工程と、
   前記複数の奥行のうち選択された各奥行について、各仮想中央奥行き面（ＣＤＰ）の位置が当該選択された各奥行と一致するように前記可変焦点素子の焦点距離を設定する工程であって、それにより、前記複数の奥行のうち選択された各奥行と一致する、複数の仮想中央奥行き面（ＣＤＰ）のうち選択された各仮想中央奥行き面（ＣＤＰ）が生成されるものである、
   方法。
5. 請求項４記載の方法において、前記複数の奥行のうち選択された各奥行について、当該選択された各奥行に関連付けられた前記３Ｄシーンの所定の部分を前記マイクロディスプレイ上に連続的に表示する工程を有し、前記可変焦点素子の焦点距離を設定する工程は、前記マイクロディスプレイ上に連続的に表示するタイミングと同期しているものである、方法。
6. 請求項２～５のいずれか１つに記載の方法において、前記インテグラルイメージング（ＩｎＩ）光学素子はリレー群を有し、前記可変焦点素子は当該リレー群内に配置されているものであり、
   前記リレー群は、前記マイクロディスプレイによって生成されたライトフィールドを受け取って、選択された３Ｄシーンの光軸上に前記３Ｄシーンの中間像を生成するように構成されているものであり、
   前記リレー群は、前記３Ｄシーンの中間像の光軸に沿って位置調整されるように構成されているものである、
   方法。
7. 請求項６記載の方法において、前記マイクロディスプレイは、前記光学系の光軸に沿った選択的な位置において前記３Ｄシーンのライトフィールドを生成するように構成されているものであり、
   前記リレー群は、前記光学系の光軸に沿った前記選択された位置が当該リレー群と光学的に共役となる前記光軸上の所定の位置に配置されるものである、
   方法。
8. 請求項１記載の方法において、各シミュレーションされた仮想カメラアレイの視軸は、前記インテグラルイメージング（ＩｎＩ）光学素子を通して観察される対応小型レンズの主光線の方向と一致するものである、方法。
9. 請求項８記載の方法において、前記３Ｄシーンをサンプリングする工程は、シミュレーションされた仮想センサーアレイを提供する工程を有し、
   各仮想センサーは、前記仮想カメラのうち１の選択された対応仮想カメラと光学的に連通して、シミュレーションされた仮想カメラ／センサーの対を提供するものであり、
   前記カメラ／センサーの各対の視野が前記マイクロレンズアレイの対応する各小型レンズの視野と一致するように前記カメラ／センサーの各対は離間して配置されるものである、
   方法。

Images