JP7381482B2 - ディスプレイシステムのための深度ベースの中心窩化レンダリング - Google Patents

ディスプレイシステムのための深度ベースの中心窩化レンダリング Download PDF

Info

Publication number
JP7381482B2
JP7381482B2 JP2020548949A JP2020548949A JP7381482B2 JP 7381482 B2 JP7381482 B2 JP 7381482B2 JP 2020548949 A JP2020548949 A JP 2020548949A JP 2020548949 A JP2020548949 A JP 2020548949A JP 7381482 B2 JP7381482 B2 JP 7381482B2
Authority
JP
Japan
Prior art keywords
resolution
user
virtual object
light
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548949A
Other languages
English (en)
Other versions
JP2021518679A (ja
JPWO2019178566A5 (ja
Inventor
ヴァイブハブ マトゥール，
ライオネル アーネスト エドウィン，
シャオヤン ジャン，
ビョルン ニコラース セルヴァティウス ブラスカンプ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021518679A publication Critical patent/JP2021518679A/ja
Publication of JPWO2019178566A5 publication Critical patent/JPWO2019178566A5/ja
Priority to JP2023129981A priority Critical patent/JP2023138738A/ja
Application granted granted Critical
Publication of JP7381482B2 publication Critical patent/JP7381482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T5/70—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0606—Manual adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Description

（優先権主張）
本願は、その全体が、参照することによって本明細書に組み込まれる、２０１８年３月１６日に出願された、米国仮出願第６２／６４４，３６６号の優先権の利益を主張する。
（参照による組み込み）
本願は、参照することによって、以下の特許出願および刊行物、すなわち、２０１４年１１月２７日に出願され、２０１５年７月２３日に米国特許公開第２０１５／０２０５１２６号として公開された、米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願され、２０１５年１０月２２日に米国特許公開第２０１５／０３０２６５２号として公開された、米国特許出願第１４／６９０，４０１号、２０１４年３月１４日に出願された、２０１６年８月１６日に発行された現米国特許第９，４１７，４５２号である、米国特許出願第１４／２１２，９６１号、２０１４年７月１４日に出願され、２０１５年１０月２９日に米国特許公開第２０１５／０３０９２６３号として公開された、米国特許出願第１４／３３１，２１８号、２０１８年２月２２日に出願された、米国特許出願第１５／９０２，９２７号、２０１７年３月２２日に出願された、米国特許仮出願第６２／４７５，０１２号、および２０１７年８月１日に出願された、米国特許仮出願第６２／５３９，９３４号のそれぞれの全体を組み込む。
本開示は、拡張現実結像および可視化システムを含む、ディスプレイシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、すなわち、そのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」シナリオは、一種のＡＲシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオでは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、ＡＲ画像コンテンツを含んでもよい。
図１を参照すると、拡張現実場面１０が、描写されている。ＡＲ技術のユーザには、人々、木々、背景における建物を特徴とする、実世界公園状設定２０と、コンクリートプラットフォーム３０とが見える。ユーザはまた、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素５０、４０は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＡＲ技術の生産は、困難である。
本明細書に開示されるシステムおよび方法は、ＡＲまたはＶＲ技術に関連する種々の課題に対処する。
いくつかの実施形態によると、システムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。動作は、１つ以上のセンサを介して検出された情報に基づいて、ユーザの眼移動を監視するステップを含む。ユーザの眼が固視している、固視点が、眼移動に基づいて決定され、固視点は、ユーザの視野内の３次元場所である。動作は、１つ以上の仮想オブジェクトと関連付けられた場所情報を取得し、ユーザに、仮想オブジェクトの３次元位置を示す場所情報を提示するステップを含む。動作はまた、少なくとも部分的に、少なくとも１つの仮想オブジェクトと固視点の近接度に基づいて、少なくとも１つの仮想オブジェクトの分解能を調節するステップを含む。動作はまた、ディスプレイを介して、仮想オブジェクトのユーザへの提示を生じさせるステップを含み、少なくとも１つの仮想オブジェクトは、調節された分解能に従ってレンダリングされる。
いくつかの実施形態によると、ディスプレイシステムは、仮想コンテンツをユーザに提示するように構成される、ディスプレイデバイスと、１つ以上のプロセッサと、システムによって実行されると、システムに、動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。動作は、ユーザの眼移動と関連付けられた情報を監視するステップを含む。ディスプレイデバイスのディスプレイ錐台内の固視点が、監視される情報に基づいて決定され、固視点は、ユーザの眼によって固視されている３次元場所を示す。動作はまた、決定された固視点に基づいて、仮想コンテンツをディスプレイ錐台内の３次元場所に提示するステップを含み、仮想コンテンツは、固視点からの仮想コンテンツの近接度に基づいて、分解能において調節される。
ある他の実施形態によると、方法は、１つ以上のセンサを介して検出された情報に基づいて、ユーザの眼移動を監視するステップを含む。ユーザの眼が固視している、固視点が、眼移動に基づいて決定され、固視点は、ユーザの視野内の３次元場所である。ユーザに提示するための１つ以上の仮想オブジェクトと関連付けられた場所情報が、取得され、場所情報は、仮想オブジェクトの３次元位置を示す。少なくとも１つの仮想オブジェクトの分解能は、少なくとも部分的に、少なくとも１つの仮想オブジェクトと固視点の近接度に基づいて、調節される。本方法はまた、ディスプレイを介して、仮想オブジェクトのユーザへの提示を生じさせるステップを含み、少なくとも１つの仮想オブジェクトは、調節された分解能に従ってレンダリングされる。
いくつかの実施形態によると、ディスプレイシステムは、ユーザの頭部上に搭載するように構成される、フレームと、光を出力し、画像を形成するように構成される、光変調システムと、フレームに取り付けられ、光変調システムからの光を受光し、１つ以上の導波管の表面を横断して光を出力するように構成される、１つ以上の導波管とを備える。本システムはまた、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、種々の動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。動作は、ユーザの眼の網膜に到達する光の量を決定するステップと、網膜に到達する光の量に基づいて、ユーザに提示されるべき仮想コンテンツの分解能を調節するステップとを含む。
ある他の実施形態によると、ディスプレイシステムは、１つ以上のプロセッサと、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。命令が、１つ以上のプロセッサによって実行されると、それらは、１つ以上のプロセッサに、種々の動作を実施させる。動作は、ディスプレイシステムのユーザの眼の網膜に到達する光の量を決定するステップと、網膜に到達する光の量に基づいて、ユーザに提示されるべき仮想コンテンツの分解能を調節するステップとを含む。
いくつかの実施形態によると、方法は、１つ以上のプロセッサと、頭部搭載可能ディスプレイとを備える、ディスプレイシステムによって実施される。本方法は、ディスプレイシステムのユーザの眼の網膜に到達する光の量を決定するステップと、網膜に到達する光の量に基づいて、ユーザに提示されるべき仮想コンテンツの分解能を調節するステップと含む。
ある他の実施形態によると、ディスプレイシステムは、ユーザの頭部上に搭載するように構成される、フレームと、光変調システムと、１つ以上の導波管と、１つ以上のプロセッサと、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。光変調システムは、光を出力し、画像を形成するように構成される。１つ以上の導波管は、フレームに取り付けられ、光変調システムからの光を受光し、１つ以上の導波管の表面を横断して光を出力するように構成される。１つ以上のコンピュータ記憶媒体は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、種々の動作を実施させる、命令を記憶する。動作は、ユーザ固視点からの仮想コンテンツの近接度および原色画像の色に基づいて、仮想コンテンツを形成する原色画像の分解能を調節するステップを含む。原色画像のうちの少なくとも１つは、別の色の原色画像と分解能において異なる。
さらに他の実施形態によると、ディスプレイシステムは、１つ以上のプロセッサと、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。命令が、１つ以上のプロセッサによって実行されると、それらは、１つ以上のプロセッサに、種々の動作を実施させる。動作は、ユーザ固視点からの仮想コンテンツの近接度および原色画像の色に基づいて、仮想コンテンツを形成する原色画像の分解能を調節するステップを含み、原色画像のうちの少なくとも１つは、別の色の原色画像と分解能において異なる。
ある他の実施形態によると、方法は、１つ以上のプロセッサと、頭部搭載可能ディスプレイとを備える、ディスプレイシステムによって実施される。本方法は、ユーザ固視点からの仮想コンテンツの近接度および原色画像の色に基づいて、仮想コンテンツを形成する原色画像の分解能を調節するステップを含み、原色画像のうちの少なくとも１つは、別の色の原色画像と分解能において異なる。
さらに他の実施形態によると、ディスプレイシステムは、第１の画像ストリームおよび第２の画像ストリームを提供するための空間光変調器を備える、画像源と、視認アセンブリと、画像源と通信する、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、種々の動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。視認アセンブリは、第１および第２の画像ストリームを画像源から受信し、第１および第２の画像ストリームをユーザに出力するための光誘導光学系を備える。１つ以上のプロセッサによって実施される種々の動作は、画像源に、第１の画像ストリームを視認アセンブリに出力させるステップであって、第１の画像ストリームによって形成される画像は、第１のピクセル密度を有する、ステップと、画像源に、第２の画像ストリームを視認アセンブリに出力させるステップとを含む。第２の画像ストリームによって形成される画像は、第１のピクセル密度を上回る、第２のピクセル密度を有し、第１の画像ストリームによって提供される画像の部分に対応する。第２の画像ストリームによって形成される画像は、第１の画像ストリームによって提供される視野の対応する部分を覆う。
いくつかの実施形態によると、ウェアラブルディスプレイシステムは、円偏光掌性依存拡大を伴う、無限焦点拡大レンズを含んでもよい。無限焦点拡大レンズは、第１の固定焦点長レンズ要素と、入射円偏光の第１の掌性のために正の屈折力を呈し、入射円偏光の第２の掌性のために負の屈折力を呈する、第１の幾何学的位相レンズと、第２の幾何学的位相レンズとを含んでもよい。
ある他の実施形態によると、ウェアラブル画像プロジェクタのための光学サブシステムは、偏光選択的反射体と、偏光選択的反射体を中心として位置付けられる、４つのレンズ要素のセットとを含んでもよい。
ある他の実施形態によると、画像をユーザの眼に投影するためのディスプレイシステムは、接眼レンズを含んでもよい。接眼レンズは、導波管と、導波管に光学的に結合される、内部結合格子とを含んでもよい。ディスプレイシステムはさらに、第１の画像ストリームと関連付けられた第１の光ビームを投影するように構成される、第１の画像源を含んでもよい。第１の画像ストリームは、第１の視野を有してもよく、内部結合格子の第１の表面上に入射してもよい。第１の光ビームの一部は、第１の画像ストリームをユーザの眼に対して固定位置に位置付けるために、内部結合格子によって導波管の中に結合されてもよい。ディスプレイシステムはさらに、第２の画像ストリームと関連付けられた第２の光ビームを投影するように構成される、第２の画像源を含んでもよい。第２の画像ストリームは、第１の視野より狭い、第２の視野を有してもよい。ディスプレイシステムはさらに、第２の光ビームが、その第１の表面と対照的に、内部結合格子の第２の表面上に入射するように、第２の光ビームを受光し、反射させるように構成される、走査ミラーを含んでもよい。第２の光ビームの一部は、内部結合格子によって導波管の中に結合されてもよい。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含んでもよい。制御回路は、第２の画像ストリームの位置がユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されてもよい。
ある他の実施形態によると、画像をユーザの眼に投影するためのディスプレイシステムは、接眼レンズを含んでもよい。接眼レンズは、導波管と、導波管に光学的に結合される、内部結合格子とを含んでもよい。ディスプレイシステムはさらに、第１の画像ストリームと関連付けられた第１の光ビームを第１の偏光において、および第２の画像ストリームと関連付けられた第２の光ビームを第１の偏光と異なる第２の偏光において投影するように構成される、画像源を含んでもよい。第１の画像ストリームは、第１の視野を有してもよく、第２の画像ストリームは、第１の視野より狭い、第２の視野を有してもよい。第１の光ビームおよび第２の光ビームは、多重化されてもよい。ディスプレイシステムはさらに、第１の光ビームを受光し、第１の光学経路に沿って反射させ、第２の光ビームを受光し、第２の光学経路に沿って透過させるように構成される、偏光ビームスプリッタを含んでもよい。ディスプレイシステムはさらに、第１の光ビームが内部結合格子の第１の表面上に入射するように、第１の光学経路に沿って位置付けられ、第１の光ビームを受光し、反射させるように構成される、第１の光学反射体を含んでもよい。第１の光ビームの一部は、第１の画像ストリームをユーザの眼に対して固定位置に位置付けるために、内部結合格子によって導波管の中に結合されてもよい。ディスプレイシステムはさらに、第２の光学経路に沿って配置され、第２の光ビームを受光し、反射させるように構成される、走査ミラーと、走査ミラーの下流の第２の光学経路に沿って位置付けられる、第２の光学反射体とを含んでもよい。第２の光学反射体は、第２の光ビームがその第１の表面に対向する内部結合格子の第２の表面上に入射するように、第２の光ビームを受光し、反射させるように構成されてもよい。第２の光ビームの一部は、内部結合格子によって導波管の中に結合されてもよい。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含んでもよい。制御回路は、第２の画像ストリームの位置がユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されてもよい。
ある他の実施形態によると、画像をユーザの眼に投影するためのディスプレイシステムは、導波管と、第１の画像ストリームと関連付けられた第１の光ビームを第１の偏光において、および第２の画像ストリームと関連付けられた第２の光ビームを第１の偏光と異なる第２の偏光において投影するように構成される、画像源とを含んでもよい。第１の画像ストリームは、第１の視野を有し、第２の画像ストリームは、第１の視野より狭い、第２の視野を有してもよい。第１の光ビームおよび第２の光ビームは、多重化されてもよい。ディスプレイシステムはさらに、第１の光ビームを受光し、第１の光学経路に沿って反射させ、第２の光ビームを受光し、第２の光学経路に沿って透過させるように構成される、偏光ビームスプリッタを含んでもよい。ディスプレイシステムはさらに、第１の光学経路に沿って、かつ導波管の第１の表面に隣接して位置付けられる、第１の内部結合プリズムを含んでもよい。第１の内部結合プリズムは、第１の画像ストリームをユーザの眼に対して固定位置に位置付けるために、第１の光ビームの一部を導波管の中に結合するように構成されてもよい。ディスプレイシステムはさらに、第２の光学経路に沿って配置され、第２の光ビームを受光し、反射させるように構成される、走査ミラーを含んでもよい。ディスプレイシステムはさらに、第２の光学経路に沿って、かつ走査ミラーの下流において、導波管の第１の表面と対照的に、導波管の第２の表面に隣接して位置付けられる、第２の内部結合プリズムを含んでもよい。第２の内部結合プリズムは、第２の光ビームの一部を導波管の中に結合するように構成されてもよい。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含んでもよい。制御回路は、第２の画像ストリームの位置がユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されてもよい。
実施形態によると、画像をユーザの眼に投影するためのディスプレイシステムは、画像源を含む。画像源は、第１の画像ストリームと関連付けられた第１の光ビームを第１の偏光において、および第２の画像ストリームと関連付けられた第２の光ビームを第１の偏光と異なる第２の偏光において投影するように構成されることができる。第１の画像ストリームは、第１の視野を有することができ、第２の画像ストリームは、第１の視野より狭い、第２の視野を有することができる。第１の光ビームおよび第２の光ビームは、多重化されることができる。ディスプレイシステムはさらに、偏光ビームスプリッタを含むことができる。偏光ビームスプリッタは、第１の画像ストリームをユーザの眼に対して固定位置に位置付けるために、第１の光ビームを受光し、第１の光学経路に沿って視認アセンブリに向かって反射させ、第２の光ビームを受光し、第２の光学経路に沿って透過させるように構成されることができる。ディスプレイシステムはさらに、第２の光学経路に沿って配置され、第２の光ビームを受光し、視認アセンブリに向かって反射させるように構成される、走査ミラーを含むことができる。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含むことができる。制御回路は、第２の画像ストリームの位置がユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されることができる。
別の実施形態によると、画像をユーザの眼に投影するためのディスプレイシステムは、画像源を含む。画像源は、第１の画像ストリームと関連付けられた第１の光ビームおよび第２の画像ストリームと関連付けられた第２の光ビームを投影するように構成されることができる。第１の画像ストリームは、第１の視野を有することができ、第２の画像ストリームは、第１の視野より狭い、第２の視野を有することができる。第１の光ビームおよび第２の光ビームは、多重化されることができる。ディスプレイシステムはさらに、第１の画像ストリームおよび第２の画像ストリームを投影するために、第１の光ビームおよび第２の光ビームを受光し、視認アセンブリに向かって反射させるように構成される、走査ミラーを含むことができる。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含むことができる。制御回路は、第１の画像ストリームの位置および第２の画像ストリームの位置がユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されることができる。ディスプレイシステムはさらに、第１の光ビームおよび第２の光ビームの光学経路内に配置される、切替可能な光学要素を含むことができる。切替可能な光学要素は、第１の光ビームが第１の角度拡大によって角度的に拡大されるように、第１の光ビームのための第１の状態に切り替えられ、第２の光ビームが第１の角度拡大未満である第２の角度拡大によって角度的に増幅されるように、第２の光ビームのための第２の状態に切り替えられるように構成されることができる。
いくつかの実施形態では、ディスプレイシステムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える。動作は、ユーザの眼の固視点を決定するステップと、ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得するステップと、第１の仮想オブジェクトの分解能修正パラメータを取得するステップと、第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップであって、特定の分解能は、固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ステップと、ディスプレイデバイスを介して、識別された分解能でレンダリングされた第１の仮想オブジェクトのユーザへの提示を生じさせるステップとを含む。
いくつかの実施形態では、コンピュータ実装方法が、提供される。本方法は、１つ以上のプロセッサのディスプレイシステムによって実施される。本方法は、ユーザの眼の固視点を決定するステップと、ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得するステップと、第１の仮想オブジェクトの分解能修正パラメータを取得するステップと、第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップであって、特定の分解能は、固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ステップと、ディスプレイデバイスを介して、識別された分解能でレンダリングされた第１の仮想オブジェクトのユーザへの提示を生じさせるステップとを含む。
いくつかの実施形態では、非一過性コンピュータ記憶媒体が、提供される。コンピュータ記憶媒体は、１つ以上のプロセッサのディスプレイシステムによって実行されると、１つ以上のプロセッサに、動作を実施させる、命令を記憶する。動作は、ユーザの眼の固視点を決定するステップと、ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得するステップと、第１の仮想オブジェクトの分解能修正パラメータを取得するステップと、第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップであって、特定の分解能は、固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ステップと、ディスプレイデバイスを介して、識別された分解能でレンダリングされた第１の仮想オブジェクトのユーザへの提示を生じさせるステップとを含む。
実施形態の付加的実施例が、下記に提供される。
１．ディスプレイシステムであって、
１つ以上のプロセッサと、
１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、
ユーザの眼の固視点を決定するステップと、
ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得するステップと、
第１の仮想オブジェクトの分解能修正パラメータを取得するステップと、
第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップであって、特定の分解能は、固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ステップと、
ディスプレイデバイスを介して、識別された分解能でレンダリングされた第１の仮想オブジェクトのユーザへの提示を生じさせるステップと、
を含む、動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体と、
を備える、ディスプレイシステム。
２．分解能修正パラメータは、第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、動作はさらに、
複数の分解能分布にアクセスするステップであって、分解能分布は、個別の仮想コンテンツタイプと関連付けられる、ステップと、
複数の分解能分布から、第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択するステップであって、特定の分解能は、特定の分解能分布を含む、ステップと、
を含む、実施例１に記載のディスプレイシステム。
３．第１の仮想オブジェクトと関連付けられた仮想コンテンツタイプは、第１の仮想オブジェクトと関連付けられた周波数スペクトルに基づいて識別される、実施例３に記載のディスプレイシステム。
４．複数の分解能分布は、固視点から離れた分解能における個別のロールオフと関連付けられ、ロールオフの値は、異なる周波数スペクトルを伴うコンテンツに関して異なる、実施例３に記載のディスプレイシステム。
５．分解能修正パラメータは、ユーザ選択可能値である、実施例１に記載のディスプレイシステム。
６．ディスプレイデバイスは、特定の分解能を調節するように構成され、特定の分解能を調節するステップは、
ディスプレイデバイスを介して、第２の仮想オブジェクトのユーザへの提示を生じさせるステップであって、第２の仮想オブジェクトは、第１の仮想オブジェクトのために識別された分解能分布でレンダリングされる、ステップと、
ユーザから、第２の仮想オブジェクトの分解能における低減のユーザ検出を示す応答を受信するステップであって、ユーザ応答は、ユーザ選択可能値である、ステップと、
特定の分解能分布を調節するステップと、
を含む、実施例５に記載のディスプレイシステム。
７．特定の分解能分布を調節するステップは、
特定の分解能分布と関連付けられたロールオフを調節するステップであって、ロールオフを調節するステップは、ユーザの視野の中心からの角距離に基づいて、分解能低減の量を変化させる、ステップを含む、実施例６に記載のディスプレイシステム。
８．固視点は、ユーザの視野の中心における体積内にある、実施例１に記載のディスプレイシステム。
９．ユーザの視野は、分解能分布に基づいて、複数の部分に分離され、複数の部分は、第１の部分を含み、各部分は、視野の中心からの角距離の個別の範囲を包含し、各部分は、仮想コンテンツをレンダリングすべき関連付けられた分解能を割り当てられる、実施例１に記載のディスプレイシステム。
１０．動作はさらに、
第１の仮想オブジェクトと複数の部分のうちの１つの境界の近接度を決定するステップと、
決定された近接度に基づいて、第１の仮想オブジェクトの提示を修正するステップと、
を含む、実施例９に記載のディスプレイシステム。
１１．決定された近接度に基づいて、第１の仮想オブジェクトの提示を修正するステップは、ぼかしプロセスを仮想オブジェクトに適用するステップを含む、実施例９に記載のディスプレイシステム。
１２．第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップは、
第１の仮想オブジェクトを包含する、複数の部分の第２の部分を識別するステップと、
第２の部分に基づいて、分解能を識別するステップと、
を含む、実施例９に記載のディスプレイシステム。
１３．１つ以上のプロセッサのディスプレイシステムによって実施される、コンピュータ実装方法であって、
ユーザの眼の固視点を決定するステップと、
ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得するステップと、
第１の仮想オブジェクトの分解能修正パラメータを取得するステップと、
第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップであって、特定の分解能は、固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ステップと、
ディスプレイデバイスを介して、識別された分解能でレンダリングされた第１の仮想オブジェクトのユーザへの提示を生じさせるステップと、
を含む、方法。
１４．分解能修正パラメータは、第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、本方法はさらに、
複数の分解能分布にアクセスするステップであって、分解能分布は、個別の仮想コンテンツタイプと関連付けられる、ステップと、
複数の分解能分布から、第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択するステップであって、特定の分解能は、特定の分解能分布を含む、ステップと、
を含む、実施例１３に記載のコンピュータ実装方法。
１５．第１の仮想オブジェクトと関連付けられた仮想コンテンツタイプは、第１の仮想オブジェクトと関連付けられた周波数スペクトルに基づいて識別される、実施例１４に記載のコンピュータ実装方法。
１６．複数の分解能分布は、固視点から離れた分解能における個別のロールオフと関連付けられ、ロールオフの値は、異なる周波数スペクトルを伴うコンテンツに関して異なる、実施例１４に記載のコンピュータ実装方法。
１７．非一過性コンピュータ記憶媒体であって、１つ以上のプロセッサのディスプレイシステムによって実行されると、１つ以上のプロセッサに、
ユーザの眼の固視点を決定するステップと、
ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得するステップと、
第１の仮想オブジェクトの分解能修正パラメータを取得するステップと、
第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別するステップであって、特定の分解能は、固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ステップと、
ディスプレイデバイスを介して、識別された分解能でレンダリングされた第１の仮想オブジェクトのユーザへの提示を生じさせるステップと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
１８．分解能修正パラメータは、第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、動作はさらに、
複数の分解能分布にアクセスするステップであって、分解能分布は、個別の仮想コンテンツタイプと関連付けられる、ステップと、
複数の分解能分布から、第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択するステップであって、特定の分解能は、特定の分解能分布を含む、ステップと、
を含む、実施例１７に記載のコンピュータ記憶媒体。
１９．第１の仮想オブジェクトと関連付けられた仮想コンテンツタイプは、第１の仮想オブジェクトと関連付けられた周波数スペクトルに基づいて識別される、実施例１８に記載のコンピュータ記憶媒体。
２０．複数の分解能分布は、固視点から離れた分解能における個別のロールオフと関連付けられ、ロールオフの値は、異なる周波数スペクトルを伴うコンテンツに関して異なる、実施例１８に記載のコンピュータ記憶媒体。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ディスプレイシステムであって、
１つ以上のプロセッサと、
１つ以上のコンピュータ記憶媒体であって、前記１つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
ユーザの眼の固視点を決定することと、
ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得することと、
前記第１の仮想オブジェクトの分解能修正パラメータを取得することと、
前記第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することであって、前記特定の分解能は、前記固視点からの対応する距離に関する分解能を規定する、分解能分布に基づく、ことと、
前記ディスプレイデバイスを介して、前記識別された分解能でレンダリングされた前記第１の仮想オブジェクトのユーザへの提示を生じさせることと
を含む動作を実施させる、１つ以上のコンピュータ記憶媒体と
を備える、ディスプレイシステム。
（項目２）
前記分解能修正パラメータは、前記第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、前記動作はさらに、
複数の分解能分布にアクセスすることであって、前記分解能分布は、個別の仮想コンテンツタイプと関連付けられる、ことと、
前記複数の分解能分布から、前記第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択することであって、前記特定の分解能は、前記特定の分解能分布を含む、ことと
を含む、項目１に記載のディスプレイシステム。
（項目３）
前記第１の仮想オブジェクトと関連付けられた仮想コンテンツタイプは、前記第１の仮想オブジェクトと関連付けられた周波数スペクトルに基づいて識別される、項目３に記載のディスプレイシステム。
（項目４）
前記複数の分解能分布は、前記固視点から離れた分解能における個別のロールオフと関連付けられ、前記ロールオフの値は、異なる周波数スペクトルを伴うコンテンツに関して異なる、項目３に記載のディスプレイシステム。
（項目５）
前記分解能修正パラメータは、ユーザ選択可能値である、項目１に記載のディスプレイシステム。
（項目６）
前記ディスプレイデバイスは、前記特定の分解能を調節するように構成され、前記特定の分解能を調節することは、
前記ディスプレイデバイスを介して、第２の仮想オブジェクトのユーザへの提示を生じさせることであって、前記第２の仮想オブジェクトは、前記第１の仮想オブジェクトのために識別された分解能分布でレンダリングされる、ことと、
前記ユーザから、前記第２の仮想オブジェクトの分解能における低減のユーザ検出を示す応答を受信することであって、前記ユーザ応答は、前記ユーザ選択可能値である、ことと、
前記特定の分解能分布を調節することと
を含む、項目５に記載のディスプレイシステム。
（項目７）
前記特定の分解能分布を調節することは、
前記特定の分解能分布と関連付けられたロールオフを調節することであって、ロールオフを調節することは、前記ユーザの視野の中心からの角距離に基づいて、分解能低減の量を変化させる、こと
を含む、項目６に記載のディスプレイシステム。
（項目８）
前記固視点は、前記ユーザの視野の中心における体積内にある、項目１に記載のディスプレイシステム。
（項目９）
前記ユーザの視野は、前記分解能分布に基づいて、複数の部分に分離され、前記複数の部分は、前記第１の部分を含み、各部分は、前記視野の中心からの角距離の個別の範囲を包含し、各部分は、仮想コンテンツをレンダリングすべき関連付けられた分解能を割り当てられる、項目１に記載のディスプレイシステム。
（項目１０）
前記動作はさらに、
前記複数の部分のうちの１つの境界に対する前記第１の仮想オブジェクトの近接度を決定することと、
前記決定された近接度に基づいて、前記第１の仮想オブジェクトの提示を修正することと
を含む、項目９に記載のディスプレイシステム。
（項目１１）
前記決定された近接度に基づいて、前記第１の仮想オブジェクトの提示を修正することは、ぼかしプロセスを前記仮想オブジェクトに適用することを含む、項目９に記載のディスプレイシステム。
（項目１２）
前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することは、
前記第１の仮想オブジェクトを包含する前記複数の部分の第２の部分を識別することと、
前記第２の部分に基づいて、前記分解能を識別することと
を含む、項目９に記載のディスプレイシステム。
（項目１３）
コンピュータ実装方法であって、前記方法は、１つ以上のプロセッサのディスプレイシステムによって実施され、前記方法は、
ユーザの眼の固視点を決定することと、
ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得することと、
前記第１の仮想オブジェクトの分解能修正パラメータを取得することと、
前記第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することであって、前記特定の分解能は、前記固視点からの対応する距離に関する分解能を規定する分解能分布に基づく、ことと、
前記ディスプレイデバイスを介して、前記識別された分解能でレンダリングされた前記第１の仮想オブジェクトのユーザへの提示を生じさせることと
を含む、コンピュータ実装方法。
（項目１４）
前記分解能修正パラメータは、前記第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、前記方法はさらに、
複数の分解能分布にアクセスすることであって、前記分解能分布は、個別の仮想コンテンツタイプと関連付けられる、ことと、
前記複数の分解能分布から、前記第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択することであって、前記特定の分解能は、前記特定の分解能分布を含む、ことと
を含む、項目１３に記載のコンピュータ実装方法。
（項目１５）
前記第１の仮想オブジェクトと関連付けられた仮想コンテンツタイプは、前記第１の仮想オブジェクトと関連付けられた周波数スペクトルに基づいて識別される、項目１４に記載のコンピュータ実装方法。
（項目１６）
前記複数の分解能分布は、前記固視点から離れた分解能における個別のロールオフと関連付けられ、前記ロールオフの値は、異なる周波数スペクトルを伴うコンテンツに関して異なる、項目１４に記載のコンピュータ実装方法。
（項目１７）
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサのディスプレイシステムによって実行されると、前記１つ以上のプロセッサに、
ユーザの眼の固視点を決定することと、
ディスプレイデバイスを介してユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得することと、
前記第１の仮想オブジェクトの分解能修正パラメータを取得することと、
前記第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することであって、前記特定の分解能は、前記固視点からの対応する距離に関する分解能を規定する分解能分布に基づく、ことと、
前記ディスプレイデバイスを介して、前記識別された分解能でレンダリングされた前記第１の仮想オブジェクトのユーザへの提示を生じさせることと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
（項目１８）
前記分解能修正パラメータは、前記第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、前記動作はさらに、
複数の分解能分布にアクセスすることであって、前記分解能分布は、個別の仮想コンテンツタイプと関連付けられる、ことと、
前記複数の分解能分布から、前記第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択することであって、前記特定の分解能は、前記特定の分解能分布を含む、ことと
を含む、項目１７に記載のコンピュータ記憶媒体。
（項目１９）
前記第１の仮想オブジェクトと関連付けられた仮想コンテンツタイプは、前記第１の仮想オブジェクトと関連付けられた周波数スペクトルに基づいて識別される、項目１８に記載のコンピュータ記憶媒体。
（項目２０）
前記複数の分解能分布は、前記固視点から離れた分解能における個別のロールオフと関連付けられ、前記ロールオフの値は、異なる周波数スペクトルを伴うコンテンツに関して異なる、項目１８に記載のコンピュータ記憶媒体。
図１は、ＡＲデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。
図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図３Ａ－３Ｃは、曲率半径と焦点半径との間の関係を図示する。
図４Ａは、ヒト視覚系の遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）－輻輳・開散運動（ｖｅｒｇｅｎｃｅ）応答の表現を図示する。
図４Ｂは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。
図４Ｃは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。
図４Ｄは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。
図５は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。
図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図７は、導波管によって出力された出射ビームの実施例を図示する。
図８は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。
図９Ａは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
図９Ｂは、図９Ａの複数のスタックされた導波管の実施例の斜視図を図示する。
図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。
図９Ｄは、ウェアラブルディスプレイシステムの実施例を図示する。
図１０Ａは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。
図１０Ｂは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。
図１０Ｃは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現のさらに別の実施例を図示する。
図１０Ｄは、例示的ディスプレイシステムのブロック図である。
図１１Ａ１は、３次元固視点追跡に基づく、異なる分解能調節ゾーン内の分解能における調節の上下図の表現の実施例を図示する。
図１１Ａ２は、ゾーンのサイズおよび数が変化するにつれた異なる時間における、分解能調節ゾーンの上下図の表現の実施例を図示する。
図１１Ｂは、図１１Ａ１の分解能調節ゾーンの一部の３次元表現の実施例を図示する。
図１１Ｃは、分解能調節ゾーンのための構成の別の実施例を図示する。
図１１Ｄは、図１１Ｃの分解能調節ゾーンの３次元表現の実施例を図示する。
図１１Ｅは、図１１Ｃの分解能調節ゾーンの３次元表現の別の実施例を図示する。
図１２Ａ－１２Ｃは、３次元固視点との近接度に従ってコンテンツの分解能を調節するためのプロセスの実施例の略図を示す。 図１２Ａ－１２Ｃは、３次元固視点との近接度に従ってコンテンツの分解能を調節するためのプロセスの実施例の略図を示す。 図１２Ａ－１２Ｃは、３次元固視点との近接度に従ってコンテンツの分解能を調節するためのプロセスの実施例の略図を示す。
図１３は、ユーザの通視線と整合される複数の仮想オブジェクトを視認するユーザの表現の実施例を図示する。
図１４は、ユーザの視線との角度近接度に基づいて仮想コンテンツを調節するためのプロセスの実施例の略図である。
図１５は、ユーザの眼の網膜の表現の実施例を図示する。
図１６は、図１５の網膜を横断した分解能および桿体および錐体密度の実施例を図式的に図示する。
図１７は、瞳孔サイズとユーザの眼上に入射する光の量との間の関係の実施例を図式的に図示する。
図１８は、ユーザの眼上に入射する光の量に基づいて仮想コンテンツを調節するためのプロセスの実施例の略図である。
図１９は、眼上に入射する光の量が変化するにつれたユーザの眼によって検出可能な分解能の変化の実施例を図式的に図示する。
図２０は、異なるレベルの照明における異なる色の光に対する眼の感度における差異の実施例を図式的に図示する。
図２１は、複数の原色画像を使用して形成される仮想コンテンツを調節するためのプロセスの実施例の略図であって、分解能調節は、原色画像の色に基づいて行われる。
図２２Ａ－２２Ｃは、ユーザの眼上に入射する光の量が減少するにつれて変化するコントラスト感度の実施例を図示する。
図２３は、ユーザの眼の視神経および周辺盲点の表現の実施例を図示する。
図２４は、ヒトの眼に関する例示的単眼視野を示す。
図２５Ａは、仮想コンテンツをユーザに提供するように構成される、例示的ウェアラブルディスプレイデバイスを示す。
図２５Ｂは、拡張現実システムを描写する、ブロック図である。
図２５Ｃは、デジタルまたは仮想画像を視認者に提示するために使用され得る、視認光学アセンブリ（ＶＯＡ）内の光経路を図式的に図示する。
図２６Ａ－２６Ｄは、使用されることになる例示的レンダリング視点および２つの例示的眼配向毎にＡＲシステム内で生産されることになるライトフィールドを図示する。 図２６Ａ－２６Ｄは、使用されることになる例示的レンダリング視点および２つの例示的眼配向毎にＡＲシステム内で生産されることになるライトフィールドを図示する。 図２６Ａ－２６Ｄは、使用されることになる例示的レンダリング視点および２つの例示的眼配向毎にＡＲシステム内で生産されることになるライトフィールドを図示する。 図２６Ａ－２６Ｄは、使用されることになる例示的レンダリング視点および２つの例示的眼配向毎にＡＲシステム内で生産されることになるライトフィールドを図示する。
図２６Ｅ－２６Ｆは、ユーザに提示され得る画像の例示的構成を図式的に図示する。 図２６Ｅ－２６Ｆは、ユーザに提示され得る画像の例示的構成を図式的に図示する。
図２６Ｇ－２６Ｈは、ユーザに提示され得る画像の例示的構成を図式的に図示する。 図２６Ｇ－２６Ｈは、ユーザに提示され得る画像の例示的構成を図式的に図示する。
図２７は、図２５に示されるようなウェアラブルディスプレイデバイス内のディスプレイのうちの１つ上にオーバーレイされる、図２４に示されるような視野および動眼視野を図示する。
図２８Ａ－２８Ｂは、図２６Ａ－２６Ｄに説明される原理のうちのいくつかを図示する。 図２８Ａ－２８Ｂは、図２６Ａ－２６Ｄに説明される原理のうちのいくつかを図示する。
図２８Ｃ－２８Ｄは、ユーザに提示され得るいくつかの例示的画像を図示する。 図２８Ｃ－２８Ｄは、ユーザに提示され得るいくつかの例示的画像を図示する。
図２８Ｅは、例示的高ＦＯＶ低分解能画像フレームを図示する。
図２８Ｆは、例示的低ＦＯＶ高分解能画像フレームを図示する。
図２９Ａは、ディスプレイシステムの簡略化されたブロック図を示す。
図２９Ｂは、拡張現実（ＡＲ）システムの断面図を図式的に図示する。
図３０Ａ－３０Ｂは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図３０Ａ－３０Ｂは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図３０Ｃは、拡張現実（ＡＲ）システムの断面図を図式的に図示する。
図３０Ｄは、ディスプレイシステムの簡略化されたブロック図を示す。
図３１Ａは、図３０Ａ－３０Ｂに図示されるディスプレイシステム内の第１の中継レンズアセンブリの動作原理を図式的に図示する。
図３１Ｂは、図３０Ａ－３０Ｂに図示されるディスプレイシステム内の第２の中継レンズアセンブリの動作原理を図式的に図示する。
図３１Ｃ－３１Ｄは、ディスプレイシステムを図式的に図示する。 図３１Ｃ－３１Ｄは、ディスプレイシステムを図式的に図示する。
図３２Ａ－３２Ｃは、ディスプレイシステムを図式的に図示する。 図３２Ａ－３２Ｃは、ディスプレイシステムを図式的に図示する。 図３２Ａ－３２Ｃは、ディスプレイシステムを図式的に図示する。
図３３Ａ－３３Ｂは、ディスプレイシステムを図式的に図示する。 図３３Ａ－３３Ｂは、ディスプレイシステムを図式的に図示する。
図３４Ａ－３４Ｂは、ディスプレイシステムを図式的に図示する。 図３４Ａ－３４Ｂは、ディスプレイシステムを図式的に図示する。
図３５は、ディスプレイシステムを図式的に図示する。
図３６は、拡張現実接眼ディスプレイシステムを図式的に図示する。
図３７Ａは、２倍率無限焦点拡大レンズの略図である。
図３７Ｂは、二重焦点拡大無限焦点拡大レンズの略図である。
図３８Ａ－３８Ｂは、ユーザに提示され得る画像の例示的構成を図式的に図示する。
図３９Ａ－３９Ｂは、ユーザに提示され得るいくつかの例示的画像を図示する。 図３９Ａ－３９Ｂは、ユーザに提示され得るいくつかの例示的画像を図示する。
図４０Ａ－４０Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図４０Ａ－４０Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図４０Ａ－４０Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図４０Ａ－４０Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４１Ａ－４１Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図４１Ａ－４１Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図４１Ａ－４１Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図４１Ａ－４１Ｄは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４２は、時分割多重化される、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームのための例示的フレーム構造を図示する。
図４３は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４４は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４５は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４６は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４７は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４８は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図４９は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図５０は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図５１は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図５２Ａ－５２Ｂは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図５２Ａ－５２Ｂは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図５３Ａ－５３Ｂは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図５３Ａ－５３Ｂは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図５４は、例示的分解能分布とともに、ユーザの視野角の表現を図示する。
図５５Ａ－５５Ｂは、仮想コンテンツのタイプに基づいて分解能分布のためのロールオフを識別するための例示的スキームを図示する。 図５５Ａ－５５Ｂは、仮想コンテンツのタイプに基づいて分解能分布のためのロールオフを識別するための例示的スキームを図示する。
図５５Ｃ－５５Ｄは、異なるタイプの画像コンテンツのために決定された平均ロールオフのグラフを図示する。 図５５Ｃ－５５Ｄは、異なるタイプの画像コンテンツのために決定された平均ロールオフのグラフを図示する。
図５６は、分解能分布において利用されるべきロールオフを決定するための例示的プロセス５６００のフローチャートを図示する。
図５７は、仮想コンテンツのタイプに従って仮想コンテンツを提示するためのプロセスの例示的フローチャートを図示する。
図５８Ａは、２つの例示的ぼかし領域を図示する。
図５８Ｂは、２つの付加的例示的ぼかし領域を図示する。
図５９は、本明細書に説明される技法による、異なる分解能調節ゾーンの実施例を図示する。
拡張および仮想ディスプレイシステムのための仮想コンテンツをレンダリングすることは、算出上集約的である。とりわけ、算出強度は、望ましくないことに、大量のメモリを使用し、長い待ち時間を生じさせ得、および／または高コストおよび／または高エネルギー消費を有し得る、強力な処理ユニットの使用を要求し得る。
いくつかの実施形態では、方法およびシステムは、ユーザの眼の固視点から離れた場所に位置付けられる仮想コンテンツの分解能を低減させることによって、メモリおよび処理時間等の算出リソースを節約する。例えば、システムは、ユーザの眼の固視点またはそれに近接する仮想コンテンツを相対的高（例えば、最高）分解能でレンダリングし得る一方、固視点から離れた仮想コンテンツに関しては、１つ以上のより低い分解能を利用する。仮想コンテンツは、仮想コンテンツを複数の異なる深度（例えば、２つ以上の深度平面等の複数の異なる深度平面）上に表示し得る、ディスプレイシステムによって提示され、分解能における低減は、好ましくは、少なくともｚ－軸に沿って生じ、ｚ－軸は、深度軸（ユーザから離れた距離に対応する）である。いくつかの実施形態では、分解能低減は、ｚ－軸とｘおよびｙ軸の一方または両方に沿って生じ、ｘ－軸は、側方軸であって、ｙ－軸は、垂直軸である。
仮想コンテンツの適切な分解能を決定することは、３次元空間内のユーザの眼の固視点を決定するステップを含み得る。例えば、固視点は、その上にユーザの眼が固視される、ユーザの視野内のｘ、ｙ、ｚ座標であり得る。ディスプレイシステムは、分解能における差異を有する仮想オブジェクトを提示するように構成されてもよく、分解能は、仮想オブジェクトと固視点の近接度の減少に伴って減少し、換言すると、分解能は、固視点からの距離の増加に伴って減少する。
本明細書に議論されるように、ディスプレイシステムは、仮想オブジェクトをディスプレイシステムのディスプレイ錐台内に提示してもよく、仮想オブジェクトは、異なる深度平面上に提示されることが可能である。いくつかの実施形態では、ディスプレイ錐台は、ディスプレイシステムによって提供される視野であって、それにわたって、ディスプレイシステムは、仮想コンテンツをディスプレイシステムのユーザに提示するように構成される。ディスプレイシステムは、仮想コンテンツ（例えば、仮想オブジェクト、グラフィック、テキスト等）を提示し得る、１つ以上の導波管を含む、頭部搭載型ディスプレイシステムであってもよく、１つ以上の導波管は、異なる波面発散および／または異なる深度平面に対応する（例えば、ユーザからの特定の距離に対応する）異なる双眼相違を伴う光を出力するように構成される。各眼は、関連付けられた１つ以上の導波管を有してもよいことを理解されたい。異なる波面発散および／または異なる双眼相違を使用して、ディスプレイシステムは、第１の仮想オブジェクトをユーザの視野内の第１の深度に位置するように現れさせる一方、第２の仮想オブジェクトをユーザの視野内の第２の深度に位置するように現れさせ得る。いくつかの実施形態では、固視点の深度平面またはその近接深度平面が、決定され得、他の深度平面上のコンテンツの分解能は、それらの深度平面から固視点が配置される深度平面までの距離に基づいて低減され得る。本明細書の仮想コンテンツの深度（ｚ－軸上のユーザからの仮想コンテンツの距離）の言及は、ユーザに見られることが意図されるような仮想コンテンツの見掛け深度を指すことを理解されたい。いくつかの実施形態では、仮想オブジェクトの深度は、仮想オブジェクトのものに類似する波面発散および／または双眼相違を有する、実オブジェクトのユーザからの距離と理解され得る。
仮想オブジェクトと固視点の近接度は、種々の測定によって決定され得、その非限定的実施例は、固視点と仮想オブジェクトとの間の距離の決定、固視点によって占有される分解能調節ゾーンに対する仮想オブジェクトによって占有される分解能調節ゾーンの決定（ユーザの視野が、下記に説明されるように、分解能調節ゾーンに細分割される、実施形態において）、および仮想オブジェクトとユーザの固視点の角度近接度の決定を含むことを理解されたい。近接度はまた、上記の技法の組み合わせを使用して決定されてもよい。例えば、第１のゾーン（仮想オブジェクトが位置する）と第２のゾーン（固視点が位置する）の距離および／または角度近接度が、近接度を決定するために使用されてもよい。これらの種々の測定は、下記にさらに議論される。
いくつかの実施形態では、固視点を決定するステップは、ユーザの眼の固視点を予期し、予期される固視点を仮想コンテンツの分解能を決定するための固視点として利用するステップを含んでもよい。例えば、ディスプレイシステムは、ユーザの眼がそのコンテンツを固視するであろう予期に伴って、特定のコンテンツを比較的高分解能でレンダリングしてもよい。実施例として、ヒト視覚系は、場面の急変（例えば、突然の運動、輝度の変化等）に敏感であり得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、仮想コンテンツがユーザの眼にそれを固視させるであろうあるタイプ（例えば、他の仮想および実オブジェクトが静止している場面内に運動を伴う）であることを決定し、次いで、ユーザの眼が続いてその仮想コンテンツに合焦するであろう予期に伴って、その仮想コンテンツを高分解能でレンダリングしてもよい。
上記に述べられたように、いくつかの実施形態では、決定された固視点から仮想オブジェクトまでの距離は、３次元内に延在する距離に対応し得る。実施例として、決定された固視点とユーザから同一深度（例えば、同一深度平面）上に位置するが、固視点から水平にまたは縦方向に位置する、第１の仮想オブジェクトも同様に、第２の仮想オブジェクトが決定された固視点からより遠い深度（例えば、より遠い深度平面）に位置するため、分解能において同様に低減されてもよい。その結果、異なる分解能は、固視点からの異なる距離と関連付けられ得る。
いくつかの実施形態では、ユーザの周囲の環境は、空間の体積（本明細書では、分解能調節ゾーンとも称される）に分割されてもよく、同一分解能調節ゾーン内の仮想オブジェクトの分解能は、類似する。分解能調節ゾーンは、本明細書に説明されるように、恣意的３次元形状、例えば、立方体、または他の３次元多角形形状、または湾曲３次元形状を有してもよい。いくつかの実施形態では、全ての分解能調節ゾーンは、類似形状、例えば、直方体または球状を有する。いくつかの他の実施形態では、異なる分解能調節ゾーンは、異なる形状またはサイズを有してもよい（例えば、体積の形状および／またはサイズは、固視点からの距離に伴って変化し得る）。
いくつかの実施形態では、分解能調節ゾーンは、ユーザの視野の一部である。例えば、ユーザの視野は、分解能調節ゾーンを形成する空間の体積に分離され得る。いくつかの実施形態では、各深度平面は、１つ以上の連続的空間の体積、すなわち、１つ以上の分解能調節ゾーンに細分割され得る。いくつかの実施形態では、各分解能調節ゾーンは、ユーザからの深度の特定の範囲（例えば、深度平面値＋／－ある分散量であって、分散量の実施例は、０．６６ｄｐｔ、０．５０ｄｐｔ、０．３３ｄｐｔ、または０．２５ｄｐｔを含む）と、特定の側方および特定の垂直距離とを包含し得る。決定された固視点と同一分解能調節ゾーン内に位置する仮想オブジェクトは、高（例えば、完全）分解能で提示（例えば、レンダリング）され得る一方、固視点の分解能調節ゾーン外の空間の体積に位置する仮想オブジェクトは、固視点の空間の体積からの体積の距離に従って、より低い分解能でレンダリングされ得る。いくつかの実施形態では、各分解能調節ゾーンは、特定の分解能（例えば、完全分解能に対する分解能における特定の低減）を割り当てられ得、所与のゾーン内に入る仮想コンテンツは、そのゾーンのための関連付けられた分解能でレンダリングされ得る。いくつかの実施形態では、ある体積と固視点によって占有される体積との間の距離が、決定され得、分解能は、本距離に基づいて設定され得る。
有利には、ユーザの視野を分割するために利用される、分解能調節ゾーンの数およびサイズは、ユーザの決定された固視点における信頼度に従って修正され得る。例えば、各空間の体積と関連付けられたサイズは、ユーザの視線が３次元空間内の精密な点上に輻輳していることの信頼度に基づいて増加または減少されてもよい。固視点における信頼度が、高い場合、ディスプレイシステムは、あるコンパクトな分解能調節ゾーン内の仮想オブジェクトのみを相対的高分解能（固視点を含む、コンパクトな分解能調節ゾーン）で提示し得る一方、他の仮想オブジェクトの分解能を低減させ、したがって、処理パワーを節約する。しかしながら、信頼度が、低い場合、ディスプレイシステムは、各空間の体積がより多数の仮想オブジェクトを固視点の空間の体積内に包含するように、各空間の体積のサイズを増加させ得る（例えば、体積の全体的数を低減させる）。体積のサイズおよび形状は、ディスプレイシステムの生産の間、例えば、固視点を決定するためのシステムにおいて予期される公差に基づいて、固定されてもよい、および／またはユーザの特性、ユーザの環境、および／または固視点を決定するためのシステムのための公差を変更するソフトウェアの変更に応じて、現場で調節または設定されてもよいことを理解されたい。
分解能に対するユーザの感度は、固視点からの距離に伴って減少し得ることを理解されたい。その結果、完全分解能コンテンツが固視点に提示されることを確実にすることによって、および固視点が位置する場所に関する誤差の許容差を可能にすることによって、分解能における低減の知覚能力が、低減または排除され、それによって、そのような高分解能ディスプレイのためのコンテンツを提示するために典型的に要求される算出リソースを利用せずに、高分解能ディスプレイの知覚を提供し得る。
いくつかの実施形態では、仮想オブジェクトと固視点の近接度は、仮想オブジェクトとユーザの視線の角度近接度に基づいて決定されてもよく、仮想オブジェクトの分解能は、角度近接度が減少するにつれて減少し得る。いくつかの実施形態では、これは、ユーザから異なる深度に位置する仮想オブジェクトが類似分解能で提示される結果をもたらし得る。例えば、ユーザの決定された固視点に対応する場所における第１の仮想オブジェクトは、第２の仮想オブジェクトの正面に位置し得る（例えば、深度がユーザにより近い）。第２の仮想オブジェクトは、ユーザの視線に沿ってあって、したがって、同様に、ユーザの眼が分解能の変化に最も敏感なユーザの中心窩上に入るであろうため、第２の仮想オブジェクトは、随意に、第１の仮想オブジェクトと類似（例えば、同一）分解能で提示されてもよい。随意に、第２の仮想オブジェクトは、分解能において低減され、第２の仮想オブジェクトがユーザからより遠い（例えば、より遠い深度平面上に位置する）ことを表し得る、ぼかしプロセスを介して、さらに調節されてもよい（例えば、ガウスぼかしカーネルが、第２の仮想オブジェクトとともに畳み込まれてもよい）。
分解能における低減は、仮想コンテンツがディスプレイシステムによって提示される方法に基づいて変動し得る。いくつかの実施形態では、本明細書では可変焦点ディスプレイシステムと称される、第１の例示的ディスプレイシステムは、仮想コンテンツを異なる深度平面上に提示し得、全てのコンテンツ（例えば、仮想オブジェクト）は、例えば、ユーザに提示されるフレーム毎に、一度に、同一深度平面に提示される（例えば、同一導波管を介して）。すなわち、可変焦点ディスプレイシステムは、単一深度平面（例えば、ユーザの固視点に基づいて、複数の深度平面から選択される、または特定の提示される仮想オブジェクトの深度に基づいて選択される）を一度に利用し、コンテンツを提示してもよく、深度平面を後続フレーム内で変化させてもよい（例えば、異なる深度平面を選択する）。いくつかの他の実施形態では、本明細書では多焦点ディスプレイシステムと称される、第２の例示的ディスプレイシステムは、仮想コンテンツを異なる深度平面上に提示してもよく、コンテンツは、同時に、複数の深度平面上に表示される。本明細書にさらに説明されるであろうように、可変焦点ディスプレイシステムは、随意に、単一フレームバッファを利用してもよく、第２の仮想オブジェクトをぼかすステップに関する上記の実施例に関して、第２の仮想オブジェクトは、単一フレームバッファからのユーザへの提示に先立ってぼかされてもよい。対照的に、多焦点ディスプレイシステムは、第２の仮想オブジェクトを、第１の仮想オブジェクトからより遠い深度上（例えば、より遠い深度平面上）に、随意に、低減された分解能において提示してもよく、第２の仮想オブジェクトは、ぼかされているようにユーザに現れ得る（例えば、第２の仮想オブジェクトは、さらなる処理を伴わずに、ユーザの眼の自然物理学に基づいてぼかされるであろう）。
本明細書に開示されるように、ディスプレイシステムは、決定された固視点またはその近傍における仮想オブジェクトを比較的高（例えば、完全）分解能で提示してもよく、固視点からより遠い仮想オブジェクトを低減された分解能で提示してもよい。好ましくは、比較的高分解能は、ユーザの視野内の仮想オブジェクトの提示のための最高分解能である。比較的高分解能は、ディスプレイシステムの最大分解能、ユーザ選択可能分解能、仮想オブジェクトを提示する具体的コンピューティングハードウェアに基づく分解能等であってもよい。
仮想オブジェクトの分解能を調節するステップは、仮想オブジェクトの提示の品質を改変するための仮想オブジェクトに対する任意の修正を含んでもよいことを理解されたい。そのような修正は、グラフィック処理ユニット（ＧＰＵ）のグラフィックパイプライン内の１つ以上の点における品質を調節するステップを含め、仮想オブジェクトのポリゴン数を調節するステップ、仮想オブジェクトを生成するために利用されるプリミティブを調節するステップ（例えば、プリミティブの形状を調節するステップ、例えば、プリミティブを三角形メッシュから四辺形メッシュに調節するステップ等）、仮想オブジェクト上で実施される動作を調節するステップ（例えば、シェーダ動作）、テクスチャ情報を調節するステップ、色分解能、または深度を調節するステップ、レンダリングサイクルの数またはフレームレートを調節するステップ等のうちの１つ以上のものを含んでもよい。
いくつかの実施形態では、ｘおよびｙ－軸上では、固視点から離れる仮想コンテンツの分解能の変化は、概して、ユーザの眼の網膜内の光受容体の分布の変化を追跡し得る。例えば、世界および仮想コンテンツのビューは、網膜の異なる部分がユーザの視野の異なる部分にマッピングされ得るように、網膜上に結像されてもよいことを理解されたい。有利には、ユーザの視野を横断した仮想コンテンツの分解能は、概して、網膜を横断した対応する光受容体（桿体または錐体）の密度を追跡し得る。いくつかの実施形態では、固視点から離れた分解能低減は、概して、網膜を横断した錐体の密度における低減を追跡し得る。いくつかの他の実施形態では、固視点から離れた分解能低減は、概して、網膜を横断した桿体の密度における低減を追跡し得る。いくつかの実施形態では、固視点から離れた分解能低減の傾向は、網膜を横断した桿体および／または錐体の密度における低減の傾向の±５０％、±３０％、±２０％、または±１０％以内であり得る。
桿体および錐体は、異なるレベルの入射光において活性である。例えば、錐体は、比較的に明るい条件下で活性である一方、桿体は、比較的に低光量条件下で活性である。その結果、分解能における低減が、概して、網膜を横断した桿体または錐体の密度を追跡する、いくつかの実施形態では、ディスプレイシステムは、網膜上に入射する光の量を決定するように構成されてもよい。本光の量に基づいて、分解能における適切な調節が、行われ得る。例えば、分解能における低減は、概して、低光量条件下における網膜を横断した桿体の密度の変化を追跡し得る一方、分解能における低減は、概して、明るい条件下における錐体の密度の変化を追跡し得る。その結果、いくつかの実施形態では、ディスプレイシステムは、網膜上に入射する光の量に基づいて、画像分解能における低減のプロファイルを変化させるように構成されてもよい。
微細な詳細を分解するヒトの眼の能力は、網膜内の桿体または錐体の密度に正比例しない場合があることを理解されたい。いくつかの実施形態では、ユーザの視野を横断した仮想コンテンツの分解能の変化は、概して、微細な詳細を分解する眼の能力の変化を追跡する。上記に述べられたように、仮想コンテンツの分解能の変化の進度は、網膜に到達する光の量に伴って変動し得る。
いくつかの実施形態では、網膜に到達する光の量は、ディスプレイデバイス上に搭載されるセンサ上に入射する周囲光の量を検出することによって決定されてもよい。いくつかの実施形態では、網膜に到達する光の量を決定するステップはまた、ディスプレイデバイスによってユーザに出力された光の量によって決定するステップを含んでもよい。さらに他の実施形態では、網膜に到達する光の量は、ユーザの眼を結像し、瞳孔サイズを決定することによって決定されてもよい。瞳孔サイズは、網膜に到達する光の量に関連するため、瞳孔サイズを決定することは、網膜に到達する光の量が外挿されることを可能にする。
フルカラー仮想コンテンツは、全体として、フルカラーの知覚を提供する、複数の原色画像によって形成され得ることを理解されたい。ヒトの眼は、異なる波長または光の色に対して異なる感度を有し得る。いくつかの実施形態では、固視点との近接度に基づいて変化することに加え、仮想コンテンツの分解能の変化は、ディスプレイシステムによって提示される原色画像の色に基づいて変動し得る。例えば、原色画像が、赤色、緑色、および青色画像を備える場合、緑色原色画像は、青色原色画像より高い分解能を有し得る、赤色原色画像より高い分解能を有し得る。いくつかの実施形態では、異なるレベルの入射光における異なる色に対する眼の感度の変化を考慮するために、網膜に到達する光の量が、決定されてもよく、所与の原色画像のための分解能調節もまた、網膜に到達する光の量の決定に基づいて変動し得る。
眼のコントラスト感度もまた、網膜上に入射する光の量に基づいて変動し得ることを理解されたい。いくつかの実施形態では、仮想コンテンツ内のコントラストにおける階調のサイズまたは総数は、網膜に到達する光の量に基づいて変動し得る。いくつかの実施形態では、仮想コンテンツを形成する画像のコントラスト比は、網膜上に入射する光の量に基づいて変動し得、コントラスト比は、光の量の減少に伴って減少する。
いくつかの実施形態では、ユーザの視野のある部分は、任意の仮想コンテンツを提供されない場合がある。例えば、ディスプレイシステムは、所与の眼の視神経および／または周辺盲点によって生じる盲点内には、仮想コンテンツを提供しないように構成されてもよい。
本明細書に議論されるように、ディスプレイシステムは、高分解能コンテンツをユーザの視野の一部内に、より低い分解能コンテンツをユーザの視野の別の部分内に表示するように構成されてもよい。高分解能コンテンツは、より低い分解能コンテンツより高いピクセル密度を有し得ることを理解されたい。いくつかの環境では、ディスプレイシステムは、高分解能および低分解能画像を効果的に重畳することによって、そのような高および低分解能コンテンツを提供するように構成されてもよい。例えば、システムは、視野全体に及ぶ低分解能画像を表示し、次いで、視野の小部分に及ぶ高分解能画像を表示してもよく、高分解能画像は、低分解能画像の対応する部分と同一場所に位置する。高および低分解能画像は、光を適切な角度に出力し、それらの画像が占有する視野の量を決定する、異なる光学系を通してルーティングされ得る。
いくつかの実施形態では、単一空間光変調器（ＳＬＭ）が、光を画像情報でエンコードするために使用されてもよく、ビームスプリッタまたは光学スイッチが、ＳＬＭからの単一光流を２つのストリームに分割するために使用されてもよく、１つのストリームは、低分解能画像のための光学系を通して伝搬し、第２のストリームは、高分解能画像のための光学系を通して伝搬する。いくつかの他の実施形態では、画像情報でエンコードされた光の偏光は、選択的に切り替えられ、異なる偏光の光のための異なる角度拡大率を効果的に提供し、それによって、高および低分解能画像を提供する、光学系を通して通過されてもよい。
有利には、本明細書に開示される種々の実施形態は、コンテンツをディスプレイシステム上に提供するための処理パワーの要件を低減させる。処理パワーのより大きい割当は、ユーザの３次元固視点に近接する仮想オブジェクトに費やされ得る一方、より遠い仮想オブジェクトのための処理パワーは、低減され得るため、ディスプレイシステムのための全体的な要求される処理パワーは、低減され、したがって、処理コンポーネントのサイズ、処理コンポーネントによって生成された熱、およびディスプレイシステムのためのエネルギー要件（例えば、ディスプレイシステムは、随意に、バッテリ給電され、より低い容量バッテリを要求し、および／または所与のバッテリのために、より長い持続時間にわたって動作し得る）のうちの１つ以上のものを低減させ得る。したがって、本明細書に説明される実施形態は、拡張または仮想現実ディスプレイシステムから生じる技術的問題に対処する。加えて、説明される技法は、ユーザへの提示に応じて、グラフィカルコンテンツが、基本的に異なるように提示される（例えば、分解能が修正される）一方、グラフィカルコンテンツが、同一であるようにユーザに現れ得るように、グラフィカルコンテンツを操作する。したがって、ディスプレイシステムは、ユーザがその周囲環境を見渡すにつれて、グラフィカルコンテンツを変換しながら、視覚的忠実性を保ち、処理パワーを節約する。
ディスプレイシステムは、拡張現実ディスプレイシステムまたは仮想現実ディスプレイシステムの一部であってもよいことを理解されたい。一実施例として、ディスプレイシステムのディスプレイは、透過性であってもよく、ユーザが、画像、ビデオ、相互作用等の形態で仮想コンテンツをユーザに提供しながら、実世界を視認することを可能にしてもよい。別の実施例として、ディスプレイシステムは、ユーザの実世界のビューをブロックしてもよく、仮想現実画像、ビデオ、相互作用等が、ユーザに提示されてもよい。
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。
図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼２１０、２２０毎に１つの同一仮想オブジェクトの若干異なるビューを伴う２つの明確に異なる画像１９０、２００を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
図２を継続して参照すると、画像１９０、２００は、ｚ－軸上で距離２３０だけ眼２１０、２２０から離間される。ｚ－軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像１９０、２００は、平坦であって、眼２１０、２２０から固定距離にある。それぞれ、眼２１０、２２０に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、自然に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼２１０、２２０のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、３次元画像の提供は、従来、ユーザの眼２１０、２２０の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図３Ａ－３Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図３Ａ－３Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼２１０との間の距離の減少に伴って増加する。単眼２１０のみが、例証を明確にするために、図３Ａ－３Ｃおよび本明細書の種々の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得る。
図３Ａ－３Ｃを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮を誘起し、それによって、レンズを保持する提靭帯に印加される力を変調し、したがって、固視されている画像の網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
ここで図４Ａを参照すると、ヒト視覚系の遠近調節－輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動（眼の回転）を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図４Ａを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図４Ａに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがｚ－軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「３次元」であると知覚し得ると考えられる。前述のように、２つの眼の相互に対する輻輳・開散運動移動（例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転）は、眼の水晶体の遠近調節と密接に関連付けられる。通常条件下では、眼の水晶体の形状を変化させ、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、水晶体形状における整合する変化を誘起するであろう。
ここで図４Ｂを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼２２２ａは、光学無限遠におけるオブジェクトを固視する一方、対の眼２２２ｂは、光学無限遠未満におけるオブジェクト２２１を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼２２２ａは、まっすぐ指向される一方、対の眼２２２は、オブジェクト２２１上に収束する。各対の眼２２２ａおよび２２２ｂを形成する眼の遠近調節状態もまた、水晶体２１０ａ、２２０ａの異なる形状によって表されるように異なる。
望ましくないことに、従来の「３－Ｄ」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。前述のように、多くの立体視または「３－Ｄ」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節－輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節－輻輳・開散運動整合を提供してもよい。
図４Ｂを継続して参照すると、眼２１０、２２０からの空間内の異なる距離に対応する、２つの深度平面２４０が、図示される。所与の深度平面２４０に関して、輻輳・開散運動キューが、眼２１０、２２０毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度平面２４０に関して、各眼２１０、２２０に提供される画像を形成する光は、その深度平面２４０の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
図示される実施形態では、点２２１を含有する、深度平面２４０のｚ－軸に沿った距離は、１ｍである。本明細書で使用されるように、ｚ－軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、１ｍの深度に位置する深度平面２４０は、それらの眼の光学軸上のユーザの眼の射出瞳から１ｍ離れた距離に対応する。近似値として、ｚ－軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ（例えば、導波管の表面）から測定され、デバイスと眼が光学無限遠に向かって指向される状態におけるユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、２０ｍｍであると仮定され得、１ｍの深度における深度平面は、ディスプレイの正面の９８０ｍｍの距離にあり得る。
ここで図４Ｃおよび４Ｄを参照すると、整合遠近調節－輻輳・開散運動距離および不整合遠近調節－輻輳・開散運動距離の実施例が、それぞれ、図示される。図４Ｃに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼２１０、２２０に提供してもよい。画像は、眼２１０、２２０に、眼が深度平面２４０上の点１５上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度平面２４０における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼２１０、２２０は、画像がそれらの眼の網膜上に合焦する、遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度平面２４０上の点１５にあるように知覚し得る。
眼２１０、２２０の遠近調節および輻輳・開散運動状態のそれぞれは、ｚ－軸上の特定の距離と関連付けられることを理解されたい。例えば、眼２１０、２２０からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられた距離は、遠近調節距離Ａｄと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられた特定の輻輳・開散運動距離Ｖｄが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオであると見なされる。
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常には整合しない場合がある。例えば、図４Ｄに図示されるように、眼２１０、２２０に表示される画像は、深度平面２４０に対応する波面発散を伴って表示され得、眼２１０、２２０は、その深度平面上の点１５ａ、１５ｂが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼２１０、２２０に表示される画像は、眼２１０、２２０を深度平面２４０上に位置しない点１５上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、遠近調節距離は、いくつかの実施形態では、ユーザの特定の参照点（例えば、眼２１０、２２０の射出瞳）から深度平面２４０までの距離に対応する一方、輻輳・開散運動距離は、その参照点から点１５までのより大きい距離に対応する。したがって、遠近調節距離は、輻輳・開散運動距離と異なり、遠近調節－輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離（例えば、Ｖｄ－Ａｄ）に対応し、ジオプタ（長さの逆数１／ｍの単位）を使用して特徴付けられ得ることを理解されたい。例えば、１．７５ジオプタのＶｄおよび１．２５ジオプタのＡｄまたは１．２５ジオプタのＶｄおよび１．７５ジオプタのＡｄは、０．５ジオプタの遠近調節－輻輳・開散運動不整合を提供するであろう。
いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼２１０、２２０の射出瞳以外の参照点が、遠近調節－輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度平面、網膜から深度平面、接眼レンズ（例えば、ディスプレイデバイスの導波管）から深度平面等で測定され得る。
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約０．２５ジオプタ、最大約０．３３ジオプタ、および最大約０．５ジオプタの遠近調節－輻輳・開散運動不整合が生理学的に正しいと知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム（例えば、ディスプレイシステム２５０、図６）は、約０．５ジオプタ以下の遠近調節－輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．３３ジオプタ以下である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節－輻輳・開散運動不整合は、約０．２５ジオプタ以下であって、約０．１ジオプタ以下を含む。
図５は、波面発散を修正することによって、３次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光７７０を受光し、その光をユーザの眼２１０に出力するように構成される、導波管２７０を含む。導波管２７０は、所望の深度平面２４０上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光６５０を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度平面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
いくつかの実施形態では、単一導波管が、単一または限定数の深度平面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および／または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度平面のための異なる波面発散量を提供し、および／または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度平面は、平坦または湾曲表面の輪郭に追従してもよいことを理解されたい。いくつかの実施形態では、便宜上、深度平面は、平坦表面の輪郭に追従し得る。
図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム２５０は、複数の導波管２７０、２８０、２９０、３００、３１０を使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ２６０を含む。ディスプレイシステム２５０は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ２６０はまた、接眼レンズとも称され得る。
いくつかの実施形態では、ディスプレイシステム２５０は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能な離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム２５０は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度平面に対応し、導波管２７０、２８０、２９０、３００、３１０のうちの特定の１つによって提供されてもよい。
図６を継続して参照すると、導波管アセンブリ２６０はまた、複数の特徴３２０、３３０、３４０、３５０を導波管の間に含んでもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、１つ以上のレンズであってもよい。導波管２７０、２８０、２９０、３００、３１０および／または複数のレンズ３２０、３３０、３４０、３５０は、種々のレベルの波面曲率または光線発散を伴って画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、導波管のための光源として機能してもよく、画像情報を導波管２７０、２８０、２９０、３００、３１０の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼２１０に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス３６０、３７０、３８０、３９０、４００の出力表面４１０、４２０、４３０、４４０、４５０から出射し、導波管２７０、２８０、２９０、３００、３１０の対応する入力表面４６０、４７０、４８０、４９０、５００の中に投入される。いくつかの実施形態では、入力表面４６０、４７０、４８０、４９０、５００はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部（すなわち、世界５１０または視認者の眼２１０に直接面する導波管表面のうちの１つ）であってもよい。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度平面に対応する特定の角度（および発散量）において眼２１０に向かって指向される、クローン化されたコリメートビームの全体場を出力してもよい。いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの単一の１つは、複数（例えば、３つ）の導波管２７０、２８０、２９０、３００、３１０と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００はそれぞれ、それぞれ対応する導波管２７０、２８０、２９０、３００、３１０の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して画像投入デバイス３６０、３７０、３８０、３９０、４００のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス３６０、３７０、３８０、３９０、４００によって提供される画像情報は、異なる波長または色（例えば、本明細書に議論されるような異なる原色）の光を含み得ることを理解されたい。
いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０の中に投入される光は、光プロジェクタシステム５２０によって提供され、これは、光モジュール５３０を備え、これは、発光ダイオード（ＬＥＤ）等の光エミッタを含んでもよい。光モジュール５３０からの光は、ビームスプリッタ５５０を介して、光変調器５４０、例えば、空間光変調器によって指向され、それによって修正されてもよい。光変調器５４０は、導波管２７０、２８０、２９０、３００、３１０の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、シリコン上液晶（ＬＣＯＳ）ディスプレイを含む、液晶ディスプレイ（ＬＣＤ）を含む。画像投入デバイス３６０、３７０、３８０、３９０、４００は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管２７０、２８０、２９０、３００、３１０の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ２６０の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器５４０であってもよく、画像は、深度平面上の画像であってもよい。
いくつかの実施形態では、ディスプレイシステム２５０は、光を種々のパターン（例えば、ラスタ走査、螺旋走査、リサジューパターン等）で１つ以上の導波管２７０、２８０、２９０、３００、３１０の中に、最終的には、視認者の眼２１０に投影するように構成される、１つ以上の走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、光を１つまたは複数の導波管２７０、２８０、２９０、３００、３１０の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管２７０、２８０、２９０、３００、３１０のうちの関連付けられた１つの中に投入するように構成される。１つ以上の光ファイバは、光を光モジュール５３０から１つ以上の導波管２７０、２８０、２９０、３００、３１０に透過させるように構成され得ることを理解されたい。１つ以上の介在光学構造が、走査ファイバまたは複数のファイバと、１つ以上の導波管２７０、２８０、２９０、３００、３１０との間に提供され、例えば、走査ファイバから出射する光を１つ以上の導波管２７０、２８０、２９０、３００、３１０の中に再指向し得ることを理解されたい。
コントローラ５６０は、画像投入デバイス３６０、３７０、３８０、３９０、４００、光源５３０、および光モジュール５４０の動作を含む、スタックされた導波管アセンブリ２６０のうちの１つ以上のものの動作を制御する。いくつかの実施形態では、コントローラ５６０は、ローカルデータ処理モジュール１４０の一部である。コントローラ５６０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管２７０、２８０、２９０、３００、３１０への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ５６０は、いくつかの実施形態では、処理モジュール１４０または１５０（図９Ｄ）の一部であってもよい。
図６を継続して参照すると、導波管２７０、２８０、２９０、３００、３１０は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管２７０、２８０、２９０、３００、３１０はそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴って、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管２７０、２８０、２９０、３００、３１０はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼２１０に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素５７０、５８０、５９０、６００、６１０を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素５７０、５８０、５９０、６００、６１０は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管２７０、２８０、２９０、３００、３１０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、本明細書にさらに議論されるように、上部主要表面および／または底部主要表面に配置されてもよい、および／または導波管２７０、２８０、２９０、３００、３１０の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、透明基板に取り付けられ、導波管２７０、２８０、２９０、３００、３１０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管２７０、２８０、２９０、３００、３１０は、モノリシック材料片であってもよく、外部結合光学要素５７０、５８０、５９０、６００、６１０は、その材料片の表面上および／または内部に形成されてもよい。
図６を継続して参照すると、本明細書に議論されるように、各導波管２７０、２８０、２９０、３００、３１０は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管２７０は、眼２１０にコリメートされた光（そのような導波管２７０の中に投入された）を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管２８０は、眼２１０に到達し得る前に、第１のレンズ３５０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ３５０は、眼／脳が、その次の上方の導波管２８０から生じる光を光学無限遠から眼２１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管２９０は、眼２１０に到達する前に、その出力光を第１のレンズ３５０および第２のレンズ３４０の両方を通して通過させる。第１のレンズ３５０および第２のレンズ３４０の組み合わせられた屈折力は、眼／脳が、第３の導波管２９０から生じる光が次の上方の導波管２８０からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層３００、３１０およびレンズ３３０、３２０も同様に構成され、スタック内の最高導波管３１０は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ２６０の他側の世界５１０から生じる光を視認／解釈するとき、レンズ３２０、３３０、３４０、３５０のスタックを補償するために、補償レンズ層６２０が、スタックの上部に配置され、下方のレンズスタック３２０、３３０、３４０、３５０の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい（すなわち、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であり得る。
いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０のうちの２つ以上のものは、同一の関連付けられる深度平面を有してもよい。例えば、複数の導波管２７０、２８０、２９０、３００、３１０が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管２７０、２８０、２９０、３００、３１０の複数のサブセットは、深度平面毎に１つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
図６を継続して参照すると、外部結合光学要素５７０、５８０、５９０、６００、６１０は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素５７０、５８０、５９０、６００、６１０の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素５７０、５８０、５９０、６００、６１０は、具体的角度で光を出力するように構成され得る、体積または表面特徴であってもよい。例えば、光抽出光学要素５７０、５８０、５９０、６００、６１０は、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、クラッディング層および／または空隙を形成するための構造）であってもよい。
いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、回折パターンを形成する回折特徴または「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼２１０に向かって偏向される一方、残りがＴＩＲを介して、導波管を通して移動し続けるように、十分に低い回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼２１０に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に一致するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに一致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、カメラアセンブリ６３０（例えば、可視光および赤外光カメラを含む、デジタルカメラ）が、眼２１０および／または眼２１０の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および／またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ６３０は、画像捕捉デバイスと、光（例えば、赤外線光）を眼に投影し、次いで、その光が眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ６３０は、フレーム８０（図９Ｄ）に取り付けられてもよく、カメラアセンブリ６３０からの画像情報を処理し得る、処理モジュール１４０および／または１５０と電気通信してもよい。いくつかの実施形態では、１つのカメラアセンブリ６３０が、眼毎に利用され、各眼を別個に監視してもよい。
ここで図７を参照すると、導波管によって出力された出射ビームの実施例が、示される。１つの導波管が図示されるが、導波管アセンブリ２６０（図６）内の他の導波管も同様に機能し得、導波管アセンブリ２６０は、複数の導波管を含むことを理解されたい。光６４０が、導波管２７０の入力表面４６０において導波管２７０の中に投入され、ＴＩＲによって導波管２７０内を伝搬する。光６４０がＤＯＥ５７０上に衝突する点では、光の一部は、導波管から出射ビーム６５０として出射する。出射ビーム６５０は、略平行として図示されるが、本明細書に議論されるように、また、導波管２７０と関連付けられる深度平面に応じて、ある角度（例えば、発散出射ビームを形成する）において眼２１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼２１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼２１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼２１０に近い距離からの光として脳によって解釈されるであろう。
いくつかの実施形態では、フルカラー画像が、原色、例えば、３つ以上の原色のそれぞれに画像をオーバーレイすることによって、各深度平面において形成されてもよい。図８は、各深度平面は、複数の異なる原色を使用して形成される画像を含む、スタックされた導波管アセンブリの実施例を図示する。図示される実施形態は、深度平面２４０ａ－２４０ｆを示すが、より多いまたはより少ない深度もまた、検討される。各深度平面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含む、それと関連付けられる３つ以上の原色画像を有してもよい。異なる深度平面は、文字Ｇ、Ｒ、およびＢに続くジオプタ（ｄｐｔ）に関する異なる数字によって図示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動してもよい。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得る、および／または色収差を減少させ得る。
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度平面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字Ｇ、Ｒ、またはＢを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、３つの導波管は、３つの原色画像が、深度平面毎に提供される、深度平面毎に提供されてもよい。各深度平面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、例えば、単一導波管のみが深度平面毎に提供され得るように、複数の原色が、同一導波管によって出力されてもよい。
図８を継続して参照すると、いくつかの実施形態では、Ｇは、緑色であって、Ｒは、赤色であって、Ｂは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの１つ以上のものに加えて使用されてもよい、またはそれらに取って代わってもよい。
本開示全体を通した所与の光の色の言及は、視認者によってその所与の色として知覚される、光の波長の範囲内の１つ以上の波長の光を包含すると理解されると理解されたい。例えば、赤色光は、約６２０～７８０ｎｍの範囲内の１つ以上の波長の光を含んでもよく、緑色光は、約４９２～５７７ｎｍの範囲内の１つ以上の波長の光を含んでもよく、青色光は、約４３５～４９３ｎｍの範囲内の１つ以上の波長の光を含んでもよい。
いくつかの実施形態では、光源５３０（図６）は、視認者の視覚的知覚範囲外の１つ以上の波長、例えば、赤外線および／または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ２５０の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および／またはユーザ刺激用途のために、本光をディスプレイからユーザの眼２１０に向かって指向および放出するように構成されてもよい。
ここで図９Ａを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図９Ａは、それぞれ、内部結合光学要素を含む、複数またはセット６６０のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、１つ以上の異なる波長または１つ以上の異なる波長範囲の光を出力するように構成されてもよい。スタック６６０は、スタック２６０（図６）に対応してもよく、スタック６６０の図示される導波管は、複数の導波管２７０、２８０、２９０、３００、３１０の一部に対応してもよいが、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの１つ以上のものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
スタックされた導波管の図示されるセット６６０は、導波管６７０、６８０、および６９０を含む。各導波管は、関連付けられる内部結合光学要素（導波管上の光入力面積とも称され得る）を含み、例えば、内部結合光学要素７００は、導波管６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、導波管６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、導波管６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０のうちの１つ以上のものは、個別の導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい（特に、１つ以上の内部結合光学要素は、反射型偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、それらの個別の導波管６７０、６８０、６９０の上側主要表面（または次の下側導波管の上部）上に配置されてもよく、特に、それらの内部結合光学要素は、透過型偏向光学要素である。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、個別の導波管６７０、６８０、６９０の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過させながら、１つ以上の光の波長を選択的に再指向するように、波長選択的である。それらの個別の導波管６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態では、それらの個別の導波管６７０、６８０、６９０の他の面積内に配置され得ることを理解されたい。
図示されるように、内部結合光学要素７００、７１０、７２０は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過することなく、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素７００、７１０、７２０は、図６に示されるように、光を異なる画像投入デバイス３６０、３７０、３８０、３９０、および４００から受光するように構成されてもよく、光を内部結合光学要素７００、７１０、７２０の他のものから実質的に受光しないように、他の内部結合光学要素７００、７１０、７２０から分離されてもよい（例えば、側方に離間される）。
各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素７３０は、導波管６７０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７４０は、導波管６８０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７５０は、導波管６９０の主要表面（例えば、上部主要表面）上に配置される。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられる導波管６７０、６８０、６９０の上部および底部両方の主要表面上に配置されてもよい、または光分散要素７３０、７４０、７５０は、それぞれ、異なる関連付けられる導波管６７０、６８０、６９０内の上部主要表面および底部主要表面の異なるもの上に配置されてもよい。
導波管６７０、６８０、６９０は、例えば、材料のガス、液体、および／または固体層によって離間および分離されてもよい。例えば、図示されるように、層７６０ａは、導波管６７０および６８０を分離してもよく、層７６０ｂは、導波管６８０および６９０を分離してもよい。いくつかの実施形態では、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、導波管６７０、６８０、６９０のうちの直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、導波管６７０、６８０、６９０を形成する材料の屈折率に対して０．０５以上であるまたは０．１０以下である。有利には、より低い屈折率層７６０ａ、７６０ｂは、導波管６７０、６８０、６９０を通して光の全内部反射（ＴＩＲ）（例えば、各導波管の上部主要表面と底部主要表面との間のＴＩＲ）を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、導波管の図示されるセット６６０の上部および底部は、直近クラッディング層を含み得ることを理解されたい。
好ましくは、製造および他の考慮点を容易にするために、導波管６７０、６８０、６９０を形成する材料は、類似または同一であって、層７６０ａ、７６０ｂを形成する材料は、類似または同一である。いくつかの実施形態では、導波管６７０、６８０、６９０を形成する材料は、１つ以上の導波管間で異なり得る、および／または層７６０ａ、７６０ｂを形成する材料は、依然として、上記の種々の屈折率関係を保持しながら、異なり得る。
図９Ａを継続して参照すると、光線７７０、７８０、７９０が、導波管のセット６６０に入射する。光線７７０、７８０、７９０は、１つ以上の画像投入デバイス３６０、３７０、３８０、３９０、４００（図６）によって導波管６７０、６８０、６９０の中に投入されてもよいことを理解されたい。
いくつかの実施形態では、光線７７０、７８０、７９０は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素７００、７１０、７２０はそれぞれ、光が、ＴＩＲによって、導波管６７０、６８０、６９０のうちの個別の１つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、１つ以上の特定の光の波長を選択的に偏向させる。
例えば、内部結合光学要素７００は、それぞれ、異なる第２および第３の波長または波長範囲を有する、光線７８０および７９０を透過させながら、第１の波長または波長範囲を有する、光線７７０を偏向させるように構成されてもよい。透過された光線７８０は、第２の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向される。光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７２０によって偏向される。
図９Ａを継続して参照すると、偏向された光線７７０、７８０、７９０は、対応する導波管６７０、６８０、６９０を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素７００、７１０、７２０は、光をその対応する導波管６７０、６８０、６９０の中に偏向させ、光をその対応する導波管の中に内部結合する。光線７７０、７８０、７９０は、光をＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬させる角度で偏向される。光線７７０、７８０、７９０は、導波管の対応する光分散要素７３０、７４０、７５０に衝突するまで、ＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬する。
ここで図９Ｂを参照すると、図９Ａの複数のスタックされた導波管の実施例の斜視図が、図示される。上記のように、内部結合された光線７７０、７８０、７９０は、それぞれ、内部結合光学要素７００、７１０、７２０によって偏向され、次いで、それぞれ、導波管６７０、６８０、６９０内でＴＩＲによって伝搬する。光線７７０、７８０、７９０は、次いで、それぞれ、光分散要素７３０、７４０、７５０に衝突する。光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０に向かって伝搬するように、光線７７０、７８０、７９０を偏向させる。
いくつかの実施形態では、光分散要素７３０、７４０、７５０は、直交瞳エクスパンダ（ＯＰＥ）である。いくつかの実施形態では、ＯＰＥは、光を外部結合光学要素８００、８１０、８２０に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素７３０、７４０、７５０は、省略されてもよく、内部結合光学要素７００、７１０、７２０は、光を直接外部結合光学要素８００、８１０、８２０に偏向させるように構成されてもよい。例えば、図９Ａを参照すると、光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０と置換されてもよい。いくつかの実施形態では、外部結合光学要素８００、８１０、８２０は、光を視認者の眼２１０（図７）に指向させる、射出瞳（ＥＰ）または射出瞳エクスパンダ（ＥＰＥ）である。ＯＰＥは、少なくとも１つの軸においてアイボックスの寸法を増加させるように構成され得、ＥＰＥは、ＯＰＥの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各ＯＰＥは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、ＯＰＥに衝打する光の一部を同一導波管のＥＰＥに再指向するように構成されてもよい。ＯＰＥに再び衝突することに応じて、残りの光の別の部分は、ＥＰＥに再指向され、その部分の残りの部分は、導波管を辿ってさらに伝搬し続ける等である。同様に、ＥＰＥへの衝打に応じて、衝突光の一部は、ユーザに向かって導波管から外に指向され、その光の残りの部分は、ＥＰに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突光の別の部分は、導波管から外に指向される等である。その結果、内部結合された光の単一ビームは、その光の一部がＯＰＥまたはＥＰＥによって再指向される度に、「複製」され、それによって、図６に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、ＯＰＥおよび／またはＥＰＥは、光のビームのサイズを修正するように構成されてもよい。
故に、図９Ａおよび９Ｂを参照すると、いくつかの実施形態では、導波管のセット６６０は、原色毎に、導波管６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、光分散要素（例えば、ＯＰＥ）７３０、７４０、７５０と、外部結合光学要素（例えば、ＥＰ）８００、８１０、８２０とを含む。導波管６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされてもよい。内部結合光学要素７００、７１０、７２０は、（異なる波長の光を受光する異なる内部結合光学要素を用いて）入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管６７０、６８０、６９０内にＴＩＲをもたらすであろう角度で伝搬する。示される実施例では、光線７７０（例えば、青色光）は、前述の様式において、第１の内部結合光学要素７００によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素（例えば、ＯＰＥ）７３０、次いで、外部結合光学要素（例えば、ＥＰ）８００と相互作用する。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、導波管６７０を通して通過し、光線７８０は、内部結合光学要素７１０上に衝突し、それによって偏向される。光線７８０は、次いで、ＴＩＲを介して、導波管６８０を辿ってバウンスし、その光分散要素（例えば、ＯＰＥ）７４０、次いで、外部結合光学要素（例えば、ＥＰ）８１０に進むであろう。最後に、光線７９０（例えば、赤色光）は、導波管６９０を通して通過し、導波管６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって、光分散要素（例えば、ＯＰＥ）７５０、次いで、ＴＩＲによって、外部結合光学要素（例えば、ＥＰ）８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を視認者に外部結合し、視認者はまた、他の導波管６７０、６８０からの外部結合した光も受光する。
図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管６７０、６８０、６９０は、各導波管の関連付けられる光分散要素７３０、７４０、７５０および関連付けられる外部結合光学要素８００、８１０、８２０とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する（例えば、上下図に見られるように、側方に離間される）。本明細書でさらに議論されるように、本非重複空間配列は、１対１ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
図９Ｄは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム６０の実施例を図示する。いくつかの実施形態では、ディスプレイシステム６０は、図６のシステム２５０であって、図６は、そのシステム６０のいくつかの部分をより詳細に図式的に示す。例えば、図６の導波管アセンブリ２６０は、ディスプレイ７０の一部であってもよい。
図９Ｄを継続して参照すると、ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ７０は、フレーム８０に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者９０によって装着可能であって、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、接眼レンズと見なされ得る。いくつかの実施形態では、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供してもよい）。ディスプレイシステム６０はまた、１つ以上のマイクロホン１１０または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム６０に提供することを可能にするように構成され（例えば、音声メニューコマンドの選択、自然言語質問等）、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集してもよい。いくつかの実施形態では、ディスプレイシステム６０はさらに、ユーザの周囲の世界の光、オブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成される、１つ以上の外向きに指向される環境センサ１１２を含んでもよい。例えば、環境センサ１１２は、例えば、ユーザ９０の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに面して位置し得る、１つ以上のカメラを含んでもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ１２０ａを含んでもよく、これは、フレーム８０と別個であって、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等）上に取り付けられてもよい。周辺センサ１２０ａは、いくつかの実施形態では、ユーザ９０の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ１２０ａは、電極であってもよい。
図９Ｄを継続して参照すると、ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３０によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ９０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成で搭載されてもよい。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカル処理およびデータモジュール１４０は、１つ以上の中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含んでもよい。データは、ａ）センサ（画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ（例えば、フレーム８０に動作可能に結合される、または別様にユーザ９０に取り付けられ得る））から捕捉されたデータ、および／またはｂ）可能性として処理または読出後にディスプレイ７０への通過のための遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して取得および／または処理されたデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が相互に動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク１７０、１８０によって、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つ以上のものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つ以上のものは、フレーム８０に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立構造であってもよい。
図９Ｄを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール１５０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよく、例えば、１つ以上の中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ１６０は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、１つ以上の遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツをローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に生成するための情報を提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的使用を可能にする。随意に、ＣＰＵ、ＧＰＵ等を含む、外部システム（例えば、１つ以上のプロセッサ、１つ以上のコンピュータのシステム）が、処理（例えば、画像情報を生成する、データを処理する）の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール１４０、１５０、１６０に提供し、情報をそこから受信してもよい。
（Ｉ．深度情報に基づく品質調節）
本明細書に説明されるように、種々の実施形態による、ディスプレイシステム（例えば、図９Ｄのディスプレイシステム６０等の拡張現実ディスプレイシステム）は、例えば、ユーザの眼を監視することによって、ユーザの３次元固視点を決定してもよい。固視点は、（１）ｘ－軸（例えば、側方軸）、（２）ｙ－軸（例えば、垂直軸）、および（３）ｚ－軸（例えば、点の深度、例えば、ユーザからの深度）に沿った空間内の点の場所を示し得る。いくつかの実施形態では、ディスプレイシステムは、カメラ、センサ等を利用して、ユーザの眼（例えば、各眼の瞳孔、角膜等）を監視し、各眼の視線を決定してもよい。各眼の視線は、概して、眼の水晶体を通したその眼の網膜の中心から延在するベクトルであると理解され得る。例えば、ベクトルは、概して、眼の水晶体を通した黄斑の中心（例えば、中心窩）から延在し得る。ディスプレイシステムは、眼と関連付けられたベクトルが交差する場所を決定するように構成されてもよく、本交点は、眼の固視点であると理解され得る。換言すると、固視点は、ユーザの眼が輻輳している３次元空間内の場所であり得る。いくつかの実施形態では、ディスプレイシステムは、例えば、高速移動（例えば、サッケード、マイクロサッケード）の間、ユーザの眼のわずかな移動をフィルタリングしてもよく、眼が３次元空間内のある場所を固視していることを決定することに応じて、固視点を更新してもよい。例えば、ディスプレイシステムは、閾値持続時間未満にわたってある点を固視している眼の移動を無視するように構成されてもよい。
仮想オブジェクトまたはコンテンツ等のディスプレイシステムによって提示される、コンテンツの分解能は、本明細書に議論されるように、固視点との近接度に基づいて調節されてもよい。ディスプレイシステムは、仮想オブジェクトの３次元空間内の場所に関する情報をその中に記憶してもよい、またはそこへのアクセスを有してもよいことを理解されたい。仮想オブジェクトの既知の場所に基づいて、所与の仮想オブジェクトと固視点の近接度が、決定されてもよい。例えば、仮想オブジェクトと固視点の近接度は、（１）ユーザの固視点からの仮想オブジェクトの３次元距離、（２）ディスプレイシステムのディスプレイ錐台が分解能調節ゾーンに分割される場合、固視点が位置する分解能調節ゾーンに対する、仮想オブジェクトが位置する分解能調節ゾーン、（３）仮想オブジェクトとユーザの視線との間の角度分離のうちの１つ以上のものを決定することによって決定されてもよい。固視点のより近くに近接する仮想コンテンツは、固視点からより遠いコンテンツより高い分解能で提示されてもよい。いくつかの実施形態では、仮想コンテンツの分解能は、仮想コンテンツが固視点に対して配置される深度平面または固視点が配置される深度平面の近接度に応じて変化する。いくつかの実施形態では、分解能に対する調節は、１つ以上のグラフィック処理ユニット、例えば、モジュール１４０、１５０（図９Ｄ）のうちの１つ以上のもの内に含まれるレンダリングエンジン等のレンダリングエンジンによって行われてもよい。
図１０Ａは、ディスプレイシステム（例えば、ディスプレイシステム６０、図９Ｄ）によって提示されるコンテンツ（例えば、ディスプレイ錐台１００４内に含まれるコンテンツ）を視認するユーザの上下図の表現の実施例を図示する。表現は、ユーザの眼２１０、２２０と、眼２１０、２２０の固視点１００６の決定とを含む。図示されるように、各眼の視線は、ベクトル（例えば、ベクトル１００３Ａ、１００３Ｂ）として表され、ディスプレイシステムは、例えば、それらのベクトルが眼２１０、２２の正面で収束する場所を決定することによって、固視点１００６を検出している。図示される実施例では、固視点１００６は、ディスプレイシステムによって提示される第１の仮想オブジェクト１００８Ａの場所と一致する。眼追跡のためのシステムおよび方法の実施例は、２０１５年４月１８日に出願された米国特許出願第１４／６９０，４０１号（あらゆる目的のために、参照することによって組み込まれる）および添付の付録に見出され得る。例えば、眼追跡システムおよび方法は、少なくとも、付録の図２５－２７に説明されており、少なくとも部分的に、本明細書に説明されるように、眼追跡のため、および／または固視点を決定するために利用されることができる。
図１０Ａを継続して参照すると、第２の仮想オブジェクト１００８Ｂもまた、ディスプレイシステムによって、ディスプレイ錐台１００４内に提示される。視認者によって見られるようなこれらの仮想オブジェクト１００８Ａ、１００８Ｂのビューは、レンダリングされたフレーム１０１０内に示される。レンダリングされたフレーム１０１０は、第１の分解能でレンダリングされた第１の仮想オブジェクト１００８Ａを含んでもよい一方、固視点１００６から離れて位置する、第２の仮想オブジェクト１００８Ｂは、第２のより低い分解能でレンダリングされる。具体的には、第２の仮想オブジェクト１００８Ｂは、第１の仮想オブジェクト１００８Ａより深い深度にあって、その側面に向かって位置することが決定され得る。例えば、ディスプレイシステムが、本明細書に議論されるように、第２の仮想オブジェクト１００８Ｂの深度を決定してもよい、または随意に、仮想コンテンツと関連付けられたコンテンツプロバイダが、ディスプレイシステムがその仮想オブジェクトをレンダリングするために利用し得る、仮想オブジェクトの深度を示してもよい。したがって、固視点１００６は、上記に説明されるように、ユーザが見ている空間内の３次元場所を説明し、第２の仮想オブジェクト１００８Ｂは、ユーザからより遠い深度に位置するとともに、固視点１００６から側方に変位されていることが決定され得る。
理論によって限定されるわけではないが、ユーザの眼２１０、２２０が、第１の仮想オブジェクト１００８Ａを見ている状態では、第１の仮想オブジェクト１００８Ａの画像は、ユーザの中心窩に入り得る一方、第２の仮想オブジェクト１００８Ｂの画像は、中心窩に入らないと考えられる。その結果、第２の仮想オブジェクト１００８Ｂは、その第２の仮想オブジェクト１００８Ｂに対するヒト視覚系のより低い感度に起因して、ディスプレイシステムの知覚される画質に有意な影響を伴わずに、分解能が低減されてもよい。加えて、より低い分解能は、有利には、画像を提供するために要求される算出負荷を低減させる。本明細書に議論されるように、第２の仮想オブジェクト１００８Ｂがレンダリングされる、分解能は、固視点１００６との近接度に基づいてもよく、分解能における低減（例えば、第１の仮想オブジェクト１００８Ａの分解能に対する）は、固視点１００６と仮想オブジェクト１００８Ａとの間の近接度の減少（または距離の増加）に伴って、増加し得る。いくつかの実施形態では、分解能の減少率は、ヒトの眼内の錐体の密度の低減率または中心窩から離れるにつれた視力降下に準拠してもよい。
ディスプレイシステムによって提示される種々の仮想オブジェクトの分解能は、固視点が場所を変化させるにつれて動的に変動し得ることを理解されたい。例えば、図１０Ｂは、ディスプレイシステムによって提示されるコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。図１０Ｂに図示されるように、ユーザは、ユーザが第１の仮想オブジェクト１００８Ａに合焦していた図１０Ａと比較して、ここでは、第２の仮想オブジェクト１００８Ｂに合焦している。ユーザの視線１００３Ａ、１００３Ｂを監視することによって、ディスプレイシステムは、眼２１０、２２０が第２の仮想オブジェクト１００８Ｂ上に輻輳していることを決定し、その場所を新しい固視点１００６として設定する。
固視点１００６の場所の本変化を検出することに応じて、ディスプレイシステムは、ここで、レンダリングされたフレーム１０１０に示されるように、第２の仮想オブジェクト１００８Ｂを第１の仮想オブジェクト１００８Ａより高い分解能でレンダリングする。好ましくは、ディスプレイシステムは、ユーザの視線１００３Ａ、１００３Ｂを十分に高周波数で監視し、第１の仮想オブジェクト１００８Ａおよび第２の仮想オブジェクト１００８Ｂの分解能における遷移がユーザに実質的に知覚不能であるように、仮想オブジェクトの分解能を十分に迅速に変化させる。
図１０Ｃは、ディスプレイシステム（例えば、ディスプレイシステム６０、図９Ｄ）を介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。実施例では、ユーザの視野１００４は、固視点１００６とともに図示される。３つの仮想オブジェクトが、図示され、第１の仮想オブジェクト１０１２Ａは、第２の仮想オブジェクト１０１２Ｂまたは第３の仮想オブジェクト１０１２Ｃより固視点１００６の近くに近接する。同様に、第２の仮想オブジェクト１０１２Ｂは、第３の仮想オブジェクト１０１２Ｃより固視点１００６の近くに近接するように図示される。したがって、仮想オブジェクト１０１２Ａ－１０１２Ｃが、ユーザに提示されると、ディスプレイシステムは、第１の仮想オブジェクト１０１２Ａをレンダリングするステップが、第２の仮想オブジェクト１０１２Ｂより大きなリソース配分を与えられ（例えば、オブジェクト１０１２Ａが、より高い分解能でレンダリングされる）、第２の仮想オブジェクト１０１２Ｂが、第３の仮想オブジェクト１０１２Ｃより大きいリソース配分を受けるように、リソースを配分し得る。第３の仮想オブジェクト１０１２Ｃは、随意に、視野１００４外にあるため、全くレンダリングされなくてもよい。
分解能調節ゾーンが、図１０Ｃの実施例に図示され、ゾーンは、深度および側方軸に沿って説明される楕円形（例えば、円形）である。図示されるように、固視点１００６は、中心ゾーン１０１４Ａの内側にあって、第１の仮想オブジェクト１０１２Ａは、ゾーン１０１４Ｂ、１０１４Ｃ間かつユーザの中心窩視の円錐１００４ａ内に延在する。第１の仮想オブジェクト１０１２Ａは、したがって、ゾーン１０１４Ｂまたは１０１４Ｃと関連付けられた分解能でユーザに提示されてもよく、または随意に、ゾーン１０１４Ｂ内のオブジェクト１０１２Ａの一部が、ゾーン１０１４Ｂの分解能に従って提示されてもよく、ゾーン１０１４Ｃ内の残りの部分は、ゾーン１０１４Ｃの分解能に従って提示されてもよい。例えば、ゾーンが最大（例えば、最高）分解能から低減された分解能を割り当てられる、ある実施形態では、第１の仮想オブジェクト１０１２Ａは、割り当てられた分解能で提示されてもよい。随意に、第１の仮想オブジェクト１０１２Ａは、分解能（例えば、ディスプレイシステムは、それを横断して第１の仮想オブジェクト１０１２Ａが延在する任意のゾーンと関連付けられた最高分解能で表示するようにプログラムされてもよい）または分解能の中心傾向の測定値（例えば、測定値は、オブジェクト１０１２Ａがゾーン１０１４Ｂ、１０１４Ｃ内に位置する範囲に従って加重され得る）のいずれかで提示されてもよい。図１０Ｃを継続して参照すると、固視点１００６からの異なる距離における分解能調節ゾーンは、異なる形状を有してもよいことを理解されたい。例えば、ゾーン１０１４Ｃは、ゾーン１０１４Ａ－１０１４Ｃと異なる形状を有し、視野１００４の輪郭に準拠してもよい。いくつかの他の実施形態では、ゾーン１０１４Ａ－１０１４Ｃのうちの１つ以上のものは、ゾーン１０１４Ａ－１０１４Ｃの１つ以上のその他と異なる形状を有してもよい。
図１０Ｄは、例示的ディスプレイシステムのブロック図である。例示的ディスプレイシステム（例えば、ディスプレイシステム６０、図９Ｄ）は、拡張現実ディスプレイシステムおよび／または複合現実ディスプレイシステムであってもよく、これは、本明細書に説明されるように、ユーザの固視点に従って、レンダリングハードウェアリソースの使用を調節することができる。例えば、図１０Ｃに関して上記に説明されるように、レンダリングハードウェアリソース１０２１は、ユーザの固視点に従って調節されることができる。リソースアービタ１０２０が、そのようなリソース１０２１の使用を調整するために実装されてもよく、例えば、アービタ１０２０は、リソース１０２１を仮想オブジェクトをユーザに提示するステップと関連付けられた特定のアプリケーションプロセス１０２２に配分することができる。リソースアービタ１０２０および／またはレンダリングハードウェアリソース１０２１は、随意に、ディスプレイシステム６０のローカル処理およびデータモジュール１４０（例えば、図９Ｄに図示されるように）および／または遠隔処理モジュール１５０内に含まれてもよい。例えば、レンダリングハードウェアリソース１０２１は、グラフィック処理ユニット（ＧＰＵ）を備えてもよく、これは、図９Ｄに関して上記に説明されるように、モジュール１４０および／またはモジュール１５０内に含まれてもよい。
リソース１０２１を調節する実施例として、図１０Ｃに関して、第１のアプリケーションプロセスと関連付けられた第１の仮想オブジェクト１０１２Ａは、第２のアプリケーションプロセスと関連付けられた第２の仮想オブジェクト１０１２Ｂより多くのリソース１０２１の割当を配分されることができる。アプリケーションプロセス１０２２と関連付けられた仮想オブジェクトは、配分されるリソース１０２１に基づいてレンダリングされ、最終フレームバッファ１０２８の中に合成される（例えば、合成器１０２６によって）ことになるフレームバッファ１０２４内に含まれることができる。最終フレームバッファ１０２８は、次いで、ディスプレイハードウェア１０３０、例えば、図９Ｄに図示されるディスプレイ７０によって提示されることができ、レンダリングされた仮想オブジェクトは、分解能が調節される。
本明細書に開示されるように、仮想オブジェクトの分解能は、仮想オブジェクトと固視点の近接度に基づいて決定されてもよい。いくつかの実施形態では、分解能は、仮想オブジェクトと固視点との間の距離の関数として修正されてもよい。いくつかの実施形態では、修正は、離散ステップにおいて生じてもよい。すなわち、類似修正が、特定の体積またはゾーン内に配置される全ての仮想オブジェクトに適用されてもよい。図１１Ａ１は、３次元固視点追跡に基づく、異なる分解能調節ゾーン内の分解能における調節の上下図の表現の実施例を図示する。ディスプレイシステムは、ディスプレイ錐台を複数の体積または分解能調節ゾーンに分割し、これらのゾーンに対応する離散ステップにおいて、分解能を修正してもよい。したがって、いくつかの実施形態では、仮想コンテンツの分解能における調節を決定するために、ディスプレイシステムは、空間の体積（以降、分解能調節ゾーンと称される）を説明する情報および分解能調節の各空間の体積への割当を利用してもよい。図示されるように、ディスプレイシステムによって提供される視野（例えば、ディスプレイのディスプレイ錐台）は、複数の異なるゾーンに分離され、それぞれ、ユーザからの深度の範囲（例えば、深度範囲１１０２Ａ－１１０２Ｅ）を包含する。いくつかの実施形態では、各深度範囲１１０２Ａ－１１０２Ｅは、ディスプレイシステムによって提示され得る、単一の関連付けられた深度平面を有する。図１１Ａ１を継続して参照すると、５つのゾーンが、ユーザからの各識別された深度の範囲を包含し、側方方向に沿って連続する。図示される例示的上下図では、視野は、２５のゾーンのグリッド１１００に分割される。各ゾーンは、仮想コンテンツがユーザのために設置され得る、実世界空間の体積を表す。
ゾーンはまた、図示されるグリッド１１００が垂直方向に沿った１つの断面を表すように理解され得るように、本垂直方向に（例えば、示されないｙ－軸に沿って）延在してもよいことを理解されたい。いくつかの実施形態では、複数のゾーンはまた、垂直方向にも提供される。例えば、深度範囲あたり５つの垂直ゾーン、すなわち、合計１２５の分解能調節ゾーンが、存在してもよい。３次元に延在するそのようなゾーンの実施例は、図１１Ｂに図示され、下記に説明される。
図１１Ａ１を継続して参照すると、ユーザの眼２１０、２２０は、グリッド１１００内の特定の固視点１００６を固視する。ディスプレイシステムは、固視点１００６の場所および固視点１００６が位置するゾーンを決定してもよい。ディスプレイシステムは、仮想コンテンツと固視点１００６の近接度に基づいて、コンテンツの分解能を調節してもよく、これは、仮想コンテンツと固視点１００６が位置するゾーンの近接度を決定するステップを含んでもよい。実施例として、固視点１００６が位置するゾーン内に含まれるコンテンツに関して、分解能は、特定のポリゴン数、実施例では、１０，０００個のポリゴンに設定されてもよい。固視点１００６からの距離に基づいて、残りのゾーン内に含まれるコンテンツは、適宜、調節されてもよい。例えば、固視点１００６を含むゾーンに隣接するゾーン内に含まれるコンテンツは、より低い分解能（例えば、１，０００ポリゴン）でレンダリングされてもよい。図１１Ａ１の実施例は、本明細書に説明されるように、実施例として、ポリゴン数を調節するステップを図示するが、分解能を調節するステップは、提示されるコンテンツの分解能に対して他の修正を行うステップを包含してもよい。例えば、分解能における調節は、ポリゴン数を調節するステップ、仮想オブジェクトを生成するために利用されるプリミティブを調節するステップ（例えば、プリミティブの形状を調節するステップ、例えば、プリミティブを三角形メッシュから四辺形メッシュに調節するステップ等）、仮想オブジェクト上で実施される動作を調節するステップ（例えば、シェーダ動作）、テクスチャ情報を調節するステップ、色分解能、または深度を調節するステップ、レンダリングサイクルの数またはフレームレートを調節するステップ、およびグラフィック処理ユニット（ＧＰＵ）のグラフィックパイプライン内の１つ以上の点における品質を調節するステップのうちの１つ以上のものを含んでもよい。
加えて、図１１Ａ１の実施例は、異なる分解能調節ゾーン内のポリゴン数における差異の特定の実施例を提供するが、ポリゴンの他の絶対数および固視点１００６からの距離に伴った分解能の他の変化率も、検討される。例えば、固視点１００６からの分解能の降下は、固視点１００６からの深度および側方距離を中心として対称な降下率に基づき得るが、他の降下関係もまた、利用されてもよい。例えば、固視点１００６からの側方距離が、固視点１００６からの深度距離に対する分解能におけるより大きな降下と関連付けられてもよい。さらに、グリッド内に含まれる各ゾーンのサイズ（例えば、ゾーンの空間の体積のサイズ）は、随意に、異なってもよい（例えば、ゾーンは、中心窩軸から半径方向に変動してもよい）。いくつかの実施形態では、降下は、割り当てられた分解能を有する離散ゾーンまたは固視点１００６を含有するゾーンとの分解能関係が利用されないように、固視点１００６から連続してもよい。例えば、固視点１００６から特定のゾーン１１０８（例えば、コンテンツが１００ポリゴンの分解能でレンダリングされる、ゾーン）までの降下は、固視点１００６からグリッドの縁（例えば、特定のゾーン１１０８の縁）まで連続降下であるように修正されてもよい。図５４－５９を参照して下記にさらに詳細に説明されるように、いくつかの実施形態では、分解能におけるそのようなドロップオフは、分解能分布の「ロールオフ」属性と関連付けられてもよい。上記の考慮点のそれぞれはまた、垂直方向に延在するゾーンにも適用されることを理解されたい。
いくつかの実施形態では、グリッド内に含まれるゾーンの数およびサイズは、ユーザの固視点１００６の決定と関連付けられた信頼度に基づいてもよい。例えば、信頼度は、ユーザの眼が固視点１００６を固視していた時間量に基づいてもよく、より短い時間量は、より低い信頼度と関連付けられる。例えば、ディスプレイシステムは、ユーザの眼を特定のサンプリングレート（例えば、３０Ｈｚ、６０Ｈｚ、１２０Ｈｚ、１ｋＨｚ）で監視してもよく、連続サンプルが、ユーザが、概して、固視点１００６を維持していることを示すため、固視点１００６における信頼度を増加させ得る。随意に、固視の特定の閾値が、利用されてもよく、例えば、特定の持続時間（例えば、１００～３００ミリ秒）にわたる、同一、または類似、固視点における固視は、高信頼度と関連付けられ得る一方、特定の持続時間未満は、より低い信頼度と関連付けられ得る。同様に、ユーザの固視点の決定に影響を及ぼし得る、散瞳等の眼内の変動は、ディスプレイシステムに信頼度を低減させ得る。ディスプレイシステムは、カメラ結像デバイス（例えば、カメラアセンブリ６３０、図６）等のセンサを用いて、眼を監視してもよいことを理解されたい。随意に、ディスプレイシステムは、センサの組み合わせを利用して、ユーザの眼視線を決定してもよい（例えば、眼からの赤外線反射を検出し、瞳孔を識別するために利用される、赤外線センサ、眼の虹彩を検出するために利用される、可視光結像デバイス等、異なる眼視線決定プロセスが、利用されてもよい）。ディスプレイシステムは、複数の眼視線決定プロセスが一致するとき、信頼度を増加させ得、それらが不一致である場合、信頼度レベルを減少させ得る。同様に、片眼のみの視線決定プロセスを行う、ディスプレイシステムに関して、各眼視線決定プロセスは、特定の信頼度レベルと関連付けられてもよく（例えば、一方の決定プロセスは、他方より正確と見なされ得る）、分解能調節ゾーンのサイズは、少なくとも部分的に、実装されているプロセスに基づいて選択されてもよい。
いくつかの実施形態では、ディスプレイシステムは、固視点１００６の更新毎に、ゾーンの数を増加または減少させてもよい。例えば、固視点１００６と関連付けられた信頼度が増加するにつれて、より多くのゾーンが、利用されてもよく、信頼度が減少するにつれて、より少ないゾーンが、利用されてもよい。図１１Ａ２は、ゾーンのサイズおよび数が変化するにつれた異なる時間における、分解能調節ゾーンの上下図の表現の実施例を図示する。時間ｔ＝１では、上下図に見られるように、ユーザの視野は、ゾーンの初期セットに分割されてもよい。時間ｔ＝２では、固視点１００６の場所における信頼度は、増加し、ディスプレイシステムはまた、固視点１００６によって占有され、高分解能でレンダリングされる、ゾーンのサイズを減少させてもよい。随意に、図示されるように、他のゾーンのサイズもまた、減少してもよい。時間ｔ＝３では、固視点１００６の場所における信頼度が、減少し、ディスプレイシステムはまた、固視点１００６によって占有され、高分解能でレンダリングされる、ゾーンのサイズを増加させてもよい。随意に、図示されるように、他のゾーンのサイズもまた、増加してもよい。複数のゾーンはまた、ｙ－軸に延在してもよく、ゾーンのサイズおよび数における類似増加または減少はまた、その軸上で制定されてもよいことを理解されたい。例えば、ｙ－軸上に垂直に延在するゾーンのサイズは、信頼度の増加に伴って減少してもよい一方、サイズは、信頼度の減少に伴って増加してもよい。随意に、ディスプレイシステムは、ディスプレイシステムによってユーザに提示されるフレーム毎に、固視点１００６の信頼度を決定してもよく、ｔ＝１、ｔ＝２、およびｔ＝３は、異なるフレームを表してもよい。より多くのゾーンを割り当てることは、算出パワーの増加を要求し得る（例えば、ディスプレイシステムは、より多くのコンテンツの分解能を調節する、コンテンツが含まれるゾーンを識別する等の必要があり得る）ため、ディスプレイシステムは、ゾーン数における増加によってもたらされる要求される算出パワーにおける増加と、コンテンツの分解能における潜在的減少によってもたらされる算出パワーの節約との平衡をとってもよい。
再び図１１Ａ１を参照すると、グリッドは、固視点１００６がグリッドの中心（例えば、重心）に位置するように設定され得るという意味において、動的に変化し得る。したがって、ディスプレイシステムは、固視点１００６がグリッドの頂点上に位置すると決定される、縁ケースを回避し得る。例えば、ユーザの眼が、回転し、次いで、空間内の異なる３次元場所を固視するにつれて、グリッドは、同様に、ユーザの視線に伴って移動されてもよい。
図１１Ｂ－１１Ｅは、種々の分解能調節ゾーン構成の実施例を図示する。図示されない、分解能調節ゾーンの付加的形状および構成が、利用されてもよく、実施例は、包括的であると見なされるべきではない。加えて、いくつかの図面では、ユーザの眼２１０、２２０は、例証の容易性および明確性のために、種々の分解能調節ゾーンから離間されて図示され得る。全てのこれらの図面に関して、眼２１０、２２０は、ゾーンの境界またはその中に配置され得ることを理解されたい（例えば、図１１Ａ１参照）。
図１１Ｂは、図１１Ａ１の分解能調節ゾーンの一部の３次元表現の実施例を図示する。図１１Ａ１は、図１１Ｂの３次元表現の平面１１Ａ１－１１Ａ１に沿って得られた断面図を図示すると理解され得、図１１Ｂは、例証を明確にするために、図１１Ａ１の分解能調節ゾーンのうちのいくつかを省略していることを理解されたい。図１１Ａ１を継続して参照すると、ディスプレイシステムによって提供される視野は、２７のゾーンに分離される。すなわち、視野は、３つの深度範囲１１０２Ｂ－１１０２Ｄに分離され、各深度範囲において、深度範囲において側方および垂直に延在する、３×３グリッドのゾーンが、含まれる。
決定された固視点１００６は、視野の中心に位置するゾーン内にあるように図示される。固視点１００６を含むゾーンの外側のゾーン内に位置する、仮想オブジェクトは、本明細書に議論されるように、固視点１００６ゾーンからの距離に従って、分解能が低減されてもよい。ゾーンは、側方および垂直に延在するため、分解能における低減は、固視点の分解能調節ゾーンからの側方、垂直、および深度軸（それぞれ、ｘ、ｙ、およびｚ－軸）上の距離に基づいて生じることができる。例えば、いくつかの実施形態では、ゾーン１１０８に位置する仮想オブジェクトは、図１１Ａ１に示されるように、側方距離に従って分解能が低減されることができる（例えば、ゾーン１１０８は、固視点１００６を含むゾーンとユーザの視野の同一垂直部分を含み、同一深度平面上にあり得る）。
上記と同様に、かつ下記の図１１Ｃ－１１Ｅに説明されるゾーンと同様に、ユーザの固視点は、随意に、ゾーンの中心（例えば、重心）に位置するように維持されることができる、またはゾーンは、ユーザの視野に対して固定されることができ、ユーザの固視点は、ゾーンのいずれか内に位置することができる。
図１１Ｃは、分解能調節ゾーンのための構成の別の実施例を図示する。実施例では、ディスプレイシステムによって提供される視野は、それぞれ、空間の特定の３次元体積を包含する、楕円形のゾーンに分離されるように図示される。図１１Ａ１と同様に、各ゾーン（例えば、ゾーン１１１２Ａ－１１２Ｄ）は、側方および深度寸法に沿って延在する。いくつかの実施形態では、各ゾーンはまた、ユーザの垂直視野の少なくとも一部を包含するように延在する。固視点１００６は、ゾーンの中心（例えば、ゾーン１１１２Ａ内）にあるように図示される。ゾーン１１１２Ａの外側のゾーン内に位置する、仮想オブジェクトは、ゾーン１１１２Ａからの距離に従って、例えば、本明細書に説明される技法に従って、分解能が低減されてもよい。例えば、ゾーン１１１２Ａの外側の各ゾーンは、特定の分解能を割り当てられることができる、または降下率が、分解能における低減を決定するために利用されることができる。ゾーン１１１２Ｄは、ゾーン１１１０Ａから最も遠いゾーンとして図示され、分解能における低減は、ゾーン１１１２Ｄ内で最大であり得る。
図１１Ｄは、図１１Ｃの分解能調節ゾーンの３次元表現の実施例を図示し、図１１Ｃは、平面１１Ｃ－１１Ｃに沿って得られた断面図を示す。本実施例では、ディスプレイシステムによって提供される視野は、それぞれ、空間の３次元体積を包含する、楕円体のゾーンに分離されるように図示される。ユーザの固視点１００６は、ユーザの視野の重心に図示され、ゾーン１１１２Ａ内に位置する。随意に、図１１Ｄは、図１１Ｃの各楕円形が楕円体に変換された状態を表し得る。いくつかの実施形態では、深度および側方方向に沿った図１１Ｃのゾーン１１１２Ａのサイズは、ＸおよびＺ軸に沿った図１１Ｄのゾーン１１１２Ａの主軸のサイズを定義することができる。種々のゾーンは、同心球体または楕円体を形成してもよい。
図１１Ｅは、図１１Ｃの分解能調節ゾーンの３次元表現の別の実施例を図示し、図１１Ｃは、平面１１Ｃ－１１Ｃに沿って得られた断面図を示す。ディスプレイシステムによって提供される視野は、スタックされたレベルの類似同心ゾーンに分離されるように図示される。例えば、図１１Ｅは、図１１Ｃの楕円形が、垂直方向に沿って延在され、円筒形を作成する様子を表し得る。円筒形は、次いで、各円筒形がユーザの垂直視野の一部を包含するように、垂直方向に分離され得る。したがって、図１１Ｅは、円筒形の９つのゾーンを図示する。各ゾーンは、加えて、任意の内部ゾーンを除外する（例えば、楕円体１１１２Ｂは、楕円体１１１２Ａによって包含される空間の体積を除外する、空間の体積を包含するであろう）。実施例では、固視点１００６は、中心ゾーン１１１０Ａ内にあるように図示され、中心ゾーン１１１０Ａの外側に位置する、仮想オブジェクトは、本明細書に説明される技法に従って、分解能が低減されることができる。
図１２Ａは、３次元固視点との近接度に従って、コンテンツの分解能を調節するための例示的プロセス１２００のフローチャートを図示する。便宜上、プロセス１２００は、ディスプレイシステム（例えば、ウェアラブルディスプレイシステム６０であって、これは、処理ハードウェアおよびソフトウェアを含んでもよく、随意に、情報を１つ以上のコンピュータまたは他の処理の外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信してもよい）によって実施されるように説明され得る。
ブロック１２０２では、ディスプレイシステムは、ユーザの３次元固視点を決定する。上記に説明されるように、ディスプレイシステムは、センサを含み、ユーザの眼と関連付けられた情報（例えば、眼の配向）を監視してもよい。センサの非包括的リストは、赤外線センサ、紫外線センサ、可視波長光センサを含む。センサは、随意に、赤外線、紫外線、および／または可視光をユーザの眼上に出力し、ユーザの眼からの出力された光の反射を決定してもよい。実施例として、赤外線光は、赤外線光エミッタおよび赤外線光センサによって出力されてもよい。光エミッタを含み得る、センサは、図６の結像デバイス６３０に対応してもよいことを理解されたい。
ディスプレイシステムは、センサを利用して、各眼と関連付けられた視線（例えば、中心窩から眼の水晶体を通して延在するようなユーザの眼から延在するベクトル）および各眼の視線の交点を決定してもよい。例えば、ディスプレイシステムは、赤外線光をユーザの眼上に出力してもよく、眼からの反射（例えば、角膜反射）が、監視されてもよい。眼の瞳孔中心（例えば、ディスプレイシステムは、例えば、赤外線結像を通して、瞳孔の重心を決定してもよい）と眼からの反射との間のベクトルが、眼の視線を決定するために使用されてもよい。視線の交点は、３次元固視点として、決定および割り当てられてもよい。固視点は、したがって、コンテンツが完全または最大分解能でレンダリングされることになる、場所を示し得る。例えば、決定された視線に基づいて、ディスプレイシステムは、ユーザが固視している空間内の３次元場所を三角測量してもよい。随意に、ディスプレイシステムは、固視点を決定するとき、ディスプレイシステムと関連付けられた配向情報（例えば、３次元空間内のディスプレイシステムの配向を説明する情報）を利用してもよい。
ブロック１２０４では、ディスプレイシステムは、ディスプレイシステムによってユーザに提示されている、または提示されることになる、コンテンツと関連付けられた場所情報を取得する。ユーザへの提示のために、コンテンツをレンダリングすることに先立って（例えば、上記に説明されるように、導波管の出力を介して）、ディスプレイシステムは、ユーザに提示されることになるコンテンツと関連付けられた場所情報を取得してもよい。例えば、上記に説明されるように、仮想コンテンツは、コンテンツが実世界に位置するように現れるように、ユーザに提示されてもよい（例えば、コンテンツは、ユーザの視野内の異なる深度に位置してもよい）。ディスプレイシステムは、周囲環境内の任意の仮想コンテンツの場所を知らせ得る、本周囲環境の３次元マップを含む、またはそこへのアクセスを有してもよいことを理解されたい。本マップを参照すると、ディスプレイシステムは、ユーザの視野内の仮想コンテンツの３次元場所（例えば、図１０Ａ－１０Ｂに図示されるように、ディスプレイ錐台内の場所）を規定する情報にアクセスし、それを提供してもよい。
ブロック１２０６では、ディスプレイシステムは、ユーザに表示されることになる仮想コンテンツの分解能を調節する。ディスプレイシステムは、３次元固視点とのその近接度に基づいて、コンテンツの分解能を調節する。例えば、ユーザへの提示のためにコンテンツをレンダリングする、処理デバイス（例えば、中央処理ユニット、グラフィック処理ユニット）によって実装されるレンダリングエンジン等のレンダリングエンジンは、コンテンツをレンダリングする際に投資されるリソースを調節してもよい（例えば、レンダリングエンジンは、コンテンツの分解能を調節してもよい）。
ディスプレイシステムは、ユーザに提示されることになるコンテンツとユーザの固視点との間の３次元空間内の距離を決定してもよく、決定された距離に基づいて、コンテンツの分解能を低減させてもよい。低減は、降下率、例えば、距離とコンテンツの分解能を相関させる、連続関数に従って、決定されてもよく、ディスプレイシステムは、連続関数に基づいて、分解能を取得し、コンテンツをレンダリングしてもよい。随意に、ディスプレイシステムは、コンテンツの重心から固視点までの距離を決定してもよく、距離に基づいて、コンテンツをある分解能でレンダリングしてもよい。随意に、ディスプレイシステムは、固視点までの種々の部分の距離に従って、同一コンテンツの部分を異なる分解能でレンダリングしてもよい（例えば、ディスプレイシステムは、コンテンツを部分に分離してもよく、より近い部分と比較して、より遠い部分を低減された分解能でレンダリングしてもよい）。
いくつかの実施形態では、ディスプレイシステムは、ユーザの視野（例えば、ディスプレイ錐台に対応する）をゾーンに分離するために使用可能な情報にアクセスしてもよく、各ゾーンは、コンテンツが含まれ得る、空間の体積を表す。アクセスされる情報、例えば、図１１Ａ１に図示されるグリッドは、各ゾーン内に含まれることになるコンテンツをレンダリングするときに利用するための特定の分解能を示してもよく、３次元固視点は、グリッドの中心に設定される。加えて、グリッドは、コンテンツをレンダリングするときに利用するための分解能における降下率を示してもよい。複数のゾーン内に含まれるコンテンツ（例えば、２つのゾーンによって要求される３次元空間内に位置するコンテンツ）に関して、ディスプレイシステムは、随意に、コンテンツの分解能を調節し、単一ゾーンに対応させてもよい、または随意に、その部分が位置する対応するゾーンに従って、コンテンツの分解能を調節してもよい。
コンテンツの分解能を設定するとき、ディスプレイシステムは、固視点に位置する（例えば、固視点と同一ゾーン内の）コンテンツを完全または最大分解能でレンダリングする。最大分解能は、コンテンツが、閾値（例えば、６０Ｈｚ、１２０Ｈｚ）を上回るリフレッシュレートでユーザに提示されることを確実にし、随意に、コンテンツが、輻輳・開散運動率（例えば、６０ｍｓを上回る）を上回り、遠近調節時間（例えば、２０ｍｓ～１００ｍｓ）を上回る速度で更新され、分解能の変化の知覚能力を低減させることを確実にしながら、ディスプレイシステムのハードウェアおよび／またはソフトウェアがレンダリングすることが可能である、最大値に基づいてもよい。ディスプレイシステムは、例えば、ディスプレイシステムが各フレームをレンダリングすることに先立って、ディスプレイシステムの利用可能なリソースに基づいて、最大分解能を動的に修正してもよい。例えば、より多くのコンテンツが、ユーザに提示されることになるにつれて、コンテンツの最大分解能は、減少され、ディスプレイシステムが、レンダリングされたコンテンツのフレームを分解能の変化の知覚能力を低減させるために所望される閾値率を上回って提示し得ることを確実にしてもよい。ディスプレイシステムは、随意に、コンテンツが提示されている、１秒あたりフレームを監視してもよく、固視点からの距離に基づいて、最大分解能を調節および／または分解能降下率を調節し、提示される１秒あたりフレームが閾値率を下回らないことを確実にしてもよい。実施例として、ディスプレイシステムは、固視点のゾーンに位置する第１の仮想オブジェクト等のコンテンツを最大分解能でレンダリングしてもよい。第１の仮想オブジェクトの最大分解能を低減させ、１秒あたりフレームが特定の閾値を上回ったままであることを確実にする代わりに、ディスプレイシステムは、距離に基づいて、分解能の降下率を動的に増加させてもよい。このように、ディスプレイシステムは、固視点のゾーンの外側の各ゾーンに割り当てられる分解能を調節してもよい。随意に、ディスプレイシステムは、固視点のゾーンの外側の各ゾーン内で使用され得る、最小分解能を設定してもよく、最小分解能を超えるであろう場合、最大分解能を調節してもよい（例えば、ディスプレイシステムが、コンテンツの分解能を最小値を下回って低減させ、閾値率を維持する必要がある場合、ディスプレイシステムは、最大分解能を低減させてもよい）。同様に、ディスプレイシステムは、固視点のゾーンの外側のゾーン内のコンテンツの分解能を低減させずに、最大分解能を低減させてもよい。随意に、ディスプレイシステムのユーザは、固視点に近接して位置するコンテンツが他のコンテンツより選好を与えられることを好むかどうかを示してもよい。
いくつかの実施形態では、図１３－１４に関して下記により詳細に説明されるように、ディスプレイシステムは、随意に、コンテンツとユーザの視線の角度近接度を利用して、コンテンツの分解能を調節してもよい。例えば、特定のコンテンツが、特定のコンテンツがユーザの眼の中心窩に入るであろうように、固視点が位置するゾーンの外側であるが、ユーザの視線の閾値近接度内に位置する場合、ディスプレイシステムは、特定のコンテンツをより高い分解能（例えば、最大分解能または図１１Ａ１に図示されるグリッドに示されるものを上回る分解能）でレンダリングさせてもよい。随意に、ディスプレイシステムは、特定のコンテンツの分解能を低減させ、ぼかしプロセス（例えば、ガウスぼかし）を特定のコンテンツに適用してもよい。このように、特定のコンテンツは、より低い分解能でレンダリングされる一方、ぼかされ、特定のコンテンツが、例えば、固視点よりユーザからより遠いことを表してもよい。加えて、ぼかしは、より低い分解能の知覚能力を低減させ得る（例えば、ぼかしは、より低い分解能に起因するピクセルサイズの増加の知覚能力を低減させ得る）。
仮想コンテンツを提示するステップと関連付けられた例示的動作が、図１２Ｂ－１２Ｃに図示される（例えば、レンダリングパイプライン）。図１２Ｂの実施例では、３次元場面が、本明細書に説明されるように行われる分解能に対する調節を伴わずに、ユーザに提示される。図１２Ｃでは、分解能に対する調節が、本明細書に説明されるように、固視点情報に従って実施される。例えば、以下の調節のうちの１つ以上のもの、すなわち、頂点動作複雑性を低減させるステップ、詳細の平面充填レベルを低減させるステップ、幾何学形状生成を低減させるステップ、複数のピクセルのピクセル動作複雑性／集約を低減させるステップ等が、実施されることができる。調節は、図示されるように、有利には、仮想コンテンツを提示するためのパイプライン内の異なるステップで実施されることができ、仮想コンテンツを提示するために利用される特定のソフトウェアおよび／またはハードウェアに従って最適化されることができる。図１２Ｃに記載される忠実性ゾーンは、分解能調節ゾーンであることを理解されたい。
再び図１２Ａを参照すると、ディスプレイシステムは、ブロック１２０８において、調節されたコンテンツをユーザに提示する。上記に説明されるように、ディスプレイシステムは、３次元固視点との近接度に基づいて、コンテンツの分解能を調節している。続いて、ディスプレイシステムは、レンダリングされたコンテンツを関連付けられた場所においてユーザに提示する。いくつかの実施形態では、ディスプレイシステムは、レンダリングされることになるコンテンツのフレーム毎に、プロセス１２００を実施してもよい、またはユーザがその固視点を調節するにつれて、コンテンツの分解能を調節してもよい。
上記に述べられたように、いくつかの実施形態では、仮想オブジェクトは、ユーザの通視線内にある一方、また、異なる深度に提示されてもよい。図１３は、ユーザの通視線と整合される複数の仮想オブジェクトを視認するユーザの表現の実施例を図示する。例示的表現は、ユーザの視野（例えば、ディスプレイシステムのディスプレイ錐台１００４）とともに、ユーザの眼２１０、２２０の視線１００３Ａ、１００３Ｂを含み、これは、第１の仮想オブジェクト１００８Ａ上の固視点に固視される。
図示されるように、第２の仮想オブジェクト１００８Ｂは、第２の仮想オブジェクト１００８Ｂが、ユーザの中心窩に入る（例えば、眼のいずれかの少なくとも１つの中心窩に入る）であろうように、ユーザの視線（例えば、視線ベクトル１００３Ａ、１００３Ｂの一方または両方）の角度近接度内にある。例えば、フレーム１１１０をレンダリングすることに応じて、第２の仮想オブジェクト１００８Ｂは、第１の仮想オブジェクト１００８Ａの背後（例えば、そこからより深い知覚される深度）に位置する。中心窩は、最高視力を有する網膜の部分であることを理解されたい。第２の仮想オブジェクト１００８Ｂは、ユーザの中心窩に入るであろうため、第２の仮想オブジェクト１００８Ｂの分解能が、低減される（例えば、少なくとも図１１Ａ１に関して上記に説明されるように、低減される）場合、ユーザは、分解能における低減を知覚し得る。分解能における知覚可能低減を回避するために、ディスプレイシステムは、（１）第２の仮想オブジェクト１００８Ｂを第１の仮想オブジェクト１００８Ａと同一分解能で、または第１の仮想オブジェクト１００８Ａの閾値分解能内でレンダリングさせる、および／または（２）第２の仮想オブジェクト１００８Ｂを低減された分解能でレンダリングさせ（例えば、図１１Ａ１に示されるように）、ユーザへの提示に先立って、ぼかしを第２の仮想オブジェクトに適用させてもよい。理論によって限定されるわけではないが、ぼかしは、深度キューを提供しながら、分解能における低減をマスクし得る。
図１４は、ユーザの視線からの角度距離に基づいて仮想コンテンツを調節するためのプロセス１４００の実施例のフローチャートである。便宜上、プロセス１４００は、ディスプレイシステム（例えば、ウェアラブルディスプレイシステム６０であって、これは、処理ハードウェアおよびソフトウェアを含んでもよく、随意に、情報を１つ以上のコンピュータまたは他の処理ユニットの外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信してもよい）によって実施されるように説明されるであろう。例示的プロセス１４００では、ディスプレイシステムは、各フレームが同一深度平面上に提示され、随意に、提示されることになる全てのコンテンツを単一フレームバッファの中に畳み込ませる、可変焦点ディスプレイシステムであって、すなわち、可変焦点ディスプレイシステムは、仮想コンテンツを一度に１つの深度平面上に提示する。
ディスプレイシステムは、ユーザの３次元固視点を決定し（ブロック１４０２）、提示されるコンテンツと関連付けられた場所情報を取得する（ブロック１４０４）。ブロック１４０２および１４０４は、それぞれ、図１２Ａのブロック１２０２および１２０４に対応してもよい。図１２Ａを参照して上記に説明されるように、ディスプレイシステムは、ユーザの眼移動（例えば、眼配向）を監視し、ユーザの固視点を決定する。ディスプレイシステムは、提示されることになるコンテンツの場所情報（例えば、次のフレーム内の）を取得してもよく、続いて、コンテンツの分解能を調節してもよい。
図１４を継続して参照すると、ディスプレイシステムは、分解能が低減されることになり、ユーザの視線からの閾値角度距離内に位置する、コンテンツを決定する（ブロック１４０６）。ディスプレイシステムは、固視点からのコンテンツの近接度に起因して分解能が低減されることになる（例えば、コンテンツが固視点より深い深度に位置する）が、ユーザの中心窩に入る（例えば、ユーザの視線からの閾値角度以内に入る）であろう、コンテンツを識別する。コンテンツは、ユーザの中心窩に入るであろうため、ユーザは、本明細書に説明される３次元固視点中心窩化レンダリングによるように、分解能における低減を知覚することが可能であり得る。コンテンツブロック１４０６は、図１２Ｃに図示されるブロック、特に、セクション「ＧＰＵ」で識別されたブロックを実施するステップを含んでもよいことを理解されたい。
その結果、ブロック１４０８では、ディスプレイシステムは、随意に、決定されたコンテンツをより高い分解能でレンダリングさせてもよい。ディスプレイシステムは、完全分解能（例えば、固視点または固視点と同一ゾーンまたは空間の体積内に位置するコンテンツと同一分解能）となるように、またはそうでなければコンテンツに割り当てられるであろう低減された分解能（例えば、ブロック１４０６に説明されるように）を上回るように、決定されたコンテンツの分解能を調節してもよい。
ブロック１４１０では、ディスプレイシステムは、随意に、コンテンツの分解能を低減させてもよく、ユーザへの提示に先立って、コンテンツをぼかしてもよい。上記に説明されるように、可変焦点ディスプレイシステムは、単一ディスプレイバッファを利用して、コンテンツをユーザに提示してもよい。可変焦点ディスプレイシステムは、全てのコンテンツを同一深度平面に提示するため、可変焦点ディスプレイシステムは、同一ディスプレイバッファを利用して、コンテンツを、例えば、レンダリングエンジンから出力してもよい。
随意に、ディスプレイシステムは、各深度バッファが１つ以上の深度平面を割り当てられる、初期深度バッファを利用してもよく、初期深度バッファを組み合わせて、ディスプレイバッファを取得してもよい。図１３の例証を参照すると、第１の深度バッファは、第１の仮想オブジェクト１３０６を含んでもよい一方、第２の深度バッファは、第２の仮想オブジェクト１３０８を含んでもよい。ディスプレイシステムは、次いで、ぼかしプロセスを第２の深度バッファまたは第２の深度バッファ内に含まれる特定のコンテンツに適用してもよい（例えば、ディスプレイシステムは、ぼかしプロセスを第２の仮想コンテンツ１３０８に適用するが、同一深度平面上であるが、ユーザの視線からより遠い角度距離に位置する、他のコンテンツには適用しなくてもよい）。ぼかしプロセスを実施後、ディスプレイシステムは、第１の深度バッファおよび第２の深度バッファを組み合わせ（例えば、ディスプレイシステムは、オクルージョンを追加し、例えば、第１の仮想オブジェクト１３０６によるオクルージョンに起因して不可視の第２の仮想オブジェクト１３０８の部分を除去してもよい）、ディスプレイバッファを取得してもよい。
例示的ぼかしプロセスは、ディスプレイシステムが、ぼかしと関連付けられたカーネルの畳み込み（例えば、ガウスカーネル、破壊効果を再現するため等の円形カーネル、ボックスぼかし等）をコンテンツに実施するステップを含んでもよい。このように、分解能における低減は、マスクされ得る一方、分解能を低減させることから生じる処理の節約は、維持され得る。随意に、ぼかしプロセスと関連付けられた強度（例えば、コンテンツがぼかされる程度）は、ユーザの固視点とコンテンツとの間の深度における差異および／またはコンテンツとユーザの視線の角度近接度に基づいてもよい。例えば、ぼかしの程度は、ユーザの視線との近接度の増加に伴って増加してもよい。
いくつかの実施形態では、ディスプレイシステムは、ディスプレイシステムのハードウェアおよび／またはソフトウェアに従って、ブロック１４０８または１４１０の特徴を利用してもよい。例えば、特定のハードウェア（例えば、グラフィック処理ユニット）は、ハードウェアの性能に対する閾値に到達せずに、ぼかしプロセスをハードウェア内で実施することが可能であり得る。本特定のハードウェアに関して、ディスプレイシステムは、コンテンツの分解能を低減させ、次いで、コンテンツをぼかすように構成されてもよい。しかしながら、他のハードウェアは、ぼかしプロセスを実施するには低速であり得、コンテンツをより高い分解能でレンダリングすることは、より高い性能をもたらし得る。本他のハードウェアに関して、ディスプレイシステムは、コンテンツをより高い分解能でレンダリングするように構成され得る。さらに、コンテンツをより高い分解能またはぼかしを伴ってより低い分解能でレンダリングするかどうかの決定は、表示されることになるコンテンツのタイプに依存し得る。例えば、ディスプレイシステムは、テキストをより高い分解能でレンダリングする一方、形状をより低い分解能でレンダリングし、ぼかすように構成されてもよい。
図１４を継続して参照すると、ブロック１４１２では、ディスプレイシステムは、コンテンツをユーザに提示する。ディスプレイシステムは、調節されたコンテンツを、例えば、上記に説明されるように、同一ディスプレイバッファからユーザに提示してもよい。
（ＩＩ．周囲照明レベルに基づく分解能の変化）
ｚ－軸に沿った分解能における低減に加えて、またはその代替として、分解能における低減を伴って仮想コンテンツを提示するための種々の他のスキームが、いくつかの実施形態では、実装されてもよい。有利には、本明細書に記載のように、仮想コンテンツのいくつかの側面は、比較的高分解能で提示されてもよく、ある他の側面は、比較的に低分解能で提示されてもよく、これは、ディスプレイシステムによる算出およびエネルギーリソースの使用を低減させ得る一方、好ましくは、仮想コンテンツの知覚される画質に殆ど影響を及ぼさない。
ここで図１５を参照すると、ユーザの眼の網膜の表現の実施例が、図示される。図示される図は、その網膜の視軸に沿って頭部を上にして視認されるときに見られるような網膜１５００を示す。網膜１５００は、周辺エリア１５３０によって囲繞される中心窩１５１０を含む。中心窩１５１０内には、視軸と交差する、小窩１５２０がある。
網膜は、２つのタイプの光受容体、すなわち、桿体および錐体を含むことを理解されたい。加えて、網膜を横断したこれらの光受容体の分布は、変動し、網膜を横断した異なる桿体および錐体密度を提供する。
ここで図１６を参照すると、図１５の網膜１５００の分解能およびそれを横断した桿体および錐体密度の実施例が、図式的に図示される。ｘ－軸は、視軸が網膜と交差する点に対する偏心度を示す。ページ上の右方向は、鼻方向であって、ページ上の左方向は、こめかみ方向である。図示されるように、ヒトの眼の分解能は、網膜内の光受容体（桿体および錐体）の密度と大まかに相関する。その結果、いくつかの実施形態では、ｘおよびｙ－軸上（例えば、所与の深度平面上）の仮想コンテンツの分解能（例えば、空間分解能）における低減またはテーパは、錐体密度、桿体密度、または桿体および錐体密度の集合の網膜を横断した低減に実質的に追従し得る。例えば、ユーザの視野を横断した固視点から離れるにつれた分解能低減の傾向は、網膜の対応する部分にわたる光受容体密度（例えば、錐体密度、桿体密度、または桿体および錐体密度の集合）の変化における傾向の±５０％、±３０％、±２０％、または±１０％以内であり得る。いくつかの実施形態では、固視点から離れるにつれた分解能における低減は、段階的であって、密度変化に実質的に追従する。いくつかの他の実施形態では、分解能における低減は、ステップ（例えば、１つのステップ、２つのステップ等）において生じ得る。例えば、２つのステップ、すなわち、小窩と相関される視野の最高分解能領域、中心窩と相関される中分解能領域、および周辺エリアと相関されるより低い分解能領域が、存在し得る。
図１６を継続して参照すると、異なる光受容体は、異なる光条件下、例えば、異なる周囲照明レベルでは、異なるレベルの活性を有することを理解されたい。その結果、光受容体の密度に追従する分解能における低減は、いくつかの照明レベルでは、ユーザに顕著に知覚可能ではない場合があるが、他の照明レベルでは、知覚可能であり得ることが可能性として考えられる。その結果、いくつかの実施形態では、ｘ、ｙ、またはｚ－軸に沿った仮想コンテンツの分解能における低減は、外部光条件を参照して設定されてもよい。
例えば、眼の視覚挙動は、光条件に基づいて、３つのモードに分割され得る。３つのモードは、明所視、薄明視、および暗所視である。明所視は、典型的には、明るい条件、例えば、約１０～１０８ｃｄ／ｍ２を含む、約３ｃｄ／ｍ２以上の周囲光または照明レベルで生じる。明所視では、錐体が、主に、活性である。暗所視では、桿体が、主に、活性である。薄明視では、桿体および錐体の両方が、活性であり得る。本明細書で使用されるように、周囲光条件または照明レベルは、ユーザの眼およびその網膜が暴露される、光の量を指す。
薄明視は、典型的には、より低い光条件、例えば、約１０－３～１００．５ｃｄ／ｍ２の照明レベル下で生じる。錐体および桿体の両方が、薄明視内の少なくともいくつかの照明レベルでは活性であって、桿体または錐体の優勢は、周囲照明レベルが増加または減少するかどうかに応じて、経時的に変化する。眼がより明るい環境に適合するにつれて、より多くの錐体が、桿体と比較して活性化され、他方では、眼が暗い環境に適合するにつれて、より多くの桿体が、錐体と比較して活性化される。
暗所視は、典型的には、照明レベルが明所視に関する照明レベル未満である、光条件下で生じる。例えば、暗所視は、約１０－３～１０－６ｃｄ／ｍ２を含む、約１０－２ｃｄ／ｍ２以下または約１０－３ｃｄ／ｍ２以下の照明レベルで生じ得る。桿体が、主に、暗所視において活性である。明所視、薄明視、および暗所視に関して本明細書に記載される照明レベルは、実施例であることを理解されたい。いくつかの実施形態では、視覚のタイプのそれぞれと関連付けられた照明レベルは、ユーザ選好および／またはユーザが属するグループ（例えば、性別、年齢、民族性、視覚的異常の存在等に基づいて）のためのカスタマイズに基づいて恣意的に割り当てられてもよい。
いくつかの実施形態では、ユーザにおいて活性である視覚のタイプ（明所視、薄明視、または暗所視）は、周囲照明レベルの測定に基づいて決定されてもよい。例えば、ディスプレイシステムは、外向きに面したカメラ１１２（図９Ｄ）等の光センサを使用して、周囲照明レベルを測定するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、別のセンサまたはデバイスと通信してもよく、これは、周囲照明レベルに関する情報を提供する。
頭部搭載型ディスプレイシステムは、外向きに面したカメラが眼上に衝突する光の量を正確に反映させる輝度レベルを与え得ないように、周囲光の一部を遮断または減衰させてもよいことを理解されたい。加えて、ディスプレイシステムはまた、光を眼に投影させ、仮想コンテンツを提供する際、眼が暴露される照明レベルを改変し得る、光源となる。いくつかの他の実施形態では、内向きに面したカメラが、輝度レベルを決定するために利用されてもよい。例えば、輝度レベルは、瞳孔のサイズと大まかに相関される。図１７は、瞳孔サイズとユーザの眼上に入射する光の量との間の関係の実施例を図式的に図示する。ｘ－軸は、輝度に関する値を示し、ｙ－軸は、瞳孔エリアに関する値を示す。その結果、ディスプレイシステムは、ユーザの瞳孔エリアを決定し、次いで、本瞳孔エリアに基づいて、輝度を外挿するように構成されてもよい。例えば、ディスプレイシステムは、内向きに面したカメラ５００（図６）を使用して、ユーザの眼２１０の画像を捕捉し、次いで、画像を分析し、瞳孔エリアまたは瞳孔エリアを示す他のメトリック（例えば、瞳孔直径または幅）を決定するように構成されてもよい。例えば、カメラによって捕捉された画像内の眼２１０の瞳孔によって占有されるエリアが、決定され、次いで、カメラの光学系によって生じる任意のスケーリング係数に関して補正されてもよい。有利には、瞳孔エリアを使用して、輝度レベルを決定するステップは、一部の周囲光を遮断する、ディスプレイによって生じる周囲輝度レベルにおける低減と、また、ディスプレイ自体の光出力による輝度レベルへの寄与との両方を効果的に考慮し得る。
図１７を継続して参照すると、ディスプレイシステムは、決定された瞳孔エリアに基づいて、ユーザの眼が、明所視、薄明視、または暗所視モードにあるかどうかを決定するように構成されてもよい。例えば、ディスプレイシステムは、メモリ内に、特定の瞳孔エリアに関して予期される視覚モードを規定するテーブルまたは他の記憶される情報を常駐させてもよい。実施例として、図１７に示されるグラフと一致して、ディスプレイシステムは、約３ｍｍ２以下の瞳孔エリアを明所視を示すとして、３ｍｍ２以上最大約３８ｍｍ２の瞳孔エリアを薄明視を示すとして、３８ｍｍ２を上回る瞳孔エリアを暗所視を示すとしてカテゴリ化してもよい。これらの輝度値および関連付けられた視覚モードは、実施例であって、他の値が、代用されてもよいことを理解されたい。例えば、異なる値が、ユーザからの入力に応答して、異なるユーザに適用されてもよい、または異なる値が、ユーザが入り得る特定のカテゴリ（例えば、性別、年齢、民族性、視覚的異常の存在等）に基づいて適用されてもよい。加えて、ディスプレイシステムは、必ずしも、具体的視覚モードを識別するわけではないことを理解されたい。むしろ、ディスプレイシステムは、単に、特定の測定された瞳孔エリアと特定の分解能レベルまたは調節を関連付けるように構成されてもよい。
いくつかの実施形態では、内向きに面したカメラ５１０（図６）および外向きに面したカメラ１１２（図９Ｄ）の両方からの入力が、輝度レベルを決定するために利用されてもよい。例えば、ディスプレイシステムは、カメラ５１０および１１２を使用して決定された輝度レベルの平均（加重された平均を含む）をとるように構成されてもよい。上記に述べられたように、カメラ５１０を使用して決定された輝度レベルは、そのカメラ５１０を使用してユーザの眼を結像することに基づいて、ユーザの眼の瞳孔エリアのサイズから外挿されてもよい。
桿体および錐体は、異なるレベルの視力および色およびコントラストに対する異なる感度を有することを理解されたい。その結果、周囲輝度レベルは、桿体および／または錐体が活性であるかどうかに影響するため、異なる周囲輝度レベルにおいて、視力および色およびコントラストに対する感度における差異が存在する。有利には、視力および色およびコントラストに対する感度における光レベル差異は、分解能を低減させるための付加的基礎を提供するように適用されてもよく、これは、上記に説明されるように（例えば、図１２Ａおよび１４に関して）、固視点に基づく分解能の変化と併せて利用されてもよい、または固視点に基づく分解能の変化を具体的に行わなくても、別個に利用されてもよい。
ここで図１８を参照すると、ユーザの眼上に入射する光の量に基づいて仮想コンテンツを調節するためのプロセス１８００の実施例の略図が、示される。便宜上、プロセスは、ディスプレイシステム（例えば、ウェアラブルディスプレイシステム６０（図９Ｄ）であって、これは、処理ハードウェアおよびソフトウェアを含んでもよく、随意に、情報を１つ以上のコンピュータまたは他の処理ユニットの外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信してもよい）によって実施されるように説明され得る。
ブロック１８１０では、ディスプレイシステムは、網膜に到達する光の量を決定する。好ましくは、本決定は、網膜上に衝突する光の直接測定ではなく、網膜に到達する光の量の推定である。本推定は、本明細書に議論されるように、輝度レベルを決定するために開示される方法を使用して行われてもよい。例えば、輝度レベルは、網膜に到達する光の量に対応するように仮定されてもよい。結果として、網膜に到達する光の量を決定するステップは、ユーザの瞳孔のサイズを決定するステップおよび／またはディスプレイデバイス上の外向きに面したカメラ等の光を検出するように構成されるセンサを使用して周囲輝度レベルを決定するステップを含んでもよい。
ブロック１８２０では、ディスプレイシステムは、ブロック１８１０において網膜に到達することが見出される光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節する。いくつかの実施形態では、仮想コンテンツの分解能を調節するステップは、空間分解能、色深度、および仮想コンテンツの光強度分解能のうちの１つ以上のものを調節するステップを含む。ヒト視覚系は、明所視照明レベル下において、最大の視力および空間分解能、色、および光強度に関する感度を有することを理解されたい。空間分解能、色、および光強度における差異を知覚する能力は、薄明視照明レベル下では、減少し、暗所視照明レベル下では、さらに減少する。
その結果、いくつかの実施形態では、存在する光の量が、明所視に関するレベルに対応することが見出される場合、仮想オブジェクトは、完全または高空間分解能でレンダリングされてもよい（薄明視または暗所視のために利用されるであろう、空間分解能と比較して）。存在する光の量が、薄明視レベルに関するレベルに対応することが見出される場合、仮想オブジェクトは、明所視照明レベル下の仮想オブジェクトのために利用される空間分解能と比較して、低減された空間分解能でレンダリングされてもよい。光の量が、暗所視レベルに対応することが見出される場合、仮想オブジェクトは、薄明視または明所視照明レベル下で使用されるものより低い空間分解能でレンダリングされてもよい。空間分解能は、本明細書に説明されるように、例えば、ポリゴンの数を低減させること等によって調節されてもよい。
色深度またはビット深度も同様に、照明レベルに応じて調節されてもよく、最高色深度は、明所視照明レベル下で使用され、中間色深度は、薄明視照明レベル下で使用され、最低色深度は、暗所視照明レベル下で使用される。色深度は、ピクセルの色成分毎に使用されるビットの数を変化させることによって調節されてもよく、より少ないビットは、より低い色深度に匹敵することを理解されたい。
同様に、理論によって限定されるわけではないが、光強度における階調は、照明レベルが、明所視から、薄明視、暗所視照明レベルへと進行するにつれて、より大きくなると考えられる。換言すると、ヒト視覚系は、周囲照明レベルが減少するにつれて、光強度におけるより小さい差異を判別することが可能であると考えられる。いくつかの実施形態では、ディスプレイシステムは、照明レベルが、明所視から、薄明視、暗所視照明レベルに進行するにつれて、光強度におけるより少ない階調を表示するように構成されてもよい。その結果、光強度レベルにおける最大数の階調は、明所視照明レベル下で提示され、より少ない階調は、薄明視照明レベル下で提示され、さらにより少ない階調は、暗所視照明レベル下で提示される。
加えて、いくつかの実施形態では、ディスプレイシステムは、ユーザが知覚可能なものより多数の光強度における階調を提供することが可能であり得る。これの実施例は、図２２ａ－２２ｃに図示され、下記にさらに議論される。例えば、ディスプレイシステムは、所与の画像ピクセルに関して、２５６の異なるレベルの強度を表示可能であり得るが、ユーザは、より少ない数のレベル、例えば、６４のレベルのみを知覚可能であり得る。本インスタンスでは、複数の可能性として考えられる光強度レベルが、知覚可能な光強度レベルのうちの単一の１つ内に包摂される。例えば、ディスプレイシステムは、４つの異なる光強度レベルを表示することが可能であり得るが、ユーザは、４つ全てを類似しているように知覚し得る。複数の可能性として考えられる光強度がユーザによって同一であるように知覚される、そのような状況では、ディスプレイシステムは、類似であるように知覚されるこれらの値から、表示のために、最低強度値を選択するように構成されてもよい。その結果、ディスプレイシステムは、より低い強度を利用し、それによって、ディスプレイを照明するために使用される電力の量を低減させ、所望の光強度を達成することが可能であり得る。これは、空間光変調器の個々のピクセル自体が有機および無機ＬＥＤ等の光エミッタである、ディスプレイシステムにおいて特定の利点を有し得る。いくつかの実施形態では、階調の数は、周囲照明レベルの減少に伴って減少し、ディスプレイシステムは、より多数の可能性として考えられる光強度レベルをともにグループ化し、最低光強度のグループを表示するように構成される。
表示されることになる仮想コンテンツに関して、空間分解能、色深度、および光強度分解能のうちの１つ、２つ、または３つ全てが、ユーザに指向される光条件（ユーザの網膜に到達する光の量）に基づいて変化されてもよいことを理解されたい。光条件に基づく、空間分解能、色深度、および／または光強度分解能に対するこれらの調節は、本明細書に開示されるように、ユーザの眼の固視点からの距離に基づいて分解能に対する調節を行わずに、仮想コンテンツ全体に行われてもよい。いくつかの他の実施形態では、光条件に基づく空間分解能、色深度、および／または光強度分解能に対する調節は、固視点からの距離に基づく分解能に対する調節と併せて行われてもよい（例えば、図１２Ａおよび１４参照）。いくつかの実施形態では、分解能が、固視点からの距離に伴って減少する場合、所与の平面上（ｘおよびｙ－軸上）の減少のプロファイルは、好ましくは、網膜の対応する部分を横断した錐体密度の変化のプロファイルに合致する。
いくつかの実施形態では、本明細書に記載のように、空間分解能、色深度、および／または光強度分解能に対する調節は、好ましくは、所与の時間に活性である視覚のモード（明所視、薄明視、または暗所視）に結び付けられる。これらの調節は、視覚のモードが変化する場合、動的に変化してもよい。例えば、ユーザが、明所視から暗所視に進行すると、分解能は、本明細書に議論されるように、減少し得る。逆に言えば、ユーザが、暗所視から薄明視に進行すると、仮想コンテンツの分解能は、増加し得る。分解能に対する調節を特定の視覚のモードに結び付けることは、ユーザがその特定のモードにあるという具体的決定を要求しないことを理解されたい。むしろ、ディスプレイシステムは、単に、空間分解能、色深度、または光強度分解能にかかわらず、特定の周囲照明レベルまたは瞳孔サイズの範囲と、特定の分解能とを関連付けるように構成されてもよい。加えて、分解能調節は、好ましくは、本明細書に議論されるように、３つのレベルの光条件（３つの視覚のモードに対応する）に結び付けられるが、いくつかの実施形態では、分解能調節は、２つのレベルの光条件または３つを上回るレベルの光条件に結び付けられてもよい。
また、分解能調節は、リアルタイムで（例えば、周囲光条件が変化するにつれて）生じてもよい、または設定された持続時間にわたって、遅延され、仮想コンテンツに対する分解能調節が行われる前に、ヒト視覚系が既存の光条件に適合することを可能にしてもよいことを理解されたい。理論によって限定されるわけではないが、ヒト視覚系は、異なる照明レベルに適合するために、ある時間周期を要求し、時間周期は、照明レベルが減少するにつれて増加すると考えられる。その結果、いくつかの実施形態では、照明レベルを変化させることに起因する、分解能における調節は、ユーザが設定された時間量にわたって特定の照明レベルに暴露される（例えば、実質的に持続的に暴露される）まで行われない。例えば、設定された時間量は、５分、１０分、１５分、または２０分であってもよい。
図１８を継続して参照すると、ブロック１８３０では、仮想コンテンツが、ユーザに提示される。本仮想コンテンツの提示は、本明細書に議論されるように、例えば、図１２Ａのブロック１２０８または図１４のブロック１４１２におけるように行われてもよい。
ここで図１９を参照すると、眼上に入射する光の量が変化するにつれたユーザの眼によって検出可能な分解能の変化の実施例が、図式的に図示される。本図は、異なる視覚モード下における空間分解能に対するヒト視覚系の感度の実施例を図示する。暗所視は、低光量領域１９１０内で生じ、薄明視は、中光領域１９２０内で生じ、明所視は、明るい光領域１９３０内で生じる。示されるように、空間分解能に対する感度は、周囲照明レベルが減少するにつれて実質的に減少する。いくつかの実施形態では、図１８に関して上記に議論される、空間分解能に対する調節は、図示される曲線の輪郭に対応する。例えば、明所視または暗所視モードにおける所与の光レベルに関して、仮想コンテンツは、ｙ－軸上に示される分解能値を満たすまたは超えるために十分な空間分解能でレンダリングされる。
ここで図２０を参照すると、異なる光受容体が、異なる波長または色の光を知覚するために使用され得ることを理解されたい。図２０は、異なるレベルの照明における異なる色の光に対する眼の感度における差異の実施例を図式的に図示する。ｘ－軸上の持続時間における差異は、特定の視覚のモードが活性化されるように、ヒト視覚系が特定の周囲照明レベルに適合するために典型的に必要とされる時間量の反映である。着目すべきこととして、暗所視および薄明視の一部に対応する周囲照明レベルでは、赤色光のための光受容体は、もはや活性ではなくなり得る一方、青色光のための光受容体が、最低光条件下で活性である。赤色、緑色、および青色光は、フルカラー画像を形成するためにディスプレイシステム内で原色として最も典型的に使用される色に対応することを理解されたい（例えば、図８－９Ｂに関して本明細書に議論されるように）。いくつかの実施形態では、ディスプレイシステムは、周囲照明レベルに応じて、異なる色の画像のレンダリングを変動させるように構成されてもよい。
ここで図２１を参照すると、複数の原色画像を使用して形成される仮想コンテンツを調節するためのプロセス２１００の実施例の略図が、示され、分解能調節は、原色画像の色に基づいて行われる。ブロック２１１０では、ディスプレイシステムは、複数の原色画像を使用して、提示されることになる仮想コンテンツを提供する。これらは、図８－９Ｂに関して議論されるように、異なる導波管に指向されることになる異なる原色の異なる画像であってもよい。その結果、いくつかの実施形態では、異なる原色の画像のストリームがそれぞれ、別個にレンダリングされてもよい。複数の原色画像を使用して、提示されることになる仮想コンテンツを提供するステップは、異なる原色の画像ストリームを出力し、フルカラー画像を形成する、ディスプレイシステムを利用するステップを含んでもよい。
ブロック２１２０では、ディスプレイシステムは、その色に基づいて、原色画像の分解能を調節してもよい。例えば、ディスプレイシステムは、分解能調節のために、これらの原色のうちの１つの色画像を選択してもよい。例えば、選択は、図１８のブロック１８１０に関して上記に説明されるように、照明レベルの決定に基づいて行われてもよい。図１９に示されるように、いくつかの原色は、いくつかの照明レベルでは、ユーザによって知覚されない場合がある。ディスプレイシステムは、照明レベルおよびそれらのレベルにおいて不可視な原色に関する情報をその中に記憶していてもよい。照明レベルとそれらのレベルにおいて不可視な原色との間に合致が存在する場合、その原色の画像が、調節のために選択されてもよい。いくつかの環境では、１つの調節は、周囲照明レベルが、ユーザがその色を知覚することが予期されないようなものである場合、単に、その原色画像をレンダリングまたは表示しないことであってもよい。例えば、暗所視照明レベル下では、ディスプレイシステムは、原色赤色の画像をレンダリングしないまたは表示しないように構成されてもよい。
図２１を継続して参照すると、ブロック２１３０では、仮想コンテンツが、ユーザに提示される。仮想コンテンツの提示は、本明細書に議論されるように、例えば、図１２Ａのブロック１２０８または図１４のブロック１４１２におけるように、行われてもよい。
ここで図２２Ａ－２２Ｃを参照すると、上記に議論されるように、理論によって限定されるわけではないが、光強度における階調を知覚するヒト視覚系の能力は、周囲照明レベルに伴って変化すると考えられる。図２２Ａ－２２Ｃは、ユーザの眼上に入射する光の量が減少するにつれて変化するコントラスト感度の実施例を示す。例えば、図２２Ａは、明所視光条件下におけるコントラスト感度を示すと理解され得、図２２Ｂは、薄明視光条件下におけるコントラスト感度を示すと理解され得、図２２Ｃは、暗所視光条件下におけるコントラスト感度を示すと理解され得る。図２２Ａは、階調２１１０１から２１１０ｉへの進行２１００を示し、上の高光強度から下の低光強度に進む。同様に、図２２Ｂは、階調２１１０１から２１１０ｉへの進行２１０２を示し、高光強度から低光強度に進む。同様に、図２２Ｃは、階調２１１０１から２１１０ｉへの進行２１０４を示し、高光強度から低光強度に進む。ボックス２１２０、２１３０、２１４０は、ユーザによって同一であるように知覚される、強度階調のグループを示す。これらのグループのサイズは、図示されるように、周囲照明レベルの減少に伴って増加することが予期される。その結果、図１８に関して上記に説明されるように、いくつかの実施形態では、ディスプレイシステムは、各グループ内（例えば、ボックス２１２０、２１３０、２１４０のそれぞれ内）の最低強度値を使用するように構成されてもよい。
ここで図２３を参照すると、ユーザの眼の視神経および周辺盲点の表現の実施例が、図示される。いくつかの実施形態では、本明細書に開示される分解能調節のいずれかに加えて、またはその代替として、ディスプレイシステムは、コンテンツがユーザによって知覚可能であることが予期されない種々の場所にコンテンツをレンダリングすることを控えるように構成されてもよい。図２３は、それぞれ、左および右眼２１０Ｌおよび２１０Ｒを図示する。各眼は、個別の光学軸１００３Ａおよび１００３Ｂと、視神経２３００Ｌおよび２３００Ｒとを有する。視神経２３００Ｌおよび２３００Ｒがそれぞれ、その個別の眼２１０Ｌおよび２１０Ｒに接触する点には、盲点が存在する。これらの盲点は、視認者に光線２３０２Ｌおよび２３０２Ｒの方向におけるコンテンツが見えないように妨げる。加えて、各眼の周縁には、コンテンツが反対の眼によって見えることができない領域が存在する。例えば、左周辺領域ＰＬ内のコンテンツは、左眼２１０Ｌによって見られ得るが、右眼２１０Ｒによっては見られない。他方では、右周辺領域ＰＲ内のコンテンツは、右眼２１０Ｒによって見られ得るが、左眼２１０Ｌによっては見られない。その結果、いくつかの実施形態では、ディスプレイシステムは、各眼２１０Ｌおよび２１０Ｒの盲点にマッピングされるであろうコンテンツ、例えば、光線２３０２Ｌおよび２３０２Ｒ上に入るコンテンツをレンダリングすることを省略するように構成されてもよい。加えて、または代替として、いくつかの実施形態では、ディスプレイシステムは、そのコンテンツが右周辺領域ＰＬ内に入る場合、コンテンツを左眼２１０Ｌにレンダリングすることを省略するように構成されてもよく、および／またはディスプレイシステムは、そのコンテンツが左周辺領域ＰＬ内に入る場合、コンテンツを右眼２１０Ｒにレンダリングすることを省略するように構成されてもよい。盲点および／または周辺領域の場所は、例えば、ユーザの母集団に関する平均に基づいて、事前に設定されてもよく、および／または種々の場所に表示されるコンテンツを使用した試験および仮想オブジェクトが可視であるかどうかを示すユーザからの入力によって特定のユーザに関して調整および較正されてもよいことを理解されたい。
（異なる分解能を有するコンテンツを提供するための複数の画像ストリーム）
いくつかの実施形態では、高および低空間分解能領域を有する、中心窩化画像が、それぞれ、異なる分解能（例えば、異なる知覚されたピクセル密度）を有する、空間的に重複する２つ以上の画像ストリームによって形成されてもよい。例えば、画像ストリームのうちの１つ、例えば、低分解能画像ストリームは、広視野を有する画像を形成してもよく、画像ストリームの別のもの、例えば、高分解能画像ストリームは、狭視野を有する画像を形成してもよい。狭視野画像および広視野画像は、類似コンテンツを含有してもよいが、異なる分解能またはピクセル密度でユーザによって見られる。これらの画像は、相互にオーバーレイされてもよい（例えば、視認者が画像が同時に提示されていると知覚するように、空間内の同一場所を同時にまたは時間的に近接して占有する）。したがって、視認者は、高分解能を有する集約画像をその視野の制約された部分において、低分解能画像をその視野のより大きい部分にわたって受信し得る。好ましくは、本明細書に議論されるように、高分解能部分は、ユーザの眼の中心窩視領域にマップされる一方、低分解能部分は、ユーザの眼の周辺視覚領域にマップされる。したがって、画像の高分解能部分と低分解能部分との間の分解能における差異は、好ましくは、ユーザに容易に知覚不能である。
いくつかの環境では、高および低分解能画像を表示するためのディスプレイシステムは、同一空間光変調器を利用して、両画像を形成する。したがって、空間光変調器は、固定サイズおよび密度のピクセルを有する。固定サイズおよび密度のピクセルを伴う、ディスプレイシステムでは、角度視野（ＦＯＶ）の増加は、例えば、Ｌａｇｒａｎｇｅ不変量によって左右されるように、空間または角度分解能を犠牲にして生じる。例えば、固定数のピクセルを有するＳＬＭが、高および低分解能画像の両方を形成するために使用される場合、それらのピクセルを視野全体を横断して拡散させることは、それらのピクセルを総視野の小部分に制約することより低い見掛け分解能を伴う画像を提供するであろう。すなわち、高分解能画像のピクセル密度は、低分解能画像のピクセル密度より高い。その結果、概して、ＦＯＶと角度分解能との間には、逆相関が存在する。ＦＯＶおよび角度分解能は、画像可視性および品質に影響を及ぼすため、本トレードオフは、ＡＲまたはＶＲシステムにおけるユーザ体験および最終達成可能ＦＯＶおよび角度分解能に関する制約を課す。本明細書の議論から明白となるであろうように、いくつかの実施形態では、用語「分解能」は、「角度分解能」を指すために使用されてもよい。
頭部搭載型ディスプレイデバイスまたはウェアラブルディスプレイデバイスは、仮想コンテンツを直接ユーザの眼の中に投影させることによって、没入型のユーザ体験を提供するように構成されることができる。広ＦＯＶ画像をＦＯＶを横断して均一に高分解能で提供することは、有益であり得るが、ヒト視覚系の生理学的限界は、ユーザが、ユーザの視野の周辺領域内に位置付けられる高分解能画像を察知または気付かれさえしないように妨げ得る。本周辺領域内の高分解能画像を知覚不能であることは、２つのタイプの光受容体、すなわち、桿体細胞および錐体細胞を含有する、ヒトの眼の網膜の特性によって生じる。錐体は、鋭敏（詳細）な視覚により関与する。桿体および錐体は、ヒトの眼内に異なるように分散される。錐体細胞の最高濃度は、中心窩（すなわち、網膜の中心）内に見出される一方、桿体細胞の最高濃度は、中心窩を直接囲繞する領域（すなわち、網膜の周縁）内に見出される。桿体細胞および錐体細胞の本非均一分布のため、中心窩は、鋭敏な中心視（中心窩視とも呼ばれる）に関与する。視力は、中心窩からの距離が増加するにつれて減少する。
ＡＲまたはＶＲ用途に関して、ヘッドセットは、概して、一度に１人のユーザによって装着される。ヘッドセットは、高分解能コンテンツの表示をユーザによって現在合焦されている広視野内の領域に限定することによって、画像の広視野ストリームの全ての詳細を一度に知覚することのユーザの無能力を利用するように構成されることができる。このように、ヘッドセットは、そうでなければ高分解能コンテンツを視野全体を横断して生成するために要求されるであろう、処理パワーの必要なく、ユーザに、画像の高分解能広ＦＯＶストリームの出現を提供することができる。ユーザに提示される画像のストリームは、多くの形態をとることができ、概して、画像ストリームと称されるであろう。例えば、画像ストリームは、同一画像をユーザに持続的に表示することによって、静的画像を示すことができる、または異なる画像のストリームを表示することによって、運動を示すことができる。いくつかの実施形態では、ヘッドセットは、１つを上回る画像ストリームを同時に表示するように構成されることができ、異なる画像ストリームは、異なる角度分解能を有することができ、ユーザのＦＯＶの異なる領域を横断して延在することができる。ＡＲシステムと関連付けられた画像ストリームは、ＡＲシステムが仮想コンテンツと実世界コンテンツを混合するように設計されるため、コンテンツをそれが割り当てられる特定の領域を横断して全体的に表示し得ないことに留意されたい。
いくつかの実施形態によると、第１の画像ストリームおよび第２の画像ストリームは、２つの画像ストリームが同時に表示されるように現れるように、ユーザに同時にまたは高速で連続して提示されることができる。第１の画像ストリームは、ユーザの視覚を包含し、没入体験をユーザに喚起し得る、広ＦＯＶおよび低分解能を有することができる。第２の画像ストリームは、眼視線追跡技法を使用してリアルタイムで決定されるようなユーザの現在の固視点に従って第１の画像ストリームの境界内に動的に表示され得る、狭ＦＯＶおよび高分解能を有することができる。言い換えると、第２の画像ストリームは、第２の画像ストリームがユーザの中心窩視を持続的に被覆するように、ユーザの眼視線が変化するにつれて、偏移されることができる。いくつかの実施形態では、第１の画像ストリームは、第２の画像ストリームが第１の画像ストリームに対して偏移されるにつれて、固定位置においてユーザに提示される。いくつかの他の実施形態では、第１の画像ストリームおよび第２の画像ストリームは両方とも、ユーザの現在の固視点に従って偏移される。
第２の画像ストリームのコンテンツは、第１の画像ストリームより高い分解能を伴う、第１の画像ストリームのコンテンツのサブセットを含むことができ、第１の画像ストリーム上にオーバーレイされ、それに対して適切に整合されることができる。より高い分解能の第２の画像ストリームは、ユーザの中心窩視内で第１の画像ストリームの部分にオーバーレイするため、第１の画像ストリームのより低い分解能は、ユーザによって知覚または気付かれ得ない。いくつかの実施形態では、第２の画像ストリームによってオーバーレイされた第１の画像ストリームのコンテンツのサブセットは、より均一な輝度のため、かつより優れた分解能知覚のために、オフにされる、またはより低い強度で提示されることができる。このように、ユーザは、広ＦＯＶおよび高分解能の両方を有するように、第１の画像ストリームおよび第２の画像ストリームの組み合わせを知覚することができる。そのようなディスプレイシステムは、いくつかの利点を与えることができる。例えば、ディスプレイシステムは、より優れたユーザ体験を提供しながら、比較的に小形状因子を有し、コンピューティングリソースおよびコンピューティングパワーを節約することができる。
いくつかの実施形態によると、第１の画像ストリームと関連付けられた第１の光ビームおよび第２の画像ストリームと関連付けられた第２の光ビームは、ある多重化方法を使用して、合成光ビームに多重化されることができる。例えば、時分割多重化、偏光分割多重化、波長分割多重化、および同等物が、種々の実施形態によると、使用されることができる。合成光ビームは、合成光ビームを２つの別個の光学経路に多重化解除する役割を果たす、１つ以上の光学要素に指向されることができる。例えば、偏光ビームスプリッタ（ＰＢＳ）またはダイクロイックビームスプリッタ等のビームスプリッタまたは光学切替要素が、使用される多重化の方法に応じて、合成光ビームを分離するために使用されることができる。いったん分離されると、第１の画像ストリームと関連付けられた第１の光ビームおよび第２の画像ストリームと関連付けられた第２の光ビームは、その個別の光学経路を通してルーティングされ、最終的には、出力としてユーザに提供されることができる。
いくつかの実施形態によると、第１の画像ストリームと関連付けられた第１の光ビームは、第１の画像ストリームが、より広いＦＯＶおよびより低い角度分解能を提示されるように（Ｌａｇｒａｎｇｅ不変量によって左右されるように）、第１の光学経路内の光学要素によって角度的に拡大されることができる一方、第２の画像ストリームと関連付けられた第２の光ビームは、角度的に拡大されない、拡大解除される、または第１の画像ストリームと関連付けられた第１の光ビームに適用される拡大の量未満の量だけ拡大される。このように、第２の画像ストリームは、第１の画像ストリームより狭いＦＯＶおよびより高い角度分解能を提示されることができる（Ｌａｇｒａｎｇｅ不変量によって左右されるように）。
図２４は、２次元角度空間内のヒトの眼に関する例示的単眼視野３００２の外周を描写する、視野略図を示す。図２４に示されるように、視野略図のこめかみ－鼻および下－上軸は、その中に単眼視野３００２の外周がマッピングされる、２次元角度空間を定義する役割を果たす。このように、図２４の視野略図は、ヒトの眼に関する「Ｇｏｌｄｍａｎｎ」視野マップまたはプロットの均等物またはそれに類似すると見なされ得る。こめかみ－鼻および下－上軸の描写される配列によって示されるように、図２４に示される視野略図は、ヒトの左眼に関する視野略図を表す。視野は、人物毎に若干変動し得るが、描写される視野は、多くのヒトがその左眼で視認することが可能である内容に近似する。右眼の例示的単眼視野の外周を描写する、視野略図は、単眼視野３００２のこめかみ－鼻軸および外周が、下－上軸を中心として鏡映された図２４の視野略図のバージョンのものに類似し得るということになる。
図２４の視野略図はさらに、ヒトの眼に関する例示的動眼視野３００４の外周を描写し、これは、人物が固視し得る角度空間内の単眼視野３００２２の一部を表す。加えて、図２４の視野略図はまた、ヒトの眼に関する例示的中心窩野３００６の外周を描写し、これは、所与の時点におけるヒトの眼の中心窩の直接ビュー内の角度空間における単眼視野３００２の一部を表す。描写されるように、人物の中心窩野３００６は、動眼視野３００４内の任意の場所で移動し得る。角度空間内の中心窩野３００６外の単眼視野３００２の部分は、本明細書では、人物の視野の周辺領域と称され得る。中心窩野３００６外の高レベルの詳細を区別するヒトの眼の能力は、非常に限定されるため、低減された分解能画像を中心窩野３００６外で表示することは、気付かれる可能性が低く、ディスプレイのためのコンテンツを生成することに関与する処理コンポーネントのための電力消耗に関する実質的節約を可能にすることができる。
図２５Ａは、いくつかの実施形態による、仮想コンテンツをユーザに提供するように構成される、例示的ウェアラブルディスプレイデバイス４０５０を示す。ウェアラブルディスプレイデバイス４０５０は、フレーム４０５４によって支持される、主要なディスプレイ４０５２を含む。フレーム４０５４は、つるのアーム４００６の形態をとる取付部材を使用して、ユーザの頭部に取り付けられることができる。
ここで図２５Ｂを参照すると、仮想コンテンツをユーザに提供するように構成される、ＡＲシステムの例示的実施形態が、ここで説明されるであろう。いくつかの実施形態では、図２５ＢのＡＲシステムは、図２５Ａのウェアラブルディスプレイデバイス４０５０が属する、システムを表し得る。図２５ＢのＡＲシステムは、スタックされた光誘導光学系要素アセンブリ４０００を使用し、概して、画像生成プロセッサ４０１０と、光源４０２０と、コントローラ４０３０と、空間光変調器（「ＳＬＭ」）４０４０と、投入光学システム４０６０と、複数の平面焦点システムとして機能する、少なくとも１セットのスタックされた接眼レンズ層または光誘導光学系要素（「ＬＯＥ」、例えば、平面導波管）４０００とを含む。本システムはまた、眼追跡サブシステム４０７０を含んでもよい。他の実施形態は、複数のセットのスタックされたＬＯＥ４０００を有してもよいが、以下の開示は、図２５Ｂの例示的実施形態に焦点を当てるであろうことを理解されたい。
画像生成プロセッサ４０１０は、ユーザに表示されることになる仮想コンテンツを生成するように構成される。画像生成プロセッサは、仮想コンテンツと関連付けられた画像またはビデオを、３－Ｄにおいてユーザに投影されることができるフォーマットに変換してもよい。例えば、３－Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の部分が、特定の深度平面に表示される一方、その他が、他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、特定の深度平面に生成されてもよい。別の実施形態では、画像生成プロセッサは、ともに視認されると、仮想コンテンツがコヒーレントかつ快適にユーザの眼に現れるように、若干異なる画像を右および左眼２１０に提供するようにプログラムされてもよい。
画像生成プロセッサ４０１０はさらに、メモリ４０１２と、ＧＰＵ４０１４と、ＣＰＵ４０１６と、画像生成および処理のための他の回路とを含んでもよい。画像生成プロセッサ４０１０は、図２５ＢのＡＲシステムのユーザに提示されることになる所望の仮想コンテンツで、プログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ４０１０は、ウェアラブルＡＲシステム内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ４０１０および他の回路は、ウェアラブル光学系に結合される、ベルトパック内に格納されてもよい。画像生成プロセッサ４０１０は、所望の仮想コンテンツと関連付けられた光を投影する、光源４０２０と、１つ以上の空間光変調器（下記に説明される）とに動作可能に結合される。
光源４０２０は、コンパクトであって、高分解能を有する。光源４０２０は、コントローラ４０３０（下記に説明される）に動作可能に結合される、複数の空間的に分離されるサブ光源４０２２を含む。例えば、光源４０２０は、種々の幾何学的構成内に配置される、色特有ＬＥＤおよびレーザを含んでもよい。代替として、光源４０２０は、同様の色のＬＥＤまたはレーザを含んでもよく、それぞれ１つが、ディスプレイの視野の具体的領域に連結される。別の実施形態では、光源４０２０は、白熱灯または蛍光灯等の広エリアエミッタを備えてもよく、マスクが、放出エリアおよび位置のセグメント化のためにオーバーレイする。サブ光源４０２２は、直接、図２Ｂでは、図２ＢのＡＲシステムに接続されるが、サブ光源２２２は、光ファイバの遠位端（サブ光源４０２２から離れる）が相互から空間的に分離される限り、光ファイバ（図示せず）を介して、システムに接続されてもよい。本システムはまた、光源４０２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。
ＳＬＭ４０４０は、種々の例示的実施形態では、反射性（例えば、ＤＬＰ ＤＭＤ、ＭＥＭＳミラーシステム、ＬＣＯＳ、またはＦＬＣＯＳ）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。空間光変調器のタイプ（例えば、速度、サイズ等）は、３－Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作する、ＤＬＰ ＤＭＤは、定常ＡＲシステムの中に容易に組み込まれ得るが、ウェアラブルＡＲシステムは、典型的には、より小さいサイズおよび電力のＤＬＰを使用する。ＤＬＰの電力は、３－Ｄ深度平面／焦点面が作成される方法を変化させる。画像生成プロセッサ４０１０は、ＳＬＭ４０４０に動作可能に結合され、これは、光源４０２０からの光を所望の仮想コンテンツでエンコードする。光源４０２０からの光は、ＳＬＭ４０４０から反射する、そこから放出する、またはそれを通して通過すると、画像情報でエンコードされてもよい。
図２５Ｂに戻って参照すると、ＡＲシステムはまた、光源４０２０（すなわち、複数の空間的に分離されるサブ光源４０２２）およびＳＬＭ４０４０からの光をＬＯＥアセンブリ４０００に指向するように構成される、投入光学システム４０６０を含む。投入光学システム４０６０は、光をＬＯＥアセンブリ４０００の中に指向するように構成される、１つ以上のレンズを含んでもよい。投入光学システム４０６０は、光源４０２０のサブ光源４０２２から空間的に分離され、明確に異なるビームに対応する、ＬＯＥ４０００に隣接する空間的に分離され、明確に異なる瞳を形成するように構成される（投入光学システム４０６０から出射するビームの個別の集光点に）。投入光学システム４０６０は、瞳が相互から空間的に変位されるように構成される。いくつかの実施形態では、投入光学システム４０６０は、ＸおよびＹ方向においてのみ、ビームを空間的に変位させるように構成される。そのような実施形態では、瞳は、１つのＸ、Ｙ平面内に形成される。他の実施形態では、投入光学システム４０６０は、Ｘ、Ｙ、およびＺ方向において、ビームを空間的に変位させるように構成される。
光ビームの空間分離は、明確に異なるビームおよび瞳を形成し、これは、各内部結合格子が、主に、１つのみの明確に異なるビーム（またはビームのグループ）によってアドレス指定（例えば、交差または衝突）されるように、明確に異なるビーム経路内の内部結合格子の設置を可能にする。これは、ひいては、ＬＯＥアセンブリ４０００の個別のＬＯＥ４０００の中への空間的に分離される光ビームの入射を促進する一方、複数のものの他のサブ光源４０２２からの他の光ビームの入射（すなわち、クロストーク）を最小限にする。特定のサブ光源４０２２からの光ビームは、その上の内部結合格子（図２５Ｂには図示せず、図２４－２６参照）を通して、個別のＬＯＥ４０００に入射する。個別のＬＯＥ４０００の内部結合格子は、各空間的に分離される光ビームが、１つのＬＯＥ４０００の内部結合格子とのみ交差するように、複数のサブ光源４０２２からの空間的に分離される光ビームと相互作用するように構成される。したがって、各空間的に分離される光ビームは、主に、１つのＬＯＥ４０００に入射する。故に、ＳＬＭ４０４０によってサブ光源４０２２のそれぞれからの光ビーム上にエンコードされた画像データは、ユーザの眼２１０への送達のために、単一ＬＯＥ４０００に沿って効果的に伝搬されることができる。
各ＬＯＥ４０００は、次いで、所望の深度平面またはＦＯＶ角位置から生じるように現れる画像またはサブ画像をユーザの網膜上に投影するように構成される。個別の複数のＬＯＥ４０００およびサブ光源４０２２は、したがって、空間内の種々の深度平面または位置から生じるように現れる、画像（コントローラ４０３０の制御下、ＳＬＭ４０４０によって同期してエンコードされた）を選択的に投影することができる。個別の複数のＬＯＥ４０００およびサブ光源４０２２のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの有効完全体積フレームレートにおける６つの深度平面に関して３６０Ｈｚ）で画像を順次投影させることによって、図２５Ｂのシステムは、３－Ｄ画像内に同時に存在するように現れる、仮想オブジェクトの３－Ｄ画像を種々の深度平面に生成することができる。
コントローラ４０３０は、画像生成プロセッサ４０１０、光源４０２０（サブ光源４０２２）、およびＳＬＭ４０４０と通信し、それに動作可能に結合され、ＳＬＭ４０４０に、サブ光源４０２２からの光ビームを画像生成プロセッサ４０１０からの適切な画像情報でエンコードするように命令することによって、画像の同期表示を協調させる。
ＡＲシステムはまた、ユーザの眼４００２を追跡し、ユーザの焦点を決定するように構成される、随意の眼追跡サブシステム４０７０を含む。一実施形態では、サブ光源４０２２のサブセットのみが、下記に議論されるように、眼追跡サブシステムからの入力に基づいて、アクティブ化され、ＬＯＥ４０００のサブセットを照明してもよい。眼追跡サブシステム４０７０からの入力に基づいて、特定のＬＯＥ４０００に対応する１つ以上のサブ光源４０２２が、画像がユーザの焦点／遠近調節と一致する所望の深度平面に生成されるように、アクティブ化されてもよい。例えば、ユーザの眼２１０が、相互に平行である場合、図２５ＢのＡＲシステムは、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ４０００に対応するサブ光源４０２２をアクティブ化してもよい。別の実施例では、眼追跡サブシステム４０７０が、ユーザの焦点が１メートル離れていることを決定する場合、ほぼその範囲内に合焦するように構成される、ＬＯＥ４０００に対応するサブ光源４０２２が、代わりに、アクティブ化されてもよい。本特定の実施形態では、サブ光源４０２２の１つのみのグループが、任意の所与の時間にアクティブ化される一方、他のサブ光源４０２０は、非アクティブ化され、電力を節約することを理解されたい。
図２５Ｃは、いくつかの実施形態による、デジタルまたは仮想画像を視認者に提示するために使用され得る、例示的視認光学アセンブリ（ＶＯＡ）内の光経路を図式的に図示する。いくつかの実施形態では、ＶＯＡは、図２５Ａに描写されるようなウェアラブルディスプレイデバイス４０５０に類似するシステム内に組み込まれ得る。ＶＯＡは、プロジェクタ４００１と、視認者の眼の周囲に装着され得る、接眼レンズ２００とを含む。接眼レンズ４０００は、例えば、図２５Ｂを参照して上記に説明されるようなＬＯＥ４０００に対応してもよい。いくつかの実施形態では、プロジェクタ４００１は、赤色ＬＥＤのグループと、緑色ＬＥＤのグループと、青色ＬＥＤのグループとを含んでもよい。例えば、プロジェクタ２０１は、ある実施形態によると、２つの赤色ＬＥＤと、２つの緑色ＬＥＤと、２つの青色ＬＥＤとを含んでもよい。いくつかの実施例では、図２５Ｃに描写されるようなプロジェクタ４００１およびそのコンポーネント（例えば、ＬＥＤ光源、反射コリメータ、ＬＣｏＳ ＳＬＭ、およびプロジェクタ中継）は、図２５Ｂを参照して上記に説明されるような光源４０２０、サブ光源４０２２、ＳＬＭ４０４０、および投入光学システム４０６０のうちの１つ以上のものの機能性を表すまたは提供してもよい。接眼レンズ４０００は、１つ以上の接眼レンズ層を含んでもよく、それぞれ、図２５Ｂを参照して上記に説明されるようなＬＯＥ４０００のうちの１つを表し得る。接眼レンズ４０００の各接眼レンズ層は、個別の所望の深度平面またはＦＯＶ角位置から生じるように現れる画像またはサブ画像を視認者の眼の網膜上に投影するように構成されてもよい。
一実施形態では、接眼レンズ４０００は、３つの原色、すなわち、赤色、緑色、および青色毎に１つの接眼レンズ層の３つの接眼レンズ層を含む。例えば、本実施形態では、接眼レンズ４０００の各接眼レンズ層は、光学無限遠深度平面（０ジオプタ）から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。別の実施形態では、接眼レンズ４０００は、６つの接眼レンズ層、すなわち、仮想画像を１つの深度平面に形成するために構成される３つの原色毎に１セットの接眼レンズ層と、仮想画像を別の深度平面に形成するために構成される３つの原色毎に別のセットの接眼レンズ層とを含んでもよい。例えば、本実施形態では、接眼レンズ４０００の１セットの接眼レンズ層内の各接眼レンズ層は、光学無限遠深度平面（０ジオプタ）から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい一方、接眼レンズ４０００の別のセットの接眼レンズ層内の各接眼レンズ層は、２メートルの距離（０．５ジオプタ）から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。他の実施形態では、接眼レンズ４０００は、３つ以上の異なる深度平面のための３つの原色毎に、３つ以上の接眼レンズ層を含んでもよい。例えば、そのような実施形態では、さらに別のセットの接眼レンズ層がそれぞれ、１メートルの距離（１ジオプタ）から生じるように現れる、コリメートされた光を送達するように構成されてもよい。
各接眼レンズ層は、平面導波管を備え、内部結合格子４００７と、直交瞳エクスパンダ（ＯＰＥ）領域４００８と、射出瞳エクスパンダ（ＥＰＥ）領域４００９とを含んでもよい。内部結合格子、直交瞳拡張、および射出瞳拡張についてのさらなる詳細は、米国特許出願第１４／５５５，５８５号および米国特許出願第１４／７２６，４２４号（その内容は、参照することによって、全体として記載される場合と同様に、その全体として明示的かつ完全に本明細書に組み込まれる）に説明される。依然として、図２５Ｃを参照すると、プロジェクタ４００１は、画像光を接眼レンズ層４０００内の内部結合格子４００７上に投影する。内部結合格子４００７は、プロジェクタ４００１からの画像光を導波管の中に結合し、ＯＰＥ領域４００８に向かう方向に伝搬させる。導波管は、全内部反射（ＴＩＲ）によって、画像光を水平方向に伝搬する。接眼レンズ層４０００のＯＰＥ領域４００８はまた、導波管内を伝搬する画像光の一部を結合し、ＥＰＥ領域４００９に向かって再指向する、回折要素を含む。より具体的には、コリメートされた光は、ＴＩＲによって、導波管に沿って水平に（すなわち、図２５Ｃの図に対して）伝搬し、そうすることによって、ＯＰＥ領域４００８の回折要素と繰り返し交差する。いくつかの実施例では、ＯＰＥ領域４００８の回折要素は、比較的に低回折効率を有する。これは、ＯＰＥ領域４００８の回折要素との交点の各点において、ある割合（例えば、１０％）の光をＥＰＥ領域４００９に向かって垂直下向きに回折させ、ＴＩＲを介して、ある割合の光を導波管に沿って水平にそのオリジナル軌道上で継続させる。このように、ＯＰＥ領域４００８の回折要素との交点の各点において、付加的光が、ＥＰＥ領域４００９に向かって下向きに回折される。入射光を複数の外部結合されるセットに分割することによって、光の射出瞳は、ＯＰＥ領域４００８の回折要素によって、水平に拡張される。ＯＰＥ領域４００８から外部結合される、拡張された光は、ＥＰＥ領域４００９に入射する。
接眼レンズ層４０００のＥＰＥ領域４００９もまた、導波管内を伝搬する画像光の一部を結合し、視認者の眼２１０に向かって再指向する、回折要素を含む。ＥＰＥ領域４００９に入射する光は、ＴＩＲによって、導波管に沿って垂直に（すなわち、図２５Ｃの図に対して）伝搬する。伝搬する光とＥＰＥ領域４００９の回折要素との間の交点の各点では、ある割合の光は、導波管の隣接する面に向かって回折され、光が、ＴＩＲから逃散し、導波管の面から出現し、視認者の眼２１０に向かって伝搬することを可能にする。本方式では、プロジェクタ４００１によって投影された画像は、視認者の眼２１０によって視認され得る。いくつかの実施形態では、ＥＰＥ領域４００９の回折要素は、線形回折格子および半径方向対称回折レンズの総和である、位相プロファイルを有するように設計または構成されてもよい。ＥＰＥ領域４００９の回折要素の半径方向対称レンズ側面は、加えて、ある焦点レベルを回折される光に付与し、個々のビームの光波面を成形する（例えば、曲率を付与する）ことと、ビームを設計される焦点レベルに合致するある角度で操向することとの両方を行う。ＥＰＥ領域４００９の回折要素によって外部結合される各光のビームは、視認者の正面に位置付けられる、個別の集光点まで幾何学的に延在し得、個別の集光点に半径の中心を伴う、凸面波面プロファイルを付与され、画像または仮想オブジェクトを所与の焦点面に生産し得る。
そのような視認光学アセンブリおよび他の類似設定の説明はさらに、米国特許出願第１４／３３１，２１８号、米国特許出願第１５／１４６，２９６号、および米国特許出願第１４／５５５，５８５号（その全てが参照することによってその全体として本明細書に組み込まれる）に提供される。いくつかの実施形態では、例示的ＶＯＡは、図２５Ｃを参照して上記に述べられ、参照することによって本明細書に組み込まれる、特許出願のいずれかに説明される、１つ以上のコンポーネントを含む、および／またはその形態をとってもよいということになる。
（ＩＩＩ．複数の光学経路を使用した高視野および高分解能中心窩化ディスプレイ）
図２６Ａ－２６Ｄは、使用されることになる例示的レンダリング視点および２つの例示的眼配向毎にＡＲシステム内で生産されることになるライトフィールドを図示する。図２６Ａでは、視認者の眼２１０は、接眼レンズ５０００に対して第１の様式で配向される。いくつかの実施形態では、接眼レンズ５０００は、図２５Ｂおよび２５Ｃを参照して上記に説明されるように、ＬＯＥのスタックまたは接眼レンズ４０００に類似してもよい。より具体的には、本実施例では、視認者の眼２１０は、視認者が比較的に直進方向に接眼レンズ５０００を見ることが可能であり得るように配向される。いくつかの実施例では、図２５Ｂを参照して上記に説明されるようなＡＲシステムに類似し得る、接眼レンズ５０００が属する、ＡＲシステムは、視認者のＦＯＶ内に位置付けられる１つ以上の深度平面上に、視認者の眼２１０の正面の１つ以上の距離において、仮想コンテンツを提示するための１つ以上の動作を実施してもよい。
ＡＲシステムは、視認者の頭部の位置および配向に基づいて、レンダリング空間内の視点を決定してもよく、そこから、視認者は、仮想オブジェクト等のレンダリング空間の３－Ｄ仮想コンテンツを視認する。図２９Ａを参照して下記にさらに詳細に説明されるように、いくつかの実施形態では、そのようなＡＲシステムは、１つ以上のセンサを含み、これらの１つ以上のセンサからのデータを活用し、視認者の頭部の位置および／または配向を決定してもよい。ＡＲシステムは、図２５Ｂを参照して上記に説明される、眼追跡サブシステム４０７０の１つ以上のコンポーネント等の１つ以上の眼追跡コンポーネントに加え、そのような１つ以上のセンサを含んでもよい。そのようなデータを用いることで、ＡＲシステムは、実世界内の視認者の頭部の位置および配向を３Ｄ仮想環境内の特定の場所および特定の角位置に効果的にマッピングし、３Ｄ仮想環境内の特定の場所に位置付けられ、３Ｄ仮想環境内の特定の場所に対する３Ｄ仮想環境内の特定の角位置に配向される、仮想カメラを作成し、仮想カメラによって捕捉されるであろうような視認者のための仮想コンテンツをレンダリングし得る。実世界と仮想世界のマッピングプロセスについて議論するさらなる詳細は、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ ＡＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許出願第１５／２９６，８６９号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
いくつかの実施例では、ＡＲシステムは、視認者の眼および／または眼窩が、相互から物理的に分離され、したがって、異なる場所に一貫して位置付けられるにつれて、１つのそのような頭追跡仮想カメラを視認者の左眼または眼窩のために、別のそのような頭部追跡仮想カメラを視認者の右眼または眼窩のために、作成または動的に再位置付けおよび／または再配向し得る。視認者の左眼または眼窩と関連付けられた頭部追跡仮想カメラの視点からレンダリングされた仮想コンテンツは、図２５Ａ－２５Ｃを参照して上記に説明されるもの等のウェアラブルディスプレイデバイスの左側上の接眼レンズを通して視認者に提示され得、視認者の右眼または眼窩と関連付けられた頭部追跡仮想カメラの視点からレンダリングされた仮想コンテンツは、ウェアラブルディスプレイデバイスの右側上の接眼レンズを通して視認者に提示され得るということになる。頭部追跡仮想カメラは、視認者の頭部の現在の位置および配向に関する情報に基づいて、眼または眼窩毎に、作成および／または動的に再位置付けされ得るが、そのような頭部追跡仮想カメラの位置および配向は、視認者の個別の眼窩または視認者の頭部に対する視認者の各眼の位置または配向のいずれにも依存しなくてもよい。レンダリングプロセスにおける仮想カメラの作成、調節、および使用について議論するさらなる詳細は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された米国特許出願第１５／２７４，８２３号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
図２６ＡのＡＲシステムは、そのような頭部追跡仮想カメラを作成または動的に再位置付けおよび／または再配向し、仮想コンテンツを頭部追跡仮想カメラの視点（視点５０１０）からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ５０００を通して、視認者の眼２１０の網膜上に投影し得る。図２６Ａに示されるように、頭部追跡レンダリング視点５０１０は、対角線上に、水平に、および／または垂直に、±θ３１０角度単位の領域に及ぶ、ＦＯＶを提供してもよい。下記にさらに詳細に説明されるように、いくつかの実施形態では、頭部追跡レンダリング視点５０１０は、比較的に広ＦＯＶを提供し得る。そのような実施形態では、ＡＲシステムはまた、眼または眼窩毎に、頭部追跡仮想カメラと異なる、かつそれに加えた、別の仮想カメラを作成または動的に再位置付けおよび／または再配向してもよい。図２６Ａの実施例では、ＡＲシステムは、頭部追跡仮想カメラ５０１０の視点からの仮想コンテンツとともに、レンダリング空間内の別の仮想カメラの視点からの仮想コンテンツをレンダリングおよび提示してもよい。
例えば、そのような実施形態では、図２６ＡのＡＲシステムは、視認者の眼２１０の現在の視線に基づいて、そのような中心窩追跡仮想カメラを作成または動的に再位置付けおよび／または再配向してもよい。図２９Ａを参照して下記にさらに詳細に説明されるように、いくつかの実施例では、そのようなＡＲシステムは、図２５Ｂを参照して上記に説明される、眼追跡サブシステム４０７０の１つ以上のコンポーネント等の１つ以上の眼追跡コンポーネントを含み、視認者の現在の視線、視認者の頭部に対する視認者の眼２１０の現在の位置および／または配向、および同等物を決定してもよい。そのようなデータを用いることで、図２６ＡのＡＲシステムは、そのような中心窩追跡仮想カメラを作成または動的に再位置付けおよび／または再配向し、仮想コンテンツを中心窩追跡仮想カメラの視点（視点５０２０Ａ）からレンダリングし、視点５０２０Ａからレンダリングされるような仮想コンテンツを表す光を、接眼レンズ５０００を通して、視認者の眼２１０の中心窩上に投影し得る。
図２６Ａに示されるように、中心窩追跡レンダリング視点５０２０Ａは、頭部追跡レンダリング視点５０１０のものより狭いＦＯＶを提供し得る。このように、中心窩追跡レンダリング視点５０２０ＡのＦＯＶは、頭部追跡レンダリング視点５０１０のＦＯＶの円錐形サブ空間を占有するように見られ得る。すなわち、中心窩追跡レンダリング視点５０２０ＡのＦＯＶは、頭部追跡レンダリング視点５０１０のＦＯＶのサブ野であり得る。例えば、図２６Ａに示されるように、中心窩追跡レンダリング視点３２０Ａは、頭部追跡レンダリング視点５０１０のＦＯＶと中心窩追跡レンダリング視点５０２０Ａとの間の関係が、－θ３１０≦－θ３２０Ａ≦θ３２０Ａ≦θ３１０によって与えられるように、対角線上に、水平に、および／または垂直に、±θ３２０Ａ角度単位の領域に及ぶＦＯＶを提供してもよい。いくつかの実施例では、頭部追跡レンダリング視点５０１０のＦＯＶは、少なくとも視認者の動眼視野と同程度の広さであり得、これは、本実施例では、視認者の頭部が所与の位置および配向に保持されるときに視認者の眼２１０が固視し得る、総円錐形空間となるであろう。したがって、これらの実施例では、頭部追跡仮想カメラおよび中心窩追跡仮想カメラは、レンダリング空間内の実質的に同一場所に位置付けられてもよい、または両仮想カメラが、視認者の頭部の位置および／または配向が変化すると、レンダリング空間内を連動して線形および／または角度的に平行移動され得るように、相互から固定距離にあるレンダリング空間内の場所に位置付けられてもよい。例えば、頭部追跡仮想カメラは、視認者の眼２１０の回転中心に対応する、レンダリング空間内の場所に位置付けられてもよい一方、中心窩追跡仮想カメラは、回転中心と角膜との間の視認者の眼２１０の領域に対応する、レンダリング空間内の場所に位置付けられてもよい。実際、２つの仮想カメラ間のユークリッド距離は、視認者の眼２１０または別の剛性体の２つの具体的領域間のユークリッド距離が、常時、実質的に一定のままであり得るように同じように、レンダリング空間内で平行移動されるとき、実質的に一定のままであり得る。
そのような一対の仮想カメラ内の各仮想カメラ間の空間関係は、ＡＲシステムの使用全体を通して、レンダリング空間内で実質的に固定されたままであり得るが、しかしながら、これらの実施例では、中心窩追跡仮想カメラの配向は、視認者がその眼２１０を回転させると、頭部追跡仮想カメラに対して変動し得る。このように、中心窩追跡仮想カメラのＦＯＶによって占有される、頭部追跡仮想カメラのＦＯＶの円錐形サブ空間は、視認者がその眼２１０を回転させるにつれて動的に変化し得る。
さらに、中心窩追跡レンダリング視点５０２０Ａ内に入る、仮想オブジェクトおよび他のコンテンツは、ＡＲシステムによって、比較的高分解能においてレンダリングおよび提示され得る。より具体的には、中心窩追跡仮想カメラのＦＯＶ内の仮想コンテンツがレンダリングおよび提示される、分解能は、頭部追跡仮想カメラのＦＯＶ内の仮想コンテンツがレンダリングおよび提示される、分解能より高くあり得る。このように、接眼レンズ５０００によって外部結合され、視認者の眼２１０の網膜上に投影される、所与のライトフィールドの最高分解能サブ野は、視認者の眼２１０の中心窩に到達するものであり得る。
図３Ｂは、視認者の眼２１０が、図２６Ａに描写され、それを参照して上記に説明されるような第１の様式で配向される間、接眼レンズ５０００によって外部結合され、視認者の眼２１０の網膜上に投影される、例示的ライトフィールド５０３０Ａを図示する。ライトフィールド５０３０Ａは、上記に述べられた対の仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す、種々の角度光成分を含んでもよい。図２６Ａおよびそれ以降を参照して下記にさらに詳細に説明されるように、頭部追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す光および中心窩追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す光は、種々の異なる多重化スキームのいずれかに従って、ＡＲシステムによって多重化されてもよい。そのような多重化スキームの採用は、少なくともいくつかのインスタンスでは、ＡＲシステムが、より大きな効率を伴って動作し、および／またはより少ない物理的空間を占有することを可能にし得る。
依然として、図２６Ｂを参照すると、頭部追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツ（例えば、頭部追跡レンダリング視点５０１０内に入る、仮想オブジェクトおよび他のコンテンツ）を表す、ライトフィールド５０３０Ａの角度光成分は、視認者の眼２１０に対して－θ３１０～＋θ３１０角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。同様に、中心窩追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツ（例えば、中心窩追跡レンダリング視点５０２０Ａ内に入る、仮想オブジェクトおよび他のコンテンツ）を表す、ライトフィールド５０３０Ａの角度光成分は、視認者の眼２１０に対して－θ３２０Ａ～＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。中心窩追跡レンダリング視点５０２０Ａと関連付けられたそのような角度光成分がライトフィールド５０３０Ａ内で生じる、－θ３２０Ａおよび＋θ３２０Ａ角度単位間の間隔は、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分がライトフィールド５０３０Ａ内で生じる、－θ３１０および＋θ３１０角度単位間の間隔より規則性が高くあり得る。このように、中心窩追跡レンダリング視点５０２０Ａと関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能は、頭部追跡レンダリング視点５０１０と関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能より高くあり得る。
いくつかの実施形態では、ライトフィールド５０３０Ａ内で生じる、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分はさらに、視認者の眼２１０に対して－θ３２０Ａ～＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。そのような実施形態では、頭部追跡レンダリング視点５０１０と関連付けられたそのような角度光成分がライトフィールド５０３０Ａ内で生じる、－θ３２０Ａおよび＋θ３２０Ａ角度単位間の間隔は、中心窩追跡レンダリング視点５０２０Ａと関連付けられた角度光成分がライトフィールド５０３０Ａ内で生じる、－θ３２０Ａおよび＋θ３２０Ａ角度単位間の間隔より規則性が低くなり得る。他の実施形態では、ライトフィールド５０３０Ａ内で生じる、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分は、視認者の眼２１０に対して－θ３２０Ａ～＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを除外し得る。したがって、これらの他の実施形態では、ライトフィールド５０３０Ａ内で生じる、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分は、－θ３１０～－θ３２０Ａ角度単位の角度またはθ３２０Ａ～θ３１０の角度で視認者の眼２１０の網膜上に投影されることになるものであり得る。
図２６Ｃでは、視認者の眼２１０は、視認者の眼２１０が図２６Ａ－２６Ｂにおいて接眼レンズ５０００に対して配向される第１の様式と異なる、第２の様式で接眼レンズ５０００に対して配向される。実施例の目的のために、図２６Ｃ－２６Ｄにおける視認者の頭部の位置および配向は、図２６Ａ－２６Ｂを参照して上記に説明されるような視認者の頭部の位置および配向と同一であるように取り扱われ得る。したがって、図２６Ａ－２６Ｂおよび図２６Ｃ－２６Ｄは、それぞれ、第１および第２の時系列段階において、上記に述べられた視認者およびＡＲシステムを表し得る。より具体的には、本実施例では、視認者の眼２１０は、図２６Ａ－２６Ｂに描写されるように、比較的直進配向から中心がずれて回転されている。
第１の段階から第２の段階への遷移の際、図２６ＣのＡＲシステムは、視認者の頭部姿勢（例えば、位置および配向）が変化していないため、図２６Ａ－２６Ｂを参照して上記に説明されるように、例えば、頭部追跡仮想カメラを同一位置および配向に維持するように機能し得る。したがって、図２６Ｃ－２６Ｄに描写される第２の段階では、ＡＲシステムは、仮想コンテンツを頭部追跡仮想カメラの視点（すなわち、頭部追跡レンダリング視点５０１０）からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ５０００を通して、視認者の眼２１０の網膜上に投影し得る。頭部追跡レンダリング視点５０１０は、図２６Ａ－２６Ｄの第１および第２の時系列段階全体を通して、静的または比較的に静的なままであり得るが、第１の段階から第２の段階への遷移の際、ＡＲシステムは、第１の段階から第２の段階への視認者の眼２１０の視線の変化に基づいて、レンダリング空間内の中心窩追跡仮想カメラの配向を調節するように機能し得る。すなわち、ＡＲシステムは、第２の段階において採用されるような中心窩追跡仮想カメラが、中心窩追跡レンダリング視点５０２０Ａと異なる中心窩追跡レンダリング視点５０２０Ｃを提供するように、中心窩追跡レンダリング視点５０２０Ａを提供するために第１の段階において採用されるような中心窩追跡仮想カメラを置換または再配向してもよい。第２の段階では、ＡＲシステムはまた、中心窩追跡仮想カメラ視点５０２０Ｃの視点から仮想コンテンツをレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ５０００を通して、視認者の眼２０１の中心窩上に投影し得るということになる。
図２６Ｃ－２６Ｄの実施例では、中心窩追跡レンダリング視点５０２０Ｃは、中心窩追跡レンダリング視点５０２０Ａのものと異なる、頭部追跡レンダリング視点５０１０の円錐形サブ空間を占有し得る。例えば、図２６Ｃに示されるように、中心窩追跡レンダリング視点５０２０Ｃは、中心窩追跡レンダリング視点５０２０ＡのＦＯＶからθ３２０Ｃ角度単位変位され、対角線上に、水平に、および／または垂直に、±θ３２０Ａ角度単位の領域に及ぶ、ＦＯＶを提供し得る。すなわち、中心窩追跡レンダリング視点５０２０Ｃは、対角線上に、水平に、および／または垂直に、θ３２０Ｃ±θ３２０Ａ角度単位の領域に及ぶ、ＦＯＶを提供し得る。
図２６Ｄは、視認者の眼２０１が、図２６Ｃに描写され、それを参照して上記に説明されるような第２の様式で配向される間、接眼レンズ５０００によって外部結合され、視認者の眼２０１の網膜上に投影される、例示的ライトフィールド５０３０Ｃを図示する。ライトフィールド５０３０Ｃは、頭部追跡レンダリング視点５０１０および中心窩追跡レンダリング視点５０２０Ｃからレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す、種々の角度光成分を含み得る。頭部追跡レンダリング視点５０１０からレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す、ライトフィールド５０３０Ｃの角度光成分は、視認者の眼２１０に対して－θ３１０～＋θ３１０角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。しかしながら、図２６Ａ－２６Ｂを参照して上記に説明されるように、第１の段階からの出発の際、中心窩追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツ（例えば、中心窩追跡レンダリング視点５０２０Ｃ内に入る、仮想オブジェクトおよび他のコンテンツ）を表す、ライトフィールド５０３０Ｃの角度光成分は、視認者の眼２１０に対してθ３２０Ｃ－θ３２０Ａ角度単位～θ３２０Ｃ＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。
中心窩追跡レンダリング視点３２０Ｃと関連付けられたそのような角度光成分がライトフィールド５０３０Ｃ内で生じる、θ３２０Ｃ－θ３２０Ａ角度単位とθ３２０Ｃ＋θ３２０Ａ角度単位との間の間隔は、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分がライトフィールド５０３０Ｃ内で生じる、－θ３１０および＋θ３１０角度単位間の間隔より高くなり得る。このように、中心窩追跡レンダリング視点５０２０Ｃと関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能は、着目すべきこととして、視認者の眼２１０に対して－θ３２０Ａ～＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになる、角度光成分によって表される仮想コンテンツを含む、頭部追跡レンダリング視点５０１０と関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能より高くなり得る。
いくつかの実施形態では、ライトフィールド５０３０Ｃ内で生じる、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分はさらに、視認者の眼２１０に対してθ３２０Ｃ－θ３２０Ａ角度単位～θ３２０Ｃ＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。そのような実施形態では、頭部追跡レンダリング視点３１０と関連付けられたそのような角度光成分がライトフィールド５０３０Ｃ内で生じる、－θ３２０Ｃ－θ３２０Ａ角度単位とθ３２０Ｃ＋θ３２０Ａ角度単位との間の間隔は、中心窩追跡レンダリング視点５０２０Ｃと関連付けられた角度光成分がライトフィールド５０３０Ｃ内で生じる、θ３２０Ｃ－θ３２０Ａ角度単位とθ３２０Ｃ＋θ３２０Ａ角度単位との間の間隔より規則性が低くなり得る。他の実施形態では、ライトフィールド５０３０Ｃ内で生じる、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分は、視認者の眼２１０に対してθ３２０Ｃ－θ３２０Ａ角度単位～θ３２０Ｃ＋θ３２０Ａ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを除外し得る。したがって、これらの他の実施形態では、ライトフィールド５０３０Ｃ内で生じる、頭部追跡レンダリング視点５０１０と関連付けられた角度光成分は、－θ３１０～θ３２０Ｃ－θ３２０Ａ角度単位の角度およびθ３２０Ｃ＋θ３２０Ａ角度～θ３１０角度単位の角度単位または角度で視認者の眼２１０の網膜上に投影されることになるものであり得る。
図２６Ｅ－２６Ｆは、いくつかの実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図２６Ｅ－２６Ｆにおけるグリッド正方形は、図２４を参照して上記に説明されるような視野３００２、３００４、および３００６が、２次元角度空間に定義される、像点を図式的に表すことに留意されたい。広ＦＯＶを有する、低分解能の第１の画像ストリーム５０１０Ｅは、静的場所に表示されることができる。広ＦＯＶを有する、低分解能の第１の画像ストリーム５０１０Ｅは、レンダリング空間内に静的位置および配向を有する第１の仮想カメラによって捕捉されるであろうような仮想コンテンツの１つ以上の画像を表すことができる。例えば、低分解能の第１の画像ストリーム５０１０Ｅは、図２６Ａ－２６Ｄを参照して上記に説明される頭部追跡仮想カメラ等の頭部追跡仮想カメラによって捕捉されるであろうような仮想コンテンツの１つ以上の画像を表すことができる。第１の画像ストリーム５０１０Ｅは、ユーザの視覚を包含し、没入体験をユーザに喚起することができる。
比較的に狭いＦＯＶを有する、高分解能の第２の画像ストリーム５０２０Ｅは、第１の画像ストリーム５０１０Ｅの境界内に表示されることができる。いくつかの実施例では、第２の画像ストリーム５０２０Ｅは、眼視線追跡技法を使用して取得されるデータに基づいて、ユーザの現在の固視点と一致する角位置に対してリアルタイムで動的に調節され得る、レンダリング空間内にある配向を有する第２の異なる仮想カメラによって捕捉されるであろうような仮想コンテンツの１つ以上の画像を表すことができる。これらの実施例では、高分解能の第２の画像ストリーム５０２０Ｅは、図２６Ａ－２６Ｄを参照して上記に説明される中心窩追跡仮想カメラ等の中心窩追跡仮想カメラによって捕捉されるであろうような仮想コンテンツの１つ以上の画像を表すことができる。言い換えると、そこから第２の画像ストリーム５０２０Ｅによって表される仮想コンテンツの１つ以上の画像が捕捉される、レンダリング空間内の視点は、第２の画像ストリーム５０２０Ｅと関連付けられた視点がユーザの中心窩視と持続的に整合されるように、ユーザの眼視線が変化するにつれて再配向されることができる。
例えば、第２の画像ストリーム５０２０Ｅは、ユーザの眼視線が、図２６Ｅに図示されるように、第１の位置に固視されると、レンダリング空間の第１の領域内に位置する仮想コンテンツを包含することができる。ユーザの眼視線が、第１の位置と異なる第２の位置に移動するにつれて、第２の画像ストリーム５０２０Ｅと関連付けられた視点は、調節されることができ、第２の画像ストリーム５０２０Ｅが、図２６Ｆに図示されるように、レンダリング空間の第２の領域内に位置する仮想コンテンツを包含することができる。いくつかの実施形態では、第１の画像ストリーム５０１０Ｅは、広ＦＯＶであるが、疎グリッドによって示されるように、低角度分解能を有する。第２の画像ストリーム５０２０Ｅは、狭ＦＯＶであるが、稠密グリッドによって示されるように、高角度分解能を有する。
図２６Ｇは、いくつかの他の実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図２６Ｅ－２６Ｆのように、図２６Ｇにおけるグリッド正方形は、２次元角度空間内で定義される、像点を図式的に表す。図２６Ｅ－２６Ｆに図示される構成と同様に、広ＦＯＶを有する低分解能の第１の画像ストリーム５０１０Ｇは、頭部追跡レンダリング視点から視認されるような仮想コンテンツを包含する一方、狭ＦＯＶを有する高分解能の第２の画像ストリーム５０２０Ｇは、ユーザの現在の固視点と一致するように動的に再配向され得る、中心窩追跡レンダリング視点から視認されるような仮想コンテンツを包含する。ここでは、第１の画像ストリーム５０１０Ｇと関連付けられたＦＯＶの外周は、丸みを帯びた角を伴う長方形境界を形成することができ、第２の画像ストリーム５０２０Ｇと関連付けられたＦＯＶの外周は、円形境界を形成することができる。
図２６Ｈは、さらにいくつかの他の実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図２６Ｅ－２６Ｇのように、図２６Ｈにおけるグリッド正方形は、２次元角度空間内に定義される像点を図式的に表す。ここでは、第１の画像ストリーム５０１０Ｈと関連付けられたＦＯＶの外周および第２の画像ストリーム５０２０Ｈと関連付けられたＦＯＶの外周の両方が、円形境界を形成することができる。いくつかの他の実施形態では、第１の画像ストリーム５０１０Ｈと関連付けられたＦＯＶの外周および第２の画像ストリーム５０２０Ｈと関連付けられたＦＯＶの外周の一方または両方が、楕円形境界または他の形状を形成することができる。いくつかの実施形態では、図２６ＨのＡＲシステムの画像源は、所定のパターンで走査され、所望の境界形状を伴って、第１の画像ストリーム５０１０Ｈおよび第２の画像ストリーム５０２０Ｈのための光ビームを提供し得る、走査ファイバを含んでもよい。
図２７は、図２５Ａに示されるようなウェアラブルディスプレイデバイス４０５０内のディスプレイ４０５２のうちの１つ上にオーバーレイされる、図２４に示されるような視野３００２および動眼視野３００４を図示する。いくつかの実施形態によると、図２６Ｅ－２６Ｆに図示される広ＦＯＶおよび低分解能の第１の画像ストリーム５０１０Ｅは、ディスプレイ４０５２のエリア全体を横断して表示されることができる（第１の画像ストリーム５０１０Ｅの比較的に低分解能は、疎グリッドを伴って図示される）一方、狭ＦＯＶおよび高分解能の第２の画像ストリーム５０２０Ｅは、ユーザの現在の中心窩化領域３００６に表示されることができる（第２の画像ストリーム５０２０Ｅの比較的高分解能は、稠密グリッドを伴って図示される）。図２７では、第１の画像ストリーム５０１０Ｅおよび第２の画像ストリーム５０２０Ｅは、ディスプレイ４０５２の「平面」に表示されるように図示されるが、シースルー拡張現実（ＡＲ）ディスプレイシステムでは、第１の画像ストリーム５０１０Ｅおよび第２の画像ストリーム５０２０Ｅはまた、ある角度視野内のライトフィールドとしてユーザに提示されることができる。そのようなＡＲディスプレイシステムは、ユーザの正面のある距離（例えば、２メートル）に「浮遊」しているように現れる、ディスプレイ平面を生産することができる。ディスプレイ平面は、眼鏡よりはるかに大きいように現れることができる。本浮遊距離ディスプレイは、実世界に関する情報にオーバーレイするために使用される。
図２８Ａ－２８Ｂは、いくつかの実施形態による、ユーザに提示され得る例示的仮想コンテンツを使用して、図２６Ａ－２６Ｄに説明される原理のうちのいくつかを図示する。したがって、図２８Ａ－２８Ｂは、それぞれ、第１および第２の時系列段階における視認者およびＡＲシステムを表し得る。さらに、図２８Ａ－２８Ｂに示されるコンポーネントの一部または全部は、図２６Ａ－２６Ｄを参照して上記に説明されるようなコンポーネントと同一または少なくとも類似してもよい。
図２８Ａ－２８ＢのＡＲシステムは、図２６Ａ－２６Ｄを参照して上記に説明される頭部追跡仮想カメラに類似する頭部追跡仮想カメラを作成または動的に再位置付けおよび／または再配向し、仮想コンテンツを頭部追跡仮想カメラの視点からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ６０００を通して、視認者の眼２１０の網膜上に投影し得る。図２８Ａ－２８ＢのＡＲシステムはまた、図２６Ａ－２６Ｄを参照して上記に説明される中心窩追跡仮想カメラに類似する中心窩追跡仮想カメラを作成または動的に再位置付けおよび／または再配向し、仮想コンテンツを中心窩追跡仮想カメラの視点からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ４００を通して、視認者の眼２１０の中心窩上に投影し得る。図２８Ａ－２８Ｂに示されるように、そのような仮想コンテンツは、３－Ｄ仮想オブジェクト６０１１、６０１２、および６０１３を含んでもよい。いくつかの実施例では、図２８Ａ－２８ＢのＡＲシステムは、頭部追跡レンダリング視点に関してすぐ上で説明された動作のうちの１つ以上のものと、中心窩追跡レンダリング視点に関してすぐ上で説明された動作のうちの１つ以上のものを同時に実施してもよい。他の実施例では、図２８Ａ－２８ＢのＡＲシステムは、そのような動作を高速で連続して実施してもよい。
本実施例では、図２８Ａ－２８ＢにおけるＡＲシステムによって採用される、頭部追跡レンダリング視点のＦＯＶは、対角線上に、水平に、および／または垂直に、仮想オブジェクト６０１１、６０１２、および６０１３のそれぞれを包含するために十分に広い角度空間であり得る。実施例の目的のために、視認者の頭部の位置および配向は、頭部追跡レンダリング視点の位置および配向が２つの段階全体を通して同一のままであるように、それぞれ、図２８Ａおよび２８Ｂに描写されるような第１および第２の段階全体を通して静的であるように取り扱われ得る。ＡＲシステムによって採用される頭部追跡レンダリング視点のＦＯＶが、仮想オブジェクト６０１１－６０１３を包含するために十分に広いために、少なくとも、対角線上に、水平に、および／または垂直に、α＋ζ角度単位の範囲に及ばなければならない。より具体的には、図２８Ａ－２８Ｂの実施例では、仮想オブジェクト６０１１、６０１２、および６０１３は、それぞれ、α－β、γ＋δ、およびζ－ε角度単位範囲に及び得ることが分かる。
図２８Ａでは、視認者の眼２１０は、視認者が比較的に直進方向において接眼レンズ６０００を見ることが可能であり得るように、接眼レンズ６０００に対して第１の様式で配向される。図２８Ａにおける視認者の眼２１０の配向は、例えば、図２６Ａ－２６Ｂを参照して上記に説明されるような視認者の眼２１０の配向と同一または類似し得、感知コンポーネントおよび／または本明細書に説明される技法のうちの１つ以上のものを使用して、ＡＲシステムよって決定されてもよい。したがって、図２８Ａに描写される段階では、ＡＲシステムは、それぞれ、頭部追跡および中心窩追跡レンダリング視点５０１０および５０２０Ａのものに類似する相対的位置および配向における、頭部追跡および中心窩追跡レンダリング視点を採用してもよい。図２８Ａの特定の実施例では、ＡＲシステムによって採用される中心窩追跡レンダリング視点のＦＯＶは、例えば、仮想オブジェクト６０１２を包含し得るが、仮想オブジェクト６０１１および６０１３のいずれも包含し得ない。図２８Ａでは、ＡＲシステムは、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１２を高解像度でレンダリングし得、頭部追跡仮想カメラの視点から捕捉されたであろうような仮想オブジェクト６０１１および６０１３をより低い解像度でレンダリングし得るということになる。加えて、ＡＲシステムは、仮想オブジェクト６０１１、６０１２、および６０１３のそのようなレンダリングを表す光を、接眼レンズ６０００を通して、視認者の眼２１０の網膜上に投影してもよい。いくつかの実施形態では、ＡＲシステムはまた、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１２をより低い解像度でレンダリングし得る。
図２８Ａはまた、接眼レンズ６０００によって外部結合され、視認者の眼２１０の網膜上に投影される、例示的ライトフィールド６０３０Ａを図示する。ライトフィールド６０３０Ａは、上記に述べられた仮想オブジェクト６０１１、６０１２、および６０１３のレンダリングのうちの１つ以上のものを表す、種々の角度光成分を含み得る。例えば、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１１を表す、ライトフィールド６０３０Ａの角度光成分は、視認者の眼２１０に対して－α～－β角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１３を表す、ライトフィールド６０３０Ａの角度光成分は、視認者の眼２１０に対してε～ζ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。同様に、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１２を表す、ライトフィールド６０３０Ａの角度光成分は、視認者の眼２１０に対して－γ～δ角度単位に及ぶ角度で視認者の眼２１０の中心窩上に投影されることになるものを含み得る。したがって、仮想オブジェクト６０１２を表すライトフィールド６０３０Ａの成分（すなわち、視認者の眼２１０に対して－γ～δ角度単位に及ぶ角度で投影されることになる成分）は、仮想オブジェクト６０１１または６０１３を表す、ライトフィールド６０３０Ａの成分（すなわち、視認者の眼２１０に対して－α～－βまたはε～ζ角度単位に及ぶ角度で投影されることになる成分）より角度空間内で稠密に分散され得る。このように、仮想オブジェクト６０１２が視認者にレンダリングおよび提示され得る、分解能は、仮想オブジェクト６０１１または６０１３が視認者にレンダリングおよび提示され得る、分解能より高くなり得る。
図２８Ｂでは、視認者の眼２１０は、視認者の眼２１０が図２８Ａにおいて接眼レンズ６０００に対して配向される第１の様式と異なる第２の様式において、接眼レンズ６０００に対して配向される。図２８Ｂにおける視認者の眼２１０の配向は、例えば、図２６Ｃ－２６Ｄを参照して上記に説明されるような視認者の眼２１０の配向と同一または類似し得、感知コンポーネントおよび／または本明細書に説明される技法のうちの１つ以上のものを使用して、ＡＲシステムによって決定されてもよい。したがって、図２８Ｂに描写される段階では、ＡＲシステムは、それぞれ、頭部追跡および中心窩追跡レンダリング視点５０１０および５０２０Ｃのものに類似する相対的位置および配向において、頭部追跡および中心窩追跡レンダリング視点を採用してもよい。図２８Ｂの特定の実施例では、ＡＲシステムによって採用される中心窩追跡レンダリング視点のＦＯＶは、例えば、仮想オブジェクト６０１３を包含し得るが、仮想オブジェクト６０１１および６０１２のいずれも包含し得ない。図２８Ｂでは、ＡＲシステムは、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１３を高解像度でレンダリングし得、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１１および６０１２をより低い解像度でレンダリングし得るということになる。加えて、ＡＲシステムは、仮想オブジェクト６０１１、６０１２、および６０１３のそのようなレンダリングを表す光を、接眼レンズ６０００を通して、視認者の眼２１０の網膜上に投影してもよい。いくつかの実施形態では、ＡＲシステムはまた、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１３をより低い解像度でレンダリングしてもよい。
図２８Ｂはまた、接眼レンズ６０００によって外部結合され、視認者の眼２１０の網膜上に投影される、例示的ライトフィールド６０３０Ｂを図示する。ライトフィールド６０３０Ｂは、上記に述べられた仮想オブジェクト６０１１、６０１２、および６０１３のレンダリングのうちの１つ以上のものを表す、種々の角度光成分を含み得る。例えば、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１１を表す、ライトフィールド６０３０Ｂの角度光成分は、視認者の眼２１０に対して－α～－β角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１２を表す、ライトフィールド６０３０Ｂの角度光成分は、視認者の眼２１０に対して－γ～δ角度単位に及ぶ角度で視認者の眼２１０の網膜上に投影されることになるものを含み得る。同様に、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト６０１３を表す、ライトフィールド６０３０Ｂの角度光成分は、視認者の眼２１０に対してε～ζ角度単位に及ぶ角度で視認者の眼２１０の中心窩上に投影されることになるものを含み得る。したがって、仮想オブジェクト６０１３を表す、ライトフィールド６０３０Ｂの成分（すなわち、視認者の眼２１０に対してε～ζ角度単位に及ぶ角度で投影されることになる成分）は、仮想オブジェクト６０１１または６０１２を表す、ライトフィールド６０３０Ａの成分（すなわち、視認者の眼２１０に対して－α～－βまたは－γ～δ角度単位に及ぶ角度で投影されることになる成分）より角度空間内で稠密に分散され得る。このように、仮想オブジェクト６０１３が視認者にレンダリングおよび提示され得る、分解能は、仮想オブジェクト６０１１または６０１２が視認者にレンダリングおよび提示され得る、分解能より高くなり得る。実際、図２８Ａの段階から図２８Ｂの段階では、それを参照して本明細書に説明されるＡＲシステムは、段階間の視認者の眼４０２の視線の変化に従って、そこから仮想コンテンツが高分解能で視認され得る視点を効果的に再配向している。
図２８Ｃ－２８Ｆは、いくつかの実施形態による、ユーザに提示され得るいくつかの例示的画像を使用して、図３Ｅ－３Ｆに説明される原理のうちのいくつかを図示する。いくつかの実施例では、図２８Ｃ－２８Ｆに描写される画像および／または画像ストリームのうちの１つ以上のものは、図２５Ｂを参照して上記に説明される深度平面のうちの１つ以上のもの等、特定の深度平面に表示されることになる２次元画像またはその一部を表してもよい。すなわち、そのような画像および／または画像ストリームは、ユーザから固定距離における少なくとも１つの２次元表面上に投影された３－Ｄ仮想コンテンツを表してもよい。そのような実施例では、そのような画像および／または画像ストリームは、図２６Ａ－２６Ｄおよび２８Ａ－２８Ｂを参照して上記に説明されるものに類似するある角度視野を伴う１つ以上のライトフィールドとして、ユーザに提示されてもよいことを理解されたい。
描写されるように、第１の画像ストリーム６０１０は、木を含む。図２８Ｃによって表される第１の時間周期の間、眼追跡センサは、ユーザの眼視線（すなわち、中心窩視）が、木の幹を含む、木の第１の領域６０１０－１内に合焦されていることを決定することができる。ユーザの眼視線が第１の領域６０１０－１に合焦されていることを決定することに応答して、第１の画像ストリーム６０１０の第１の領域６０１０－１と関連付けられた高分解能画像を含む、第２の画像ストリーム６０２０が、第１の画像ストリーム６０１０の表示と同時に、第１の領域４１０－１内に位置付けられることができる。第１の画像ストリーム４１０は、図２８Ｃに図示されるように、第２の画像ストリーム６０２０より低い分解能を有し得る。
図２８Ｄによって表される、第２の時間周期の間、眼追跡センサは、ユーザの眼視線が、図２８Ｄに図示されるように、木の枝を含む、木の第２の領域６０１０－２に移動したことを決定することができる。故に、第２の画像ストリーム４２０は、第２の領域６０１０－２に偏移され、そのコンテンツを変化させ、第１の画像ストリーム６０１０の第２の領域６０１０－２内のコンテンツに対応させることができる。より高い分解能の第２の画像ストリーム６０２０は、ユーザの中心窩視内の第１の画像ストリーム６０１０の部分にオーバーレイするため、第２の画像ストリーム６０２０を囲繞する第１の画像ストリーム６０１０のより低い分解能の部分は、ユーザによって知覚または気付かれ得ない。このように、ユーザは、広ＦＯＶおよび高分解能の両方を有するような第１の画像ストリーム６０１０および第２の画像ストリーム６０２０の組み合わせを知覚し得る。そのようなディスプレイシステムは、いくつかの利点を与えることができる。例えば、ディスプレイシステムは、より優れたユーザ体験を提供しながら、比較的に小形状因子を維持し、算出リソース要件を比較的に低く保つことができる。小形状因子および低算出リソース要件は、デバイスが高分解能画像をディスプレイの限定された領域内に生成することのみ必要とすることに起因し得る。
第２の画像ストリーム６０２０は、同時にまたは高速で連続して、第１の画像ストリーム６０１０上にオーバーレイされることができる。上記に議論されるように、いくつかの実施形態では、第２の画像ストリーム６０２０によってオーバーレイされた第１の画像ストリーム６０１０のコンテンツのサブセットは、より均一明度およびより良好な分解能知覚のために、オフにされる、またはより低い強度で提示されることができる。また、いくつかの実施形態では、第２の画像ストリーム６０２０と関連付けられた第２の画像ストリームは、第１の画像ストリーム６０１０と関連付けられた第１の画像ストリームと他の点において異なり得ることに留意されたい。例えば、第２の画像ストリームの色分解能は、第１の画像ストリームの色分解能より高くあり得る。第２の画像ストリームのリフレッシュレートもまた、第１の画像ストリームのリフレッシュレートより高くあり得る。
図２８Ｅは、いくつかの実施形態による、例示的高ＦＯＶ低分解能画像フレーム（すなわち、第１の画像ストリーム）を図示し、図２８Ｆは、例示的低ＦＯＶ高分解能画像フレーム（すなわち、第２の画像ストリーム）を図示する。図２８Ｅに図示されるように、低ＦＯＶ高分解能画像フレームによってオーバーレイされるであろう、高ＦＯＶ低分解能画像フレームの領域６０３０は、仮想コンテンツを欠き得る。領域６０３０に対応する高ＦＯＶ画像の部分を省略することによって、２つの画像内の若干の差異から生じる任意の画像ぼけまたは不鮮明化は、回避され得る。低ＦＯＶ高分解能画像フレームのコンテンツ（例えば、図２８Ｆに図示されるような）は、領域６０３０に対応するコンテンツの高分解能バージョンを含むことができる。
図２９Ａは、いくつかの実施形態による、ディスプレイシステム７０００Ａの簡略化されたブロック図を示す。ディスプレイシステム７０００Ａは、ユーザの頭部の位置および移動およびユーザの眼位置および眼球間距離を検出するための１つ以上のセンサ７００２を含むことができる。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および同等物を含んでもよい。拡張現実システムでは、１つ以上のセンサ７００２は、頭部装着型フレーム上に搭載されることができる。
例えば、いくつかの実装では、ディスプレイシステム７０００Ａの１つ以上のセンサ７００２は、頭部装着型変換器システムの一部であって、１つ以上の慣性変換器を含み、ユーザの頭部の移動を示す慣性測定値を捕捉してもよい。したがって、これらの実装では、１つ以上のセンサ７００２は、ユーザの頭部移動についての情報を感知、測定、または収集するために使用されてもよい。例えば、そのようなものは、ユーザの頭部の測定移動、速度、加速、および／または位置を検出するために使用されてもよい。
いくつかの実施形態では、１つ以上のセンサ７００２は、ユーザが位置する環境についての情報を捕捉するために使用され得る、１つ以上の前方に面したカメラを含むことができる。前方に面したカメラは、その環境およびその環境内の具体的オブジェクトに対するユーザの距離および配向を示す情報を捕捉するために使用されてもよい。頭部に装着されると、前方に面したカメラは、特に、ユーザが位置する環境およびその環境内の具体的オブジェクトに対するユーザの頭部の距離および配向を示す情報を捕捉するために好適である。前方に面したカメラは、頭部移動、頭部移動の速度、および加速を検出するために採用されることができる。前方に面したカメラはまた、例えば、少なくとも部分的に、ユーザの頭部の配向に基づいて、ユーザの注意の中心を検出または推測するために採用されることができる。配向は、任意の方向（例えば、ユーザの基準フレームに対して上下左右）において検出されてもよい。
１つ以上のセンサ７００２はまた、一対の後ろ向きに面したカメラを含み、ユーザの眼の移動、瞬目、および焦点深度を追跡することができる。そのような眼追跡情報は、例えば、光をユーザの眼に投影させ、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別されることができる。眼追跡デバイスについて議論するさらなる詳細は、「ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」と題された米国仮特許出願第６１／８０１，２１９号、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＣＲＥＡＴＩＮＧ ＦＯＣＡＬ ＰＬＡＮＥＳ ＩＮ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された米国仮特許出願第６２／００５，８３４号、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＡＮＤ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ」と題された米国仮特許出願第６１／７７６，７７１号、および「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＥＹＥ ＴＲＡＣＫＩＮＧ ＵＳＩＮＧ ＳＰＥＣＫＬＥ ＰＡＴＴＥＲＮＳ」と題された米国仮特許出願第６２／４２０，２９２号（参照することによって明示的に本明細書に組み込まれる）に提供される。
ディスプレイシステム７０００Ａはさらに、１つ以上のセンサ７００２に通信可能に結合される、ユーザ配向決定モジュール７００４を含むことができる。ユーザ配向決定モジュール７００４は、データを１つ以上のセンサ７００２から受信し、そのようなデータを使用して、ユーザの頭部姿勢、角膜位置、瞳孔間距離、および同等物を決定する。ユーザ配向決定モジュール７００４は、ユーザの頭部の瞬間位置を検出し、１つ以上のセンサ７００２から受信された位置データに基づいて、ユーザの頭部の位置を予測してもよい。ユーザ配向決定モジュール７００４はまた、１つ以上のセンサ７００２から受信された追跡データに基づいて、ユーザの眼を追跡する。
ディスプレイシステム７０００Ａはさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡｓ）、例えば、フィールドＰＧＡＳ（ＦＰＧＡｓ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。
図２９Ａに描写される実施例では、ディスプレイシステム７０００Ａは、中央処理ユニット（ＣＰＵ）７０１０と、グラフィック処理ユニット（ＧＰＵ）７０２０と、フレームバッファ７０４２および７０４４とを含む。要するに、下記にさらに詳細に説明されるように、ＣＰＵ７０１０は、全体的動作を制御する一方、ＧＰＵ７０２０は、フレームをデータベース７０３０内に記憶される３次元データからレンダリングし（すなわち、３次元場面を２次元画像に変換する）、これらのフレームをフレームバッファ７０４２および７０４４内に記憶する。図示されないが、１つ以上の付加的集積回路が、フレームバッファ７０４２および７０４４の中へのフレームの読込および／またはそこからの読取と、画像多重化サブシステム７０６０、中心窩追跡ビーム操向コンポーネント７０８０、および同等物のコンポーネント等のディスプレイシステム７０００Ａの１つ以上の他のコンポーネントの動作とを制御してもよい。フレームバッファ５４２および５４４の中へのフレームの読込および／またはそこからの読取は、動的アドレス指定を採用してもよく、例えば、フレームは、オーバーレンダリングされる。ディスプレイシステム７０００Ａはさらに、読取専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）を備える。ディスプレイシステム７０００Ａはさらに、３次元データベース７０３０を備え、そこから、ＧＰＵ７０２０は、フレームをレンダリングするための１つ以上の場面の３次元データにアクセスすることができる。
ＣＰＵ７０１０は、高ＦＯＶ低分解能レンダリング視点決定モジュール７０１２と、低ＦＯＶ高分解能レンダリング視点決定モジュール７０１４とを含むことができる。いくつかの実施形態では、ユーザ配向決定モジュール７００４は、ＣＰＵ７０１０の一部であることができる。
高ＦＯＶ低分解能レンダリング視点決定モジュール７０１２は、ユーザ配向決定モジュールによって出力されたデータを、そこから高ＦＯＶ低分解能画像が知覚されることになる、３Ｄ空間内の場所および角度にマッピングするための論理を含むことができる。すなわち、ＣＰＵ７０１０は、ユーザ配向決定モジュール７００４から受信されたデータに基づいて、任意の所与の時間に、ユーザの頭部に対して固定される仮想カメラの視点を決定する。図２６Ａ－２６Ｄおよび２８Ａ－２８Ｂを参照して上記に説明される実施例のコンテキスト内では、高ＦＯＶ低分解能レンダリング視点決定モジュール７０１２は、ユーザ配向決定モジュール７００４によって示されるような頭部位置および配向を監視し、適宜、レンダリング空間内の少なくとも頭部追跡仮想カメラの位置および配向を制御する役割を果たし得る。
低ＦＯＶ高分解能レンダリング視点決定モジュール７０１４は、ユーザ配向決定モジュールによって出力されたデータ（例えば、ユーザの視線および中心窩場所を示すデータ）を、そこから低ＦＯＶ高分解能画像が知覚されることになる、３Ｄ空間内の場所および角度にマッピングするための論理を含むことができる。すなわち、ＣＰＵ７０１０は、ユーザ配向決定モジュール７００４から受信されたデータに基づいて、任意の所与の時間に、ユーザの中心窩に対して固定される仮想カメラの視点を決定する。図２６Ａ－２６Ｄおよび２８Ａ－２８Ｂを参照して上記に説明される実施例のコンテキスト内では、低ＦＯＶ高分解能レンダリング視点決定モジュール７０１４は、ユーザ配向決定モジュール７００４によって示されるような眼視線を監視し、適宜、レンダリング空間内の少なくとも中心窩追跡仮想カメラの位置および配向を制御する役割を果たし得る。
ディスプレイシステム７０００Ａはさらに、グラフィック処理ユニット（ＧＰＵ）７０２０と、データベース７０３０とを含むことができる。データベース７０３０は、３Ｄ仮想コンテンツを記憶することができる。ＧＰＵ７０２０は、フレームをレンダリングするために、データベース７０３０内に記憶される３Ｄ仮想コンテンツにアクセスすることができる。ＧＰＵ７０２０は、ＣＰＵ７０１０によって決定され、出力として提供されるように、ユーザの中心窩に対して固定される仮想カメラの視点（例えば、中心窩追跡レンダリング視点）から、仮想コンテンツのフレームを低ＦＯＶおよび高分解能でレンダリングすることができる。ＧＰＵ７０２０はまた、ＣＰＵ７０１０によって決定され、出力として提供されるように、ユーザの頭部に対して固定される仮想カメラの視点（例えば、頭部追跡／非中心窩化視点）から、仮想コンテンツのフレームを高ＦＯＶおよび低分解能でレンダリングすることができる。レンダリングプロセスにおける仮想カメラの作成、調節、および使用について議論するさらなる詳細は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された米国特許出願第１５／２７４，８２３号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
仮想コンテンツの高ＦＯＶ低分解能でレンダリングされるフレームは、高ＦＯＶ低分解能でレンダリングされるフレームのバッファ７０４２内に記憶されることができる。同様に、仮想コンテンツの低ＦＯＶ高分解能でレンダリングされるフレームは、低ＦＯＶ高分解能でレンダリングされるフレームのバッファ７０４４内に記憶されることができる。いくつかの実施形態では、高ＦＯＶ低分解能でレンダリングされるフレームのバッファ７０４２および低ＦＯＶ高分解能でレンダリングされるフレームのバッファ７０４４は、ＧＰＵ７０２０の一部であることができる。
ディスプレイシステム７０００Ａはさらに、画像多重化サブシステム７０６０と、画像多重化サブシステム７０６０に通信可能に結合される、画像多重化サブシステムコントローラ７０５０とを含むことができる。画像多重化サブシステム７０６０は、図３０Ａ－３０Ｂを参照して下記にさらに詳細に実質的に説明されるように、画像源７０６２と、高ＦＯＶ低分解能画像フレームおよび低ＦＯＶ高分解能画像フレームを多重化するための多重化コンポーネント７０６４とを含むことができる。画像源７０６２は、例えば、ファイバ走査コンポーネント、シリコン上液晶（ＬＣｏＳ）、ＭＥＭＳ走査ミラー、および同等物と組み合わせた光源を含むことができる。多重化コンポーネント７０６４は、偏光回転子、切替可能光学、液晶アレイ、可変焦点レンズ、および同等物等の光学要素を含むことができる。多重化コンポーネント７０６４は、画像源７０６２の内部または外部にあることができる。
画像多重化サブシステムコントローラ７０５０は、画像多重化サブシステム７０６０、高ＦＯＶ低分解能でレンダリングされるフレームのバッファ７０４２、および低ＦＯＶ高分解能でレンダリングされるフレームのバッファ７０４４に通信可能に結合される。制御回路は、上記に議論されるように、適切な画像コンテンツが各レンダリング視点から提示されるように、制御信号を画像源５６２に送信することができる。画像多重化サブシステムコントローラ７０５０はまた、多重化された画像ストリームをもたらすように、画像源７０６２と併せて、多重化コンポーネント７０６４を制御することができる。
ディスプレイシステム７０００Ａはさらに、中心窩追跡ビーム操向コンポーネント７０８０と、中心窩追跡ビーム操向コンポーネント７０８０に通信可能および／または動作可能に結合される、中心窩追跡コントローラ７０７０とを含むことができる。中心窩追跡コントローラ７０７０は、ＣＰＵ７０１０から、ユーザの中心窩の位置に関する出力データ（例えば、低ＦＯＶ高分解能レンダリング視点決定モジュール７０１４および／またはユーザ配向決定モジュール７００４によって決定されるような）を受信し、そのようなデータを使用して、中心窩追跡ビーム操向コンポーネント７０８０の位置を制御することができる。中心窩追跡ビーム操向コンポーネント７０８０は、多重化された画像ストリームの低ＦＯＶ高分解能部分（画像源７０６２および多重化コンポーネント７０６４によって生産された）をユーザの中心窩に向かって動的に操向または別様に指向する役割を果たすことができる。画像ストリームのそのような低ＦＯＶ高分解能部分は、例えば、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想コンテンツを表し得る。
ディスプレイシステム７０００Ａはまた、コンピュータ可読命令、データベース、およびＣＰＵ７０１０、ＧＰＵ７０２０、および／または１つ以上の他のモジュールまたはディスプレイシステム７０００Ａのコントローラによって使用可能な他の情報を記憶するための記憶媒体を含むことができる。ディスプレイシステム７０００Ａはさらに、ユーザがディスプレイシステムとの相互作用のために使用し得る、ボタン等の入力－出力（Ｉ／Ｏ）インターフェースを含むことができる。ディスプレイシステム７０００Ａはまた、ディスプレイシステム７０００Ａの別の部分またはインターネットとの無線通信のための無線アンテナを含むことができる。
図２９Ｂは、いくつかの実施形態による、ＡＲシステム７０００Ｂの断面図を図式的に図示する。ＡＲシステム７０００Ｂは、いくつかの実施形態によると、図２９Ａを参照して上記に説明されるように、ディスプレイシステム７０００Ａのコンポーネントのうちの少なくともいくつかを組み込むことができ、図２５Ａに示されるように、ウェアラブルディスプレイデバイス４０５０内のディスプレイ４０５２のうちの１つの中に嵌合されることができる。例えば、ＡＲシステム７０００Ｂは、画像多重化サブシステム５６０を含むことができ、これは、画像源７０６２と、１つ以上の多重化コンポーネントとを含むことができる。加えて、ＡＲシステム７０００Ｂはまた、中心窩追跡ビーム操向コンポーネント７０８０を含むことができ、これは、本実施例では、ＭＥＭＳ走査ミラー等の電気機械的光学デバイスであってもよい。ディスプレイシステム７０００Ａのように、画像多重化サブシステム７０６０は、画像多重化サブシステムコントローラに通信可能および／または動作可能に結合されてもよく、中心窩追跡ビーム操向コンポーネント７０８０は、中心窩追跡コントローラに通信可能および／または動作可能に結合されてもよい。ＡＲシステム７０００Ｂはさらに、１つ以上の内部結合格子（ＩＣＧ）７００７と、１つ以上の接眼レンズ７００８とを含むことができる。各内部結合格子７００７は、第１の光ビームおよび第２の光ビームを個別の接眼レンズ７００８の中に結合するように構成されることができる。各接眼レンズ７００８は、第１の光ビームおよび第２の光ビームをユーザの眼の中に外部結合するための外部結合格子を含むことができる。内部結合格子７００７および接眼レンズ７００８は、本明細書では、「視認アセンブリ」と称され得る。本明細書に開示される種々の内部結合格子（ＩＣＧ）は、図９Ａ－９Ｃの内部結合光学要素７００、７１０、７２０に対応してもよいことを理解されたい。
図３０Ａ－３０Ｂは、いくつかの実施形態による、画像をユーザの眼に投影させるためのディスプレイシステム８０００を図式的に図示する。ディスプレイシステム８０００は、画像源８０１０を含む。画像源８０１０は、図３０Ａに示されるように、第１の画像ストリームと関連付けられた第１の光ビーム８０５２を投影し、図３０Ｂに示されるように、第２の画像ストリームと関連付けられた第２の光ビーム８０５４を投影するように構成されることができる。第１の光ビーム８０５２および第２の光ビーム８０５４は、概略光線として、図３０Ａ－３０Ｂに描写され、これは、正確な光線をトレースする光線を表すことを意図するものではないことに留意されたい。第１の光ビーム８０５２は、角度的に拡大され、より広いＦＯＶを被覆し、より低い角度の分解能画像ストリームをもたらすことができる。第２の光ビーム８０５４は、図２６Ａ－２６Ｆおよび２８Ａ－２８Ｄを参照して上記に議論されるように、より高い角度分解能を伴う、より狭いＦＯＶを有することができる。
画像源８０１０は、種々の実施形態によると、シリコン上液晶（ＬＣｏＳまたはＬＣＯＳ）ディスプレイ（また、空間光変調器とも称され得る）、走査ファイバ、または走査ミラーを含んでもよい。例えば、画像源８０１０は、制御信号に応答して、光ファイバを所定のパターンで走査する、走査デバイスを含んでもよい。所定のパターンは、長方形または円形形状等のある所望の画像形状に対応し得る。
いくつかの実施形態によると、第１の画像ストリームと関連付けられた第１の光ビーム８０５２および第２の画像ストリームと関連付けられた第２の光ビーム８０５４は、多重化され、画像源８０１０によって、合成光ビームとして出力されることができる。例えば、偏光分割多重化、時分割多重化、波長分割多重化、および同等物が、第１の画像ストリームと関連付けられた光ビームおよび第２の画像ストリームと関連付けられた光ビームを多重化するために使用されることができる。
偏光分割多重化が使用される、実施形態では、第１の光ビーム８０５２は、第１の偏光状態にあることができ、第２の光ビーム８０５４は、第１の偏光状態と異なる第２の偏光状態にあることができる。例えば、第１の偏光状態は、第１の方向に配向される線形偏光であることができ、第２の偏光状態は、第１の方向に直交する第２の方向に配向される線形偏光であることができる。いくつかの他の実施形態では、第１の偏光状態は、左回り円偏光であることができ、第２の偏光状態は、右回り円偏光であることができる、またはその逆であることができる。第１の光ビーム８０５２および第２の光ビーム８０５４は、同時にまたは順次、画像源８０１０によって投影されることができる。
ディスプレイシステム８０００はさらに、いくつかの実施形態によると、第１の光ビーム８０５２を第２の光ビーム８０５４から多重化解除するように構成される、偏光ビームスプリッタ（ＰＢＳ）８０３０を含むことができる。偏光ビームスプリッタ８０３０は、図３０Ａに図示されるように、第１の光ビーム８０５２を第１の光学経路に沿って視認アセンブリに向かって反射させ、図３０Ｂに図示されるように、第２の光ビーム８０５４を第２の光学経路に沿って透過させるように構成されることができる。
偏光ビームスプリッタ８０３０の代替もまた、光ビームを多重化解除するために使用されてもよい。実施例として、限定ではないが、図３０Ａおよび３０Ｂの偏光ビームスプリッタ８０３０を含む、本明細書に説明されるビームスプリッタは、液晶の切替可能反射体等の切替可能反射体と置換される、またはそれとともに実装されてもよい。そのような切替可能反射体を伴う実施形態では、本明細書に開示される全ての他の側面が、適用され、偏光ビームスプリッタが切替可能反射体によって置換されることを除き、類似し得る。実施例として、図５３Ａの切替可能反射体５００４２等の切替可能反射体は、制御信号に応答して、反射状態と透過状態との間で切り替わり得る。切替可能反射体の切替を協調させることによって、切替可能反射体は、光ビームを多重化解除するように動作し得る。実施例として、切替可能反射体は、第１の光ビームが切替可能反射体上に入射すると、随時、反射性にされてもよく、第２の光ビームが切替可能反射体上に入射すると、随時、透過性にされ、したがって、第１および第２の光ビームの多重化解除を可能にし得る。いくつかの実施形態では、切替可能反射体は、光ビーム８０５２、８０５４に対してある角度（例えば、４５°角度）に位置付けられてもよい。その結果、透過性状態では、光ビーム８０５２、８０５４のうちの一方は、切替可能反射体を通して透過され、反射性状態では、光ビーム８０５４、８０５２の他方は、反射体を通して透過された光ビームと異なる方向に、切替可能反射体から離れるように進行するように反射される。
図３０Ｂを参照すると、ディスプレイシステム８０００はさらに、第２の光学経路に沿って偏光ビームスプリッタ８０３０の下流に位置付けられる、走査ミラー８０６０を含むことができる。走査ミラー８０６０は、ユーザの眼に投影されることになる第２の光ビーム８０５４を視認アセンブリに向かって反射させるように構成される。いくつかの実施形態によると、走査ミラー８０６０は、第２の画像ストリームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御されることができる。例えば、走査ミラー８０６０は、制御回路を介して、ユーザの眼移動を追跡する眼視線トラッカと電気通信することができる。制御回路は、第２の光ビーム８０５４が、第２の画像ストリームをユーザの中心窩視を被覆すると決定された領域に投影するように、制御信号を送信し、ユーザの現在の固視点に基づいて、走査ミラー８０６０を傾斜および／または平行移動させることができる。いくつかの実施形態では、走査ミラー８０６０は、２自由度を伴う（すなわち、２つの独立角度で走査されることが可能である）、微小電気機械システム（ＭＥＭＳ）スキャナであることができる。
いくつかの他の実施形態では、走査ミラー８０６０を使用する代わりに、ディスプレイシステム８０００は、固定ミラーを使用することができる。第２の画像ストリームの位置を制御するステップは、第３の光学レンズ８０４６を横方向に変位させることによって達成されることができる（下記の第３の光学レンズ８０４６の説明参照）。例えば、第３の光学レンズ８０４６は、矢印によって示されるように上下におよびページの向こう側および手前側に向けて変位され、第２の画像ストリームの位置を２次元で偏移させることができる。
いくつかの実施形態では、ディスプレイシステム８０００はさらに、偏光ビームスプリッタ８０３０と走査ミラー８０６０との間に位置付けられる、偏光回転子８０２２を含むことができる。偏光回転子８０２２は、第２の光ビームが、視認アセンブリに入射するにつれて、第１の光ビーム８０５２のものとほぼ同一偏光を有し得るように、第２の光ビーム８０５４の偏光を回転させるように構成されることができる。偏光回転子８０２２は、例えば、半波長板を含むことができる。
いくつかの実施形態では、ディスプレイシステム８０００はさらに、第１の光学経路のための第１の中継レンズアセンブリと、第２の光学経路のための第２の中継レンズアセンブリとを含むことができる。第１の中継レンズアセンブリは、画像源８０１０と偏光ビームスプリッタ８０３０との間に配置される、第１の光学レンズ８０４２と、第１の光学経路に沿って偏光ビームスプリッタ８０３０の下流に配置される、第２の光学レンズ８０４４とを含むことができる。第２の中継レンズアセンブリは、第１の光学レンズ８０４２と第２の光学経路に沿って偏光ビームスプリッタ８０３０の下流に配置される、第３の光学レンズ８０４６とを含むことができる。
図３０Ｃは、いくつかの実施形態による、拡張現実（ＡＲ）システムの断面図を図式的に図示する。ＡＲシステムは、いくつかの実施形態によると、図２５Ａに示されるように、ウェアラブルディスプレイデバイス４０５０内のディスプレイ４０５２のうちの１つの中に嵌合されることができる。ＡＲシステムは、第１の画像ストリームと関連付けられた第１の光ビームおよび第２の画像ストリームと関連付けられた第２の光ビームを投影させるための光プロジェクタ８０００を含むことができる。光プロジェクタ８０００は、図３０Ａ－３０Ｂに図示されるディスプレイシステムに類似することができる。ＡＲシステムはさらに、１つ以上の内部結合格子（ＩＣＧ）８０７０と、１つ以上の接眼レンズ８０８０とを含むことができる。各内部結合格子８０７０は、第１の光ビームおよび第２の光ビームを個別の接眼レンズ８０８０の中に結合するように構成されることができる。各接眼レンズ８０８０は、第１の光ビームおよび第２の光ビームをユーザの眼の中に外部結合するための外部結合格子を含むことができる。内部結合格子８０７０および接眼レンズ８０８０は、本明細書では、「視認アセンブリ」と称され得る。
図３０Ｄは、いくつかの実施形態による、ディスプレイシステムの簡略化されたブロック図を示す。ディスプレイシステムは、図３０Ａ－３０Ｃを参照して上記に実質的に説明されるように、画像源８０１０と、走査ミラー８０６０とを含むことができる。ディスプレイシステムはまた、眼視線トラッカ８０７１と、制御回路８０８１とを含むことができる。制御回路８０８１は、画像源８０１０と、走査ミラー８０６０と、眼視線トラッカ８０７１とに通信可能に結合されることができる。制御回路８０８１は、第２の光ビーム８０５４が、第２の画像ストリームをユーザの中心窩視を被覆すると決定された領域に投影するように、眼視線トラッカ８０７１によって決定されるようなユーザの現在の固視点に基づいて、制御信号を送信し、走査ミラー８０６０を傾斜および／または平行移動させることができる。制御回路８０８１はまた、上記に議論されるように、適切な画像コンテンツが、第１の画像ストリームおよび第２の画像ストリームに提示されるように、制御信号を画像源８０１０に送信することができる。ディスプレイシステムはまた、中央処理ユニット（ＣＰＵ）８０９６と、グラフィック処理ユニット（ＧＰＵ）８０９８と、コンピュータ可読命令、データベース、および制御回路８０８１、ＣＰＵ８０９６、およびＧＰＵ８０９８によって使用可能な他の情報を記憶するための記憶媒体８０９０とを含むことができる。ディスプレイシステムはさらに、ユーザがディスプレイシステムとの相互作用のために使用し得る、ボタン等の入力－出力（Ｉ／Ｏ）インターフェース８０９２を含むことができる。ディスプレイシステムはまた、ディスプレイシステムの別の部分またはインターネットとの無線通信のための無線アンテナ８０９４を含むことができる。ディスプレイシステムはまた、カメラ等の他のセンサを含むことができる。
図３１Ａは、いくつかの実施形態による、第１の中継レンズアセンブリの動作原理を図式的に図示する。第１の中継レンズアセンブリは、望遠鏡に類似する様式で動作することができる。第１の画像ストリームと関連付けられたコリメートされた第１の光ビーム８０５２が、入射角θＡで第１の光学レンズ８０４２上に入射し、第１の光学レンズ８０４２によって、ほぼ第１の光学レンズ８０４２の焦点面に位置する実像点Ｐ０に集束される。実像点Ｐ０はまた、ほぼ第２の光学レンズ８０４４の焦点面に位置する。したがって、実像点Ｐ０から放出される第１の光ビーム８０５２は、第２の光学レンズ８００４４によってコリメートされ、θＢの伝達角で第２の光学レンズ８０４４から出射する。
θＢとθＡの比率は、第１の角度拡大率Ｍ１を引き起こし得、
である。第１の角度拡大率Ｍ１の大きさは、第１の光学レンズ８０４２の焦点距離ｆＡと第２の光学レンズ８０４４の焦点距離ｆＢの比率とほぼ等しくあり得る。したがって、
である。いくつかの実施形態では、第１の中継レンズアセンブリは、第１の角度拡大率Ｍ１の大きさが、例えば、ｆＡ＞ｆＢを有することによって、１を上回るように構成される。したがって、再び図３０Ａを参照すると、第１の画像ストリームと関連付けられたコリメートされた第１の光ビーム８０５２は、第２の光学レンズ８０４４から出射するにつれて、第１の中継レンズアセンブリによって角度的に拡大されることができ、これは、次いで、比較的に広い第１の視野ＦＯＶ１を伴う第１の画像ストリームを提示するために、視認アセンブリに投影される。
図３１Ｂは、いくつかの実施形態による、第２の中継レンズアセンブリの動作原理を図式的に図示する。第２の中継レンズアセンブリもまた、望遠鏡と類似様式で動作することができる。第２の画像ストリームと関連付けられたコリメートされた第２の光ビーム８０５４は、入射角θＡで第１の光学レンズ８０４２上に入射し、第１の光学レンズ８０４２によって、ほぼ第１の光学レンズ８０４２の焦点面に位置する実像点Ｐ０に集束される。実像点Ｐ０はまた、ほぼ第３の光学レンズ８０４６の焦点面に位置する。したがって、実像点Ｐ０から放出される第２の光ビーム８０５４は、第３の光学レンズ８０４６によってコリメートされ、伝達角θＣで第３の光学レンズ８０４６から出射する。
θＣとθＡの比率は、第２の角度拡大率Ｍ２を引き起こし得、
である。第２の角度拡大率Ｍ２の大きさは、第１の光学レンズ８０４２の焦点距離ｆＡと第３の光学レンズ６４４の焦点距離ｆＣの比率とほぼ等しくあり得る。したがって、
である。第２のレンズアセンブリは、第２の角度拡大率Ｍ２の大きさが第１の角度拡大率Ｍ１未満であるように構成されることができる。いくつかの実施形態では、第２の角度拡大率Ｍ２は、例えば、
を有することによって、１の値（すなわち、無拡大）または１未満（すなわち、拡大解除）を有することができる。したがって、再び図３０Ｂを参照すると、第２の画像ストリームと関連付けられたコリメートされた第２の光ビーム８０５４は、第３の光学レンズ８０４６から出射するにつれて、第２の視野ＦＯＶ２を有することができ、第２の視野ＦＯＶ２は、第１の画像ストリームと関連付けられた第１の光ビーム８０５２の第１の視野ＦＯＶ１未満である。
図３１Ａでは、コリメートされた第１の光ビーム８０５２は、第１の光学レンズ８０４２上に入射する際、初期ビーム幅ｗＡを有し、第２の光学レンズ８０４４から出射する際、最終ビーム幅ｗＢを有し、最終ビーム幅ｗＢは、初期ビーム幅ｗＡより狭いことに留意されたい。また、図３１Ｂでは、コリメートされた第２の光ビーム８０５４は、第１の光学レンズ８０４２上に入射する際、初期ビーム幅ｗＡを有し、第３の光学レンズ８０４６から出射する際、最終ビーム幅ｗＣを有し、最終ビーム幅ｗＣは、初期ビーム幅ｗＡとほぼ同一であることに留意されたい。言い換えると、第２の光ビーム８０５４の最終ビーム幅ｗＣは、第１の光ビーム８０５２の最終ビーム幅ｗＢより広い。より広いビーム幅は、眼によって知覚される、より鮮明な角度分解能をもたらすであろう。これは、ガウスビーム物理学によって説明されることができ、より広いビームウェストを伴うコリメートされたビームは、無限遠までの伝搬にわたって、より低い角度発散を有する。したがって、ＦＯＶを増加させることは、ビーム幅を低減させ得、故に、角度分解能を低減させ得、これは、Ｌａｇｒａｎｇｅ不変量と一致する。
いくつかの実施形態では、第１の角度拡大率Ｍ１は、約３の大きさを有することができ、第２の角度拡大率Ｍ２は、約１の大きさを有することができる。図３０Ａ－３０Ｂを参照すると、第１の画像ストリームと関連付けられたコリメートされた第１の光ビーム８０５２および第２の画像ストリームと関連付けられたコリメートされた第２の光ビーム８０５４は、画像源８０１０によって投影された約２０度の同一初期ＦＯＶを有すると仮定する。第２の光学レンズ６４４から出射するコリメートされた第１の光ビーム８０５２は、約６０度の第１の視野ＦＯＶ１を有することができる一方、第３の光学レンズ８０４６から出射するコリメートされた第２の光ビーム６５４は、約２０度の第２の視野ＦＯＶ２を有することができる。いくつかの実施形態では、第１のＦＯＶは、約３０度～約９０度に及ぶことができ、第２のＦＯＶは、約１０度～約３０度に及ぶことができる。
図２８Ｃ－２８Ｄに図示されるように、第２の画像ストリーム６０２０は、第１の画像ストリーム６０１０の部分の高分解能バージョンであることができ、広ＦＯＶおよび低分解能の第１の画像ストリーム６０１０上にオーバーレイされ、それに対して適切に整合される。第２の画像ストリーム６０２０のコンテンツは、第２の画像ストリーム６０２０のコンテンツが、第２の画像ストリーム６０２０によってオーバーレイされた第１の画像ストリーム６０１０の部分に対応するように、第２の画像ストリームが第１の画像ストリーム６０１０に対して偏移するにつれて変化する。第２の画像ストリーム６０２０は、ユーザの中心窩視を持続的に被覆するため、ユーザは、広ＦＯＶおよび高分解能の両方を有する合成画像ストリームとして、第１の画像ストリーム６０１０および第２の画像ストリーム６０２０の組み合わせを知覚することができる。
図３１Ｃ－３１Ｄは、いくつかの他の実施形態による、ディスプレイシステム１００００を図式的に図示する。ディスプレイシステム１００００は、画像源９０１０と、ビームスプリッタ９０３０とを含む。画像源９０１０は、第１の画像ストリームと関連付けられた第１の光ビーム８０５２と、第２の画像ストリームと関連付けられた第２の光ビーム８０５４とを提供することができる。第１の光ビーム８０５２および第２の光ビーム８０５４は、時分割多重化、偏光分割多重化、波長分割多重化、または同等物が行われることができる。ビームスプリッタ９０３０は、デマルチプレクサとしての役割を果たし、それぞれ、図３１Ｃおよび３１Ｄに描写されるように、第１の光ビーム８０５２および第２の光ビーム８０５４を第１の光学経路および第２の光学経路に向かって分離することができる。
ディスプレイシステム１００００はまた、第１の光学経路に沿ってビームスプリッタ９０３０の下流に配置される、第１の光学レンズ９０４２と、第２の光学レンズ９０４４とを含むことができる。第１の光学レンズ９０４２および第２の光学レンズ９０４４の組み合わせは、第１の光ビーム８０５２のための第１の中継レンズアセンブリとしての役割を果たすことができる。いくつかの実施形態では、第１の中継レンズアセンブリは、図３１Ａに関して上記に説明されるように、１を上回る、第１の光ビーム８０５２のための角度拡大率を提供することができる。
ディスプレイシステム１００００はまた、第２の光学経路に沿ってビームスプリッタ９０３０の下流に配置される、第３の光学レンズ９０４５と、第４の光学レンズ９０４６とを含むことができる。第３の光学レンズ９０４５および第４の光学レンズ９０４６の組み合わせは、第２の光ビーム８０５４のための第２の中継レンズアセンブリとしての役割を果たすことができる。いくつかの実施形態では、第２の中継レンズアセンブリは、図３１Ｂに関して上記に説明されるように、実質的に１または１未満である、第２の光ビーム８０５４のための角度拡大率を提供することができる。
ディスプレイシステム１００００はまた、第２の光学経路に沿って第２の中継レンズアセンブリの下流に位置付けられる、走査ミラー９０６０を含むことができる。走査ミラー９０６０は、ユーザの眼に投影されることになる第２の光ビーム８０５４を視認アセンブリに向かって反射させるように構成される。いくつかの実施形態によると、走査ミラー９０６０は、第２の画像ストリームを動的に投影させるために、ユーザの眼の固定位置に基づいて制御されることができる。
ディスプレイシステム１００００はまた、第２の光学経路に沿って走査ミラー９０６０の下流に配置される、第５の光学レンズ９０４７と、第６の光学レンズ９０４８とを含むことができる。第５の光学レンズ９０４７および第６の光学レンズ９０４８の組み合わせは、第２の光ビーム８０５４のための第３の中継レンズアセンブリとしての役割を果たすことができる。いくつかの実施形態では、第３の中継レンズアセンブリは、図３１Ｂに関して上記に説明されるように、実質的に１または１未満である、第２の光ビーム８０５４のための角度拡大率を提供することができる。
いくつかの実施形態では、ディスプレイシステム１００００はまた、偏光器９０８０と、切替偏光回転子９０９０とを含むことができる。画像源９０１０は、非偏光の第１の光ビーム８０５２と、非偏光の第２の光ビーム８０５４とを提供することができ、これは、時分割多重化される。第１の光ビーム６５２および第２の光ビーム６５４は、偏光器９０８０を通して通過後、偏光され得る。切替偏光回転子９０９０は、第１の光ビーム８０５２および第２の光ビーム８０５４の時分割多重化と同期して動作されることができる。例えば、切替偏光回転子９０９０は、第１の光ビーム８０５２の偏光が、切替回転子９０９０を通して通過後、不変である一方、第２の光ビーム８０５４の偏光が、切替偏光回転子９０９０を通して通過後、９０度回転される、またはその逆となるように、動作されることができる。したがって、第１の光ビーム８０５２は、偏光ビームスプリッタ９０３０によって、図３１Ｃに図示されるように、第１の光学経路に沿って反射されることができ、第２の光ビーム８０５４は、偏光ビームスプリッタ９０３０によって、図３１Ｄに図示されるように、第２の光学経路に沿って透過されることができる。
図３２Ａ－３２Ｃは、いくつかの他の実施形態による、ディスプレイシステム１００００を図式的に図示する。いくつかの実施例では、ディスプレイシステム１００００の１つ以上のコンポーネントは、図３１Ｃ－３１Ｄを参照して上記に説明されるようなディスプレイシステムの１つ以上のコンポーネントと同一または類似してもよい。ディスプレイシステム１００００は、いくつかの実施例では、それぞれ、図３１Ｃ－３１Ｄを参照して上記に説明されるようなディスプレイシステムの要素９０１０、９０３０、９０４２、９０４４、９０４５、９０４６、９０４７、９０４８、９０６０、９０８０、および９０９０と同一または類似し得る、画像源１００１０と、ビームスプリッタ１００３０と、第１の光学レンズ１００４２と、第２の光学レンズ１００４４と、第３の光学レンズ１００４５と、第４の光学レンズ１００４６と、第５の光学レンズ１００４７と、第６の光学レンズ１００４８と、走査ミラー１００６０と、偏光器１００８０と、切替偏光回転子１００９０とを含む。
より具体的には、図３２Ａ－３２Ｃは、３つの異なる段階のそれぞれにおける、ディスプレイシステム１００００を図示する。３つの段階のそれぞれでは、画像源１００１０は、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想コンテンツを表す角度ライトフィールド成分の範囲と、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想コンテンツを表す角度ライトフィールド成分の範囲とを出力することができる。２セットの角度ライトフィールド成分は、例えば、時分割多重化、偏光分割多重化、波長分割多重化、または同等物を行われてもよい。したがって、頭部追跡仮想カメラと関連付けられた角度ライトフィールド成分は、偏光ビームスプリッタ１００３０によって、第１の光学経路に沿って、第１および第２の光学レンズ１００４２および１００４４を通して上向きに転換されることができ、中心窩追跡仮想カメラと関連付けられた角度ライトフィールド成分は、偏光ビームスプリッタ１００３０を通して、第２の光学経路に沿って、第３および第４の光学レンズ１００４５および１００４６を通して、走査ミラー１００６０に向かって通過し、第５および第６の光学レンズ１００４７および１００４８を通して上向きに反射されることができる。
頭部追跡仮想カメラと関連付けられた角度ライトフィールド成分によって表される仮想コンテンツは、画像源１００１０から上流に比較的に低分解能でレンダリングされ得る一方、中心窩追跡仮想カメラと関連付けられた角度ライトフィールド成分によって表される仮想コンテンツは、画像源１００１０から上流に比較的高分解能でレンダリングされ得る。また、図３２Ａ－３２Ｃに示されるように、ディスプレイシステム１００００は、それぞれ、高ＦＯＶおよび低ＦＯＶライトフィールドとして、頭部追跡レンダリング視点と関連付けられた角度ライトフィールド成分と、中心窩追跡レンダリング視点と関連付けられた角度ライトフィールド成分とを出力するように構成されてもよい。図３２Ａ－３２Ｃのそれぞれでは、第１の光学経路に沿って伝搬するライトフィールド成分は、光１００５２の比較的に広円錐として、ディスプレイシステム１００００によって出力される。
図３２Ａに描写される段階では、走査ミラー１００６０は、第１の位置にある。したがって、偏光ビームスプリッタ１００３０を通して通過し、第２の光学経路に沿って伝搬する、ライトフィールド成分は、ディスプレイシステム１００００によって、角度空間の実質的に中心領域に及ぶ光１００５４Ａの比較的に狭い円錐として出力されることが分かる。図２８Ａ－２８Ｂを参照して上記に説明される実施例のコンテキスト内では、ディスプレイシステム１００００は、例えば、ユーザの眼が図２８Ａにおける視認者の眼２１０のものに類似する様式で配向されると、走査ミラー１００６０を図３２Ａに示される第１の位置に設置し得る。このように、光成分１００５４Ａは、仮想オブジェクト６０１２等の仮想コンテンツをレンダリング空間の比較的に中心領域に表し得る。図２８Ａ－２８Ｂの実施例に付け加えて、光１００５２の比較的に広円錐は、例えば、仮想オブジェクト６０１１および６０１３等の仮想コンテンツをレンダリング空間の中心からずれた領域内に含んでもよい。いくつかの実施例では、光１００５２の比較的に広円錐はさらに、光成分１００５４Ａによって表されるようなものであるが、より低い分解能における、同一仮想コンテンツを表す、光成分を含んでもよい。
図３２Ｂに描写される段階では、走査ミラー１００６０は、第１の位置と異なる第２の位置にある。したがって、偏光ビームスプリッタ１００３０を通して通過し、第２の光学経路に沿って伝搬する、ライトフィールド成分は、ディスプレイシステム１００００によって、角度空間の１つの実質的に中心からずれた領域に及ぶ光１００５４Ｂの比較的に狭い円錐として出力されることが分かる。図２８Ａ－２８Ｂを参照して上記に説明される実施例のコンテキスト内では、ディスプレイシステム１００００は、例えば、視認者が仮想オブジェクト６０１１を見ている間、ユーザの眼が視認者の眼２１０のものに類似する様式で配向されると、走査ミラー１００６０を図３２Ｂに示される第２の位置に設置し得る。このように、光成分１００５４Ｂは、仮想オブジェクト６０１１等の仮想コンテンツをレンダリング空間の１つの比較的に中心からずれた領域内に表し得る。図２８Ａ－２８Ｂの実施例に付け加えて、光１００５２の比較的に広円錐は、例えば、仮想オブジェクト６０１３等の仮想コンテンツをレンダリング空間の他の中心からずれた領域内に、仮想オブジェクト６０１２等の仮想コンテンツをレンダリング空間の中心領域内に含んでもよい。いくつかの実施例では、光１００５２の比較的に広円錐はさらに、光成分１００５４Ｂによって表されるようなものであるが、より低い分解能における、同一仮想コンテンツを表す、光成分を含んでもよい。
図３２Ｃに描写される段階では、走査ミラー１００６０は、第１および第２の位置と異なる第３の位置にある。したがって、偏光ビームスプリッタ１００３０を通して通過し、第２の光学経路に沿って伝搬する、ライトフィールド成分は、ディスプレイシステム１００００によって、角度空間の別の異なる実質的に中心からずれた領域に及ぶ光１００５４Ｃの比較的に狭い円錐として出力されることが分かる。図２８Ａ－２８Ｂを参照して上記に説明される実施例のコンテキスト内では、ディスプレイシステム１００００は、例えば、ユーザの眼が図２８Ｂにおける視認者の眼２１０のものに類似する様式で配向されると、走査ミラー１００６０を図３２Ｃに示される第２の位置に設置し得る。このように、光成分１００５４Ｃは、仮想オブジェクト６０１３等の仮想コンテンツをレンダリング空間の他の比較的に中心からずれた領域に表し得る。図２８Ａ－２８Ｂの実施例に付け加えて、光１００５２の比較的に広円錐は、例えば、仮想オブジェクト６０１１等の仮想コンテンツを図３２Ｂを参照して上記に説明されるレンダリング空間の中心からずれた領域内に、仮想オブジェクト６０１２等の仮想コンテンツをレンダリング空間の中心領域内に含んでもよい。いくつかの実施例では、光１００５２の比較的に広円錐はさらに、光コンポーネント１００５４Ｃによって表されるようなものであるが、より低い分解能における、同一仮想コンテンツを表す、光成分を含んでもよい。
図３３Ａ－３３Ｂは、いくつかの実施形態による、第１の画像ストリームおよび第２の画像ストリームを提示するためのディスプレイシステム１１０００を図式的に図示し、時分割多重化が、第１の画像ストリームと関連付けられた第１の光ビーム８０５２および第２の画像ストリームと関連付けられた第２の光ビーム８０５４を多重化するために使用される。ディスプレイシステム１１０００は、ディスプレイシステム８０００に類似する。画像源１１０１０は、時分割多重化された第１の光ビーム８０５２および第２の光ビーム８０５４を提供するように構成されることができる。第１の光ビーム８０５２および第２の光ビーム８０５４は、画像源８０１０から出力されたものと同一偏光状態にあることができる。第１の光ビーム８０５２および第２の光ビーム８０５４は、概略光線として、図３３Ａ－３３Ｂに描写され、これは、正確な光線をトレースした光線を表すことを意図するものではないことに留意されたい。
ディスプレイシステム１１０００はさらに、切替偏光回転子１１０２０を含むことができ、その動作は、第１の光ビーム８０５２および第２の光ビーム８０５４の時分割多重化と同期されることができる。例えば、切替偏光回転子１１０２０は、第１の光ビーム８０５２の偏光が、切替回転子１１０２０を通して通過後、不変である一方、第２の光ビーム８０５４の偏光が、切替偏光回転子１１０２０を通して通過後、９０度回転される、またはその逆となるように動作されることができる。したがって、第１の光ビーム８０５２は、偏光ビームスプリッタ８０３０によって、図３３Ａに図示されるように、第１の光学経路に沿って反射されることができ、第２の光ビーム８０５４は、偏光ビームスプリッタ８０３０によって、図３３Ｂに図示されるように、第２の光学経路に沿って透過されることができる。
いくつかの他の実施形態では、切替偏光回転子１１０２０は、画像源１１０１０の一部であることができる。そのような場合、第１の光ビーム８０５２および第２の光ビーム８０５４は、順次放出され、画像源８０１０から投影された第１の光ビーム８０５２は、第１の方向に偏光され、画像源８０１０から投影された第２の光ビーム８０５４は、第２の方向に偏光されるであろう。
いくつかの実施形態によると、第１の画像ストリームと関連付けられた第１の光ビーム８０５２および第２の画像ストリームと関連付けられた第２の光ビーム８０５４が、時分割多重化される場合、切替可能ミラーが、図３０Ａ－３０Ｂ、３１Ｃ－３１Ｄ、および３３Ａ－３３Ｂに示される偏光ビームスプリッタ８０３０の代わりに使用されることができる。切替可能ミラーの切替は、第１の光ビーム８０５２および第２の光ビーム８０５４の時分割多重化と同期されることができる。例えば、切替可能ミラーは、ミラーが、図３０Ａ、３１Ｃ、および３３Ａに図示されるように、第１の光ビーム８０５２を第１の光学経路に沿って反射させるように動作するように、第１の光ビーム８０５２のために第１の状態に切り替えられ、透明光学要素が、図３０Ｂ、３１Ｄ、および３３Ｂに図示されるように、第２の光ビーム８０５４を第２の光学経路に沿って透過させるように動作するように、第２の光ビーム８０５４のために第２の状態に切り替えられることができる。
いくつかの実施形態によると、波長分割多重化は、第１の画像ストリームと関連付けられた第１の光ビームおよび第２の画像ストリームと関連付けられた第２の光ビームを多重化するために使用されることができる。例えば、第１の光ビームは、赤色、緑色、および青色光における、第１のセットの波長範囲内の光から成ることができ、第２の光ビームは、赤色、緑色、および青色光における、第２のセットの波長範囲内の光から成ることができる。２セットの波長範囲は、相互に対して偏移されることができるが、第２のセットの波長範囲の合成は、第１のセットの波長範囲の合成によって生産された白色光と実質的に同一である、白色光を生産する。
波長分割多重化が使用される場合、ディスプレイシステムは、偏光ビームスプリッタに取って代わり、第１の画像ストリームと関連付けられた第１の光ビームおよび第２の画像ストリームと関連付けられた第２の光ビームを分離する、ダイクロイックビームスプリッタを含むことができる。例えば、ダイクロイックビームスプリッタは、第１のセットの波長範囲のための高反射率値および低透過率値と、第２のセットの波長範囲のための低反射率値および高透過率値とを有するように構成されることができる。いくつかの実施形態では、第１の光ビームおよび第２の光ビームは、切替可能偏光回転子の必要なく、並行して投影されることができる。
図３４Ａ－３４Ｂは、いくつかの他の実施形態による、ディスプレイシステム１２０００を図式的に図示する。ディスプレイシステム１２０００は、画像源１２０１０を含む。画像源１２０１０は、図３４Ａに図示されるような第１の画像ストリームと関連付けられた第１の光ビーム１２０５２と、図３４Ｂに図示されるような第２の画像ストリームと関連付けられた第２の光ビーム１２０５４とを投影するように構成されることができる。第１の画像ストリームは、図２６Ｅ－２６Ｆを参照して上記に議論されるように、広ＦＯＶおよび低分解能画像ストリームであることができ、第２の画像ストリームは、狭ＦＯＶおよび高分解能画像ストリームであることができる。第１の光ビーム１２０５２および第２の光ビーム１２０５４は、例えば、偏光分割多重化、時分割多重化、波長分割多重化、および同等物を使用して、多重化されることができる。図３４Ａ－３４Ｂでは、第１の光ビーム１２０５２および第２の光ビーム１２０５４は、概略光線として描写され、これは、正確な光線をトレースした光線を表すことを意図するものではない。
ディスプレイシステム１２０００はさらに、いくつかの実施形態によると、第１の光ビーム１２０５２および第２の光ビーム１２０５４を多重化解除するように構成される、ビームスプリッタ１２０３０を含むことができる。例えば、ビームスプリッタ１２０３０は、偏光ビームスプリッタ（ＰＢＳ）またはダイクロイックビームスプリッタであることができる。ビームスプリッタ１２０３０は、図３４Ａに図示されるように、第１の光ビーム１２０５２を第１の光学経路に沿って反射させ、図３４Ｂに図示されるように、第２の光ビーム１２０５４を第２の光学経路に沿って透過させるように構成されることができる。
ディスプレイシステム１２０００はさらに、切替可能光学要素１２０４０を含むことができる。切替可能光学要素１２０４０は、単一要素として図示されるが、切替可能中継レンズアセンブリとして機能する、一対のサブ切替可能光学要素も含むことができる。各サブ切替可能光学要素は、第１の屈折力を伴う光学レンズとして動作するように、第１の状態に切り替えられる、または第１の屈折力と異なる第２の屈折力を伴う光学レンズとして動作するように、第２の状態に切り替えられることができる。したがって、切替可能光学要素１２０４０は、サブ切替可能光学要素が、図３４Ａに図示されるように、第１の状態に切り替えられると、第１の角度拡大率を提供することができ、サブ切替可能光学要素が、図３４Ｂに図示されるように、第１の状態に切り替えられると、第１の角度拡大率と異なる第２の角度拡大率を提供することができる。
各サブ切替可能光学要素は、例えば、液晶可変焦点レンズ、同調可能回折レンズ、または変形可能レンズを含む、多くの形態をとることができる。一般に、形状または構成を変化させ、その屈折力を調節するように構成され得る、任意のレンズが、適用され得る。いくつかの実施形態では、各サブ切替可能光学要素は、第１の偏光を伴う光のための第１の屈折力と、第２の偏光を伴う光のための第１の屈折力と実質的に異なる第２の屈折力とを有する、多焦点複屈折レンズであることができる。例えば、多焦点複屈折レンズは、ポリマーが通常の屈折率ｎｏおよび余剰屈折率ｎｅを呈するように、定義された条件下におけるポリマーを伸展させることによる配向プロセスによって複屈折にされている、ポリマーを備えることができる。
第１の光ビーム１２０５２および第２の光ビーム１２０５４が時分割多重化される場合、切替可能光学要素１２０４０の切替は、各サブ切替可能光学要素が、図３４Ａに図示されるように、第１の光ビーム１２０５２のための第１の屈折力を伴う光学レンズとして動作し、図３４Ｂに図示されるように、第２の光ビーム１２０５４のための第２の屈折力を伴う光学レンズとして動作するように、第１の光ビーム１２０５２および第２の光ビーム１２０５４の時分割多重化と同期されることができる。したがって、第１の画像ストリームと関連付けられた第１の光ビーム１２０５２は、切替可能光学要素１２０４０から出射するにつれて、切替可能光学要素１２０４０によって角度的に拡大されることができ、続いて、比較的に広い第１の視野ＦＯＶ１を伴う第１の画像ストリームを提示するために、視認アセンブリに投影されることができる。
ディスプレイシステム１２０００はさらに、図３４Ｂに図示されるように、第２の光学経路に沿ってビームスプリッタ１２０３０から下流に位置付けられる、第１のミラー１２０６０を含むことができる。第１のミラー１２０６０は、第２の光ビーム１２０５４をビームスプリッタ１２０３０に向かって逆反射させることができ、これは、続いて、ビームスプリッタ１２０３０によって、第２のミラー１２０７０に向かって反射させることができる。
第２のミラー１２０７０は、図３４Ｂに図示されるように、ビームスプリッタ１２０３０の下方に位置付けられる。第２のミラー１２０７０は、第２の光ビーム１２０５４をビームスプリッタ１２０３０に向かって逆反射させることができ、これは、続いて、ビームスプリッタ１２０３０によって、切替可能光学要素１２０４０に向かって透過されることができる。上記に説明されるように、各サブ切替可能光学要素は、第２の光ビーム１２０５４のための第２の屈折力を伴う光学レンズとして動作し得るように、第２の状態に切り替えられることができる。第２の屈折力は、第１の状態と関連付けられた第１の屈折力未満または実質的にゼロまたは負であることができる。したがって、第２の光ビーム１２０５４は、切替可能光学要素１２０４０から出射するにつれて、第１の光ビーム１２０５２未満の量だけ角度的に拡大される、または拡大されない、または拡大解除されることができる。したがって、第２の光ビーム１２０５４は、続いて、比較的に狭い第２の視野ＦＯＶ２を伴う第２の画像ストリームを提示するために、視認アセンブリに投影されることができる。
いくつかの実施形態では、第２のミラー１２０７０は、図３４Ｂに図示されるように、２つの方向に傾斜され得る、２Ｄ ＭＥＭＳスキャナ等の２次元（２Ｄ）走査ミラー（すなわち、２回転自由度を伴う走査ミラー）として構成されることができる。第２のミラー１２０７０を傾斜させることは、第２の光ビーム１２０５４が第２の画像ストリームをユーザの中心窩視に投影し得るように、ユーザの眼の固視位置に基づいて制御されることができる。いくつかの他の実施形態では、第２のミラー１２０７０は、固定ミラーであることができ、第１のミラー１２０６０は、２Ｄ走査ミラーであることができる。いくつかのさらなる実施形態では、第１のミラーは、第１の方向に傾斜され得る、１次元（１Ｄ）走査ミラー（すなわち、１回転自由度を伴う走査ミラー）であることができ、第２のミラーは、第２の方向に傾斜され得る、１Ｄ走査ミラーであることができる。
図３５は、いくつかの他の実施形態による、ディスプレイシステム１３０００を図式的に図示する。ディスプレイシステム１３０００は、画像源１３０１０を含む。画像源１３０１０は、第１の画像ストリームと関連付けられた第１の光ビームを右回り円偏光（ＲＨＣＰ）において提供し、第２の画像ストリームと関連付けられた第２の光ビームを左回り円偏光（ＬＨＣＰ）において提供する（またはその逆）ように構成されることができる。
ディスプレイシステム１３０００はさらに、第１の光ビームおよび第２の光ビームを多重化解除するように構成される、ビームスプリッタ１３０３０を含むことができる。例えば、ビームスプリッタ１３０３０は、右回り円偏光の第１の光ビームを反射させ、左回り円偏光の第２の光ビームを透過させる、液晶材料を備えることができる。
ディスプレイシステム１３０００はさらに、第１の切替可能光学要素１３０４２と、第２の切替可能光学要素１３０４４とを含むことができ、その組み合わせは、中継レンズアセンブリとしての役割を果たすことができる。第１の切替可能光学要素１３０４２および第２の切替可能光学要素１３０４４はそれぞれ、右回り円偏光のための第１の焦点距離ｆＲＨＣＰと、左回り円偏光のための第２の焦点距離ｆＬＨＣＰとを有するように、液晶材料を備えることができる。したがって、第１の切替可能光学要素１３０４２および第２の切替可能光学要素１３０４４の組み合わせは、第１の角度拡大率を第１の光ビームに提供することができ、第１の角度拡大率と異なる第２の角度拡大率を第２の光ビームに提供することができる。例えば、第１の角度拡大率は、１を上回ることができ、第２の角度拡大率は、１と等しいまたは１未満であることができる。
図３６は、いくつかの実施形態による、拡張現実接眼ディスプレイシステム１４０００を図式的に図示する。図３６は、片眼２１０のためのディスプレイシステム１４０００の一部を示す。実際は、第２のそのようなシステムが、ユーザの他方の眼のために提供されるであろう。２つのそのようなシステムは、実施形態によると、拡張現実眼鏡内に組み込まれる。図３６を参照すると、赤色レーザダイオード１４００２は、赤色レーザコリメートレンズ１４００４を通して、赤色－緑色－青色（ＲＧＢ）ダイクロイックコンバイナ立方体１４００８の赤色光入力面１４００６の中に光学的に結合される。緑色レーザダイオード１４０１０は、緑色レーザコリメートレンズ１４０１２を通して、ＲＧＢダイクロイックコンバイナ立方体１４００８の緑色光入力面１４０１４の中に光学的に結合される。同様に、青色レーザダイオード１４０１６は、青色レーザコリメートレンズ１４０１８を通して、ＲＧＢダイクロイックコンバイナ立方体１４００８の青色光入力面１４０２０の中に光学的に結合される。ＲＧＢダイクロイックコンバイナ立方体１４００８は、出力面１４０２２を有する。ＲＧＢダイクロイックコンバイナ立方体１４００８は、赤色レーザダイオード１４００２からの光を出力面１４０２２を通して反射させるように、４５度に設定された赤色反射ダイクロイックミラー（短波長通過ミラー）１４０２４を含む。ＲＧＢダイクロイックコンバイナ立方体１４００８はまた、青色レーザダイオード１４０１６からの光を出力面１４０２２に反射させるように、１３５度に設定された（赤色反射ダイクロイックミラー１４０２４と垂直に）青色反射ダイクロイックミラー（長波長通過ミラー）１４０２６を含む。緑色レーザダイオード１４０１０からの光は、赤色反射ダイクロイックミラー１４０２４および青色反射ダイクロイックミラー１４０２６を通して出力面１４０２２に通過する（それによって透過される）。赤色反射ダイクロイックミラー１４０２４および青色反射ダイクロイックミラー１４０２６は、薄膜光学干渉フィルムとして実装されることができる。
赤色、緑色、および青色レーザダイオード１４００２、１４０１０、１４０１６は、赤色、青色、および緑色チャネル画像情報で別個に変調される。ユーザの網膜の中心窩に指向されることになる画像情報が出力される、第１の周期と、画像情報がユーザの網膜のより大きい部分に指向されることになる、後続周期とを含む、サイクルが、順次繰り返される。第１の周期においてユーザの網膜に指向される画像情報と、サイクルの後続周期の間にユーザの網膜に指向される画像情報との間には、ある程度の角度重複が存在し得る。言い換えると、ユーザの眼のある部分は、両周期の間、光を受光し得る。鮮明な境界を達成することを試みるのではなく、テーパ状強度によって特徴付けられる重複境界が、使用されてもよい。前述の機能性を達成するための光学配列は、下記に説明されるであろう。
ダイクロイックコンバイナ立方体１４００８は、赤色、青色、および緑色成分を含む、コリメートされたビーム１４０２８を出力する。コリメートされたビーム１４０２８は、第１の２自由度画像走査ミラー１４０３０上に入射する。画像走査ミラー１４０３０は、２自由度の回転を有し、所定の角度範囲内の角度に配向されることができる。画像走査ミラー１４０３０の各配向は、事実上、画像空間内の角度座標に対応する。画像走査ミラー１４０３０の配向は、画像を、最終的には、ユーザの眼に提示するように、画像情報に基づいて、赤色、緑色、および青色レーザダイオード１４００２、１４０１０、１４０１６の変調と協調して走査される。
画像走査ミラー１４０３０によって偏向される光は、第１の中継レンズ要素１４０３２を通して、偏光回転スイッチ１４０３４に結合される。代替として、偏光回転スイッチは、レーザダイオード１４００２、１４０１０、１４０１６のより近くに位置し得る。偏光回転スイッチ１４０３４は、電子機器（図３６Ａには図示せず）によって電気的に制御される。偏光回転スイッチ１４０３４は、液晶偏光回転スイッチとして実装されることができる。偏光回転スイッチ１４０３４は、レーザダイオード１４００２、１４０１０、１４０１６によって出力され、偏光を改変せずに、コリメートレンズ１４００４、１４０１２、１４０１８およびＲＧＢダイクロイックコンバイナ立方体１４００８を通して伝達される、具体的線形偏光の光を受光する。偏光回転スイッチ１４０３４は、外部電気信号の制御下、その偏光を改変せずに入射光を通過させるか、または光の偏光を９０度回転させるかのいずれかを行う。
偏光回転スイッチ１４０３４から出射する光は、偏光ビームスプリッタ（ＰＢＳ）１４０３６に結合される。ＰＢＳ１４０３６は、その中に、ＰＢＳ１４０３６を横断して対角線上に配列される、偏光選択的反射体１４０３８を内蔵している。偏光選択的反射体１４０３８は、平行金属伝導性ライン（図３６では不可視）のアレイを含む、タイプであることができる。金属伝導性ラインと平行に偏光された（すなわち、電場方向を有する）光は、反射され、伝導性金属ラインと垂直に偏光された光は、透過される。図３６に示される実施形態の場合、伝導性金属ラインは、図面シートの平面と垂直に配向されると仮定される。そのような配向を用いることで、偏光選択的反射体１４０３８は、Ｓ－偏光を反射させ、Ｐ－偏光を透過させるであろう。
偏光回転スイッチ１４０３４が、Ｐ－偏光を出力する状態にある、第１の場合を検討すると、そのようなＰ－偏光は、偏光選択的反射体１４０３８を通して、かつＰＢＳ１４０３６を通して通過し、第１の４分の１波長板（ＱＷＰ）１４０４０に全体的に到達するであろう。第１のＱＷＰ１４０４０は、Ｐ－偏光を右円偏光（ＲＨＣＰ）光に変換するように配向される。（代替として、第１のＱＷＰは、Ｐ－偏光をＬＨＣＰに変換するように配向され得、これは、図３６の残りの説明を検討後、明白であるように、下記に説明される他のコンポーネントへの変更もまた、行われるであろう。）第１のＱＷＰ１４０４０を通して通過後、光は、第２の中継レンズ要素１４０４２に到達するであろう。第１の中継レンズ要素１４０３２および第２の中継レンズ要素１４０４２は、等倍率無限焦点複合レンズである。画像走査ミラー１４０３０は、第１の中継レンズ要素１４０３２の焦点距離と等しい距離だけ第１の中継レンズ要素１４０３２から離間されることに留意されたい。第２の中継レンズ要素１４０３２は、光（最初に、コリメートレンズ１４００４、１４０１２、１４０１８によってコリメートされた光）を再コリメートするであろう。また、第２の中継レンズ要素１４０４２から伝搬する光は、第２の中継レンズ要素１４０４２の焦点距離だけ第２の中継レンズ要素１４０４２から離間される点Ｐ１の近傍の光学軸ＯＡを交差するであろうことに留意されたい。図３６に示される実施形態では、第１の中継レンズ要素１４０３２および第２の中継レンズ要素１４０４２は、同一焦点距離を有する。
第２の中継レンズ要素１４０４２から出射後、光は、２倍率無限焦点拡大レンズ１４０４８の第１のグループ１４０４６の第１のグループの正の屈折レンズ１４０４４上に入射するであろう。第１のグループの正の屈折レンズ１４０４４に加え、第１のグループ１４０４６はまた、第１のグループの幾何学的位相レンズ１４０５０を含む。第１のグループの幾何学的位相レンズ１４０５０を通して通過後、光は、第２のグループの正の屈折レンズ１４０５４と、第２のグループの幾何学的位相レンズ１４０５６とを含む、第２のグループ１４０５２を通して通過する。幾何学的位相レンズ１４０５０、１４０５６は、パターン整合された液晶材料を含む。幾何学的位相レンズ（「偏光指向平坦レンズ」としても知られる）は、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ（Ｂａｒｒｉｎｇｔｏｎ， Ｎｅｗ Ｊｅｒｓｅｙ）から利用可能である。幾何学的位相レンズ１４０５０、１４０５６は、それらが、その掌性に合致する掌性（ＲＨまたはＬＨ）を有する円偏光のための正のレンズであって、かつ反対掌性の円偏光のための負のレンズである、性質を有する。幾何学的位相レンズはまた、光を透過させる際、それらが、円偏光の掌性を逆転させる、性質を有する。図３６に示される実施形態では、幾何学的位相レンズ１４０５０、１４０５６は、右回りである。本システムは、左回り幾何学的位相レンズとの使用に適応するように修正され得ることに留意されたい。
動作時、ＲＨＣＰ光が第１のグループ１４０４６を通して通過されると、第１のグループの幾何学的位相レンズ１４０５０は、第１のグループ１４０４６の正の屈折力が、第１のグループの屈折レンズ１４０４４単独の正の屈折力未満であって、第１のグループ１４０４６が、第１のグループ１４０４６の主平面から図３６に示される点ＦＲＨＣＰまでの距離とほぼ等しい焦点距離を有するであろうように、負のレンズとして作用するであろう。第１のグループの幾何学的位相レンズ１４０５０を通して伝搬することは、光を左円偏光（ＬＨＣＰ）状態に変換するであろう。ＬＨＣＰ状態の光に関して、第２のグループの幾何学的位相レンズ１４０５６は、正の屈折力を有し、したがって、第２のグループ１４０５２の正の屈折力は、第２のグループの正の屈折レンズ１４０５４単独の正の屈折力を上回るであろう。この場合、第２のグループ１４０５２の焦点距離もまた、第２のグループ１４０５２の主平面から点ＦＲＨＣＰまでの距離と等しく、添字「ＲＨＣＰ」は、拡大レンズ１４０４８に入射する光の偏光状態を指す。点ＦＲＨＣＰは、第１のグループ１４０４６より第２のグループ１４０５２に近いため、２倍率無限焦点拡大レンズ１４０４８は、第２の中継レンズ要素１４０４２から受光されたＲＨＣＰ光のための拡大レンズ（１を上回る拡大率を有する）となるであろう。
ここで、偏光回転スイッチ１４０３４がＳ－偏光を出力する状態にある、第２の場合を検討すると、そのようなＳ－偏光は、偏光選択的反射体１４０３８によって、公称上９０度反射され、次いで、第２のＱＷＰ１４０５８を通して通過し、その後、第３の中継レンズ要素１４０６０を通して通過し、これは、光を固定ミラー１４０６２に向かって偏向させる。Ｓ－偏光に関して、第１の中継レンズ要素１４０３２は、第３の中継レンズ要素１４０６０と組み合わせて、等倍率無限焦点中継系を形成することに留意されたい。固定ミラー１４０６２は、光を第３の中継レンズ要素１４０６０および第２のＱＷＰ１４０５８を通して逆反射させ、符号を変化させるが、光学軸ＯＡに対する光ビームの角度の絶対値を変化させない。最初に、第２のＱＷＰ１４０５８を通して通過後、Ｓ－偏光は、特定の掌性の円偏光に変換される（第２のＱＷＰ１４０５８の高速および低速軸の配向を選定することによって、ＲＨＣＰまたはＬＨＣＰのいずれかとなるように選定されることができる）。固定ミラー１４０６２による反射に応じて、円偏光の掌性は、逆転される。２回目として、第２のＱＷＰを通した通過に応じて、Ｓ－偏光された円偏光は、Ｐ－偏光に変換され（一時的に）、これは、次いで、偏光選択的反射体１４０３８を通して通過する。
偏光選択的反射体１４０３８を通して通過後、光は、第３のＱＷＰ１４０６４および第４の中継レンズ要素１４０６６を通して通過し、中心窩追跡ミラー１４０６８に指向される。システム１４０００では、画像走査ミラー１４０３０、固定ミラー１４０６０、および中心窩追跡ミラー１４０６８は、それぞれ、中継レンズ要素１４０３２、１４０６６、１４０６０の焦点距離だけ中継レンズ要素１４０３２、１４０６６、１４０６０から離間され、ＱＷＰ１４０４０、１４０５８、１４０６４は、中継レンズ要素１４０３２、１４０４２、１４０６０、１４０６６後に位置付けられるため、ＱＷＰ１４０４０、１４０５８、１４０６４上に入射する光の角度は、比較的に低く、これは、ＱＷＰ１４０４０、１４０５８、１４０６４の改良された性能につながる。代替実施形態によると、眼移動の２つの角度自由度（例えば、方位角および仰角）を追跡する、単一中心窩追跡ミラー１２６８を有するのではなく、固定ミラー１４０６２が、第２の中心窩追跡ミラー（図示せず）と置換されることができ、２つの中心窩追跡ミラーのうちの１つは、眼移動の１自由度を追跡するために使用されることができ、第２の中心窩追跡ミラーは、眼移動の第２の自由度を追跡するために使用されることができる。そのような代替では、単一自由度中心窩追跡ミラーが、使用されてもよい。再び図３６を参照すると、第３の中継レンズ要素１４０６０は、第４の中継レンズ要素１４０６６と組み合わせて、等倍率無限焦点中継を形成する。中心窩追跡ミラー１４０６８は、ユーザの眼２１０の中心窩（図示せず）を追跡するために、画像走査ミラー１４０３０によって生産された光ビーム１４０２８の偏向を追加し、それによって、画像走査ミラー１４０３０によって生産されたビーム角度の立体角範囲全体の平均角度を軸外に偏向させることができる。眼追跡カメラ１４０９８は、ユーザの眼２１０の眼視線を追跡する。眼追跡カメラ１４０９８は、中心窩追跡制御システム１４０９７に結合される。眼追跡カメラ１４０９８は、眼視線を示す、情報を出力し、これは、中心窩追跡制御システム１４０９７に入力される。中心窩追跡制御システム１４０９７は、中心窩追跡ミラー１４０６８に駆動可能に結合される。眼追跡カメラ１４０９８から受信された眼視線情報に基づいて、中心窩追跡制御システム１４０９７は、中心窩追跡ミラー１４０６８を配向し、ユーザの眼の中心窩１４０９９を追跡するために、信号を中心窩追跡ミラー１４０６８に出力する。中心窩追跡制御システム１４０９７は、画像処理を使用して、ユーザの眼視線を決定し、信号を生成し、眼視線に基づいて、中心窩追跡ミラーを制御することができる。
中心窩追跡ミラー１４０６８によって反射された後、光は、第４の中継レンズ要素１４０６６および第３のＱＷＰ１４０６４を通して逆通過する。第３のＱＷＰ１４０６４を通した光の第１の通過は、光を円偏光に変換し、中心窩追跡ミラー１４０６８による反射は、円偏光の掌性を逆転させ、第３のＱＷＰ１４０６４を通した第２の通過は、光をＳ－偏光状態に逆変換する。光は、ここでＳ－偏光されるため、偏光選択的反射体１４０３８によって反射され、公称上９０度、第１のＱＷＰ１４０４０に向かって偏向される。第１のＱＷＰ１４０４０は、Ｓ－偏光を左円偏光（ＬＨＣＰ）に変換する。光は、次いで、第２の中継レンズ要素１４０４２を通して通過する。第４の中継レンズ要素１４０６６は、第２の中継レンズ要素１４０４２と組み合わせて、等倍率無限焦点複合レンズを形成する。中継レンズ要素１４０３２、１４０４２、１４０６０、１４０６６は、偏光選択的ミラー１４０３８の中心を中心として９０度間隔で対称的に設置される。概して連続する（光伝搬の順序で）中継レンズ要素１４０３２、１４０４２、１４０６０、１４０６６は、等倍率無限焦点中継系を形成する。共焦点であるように位置付けられる、連続中継レンズ要素は、ＰＢＳ１４０３６を横断した中間に共通焦点を共有する。中継レンズ要素１４０３２、１４０４２、１４０６０、１４０６６は、非限定的実施例として、非球面レンズ、無収差レンズ、ハイブリッド屈折および回折レンズおよび無彩色レンズ、例えば、回折レンズとともに屈折レンズを含む、複合レンズを含むことができる。本説明で使用されるように、「中継レンズ要素」は、単一レンズまたは複合レンズを含む。
ＬＨＣＰ光に関して、第１のグループの幾何学的位相レンズ１４０５０は、正の屈折力を有し、これは、第１のグループ１４０４６の屈折力を増加させる。ＬＨＣＰに関して、第１のグループ１４０４４の焦点距離は、第１のグループ１４０４４の主平面から点ＦＬＨＣＰまでの距離と等しい。第１のグループの幾何学的位相レンズ１４０５０を通した通過に応じて、ＬＨＣＰ光は、ＲＨＣＰ光に変換される。続いて、光は、第２のグループ１４０５２を通して通過する。ＲＨＣＰ光に関して、第２のグループの幾何学的位相レンズ１４０５６は、第２のグループ１４０５２の正の屈折力が、第２のグループの正の屈折レンズ１４０５４単独の屈折力より低いであろうように、負の屈折力を有する。ＲＨＣＰ光に関して、第２のグループ１４０５２は、第２のグループ１４０５２の主平面から点ＦＬＨＣＰまでの距離と等しい焦点距離を有する。故に、２倍率無限焦点拡大レンズ１４０４８に入射するＬＨＣＰ光に関して、２倍率無限焦点拡大レンズ１４０４８は、１未満の拡大率を伴う、拡大解除レンズとしての役割を果たす。したがって、中心窩追跡ミラー１４０６８によって偏向される、画像走査ミラー１４０３０によって生産された光ビーム方向の立体角範囲は、ユーザの視線が偏移されるにつれてユーザの中心窩を追跡する、低減された角度範囲を被覆するように拡大解除される。入射ＲＨＣＰに関して、２倍率無限焦点拡大レンズ１４０４８は、１を上回る拡大率を有することを思い出されたい。１を上回る拡大率は、中心窩外のユーザの網膜の部分に対応するより広い視野を提供するために使用される。
ある実施形態では、第２のグループ１４０５２は、第１のグループ１４０４６の鏡像であって、その場合、第１のグループの幾何学的位相レンズ１４０５０および第２のグループの幾何学的位相レンズ１４０５６は、同じであって、第１のグループの正の屈折レンズ１４０４４および第２のグループの正の屈折レンズ１４０５４は、同じである。屈折レンズ１４０４４、１４０５４が、異なる屈折力の表面を有する場合、それらは、２倍率無限焦点拡大レンズ１４０４８の鏡像対称性を維持するために、同一屈折力の表面が相互に面するように位置付けられ得る。この場合、各グループ１４０４６、１４０５２は、幾何学的位相レンズ１４０５０、１４０５６が、正のまたは負のレンズとして作用するかどうかに応じて、２つの異なる主平面を有することができるが、それでもなお、２つのグループ１４０４６、１４０５２は、ＬＨＣＰまたはＲＨＣＰ光が拡大レンズ１４０４８に入射するかどうかにかかわらず、拡大レンズ１４０４８の無限焦点拡大率を維持するために、２つのグループ１４０４６、１４０５２の共焦点関係を維持する固定距離において相互から離間され得る。
第１の接眼レンズ導波管１４０７０と、第２の接眼レンズ導波管１４０７２と、第３の接眼レンズ導波管１４０７４とを含む、３つの拡張現実眼鏡接眼レンズ導波管のセットが、２倍率無限焦点拡大レンズ１４０４８の第２のグループ１４０５２を越えて位置付けられ、それに光学的に結合される（示されるように、自由空間を通して）。重なり関係に配置される、３つの接眼レンズ導波管１４０７０、１４０７２、１４０７４が、示されるが、代替として、異なる数の接眼レンズ導波管も、提供される。例えば、各セットが、異なる波面曲率（異なる仮想画像距離に対応する）を出射光に付与するように構成される、３つの接眼レンズ導波管の複数のセットが、提供されてもよい。３つの接眼レンズ導波管１４０７０、１４０７２、１４０７４は、それぞれ、第１の光内部結合要素１４０７６と、第２の光内部結合要素１４０７８と、第３の光内部結合要素１４０８０とを含む、３つの光内部結合要素１４０７６、１４０７８、１４０８０を提供される。３つの接眼レンズ導波管１４０７０、１４０７２、１４０７４はそれぞれ、光を特定の色チャネル、例えば、赤色、緑色、または青色光内で伝達するように構成されることができる。加えて、内部結合要素１４０７６、１４０７８、１４０８０はそれぞれ、１つの色チャネル内の光のみをその関連付けられた接眼レンズ導波管１４０７０、１４０７２、１４０７４の中に結合するように、波長選択的であることができる。内部結合要素１４０７６、１４０７８、１４０８０は、例えば、コレステリック液晶材料から作製される回折格子等、例えば、スペクトル的に選択可能な反射回折格子を備えることができる。そのようなコレステリック液晶材料は、ある螺旋ピッチを有し、これは、スペクトル反射率帯域を決定する。内部結合要素はそれぞれ、例えば、２つの重畳される層のコレステリック液晶材料を含むことができ、一方は、ＬＨＣＰ光を反射させ、他方は、ＲＨＣＰ光を反射させる。回折格子は、概して、あるプロファイルピッチを有し、これは、光偏向角度を決定する。内部結合要素１４０７６、１４０７８、１４０８０が、回折格子として実装される場合、各格子の格子プロファイルピッチは、光が関連付けられた接眼レンズ導波管１４０７０、１４０７２、１４０７４に関する全内部反射のための臨界角を上回る角度に回折されるように、内部結合されることになる関連付けられた光の波長に照らして好適に選択される。第１、第２、および第３の接眼レンズ導波管１４０７０、１４０７２、１４０７４はそれぞれ、第１の射出瞳エクスパンダ（ＥＰＥ）１４０８２と、第２のＥＰＥ１４０８４と、第３のＥＰＥ１４０８６とを含む。ＥＰＥ１４０８２、１４０８４、１４０８６は、透過性および／または反射性回折格子として実装されてもよい。ＥＰＥ１４０８２、１４０８４、１４０８６は、光が、内部結合要素１４０７６、１４０７８、１４０８０の横方向範囲と比較して、比較的に広域にわたって、導波管１４０７０、１４０７２、１４０７４から出射するように、導波管１４０７０、１４０７２、１４０７４内を伝搬する光を導波管１４０７０、１４０７２、１４０７４から外に漸次的に結合する。図３６では不可視の直交瞳エクスパンダ（ＯＰＥ）もまた、接眼レンズ導波管１４０７０、１４０７２、１４０７４上に提供され、ＥＰＥ１４０８２、１４０８４、１４０８６の背後に位置することができる。ＯＰＥは、接眼レンズ導波管１４０７０、１４０７２、１４０７４内を伝搬する内部結合要素１４０７６、１４０７８、１４０８０からの光をＥＰＥ１４０８２、１４０８４、１４０８６に向かって偏向させる役割を果たす。ＯＰＥは、内部結合要素１４０７６、１４０７８、１４０８０から発出する光の経路内に位置してもよく、ＥＰＥ１４０８２、１４０８４、１４０８６は、内部結合要素１４０７６、１４０７８、１４０８０から発出する光の経路外にあってもよいが、ＯＰＥは、内部結合要素１４０７６、１４０７８、１４０８０からの光をＥＰＥ１４０８２、１４０８４に向かって偏向させ得る。
代替実施形態によると、第１の中継レンズ要素１４０３２は、第２の１４０４２、第３の１４０６０、および第４の１４０６６中継レンズ要素より長い焦点距離を有し、より長い焦点距離と等しい距離だけ、ＰＢＳ１４０３６の中心から離間される（ＰＢＳ１４０３６の屈折率を考慮して）。この場合、より長い焦点距離の第１の中継レンズ要素１４０３２は、第２の中継レンズ１４０４２と組み合わせて、１：１を上回る角度拡大率を非中心窩追跡光に付与し、より長い焦点距離の第１の中継レンズ要素１４０３２は、第３の中継レンズ要素１４０６０と組み合わせて、１：１を上回る角度拡大率を中心窩追跡光に付与する。２倍率無限焦点拡大レンズ１４０４８は、中心窩追跡光を拡大解除し、非中心窩追跡光を拡大するであろうことを思い出されたい。したがって、第１の中継レンズ要素１４０３２の焦点距離を変化させることは、２倍率無限焦点拡大レンズ１４０４８の設計の対称性を妨げずに、システム１４０００内で達成される拡大率を設定するために使用され得る、別の設計自由度を提供する。非対称性性を２倍率無限焦点拡大レンズ１４０４８の設計の中に導入することは、別の可能性として考えられる代替である。
代替実施形態によると、幾何学的位相レンズ１４０５０、１４０５６の代わりに、他のタイプの二重状態レンズが、使用される。１つの代替例によると、能動的に駆動されるエレクトロウェッティング液体レンズが、使用されてもよい。その通常軸が、通常軸に合致し、異常軸と平行に偏光された光のためのレンズ屈折力を呈する、材料から作製される、回折光学の上層の具体的方向に整合される、液晶を含む、別の代替レンズが、使用されてもよい。後者の場合、第１のＱＷＰ１４０４０は、レンズの異方性性能が、中心窩追跡光と非中心窩追跡光との間の線形偏光差に依存するであろうため、排除され得る。
画像走査ミラー１４０３０の各配向は、偏光回転スイッチ１４０３４が非中心窩追跡Ｐ－偏光を透過させるように構成されるとき、画像空間内のある角度座標に対応する。偏光回転スイッチ１４０３４が、中心窩追跡される、Ｓ－偏光を出力するように構成されるとき、画像走査ミラー１４０３０の配向は、中心窩追跡ミラー１４０６８の配向と組み合わせて、画像空間内の角度座標を決定する。画像走査ミラーおよび中心窩追跡ミラー１４０６８の配向によって決定された光ビーム伝搬の角度は、２倍率無限焦点拡大レンズ１４０４８の拡大率によって、随意に、中継レンズ１４０３２、１４０４２、１４０６０、１４０６６の相対的焦点距離によって決定された拡大率によって乗算される。角度画像空間内に定義されるピクセルの有効サイズは、レーザダイオード１４００２、１４０１０、１４０１６の変調率および画像走査ミラー１４０３０の運動の角速度の逆数に比例する。画像走査ミラー１４０３０の運動が正弦波であり得る限りにおいて、レーザダイオード１４００２、１４０１０、１４０１６の変調率は、ピクセルサイズ変動を低減または排除するために、画像走査ミラー１４０３０の角速度に反比例するようにされてもよい。中心窩追跡および非中心窩追跡領域の両方が、レーザダイオード１４００２、１４０１０、１４０１６のために生成されているとき、レーザダイオード１４００２、１４０１０、１４０１０の完全な潜在的変調率（利用可能なレーザの特性によって限定される）が、使用されることができ（少なくとも視野内のある点に関して）、画像走査ミラーの完全角度範囲は、比較的に小立体角範囲に対する、中心窩追跡領域のために生産された画像の分解能画像が、より広い視野のために生産された画像の分解能より高くなり得る（より小さいピクセルサイズ）ように、使用されることができる。
ある実施形態によると、システム１４０００が使用される、拡張現実システムでは、仮想コンテンツは、実世界上に重畳され、これは、接眼レンズ導波管１４０７０、１４０７２、１４０７４を通して、ユーザに可視となる。仮想コンテンツは、（例えば、無生物オブジェクト、人々、動物、ロボット等の）３Ｄモデルとして定義される。３Ｄモデルは、３Ｄ座標系内に位置付けられ、配向される。拡張現実システムでは、例えば、慣性測定ユニット（ＩＭＵ）および／またはビジュアルオドメトリの提供を通して、前述の３Ｄ座標系は、拡張現実システムのユーザの実世界環境（慣性基準フレーム）に位置合わせされるように維持される。ゲームエンジンは、システム１４０００（およびユーザの他方の眼のための同様のシステム）を介したユーザへの出力のため、３Ｄモデルの左眼画像および右眼画像をレンダリングするために、その位置および配向を考慮して、３Ｄモデルを処理する。３Ｄモデルがユーザの環境に固定される座標系内に定義される限りにおいて、かつユーザがその頭部（拡張現実眼鏡を担持する）を環境内で移動および方向転換させ得る限りにおいて、左眼画像および右眼画像のレンダリングは、ユーザの頭部移動および方向転換を考慮するように更新される。したがって、例えば、仮想書籍が、実テーブル上に静置して表示され、ユーザが、その頭部を１０度左に回転させる場合、ＩＭＵまたはビジュアルオドメトリサブシステム（図示せず）からの回転の情報に応答して、ゲームエンジンは、書籍が、ユーザの頭部回転にかかわらず、その位置を維持するように現れるように、左および右画像を更新し、システム１４０００によって出力されている仮想書籍の画像を１０度右に偏移させるであろう。本場合では、中心窩を越えて延在する網膜のより広い部分のための画像と、中心窩を含む、網膜のより限定された部分のための画像とが、偏光回転スイッチ１４０３４を使用して、システム１４０００を通して時間多重化される。画像は、偏光回転スイッチ１４０３４の動作と同期して、ゲームエンジンによって生成および出力される。上記に述べられたように、ゲームエンジンは、左眼画像および右眼画像を生成する。ゲームエンジンはまた、より狭いＦＯＶ左中心窩および右中心窩画像を生成し、これは、偏光回転スイッチ１４０３４が、中心窩追跡ミラー１４０６８を使用して中心窩追跡されたＳ－偏光を出力するように構成されるときに出力される。上記に議論されるように、そのような中心窩追跡画像は、ＬＨＣＰ光に変換され、２倍率無限焦点拡大レンズ１４０４８によって拡大解除される。そのような拡大解除は、角度範囲を、中心窩（または少なくともその一部）を含む、狭範囲に限定する。拡大解除は、ピクセルサイズを低減させ、それによって、中心窩追跡画像のための角度分解能を増加させる。
図３７Ａは、一実施形態による、図３６に示される拡張現実接眼ディスプレイシステムにおいて使用される、２倍率無限焦点拡大レンズ１４０４８の略図である。
図３７Ｂは、他の実施形態による、無限焦点拡大レンズ１４０４８の代わりに、図３６に示される拡張現実接眼ディスプレイシステム１４０００において使用され得る、二重焦点拡大無限焦点拡大レンズ１５０００の略図である。無限焦点拡大レンズ１５０００は、正の屈折レンズ１５００４と、第１の幾何学的位相レンズ１５００６とを含む、レンズグループ１５００２を含む。無限焦点拡大レンズ１５０００はさらに、第１のレンズグループ１５００２からある距離に離間される、第２の幾何学的位相レンズ１５００８を含む。第１の幾何学的位相レンズ１５００６および第２の幾何学的位相レンズ１５００８は、反対掌性を有する。幾何学的位相レンズの掌性に合致する掌性を有する光に関して、幾何学的位相レンズは、正のレンズとして作用し、幾何学的位相レンズの掌性と反対の掌性を有する光に関して、幾何学的位相レンズは、負のレンズとして作用する。加えて、幾何学的位相レンズを通して伝搬することに応じて、光の掌性は、逆転される。故に、第１の幾何学的位相レンズ１５００６が、正のレンズとして作用すると、第２の幾何学的位相レンズ１５００８もまた、正のレンズとして作用し、第１の幾何学的位相レンズ１５００６が、負のレンズとして作用すると、第２の幾何学的位相レンズ１５００８もまた、負のレンズとして作用するであろう。第１の幾何学的位相レンズ１５００６が、負のレンズとして作用すると、レンズグループ１５００２は、正の屈折レンズ１５００４単独の焦点距離より長い焦点距離を有するであろう。第１の幾何学的位相レンズ１５００６が、正のレンズとして作用すると、レンズグループ１５００２は、正の屈折レンズ１５００４単独の焦点距離より短い焦点距離を有するであろう。
図３６に示される拡張現実接眼ディスプレイシステム１４０００では、偏光スイッチ１４０３４によって出力されたＰ－偏光は、直接、ＰＢＳ１４０３６を通して通過し、中心窩追跡されず、第１のＱＷＰ１４０４０によって、ＲＨＣＰ光に変換される一方、偏光回転スイッチ１４０３４から出力されたＳ－偏光は、中心窩追跡ミラー１４０６８によって反射され、最終的に、ＬＨＣＰ光に変換されるようにルーティングされることを思い出されたい。
図３７Ｂに示される実施形態は、第１の幾何学的位相レンズ１５００６が、左回りであって、第２の幾何学的位相レンズ１５００８が、右回りであるという仮定を用いて、さらに説明されるであろう。さらに、図３６に示されるシステム１４０００の場合のように、ＬＨＣＰ光は、中心窩追跡され、ＲＨＣＰは、中心窩追跡されない光であって、より広いＦＯＶ（網膜のより広い部分）のための画像毎に変調された光を搬送すると仮定される。ＬＨＣＰ光に関して、第１の幾何学的位相レンズ１５００６は、正のレンズとして作用し、レンズグループ１５００２は、レンズグループ１５００２から焦点ＦＬＨＣＰまでの距離に対応する、比較的に短焦点距離を有する。光を透過させる際、第１の幾何学的位相レンズ１５００６は、ＬＨＣＰ光をＲＨＣＰ光に変換し、これに関して、第２の幾何学的位相レンズ１５００８は、正の屈折力と、第２の幾何学的位相レンズ１５００８から点ＦＬＨＣＰまでの距離と等しい焦点距離とを有する。この場合、無限焦点拡大レンズ１５０００は、Ｋｅｐｌｅｒｉａｎ無限焦点拡大レンズを形成する。正の屈折レンズ１５００４の焦点距離の適切な選択（下記にさらに説明されるであろうように）によって、第１の幾何学的位相レンズ１５００６および第２の幾何学的位相レンズ１５００８は、すなわち、Ｋｅｐｌｅｒｉａｎ構成における無限焦点拡大レンズ１５０００の拡大率は、約１：１または別の所望の値となるように選定されることができる。例えば、画像走査ミラー１４０３０が、＋／－１０度の走査範囲の光学角度を有すると仮定すると、そのような角度範囲は、網膜の中心窩領域を実質的に被覆することができる。
無限焦点拡大レンズ１５０００に入射するＲＨＣＰ光に関して、第１の幾何学的位相レンズ１５００６は、負の屈折力を有し、レンズグループ１５００２は、レンズグループ１５００２から点ＦＲＨＣＰまでの距離に対応する、比較的により長い焦点距離を有する。第１の幾何学的位相レンズ１５００６は、ＲＨＣＰ光をＬＨＣＰ光に変換し、これに関して、第２の幾何学的位相レンズ１５００８は、第２の幾何学的位相レンズ１５００８から点ＦＲＨＣＰまでの距離に対応する、負の焦点距離を有する。この場合、無限焦点拡大レンズ１５０００は、Ｇａｌｉｌｅａｎ無限焦点拡大レンズとして構成され、１：１を実質的に上回る、例えば、３：１の拡大率を有することができる。したがって、無限焦点拡大レンズに入射するＲＨＣＰ光（中心窩追跡されない）は、画像毎に変調された光を中心窩を越える網膜のより大きい部分（ＬＨＣＰ光によって照明された部分と比較して）に提供することができる。システム１４０００、１５０００は、ＲＨＣＰおよびＬＨＣＰ光の役割を逆転させるように再構成されることができることに留意されたい。
正の屈折レンズ１５００４の所与の焦点距離および第１の幾何学的位相レンズ１５００４の焦点距離の所与の大きさに関して、レンズグループ１５００２は、入射光の掌性（上記に説明されるように）に応じて、レンズグループ１５００２から点ＦＬＨＣＰおよびＦＲＨＣＰまでの距離と等しい２つの焦点距離のうちの１つを有するであろう。第２の幾何学的位相レンズ１５００８は、ＦＬＨＣＰとＦＲＨＣＰとの間の中間点を中心として位置付けられるべきであって、第２の幾何学的位相レンズ１５００８の焦点距離は、ＦＬＨＣＰとＦＲＨＣＰとの間の距離のほぼ中間に設定されるべきである。Ｋｅｐｌｅｒｉａｎ構成の拡大率は、点ＦＬＨＣＰから第２の幾何学的位相レンズ１５００８までの距離によって除算される、レンズグループ１５００２から点ＦＬＨＣＰまでの距離の比率のマイナスにほぼ等しい。Ｇａｌｉｌｅａｎ構成の拡大率は、第２の幾何学的位相レンズ１５００８から点ＦＲＨＣＰまでの距離によって除算される、レンズグループ１５００２から点ＦＲＨＣＰまでの距離の比率とほぼ等しい。
２倍率無限焦点拡大レンズ１４０４８、１５０００は、非限定的実施例として、望遠鏡、双眼鏡、カメラ、および顕微鏡を含む、他のタイプの光学デバイスにおいても使用されることができる。実画像が形成されることになる、システムでは、無限焦点拡大レンズ１４０４８、１５０００は、付加的光学要素（例えば、レンズ、凸面ミラー）と組み合わせて使用されることができる。
図３６を参照すると、代替実施形態によると、固定ミラー１４０６２は、第２の画像走査ミラーと置換され、レーザダイオードと、コリメートレンズと、ＲＧＢダイクロイック組み合わせ立方体とを含む、第２のサブシステム（図３６に示されるもののような）が、ＲＧＢ画像変調光を第２の走査ミラーに提供するために使用されることができる。第２のサブシステムおよび第２の走査ミラーは、中心窩追跡光を提供するため専用であろう。この場合、偏光回転スイッチ１４０３４は、省かれることができ、中心窩追跡および非中心窩追跡光の両方が、同時に生産されることができる。そのような代替では、レーザダイオードは全て、Ｐ－偏光をＰＢＳ１４０３６の中に投入するように配向されるであろう。
（ＩＶ． 眼視線に伴う視野全体の追跡）
いくつかの実施形態によると、図２６Ｅ－２６Ｆに図示されるように、第１の画像ストリームを静的位置に提示する代わりに、第１の画像ストリームおよび第２の画像ストリームの両方は、ユーザの現在の固視点に従って、動的に偏移されることができる。図３８Ａ－３８Ｂは、いくつかの実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図３８Ａは、第２の画像ストリーム１６０２０が第１の画像ストリーム１６０１０の中心に実質的に位置付けられ得る方法を示す。いくつかの実施形態では、第２の画像ストリーム１６０２０を第１の画像ストリームの中心からオフセットすることが望ましくあり得る。例えば、ユーザの視野は、鼻方向よりこめかみ方向において遠くに延在するため、第２の画像ストリーム１６０２０を第１の画像ストリームの鼻側に向かってオフセットさせることが望ましくあり得る。動作の間、第１および第２の画像ストリームは、図３８Ｂに示されるように、眼視線追跡技法を使用してリアルタイムで決定されるようなユーザの現在の固視点に従って、持続的に偏移されることができる。すなわち、第１の画像ストリーム１６０１０および第２の画像ストリーム１６０２０は、ユーザが、通常、両画像ストリームの中心を直接見ているように、連動して偏移されることができる。図３８Ａ－３８Ｂにおけるグリッド正方形は、図２４を参照して上記に説明されるように、２次元角度空間内に定義されるような視野３００２、３００４および３００６のように、像点を図式的に表すことに留意されたい。
図２６Ａ－２６Ｂに描写される実施形態と同様に、第２の画像ストリーム１６０２０は、第１の画像ストリーム１６０１０の境界内に表示され得る比較的に狭ＦＯＶを有する、高分解能画像ストリームを表す。いくつかの実施形態では、第２の画像ストリーム１６０２０は、眼視線追跡技法を使用して取得されるデータに基づいて、ユーザの現在の固視点と一致する角位置にリアルタイムで動的に調節され得る、レンダリング空間内にある配向を有する、第２の異なる仮想カメラによって捕捉されるであろうような仮想コンテンツの１つ以上の画像を表すことができる。これらの実施例では、高分解能の第２の画像ストリーム１６０２０は、図２６Ａ－２６Ｄを参照して上記に説明される中心窩追跡仮想カメラ等の中心窩追跡仮想カメラによって捕捉されるであろうような仮想コンテンツの１つ以上の画像を表すことができる。言い換えると、第２の画像ストリーム１６０２０によって表される仮想コンテンツの１つ以上の画像が捕捉される、レンダリング空間内の視点は、第２の画像ストリーム５０２０Ｅと関連付けられた視点が、ユーザの中心窩視と持続的に整合されるように、ユーザの眼視線が変化するにつれて再配向されることができる。
例えば、第２の画像ストリーム１６０２０は、ユーザの眼視線が図３８Ａに図示されるような第１の位置に固視されると、レンダリング空間の第１の領域内に位置する仮想コンテンツを包含することができる。ユーザの眼視線が、第１の位置と異なる第２の位置に移動するにつれて、第２の画像ストリーム１６０２０と関連付けられた視点は、第２の画像ストリーム１６０２０が、図３８Ｂに図示されるように、レンダリング空間の第２の領域内に位置する仮想コンテンツを包含し得るように、調節されることができる。いくつかの実施形態では、第１の画像ストリーム１６０１０は、疎グリッドによって示されるように、広ＦＯＶであるが、低角度分解能を有する。第２の画像ストリーム１６０２０は、稠密グリッドによって示されるように、狭ＦＯＶであるが、高角度分解能を有する。
図３９Ａ－３９Ｂは、いくつかの実施形態による、ユーザに提示され得るいくつかの例示的画像を使用して、図３８Ａ－３８Ｂに説明される原理のうちのいくつかを図示する。いくつかの実施例では、図３９Ａ－３９Ｂに描写される画像および／または画像ストリームのうちの１つ以上のものは、図２５Ｂを参照して上記に説明される深度平面のうちの１つ以上のもの等の特定の深度平面に表示されることになる、２次元画像またはその一部を表し得る。すなわち、そのような画像および／または画像ストリームは、ユーザから固定距離において少なくとも１つの２次元表面上に投影された３－Ｄ仮想コンテンツを表し得る。そのような実施例では、そのような画像および／または画像ストリームは、図２６Ａ－２６Ｄおよび２８Ａ－２８Ｂを参照して上記に説明されるものに類似する、ある角度視野を伴う１つ以上のライトフィールドとしてユーザに提示され得ることを理解されたい。
描写されるように、第１の画像ストリーム１７０１０のコンテンツは、木の一部を含む。図３９Ａによって表される第１の時間周期の間、眼追跡センサは、ユーザの眼視線（すなわち、中心窩視）が視認可能領域１７０００内の第１の領域１７０１０－１に合焦していることを決定することができる。本実施例では、第１の領域１７０１０－１は、より低い木の枝を含む。第２の画像ストリーム１７０２０は、第１の領域１７０１０－１内に位置付けられ、第１の画像ストリームより高い分解能を有することができる。第１および第２の画像ストリームは、並行して、または高速で連続して、ユーザの現在の眼視線に対応すると決定された位置に表示されることができる。
図３９Ｂによって表される第２の時間周期の間、ユーザの眼視線が、上方の木の枝に対応する、視認可能領域１５００内の第２の領域１７０１０－２に偏移したことが検出されることができる。描写されるように、第２の時間周期の間、第１および第２の画像ストリームの位置およびコンテンツは、第２の領域１７０１０－２に対応するように変化する。第１の画像ストリーム１７０１０および第２の画像ストリーム１７０２０の両方のコンテンツは、木の第２の領域１７０１０－２を含むことができる。第１および第２の画像ストリームは、並行して、または高速で連続して、表示されることができる。ユーザの眼視線のさらに検出された移動は、第１および第２の画像ストリームの両方がユーザの現在の眼視線と整合されたまま保たれる同一様式で適応されることができる。
図２８Ｃ－２８Ｄに図示される実施形態と同様に、より高い分解能の第２の画像ストリーム１７０２０は、ユーザの中心窩視内の第１の画像ストリーム１７０１０の部分にオーバーレイするため、より低い分解能の第１の画像ストリーム１７０１０は、ユーザによって知覚され得ないまたは気付かれ得ない。さらに、広視野を有する、第１の画像ストリーム１７０１０は、ユーザの視覚の実質的部分を包含し得るため、ユーザは、ライトフィールドディスプレイの境界を完全に知覚することを防止され得る。したがって、本技法は、より没入型の体験をユーザに提供することができる。
図４０Ａ－４０Ｄは、いくつかの実施形態による、画像をユーザの眼に投影させるためのディスプレイシステム１８０００を図式的に図示する。ディスプレイシステム１８０００は、画像源１８０１０を含む。画像源１８０１０は、第１の画像ストリームと関連付けられた第１の光ビーム１８０５２と、第２の画像ストリームと関連付けられた第２の光ビーム１８０５４とを投影するように構成されることができる。第１の画像ストリームは、図３８Ａ－３８Ｂを参照して上記に議論されるように、広ＦＯＶおよび低分解能画像ストリームであることができ、第２の画像ストリームは、狭ＦＯＶおよび高分解能画像ストリームであることができる。いくつかの実施形態では、第１の光ビーム１８０５２および第２の光ビーム１８０５４は、時分割多重化、偏光分割多重化、波長分割多重化、または同等物を行われることができる。
ディスプレイシステム１８０００はさらに、第１の光ビーム１８０５２および第２の光ビーム１８０５４を反射させるように構成される、２Ｄ走査ミラー１８０２０を含むことができる。いくつかの実施形態では、２Ｄ走査ミラー１８０２０は、第１の光ビーム１８０５２および第２の光ビーム１８０５４の両方が、それぞれ、第１の画像ストリームおよび第２の画像ストリームをユーザの中心窩視に投影し得るように、ユーザの眼の固視位置に基づいて、２つの方向に傾斜されることができる。
ディスプレイシステム１８０００はさらに、切替可能光学要素１８０４０を含むことができる。切替可能光学要素１８０４０は、単一要素として図示されるが、切替可能中継レンズアセンブリとして機能する、一対のサブ切替可能光学要素を含むことができる。各サブ切替可能光学要素は、図４０Ａおよび４０Ｃに図示されるように、第１の屈折力を伴う光学レンズとして動作するように、第１の状態に切り替えられる、または図４０Ｂおよび４０Ｄに図示されるように、第１の屈折力と異なる第２の屈折力を伴う光学レンズとして動作するように、第２の状態に切り替えられることができる。各サブ切替可能光学要素は、種々の実施形態によると、例えば、液晶可変焦点レンズ、同調可能回折レンズ、変形可能レンズ、または多焦点複屈折レンズであることができる。
第１の光ビーム１８０５２および第２の光ビーム１８０５４が、時分割多重化される場合、切替可能光学要素１８０４０および走査ミラー１８０２０は、以下のように動作することができる。ユーザの眼視線が、第１の時間周期の間、第１の位置に固視されると仮定する。走査ミラー１８０２０は、図４０Ａおよび４０Ｂに図示されるように、第１の時間周期の間、第１の光ビーム１８０５２および第２の光ビーム１８０５４が、第１の位置に向かって指向されるように、第１の配向にあることができる。画像源１８０１０が第１の光ビーム１８０５２を出力する、第１の時間周期の第１の時間スロット（段階Ａ１）の間、切替可能光学要素１８０４０は、図４０Ａに図示されるように、第１の屈折力を伴う光学レンズとして動作する、第１の状態に切り替えられることができる。画像源１８０１０が第２の光ビーム１８０５４を出力する、第１の時間周期の第２の時間スロット（段階Ａ２）の間、切替可能光学要素１８０４０は、図４０Ｂに図示されるように、第２の屈折力を伴う光学レンズとして動作する、第２の状態に切り替えられることができる。したがって、第１の光ビーム１８０５２は、第１の光ビーム１８０５２が、第２の光ビーム１８０５４によって提示される第２の画像ストリームのものより広いＦＯＶを伴う第１の画像ストリームを提示することができるように、第２の光ビーム１８０５４より角度的に拡大される。
ここで、ユーザの眼視線が、第２の時間周期の間、第１の位置から第２の位置に移動したと仮定する。走査ミラー１８０２０は、図４０Ｃおよび４０Ｄに図示されるように、第２の時間周期の間、第１の光ビーム１８０５２および第２の光ビーム１８０５４が、第２の位置に向かって指向されるように、第２の配向にあることができる。画像源１８０１０が第１の光ビーム１８０５２を出力する、第２の時間周期の第１の時間スロット（段階Ｂ１）の間、切替可能光学要素１８０４０は、図４０Ｃに図示されるように、第１の屈折力を伴う光学レンズとして動作する、第１の状態に切り替えられることができる。画像源１８０１０が第２の光ビーム１８０５４を出力する、第２の時間周期の第２の時間スロット（段階Ｂ２）の間、切替可能光学要素１８０４０は、図４０Ｄに図示されるように、第２の屈折力を伴う光学レンズとして動作する、第２の状態に切り替えられることができる。
第１の光ビーム１８０５２および第２の光ビーム１８０５４が、偏光分割多重化される場合、切替可能光学要素１８０４０は、図４０Ａおよび４０Ｃに図示されるように、第１の光ビーム１８０５２のための第１の屈折力を伴う光学レンズとして動作し、図４０Ｂおよび４０Ｄに図示されるように、第２の光ビーム１８０５４のための第２の屈折力を伴う光学レンズとして動作するように、多焦点複屈折レンズを備えることができる。
第１の光ビーム１８０５２および第２の光ビーム１８０５４が、波長分割多重化される場合、切替可能光学要素１８０４０は、図４０Ａおよび４０Ｃに図示されるように、第１の光ビーム１８０５２のための第１の屈折力を伴う光学レンズとして動作し、図４０Ｂおよび４０Ｄに図示されるように、第２の光ビーム１８０５４のための第２の屈折力を伴う光学レンズとして動作するように、波長依存多焦点レンズを備えることができる。
図４１Ａ－４１Ｄは、いくつかの他の実施形態による、画像をユーザの眼に投影させるためのディスプレイシステム１９０００を図式的に図示する。ディスプレイシステム１９０００は、ディスプレイシステム１８０００に類似することができるが、切替可能光学要素１８０４０は、走査ミラー１８０２０の表面上に配置されることができる。例えば、切替可能光学要素１８０４０は、走査ミラー１８０２０の表面上に層化された１つ以上の基板であることができる。
いくつかのさらなる実施形態では、切替可能光学要素１８０４０は、ディスプレイシステム１９０００内の他の場所に位置付けられることができる。例えば、画像源１８０１０と走査ミラー１８０２０との間に位置付けられることができる。
いくつかの他の実施形態では、偏光ビームスプリッタまたはダイクロイックビームスプリッタは、第１の光ビーム１８０５２および第２の光ビーム１８０５４を２つの別個の光学経路に多重化解除するために使用されることができるが、両光学経路は、走査ミラー１８０２０の反射表面と交差する。
他の実施形態では、２つを上回る画像ストリームが、ユーザの固視点からユーザの周辺視覚への分解能における遷移が、外観上、より段階的であるように、ユーザに提示されることができる。例えば、中ＦＯＶおよび中分解能を有する、第３の画像ストリームが、第１の画像ストリームおよび第２の画像ストリームに加え、提示されることができる。そのような場合、付加的中継レンズアセンブリおよび／または走査ミラーが、付加的画像ストリームのための付加的光学経路を提供するために利用されることができる。
（時間多重化スキーム）
いくつかの実施形態では、高ＦＯＶ低分解能画像ストリーム（すなわち、第１の画像ストリーム）および低ＦＯＶ高分解能画像ストリーム（すなわち、第２の画像ストリーム）は、時分割多重化されることができる。
図４２は、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームと併用するために好適な例示的時分割多重化パターンを図示する、グラフを示す。図示されるように、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームは、交互時間スロットに配分される。例えば、各時間スロットは、持続時間中の約８５分の１秒であり得る。したがって、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームはそれぞれ、約４２．５Ｈｚのリフレッシュレートを有し得る。いくつかの実施形態では、低ＦＯＶ高分解能画像ストリームのライトフィールドに対応する角度領域は、高ＦＯＶ低分解能画像ストリームに対応するライトフィールドの角度領域の一部に重複し、重複された角度領域における有効リフレッシュレートを約８５Ｈｚ（すなわち、各個々の画像ストリームのリフレッシュレートの２倍）にする。
いくつかの他の実施形態では、高ＦＯＶ低分解能画像ストリームのための時間スロットおよび低ＦＯＶ高分解能画像ストリームのための時間スロットは、異なる持続時間を有することができる。例えば、高ＦＯＶ低分解能画像ストリームのための各時間スロットは、８５分の１秒より長い持続時間を有することができ、低ＦＯＶ高分解能画像ストリームのための各時間スロットは、８５分の１秒より短い持続時間を有することができる、またはその逆であることができる。
図４３は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２１０００を図式的に図示する。ディスプレイシステム２１０００は、図３０Ａ－３０Ｂに図示されるようなディスプレイシステム８０００と共通するいくつかの要素を共有し得る。本理由から、図３０Ａ－３０Ｂに関連するそれらの共通要素についての説明は、ここでも同様に適用可能である。画像源２１００２は、第１の偏光状態における高ＦＯＶ低分解能画像ストリームと、第２の偏光状態における低ＦＯＶ高分解能画像ストリームとを同時に提供するように構成されることができる。例えば、第１の偏光状態は、第１の方向における線形偏光であることができ、第２の偏光状態は、第１の方向に直交する第２の方向における線形偏光であることができる、または代替として、第１の偏光状態は、左回り円偏光であることができ、第２の偏光状態は、右回り円偏光であることができる。図３０Ａ－３０Ｂに図示されるディスプレイシステム８０００と同様に、ディスプレイシステム２１０００は、画像源（例えば、画像源２１００２）によって投影された光ビームを、第１の光学経路に沿って伝搬する高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームと、第２の光学経路に沿って伝搬する低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームとに分離するための偏光ビームスプリッタ２１００４を含む。
図３０Ａ－３０Ｂに図示されるディスプレイシステムと同様に、ディスプレイシステム２１０００は、画像源２１００２とビームスプリッタ２１００４との間に位置付けられる、第１の光学レンズ（レンズＡ）と、第１の光学経路に沿ってビームスプリッタ２１００４の下流に位置付けられる、第２の光学レンズ（レンズＢ）と、第２の光学経路に沿ってビームスプリッタ２１００４の下流に位置付けられる、第３の光学レンズ（レンズＣ）とを含むことができる。いくつかの実施形態では、図３０Ａ－３０Ｂおよび３１Ａ－３１Ｂに関して上記に説明されるように、第１の光学レンズ（レンズＡ）および第２の光学レンズ（レンズＢ）の組み合わせは、１を上回る、第１の光ビームのための角度拡大率を提供することができ、第１の光学レンズ（レンズＡ）および第３の光学レンズ（レンズＣ）の組み合わせは、１と実質的に等しいまたは１未満である、第２の光ビームのための角度拡大率を提供することができる。したがって、第１の光ビームは、第２の光ビームによって投影されたものより広いＦＯＶを有する、画像ストリームを投影することができる。
図３０Ａ－３０Ｂに図示されるディスプレイシステム８０００と同様に、ディスプレイシステム２１０００はまた、低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御され得る、走査ミラー（例えば、ＭＥＭＳミラー）の形態をとり得る、中心窩トラッカ２１００６を含む。
ディスプレイシステム２１０００はまた、接眼レンズ２１００８に結合される、第１の内部結合格子（ＩＣＧ）２１０１０と、第２のＩＣＧ２１０２０とを含むことができる。接眼レンズ２１００８は、光をその中に伝搬するように構成される、導波管プレートであることができる。第１のＩＣＧ２１０１０および第２のＩＣＧ２１０２０はそれぞれ、その上に入射する光の一部を接眼レンズ２１００８の中に回折するように構成される、回折光学要素（ＤＯＥ）であることができる。第１のＩＣＧ２１０１０は、高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームの一部を接眼レンズ２１００８の中に結合するために、第１の光学経路に沿って位置付けられることができる。第２のＩＣＧ２１０２０は、低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームの一部を接眼レンズ２１００８の中に結合するために、第２の光学経路に沿って位置付けられることができる。
ディスプレイシステム２１０００はまた、第１の切替可能シャッタ２１０３０と、第２の切替可能シャッタ２１０４０とを含むことができる。第１の切替可能シャッタ２１０３０は、第２の光学レンズ（レンズＢ）と第１のＩＣＧ２１０１０との間の第１の光学経路に沿って位置付けられる。第２の切替可能シャッタ２１０４０は、中心窩トラッカと第２のＩＣＧ２１０２０との間の第２の光学経路に沿って位置付けられる。第１の切替可能シャッタ２１０３０および第２の切替可能シャッタ２１０４０の動作は、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームが、時分割多重化シーケンス（例えば、図４２に図示されるように）に従って時分割多重化されるように、相互に同期されることができる。第１の切替可能シャッタ２１０３０は、高ＦＯＶ低分解能画像と関連付けられた第１の時間スロットに対応するある時間周期にわたって、開放され、低ＦＯＶ高分解能画像ストリームと関連付けられた第２の時間スロットの間、閉鎖されることができる。同様に、第２の切替可能シャッタ２１０４０は、第２の時間スロットの間、開放され、第１の時間スロットの間、閉鎖される。
したがって、高ＦＯＶ低分解能画像ストリームは、第１の時間スロットの間（例えば、第１の切替可能シャッタ２１０３０が開放されるとき）、第１のＩＣＧ２１０１０を用いて、接眼レンズ２１００８の中に結合され、低ＦＯＶ高分解能画像ストリームは、第２の時間スロットの間（例えば、第２の切替可能シャッタ２１０４０が開放されるとき）、第２のＩＣＧ２１０２０を用いて、接眼レンズ２１００８の中に結合される。いったん高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームが、接眼レンズ２１００８の中に結合されると、それらは、ユーザの眼の中に誘導および外部結合されてもよい（例えば、外部結合格子によって）。
図４４は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２２０００を図式的に図示する。ディスプレイシステム２２０００は、図３０Ａ－３０Ｂに図示されるディスプレイシステム８０００と共通するいくつかの要素を共有し得る。図３０Ａ－３０Ｂに関連するそれらの要素についての説明は、ここでも同様に適用可能である。画像源２２００２によって提供される高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームは、時分割多重化されることができ、所与の偏光された状態にあることができる。
ディスプレイシステム２２０００は、切替可能偏光回転子２２０１０（例えば、半波の遅延を伴う、強誘電性液晶（ＦＬＣ）セル）を含むことができる。切替可能偏光回転子２２０１０の動作は、切替可能偏光回転子２２０１０が、高ＦＯＶ低分解能画像ストリームの偏光を回転させず（または非常に小量だけ回転させ）、低ＦＯＶ高分解能画像ストリームの偏光を約９０度回転させる（すなわち、位相偏移πを導入する）、またはその逆であるように、時分割多重化（例えば、図４２に図示されるように）において高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされることができる。したがって、切替可能偏光回転子２２０１０を通して通過後、高ＦＯＶ低分解能画像ストリームの偏光は、低ＦＯＶ高分解能画像ストリームの偏光に直交し得る。例えば、高ＦＯＶ低分解能画像ストリームは、ｓ－偏光されることができ、低ＦＯＶ高分解能画像ストリームは、ｐ－偏光されることができる、またはその逆であることができる。他の実施形態では、高ＦＯＶ低分解能画像ストリームは、左回り円偏光であることができ、低ＦＯＶ高分解能画像ストリームは、右回り円偏光であることができる、またはその逆であることができる。
ディスプレイシステム２２０００は、光ビームを、第１の光学経路に沿って第１のＩＣＧ２１０１０に向かって伝搬する、高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームと、第２の光学経路に沿って第２のＩＣＧ２１０２０に向かって伝搬する低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームとに分離するために、偏光ビームスプリッタ２２００４を含むことができる。
ディスプレイシステム２２０００はまた、２つの光学経路のうちの１つに沿って、例えば、図４４に図示されるように、第２の光学経路に沿って位置付けられる、静的偏光回転子２２０２０を含むことができる。静的偏光回転子２２０２０は、２つの画像ストリームが、それぞれ、第１のＩＣＧ２１０１０および第２のＩＣＧ２１０２０に入射するにつれて、実質的に同一偏光を有し得るように、低ＦＯＶ高分解能画像ストリームおよび高ＦＯＶ低分解能画像ストリームのうちの１つの偏光を回転させるように構成されることができる。これは、第１のＩＣＧ２１０１０および第２のＩＣＧ２１０２０が、ある偏光に関してより高い回折効率を有するように設計される場合、有利であり得る。静的偏光回転子２２０２０は、例えば、半波長板であることができる。
図４５は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２３０００を図式的に図示する。ディスプレイシステム２３０００は、図３０Ａ－３０Ｂに図示されるディスプレイシステム８０００と共通するいくつかの要素を共有し得る。図３０Ａ－３０Ｂに関連するそれらの要素についての説明は、ここでも同様に適用可能である。画像源２３００２は、時分割多重化される、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶおよび高分解能画像ストリームを提供するように構成されることができる。
ここでは、ビームスプリッタの代わりに、ディスプレイシステム２３０００は、切替可能反射体２３００４を含む。切替可能反射体２３００４は、入射光ビームが反射される、反射モードと、入射光ビームが透過される、透過モードとに切り替えられることができる。切替可能反射体は、ガラスまたはプラスチック等の基板ホスト媒体に内蔵される液晶を備える、電気活性反射体を含んでもよい。印加される電流の関数として屈折率を変化させる、液晶もまた、使用されてもよい。代替として、ニオブ酸リチウムが、液晶の代わりに、電気活性反射材料として利用されてもよい。切替可能反射体２３００４の動作は、切替可能反射体２３００４が、高ＦＯＶ低分解能画像ストリームが到着すると、反射モードになって、低ＦＯＶ高分解能画像ストリームが到着すると、透過モードになるように、時分割多重化（例えば、図４２に図示されるように）における高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされることができる。したがって、高ＦＯＶ低分解能画像ストリームは、切替可能反射体２３００４によって、第１の光学経路に沿って、第１のＩＣＧ２１０１０に向かって反射されることができ、低ＦＯＶ高分解能画像ストリームは、切替可能反射体２３００４によって、第２の光学経路に沿って第２のＩＣＧ２１０２０に向かって透過されることができる。
代替として、切替可能反射体２３００４は、第１のセットの波長範囲内の光を反射させ、第２のセットの波長範囲内の光を透過させるように構成される、ダイクロイックミラーによって置換されることができる。画像源２３００２は、第１のセットの波長範囲内の高ＦＯＶ低分解能画像ストリームと、第２のセットの波長範囲内の低ＦＯＶ高分解能画像ストリームとを提供するように構成されることができる。例えば、第１のセットの波長範囲は、赤色、緑色、および青色（ＲＧＢ）色に対応し得、第２のセットの波長範囲は、第１のセットの波長範囲のものと異なる色相内のＲＧＢ色に対応し得る。いくつかの実施形態では、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームは、例えば、図４２に図示されるように、時分割多重化される。いくつかの他の実施形態では、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームは、同時に提示される。
（偏光多重化スキーム）
いくつかの実施形態では、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームは、偏光分割多重化されることができる。画像源は、第１の偏光における高ＦＯＶ低分解能画像ストリームを提供するための第１のセットのＲＧＢレーザと、第１の偏光と異なる第２の偏光における低ＦＯＶ高分解能画像ストリームを提供するための第２のセットのＲＧＢレーザとを含むことができる。例えば、高ＦＯＶ低分解能画像ストリームは、ｓ－偏光されることができ、低ＦＯＶ高分解能画像ストリームは、ｐ－偏光されることができ、またはその逆であることができる。代替として、高ＦＯＶ低分解能画像ストリームは、左回り円偏光されることができ、低ＦＯＶ高分解能画像ストリームは、右回り円偏光されることができる、またはその逆であることができる。
図４６は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２５０００を図式的に図示する。ディスプレイシステム２５０００は、図３０Ａ－３０Ｂに図示されるディスプレイシステム８０００と共通するいくつかの要素を共有し得る。図３０Ａ－３０Ｂに関連するそれらの要素についての説明は、ここでも同様に適用可能である。画像源２５００２は、上記に議論されるように、偏光分割多重化される、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶおよび高分解能画像ストリームを提供するように構成されることができる。
ディスプレイシステム２５０００は、光ビームを、第１の光学経路に沿って第１のＩＣＧ２１０１０に向かって伝搬する、高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームと、第２の光学経路に沿って第２のＩＣＧ２１０２０に向かって伝搬する、低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームとに分離するための偏光ビームスプリッタ２５００４を含むことができる。
ディスプレイシステム２５０００はまた、２つの光学経路のうちの１つに沿って、例えば、図４６に図示されるように、第２の光学経路に沿って位置付けられる、静的偏光回転子２５０２０を含むことができる。静的偏光回転子２５０２０は、２つの画像ストリームが、それぞれ、第１のＩＣＧ２１０１０および第２のＩＣＧ２１０２０に入射するにつれて、実質的に同一偏光を有し得るように、低ＦＯＶ高分解能画像ストリームおよび高ＦＯＶ低分解能画像ストリームのうちの１つの偏光を回転させるように構成されることができる。これは、第１のＩＣＧ２１０１０および第２のＩＣＧ２１０２０が、ある偏光に関してより高い回折効率を有するように設計される場合、有利であり得る。静的偏光回転子２５０２０は、例えば、半波長板であることができる。
（Ｖ．接眼レンズと反対側の中に投影された画像を内部結合するための光学アーキテクチャ）
いくつかの実施形態では、相互から側方に分離される２つのＩＣＧ（すなわち、別個の瞳を有する）を有する代わりに、ディスプレイシステムは、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームが、同一ＩＣＧ（すなわち、単一瞳を有する）の反対側上に入射するように構成されることができる。
図４７は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２６０００を図式的に図示する。ディスプレイシステム２６０００は、高ＦＯＶ低分解能画像ストリームを提供するように構成される、第１の画像源２６００２と、低ＦＯＶ高分解能画像ストリームを提供するように構成される、第２の画像源２６００４とを含むことができる。
ディスプレイシステム２６０００はまた、高ＦＯＶ低分解能画像ストリームの第１の光学経路に沿って位置付けられる、第１の光学レンズ（レンズＡ）と、第２の光学レンズ（レンズＢ）とを含むことができる。いくつかの実施形態では、第１の光学レンズおよび第２の光学レンズの組み合わせは、高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームのための１を上回る角度拡大率を提供し、それによって、第１の光ビームのためのより広いＦＯＶをもたらすことができる。
ディスプレイシステム２６０００はまた、接眼レンズ２６００８と、接眼レンズ２６００８に結合される、内部結合格子（ＩＣＧ）２６０１０とを含む。接眼レンズ２６００８は、光をその中に伝搬するように構成される、導波管プレートであることができる。ＩＣＧ２６０１０は、その上に入射する光の一部を接眼レンズ２６００８の中に回折するように構成される、回折光学要素であることができる。高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームが、ＩＣＧ２６０１０の第１の表面２６０１０－１上に入射するにつれて、第１の光ビームの一部は、反射モード（例えば、一次反射）において、接眼レンズ２６００８の中に回折され、これは、次いで、続いて、接眼レンズ２６００８を通して伝搬され、ユーザの眼に向かって外部結合され得る。
ディスプレイシステム２６０００はまた、低ＦＯＶ高分解能画像ストリームの第２の光学経路に沿って位置付けられる、第３の光学レンズ（レンズＣ）と、第４の光学レンズ（レンズＤ）とを含むことができる。いくつかの実施形態では、第３の光学レンズおよび第４の光学レンズの組み合わせは、低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームのための１と実質的に等しいまたは１未満の角度拡大率を提供することができる。したがって、第２の光ビームは、第１の光ビームのものより狭いＦＯＶを有してもよい。
ディスプレイシステム２６０００はさらに、低ＦＯＶおよび高分解能画像ストリームと関連付けられた第２の光ビームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御され得る、走査ミラー（例えば、ＭＥＭＳミラー）等の中心窩トラッカ２６００６を含むことができる。
低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームは、第１の表面２６０１０－２と反対のＩＣＧ２６０１０の第２の表面２６０１０－１上に入射し得る。第２の光ビームの一部は、透過モード（例えば、一次透過）において、接眼レンズ２４０８の中に回折されることができ、これは、次いで、続いて、接眼レンズ２６００８を通して伝搬され、ユーザの眼に向かって外部結合され得る。
上記に説明されるように、ディスプレイシステム２６０００は、図４３－４６に図示されるように、２つの別個のＩＣＧの代わりに、単一ＩＣＧ２６０１０を使用する。これは、接眼レンズの設計を簡略化することができる。
図４８は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２７０００を図式的に図示する。ディスプレイシステム２７０００は、図３０Ａ－３０Ｂに図示されるディスプレイシステム８０００と共通するいくつかの要素を共有し得る。図３０Ａ－３０Ｂに関連するそれらの要素についての説明は、ここでも同様に適用可能である。ディスプレイシステム２７０００は、時分割多重化される、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶおよび高分解能画像ストリームを提供するように構成される、画像源２７００２を含むことができる。いくつかの実施形態では、画像源２７００２は、ピコプロジェクタの形態をとることができる。
ディスプレイシステム２７０００は、画像源２７００２の下流に位置付けられ、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶおよび高分解能画像ストリームを非偏光状態から、Ｓ－偏光およびＰ－偏光またはＲＨＣＰおよびＬＨＣＰ偏光状態等の偏光された状態に変換するように構成される、偏光器２７０１０を含むことができる。
ディスプレイシステム２７０００はさらに、偏光器２７０１０の下流に位置付けられる、切替可能偏光回転子２７０２０を含むことができる。切替可能偏光回転子２７０２０の動作は、切替可能偏光回転子２７０２０が、高ＦＯＶ低分解能画像ストリームの偏光を回転させず（または非常に小量だけ回転させ）、低ＦＯＶ高分解能画像ストリームの偏光を約９０度回転させる（すなわち、位相偏移πを導入する）、またはその逆であるように、時分割多重化において高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされることができる。したがって、切替可能偏光回転子２７０２０を通して通過後、高ＦＯＶ低分解能画像ストリームの偏光は、低ＦＯＶ高分解能画像ストリームの偏光に直交し得る。例えば、高ＦＯＶ低分解能画像ストリームは、ｓ－偏光されることができ、低ＦＯＶ高分解能画像ストリームは、ｐ－偏光されることができる、またはその逆であることができる。他の実施形態では、高ＦＯＶ低分解能画像ストリームは、左回り円偏光されることができ、低ＦＯＶ高分解能画像ストリームは、右回り円偏光されることができる、またはその逆であることができる。
ディスプレイシステム２７０００はさらに、高ＦＯＶ低分解能画像ストリームを第１の光学経路に沿って反射させ、低ＦＯＶ高分解能画像ストリームを第２の光学経路に沿って透過させるように構成される、偏光ビームスプリッタ２７００４を含む。
ディスプレイシステム２７０００はさらに、偏光ビームスプリッタ２７００４の正面に位置付けられる、第１の光学レンズ（レンズＡ）と、第１の光学経路に沿って偏光ビームスプリッタ２７００４の下流に位置付けられる、第２の光学レンズ（レンズＢ）と、第２の光学経路に沿ってビームスプリッタ２７００４の下流に位置付けられる、第３の光学レンズ（レンズＣ）とを含むことができる。いくつかの実施形態では、図３０Ａ－３０Ｂおよび３１Ａ－３１Ｃに関して上記に説明されるように、第１の光学レンズ（レンズＡ）および第２の光学レンズ（レンズＢ）の組み合わせは、１を上回る、高ＦＯＶ低分解能画像ストリームのための角度拡大率を提供することができ、第１の光学レンズ（レンズＡ）および第３の光学レンズ（レンズＣ）の組み合わせは、１と実質的に等しいまたは１未満である、低ＦＯＶ高分解能画像ストリームのための角度拡大率を提供することができる。したがって、高ＦＯＶ低分解能画像ストリームは、低ＦＯＶ高分解能画像ストリームによって投影されたものより広いＦＯＶを伴って、ユーザの眼に投影され得る。
ディスプレイシステム２７０００はさらに、低ＦＯＶおよび高分解能画像ストリームと関連付けられた第２の光ビームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御され得る、走査ミラー（例えば、ＭＥＭＳミラー）等の中心窩トラッカ２７００６を含むことができる。
ディスプレイシステム２７０００はさらに、接眼レンズ２７００８と、接眼レンズ２７００８に結合される、内部結合格子（ＩＣＧ）２７０５０とを含むことができる。接眼レンズ２７００８は、光をその中に伝搬するように構成される、導波管プレートであることができる。ＩＣＧ２７０５０は、その上に入射する光の一部を接眼レンズ２７００８の中に回折するように構成される、回折光学要素であることができる。
ディスプレイシステム２７０００はさらに、第１の光学経路に沿って第２の光学レンズ（レンズＢ）の下流に位置付けられる、第１の反射体２７０３０を含むことができる。第１の反射体２７０３０は、高ＦＯＶ低分解能画像ストリームをＩＣＧ２７０５０に向かって反射させるように構成されることができる。高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビームが、ＩＣＧ２７０５０の第１の表面２７０５０－１上に入射するにつれて、第１の光ビームの一部は、透過モード（例えば、一次透過）において、接眼レンズ２７００８の中に回折され、これは、続いて、接眼レンズ２７００８を通して伝搬し、ユーザの眼に向かって外部結合され得る。
ディスプレイシステム２７０００はさらに、第２の光学経路に沿って中心窩トラッカ２７００６の下流に位置付けられる、第２の反射体２７０４０を含むことができる。第２の反射体２７０４０は、低ＦＯＶ高分解能画像ストリームをＩＣＧ２７０５０に向かって反射させるように構成されることができる。低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビームが、第１の表面２７０５０－１と反対のＩＣＧ２７０５０の第２の表面２７０５０－２上に入射するにつれて、第２の光ビームの一部は、反射モード（例えば、一次反射）において、接眼レンズ２７００８の中に回折され、これは、続いて、接眼レンズ２７００８を通して伝搬し、ユーザの眼に向かって外部結合され得る。
図４９は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム２８０００を図式的に図示する。ディスプレイシステム２８０００は、ディスプレイシステム２７０００に類似するが、ＩＣＧを含まない。代わりに、ディスプレイシステム２８０００は、高ＦＯＶ低分解能画像ストリームを接眼レンズ２７００８の中に結合するための第１の内部結合プリズム２８０３０（ディスプレイシステム２７０００内の第１の反射体２７０３０の代わりに）と、低ＦＯＶ高分解能画像ストリームを接眼レンズ２７００８の中に結合するための第２の内部結合プリズム２８０４０（ディスプレイシステム２７０００内の第２の反射体２７０４０の代わりに）とを含む。第１の内部結合プリズム２８０３０の屈折率および第２の内部結合プリズム２８０４０の屈折率は、高ＦＯＶ低分解能画像ストリームと関連付けられた第１の光ビーム内に含有されるある割合の屈折力および低ＦＯＶ高分解能画像ストリームと関連付けられた第２の光ビーム内に含有されるある割合の屈折力が、それぞれ、第１の内部結合プリズム２８０３０および第２の内部結合プリズム２８０４０によって、接眼レンズ２７００８の中に結合されるように、接眼レンズ２７００８の屈折率に対して好適に選択されることができる。
（ＶＩ．重複光学経路を使用した高視野および高分解能中心窩化ディスプレイ）
いくつかの実施形態では、ディスプレイシステムは、合成画像ストリームを異なる方向に伝搬する２つの画像ストリームに分離するために、ＰＢＳを利用せず、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームが、接眼レンズに提供されるように構成されてもよい。むしろ、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームは、画像源から接眼レンズまで実質的に同一経路をとってもよく、これは、ＰＢＳを取り除き得る。これは、ディスプレイシステムのためのコンパクト形状因子を提供する利点を有し得る。
図５０は、画像ストリームをユーザの眼に投影させるためのディスプレイシステム５００００を図式的に図示する。ディスプレイシステム５００００は、高ＦＯＶ低分解能画像を提供し、また、低ＦＯＶ高分解能画像を提供する（例えば、それぞれ、高ＦＯＶ低ピクセル密度画像ストリームおよび低ＦＯＶ高ピクセル密度画像ストリームを使用して）ように構成される、画像源５０００２（時として、光源とも称される）を含んでもよい。いくつかの実施形態では、画像源５０００２は、高ＦＯＶ低分解能画像ストリームからのフレームを低ＦＯＶ高分解能画像ストリームのフレームでインターリービングすること等によって、時間多重化された様式において、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームを提供してもよい。
ディスプレイシステム５００００はまた、可変光学系５０００４を含んでもよい。いくつかの実施形態では、可変光学系５０００４は、低ＦＯＶ高分解能画像ストリームと関連付けられた光線５００２０のためのものと異なる高ＦＯＶ低分解能画像ストリームと関連付けられた光線５００３０のための角度拡大率を提供し、それによって、高ＦＯＶ低分解能画像ストリームの導波管５００１０から外への投影を可能にし、低ＦＯＶ高分解能画像ストリームによって投影されたものより広いＦＯＶを提供し得る。内部結合された光がＩＣＧ５０００６上に入射する、角度の範囲は、好ましくは、導波管５００１０からのその光を外部結合する際、保存されることを理解されたい。したがって、広範囲の角度でＩＣＧ５０００６上に入射する内部結合された光はまた、外部結合される際、広範囲の角度で導波管５００１０から離れるように伝搬し、それによって、高ＦＯＶおよびさらなる角度拡大率を提供する。逆に言えば、比較的に狭範囲の角度でＩＣＧ５０００６上に入射する光もまた、外部結合される際、狭範囲の角度で導波管５００１０から離れるように伝搬し、それによって、低ＦＯＶおよび低角度拡大率を提供する。
加えて、適切なレベルの角度拡大率を選択するために、可変光学系５０００４は、低ＦＯＶ高分解能画像ストリームと関連付けられた光と異なる光学性質を有するように、高ＦＯＶ低分解能画像ストリームと関連付けられた光を改変してもよい。好ましくは、可変光学系５０００４の機能および各画像ストリームの光の性質は、光の関連性質を変化させることが、可変光学系５０００４によって提供される屈折力および焦点距離を変化させるように整合される。例えば、高ＦＯＶ低分解能画像ストリームは、第１の偏光を有してもよく、低ＦＯＶ低分解能画像ストリームは、第２の偏光を有してもよい。好ましくは、可変光学系５０００４は、所望の屈折力が、特定の関連付けられた偏光の光を提供することによって選択され得るように、それを通して伝搬する光の異なる偏光のために異なる屈折力および異なる焦点距離を提供するように構成される。第１の偏光は、右円偏光（ＲＨＣＰ）、左円偏光（ＬＦＣＰ）、Ｓ－偏光、Ｐ－偏光、別の偏光タイプ、または非偏光であってもよい。第２の偏光は、第１の偏光と異なる限り、右円偏光（ＲＨＣＰ）、左円偏光（ＬＦＣＰ）、Ｓ－偏光、Ｐ－偏光、別の偏光タイプ、または非偏光であってもよい。いくつかの好ましい実施形態では、第１の偏光は、右円偏光（ＲＨＣＰ）および左円偏光（ＬＦＣＰ）のうちの一方であって、第２の偏光は、左円偏光（ＬＦＣＰ）および右円偏光（ＲＨＣＰ）の他方である。
いくつかの実施形態では、可変光学系５０００４の動作は、時分割多重化において、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされてもよい。いくつかの実施形態では、高ＦＯＶストリームの画像フレームは、その所望の偏光および角度拡大率を与えられ、ＩＣＧ５０００６を介して導波管５００１０に結合する一方、低ＦＯＶストリームのインターリーブされたフレームは、その所望の拡大および偏光を与えられ、最初に、ＩＣＧ５０００６を通して通過し、ミラー５０００８に通過され、ユーザの固視点に標的化され、次いで、ＩＣＧ５０００６を介して導波管５００１０に結合される。
ディスプレイシステム５００００はまた、接眼レンズ５００１０と、接眼レンズ５００１０に結合される、偏光に敏感な内部結合格子（ＩＣＧ）５０００６とを含む。接眼レンズ５００１０は、例えば、全内部反射によって、光をその中に伝搬するように構成される、導波管、例えば、プレートであってもよい。偏光に敏感なＩＣＧ５０００６は、その上に入射する光の一部を接眼レンズ５００１０の中に回折するように構成される、偏光に敏感な回折光学要素であってもよい。いくつかの実施形態では、ＩＣＧ５０００６は、特定の偏光を有する入射光が、優先的に、接眼レンズ５００１０の中に回折される一方、少なくとも１つの他の偏光の入射光が、ＩＣＧ５０００６を通して通過するという点で、偏光に敏感であり得る。接眼レンズ５００１０の中に結合せず、ＩＣＧ５０００６を通して通過する、光は、ミラー５０００８に向かって指向され得、これは、ＭＥＭＳミラーであり得、入射光の偏光を切り替えるように構成され得る。第１の実施例として、偏光に敏感なＩＣＧ５０００６は、右円偏光（ＲＨＣＰ）を有する光を導波管の中に結合する一方、左円偏光（ＬＨＣＰ）を有する光をミラー５０００８に向かって通過させ得る。第２の実施例として、偏光に敏感なＩＣＧ５０００６は、ＬＨＣＰを有する光を導波管の中に結合する一方、ＲＨＣＰを有する光をミラー５０００８に向かって通過させ得る。
少なくともいくつかの実施形態では、ミラー５０００８から反射された光は、ＩＣＧ５０００６に向かって指向されてもよい。加えて、ミラー５０００８からの光の反射は、反射された光が、ＩＣＧ５０００６によって回折され、接眼レンズ５００１０の中に結合されることになる所望の偏光を有するように、光の偏光を改変し得る（例えば、光の偏光をＲＨＣＰからＬＨＣＰに反転させる、そしてその逆も同様）。実施例として、ＩＣＧ５０００６が、ＲＨＣＰを有する光を接眼レンズ５００１０の中に結合するように構成される場合、高ＦＯＶストリームと関連付けられた光は、可変光学系５０００４によって、ＲＨＣＰを与えられ、次いで、接眼レンズ５００１０の中に結合され得る。そのような実施例では、低ＦＯＶストリームと関連付けられた光は、ＬＨＣＰ光が、次いで、接眼レンズ５０００１の中に結合せずに、ＩＣＧ５０００６を通して通過し得、代わりに、ミラー５０００８に向かって指向され得るように、可変光学系５０００４によって、ＬＨＣＰを与えられ得る。ミラー５０００８からのＬＨＣＰ光の反射は、光の偏光をＲＨＣＰに反転させ得る。次いで、現時点でＲＨＣＰの光が、ＩＣＧ５０００６に衝打すると、ＩＣＧ５０００６によって、接眼レンズ５００１０の中に結合され得る。類似実施例は、ＩＣＧ５０００６がＬＨＣＰを接眼レンズ５００１０の中に結合するように構成されるときにも適用される。
本明細書に開示されるように、ミラー５０００８は、移動可能なミラー、例えば、走査ミラーであってもよく、中心窩トラッカとして機能してもよい。また、本明細書で議論されるように、ミラー５０００８は、ユーザの眼の決定された固視位置に基づいて、制御および移動／傾斜されてもよい。ミラー５０００８の傾斜は、反射された光を異なる場所において導波管５０００１０の中に内部結合させ、それによって、光をまた、ユーザの眼の中心窩の場所に対応する異なる場所において外部結合させ得る。
図５０を継続して参照すると、光源５０００２は、時間多重化された様式において、高ＦＯＶ低分解能（ＨＦＬＲ）画像ストリームと、低ＦＯＶ高分解能（ＬＦＨＲ）画像ストリームとを生産してもよい。加えて、可変光学系５０００４は、ＨＦＬＲ画像ストリームが、偏光に敏感なＩＣＧ５０００６によって、導波管５００１０の中に結合されるように、ＨＦＬＲ画像ストリームを改変し、特定の偏光（ＲＨＣＰ等）（および関連付けられた角度拡大率）を持たせ得る。可変光学系は、ＬＦＨＲ画像ストリームを改変し、異なる偏光（ＬＨＣＰ等）および関連付けられた角度拡大率を持たせ得る。その結果、ＬＦＨＲ画像ストリームは、偏光に敏感なＩＣＧ５０００６を通して通過し、ミラー５０００８から反射し（偏光をＲＨＣＰに反転させ、ＬＦＨＲ画像をユーザの固視位置に標的化する）、次いで、ＩＣＧ５０００６によって、導波管５００１０の中に結合される。
図５１は、可変光学系５０００４の実装の実施例を図示する。図５１に示されるように、可変光学系５０００４は、偏光器５００１２と、切替可能４分の１波長板（ＱＷＰ）５００１３と、レンズ５００１４と、回折波長板レンズ５００１５と、回折波長板レンズ５００１６と、レンズ５０００１７とから形成されてもよい。これは、単に、可変光学系５０００４の１つの可能性として考えられる実装である。
偏光器５００１２は、光源５０００２からの高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームを、非偏光状態から、Ｓ－偏光およびＰ－偏光またはＲＨＣＰおよびＬＨＣＰ偏光状態等の偏光された状態に変換するように構成されてもよい。
切替可能ＱＷＰ５００１３は、偏光器５００１２から偏光された光を（１）右円偏光（ＲＨＣＰ）または（２）左円偏光（ＬＨＣＰ）のいずれかに変換するように構成されてもよい。
ＱＷＰ５００１３から出射後、光は、レンズ５００１４および回折波長板レンズ５００１５上に入射してもよい。回折波長板レンズ５００１５は、パターン整合された液晶材料を含む、幾何学的位相レンズであってもよい。回折波長板レンズ５００１５は、その掌性に合致する掌性（ＲＨまたはＬＨ）を有する円偏光のための正の屈折力を有してもよく（例えば、正のレンズである）、反対掌性の円偏光のための負の屈折力を有してもよい（例えば、負のレンズである）。回折波長板レンズ５００１５はまた、円偏光の掌性を逆転させる、性質を有してもよい。したがって、回折波長板レンズ５００１５が、右回りであって、ＲＨＣＰ光をレンズ５０００１４から受光する場合、回折波長板レンズ５００１５は、正のレンズとして作用し、光は、回折波長板レンズ５００１５を通して通過後、左回りとなるであろう。
回折波長板レンズ５００１５から出射後、光は、回折波長板レンズ５００１６、次いで、レンズ５００１７上に入射するであろう。回折波長板レンズ５００１６は、回折波長板レンズ５００１５のものに類似する様式で動作してもよい。加えて、回折波長板レンズ５００１６の掌性は、少なくともいくつかの実施形態では、回折波長板レンズ５００１５のものに合致してもよい。そのような配列を用いることで、回折波長板レンズ５００１６の屈折力は、回折波長板レンズ５００１５のものと反対となるであろう。したがって、切替可能ＱＷＰ５００１３が、光に回折波長板レンズ５００１５に合致する偏光を提供する、ある実施例では、レンズ５００１５は、正の屈折力を有し、また、光の掌性を逆転させるであろう。次いで、後続回折波長板レンズ５００１６が、光を受光すると、レンズ５００１５は、その掌性が逆転された後、光を受光するにつれて、負の屈折力を有するであろう。
図５１に示されるタイプの配列を用いることで、可変光学系５０００４は、切替可能ＱＷＰ５００１３が、回折波長板レンズ５００１５の掌性に合致する光を提供すると、第１の角度拡大率を提供してもよく（例えば、レンズ５００１５が、正の屈折力を提供する一方、レンズ５００１６が、負の屈折力を提供するように）、切替可能ＱＷＰ５００１３が、反対掌性の光を提供すると、第２の角度拡大率を提供してもよい（例えば、レンズ５００１５が、負の屈折力を提供する一方、レンズ５００１６が、正の屈折力を提供するように）。他の実施形態では、２つの回折波長板レンズ５００１５および５００１６の掌性は、異なり得る。
ここで図５２Ａ－５２Ｂを参照すると、実施例ＩＣＧ構成に関する付加的詳細が、提供される。例えば、偏光に敏感なＩＣＧは、光が入射するＩＣＧの側に応じて、優先的に、光を特定の側方方向に指向し得ることを理解されたい。例えば、図５２Ａを参照すると、下方からＩＣＧ５０００６上に入射する光は、ページの左に再指向される。しかしながら、上方からＩＣＧ５０００６上に入射する光は、望ましくないことに、導波管のエリアから離れるように、ページの右に向かって指向され、そこから光が視認者に外部結合されるであろう。いくつかの実施形態では、所望の方向に伝搬するように、光を内部結合するために、異なるＩＣＧが、異なる方向または導波管５００１０の側からの光入射のために使用されてもよい。
例えば、いくつかの実施形態では、ディスプレイシステムは、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームが、一対の偏光に敏感な内部結合格子（ＩＣＧ）５０００６および５００４０を使用して、導波管５００１０（接眼レンズであってもよい）の中に結合されるように構成されてもよい。そのような配列は、例えば、下方から（図５０－５３Ｂの視点において）ＩＣＧに衝打する光が、所望の側方方向（左）において、導波管５００１０の中に結合される一方、上方からＩＣＧに衝打する光が、反対方向（右）において導波管５００１０の中に結合される場合、有益であり得る。内部結合格子（ＩＣＧ）格子についてのさらなる詳細は、米国特許出願第１５／９０２，９２７号（その内容は、参照することによって、全体として記載される場合と同様に、その全体として明示的かつ完全に本明細書に組み込まれる）に説明される。
図５２Ａ－５２Ｂは、本発明のいくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム５２０００を図式的に図示し、これは、２つのＩＣＧ５０００６および５００４０を含んでもよい。いくつかの実施形態では、ＩＣＧ５０００６および５００４０は両方とも、同一偏光タイプの光を導波管５００１０の中に結合するように構成されてもよい。実施例として、ＩＣＧ５０００６および５００４０はそれぞれ、左円偏光（ＬＨＣＰ）を有する光を導波管５００１０の中に結合する一方、右円偏光（ＲＨＣＰ）を有する光を通過させ得る。代替として、偏光は、入れ替えられてもよい。
図５２Ａに示されるように、図５０－５１に示されるもの等の光学要素は、左回り円偏光（ＬＨＣＰ）を有する、高ＦＯＶ低分解能画像ストリーム５００３０を提供してもよい。光５００３０は、ＩＣＧ５０００６上に入射してもよい。光５００３０は、ＬＨＣＰであって、ＩＣＧ５０００６は、ＬＨＣＰ光を導波管５００１０の中に結合するように構成されるため、光は、ＩＣＧ５０００６によって、導波管５００１０の中に結合される。
図５２Ｂに示されるように、図５０－５１に示されるもの等の光学要素は、右回り円偏光（ＲＨＣＰ）を有する低ＦＯＶ高分解能画像ストリーム５００２０を提供してもよい（時間多重化された様式において、図５２Ａの画像ストリームとインターリーブされてもよい）。光５００２０は、ＩＣＧ５０００６上に入射してもよい。しかしながら、光５００２０は、ＲＨＣＰであって、ＩＣＧ５０００６は、ＬＨＣＰ光のみを導波管５００１０の中に結合するように構成されるため、光５００２０は、ＩＣＧ５０００６を通して通過する。ＩＣＧ５００４０は同様に、ＬＨＣＰ光のみを導波管５００１０の中に結合するように構成されてもよく、したがって、光はまた、ＩＣＧ５００４０を通して通過してもよい。両ＩＣＧを通して通過後、光５００２０は、ユーザの固視点に基づいて特定の配向にあり得る（種々の節において本明細書に議論されるように）、移動可能なミラー５０００８上に入射してもよい。ミラー５０００８から反射後、光５００２０の偏光は、反転されてもよく、したがって、光は、ここでＬＨＣＰとなる。次いで、光５００２０は、ＩＣＧ５００４０上に入射してもよく、これは、現時点でＬＨＣＰの光５００２０を導波管５００１０の中に結合してもよい。
いくつかの実施形態では、ディスプレイシステムは、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームが、同一偏光を有する光によって形成されるように構成されてもよい。その結果、両画像ストリームは、そのＩＣＧの同一側上に入射することに応じて、同一ＩＣＧによって内部結合され得る。
図５３Ａ－５３Ｂは、本発明のいくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム５３０００を図式的に図示し、これは、単一ＩＣＧ５０００６と、切替可能反射体５００４２とを含んでもよい。切替可能反射体５００４２は、十分に高レートで、実質的透過状態と実質的反射状態との間で切り替える、液晶ベースの平面デバイスであってもよい。すなわち、切替可能反射体５００４２の切替レートは、好ましくは、高ＦＯＶ低分解能画像ストリームおよび低ＦＯＶ高分解能画像ストリームのインターリーブされたフレームとの協調を可能にするために十分に高い。例えば、切替可能反射体５００４２は、好ましくは、高および低ＦＯＶ分解能画像ストリームが切り替えられるにつれて、少なくとも同一レートで反射性状態と透過性状態との間で切り替えることが可能である。
図５３Ａに示されるように、ＩＣＧ５０００６は、高ＦＯＶ低分解能画像ストリーム５００３０を図５０－５１に示されるもの等の光学要素から受光してもよい。実施例として、画像ストリームは、左回り円偏光（ＬＨＣＰ）を有してもよい。画像ストリーム５００３０の光は、ＩＣＧ５０００６上に入射してもよい。しかしながら、ＩＣＧ５０００６は、ＲＨＣＰ光を結合し、ＬＨＣＰ光を通過させるように構成されてもよい。したがって、ＬＨＣＰ光５００３０は、ＩＣＧ５０００６を通して通過し得る。光は、次いで、その反射状態に構成され得る（システムが高ＦＯＶ低分解能画像ストリーム５００３０を投影させる間）切替可能反射体５００４２上に入射してもよい。したがって、画像ストリーム５００３０の光は、切替可能反射体５００４２から反射し、それによって、その偏光の掌性を逆転させてもよい。切替可能反射体５００４２、５００３０から反射後、光は、再び、ＩＣＧ５０００６上に入射してもよく、ＩＣＧ５０００６は、現時点でＲＨＣＰの光５００３０を導波管５００１０の中に結合してもよい。
図５３Ｂに示されるように、図５０－５１に示されるもの等の光学要素は、左回り円偏光（ＬＨＣＰ）を有する低ＦＯＶ高分解能画像ストリーム５００２０を提供してもよい。本配列は、低ＦＯＶ画像ストリーム５００２０の偏光が高ＦＯＶ画像ストリーム５００３０の偏光に合致するという点で、若干異なる。そのような配列は、図５０－５１に示される可変光学系５０００４の修正を使用して達成されてもよい。実施例として、付加的偏光器、例えば、切替可能偏光器が、レンズ５００１７とＩＣＧ５０００６との間に提供されてもよい。
図５３Ｂにおける低ＦＯＶ高分解能ＬＨＣＰ光５００２０に戻ると、光５００２０は、ＩＣＧ５０００６上に入射する。しかしながら、ＩＣＧ５０００６は、ＲＨＣＰを導波管５００１０の中に結合するように構成される。したがって、光５００２０は、ＩＣＧ５０００６を通して通過する。光５００２０は、次いで、その透過状態にあるように構成され得る（システムが低ＦＯＶ高分解能光５００２０を投影させる間）、切替可能反射体５００４２上に入射する。したがって、光は、切替可能反射体５００４２を通して通過し、ミラー５０００８上に入射し、随意に、ミラー５０００８によって、ユーザの固視点上に標的化され得る（種々の節において本明細書に議論されるように）。ミラー５０００８から反射後、光５００２０の偏光は、反転されてもよく、したがって、光は、ここでＲＨＣＰとなる。次いで、光５００２０は、ＩＣＧ５０００６上に入射してもよく、これは、現時点でＲＨＣＰの光５００２０を導波管５００１０の中に結合してもよい。ミラー５０００８は、中心窩追跡を提供するように構成されてもよく、および／またはウェアラブル光学５０００４（図５０－５１）の異なる焦点距離を考慮して、ＩＣＧ５０００６から十分に離間され、集束された画像を提供し得ることを理解されたい。（３次元中心窩化レンダリング）
本明細書に説明されるように、ウェアラブルディスプレイシステム（例えば、ウェアラブルディスプレイシステム６０）は、拡張または仮想現実コンテンツをユーザに提示してもよい。コンテンツを提示する（例えば、本明細書に説明されるような仮想コンテンツ）ために要求される処理力を低減させ、したがって、加えて、電力要件を低減させる試みとして、図１０Ａ－２３および関連議論は、ユーザの視野内のその個別の３次元場所に基づいて、仮想コンテンツの種々のディスプレイ特性を調節するステップを説明する。例えば、ユーザが固視している３次元場所に近接して提示される仮想コンテンツは、高分解能で提示（例えば、レンダリング）され得る。別の実施例として、仮想コンテンツの分解能は、ユーザの固視点からの仮想コンテンツの３次元距離に基づいて、低減され得る。分解能における低減をユーザの３次元固視点との近接度に結び付けることによって、システムは、有利には、本明細書に議論されるように、それに対してそのような分解能における低減が知覚可能である範囲を限定し得る。
分解能は、仮想オブジェクトへの任意の修正を包含し、仮想オブジェクトの提示の品質を改変してもよい。そのような修正は、仮想オブジェクトのポリゴン数を調節するステップ、仮想オブジェクトを生成するために利用されるプリミティブを調節するステップ（例えば、プリミティブの形状を調節するステップ、例えば、プリミティブを三角形メッシュから四辺形メッシュ調節するステップ等）、仮想オブジェクト上で実施される動作（例えば、シェーダ動作）を調節するステップ、テクスチャ情報を調節するステップ、色分解能または深度を調節するステップ、レンダリングサイクルの数またはフレームレートを調節するステップ等（グラフィック処理ユニット（ＧＰＵ）のグラフィックパイプライン内の１つ以上の点における品質を調節するステップを含む）のうちの１つ以上のものを含んでもよい。加えて、いくつかの実施形態では、ユーザの固視点に近接して位置する仮想コンテンツは、固視点からより遠い仮想コンテンツより高いリフレッシュレートで提示されてもよい。
上記に説明されるように、図１０Ａは、ユーザの固視点（例えば、３次元輻輳・開散運動点１００６）に近接して位置する、仮想オブジェクト１００８Ａを図示する。図１０Ａの実施例では、仮想オブジェクト１００８Ａは、レンダリングされたフレーム１０１０内に高分解能でユーザに提示（例えば、レンダリング）される。対照的に、固視点からより遠くに位置する、仮想オブジェクト１００８Ｂは、レンダリングされたフレーム１０１０内に低分解能でレンダリングされる。仮想コンテンツをレンダリングすべき分解能を識別するために、ウェアラブルディスプレイシステムは、ユーザの視野を異なる分解能調節ゾーンに分離し得る。例えば、図１１Ａ１は、ユーザの視野内の空間の異なる３次元体積を包含する、例示的分解能調節ゾーン（本明細書では、「ゾーン」とも称される）を図示する。図示されるように、各分解能調節ゾーンは、特定の分解能を割り当てられ得る。図１１Ａ１の実施例では、割り当てられる分解能は、分解能調節ゾーン内に位置する仮想コンテンツをレンダリングするステップと関連付けられたポリゴン数を表す。図１１Ａ２－１１Ｅは、ユーザの３次元視野を分解能調節ゾーンに分離するためのいくつかの付加的例示的スキームを図示する。
上記に説明されるように、これらの分解能調節ゾーンは、ユーザ設定に従ってカスタマイズされてもよい。例えば、ユーザは、分解能調節ゾーンのサイズ、形状、場所等を更新してもよい。加えて、アプリケーションまたはコンテンツが、これらの分解能調節ゾーンの設定を更新してもよい。実施例として、第１のアプリケーションは、分解能が、ユーザの固視点までの距離に基づいて、急減することを選好し得る。第１のアプリケーションは、ぼかしを通して顕著な被写界深度の調節を実装し、ぼけ等をユーザの固視点から離れて位置する仮想コンテンツに適用してもよい。したがって、第１のアプリケーションは、映画的効果をユーザに提示されている仮想コンテンツに提供し得る。
分解能の調節が低知覚能力を有する（例えば、実質的に知覚不能である）ことを確実にするために、ウェアラブルディスプレイシステムは、実験的に決定されたスキームを利用して、異なるように位置する仮想コンテンツをレンダリングすべき分解能を識別してもよい。例えば、ウェアラブルディスプレイシステムを利用するユーザは、ユーザ自身の視知覚に基づいて、システムを訓練してもよい。ウェアラブルディスプレイシステムは、異なるタイプの仮想コンテンツをユーザに提示してもよい。ウェアラブルディスプレイシステムはまた、ユーザから受信された応答に基づいて、これらのタイプの提示をカスタマイズしてもよい。別の実施例として、ウェアラブルディスプレイシステムは、多数のユーザからの集約された情報を利用して、分解能を調節するための標準的スキームを識別してもよい。図５４－５９は、図１１Ａ１－１１Ｅに図示される分解能調節ゾーンの形状、サイズ等を決定するための技法を説明する。下記の説明は、分解能調節ゾーンによって包含される角距離を識別するステップに焦点を当てるが、下記の説明は、少なくとも図１１Ａ１－１１Ｅに説明されるゾーンのいずれかに適用されてもよいことを理解されたい。
図５４は、例示的分解能分布５４１０とともに、ユーザの視野角の表現５４０２を図示する。本例証では、ユーザの視野は、視野の中心５４０４からの角距離に従って分離される。中心５４０４は、ユーザの視野の中心窩領域に対応し得、これは、図５４の実施例では、視野の５度に及ぶ。したがって、ユーザは、中心５４０４内にある仮想オブジェクトの微細な詳細を分解および識別することが可能であり得る。視野の他の部分（例えば、部分５４０８）は、中心５４０４からより遠くに位置し、ユーザは、これらの部分内の仮想コンテンツに対して低減された視力を有し得る。例えば、ユーザは、部分５４０８に提示される仮想コンテンツにおける微細な詳細を分解することが不可能であり得る。本実施例では、ユーザは、その眼を回転または調節し、本仮想コンテンツを固視し、したがって、中心５４０４を偏移させ得る。したがって、仮想コンテンツは、中心５４０４のより近くまたはその中に提示され得る。
ユーザの視野５４０２の表現５４０２は、加えて、ユーザに可視の実世界空間の３次元体積全体を包含し得る。すなわち、表現５４０２は、（例えば、ｚ軸に沿った）ユーザの視野のスライスであり得る。したがって、表現５４０２は、２つの軸（例えば、ＸおよびＺ軸）に沿って延在し得る。表現５４０２は、残りの第３の軸（例えば、Ｙ軸）に沿って延在されてもよく、本明細書に説明される技法は、依然として、利用され得ることを理解されたい。例えば、本明細書では、中心窩ゾーン５４０６（例えば、そのために仮想コンテンツがユーザの中心窩上に提示される、ゾーン）と称される、ゾーンは、第３の軸に沿って延在されてもよい。
理論によって制約されるわけではないが、ユーザはまた、中心窩ゾーン５４０６の外側にある、仮想コンテンツの詳細を識別するための十分な視力も有し得る。例えば、中心窩ゾーン５４０６は、中心窩に対応し得るが、高分解能ゾーン５４１８は、中心窩ゾーン５４０６から閾値角距離内にある、仮想オブジェクトを包含し得る。高分解能ゾーン５４１８は、例えば、中心窩、傍中心窩帯、傍中心窩外側領域等を含んでもよい。図示されるように、高分解能ゾーン５４１８は、１８度であるように表される。したがって、本高分解能ゾーン５４１８内に提示される仮想コンテンツの分解能の低減は、知覚可能であり得る。高分解能ゾーン５４１８は、したがって、そのために仮想コンテンツが閾値（例えば、最低分解能５４１６）を上回る分解能でレンダリングされる、高分解能領域またはトンネルを表し得る。説明されるであろうように、高分解能ゾーン５４１８内に提示される仮想コンテンツは、分解能分布５４１０に従って低減された分解能でレンダリングされ得る。
図５４の例示的分解能分布５４１０は、中心窩ゾーン５４０６を高分解能ゾーン５４１８のプラトーとして識別する。例えば、分布５４１０は、ガウス分布、優ガウス分布、正規または「釣鐘曲線」分布、コーシー分布等であってもよい。いくつかの実施形態では、分布５４１０は、線形帯域通過フィルタ、パルス成形フィルタ、および他のタイプの信号処理フィルタを含む、種々の異なるタイプのフィルタのいずれかのうちの１つの周波数応答を説明する関数の数学的等価物または類似物の関数によって統制され得る。例えば、これらの実施形態のうちの少なくともいくつかでは、分布５４１０は、レイズドコサインフィルタ、ルートレイズドコサインフィルタ、シンクフィルタ、ガウスフィルタ、バターワースフィルタ、チェビシェフフィルタ、ベッセルフィルタ等の周波数応答を説明するものに相当または類似する数学的関数によって統制され得る。図示されるように、分布５４１０は、視野の中心からの仮想コンテンツの角距離に基づいて、仮想コンテンツをレンダリングすべき分解能を識別する。分布５４１０は、角距離に依存するように図示されるが、分布５４１０はさらに、深度にも依存し得る（例えば、同一角距離に沿った異なる深度は、異なる分解能でレンダリングされ得る）ことを理解されたい。例えば、図５６に説明されるであろうように、分解能分布５４１０は、多変量正規分布であり得る。
ウェアラブルディスプレイは、少なくとも部分的に、分布５４１０を利用して、仮想コンテンツをレンダリングしてもよい。例えば、中心窩ゾーン５４０６内の仮想コンテンツは、最大分解能でレンダリングされてもよい。しかしながら、本中心窩ゾーン５４０６の外側に提示される仮想コンテンツは、減少分解能でレンダリングされてもよい。図５４は、任意の角距離に関して、特定の分解能が分布５４１０に基づいて決定され得ることを図示する。しかしながら、角距離の範囲は、同一分解能を割り当てられてもよいことを理解されたい。例えば、高分解能ゾーン５４１８は、ユーザの視野の中心の両側の特定の角距離から延在してもよい。随意に、本高分解能ゾーン５４１８に提示される仮想コンテンツは、同一分解能でレンダリングされてもよい。加えて、別の実施例ゾーン（例えば、高分解能ゾーン５４１８の外側の中分解能ゾーン）は、第１の角距離５４１２Ａおよび第２の角距離５４１２Ｂによって定義されてもよい。随意に、本中分解能ゾーンに提示される仮想コンテンツは、同一分解能（例えば、部分内の任意の角距離に割り当てられる最大分解能、平均分解能、最低分解能等）を割り当てられてもよい。図５４は、中心窩ゾーン５４０６、高分解能ゾーン５４１８、および中分解能ゾーン（例えば、角距離５４１２Ａ、５４１２Ｂ間）を図示するが、分解能分布５４１０は、多数のゾーンに細分割されてもよいことを理解されたい。
例示的分解能分布５４１０は、少なくとも部分的に、中心窩ゾーン５４０６およびロールオフ５４１４に基づいてもよい。図１１Ａ１、１１Ｃ、および１２Ａを参照して上記に述べられたように、いくつかの実施例では、分解能分布５４１０のロールオフ５４１４等の分解能分布のロールオフ属性は、分解能におけるドロップオフに対応し得る。ガウス性である分布５４１０の実施例に関して、ロールオフ５４１４は、分散量および／または標準偏差と関連し得る。随意に、ロールオフ５４１４は、視野の度あたり弧分で測定されてもよい。優ガウス分布に関して、ロールオフ５４１４は、加えて、正規ガウスの指数の内容がある累乗数で累乗される程度に関連し得る。分布５４１０が、レイズドコサインフィルタ等のフィルタの周波数応答を説明するものに相当または類似する数学的関数によって統制され得る、実施形態では、ロールオフ５４１４は、関数のロールオフ係数（β）に対応し得る。したがって、ロールオフ５４１４は、いったん角距離が中心窩ゾーン５４０６の外側に延在すると分解能がいかに速く低減するかを伝え得る。
下記で説明されるであろうように、ウェアラブルディスプレイシステムは、中心窩ゾーン５４０６およびロールオフ５４１４のために利用するための値を学習し得る。例えば、第１のユーザは、第２のユーザより大きい角距離を包含する、中心窩ゾーン５４０６を有し得る。別の実施例として、第１のユーザは、第２のユーザと同一の中心窩ゾーン５４０６の角距離を有し得る一方、ロールオフ５４１４は、第２のユーザより大きいまたはより小さくあり得る。別の実施例として、ウェアラブルディスプレイシステムは、多数のユーザから集約された情報を利用してもよい。例えば、システムは、ユーザ毎に、同一中心窩ゾーン５４０６角距離を利用してもよい。ユーザは、次いで、角距離を調節し、その一意の視覚系のためのウェアラブルディスプレイシステムの機能を改良してもよい。
異なるユーザが異なる中心窩ゾーンおよびロールオフを利用することに加え、ウェアラブルディスプレイシステムは、中心窩ゾーンによって包含される角距離をカスタマイズし、および／または提示されている仮想コンテンツのタイプに従ってロールオフをカスタマイズしてもよい。例えば、ビデオゲームと関連付けられた仮想コンテンツは、自然の要素（例えば、その視野内に位置する仮想木々）を備える仮想コンテンツよりユーザに知覚可能であり得る。実施例として、ビデオゲームコンテンツは、ユーザが以前に見たことがある実世界コンテンツに類似していない場合がある。すなわち、ビデオゲームは、空想的状況、キャラクタ等を提示し得、これは、仮想木々、仮想灌木等よりユーザに知覚可能であり得る。別の実施例として、図５５Ｃに説明されるであろうように、ビデオゲームコンテンツは、仮想木々より変動される周波数スペクトルを有し得る。したがって、本実施例では、随意に、ウェアラブルディスプレイシステムは、中心窩ゾーンによって包含される角距離を増加させてもよい。随意に、ウェアラブルディスプレイシステムは、異なるタイプの仮想コンテンツが提示されるにつれて、ロールオフを調節してもよい。例えば、ロールオフは、自然仮想コンテンツよりビデオゲームに関して大きくてもよい。本実施例では、ロールオフは、より大きいため、分布５４１０の急峻度は、低減され得る。したがって、システムは、ビデオゲームのための仮想コンテンツを自然仮想コンテンツと同一以上の分解能でレンダリングしてもよい。
これらの値は、随意に、異なる分解能調節ゾーンのサイズ、形状等を伝えるために利用されてもよい（例えば、図１０Ａ－１４において上記に説明されるように）。例えば、中心窩ゾーン５４０６は、仮想コンテンツの最高分解能に対応してもよい。加えて、中心窩ゾーン５４０６の外側の１つ以上の付加的ゾーンは、仮想コンテンツを提示すべきより低い分解能を割り当てられてもよい。図５５Ａ－５５Ｄは、提示される仮想コンテンツのタイプに基づく中心窩ゾーン５４０６およびロールオフ５４１４の変動とともに、これらの付加的ゾーンの実施例を図示する。
図５５Ａは、仮想コンテンツのタイプに基づいて分解能分布のためのロールオフを識別するための例示的スキームを図示する。上記に説明されるように、分解能分布は、ウェアラブルディスプレイシステムによって、ユーザの視野の中心からのその角距離に基づいて、仮想コンテンツをレンダリングすべき分解能を識別するために利用されてもよい。分解能分布は、ロールオフの値とともに、中心窩ゾーンによって包含される角距離の値を利用してもよい。
中心窩ゾーンおよびロールオフのための好適な値を識別するために、ユーザは、ウェアラブルディスプレイシステムを介して、その視野の周縁において、低分解能仮想コンテンツを提示されてもよい。例えば、ウェアラブルディスプレイシステムは、仮想コンテンツを提示すべき角距離を選択してもよい。随意に、ウェアラブルディスプレイシステムは、仮想コンテンツを提示すべき角距離および深度を選択してもよい。ユーザは、次いで、仮想コンテンツがぼけて現れる、または別様に、品質において知覚可能に低減されて現れるかどうかを示してもよい。例えば、仮想コンテンツは、低下された分解能で提示され得る、または、ぼかしがそれに適用されて提示され得る。周縁は、規定された中心窩ゾーンの外側の角距離を包含し得る。例えば、中心窩ゾーンは、眼の生理学的特性に基づいて、視野の中心からの角距離の特定の範囲を包含し得る。図５５Ａの実施例では、中心窩ゾーンは、ユーザの視野の４度を包含すると規定される。すなわち、中心窩ゾーンは、ユーザの視野の中心から２度の半径を有する。
随意に、上記に説明されるように、ディスプレイシステムは、ユーザの特定の眼移動（例えば、サッカード）の間、仮想コンテンツの提示を更新してもよい。本実施例では、中心窩ゾーンのサイズは、サッカードの速度、および随意に、システム待ち時間等のディスプレイシステムのパラメータに依存し得る。待ち時間は、仮想コンテンツを取得し、ユーザへの提示を更新するステップと関連付けられた待ち時間を含み得る。中心窩ゾーンのサイズは、したがって、随意に、以下の式に基づいて決定され得る。
図５５Ａは、提示される仮想コンテンツがぼけて現れるかどうかを示すように要求された、異なる参加者５５０８に関する例示的結果５５０２を図示する。上記に説明されるように、仮想コンテンツは、中心窩ゾーンの外側に提示され得る。参加者５５０８に提示される仮想コンテンツは、タイプに従って分離され得る。例示的タイプ５５０４は、アクションビデオゲーム、自然、または都市場面を含んでもよい。参加者が、仮想コンテンツがぼけて現れると示した場合、分解能分布と関連付けられたロールオフは、特定のステップサイズだけ増加され得る。いったんロールオフが増加されると、仮想コンテンツは、再び、参加者に提示されてもよい。すなわち、ウェアラブルディスプレイシステムは、仮想コンテンツを増加されたロールオフに基づいて決定された新しい分解能でレンダリングしてもよい。したがって、参加者は、提示される仮想コンテンツがぼけて現れない、ロールオフを規定し得る。
参加者からの応答に基づいて、参加者毎のロールオフ５５０６が、識別されてもよい。例えば、仮想コンテンツは、各参加者から異なる角距離に提示されてもよい。図５４に説明されるように、異なる分解能が、角距離に基づいて、仮想コンテンツをレンダリングするために利用されてもよい。各参加者は、次いで、参加者が仮想コンテンツがぼけていると識別することができなくなるまで、ロールオフの増加を生じさせてもよい。システムは、次いで、仮想コンテンツの分解能における低減が知覚可能ではない参加者に関して、最低ロールオフを決定してもよい。グラフ５５０２に図示されるように、各参加者は、参加者に提示される仮想コンテンツのタイプ５５０４に従って、特定のロールオフ５５０６を規定している。下記でさらに詳細に説明されるであろうように、仮想コンテンツのタイプ５５０４がロールオフ５５０２に影響を及ぼし得ることの実験的に決定された結果に基づいて、ウェアラブルディスプレイシステムは、ユーザに提示されている仮想コンテンツのタイプを監視してもよい。したがって、仮想コンテンツのタイプが変化するにつれて、ウェアラブルディスプレイシステムは、仮想コンテンツの分解能を調節するための技法を修正してもよい。
図５５Ａはさらに、２つの例示的分解能調節ゾーン５５１２、５５１４とともに、例示的ディスプレイ錐台５５１０を図示する。第１の分解能調節ゾーン５５１２は、４度の直径を有するものとして示される。本第１の分解能調節ゾーン５５１２は、したがって、上記に説明される中心窩ゾーン５４０６に対応し得る。参加者５５０８の集約された応答から決定されたロールオフ５５０６に基づいて、第２の分解能調節ゾーン５５１４に関する角距離が、決定され得る。例えば、システムは、ロールオフ５５０６の中心傾向の測定値（例えば、平均値、中央値等）を決定してもよい。本中心傾向の測定値に基づいて、システムは、それに関して分解能が閾値を上回る、第１の分解能調節ゾーン５５１２の外側に延在する角距離を決定してもよい。図５４に説明される例示的分解能調節分布５４１０に関して、閾値は、分布５４１０上に図示される低分解能５４１６を上回り得る。別の実施例として、閾値は、角距離５４１２Ａに割り当てられる分解能を上回り得る。
図５５Ａの実施例では、第２の分解能調節ゾーン５５１４は、第１の分解能調節ゾーン５５１２の縁よりさらに「８．７」度延在すると決定されている。したがって、決定されたゾーン（例えば、高分解能ゾーン５１１８）は、ユーザの視野の「２１．４」度の角距離を包含する。随意に、仮想コンテンツをレンダリングするとき、ウェアラブルディスプレイシステムは、第２の分解能調節ゾーン５５１４内にある全ての仮想コンテンツを同一分解能でレンダリングしてもよい。例えば、分解能は、第２の分解能調節ゾーン５５１４によって包含される角距離の範囲に関する分解能の平均であり得る。随意に、第２の分解能調節ゾーン５５１４の外側では、ウェアラブルディスプレイシステムは、全ての仮想コンテンツを最低分解能でレンダリングしてもよい。随意に、ウェアラブルディスプレイシステムはさらに、これらの分解能調節ゾーン５５１２、５５１４を分離してもよい。例えば、第２の分解能調節ゾーン５５１４は、付加的分解能調節ゾーンに細分割されてもよい。これらの細分割された分解能調節ゾーンはそれぞれ、仮想コンテンツをレンダリングすべき特定の分解能を割り当てられてもよい。
上記の説明は、異なる参加者５５０８を使用して、ロールオフ値を識別するステップに焦点を当てるが、上記に説明される技法は、ユーザ毎にカスタマイズされてもよいことを理解されたい。例えば、ウェアラブルディスプレイシステムは、ウェアラブルディスプレイシステムのユーザのための訓練ルーチンを実施してもよい。システムは、上記に説明されるように、仮想コンテンツを低減された分解能でユーザの周縁に提示してもよい。ユーザは、次いで、仮想コンテンツが品質において知覚可能に低減されていないときを示し、したがって、ユーザのためのロールオフを伝え得る。ウェアラブルディスプレイシステムは、次いで、その後、本ロールオフを利用してもよい。
図５５Ｂは、仮想コンテンツのタイプに基づいて分解能分布のためのロールオフを識別するための例示的スキームを図示する。図示されるように、中心窩ゾーンは、「８」度の角距離を包含するものとして示される。図５５Ａと対照的に、中心窩ゾーンは、本実施例では、より大きい。上記に説明されるように、ウェアラブルディスプレイシステムは、低減された分解能の仮想コンテンツをユーザにその周縁（例えば、中心窩ゾーンの外側）において提示してもよい。ユーザは、次いで、ロールオフの値を増加させ、したがって、同一角距離における仮想コンテンツをより高い分解能でレンダリングさせ得る。ユーザは、仮想コンテンツが分解能において知覚可能に低減されなくなるまで、ロールオフの増加を継続させ得る。
図示されるように、グラフ５５１２は、参加者５５０８に提示される仮想コンテンツのタイプ５５０４に従って参加者５５０８のために決定された、例示的ロールオフ５５１２を提示する。例示的ロールオフに基づいて、第１および第２の分解能調節ゾーン５５２０、５５２２が、決定され得る。例えば、平均ロールオフが、例示的ロールオフ５５１２から決定され得る。随意に、誤対応（例えば、ロールオフ５５２４）は、破棄され得る。平均ロールオフは、次いで、第２の分解能調節ゾーン５５２２の角距離を決定するために利用され得る。第１の分解能調節ゾーン５５２０、例えば、中心窩ゾーンによって包含される角距離は、上記に説明されるように、８度である。本角距離および決定されたロールオフ５５１６に基づいて、第２の分解能調節ゾーン５５２２のための角距離が、第１のゾーン５５２０の縁から「５．５」度延在するものとして示される。第１および第２のゾーン５５２０、５５２２は、したがって、ユーザの視野の１９度を包含する。したがって、第２の分解能調節ゾーン５５２２は、図５５Ｂの第２の分解能調節ゾーン５５１４より小さい角距離を包含する。
図５５Ｃは、異なるタイプの画像コンテンツのために決定された平均ロールオフのグラフ５５３０を図示する。図５５Ｃは、中心窩ゾーンによって包含される異なる角距離のためのロールオフを図示する。例えば、図５５Ａの第１の中心窩ゾーン５５３２は、ユーザの視野の４度を包含する。別の実施例として、図５５Ｂの第２の中心窩ゾーン５５３４は、ユーザの視野の８度を包含する。これらの異なる中心窩ゾーン５５３２、５５３４は、異なる決定された平均ロールオフをもたらし得る。図示されるように、第１の中心窩ゾーン５５３２は、より大きい平均ロールオフ、したがって、第２の中心窩ゾーン５５３４より大きい第２の分解能調節ゾーンによって包含される角距離を要求し得る。
上記に説明されるように、平均ロールオフは、参加者に提示されている画像コンテンツのタイプに依存する。実際、ロールオフは、変動される周波数依存性に伴って、画像コンテンツに関してより大きくなると決定され得る。すなわち、自然または閑静な街並の場面を例証する、仮想コンテンツは、平坦空間周波数スペクトルに対して逆空間周波数スペクトル（例えば、パワースペクトル密度は、周波数に反比例する）を有し得る。対照的に、ビデオゲームアクションを例証する、仮想コンテンツは、より変動される周波数スペクトルを有し得る。したがって、合成画像を例証する、仮想コンテンツは、自然画像を例証する、仮想コンテンツと比較して、より段階的ロールオフを要求する傾向にあり得る。
図５５Ｄは、提示される画像ノイズの異なるタイプに関して決定された平均ロールオフのグラフ５５４０を図示する。提示されるノイズのタイプは、ピンクノイズ５５４２およびホワイトノイズ５５４４を含む。当技術分野において公知のように、ホワイトノイズは、周波数が略平坦であるパワースペクトル密度を伴う、信号を含む。ピンクノイズは、周波数に反比例するパワースペクトルを伴う、信号を含む。したがって、ピンクノイズに関して、より高い周波数の強度は、ホワイトノイズと比較して低減される。ピンクノイズは、強度においてより高い周波数を低減させるため、ピンクノイズに一致する仮想コンテンツは、あまり無秩序またはランダムではなくユーザに現れ得ることが理解され得る。したがって、ユーザは、その周縁に提示されるとき、ピンクノイズがぼけているかどうかを識別することがほぼ不可能であり得る。対照的に、ホワイトノイズは、より顕著であり得る（例えば、ホワイトノイズは、ユーザにより鮮明に現れ得る）。したがって、ユーザは、その周縁に提示されるとき、ホワイトノイズが分解能において低減されているかどうかを識別することがより可能であり得る。
図５５Ｄに図示されるように、平均ロールオフが、上記に説明される中心窩ゾーンの異なる角距離に関して決定された（例えば、４度５５４６および８度５５４８）。本明細書に説明される理論に従って、ホワイトノイズ５５４４のための平均ロールオフは、ピンクノイズ５５４２のための平均ロールオフを上回ると決定された。すなわち、ホワイトノイズは、図５５Ａ－５５Ｃに説明される自然仮想コンテンツよりビデオゲーム仮想コンテンツに類似する。同様に、本例証では、「高分解能トンネル」と称される、中心窩ゾーンおよび第２の分解能調節ゾーン（例えば、図５５Ａ－５５Ｂに図示されるように）によって包含される角距離は、ピンクノイズ５５４２よりホワイトノイズ５５４４に関して大きい。すなわち、ホワイトノイズ５５４４のために決定されたロールオフは、より大きいため、対応する分解能分布の幅（例えば、図５４における分布５４１０に図示されるように）もまた、大きくなり得る。したがって、ホワイトノイズ５５４４のための分解能分布は、それに関して分解能が閾値を上回る（例えば、低分解能５４１６を上回る）、より大きい角距離を包含する。
したがって、分解能分布は、中心窩ゾーンおよびロールオフの特徴に基づき得ることを理解されたい。実施例として、中心窩ゾーンは、中心窩ゾーンによって包含される角距離に基づいて定義されてもよい。例えば、図５５Ｂに関して、例示的角距離は、８度であり得る。ガウスまたはレイズドコサイン分布である、分解能分布に関して、中心窩ゾーンは、したがって、プラトー部分（例えば、図５４におけるプラトー５４０６）に対応し得る。上記に説明されるように、ロールオフも、加えて、分解能分布に影響を及ぼし得る。例えば、ロールオフは、仮想オブジェクトが中心窩ゾーンからより遠くに位置するにつれて、分解能を急減させ得る。
いくつかの実施形態では、分解能分布のある特徴は、動作の間、調節されてもよい。例えば、ロールオフが、調節されてもよい。本実施例では、ロールオフは、実施例として、ユーザ選好に基づいて調節されてもよい（例えば、ユーザは、低減された分解能に気付き、その結果、固視点からの距離に伴ってより段階的なロールオフを規定してもよい）。別の実施例として、プラトー幅（例えば、中心窩ゾーンによって包含される角距離）が、調節されてもよい。いくつかの実施形態では、分解能分布のある特徴は、動作の間、一定に保持されてもよい。例えば、分解能分布下面積は、一定に保持されてもよい。本実施例では、平均値（例えば、分布の平均）は、平均分解能が達成され得るように、一定に保持されてもよい。したがって、ロールオフが、調節される場合、プラトー幅が、調節されてもよい。同様に、プラトー幅は、調節される場合、ロールオフが、調節されてもよい。実施例として、ディスプレイシステムは、ピクセルを動的に再分布させ得る（例えば、ユーザの視野の所与の領域内の分解能が動的に増減され得るように）が、実際には、仮想コンテンツを再提示するために利用可能なピクセルの総量を調節しなくてもよい。
いくつかの実施形態では、分解能分布のある特徴は、制約を有してもよい。例えば、中心窩ゾーンによって包含される角距離は、最小値（例えば、最小プラトー幅）を有してもよい。別の実施例として、分解能分布は、具体的最小幅（例えば、平均ヒト中心窩の角度幅または中心窩化ゾーンの半径方向サイズ）を決して下回らないように、制約されてもよい。
（例示的フローチャート）
図５６は、分解能分布において利用されるべきロールオフを決定するための例示的プロセス５６００のフローチャートを図示する。便宜上、プロセス５６００は、ディスプレイシステム（例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を１つ以上のコンピュータまたは他の処理の外部システムに提供し、例えば、処理を外部システムにオフロードし、外部システムからの情報を受信し得る、ウェアラブルディスプレイシステム６０）によって実施されるように説明され得る。
プロセス５６００は、ユーザが、ディスプレイシステムをユーザの特定の視力に訓練するステップを説明する。ユーザは、ユーザの視野の周縁（例えば、中心窩ゾーンの外側）における仮想コンテンツを視認し得、仮想コンテンツがぼけて現れるかどうかを規定し得る。ユーザが、仮想コンテンツがぼけていると明確に規定する場合、ディスプレイシステムは、分解能分布と関連付けられたロールオフを増加させ得る。同一または異なる仮想コンテンツが、次いで、ユーザに提示され得る。ロールオフが増加されたため、仮想コンテンツは、より高い分解能でレンダリングされ得る。ユーザは、次いで、ロールオフが依然としてぼけて現れるかどうかを示し得る。このように、ディスプレイシステムは、分解能における低減が知覚不能であるように、ユーザのためのロールオフを決定し得る。加えて、図５５Ａ－５５Ｄにおいて上記に説明されるように、プロセス５６００は、多数のユーザのために実施されてもよい。これらのユーザの応答に基づいて、平均ロールオフが、決定されてもよい。本平均ロールオフは、次いで、全てのユーザのために使用されてもよい。例えば、平均ロールオフは、デフォルトロールオフとして使用されてもよい。ユーザは、次いで、本明細書に説明される技法に従って、本平均ロールオフを調節してもよい。
ブロック５６０２では、ディスプレイシステムは、分解能分布を識別する情報にアクセスする。ユーザの視野内に位置する仮想コンテンツをレンダリングすべき分解能を識別するために、ディスプレイシステムは、分解能分布（例えば、図５４に図示される分解能分布５４１０）を利用してもよい。上記に説明されるように、分解能分布は、ユーザの視野の中心からの仮想コンテンツの角距離に基づいて、分解能の選択を伝え得る。下記に説明されるであろうように、分解能分布と関連付けられた形状を伝えるために、ディスプレイシステムは、分解能分布において利用されるロールオフ（例えば、ガウスロールオフ）を調節してもよい。
ブロック５６０４では、ディスプレイシステムは、特定のタイプの仮想コンテンツを取得する（ブロック５６０４）。図５５Ａ－５５Ｄに関して上記に説明されるように、ユーザは、あるタイプの仮想コンテンツの分解能における低減に気付く能力が高くあり得るため、ディスプレイシステムは、有利には、異なるタイプの仮想コンテンツを提示してもよい。例えば、タイプは、ビデオゲーム仮想コンテンツ、自然ベースの仮想コンテンツ、オフィスベースの仮想コンテンツ（例えば、ドキュメント、スプレッドシート、アニメーション等）、閑静な街並の場面、郊外の場面（例えば、木々、家）等を含み得る。ブロック５６０４では、ディスプレイシステムは、したがって、これらの異なるタイプの中から選択し得る。例えば、ディスプレイシステムは、特定のタイプの仮想コンテンツを選択し、次いで、ディスプレイシステムのユーザがロールオフの調節を中止するまで、選択されたタイプの仮想コンテンツを提示し続け得る。
ブロック５６０６では、ディスプレイシステムは、取得された仮想コンテンツを中心窩ゾーンの外側にレンダリングする。ディスプレイシステムは、アクセスされた分解能分布に基づいて、取得された仮想コンテンツをレンダリングすべき分解能を識別してもよい（例えば、最高分解能から低減される）。少なくとも図１２Ａに関して上記に説明されるように、ディスプレイシステムは、ユーザが固視している、点を決定してもよい。本固視点（例えば、３次元固視点）は、ユーザの視野の中心として利用されてもよい。上記に説明されるように、分解能分布は、少なくとも部分的に、中心窩ゾーンによって包含される角距離の値およびロールオフの値によって定義され得る。ディスプレイシステムは、したがって、取得された仮想コンテンツをレンダリングすべきユーザの視野の決定された中心からの角距離を選択し得る。
例えば、図５４に関して、ディスプレイシステムは、随意に、中心窩ゾーン５４０６の縁を上回るが、低または最低分解能５４１６に対応する縁未満の角距離を利用してもよい。例えば、角距離は、上記に説明されるように、高分解能ゾーン、中分解能ゾーン等内に含まれ得る。ディスプレイシステムは、次いで、選択された角距離および分解能分布に基づいて、仮想コンテンツをレンダリングすべき分解能を取得してもよい。随意に、上記に説明されるように、分解能分布は、ゾーンに分割されてもよい。本実施例では、ディスプレイシステムは、選択された角距離を含むゾーン内では、最大分解能を利用してもよい。別の実施例として、ディスプレイシステムは、ゾーン内で平均分解能を利用してもよい。
さらに、分解能分布は、角距離に沿った深度に依存し得る。すなわち、図１１Ａ１－１１Ｅにおいて上記に説明されるように、仮想コンテンツをレンダリングすべき分解能は、ユーザの固視点からの仮想コンテンツの３次元距離に依存し得る。上記の説明は、角距離に焦点を当てているが、ブロック５６０２においてアクセスされる分解能分布は、深度情報を含んでもよいことを理解されたい。したがって、分解能分布は、例えば、多変量正規分布であってもよい。本実施例では、ディスプレイシステムは、ユーザからの角距離、および随意に、深度を選択してもよい。図１１Ａ１－１１Ｅに説明されるように、増加された深度は、分解能における低減を生じさせ得る。しかしながら、中心窩ゾーン内に含まれる角距離に関して、角距離に沿った任意の深度における仮想コンテンツは、高分解能でレンダリングされてもよい。
ディスプレイシステムは、次いで、レンダリングされた仮想コンテンツをディスプレイシステムのユーザに提示してもよい。例えば、仮想コンテンツは、選択された角距離に提示されてもよい（例えば、仮想コンテンツの重心は、選択された角距離に沿った３次元場所に対応してもよい）。別の実施例として、仮想コンテンツは、上記に説明されるように、ユーザからの特定の深度に提示されてもよい。
ブロック５６０８では、ディスプレイシステムは、仮想コンテンツが分解能において低減されている場合、ユーザが検出し得るかどうかを示す、応答を受信する。例えば、ディスプレイシステムは、１つ以上のデバイス（例えば、コントローラ、遠隔装置等）から取得されるユーザ入力に応答し得る。別の実施例として、ディスプレイシステムは、ユーザの手または他の四肢の移動を監視してもよい。本実施例では、ディスプレイシステムは、ユーザが、特定の手運動を実施し、ぼかしが明白であることを示している（例えば、ユーザは、その手を往復して振ってもよい）ことを決定してもよい。別の実施例として、ユーザの頭部を左右に揺動させることで、応答を示してもよい。例えば、応答は、ユーザがぼかしを検出することができないような「いいえ」を示してもよい。同様に、ユーザの頭部を上下に揺動させることで、ユーザがぼかしを検出し得るような「はい」を示してもよい。
ユーザが、仮想コンテンツが分解能において低減されていることを検出し得る場合、ブロック５６１０において、ディスプレイシステムは、ロールオフを増加させてもよい。例えば、ロールオフは、特定のステップサイズ、０．３、０．６、０．７、または１．１弧分／度等ずつ増加されてもよい。ディスプレイシステムは、次いで、増加されたロールオフに基づいて、同一または異なる仮想コンテンツをレンダリングしてもよい。ブロック５６０６－５６１０は、ユーザが分解能における低減を識別することができないことを示すまで、繰り返されてもよい。
ユーザが、仮想コンテンツが分解能において低減されていることを検出することができない場合、ブロック５６１２において、ディスプレイシステムは、ロールオフを記憶してもよい。随意に、記憶されたロールオフは、その後、ユーザのために利用されてもよい。ロールオフは、上記に説明されるように、仮想コンテンツのタイプに依存し得るため、ディスプレイシステムは、異なるタイプのためのロールオフを決定してもよい。あるタイプの仮想コンテンツを提示するとき、ディスプレイシステムは、随意に、そのタイプに特有のロールオフを利用してもよい。
図５７は、仮想コンテンツのタイプに従って仮想コンテンツを提示するためのプロセス５７００の例示的フローチャートを図示する。便宜上、プロセス５７００は、ディスプレイシステム（例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を１つ以上のコンピュータまたは他の処理の外部システムに提供し、例えば、処理を外部システムにオフロードし、外部システムからの情報を受信し得る、ウェアラブルディスプレイシステム６０）によって実施されるように説明され得る。
ブロック５７０２では、ディスプレイシステムは、ユーザの固視点を決定する。例えば、固視点は、３次元固視点であり得る。少なくとも図１２Ａに関して上記に説明されるように、ディスプレイシステムは、ユーザの眼を監視し、各眼から延在するベクトルが交差する場所（例えば、輻輳・開散運動点）を識別してもよい。
ブロック５７０４では、ディスプレイシステムは、提示されるべき仮想コンテンツと関連付けられた場所情報を取得する。ディスプレイシステムは、特定の仮想コンテンツが提示されるべき３次元場所等の場所を識別してもよい。図５４－５７に説明されるように、場所は、随意に、極座標（例えば、ユーザの視野の中心からの角度およびその角度に沿った距離）に従って規定されてもよい。
ブロック５７０６では、ディスプレイシステムは、分解能修正パラメータを識別または取得する。例示的分解能修正パラメータは、仮想コンテンツのタイプであってもよい。別の例示的分解能修正パラメータは、ユーザ選好を含んでもよい。例えば、ユーザ選好は、分解能分布への調節を示してもよい（例えば、図５６に説明されるように）。特定のコンテンツがカテゴリ化され得る、タイプの実施例に関して、ディスプレイシステムは、随意に、タイプを示す、メタデータまたは他の情報にアクセスしてもよい。本実施例では、ユーザが、ビデオゲームをプレーしている場合、ディスプレイシステムは、ビデオゲームを規定する情報にアクセスしてもよい。別の実施例として、ディスプレイシステムは、仮想コンテンツのパワースペクトル密度を分析してもよい。ディスプレイシステムは、次いで、仮想コンテンツが特定のタイプの仮想コンテンツ（例えば、本明細書に説明されるように、ビデオゲームデータ、自然等）により類似するかどうかを識別してもよい。本実施例では、ディスプレイシステムは、周波数スペクトルが変動される、または周波数スペクトルが特定のタイプのノイズ（例えば、ピンクノイズ、ホワイトノイズ）により近いことを決定してもよい。これらの比較に基づいて、ディスプレイシステムは、取得された仮想コンテンツに最も近いタイプの仮想コンテンツを選択してもよい。
ブロック５７０８では、ディスプレイシステムは、仮想コンテンツをレンダリングすべき分解能を識別する。図５４に説明されるように、ディスプレイシステムは、分解能分布を利用して、分解能を識別してもよい。取得された仮想コンテンツの場所情報および仮想コンテンツの識別されたタイプに基づいて、ディスプレイシステムは、特定の分解能分布を利用することを選好してもよい。例えば、特定の分解能分布は、仮想コンテンツの識別されたタイプのために決定されたロールオフを有してもよい（例えば、図５６に説明されるように）。随意に、２つ以上のタイプの仮想コンテンツに類似する、仮想コンテンツのタイプに関して、ディスプレイシステムは、それぞれに特有の分解能分布の特性を組み合わせてもよい。例えば、ディスプレイシステムは、中心窩ゾーンのサイズの平均値またはロールオフの平均値を利用してもよい。別の実施例として、システムは、ロールオフの最大値を利用して、仮想コンテンツが最高分解能でレンダリングされることを確実にしてもよい。
ブロック５７１０では、ディスプレイシステムは、仮想コンテンツをレンダリングする。ディスプレイシステムは、したがって、仮想コンテンツを識別された分解能でレンダリングし得る。上記に説明されるように、ユーザは、ユーザが提示される仮想コンテンツ内のぼかしを識別する場合、分解能分布を更新してもよい。例えば、ユーザは、ウェアラブルディスプレイシステムの設定を介して、ロールオフを更新してもよい。別の実施例として、ユーザは、仮想コンテンツを特定のタイプに対応すると分類してもよい。このように、ディスプレイシステムが、ブロック５７０６において、仮想コンテンツのタイプを正しくなく識別する場合、ユーザは、分類を更新してもよい。
（仮想コンテンツの分解能を調節する）
仮想コンテンツは、処理および電力要件を低減させるために、分解能において調節されてもよい。分解能を調節する実施例は、例えば、ポリゴン数、テクスチャ情報、シェーダまたは照明効果等を調節するステップを含んでもよい。少なくとも図１１Ａ－１１Ｅに関して上記に説明されるように、異なる分解能調節ゾーンが、利用されてもよい。各ゾーン内に位置する仮想コンテンツは、そのゾーンに関して割り当てられた、または決定された分解能に基づいて、調節されてもよい。上記に説明されるように、特定の分解能調節ゾーン（例えば、中心窩ゾーン）は、ユーザの視野内の特定の角距離を包含し得、本特定の分解能調節ゾーン内の仮想コンテンツは、最高分解能でレンダリングされ得る。
本明細書では、高分解能ゾーンまたはトンネル（例えば、図５４に図示される高分解能ゾーン５４１８）と称される、ユーザの視野の一部は、中心窩ゾーンと、中心窩ゾーンから外向きに延在する、１つ以上のゾーンとを包含し得る。本高分解能ゾーンに提示される仮想コンテンツに関して、ディスプレイシステムは、仮想コンテンツをレンダリングすべき分解能を識別し得る。図５５Ａ－５５Ｄに図示されるように、高分解能ゾーンの例示的角距離は、ユーザの視野の約１８度～約２０度を包含し得る。本例示的角距離は、随意に、１つ以上の誤差源に起因して、増加され得る。加えて、本例示的角距離は、ユーザの盲点を考慮して、その中にノッチを含んでもよい。本ノッチ内に位置する仮想コンテンツは、有利には、分解能において低減され得る。
分解能調節ゾーンの縁に近接して位置する、仮想コンテンツに関して、または縁を包含する、仮想コンテンツに関して、ディスプレイシステムは、分解能調節ゾーンと関連付けられた分解能分布、サイズ、位置、および／または幾何学形状を調節してもよい。随意に、仮想コンテンツが、比較的に顕著なコントラストである場合、ディスプレイシステムは、上記に説明されるパラメータを調節してもよい。これは、分解能調節ゾーン（例えば、中心窩ゾーンと周囲ゾーン）間の境界が、顕著なコントラストのそのような縁または境界線の存在下、ユーザにより判別可能になり得るためである。
加えて、分解能を調節するステップは、ディスプレイシステムが、ユーザの視野の異なる部分と関連付けられたリフレッシュレートを調節するステップを含んでもよい。例えば、少なくとも図４３に関して上記に説明されるように、ディスプレイシステム２１０００は、中心窩トラッカ２１００６を含んでもよく、これは、走査ミラー（例えば、ＭＥＭミラー）の形態をとってもよい。本実施例では、ディスプレイシステム２１０００は、少なくとも２つの多重化された仮想コンテンツ画像（例えば、時間または偏光において多重化された）を利用して、高分解能および低分解能の両方の仮想コンテンツをユーザに提示してもよい。これらの異なる分解能は、（例えば、上記に説明されるような）同一ＭＥＭＳミラーを介して、生成されてもよい。図３８Ａ－３８Ｂに説明されるように、低視野を伴う高分解能画像（例えば、画像ストリーム１６０２０）は、ユーザの中心視覚内に位置付けられてもよく、本来のＭＥＭＳ投影野に対応してもよい。高視野を網羅する、低分解能画像、例えば、画像ストリーム１６０１０）は、ＭＥＭＳ投影野の光学的に拡張されたバージョンであってもよい。高分解能低視野領域は、例えば、眼トラッカに基づいて、追跡されてもよい。これは、ＭＥＭＳミラーのためのより低い走査角度および速度要件を有効にし得る。
下記に説明されるであろうように、ディスプレイシステムは、随意に、ぼかしをこれらの分解能調節ゾーンの縁に近接して位置する仮想コンテンツに適用してもよい。図５８Ａ－５９は、分解能調節ゾーン間のぼかし領域の実施例を図示する。これらのぼかし領域は、より高い分解能調節ゾーンとより低い分解能調節ゾーンとの間の境界を隠蔽するために利用されてもよい。
図５８Ａは、２つの例示的ぼかし領域５８０２、５８０８を図示する。ぼかし領域は、少なくとも部分的にぼかし領域内に位置する仮想コンテンツをぼけさせ、したがって、低分解能ゾーン（例えば、ゾーン５８０６）とより高い分解能ゾーン（例えば、ゾーン５８０４）との間の遷移をマスクする。例えば、部分的に低分解能ゾーン５８０６内に、かつ部分的にぼかし領域５８０２内に位置する、仮想コンテンツは、低分解能ゾーン５８０６に対応する分解能でレンダリングされ得る。ぼかしは、したがって、それに対してユーザが低減された分解能を認知する、範囲を限定し得る。随意に、仮想コンテンツは、高分解能ゾーン５８０８に従ってレンダリングされてもよく、ぼかし領域５８０６の中に延在する部分は、ぼかされてもよい。ぼかし領域５８０２、５８０８は、特定のサイズおよび／または形状であってもよい。例えば、ぼかし領域は、スターバーストパターンを形成してもよい。本スターバーストパターンは、随意に、図１１Ａ－１１Ｅに説明される技法に従って、深度において延在されてもよい。
図１４において上記に説明されるように、例示的ぼかしプロセスは、ディスプレイシステムが、ぼかしと関連付けられたカーネル（例えば、ぼけ効果、ボックスぼかし等を再現するため等のガウスカーネル、円形カーネル）の畳み込みをコンテンツに対して実施するステップを含んでもよい。このように、分解能における低減は、マスクされ得る一方、分解能を低減させることからの処理節約が、維持され得る。随意に、ぼかしプロセスと関連付けられた強度（例えば、コンテンツがぼかされる程度）は、ユーザの固視点とコンテンツとの間の深度の差異および／またはコンテンツとユーザの視線の角度近接度に基づき得る。例えば、ぼかしの程度は、ユーザの視線との近接度の増加に伴って、増加し得る。
図５８Ｂは、２つの付加的例示的ぼかし領域５８１４－５８１８を図示する。これらのぼかし領域５８１４－５８１８は、図５８Ａのぼかし領域に類似し得るが、形状、サイズ等のうちの１つ以上のものにおいて異なり得る。例えば、ぼかし領域５８１４のスターバーストパターンは、ぼかし領域５８０２、５８０８のスターバーストパターンより大きくあり得る。加えて、部分５８２０に関して、２つのぼかし領域が、図示される。例えば、ぼかし領域５８１６は、低分解能のゾーンを中分解能のゾーンから分離し得る。加えて、ぼかし領域５８１８は、中分解能のゾーンを高分解能のゾーンから分離し得る。
図５９は、本明細書に説明される技法による、異なる分解能調節ゾーンの実施例５９００を図示する。例証では、第１のゾーン５９０２は、中心窩ゾーンに対応し得る。上記に説明されるように、中心窩ゾーンは、ユーザの固視点５９０３を包含し得る。加えて、（例えば、第１のゾーン５９０２の外側の）第２のゾーン５９０４が、第３のゾーン５９０６とともに図示される。これらの分解能調節ゾーンはそれぞれ、ゾーン内に位置する仮想コンテンツの分解能を特定の分解能でレンダリングさせ得る。加えて、ゾーン間の縁（例えば、縁５９０８）は、図５８Ａ－５８Ｂに図示されるように、ぼかし領域と関連付けられてもよい。
説明される実施形態の種々の側面、実施形態、実装、または特徴は、別個に、または任意の組み合わせにおいて使用されることができる。説明される実施形態の種々の側面は、ソフトウェア、ハードウェア、またはハードウェアおよびソフトウェアの組み合わせによって実装されることができる。説明される実施形態はまた、製造動作を制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、または製造ラインを制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、具現化されることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られ得るデータを記憶し得る、任意のデータ記憶デバイスである。コンピュータ可読媒体の実施例は、読取専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＨＤＤ、ＤＶＤ、磁気テープ、および光学データ記憶デバイスを含む。コンピュータ可読媒体はまた、コンピュータ可読コードが分散方式において記憶および実行されるように、ネットワーク結合されたコンピュータシステムを経由して分散されることができる。
前述の説明は、解説の目的のために、説明される実施形態の徹底的な理解を提供するために具体的名称を使用した。しかしながら、具体的詳細は、説明される実施形態を実践するために要求されないことが当業者に明白となるであろう。したがって、具体的実施形態の前述の説明は、例証および説明の目的のために提示される。それらは、包括的であること、または説明される実施形態を開示される精密な形態に限定することを意図していない。多くの修正および変形例が、上記の教示に照らして、可能性として考えられることが当業者に明白となるであろう。
また、本明細書に説明される、および／または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、および遠隔データリポジトリ（１６０）のうちの１つ以上のものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本実施形態に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件付き用語は、別様に具体的に記述されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることを意図していることを理解されたい。したがって、そのような条件付き用語は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態のためにいかようにも要求されること、または１つ以上の実施形態が、著者の入力またはプロンプトの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるものであるべきかどうかを決定するための論理を必然的に含むことを合意することを意図していない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されていない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれてもよい。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられてもよい。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合には、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
故に、請求項は、本明細書に示される実装に限定されることを意図しておらず、本明細書に開示される本開示、原理、および新規の特徴と一致する最も広い範囲を与えられるものである。

Claims (20)

  1. 頭部搭載型ディスプレイシステムであって、
    波面発散の複数のレベルを伴う光を出力するように構成されるディスプレイであって、波面発散の異なるレベルは、ユーザの眼の固視点からの異なる距離に対応する、ディスプレイと、
    １つ以上のプロセッサと、
    １つ以上のコンピュータ記憶媒体であって、前記１つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    前記ユーザの眼の前記固視点を決定することと、
    前記ディスプレイを介して前記ユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得することと、
    前記第１の仮想オブジェクトの分解能修正パラメータを取得することと、
    前記第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することであって、前記特定の分解能は、前記固視点からの対応する距離に関する分解能を規定する分解能分布に基づき、前記特定の分解能を識別することは、異なる分解能を波面発散の異なるレベルと関連付けることを含み、前記ユーザの視野は、前記分解能分布に基づいて、複数の部分に分離され、特定の深度または深度の範囲に対して、各部分は、仮想コンテンツをレンダリングすべき関連付けられた分解能を割り当てられる、ことと、
    前記ディスプレイを介して、前記識別された分解能と関連付けられる波面発散のレベルを伴う、前記ディスプレイから光を出力することによって、前記識別された分解能でレンダリングされた前記第１の仮想オブジェクトの前記ユーザへの提示を生じさせることと
    を含む動作を実施させる、１つ以上のコンピュータ記憶媒体と
    を備える、頭部搭載型ディスプレイシステム。
  2. 前記分解能修正パラメータは、前記第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、前記動作はさらに、
    複数の分解能分布にアクセスすることであって、前記複数の分解能分布は、個別のコンテンツタイプと関連付けられる、ことと、
    前記複数の分解能分布から、前記第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択することであって、前記特定の分解能は、前記特定の分解能分布を含む、ことと
    を含む、請求項１に記載の頭部搭載型ディスプレイシステム。
  3. 前記第１の仮想オブジェクトと関連付けられたコンテンツタイプは、前記第１の仮想オブジェクトと関連付けられた空間周波数スペクトルに基づいて識別される、請求項２に記載の頭部搭載型ディスプレイシステム。
  4. 前記複数の分解能分布は、前記固視点から離れた分解能における個別のロールオフと関連付けられ、前記ロールオフの値は、異なる空間周波数スペクトルを伴うコンテンツに関して異なる、請求項３に記載の頭部搭載型ディスプレイシステム。
  5. 前記分解能修正パラメータは、ユーザ選好に基づいて調節可能である、請求項１に記載の頭部搭載型ディスプレイシステム。
  6. 前記ディスプレイは、前記特定の分解能を調節するように構成され、前記特定の分解能を調節することは、
    前記ディスプレイを介して、第２の仮想オブジェクトの前記ユーザへの提示を生じさせることであって、前記第２の仮想オブジェクトは、前記第１の仮想オブジェクトのために識別された分解能分布でレンダリングされる、ことと、
    前記ユーザから、前記第２の仮想オブジェクトの分解能における低減のユーザ検出を示す応答を受信することであって、前記応答は、前記ユーザ選好である、ことと、
    前記特定の分解能分布を調節することと
    を含む、請求項５に記載の頭部搭載型ディスプレイシステム。
  7. 前記特定の分解能分布を調節することは、
    前記特定の分解能分布と関連付けられたロールオフを調節することであって、ロールオフを調節することは、前記ユーザの視野の中心からの距離に基づいて、分解能低減の量を変化させる、こと
    を含む、請求項６に記載の頭部搭載型ディスプレイシステム。
  8. 前記固視点は、前記ユーザの視野の中心における体積内にある、請求項１に記載の頭部搭載型ディスプレイシステム。
  9. 前記動作はさらに、
    前記複数の部分のうちの１つの境界に対する前記第１の仮想オブジェクトの近接度を決定することと、
    前記決定された近接度に基づいて、前記第１の仮想オブジェクトがレンダリングされる分解能を修正することと
    を含む、請求項１に記載の頭部搭載型ディスプレイシステム。
  10. 前記決定された近接度に基づいて、前記第１の仮想オブジェクトがレンダリングされる分解能を修正することは、ぼかしプロセスを前記仮想オブジェクトに適用することを含む、請求項９に記載の頭部搭載型ディスプレイシステム。
  11. 前記第１の仮想オブジェクトをレンダリングすべき前記特定の分解能を識別することは、
    前記第１の仮想オブジェクトを包含する前記複数の部分のうちのある部分を識別することと、
    前記第１の仮想オブジェクトを包含する前記部分に基づいて、前記分解能を識別することと
    を含む、請求項１に記載の頭部搭載型ディスプレイシステム。
  12. コンピュータ実装方法であって、前記方法は、１つ以上のプロセッサを備える頭部搭載型ディスプレイシステムによって実施され、前記方法は、
    ユーザの眼の固視点を決定することと、
    波面発散の複数のレベルを伴う光を出力するように構成されるディスプレイを介して前記ユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得することであって、波面発散の異なるレベルは、前記ユーザの眼の前記固視点からの異なる距離に対応する、ことと、
    前記第１の仮想オブジェクトの分解能修正パラメータを取得することと、
    前記第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することであって、前記特定の分解能は、前記固視点からの対応する距離に関する分解能を規定する分解能分布に基づき、前記特定の分解能を識別することは、異なる分解能を波面発散の異なるレベルと関連付けることを含み、前記ユーザの視野は、前記分解能分布に基づいて、複数の部分に分離され、特定の深度または深度の範囲に対して、各部分は、仮想コンテンツをレンダリングすべき関連付けられた分解能を割り当てられる、ことと、
    前記ディスプレイを介して、前記識別された分解能と関連付けられる波面発散のレベルを伴う、前記ディスプレイから光を出力することによって、前記識別された分解能でレンダリングされた前記第１の仮想オブジェクトの前記ユーザへの提示を生じさせることと
    を含む、コンピュータ実装方法。
  13. 前記分解能修正パラメータは、前記第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、前記方法はさらに、
    複数の分解能分布にアクセスすることであって、前記複数の分解能分布は、個別のコンテンツタイプと関連付けられる、ことと、
    前記複数の分解能分布から、前記第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択することであって、前記特定の分解能は、前記特定の分解能分布を含む、ことと
    を含む、請求項１２に記載のコンピュータ実装方法。
  14. 前記第１の仮想オブジェクトと関連付けられたコンテンツタイプは、前記第１の仮想オブジェクトと関連付けられた空間周波数スペクトルに基づいて識別される、請求項１３に記載のコンピュータ実装方法。
  15. 前記複数の分解能分布は、前記固視点から離れた分解能における個別のロールオフと関連付けられ、前記ロールオフの値は、異なる空間周波数スペクトルを伴うコンテンツに関して異なる、請求項１３に記載のコンピュータ実装方法。
  16. 前記分解能修正パラメータは、ユーザ選好に基づいて調節可能である、請求項１３に記載のコンピュータ実装方法。
  17. 非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサの頭部搭載型ディスプレイシステムによって実行されると、前記１つ以上のプロセッサに、
    ユーザの眼の固視点を決定することと、
    波面発散の複数のレベルを伴う光を出力するように構成されるディスプレイを介して前記ユーザに提示されるべき第１の仮想オブジェクトと関連付けられた場所情報を取得することであって、波面発散の異なるレベルは、前記ユーザの眼の前記固視点からの異なる距離に対応する、ことと、
    前記第１の仮想オブジェクトの分解能修正パラメータを取得することと、
    前記第１の仮想オブジェクトの場所情報および分解能修正パラメータに基づいて、前記第１の仮想オブジェクトをレンダリングすべき特定の分解能を識別することであって、前記特定の分解能は、前記固視点からの対応する距離に関する分解能を規定する分解能分布に基づき、前記特定の分解能を識別することは、異なる分解能を波面発散の異なるレベルと関連付けることを含み、前記ユーザの視野は、前記分解能分布に基づいて、複数の部分に分離され、特定の深度または深度の範囲に対して、各部分は、仮想コンテンツをレンダリングすべき関連付けられた分解能を割り当てられる、ことと、
    前記ディスプレイを介して、前記識別された分解能と関連付けられる波面発散のレベルを伴う、前記ディスプレイから光を出力することによって、前記識別された分解能でレンダリングされた前記第１の仮想オブジェクトの前記ユーザへの提示を生じさせることと
    を含む動作を実施させる、非一過性コンピュータ記憶媒体。
  18. 前記分解能修正パラメータは、前記第１の仮想オブジェクトと関連付けられたコンテンツタイプを含み、前記動作はさらに、
    複数の分解能分布にアクセスすることであって、前記複数の分解能分布は、個別のコンテンツタイプと関連付けられる、ことと、
    前記複数の分解能分布から、前記第１の仮想オブジェクトのコンテンツタイプに基づいて、特定の分解能分布を選択することであって、前記特定の分解能は、前記特定の分解能分布を含む、ことと
    を含む、請求項１７に記載の非一過性コンピュータ記憶媒体。
  19. 前記第１の仮想オブジェクトと関連付けられたコンテンツタイプは、前記第１の仮想オブジェクトと関連付けられた空間周波数スペクトルに基づいて識別される、請求項１８に記載の非一過性コンピュータ記憶媒体。
  20. 前記複数の分解能分布は、前記固視点から離れた分解能における個別のロールオフと関連付けられ、前記ロールオフの値は、異なる空間周波数スペクトルを伴うコンテンツに関して異なる、請求項１８に記載の非一過性コンピュータ記憶媒体。
JP2020548949A 2018-03-16 2019-03-15 ディスプレイシステムのための深度ベースの中心窩化レンダリング Active JP7381482B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023129981A JP2023138738A (ja) 2018-03-16 2023-08-09 ディスプレイシステムのための深度ベースの中心窩化レンダリング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862644366P 2018-03-16 2018-03-16
US62/644,366 2018-03-16
PCT/US2019/022619 WO2019178566A1 (en) 2018-03-16 2019-03-15 Depth based foveated rendering for display systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023129981A Division JP2023138738A (ja) 2018-03-16 2023-08-09 ディスプレイシステムのための深度ベースの中心窩化レンダリング

Publications (3)

Publication Number Publication Date
JP2021518679A JP2021518679A (ja) 2021-08-02
JPWO2019178566A5 JPWO2019178566A5 (ja) 2022-03-23
JP7381482B2 true JP7381482B2 (ja) 2023-11-15

Family

ID=67904123

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020548949A Active JP7381482B2 (ja) 2018-03-16 2019-03-15 ディスプレイシステムのための深度ベースの中心窩化レンダリング
JP2023129981A Pending JP2023138738A (ja) 2018-03-16 2023-08-09 ディスプレイシステムのための深度ベースの中心窩化レンダリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023129981A Pending JP2023138738A (ja) 2018-03-16 2023-08-09 ディスプレイシステムのための深度ベースの中心窩化レンダリング

Country Status (5)

Country Link
US (3) US11238836B2 (ja)
EP (1) EP3765943A4 (ja)
JP (2) JP7381482B2 (ja)
CN (1) CN112136094A (ja)
WO (1) WO2019178566A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL303678A (en) 2016-11-18 2023-08-01 Magic Leap Inc A waveguide light multiplexer using crossed gratings
CN110679147B (zh) 2017-03-22 2022-03-08 奇跃公司 用于显示系统的基于深度的凹式渲染
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10712576B1 (en) * 2017-10-24 2020-07-14 Facebook Technologies, Llc Pupil steering head-mounted display
US11238836B2 (en) 2018-03-16 2022-02-01 Magic Leap, Inc. Depth based foveated rendering for display systems
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11443719B2 (en) * 2018-03-29 2022-09-13 Sony Corporation Information processing apparatus and information processing method
WO2020201806A1 (en) * 2018-04-25 2020-10-08 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
DE102018110644B4 (de) * 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren
US11250819B2 (en) * 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10475248B1 (en) * 2018-06-08 2019-11-12 Microsoft Technology Licensing, Llc Real-time compositing in mixed reality
CN109194953B (zh) * 2018-08-15 2021-03-02 瑞声光学解决方案私人有限公司 空间颜色和分辨率测量装置及测量方法
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
JP7400721B2 (ja) * 2018-08-29 2023-12-19 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
US10852619B1 (en) * 2018-11-01 2020-12-01 Facebook Technologies, Llc Multifocal system using adaptive lenses
JP7373594B2 (ja) * 2019-06-20 2023-11-02 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
US11009766B2 (en) * 2019-06-28 2021-05-18 Intel Corporation Foveated virtual reality near eye displays
US10788893B1 (en) 2019-08-06 2020-09-29 Eyetech Digital Systems, Inc. Computer tablet augmented with internally integrated eye-tracking camera assembly
US20220146822A1 (en) * 2019-08-15 2022-05-12 Ostendo Technologies, Inc. Wearable Display Systems and Design Methods Thereof
US11860455B2 (en) * 2019-12-11 2024-01-02 Nvidia Corporation Modular prescription augmented reality display
US11544903B2 (en) * 2019-12-13 2023-01-03 Sony Group Corporation Reducing volumetric data while retaining visual fidelity
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
US11222394B2 (en) * 2020-03-19 2022-01-11 Arm Limited Devices and headsets
US11153556B1 (en) * 2020-03-31 2021-10-19 Toyota Motor Engineering & Manufacturing North America, Inc. Volumetric accessing of a volumetric display
CN111553972B (zh) * 2020-04-27 2023-06-30 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
FR3110710A1 (fr) * 2020-05-19 2021-11-26 Thales Dispositif électronique de gestion d’affichage d’un écran d’affichage tête haute, système d’affichage, procédé de gestion et produit programme ordinateur associés
WO2021236990A1 (en) * 2020-05-21 2021-11-25 Magic Leap, Inc. Warping for spatial light modulating displays using eye tracking
EP4154512A4 (en) 2020-05-21 2023-10-11 Magic Leap, Inc. DEFORMATION FOR LASER BEAM SCANNING DISPLAYS USING EYE TRACKING
US11536972B2 (en) * 2020-05-22 2022-12-27 Magic Leap, Inc. Method and system for dual projector waveguide displays with wide field of view using a combined pupil expander-extractor (CPE)
US11164375B1 (en) * 2020-10-21 2021-11-02 Tanzle, Inc. Stereoscopic rendering of non-flat, reflective or refractive surfaces
WO2022093265A1 (en) * 2020-10-30 2022-05-05 Hewlett-Packard Development Company, L.P. Head mounted display assembly
GB2600763B (en) * 2020-11-10 2023-05-24 Sony Interactive Entertainment Inc Image rendering system and method
US11151774B1 (en) * 2020-11-20 2021-10-19 At&T Intellectual Property I, L.P. Adaptive immersive media rendering pipeline
JP2022086237A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置
US11809622B2 (en) * 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
EP4272430A1 (en) * 2020-12-30 2023-11-08 Google LLC Scanning projector dynamic resolution
WO2022159912A1 (en) * 2021-01-25 2022-07-28 Quantum Radius Corporation Retinal foveation system and method
JPWO2022255147A1 (ja) * 2021-06-03 2022-12-08
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
WO2022271494A1 (en) * 2021-06-22 2022-12-29 Arizona Board Of Regents On Behalf Of The University Of Arizona Diffractive optics having transversely distributed multiple foci
WO2023049086A2 (en) * 2021-09-22 2023-03-30 Veyezer, Llc Holographic real space refractive system
WO2023121651A1 (en) * 2021-12-20 2023-06-29 Magic Leap, Inc. Method and system for performing optical imaging in augmented reality devices
CN114669047B (zh) * 2022-02-28 2023-06-02 荣耀终端有限公司 一种图像处理方法、电子设备及存储介质
GB2618354A (en) * 2022-05-05 2023-11-08 Envisics Ltd Head-up display
KR20230167578A (ko) * 2022-06-02 2023-12-11 한국전자기술연구원 대상 객체 적응적 심도 가변형 증강현실 장치 및 방법
CN115185083B (zh) * 2022-07-14 2024-02-06 东南大学 一种ar头戴显示器自适应刷新率和分辨率渲染方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194142A1 (en) 2002-04-15 2003-10-16 Kortum Philip T. Multi-resolution predictive foveation for bandwidth reduction of moving images
JP2010153983A (ja) 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2017107134A (ja) 2015-12-11 2017-06-15 株式会社ニコン 表示装置、電子機器、画像処理装置および画像処理プログラム
US20170287446A1 (en) 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Real-time user adaptive foveated rendering
JP2017229037A (ja) 2016-06-24 2017-12-28 日本電信電話株式会社 表示装置
WO2018022523A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
EP1190571A1 (en) 1999-04-08 2002-03-27 New York University Extremely high resolution foveated display
US10742965B2 (en) * 2001-01-23 2020-08-11 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US9781408B1 (en) * 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US20050232530A1 (en) 2004-04-01 2005-10-20 Jason Kekas Electronically controlled volume phase grating devices, systems and fabrication methods
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7173619B2 (en) * 2004-07-08 2007-02-06 Microsoft Corporation Matching digital information flow to a human perception system
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
NZ725592A (en) 2010-12-24 2018-05-25 Magic Leap Inc An ergonomic head mounted display device and optical system
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
EP2754028A4 (en) 2011-09-08 2015-08-12 Intel Corp VISUALIZATION OF INTERACTIVE SCREEN
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
EP2771877B1 (en) 2011-10-28 2017-10-11 Magic Leap, Inc. System and method for augmented and virtual reality
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示系统
NZ725322A (en) 2012-04-05 2017-12-22 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
AU2014248874B2 (en) 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102341870B1 (ko) 2013-10-16 2021-12-20 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107300769B (zh) 2013-11-27 2019-12-13 奇跃公司 虚拟和增强现实系统与方法
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
KR102225563B1 (ko) 2014-05-30 2021-03-08 매직 립, 인코포레이티드 가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템
CA2950432C (en) 2014-05-30 2022-01-04 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
JP6726110B2 (ja) 2014-07-31 2020-07-22 イマジンオプティクス・コーポレイション 光学素子、及び回折光学素子
US9552062B2 (en) 2014-09-05 2017-01-24 Echostar Uk Holdings Limited Gaze-based security
US9804669B2 (en) * 2014-11-07 2017-10-31 Eye Labs, Inc. High resolution perception of content in a wide field of view of a head-mounted display
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
CN113397472A (zh) 2015-03-16 2021-09-17 奇跃公司 穿戴式增强现实装置和穿戴式虚拟现实装置
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
EP3332554B1 (en) * 2015-08-07 2022-07-06 Apple Inc. System and method for displaying a stream of images
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN108027984B (zh) 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
IL293873B2 (en) 2015-10-20 2024-03-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
WO2017168038A1 (en) 2016-03-31 2017-10-05 Umbra Software Oy Virtual reality streaming
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
US20170373459A1 (en) 2016-06-27 2017-12-28 University Of Central Florida Research Foundation, Inc. Volume polarization grating, methods of making, and applications
US11551602B2 (en) * 2016-09-01 2023-01-10 Innovega Inc. Non-uniform resolution, large field-of-view headworn display
WO2018057660A2 (en) * 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
AU2017356886A1 (en) 2016-11-10 2019-05-02 Magic Leap, Inc. Method and system for eye tracking using speckle patterns
CN110226199B (zh) 2016-11-16 2022-11-22 奇跃公司 用于头戴式显示系统的多分辨率显示组件
CN110679147B (zh) 2017-03-22 2022-03-08 奇跃公司 用于显示系统的基于深度的凹式渲染
JP2020515895A (ja) * 2017-03-27 2020-05-28 エイヴギャント コーポレイション 操作可能な中心窩ディスプレイ
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
US10255949B2 (en) * 2017-05-31 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US10861142B2 (en) * 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US11238836B2 (en) 2018-03-16 2022-02-01 Magic Leap, Inc. Depth based foveated rendering for display systems
WO2020033875A1 (en) 2018-08-10 2020-02-13 Compound Photonics Limited Apparatus, systems, and methods for foveated display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194142A1 (en) 2002-04-15 2003-10-16 Kortum Philip T. Multi-resolution predictive foveation for bandwidth reduction of moving images
JP2010153983A (ja) 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2017107134A (ja) 2015-12-11 2017-06-15 株式会社ニコン 表示装置、電子機器、画像処理装置および画像処理プログラム
US20170287446A1 (en) 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Real-time user adaptive foveated rendering
JP2017229037A (ja) 2016-06-24 2017-12-28 日本電信電話株式会社 表示装置
WO2018022523A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Also Published As

Publication number Publication date
CN112136094A (zh) 2020-12-25
US11238836B2 (en) 2022-02-01
JP2023138738A (ja) 2023-10-02
US11710469B2 (en) 2023-07-25
JP2021518679A (ja) 2021-08-02
EP3765943A4 (en) 2021-12-22
US20220148538A1 (en) 2022-05-12
WO2019178566A1 (en) 2019-09-19
US20230317033A1 (en) 2023-10-05
EP3765943A1 (en) 2021-01-20
US20190287495A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
JP7381482B2 (ja) ディスプレイシステムのための深度ベースの中心窩化レンダリング
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
JP7228581B2 (ja) 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ
KR102550587B1 (ko) 가상 및 증강 현실 시스템들 및 방법들
US11138793B2 (en) Multi-depth plane display system with reduced switching between depth planes
KR102225563B1 (ko) 가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템
KR20230144666A (ko) 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
JP2024045580A (ja) 拡張または仮想現実ディスプレイシステムのための向上された眼追跡
CN116194821A (zh) 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统
US20220121027A1 (en) Display system having 1-dimensional pixel array with scanning mirror

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7381482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150