JP7212616B2 - 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ - Google Patents

頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ Download PDF

Info

Publication number
JP7212616B2
JP7212616B2 JP2019525825A JP2019525825A JP7212616B2 JP 7212616 B2 JP7212616 B2 JP 7212616B2 JP 2019525825 A JP2019525825 A JP 2019525825A JP 2019525825 A JP2019525825 A JP 2019525825A JP 7212616 B2 JP7212616 B2 JP 7212616B2
Authority
JP
Japan
Prior art keywords
display
primary
peripheral
user
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019525825A
Other languages
English (en)
Other versions
JP2019537060A (ja
Inventor
ライオネル アーネスト エドウィン,
イヴァン リー チェン ヨー,
サミュエル エー. ミラー,
ウィリアム ハドソン ウェルチ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019537060A publication Critical patent/JP2019537060A/ja
Priority to JP2022192762A priority Critical patent/JP2023021184A/ja
Application granted granted Critical
Publication of JP7212616B2 publication Critical patent/JP7212616B2/ja
Priority to JP2024062031A priority patent/JP2024088741A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0189Sight systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/10Projectors with built-in or built-on screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

(関連出願の相互参照)
本願は、米国仮特許出願第62/423,162号(2016年11月16日出願、名称「Multi-Resolution Display Assembly for Head-Mounted Display Systems」)、米国仮特許出願第62/475,012号(2017年3月22日出願、名称「High Resolution High Field of View Display」)、および、米国仮特許出願第62/539,934号(2017年8月1日出願、名称「High Resolution High Field of View Display」)に対する優先権を主張する。
(発明の背景)
仮想および拡張現実システムは、概して、光をユーザの眼の中に投影するディスプレイを含む。残念ながら、これらのシステムは、利用可能なディスプレイ技術の出力角度限界に起因して、ユーザの視野の外周に沿って、またはユーザの視野の小さい中心部分を越えて、コンテンツを投影するように設計されていない。これは、コンテンツがユーザの視野の外周まで広がっている角度から送達されるとき、そうでなければ可能であり得るこれらのシステムのユーザによって感じられる没入感のレベルを低減させ得る。この理由から、ユーザの視野の外周を刺激するための機構が、望ましい。
(発明の要約)
本開示は、没入型の仮想、拡張、および複合現実コンテンツをユーザに提示するように構成されるウェアラブルデバイスを説明する。ある実施形態では、ラップアラウンドディスプレイアセンブリを伴う頭部搭載型ディスプレイが、提供され、コンテンツをユーザの視野の大部分または全部に表示するように構成される。ディスプレイアセンブリは、ユーザの視野の遠周辺領域では、ユーザが焦点を合わせ得るコンテンツと異なってコンテンツを表示するように構成されることができる。例えば、空間または角度解像度、色解像度、リフレッシュレート、および強度(すなわち、明度)が、リソースを節約し、/または遠周辺領域内に位置付けられる仮想コンテンツに注意を引くように調節されることができる。いくつかの実施形態では、これらの変化は、ユーザの全体的体験を損なうことなく、処理リソースを節約することができる。
本開示は、以下、すなわち、第1のディスプレイと、第1のディスプレイを少なくとも部分的に包囲する第2のディスプレイと、第1および第2のディスプレイをユーザの頭部に結合するように構成された取り付け部材とを含む頭部搭載型ディスプレイアセンブリを説明する。第2のディスプレイは、第1のディスプレイより大きい曲率を有する。
ウェアラブルディスプレイデバイスが、開示され、以下、すなわち、ディスプレイデバイスをユーザの頭部に固定するように構成された取り付け部材を含むフレームと、フレームに結合されたディスプレイアセンブリであって、ディスプレイアセンブリは、主ディスプレイと、主ディスプレイの周辺に沿って配置された周辺ディスプレイとを備えている、ディスプレイアセンブリとを含む。
頭部搭載型ディスプレイデバイスのディスプレイが、開示される。ディスプレイは、以下、すなわち、第1の解像度を有する第1の領域と、第1の領域を少なくとも部分的に包囲し、第1の解像度より実質的に低い第2の解像度を有する第2の領域と、第2の領域に隣接する遷移領域の側より第1の領域に隣接する遷移領域の側が低い可変解像度を有する第1の領域と第2の領域との間の遷移領域とを含む。
従来の技法に優る多数の利点が、本発明の方法によって達成される。例えば、本発明の実施形態は、ユーザの視野の遠周辺領域を標的化しない頭部搭載型ディスプレイより優れた没入型の体験を提供する。さらに、ヒトの眼が、ユーザの視野の周辺領域では、高解像度空間およびカラー画像を判別し難いので、より低いコストの周辺ディスプレイが、遠周辺領域を対象とするために使用されることができる。この理由から、本発明は、頭部搭載型ディスプレイの全体的コストを実質的に上昇させることなく、より没入型の体験を可能にする。
加えて、デフォルトで単に妨害物としての機能を果たすであろうウェアラブルフレームの部分は、ここでは、光表示および変調のための表面であり得る。これらの以前は妨害していた構造は、審美的に美しいまたは双方向性のものにされることができる。これらの以前は妨害していた構造は、表示されるコンテンツを構造/ウェアラブルの背後の場面に合致させることによって、視認者に「不可視」されることもできる。
本明細書は、例えば、以下の項目も提供する。
(項目1)
ウェアラブルディスプレイデバイスであって、前記ウェアラブルディスプレイデバイスは、
前記ウェアラブルディスプレイデバイスをユーザの頭部に固定するように構成された取り付け部材を含むフレームと、
前記フレームに結合されたディスプレイアセンブリと
を備え、
前記ディスプレイアセンブリは、
主ディスプレイと、
前記主ディスプレイの周辺に沿って配置された周辺ディスプレイと
を備えている、ウェアラブルディスプレイデバイス。
(項目2)
前記主ディスプレイは、仮想コンテンツの角度表現を前記ユーザの眼の中に出力し、前記周辺ディスプレイは、前記仮想コンテンツの空間表現を生成する、項目1に記載のウェアラブルディスプレイデバイス。
(項目3)
前記周辺ディスプレイの第1の領域は、前記周辺ディスプレイの第2の領域より高い空間解像度でコンテンツを示し、前記第1の領域は、前記第2の領域よりユーザの動眼視野に近い、項目1に記載のウェアラブルディスプレイデバイス。
(項目4)
ピクセルは、前記第2の領域より前記第1の領域において一緒に近接して間隔を置かれている、項目3に記載のウェアラブルディスプレイデバイス。
(項目5)
前記主ディスプレイは、前記周辺ディスプレイの少なくとも一部に結合され、それに重なっている、項目1に記載のウェアラブルディスプレイデバイス。
(項目6)
前記主ディスプレイは、前記ユーザの左眼に関連付けられた第1の主ディスプレイと、前記ユーザの右眼に関連付けられた第2の主ディスプレイとを備え、前記第1および第2の主ディスプレイの両方は、前記周辺ディスプレイの層に結合されている、項目1に記載のウェアラブルディスプレイデバイス。
(項目7)
前記主ディスプレイと前記周辺ディスプレイとは、異なるディスプレイ技術を利用する、項目1に記載のディスプレイアセンブリ。
(項目8)
頭部搭載型ディスプレイデバイスのディスプレイアセンブリであって、前記ディスプレイアセンブリは、
第1の解像度を有する第1の領域と、
前記第1の領域を少なくとも部分的に包囲し、前記第1の解像度より実質的に低い第2の解像度を有する第2の領域と、
可変解像度を有する前記第1の領域と前記第2の領域との間の遷移領域と
を備え、
前記可変解像度は、前記第1の領域に隣接する前記遷移領域の第1の側において、前記第2の領域に隣接する前記遷移領域の第2の側より低い、ディスプレイアセンブリ。
(項目9)
前記第1の領域は、ユーザの眼の動眼視野を覆うようにサイズを決定されている、項目8に記載のディスプレイアセンブリ。
(項目10)
前記第2の領域は、仮想コンテンツをグレースケールでレンダリングし、前記第1の領域は、仮想コンテンツをカラーでレンダリングする、項目8に記載のディスプレイアセンブリ。
(項目11)
前記第1の領域の空間解像度は、前記第2の領域の空間解像度を上回る、項目8に記載のディスプレイアセンブリ。
(項目12)
前記第2の領域は、透明有機発光ダイオード(OLED)ディスプレイである、項目8に記載のディスプレイアセンブリ。
(項目13)
コンテンツを前記ディスプレイアセンブリの内側または外側表面上に投影することによって前記第1の領域を照明するように構成されたピコプロジェクタをさらに備えている、項目8に記載のディスプレイアセンブリ。
(項目14)
前記第2の領域は、前記頭部搭載型ディスプレイデバイスが装着されているとき、前記第1の領域の周辺とユーザの顔との間の間隙を充填するようにサイズを決定されている、項目8に記載のディスプレイアセンブリ。
(項目15)
前記第2の領域は、前記第1の領域より大きい曲率を有する、項目8に記載のディスプレイアセンブリ。
(項目16)
ウェアラブルディスプレイデバイスであって、前記ウェアラブルディスプレイデバイスは、
フレームと、
前記フレームに結合されたプロジェクタと、
ディスプレイアセンブリと
を備え、
前記ディスプレイアセンブリは、
前記フレームに結合され、仮想コンテンツの角度表現をユーザの眼に出力するように構成された主ディスプレイと、
前記主ディスプレイを少なくとも部分的に包囲する周辺ディスプレイであって、前記周辺ディスプレイは、前記仮想コンテンツの空間表現を出力するように構成されている、周辺ディスプレイと
を備えている、ウェアラブルディスプレイデバイス。
(項目17)
前記ウェアラブルディスプレイデバイスをユーザに取り付け、前記フレームに対して回転するように構成された取り付け部材をさらに備え、
前記周辺ディスプレイは、前記フレームに対する前記取り付け部材の回転に適応するために曲がり、屈曲するように構成されている、項目16に記載のウェアラブルディスプレイデバイス。
(項目18)
前記周辺ディスプレイの一部は、前記頭部搭載型ディスプレイが前記ユーザによって装着されているとき、前記取り付け部材の一部と前記頭部搭載型ディスプレイの前記ユーザとの間に位置付けられている、項目16に記載のウェアラブルディスプレイデバイス。
(項目19)
前記ユーザの周囲を監視するように構成されたカメラをさらに備え、前記周辺ディスプレイは、前記ユーザの周囲を前記ウェアラブルディスプレイデバイスの1つ以上の光学的に不透明なコンポーネント上に表示するように構成されている、項目16に記載のウェアラブルディスプレイデバイス。
(項目20)
前記周辺ディスプレイは、前記主ディスプレイの少なくとも片側に沿って位置付けられた1つ以上の光学コンポーネントに光学的に結合されている、項目16に記載のウェアラブルディスプレイデバイス。
本発明のこれらおよび他の実施形態は、その利点および特徴の多くとともに、下記の文章および添付の図と併せてより詳細に説明される。
本開示は、付随の図面と併せて以下の詳細な説明によって容易に理解され、同様の参照番号は、同様の構造要素を示す。
図1A-1Cは、いくつかの実施形態による、いくつかの異なるウェアラブルディスプレイ実施形態を示す。 図1A-1Cは、いくつかの実施形態による、いくつかの異なるウェアラブルディスプレイ実施形態を示す。 図1A-1Cは、いくつかの実施形態による、いくつかの異なるウェアラブルディスプレイ実施形態を示す。 図1D-1Eは、主ディスプレイが周辺ディスプレイの外部に面したまたは内部に面した表面のいずれか上に位置付けられ得る方法を示す。 図1D-1Eは、主ディスプレイが周辺ディスプレイの外部に面したまたは内部に面した表面のいずれか上に位置付けられ得る方法を示す。 図1Fは、周辺ディスプレイが1つ以上の主ディスプレイの導波管間に延び得る方法を示す。 図1Gは、周辺ディスプレイが2つの主ディスプレイを包囲し得る方法を示す。 図1H-1Mは、種々の主要および周辺ディスプレイ配置を示す。 図1H-1Mは、種々の主要および周辺ディスプレイ配置を示す。 図1H-1Mは、種々の主要および周辺ディスプレイ配置を示す。 図1H-1Mは、種々の主要および周辺ディスプレイ配置を示す。 図1H-1Mは、種々の主要および周辺ディスプレイ配置を示す。 図1H-1Mは、種々の主要および周辺ディスプレイ配置を示す。 図2Aは、ヒトの眼に対する例示的単眼視野を示す。 図2Bは、いくつかの実施形態による、仮想コンテンツをユーザの視野を覆うために好適なエリアにわたって提供するように構成される例示的ウェアラブルディスプレイデバイスを示す。 図2Cは、図2Bに描写される主ディスプレイのうちの1つ上にオーバーレイされた視野および動眼視野を示す。 図2Dは、仮想コンテンツをユーザに提供するように構成される拡張現実システムの例示的実施形態を示す。 図2Eは、本発明のある実施形態による、デジタルまたは仮想画像を視認者に提示するために使用され得る例示的視認光学アセンブリ(VOA)内の光経路を図式的に図示する。 図3Aは、いくつかの実施形態による、周辺ディスプレイがユーザの顔の輪郭に適合し得る方法を示す。 図3Bは、いくつかの実施形態による、図3Aに描写される周辺および主ディスプレイの曲率半径を比較する。 図3C-3Dは、いくつかの実施形態による、ウェアラブルデバイス内に組み込まれる種々の主要および周辺ディスプレイの上面図を示す。 図3C-3Dは、いくつかの実施形態による、ウェアラブルデバイス内に組み込まれる種々の主要および周辺ディスプレイの上面図を示す。 図3Eは、いくつかの実施形態による、ウェアラブルまたは頭部搭載型ディスプレイデバイスの内部に面した表面を示す。 図3Fは、いくつかの実施形態による、周辺ディスプレイが経路に沿って進行する仮想コンテンツを表す方法を説明するフローチャートを示す。 図4Aは、いくつかの実施形態による、周辺ディスプレイを伴わない例示的ウェアラブルディスプレイデバイスの斜視図を示す。 図4Bは、いくつかの実施形態による、周辺ディスプレイが図4Aに描写されるウェアラブルディスプレイデバイスと組み合わせられ得る方法を示す。 図5Aは、いくつかの実施形態による、ブリッジによって接合される2つのマルチ領域ディスプレイを含むウェアラブルディスプレイデバイスを示す 図5Bは、いくつかの実施形態による、複数のディスプレイ領域を伴うディスプレイを有するウェアラブルディスプレイデバイスを示す。 図5Cは、いくつかの実施形態による、図5Aおよび5Bに描写されるディスプレイに類似するマルチ解像度ディスプレイ570を示す。 図6-7は、特定のディスプレイ技術に関連付けられたディスプレイコンポーネントを示す。 図6-7は、特定のディスプレイ技術に関連付けられたディスプレイコンポーネントを示す。 図8A-8Cは、本発明のいくつかの他の実施形態による、ディスプレイシステムを図式的に図示する。 図8A-8Cは、本発明のいくつかの他の実施形態による、ディスプレイシステムを図式的に図示する。 図8A-8Cは、本発明のいくつかの他の実施形態による、ディスプレイシステムを図式的に図示する。
(具体的な実施形態の詳細な説明)
本願による方法および装置の代表的用途が、本節に説明される。これらの例は、コンテキストを追加し、説明される実施形態の理解を補助するためだけに提供されている。したがって、説明される実施形態は、これらの具体的詳細の一部または全部を伴わずに実践され得ることが当業者に明白であろう。他の例では、周知のプロセスステップは、説明される実施形態を不必要に曖昧にすることを回避するために、詳細に説明されていない。他の用途も、可能であり、以下の例は、限定として捉えられるべきではない。
頭部搭載型ディスプレイデバイスまたはウェアラブルディスプレイデバイスは、仮想コンテンツを直接ユーザの眼の中に投影することによって、没入型のユーザ体験を提供するように構成されることができる。残念ながら、これらのタイプのデバイスに関連付けられたディスプレイは、概して、ユーザの視野全体を覆うまで広がっていない。焦点をオブジェクトに焦点を合わせるユーザの能力は、軸外で約30~50度に限定されるが、大部分のユーザの眼は、いくつかの方向において、軸外で100度を超えて、コンテンツ、特に、高速移動を検出することが可能である。この理由から、真の没入型の体験を作成するために、ディスプレイは、ユーザの視覚の外周を覆うように構成される必要がある。
この問題に対する1つの解決策は、ユーザの動眼視野外にあるコンテンツをユーザの視野の周辺領域に表示するための周辺ディスプレイを組み込むことである。動眼視野は、ユーザが直接焦点を合わせ得るユーザの視野の一部から成る。周辺ディスプレイは、コンテンツをユーザの動眼視野外に示すので、コンテンツを周辺ディスプレイから主ディスプレイにシームレスに混成または遷移する必要性は、最小である。さらに、ユーザの視力が、周辺領域では、実質的に低減させられるので、周辺ディスプレイは、電力および/または処理力を節約する低減させられた視力モードで起動することができる。例えば、周辺ディスプレイは、より低い空間または角度解像度、より低い色解像度、異なる強度、および/またはより低いリフレッシュレートで、コンテンツを表示することができる。いくつかの実施形態では、ディスプレイの一部は、例えば、低減させられたピクセル密度に起因して、高い空間、角度、および/または色解像度画像を表示可能ではないこともある。ウェアラブルデバイスがより低い電力レベルで動作することを可能にすることに加え、これらのより低い視力ディスプレイモードは、周辺ディスプレイが高解像度画像を高リフレッシュレートで生成する能力を有する必要がないことにより、周辺ディスプレイに関連付けられたハードウェアコストが実質的に低下されることを可能にする。いくつかの実施形態では、周辺ディスプレイは、透明なOLED(有機発光ダイオード)ディスプレイの形態をとることができる。透明なOLEDは、透明かつ可撓な基板にわたって分配されたピクセルのアレイを含むことができる。いくつかの実施形態では、基板は、ポリマーの混成物から形成されることができる。他の実施形態では、周辺ディスプレイは、ピコプロジェクタの形態をとり、コンテンツをウェアラブルディスプレイデバイスの内部および/または外部表面上に投影することもできる。
別の解決策は、ユーザの視野全体を覆うカスタマイズされたディスプレイを使用することを伴う。カスタマイズされたディスプレイは、ディスプレイの周辺に向かって減少する空間および色解像度でコンテンツを表示するように設計されることができる。いくつかの実施形態では、解像度は、ディスプレイの周辺に向かって徐々に低下することができる。いくつかの実施形態では、解像度変化は、ユーザの眼の現在の位置に基づくことができる。例えば、眼追跡センサが、ユーザの眼がディスプレイの片側に向かって焦点を合わせられていることを決定する場合、ディスプレイの反対側は、それに応じたより低い解像度を表示するように構成されることができる。
これらおよび他の実施形態は、図1A-8Cを参照して下で議論される。しかしながら、当業者は、これらの図に関して本明細書に与えられる詳細な説明が、説明目的のためだけのものであり、限定として解釈されるべきではないことを容易に理解するであろう。
図1Aは、高解像度主ディスプレイ102と、主ディスプレイ102を包囲するより低い解像度の周辺ディスプレイ104とを含むウェアラブルディスプレイデバイス100を示す。いくつかの実施形態では、周辺ディスプレイ104は、テンプルアーム106の内部に面した表面に適合するように配置されることができる。主ディスプレイ102のサイズは、ウェアラブルディスプレイデバイス100を装着しているユーザのための平均動眼視野と一致するように調節されることができることに留意されたい。テンプルアーム106とともに曲がり、屈曲することが可能な可撓な基板材料を含む周辺ディスプレイ104のためのディスプレイ技術の選択は、周辺ディスプレイ104がテンプルアーム106の内部に面した表面の少なくとも一部と適合することを可能にすることができる。いくつかの実施形態では、可撓な基板材料は、保管のためにディスプレイに対して折り畳まれるテンプルアーム106に適応するために十分に可撓であることができる。
図1Bは、ウェアラブルディスプレイデバイス110を動作させるユーザの両眼のための動眼視野を覆う単一主ディスプレイ112を有するウェアラブルディスプレイデバイス110を示す。いくつかの実施形態では、主ディスプレイ112は、周辺ディスプレイ114と異なるディスプレイ技術を利用することができる。例えば、主ディスプレイ112は、明視野ディスプレイデバイスの形態をとり得、明視野ディスプレイデバイスは、明視野をユーザの網膜上に投影するように構成される1つ以上の導波管を含むことができる。明視野ディスプレイの出力は、コンテンツの角度表現であり、可変角度解像度を投影するように構成されることができる。米国出願第14/707,000号、第14/555,585号、および/または第15/182,511号は全て主ディスプレイとしてユーザにもたらされる明視野ディスプレイデバイスの詳細な例を提供する。周辺ディスプレイ114は、画面ベースのディスプレイデバイスの形態をとり得、画面ベースのディスプレイデバイスは、コンテンツが表示される「画面」(例えば、LCD、OLED、プロジェクタ+投影画面、CRT等)を含むことができる。このタイプのデバイスの出力は、画面上に提示されるようなコンテンツの空間表現である。主ディスプレイ112および周辺ディスプレイ114は、テンプル116によって、ユーザの耳に結合されることができる。
いくつかの実施形態では、主ディスプレイおよび周辺ディスプレイの両方は、透明であることができ、外界がデジタルコンテンツが能動的に表示されていないエリアで視認可能であることを可能にする。図1Cは、2つの別個の主ディスプレイ122と、2つの別個の周辺ディスプレイ124とを有するウェアラブルディスプレイデバイス120を示す。主ディスプレイ122は、ユーザの眼の動眼視野を協働して覆うように構成されることができる一方、周辺ディスプレイ124は、主ディスプレイ122によって覆われない視野の任意の部分を協働して覆うことができる。テンプル126は、ユーザの耳に係合するために好適な取り付け部材を表し、ブリッジ128は、2つの別個の主ディスプレイ122を一緒に接合する。
図1D-1Eは、ウェアラブルディスプレイデバイス130の種々の構成の断面図を示す。図1Dは、ウェアラブルディスプレイデバイス130の正面部分が周辺ディスプレイデバイス132の形態をとり得る方法を示す。このように、周辺ディスプレイデバイス132は、主ディスプレイ134および136のための保護カバーとしての機能を果たすことができる。主ディスプレイ134および136は、異なる波長の光をユーザに向かわせるための異なる導波管を表す複数の異なる層を含むように描写される。いくつかの実施形態では、主ディスプレイ134および136は、周辺ディスプレイ132の表面に接着されること、または別様に取り付けられることができる。例えば、周辺ディスプレイ132のそのような表面は、周辺ディスプレイ機能性を提供するために、主ディスプレイ134および主ディスプレイ136の周辺を越えて延びている連続シートまたは材料片であることができる。周辺ディスプレイ132および主ディスプレイ134、136は、ユーザが、周辺ディスプレイ132および主ディスプレイ134、136によって生成される任意の仮想コンテンツに加え、外界を知覚可能であるように、透明であることができる。いくつかの実施形態では、主ディスプレイ134および136に重なっている周辺ディスプレイデバイス132の部分は、ディスプレイが同じコンテンツを表示することを防止するように、コンテンツを表示しないように構成されることができる。いくつかの実施形態では、周辺ディスプレイ132は、主ディスプレイ134および136がウォームアップサイクルを経ている間の始動時にコンテンツを表示するように構成されることができる。主ディスプレイ134および136の初期化に続き、主ディスプレイ134および136に重なっている周辺ディスプレイ132の部分は、無効にされ得る。いくつかの実施形態では、周辺ディスプレイ132は、双方向または高解像度コンテンツが能動的に表示されていないとき、主ディスプレイ134および136に代わって引き継ぎ得る。例えば、ユーザが構成メニューに入り、表示されるコンテンツがテキストまたは単純メニュー構造に限定される場合、主ディスプレイ134および136に重なっている周辺ディスプレイ132の1つ以上の部分が、主ディスプレイ134および136の代わりに起動することを可能にすることは、主ディスプレイ134および136が、周辺ディスプレイ132より多くの電力を消耗し、および/またはより多くの熱を発生させる実施形態では、電力を節約し、熱発生を低減させることに役立ち得る。例えば、周辺ディスプレイ132は、可撓な透明なOLEDディスプレイの形態をとり、主ディスプレイが比較的に高エネルギーを消費する光プロジェクタによって駆動される場合、主ディスプレイ134および136より少ない電力を消費することを可能にし得る。
いくつかの実装では、周辺ディスプレイ132の一部または全部は、さらなるユーザ体験向上のために、主ディスプレイ134および136と連動して、コンテンツを提示するように動作させられることができる。例えば、主ディスプレイ134および136に取り付けられ、または別様にそれに重なっている周辺ディスプレイ132の部分は、主ディスプレイ134および136が、複合現実ゲームプレー体験に従事するユーザのために爆発をシミュレートするために、火/炎と似た仮想コンテンツを提示する間、白色光の点滅光を提示し得る。別の例では、主ディスプレイ134および136に取り付けられ、または別様にそれに重なっている周辺ディスプレイ132の部分は、テキストを提示すること、および/またはユーザの視野内の実世界オブジェクトをハイライトする役割を果すことを行い得る。さらに、主ディスプレイ134および136に取り付けられ、または別様にそれに重なっている周辺ディスプレイ132の部分と、主ディスプレイ134および136に取り付けられない、周辺ディスプレイ132の部分(例えば、主ディスプレイ134および136の外周間および/またはそれを包囲する周辺ディスプレイ132の領域)とを利用することによって、2つのタイプのディスプレイデバイス間の境界は、より平滑にユーザに現れ得る。いくつかの例では、図1Dを参照して本明細書に説明されるような主ディスプレイ134および136に取り付けられ、または別様にそれに重なっている周辺ディスプレイ132の部分の機能性の一部または全部は、図1Iおよび1K-1Mを参照して下でさらに詳細に説明されるように、1つ以上の主ディスプレイに重なっている周辺ディスプレイの部分(ユーザの視野に対して)まで延び得る。
図1Eは、主ディスプレイが周辺ディスプレイ132の前方に位置付けられ得る代替構成を伴うウェアラブルディスプレイデバイス130を示す。そのような構成では、主ディスプレイ134および136は、主ディスプレイ134および136を損傷から保護する保護カバー層138を含むことができる。ウェアラブルディスプレイデバイス140は、ウェアラブルディスプレイデバイス130と類似様式で動作させられ、周辺ディスプレイ132が、ある状況では、動作を主ディスプレイ134および136から引き継ぐことを可能にすることができる。
同様に、いくつかの実施形態では、図1Fに示されるように、周辺ディスプレイは、主ディスプレイ134および136の中心部分を通って延び得る。いくつかの実施形態では、周辺ディスプレイ132は、スペーサとしての機能を果たし、ディスプレイの第1の部分とディスプレイの第2の部分との間の距離を引き立たせることができる。この距離は、周辺ディスプレイの外部に面した表面上の主ディスプレイの一部から放出される光が周辺ディスプレイの内部に面した表面に沿って位置付けられる部分より遠く離れて生じるように見えることに役立ち得る。
図1Gは、ウェアラブルディスプレイデバイス130の正面図を示す。ウェアラブルディスプレイデバイス130の正面図は、周辺ディスプレイ132が主ディスプレイ134および136の両方に隣接し、それらを包囲可できる方法を実証する。いくつかの実施形態では、主ディスプレイ134および136の周辺は、周辺ディスプレイ132上に表示されているより低い解像度データに融合するために、低減させられた空間、角度、および/または色解像度を有することができる。本願が優先権を主張する「High Resolution High Field of View Display」と両方とも題された米国仮特許出願第62/475,012号および第62/539,934号は、投影ベースのディスプレイシステムの解像度が可変角度解像度で構成され得る種々の方法を説明する。
図1H-1Kは、種々のウェアラブルディスプレイデバイス140、150、および160の側面図を示す。ウェアラブルディスプレイデバイス140は、バイザコンポーネント142を含み、それは、主ディスプレイ144および周辺ディスプレイ146が結合され得る剛体の基板を提供する。バイザコンポーネントは、光学的に中性であり得るが、それは、バイザの視野内のオブジェクトの若干の拡大または縮小を作成するように構成されることもできる。いくつかの実施形態では、バイザは、偏光層および/または着色層を含み得、それは、屋外使用中、有用であり得る。周辺ディスプレイ146は、バイザコンポーネント152の縁から主ディスプレイ154の周辺まで延びていることができる。ディスプレイは、多くの方法において互いに付着させられることができる。例えば、周辺ディスプレイ156は、主ディスプレイ154に接着結合されることができる。いくつかの実施形態では、光学的に透明なフレームが、バイザコンポーネント152と周辺ディスプレイ156との間に位置付けられ、周辺ディスプレイ156の形状を維持することに役立つことができる。図1Iは、周辺ディスプレイ152がバイザコンポーネント154の内部に面した表面に接着され得る方法を示す。このように、バイザコンポーネント154は、周辺ディスプレイ162の形状および位置を設定するように構成されることができる。図1Jは、ウェアラブルディスプレイデバイス160と、周辺ディスプレイ162がバイザコンポーネント164の周辺部分に接着され得る方法とを示す。いくつかの実施形態では、周辺ディスプレイ162は、バイザコンポーネント164によって画定された陥凹領域に付着させられることができる。この方法において、周辺ディスプレイ162は、主ディスプレイ166の外側に延びているユーザの視野の一部のみを充填するようにサイズを決定される必要がある。
図1Kは、ウェアラブルディスプレイデバイス170の断面側面図と、主ディスプレイ172が透明湾曲光学要素174によって包囲され得る方法とを示し、透明湾曲光学要素174は、周辺ディスプレイ176の周辺を支持する。いくつかの実施形態では、湾曲光学要素174の屈折率は、周辺ディスプレイ176によって放出される光の歪を最小化するように調整されることができる。いくつかの実施形態では、透明湾曲光学要素174は、ウェアラブルディスプレイデバイス170に関連付けられた種々の他のコンポーネントを支持および位置付けるために使用される透明フレームの形態をとることができる。例えば、いくつかの実施形態では、光を主ディスプレイ172の中に伝送するように構成される導波管が、透明湾曲光学要素174によって画定された開口部またはチャネルを通って延びていることができる。
図1L-1Mは、周辺ディスプレイが、主ディスプレイデバイスの縁の周囲に巻き付けられ、種々の光学を利用して、周辺ディスプレイから放出される光を反射体に向かわせ、反射体が光をウェアラブルディスプレイデバイスのユーザの眼の中に戻るように向け直し得る方法を示す。図1Lは、主ディスプレイ184を包囲する自由形態光学182を示す。自由形態光学182は、周辺ディスプレイ186によって放出される光184をユーザの眼に向かって戻るように向け直すように構成される少なくとも部分的反射表面182を含むことができる。このように、自由形態光学182は、周辺ディスプレイをデバイスの最終端まで延長する必要なく、ウェアラブルディスプレイデバイス180のアクティブディスプレイの有効サイズを拡張させることが可能である。代替実施形態は、ウェアラブルディスプレイデバイス190によって描写され、それは、代わりに、主ディスプレイ194の周辺に沿って配置される三角形断面を有するプリズム192を含むことができる。プリズム192は、主ディスプレイ184の縁の周囲に巻き付く周辺ディスプレイ186によって放出される光196を向け直すことができる。
図2Aは、視野略図を示し、それは、2次元角度空間内のヒトの眼に対する例示的単眼視野202の外周を描写する。図2Aに示されるように、視野略図の側頭-鼻および下方-上方軸は、2次元角度空間を画定する役割を果たし、この中に、単眼視野202の外周が、マッピングされる。このように、図2Aの視野略図は、ヒトの眼に対する「Goldmann」視野マップまたはプロットの均等物またはそれに類似するものと見なされ得る。側頭-鼻および下方-上方軸の描写される配置によって示されるように、図2Aに示される視野略図は、ヒトの左眼に対する視野略図を表す。視野は、人物ごとに若干変動し得るが、描写される視野は、多くのヒトがその左眼で視認可能なものに近似する。右眼の例示的単眼視野の外周を描写する視野略図は、側頭-鼻軸および単眼視野202の外周が下方-上方軸に対して鏡映された図2Aの視野略図のあるバージョンのものに類似し得るということになる。図2Aの視野略図は、ヒトの眼に対する例示的動眼視野204の外周をさらに描写し、それは、人物が固視し得る角度空間内の単眼視野202の一部を表す。加えて、図2Aの視野略図は、ヒトの眼に対する例示的中心窩視野206の外周も描写し、それは、所与の時点におけるヒトの眼の中心窩の直接視野における角度空間内の単眼視野202の一部を表す。描写されるように、人物の中心窩視野206は、動眼視野204内の任意の場所を移動することができる。角度空間内の中心窩視野206の外側の単眼視野202の部分は、本明細書では、人物の視野の周辺領域と称され得る。中心窩視野206の外側の高レベルの詳細を区別するヒトの眼の能力は、非常に限定されるので、中心窩視野206の外側で低減させられた解像度画像を表示することは、気付かれる可能性が低く、ディスプレイのためのコンテンツを生成する責任がある処理コンポーネントのための電力消耗のための実質的な節約を可能にすることができる。
図2Bは、図2Aに描写されるようなユーザの視野を覆うために好適なエリアにわたって仮想コンテンツを提供するように構成される例示的ウェアラブルディスプレイデバイス250を示す。ウェアラブルディスプレイデバイス250は、フレーム254によって支持される主ディスプレイ252を含む。フレーム254は、テンプルアーム106の形態をとる取り付け部材を使用して、ユーザの頭部に取り付けられることができる。いくつかの実施形態では、ウェアラブルディスプレイデバイス250によって表示される画質は、動眼視野の近傍およびその中のエリアが主ディスプレイ252の縁の近傍のエリアより高い品質(例えば、より高い空間および/または色解像度)を有するように、主ディスプレイ252および周辺ディスプレイ256のいずれかまたは両方において徐々に低減させられることができる。いくつかの実施形態では、主ディスプレイ252の周辺は、周辺ディスプレイ256の品質または画像特性に合致するように構成されることができる。いくつかの実施形態では、画質の低減は、主ディスプレイ252の空間解像度、色ビット深度、および/またはリフレッシュレートを変化させることによって遂行されることができる。例えば、色ビット深度は、12ビットから5または6ビットに低減させられ、必要な処理電力および周辺ディスプレイ複雑性の両方を低減させ得る。いくつかの実施形態では、色ビット深度は、グレースケールまたは黒色および白色コンテンツのみが表示されるように低減させられることができる。
図2Cは、主ディスプレイ252のうちの1つ上にオーバーレイされる視野202および動眼視野204を示す。図2Cは、主ディスプレイ252が、動眼視野204を覆い、ウェアラブルディスプレイデバイス250のユーザのための視野202の大部分を覆う周辺ディスプレイ256と協働する方法を示す。主ディスプレイ252は、動眼視野204の全てを覆うように示されるが、主ディスプレイ252の周辺は、動眼視野204を能動的に覆わない主ディスプレイ252の任意の部分の解像度を低減させることによって、システムリソースを最適化するように構成されることができる。いくつかの実施形態では、ウェアラブルディスプレイデバイス250に関連付けられたセンサが、コンテンツを動眼視野204内に提示していない主ディスプレイ252の領域を識別するために、ウェアラブルディスプレイのユーザの眼と共にウェアラブルディスプレイの位置を識別するように構成されることができる。眼位置がウェアラブルディスプレイデバイス250のユーザの頭部の形状に起因して変動し得るので、オーバーサイズの主ディスプレイ252が、主ディスプレイ252がユーザの広い断面に対して動眼視野全体を覆うことを可能にすることに有用であり得る。いくつかの実施形態では、位置合わせ機構も、適切な眼ディスプレイ位置付けを確実にすることに役立ち得る。例えば、位置合わせ機構は、ユーザの動眼視野が主ディスプレイ252によって覆われ、ユーザの周辺視野が周辺ディスプレイ256によって実質的に覆われていることを確認することによって、異なる顔特徴に適応するために使用され得る調節可能なブリッジおよびテンプルの形態をとることができる。この整列を達成することに役立つために、周辺ディスプレイ256は、描写されるように、ユーザの周辺視野204の形状に適合するように構成される非対称形状を有することができる。いくつかの実施形態では、ウェアラブルディスプレイデバイス204を包囲する実世界コンテンツを観察するユーザの能力は、ウェアラブルディスプレイデバイスの動作を支持するコンポーネントによって妨害され得る。周辺ディスプレイ256は、妨害しているコンポーネントをオーバーレイする周辺ディスプレイのそれらの部分上にコンテンツをオーバーレイするように構成されることができる。いくつかの実施形態では、実世界コンテンツは、テンプル106の外部に面した表面に沿って配置される世界カメラから取得される画像を利用して、テンプル106の内部に面した表面に沿って表示されることができる。
ここで図2Dを参照すると、仮想コンテンツをユーザに提供するように構成されるARシステムの例示的実施形態が、ここで説明されるであろう。いくつかの実施形態では、図2DのARシステムは、図2Bのウェアラブルディスプレイデバイス250が属するシステムを表し得る。図2DのARシステムは、スタックされた光誘導光学要素アセンブリ200を使用し、概して、画像生成プロセッサ210と、光源220と、コントローラ230と、空間光変調器(「SLM」)240と、投入光学システム260と、複数の平面焦点システムとして機能する少なくとも1組のスタックされた接眼レンズ層または光誘導光学要素(「LOE」、例えば、平面導波管)200とを含む。システムは、眼追跡サブシステム270も含み得る。他の実施形態は、複数のスタックされたLOE200の組を有し得るが、以下の開示は、図2Dの例示的実施形態に焦点を当てるであろうことを理解されたい。
画像生成プロセッサ210は、ユーザに表示されるための仮想コンテンツを生成するように構成される。画像生成プロセッサは、仮想コンテンツに関連付けられた画像またはビデオを、ユーザに3-Dで投影され得るフォーマットに変換し得る。例えば、3-Dコンテンツを生成することにおいて、仮想コンテンツは、特定の画像の部分が特定の深度平面に表示される一方、その他が他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、特定の深度平面に生成され得る。別の実施形態では、画像生成プロセッサは、一緒に視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされ得る。
画像生成プロセッサ210は、メモリ212と、GPU214と、CPU216と、画像生成および処理のための他の回路とをさらに含み得る。画像生成プロセッサ210は、図2DのARシステムのユーザに提示されるべき所望の仮想コンテンツを用いてプログラムされ得る。いくつかの実施形態では、画像生成プロセッサ210は、ウェアラブルARシステム内に格納され得ることを理解されたい。他の実施形態では、画像生成プロセッサ210および他の回路は、ウェアラブル光学に結合されるベルトパック内に格納され得る。画像生成プロセッサ210は、所望の仮想コンテンツに関連付けられた光を投影する光源220と、1つ以上の空間光変調器(下で説明される)とに動作可能に結合される。
光源220は、コンパクトであり、高解像度を有する。光源220は、コントローラ230(下で説明される)に動作可能に結合された複数の空間的に分離されたサブ光源222を含む。例えば、光源220は、種々の幾何学的構成に配置される色特定のLEDおよびレーザを含み得る。代替として、光源220は、各々がディスプレイの視野の特定の領域に連結された同様の色のLEDまたはレーザを含み得る。別の実施形態では、光源220は、放射エリアおよび位置の分割のためのマスクオーバーレイを伴う白熱灯または蛍光灯等のブロードエリアエミッタを備え得る。サブ光源222は、図2Dでは、図2DのARシステムに直接接続されるが、サブ光源222は、(サブ光源222から離れた)光ファイバの遠位端が互いから空間的に分離される限り、光ファイバ(図示せず)を介して、システムに接続され得る。システムは、光源220からの光をコリメートするように構成される集光器(図示せず)も含み得る。
SLM240は、種々の例示的実施形態では、反射型(例えば、DLP DMD、MEMSミラーシステム、LCOS、またはFLCOS)、透過型(例えば、LCD)、または発光型(例えば、FSDまたはOLED)であり得る。空間光変調器のタイプ(例えば、速度、サイズ等)は、3-D知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作するDLP DMDが、静止ARシステムの中に容易に組み込まれ得るが、ウェアラブルARシステムは、典型的には、より小さいサイズおよび電力のDLPを使用する。DLPの電力は、3-D深度平面/焦点面が作成される方法を変化させる。画像生成プロセッサ210は、SLM240に動作可能に結合され、それは、光源220からの光を所望の仮想コンテンツでエンコードする。光源220からの光は、SLM240から外に反射するとき、SLM240から放出するとき、または、SLM240を通過するとき、画像情報でエンコードされ得る。
図2Dに戻って参照すると、ARシステムは、光源220(すなわち、複数の空間的に分離されたサブ光源222)およびSLM240からの光をLOEアセンブリ200に向かわせるように構成される投入光学システム260も含む。投入光学システム260は、光をLOEアセンブリ200の中に向かわせるように構成される1つ以上のレンズを含み得る。投入光学システム260は、光源220のサブ光源222からの空間的に分離され、異なるビームに対応するLOE200に隣接する空間的に分離され、異なる瞳を形成するように構成される(投入光学システム260から出射するビームのそれぞれの焦点に)。投入光学システム260は、瞳が互いから空間的に変位させられるように構成される。いくつかの実施形態では、投入光学システム260は、XおよびY方向においてのみ、ビームを空間的に変位させるように構成される。そのような実施形態では、瞳は、1つのX、Y平面に形成される。他の実施形態では、投入光学システム260は、X、Y、およびZ方向にビームを空間的に変位させるように構成される。
光ビームの空間分離は、異なるビームおよび瞳を形成し、それは、各内部結合格子が、主に、1つのみの異なるビーム(またはビームのグループ)によってアドレスされる(例えば、交差または衝突される)ように、異なるビーム経路における内部結合格子の設置を可能にする。これは、次に、複数のもののうちの他のサブ光源222からの他の光ビームの入射(すなわち、クロストーク)を最小化しながら、LOEアセンブリ200のそれぞれのLOE200の中への空間的に分離された光ビームの入射を促進する。特定のサブ光源222からの光ビームは、LOE200上の内部結合格子(図示せず)を通ってそれぞれのLOE200に入射する。それぞれのLOE200の内部結合格子は、各空間的に分離された光ビームが1つのLOE200の内部結合格子のみと交差するように、複数のサブ光源222からの空間的に分離された光ビームと相互作用するように構成される。したがって、各空間的に分離された光ビームは、主に、1つのLOE200に入射する。故に、SLM240によってサブ光源222の各々からの光ビームにエンコードされた画像データは、ユーザの眼への送達のために、単一LOE200に沿って効果的に伝搬されることができる。
各LOE200は、次いで、所望の深度平面またはFOV角位置から生じるように見える画像またはサブ画像をユーザの網膜上に投影するように構成される。それぞれの複数のLOE200およびサブ光源222は、したがって、種々の深度平面または空間内の位置から生じるように見える画像(コントローラ230の制御下、SLM240によって同期してエンコードされる)を選択的に投影することができる。十分に高フレームレート(例えば、60Hzの有効完全体積フレームレートにおいて6つの深度平面のために360Hz)で、それぞれの複数のLOE200およびサブ光源222の各々を使用して、画像を連続して投影することによって、図2Dのシステムは、3-D画像内に同時に存在するように見える仮想オブジェクトの3-D画像を種々の深度平面に生成することができる。
コントローラ230は、画像生成プロセッサ210、光源220(サブ光源222)、およびSLM240と通信し、それらに動作可能に結合され、SLM240にサブ光源222からの光ビームを画像生成プロセッサ210からの適切な画像情報でエンコードするように命令することによって、画像の同期ディスプレイを調整する。
ARシステムは、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される随意の眼追跡サブシステム270も含む。一実施形態では、サブ光源222の一部のみが、下で議論されるように、眼追跡サブシステムからの入力に基づいて活性にされ、LOE200の一部を照明し得る。眼追跡サブシステム270からの入力に基づいて、特定のLOE200に対応する1つ以上のサブ光源222が、画像がユーザの焦点/遠近調節と一致する所望の深度平面に生成されるように活性にされ得る。例えば、ユーザの眼が、互いに平行である場合、図2DのARシステムは、画像が光学無限遠から生じるように見えるように、コリメートされた光をユーザの眼に送達するように構成されるLOE200に対応するサブ光源222を活性にし得る。別の例では、眼追跡サブシステム270が、ユーザの焦点が1メートル離れていることを決定する場合、その範囲内にほぼ焦点が合うように構成されるLOE200に対応するサブ光源222が、代わりに活性にされ得る。この特定の実施形態では、サブ光源222の1つのみのグループが、任意の所与の時間に活性にされる一方、他のサブ光源220は、非活性にされ、電力を節約することを理解されたい。
図2Eは、本発明のある実施形態による、デジタルまたは仮想画像を視認者に提示するために使用され得る例示的視認光学アセンブリ(VOA)内の光経路を図式的に図示する。いくつかの実施形態では、VOAが、図2Bに描写されるようなウェアラブルディスプレイデバイス250に類似するシステム内に組み込まれ得る。VOAは、プロジェクタ201と、視認者の眼の周囲に装着され得る接眼レンズ200とを含む。接眼レンズ200は、例えば、図2Dを参照して上で説明されるようなLOE200に対応し得る。いくつかの実施形態では、プロジェクタ201は、赤色LEDのグループと、緑色LEDのグループと、青色LEDのグループとを含み得る。例えば、プロジェクタ201は、ある実施形態によると、2つの赤色LEDと、2つの緑色LEDと、2つの青色LEDとを含み得る。いくつかの例では、図2Eに描写されるようなプロジェクタ201およびそのコンポーネント(例えば、LED光源、反射コリメータ、LCoS SLM、およびプロジェクタ中継器)は、図2Dを参照して上で説明されるような光源220、サブ光源222、SLM240、および投入光学システム260のうちの1つ以上のものの機能性を表す、または提供し得る。接眼レンズ200は、1つ以上の接眼レンズ層を含み得、それらの各々は、図2Dを参照して上で説明されるようなLOE200のうちの1つを表し得る。接眼レンズ200の各接眼レンズ層は、それぞれの所望の深度平面またはFOV角位置から生じるように見える画像またはサブ画像を視認者の眼の網膜上に投影するように構成され得る。
一実施形態では、接眼レンズ200は、3つの原色、すなわち、赤色、緑色、および青色の層の各々のために1つの接眼レンズの3つの接眼レンズ層を含む。例えば、本実施形態では、接眼レンズ200の各接眼レンズ層は、光学無限遠深度平面(0ジオプタ)から生じるように見えるコリメートされた光を眼に送達するように構成され得る。別の実施形態では、接眼レンズ200は、6つの接眼レンズ層、すなわち、仮想画像を1つの深度平面に形成するために構成された3つの原色の各々のための接眼レンズ層の組と、仮想画像を別の深度平面に形成するために構成された3つの原色の各々のための接眼レンズ層の別の組とを含み得る。例えば、本実施形態では、接眼レンズ200の接眼レンズ層の組内の各接眼レンズ層は、光学無限遠深度平面(0ジオプタ)から生じるように見えるコリメートされた光を眼に送達するように構成され得る一方、接眼レンズ200の接眼レンズ層の別の組内の各接眼レンズ層は、2メートルの距離(0.5ジオプタ)から生じるように見えるコリメートされた光を眼に送達するように構成され得る。他の実施形態では、接眼レンズ200は、3つ以上の異なる深度平面のために、3つの原色の各々のための3つ以上の接眼レンズ層を含み得る。例えば、そのような実施形態では、接眼レンズ層のさらに別の組の各々が、1メートルの距離(1ジオプタ)から生じるように見えるコリメートされた光を送達するように構成され得る。
各接眼レンズ層は、平面導波管を備え、内部結合格子207と、直交瞳エクスパンダ(OPE)領域208と、射出瞳エクスパンダ(EPE)領域209とを含み得る。内部結合格子、直交瞳孔拡張、および射出瞳拡張についてのさらなる詳細は、米国特許出願第14/555,585号および米国特許出願第14/726,424号に説明される。依然として、図2Eを参照すると、プロジェクタ201は、画像光を接眼レンズ層200内の内部結合格子207上に投影する。内部結合格子207は、プロジェクタ201からの画像光を導波管の中に結合し、それをOPE領域208に向かう方向に伝搬する。導波管は、全内部反射(TIR)によって、画像光を水平方向に伝搬する。接眼レンズ層200のOPE領域208は、導波管内を伝搬する画像光の一部を結合し、それをEPE領域209の方に向け直す回折要素を含む。より具体的には、コリメートされた光は、TIRによって、導波管に沿って水平に(すなわち、図2Eの図に対して)伝搬し、そうすることによって、OPE領域208の回折要素と繰り返し交差する。いくつかの例では、OPE領域208の回折要素は、比較的に低回折効率を有する。これは、OPE領域208の回折要素との各交差において、EPE領域209に向かって垂直下向きに光のある割合(例えば、10%)を回折し、TIRを介して、光のある割合を導波管に沿って水平にその元の軌道上を継続させる。このように、OPE領域208の回折要素との各交差において、追加の光が、EPE領域209に向かって下向きに回折される。入射光を複数の外部結合組に分割することによって、光の射出瞳は、OPE領域208の回折要素によって水平に拡張される。OPE領域208から外に結合された拡張光は、EPE領域209に入射する。
接眼レンズ層200のEPE領域209も、導波管内を伝搬する画像光の一部を結合し、それを視認者の眼の方に向け直す回折要素を含む。EPE領域209に入射する光は、TIRによって、導波管に沿って垂直に(すなわち、図2Eの図に対して)伝搬する。伝搬する光とEPE領域209の回折要素との間の各交差において、光のある割合は、導波管の隣接面に向かって回折され、光がTIRから逃散し、導波管の面から出現し、視認者の眼に向かって伝搬することを可能にする。この方式で、プロジェクタ201によって投影された画像は、視認者の眼によって視認され得る。いくつかの実施形態では、EPE領域209の回折要素は、線形回折格子レンズと放射対称回折レンズとの総和である位相プロファイルを有するように設計または構成され得る。EPE領域209の回折要素の放射対称レンズ側面は、加えて、焦点レベルを回折される光に授け、個々のビームの光波面を成形する(例えば、曲率を授ける)ことと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を伴う。EPE領域209の回折要素によって外部結合される各光のビームは、視認者の正面に位置付けられるそれぞれの焦点まで幾何学的に延び得、画像または仮想オブジェクトを所与の焦点面に生成するためのそれぞれの焦点に半径の中心を有する凸面波面プロファイルを授けられ得る。
そのような視認光学アセンブリおよび他の類似設定の説明は、米国特許出願第14/331,218号、米国特許出願第15/146,296号、および米国特許出願第14/555,585号にさらに提供される。いくつかの実施形態では、例示的VOAは、図2Eを参照して上で述べられた特許出願のいずれかに説明される1つ以上のコンポーネントを含む、および/またはその形態をとり得るということになる。
図3Aは、周辺ディスプレイ256がユーザ300の顔の輪郭に適合し得る方法を示す。いくつかの実施形態では、周辺ディスプレイ256は、周辺ディスプレイ256が、より高い解像度の主ディスプレイ204の実質的曲率を要求せずに、ユーザ300の顔に接触し得るように、主ディスプレイ252を上回る曲率を有することができる。周辺ディスプレイ256とユーザの顔との間の接触は、周辺ディスプレイ256が、主ディスプレイ204の上方または下方からユーザ300の眼305に到達する任意の外部光304とともに、コンテンツ302を投影することを事実上可能にする。いくつかの実施形態では、周辺ディスプレイ256は、ユーザ300の顔に適合するために、変形するように構成されることができる。さらに、主ディスプレイ252も、ユーザ300の顔のある輪郭に適応するための変形を受けることができる。いくつかの実施形態では、周辺ディスプレイ256と主ディスプレイ252との間の機械的結合は、主ディスプレイ252に対する周辺ディスプレイ256の回転に適応するように構成されることができる。例えば、回転に適応する可撓な結合またはエラストマ結合が、主ディスプレイ252を周辺ディスプレイ256に結合することができる。周辺ディスプレイ256の内部に面した表面は、ウェアラブルディスプレイデバイス250を装着している間のユーザ300の快適性を増加させるためのパッドまたはシール要素を含むことができる。他の実施形態では、周辺ディスプレイ256は、ユーザがウェアラブルディスプレイデバイス250を装着している間、ユーザ300の顔に接触しないように、主ディスプレイ204から描写されるものより垂直方向に延びていることができる。
図3Bは、主ディスプレイ252のための曲率半径Rが曲率半径Rおよび曲率半径Rより実質的大きい様子を示す。曲率は、曲率半径に反比例するので、主ディスプレイ252は、周辺ディスプレイ256よりはるかに小さい曲率を有する。図3Bは、曲率半径Rが曲率半径Rと異なり得る様子も図示する。曲率の差異は、周辺ディスプレイ256が曲がり、屈曲し、ユーザ300の顔の形状に適応するとき、さらに変化させられることができる。
図3Cは、ユーザの頭部上に装着されるウェアラブルデバイス250の上面図を示す。描写されるように、ウェアラブルデバイス250は、主ディスプレイ252が搭載される表面に対応する一次視認ポートを有するバイザ306を含むことができる。バイザ306はまた、視認ポートの上部、底部、および側方側において、視認ポートからユーザの顔に向かって延びている壁を含むことができる。いくつかの実施形態では、壁は、実質的に直交した角度で視認ポートから突出することができる。周辺ディスプレイ256は、次いで、画像が壁のうちの任意の1つを通して入射する光上にオーバーレイされ得るように、壁の内部または外部に面した表面に接着されることができる。いくつかの実施形態では、周辺ディスプレイ256は、主ディスプレイ252によって覆われない一次視認ポートの部分を覆うこともできる。ウェアラブルデバイス250は、いくつかの実施形態では、ユーザの頭部まで延びているように描写されないが、バイザ306の壁は、ユーザの顔と完全に接触し、ユーザの周辺視覚の全部ではないにしても、大部分が、周辺ディスプレイ256によって覆われることを可能にするように構成されることができることに留意されたい。
図3Dは、周辺ディスプレイ256がより限定された様式でウェアラブルデバイス250の中に組み込まれ得る方法を示す。周辺ディスプレイ256は、各テンプル106の一部からバイザ306の内部に面した表面まで延びている2つの可撓なディスプレイによって、具現化されることができる。周辺ディスプレイ256の可撓な性質は、次いで、バイザ306の中へのテンプル106の折り畳みに適応することができる。このように、ユーザの周辺視覚の側方周辺は、ウェアラブルデバイス250の格納能力を低減させずに、覆われることができる。いくつかの実施形態では、周辺ディスプレイ256は、バイザ306の一部内に延びていることができる。例えば、主ディスプレイ252によって覆われないバイザ306の部分は、周辺ディスプレイ256の追加の部分によって覆われ得る。いくつかの実施形態では、周辺ディスプレイ256は、テンプル106の一方から他方のテンプル106まで延びている単一ディスプレイであることができる。
図3Eは、ウェアラブルまたは頭部搭載型ディスプレイデバイス250の内部に面した表面を示す。ウェアラブルディスプレイデバイス250は、ヒンジ308によってテンプルアーム106と旋回可能に結合されるフレームまたはバイザ254を含む。描写されるように、フレーム254は、主ディスプレイ252を支持し、周辺ディスプレイ256が付着させられ得る表面を提供する。周辺ディスプレイ256は、強調のために陰影が付けられている。特に、図3Eは、周辺ディスプレイ256に仮想コンテンツ309の表現をレンダリングさせる空間内の位置に仮想コンテンツ309が繰り返し入射し、そこから出射するときに周辺ディスプレイ256が仮想コンテンツ309を表示し得る方法を示す。
図3Fは、周辺ディスプレイ256が経路に沿って進行する仮想コンテンツ309を表す方法を説明するフローチャートを示す。破線は、仮想コンテンツ309の経路を示す。仮想コンテンツ309は、3次元空間を通して経路を辿るので、ウェアラブルディスプレイデバイス250は、常時、仮想コンテンツ309を示すわけではないであろう。セグメント310は、頭部搭載型ディスプレイの視野外に生じる経路の一部を表す。セグメント312は、最初に、周辺ディスプレイ256が仮想コンテンツ309の表示に責任がある位置に位置する仮想コンテンツ309に対応する経路の一部である。いくつかの実施形態では、周辺ディスプレイ256は、ユーザが仮想コンテンツ309をより迅速に認知するようになることに役立つために、仮想コンテンツ309をより高い強度レベルおよび/またはリフレッシュレートで示すように構成されることができる。例えば、周辺視覚は、典型的には、高速移動オブジェクトを追跡することにおいてより効果的であるので、より高いリフレッシュレートが、ユーザが周辺ディスプレイ256によって表されているオブジェクトを識別することに役立ち得る。いくつかの実施形態では、周辺ディスプレイ256は、少なくとも最初は、ユーザの注意を入射コンテンツに誘導することに役立つように、セグメント312において、明るい色の塊または点滅光として仮想コンテンツ309を描写し得る。いくつかの実施形態では、周辺ディスプレイ256の周辺部分は、特定のイベントが生じたことをユーザにアラートするために、所定の様式で照明され得る。例えば、高速点滅光は、入射拡張現実オブジェクトがユーザの視野に進入しつつあることを示し得る一方、低速のパルス状の青色球は、テキストまたはゲーム内メッセージの受信を示し得る。
セグメント314では、仮想コンテンツ309が、主ディスプレイ252により近くに接近するにつれて、外界のクリアビューは、フレーム254が光学的に不透明であるとき、フレーム254によって遮断され得る。いくつかの実施形態では、フレーム254の正面に位置付けられる周辺ディスプレイ256の部分は、ウェアラブルデバイスに搭載されるカメラによって集められた実世界コンテンツを表示し、ユーザにフレーム254によって事実上妨害されないビューを提示するように構成されることができる。このように、実世界コンテンツは、仮想コンテンツ309と混合され、仮想および実世界コンテンツの仮想表現を作成することができる。いくつかの実施形態では、周辺ディスプレイ256によって再現される実世界コンテンツは、少なくとも部分的に、周囲環境内に存在する周囲光の測定された強度および色に基づくことができる。そのような実装は、追加のカメラからのビデオフィードを組み込む必要なく、制限されない視覚および没入感のより優れた感覚を作成することができる。このようにビューを構築することからの任意の細部の不足は、ユーザがユーザの視野のその部分に直接焦点を合わせることができないことを考慮して、主として、気付かれることはないであろう。実世界画像をマスクフレーム254上にオーバーレイすることは、随意の動作であり、いくつかの実施形態では、セグメント314中、任意のコンテンツを全く示さず、フレーム254の存在を引き立たせるか、またはセグメント314にわたって進行するにつれて、単に仮想コンテンツを示すかのいずれかであることがより望ましくあり得ることに留意されたい。仮想コンテンツがセグメント314に到達すると、周辺ディスプレイ256は、より高い解像度を知覚する人物の能力が増加するので、仮想コンテンツ309をより詳細に表示することを開始し得る。
セグメント316では、主ディスプレイ252が、仮想コンテンツ309の表示を引き継ぐ。周辺ディスプレイ258および主ディスプレイ252は、接しているので、仮想コンテンツ309は、周辺ディスプレイ256から主ディスプレイ252に遷移するにつれて、持続的にビュー内に留まることができる。セグメント318では、周辺ディスプレイ256は、仮想コンテンツ309の表示を再開し、仮想コンテンツ309をフレーム254をユーザのビューからマスクする背景画像と混成する。セグメント314と同様に、背景実世界画像の表示は、随意のステップであることができることに留意されたい。セグメント320では、周辺ディスプレイ258は、仮想コンテンツ309のみの表現を作成し、セグメント322では、周辺ディスプレイ256は、仮想コンテンツ309の表示を中止する。
図4Aは、周辺ディスプレイを伴わない例示的ウェアラブルディスプレイデバイス400の斜視図を示す。ウェアラブルディスプレイデバイス400は、主ディスプレイ252を含む。主ディスプレイ252の各々は、ウェアラブルディスプレイデバイス400のユーザの眼の移動を追跡するように構成される眼追跡センサ402を含むことができる。いくつかの実施形態では、主ディスプレイ252によって描写される画像の解像度は、眼追跡センサ402によって決定されるようなユーザの眼の移動を考慮するように調節されることができる。例えば、解像度は、処理力が、高解像度をユーザの眼によって焦点を合わせられているそれらのエリアのみに提供するために費やされ得るように、主ディスプレイ252の表面にわたって変動することができる。他のエリアは、より低い解像度でレンダリングされることができる。ウェアラブルディスプレイデバイス400は、プロジェクタアセンブリ404も含み、それは、テンプルアーム106の中に統合される。プロジェクタアセンブリ404は、プロジェクタを含むことができ、それは、回折光学を通して光を照らし、光は、次いで、主ディスプレイ252を通してユーザの眼の中に反射される。ウェアラブルディスプレイデバイス400は、カメラアセンブリ406も含むことができる。カメラアセンブリ406の各々は、ウェアラブルディスプレイデバイス400を包囲する環境を観察および特徴づけするためのいくつかのカメラモジュール408を含むことができる。環境の特徴づけは、例えば、仮想コンテンツを環境内の実在のオブジェクトと組み合わせるためを含む多数の理由から、重要であり得る。例えば、カメラモジュールを使用して、椅子等のアイテムを識別可能であることは、仮想椅子を生成すること、または空気中に座っている外観を与える必要があること代わりに、仮想キャラクタが実世界椅子のうちの1つ上に座ることを可能にし得る。いくつかの実施形態では、ウェアラブルディスプレイデバイス400は、主ディスプレイ204によって表示される仮想コンテンツの深度に同期させるために、深度検出センサを伴う1つ以上のカメラモジュール408を含むことができる。プロジェクタアセンブリ404と同様に、カメラアセンブリ406は、テンプルアーム106と組み合わせられることができる。
図4Bは、周辺ディスプレイ256がウェアラブルディスプレイデバイス400の中に組み込まれ得る方法を示す。描写されるように、周辺ディスプレイ256は、主ディスプレイ252の各々の周辺に沿って配置されることができる。周辺ディスプレイ256は、主ディスプレイ252間にも延び、ブリッジ410の上方の任意の対象範囲不足を防止することができる。いくつかの実施形態では、周辺ディスプレイ256のテンプル領域412は、周辺ディスプレイ256の残りより主ディスプレイ252から離れて延びていることができる。テンプル領域412は、プロジェクタアセンブリ404およびカメラアセンブリ406をユーザの周辺視野から目立たなくするためのコンテンツを表示するように構成されることができる。これは、ユーザが周囲仮想および/または実世界コンテンツ内により没入しているように感じることに役立ち得る。
図5Aは、ブリッジ504によって接合される2つのディスプレイ502を含むウェアラブルディスプレイデバイス500を示す。特に、図5Aは、ディスプレイ502が、コンテンツを異なる方法で表示するように構成される2つの異なる領域を有し得る方法を示す。高視力領域506は、突出する星形パターンによって示されるように、遷移領域510内で低視力領域508に遷移することができる。視力の変化は、多くの異なる方法で遂行されることができる。いくつかの実施形態では、低視力領域は、高視力領域と同じ数のピクセルを有し、単に、コンテンツをより低い解像度で表示することができる。例えば、低視力領域508内の4つのピクセルは、低視力領域508が高視力領域506の空間解像度の4分の1の空間解像度を有するように、同じ値を表示し得る。他の実施形態では、低視力領域508内のピクセル間の間隔は、高視力領域506内におけるものを上回り得る。いくつかの実施形態では、低視力領域508内のピクセルは、より大きいピクセル間隔によって提供される追加の空間に起因して、高視力領域506内のものより大きくあり得る。遷移領域510は、徐々により遠くに離され、領域506と508との間のより均一な遷移を作成するピクセルを有し得る。高視力領域506および低視力領域508は、空間認識における差異に限定されない、多くの異なる変動を有することができることに留意されたい。例えば、低視力領域508は、高視力領域506より少ない色を表示し、高視力領域506と異なるレートでリフレッシュし、さらに、仮想コンテンツを高視力領域506と異なる強度レベル(すなわち、明度)で表示し得る。
図5Bは、複数の領域554、556、および558を伴うディスプレイ552を有するウェアラブルディスプレイデバイス550を示す。領域554は、色および空間解像度を区別するヒトの眼の能力に対応するように設計されることができる。眼の中心は、詳細および色を区別する最良能力を有する錐体の最高密集度を有するので、領域554は、最高解像度および最真色再現力を放出するように構成されることができる。領域556は、仮想コンテンツを比較的により低い空間および/または色解像度で表示するように構成されることができる。いくつかの実施形態では、領域556は、ウェアラブルディスプレイデバイス550のユーザの動眼視野の境界に沿って配置されることができる。この理由から、領域556と領域554との間の差異は、解像度の変化が明白ではない、またはウェアラブルディスプレイデバイス550のユーザの注意を逸らさないように、領域554と556との間の遷移ゾーンにわたって実装されることができる。同様に、領域558は、遠周辺視野に対応するユーザの視野の部分を覆うことができる。領域558は、仮想コンテンツを領域556よりさらに低い解像度で表示するように構成されることができる。例えば、領域558は、仮想コンテンツをグレースケールで表示するように構成されることができる。
図5Cは、ディスプレイ502および552に類似するディスプレイ570を示す。ピクセル572の分布は、ディスプレイ570にわたって変動することができる。特に、ピクセル572は、周辺領域574においてより低い密度を有し、中心領域576においてより高い密度を有するように示される。ディスプレイ570をこのように設定することによって、ディスプレイ570によって表示される任意の画像の空間解像度は、仮想コンテンツが中心領域576からディスプレイ570の周辺領域574の中に移動するにつれて、徐々に低減させられることができる。
図6および7は、主ディスプレイ102、112、122、134、136、144、166、172、184、252、506、554、および576等の主ディスプレイと共に使用され得るディスプレイ技術を詳細に説明する。いくつかの実施形態では、周辺ディスプレイも、本タイプのディスプレイ技術を利用することができる。ディスプレイは、高および低解像度画像が表示されている位置をさらに最適化するために、眼追跡装置を組み込むことが可能であることも、可能でないこともある。
図6では、視認者の眼602は、視認者が比較的に真っ直ぐな方向に接眼レンズ600を見ることが可能であり得るように、第1の様式において、接眼レンズ600に対して向けられる。図6における視認者の眼602の向きは、例えば、図3A-3Bを参照して上で説明されるような視認者の眼302の向きと同一または類似し得、感知コンポーネントおよび/または本明細書に説明される技法のうちの1つ以上のものを使用して、ARシステムによって決定され得る。したがって、図6に描写される段階では、ARシステムは、頭部追跡および中心窩追跡レンダリング視点を相対的位置および向きにおいて採用し得る。ARシステムによって採用される中心窩追跡レンダリング視点のFOVは、例えば、仮想オブジェクト612を包含し得るが、仮想オブジェクト611および613のいずれかを包含しないこともある。図6では、ARシステムは、それが中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト612を精細度でレンダリングし得、それらが頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト611および613をより低い精細度でレンダリングし得るということになる。加えて、ARシステムは、仮想オブジェクト611、612、および613のそのようなレンダリングを表す光を接眼レンズ600を通して視認者の眼602の網膜上に投影し得る。いくつかの実施形態では、ARシステムは、それが頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト612をより低い精細度でレンダリングし得る。
図6は、接眼レンズ600によって外部結合され、視認者の眼602の網膜上に投影される例示的明視野630Aも図示する。明視野630Aは、仮想オブジェクト611、612、および613の上で述べられたレンダリングのうちの1つ以上のものを表す、種々の角度光成分を含み得る。例えば、それが頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト611を表す明視野630Aの角度光成分は、視認者の眼602に対して-α~-β角度単位に及ぶ角度で視認者の眼602の網膜上に投影されるべきものを含み得、それが頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト613を表す明視野630Aの角度光成分は、視認者の眼602に対してε~ζ角度単位に及ぶ角度で視認者の眼602の網膜上に投影されるべきものを含み得る。同様に、それが中心窩追跡仮想カメラの視点から捕捉されであろうような仮想オブジェクト612を表す明視野630Aの角度光成分は、視認者の眼602に対して-γ~δ角度単位に及ぶ角度で視認者の眼602の中心窩上に投影されるべきものを含み得る。したがって、仮想オブジェクト612を表す明視野630Aの成分(すなわち、視認者の眼602に対して-γ~δ角度単位に及ぶ角度で投影されるべき成分)は、仮想オブジェクト611または613を表す明視野630Aの成分(すなわち、視認者の眼602に対して-α~-βまたはε~ζ角度単位に及ぶ角度で投影されるべき成分)より稠密に角度空間内に分配され得る。このように、仮想オブジェクト612がレンダリングされ、視認者に提示され得る解像度は、仮想オブジェクト611または613が、レンダリングされ、視認者視認者に提示され得る解像度より高くあり得る。
図7では、視認者の眼602は、視認者の眼602が図6における接眼レンズ600に対して向けられる第1の様式と異なる第2の様式で、接眼レンズ600に対して向けられる。図7における視認者の眼602の向きは、感知コンポーネントおよび/または本明細書に説明される技法のうちの1つ以上のものを使用して、ARシステムによって決定され得る。したがって、図7に描写される段階では、ARシステムは、頭部追跡および中心窩追跡レンダリング視点のそれらと同様に、頭部追跡および中心窩追跡レンダリング視点を相対的位置および向きにおいて採用し得る。図7の特定の例では、ARシステムによって採用される中心窩追跡レンダリング視点のFOVは、例えば、仮想オブジェクト613を包含し得るが、仮想オブジェクト611および612のいずれかを包含しないこともある。図7では、ARシステムは、それが中心窩追跡仮想カメラの視点から捕捉されるような仮想オブジェクト613を高精細度でレンダリングし得、それらが頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト611および612をより低い精細度でレンダリングし得るということになる。加えて、ARシステムは、仮想オブジェクト611、612、および613のそのようなレンダリングを表す光を接眼レンズ600を通して視認者の眼602の網膜上に投影し得る。いくつかの実施形態では、ARシステムは、それが頭部追跡仮想カメラの視点から捕捉されるような仮想オブジェクト613をより低い精細度でレンダリングし得る。
図7は、接眼レンズ600によって外部結合され、視認者の眼602の網膜上に投影される例示的明視野630Bも図示する。明視野630Bは、仮想オブジェクト611、612、および613の上で述べられたレンダリングのうちの1つ以上のものを表す、種々の角度光成分を含み得る。例えば、それが頭部追跡仮想カメラの視点から捕捉されるような仮想オブジェクト611を表す明視野630Bの角度光成分は、視認者の眼602に対して-α~-β角度単位に及ぶ角度で視認者の眼602の網膜上に投影されるべきものを含み得、それが頭部追跡仮想カメラの視点から捕捉されるような仮想オブジェクト612を表す明視野630Bの角度光成分は、視認者の眼602に対して-γ~δ角度単位に及ぶ角度で視認者の眼602の網膜上に投影されるべきものを含み得る。同様に、それが中心窩追跡仮想カメラの視点から捕捉されるような仮想オブジェクト613を表す明視野630Bの角度光成分は、視認者の眼602に対してε~ζ角度単位に及ぶ角度で視認者の眼602の中心窩上に投影されるべきものを含み得る。したがって、仮想オブジェクト613を表す明視野630Bの成分(すなわち、視認者の眼602に対してε~ζ角度単位に及ぶ角度で投影されるべき成分)は、仮想オブジェクト611または612を表す明視野630Aの成分(すなわち、視認者の眼602に対して-α~-βまたは-γ~δ角度単位に及ぶ角度で投影されるべき成分)より稠密に角度空間内に分配され得る。このように、仮想オブジェクト613が、レンダリングされ、視認者に提示され得る解像度は、仮想オブジェクト611または612が、レンダリングされ、視認者に提示され得る解像度より高くあり得る。実際、図6の段階から図7の段階まで、それらを参照して本明細書に説明されるARシステムは、視点を効果的に向け直し、それから、仮想コンテンツが、段階間の視認者の眼602の視線の変化に従って、高解像度で視認され得る。
図8A-8Cは、いくつかの本発明の他の実施形態による、ディスプレイシステム800を図式的に図示する。ディスプレイシステム800は、画像源810と、ビームスプリッタ830と、第1の光学レンズ842と、第2の光学レンズ844と、第3の光学レンズ845と、第4の光学レンズ846と、第5の光学レンズ847と、第6の光学レンズ848と、走査ミラー860と、偏光器880と、切り替え偏光回転子890とを含む。これらのコンポーネントは、プロジェクタが、光を複数の画像源からディスプレイの中に入力し、可変解像度を伴う画像を含む合成画像をディスプレイに生成することに役立つことを可能にする。
より具体的には、図8A-8Cは、3つの異なる段階の各々における、ディスプレイシステム800を図示する。3つの段階の各々では、ウェアラブルディスプレイデバイスのテンプルに結合され得る画像源810は、頭部追跡仮想カメラの視点から捕捉されるような仮想コンテンツを表す角度明視野成分の範囲と、中心窩追跡仮想カメラの視点から捕捉されるような仮想コンテンツを表す角度明視野成分の範囲とを出力することができる。2組の角度明視野成分は、例えば、時分割多重化、偏光分割多重化、波長分割多重化等が行われ得る。したがって、頭部追跡仮想カメラに関連付けられた角度明視野成分は、偏光ビームスプリッタ830によって、第1の光学経路に沿って、第1および第2の光学レンズ842および844を通して上向きに方向転換されることができ、中心窩追跡仮想カメラに関連付けられた角度明視野成分は、偏光ビームスプリッタ830を通して、第2の光学経路に沿って、第3および第4の光学レンズ845および846を通して、走査ミラー860に向かって通過し、第5および第6の光学レンズ847および848を通して上向きに反射されることができる。
頭部追跡仮想カメラに関連付けられた角度明視野成分によって表される仮想コンテンツは、画像源810から上流に比較的に低解像度でレンダリングされ得る一方、中心窩追跡仮想カメラに関連付けられた角度明視野成分によって表される仮想コンテンツは、画像源810から上流に比較的に高解像度でレンダリングされ得る。そして、図8A-8Cに示されるように、ディスプレイシステム800の各々は、それぞれ、高FOVおよび低FOV明視野として、頭部追跡レンダリング視点に関連付けられた角度明視野成分および中心窩追跡レンダリング視点に関連付けられた角度明視野成分を出力するように構成され得る。図8A-8Cの各々では、第1の光学経路に沿って伝搬する明視野成分は、ディスプレイシステム800によって、光852の比較的に広い円錐として出力される。
図8Aに描写される段階では、走査ミラー860は、第1の位置にある。したがって、偏光ビームスプリッタ830を通過し、第2の光学経路に沿って伝搬する明視野成分は、ディスプレイシステム800によって、角度空間の実質的に中心領域に及ぶ光854Aの比較的に狭い円錐として出力されることが分かる。図6-7を参照して上で説明される例のコンテキスト内では、ディスプレイシステム800は、例えば、ユーザの眼が図6における視認者の眼602のものに類似する様式で向けられるとき、走査ミラー860を図8Aに示される第1の位置に設置し得る。このように、光成分854Aは、仮想オブジェクト612等の仮想コンテンツをレンダリング空間の比較的に中心領域に表し得る。図6-7の例に付け加えて、光852の比較的に広い円錐は、例えば、仮想オブジェクト611および613等の仮想コンテンツをレンダリング空間の中心からずれた領域に含み得る。いくつかの例では、光852の比較的に広い円錐は、光成分854Aによって表されるものと同じ仮想コンテンツであるが、より低い解像度で表す光成分をさらに含み得る。
図8Bに描写される段階では、走査ミラー860は、第1の位置と異なる第2の位置にある。したがって、偏光ビームスプリッタ830を通過し、第2の光学経路に沿って伝搬する明視野成分は、ディスプレイシステム800によって、角度空間の1つの実質的に中心からずれた領域に及ぶ光854Bの比較的に狭い円錐として出力されることが分かる。図6-7を参照して上で説明される例のコンテキスト内では、ディスプレイシステム800は、ユーザの眼が、視認者が仮想オブジェクト611を見ている間の視認者の眼602のものに類似する様式で向けられるとき、例えば、走査ミラー860を図8Bに示される第2の位置に設置し得る。このように、光成分854Bは、仮想オブジェクト611等の仮想コンテンツをレンダリング空間の1つの比較的に中心からずれた領域に表し得る。図6-7の例に付け加えて、光852の比較的に広い円錐は、例えば、レンダリング空間の他の中心からずれた領域における仮想オブジェクト613等の仮想コンテンツと、レンダリング空間の中心領域における仮想オブジェクト612等の仮想コンテンツとを含み得る。いくつかの例では、光852の比較的に広い円錐は、光成分854Bによって表されるものと同じ仮想コンテンツであるが、より低い解像度で表す光成分をさらに含み得る。
図8Cに描写される段階では、走査ミラー860は、第1および第2の位置と異なる第3の位置にある。したがって、偏光ビームスプリッタ830を通過し、第2の光学経路に沿って伝搬する明視野成分は、ディスプレイシステム800によって、角度空間の別の異なる実質的に中心からずれた領域に及ぶ光854Cの比較的に狭い円錐として出力されることが分かる。図6-7を参照して上で説明される例のコンテキスト内では、ディスプレイシステム800は、ユーザの眼が図7における視認者の眼602のものに類似する様式で向けられるとき、例えば、走査ミラー860を図8Cに示される第2の位置に設置し得る。このように、光成分854Cは、レンダリング空間の他の比較的に中心からずれた領域における仮想オブジェクト613等の仮想コンテンツを表し得る。図6-7の例に付け加えて、光852の比較的に広い円錐は、図8Bを参照して上で説明されるレンダリング空間の中心からずれた領域における、例えば、仮想オブジェクト611等の仮想コンテンツと、レンダリング空間の中心領域における仮想オブジェクト612等の仮想コンテンツとを含み得る。いくつかの例では、光852の比較的に広い円錐は、光成分854Cによって表されるものと同じ仮想コンテンツであるが、より低い解像度で表す光成分をさらに含み得る。
説明される実施形態の種々の側面、実施形態、実装、または特徴は、別個に、または任意の組み合わせにおいて使用されることができる。説明される実施形態の種々の側面は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの組み合わせによって実装されることができる。説明される実施形態は、製造動作を制御するためのコンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして、または製造ラインを制御するためのコンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとしても、具現化されることができる。コンピュータ読み取り可能な媒体は、その後、コンピュータシステムによって読み取られ得るデータを記憶し得る任意のデータ記憶デバイスである。コンピュータ読み取り可能な媒体の例は、読み取り専用メモリ、ランダムアクセスメモリ、CD-ROM、HDD、DVD、磁気テープ、および光学データ記憶デバイスを含む。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能なコードが分散型方式において記憶および実行されるように、ネットワークで結合されたコンピュータシステムにわたって分配されることもできる。
前述の説明は、説明目的のために、具体的命名法を使用して、説明される実施形態の完全な理解を提供する。しかしながら、具体的詳細は、説明される実施形態を実践するために要求されないことが、当業者に明白であろう。したがって、具体的実施形態の前述の説明は、例証目的および説明のために提示される。それらは、包括的であること、または説明される実施形態を開示される精密な形態に限定することを意図するものではない。多くの修正および変形例が、前述の教示に照らして、可能であることが、当業者に明白であろう。

Claims (5)

  1. ウェアラブルディスプレイデバイスであって、前記ウェアラブルディスプレイデバイスは、
    前記ウェアラブルディスプレイデバイスをユーザの頭部に固定するように構成された取り付け部材を含むフレームと、
    前記フレームに結合されたディスプレイアセンブリと
    を備え、
    前記ディスプレイアセンブリは、
    1つ以上の光導波管を備える主ディスプレイであって、前記主ディスプレイは、投影ベースのディスプレイを含み、前記投影ベースのディスプレイは、前記1つ以上の光導波管を使用して明視野を前記ユーザの網膜上に投影する、主ディスプレイと、
    前記主ディスプレイに隣接しかつ前記主ディスプレイを包囲する前記主ディスプレイの周辺に沿って配置された周辺ディスプレイと
    を備え、前記周辺ディスプレイは、画面ベースのディスプレイを含む、ウェアラブルディスプレイデバイス。
  2. 前記周辺ディスプレイの第1の領域は、前記周辺ディスプレイの第2の領域より高い空間解像度でコンテンツを示し、前記第1の領域は、前記第2の領域よりユーザの動眼視野に近い、請求項1に記載のウェアラブルディスプレイデバイス。
  3. ピクセルは、前記第2の領域より前記第1の領域においてより近接して相互に間隔を置かれている、請求項2に記載のウェアラブルディスプレイデバイス。
  4. 前記主ディスプレイは、前記周辺ディスプレイの少なくとも一部に結合され、それに重なっている、請求項1に記載のウェアラブルディスプレイデバイス。
  5. 前記主ディスプレイは、前記ユーザの左眼に関連付けられた第1の主ディスプレイと、前記ユーザの右眼に関連付けられた第2の主ディスプレイとを備え、前記第1および第2の主ディスプレイの両方は、前記周辺ディスプレイの層に結合されている、請求項1に記載のウェアラブルディスプレイデバイス。
JP2019525825A 2016-11-16 2017-11-16 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ Active JP7212616B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022192762A JP2023021184A (ja) 2016-11-16 2022-12-01 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ
JP2024062031A JP2024088741A (ja) 2016-11-16 2024-04-08 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662423162P 2016-11-16 2016-11-16
US62/423,162 2016-11-16
US201762475012P 2017-03-22 2017-03-22
US62/475,012 2017-03-22
US201762539934P 2017-08-01 2017-08-01
US62/539,934 2017-08-01
PCT/US2017/062070 WO2018094086A1 (en) 2016-11-16 2017-11-16 Multi-resolution display assembly for head-mounted display systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022192762A Division JP2023021184A (ja) 2016-11-16 2022-12-01 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ

Publications (2)

Publication Number Publication Date
JP2019537060A JP2019537060A (ja) 2019-12-19
JP7212616B2 true JP7212616B2 (ja) 2023-01-25

Family

ID=62108439

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019525825A Active JP7212616B2 (ja) 2016-11-16 2017-11-16 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ
JP2022192762A Withdrawn JP2023021184A (ja) 2016-11-16 2022-12-01 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ
JP2024062031A Pending JP2024088741A (ja) 2016-11-16 2024-04-08 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022192762A Withdrawn JP2023021184A (ja) 2016-11-16 2022-12-01 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ
JP2024062031A Pending JP2024088741A (ja) 2016-11-16 2024-04-08 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ

Country Status (9)

Country Link
US (2) US10948722B2 (ja)
EP (1) EP3542359A4 (ja)
JP (3) JP7212616B2 (ja)
KR (2) KR102516095B1 (ja)
CN (2) CN116153272A (ja)
AU (1) AU2017362344B2 (ja)
CA (1) CA3042554C (ja)
IL (2) IL301297B2 (ja)
WO (1) WO2018094086A1 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ773826A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
CA3019946C (en) 2016-04-08 2023-02-28 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
CN116153272A (zh) 2016-11-16 2023-05-23 奇跃公司 用于头戴式显示系统的多分辨率显示组件
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
WO2018175625A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
IL269103B2 (en) 2017-03-22 2024-07-01 Magic Leap Inc A variable focus display system with a dynamic field of view
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
GB2563832B (en) * 2017-06-23 2021-11-10 Sony Interactive Entertainment Inc Display method and apparatus
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method
US10895913B1 (en) * 2018-01-05 2021-01-19 Amazon Technologies, Inc. Input control for augmented reality applications
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US10535319B2 (en) * 2018-02-23 2020-01-14 Facebook Technologies, Llc Apparatus, systems, and methods for displaying images in rotated display regions of display screens
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ, インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US10788892B2 (en) * 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11106033B2 (en) 2018-07-05 2021-08-31 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11450297B1 (en) * 2018-08-30 2022-09-20 Apple Inc. Electronic device with central and peripheral displays
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11169383B2 (en) 2018-12-07 2021-11-09 Avegant Corp. Steerable positioning element
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US10962795B1 (en) * 2018-12-17 2021-03-30 Facebook Technologies, Llc Display with a resolution enhanced region
US10897601B2 (en) 2018-12-19 2021-01-19 Microsoft Technology Licensing, Llc Display projector with non-uniform pixel resolution
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
US20200285055A1 (en) * 2019-03-08 2020-09-10 Varjo Technologies Oy Direct retina projection apparatus and method
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US20210063745A1 (en) * 2019-08-27 2021-03-04 Apple Inc. Transparent Display System With Peripheral Illumination
KR20210138739A (ko) * 2019-09-27 2021-11-19 애플 인크. 애디티브 디스플레이들을 갖는 관리 디바이스들
US10928695B1 (en) 2019-10-11 2021-02-23 Facebook Technologies, Llc Rotated displays for electronic devices
CN115280214A (zh) 2019-10-17 2022-11-01 奇跃公司 可穿戴显示器中光透射伪影的衰减
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11947108B2 (en) * 2019-11-14 2024-04-02 Intel Corporation Gaze-attenuated virtual desktop
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
US11348514B2 (en) * 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11170678B2 (en) * 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11056030B1 (en) * 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
US11307410B2 (en) * 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
JP7509903B2 (ja) 2020-03-06 2024-07-02 マジック リープ, インコーポレイテッド ウェアラブルディスプレイ内の光透過アーチファクトの角度選択的減衰
US11119326B1 (en) * 2020-03-11 2021-09-14 Snap Inc. Eyewear display for generating an immersive image
DE102020203638A1 (de) 2020-03-20 2021-09-23 Robert Bosch Gesellschaft mit beschränkter Haftung Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
WO2021263183A1 (en) 2020-06-25 2021-12-30 Magic Leap, Inc. Tunable attenuation of light transmission artifacts in wearable displays
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
EP4217831A1 (en) * 2020-09-22 2023-08-02 Apple Inc. Attention-driven rendering for computer-generated objects
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
CN112578564B (zh) * 2020-12-15 2023-04-11 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
CN117043663A (zh) * 2021-03-31 2023-11-10 索尼集团公司 图像显示设备
KR20230023845A (ko) 2021-08-10 2023-02-20 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 전자 장치
US20230236420A1 (en) * 2021-08-17 2023-07-27 Texas Instruments Incorporated Compact near eye display engine
US20230161217A1 (en) * 2021-11-24 2023-05-25 Meta Platforms Technologies, Llc Light guide display system for providing increased pixel density
KR20240140908A (ko) * 2022-01-21 2024-09-24 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기
CN115185083B (zh) * 2022-07-14 2024-02-06 东南大学 一种ar头戴显示器自适应刷新率和分辨率渲染方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521099A (ja) 2002-03-21 2005-07-14 ラマス リミテッド 光導体光学装置
JP2013542462A (ja) 2010-09-21 2013-11-21 マイクロソフト コーポレーション 透過頭部装着ディスプレイ用不透明フィルター
WO2013076994A9 (ja) 2011-11-24 2014-04-17 パナソニック株式会社 頭部装着型ディスプレイ装置
JP2015172616A (ja) 2014-03-11 2015-10-01 パナソニック株式会社 ディスプレイ装置
US20160240013A1 (en) 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2932075C2 (de) 1979-08-08 1986-04-10 Barmag Barmer Maschinenfabrik Ag, 5630 Remscheid Friktionsfalschdraller
JPS6282245A (ja) * 1985-10-03 1987-04-15 Honda Motor Co Ltd 内燃エンジンの始動時の燃料供給方法
JPH05108036A (ja) * 1991-10-18 1993-04-30 Sony Corp 表示装置
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JPH06282245A (ja) * 1993-03-25 1994-10-07 Toshiba Corp 画像表示装置および画像処理システム
JPH09130519A (ja) * 1995-10-30 1997-05-16 Minolta Co Ltd フィルム画像再生装置
JPH09305156A (ja) * 1996-05-16 1997-11-28 Nippon Telegr & Teleph Corp <Ntt> 映像表示方法及び装置
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US7081870B2 (en) 2001-05-09 2006-07-25 Hewlett-Packard Development Company, L.P. Wearable display and method of displaying images using a wearable display
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
US7672119B2 (en) * 2006-12-18 2010-03-02 Jonathan Marc Hollander Folding user interface
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP6246592B2 (ja) * 2010-12-16 2017-12-13 ロッキード マーティン コーポレーション 画素レンズを有するコリメーティングディスプレイ
JP6060512B2 (ja) * 2012-04-02 2017-01-18 セイコーエプソン株式会社 頭部装着型表示装置
US9417660B2 (en) * 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2013188690A2 (en) * 2012-06-15 2013-12-19 Michael Wang Projector based display systems and methods
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
JP6070259B2 (ja) * 2013-02-22 2017-02-01 セイコーエプソン株式会社 導光装置の製造方法、導光装置及び虚像表示装置
US20140253605A1 (en) * 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9495125B2 (en) * 2013-08-13 2016-11-15 Beijing Lenovo Software Ltd. Electronic device and display method
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
KR102247831B1 (ko) * 2014-02-06 2021-05-04 삼성전자 주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
US20150317956A1 (en) * 2014-04-30 2015-11-05 International Business Machines Corporation Head mounted display utilizing compressed imagery in the visual periphery
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
WO2016022984A1 (en) * 2014-08-08 2016-02-11 Fusar Technologies, Inc. Helmet system and methods
KR102232419B1 (ko) * 2014-08-26 2021-03-26 엘지전자 주식회사 웨어러블 디스플레이 디바이스 및 그 제어 방법
US9557822B2 (en) * 2014-09-08 2017-01-31 Atheer, Inc. Method and apparatus for distinguishing features in data
WO2016079718A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods circuits devices assemblies systems and functionally associated computer executable code for image acquisition with depth estimation
US9759919B2 (en) * 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR20230025933A (ko) 2015-06-15 2023-02-23 매직 립, 인코포레이티드 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템
JP6944441B2 (ja) 2015-09-25 2021-10-06 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US9851792B2 (en) * 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CN116153272A (zh) 2016-11-16 2023-05-23 奇跃公司 用于头戴式显示系统的多分辨率显示组件

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521099A (ja) 2002-03-21 2005-07-14 ラマス リミテッド 光導体光学装置
JP2013542462A (ja) 2010-09-21 2013-11-21 マイクロソフト コーポレーション 透過頭部装着ディスプレイ用不透明フィルター
WO2013076994A9 (ja) 2011-11-24 2014-04-17 パナソニック株式会社 頭部装着型ディスプレイ装置
JP2015172616A (ja) 2014-03-11 2015-10-01 パナソニック株式会社 ディスプレイ装置
US20160240013A1 (en) 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Also Published As

Publication number Publication date
IL266500A (en) 2019-07-31
KR102516095B1 (ko) 2023-03-29
US10948722B2 (en) 2021-03-16
JP2023021184A (ja) 2023-02-09
CA3042554A1 (en) 2018-05-24
KR20230047208A (ko) 2023-04-06
US20180136471A1 (en) 2018-05-17
US20210239991A1 (en) 2021-08-05
KR102563846B1 (ko) 2023-08-03
KR20190082916A (ko) 2019-07-10
IL301297B1 (en) 2024-04-01
CN116153272A (zh) 2023-05-23
CA3042554C (en) 2023-07-18
JP2024088741A (ja) 2024-07-02
AU2017362344B2 (en) 2023-09-28
IL266500B2 (en) 2023-08-01
CN110226199A (zh) 2019-09-10
EP3542359A1 (en) 2019-09-25
CN110226199B (zh) 2022-11-22
AU2017362344A1 (en) 2019-05-16
IL301297B2 (en) 2024-08-01
IL266500B1 (en) 2023-04-01
US11604353B2 (en) 2023-03-14
IL301297A (en) 2023-05-01
WO2018094086A1 (en) 2018-05-24
JP2019537060A (ja) 2019-12-19
EP3542359A4 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
JP7212616B2 (ja) 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ
JP7514968B2 (ja) 傾斜アレイベースのディスプレイ
JP7521872B2 (ja) 導波管照明器
US11215829B2 (en) Display device with a holographic combiner
US11256095B2 (en) Reflective switching device for inputting different wavelengths of light into waveguides
CA2815461C (en) Head-mounted display apparatus employing one or more fresnel lenses
JP5156876B1 (ja) 表示装置
JP2018506744A (ja) ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
US11307420B2 (en) Augmented reality eyewear with “ghost buster” technology
US11754843B2 (en) Augmented reality eyewear with “ghost buster” technology
TW202136861A (zh) 顯示一個具有景深的物體的系統與方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150