KR20220119627A - 수차 보정 및 인커플링 회절 광학 요소를 가진 헤드업 디스플레이를 위한 프로젝터 - Google Patents
수차 보정 및 인커플링 회절 광학 요소를 가진 헤드업 디스플레이를 위한 프로젝터 Download PDFInfo
- Publication number
- KR20220119627A KR20220119627A KR1020227021919A KR20227021919A KR20220119627A KR 20220119627 A KR20220119627 A KR 20220119627A KR 1020227021919 A KR1020227021919 A KR 1020227021919A KR 20227021919 A KR20227021919 A KR 20227021919A KR 20220119627 A KR20220119627 A KR 20220119627A
- Authority
- KR
- South Korea
- Prior art keywords
- doe
- multifunction
- projector
- waveguide
- light
- Prior art date
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 45
- 230000003287 optical effect Effects 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims description 49
- 230000000737 periodic effect Effects 0.000 claims description 5
- 210000003128 head Anatomy 0.000 abstract description 6
- 210000001747 pupil Anatomy 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 239000000463 material Substances 0.000 description 13
- 238000009877 rendering Methods 0.000 description 9
- -1 poly(methyl methacrylate) Polymers 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 4
- 229920000139 polyethylene terephthalate Polymers 0.000 description 4
- 239000005020 polyethylene terephthalate Substances 0.000 description 4
- 239000004926 polymethyl methacrylate Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 235000004035 Cryptotaenia japonica Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 102000007641 Trefoil Factors Human genes 0.000 description 1
- 235000015724 Trifolium pratense Nutrition 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
- G02B27/0056—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations by using a diffractive optical element
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
- G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
- G02B13/0045—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
- G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
- G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
- G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
광을 도파관으로 재지향시키고 고차 수차 보정을 제공하기 위한 다기능 회절 광학 요소(DOE)가 설명된다. 다기능 DOE는 도파관 상에 위치되거나, 도파관에 연결되거나, 인접하거나 또는 도파관 내에 있을 수 있으며, 일부 예에서 프로젝터 렌즈의 출사동에 또는 그 근처에 위치된다. 예에서, 머리 착용 디스플레이(HMD)는 인공 현실 콘텐츠를 출력하도록 구성되며, 입력 광을 수신하도록 구성되고 수신된 입력 광을 아이 박스로 출력하도록 구성된 도파관을 포함한다. HMD는 광을 도파관에 입력하도록 구성된 프로젝터를 추가로 포함하고, 프로젝터는 디스플레이, 프로젝터 렌즈, 및 프로젝터로부터의 광을 도파관으로 재지향시키고 디스플레이로부터의 광의 고차 수차 보정을 제공하도록 구성된 다기능 회절 광학 요소(DOE)를 포함한다.
Description
본 발명은 일반적으로 다양한 유형의 전자 시스템 및 디바이스에서 구현되는 광학 요소 및 광학 시스템에 관한 것이다.
머리 착용 디스플레이(HMD) 디바이스를 포함하는 광학 디바이스는 사용자에게 시각적 정보를 제공한다. 예를 들어, 머리 착용 디스플레이는 가상 현실(VR) 및 증강 현실(AR) 작업을 위해 사용된다. 머리 착용 디스플레이는 종종 전자 이미지 소스와 광학 조립체를 포함한다.
일부 증강 현실 응용 분야에서, 가상 객체를 포함하는 가상 이미지는 디스플레이를 통해 사용자에게 제시되고, 현실 세계 객체와 조합된다. 일부 응용 분야에서, 가상 이미지는 부분 투과성 및 부분 반사성 조합기(combiner)를 통해 사용자에게 제시되고, 조합기를 통해 사용자가 직접 볼 수 있는 현실 세계 장면과 겹친다. 다른 응용 분야에서, 현실 세계 객체는 이미지 캡처 디바이스에 의해 캡처되어, 디스플레이를 통해 사용자에게 제시된다. 일부 응용 분야에서 가상 객체, 및 현실 세계 객체의 이미지 캡처는 프로젝터에 의해 사용자에게 제시될 수 있다.
일반적으로, 본 발명은 다기능 회절 광학 요소(DOE) 및 다기능 회절 광학 요소(DOE)를 포함하는 프로젝터에 관한 것이다. 다기능 DOE는 프로젝터의 광을 도파관으로 재지향시키는 입력 커플러일 수 있는 동시에, 다기능 DOE는 프로젝터 렌즈의 요소일 수 있다. 다기능 DOE는 도파관 상에 위치되거나, 도파관에 연결되거나, 인접하거나 또는 도파관 내에 있을 수 있으며, 일부 예에서 프로젝터 렌즈의 출사동(exit pupil)에 또는 그 근처에 위치된다. 이와 같이 다기능 DOE는 프로젝터 렌즈의 성능을 향상시킬 수 있으며, 예를 들어, 다기능 DOE는 프로젝터 렌즈의 이미지 형성 성능을 향상시킬 수 있고, 다기능 DOE는 프로젝터 렌즈 이미지 형성 성능을 유지하면서 굴절 요소의 제거 및/또는 프로젝터 렌즈 재설계, 또는 둘 모두를 가능하게 하는 것에 의해 프로젝터 렌즈의 단축을 가능하게 한다.
하나의 예에서, 본 발명은, 인공 현실 콘텐츠를 출력하도록 구성되고, 입력 광을 수신하도록 구성되고 수신된 입력 광을 아이 박스(eyebox)로 출력하도록 구성된 도파관을 포함하는 머리 착용 디스플레이(HMD)에 관한 것이다. HMD는 광을 도파관으로 입력하도록 구성된 프로젝터를 추가로 포함하고, 프로젝터는 디스플레이, 프로젝터 렌즈, 및 프로젝터로부터의 광을 도파관으로 재지향시키도록 구성된 다기능 회절 광학 요소(DOE)를 포함한다.
일부 실시예에서, 다기능 DOE는 선형 위상 프로파일 및 고차 수차 보정 위상 프로파일을 포함한다.
다기능 DOE는 바람직하게 회전 대칭 고차 수차 보정 위상 프로파일 및 비회전 대칭 위상 프로파일을 포함할 수 있다.
다기능 DOE는 바람직하게 프로젝터 렌즈의 수차를 보상하도록 구성될 수 있다.
광축을 따르는 프로젝터 렌즈의 길이는 바람직하게 4 ㎜ 미만일 수 있다.
일부 실시예에서, 다기능 DOE는 프로젝터 렌즈의 조리개(stop)의 500 ㎛ 이내에 위치된다.
다기능 DOE는 바람직하게 도파관의 주 표면에 인접하게 위치될 수 있다.
일부 실시예에서, 다기능 DOE는 투과성 DOE 또는 반사성 DOE이다.
다른 예에서, 본 발명은 선형 위상 프로파일 및 고차 수차 보정 위상 프로파일을 포함하는 다기능 회절 광학 요소(DOE)에 관한 것이며, 고차 수차 보정 위상 프로파일은 다기능 DOE에 입사되는 광의 고차 수차 보정을 제공하도록 구성된다.
일부 실시예에서, 주기적 위상 프로파일은 다기능 DOE에 입사되는 광을 도파관으로 재지향시키도록 구성된다.
일부 실시예에서, 고차 수차 보정 위상 프로파일은 다기능 DOE에 광을 지향시키도록 구성된 프로젝터 렌즈의 수차를 보상하도록 구성된다.
일부 실시예에서, 고차 수차 보정 위상 프로파일은 회전 대칭 고차 수차 보정 위상 프로파일 및 비회전 대칭 위상 프로파일을 포함한다.
일부 실시예에서, 다기능 DOE는 투과성 DOE를 포함한다.
다른 실시예에서, 다기능 DOE는 반사성 DOE를 포함한다.
일부 실시예에서, 다기능 DOE는 메타표면(metasurface) 또는 메타재료(metamaterial)를 포함한다.
추가 예에서, 본 발명은 이미지를 투사하는 방법에 관한 것이며, 방법은 전자 디스플레이로부터 광을 방출하고 프로젝터 렌즈를 통해 방출된 광을 시준하는 단계를 포함한다. 방법은 다기능 DOE를 통해 시준된 방출 광을 재지향시키는 단계, 다기능 DOE를 통해 프로젝터 렌즈의 수차를 보상하는 단계를 추가로 포함한다.
일부 실시예에서, 프로젝터 렌즈의 수차를 보상하는 단계는 시준된 방출 광의 파면으로 회전 대칭 위상 지연 프로파일 및 비회전 대칭 위상 지연 프로파일을 유도하는 단계를 포함한다.
시준된 방출 광을 재지향시키는 단계는 바람직하게 시준된 방출 광을 도파관으로 재지향시키는 단계를 포함할 수 있다.
방법은 바람직하게 도파관의 주 표면에 다기능 DOE를 위치시키는 단계를 추가로 포함할 수 있다.
일부 실시예에서, 방법은 프로젝터 렌즈의 조리개로부터 500 ㎛ 내에 다기능 DOE를 위치시키는 단계를 추가로 포함한다.
일부 실시예에서, 방법은 전자 디스플레이로부터 4 ㎜ 이내에 다기능 DOE를 위치시키는 단계를 추가로 포함한다.
다른 예에서, 본 발명은, 광출력(optical power)을 갖고 프로젝터 렌즈의 초점 평면에서 또는 그 근처에서 방출된 광을 시준하도록 구성된 하나 이상의 렌즈 요소; 초점 평면으로부터 하나 이상의 렌즈 요소 반대편에 위치된 렌즈 조리개; 하나 이상의 렌즈 요소로부터 렌즈 조리개 반대편에 위치된 다기능 회절 광학 요소(DOE)를 포함하며, 상기 다기능 DOE는 선형 위상 프로파일; 및 다기능 DOE에 입사되는 광에 고차 수차 보정을 제공하도록 구성된 고차 수차 보정 위상 프로파일을 포함하는, 프로젝터 렌즈에 관한 것이다.
그러므로, 개시된 예는, 다기능이고 광을 도파관으로 재지향시키는 것에 의해 입력 커플러로서 기능할 수 있고 프로젝터 렌즈의 이미지 형성 성능을 개선하기 위해 프로젝터 렌즈의 렌즈 요소로서 기능하고, 이에 의해 프로젝터 렌즈의 길이가 감소되게 할 수 있는 DOE를 제공한다.
도 1은 본 발명에서 기술된 기술에 따른, 다기능 회절 광학 요소(DOE)를 포함하는 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 2a는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 HMD를 도시하는 도면이다.
도 2b는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 HMD를 도시하는 도면이다.
도 3은 본 발명에서 기술된 기술에 따른, 도 1의 인공 현실 시스템의 콘솔 및 HMD의 예시적인 구현예를 나타내는 블록도이다.
도 4는 본 발명에서 기술된 기술에 따른, 도 1의 인공 현실 시스템의 예시적인 HMD를 도시하는 블록도이다.
도 5는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 6은 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 7은 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 8은 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 9는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 10은 본 발명에서 기술된 기술에 따른 인공 현실 시스템에서 DOE를 포함하는 프로젝터 렌즈를 도시하는 도면이다.
도 11a는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 프로젝터 렌즈의 단면도를 도시하는 도면이다.
도 11b는 본 발명에 설명된 기술에 따른, 도 11a의 프로젝터 렌즈에 대한 다양한 광선 각도에서의 예시적인 세트의 변조 전달 함수(MTF)의 플롯이다.
도 2a는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 HMD를 도시하는 도면이다.
도 2b는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 HMD를 도시하는 도면이다.
도 3은 본 발명에서 기술된 기술에 따른, 도 1의 인공 현실 시스템의 콘솔 및 HMD의 예시적인 구현예를 나타내는 블록도이다.
도 4는 본 발명에서 기술된 기술에 따른, 도 1의 인공 현실 시스템의 예시적인 HMD를 도시하는 블록도이다.
도 5는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 6은 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 7은 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 8은 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 9는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 다른 예시적인 인공 현실 시스템을 도시하는 도면이다.
도 10은 본 발명에서 기술된 기술에 따른 인공 현실 시스템에서 DOE를 포함하는 프로젝터 렌즈를 도시하는 도면이다.
도 11a는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 프로젝터 렌즈의 단면도를 도시하는 도면이다.
도 11b는 본 발명에 설명된 기술에 따른, 도 11a의 프로젝터 렌즈에 대한 다양한 광선 각도에서의 예시적인 세트의 변조 전달 함수(MTF)의 플롯이다.
일반적으로 본 발명은 다기능 회절 광학 요소(DOE) 및 다기능 DOE를 포함하는 프로젝터에 관한 것이다. 다기능 DOE는 프로젝터로부터의 광을 도파관으로 재지향시키는 커플러로서 작용하는 동시에 프로젝터 렌즈 및/또는 프로젝터의 영상 품질을 향상시키는 렌즈 요소로서 기능하는 가시광선 파장 이하의 파장 정도의 구조를 포함할 수 있다. 일부 예에서, 다기능 DOE는 반사성 격자의 한쪽 또는 양쪽 표면의 물리적 표면 프로파일의 공간적 변화를 통해 수차 보정을 유도하는 표면 릴리프 격자와 같은, 다기능 DOE를 통한 투과 후에 프로젝터의 수차에 대한 보정을 유도하는 격자, 다기능 DOE의 재료에서 굴절률의 공간적 변화를 통해 수차 보정을 유도하는 홀로그램 광학 요소와 같은 체적 격자 등일 수 있다. 일부 예에서, 다기능 DOE는 격자의 반사 표면의 물리적 표면 프로파일의 공간적 변화를 통해 수차 보정을 부과하는 표면 릴리프 반사성 격자, 다기능 DOE의 재료의 벌크에서의 굴절률의 공간적 변화를 통해 위상 프로파일을 부과하는 체적 반사성 격자, 예를 들어 반사성 브래그 격자(reflective Bragg grating) 등과 같은 다기능 DOE로부터 도파관으로 반사된 후 프로젝터 렌즈의 수차에 대한 보정을 유도하는 가시광선 파장 이하의 파장 정도의 반사성 구조를 포함할 수 있다. DOE는 도파관 상에 위치되거나, 도파관에 연결되거나, 도파관에 인접하여 또는 도파관 내에 위치될 수 있고, 일부 예에서, 프로젝터 렌즈의 출사동에 또는 그 근처에 위치될 수 있다. 일부 예에서, DOE는 프로젝터 반대편에 있는 도파관의 표면에 또는 그 근처에 위치될 수 있다. 이와 같이, DOE의 수차 보정은 프로젝터 렌즈의 성능을 향상시킬 수 있으며, 예를 들어, DOE는 프로젝터 렌즈의 이미지 형성 성능을 향상시킬 수 있고, DOE는 프로젝터 렌즈 이미지 형성 성능을 유지하면서 굴절 요소의 제거 및/또는 프로젝터 렌즈의 재설계, 또는 둘 모두를 가능하게 하는 것에 의해 프로젝터 렌즈의 단축을 가능하게 한다.
도 1은 본 발명에서 기술된 기술에 따른, 각도 선택성 확산 조합기를 포함하는 예시적인 인공 현실 시스템을 도시하는 도면이다. 도 1의 예에서, 인공 현실 시스템(100)은 HMD(112), 하나 이상의 컨트롤러(114A 및 114B)(총칭하여 "컨트롤러(들)(114)")를 포함하고, 일부 예에서 하나 이상의 외부 센서(90) 및/또는 콘솔(106)을 포함할 수 있다.
HMD(112)는 일반적으로 사용자(110)에 의해 착용되고, 인공 현실 콘텐츠(122)를 사용자(110)에게 제시하기 위한 전자 디스플레이 및 광학 조립체를 포함한다. 또한, HMD(112)는 HMD(112)의 모션을 추적하기 위한 하나 이상의 센서(예를 들어, 가속도계)를 포함하고, 주변 물리적 환경의 이미지 데이터를 캡처하기 위한 하나 이상의 이미지 캡처 디바이스(138)(예를 들어, 카메라, 라인 스캐너)를 포함할 수 있다. 머리 착용 디스플레이로서 예시되었을지라도, AR 시스템(100)은 대안적으로 또는 추가적으로 인공 현실 콘텐츠(122)를 사용자(110)에게 제시하기 위한 안경 또는 다른 디스플레이 디바이스를 포함할 수 있다.
각각의 컨트롤러(들)(114)는 사용자(110)가 콘솔(106), HMD(112), 또는 인공 현실 시스템(100)의 다른 구성요소에 입력을 제공하기 위해 사용할 수 있는 입력 디바이스이다. 컨트롤러(114)는 존재 감지 표면의 위치를 만지거나 호버링하는 하나 이상의 객체(예를 들어, 손가락, 스타일러스)의 존재를 감지하는 것에 의해 사용자 입력을 검출하기 위한 하나 이상의 존재 감지 표면을 포함할 수 있다. 일부 예에서, 컨트롤러(들)(114)는 존재 감지 디스플레이일 수 있는 출력 디스플레이를 포함할 수 있다. 일부 예에서, 컨트롤러(들)(114)는 스마트폰, 태블릿 컴퓨터, 개인 데이터 어시스턴트(PDA), 또는 다른 휴대용 디바이스일 수 있다. 일부 예에서, 컨트롤러(들)(114)는 스마트워치, 스마트링, 또는 다른 웨어러블 디바이스일 수 있다. 컨트롤러(들)(114)는 또한 키오스크 또는 다른 고정식 또는 이동식 시스템의 일부일 수 있다. 대안적으로, 또는 추가적으로, 컨트롤러(들)(114)는 인공 현실 시스템(100)에 의해 사용자(110)에게 제시된 인공 현실 콘텐츠(122)의 양태와 사용자가 상호 작용하고 및/또는 제어하는 것을 가능하게 하기 위해 하나 이상의 버튼, 트리거, 조이스틱, D-패드 등과 같은 다른 사용자 입력 메커니즘을 포함할 수 있다.
이 예에서, 콘솔(106)은 게임 콘솔, 워크스테이션, 데스크탑 컴퓨터 또는 랩탑과 같은 단일 컴퓨팅 디바이스로서 도시되어 있다. 다른 예에서, 콘솔(106)은 분산 컴퓨팅 네트워크, 데이터 센터, 또는 클라우드 컴퓨팅 시스템과 같은 복수의 컴퓨팅 디바이스에 걸쳐서 분산될 수 있다. 콘솔(106), HMD(112) 및 센서(90)들은 이 예에 도시된 바와 같이, Wi-Fi, 메시 네트워크 또는 근거리 무선 통신 매체, 또는 이들의 조합과 같은 유선 또는 무선 네트워크일 수 있는 네트워크(104)를 통해 통신 가능하게 결합될 수 있다. HMD(112)가 이 예에서 콘솔(106)과 통신하는, 예를 들어, 콘솔(106)에 테더링되거나 무선 통신하는 것으로 도시되어 있을지라도, 일부 구현예에서, HMD(112)는 독립형 모바일 인공 현실 시스템으로서 동작하고, 인공 현실 시스템(100)은 콘솔(106)을 생략할 수 있다.
일반적으로, 인공 현실 시스템(100)은 HMD(112)에서 사용자(110)에게 디스플레이하기 위해 인공 현실 콘텐츠(122)를 렌더링한다. 도 1의 예에서, 사용자(110)는 HMD(112) 및/또는 콘솔(106)에서 실행되는 인공 현실 애플리케이션에 의해 구성되고 렌더링된 인공 현실 콘텐츠(122)를 본다. 일부 예에서, 인공 현실 콘텐츠(122)는 완전히 인공, 즉 사용자(110)가 위치되는 환경과 관련되지 않은 이미지일 수 있다. 일부 예에서, 인공 현실 콘텐츠(122)는 혼합 현실 및/또는 증강 현실을 생성하기 위해 현실 세계 이미지(예를 들어, 사용자(110)의 손, 컨트롤러(들)(114), 사용자(110) 근처의 다른 환경 객체)와 가상 객체(120)들의 혼합물을 포함할 수 있다. 일부 예에서, 가상 콘텐츠 아이템은 예를 들어 현실 세계 이미지에 대해 인공 현실 콘텐츠(122) 내의 특정 위치에 매핑(예를 들어, 고정, 잠금, 배치)될 수 있다. 가상 콘텐츠 아이템를 위한 위치는 예를 들어 벽이나 땅 중 하나에 대해 고정될 수 있다. 가상 콘텐츠 아이템을 위한 위치는 예를 들어 컨트롤러(들)(114) 또는 사용자에 대해 가변적일 수 있다. 일부 예에서, 인공 현실 콘텐츠(122) 내에서의 가상 콘텐츠 아이템의 특정 위치는 현실 세계, 물리적 환경 내의(예를 들어, 물리적 객체의 표면 상의) 위치와 관련된다.
동작 동안, 인공 현실 애플리케이션은 기준 프레임(frame of referencen), 전형적으로 HMD(112)의 시야 관점(viewing perspective)에 대한 포즈 정보를 추적하고 계산하는 것에 의해 사용자(110)에게 디스플레이하기 위한 인공 현실 콘텐츠(122)를 구성한다. HMD(112)를 기준 프레임으로 사용하고, HMD(112)의 현재 추정된 포즈에 의해 결정된 현재 시야에 기초하여, 인공 현실 애플리케이션은 일부 예에서 적어도 부분적으로 사용자(110)의 현실 세계 3D 물리적 환경에 오버레이될 수 있는 3D 인공 현실 콘텐츠를 렌더링한다. 이러한 프로세스 동안, 인공 현실 애플리케이션은 움직임 정보 및 사용자 명령과 같은 HMD(112)로부터 수신된 감지 데이터, 및 일부 예에서 사용자(110)에 의한 동작 및/또는 사용자(110)에 대한 특징 추적 정보와 같은 현실 세계 물리적 환경 내의 3D 정보를 캡처하도록 외부 카메라와 같은 임의의 외부 센서(90)로부터의 데이터를 사용한다. 감지된 데이터에 기초하여, 인공 현실 애플리케이션은 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라서 인공 현실 콘텐츠(122)를 렌더링한다.
인공 현실 시스템(100)은 사용자의 실시간 시선 추적 또는 다른 조건에 의해 결정될 수 있는 바와 같이 사용자(110)의 현재 시야(130)에 기초하여 가상 콘텐츠 아이템의 생성 및 렌더링을 트리거할 수 있다. 보다 구체적으로, HMD(112)의 이미지 캡처 디바이스(138)는 이미지 캡처 디바이스(138)의 시야(130) 내에 있는 현실 세계 물리적 환경의 객체를 나타내는 이미지 데이터를 캡처한다. 시야(130)는 전형적으로 HMD(112)의 시야 관점에 대응한다. 일부 예에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(122)를 제시한다. 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 내이 있는 것과 같은 가상 객체(120)와 함께 시야(130) 내에 있는 주변 디바이스, 사용자(110)의 손 및/또는 팔과 같은 현실 세계 객체의 이미지의 부분을 렌더링할 수 있다. 다른 예에서, 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 내의 시야(130) 내에 있는 주변 디바이스, 사용자(110)의 손, 및/또는 팔의 가상 표현들의 부분을 렌더링할 수 있다(예를 들어, 가상 객체(120)들로서 현실 세계 객체를 렌더링할 수 있다). 어느 하나의 예에서, 사용자(110)는 인공 현실 콘텐츠(122) 내의 시야(130) 내에 있는 그들의 손, 팔, 주변 디바이스 및/또는 임의의 다른 현실 세계 객체의 부분을 볼 수 있다. 다른 예에서, 인공 현실 애플리케이션은 사용자(110)의 손 또는 팔의 표현을 렌더링하지 않을 수 있다.
장면에서 현실 세계 객체와 오버레이된 가상 콘텐츠를 제공하기 위해, HMD(112)는 프로젝터, 및 사용자의 눈에 의해 볼 수 있는 위치로 프로젝터에 의해 형성된 이미지를 변환하기 위한 도파관을 포함할 수 있다. 프로젝터는 디스플레이와 프로젝터 렌즈를 포함할 수 있다. 도파관은 프로젝터로부터의 광을 도파관으로 재지향시키기 위한 입력 격자 커플러를 포함할 수 있고, 도파관은 내부 전반사(TIR)를 통해 광을 "포착"할 수 있다. 예를 들어, 프로젝터 렌즈는 광을 도파관으로 재지향시키는 격자 커플러 및 프로젝터 렌즈의 영상 품질을 개선하는 렌즈 요소 둘 모두로서 기능하는 회절 격자일 수 있는 다기능 DOE를 포함할 수 있다. 도파관은 도파관 외부로, 예를 들어 아이 박스를 향해 광을 재지향시키기 위한 출력 격자를 포함할 수 있다. 일부 예에서, 프로젝터 렌즈는 디스플레이로부터의 광을 시준할 수 있고, 예를 들어, 디스플레이는 실질적으로 프로젝터 렌즈의 초점에 위치될 수 있다. 격자 커플러는 시준된 광을 디스플레이로부터 도파관으로 재지향시킬 수 있고, 광은 도파관의 표면에서 TIR을 통해 도파관 내에서 전파될 수 있다. 도파관은 도파관으로부터의 광을 사용자의 눈으로 재지향시키기 위해 출력 구조, 예를 들어 구멍, 범프, 점, HOE, DOE 등을 포함할 수 있으며, 사용자의 눈은 프로젝터 디스플레이로부터의 시준된 광을 사용자의 망막에 초점을 맞추고, 이에 의해 사용자의 망막에서 표시 이미지를 재구성한다. 일부 예에서, 도파관의 TIR은 거울로서 기능하고, 디스플레이의 이미지 품질에 크게 영향을 미치지 않으며, 예를 들어, 디스플레이의 사용자 뷰는 거울에서의 디스플레이를 보는 것과 같다.
도 2a는 본 발명에서 기술된 기술에 따른, 다기능 DOE를 포함하는 예시적인 HMD(112)를 도시하는 도면이다. 도 2a의 HMD(112)는 도 1의 HMD(112)의 예일 수 있다. 도 2a에 도시된 바와 같이, HMD(112)는 안경의 형태를 취할 수 있다. HMD(112)는 도 1의 인공 현실 시스템(100)과 같은 인공 현실 시스템의 일부일 수 있거나, 본 명세서에 설명된 기술을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이러한 예에서, HMD(112)는 사용자에게 HMD(112)를 고정하기 위해 사용자의 귀 위로 연장되는 안경 다리(또는 "아암") 및 HMD(112)가 사용자의 코에 놓일 수 있도록 하는 브리지를 포함하는 전면 프레임을 포함하는 안경이다. 또한, 도 2a의 HMD(112)는 하나 이상의 도파관(203A 및 203B)(집합적으로 "도파관(203)") 및 도파관(205A 및 205B) 밖으로 광을 재지향시키도록 구성된 하나 이상의 도파관 출력 구조(205A 및 205B)(집합적으로 "도파관 출력 구조(205)")를 포함한다. 도시된 예에서, 프로젝터(148A 및 148B)(집합적으로 "프로젝터(148)")는 광이 도파관 내에서 내부 전반사(TIR)를 통해 "포착"되도록 프로젝터(148)로부터 도파관(203)으로 광을 재지향시키는 격자 커플러(도시되지 않음)를 통해 도파관(203A 및 203B) 내로 광, 예를 들어 시준된 광을 입력할 수 있다. 예를 들어, 프로젝터(148A, 148B)는 디스플레이 및 프로젝터 렌즈를 포함할 수 있다. 프로젝터 렌즈는 광을 도파관 내로 재지향시키는 격자 커플러 및 프로젝터 렌즈의 영상 품질을 개선하는 렌즈 요소 둘 모두로서 기능하는 회절 격자일 수 있는 다기능 DOE를 포함할 수 있다. 일부 예에서, 도파관(203)은 투명할 수 있고, 대안적으로 이후에 "윈도우(203)"로서 지칭될 수 있다. 일부 예에서, HMD(112)의 전면 프레임에 대한 윈도우(203)의 알려진 배향 및 위치는 HMD(112)와 사용자의 현재 시야 관점에 따라서 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 위치 및 배향을 추적할 때 또한 로컬 원점으로서 지칭되는 기준 프레임으로서 사용된다. 일부 예에서, 프로젝터(148)는 사용자의 각각의 눈에 별도의 이미지를 제공하기 위한 입체 디스플레이를 제공할 수 있다.
도시된 예에서, 도파관 출력 구조(205)는 윈도우(203)의 일부를 덮고, 윈도우(203)을 통해 사용자(110)가 볼 수 있는 시야(130)의 일부를 대체한다. 다른 예에서, 도파관 출력 구조(205)는 윈도우(203)의 다른 부분 또는 윈도우(205)의 전체 영역을 덮을 수 있다.
도 2a에 추가로 도시된 바와 같이, 이 예에서, HMD(112)는 하나 이상의 모션 센서(206), 하나 이상의 통합된 이미지 캡처 디바이스(138A 및 138B)(총칭하여 "이미지 캡처 디바이스(138)"), 내부 전원 및 감지 데이터를 처리하고 각도 선택적 확산 조합기(205)에 인공 현실 콘텐츠를 제공하기 위해 프로그래밍 가능한 동작을 실행하기 위한 동작 환경을 제공하는 하나 이상의 프로세서, 메모리 및 하드웨어를 가지는 하나 이상의 인쇄 회로 기판을 포함할 수 있는 내부 제어 유닛(210)을 추가로 포함한다.
도 2b는 다기능 DOE를 포함하는 다른 예시적인 HMD를 도시하는 도면이다. HMD(112)는 도 1의 인공 현실 시스템(100)과 같은 인공 현실 시스템의 일부일 수 있거나, 본 명세서에 설명된 기술을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는 전면 강체, 및 HMD(112)를 사용자에게 고정하기 위한 밴드를 포함한다. 또한, HMD(112)는 도파관 출력 구조(205)를 통해 사용자에게 인공 현실 콘텐츠를 제공하도록 구성된 도파관(203)(또는 대안적으로 윈도우(203))을 포함한다. 도시된 예에서, 프로젝터(148)는 광이 도파관 내에서 내부 전반사(TIR)를 통해 "포착"되도록 프로젝터(148)로부터 도파관(203)으로 광을 재지향시키는 격자 커플러(도시되지 않음)를 통해 도파관(203)으로 광, 예를 들어 시준된 광을 입력한다. 예를 들어, 프로젝터(148)는 디스플레이 및 프로젝터 렌즈를 포함할 수 있다. 프로젝터 렌즈는 광을 도파관으로 재지향시키는 격자 조합기 및 프로젝터 렌즈의 영상 품질을 개선하는 렌즈 요소 둘 모두로서 기능하는 다기능 DOE를 포함할 수 있다. 일부 예에서, HMD(112)의 전면 강체에 대한 도파관(203)의 알려진 배향 및 위치는 HMD(112)와 사용자의 현재 시야 관점에 따라서 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 위치 및 배향을 추적할 때 또한 로컬 원점으로서 지칭되는 기준 프레임으로서 사용된다. 다른 예에서, HMD(112)는 안경 또는 고글과 같은 다른 웨어러블 머리 착용 디스플레이의 형태를 취할 수 있다.
도 3은 본 발명에서 기술된 기술에 따른, 콘솔(106) 및 HMD(112)를 포함하는 인공 현실 시스템의 예시적인 구현예를 도시하는 블록도이다. 도 3의 예에서, 콘솔(106)은 HMD(112) 및/또는 외부 센서로부터 수신된 모션 데이터 및 이미지 데이터와 같은 감지 데이터에 기초하여 HMD(112)에 대한 포즈 추적, 제스처 검출, 및 사용자 인터페이스 생성 및 렌더링을 수행한다.
이 예에서, HMD(112)는 하나 이상의 프로세서(302) 및 메모리(304)를 포함하며, 이러한 것들은 일부 예에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제, 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 애플리케이션 엔진(340)을 포함하는 하나 이상의 소프트웨어 구성요소(307)를 실행하기 위한 멀티태스킹 동작 환경을 제공한다. 도 2a 및 도 2b에 대해 논의된 바와 같이, 프로세서(302)들은 전자 디스플레이(203), 모션 센서(206), 이미지 캡처 디바이스(138), 및 일부 예에서 광학 시스템(205)에 결합된다. 일부 예에서, 프로세서(302) 및 메모리(304)는 별개의 이산 구성요소일 수 있다. 다른 예에서, 메모리(304)는 단일 집적 회로 내에서 프로세서(302)와 함께 배치된 온칩 메모리일 수 있다.
일부 예에서, 광학 시스템(205)은 도 2a 및 도 2b와 관련하여 위에서 설명된 바와 같이 가상 콘텐츠를 사용자에게 제시하기 위한 프로젝터 및 도파관을 포함할 수 있다. 예를 들어, 광학 시스템(205)은 전자 디스플레이(203) 및 프로젝터 렌즈를 포함하는 프로젝터를 포함할 수 있다. 프로젝터 렌즈는 광을 도파관으로 재지향시키는 격자 조합기 및 프로젝터 렌즈의 영상 품질을 개선하는 렌즈 요소 둘 모두로서 기능하는 다기능 DOE를 추가로 포함할 수 있다.
일반적으로, 콘솔(106)은 HMD(112)를 위한 제스처 검출 및 사용자 인터페이스 및/또는 가상 콘텐츠 생성을 수행하기 위해 이미지 캡처 디바이스(138)로부터 수신된 이미지 및 추적 정보를 처리하는 컴퓨팅 디바이스이다. 일부 예에서, 콘솔(106)은 워크스테이션, 데스크톱 컴퓨터, 랩톱 또는 게임 시스템과 같은 단일 컴퓨팅 디바이스이다. 일부 예에서, 프로세서(312) 및/또는 메모리(314)와 같은 콘솔(106)의 적어도 일부는 클라우드 컴퓨팅 시스템, 데이터 센터, 또는 인터넷, 다른 공공 또는 사설 통신 네트워크, 예를 들어 광대역, 셀룰러, Wi-Fi 및/또는 컴퓨팅 시스템, 서버 및 컴퓨팅 디바이스 간에 데이터를 전송하기 위한 기타 유형의 통신 네트워크와 같은 네트워크를 통해 배포될 수 있다.
도 3의 예에서, 콘솔(106)은 일부 예에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(316)를 실행하기 위한 컴퓨터 플랫폼을 제공하는 하나 이상의 프로세서(312) 및 메모리(314)를 포함한다. 차례로, 운영 체제(316)는 하나 이상의 소프트웨어 구성요소(317)를 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 프로세서(312)는 하나 이상의 I/O 인터페이스(315)에 결합되며, 이는 키보드, 게임 컨트롤러(들), 디스플레이 디바이스(들), 이미지 캡처 디바이스(들), HMD(들), 주변 디바이스(들) 등과 같은 외부 디바이스와 통신하기 위한 하나 이상의 I/O 인터페이스를 제공한다. 더욱이, 하나 이상의 I/O 인터페이스(315)는 네트워크(104)와 같은 네트워크와 통신하기 위한 하나 이상의 유선 또는 무선 네트워크 인터페이스 컨트롤러(NIC)를 포함할 수 있다.
콘솔(106)의 소프트웨어 애플리케이션(317)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션(317)은 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328)을 포함한다.
일반적으로, 애플리케이션 엔진(320)은 인공 현실 애플리케이션, 예를 들어 원격회의 애플리케이션, 게임 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 훈련 또는 시뮬레이션 애플리케이션 등을 제공하고 제시하는 기능을 포함한다. 애플리케이션 엔진(320)은 예를 들어 콘솔(106)에서 인공 현실 애플리케이션을 구현하기 위한 하나 이상의 소프트웨어 패키지, 소프트웨어 라이브러리, 하드웨어 드라이버, 및/또는 애플리케이션 프로그램 인터페이스(API)를 포함할 수 있다. 애플리케이션 엔진(320)에 의한 제어에 응답하여, 렌더링 엔진(322)은 HMD(112)의 애플리케이션 엔진(340)에 의해 사용자에게 디스플레이하기 위한 3D 인공 현실 콘텐츠를 생성한다.
애플리케이션 엔진(320) 및 렌더링 엔진(322)은 포즈 추적기(326)에 의해 결정된 바와 같이, 기준 프레임, 전형적으로 HMD(112)의 시야 관점에 대한 현재 포즈 정보에 따라서 사용자(110)에게 디스플레이하기 위한 인공 콘텐츠를 구성한다. 현재 시야 관점에 기초하여, 렌더링 엔진(322)은 일부 경우에 사용자(110)의 현실 세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다. 이 프로세스 동안, 포즈 추적기(326)는 사용자(110)에 의한 모션과 같은 실제 환경 내의 3D 정보 및/또는 사용자(110)에 대한 특징 추적 정보를 캡처하도록 움직임 정보 및 사용자 명령과 같은 HMD(112)로부터 수신된 감지 데이터, 및 일부 예에서 외부 카메라와 같은 임의의 외부 센서(90)(도 1)로부터의 데이터에 대해 동작한다. 감지된 데이터에 기초하여, 포즈 추적기(326)는 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라서, 하나 이상의 I/O 인터페이스(315)를 통해 사용자(110)에게 디스플레이하기 위해 HMD(112)로의 통신을 위한 인공 현실 콘텐츠를 구성한다.
포즈 추적기(326)는 HMD(112)를 위한 현재 포즈를 결정할 수 있고, 현재 포즈에 따라서, 임의의 렌더링된 가상 콘텐츠와 관련된 특정 기능을 트리거할 수 있다(예를 들어, 가상 콘텐츠 아이템을 가상 표면 상에 배치하고, 가상 콘텐츠 아이템을 조작하고, 하나 이상의 가상 마킹 생성 및 렌더링하고, 레이저 포인터를 생성 및 렌더링한다). 일부 예에서, 포즈 추적기(326)는 가상 콘텐츠의 렌더링을 트리거하기 위해 HMD(112)가 가상 표면(예를 들어, 가상 핀보드)에 대응하는 물리적 위치에 근접하는지의 여부를 검출한다.
사용자 인터페이스 엔진(328)은 인공 현실 환경에서 렌더링하기 위한 가상 사용자 인터페이스를 생성하도록 구성된다. 사용자 인터페이스 엔진(328)은 가상 드로잉 인터페이스, 선택 가능한 메뉴(예를 들어, 드롭다운 메뉴), 가상 버튼, 방향 패드, 키보드 또는 다른 사용자 선택 가능한 사용자 인터페이스 요소, 글리프, 디스플레이 요소, 콘텐츠, 사용자 인터페이스 컨트롤 등과 같은 하나 이상의 가상 사용자 인터페이스 요소(329)를 포함하는 가상 사용자 인터페이스를 생성한다.
콘솔(106)은 통신 채널을 통해 HMD(112)에서의 디스플레이를 위해 HMD(112)로 이러한 가상 사용자 인터페이스 및 다른 인공 현실 콘텐츠를 출력할 수 있다.
이미지 캡처 디바이스(138) 중 임의의 것 또는 다른 센서 디바이스로부터 감지된 데이터에 기초하여, 제스처 검출기(324)는 사용자(110)에 의해 수행된 하나 이상의 제스처를 식별하기 위해 컨트롤러(114) 및/또는 사용자(110)의 객체(예를 들어, 손, 팔, 손목, 손가락, 손바닥, 엄지손가락)의 추적된 모션, 구성, 위치, 및/또는 배향을 분석한다. 보다 구체적으로, 제스처 검출기(324)는 컨트롤러(들)(114) 및/또는 사용자(110)의 손 및/또는 팔을 식별하고, 사용자(110)에 의해 수행된 제스처를 식별하기 위해 HMD(112)에 대한 컨트롤러(들)(114), 손, 및/또는 팔의 움직임을 추적하도록 HMD(112) 및/또는 센서(90)들 및 외부 카메라(102)의 이미지 캡처 디바이스(138)에 의해 캡처된 이미지 데이터 내에서 인식된 객체를 분석한다. 일부 예에서, 제스처 검출기(324)는 캡처된 이미지 데이터에 기초하여 컨트롤러(들)(114), 손, 손가락, 및/또는 팔의 위치 및 배향에 대한 변화를 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행된 체스처 또는 제스처의 조합을 검출하기 위해 제스처 라이브러리(330)에서의 하나 이상의 엔트리와 객체의 모션 벡터를 비교할 수 있다. 일부 예에서, 제스처 검출기(324)는 컨트롤러(들)(114)의 존재 감지 표면(들)에 의해 검출된 사용자 입력을 수신하고, 컨트롤러(들)(114)에 대해 사용자(110)에 의해 수행된 하나 이상의 제스처를 검출하기 위해 사용자 입력을 처리할 수 있다.
도 4는 HMD(112)가 본 발명에서 기술된 기술에 따른, 독립형 인공 현실 시스템인 예를 도시한 블록도이다. 이 예에서, 도 3과 같이, HMD(112)는 일부 예에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제, 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공하는 하나 이상의 프로세서(302) 및 메모리(304)를 포함한다. 차례로, 운영 체제(305)는 하나 이상의 소프트웨어 구성요소(417)를 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 또한, 프로세서(들)(302)는 전자 디스플레이(들)(203), 가변 초점 광학 시스템(들)(205), 모션 센서(206)들, 및 이미지 캡처 디바이스(138)에 결합된다.
일부 예에서, 광학 시스템(205)은 도 2a 및 도 2b와 관련하여 위에서 설명된 바와 같이 가상 콘텐츠를 사용자에게 제시하기 위한 프로젝터 및 도파관을 포함할 수 있다. 예를 들어, 광학 시스템(205)은 전자 디스플레이(203) 및 프로젝터 렌즈를 포함하는 프로젝터를 포함할 수 있다. 프로젝터 렌즈는 광을 도파관으로 재지향시키는 격자 커플러 및 프로젝터 렌즈의 영상 품질을 개선하는 렌즈 요소 둘 모두로서 기능하는 다기능 DOE를 추가로 포함할 수 있다.
도 4의 예에서, 소프트웨어 구성요소(417)는 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션(417)은 애플리케이션 엔진(440), 렌더링 엔진(422), 제스처 검출기(424), 포즈 추적기(426), 및 사용자 인터페이스 엔진(428)을 포함한다. 다양한 예에서, 소프트웨어 구성요소(417)는 사용자(110)에게 디스플레이하기 위해 인공 콘텐츠 상에 오버레이되거나 그 일부로서 가상 사용자 인터페이스를 구성하도록 도 3의 콘솔(106)의 대응하는 구성요소(예를 들어, 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328))와 유사하게 동작한다.
도 3과 관련하여 설명된 예와 유사하게, 이미지 캡처 디바이스(138 또는 102), 컨트롤러(들)(114), 또는 다른 센서 디바이스 중 임의의 것으로부터의 감지된 데이터에 기초하여, 제스처 검출기(424)는 사용자(110)에 의해 수행된 하나 이상의 제스처를 식별하기 위해 컨트롤러(들)(114) 및/또는 사용자의 객체(예를 들어, 손, 팔, 손목, 손가락, 손바닥, 엄지손가락)의 추적된 모션, 구성, 위치 및/또는 배향을 분석한다.
도 5는 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 예시적인 인공 현실 시스템(500)의 단면도를 도시하는 도면이다. 도시된 예에서, 인공 현실 시스템(500)은 사용자의 눈(510), 프로젝터(148), 및 도파관(203)을 포함한다. 도파관(203)은 도파관(203)의 한 부분 상에 또는 이에 인접하여 배치된 도파관 출력 구조(205), 및 도파관(203)의 상이한 부분 상에 또는 이에 인접하여 배치된 다기능 DOE(502)를 포함한다.
도시된 예에서, 프로젝터(148)는 도파관(203)의 주 표면에 대한 각도(예를 들어, 실질적으로 직각인 각도)로 도파관(203)의 주 표면을 향해 광을 투사하도록 구성된다. 프로젝터(148)는 실질적으로 프로젝터 디스플레이로부터의 광을 시준하도록 구성된다.
도시된 예에서, 다기능 DOE(502)는 프로젝터(148)로부터의 광(504)에 대해 실질적으로 투과성이고, 프로젝터(148)로부터의 실질적으로 모든 광이 다기능 DOE(502)에 입사하도록 프로젝터(148)에 대해 위치된다. 다기능 DOE(502)는 도파관(203)의 주 표면에 인접하게 위치된다. 일부 예에서, 다기능 DOE(502)는 도파관(203)의 주 표면의 일부일 수 있거나, 또는 도파관(203) 내에 위치될 수 있다. 다기능 DOE(502)는 광이 도파관(203) 내에서 TIR되도록 도파관(203)의 임계 각도보다 작은 각도로 프로젝터(148)로부터의 광을 재지향시키도록 구성된다. 다기능 DOE(502)는 예를 들어, 구면 집속력을 가지거나 입사 파면을 형성하도록 구성된 렌즈 또는 렌즈 요소로서 기능하도록 추가로 구성된다. 예를 들어, 다기능 DOE(502)는 다중 요소 프로젝터 렌즈의 렌즈 요소로 구성될 수 있다.
일부 예에서, 다기능 DOE(502)는 회절 광학 요소, 예를 들어 회절 격자, 위상 플레이트, 위상 격자, 지배 격자(ruled grating), 홀로그램 격자 등일 수 있다. 다기능 DOE(502)는 임의의 적합한 재료, 예를 들어 유리, 플라스틱, 또는 폴리머 재료, 예를 들어 폴리(메틸 메타크릴레이트)(PMMA), 폴리카보네이트(PC), 폴리(에틸렌 테레프탈레이트)(PET), 메타재료 또는 메타표면, 또는 가시광선 및/또는 근적외선 파장 스펙트럼에서 상당한 투명도를 갖는 임의의 적합한 재료로 만들어질 수 있다. 일부 예에서, 다기능 DOE(502)는 유리, 플라스틱 또는 폴리머 재료, 예를 들어 폴리(메틸 메타크릴레이트)(PMMA), 폴리카보네이트(PC), 폴리(에틸렌 테레프탈레이트)(PET), 또는 임의의 적절한 기재 재료 및 가시광선 및 가시광선 영역에서 실질적인 반사율을 갖는 임의의 적절한 재료로 코팅 및/또는 근적외선 파장 스펙트럼, 예를 들어 알루미늄, 은, 구리 등과 같은 임의의 적합한 재료로 만들어진 반사 표면 격자일 수 있다.
일부 예에서, 다기능 DOE(502)는 평면 기판을 포함할 수 있고, 일부 예에서 다기능 DOE(502)는 DOE(502)가 초점력을 포함하도록 곡선 기판을 포함할 수 있다. 일부 예에서, 다기능 DOE(502)는 물리적 높이/깊이 차이 또는 굴절률 차이, 또는 둘 모두를 통해 입사 파면에 공간적으로 변화하는 위상 지연을 부과하는 공간적으로 변하는 구조를 포함할 수 있다. 일부 예에서, 공간적으로 변하는 위상 지연은 특징적인 위상 지연 패턴의 중첩일 수 있다. 예를 들어, 다기능 DOE(502)는 예를 들어 임의의 차수의 수차를 보정하도록 입사광의 파형을 형상화할 수 있는 임의의 위상 지연 패턴이 중첩된 도파관(203) 내로 실질적으로 시준된 광을 재지향시키도록 구성된 블레이즈 격자 패턴을 포함할 수 있다.
일부 예에서, 다기능 DOE(502)는 편광 민감성일 수 있다. 예를 들어, 다기능 DOE(502)는 투과성 또는 반사성 편광 체적 홀로그램(PVH), 액정 충전 표면 릴리프 격자(LC-SRG), 이방성 중합체 필름(APF), 투과성 또는 반사성 홀로그램 상 분산 액체정(H-PDLC), 판차라트남-베리 위상(Pancharatnam-Berry Phase) 렌즈 또는 격자(PBP) 등일 수 있다.
도시된 예에서, 도파관 출력 구조(205)는 도파관(203)의 주 표면에 인접하게 위치된다. 일부 예에서, 도파관 출력 구조(205)는 도파관(203)의 주 표면의 일부일 수 있거나, 또는 도파관(203) 내에 위치될 수 있다. 도파관 출력 구조(205)는 도파관으로부터의 광을 도파관 외부 및 사용자의 눈(510)으로 재지향시키도록 구성된다.
도 6은 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 다른 인공 현실 시스템(600)의 단면도를 도시하는 도면이다.
인공 현실 시스템(600)은 사용자의 눈(510) 및 도파관 출력 구조(205)가 프로젝터(148) 및 다기능 DOE(502)로부터 도파관(203)의 반대쪽 표면 상에 있다는 점을 제외하고 도 5의 인공 현실 시스템(500)과 유사하다. 도 6 및 도 7에 예시된 바와 같이, 출력 도파관 구조(205) 및 사용자의 눈(510)은 프로젝터(148) 및 다기능 DOE(502)로부터의 도파관(203)의 어느 한 측면 상에 또는 이에 인접할 수 있다.
도 7은 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 다른 인공 현실 시스템(700)의 단면도를 도시하는 도면이다.
인공 현실 시스템(700)은 다기능 DOE(502)가 프로젝터(148)로부터 도파관(203)의 반대쪽 표면 상에 있거나 이에 인접한다는 점을 제외하고 도 5의 인공 현실 시스템(500)과 유사하다. 도시된 예에서, 프로젝터(148)로부터의 광은 도파관(203)의 표면에 실질적으로 직각으로 입사하고, 도파관(203)은 가시광선 및/또는 근적외선 광에 대해 실질적으로 투과성이다. 광은 도파관(203)의 재료에서 두께 방향을 따라서 전파되고, 다기능 DOE(502)에 입사한다. 다기능 DOE(502)는 실질적으로 반사성일 수 있고, 프로젝터로부터의 광을 반사하여 도파관(203)으로 재지향시킬 수 있을 뿐만 아니라, 프로젝터(148)의 렌즈 또는 렌즈 요소로서 기능할 수 있다.
도 8은 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 다른 인공 현실 시스템(800)의 단면도를 도시하는 도면이다.
인공 현실 시스템(800)은 사용자의 눈(510) 및 도파관 출력 구조(205)가 프로젝터(148)로부터 도파관(203)의 반대쪽 표면에 있다는 점을 제외하고 도 7의 인공 현실 시스템(700)과 유사하다. 도 7 및 도 8에 도시된 바와 같이, 출력 도파관 구조(205) 및 사용자의 눈(510)은 프로젝터(148) 및/또는 다기능 DOE(502)로부터의 도파관(203)의 어느 한 측면 상에 또는 인접할 수 있다.
도 9는 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 다른 인공 현실 시스템(900)의 단면도를 도시하는 도면이다.
도시된 예에서, 다기능 DOE(502)는 도파관(203) 내에 위치되고, 도파관 출력 구조(205)가 또한 도파관(203) 내에 위치된다. 일부 예에서, 다기능 DOE는 도 9의 광 경로(A)에 의해 도시된 바와 같이 렌즈 요소로서 기능하는 것에 외에 광에 대해 투과성이고 재지향시킬 수 있다. 일부 예에서, 다기능 DOE는 도 9의 광 경로(B)에 의해 도시된 바와 같이 렌즈 요소로서 기능하는 것 외에 반사성이고 광을 재지향시킬 수 있다. 유사하게, 도파관 출력 구조(205)는 도 9에 예시된 바와 같이 투과시에 광을 재지향시킬 수 있고 및/또는 도파관 출력 구조(205)는 반사시에 광을 재지향시킬 수 있다(도시되지 않음).
인공 현실 시스템(900)은 도 5 내지 도 8의 인공 현실 시스템(500-800)과 유사하며, 프로젝터(148)와 사용자의 눈(510)이 서로에 대해서 뿐만 아니라 임의의 다기능 DOE(502) 및 도파관 출력 구조(205)에 대해 도파관(203)의 임의의 측면에 있을 수 있다는 것을 예시한다. 도 9에 도시된 예는 또한, 다기능 DOE(502) 및 도파관 출력 구조(205) 둘 모두가 도파관(203) 내의 임의의 위치에 위치되거나, 또는 서로 독립적으로 도파관(203)의 어느 한 표면에 인접할 수 있다는 것을 예시한다.
도 10은 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 예시적인 인공 현실 시스템(500)의 단면도를 도시하는 도면이다.
도 10에 도시된 예는 프로젝터 렌즈(1002)의 세부사항을 추가로 도시한다. 도시된 예에서, 프로젝터(148)는 디스플레이(1008) 및 프로젝터 렌즈(1002)를 포함한다. 프로젝터 렌즈(1002)는 하나 이상의 렌즈 요소(1006), 조리개(1004), 및 다기능 DOE(502)를 포함한다. 도시된 예에서, 디스플레이(1008)는 프로젝터 렌즈(1002)의 초점 평면에 또는 그 근처에 위치되고, 디스플레이(1008)로부터의 광은 시준되거나 실질적으로 시준된다.
도 11a는 본 발명에서 기술된 기술에 따른, 다기능 DOE(502)를 포함하는 예시적인 프로젝터(1148)의 단면도를 도시하는 도면이다.
도 11a에 도시된 예는 프로젝터 렌즈(1002)의 세부사항을 더 예시한다. 도시된 예에서, 프로젝터(1148)는 디스플레이(1008) 및 프로젝터 렌즈(1002)를 포함한다. 프로젝터 렌즈(1002)는 복수의 렌즈 요소(1102-1110), 조리개(1004), 및 다기능 DOE(502)를 포함한다. 도시된 예에서, 디스플레이(1008)는 프로젝터 렌즈(1002)의 초점 평면에 또는 그 근처에 위치되고, 디스플레이(1008)로부터의 광은 시준되거나 실질적으로 시준된다. 그런 다음, 광은 다기능 DOE(502)에 의해 도파관, 예를 들어 도 5 내지 도 10에 예시된 도파관(203)으로 재지향된다. 프로젝터(1148)의 길이는 조리개(1004)로부터 디스플레이(1008)까지의 거리로 정의될 수 있으며, 도시된 예에서 L로 표시된다. 일부 예에서, 프로젝터(1148)의 길이(L)는 10 mm 미만일 수 있고, 다른 예에서, 프로젝터(1148)의 길이(L)는 4 ㎜ 미만일 수 있다. 조리개(1004)로부터 다기능 DOE(502)까지의 거리는 도시된 예에서 D로 표시된다. 일부 예에서, 거리(D)는 100 ㎛보다 클 수 있고, 다른 예에서, 거리(D)는 500 ㎛보다 클 수 있다. 일부 예에서, 거리(D)는 음의 값일 수 있으며, 예를 들어 다기능 DOE(502)는 출사동과 제1 렌즈 요소(1102) 사이에 위치될 수 있다. 도시된 예는 또한 프로젝터(1148)의 이미지 투사 품질의 아날로그로서, 예를 들어 역방향으로 다기능 DOE(502)에서 프로젝터(1148)에 들어오는 광에 대한 디스플레이(1008) 상의 시준된 광의 초점 위치를 예시한다. 다시 말해서, 이미지를 투사할 때 프로젝터(1148)의 품질은 디스플레이(1008)에서 프로젝터(1148), 예를 들어, 프로젝터 렌즈(1002)의 초점 평면의 이미지 형성 품질에 의해 평가될 수 있다. 도시된 예에서, 각각 복수의 축외 각도에서 축방향으로 시준된 광 및 축외 시준광에 대한 주광선 및 2개의 주변 광선의 초점 위치가 도 11a에 도시되어 있다.
도 11b는 본 발명에서 설명된 기술에 따른, 예시적인 프로젝터(1148)에 대한 다양한 광선 각도에서 예시적인 세트의 변조 전달 함수(MTF)의 플롯(1150)이다. 도시된 예에서, 플롯(1150)은, 복수의 축외 각도에서 광선의 세트에 대한 다기능 DOE(502)를 포함하고 축 광선을 포함하는 프로젝터(1150)의 MTF를 예시한다. 예시된 MTF의 세트는 "역" 방향으로 추적된 광선, 예를 들어 디스플레이(1008)의 평면에서 광선을 집중시키기 위한 것이다. 이러한 "역" 광선 트레이스로부터의 MTF는 예를 들어 광의 가역성을 통해 AR 시스템, 예를 들어 AR 시스템(600-900)에서 프로젝터 렌즈의 이미지 투사 품질과 상관된다.
일부 예에서, 다기능 DOE(502)는 다기능 DOE(502)를 포함하지 않는 등가 프로젝터와 비교하여, 프로젝터, 예를 들어 프로젝터(1148)의 MTF를 향상시킬 수 있다. 예를 들어, 등가 프로젝터는 프로젝터(1148)와 비교하여, 다기능 DOE(502)를 제외하고, 실질적으로 동일한 길이(L) 및 동일한 수의 광학 요소를 가지는 프로젝터를 포함할 수 있으며, 그러나, 이러한 등가 프로젝터의 광학 요소의 형상 및 재료는 등가 프로젝터가 다기능 DOE(1148)를 포함하지 않기 때문에 프로젝터(1148)와 다를 수 있다. 예를 들어, 프로젝터(1148)의 MTF 값은 다기능 DOE(502)가 없는 등가 프로젝터의 MTF 값과 비교하여 x-축을 따라서 모든 공간 주파수에서 y-축에서 더 높을 수 있다.
일부 예에서, 다기능 DOE(502)는 다기능 DOE(502)를 포함하지 않는 프로젝터에 존재하는 수차를 보상하는 것에 의해 프로젝터 렌즈(1002)의 이미지 투사 품질을 향상시킨다. 이와 같이, 다기능 DOE(502)는 적어도 프로젝터 렌즈(1002)의 이미지 투사 품질을 향상시키는 이점을 제공하여, 프로젝터(1148)의 이미지 투사 품질을 유지하면서 프로젝터(1148)의 길이(L)를 줄이는 것을 허용하거나, 둘 모두를 한다. 일부 예에서, 다기능 DOE(502)는 렌즈 요소의 제거를 가능하게 하고, 이에 의해 렌즈의 중량과 길이를 감소시킬 수 있다.
일부 예에서, 다기능 DOE(502)는, 예를 들어, 일정 각도로 광을 재지향시키기 위한 주기적 위상 프로파일, 예를 들어 블레이즈드 격자(blazed grating), 사인파 위상 격자, 방형파(square-wave) 위상 격자, 또는 임의의 다른 유형의 주기적 회절 광학 요소에 대응하는 위상 프로파일을 포함할 수 있다. 또한, 다기능 DOE(502)는 선형 위상 프로파일과 중첩된 고차 수차 보정 위상 프로파일을 포함하여, 예를 들어 프로젝터 렌즈(1002)의 다른 광학 요소, 예를 들어 요소(1102-1110)의 수차를 보정하고 방향을 재지향시킬 수 있다. 예를 들어, 다기능 DOE(502)는 다음 수학식 1과 같은 회전 대칭 위상 프로파일을 포함할 수 있다:
여기서 φ는 위상이고 ρ는 다기능 DOE(502)의 반경 방향 좌표이며, N은 차수이다. 예를 들어, N = 2이면, φ(ρ)는 디포커스(예를 들어, ρ2 항을 통해) 및 구면 수차(예를 들어, ρ4 항을 통해)를 보상할 수 있는 위상 프로파일이다.
일부 예에서, 다기능 DOE(502)는 회전 대칭이 아닌 추가 위상 프로파일을 포함할 수 있다. 예를 들어, 다기능 DOE(502)는 수학식 2와 같은 위상 프로파일을 포함할 수 있다:
일부 예에서, 회전 대칭 및 비회전 대칭 위상 프로파일은 다기능 DOE(502)의 주기적 위상 프로파일과 중첩될 수 있다. 일부 예에서, 선형 위상 항(linear phase term), 예를 들어 입사 빔에 기울기를 추가하는 것은 다기능 DOE(502)의 위상 프로파일에 또한 추가로 추가될 수 있다. 이와 같이, 예에서, 다기능 DOE(502)는 임의의 수차, 예를 들어, 경사 및 수직 비점 수차, 수직 및 경사 트레포일(trefoil), 수직 및 수평 코마, 수직 및 경사 사중익, 수직 및 경사 2차 난시, 왜곡 등과 같은 고차 수차를 보정할 뿐만 아니라 회절 격자로서의 광을 지향시키도록 고차 수차 보정 위상 프로파일 및 기능을 제공하도록 구성될 수 있다. 일부 예에서, 다기능 DOE(502)는 고차 비구면 계수들을 갖는 비구면 렌즈와 동등하도록 구성될 수 있다.
일부 예에서, 다기능 DOE(502)는 렌즈의 다른 요소의 요구 사항이 완화되도록 할 수 있다. 예를 들어, 다기능 DOE(502)를 포함하는 렌즈 디자인은 덜 복잡한 곡률과 더 작은 비구면 곡률을 필요로 하는 다른 렌즈 요소를 포함할 수 있으며, 이에 의해 렌즈의 제조 공차가 용이하다. 또한, 다기능 DOE(502)를 포함하는 렌즈 디자인은 렌즈 요소의 재료, 예를 들어 특히 렌즈 요소로서 비분산, 고분산 및/또는 고굴절률 재료의 요구 사항을 완화시킬 수 있다.
본 명세서에서 다양한 예에 의해 설명된 바와 같이, 본 발명의 기술들은 인공 현실 시스템을 포함하거나 인공 현실 시스템과 함께 구현될 수 있다. 설명된 바와 같이, 인공 현실은 예를 들어 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 그 파생물을 포함할 수 있는, 사용자에게 제시하기 전에 일부 방식에서 조정된 현실의 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 실제 사진 또는 동영상)와 조합된 생성 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것이 단일 채널 또는 다중 채널(예를 들어, 시청자에게 3차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 추가적으로, 일부 실시예에서, 인공 현실은 예를 들어 인공 현실에서 콘텐츠를 생성하는데 사용되고 및/또는 인공 현실에서 사용되는(예를 들어 활동을 수행하는) 애플리케이션, 제품, 액세서리, 서비스 또는 이들의 일부 조합과 관련될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 머리 착용 디바이스(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 한 명 이상의 시청자에게 제공할 수 있는 기타 하드웨어 플랫폼을 포함하는 다양한 플랫폼에서 구현될 수 있다.
본 발명에 설명된 기술은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 적어도 부분적으로 구현될 수 있다. 예를 들어, 설명된 기술의 다양한 양태는 하나 이상의 마이크로프로세서, DSP, 주문형 집적 회로(ASIC), 현장 프로그래밍 가능 게이트 어레이(FPGA), 또는 임의의 다른 등가 집적 또는 이산 논리 회로뿐만 아니라 그러한 구성 요소의 모든 조합을 포함하는 하나 이상의 프로세서 내에서 구현될 수 있다. "프로세서" 또는 "처리 회로"라는 용어는 일반적으로 단독으로 또는 다른 논리 회로 또는 임의의 다른 등가 회로와 조합하여 전술한 논리 회로 중 임의의 것을 지칭할 수 있다. 하드웨어를 포함하는 제어 유닛은 또한 본 발명의 기술 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어 및 펌웨어는 본 발명에서 설명된 다양한 동작 및 기능을 지원하기 위해 동일한 디바이스 내에서 또는 별도의 디바이스 내에서 구현될 수 있다. 아울러, 설명된 유닛, 모듈 또는 구성요소 중 임의의 것은 개별적이지만 상호 운용 가능한 논리 디바이스로서 함께 또는 별도로 구현될 수 있다. 모듈 또는 유닛과 다른 특징의 묘사는 다른 기능적 양태를 강조하도록 의도되며, 이러한 모듈 또는 유닛이 별도의 하드웨어 또는 소프트웨어 구성요소에 의해 실현되어야만 한다는 것을 반드시 의미하지는 않다. 오히려, 하나 이상의 모듈 또는 유닛과 관련된 기능은 별도의 하드웨어 또는 소프트웨어 구성요소에 의해 수행되거나 또는 공통 또는 별도의 하드웨어 또는 소프트웨어 구성요소 내에 통합될 수 있다.
본 발명에서 설명된 기술은 또한 명령을 포함하는 컴퓨터 판독 가능 저장 매체와 같은 컴퓨터 판독 가능 매체에서 구현되거나 인코딩될 수 있다. 컴퓨터 판독 가능 저장 매체에 내장되거나 인코딩된 명령은 예를 들어 명령이 실행될 때 프로그램 가능한 프로세서 또는 다른 프로세서가 방법을 수행하게 할 수 있다. 컴퓨터 판독 가능한 저장 매체는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 프로그램 가능 읽기 전용 메모리(PROM), 소거 가능 프로그램 가능한 잃기 전용 메모리(EPROM), 전자적으로 소거 가능한 프로그래밍 가능 읽기 전용 메모리(EEPROM), 플래시 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체 또는 기타 컴퓨터 판독 가능 매체를 포함할 수 있다.
본 명세서에서의 다양한 예에 의해 설명된 바와 같이, 본 발명의 기술은 인공 현실 시스템을 포함하거나 인공 현실 시스템과 함께 구현될 수 있다. 설명된 바와 같이, 인공 현실은 예를 들어 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 그 파생물을 포함할 수 있는, 사용자에게 제시하기 전에 일부 방식에서 조정된 현실의 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 실제 사진)와 조합된 생성 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것이 단일 채널 또는 다중 채널(예를 들어, 시청자에게 3차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 추가적으로, 일부 실시예에서, 인공 현실은 예를 들어 인공 현실에서 콘텐츠를 생성하는데 사용되고 및/또는 인공 현실에서 사용되는(예를 들어 활동을 수행하는) 애플리케이션, 제품, 액세서리, 서비스 또는 이들의 일부 조합과 관련될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 머리 착용 디바이스(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 한 명 이상의 시청자에게 제공할 수 있는 기타 하드웨어 플랫폼을 포함하는 다양한 플랫폼에서 구현될 수 있다.
Claims (15)
- 인공 현실 콘텐츠를 출력하도록 구성된 머리 착용 디스플레이(HMD)로서,
입력 광을 수신하도록 구성되고 수신된 입력 광을 아이 박스로 출력하도록 구성된 도파관; 및
광을 상기 도파관으로 입력하도록 구성된 프로젝터를 포함하며, 상기 프로젝터는,
디스플레이;
프로젝터 렌즈; 및
상기 프로젝터로부터의 광을 상기 도파관으로 재지향시키도록 구성된 다기능 회절 광학 요소(DOE)를 포함하는, HMD. - 제1항에 있어서, 상기 다기능 DOE는 선형 위상 프로파일 및 고차 수차 보정 위상 프로파일을 포함하며; 바람직하게 상기 다기능 DOE는 회전 대칭 고차 수차 보정 위상 프로파일 및 비회전 대칭 위상 프로파일을 포함하며; 바람직하게 상기 다기능 DOE는 상기 프로젝터 렌즈의 수차를 보상하도록 구성되며; 바람직하게 광축을 따르는 상기 프로젝터 렌즈의 길이는 바람직하게 4 ㎜ 미만인, HMD.
- 제1항 또는 제2항에 있어서, 상기 다기능 DOE는 상기 프로젝터 렌즈의 조리개의 500 ㎛ 이내에 위치되며; 바람직하게 상기 다기능 DOE는 상기 도파관의 주 표면에 인접하게 위치되는, HMD.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 다기능 DOE는 투과성 DOE 또는 반사성 DOE인, HMD.
- 다기능 회절 광학 요소(DOE)로서,
선형 위상 프로파일; 및
고차 수차 보정 위상 프로파일을 포함하며, 상기 고차 수차 보정 위상 프로파일은 상기 다기능 DOE에 입사되는 광의 고차 수차 보정을 제공하도록 구성되는, DOE. - 제5항에 있어서, 상기 다기능 DOE에 입사되는 광을 도파관으로 재지향시키도록 주기적 위상 프로파일이 구성되는, 다기능 DOE.
- 제5항 또는 제6항에 있어서, 상기 고차 수차 보정 위상 프로파일은 상기 다기능 DOE에 광을 지향시키도록 구성된 프로젝터 렌즈의 수차를 보상하도록 구성되는, 다기능 DOE.
- 제5항 내지 제7항 중 어느 한 항에 있어서, 상기 고차 수차 보정 위상 프로파일은 회전 대칭 고차 수차 보정 위상 프로파일 및 비회전 대칭 위상 프로파일을 포함하는, 다기능 DOE.
- 제5항 내지 제8항 중 어느 한 항에 있어서, 상기 다기능 DOE는 투과성 DOE를 포함하거나; 또는 상기 다기능 DOE는 반사성 DOE를 포함하는, 다기능 DOE.
- 제5항 내지 제9항 중 어느 한 항에 있어서, 상기 다기능 DOE는 메타표면 또는 메타재료를 포함하는, 다기능 DOE.
- 이미지를 투사하는 방법으로서,
전자 디스플레이로부터 광을 방출하는 단계;
프로젝터 렌즈를 통해 방출된 광을 시준하는 단계;
다기능 DOE를 통해 시준된 방출 광을 재지향시키는 단계; 및
상기 다기능 DOE를 통해 상기 프로젝터 렌즈의 수차를 보상하는 단계를 포함하는, 방법. - 제11항에 있어서, 상기 프로젝터 렌즈의 수차를 보상하는 단계는 시준된 방출 광의 파면으로 회전 대칭 위상 지연 프로파일 및 비회전 대칭 위상 지연 프로파일을 유도하는 단계를 포함하며; 바람직하게 상기 시준된 방출 광을 재지향시키는 단계는 시준된 방출 광을 도파관으로 재지향시키는 단계를 포함하며;
바람직하게 상기 방법은 상기 도파관의 주 표면에 다기능 DOE를 위치시키는 단계를 추가로 포함하는, 방법. - 제11항 또는 제12항에 있어서, 상기 프로젝터 렌즈의 조리개로부터 500 ㎛ 내에 상기 다기능 DOE를 위치시키는 단계를 추가로 포함하는, 방법.
- 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 전자 디스플레이로부터 4 ㎜ 이내에 상기 다기능 DOE를 위치시키는 단계를 추가로 포함하는, 방법.
- 프로젝터 렌즈로서,
광출력을 갖고 상기 프로젝터 렌즈의 초점 평면에서 또는 그 근처에서 방출된 광을 시준하도록 구성된 하나 이상의 렌즈 요소;
상기 초점 평면으로부터 상기 하나 이상의 렌즈 요소 반대편에 위치된 렌즈 조리개;
상기 하나 이상의 렌즈 요소로부터 상기 렌즈 조리개 반대편에 위치된 다기능 회절 광학 요소(DOE)를 포함하며, 상기 다기능 DOE는,
선형 위상 프로파일; 및
상기 다기능 DOE에 입사되는 광에 고차 수차 보정을 제공하도록 구성된 고차 수차 보정 위상 프로파일을 포함하는, 프로젝터 렌즈.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962944873P | 2019-12-06 | 2019-12-06 | |
| US62/944,873 | 2019-12-06 | ||
| US16/800,886 US11675192B2 (en) | 2019-12-06 | 2020-02-25 | Hybrid coupling diffractive optical element |
| US16/800,886 | 2020-02-25 | ||
| PCT/US2020/058626 WO2021112997A1 (en) | 2019-12-06 | 2020-11-03 | Projector for head up display with aberration correcting and in-coupling diffractive optical element |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220119627A true KR20220119627A (ko) | 2022-08-30 |
Family
ID=76209669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227021919A KR20220119627A (ko) | 2019-12-06 | 2020-11-03 | 수차 보정 및 인커플링 회절 광학 요소를 가진 헤드업 디스플레이를 위한 프로젝터 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11675192B2 (ko) |
| EP (1) | EP4070148A1 (ko) |
| JP (1) | JP2023504996A (ko) |
| KR (1) | KR20220119627A (ko) |
| CN (1) | CN114830010A (ko) |
| WO (1) | WO2021112997A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11467406B2 (en) | 2019-09-27 | 2022-10-11 | Microsoft Technology Licensing, Llc | Field of view expanding system |
| US11448883B2 (en) * | 2019-09-27 | 2022-09-20 | Microsoft Technology Licensing, Llc | Non-linear angular momentum metasurface |
| CN212009182U (zh) * | 2019-11-20 | 2020-11-24 | 三赢科技（深圳）有限公司 | 光投射装置和电子装置 |
| JP2021086073A (ja) * | 2019-11-29 | 2021-06-03 | セイコーエプソン株式会社 | 画像表示装置 |
| CN113985519B (zh) * | 2021-12-24 | 2022-04-08 | 深圳铅笔视界科技有限公司 | 一种光波导器件、显示装置和显示设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6791760B2 (en) | 2001-07-24 | 2004-09-14 | Itt Manufacturing Enterprises, Inc. | Planar diffractive relay |
| JP2004069868A (ja) * | 2002-08-05 | 2004-03-04 | Nikon Corp | イメージコンバイナ及び画像表示装置 |
| RU2603238C2 (ru) * | 2014-07-15 | 2016-11-27 | Самсунг Электроникс Ко., Лтд. | Световодная структура, голографическое оптическое устройство и система формирования изображений |
| US9927614B2 (en) * | 2015-12-29 | 2018-03-27 | Microsoft Technology Licensing, Llc | Augmented reality display system with variable focus |
| KR20170096380A (ko) | 2016-02-16 | 2017-08-24 | 엘지전자 주식회사 | 헤드마운트 디스플레이 장치 |
| KR102395414B1 (ko) * | 2016-06-09 | 2022-05-09 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 디스플레이 시스템 및 도광체 |
| TWI721211B (zh) * | 2017-09-08 | 2021-03-11 | 揚明光學股份有限公司 | 鏡頭及包含其之投影裝置 |
| US11561406B2 (en) * | 2017-12-10 | 2023-01-24 | Lumus Ltd. | Image projector |
| CN110579928A (zh) * | 2018-06-08 | 2019-12-17 | 中强光电股份有限公司 | 投影装置及头戴式显示装置 |
| US11137536B2 (en) * | 2018-07-26 | 2021-10-05 | Facebook Technologies, Llc | Bragg-like gratings on high refractive index material |
| US10955685B2 (en) * | 2018-12-28 | 2021-03-23 | Lightspace Technologies, SIA | Volumetric display arrangement and a method for representing content of an image |
-
2020
- 2020-02-25 US US16/800,886 patent/US11675192B2/en active Active
- 2020-11-03 CN CN202080081273.7A patent/CN114830010A/zh active Pending
- 2020-11-03 EP EP20816015.0A patent/EP4070148A1/en not_active Withdrawn
- 2020-11-03 WO PCT/US2020/058626 patent/WO2021112997A1/en unknown
- 2020-11-03 KR KR1020227021919A patent/KR20220119627A/ko unknown
- 2020-11-03 JP JP2022522015A patent/JP2023504996A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20210173210A1 (en) | 2021-06-10 |
| WO2021112997A1 (en) | 2021-06-10 |
| JP2023504996A (ja) | 2023-02-08 |
| CN114830010A (zh) | 2022-07-29 |
| EP4070148A1 (en) | 2022-10-12 |
| US11675192B2 (en) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11598919B2 (en) | Artificial reality system having Bragg grating | |
| US11675192B2 (en) | Hybrid coupling diffractive optical element | |
| US9939647B2 (en) | Extended field of view in near-eye display using optically stitched imaging | |
| KR102219245B1 (ko) | 헤드 마운트 디스플레이를 위한 눈 추적 시스템 | |
| US11397465B1 (en) | Glint-based eye tracker illumination using dual-sided and dual-layered architectures | |
| US11669159B2 (en) | Eye tracker illumination through a waveguide | |
| US11726328B2 (en) | Accommodation adjustable and magnification corrective optical system | |
| US20210055460A1 (en) | Outward coupling suppression in waveguide display | |
| CN112346558A (zh) | 眼睛跟踪系统 | |
| JP2022540303A (ja) | 光学アーチファクト低減のためのアポダイズド光学素子 | |
| EP3769147A1 (en) | Near-eye display system with air-gap interference fringe mitigation | |
| US10845526B1 (en) | Outward coupling suppression in waveguide display | |
| US11803238B1 (en) | Eye and hand tracking utilizing lensless camera and machine learning | |
| US12019246B2 (en) | Control of variable-focus lenses in a mixed-reality device for presbyopes | |
| US20230296887A1 (en) | Microlenses providing wide range chief ray angle manipulation for a panel display | |
| KR20240145340A (ko) | 가상 공간 이미지를 제공하기 위한 전자 장치 및 방법 | |
| JP2024514877A (ja) | 複合現実用途のための湾曲したアイピーススタックにおけるカバーアーキテクチャ |