KR102593113B1 - 증강 현실을 위한 방법 및 시스템 - Google Patents
증강 현실을 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR102593113B1 KR102593113B1 KR1020177037648A KR20177037648A KR102593113B1 KR 102593113 B1 KR102593113 B1 KR 102593113B1 KR 1020177037648 A KR1020177037648 A KR 1020177037648A KR 20177037648 A KR20177037648 A KR 20177037648A KR 102593113 B1 KR102593113 B1 KR 102593113B1
- Authority
- KR
- South Korea
- Prior art keywords
- micro
- wearer
- visualization
- array
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003190 augmentative effect Effects 0.000 title abstract description 13
- 238000012800 visualization Methods 0.000 claims description 126
- 230000003287 optical effect Effects 0.000 claims description 105
- 230000004438 eyesight Effects 0.000 claims description 36
- 208000014733 refractive error Diseases 0.000 claims description 34
- 239000004973 liquid crystal related substance Substances 0.000 claims description 19
- 239000011521 glass Substances 0.000 description 29
- 230000004075 alteration Effects 0.000 description 23
- 238000005286 illumination Methods 0.000 description 21
- 208000001491 myopia Diseases 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 230000000750 progressive effect Effects 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 238000007792 addition Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 239000007788 liquid Substances 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 201000009310 astigmatism Diseases 0.000 description 6
- 239000002904 solvent Substances 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 239000012528 membrane Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000009472 formulation Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000000151 deposition Methods 0.000 description 3
- 230000008021 deposition Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001704 evaporation Methods 0.000 description 3
- 230000008020 evaporation Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 125000006850 spacer group Chemical group 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007794 visualization technique Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000003618 dip coating Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005499 meniscus Effects 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000003504 photosensitizing agent Substances 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004528 spin coating Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010002945 Aphakia Diseases 0.000 description 1
- 101100072702 Drosophila melanogaster defl gene Proteins 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 241000083513 Punctum Species 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 206010047555 Visual field defect Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002141 anti-parasite Effects 0.000 description 1
- 239000002518 antifoaming agent Substances 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 239000003096 antiparasitic agent Substances 0.000 description 1
- 239000012298 atmosphere Substances 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- SOCTUWSJJQCPFX-UHFFFAOYSA-N dichromate(2-) Chemical compound [O-][Cr](=O)(=O)O[Cr]([O-])(=O)=O SOCTUWSJJQCPFX-UHFFFAOYSA-N 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000006072 paste Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004014 plasticizer Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000004094 surface-active agent Substances 0.000 description 1
- 239000003017 thermal stabilizer Substances 0.000 description 1
- 239000002562 thickening agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/04—Prisms
- G02B5/045—Prism arrays
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/15—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on an electrochromic effect
- G02F1/163—Operation of electrochromic cells, e.g. electrodeposition cells; Circuit arrangements therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2270/00—Substrate bearing the hologram
- G03H2270/55—Substrate bearing the hologram being an optical element, e.g. spectacles
Abstract
본 발명은 일반적으로 머리-장착형 장치로 이미지를 디스플레이하기 위한 방법 및 시스템을 제공하는 것이다. 일반적으로, 본 발명은 라이트-필드 디스플레이(light-field display)의 이용에 관한 것이다. 그러한 디스플레이는 증강 현실을 제공하는데 있어서 유용하다.
Description
본 발명은 증강 현실을 위한 방법 및 시스템에 관한 것이다.
본 발명은 보다 구체적으로는 컴퓨터-발생 이미지의 디스플레이에 관한 것이다.
디스플레이 특징을 가지는 머리-장착형 장치가 당업계에 공지되어 있다. 그러한 장치는, 착용자가 증강 현실을 위한 이미지 또는 문자를 가시화할 수 있게 하는 소위 '스마트 안경'을 포함한다.
WO 2015/032824 및 WO 2015/032828는 컴퓨터-발생 홀로그래픽 이미지의 디스플레이를 위한 공간적 광 변조기를 포함하는 머리-장착형 장치를 개시한다. 착용자의 시각적 편안함을 개선하기 위해서, 착용자 및/또는 착용된 장치에 맞춰 특별히 구성된 맞춤 방식으로 이미지 및 문자가 디스플레이되는 방법 및 시스템을 제공하는 것이 바람직하다.
또한, 실제 증강 현실의 체험을 위해서, 컴퓨터-발생 이미지의 조율 가능 가시화를 허용하는 방법 및 시스템을 제공하는 것이 바람직하다. 특히, 착용자에 의한 가시화의 거리 및/또는 방향이 타임-랩스(time-lapse)와 같은 동적인 방식으로 맞춤될 수 있는 것이 바람직하다. 이는 상이한 응시 방향으로, 다시 말해서 착용자의 시계(vision field)의 여러 위치들 내에서 이미지의 동적 디스플레이를 제공할 것이고, 가시화 거리(포커스) 동적 조정을 제공할 것이다. 가시화된 이미지의 크기 및 시계를 조정하는 것이 또한 바람직하다. 또한, 착용자의 시야(vision)에 맞춰 조정하고자 하는 증강 현실이, 굴절이상 착용자의 경우 또는 정시안 착용자의 경우이든지 간에, 감소된 조절 능력을 고려할 수 있는 것이 바람직하다 또한, 비구면화(aspherization) 또는 필드 수차(field aberration)와 같은 이차적인 수차를 적어도 부분적으로 교정하는 것이 바람직하다.
본 발명은 일반적으로 머리-장착형 장치로 이미지를 디스플레이하기 위한 방법 및 시스템을 제공하는 것이다.
일반적으로, 본 발명은 라이트-필드 디스플레이(light-field display)의 용도에 관한 것이다. 그러한 디스플레이는 증강 현실을 제공하는데 있어서 유용하다.
본 발명의 장치
일 양태에서, 본 발명은 착용자에 의해서 착용되기 위한 머리-장착형 장치(HMD)에 관한 것이고, 그러한 머리-장착형 장치는, 컴퓨터-발생 이미지의 디스플레이 및 착용자에 의한 가시화를 위해서 구성되고, 그러한 머리-장착형 장치(HMD)는: 라이트-필드 디스플레이를 포함하는 이미지 공급원(IS); 및 착용자의 하나의 눈의 전방에 위치되는 홀로그래픽 거울(HM)과 같은 시-스루 거울(see-through mirror(M))을 포함하고; 이미지 공급원(IS)은 거울을 향해서 광 빔을 방출하도록 구성되고, 그러한 방출된 광 빔은 거울(M, HM) 상으로 반사되고 그에 의해서 착용자의 눈을 향해서 지향되어, 착용자에 의한 컴퓨터-발생 이미지의 가시화를 유발한다.
일부 실시예에서, 시-스루 거울 및/또는 이미지 공급원은 디스플레이되는 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 시야(vision)를 적어도 부분적으로 조정하도록 구성되고; 예를 들어, 착용자가 굴절이상인 경우에, 시-스루 거울 및/또는 이미지 공급원은 디스플레이되는 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 굴절이상을 적어도 부분적으로 교정하도록 구성될 수 있다.
일부 실시예에서, 시-스루 거울은 홀로그래픽 거울이고, 라이트-필드 디스플레이는: 광학적 마이크로-요소의 어레이로서, 광학적 마이크로-요소는 능동형 또는 피동형일 수 있고, 광학적 마이크로-요소의 어레이는 마이크로-렌즈의 어레이; 마이크로-홀의 어레이; 마이크로-프리즘의 어레이; LCD 또는 LCoS와 같은, 액정의 어레이; 격자의 어레이; 및 페이즈 마스크(phase masks)의 어레이로부터 선택되는, 광학적 마이크로-요소의 어레이; 및 LED, OLED, LCoS, LCD 및 SLM 디스플레이 스크린과 같은 디지털 디스플레이 스크린으로부터 선택된 디지털 디스플레이 요소를 포함한다.
일부 실시예에서, 라이트-필드 디스플레이는: 광학적 마이크로-요소의 어레이, 및 복수의 화소를 포함하는 디지털 디스플레이 요소를 포함하고; 광학적 마이크로-요소의 어레이 내에서, 각각의 광학적 마이크로-요소는 디지털 디스플레이 요소 내의 화소의 하위 세트에 상응한다.
일부 실시예에서, 광학적 마이크로-요소의 어레이 내의 모든 광학적 마이크로-요소가 동일하다.
일부 실시예에서, 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-렌즈를 포함하는 마이크로-렌즈의 어레이; 또는 적어도 2가지 유형의 마이크로-홀을 포함하는 마이크로-홀의 어레이; 또는 적어도 2가지 유형의 마이크로-프리즘을 포함하는 마이크로-프리즘의 어레이; 또는 적어도 2가지 유형의 액정을 포함하는 액정의 어레이; 또는 적어도 2가지 유형의 격자를 포함하는 격자의 어레이; 또는 적어도 2가지 유형의 페이즈 마스크를 포함하는 페이즈 마스크의 어레이이다.
일부 실시예에서, 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-렌즈를 포함하는 마이크로-렌즈의 어레이이고, 적어도 2가지 유형의 마이크로-렌즈는: 마이크로-렌즈 직경, 마이크로-렌즈 광학적 굴절력(power), 예를 들어 구형, 오목볼록 렌즈(positive meniscus), 볼록오목 렌즈(negative meniscus)와 함께, 비구형, 원통형, 양면 볼록형, 평면-볼록형, 오목형, 평면-오목형, 양면 오목형 등으로부터 선택된 마이크로-렌즈 프로파일, 마이크로-렌즈로부터 디지털 디스플레이 요소 내의 그 각각의 화소의 하위 세트까지의 상대적인 거리, 마이크로-렌즈의 능동형 또는 피동형 특성 중 하나 이상에서 상이하다.
일부 실시예에서, 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-홀을 포함하는 마이크로-홀의 어레이이고, 적어도 2가지 유형의 마이크로-홀은: 직경과 같은 마이크로-홀 치수; 마이크로-홀 형상; 마이크로-홀로부터 디지털 디스플레이 요소 내의 그 각각의 화소의 하위 세트까지의 상대적인 거리 중 하나 이상에서 상이하다.
일부 실시예에서, 적어도 2가지 유형의 광학적 마이크로-요소(적어도 2가지 유형의 마이크로-렌즈, 각각 적어도 2가지 유형의 마이크로-홀, 각각 적어도 2가지 유형의 마이크로-프리즘, 각각 적어도 2가지 유형의 액정, 각각 적어도 2가지 유형의 격자, 각각 적어도 2가지 유형의 페이즈 마스크)는, 광학적 마이크로-요소의 어레이 내에서 적어도 2개의 상이한 지역을 형성하기 위해서 광 빔을 방출하는 이미지 공급원의 광원과 함께 배열된다.
일부 실시예에서, 머리-장착형 장치(HMD)는: 하나 이상의 장면 카메라; 하나 이상의 휘도 센서 및 광도 센서; 및 하나 이상의 눈-추적기로부터 선택된 적어도 하나의 센서를 포함한다.
본 발명의 이용 및 방법
일 양태에서, 본 발명은, 착용자에 의한 컴퓨터-발생 이미지의 가시화의 거리를 조정하기 위한; 및/또는 착용자에 의한 컴퓨터-발생 이미지의 가시화의 응시 방향을 조정하기 위한; 및/또는 가시화된 이미지의 크기 및 시계를 조정하기 위한; 및/또는 비구면화, 필드 수차와 같은 착용자에 의한 컴퓨터-발생 이미지의 가시화에서의 이차적인 광학적 수차를 교정하기 위한; 및/또는 착용자가 굴절이상인 경우에, 착용자에 의한 컴퓨터-발생 이미지의 가시화를 위한 착용자의 굴절이상을 적어도 부분적으로 교정하기 위한, 착용자에 의해서 착용되기 위한 시-스루 머리-장착형 장치 내의 라이트-필드 디스플레이의 이용에 관한 것으로서, 머리-장착형 장치는 거울을 포함하고, 라이트-필드 디스플레이는 광 빔을 거울을 향해서 방출하도록 구성되며, 방출된 광 빔은 거울(M, HM) 상으로 반사되고 그에 의해서 착용자의 눈을 향해서 지향되고, 그에 따라 착용자에 의한 컴퓨터-발생 이미지의 가시화를 유발한다.
일 양태에서, 본 발명은 컴퓨터-발생 이미지의 디스플레이 및 가시화를 위한 방법에 관한 것이고, 그러한 방법은:
(a) 본원에서 설명된 바와 같은 머리-장착형 장치(HMD)를 착용자에게 제공하는 단계,
(b) 착용자에 의한 컴퓨터-발생 이미지의 가시화의 거리를 조정하기 위해서; 및/또는 착용자에 의한 컴퓨터-발생 이미지의 가시화의 응시 방향을 조정하기 위해서; 및/또는 및/또는 비구면화, 필드 수차와 같은 착용자에 의한 컴퓨터-발생 이미지의 가시화에서의 이차적인 광학적 수차를 교정하기 위해서; 및/또는 착용자가 굴절이상인 경우에, 착용자에 의한 컴퓨터-발생 이미지의 가시화를 위한 착용자의 굴절이상을 적어도 부분적으로 교정하기 위해서, 라이트-필드 디스플레이를 제어하는 단계를 포함한다.
본 발명의 방법의 일부 실시예에서, 머리-장착형 장치(HMD)는 적어도 하나의 장면 카메라를 포함하고, 단계(b)는:
(i) 장면 카메라로부터 수집된 데이터를 기초로, 자연 시계에서 착용자에 의한 물체의 가시화의 거리 및/또는 응시 방향을 결정하는 단계, 및
(ii) 단계(i)에서 결정된 거리 및/또는 응시 방향에 따라, 컴퓨터-발생 이미지의, 착용자에 의한, 가시화의 거리 및/또는 응시 방향을 조정하기 위해서, 라이트-필드 디스플레이의 디지털 디스플레이 요소에 대한 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계, 및
(iii) 선택적으로 타임-랩스 방식으로 단계(i) 및 단계(ii)를 반복하는 단계를 포함한다.
본 발명의 방법의 일부 실시예에서, 머리-장착형 장치(HMD)는 적어도 하나의 휘도 또는 광도 센서 그리고 선택적으로 착용자의 눈의 전방에 위치된 전기변색 셀을 더 포함하고, 단계(b)는:
(i) 휘도 또는 광도 센서로부터 수집된 데이터를 기초로, 휘도 또는 광도의 적어도 하나의 값을 결정하는 단계, 및
(ii) 단계(i)에서 결정된 값(들)에 따라, 컴퓨터-발생 이미지의, 착용자에 의한, 가시화의 응시 방향을 조정하기 위해서 라이트-필드 디스플레이의 디지털 디스플레이 요소에 대한 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계, 및/또는 선택적으로 단계(i)에서 결정된 값(들)에 따라, 전기변색 셀을 제어하는 단계, 및
(iii) 선택적으로 타임-랩스 방식으로 단계(i) 및 단계(ii)를 반복하는 단계를 포함한다.
본 발명의 방법의 일부 실시예에서, 머리-장착형 장치(HMD)는 적어도 하나의 눈-추적기를 더 포함하고, 단계(b)는:
(i) 눈-추적기에 의해서 수집된 데이터를 기초로, 자연 시계에서 착용자에 의한 물체의 가시화의 거리 및/또는 응시 방향을 결정하는 단계, 및
(ii) 단계(i)에서 결정된 값(들)에 따라, 컴퓨터-발생 이미지의, 착용자에 의한, 가시화의 거리 및/또는 응시 방향을 조정하기 위해서, 라이트-필드 디스플레이의 디지털 디스플레이 요소에 대한 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계, 및
(iii) 선택적으로 타임-랩스 방식으로 단계(i) 및 단계(ii)를 반복하는 단계를 포함한다.
본 발명의 용도 및 방법의 일부 실시예에서, 시-스루 거울 및/또는 이미지 공급원은 디스플레이되는 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 시야(vision)를 적어도 부분적으로 조정하도록 구성되고; 예를 들어, 착용자가 굴절이상인 경우에, 시-스루 거울 및/또는 이미지 공급원은 디스플레이되는 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 굴절이상을 적어도 부분적으로 교정하도록 구성될 수 있다.
도 1은 본 발명의 HMD를 도시한다(부분도).
도 2는 본 발명의 방법 및 HMD를 위한 렌즈를 도시한다.
도 2a 내지 도 2c는 본 발명의 방법 및 HMD를 위한 라이트-필드 디스플레이의 예시적인 구조 및 구현예를 도시한다.
도 3은 본 발명의 HMD 및 방법으로 획득된 가능한 가시화(시야 구역)를 도시한다.
도 4는 입사각을 결정하기 위한 플렌옵틱 카메라(plenoptic camera)의 이용을 도시한다.
도 5는 본 발명의 HMD 및 방법으로 획득 가능한 타임-랩스 증강 현실을 도시한다.
도 6a 및 도 6b는 본 발명의 예시적인 HMD를 도시한다.
도 7은 홀로그래픽 거울의 기록(좌측) 및 가상 이미지 가시화에서 광학적 기능의 복원에 의한 거울의 이용(우측)의 원리를 도시한다.
도 8은 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 9는 홀로그래픽 거울의 기록(좌측) 및 가상 이미지 가시화에서 광학적 기능의 복원에 의한 거울의 이용(우측)의 원리를 도시한다.
도 10은 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 11은 전기변색성 셀을 포함하는 렌즈 상에 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 12는 렌즈 상에 연장된 필드를 가지는 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 13은 본 발명에 따른 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 2는 본 발명의 방법 및 HMD를 위한 렌즈를 도시한다.
도 2a 내지 도 2c는 본 발명의 방법 및 HMD를 위한 라이트-필드 디스플레이의 예시적인 구조 및 구현예를 도시한다.
도 3은 본 발명의 HMD 및 방법으로 획득된 가능한 가시화(시야 구역)를 도시한다.
도 4는 입사각을 결정하기 위한 플렌옵틱 카메라(plenoptic camera)의 이용을 도시한다.
도 5는 본 발명의 HMD 및 방법으로 획득 가능한 타임-랩스 증강 현실을 도시한다.
도 6a 및 도 6b는 본 발명의 예시적인 HMD를 도시한다.
도 7은 홀로그래픽 거울의 기록(좌측) 및 가상 이미지 가시화에서 광학적 기능의 복원에 의한 거울의 이용(우측)의 원리를 도시한다.
도 8은 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 9는 홀로그래픽 거울의 기록(좌측) 및 가상 이미지 가시화에서 광학적 기능의 복원에 의한 거울의 이용(우측)의 원리를 도시한다.
도 10은 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 11은 전기변색성 셀을 포함하는 렌즈 상에 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 12는 렌즈 상에 연장된 필드를 가지는 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
도 13은 본 발명에 따른 홀로그래픽 거울을 기록하기 위한 광학적 배열체를 도시한다.
정의
이하의 정의는 본 발명을 설명하기 위해서 제공된 것이다.
"컴퓨터-발생 이미지"는 당업계에 공지되어 있다. 본 발명에 따라, 컴퓨터-발생 이미지는 2D- 또는 3D-회절 이미지, 2D- 또는 3D-컴퓨터-발생 홀로그래픽 이미지, 임의의 진폭 이미지(amplitude images), 등과 같은 임의의 컴퓨터-발생 이미지를 포함한다. 컴퓨터-발생 이미지는 가상 이미지로서 이용될 수 있다. 일부 실시예에서, 디스플레이의 고정된 수차, 자연 수차 또는 거울 전방의 이미지 배향 및 위치와 연계된 수차와 같은 광학적 수차, 및 디스플레이의 주어진 배향 또는 위치와 함께 사용되는 거울의 수차를 적어도 부분적으로 교정하기 위해서, 이미지(데이터)가 계산될 수 있다.
"홀로그래픽 이미지"는 당업계에 공지되어 있다. 그러한 홀로그래픽 이미지는 홀로그램 판독(조명)에 의해서 디스플레이될 수 있다. 컴퓨터-발생 홀로그램은 또한 합성 또는 디지털 홀로그램으로서 지칭된다. 컴퓨터-발생 홀로그램은 일반적으로 2D 또는 3D 이미지를 선택하는 것, 그리고 그 홀로그램을 디지털적으로 연산하는 것에 의해서 얻어진다. 홀로그래픽 이미지는 광학적 재구성에 의해서, 즉 적절한 광 빔(홀로그램의 기준 빔)으로 홀로그램을 조명(판독)하는 것에 의해서 디스플레이될 수 있다. 홀로그래픽 이미지가 2D 또는 3D일 수 있다. 희망 라이트-필드 디스플레이를 설계하기 위해서 디스플레이의 전방에서 이용될 수 있는 페이즈 마스크를 형성하기 위해서, 동일한 계산이 이용될 수 있다.
"시-스루 거울"(M)이 당업계에 공지되어 있다. 그러한 거울은 홀로그래픽 거울(HM), 반-투명 거울, 및 이색성 거울 등을 포함한다. HMD의 경우에, 이러한 거울은 착용자의 눈을 향해서 가시화된 이미지를 반사시키기 위한 특정 기하형태를 가질 수 있다. 바람직한 예는 홀로그래픽 거울, 특히 특정 기하형태를 안과 렌즈 곡선 상에 기록하기 위한 홀로그래픽 거울이다.
"홀로그래픽 거울"(HM)이 당업계에 알려져 있다. 그러한 거울은, 홀로그래피 프로세스를 이용하여 기록된 경우에, 홀로그래픽 거울로서 정의된다. 그러나, 본 발명에 따라, 홀로그래픽 거울은 가시화 목적을 위한 것이다. 이러한 거울은, 착용자에 의한 이미지의 가시화를 유발하기 위해서, 이미지 공급원으로부터 생성된 광 빔을 반사하기 위해서 이용된다. 홀로그래픽 거울은 (통상적인 홀로그램 관찰에서의 경우와 같이) 기록된 홀로그래픽 이미지를 재구성하기 위해서 이용되지 않는다. 기록으로 인해서, 유리하게 본 발명에 따라, 거울에 광학적 기능이 부여되며, 그러한 기능은, 적용될 수 있는 경우에, 거울 상으로의 반사 시에, 이미지 공급원으로부터 발생되는 광 빔의 파두(wavefront)를 수정할 수 있다. 이는 착용자의 가상 시야를 교정할 수 있게 하는데, 이는 (거울을 포함하는) 본 발명의 렌즈가, 착용자의 눈에서 이미지를 생성하는 광 빔을 수정할 수 있기 때문이다.
그에 따라, 가상 이미지는 반드시 홀로그래픽 이미지일 필요는 없다. 이는 2D 또는 3D 이미지와 같은 임의의 가상 이미지일 수 있다. 이미지의 특성은 이미지 공급원의 특성으로부터 초래되고, 홀로그래픽 거울의 홀로그래픽 특성으로부터 초래되지 않는다. 이미지 공급원으로서 홀로그래픽 이미지 공급원을 이용할 수 있고, 그러한 경우에 가상 이미지는 홀로그래픽 이미지이다.
그러한 홀로그래픽 거울이 이하에서 더 구체적으로 설명된다.
"머리-장착형 디스플레이 장치"(HMD)가 당업계에 공지되어 있다. 헬멧-장착형 디스플레이, 광학적 머리-장착형 디스플레이, 머리-착용 디스플레이, 및 기타를 포함하여, 그러한 장치는 착용자의 머리 상에 또는 그 주위에 착용된다. 그들은 착용자에 의한 가시화를 위한 이미지를 디스플레이하기 위한 광학적 수단을 포함한다. HMD는 컴퓨터 생성 이미지의 그리고 '실제-생활의' 시계의 중첩된 가시화를 위해서 제공될 수 있다. HMD는 단안형(하나의 눈) 또는 쌍안형(양 눈)일 수 있다. 본 발명의 HMD는, 안경, 스키 또는 운전 마스크와 같은 마스크, 고글, 등을 포함하는, 여러 가지 형태를 취할 수 있다. HMD는 하나 이상의 렌즈를 포함할 수 있다. 렌즈는 처방 렌즈와 같은 안과 렌즈로부터 선택될 수 있다. 바람직한 실시예에서, HMD는 렌즈를 구비한 안경이다.
"공간적 광 변조기"(SLM)가 당업계에 공지되어 있다. 그러한 SLM은 위상 SLM, 위상-한정 SLM, 진폭-한정 SLM, 또는 위상 및 진폭 SLM일 수 있다. 존재하는 경우에, 진폭 변조는 바람직하게 위상 변조와 독립적이고, 그레이스케일과 관련한 이미지 품질 개선을 위한 이미지 반점의 감소를 허용한다. SLM은 투과적 또는 반사적일 수 있다. 이는 완전한(fully) 또는 부분적인 가간섭성(coherent) 공급원(예를 들어, 레이저, 다이오드 레이저) 또는 비간섭성 공급원(예를 들어, LED, OLED 디스플레이 스크린)으로 조명될 수 있다.
"이미지 공급원"(IS)이 당업계에 공지되어 있다. 이미지 공급원은, 착용자에 의한 가시화를 위한 이미지를 디스플레이하는데 적합한(배열된, 구성된) 광 빔을 방출할 수 있는 임의의 광원이다. 가시화는 이미지 공급원으로부터 발생된 조명 빔이 시-스루 거울 상으로 반사된 후에 발생된다. 홀로그래픽 이미지의 디스플레이와 관련하여, 광 빔은 홀로그램을 위한 기준 빔을 포함한다. 이미지는 이미지 데이터(예를 들어, 컴퓨터-발생 이미지 데이터)로부터 디스플레이될 수 있다.
본 발명에 따라, IS는 라이트-필드 디스플레이(LFD)를 포함한다.
본 발명에 따라, IS는 유리하게 제어기, 그래픽 카드, 하나 이상의 배터리, 배선, 등을 포함할 수 있다.
본 발명에 따라, IS는 또한 다중 적층 구조물을 가질 수 있다.
본 발명에 따라, IS가 착용자의 안경다리(temple) 옆에, 예를 들어 안경의 안경다리 구성요소와 같은 HMD의 안경다리 구성요소 상에 위치될 수 있다는 점에서, IS는 "축외적(off-axis)"이다.
"라이트-필드 디스플레이"(LFD)가 당업계에 공지되어 있다. 라이트-필드 디스플레이는 종종 플렌옵틱 디스플레이, 또는 일체형-이미징 디스플레이로 지칭된다. 일부 실시예(마이크로-홀의 어레이, 이하 참조)에서, 라이트-필드 디스플레이는 다중-동공, 다중-조리개, 또는 조리개 합성 디스플레이로 지칭될 수 있다.
일부 실시예에서, LFD는 마이크로-렌즈의 어레이가 전방에 배치되는 디스플레이(마이크로-스크린)를 포함한다. 도 2a 참조. 마이크로-스크린(디지털 디스플레이, D.D.)은 복수의 화소(p)를 포함한다. 주어진 화소의 세트(p.s.)는 주어진 마이크로-렌즈(μL)에 상응한다. 어레이에 대한 이미지의 위치는, 착용자에 의한 가상화를 위한 거리뿐만 아니라, 이미지(I)의 디스플레이를 위한 방향을 설정(조정, 조율)할 수 있게 한다. 마이크로-스크린이 마이크로-렌즈의 초점 지점에 위치될 때, 이미지는 무한 거리(∞)에서 디스플레이된다. 도 2b 참조. (주어진 평면 내에서) 무한 거리에서 이미지를 가시화하기 위해서, 마이크로-렌즈 어레이와 마이크로-스크린 사이의 거리를 변경할 수 있다. 이는 디스플레이되는 화소(p1)의 (마이크로-스크린 내의) 위치를 선택하는 것에 의해서 달성될 수 있다. 그러한 경우에, 주어진 거리에서 그리고 주어진 위치(응시 방향)에서 이미지(I)를 디스플레이할 수 있다. 도 2c 참조. 마이크로-렌즈의 초점 거리가 매우 짧은 경우에, 그 위치의 약간의 차이는 초점 플랜(focal plan)과 관련하여 큰 차이를 초래한다.
일부 실시예에서, 어레이가 마이크로-홀 또는 다른 마이크로-광학 요소를 포함하는 경우에, 어레이의 어떠한 이동도 없이 가시화의 거리 및 위치와 관련하여 디스플레이되는 이미지를 적응(adapt)시키기 위해서 디스플레이되는 이미지를 연산할 수 있다.
예로서, 라이트-필드 디스플레이의 경우에:
- 디스플레이: 9 ㎛ 측면 길이(약 36 mm 측면 길이)의 (4000 x 4000 px);
- 125 ㎛ 측면 길이의 296 x 296 마이크로-렌즈의 어레이;
- 이는 각각의 마이크로-렌즈를 위한 12 x 12 화소의 화소 세트에 상응한다.
본 발명에 따라, 예로서, 10-50 ㎛ 측면 길이의 마이크로-렌즈의 어레이로, 5 ㎛ 이하의 크기를 가지는 고해상도(풀 HD) 화소를 이용하는 것이 유리하다.
도 2a 내지 도 2c는, 마이크로-렌즈의 어레이가 본원에서 개시된 바와 같은 마이크로-홀의 어레이 또는 임의의 다른 마이크로-요소의 어레이에 의해서 대체되는 실시예로 전치될(transposed) 수 있다.
더 일반적으로, LFD에 관한 이러한 정의가 종종 예시적인 마이크로-렌즈의 어레이를 기초로 하지만, 본원에서 개시된 바와 같은 임의의 다른 마이크로-요소의 어레이에 적용된다(및/또는 전치될 수 있다).
더 일반적으로, 본 발명에 따라, LFD는, 마이크로-렌즈의 어레이 대신에, 반사 및/또는 회절 마이크로-요소의 어레이를 포함할 수 있다.
일부 실시예에서, 광학적 마이크로-요소의 다수의 어레이를 이용할 수 있고, 그러한 다수의 어레이는 동일하거나 상이할 수 있고, 적층될 수 있다. 동일한 또는 상이한 광학적 마이크로-요소의 둘 이상의 어레이의 중첩은, 기능(다수의 관찰 거리, 콘트라스트, 등)을 부가할 수 있게 한다는 점에서 유리하다.
후술되는 바와 같이, 일부 실시예에서, 마이크로-렌즈의 어레이는 (동일한 초점 길이, 동일한 크기를 포함하는) 동일한 마이크로-렌즈를 포함할 수 있고, 초점의 설정은 어레이의 상대적인 길이방향 이동에 의해서 실시될 수 있다. 다른 실시예에서, 예를 들어, 어레이를 이동(초점 거리의 구배)시키지 않고, 근거리 시야 구역(NV) 내에서 또는 원거리 시야 구역(FV) 내에서 디스플레이하기 위해서 가시화하고자 하는 이미지의 지역에 따라 초점 길이가 달라지도록, 마이크로-렌즈가 또한 존재할 수 있다. 또한, 디스플레이 화소 상의 이미지의 위치가 NV 구역 및 FV 구역을 형성할 수 있도록, 스크린에 대한 어레이의 위치(거리, 배향)를 연산할 수 있다.
마이크로-렌즈 모두가, 예를 들어, 오목볼록 렌즈, 볼록오목 렌즈와 함께, 구형, 비구형, 원통형, 양면 볼록형, 평면-볼록형, 오목형, 평면-오목형, 양면 오목형 등으로부터 선택된 동일한 프로파일 또는 기하형태적 유형일 수 있거나, 각각이 독립적으로 임의의 프로파일 또는 기하형태적 유형일 수 있다.
마이크로-렌즈 모두는 동일한 굴절력을 가지거나 그렇지 않을 수 있다. 마이크로-렌즈는 또한, 구면 굴절력, 원통형 굴절력, 프리즘 굴절력, 등과 같은 (동일한 또는 상이한) 그들의 굴절력에 의해서 정의될 수 있다.
마이크로-렌즈는 능동형 이미지 변조를 제공하기 위한 능동형 마이크로-렌즈(액정, 멤브레인, 프레넬 렌즈, 핀홀, 홀로그래픽 렌즈 등)일 수 있다. 이는, 가시화 평면 또는 초점 구역을 국소적으로 변위시키는 것에 의해서 착용자의 굴절이상(안과 데이터, 처방 데이터, 등)을 교정할 수 있다는 점에서 유리하다.
"착용자 안과 데이터" 또는 "안과 데이터"(OD)가 당업계에 공지되어 있다. 착용자 안과 데이터는 착용자 처방 데이터(PD), 착용자 눈 민감도 데이터(SD) 및 착용자 안과 생물통계적 데이터(BD), 및 일반적으로, 예를 들어 색수차, 눈 렌즈의 결여(무수정체), 비구면화 또는 필드 수차와 같은 이차적인 수차 등과 관련된 데이터를 포함하는, 임의의 착용자 시야 결함과 관련된 데이터를 포함한다.
"처방 데이터"(PD)가 당업계에 공지되어 있다. 처방 데이터는 착용자로부터 획득되고, 각각의 눈에 대한 처방된 원거리 시야 평균 굴절력(PFV), 및/또는 처방된 난시 값(CYLFV) 및/또는 처방된 난시 축(AXEFV) 및/또는 각각의 눈의 굴절 이상 및/또는 노안을 교정하는데 적합한 처방된 부가(A)를 나타내는 하나 이상의 데이터를 지칭한다. 평균 굴절력(PFV)은 처방된 난시 값(CYLFV)의 절반 값과 처방된 구면 값(sphere value)(SPHFV)을 합산하는 것에 의해서 얻어진다: PFV = SPHFV + CYLFV/2. 이어서, 근접(근거리) 시야에 대한 각각의 눈의 평균 굴절력은 처방된 부가(A)와 동일한 눈에 대해서 처방된 원거리 시야 평균 굴절력(PFV)을 합산하는 것에 의해서 얻어진다: PNV = PFV + A. 누진 렌즈에 대한 처방의 경우에, 처방 데이터는, SPHFV, CYLFV 및 A에 대한 각각의 눈의 값을 나타내는 착용자 데이터를 포함한다. 바람직한 실시예에서, 착용자 처방 데이터(PD)는 난시 모듈, 난시 축, 굴절력, 프리즘 및 부가, 그리고 더 일반적으로 임의의 주어진 시야 결함의 교정을 나타내는 임의의 데이터로부터 선택된다. 그러한 결함은 부분적인 망막 분리, 망막 또는 홍체 또는 각막 기형으로부터 초래될 수 있다.
"착용자 눈 민감도 데이터"(SD)가 당업계에 공지되어 있다. 착용자 눈 민감도 데이터는 (하나 이상의 파장 또는 스펙트럼 대역에 대한) 스펙트럼 민감도에 관한 데이터; 예를 들어 실외 밝기 민감도에 대한, 밝기 민감도와 같은 일반적인 민감도를 포함한다. 그러한 데이터는, 착용자에 의한 이미지의 가시화를 위한 콘트라스트를 최적화하는데 있어서 중요하다.
"착용자 안과 생물통계적 데이터" 또는 "생물통계적 데이터"(BD)는 당 업계에 공지되어 있다. 생물통계적 데이터는 착용자의 형태와 관련된 데이터를 포함하며, 전형적으로 단안의 동공 거리, 눈동자-간 거리, 눈의 축 방향 길이, 눈의 회전 중심의 위치, 원 점(punctum remotum), 근 점(punctum proximum), 등 중 하나 이상을 포함한다.
본 발명의 머리-장착형 장치
본 발명에 따라, 착용자에 의한 착용을 위한 머리-장착형 장치(HMD)가 제공된다. 머리-장착형 장치는, 컴퓨터-발생 이미지의 디스플레이 및 착용자에 의한 가시화를 위해서 구성된다. 머리-장착형 장치(HMD)는: 라이트-필드 디스플레이를 포함하는 이미지 공급원(IS); 및 착용자의 하나의 눈의 전방에 위치되는 홀로그래픽 거울(HM)과 같은 시-스루 거울(M)을 포함한다. 이미지 공급원(IS)은 거울을 향해서 광 빔을 방출하도록 구성되고, 방출된 광 빔은 거울(M, HM) 상으로 반사되고 그에 의해서 착용자의 눈을 향해서 지향되어, 착용자에 의한 컴퓨터-발생 이미지의 가시화를 유발한다. 거울은 IS에 대해서 축외적으로 위치된다. 이러한 것은, 홀로그래픽 거울(HM)와 같은 거울(M)을 도시하는 도 1에 도시되어 있다. 이미지 공급원(IS)은 안경 형태로 HMD의 안경다리 상에 위치된다. IS는 또한 편향부(예를 들어, 홀로그래픽 편향부, H defl)를 포함할 수 있다.
일부 실시예에서, 거울은 홀로그래픽 거울(HM)이다. 이러한 HM은 본원에서 설명되는 바와 같은 것일 수 있다. 그러한 HM은 착용자의 시야를 적어도 부분적으로 교정하도록 구성될 수 있다. 이는, 굴절이상 및/또는 조절 능력의 부족(lack of accommodation reserve)과 같은 가능한 시야 결함을 포함한다. 특히, HM은, 처방 데이터(PD)와 같은, 착용자의 안과 데이터(OD)를 고려하도록 구성될 수 있다.
HM은 전방 면 상에, 또는 후방 면 상에, 또는 안과 렌즈의 벌크 내에 제공될 수 있다. 이러한 것은 도 2(L, Rx: 렌즈, 예를 들어 처방 렌즈); F: HM을 제공하기 위해서 기록될 수 있는 홀로그래픽 재료의 막; G: 유리)에 도시되어 있다.
렌즈는 임의 유형의 렌즈, 바람직하게 처방 렌즈일 수 있다.
HM은 또한, 응시 방향(예를 들어, 위쪽, 아래쪽, 좌측, 우측)과 관련되든지 간에, 또는 시야(근거리 시야, 원거리 시야, 중간 시야, 중앙 시야, 주변 시야)와 관련되든지 간에, 또는 가시화의 거리와 관련하든지 간에, 다양한 시야 구역을 형성할 수 있다. HM은, 처방 데이터를 포함하여, 착용자의 굴절이상 또는 안과 데이터를 고려하도록 구성될 수 있다.
그에 따라, 유리하게 본 발명에 따라, 시-스루 거울 및/또는 이미지 공급원(LFD)은 디스플레이되는 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 시야를 적어도 부분적으로 조정하도록 구성된다. 분명하게, 착용자가 굴절이상인 경우에, 시-스루 거울 및/또는 이미지 공급원은 디스플레이되는 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 굴절이상을 적어도 부분적으로 교정하도록 구성될 수 있다. 일부 실시예에서, 시야를 교정하는 것은 굴절이상을 교정하는 것 및/또는 조절을 최소화하는 것을 포함한다. 일부 실시예에서, 시야를 교정하는 것은 시-스루 거울의 구성 및/또는 이미지 공급원(LFD)의 및/또는 이미지 계산(이미지 공급원 내로 입력된 컴퓨터-발생 이미지 데이터)의 구성을 통해서 달성된다.
일부 실시예에서, 시야를 적어도 부분적으로 교정하기 위해서, 방출된 광 빔이 영이 아닌 곡률(non-nil curvature)을 가질 수 있다. 예를 들어, 방출된 광 빔은, 적어도 하나의 축을 따라서, 적어도 0.25 디옵터의 곡률을 가질 수 있다.
본 발명의 방법 및 HMD 내의 라이트-필드 디스플레이
일부 양태에서, 본 발명의 장치, 방법 및 용도에서, 시-스루 거울은 홀로그래픽 거울이고, 라이트-필드 디스플레이는: 광학적 마이크로-요소의 어레이 및 LED, OLED, LCoS, 및 LCD 디스플레이 스크린과 같은 디지털 디스플레이 스크린으로부터 선택된 디지털 디스플레이 요소를 포함한다.
일부 실시예에서, 광학적 마이크로-요소는 능동형 또는 피동형일 수 있고 및/또는 광학적 마이크로-요소의 어레이는:
- 마이크로-렌즈의 어레이,
- 마이크로-홀의 어레이,
- 마이크로-프리즘의 어레이,
- (LCD 또는 LCoS와 같은) 액정의 어레이,
- 격자의 어레이, 및
- 페이즈 마스크의 어레이 등으로부터 선택될 수 있다.
일부 실시예에서, 라이트-필드 디스플레이는 광학적 마이크로-요소의 어레이, 및 복수의 화소를 포함하는 디지털 디스플레이 요소를 포함한다. 유리하게, 본 발명에 따라, 광학적 마이크로-요소의 어레이에서, 각각의 광학적 마이크로-요소는 디지털 디스플레이 요소 내의 화소의 하위 세트에 상응할 수 있다(예를 들어, 주어진 마이크로-렌즈는 주어진 화소의 하위 세트에 상응할 수 있고, 주어진 마이크로-홀은 주어진 화소의 하위 세트에 상응할 수 있으며, 주어진 마이크로-프리즘은 주어진 화소의 하위 세트에 상응할 수 있고, ...).
일부 실시예에서, 광학적 마이크로-요소의 어레이 내의 모든 광학적 마이크로-요소가 동일할 수 있다.
일부 실시예에서, 광학적 마이크로-요소의 어레이는:
- 적어도 2가지 유형의 마이크로-렌즈를 포함하는 마이크로-렌즈의 어레이;
- 적어도 2가지 유형의 마이크로-홀을 포함하는 마이크로-홀의 어레이;
- 적어도 2가지 유형의 마이크로-프리즘를 포함하는 마이크로-프리즘의 어레이;
- 적어도 2가지 유형의 액정을 포함하는 액정의 어레이;
- 적어도 2가지 유형의 격자를 포함하는 격자의 어레이;
- 적어도 2가지 유형의 페이즈 마스크를 포함하는 페이즈 마스크의 어레이 중 하나 이상일 수 있다.
"2가지 유형"에 의해서, 마이크로-요소의 어레이는, 치수(크기, 측면 길이, 직경, 깊이, 등), 광학적 성질(굴절률(index); 굴절력; 등), 상태(온 또는 오프; 조율 가능한 또는 설정된; 등), 또는 마이크로-요소로부터 디지털 디스플레이 요소 내의 각각의 화소의 하위 세트까지의 상대적인 거리와 같은, 적어도 하나의 물리적 성질과 관련하여 상이한 적어도 2개의 마이크로-요소의 하위 세트를 포함한다는 것을 의미한다.
예로서, 일부 실시예에서, 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-렌즈를 포함하는 마이크로-렌즈의 어레이일 수 있고, 적어도 2가지 유형의 마이크로-렌즈는:
- 마이크로-렌즈 직경,
- (예를 들어, 구형, 원통형, 또는 프리즘 굴절력과 같은) 마이크로-렌즈 광학적 굴절력,
- (예를 들어, 오목볼록 렌즈, 볼록오목 렌즈와 함께, 구형, 비구형, 원통형, 양면 볼록형, 평면-볼록형, 오목형, 평면-오목형, 양면 오목형 등과 같은) 마이크로-렌즈 프로파일,
- 마이크로-렌즈로부터 디지털 디스플레이 요소 내의 그 각각의 화소의 하위 세트까지의 상대적인 거리,
- 마이크로-렌즈(예를 들어, 액정 또는 멤브레인)의 능동형 또는 피동형 특성 중 하나 이상에서 상이하다.
예로서, 일부 실시예에서, 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-홀을 포함하는 마이크로-홀의 어레이일 수 있고, 적어도 2가지 유형의 마이크로-홀은:
- 직경과 같은 마이크로-홀 치수,
- 마이크로-홀 형상(정사각형, 둥근형, 직사각형, 다각형, 등),
- 마이크로-홀로부터 디지털 디스플레이 요소 내의 그 각각의 화소의 하위 세트까지의 상대적인 거리 중 하나 이상에서 상이하다.
예로서, 일부 실시예에서, 광학적 마이크로-요소의 어레이는 액정의 어레이일 수 있고, 액정의 어레이는 적어도 2가지 유형의 액정을 포함하고, 적어도 2가지 유형의 액정은:
- (예를 들어, 정사각형, 직사각형, 무작위적 형상, 등과 같은 상이한 기하형태들로부터 선택된) 화소 크기 및/또는 화소 형태;
- 화학적 성질 또는 액정의 계열(family);
- 광학적 굴절률;
- 제어 전압의 값 중 하나 이상에서 상이하다.
유리하게, 본 발명에 따라, 적어도 2가지 유형의 광학적 마이크로-요소(적어도 2가지 유형의 마이크로-렌즈, 각각 적어도 2가지 유형의 마이크로-홀, 각각 적어도 2가지 유형의 마이크로-프리즘, 각각 적어도 2가지 유형의 액정, 각각 적어도 2가지 유형의 격자, 각각 적어도 2가지 유형의 페이즈 마스크)는, 광학적 마이크로-요소의 어레이 내에서 적어도 2개의 상이한 지역을 형성하도록 배열된다. LFD 내의 어레이는 상응하는 시야 구역을 형성할 수 있게 한다. 시야 구역은 하나 이상의 컴퓨터-발생 이미지의 가시화를 위한 시야일 수 있다. 시야 구역은, 응시 방향(예를 들어, 위쪽, 아래쪽, 좌측, 우측, 및 그 조합)과 관련하여, 또는 시야(근거리 시야, 원거리 시야, 중간 시야, 중앙 시야, 주변 시야)와 관련하여 또는 가시화의 거리와 관련하여, 가시화하고자 하는 이미지의 지역에 따라 형성될 수 있다.
본 발명의 HMD는 하나 이상의 스마트 센서를 포함할 수 있다.
일부 실시예에서, 본 발명의 HMD는 하나 이상의 장면 카메라, 예를 들어 라이트-필드 카메라 또는 어안 카메라 또는 표준형 카메라를 포함할 수 있다. 카메라는 넓은 필드 조리개를 가질 수 있고; 이는 플렌옵틱 카메라일 수 있다.
HMD가 카메라를 포함하는 경우에, 이는 (실제-생활의 물품을 관찰하기 위한 거리 및/또는 응시 방향을 결정하는 것을 포함하여) 장면 내에서 물품을 검출할 수 있게 하고; 이어서 동일한 또는 상이한 응시 방향으로; 및/또는 동일한 또는 상이한 가시화 거리에서 하나 이상의 컴퓨터-발생 이미지를 디스플레이할 수 있게 한다. 예를 들어, 착용자가 박물관 내의 그림을 관찰할 때, 카메라는 그림(실제 생활)을 관찰하기 위한 거리 및 응시 방향을 검출하고, 그에 따라 그림 바로 아래에서 그리고 예를 들어 전술한 바와 같은 시야 구역에 상응하는 가시화의 동일한 (또는 상이한) 거리에서 그림에 관한 정보를 디스플레이하기 위한 정보를 제공한다. 디스플레이되는 정보는 태그, 정보, 그림, 화가의 성명(증강 현실)을 포함할 수 있다.
일부 실시예에서, 본 발명의 HMD는 하나 이상의 휘도 또는 광도 센서(밝기 센서), 예를 들어 ALS = 주변 광 센서, 광다이오드, 또는 넓은 필드 조리개, 또는 플렌옵틱 카메라, 등을 포함할 수 있다.
HMD가 휘도 센서 및/또는 광도 센서를 포함하는 경우에, 이는 다른 곳 보다 어두운 시야 구역을 검출할 수 있게 한다. 이는, 예를 들어 전술한 바와 같이 시야 구역에 상응하는 M, HM의 더 어두운 지역 내에서 정보(컴퓨터-발생 이미지)를 디스플레이하도록 선택할 수 있게 한다. 이는 개선된 콘트라스트로 인해서 시야를 유리하게 향상시킨다.
일부 실시예에서, 본 발명의 HMD는 하나 이상의 눈-추적기, 예를 들어 IR 추적기 또는 (IR) 거울 또는 카메라를 포함할 수 있다.
HMD가 하나 이상의 눈-추적기를 포함하는 경우에, 이는 착용자에 의해서 이용되는 시야 구역을 검출할 수 있게(응시 방향을 검출할 수 있게) 한다. 이는, 예를 들어 전술한 바와 같이 시야 구역에 상응하는 M, HM의 주어진 지역 내에서 또는 그 외부에서 정보(컴퓨터-발생 이미지)를 디스플레이하도록 선택할 수 있게 한다.
그러한 경우에, 본 발명의 HMD는 전기변색 셀(EC)을 더 포함할 수 있다. EC 셀은 HMD 내의 렌즈 내에 또는 렌즈 상에 있을 수 있다. 이어서, 시야 콘트라스트를 향상시키고 착용자에 의한 컴퓨터-발생 이미지의 가시화를 개선하기 위해서, 유리하게 EC 셀을 이용하여 렌즈를 어둡게 할 수 있다. 더 일반적으로, EC 셀이 또한, 적응형이든지 또는 아니든지 간에, 통상적인 선글라스(solar eyewear) 또는 솔라 HMD 내에서 이용될 수 있다.
본 발명의 방법 및 용도
본 발명은 컴퓨터-발생 이미지의 가시화를 위한 용도 및 방법을 제공한다. 이들은 증강 현실에서 유용하다.
본 발명에 따라, 라이트-필드 디스플레이는:
- 착용자에 의한 컴퓨터-발생 이미지의 가시화의 거리를 조정하기 위해서, 및/또는
- 착용자에 의한 컴퓨터-발생 이미지의 가시화의 응시 방향을 조정하기 위해서, 및/또는
- 가시화된 컴퓨터-발생 이미지의 크기 및 시계를 조정하기 위해서, 및/또는
- 비구면, 필드 수차와 같은, 착용자에 의한 컴퓨터-발생 이미지의 가시화의 이차적인 광학적 수차를 교정하기 위해서, 및/또는
- 착용자가 굴절이상인 경우에, 착용자에 의한 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 굴절이상을 적어도 부분적으로 교정하기 위해서, HMD 내에서 사용된다.
본 발명에 따라, 라이트-필드 디스플레이는:
- 착용자에 의한 컴퓨터-발생 이미지의 가시화의 거리를 조정하기 위해서, 및/또는
- 착용자에 의한 컴퓨터-발생 이미지의 가시화의 응시 방향을 조정하기 위해서, 및/또는
- 가시화된 컴퓨터-발생 이미지의 크기 및 시계를 조정하기 위해서, 및/또는
- 비구면, 필드 수차와 같은, 착용자에 의한 컴퓨터-발생 이미지의 가시화의 이차적인 광학적 수차를 교정하기 위해서, 및/또는
- 착용자가 굴절이상인 경우에, 착용자에 의한 컴퓨터-발생 이미지의 가시화를 위해서 착용자의 굴절이상을 적어도 부분적으로 교정하기 위해서, HMD 내에서 기록된 홀로그래픽 거울과 조합되어 이용된다.
컴퓨터-발생 이미지의 가시화는 LFD에 의해서 방출된 광 빔의 홀로그래픽 거울 상으로의 반사에 의해서 제공된다.
일부 실시예에서, HMD는 장면 카메라를 포함하고, 가시화 방법은:
(i) 장면 카메라로부터 수집된 데이터를 기초로, 자연 시계에서 착용자에 의한 물체의 가시화의 거리 및/또는 응시 방향을 결정하는 단계, 및
(ii) 단계(i)에서 결정된 거리 및/또는 응시 방향에 따라, 컴퓨터-발생 이미지의, 착용자에 의한, 가시화의 거리 및/또는 응시 방향을 조정하기 위해서 라이트-필드 디스플레이를 제어하는 단계; 및
(iii) 선택적으로 타임-랩스 방식으로 단계(i) 및 단계(ii)를 반복하는 단계를 포함한다.
단계(ii)에서, 컴퓨터-발생 이미지의 착용자에 의한 가시화를 위한 거리 및/또는 응시 방향은 각각 단계(i)로부터 자연 시야 필드 내의 물체의 착용자에 의한 가시화의 거리 및/또는 응시 방향의 각각과 동일하거나 그렇지 않을 수 있다. 단계(iii)는 향상된 증강 현실 체험을 제공하는데, 이는, 예를 들어 착용자가 응시 방향을 변경하고, 및/또는 머리를 회전시키고, 및/또는 자연 시야 필드 내의 물체가 이동되는 경우에, 시간의 함수로서 디스플레이를 업데이트하기 위해서, 정보가 타임-랩스에 따라 수집될 수 있기 때문이다.
일부 실시예에서, HMD는 적어도 하나의 휘도 또는 광도 센서 그리고 선택적으로 착용자의 눈의 전방에 위치된 전기변색 셀을 포함하고, 그리고 가시화 방법에서, 단계(b)는:
(i) 휘도 또는 광도 센서로부터 수집된 데이터를 기초로, 휘도 또는 광도의 적어도 하나의 값을 결정하는 단계, 및
(ii) 단계(i)에서 결정된 값(들)에 따라, 컴퓨터-발생 이미지의, 착용자에 의한, 가시화의 응시 방향을 조정하기 위해서 라이트-필드 디스플레이를 제어하는 단계, 및/또는 선택적으로 단계(i)에서 결정된 값(들)에 따라, 전기변색 셀을 선택적으로 제어하는 단계, 및
(iii) 선택적으로 타임-랩스 방식으로 단계(i) 및 단계(ii)를 반복하는 단계를 포함한다.
단계(ii)는 착용자에 의한 컴퓨터-발생 이미지의 가시화에 대한 콘트라스트의 제어(조율/조정)를 허용한다. 단계(iii)는 향상된 증강 현실 체험을 제공하는데, 이는, 주변 광도 변화의 함수로서 디스플레이를 업데이트하기 위해서, 정보가 타임-랩스에 따라 수집될 수 있기 때문이다.
일부 실시예에서, HMD는 적어도 하나의 눈-추적기를 포함하고, 그리고 가시화 방법에서, 단계(b)는:
(i) 눈-추적기에 의해서 수집된 데이터를 기초로, 자연 시계에서 착용자에 의한 물체의 가시화의 거리 및/또는 응시 방향을 결정하는 단계, 및
(ii) 단계(i)에서 결정된 값(들)에 따라, 컴퓨터-발생 이미지의, 착용자에 의한, 가시화의 거리 및/또는 응시 방향을 조정하기 위해서 라이트-필드 디스플레이를 제어하는 단계, 및
(iii) 선택적으로 타임-랩스 방식으로 단계(i) 및 단계(ii)를 반복하는 단계를 포함한다.
이는 전술한 바와 같이 상이한 시야 구역을 선택하고 이용할 수 있게 한다.
본 발명에 따라 구현되는 홀로그래픽 거울
홀로그래픽 거울의 광학적 성질
홀로그래피 기술이 당업계에 공지되어 있다. 그러한 기술은 일반적으로 홀로그래픽 지지체와 같은 적합한 매체 상에 기록하는 첫 번째 단계, 및 이어서 홀로그래픽 이미지를 재구축하는 단계를 포함한다. 기록하는 단계는 일반적으로 기준 빔 및 조명 빔으로 매체를 이중 조명하는 것을 포함한다. 홀로그래픽 이미지를 재구축하는 단계는 기준 빔으로 기록 매체를 조명하는 것에 의해서 실시될 수 있다.
거울을 위한 원리는 이하와 같다(이는, 착용자가 정시안이고 가시화된 이미지가 무한 거리에 위치되는 상황을 예시하기 위한 것이다). 피동형 거울은 통상적인 홀로그래픽 기록 설정(광학적 배열체)을 이용하여 기록되며, 이에 대해서는 도 7의 좌측을 참조한다. 거울은 화면(이미지 공급원) 상에서 디스플레이되는 이미지를 반사한다. 이러한 화면은 유리에 비교적 근접하고 유리에 대해서 각도를 형성한다. 이는 화면의 실제 거리 및 실제 경사로부터 발생된 발산 파동(빔)에 의해서 시뮬레이트된다. 디스플레이하고자 하는 이미지는, 유리에 수직인 방향으로, 무한대에 위치된다. 제2 간섭 빔은 유리에 수직인 방향을 따른 평면파이다. 화면이 배치될 때, 이미지는 도 7의 우측에 도시된 바와 같이 무한대로 그리고 착용자에 의해서 보여질 수 있게 디스플레이될 것이다(홀로그래픽의 복구(restitution)). 2개의 빔들 사이의 간섭 무늬가 굴절률 격자(index grating)의 형태로 감광성 재료 내에 기록된다. 이러한 굴절률 격자는 구현하고자 하는 광학적 기능을 반영한다.
넓은 의미에서, 홀로그래픽 거울(HM)을 제공하기 위해서, 본 발명은 기록 단계를 구현하지만, 전술한 바와 같이 재구축 단계는 포함하지 않는다. 일반적으로, 도 7 및 도 9에 도시된 예를 참조한다.
본 발명에 따라 구현되는 HM을 획득하기 위해서, 기록하는 단계는 광학적 기능을 홀로그래픽 재료의 막(F) 내에 기록(부여)하기 위해서 이용된다. 결과물(기록된 막)은, 착용자에 의한 가상 이미지의 가시화를 유발하도록, 이미지 공급원으로부터의 빔을 반사시키기 위해서 이용되는 거울이다.
이는 도 7 및 도 9에 의해서 도시되며, 여기에서 홀로그래픽 매체는 홀로그래픽 거울이다: 좌측 부분은 매체 기록을 도시하고 우측 부분은 착용자에 의한 (이미지 공급원으로부터의) 가상 이미지의 가시화를 도시한다. 이미지 공급원(IS)은, 홀로그래픽 거울을 조명하는 빔을 제공한다. IS로부터의 빔은 대상의 눈(E)을 향해서 거울 상으로 반사된다. 도 7에서, 가시화하고자 하는 가상 이미지가 착용자로부터 무한(또는 매우 긴) 거리에 위치된다. 도 9은 동공 결합의 상황에서 가상 이미지의 가시화를 도시한다. 가상 이미지는 눈 동공 상에 형성된다.
일부 실시예에서, 다수의 시야 구역을 제공하기 위해서 및/또는 착용자의 시야를 적어도 부분적으로 교정하기 위해서 HM이 구성될 수 있다. 특히, 착용자가 굴절이상인 경우에, 착용자의 시야를 적어도 부분적으로 교정하도록 HM이 구성될 수 있다.
그러한 HM은, 전체 내용이 본원에서 참조로 포함되는 2015년 4월 3일자로 출원된 EP 15 305 504.1에서 설명된 바와 같이 획득될 수 있다. 또한 이하를 참조한다.
홀로그래픽 거울을 제조하기 위한 재료; 홀로그래픽 재료의 막
그러한 거울은 중크롬산 젤라틴 또는 광중합체와 같은 특정 재료로부터 획득될 수 있다. 광중합체는 임의의 물리적 상태(액체, 고체, 페이스트, 등)일 수 있고, 표준 조건 하의 그러한 고체 및 그러한 액체를 포함할 수 있다. 거울 기능은 특정 재료 내에 홀로그램으로 기록된다.
광중합체 제형은 일반적으로, 적어도 에틸렌성 불포화 광 중합 가능 부(part) 및 적어도 조명 파장에 민감한 적어도 하나의 성분을 가지는 중합의 광-개시의 시스템을 나타내는, 하나 이상의 단량체 또는 올리고머를 포함한다. 그들은, 가시광에 대한 스펙트럼 민감도의 범위를 증가시킬 수 있게 하는 광-개시제 및 광-증감제의 조합을 포함할 수 있다. 이러한 광중합체 제형은, 비배타적 목록에서, 중합체, 용매, 가소제, 전사제, 계면활성제, 산화방지제, 열적 안정화제, 발포방지제, 증점제, 균염제, 촉매, 및 기타와 같은 다양한 첨가제를 포함할 수 있다. 광중합체의 예에는, OmniDex(E.I. du Pont de Nemours(EP 0377182 A2)), Bayfol HX(Bayer), Darol(Polygrama) 또는 SM-TR Photopolymer(Polygrama)와 같은 상용 광중합체가 포함된다.
그 조성에 따라서, 특히 용매의 존재 또는 부재에 따라서, 그리고 그 점도에 따라서, 상이한 유형의 프로세싱이 예상될 수 있다. 광중합체 층의 두께가 1 내지 100 ㎛, 그리고 바람직하게 4 내지 50 ㎛일 수 있다.
용매를 포함하는 제형은 희망 두께를 획득하기 위해서 다른 방식들로, 예를 들어 유리(무기물 또는 유기물)의 평면형 기재의 스핀 코팅, 침지 코팅 분무 또는 바아 코팅(bar coating)에 의해서, 또는 유리(무기물 또는 유기물)의 곡선형 기재 상의 스핀 코팅, 침지 코팅 또는 분무 코팅에 의해서 프로세스될 수 있다. 코팅 후에, 기록 준비된 광중합체 층을 획득하기 위해서, 용매(들)의 증발 단계가 일반적으로 필요하다. 도 2(좌측 부분) 참조.
제형이 용매를 포함하지 않을 때, 점도가 너무 높지 않은 경우와 같은 방식으로 그들이 이용될 수 있다. 이러한 경우에, 증발 단계는 필요치 않다. 그럼에도 불구하고, 바람직한 방법은, 평면형 또는 곡선형 형상을 가지는, 2개의 유리 판(무기물 또는 유기물) 사이의 광중합체의 직접적인 캡슐화로 이루어진다. 도 2(우측 부분) 참조.
2개의 방법이 이러한 경우에 이용될 수 있다. 제1 방법에서, 광중합체에 따라서, 5 내지 50 ㎛ 두께에 필요한 액체의 양이 유리 판 상에 침착된다(deposited). 액체는, 최종 희망 두께에 맞춰 구성된 5 내지 50 ㎛ 직경의, 유리 또는 중합체로 제조된 이격체를 포함한다. 제2 유리 판은 액체 방울 상에 배치된다. 이는 광중합체의 확산 및 구속을 허용한다. 노광(exposition) 및 중합 이후에, 광중합체는 고체이고(또는 적어도 젤라틴화되고), 광중합체는 2개의 유리 판을 함께 부착시킨다. 이어서, 시간 경과에 따라 광중합체를 손상시킬 수 있는 액체 또는 대기와의 접촉으로부터 광중합체의 연부를 보호하기 위해 주변 밀봉이 실시된다.
제2 방법에서, 셀이 2개의 유리판(평면형 또는 곡선형)과 조립되고, 액체 광중합체로 셀을 충진할 수 있게 하는 홀을 제외하고, 주변부를 따라서 전부 밀봉된다. 충진은, 셀을 저압 또는 진공 하에 있게 하는 것 그리고 광중합체 내에 담그는 것에 의해서 실시될 수 있다. 이어서, 홀은 유기 접착제, 예를 들어 UV 또는 열처리 하에서 중합되는 접착제로 밀봉된다.
다른 방법은:
- 예를 들어 중합체 막, 폴리에스터와 같은, 가요성 기재 상에서의 광중합체의 침착,
- 증발 또는 가열에 의한 최후의 용매의 제거,
- 주지의 전사 프로세스를 이용하여 그리고 사용 재료(막 및 광중합체)에 맞춰 적응시켜, 광중합체에 의해서 코팅된 막을 평면형 또는 곡선형 형상을 가지는 (무기 또는 유기) 기재 상으로 전사(예를 들어, ESSILOR의 특허 출원 WO2007144308 A1, WO2010010275 A2)를 포함한다. 광중합체는, 이러한 경우에, 전사된 막의 표면에 있거나 기재와 접촉될 수 있다.
광중합체의 침착 이후에 그리고 그 노광 이전에, 전형적으로 15분 내지 2 시간 동안 휴지 상태가 되게 할 필요가 있다. 침착 프로세스와 연관된 응력이 이러한 시간 동안 사라진다. 홀로그래픽 거울의 기록 이후에, UV 하의 사후-노광을 실시하여 잔류 단량체를 중합시킨다.
광중합체 층은, 가시광의 일부를 흡수하는 광-증감제로 채색될 수 있다. 이러한 광-증감제는, 가시광에의 노광 후에 그 색체를 완전히 상실하도록 우선적으로 선택된다. UV 또는 백색 광 하의 사후-노광은 잔류 흡수를 감소시킨다.
홀로그램의 굴절률 변조 및 그 회절 효율을 증가시키기 위해서, 사용 재료에 따라 열처리가 실현될 수 있다.
일부 실시예에서, 홀로그래픽 거울(HM)(각각, 미기록 홀로그래픽 매체의 막(F))은 안과 렌즈의 전방 표면 상에, 안과 렌즈의 후방 표면 상에, 또는 안과 렌즈의 전방 표면과 후방 표면 사이에 제공된다. 안과 렌즈는 단일-시야 렌즈, 복초점 렌즈 및 누진 가입도 렌즈와 같은 다초점 렌즈, 및 절반-마감 렌즈 블랭크로부터 선택될 수 있다.
홀로그래픽 거울의 기록
거울의 기록은 광학적 배열체에 따라 실시될 수 있다. 예시적인 광학적 배열체가 도 8에 도시되어 있다. 이러한 도면에서, 기록은 레이저를 이용한다. 편광 빔 분할기(PBS)는 빔의 '분할'을 허용한다. 참조 부호(PMF)는 편광-유지 섬유이다. 빔의 분할은 2개의 빔: 홀로그래픽 기록 매체의 일 측면을 조명하는 기준 빔(RB), 및 홀로그래픽 매체의 다른 측면을 조명하는 조명 빔(IB)을 제공한다. 이는 홀로그래픽 거울(HM)의 기록을 허용한다. 광학적 배열체가 일단 설정되면(예를 들어, 기하형태, 빔의 크기, 등), 홀로그래픽 거울의 특징이 하나 이상의 매개변수 변경에 의해서 수정될 수 있고, 그러한 매개변수는 2개의 빔 사이의 굴절력 비율(프린지 콘트라스트 및 회절 효율에 영향을 미친다), 노광 시간(회절 및 확산 효율에 영향을 미친다), 및 섬유의 단부를 위한 회전 가능한 지지부의 가능한 이용(PMF 섬유를 빠져 나올 때 빔의 편광화에 영향을 미친다)을 포함한다. 광학적 배열체 및 기록을 위한 매개변수의 예가 예 4에서 제공된다.
안과 렌즈에 제공된 홀로그래픽 거울; 굴절이상 교정
일부 실시예에서, HMD는 하나 이상의 안과 렌즈를 포함하고, HM은 그러한 렌즈의 하나 이상 내에/상에 제공된다. 그러한 실시예에서, HM은 이하의 방법에 따라 획득될 수 있다(도 10 내지 도 13에 도시된 비제한적인 예를 일반적으로 참조한다):
(1) 전방 표면 및 후방 표면을 가지는 안과 렌즈를 제공하는 것으로서, 안과 렌즈는 미기록 홀로그래픽 매체의 막(F)을 포함하고, 안과 렌즈는 선택적으로, 예를 들어 전기변색 셀, 편광 셀 및 광변색 셀로부터 선택된, 진폭 변조 셀을 더 포함하며,
(2) 홀로그래픽 거울(HM)을 포함하는 안과 렌즈를 제공하기 위해서, 기준 빔(RB) 및 조명 빔(IB) 사이의 간섭을 생성하는 것에 의해서 홀로그래픽 매체의 홀로그래픽 기록을 실시하는 것으로서, 홀로그래픽 기록은 적어도 HMD의 프레임의 (공간적) 구성을 고려하는 광학적 배열체 내에서 실시되고, 그리고
(3) 선택적으로, 단계(2)에서 얻어진 렌즈를 절단하는 것.
유리하게, 단계(2)에 따라서, RB의 구성은, 프레임 내로 피팅되는 렌즈 내의 HM과 관련하여, 프레임 상의 IS의 구성을 모사한다(시뮬레이트한다) 특히, RB의 공간적 구성은, 렌즈가 프레임 내로 일단 피팅되면, 거울을 기록하기 위해서 구현된 공간적 구성을 반영한다(배향, 거리, 폭(렌즈 상으로 투사되는 구역의 형상 및 크기), 등). 그에 따라, 프레임 상에 구축된 이미지 공급원(IS)의 물리적 위치는 이차적인(재-이미지화된) 상응 이미지 공급원을 더 형성할 수 있다. 그에 따라, IB의 구성은 물리적 이미지 공급원(IS)으로부터의, 또는 이차적인(재-이미지화된) 이미지 공급원으로부터의 방출을 반영할 수 있다.
유리하게, 단계(2)의 광학적 배열체는, 희망하는 광학적 기능을 유도하는 홀로그래픽 거울을 구비할 수 있게 하고, 다시 말해서 단계(2)에서 획득된 홀로그래픽 거울은, 렌즈를 통한 가상 시야에 대해서 착용자의 굴절 이상을 적어도 부분적으로 교정하기 위한 적절한 광학적 기능을 제공하도록 '자동적으로' 구성된다.
도 10의 우측 부분에 도시된 바와 같이, 막(F)이 렌즈(L)의 전방 측면 상에 위치되는 제1 경우에, 이미지 공급원(IS)으로부터의 광 빔은 렌즈(L)를 통과하고 홀로그래픽 거울(HM) 상에서 반사된다. 반사된 파두(WF)는 조명 빔(IB)의 파두와 동일하고, 이는 가상 이미지가 무한대로부터 "유입되는 것"으로 보인다는 것, 즉 자연 이미지로서 보인다는 것을 의미한다. 그에 따라, 렌즈는 자연 시야 및 가상 이미지의 시야를 동시에 교정한다. 막(F)이 렌즈(L)의 후방 측면 상에 있을 때, 조명 빔의 파두는, 렌즈(L)를 가로지른 후에, 막(F) 상에서 발산된다. 그에 따라, 이미지 공급원(IS)의 빔은 렌즈(L)를 통해서 보여지는 실제 이미지와 동일한 파두로 반사되고, 가상 이미지는 이러한 실제 이미지와 동일한 장소에서 기원하는 것으로 보인다. 그러한 것을 달성하기 위해서, 렌즈는 착용자의 처방 데이터(PD)와 동일하거나 그에 근접한 굴절력 값을 가질 수 있다.
일부 실시예에서, 단계(2)의 광학적 기록은:
- 프레임을 착용할 때 착용자에 의한 디스플레이되는 가상 이미지의 가시화 거리(D), 및/또는
- 프레임을 착용할 때 착용자에 의한 디스플레이되는 가상 이미지의 가시화 방향, 및/또는
- 프레임을 착용할 때 착용자에 의한 디스플레이되는 가상 이미지의 가시화를 위한 홀로그래픽 거울의 지역의 수를 더 고려한다.
일부 실시예에서, 착용자는 굴절 이상을 가지고, 단계(1)의 안과 렌즈는 자연 시야에 대해서 착용자의 굴절 이상을 교정하도록 구성되고, 단일-시야 렌즈, 예를 들어 복초점 렌즈로부터 선택된 다초점 렌즈, 및 누진 가입도 렌즈로부터 선택된다.
일부 실시예에서, 단계(2)의 광학적 배열체는, 조명 빔(IB)이 이하를 이용하여 공간적으로 구성되도록 이루어진다:
- 단초점 렌즈, 복초점 렌즈와 같은 다초점 렌즈, 및 누진 가입도 렌즈, 또는 렌즈 매트릭스(LM), 또는 상 변조된 액티브 렌즈로부터 선택된 하나 이상의 기록 렌즈(RL, RL1, RL2), 및
- 선택적으로, 불투명 마스크(M).
일부 실시예에서, 단계(2)의 광학적 배열체는:
- 기준 빔(RB)이, 상기 프레임을 착용할 때 착용자에 의해서 가상 이미지의 디스플레이가 가시화되게 하기 위해서, 홀로그래픽 거울을 조명하기 위해서 이용되는 내장형 이미지 공급원의 빔을 시뮬레이트하도록, 그리고
- 조명 빔(IB)이
● 프레임을 착용할 때 착용자에 의한 디스플레이되는 가상 이미지의 가시화 거리(D), 및/또는
● 프레임을 착용할 때 착용자에 의한 디스플레이되는 가상 이미지의 가시화 방향, 및/또는
● 프레임을 착용할 때 착용자에 의한 디스플레이되는 가상 이미지의 가시화를 위한 홀로그래픽 거울의 지역의 수를 규정하게 구성되도록, 이루어진다.
일부 실시예에서, 단계(2)의 광학적 배열체는, 조명 빔(IB)이 미기록 홀로그래픽 매체의 막(F) 상에서 복수의 지역(A1, A2, NV, FV)을 차별적으로 기록하게 구성되도록, 이루어지고, 선택적으로 각각의 지역(A1, A2; NV, FV)은 착용자에 의한 그러한 디스플레이되는 가상 이미지의 가시화의 거리(D; D_nv, D_fv)의 동일한 또는 구분된 값에 상응하고, 및/또는 착용자에 의한 그러한 디스플레이되는 가상 이미지의 가시화의 동일한 또는 구분된 방향에 상응한다.
일부 실시예에서, 단계(2)의 광학적 배열체는, 조명 빔(IB)이 에르고라마(ergorama)에 따라 구성되도록, 이루어지고, 그러한 에르고라마는 프레임을 착용할 때 응시 방향에 따른 착용자에 의한 그러한 디스플레이되는 가상 이미지의 가시화의 거리(D) 및/또는 가시화의 방향을 규정한다.
일부 실시예에서, 착용자는 굴절 이상을 가지며, 그러한 방법은 누진 가입도 렌즈(각각, 복초점 안과 렌즈와 같은 다초점 렌즈, 각각 단일-시야 렌즈)를 제공하기 위한 방법이며, 단계(1)의 안과 렌즈는 누진 가입도 렌즈(각각, 복초점 안과 렌즈와 같은 다초점 렌즈, 각각 단일-시야 렌즈)이며, 그리고 단계(2)의 홀로그래픽 기록은, 홀로그래픽 거울(HM)이 적어도, 착용자에 의한 그러한 디스플레이되는 가상 이미지의 가시화의 거리(D_nv, D_fv)의 구분된 값에 상응하는 근거리 시야(NV)를 위한 지역 및 원거리 시야(FV)를 위한 지역을 포함하도록, 실시된다.
일부 실시예에서, 착용자는 굴절 이상을 가지며, 그러한 방법은 HM을 가지는 단일-시야 렌즈를 제공하기 위한 방법이며, 단계(1)의 안과 렌즈는 절반-마감 렌즈 블랭크이고, 단계(2)의 광학적 배열체는 보조적인 단일-시야 렌즈(AL)의 구현을 포함하며, 그러한 보조적인 단일-시야 렌즈의 광학적 굴절력은 착용자의 굴절 이상을 교정하는데 필요한 광학적 굴절력 및 절반-마감 렌즈 블랭크의 광학적 굴절력을 고려하며, 보조적인 단일-시야 렌즈(AL)는 기준 빔(RB) 또는 조명 빔(IB)을 공간적으로 구성하기 위한 것이다.
일부 실시예에서, 방법은 HM을 가지는 누진 가입도 렌즈(각각, 복초점 안과 렌즈와 같은 다초점 렌즈, 각각 단일-시야 렌즈)를 제공하기 위한 방법이며, 단계(1)의 안과 렌즈는 누진 가입도 렌즈(각각, 복초점 안과 렌즈와 같은 다초점 렌즈, 각각 단일-시야 렌즈)이며, 그리고 단계(2)의 홀로그래픽 기록은, 홀로그래픽 거울(HM)이 적어도, 착용자에 의한 디스플레이되는 가상 이미지의 가시화의 거리(D_nv, D_fv)의 구분된 값에 상응하는 근거리 시야(NV)를 위한 지역 및 원거리 시야(FV)를 위한 지역을 포함하도록, 실시된다. 예를 들어, 도 13을 참조한다.
유리하게, 전술한 방법은, 이중 가상 시야를 제공하는 렌즈(예를 들어, 단초점, 복초점과 같은 다초점, 누진 가입도) 상에 홀로그래픽 거울을 제공하며, HM 거울은 가상 근거리 시야를 위한 적어도 하나의 지역 및 가상 원거리 시야를 위한 적어도 하나의 지역을 포함하도록 구체적으로 구성된다.
일부 실시예에서, 방법은, 전기 변색 셀(EC)과 같은, 본원에서 설명된 바와 같은 진폭 변조 셀을 포함하는 HM을 가지는 렌즈를 제공한다. 예를 들어, 도 11의 예시적인 광학적 배열체를 참조한다.
보조적인 렌즈(AL)를 구현하는 것에 대한 대안으로서, 변조 위상을 가지는 액티브 렌즈, 예를 들어 적응형 광학 기술을 이용하는 가변 굴절력 렌즈를 이용하여 IB 또는 RB로부터 유래되는 파두를 직접적으로 변화시킬 수 있다. 일부 실시예에서, IB는 렌즈상의 연장된 필드를 커버하도록 구성된다. 예를 들어, 도 12을 참조한다.
본 발명은 이하의 비제한적인 예에 의해서 설명된다.
예
예 1: 굴절이상 착용자를 위한 HMD 및 방법
HMD은 광원으로서 LFD를 구비한다. LFD는, 초점 길이가 착용자의 처방 데이터에 따라 결정된, 부동형(고정된 위치) 및 피동적 동일 마이크로-렌즈의 어레이를 포함한다. 예를 들어, 착용자가 30°의 축을 가지는 1D의 처방된 원통 굴절력 값을 갖는다면, 피동형 렌즈는 또한 30°/1D 부근의 원통 축 및 굴절력의 값을 갖는다.
디스플레이는 홀로그래픽 거울을 직접적으로 조명하도록 배향될 수 있다(도 1 좌측). LFD 디스플레이를 안경다리에 평행한 위치 내에 배치하는 것에 의해서 시스템을 보다 소형화하기 위해서, 편향 구성요소가 이용될 수 있다. 편향 구성요소는 (마이크로-렌즈의 작용에 더하여 또는 그 대신에 스크린 상의 이미지 위치를 조정하기 위해서 이동 가능하거나 그렇지 않은) 마이크로-프리즘 어레이, 또는 홀로그래픽 구성요소(어레이, 시준 및 편향 렌즈, 편향 마이크로-렌즈 어레이, 등)일 수 있다.
대안적으로, 마이크로-렌즈의 어레이를 이동시키는 것에 의해서 또는 초점을 변경하기 위해서 능동적 렌즈를 이용하는 것에 의해서, 착용자의 굴절이상을 교정하기 위해서, 비-가동형의 능동형 마이크로-렌즈의 어레이로 라이트-필드 디스플레이에 의해서 발생된 이미지를 직접적으로 이용할 수 있다.
일 실시예에서, 망막 상에 형성되는 스폿의 크기가 너무 크지 않도록, 마이크로-렌즈의 크기는 동공의 직경 보다 실질적으로 작을 수 있고, 예를 들어 약 1 mm의 자릿수(in an order of magnitude)일 수 있다.
이하는, 단일 광 스폿의 디스플레이를 위한, 근시 착용자(-1D)를 위한 실시예의 예를 제공하고: 이러한 경우에, 근시 착용자에 의해서 가시화되는 선명한 이미지를 획득하기 위해서, 이미지는 (-1m)의 계산된 거리에서 디스플레이된다. 예를 들어, 5 x 5 마이크로-렌즈 어레이를 이용할 수 있다. 마이크로-렌즈는 홀로그래픽 거울을 통해서 눈의 동공 상에서 이미지화되고, 각각의 마이크로-렌즈의 이미지는 약 1 mm의 자릿수의 크기를 갖는다.
그에 따라, 각각의 마이크로-렌즈는 눈 동공의 상이한 부분을 '어드레스(address)'한다. 각각의 마이크로-렌즈의 출력부에서 광 빔들이 시준되나, -1m에서 교차되는 상이한 방향들을 갖는다. 각각의 마이크로-렌즈에 의해서 망막 상에 생성된 광 스폿은 이어서 완벽하게 중첩되고, 그리고 이어서 감소된 크기의 최종 단일 광 스폿을 생성한다. 크기가 감소되는데, 이는 마이크로-렌즈가 더 작고 핀홀 효과를 생성하기 때문이다.
이러한 구성은, 플렌옵틱 스크린(LFD)에 의해서 제공되는 가상 거리를 변경하는 것에 의해서, 착용자의 굴절이상을 보상할 수 있게 한다.
거리는 1/S이고, S = 구면 교정이며, 난시 착용자의 경우에, 이러한 거리는 난시 축을 따라 1/Cmin 및 1/Cmax이다.
예 2: 다수 구역의 디스플레이 및 가시화를 위한 HMD 및 방법
도 3은 착용자에 의해서 가시화된 가능한 이미지를 도시한다. LFD는 상이한 시야 구역을 이용할 수 있는 가능성을 제공한다. 그러한 구역 1, 2, 3, 4, 5는 변화되는 응시 방향에 따라 규정될 수 있다. 예를 들어(도 3의 좌측), 구역(5)은 중앙 시야에 상응하는 한편, 구역(1 내지 4)은 주변 시야이다. 그러한 구역은 또한 컴퓨터-발생 이미지의 가시화의 거리와 관련하여 규정될 수 있다.
예 3: 스마트 센서를 이용한 디스플레이 및 가시화를 위한 HMD 및 방법
본 발명에 따라, HMD는 하나 이상의 스마트 센서를 포함할 수 있다. 각각의 센서는 착용자의 환경(실제 생활 환경 및 착용자)을 분석하기 위해서 이용될 수 있고, 그에 따라 디스플레이는 주어진 상황에 맞춤될 수 있다. 디스플레이는 '실시간'으로 상황에 맞춰 조정하기 위해서 타임-랩스로 유리하게 실시될 수 있다.
예 3.1: 스마트 센서로서 장면 카메라를 이용한 디스플레이 및 가시화를 위한 HMD 및 방법
증강 현실 적용예의 경우에, 가상의 물체(컴퓨터-발생 이미지)를 실제 세계 내로 '통합'하기 위한 장면 카메라를 가지는 것이 유리하다.
이러한 카메라는 통상적인 카메라일 수 있다. 카메라가 인간의 눈의 시계와 유사한 시계를 가지게 하기 위해서, 예를 들어 어안 유형의 광각 렌즈를 이용할 수 있다. 그러나, 통상적인 카메라는 일반적으로 관찰된 장면 필드의 깊이를 정밀하게 결정하게 할 수 없다. 하나의 방법은 가변 포커스를 가지는 렌즈를 이용하고 포커스 거리를 연속적으로 측정하는 것에 의해서 거리를 재구축(재생성)하는 것이다. 이어서, 3D 장면의 이미지를 가시화할 수 있고 물체에 대한 거리를 측정할 수 있다. 제2 방법은 다수의 카메라를 이용하는 것이다. 적어도 2개의 카메라를 이용하는 것은 상이한 시점(points of view)으로 장면을 볼 수 있게 하고, 그에 따라 장면을 설명하기 위한 삼각측량을 획득할 수 있게 한다. 제3 방법은 착용자의 일정한 이동을 이용한다. 이러한 경우에, 카메라의 위치를 알면(예를 들어, 가속도계), 물체의 거리 및 위치를 역으로 추적할 수 있다. 사실상, 이미지 분석은 장면으로부터 빔의 방향을 결정할 수 있게 하고, 그에 따라 카메라에 대한 물체의 위치를 결정할 수 있게 한다.
또한, 플렌옵틱 카메라(라이트-필드 카메라, LFC)를 이용할 수 있다. 도 4는 플렌옵틱 카메라(센서)를 이용하여 입사각(αi)을 결정하기 위한 원리를 도시한다. 이러한 원리는 플렌옵틱 디스플레이에 대한 것과 같다. 충분히 큰 입체각(sr 2p)에서 장면의 저해상도 이미지를 측정할 수 있는 센서가 제공된다. 이러한 목적을 위해서, 마이크로-렌즈 어레이(또는 마이크로-홀 어레이, 등)가 양호한 해상도의 센서 매트릭스의 전방에 배치된다. 각각의 마이크로-렌즈는 화소의 그룹(하위세트)에 상응한다. 장면으로부터의 빔은 각각의 마이크로-렌즈에 의해서 장면 내의 물체의 그 방향 및 거리에 따른 화소 그룹 상으로 분배된다. 이어서, (실제) 물체의 위치, 거리 및 방향을 포함하는 이미지를 획득할 수 있다. 적절한 이미지 프로세싱이 가상 물체의 디스플레이를 위한 수집된 데이터를 이용할 수 있고, 디스플레이된 컴퓨터-이미지는 실제 생활 장면 내에서 '전개(evolve)'될 수 있다. 이는, 이러한 실제 물체가 착용자의 환경 내에서 고정될 때(도 5의 상단부: 에펠 탑이 실제 생활 장면 내에서 고정되나, 착용자는 머리를 이동시키고: 에펠 탑 상의 컴퓨터-발생 이미지, 예를 들어 주석의 디스플레이는, 착용자의 머리 이동의 함수로서, 착용자의 응시 방향을 '따를' 수 있고, 환경의 가시화를 따를 수 있다), 또는 실제 물체가 이동될 때 실시될 수 있다(도 5의 하단부: 착용자의 머리는 이동하지 않으나, 실제 생활 장면 내에서 자전거가 이동한다(m)). 이어서, 예를 들어, 동일한 위치, 그리고 특히 동일한 거리에 있는 가상 이미지를 (플렌옵틱 스크린을 통해서) 디스플레이하기 위해서 실제 물체의 위치를 결정할 수 있다. 이는, 착용자가 실제 이미지/가상 이미지를, 그 위치와 관계없이, 동일한 가시화 거리에서 선명하게 그리고 동시에 가시화할 수 있게 한다.
예 3.2: 스마트 센서로서 휘도 또는 광도 센서를 이용한 디스플레이 및 가시화를 위한 HMD 및 방법
본 발명의 HMD는, 휘도 또는 광도 센서와 같은, 광(밝기) 센서를 포함할 수 있다. 착용자의 시각적 편안함을 높이기 위해서, 가상 이미지의 밝기 및/또는 콘트라스트를 최적화하고 그러한 밝기 및/또는 콘트라스트를 가상 이미지가 내재되는 실제 세계에 맞춰 구성하는 것이 유리하다.
본 발명의 HMD는 거울 상의 밝은 지역의 위치를 결정하기 위한 단일 센서, 복수의 개별적인 센서 또는 센서 어레이(예를 들어, CCD, CMOS)를 포함할 수 있다. 이는, 센서 어레이가 인간의 시야각과 유사하거나 동일한 광각 광학 시스템(렌즈)을 구비하는 경우에, 특히 유리하다.
환경 밝기의 측정을 실시하기 위해서 장면 카메라를 이용할 수 있다. 사실상, 광 센서를 보정하는 것에 의해서, 시계의 4D 필드(공간 내의 위치 및 밝기)를 획득할 수 있다. 그러한 시스템은 유리하게 콤팩트하다. 이는 장면의 밝기에 관한 맵핑을 제공한다.
이어서, 이러한 4D는 동공(또는 눈 모델의 상황에서 망막)의 조명의 광선-추적 계산을 위한 확장된 자료으로서 이용될 수 있다. 이러한 계산은, 처방 데이터 및/또는 HMD/프레임 및 벡터 광 공급원과 관련된 눈의 위치를 포함하는, 착용자의 안과 데이터를 더 고려할 수 있다. 장면(큰 밝기 값의 구역, 가상 이미지를 위해서 이용될 수 있는 "운반체", 등이 존재)의 분석의 함수로서, 가시화를 위해서 어두운 지역 내의 이미지를 디스플레이하는 것, 또는 디스플레이되는 이미지를 매우 밝은 지역으로부터 멀리 이동시키는 것, 또는 필요한 경우에 화면의 밝기를 변화시키는 것, 등을 선택할 수 있다.
만약 HMD가 전기변색 유리(예를 들어, EC 셀을 포함하는 렌즈를 가지는 안경)를 구비한다면, 밝기 측정은 EC 전송을 주위 조건에 자동적으로 맞출 수 있고; 이는, 렌즈/유리가 화소화된 경우에 국소적이거나, 그렇지 않은 경우에 전반적이다. 양 상황에서, 장면 카메라를 통해서 획득된 4D 조명 매트릭스를 이용하여, 중앙 시야 내의 조명, 주변 조명 등과 같은, 예를 들어 심리물리적 측정의 결과(예를 들어, 처방 데이터 또는 눈 민감도 데이터를 포함하는, 안과 데이터)를 고려하는 알고리즘으로, 렌즈/유리의 암흑화를 연산할 수 있다. 이는 결정되는 가중 함수를 이용하여 실시될 수 있다. 만약 렌즈/유리가 화소화된다면, 지역(예를 들어, 가상 이미지 지역 내의 구역, 매우 밝은 지역 내의 구역, 중앙 또는 주변 시야 내의 구역, 등)을 어둡게 할 수 있다. 이미지 디스플레이와 카메라에 의해서 실시되는 환경 분석의 이러한 결합을 또한 이용하여, 유효 스폿을 단지 어둡게 하여 전기변색 유리를 제어 함으로써, 예를 들어 필요치 않거나 부적절하거나 위험할 때, HMD/안경를 완전히 어둡게 할 수 있다.
플렌옵틱 디스플레이 및 플렌옵틱 장면 카메라, 홀로그래픽 거울 및 전기변색 셀을 구비한 안경이 도 6에 도시되어 있다. 이들은, 실제 환경을 고려하여, 실제 환경 내에 편안하게 가상 이미지를 디스플레이하기 위해서 이용된다. 도 6a에 대한 문자는 다음과 같다: SC CAM: 밝기 센서로서 또한 이용되는, 플렌옵틱 장면 카메라; EC: 광 공급원의 위치의 관리를 가지는 전기변색 셀; HM, EC: EC 셀을 가지는 홀로그래픽 거울; IS: 이미지 공급원으로서의 플렌옵틱 디스플레이.
예 3.3: 스마트 센서로서 눈 추적기를 이용한 디스플레이 및 가시화를 위한 HMD 및 방법
IR 홀로그래픽 거울을 이용한 눈-추적
응시 방향 및 그 수렴을 따르기 위해서, 그에 따라 착용자가 이미 바라보고 있는 거리에서 그리고 응시 방향으로 컴퓨터-발생 이미지를 디스플레이하기 위해서, 눈-추적 시스템을 부가할 수 있다. 적외선(IR) LED는 (눈 안전을 고려하여) 착용자의 눈을 조명할 수 있다. 카메라는 눈을 캡쳐할 수 있고 그 이동 및 응시 방향을 따를 수 있다. 통상적으로, 이러한 카메라는 눈을 향해서 지향될 수 있다.
IR 홀로그래픽 거울
소형화 문제로, 눈-추적기 IR LED의 적외선 반사를 HMD/안경다리를 향해서 재지향시키기 위해서, IR 홀로그래픽 거울을 렌즈 내에서 이용할 수 있다. 이러한 거울은 이미지 반사 거울과 동일한 방식으로 획득될 수 있고, 차이는 착용자의 처방 데이터를 고려할 필요가 없을 수 있다는 것이다. 그에 따라, 이는 매우 단순하게 얻어질 수 있다. 적외선에서 반사적이기 때문에, 그러한 거울은 가시광선 스펙트럼 내의 시야 및 디스플레이를 방해하지 않고, 착용자에게 완전히 투명할 것이다.
예시적인 실시예가 도 6b에 도시되어 있다: SC CAM: 밝기 센서로서 또한 이용되는, 플렌옵틱 장면 카메라; EC: 광 공급원의 위치의 관리를 가지는 전기변색 셀; HM, EC: EC 셀을 가지는 홀로그래픽 거울[HM은 실제로 2개의 HM을 포함하고: 하나의 HM은 이미지 가시화를 위한 것이고(가시적 파장을 위한 이용) 하나의 HM은 눈-추적기(e-t)와 함께 이용하기 위한 IR 홀로그래픽 거울이다(2개의 HM은 (반사 파장에 대한 차이에 더하여) 상이한 광학적 기능을 가질 수 있다), 그리고 특히 2개의 HM은 상이한 파장 반사 기하형태를 가질 수 있다]; IS: 이미지 공급원으로서의 플렌옵틱 디스플레이; LED IR: 적외선 LED; IR C(e-t): 적외선 카메라(눈-추적기).
예 4: 디스플레이 및 가시화를 위한 HMD 및 방법을 위한 홀로그래픽 거울(HM)
홀로그래픽 거울의 기록의 예가 도 8에 도시되어 있고, 도 8은 렌즈(렌즈는 미도시) 상에 홀로그래픽 거울을 기록하기 위한 예시적인 광학적 배열체를 도시한다. 이러한 예에서, 레이저는 532 nm(100 mW)로 방출된다. PMF은 편광화-유지 섬유(460-HP Nufern): 판다 섬유(panda fiber), 코어 직경 2.5 ㎛, ON 0.13, 모드 직경: 3.5 ㎛ @ 515 nm 이다. 편광화 빔 분할기(PBS) 옆의 시준 렌즈는 f = 8 mm이다. 조명 빔(IB)은 1 mW/cm2이다. 기준 빔(RB)은 0.5 mW/cm²이다. RB 발생 렌즈는 f = 4 mm이다. IB 발생 렌즈(기준 렌즈, RL)는 f = 400 mm이다.
HM이 상부에 형성되는 렌즈는 도시되지 않았다. 렌즈는 다음과 같다: 굴절력 -3D, 전방 표면 반경 87 mm, 형상 안경 렌즈 40 x 50 mm 또는 둥근 직경 70 mm. 막(F)이 2개의 유리 층 사이에 형성되고 렌즈의 전방 측면 상에 배치된다. 막(F)은 다음과 같다: 직경 70 mm, 곡률 반경 87 mm, 유리 층 두께 850 ㎛, 이격체로 인한 광중합체(F) 두께 5 내지 50 ㎛(예를 들어, 40㎛), 총 적층 두께 ~ 1.65 mm, 노광 시간: 광중합체의 특성에 따라 30 초 내지 10 분.
70 mm 직경의 렌즈에 대한 막(F)의 침착:
- 50 μL 방울을 유리 층(이격체: 5-50 ㎛, 유리 층: 두께 500 ㎛; 곡률 반경 87 mm, 둥근 직경 70 mm; 반사 방치 처리 또는 코팅, 특히 532 nm) 상에 침착,
- 제2 유리층 배치; 타이트화(tightening),
- 조명 지원 부재 상에서 20 분 동안 휴지 상태로 유지.
빔 세기(예를 들어, 도 20 참조), 광중합체의 특성 및 두께에 따른, 30 초 내지 6 분동안 조명.
- 15 분 동안 가시광(예를 들어, 할로겐 램프, 50 내지 75 W)에 노광시키는 것에 의한 표백.
- 필요한 경우, 접착제를 이용한 밀봉.
조명 중에:
- 물리적 방해(공기 이동, 기계적 진동, 분진, 등)로부터 보호
- 안정화된 온도(공기 대류 방지)
- 어두운 실내(암실: 예를 들어 녹색 광 기록을 위한 무작용적인(inactinic) 조명등)
- 유리 상의 코팅(반사 방지)(기생 반사 방지).
특성:
- 스펙트럼(반사 및 거울 효율을 위한 파장)
- 정성적인 광학적 성질(OLED 화면 관찰)
- 정성적인 광학적 성질(파두 분석).
이를 EC 셀과 조합할 수 있다.
예 5: 능동형 정보의 디스플레이 및 가시화를 위한 HMD 및 방법
본 발명의 HMD은 상이한 방식들로 동작되거나 이용될 수 있다. 일 실시예에 따라, 라이트-필드 디스플레이는 거울 또는 홀로그래픽 거울(HM)을 전체적으로 커버하기 위해서 이용될 수 있다. 이어서, 완전한 디스플레이의 일부로서 주어진 가상 이미지를 디스플레이할 수 있다(완전한 디스플레이는 거울의 전체 표면에 상응하고; 도 14 상단부 참조: F: 전체 거울 상에서의 완전한 디스플레이(거울 전체가 IS에 의해서 조명된다); 화살표: 완전한 디스플레이(F)의 일부로서의 주어진 이미지). 주어진 가상 이미지를 이동시키기 위해서(예를 들어, 도 14의 상단부 상의 화살표(d)), 디스플레이의 능동적 부분이 변경된다. 이는 수차(착용자의 눈, 디스플레이, HM, 등)의 교정의 하나의 세트 만을 이용할 수 있게 한다. 광학적 마이크로-요소의 어레이는, 예를 들어, 착용자의 처방 및/또는 스크린의 수차를 직접적으로 그리고 적어도 부분적으로 교정하기 위해서, 상이한 렌즈들(프로파일, 광학적 굴절력, 등)로 계산될 수 있다. 이어서, 유리하게, 크기, 시계 및 위치의 수정의 실시가 더 용이하다. 하나의 제한은 이미지 해상도의 손실이다.
다른 실시예에 따라, 주어진 가상 이미지 만을 거울의 하위 부분 상에 디스플레이하기 위해서, (완전한) 라이트-필드 디스플레이를 이용할 수 있다. 예를 들어, 도 14의 하단부를 참조한다(L: 단지 거울의 국소적인 조명; 완전한 IS는 거울 표면의 하위 부분을 조명하기 위해서 이용될 수 있다). 위치, 크기, 필드 및 거리는 마이크로-광학적 요소 어레이 및/또는 이미지 데이터의 연산으로 인해서 관리될 수 있다. 그에 따라, 해상도는 높으나, 수차의 교정은 가상 이미지의 모든 변화(예를 들어, 도 14의 변위(d))에 대해서 재-계산되어야 할 수 있다 . 광학적 마이크로-요소의 어레이는 또한, 착용자의 처방 및/또는 스크린의 수차 등을 직접적으로 그리고 적어도 부분적으로 교정하기 위해서, 상이한 렌즈들로 계산될 수 있다.
전술한 실시예의 2개 모두에 대해서, 수차/들의 교정 및/또는 가상 이미지의 위치, 거리 또는 크기의 조정은 이미지 디스플레이를 위해서 완전히 또는 부분적으로 계산될 수 있다. 이러한 경우에, 가상 이미지 상의 희망 작용을 획득하기 위해서, 마이크로 광학적 요소의 어레이가 이동될 수 있다. 가상 이미지 변화의 결정은 스마트 센서에(자동 모드) 또는 수동적인 또는 음성이나 자세 명령을 통해서 착용자의 작용에 연계될 수 있다.
Claims (13)
- 착용자에 의해서 착용되기 위한 머리-장착형 장치(HMD)로서,
상기 머리-장착형 장치는, 컴퓨터-발생 이미지의 디스플레이 및 착용자에 의한 가시화를 위해서 구성되고;
상기 머리-장착형 장치(HMD)는:
- 라이트-필드 디스플레이를 포함하는 이미지 공급원(IS), 및
- 상기 착용자의 하나의 눈의 전방에 위치된 시-스루 거울(M, HM)을 포함하고,
상기 이미지 공급원(IS)은 상기 시-스루 거울(M, HM)을 향해서 광 빔을 방출하도록 구성되고, 상기 방출된 광 빔은 상기 시-스루 거울(M, HM) 상에서 반사되고 그에 의해서 상기 착용자의 눈을 향해서 지향되어, 상기 착용자에 의한 컴퓨터-발생 이미지의 가시화를 유발하며,
상기 시-스루 거울(M, HM) 및 상기 이미지 공급원(IS) 중 적어도 하나는, 상기 착용자에 의한 가시화의 거리 또는 가시화의 응시 방향을 조정함으로써, 상기 컴퓨터-발생 이미지에 대한 상기 착용자의 시야를 조정하도록 구성되고,
상기 라이트-필드 디스플레이는:
- 광학적 마이크로-요소의 어레이, 및
- 복수의 화소를 포함하는 디지털 디스플레이 요소를 포함하고,
상기 착용자에 의한 상기 디스플레이된 컴퓨터-발생 이미지의 가시화를 위해 상기 착용자의 굴절이상을 적어도 부분적으로 교정하기 위해서, 상기 광학적 마이크로-요소의 어레이의 각각의 광학적 마이크로-요소가 상기 디지털 디스플레이 요소 내의 화소의 하위 세트에 상응하는, 머리-장착형 장치(HMD). - 제1항에 있어서,
상기 시-스루 거울은 홀로그래픽 거울이고, 그리고
상기 라이트-필드 디스플레이 내에서:
- 상기 광학적 마이크로-요소는 능동형 또는 피동형이고, 그리고 상기 광학적 마이크로-요소의 어레이는:
● 마이크로-렌즈의 어레이,
● 마이크로-홀의 어레이,
● 마이크로-프리즘의 어레이,
● 액정의 어레이,
● 격자의 어레이, 또는
● 페이즈 마스크의 어레이이고, 그리고
- 상기 디지털 디스플레이 요소는 디지털 디스플레이 스크린인, 머리-장착형 장치(HMD). - 제1항에 있어서,
상기 머리-장착형 장치는,
(i) 자연 시계에서 상기 착용자에 의한 물체의 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 결정하고
(ii) 상기 (i)에서 결정된 상기 가시화의 거리 또는 상기 가시화의 응시 방향에 따라 상기 컴퓨터-발생 이미지의 상기 착용자에 의한 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 조정하기 위해서, 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 제어하도록 구성되는, 머리-장착형 장치(HMD). - 제1항에 있어서,
상기 광학적 마이크로-요소의 어레이 내의 모든 광학적 마이크로-요소는, 동일한 초점 길이 및 동일한 크기를 갖는, 머리-장착형 장치(HMD). - 제1항에 있어서,
상기 광학적 마이크로-요소의 어레이는:
- 적어도 2가지 유형의 마이크로-렌즈를 포함하는 마이크로-렌즈의 어레이; 또는
- 적어도 2가지 유형의 마이크로-홀을 포함하는 마이크로-홀의 어레이; 또는
- 적어도 2가지 유형의 마이크로-프리즘를 포함하는 마이크로-프리즘의 어레이; 또는
- 적어도 2가지 유형의 액정을 포함하는 액정의 어레이; 또는
- 적어도 2가지 유형의 격자를 포함하는 격자의 어레이; 또는
- 적어도 2가지 유형의 페이즈 마스크를 포함하는 페이즈 마스크의 어레이인, 머리-장착형 장치(HMD). - 제5항에 있어서,
상기 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-렌즈를 포함하는 마이크로-렌즈의 어레이이고, 상기 적어도 2가지 유형의 마이크로-렌즈는:
- 마이크로-렌즈 직경,
- 마이크로-렌즈 광학적 굴절력,
- 마이크로-렌즈 프로파일,
- 상기 마이크로-렌즈로부터 상기 디지털 디스플레이 요소 내의 그 각각의 화소의 하위 세트까지의 상대적인 거리,
- 상기 마이크로-렌즈의 능동형 또는 피동형 특성, 중 하나 이상에서 상이하고; 또는
상기 광학적 마이크로-요소의 어레이는 적어도 2가지 유형의 마이크로-홀을 포함하는 마이크로-홀의 어레이이고, 상기 적어도 2가지 유형의 마이크로-홀은:
- 마이크로-홀 치수,
- 마이크로-홀 형상,
- 상기 마이크로-홀로부터 디지털 디스플레이 요소 내의 그 각각의 화소의 하위 세트까지의 상대적인 거리, 중 하나 이상에서 상이한, 머리-장착형 장치(HMD). - 제5항에 있어서,
상기 적어도 2가지 유형의 광학적 마이크로-요소(상기 적어도 2가지 유형의 마이크로-렌즈, 각각 상기 적어도 2가지 유형의 마이크로-홀, 각각 상기 적어도 2가지 유형의 마이크로-프리즘, 각각 상기 적어도 2가지 유형의 액정, 각각 상기 적어도 2가지 유형의 격자, 각각 상기 적어도 2가지 유형의 페이즈 마스크)는, 상기 광학적 마이크로-요소의 어레이 내에서 적어도 2개의 상이한 지역을 형성하기 위해서 상기 광 빔을 방출하는 상기 이미지 공급원(IS)의 광원과 함께 배열되는, 머리-장착형 장치(HMD). - 제1항에 있어서,
- 하나 이상의 장면 카메라,
- 하나 이상의 휘도 센서 및 광도 센서, 또는
- 하나 이상의 눈-추적기 중 하나인, 적어도 하나의 센서를 더 포함하는, 머리-장착형 장치(HMD). - 착용자에 의해서 착용되기 위한 시-스루 머리-장착형 장치의 이미지 공급원(IS)에 포함되는 라이트-필드 디스플레이의 용도로서,
상기 머리-장착형 장치는 시-스루 거울(M, HM)을 포함하고, 상기 라이트-필드 디스플레이는 상기 시-스루 거울(M, HM)을 향해서 광 빔을 방출하도록 구성되고, 상기 방출된 광 빔은 상기 시-스루 거울(M, HM) 상에서 반사되고 그에 의해서 상기 착용자의 눈을 향해서 지향되어, 상기 착용자에 의한 컴퓨터-발생 이미지의 가시화를 유발하고,
상기 착용자에 의한 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 조정함으로써 상기 컴퓨터-발생 이미지에 대한 상기 착용자의 시야를 조정하도록:
상기 착용자에 의한 상기 디스플레이된 컴퓨터-발생 이미지의 가시화를 위해 상기 착용자의 굴절이상을 적어도 부분적으로 교정하기 위해서, 상기 라이트-필드 디스플레이는, 광학적 마이크로-요소의 어레이, 및 디지털 디스플레이 요소를 포함하고,
상기 머리-장착형 장치는,
(i) 자연 시계에서 상기 착용자에 의한 물체의 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 결정하고, 및
(ii) 상기 (i)에서 결정된 상기 가시화의 거리 또는 상기 가시화의 응시 방향에 따라 상기 컴퓨터-발생 이미지의 상기 착용자에 의한 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 조정하기 위해서, 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 제어하도록 사용되는, 라이트-필드 디스플레이의 용도. - 컴퓨터-발생 이미지의 디스플레이 및 가시화를 위한 방법으로서:
(a) 제1항에 따른 머리-장착형 장치(HMD)를 착용자에게 제공하는 단계,
(b) 상기 착용자에 의한 컴퓨터-발생 이미지의 가시화를 위해서 상기 착용자의 굴절이상을 적어도 부분적으로 교정하기 위해서, 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계를 포함하고,
상기 단계 (b)는:
(i) 자연 시계에서 상기 착용자에 의한 물체의 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 결정하는 단계, 및
(ii) 상기 (i)에서 결정된 상기 가시화의 거리 또는 상기 가시화의 응시 방향에 따라 상기 컴퓨터-발생 이미지의 상기 착용자에 의한 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 조정하기 위해서, 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 변경하는 단계를 포함하는, 방법. - 제10항에 있어서,
상기 머리-장착형 장치(HMD)는 적어도 하나의 장면 카메라를 더 포함하고, 그리고
상기 단계(b)는:
(i) 상기 장면 카메라로부터 수집된 데이터를 기초로, 상기 자연 시계에서 상기 착용자에 의한 상기 물체의 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 결정하는 단계, 및
(ii) 상기 단계(i)에서 결정된 상기 가시화의 거리 또는 상기 가시화의 응시 방향에 따라, 컴퓨터-발생 이미지의, 상기 착용자에 의한, 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 조정하기 위해서, 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계, 및
(iii) 타임-랩스 방식으로 상기 단계(i) 및 단계(ii)를 반복하는 단계를 포함하는, 방법. - 제10항에 있어서,
상기 머리-장착형 장치(HMD)는 적어도 하나의 휘도 또는 광도 센서 그리고 상기 착용자의 눈의 전방에 위치된 전기변색 셀을 더 포함하고, 그리고
상기 단계(b)는:
(i) 상기 휘도 또는 광도 센서로부터 수집된 데이터를 기초로, 휘도 또는 광도의 적어도 하나의 값을 결정하는 단계, 및
(ii) 상기 단계(i)에서 결정된 값(들)에 따라, 상기 컴퓨터-발생 이미지의, 상기 착용자에 의한, 상기 가시화의 응시 방향을 조정하기 위해서 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계, 및 상기 단계(i)에서 결정된 값(들)에 따라, 상기 전기변색 셀을 제어하는 단계, 및
(iii) 타임-랩스 방식으로 상기 단계(i) 및 단계(ii)를 반복하는 단계를 포함하는, 방법. - 제10항에 있어서,
상기 머리-장착형 장치(HMD)는 적어도 하나의 눈-추적기를 더 포함하고, 그리고
상기 단계(b)는:
(i) 상기 눈-추적기에 의해서 수집된 데이터를 기초로, 상기 자연 시계에서 상기 착용자에 의한 상기 물체의 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 결정하는 단계, 및
(ii) 상기 단계(i)에서 결정된 값(들)에 따라 상기 컴퓨터-발생 이미지의 상기 착용자에 의한 상기 가시화의 거리 또는 상기 가시화의 응시 방향을 조정하기 위해서, 상기 라이트-필드 디스플레이의 상기 디지털 디스플레이 요소에 대한 상기 광학적 마이크로-요소의 어레이의 위치를 제어하는 단계, 및
(iii) 타임-랩스 방식으로 상기 단계(i) 및 단계(ii)를 반복하는 단계를 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306099.1 | 2015-07-03 | ||
| EP15306099 | 2015-07-03 | ||
| PCT/EP2016/065403 WO2017005614A1 (en) | 2015-07-03 | 2016-06-30 | Methods and systems for augmented reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180044238A KR20180044238A (ko) | 2018-05-02 |
| KR102593113B1 true KR102593113B1 (ko) | 2023-10-25 |
Family
ID=53524704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177037648A KR102593113B1 (ko) | 2015-07-03 | 2016-06-30 | 증강 현실을 위한 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10416456B2 (ko) |
| EP (1) | EP3317716B1 (ko) |
| JP (1) | JP6930929B2 (ko) |
| KR (1) | KR102593113B1 (ko) |
| CN (1) | CN107850788B (ko) |
| WO (1) | WO2017005614A1 (ko) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105717640B (zh) * | 2014-12-05 | 2018-03-30 | 北京蚁视科技有限公司 | 基于微透镜阵列的近眼显示器 |
| DE102015219859B4 (de) * | 2015-10-13 | 2017-07-27 | Carl Zeiss Vision International Gmbh | Vorrichtung und Verfahren für die AR-Darstellung |
| US11432718B2 (en) * | 2017-10-31 | 2022-09-06 | EyeQue Inc. | Smart phone based virtual visual charts for measuring visual acuity |
| US20220304570A1 (en) * | 2016-10-17 | 2022-09-29 | EyeQue Inc. | Method and Apparatus for Measuring Vision Function |
| JP6952123B2 (ja) * | 2017-05-26 | 2021-10-20 | グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ | 拡張された調節範囲の調整を有するニアアイディスプレイ |
| US10684494B2 (en) * | 2017-06-01 | 2020-06-16 | NewSight Reality, Inc. | Fabrication of see-through near eye optical module and ophthalmic lens |
| US11454815B2 (en) * | 2017-06-01 | 2022-09-27 | NewSight Reality, Inc. | Transparent optical module using pixel patches and associated lenslets |
| GB2567012B (en) * | 2017-10-02 | 2021-05-12 | Advanced Risc Mach Ltd | Motion Sensing |
| US10930709B2 (en) | 2017-10-03 | 2021-02-23 | Lockheed Martin Corporation | Stacked transparent pixel structures for image sensors |
| KR20200095461A (ko) | 2017-11-02 | 2020-08-10 | 피씨엠에스 홀딩스, 인크. | 라이트 필드 디스플레이에서 조리개 확장을 위한 방법 및 시스템 |
| US10510812B2 (en) | 2017-11-09 | 2019-12-17 | Lockheed Martin Corporation | Display-integrated infrared emitter and sensor structures |
| CN107861247B (zh) * | 2017-12-22 | 2020-08-25 | 联想(北京)有限公司 | 光学部件及增强现实设备 |
| TWI771555B (zh) * | 2018-01-14 | 2022-07-21 | 美商光場實驗室公司 | 全像及繞射光學編碼系統 |
| US11616941B2 (en) | 2018-02-07 | 2023-03-28 | Lockheed Martin Corporation | Direct camera-to-display system |
| US10652529B2 (en) | 2018-02-07 | 2020-05-12 | Lockheed Martin Corporation | In-layer Signal processing |
| US10594951B2 (en) | 2018-02-07 | 2020-03-17 | Lockheed Martin Corporation | Distributed multi-aperture camera array |
| US10951883B2 (en) | 2018-02-07 | 2021-03-16 | Lockheed Martin Corporation | Distributed multi-screen array for high density display |
| US10979699B2 (en) | 2018-02-07 | 2021-04-13 | Lockheed Martin Corporation | Plenoptic cellular imaging system |
| US10690910B2 (en) | 2018-02-07 | 2020-06-23 | Lockheed Martin Corporation | Plenoptic cellular vision correction |
| US10838250B2 (en) | 2018-02-07 | 2020-11-17 | Lockheed Martin Corporation | Display assemblies with electronically emulated transparency |
| US10129984B1 (en) | 2018-02-07 | 2018-11-13 | Lockheed Martin Corporation | Three-dimensional electronics distribution by geodesic faceting |
| JP7462890B2 (ja) * | 2018-02-19 | 2024-04-08 | インテグラル スコープス プロプライエタリ リミテッド | プレノプティック・カメラ・システムを較正するための方法及びシステム |
| KR20190120634A (ko) * | 2018-04-16 | 2019-10-24 | 엘지전자 주식회사 | 이동 단말기 |
| US10788892B2 (en) | 2018-05-23 | 2020-09-29 | Facebook Technologies, Llc | In-field illumination and imaging for eye tracking |
| US11455031B1 (en) * | 2018-06-04 | 2022-09-27 | Meta Platforms Technologies, Llc | In-field illumination for eye tracking |
| KR102084723B1 (ko) * | 2018-06-27 | 2020-03-04 | (주)비젼에이드 | 플라스틱 엘시디 셰이드를 구비한 증강현실 및 가상현실 겸용 스마트 글라스 디스플레이 장치 |
| WO2020009251A1 (ko) * | 2018-07-03 | 2020-01-09 | 광운대학교 산학협력단 | 반사형 홀로그래픽 광학 소자를 이용한 풀칼라 증강현실 구현장치 |
| GB2575658B (en) * | 2018-07-18 | 2020-12-23 | Envisics Ltd | Head-up display |
| CN108919492B (zh) * | 2018-07-25 | 2021-05-07 | 京东方科技集团股份有限公司 | 一种近眼显示装置、系统及显示方法 |
| CN110908134B (zh) * | 2018-08-28 | 2021-01-26 | 京东方科技集团股份有限公司 | 一种显示装置及显示系统 |
| KR20200031922A (ko) | 2018-09-17 | 2020-03-25 | 삼성전자주식회사 | 투시형 디스플레이 장치 및 이를 포함하는 증강 현실 장치 |
| KR20200046517A (ko) | 2018-10-24 | 2020-05-07 | 삼성전자주식회사 | 디스플레이 장치 |
| WO2020090811A1 (ja) * | 2018-10-31 | 2020-05-07 | 株式会社ニデック | 自覚式検眼装置 |
| CN109164583A (zh) * | 2018-11-07 | 2019-01-08 | 深圳珑璟光电技术有限公司 | 一种水下ar装置 |
| US10866413B2 (en) | 2018-12-03 | 2020-12-15 | Lockheed Martin Corporation | Eccentric incident luminance pupil tracking |
| CN109633906A (zh) * | 2019-01-02 | 2019-04-16 | 京东方科技集团股份有限公司 | 虚拟现实设备及其图像校正方法 |
| WO2020146546A1 (en) * | 2019-01-08 | 2020-07-16 | Avegant Corp. | Sensor-based eye-tracking using a holographic optical element |
| CN114270816A (zh) * | 2019-03-20 | 2022-04-01 | M·E·瓦尔德 | Mems驱动的具有微led阵列的光学封装 |
| CN109870820B (zh) * | 2019-03-26 | 2023-10-17 | 成都工业学院 | 针孔反射镜阵列集成成像增强现实装置及方法 |
| CN111757089A (zh) * | 2019-03-29 | 2020-10-09 | 托比股份公司 | 利用眼睛的瞳孔增强调节来渲染图像的方法和系统 |
| US10698201B1 (en) | 2019-04-02 | 2020-06-30 | Lockheed Martin Corporation | Plenoptic cellular axis redirection |
| US11650426B2 (en) | 2019-05-09 | 2023-05-16 | Meta Platforms Technologies, Llc | Holographic optical elements for eye-tracking illumination |
| KR20220024637A (ko) * | 2019-06-19 | 2022-03-03 | 에프. 호프만-라 로슈 아게 | 정의된 조직의 다수 발현 카세트들의 표적화 통합에 의한 3가 항체 발현 세포의 생성 방법 |
| MX2022000041A (es) | 2019-06-28 | 2022-04-06 | Pcms Holdings Inc | Método y sistema óptico para pantallas de campo de luz (lf) basados en difusores de cristal líquido (lc) sintonizables. |
| CN110286538B (zh) * | 2019-06-28 | 2022-05-24 | Oppo广东移动通信有限公司 | 显示方法、显示装置、头戴式显示装置和存储介质 |
| EP4025963A4 (en) * | 2019-09-03 | 2023-08-30 | Light Field Lab, Inc. | LIGHT FIELD DISPLAY FOR MOBILE DEVICES |
| CN112789543B (zh) * | 2019-09-10 | 2024-01-16 | Lg电子株式会社 | 电子设备 |
| KR102570187B1 (ko) * | 2019-09-30 | 2023-08-25 | 주식회사 엘지화학 | 헤드 마운티드 디스플레이 |
| KR102329612B1 (ko) * | 2020-03-09 | 2021-11-22 | 주식회사 피앤씨솔루션 | 복수의 핀홀을 포함하는 광학 장치 및 이를 이용한 머리 착용형 디스플레이 장치 |
| KR102377397B1 (ko) * | 2020-03-31 | 2022-03-22 | 경북대학교 산학협력단 | 미세렌즈를 이용한 증강현실 디바이스 |
| WO2022115534A1 (en) * | 2020-11-24 | 2022-06-02 | NewSight Reality, Inc. | Transparent optical module using pixel patches and associated lenslets |
| EP4218540A1 (en) * | 2022-01-26 | 2023-08-02 | Essilor International | Method for simulating an ophthalmic lens on an eye of a subject viewing a virtual three-dimensions scene using a light field display |
| CN115175004B (zh) * | 2022-07-04 | 2023-12-08 | 闪耀现实(无锡)科技有限公司 | 用于视频播放的方法、装置、可穿戴设备及电子设备 |
| US20240094529A1 (en) * | 2022-09-14 | 2024-03-21 | Valve Corporation | Position tracking systems and methods for head-mounted display systems |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001009685A1 (en) | 1999-08-03 | 2001-02-08 | Digilens Inc. | Display system with eye tracking |
| JP2010026273A (ja) * | 2008-07-22 | 2010-02-04 | Dainippon Printing Co Ltd | ヘッドマウントディスプレイ |
| US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
| WO2014126692A1 (en) | 2013-02-15 | 2014-08-21 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
| CN104007552A (zh) | 2014-05-30 | 2014-08-27 | 北京理工大学 | 一种真实立体感的光场头盔显示系统 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4959284A (en) | 1988-12-29 | 1990-09-25 | E. I. Du Pont De Nemours And Company | Holographic photopolymer compositions and elements containing a ring-opening monomer |
| US5748264A (en) * | 1995-01-10 | 1998-05-05 | Hughes Electronics | Distortion Corrected display |
| FR2764997B1 (fr) * | 1997-06-20 | 1999-09-03 | Sextant Avionique | Dispositif de visualisation pour visuel de casque |
| JPH11326823A (ja) * | 1998-05-18 | 1999-11-26 | Sony Corp | 虚像観察光学系 |
| CA2350748A1 (en) * | 1998-11-12 | 2000-05-18 | John J. Storey | Head mounted apparatus for viewing an image |
| JP4411547B2 (ja) * | 2006-03-20 | 2010-02-10 | ソニー株式会社 | 画像表示装置 |
| FR2902105B1 (fr) | 2006-06-13 | 2008-09-12 | Essilor Int | Procede de collage d'un film sur un substrat courbe |
| FR2934056B1 (fr) | 2008-07-21 | 2011-01-07 | Essilor Int | Procede de transfert d'une portion de film fonctionnel |
| CN102307514B (zh) * | 2008-12-01 | 2015-07-22 | 完美视觉科技（香港）有限公司 | 人眼屈光矫正的方法和设备 |
| JP2010262232A (ja) * | 2009-05-11 | 2010-11-18 | Konica Minolta Opto Inc | 映像表示装置およびヘッドマウントディスプレイ |
| JP2011109276A (ja) * | 2009-11-13 | 2011-06-02 | Konica Minolta Opto Inc | カメラファインダ、撮影装置および遠隔作業支援システム |
| US8998414B2 (en) | 2011-09-26 | 2015-04-07 | Microsoft Technology Licensing, Llc | Integrated eye tracking and display system |
| US20130258486A1 (en) * | 2012-03-27 | 2013-10-03 | Dumitru Mihai Ionescu | Head-mount display |
| US10073201B2 (en) * | 2012-10-26 | 2018-09-11 | Qualcomm Incorporated | See through near-eye display |
| US9510748B2 (en) * | 2013-03-15 | 2016-12-06 | Amo Groningen B.V. | Wavefront generation for ophthalmic applications |
| US9582922B2 (en) * | 2013-05-17 | 2017-02-28 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display |
| EP3657265B1 (en) | 2013-09-04 | 2023-05-03 | Essilor International | Method for augmented reality using head-mounted holographic image displaying device |
| EP3042249B1 (en) | 2013-09-04 | 2020-03-18 | Essilor International | Methods and systems for augmented reality |
| CN103607622A (zh) * | 2013-11-25 | 2014-02-26 | 深圳市九洲电器有限公司 | 电视观看保护方法、装置和机顶盒 |
| CN104519347B (zh) * | 2014-12-10 | 2017-03-01 | 北京智谷睿拓技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
| CN104656258B (zh) * | 2015-02-05 | 2017-06-16 | 上海理湃光晶技术有限公司 | 屈光度可调的曲面波导近眼光学显示器件 |
-
2016
- 2016-06-30 CN CN201680039416.1A patent/CN107850788B/zh active Active
- 2016-06-30 WO PCT/EP2016/065403 patent/WO2017005614A1/en active Application Filing
- 2016-06-30 KR KR1020177037648A patent/KR102593113B1/ko active IP Right Grant
- 2016-06-30 EP EP16733090.1A patent/EP3317716B1/en active Active
- 2016-06-30 US US15/740,971 patent/US10416456B2/en active Active
- 2016-06-30 JP JP2017568288A patent/JP6930929B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001009685A1 (en) | 1999-08-03 | 2001-02-08 | Digilens Inc. | Display system with eye tracking |
| JP2010026273A (ja) * | 2008-07-22 | 2010-02-04 | Dainippon Printing Co Ltd | ヘッドマウントディスプレイ |
| US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
| WO2014126692A1 (en) | 2013-02-15 | 2014-08-21 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
| CN104007552A (zh) | 2014-05-30 | 2014-08-27 | 北京理工大学 | 一种真实立体感的光场头盔显示系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6930929B2 (ja) | 2021-09-01 |
| EP3317716B1 (en) | 2020-03-11 |
| KR20180044238A (ko) | 2018-05-02 |
| WO2017005614A1 (en) | 2017-01-12 |
| CN107850788B (zh) | 2020-10-27 |
| CN107850788A (zh) | 2018-03-27 |
| US20180196265A1 (en) | 2018-07-12 |
| EP3317716A1 (en) | 2018-05-09 |
| US10416456B2 (en) | 2019-09-17 |
| JP2018528452A (ja) | 2018-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102593113B1 (ko) | 증강 현실을 위한 방법 및 시스템 | |
| KR102586069B1 (ko) | 증강 현실을 위한 방법 및 시스템 | |
| US11378803B2 (en) | Methods and systems for augmented reality | |
| US20180084232A1 (en) | Optical See-Through Head Worn Display | |
| US10429648B2 (en) | Augmented reality head worn device | |
| US20160329028A1 (en) | Light Management for Image and Data Control | |
| CN105572877A (zh) | 一种头戴式增强现实智能显示装置 | |
| US20200355862A1 (en) | Spatial deposition of resins with different functionality on different substrates | |
| US20200356050A1 (en) | Spatial deposition of resins with different functionality | |
| KR20220021910A (ko) | 저-복굴절 베이스 렌즈 상에 홀로그래픽 미러를 갖는 안구 렌즈 | |
| KR20210030189A (ko) | 디스플레이 장치 및 이를 포함한 시스템 | |
| US20230273352A1 (en) | Optical element comprising at least one holographic diffusive element |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |