KR102603552B1 - 시청자에게 정확한 단안 깊이 큐를 제공하는 라이트-필드 혼합 현실 시스템 - Google Patents
시청자에게 정확한 단안 깊이 큐를 제공하는 라이트-필드 혼합 현실 시스템 Download PDFInfo
- Publication number
- KR102603552B1 KR102603552B1 KR1020217011254A KR20217011254A KR102603552B1 KR 102603552 B1 KR102603552 B1 KR 102603552B1 KR 1020217011254 A KR1020217011254 A KR 1020217011254A KR 20217011254 A KR20217011254 A KR 20217011254A KR 102603552 B1 KR102603552 B1 KR 102603552B1
- Authority
- KR
- South Korea
- Prior art keywords
- light
- field
- combiner
- virtual
- mixed reality
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 74
- 230000003287 optical effect Effects 0.000 claims abstract description 67
- 239000011521 glass Substances 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 210000001525 retina Anatomy 0.000 description 8
- 239000000758 substrate Substances 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000002350 accommodative effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 229910000618 GeSbTe Inorganic materials 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004988 Nematic liquid crystal Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 239000005262 ferroelectric liquid crystals (FLCs) Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000012782 phase change material Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명에 따르면, 광학 광변조기(20)를 조명하는 입사 라이트-필드(100)를 생성하는 핀-라이트 어레이(10); 및 변조된 가상 라이트-필드(111)를 반사하고 투영축(170)을 따라 아이 박스 영역(121)을 정의하는 투영된 가상 라이트-필드(110)를 투영하도록 구성된 컴바이너(40)를 포함하고, 상기 광학 광변조기(20)는 입사 라이트-필드(100)를 변조하고 변조된 가상 라이트-필드(111)를 생성하도록 구성되며; 투영된 가상 라이트-필드(110)는 출사동(122) 앞에, 즉 컴바이너(40)와 출사동(122) 사이의 출사동(122)으로부터 15cm 미만의 거리에, 또는 출사동(122) 뒤에, 즉 컴바이너(40)에 대향하는 방향으로 출사동(122)으로부터 떨어져, 투영축(170)을 따라 아이 박스(121) 내의 핀-라이트 어레이(10)의 출사동(122) 및 광학 광변조기(20)의 가상 이미지(114)를 더 형성하고; 상기 컴바이너(40)는 현실 세계(80)로부터 아이 박스(121)를 향해 자연광을 투과하도록 더 구성되어, 투영된 가상 라이트-필드(110) 및 자연광(80) 모두가 아이 박스(121) 내 컴바이너(40)를 통해 투영되는 라이트-필드 혼합 현실 시스템이 개시된다.
Description
본 발명은 인공적으로 생성된 라이트-필드와 실제 라이트-필드를 혼합하기 위한 광학 컴바이너에 관한 것이다. 본 개시는 또한 근거리 라이트-필드 혼합 현실 시스템에 관한 것이다.
혼합 현실 하드웨어는 소위 컴바이너에 의해 결합될 필요가 있는 인공적으로 생성된 이미지와 함께 실제 세계의 이미지를 인간의 눈에 전달하도록 되어 있다. 이러한 컴바이너는 실제 세계의 빛에 대해 투명한 광학 요소를 포함한다. 즉, 광학 요소는 외부의 빛이 관찰자의 동공을 통과하게 하는 한편, 인공적으로 생성된 가상 이미지의 라이트-필드가 이미지 생성 요소에서 관찰자의 동공으로 또한 가이드한다. 이러한 이미지 생성 요소는 디스플레이 또는 프로젝터일 수 있다. 실제 및 인공 라이트-필드는 관찰자가 시각적 충돌없이 실제 및 가상 물체를 볼 수 있도록 이상적으로 결합되어야 한다. 이를 위해서는 인위적으로 생성된 이미지의 다양한 가상 물체들이 서로 다른 임의의 초점 거리에 표시될 수 있어야 한다. 이 특징은 현재 제대로 해결되지 않았다.
눈은 눈의 망막에 선명한 이미지를 투사하기 위해 실제 세계에서 관찰된 물체의 거리에 초점을 맞춰야 하는 가변 렌즈를 포함한다. 다른 거리에 있는 물체는 초점이 맞지 않아 망막의 이미지가 흐려진다. 그러나, 기존의 3D 디스플레이 및 프로젝터는 평면 스크린으로부터 또는 주사 레이저 빔을 사용하는 직접 망막 투사 또는 출사동의 거의 제로 조리개가 있는 라이트-필드를 사용하여 각 눈에 이미지를 제공한다. 전자는 광학 시스템에서 평면 스크린의 광학 이미지 거리에 눈이 초점맞춰져어야 한다.
여기에서 그리고 이하에서, "광 이미지"라는 용어는 광학 시스템을 통해 보이는 물체의 겉보기 위치를 의미한다. 평면 스크린에 디스플레이되는 사진은 모두 선명하거나 사진들에 이미 흐릿한 부분이 있어 눈 조절로 흐리지 않게 처리할 수 없다. 눈이 디스플레이의 광학 이미지 초점과는 다른 거리에 초점을 맞추면, 디스플레이된 사진의 망막 이미지가 흐려진다. 망막 투영은 망막에 항상 초점이 맞는 투영된 사진 이미지를 생성하며 눈 조절은 이미지 크기와 위치에만 영향을 준다. 항상 초점이 맞춰진 라이트-필드는 광경로에서 먼지 얼룩, 속눈썹 및 눈 부유물과 같은 모든 결함의 그림자를 전달한다.
3D 장면의 인위적으로 투영된 라이트-필드에서 정확한 단안 깊이 큐를 생성하기 위해 (i) 홀로그램 디스플레이; (ii) 가변 렌즈 또는 디지털 마이크로미러 디바이스(Digital Micromirror Device, DMD)와 같은 고속 디스플레이와 결합된 벤딩 미러와 같은 고속 가변 초점 광학 요소가 있는 근안 프로젝터; (iii) 디스플레이의 광학 이미지의 거리를 능동적으로 제어하고 눈의 측정된 또는 추정된 초점 거리에 따라 디스플레이된 사진에 상응하는 블러를 생성하는 광학 장치가 있는 디스플레이; (iv) 마이크로렌즈 어레이 또는 포인트-라이트 어레이 백라이트에 의해 디스플레이된 사진을 공간적으로 다중화하는 디스플레이, 또는 (v) 2 개 또는 3 개의 초점 거리에서 이미지를 제공하는 광경로 길이 확장기 컴바이너 또는 다층 웨이브가이드를 포함한 몇 가지 개념이 제안되었다.
이 개념들 각각은 특정한 장점과 단점을 갖는다. (i) 홀로그램 디스플레이는 이론적으로 인공 3D 장면의 완전히 정확한 라이트-필드를 제공할 수 있지만, 회절 및 크로마틱 아티팩트로 인해 손실이 있고, 대량의 입력 데이터, 코히어런트 광원 및 고해상도 위상 및 광의 진폭 변조를 필요로 한다. (ii) 고속 가변 초점 렌즈와 미러는 섬세한 부품이며 이들의 광학적 특성은 광학적 결함으로 인해 손실을 입는다. (iii) 스크린의 광학 이미지의 거리가 능동적으로 제어되고 디스플레이된 사진에서 인공적인 흐림이 있는 디스플레이는 눈의 초점 거리를 측정하거나 추정하고 그에 따라 프로젝터 광학 장치 및 디지털 블러를 조정해야 할 필요가 있다. 이 개념은 각각의 눈의 차이로 인해 복잡해진 측정 오류로 불리하며 실제로 정확한 라이트-필드를 제공하지 않고 라이트-필드의 효과만 모방한다. 예를 들어, 빠르게 움직이는 눈에는 정확한 미세 시차 효과(micro-parallax effect)를 제공할 수 없다. (iv) 마이크로렌즈 어레이 또는 투명한 공간 광변조기가 있는 포인트-라이트 백라이트에 의한 이미지의 공간 멀티플렉싱 개념으로 상업적으로 매력적인 이미지 해상도를 얻으려면 인공 장면의 각 이미지 포인트가 눈의 초점 거리에 따라 망막 이미지의 흐림을 바르게 만들기 위해 동시에 여러 번 디스플레이되기 때문에 특수한 작은 피치의 고해상도 디스플레이가 필요하다. 증강 현실 애플리케이션에서 투명 디스플레이로 이들을 사용하는 것은 마이크로렌즈 어레이 개념에 불투명 디스플레이가 포함되고 포인트-라이트 어레이 개념이 부피가 크다는 사실로 인해 복잡하다. (v) 광경로 확장기 및 다층 웨이브가이드가 2 개 또는 3 개와 같은 소수의 초점면에서 이미지를 생성하고 가시적 아티팩트를 생성하는 초점면 사이에 디스플레이된 이미지를 의도적으로 전환해야 한다.
네마틱 액정 또는 유기 발광 다이오드 디스플레이를 사용한 이미지의 시간적 멀티플렉싱에 기초한 여러 다른 개념들은 이러한 디스플레이의 작은 리프레시 시간에 불리해진다.
가장 많이 사용되는 혼합 현실 컴바이너는 고정 초점면(다중 초점면을 제공하기 위해 웨이브가이드들의 스택이 사용될 수 있음)에 이미지를 제공하는 홀로그램 격자가 있는 웨이브가이드, 빔 스플리터 또는 타원 컴바이너가 있는 돔형 반투명 미러를 기반으로 한다. 지금까지 타원 컴바이너는 라이트-필드에 사용되지 않았다. 이러한 컴바이너의 일반적인 특징은 평면 디스플레이의 이미지를 일정한 고정 거리에 배치한다는 것이다.
WO2018091984A1은 인공 라이트-필드를 실제 광과 혼합하기 위한 가능한 컴바이너들의 여러 실시예들과 함께 순차적 라이트-필드 투영의 기본 메커니즘을 개시한다.
본 발명은 디지털 처리된 정보를 사용자의 눈에 투사하고 이를 실제 광과 혼합하는 전자 및 광학 장치에 관한 것이다. 보다 상세하게, 이는 가상 장면의 핀-라이트 어레이를 생성하고 투영된 가상 라이트-필드가 현실 세계에서 눈으로 들어오는 자연광과 중첩되는 동안 눈의 근접 거리에서 눈으로 해당하는 가상 라이트-필드를 투영하는 라이트-필드 혼합 현실 시스템에 관한 것이다. 여기서, 근접은 투영된 해당 라이트-필드와 눈 사이의 거리가 15cm 미만인 것으로 볼 수 있다.
투영된 가상 라이트-필드는 현실 세계뿐만 아니라 투영된 시각 장면에서 물체의 다른 거리에 대해 수신 눈이 자연스럽게 초점을 변경할 수 있고 실제적인 흐림 및 피사계 심도를 관찰할 수 있는 속성을 가지고 있다. 라이트-필드 혼합 현실 시스템에 의해 생성된 투영된 가상 라이트-필드는 시청자에게 정확한 단안 깊이 단서를 가진 이미지를 제공한다.
라이트-필드 혼합 현실 시스템은 복수의 상시 초점이 맞는 라이트-필드 성분을 시청자의 동공으로 시간 다중화하고 순차적으로 투영함으로써 투영된 가상 라이트-필드를 생성한다. 자연스러운 시각 지연으로 인해, 시청자는 구성된 라이트-필드를 인식하고 올바른 눈 조절 및 관련 이미지 블러와 같은 현실감 있는 단안 깊이 단서를 경험한다. 이를 통해 시각적 충돌없이 가상 물체와 실제 물체를 시각적으로 혼합할 수 있다.
특히, 본원의 개시는 시청자가 착용할 라이트-필드 혼합 현실 시스템으로서, 광학 광변조기를 조명하는 입사 라이트-필드를 생성하는 핀-라이트 어레이; 및 변조된 가상 라이트-필드를 반사하고 투영축을 따라 아이 박스 영역을 정의하는 투영된 가상 라이트-필드를 투영하도록 구성된 컴바이너를 포함하고, 상기 광학 광변조기는 입사 라이트-필드를 변조하고 변조된 가상 라이트-필드를 생성하도록 구성된 라이트-필드 혼합 현실 시스템에 관한 것이다.
투영된 가상 라이트-필드는: 출사동 앞에, 즉 컴바이너와 출사동 사이의 출사동으로부터 15cm 미만의 거리에, 또는 출사동 뒤에, 즉 컴바이너에 대향하는 방향으로 출사동)으로부터 떨어져, 투영축을 따라 아이 박스 내의 핀-라이트 어레이의 출사동 및 광학 광변조기의 가상 이미지를 더 형성한다.
컴바이너는 현실 세계로부터 아이 박스를 향해 자연광을 투과하도록 더 구성되어, 투영된 가상 라이트-필드 및 자연광 모두가 아이 박스 내 컴바이너를 통해 투영되도록 한다.
컴바이너는 인위적으로 생성된 3D 장면에서 현실감 있는 유한 피사계 심도에 대한 시청자의 인식과 정확한 조절을 생성하는 현실감 있는 단안 깊이 단서를 갖는 가상 라이트-필드를 현실 세계의 광과 결합한다. 라이트-필드 혼합 현실 시스템은 실질적으로 무한하고 거의 연속적인 깊이 범위, 높은 이미지 해상도, 낮은 이미지 지속성을 제공하고, 현재 대량 생산된 신뢰할 수 있는 구성 요소로 수행할 수 있으며, 혼합 현실 애플리케이션용 스몰 폼팩터 안경에 내장될 수 있다. .
라이트-필드 혼합 현실 시스템은 인간, 동물 또는 카메라의 눈에 혼합 현실 경험을 제공할 수 있다.
라이트-필드 혼합 현실 시스템의 사용자는 실제와 가상의 3D 장면의 현실감 있는 혼합을 경험할 수 있다. 라이트-필드 혼합 현실 시스템은 정확한 눈 조절의 편안함과 함께 3D 가상 및 증강 현실 정보를 제공하는 데 적합하다.
본원의 개시는 또한 라이트-필드 혼합 현실 시스템을 포함하는 웨어러블 장치에 관한 것으로, 스몰 폼팩터를 갖는 상기 웨어러블 장치는 상황별 디지털 정보를 자연스럽게 관찰되는 현실 세계에 중첩시키는 일상적인 웨어러블 안경으로 사용될 수 있다.
본 발명의 내용에 포함됨.
본 발명은 예로서 제공되고 도면에 의해 예시된 실시예의 설명의 도움으로 더 잘 이해될 것이다.
도 1은 일 실시예에 따른 컴바이너를 포함하는 혼합 현실 애플리케이션을 위한 라이트-필드 혼합 현실 시스템을 도시한다.
도 2a는 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 2b는 도 2a의 실시예의 변형에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 2c는 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 3은 또 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 4a는 도 3의 라이트-필드 혼합 현실 시스템 구성의 변형을 도시한다.
도 4b는 일 실시예에 따른 컴바이너에 포함된 미러 어레이를 나타낸다.
도 5는 또 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 6은 도 5의 라이트-필드 혼합 현실 시스템 구성의 변형을 도시한다.
도 7은 도 5의 라이트-필드 혼합 현실 시스템 구성의 또 다른 변형을 도시한다.
도 8은 도 3의 라이트-필드 혼합 현실 시스템 구성의 다른 변형을 도시한다.
도 9는 도 5의 라이트-필드 혼합 현실 시스템 구성의 또 다른 변형을 도시한다.
도 10 및 11은 다른 실시예에 따른, 라이트-필드 혼합 현실 시스템을 포함하는 혼합 현실 안경을 도시한다.
도 12는 일 실시예에 따른, 라이트-필드 혼합 현실 시스템을 포함하는 혼합 현실 안경의 구성을 도시한다.
도 13은 또 다른 실시예에 따른, 라이트-필드 혼합 현실 시스템을 도시한다.
도 14a는 일 실시예에 따른 시선 추적 장치를 포함하는 라이트-필드 혼합 현실 시스템의 다이어그램 도면이다.
도 14b 및 14c는 시청자의 눈이 시스템에 가까이(도 14b) 그리고 시스템에서 멀리(도 14c) 아래쪽을 향할 때의 라이트-필드 혼합 현실 시스템을 도시한다.
도 14d 및 14e는 시청자의 눈이 시스템에 가까이(도 14d) 그리고 시스템에서 멀리(도 14e) 위쪽을 향할 때의 라이트-필드 혼합 현실 시스템을 도시한다.
도 14f는 도 14a-14d의 결합된 표현을 도시한다.
도 15a 내지 15e는 시청자의 시야를 고려하도록 구성된 시선 추적 장치를 포함하는 라이트-필드 혼합 현실 시스템을 도시한다.
도 16a-16c는 컴바이너가 마이크로미러를 포함하는 움직이는 아이 박스를 포함하는 라이트-필드 혼합 현실 시스템을 도시한다.
도 1은 일 실시예에 따른 컴바이너를 포함하는 혼합 현실 애플리케이션을 위한 라이트-필드 혼합 현실 시스템을 도시한다.
도 2a는 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 2b는 도 2a의 실시예의 변형에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 2c는 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 3은 또 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 4a는 도 3의 라이트-필드 혼합 현실 시스템 구성의 변형을 도시한다.
도 4b는 일 실시예에 따른 컴바이너에 포함된 미러 어레이를 나타낸다.
도 5는 또 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한다.
도 6은 도 5의 라이트-필드 혼합 현실 시스템 구성의 변형을 도시한다.
도 7은 도 5의 라이트-필드 혼합 현실 시스템 구성의 또 다른 변형을 도시한다.
도 8은 도 3의 라이트-필드 혼합 현실 시스템 구성의 다른 변형을 도시한다.
도 9는 도 5의 라이트-필드 혼합 현실 시스템 구성의 또 다른 변형을 도시한다.
도 10 및 11은 다른 실시예에 따른, 라이트-필드 혼합 현실 시스템을 포함하는 혼합 현실 안경을 도시한다.
도 12는 일 실시예에 따른, 라이트-필드 혼합 현실 시스템을 포함하는 혼합 현실 안경의 구성을 도시한다.
도 13은 또 다른 실시예에 따른, 라이트-필드 혼합 현실 시스템을 도시한다.
도 14a는 일 실시예에 따른 시선 추적 장치를 포함하는 라이트-필드 혼합 현실 시스템의 다이어그램 도면이다.
도 14b 및 14c는 시청자의 눈이 시스템에 가까이(도 14b) 그리고 시스템에서 멀리(도 14c) 아래쪽을 향할 때의 라이트-필드 혼합 현실 시스템을 도시한다.
도 14d 및 14e는 시청자의 눈이 시스템에 가까이(도 14d) 그리고 시스템에서 멀리(도 14e) 위쪽을 향할 때의 라이트-필드 혼합 현실 시스템을 도시한다.
도 14f는 도 14a-14d의 결합된 표현을 도시한다.
도 15a 내지 15e는 시청자의 시야를 고려하도록 구성된 시선 추적 장치를 포함하는 라이트-필드 혼합 현실 시스템을 도시한다.
도 16a-16c는 컴바이너가 마이크로미러를 포함하는 움직이는 아이 박스를 포함하는 라이트-필드 혼합 현실 시스템을 도시한다.
도 1은 일 실시예에 따른 혼합 현실 애플리케이션을 위해 시청자가 착용하는 라이트-필드 혼합 현실 시스템을 도시한다. 라이트-필드 혼합 현실 시스템은 공간 광변조기(SLM)(20)를 조명하는 입사 라이트-필드(100)를 생성하는 핀-라이트 어레이(10)를 포함한다. 입사 라이트-필드(100)는 일반적으로 복수의 입사 핀홀 조리개 라이트-필드를 포함한다(3개의 입사 핀홀 조리개 라이트-필드(101, 101', 101")가 도 1에 도시되어 있다). 공간 광변조기(20)는 입사 라이트-필드(100)를 변조하고 변조된 가상 라이트-필드(111)를 생성하도록 구성된다.
핀-라이트 어레이(10)는 전자기 스펙트럼의 가시 범위에서 광을 방출하지만, 예를 들어 전자기 스펙트럼의 근적외선(NIR) 또는 자외선(UV) 범위에서와 같이 전자기 스펙트럼의 가시 범위 밖의 광을 방출할 수도 있다. 핀-라이트 어레이(10)는 코히어런트 또는 논코히어런트 광을 방출할 수 있다. 핀-라이트 어레이(10)에 사용될 수 있는 전형적인 광원은 LED, VCSEL 또는 LD를 포함한다. 핀-라이트 어레이(10)는 매트릭스 구성으로서 미리 정의된 공간 구성으로 그룹화된 단일 이미터 또는 다중 이미터일 수 있다. 핀-라이트 어레이(10)는 정의된 발산 또는 개구 수(NA)로 광을 방출할 수 있다.
라이트-필드 혼합 현실 시스템은 선택적인 푸리에 필터(30)를 더 포함할 수 있다. 편광 필터링이 편광 프리즘 대신 고체상태 필터에 의해 또한 제공될 수 있다.
푸리에 필터(30)는 SLM(20)상에서 반사 및 회절되는 변조된 가상 라이트-필드(111)로부터 0 차보다 높은 회절 성분보다 높은 성분을 제거하고 변조 및 필터링된 가상 라이트-필드(112)를 생성하도록 구성될 수 있다.
라이트-필드 혼합 현실 시스템은 변조 및 필터링된 가상 라이트-필드(112)를 반사하고 투영축(170)을 따라 아이 박스 영역(121)을 정의하는 투영된 가상 라이트-필드(110)를 투영하도록 구성된 컴바이너(40)를 더 포함한다. 가상 라이트-필드(110)는 아이 박스(121) 내에 출사동(122)에 해당하는 핀-라이트 가상 이미지 개구를 형성한다. 출사동(122)은 입사 핀홀-조리개 라이트-필드(101)에 대응하는 복수의 핀-라이트 가상 이미지(120)를 포함한다(3 개의 핀-라이트 가상 이미지(120, 120', 120")가 도 2에 도시되어 있다). 출사동(122)은 핀-라이트 가상 이미지(120) 어레이의 위치에 의해 정의된다. 출사동(122)은 투영된 가상 라이트-필드(110)가 적어도 부분적으로 눈동자로 들어가기에 충분히 넓어야 한다. 출사동(122)은 눈동자가 컴바이너(40)에 대해 상대적으로 이동하는 경우에도 투영된 가상 라이트-필드(110)의 적어도 일부를 동공으로 투영하기 위해 눈동자보다 클 수 있다.
투영된 가상 라이트-필드(110)는 투영축(170)을 따라 SLM(20)의 가상 이미지(114)를 더 형성한다.
아이 박스(121) 내의 출사동(122)은 핀-라이트 어레이(10)에서 주어진 핀-라이트 가상 이미지(120) 또는 주어진 핀-라이트 가상 이미지들(120)을 선택함으로써 측면으로, 즉, 투영축(170)에 수직인 방향으로 옮겨질 수 있다.
SLM(20)은 디지털 마이크로미러 장치(DMD), 실리콘상의 강유전성 액정(FLCOS) 또는 광 강도 및 위상의 임의의 다른 적절한 공간 변조기를 사용하는 것을 포함할 수 있다.
도 1의 실시예에서, 라이트-필드 혼합 현실 시스템은 컴바이너(40)와 반대 방향으로 출사동(122)으로부터 떨어져 투영축(170)을 따라 가상 이미지(114)가 형성되도록 구성된다.
도 1에서, 시청자의 눈(90)이 더 표현된다. 라이트-필드 혼합 현실 시스템을 시청자가 착용하면, 출사동(122)이 시청자의 눈(90) 내에 형성되고 가상 이미지(114)가 시청자의 눈(90)의 조절 범위를 벗어나 형성된다. 예를 들어, 도 1에서, 가상 이미지(114)가 시청자의 눈(90) 훨씬 뒤에 형성된다.
컴바이너(40)는 투영된 가상 라이트-필드(110) 및 자연광(80)이 컴바이너(40)를 통해 아이 박스(121) 내에서 투사되도록 현실 세계(80)로부터의 자연광을 아이 박스(121)를 향해 투과하도록 더 구성된다.
라이트-필드 혼합 현실 시스템을 시청자가 착용할 때, 컴바이너(40)는 현실 세계(80)로부터의 자연광을 시청자의 눈(90)으로 투과시킨다. 따라서, 컴바이너(40)는 투영된 가상 라이트-필드(110)와 자연광(80) 모두가 시청자의 눈(90)을 향해, 가령, 투영된 가상 라이트-필드(110)와 현실 세계(80)로부터의 광 모두가 망막(92) 상에 투사되도록 시청자의 눈(90)의 동공(130)에 투사되게 한다.
일 실시예에서, 컴바이너(40)는 오목하고 타원 형상을 갖는 제 1 반사면(43)을 포함하는 반투명 제 1 요소(41)를 포함할 수 있다. 이러한 구성에서, 변조 및 필터링된 가상 라이트-필드(112)가 제 1 초점에서 입사되고 투영된 가상 라이트-필드(110)는 제 2 초점에서 반사된다. 제 2 초점은 투영된 가상 라이트-필드(110)가 관찰자의 눈(90)을 향해 반사되도록 한다.
컴바이너(40)는 2D 평면으로 도시되어 있으나 구체적인 구현은 3 차원 모두에서 폴딩을 사용할 수 있다. 컴바이너(40)는 일반적인 자유형 표면을 포함할 수 있다.
도 1의 실시예에서, 라이트-필드 혼합 현실 시스템은 콜리메이터(50), 예를 들어 시준 또는 부분 시준 렌즈, 빔 스플리터(60) 및 리이미징 렌즈(70)를 포함할 수 있다. 빔 스플리터(60)는 SLM(20)이 DMD를 사용하는 경우 전반사 프리즘(TIR)을 또는 SLM(20)이 FLCOS를 사용하는 경우 편광 프리즘을 포함할 수 있다. 리이미징 렌즈(70)는 컴바이너(40)에 대향하는 방향으로 출사동(120)으로부터 멀리 투영축(170)을 따른 위치에, 즉 컴바이너(40)에 대향하는 방향으로 출사동(120)으로부터 떨어진 위치에 가상 이미지(114)를 형성하도록 구성된다. 라이트-필드 혼합 현실 시스템을 시청자가 착용하면, 가상 이미지(114)가 시청자 눈(90)의 조절 범위를 벗어나 위치된다.
도 1에서, 시청자의 눈(90) 위치 만이 도시되어 있다. 눈의 수정체(91)에 투영된 가상 라이트-필드(110)의 왜곡은 도시되지 않았다. 광학 장치, 즉 컴바이너(40)의 위치 및 초점 거리, 및 가능하게는, 콜리메이터(50)의 위치 및 초점 거리, 리이미징 렌즈(70)의 위치 및 초점 거리뿐만 아니라 SLM(20)의 위치가 SLM(20)의 이미지를 배치하고 가상 이미지(114)의 위치를 결정한다. 예를 들어, 가상 이미지(114)는 가령 시청자의 눈(90) 앞에 약 15cm 미만과 같이 (도 1의 예시에 해당하는) 시청자의 눈(90) 훨씬 뒤 또는 눈(90) 근처에 있을 수 있다(도 2b 참조). 가상 이미지(114)는 시청자의 조절 범위를 벗어나야 한다. 그렇지 않으면, 이미지가 다른 거리의 이미지와 다르게 보일 경우 별개의 평면이 생성할 수 있다.
광학 장치는 관찰자의 눈동자(130) 근처, 이상적으로 시청자의 눈(90) 내부에 핀-라이트 어레이(10)의 출사동(122)을 배치한다.
컴바이너(40)는 적색, 녹색 및 청색의 파장과 같은 변조 및 필터링된 가상 라이트-필드(112)의 좁은 스펙트럼 대역을 반사하도록 조정될 수 있는 반면 현실 세계(80)로부터의 다른 가시 파장의 전부 또는 대부분을 투과시킨다.
도 2a는 또 다른 실시예에 따른 라이트-필드 혼합 현실 시스템을 도시한 것으로, 근안 라이트-필드 프로젝터는 빔 스플리터(60)를 포함하지 않는다. 빔 스플리터(60) 대신에, 렌즈(52)는 콜리메이터 및 핀-라이트 어레이 리이미징 요소의 동시 기능을 결합하도록 구성된다. 근거리 라이트-필드 프로젝터는 선택적인 푸리에 필터(30) 및 SLM 리이미징 렌즈(32)를 더 포함한다. SLM 리이미징 렌즈(32)는 컴바이너(40) 이전에 (SLM(20) 및 컴바이너(40) 사이에) SLM(20)의 제 1 가상 이미지(114')를 형성하도록 구성된다. 타원형 컴바이너(40)의 제 1 초점은 가상 이미지(114)의 중앙에 위치한다. 이 구성에서, SLM 리이미징 렌즈(32)는 출사동(122)을 시청자의 눈(90) 내부에 배치한다. 가상 이미지는 컴바이너(40)에 반대되는 방향으로 출사동(122)으로부터 떨어져 있는 투영축(170)을 따라 형성된다. 가상 이미지는도 2a에 나타내지 않았으나 (도 1에서와 같이) 투영된 가상 라이트-필드(110)의 투영에서 보여야 한다.
라이트-필드 혼합 현실 시스템을 시청자가 착용하면, 가상 이미지가 시청자의 눈(90)의 조절 범위를 벗어난 시청자의 눈(90) 훨씬 뒤에 형성된다.
도 2b는 도 2a의 실시예의 변형에 따른 라이트-필드 혼합 현실 시스템을 도시한 것으로, 근거리 라이트-필드 프로젝터는 SLM 리이미징 렌즈(32)를 포함하지 않는다. 라이트-필드 혼합 현실 시스템은 관찰자의 눈(90)의 조절 범위를 벗어난 가상 이미지(114)를 형성하도록 구성된 콜리메이터와 핀-라이트 어레이 리이미징 요소의 기능을 결합한 렌즈(52)를 포함한다. 이 구성에서, 가상 이미지(114)는 컴바이너(40)와 출사동(122) 사이에 투영축(170)을 따라 형성된다. 예를 들어, 가상 이미지(114)는 출사동(122)으로부터 15 cm 미만의 거리, 바람직하게는 10 cm 미만의 거리에 투영축(170)을 따라 형성될 수 있다.
라이트-필드 혼합 현실 시스템을 시청자가 착용하면, 가상 이미지(114)는 시청자의 눈(90) 조절 범위를 벗어나 시청자의 눈(90) 앞에, 예를 들어, 시청자의 눈에서 5cm 미만으로, 가까이 위치한다.
도 2c는 라이트-필드 혼합 현실 시스템의 다른 실시예를 도시한 것으로, 컴바이너(40)가 실질적으로 평평한 반투명 반사면(45)을 갖는 반투명 제 2 요소(42)를 더 포함한다. SLM 리이미징 렌즈(32)로부터 오는 변조되고 필터링된 가상 라이트-필드(112)가 오목한 타원형의 제 1 요소(41)의 제 1 반사면(43)을 향해 제 2 요소(42)의 반사면(45)에서 반사된다. 컴바이너(40)의 이러한 구성은 현실 세계(80)로부터의 광을 투과시키고 가령 출사동(122)을 형성하기 위해 변조되고 필터링된 가상 라이트-필드(112)로부터 반사 투영된 가상 라이트-필드(110)를 반사시키는 것을 허용한다. 이 구성에서, 제 1 가상 이미지(114')가 제 2 요소(42)에 가까이 형성된다. 가상 이미지는 컴바이너(40)에 대향하는 방향으로 출사동(122)으로부터 떨어져 투영축(170)을 따라 형성된다(가상 이미지는 도 2c에 나타내지 않았지만 투영된 가상 라이트-필드(110)의 투영에서 볼 수 있어야 한다). 라이트-필드 혼합 현실 시스템을 시청자가 착용하면, 투영된 가상 라이트-필드(110)가 시청자의 눈(90)의 동공(130)에 반사되어 투영된 가상 라이트-필드(110)와 현실 세계(80)의 광 모두가 시청자의 눈 망막(92)에 투사된다.
도 3은 라이트-필드 혼합 현실 시스템의 또 다른 실시예를 도시한 것으로, 컴바이너(40)가 미러(44) 어레이를 포함한다. 미러(44) 어레이는 투영된 가상 라이트-필드(110)의 핀-라이트의 출사동(122)과 일치한다. 미러(44)는 시청자의 눈(90)의 동공(130)이 이동할 수 있는 영역을 포함하는 아이 박스(121) 내에서 투영된 가상 라이트-필드(110)를 투사할 수 있도록 경사져 있다. 이 구성에서, 가상 이미지(114)는 컴바이너(40)와 반대 방향으로 출사동(122)으로부터 떨어진 투영축(170)을 따라 형성된다. 라이트-필드 혼합 현실 시스템을 시청자가해 착용하면, 제 1 가상 이미지(114')가 시청자의 눈(90) 가까이에 형성되고, 가상 이미지(114)는 망막에, 시청자의 눈(90) 내에, 형성된다.
이 구성에서, 라이트-필드 혼합 현실 시스템은 부분 콜리메이터 및 (푸리에 변환 렌즈와 같은) 핀-라이트 리이미징 요소로 기능하도록 구성된 렌즈(52)를 포함할 수 있다. SLM(20)이 FLCOS를 사용하는 경우, 라이트-필드 혼합 현실 시스템은 편광 필터를 더 포함할 수 있다.
도 4a는 도 3의 라이트-필드 혼합 현실 시스템 구성의 변형을 도시한 것으로, 라이트-필드 혼합 현실 시스템는 (푸리에 변환 렌즈와 같은) 핀-라이트 리이미징 요소로서 역할하는 리이미징 렌즈(70)를 포함한다.
도 4b에서, 컴바이너(40)에서 미러(44) 어레이는 격자(44a)에 배열된 서브 미러 어레이 또는 하나의 더 큰 미러(44b)로 도시되어 있다. 두 경우 모두에서, 미러(44, 44a, 44b)의 어레이는 투명판에 각인된다. 보다 일반적으로, 미러 어레이는 임의의 다른 적절한 수단에 의해 생성된 투명판에 반사면을 포함할 수 있다.
라이트-필드 프로젝터는 허용 가능한 출사동(122)을 사출하기 위해 반드시 푸리에 필터(30)를 필요로 하지 않는다. 이는 SLM(20)의 가상 이미지(114)가 관찰자의 눈(90)의 조절 범위 밖에 배치되는 경우이다. 예를 들어, 이는 SLM(20)의 가상 이미지(114)가 관찰자의 눈 뒤에 있거나 관찰자의 눈(90)의 앞에 가까이(예를 들어 15cm 미만에) 있는 경우이다. 이러한 구성에서, SLM(20)에 의해 변조된 광의 0 차보다 높은 회절 성분은 역할이 미미하다.
고차 회절 성분의 강도는 SLM(20)상의 변조 이미지의 "랜덤화"에 의해 감소될 수 있다. SLM(20)에 나타나는 각 이진 서브 프레임의 이미지는 이미지내 뚜렷한 주파수의 출현을 감소시키고, 따라서 출사동(122)의 위치에서 푸리에 변환 이미지내 회절 위성의 강도를 감소시키는 방식으로 구체적으로 변형될 수 있다. 회절 필터는 아래에서 더 설명되는 바와 같이 컴바이너(40) 자체에서도 구현될 수 있다.
도 5는 라이트-필드 혼합 현실 시스템이 핀-라이트 어레이(10), SLM(20) 및 오목한 타원 형상이거나 자유형 컴바이너(40)를 포함하는 다른 실시예를 도시한다. 도 1의 구성에 비해, 라이트-필드 혼합 현실 시스템은 콜리메이터(50), 빔 스플리터(60) 및 리이미징 렌즈(70)를 포함하지 않는다. 라이트-필드 혼합 현실 시스템은 또한 변조된 가상 라이트-필드(111)가 컴바이너(40)에서 반사되도록 푸리에 필터(30)를 포함하지 않는다.
광경로로부터 "블랙", 즉, "오프" 픽셀의 반사는 SLM(20)을 오가며 입사 변조된 가상 라이트-필드(111) 및 반사 투영된 가상 라이트-필드(110)를 필터링하는 편광 필터에 의해 구현될 수 있다.
반사 경로에서 SLM(20)에 의해 변조된 광의 필터링은 컴바이너(40)에 의해 수행되거나, SLM(20)이 FLCOS를 사용하는 경우 SLM(20)의 표면에 위치한 단일 편광 필터(미도시)에 의해 수행될 수 있다. SLM(20)이 DMD를 사용하는 경우, 반사 경로에서 SLM(20)에 의해 변조된 광의 필터링은 컴바이너(40)의 선택적 각도 반사율에 의해 광경로에서 DMD의 오프 픽셀에 해당하는 더 높은 각도의 광선의 반사를 거부함으로써 수행될 수 있다.
컴바이너(40)의 선택적 각도 반사율은 컴바이너(40)의 표면에서 특정 파장을 갖는 입사 라이트-필드(100)의 제한된 범위의 입사각의 반사를 위해 조정된 브래그 격자에 의해 획득될 수 있다. 브래그 격자는 굴절률이 다른 재료의 다층 증착 또는 홀로그램 기록 매체의 노출에 의해 형성된다. 브래그 격자는 컴바이너(40)의 제 1 반사면(43), 컴바이너(40) 내부 또는 컴바이너(40)의 반대면에 형성될 수 있다.
도 6은 도 5의 실시예의 변형을 도시한 것으로, 라이트-필드 혼합 현실 시스템은 핀-라이트 어레이(10), SLM(20)을 포함하고, 컴바이너(40)는 홀로그래픽 패턴을 포함하는 홀로그래픽 반사기(46)를 포함한다. 홀로그래픽 반사기(46)는 컴바이너(40)의 제 1 반사면 상에서 반사하는 동안 변조된 가상 라이트-필드(111)의 회절 각도가 거부되는 방식으로 구성될 수 있다. 예를 들어, 본 명세서에서 홀로그래픽 반사기(46)는 회절 필터로서 기능한다.
라이트-필드 생성은 이전 실시예와 동일하지만, 컴바이너(40)는 반사기(46)의 홀로그래픽 패턴에 의한 반사를 제공한다. 홀로그래픽 패턴(46)은 고차 회절각 및 SLM(20)이 DMD를 사용하는 경우 "오프-상태" 각도의 반사를 거부하는 필터링을 수행할 수 있다.
도 7은 도 5의 실시예의 다른 변형을 도시한 것으로, 컴바이너(40)는 프레넬 타입 요소(48)를 포함한다. 프레넬 타입 요소(48)는 컴바이너(40)의 제 1 반사면 상에서 반사하는 동안 변조된 가상 라이트-필드(111)의 회절 각도가 거부되는 방식으로 구성될 수 있다.
프레넬 반사기(48)는 대략 타원의 초점에서 다른 것으로 변조된 가상 라이트-필드(111)를 반사하는 타원 반투명 또는 선택적으로 투명한 표면을 갖는 격자 표면일 수 있다. 격자면(48)은 대부분의 가시 광선에 대해 투명하고 핀-라이트 어레이(10) 및 투영된 가상 라이트-필드(110)의 파장에 대해 반사되는 (도 7에 도시된 것과 같은) 2 개의 투명 재료들 사이의 인터페이스로서 매립될 수 있다.
대안으로 또는 조합하여, SLM(20)의 충분히 작은 피치를 사용함으로써 라이트-필드(110)의 회절 각도가 감소될 수 있으므로, 투영된 가상 라이트-필드(110)의 0 차보다 높은 회절 성분이 눈 동공(130)에 입사하지 않을 것이다.
도 8은 경사진 마이크로미러(44)의 위치에 핀-라이트(10)의 핀-라이트 가상 이미지(120)를 형성하는 광학 요소로서 기능하는 자유형 반사기(54)를 포함하는 도 3의 라이트-필드 혼합 현실 시스템 구성의 다른 변형을 도시한다.
도 9는 도 5의 라이트-필드 혼합 현실 시스템 구성의 또 다른 변형을 도시한 것으로, 컴바이너(40)는 홀로그래픽 또는 프레넬 선택적 반사기(46)를 포함한다. 라이트-필드 혼합 현실 시스템은 투영된 가상 라이트-필드(100)를 SLM(20)으로 그런 후 컴바이너(40)의 프레넬 선택적 반사기(46)로 향하게 하는 광학 요소로서 기능하는 자유형 반사기(54)를 더 포함한다. 컴바이너(40)의 프레넬 선택적 반사기(46)를 갖는 반사기(54)는 시청자의 동공(130) 부근에 핀-라이트 가상 이미지(120)를 형성한다.
도 3 내지 도 9의 실시예에서, 핀-라이트 어레이(10) 및 컴바이너(40)는 투영축(170)에 수직인 축(171)의 일측에 위치한다. 공간 광변조기(20)는 축(171)의 반대쪽에 위치한다. 이 구성은 경량의 스몰 폼팩터 웨어러블 라이트-필드 혼합 현실 시스템에 적합하다.
도 10 및 도 11은 혼합 현실 애플리케이션용 스몰 폼팩터 안경에 특히 적합한 라이트-필드 혼합 현실 시스템의 다른 실시예를 도시한다. 이 구성에서, 핀-라이트 어레이(10)는 컴바이너(40)를 직접 조명한다. 그런 후 핀-라이트 어레이(10)는 사용 경우에 따라 관찰자의 눈(90) 앞 또는 뒤에 위치할 수 있는 출사동(122) 내의 컴바이너(40)에 의해 이미지화된다. 핀-라이트 어레이(10)는 바람직하게 컴바이너(40)와 출사동(122) 사이에 배치된다.
본 실시예에서, 컴바이너(40)는 제 1 반사면(43)을 갖는 유리 기판(47) 및 상기 제 1 반사면(43) 상에 배치된 광학 광변조기(20)를 포함한다. 광학 광변조기(20)는 특정 핀-라이트 어레이(10) 위치로부터 디스플레이되어야 하는 이미지에 따라 투영된 가상 라이트-필드(110)의 전파를 로컬로 수정하게 한다. 바람직하게는, 핀-라이트 어레이(10)는 광학 광변조기(20)를 완전히 조명한다.
광학 광변조기(20)는 전기 신호를 원하는 셀에 가함으로써 (도 10에서 참조번호 2a로 표시된) 투과 상태 또는 (도 10에서 참조번호 2b로 표시된) 차단 상태로 개별적으로 설정될 수 있는 마이크로미터 크기 셀들의 매트릭스를 포함할 수 있다. 각 셀의 투과 또는 차단 상태는 일반적으로 마이크로 초 내에 변경될 수 있다.
광학 광변조기(20)는 결정에서 비정질로 또는 그 반대로 위상 상태를 전기적으로 변화시킬 수 있는 게르마늄 안티몬 텔루륨 합금(Ge2Se2Te5)과 같은 광학 위상 변화 물질(O-PCM)로 제조될 수 있다. 광학 광변조기(20)는 또한 그 위상 상태를 액체에서 결정으로 또는 그 반대로 전기적으로 변화시킬 수 있는 액정 재료로 제조될 수 있다.
셀의 투과 상태에서, 핀-라이트 어레이(10)로부터 나오는 입사 라이트-필드(100)가 광학 광변조기(20)를 통과하고 유리 기판(47)에 의해 아이 박스 영역(121)을 향해 그리고 시청자가 라이트-필드 혼합 현실 시스템을 착용한 경우 시청자의 눈(90)을 향해 반사된다. 셀의 차단 상태에서, 핀-라이트 어레이(10)로부터 나오는 입사 라이트-필드(100)는 광학 광변조기(20)를 통과할 수 없고, 유리 기판(47)에 의해 아이 박스 영역(121)을 향해 반사될 수 없다.
유리 기판(47) 광학적 특성은 제 1 반사면(43) 상의 또는 컴바이너(40) 자체 내에 미세 구조 패턴을 사용함으로써 달성될 수 있다. 유리 기판(47)의 광학적 특성은 핀-라이트 어레이(10)에서 나오는 입사 라이트-필드(100)를 (시청자의 눈(90) 앞에 있는) 아이 박스 영역(121)에 위치한 핀-라이트 가상 이미지(120)로 재지향시키기 위해 기록된 볼륨 홀로그램을 사용함으로써 추가로 달성될 수 있다.
도 11에, 핀-라이트 어레이(10)의 3 개의 입사 라이트-필드 핀-라이트(100, 100'및 100") 및 대응하는 핀-라이트 가상 이미지(120, 120'및 120'')가 도시되어 있다.
핀-라이트 어레이(10)에 의해 생성된 복수의 입사 라이트-필드(100)에 대해 유리 기판(47) 및 광학 광변조기(20)를 포함하는 컴바이너(40)상의 위에서 설명된 입사 라이트-필드(100)의 반사(또는 반사 없음)를 합산함으로써, 복수의 핀-라이트 가상 이미지(121)를 포함하는 출사동(122)이 형성된다. 라이트-필드 혼합 현실 시스템을 시청자가 착용하면, 출사동(122)이 망막 상의 시청자의 눈 내에 위치한다.
일 실시예에서, 라이트-필드 혼합 현실 시스템은 웨어러블 장치에 포함될 수 있다. 도 12는 라이트-필드 혼합 현실 시스템을 포함하는 혼합 현실 안경(25)의 가능한 구성을 도시한다. 예를 들어, 컴바이너(40)는 렌즈(24) 중 하나 또는 렌즈 각각에 포함될 수 있다. 핀-라이트 어레이(10) 및 SLM(20)은 힌지 또는 안경다리의 다른 부분에 포함될 수 있다. 도시된 예에서, 배터리 및 지지 전자 장치를 포함하는 추가 유닛(81)이 안경 코드(23)에 제공된다. 본 발명의 라이트-필드 혼합 현실 시스템은 처방 또는 교정 안경과 같은 임의의 안경에 포함될 수 있다.
핀-라이트 어레이(10)는 각각이 입사 라이트-필드 핀-라이트(100)를 방출하도록 구성된 복수의 포인트-라이트를 포함할 수 있다. 활성 서브 세트가 각각 입사 라이트-필드 핀-라인트(100)를 방출하는 복수의 활성 포인트-라이트를 포함할 수 있다. 비활성 서브 세트는 비활성이고 입사 라이트-필드 핀-라이트(100)를 방출하지 않는 다른 포인트-라이트를 포함한다. 핀-라이트 어레이(10)의 포인트-라이트는 활성 서브 세트에 있고 비활성 서브 세트에서는 시간에 따라 달라질 수 있다.
핀-라이트 어레이(10)에서 입사 라이트-필드(100)를 방출하는 활성 포인트-라이트의 서브 세트를 공간적으로 및 시간적으로 수정함으로써, 핀-라이트 어레이(10)로부터의 활성 입사 라이트-필드(100)의 핀-라이트 가상 이미지(120)가 나타나는 출사동(122)의 위치를 이동하거나 크기를 변경할 수 있다. 임의의 종류의 시선 추적과 결합하여, 출사동(122)은 최대 투영된 정보가 시청자의 동공(91)에 들어가는 방식으로 항상 투영될 수 있다.
도 13은 도 1과 유사한 라이트-필드 혼합 현실 시스템을 도시한 것으로, 마치 투영된 가상 라이트-필드(110)가 가상 장면에서 상이한 광학 거리에 배치된 물체에 의해 생성된 것처럼 생성되도록 이미지 성분(53)이 광학 광변조기(20)(예를 들어, SLM)에 디스플레이된다. 예를 들어, 투영된 가상 라이트-필드(110)는 투영축(170)을 따라 컴바이너(40)와 반대 방향으로 (광학적으로는 시청의 뒤에) 출사동(120)에서 멀리 배치된 가상 물체 지점(54)에 의해 생성된 것처럼 생성된다. 가상 물체 지점(54)은 출사동(120)으로부터 상이한 거리에 배치될 수 있다. 광 변환은 광학 광변조기(20)상의 해당 위치에 가상 물체 지점(54)의 이미지 성분(53)을 (투영된 광선(111)의 방향을 결정하는) 활성 핀-라이트와 동기로 순차적으로 디스플레이함으로써 수행된다.
따라서, 투영된 가상 라이트-필드(110)는 광학 광변조기(20)에 디스플레이된 이미지 성분(53)의 디지털 변환에 의해 가상 보정 포인트(58)와 같이 현실 장면으로부터 가상 보정 라이트-필드(57)에 대해 수행된 임의의 광변환 효과를 시뮬레이션할 수 있다. 따라서, 투영된 가상 라이트-필드(110)는 가상 보정 포인트(58)를 사용하여 아이 박스(121)와 실제 단어(80)의 영역 사이에 배치된 보정(및 처방) 렌즈(56)의 효과를 시뮬레이션할 수 있게 한다. 참조번호 55는 컴바이너(40)를 통해 투영된 입사 가상 보정 라이트-필드(57)의 보정 광선에 해당한다.
도 14a는 일 실시예에 따른, 라이트-필드 혼합 현실 시스템의 다이어그램 도면이다. 시준 또는 부분 시준 렌즈(50), 빔 스플리터(60) 및 리이미징 렌즈와 같은 광학 요소가 "광학" 박스와 숫자 140으로 표시되어 있다. 광학 장치(140)와 광학 광변조기(20)가 입사 라이트-필드(100)를 변조된 가상 라이트-필드(111) 및/또는 변조 및 필터링된 가상 라이트-필드(112)로 가이드하고 광학적으로 변환한다. 라이트-필드 혼합 현실 시스템은 광학 광변조기(20) 상에 이미지를 생성하는 신호를 생성, 포맷 및 내보내는 디스플레이 제어 전자 장치(141)를 포함한다. 조명 제어 전자 장치(142)는 특정 시간 의존 방식으로 핀-라이트 어레이(10)의 특정 포인트-라이트에 전력을 공급하는 신호를 생성, 포맷 및 내보낸다. 디스플레이와 포인트-라이트 제어 전자 장치(141, 142) 사이에 전송되는 동기화 신호(143)는 광학 광변조기(20)에서 그리고 핀-라이트 어레이(10)의 어떤 특정 포인트-라이트에 의해 어떤 이미지 성분이 조명되는지를 제어한다. 이미지 신호(144)는 광학 광변조기(20) 상에 이미지 성분의 시퀀스를 생성하는 조절된 전자 신호를 포함한다. 조명 신호(145)는 포인트-라이트 어레이(10)의 포인트-라이트로부터 일련의 광 방출을 야기하는 조절된 전자 신호를 포함한다.
라이트-필드 혼합 현실 시스템은 디스플레이 제어 전자 장치(141)를 제어하는 시선 추적 장치(146)를 더 포함한다. 시선 추적 장치(146)는 시청자의 눈(90)의 방향에 대한 정보를 제공하는 반면 디스플레이 제어 전자 장치(141)는 관찰자의 눈(90) 방향에 따라 이미지를 제공한다. 투영된 가상 라이트-필드(110)는 시청자의 눈(90) 방향에 따라 아이 박스(도 14a에 미도시) 내에서 투영된다.
예를 들어, 도 14b 및 14c는 눈(90)과 광학 장치(140) 사이의 두 개의 상이한 거리에 대해 시청자의 눈(90)이 아래로 향할 때 라이트-필드 혼합 현실 시스템을 도시한다. 도 14d 및 14e는 눈(90)과 광학 장치(140) 사이의 2 개의 상이한 거리에 대해 시청자의 눈(90)이 위쪽을 향할 때 라이트-필드 혼합 현실 시스템을 도시한다. 시선 추적 장치(146)는 시청자의 눈(90) 방향을 감지하고 디스플레이 제어 전자 장치(141)는 시청의 눈 방향에 따라 아이 박스(미도시) 내에 투영된 가상 라이트-필드(110)의 서브 세트를 제공하도록 광학 장치(140)를 제어한다. 도 14f는 시선 추적 기능을 갖는 라이트-필드 혼합 현실 시스템의 도 14a-14d의 결합된 표현을 도시하며, 이에 의해 출사동(122)은 최대 투영된 정보가 항상 아이 박스(121) 내에 있도록 투사될 수 있다.
도 15a 내지 15e는 시선 추적 장치(146)가 움직이는 아이 박스 및 시청자의 시야(FOV)를 고려하기 위해 디스플레이 제어 전자 장치(141)를 제어하도록 더 구성되는 라이트-필드 혼합 현실 시스템을 도시한다. 이를 위해, 라이트-필드 혼합 현실 시스템은 좁은 FOV에서 고각 해상도 이미지와 넓은 FOV를 위한 저각 해상도 이미지로 투영된 가상 라이트-필드(110)를 생성하도록 구성된다. 라이트-필드 혼합 현실 시스템은 가상 이미지(114) 면에서 또한 가능하게는 투영축(170)을 따라 투영된 가상 라이트-필드(110)의 적어도 서브 세트를 공간적으로 이동시킴으로써 투영된 가상 라이트-필드(110)와 상호 작용하도록 구성된 FOV 광학 장치(미도시)를 포함할 수 있다. FOV 광학 장치는 편향 프리즘 및/또는 오프셋 렌즈를 포함하여 투영된 가상 라이트-필드(110)를 미리 결정된 각도만큼 편향시킬 수 있다. FOV 광학 장치는 투영축(170)을 따라 투영된 가상 라이트-필드(110)의 적어도 서브 세트의 가상 이미지(114)를 이동시키도록 구성된 이미징 렌즈를 더 포함할 수 있다.
도 15a 내지 15c는 시청자의 눈(90)이 아래쪽을 향할 때 좁은 FOV(도 15c)에서 고각 해상도 이미지, 넓은 FOV(도 15b)용의 저각 해상도 이미지, 및 이 둘의 조합(도 15a)으로 투영된 가상 라이트-필드(110)를 생성하는 라이트-필드 혼합 현실 시스템을 도시한다. 도 15d 및 15e는 시청자의 눈(90)이 위쪽을 향할 때 좁은 FOV(도 15e)에서 고각 해상도 이미지 및 고각 및 저각 해상도 이미지의 조합(도 15f)으로 투영된 가상 라이트-필드(110)를 투영하는 라이트-필드 혼합 현실 시스템을 도시한다.
이동하는 좁은 FOV 부분을 중심와(foveation)라고 한다. 고해상도 라이트-필드를 눈 중심와에 투사한다. 투영된 가상 라이트-필드(110)를 순차적으로 투영하면, 넓은 FOV 부분에서도 라이트-필드를 제공할 수 있다. 순차 투영을 통해 좁고 넓은 FOV 이미지를 스티칭할 수 있다. 넓은 FOV 부분은 이진 색상 해상도만 포함하는 저각 해상도와 색상 해상도를 가질 수 있다.
도 16a-16c는 라이트-필드 혼합 현실 시스템의 예시적인 구성을 도시한 것으로, 컴바이너(40)는 마이크로미러(44)를 포함하는 움직이는 아이 박스를 포함한다. 움직이는 아이 박스(40)는 시선 추적 장치(146)에 의해 제어되고 예를 들어 시청자의 눈(90) 방향에 따라 아이 박스(미도시) 내에 투영된 가상 라이트-필드(110)의 서브 세트를 제공하기 위해 시청자의 눈(90) 방향에 따라 이동한다.
10 핀-라이트 어레이
2a 투과 상태
2b 차단 상태
20 광학 광변조기, 공간 광변조기(SLM),
21 안경다리
22 힌지
23 안경 코드
24 렌즈
25 혼합 현실 안경
30 푸리에 필터
32 SLM 리이미징 렌즈
40 컴바이너
41 제 1 요소
42 제 2 요소
43 제 1 반사면
44 미러 어레이
45 제 2 반사면
46 홀로그픽 또는 프레넬 반사기
47 유리 기판
48 프레넬 타입 컴바이너
50 시준 또는 부분 시준 렌즈
52 렌즈
53 이미지 성분
54 가상 물체 지점
55 수정된 광선
56 가상 보정 렌즈
57 가상 보정 라이트-필드
58 가상 보정 포인트
60 빔 스플리터
70 리이미징 렌즈
80 실제 세계에서 나오는 라이트-필드
81 추가 유닛
90 관찰자의 눈
91 눈의 수정체
92 망막
100 입사 라이트-필드
101, 101', 101" 핀홀 조리개 라이트-필드
110 투영된 가상 라이트-필드
111 변조된 가상 라이트-필드
112 변조 및 필터링된 가상 라이트-필드
114 가상 이미지
114' 제 1 가상 이미지
120 핀-라이트 가상 이미지
121 아이 박스 영역
122 핀-라이트 가상 이미지 조리개, 출사동
130 동공
140 광학 장치
141 디스플레이 제어 전자 장치
142 조명 제어 전자 장치
143 동기화 신호
144 이미지 신호
145 조명 신호
146 시선 추적 장치
170 투영축
171 투영축에 수직인 축
2a 투과 상태
2b 차단 상태
20 광학 광변조기, 공간 광변조기(SLM),
21 안경다리
22 힌지
23 안경 코드
24 렌즈
25 혼합 현실 안경
30 푸리에 필터
32 SLM 리이미징 렌즈
40 컴바이너
41 제 1 요소
42 제 2 요소
43 제 1 반사면
44 미러 어레이
45 제 2 반사면
46 홀로그픽 또는 프레넬 반사기
47 유리 기판
48 프레넬 타입 컴바이너
50 시준 또는 부분 시준 렌즈
52 렌즈
53 이미지 성분
54 가상 물체 지점
55 수정된 광선
56 가상 보정 렌즈
57 가상 보정 라이트-필드
58 가상 보정 포인트
60 빔 스플리터
70 리이미징 렌즈
80 실제 세계에서 나오는 라이트-필드
81 추가 유닛
90 관찰자의 눈
91 눈의 수정체
92 망막
100 입사 라이트-필드
101, 101', 101" 핀홀 조리개 라이트-필드
110 투영된 가상 라이트-필드
111 변조된 가상 라이트-필드
112 변조 및 필터링된 가상 라이트-필드
114 가상 이미지
114' 제 1 가상 이미지
120 핀-라이트 가상 이미지
121 아이 박스 영역
122 핀-라이트 가상 이미지 조리개, 출사동
130 동공
140 광학 장치
141 디스플레이 제어 전자 장치
142 조명 제어 전자 장치
143 동기화 신호
144 이미지 신호
145 조명 신호
146 시선 추적 장치
170 투영축
171 투영축에 수직인 축
Claims (26)
- 시청자가 착용할 라이트-필드 혼합 현실 시스템으로서,
광학 광변조기(20)를 조명하는 입사 라이트-필드(100)를 생성하는 핀-라이트 어레이(10);
입사 라이트-필드(100)를 변조하고 변조된 가상 라이트-필드(111)를 생성하도록 구성되는 광학 광변조기(20);
변조된 가상 라이트-필드(111)를 반사하고 투영축(170)을 따라 시청자의 눈의 아이 박스 영역(121)을 정의하는 투영된 가상 라이트-필드(110)를 투영하도록 구성된 컴바이너(40)를 포함하고,
투영된 가상 라이트-필드(110)는 아이 박스(121) 내에 핀-라이트 어레이(10)의 출사동(122)을 형성하고, 투영축(170)을 따라:
출사동(122) 앞에, 즉 컴바이너(40)와 출사동(122) 사이의 출사동(122)으로부터 15cm 미만의 거리에, 또는
출사동(122) 뒤에, 즉 컴바이너(40)에 대향하는 방향으로 출사동(122)으로부터 떨어져,
광학 광변조기(20)의 가상 이미지(114)를 더 형성하고;
컴바이너(40)는 현실 세계(80)로부터 아이 박스(121)를 향해 자연광을 투과하도록 더 구성되어, 투영된 가상 라이트-필드(110) 및 자연광(80) 모두가 아이 박스(121) 내 컴바이너(40)를 통해 투영되고;
컴바이너(40)는 투영된 가상 라이트-필드(110)가 컴바이너(40)에 의하여 반사되고 초점을 형성하도록 오목한 타원 형상을 갖는 제 1 반사면(43)을 포함하는 반투명 제 1 요소(41)를 구비하고;
시스템은:
핀-라이트 어레이(10)를 시준 및 리이미징하고 출사동(122) 앞에 가상 이미지(114)를 형성하도록 구성된 렌즈(52), 또는
핀-라이트 어레이(10)를 시준 및 리이미징하도록 구성된 렌즈(52)와 시청자의 눈(90) 뒤에 가상 이미지(114)를 형성하도록 구성된 SLM 리이미징 렌즈(32)를 포함하고,
핀-라이트 어레이(10)는 입사 라이트-필드 핀-라이트(100)를 방출하는 복수의 활성 포인트-라이트 및 복수의 비활성 비방출 포인트-라이트를 포함하고,
핀-라이트 어레이(10)에서 활성 포인트-라이트 및 비활성 포인트-라이트의 공간적 배열은 위치를 변경하거나 출사동(122)의 크기를 변경하는 것과 같이 시간에 따라 변경될 수 있는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
공간 광변조기(20)와 결합하여 가상 이미지(114)의 위치를 결정하는 콜리메이터(50), 빔 스플리터(60) 및 리이미징 렌즈(70)를 포함하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
컴바이너(40)는 제 1 요소(41)의 제 1 반사면(43)을 향해 가상 라이트-필드(112)를 반사하는 평평한 반투명 반사면(45)을 갖는 반투명 제 2 요소(42)를 더 포함하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
제 1 요소(41) 및 제 2 요소(42)가 시청자의 눈(90)을 향해 자연광(80)을 투과하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
컴바이너(40)는 특정 회절 각도를 가지는 가상 라이트-필드(112)가 제 1 반사면(43) 상의 반사 동안 차단되는 방식으로 구성된 홀로그래픽 요소(46)를 포함하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
컴바이너(40)는 특정 회절 각도를 가지는 가상 라이트-필드(112)가 제 1 반사면(43) 상의 반사 동안 차단되는 방식으로 구성된 프레넬 타입 요소(48)를 포함하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
컴바이너(40)는 가상 라이트-필드(112)의 적색, 녹색 및 청색의 파장의 스펙트럼 대역을 반사하는 반면 자연광(80)으로부터 다른 가시 파장을 투과시키도록 구성되는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
핀-라이트 어레이(10) 및 컴바이너(40)는 투영축(170)에 수직인 축(171)의 일측에 위치되고;
광학 광변조기(20)는 축(171)의 반대쪽에 위치하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
광학 광변조기(20)는 컴바이너(40)의 제 1 반사면(43)에 포함되는 라이트-필드 혼합 현실 시스템. - 제 9 항에 있어서,
광학 광변조기(20)는 입사 라이트-필드(100)가 광학 광변조기(20)에 의해 아이 박스 영역(121)을 향해 반사되는 투과 상태로 또는 입사 라이트-필드(100)가 반사되지 않는 차단 상태로 개별적으로 설정될 수 있는 셀 매트릭스를 포함하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
투영된 가상 라이트-필드(110)가 광학 광변조기(20)에 디스플레이된 이미지 성분들(53)의 디지털 변환에 의한 가상의 보정 포인트(58)와 같이 실제 장면으로부터 가상의 보정 라이트-필드(57)에서 수행된 광변환의 효과를 시뮬레이션하도록 이미지 성분들(53)이 광학 광변조기(20) 상에 디스플레이되는 라이트-필드 혼합 현실 시스템. - 제 11 항에 있어서,
투영된 가상 라이트-필드(110)는 아이 박스(121)와 현실 세계(80)의 영역 사이에 배치된 보정 렌즈(56)의 효과를 시뮬레이션할 수 있게 하는 라이트-필드 혼합 현실 시스템. - 제 1 항에 있어서,
투영된 가상 라이트-필드(110)가 시청자의 눈(90) 방향에 따라 아이 박스(121) 내에서 투사되도록 시청자의 눈(90) 방향에 대한 정보를 제공하는 시선 추적 장치(146)를 더 포함하는 라이트-필드 혼합 현실 시스템. - 제 13 항에 있어서,
시선 추적 장치(146)는 적어도 가상 이미지(114)의 평면에서 투영된 가상 라이트-필드(110)의 일부를 공간적으로 이동시키도록 더 구성되는 라이트-필드 혼합 현실 시스템. - 제 14 항에 있어서,
시선 추적 장치(146)는 적어도 투영축(170)을 따라 투영된 가상 라이트-필드(110)의 일부의 가상 이미지(114)를 이동시키도록 더 구성되는 라이트-필드 혼합 현실 시스템. - 광학 광변조기(20)를 조명하는 입사 라이트-필드(100)를 생성하는 핀-라이트 어레이(10);
입사 라이트-필드(100)를 변조하고 변조된 가상 라이트-필드(111)를 생성하도록 구성되는 광학 광변조기(20); 및
변조된 가상 라이트-필드(111)를 반사하고 투영축(170)을 따라 시청자의 눈의 아이 박스 영역(121)을 정의하는 투영된 가상 라이트-필드(110)를 투영하도록 구성된 컴바이너(40)를 포함하는 라이트-필드 혼합 현실 시스템을 구비한 웨어러블 장치로서,
투영된 가상 라이트-필드(110)는 아이 박스(121) 내에 핀-라이트 어레이(10)의 출사동(122)을 형성하고, 투영축(170)을 따라:
출사동(122) 앞에, 즉 컴바이너(40)와 출사동(122) 사이의 출사동(122)으로부터 15cm 미만의 거리에, 또는
출사동(122) 뒤에, 즉 컴바이너(40)에 대향하는 방향으로 출사동(122)으로부터 떨어져,
광학 광변조기(20)의 가상 이미지(114)를 더 형성하고,
컴바이너(40)는 현실 세계(80)로부터 아이 박스(121)를 향해 자연광을 투과하도록 더 구성되어, 투영된 가상 라이트-필드(110) 및 자연광(80) 모두가 아이 박스(121) 내 컴바이너(40)를 통해 투영되고,
컴바이너(40)는 투영된 가상 라이트-필드(110)가 컴바이너(40)에 의하여 반사되고 초점을 형성하도록 오목한 타원 형상을 갖는 제 1 반사면(43)을 포함하는 반투명 제 1 요소(41)를 구비하고;
시스템은:
핀-라이트 어레이(10)를 시준 및 리이미징하고 출사동(122) 앞에 가상 이미지(114)를 형성하도록 구성된 렌즈(52), 또는
핀-라이트 어레이(10)를 시준 및 리이미징하도록 구성된 렌즈(52)와 시청자의 눈(90) 뒤에 가상 이미지(114)를 형성하도록 구성된 SLM 리이미징 렌즈(32)를 포함하고,
핀-라이트 어레이(10)는 입사 라이트-필드 핀-라이트(100)를 방출하는 복수의 활성 포인트-라이트 및 복수의 비활성 비방출 포인트-라이트를 포함하고,
핀-라이트 어레이(10)에서 활성 포인트-라이트 및 비활성 포인트-라이트의 공간적 배열은 위치를 변경하거나 출사동(122)의 크기를 변경하는 것과 같이 시간에 따라 변경될 수 있는 웨어러블 장치. - 제 16 항에 있어서,
혼합 현실 안경을 포함하고, 컴바이너(40)는 렌즈 중 적어도 하나에 포함되며, 핀-라이트 어레이(10) 및 광학 광변조기(20)가 힌지 또는 안경다리의 다른 부분에 포함되는 웨어러블 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19154832 | 2019-01-31 | ||
| EP19154832.0 | 2019-01-31 | ||
| PCT/IB2019/061156 WO2020157562A1 (en) | 2019-01-31 | 2019-12-20 | Light-field mixed reality system with correct monocular depth cues to a viewer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210068047A KR20210068047A (ko) | 2021-06-08 |
| KR102603552B1 true KR102603552B1 (ko) | 2023-11-17 |
Family
ID=65276039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217011254A KR102603552B1 (ko) | 2019-01-31 | 2019-12-20 | 시청자에게 정확한 단안 깊이 큐를 제공하는 라이트-필드 혼합 현실 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210382307A1 (ko) |
| EP (1) | EP3918408A1 (ko) |
| JP (1) | JP7320057B2 (ko) |
| KR (1) | KR102603552B1 (ko) |
| CN (1) | CN113383260B (ko) |
| IL (1) | IL283806A (ko) |
| WO (1) | WO2020157562A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11500460B2 (en) | 2018-10-22 | 2022-11-15 | Evolution Optiks Limited | Light field device, optical aberration compensation or simulation rendering |
| US11966507B2 (en) | 2018-10-22 | 2024-04-23 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
| US11852813B2 (en) * | 2019-04-12 | 2023-12-26 | Nvidia Corporation | Prescription augmented reality display |
| US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
| CN115956218A (zh) | 2020-08-20 | 2023-04-11 | 见真实股份有限公司 | 近眼图像投影系统和包括所述近眼图像投影系统的可穿戴装置 |
| US11880164B2 (en) | 2021-01-04 | 2024-01-23 | Electronics And Telecommunications Research Institute | Module controlling viewing window, device for hologram display and method for displaying hologram |
| WO2022170287A2 (en) * | 2021-06-07 | 2022-08-11 | Panamorph, Inc. | Near-eye display system |
| CN115728947A (zh) * | 2021-11-30 | 2023-03-03 | 华为技术有限公司 | 显示装置、电子设备以及交通工具 |
| TW202403392A (zh) * | 2021-12-04 | 2024-01-16 | 兆輝光電股份有限公司 | 用於近眼光場擴增實境顯示裝置 |
| TWI812406B (zh) * | 2022-08-16 | 2023-08-11 | 張朝凱 | 左右眼可分別微調出清晰的人工生成影像的增強現實裝置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001021853A (ja) * | 1999-07-06 | 2001-01-26 | Fuji Xerox Co Ltd | 映像表示装置 |
| JP2012013908A (ja) * | 2010-06-30 | 2012-01-19 | Konica Minolta Opto Inc | 映像表示装置およびヘッドマウントディスプレイ |
| JP2016517036A (ja) * | 2013-03-25 | 2016-06-09 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（ウペエフエル）Ｅｃｏｌｅ Ｐｏｌｙｔｅｃｈｎｉｑｕｅ Ｆｅｄｅｒａｌｅ ｄｅ Ｌａｕｓａｎｎｅ （ＥＰＦＬ） | 多射出瞳頭部装着型ディスプレイのための方法および装置 |
| WO2018091984A1 (en) * | 2016-11-15 | 2018-05-24 | Creal3D Sa | Near-eye sequential light-field projector with correct monocular depth cues |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5537253A (en) * | 1993-02-01 | 1996-07-16 | Honeywell Inc. | Head mounted display utilizing diffractive optical elements |
| EP1792225A4 (en) * | 2004-09-01 | 2010-07-28 | Optical Res Associates | HIGH COMPACT HEAD DISPLAY DEVICES WITH INCLINE / DECENTRE LENS ELEMENT |
| CN102918444B (zh) * | 2011-03-25 | 2015-12-23 | 松下电器产业株式会社 | 显示装置 |
| EP4220999A3 (en) * | 2013-11-27 | 2023-08-09 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| WO2015095737A2 (en) * | 2013-12-19 | 2015-06-25 | The University Of North Carolina At Chapel Hill | Optical see-through near-eye display using point light source backlight |
| DE102014013320B4 (de) | 2014-09-15 | 2022-02-10 | Rolf Hainich | Vorrichtung und Verfahren zum augennahen Anzeigen computergenerierter Bilder |
| WO2016105281A1 (en) * | 2014-12-26 | 2016-06-30 | Koc University | Near-to-eye display device |
| CN106254859B (zh) | 2016-01-18 | 2018-04-13 | 北京智谷睿拓技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
| US9964768B2 (en) * | 2016-03-04 | 2018-05-08 | Sharp Kabushiki Kaisha | Head mounted display using spatial light modulator to generate a holographic image |
| WO2018057660A2 (en) * | 2016-09-20 | 2018-03-29 | Apple Inc. | Augmented reality system |
| WO2018165117A1 (en) * | 2017-03-09 | 2018-09-13 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Head-mounted light field display with integral imaging and relay optics |
| CN108803295B (zh) | 2018-06-14 | 2020-09-29 | 杭州光粒科技有限公司 | 大视场全息图的制作方法、显示系统及点阵光源 |
| US11175505B2 (en) * | 2018-09-24 | 2021-11-16 | Intel Corporation | Holographic optical elements for augmented reality devices and methods of manufacturing and using the same |
-
2019
- 2019-12-20 US US17/282,308 patent/US20210382307A1/en active Pending
- 2019-12-20 WO PCT/IB2019/061156 patent/WO2020157562A1/en unknown
- 2019-12-20 JP JP2021519564A patent/JP7320057B2/ja active Active
- 2019-12-20 KR KR1020217011254A patent/KR102603552B1/ko active IP Right Grant
- 2019-12-20 EP EP19836580.1A patent/EP3918408A1/en active Pending
- 2019-12-20 CN CN201980078555.9A patent/CN113383260B/zh active Active
-
2021
- 2021-06-08 IL IL283806A patent/IL283806A/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001021853A (ja) * | 1999-07-06 | 2001-01-26 | Fuji Xerox Co Ltd | 映像表示装置 |
| JP2012013908A (ja) * | 2010-06-30 | 2012-01-19 | Konica Minolta Opto Inc | 映像表示装置およびヘッドマウントディスプレイ |
| JP2016517036A (ja) * | 2013-03-25 | 2016-06-09 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（ウペエフエル）Ｅｃｏｌｅ Ｐｏｌｙｔｅｃｈｎｉｑｕｅ Ｆｅｄｅｒａｌｅ ｄｅ Ｌａｕｓａｎｎｅ （ＥＰＦＬ） | 多射出瞳頭部装着型ディスプレイのための方法および装置 |
| WO2018091984A1 (en) * | 2016-11-15 | 2018-05-24 | Creal3D Sa | Near-eye sequential light-field projector with correct monocular depth cues |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113383260B (zh) | 2023-08-25 |
| JP2022526054A (ja) | 2022-05-23 |
| US20210382307A1 (en) | 2021-12-09 |
| IL283806A (en) | 2021-07-29 |
| CN113383260A (zh) | 2021-09-10 |
| EP3918408A1 (en) | 2021-12-08 |
| WO2020157562A1 (en) | 2020-08-06 |
| JP7320057B2 (ja) | 2023-08-02 |
| KR20210068047A (ko) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102603552B1 (ko) | 시청자에게 정확한 단안 깊이 큐를 제공하는 라이트-필드 혼합 현실 시스템 | |
| JP7311581B2 (ja) | 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ | |
| US20180084232A1 (en) | Optical See-Through Head Worn Display | |
| TWI687721B (zh) | 顯示裝置 | |
| CN105492957B (zh) | 采用成对眼镜形式的图像显示设备 | |
| US10429648B2 (en) | Augmented reality head worn device | |
| US20200301239A1 (en) | Varifocal display with fixed-focus lens | |
| US20230418087A1 (en) | High-resolution light-field projector | |
| US10728534B2 (en) | Volumetric display system and method of displaying three-dimensional image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |