KR20220086456A - 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법 - Google Patents

3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220086456A
KR20220086456A KR1020210090286A KR20210090286A KR20220086456A KR 20220086456 A KR20220086456 A KR 20220086456A KR 1020210090286 A KR1020210090286 A KR 1020210090286A KR 20210090286 A KR20210090286 A KR 20210090286A KR 20220086456 A KR20220086456 A KR 20220086456A
Authority
KR
South Korea
Prior art keywords
augmented reality
image
light
reality device
waveguide
Prior art date
Application number
KR1020210090286A
Other languages
English (en)
Inventor
알렉산더 빅토로비치 모로조프
이고르 비탈리예비치 야누식
아나스타샤 안드레브나 칼리니나
이진호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202111527501.1A priority Critical patent/CN114637112A/zh
Priority to US17/550,600 priority patent/US11686938B2/en
Priority to EP21214736.7A priority patent/EP4016166A3/en
Publication of KR20220086456A publication Critical patent/KR20220086456A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법이 개시된다. 일 실시예에 따르면, 증강 현실 장치는 각각 개별 특성을 갖는 단일 뷰 영상들을 포함하는 멀티-뷰 영상을 생성하고, 생성된 멀티-뷰 영상을 구성하는 사출 동공을 생성하는 멀티-뷰 영상 생성 유닛, 멀티-뷰 영상 생성 유닛에서 생성된 사출 동공을 복제하는 도파관, 및 개별 특성에 기초하여 단일 뷰 영상들을 분리하고, 단일 뷰 영상들의 뷰들에 대응하는 아이 박스 내 시청 영역들에 단일 뷰 영상들을 출력하여 3차원 영상을 생성하는 시청 영역 생성 유닛을 포함한다.

Description

3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법{AUGMENTED REALITY DEVICE PROVIDING 3D AUGMENTED REALITY AND OPERATING METHOD OF THE SAME}
아래 실시예들은 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법에 관한 것이다.
증강 현실(augmented reality, AR) 기술은 실제 사물에 가상의 영상을 중첩하여 표현함으로써 사용자에게 새로운 경험을 제공할 수 있다. 예를 들어, AR 기술은 안경형 AR 장치인 AR 글래스(glass)나 AR HUD(head up display) 장치 등 다양한 AR 장치에 적용될 수 있다.
현재 자동차 산업에서 HUD 장치의 사용이 점점 더 대중화되고 있다. HUD 장치는 운전자로부터 유한한 거리 혹은 무한한 거리만큼 떨어진 위치에 가상 영상을 생성하고, 가상 영상을 통해 사용자가 차량 속도, 엔진 상태, 전화 통화 등의 정보를 제공할 수 있다. 다른 외부 장치를 통해 이러한 정보를 제공하는 것은 사용자의 주의를 분산시킬 수 있다. 사용자는 HUD 장치를 통해 전방을 주시하면서 도로나 주행 상황에 집중할 수 있다.
AR 및 3차원 영상은 HUD 장치에 결합되어 주행 안전성을 더욱 향상시킬 수 있다. 예를 들어, 차선, 경로 표시 등의 네비게이션 정보, 위험 요인(예: 공사, 교통사고, 행인 등) 등의 정보가 AR 및 3차원의 HUD 영상을 통해 도로나 위험 요인의 실제 위치에 표시될 수 있고, 운전자는 실제 위치에 표시된 정보를 직관적으로 받아들일 수 있다.
일 실시예에 따르면, 증강 현실 장치는 각각 개별 특성을 갖는 단일 뷰 영상들을 포함하는 멀티-뷰 영상을 생성하고, 상기 생성된 멀티-뷰 영상을 구성하는 사출 동공을 생성하는 멀티-뷰 영상 생성 유닛; 상기 멀티-뷰 영상 생성 유닛에서 생성된 상기 사출 동공을 복제하는 도파관; 및 상기 개별 특성에 기초하여 상기 단일 뷰 영상들을 분리하고, 상기 단일 뷰 영상들의 뷰들에 대응하는 상기 아이 박스 내 시청 영역들에 상기 단일 뷰 영상들을 출력하여 3차원 영상을 생성하는 시청 영역 생성 유닛을 포함한다.
상기 단일 뷰 영상들은 서로 동일한 FOV(field of view)를 가질 수 있다.
상기 멀티-뷰 영상 생성 유닛은 적어도 하나의 광원, 빔 컴바이너, 적어도 하나의 영상 소스, 및 프로젝션 광학계를 포함할 수 있다.
상기 멀티-뷰 영상 생성 유닛은 각각 하나의 파장 또는 다른 파장들의 빛을 방출하도록 구성된 적어도 2개의 광원들을 포함할 수 있고, 상기 적어도 2개의 광원들은 상기 제어 유닛으로부터의 신호에 따라 동시에 또는 교대로 빛을 방출할 수 있다.
상기 빔 컴바이너는 다른 광원들로부터의 빛을 혼합하고, 혼합된 빛을 상기 영상 소스로 출력할 수 있다. 상기 빔 컴바이너는 미리 결정된 방향으로의 광 반사 또는 방향 전환을 제공하는 각각의 코팅을 갖는 광학 요소일 수 있다. 상기 광학 요소는 이색성 코팅, 또는 프리즘 또는 회절 요소들의 형태의 코팅을 갖는 유리 판일 수 있다. 상기 빔 컴바이너는 도파관-기반 컴바이너일 수 있다.
상기 도파관은 상기 사출 동공을 복제할 때 X 축 방향의 복제 및 Y 축 방향의 복제를 서로 다른 시간에 수행하거나, 혹은 동시에 수행할 수 있다. 상기 도파관은 인-커플링 요소, 확장기, 및 아웃-커플링 요소가 내장된 평면 기판에 해당할 수 있다.
상기 인-커플링 요소는 미리 결정된 각도를 갖는 빛을 상기 도파관으로 인-커플링하고, 상기 확장기는 상기 도파관 내의 상기 사출 동공을 복제하고, 상기 아웃-커플링 요소는 빛을 상기 도파관으로부터 미리 결정된 각도로 아웃-커플링할 수 있다.
상기 사출 동공이 X 축 및 Y 축을 따라 동시에 복제되는 경우, 상기 확장기, 상기 인-커플링 요소, 및 상기 아웃-커플링 요소는 회절 요소의 형태로 하나의 광학 요소로 결합될 수 있다.
상기 멀티-뷰 영상 생성 유닛에서 RGB 영상들이 생성되는 경우, 상기 도파관은 각각 상기 RGB 영상들 중 어느 하나의 색상의 영상을 변환하는 3개의 도파관들의 조합을 포함할 수 있다. 상기 멀티-뷰 영상 생성 유닛에서 RGB 영상들이 생성되는 경우, 상기 도파관은 각각 상기 RGB 영상들 중 어느 하나의 색상의 영상을 전달하는 2개의 도파관들의 조합을 포함할 수 있다. 상기 멀티-뷰 영상 생성 유닛에서 RGB 영상들이 생성되는 경우, 상기 도파관은 상기 RGB 영상들의 조합된 영상들을 변환하는 하나의 도파관을 포함할 수 있다.
상기 시청 영역 생성 유닛은 적어도 2개의 광학 어레이들의 스택, 및 상기 개별 특성에 기초하여 광 필터링을 수행하는 공간 마스크를 포함할 수 있다.
상기 공간 마스크는 수동 모드에서 상기 개별 특성 중 파장 및 편광 상태의 적어도 하나에 의한 광 필터링을 수행할 수 있다.
상기 공간 마스크는 능동 모드에서 상기 개별 특성 중 영상 생성 시간 조절에 의한 광 필터링을 수행할 수 있다.
상기 적어도 2개의 광학 어레이들의 스택은 상기 스택의 입력 및 출력에 망원 빔 경로를 제공할 수 있다. 상기 스택의 마이크로 렌즈 어레이들 각각은 원통형 렌즈 또는 구면 렌즈인 적어도 하나의 렌티큘러 렌즈를 포함할 수 있다. 상기 스택의 제1 마이크로 렌즈 어레이의 렌즈의 수는 상기 스택의 제2 마이크로 렌즈 어레이의 렌즈의 수와 동일할 수 있다. 상기 스택의 제1 어레이는 적어도 하나의 미러로 구성된 마이크로 미러 어레이이고, 상기 스택의 제2 어레이는 적어도 하나의 원통형 또는 구면 렌즈 어레이이고, 상기 제1 어레이의 미러의 수는 상기 제2 어레이의 렌즈 수에 대응할 수 있다. 상기 스택의 제1 마이크로 렌즈 어레이는 상기 도파관의 아웃-커플링 요소에 통합되어 빛을 아웃-커플링하고, 빛을 상기 공간 마스크 상에 포커싱할 수 있다.
수동 모드에서, 상기 공간 마스크는 내장된 간헐적 필터 세그먼트들을 갖는 흡수 소재 층이고, 상기 간헐적 필터 세그먼트들은 각각 상기 멀티-뷰 영상 생성 유닛의 광원으로부터의 광의 파장에 대응하는 미리 결정된 파장의 빛을 투과시킬 수 있다. 상기 필터 세그먼트들은 이색성 필터들일 수 있다. 수동 모드에서, 상기 공간 마스크는 S 편광, P 편광, 오른쪽 원편광(RHCP), 및 왼쪽 원편광(LHCP) 중 하나인 편광 상태에 기초하여 빛을 투과시킬 수 있다.
상기 공간 마스크는 하나의 스펙트럼 조성 또는 편광 상태를 갖는 영상을 좌안과 우안에 대해 교번하여 디스플레이할 수 있다.
능동 모드에서, 상기 공간 마스크는 하나의 스펙트럼 조성 또는 편광 상태를 갖는 영상을 좌안과 우안에 대해 교번하여 디스플레이할 수 있다. 능동 모드에서, 상기 공간 마스크의 동작 주파수는 상기 영상 소스의 프레임 변경 주파수에 동기화될 수 있다.
상기 증강 현실 장치는 눈 움직임을 감지하도록 구성된 검출기; 및 수동 모드에서 상기 공간 마스크를 쉬프트시키도록 구성된 액추에이터 장치를 더 포함할 수 있다.
상기 증강 현실 장치는 눈 움직임을 감지하도록 구성된 검출기; 및 능동 모드에서 영상 이동 정도를 상기 공간 마스크에 전송하는 제어 유닛을 더 포함할 수 있다. 상기 능동 모드에서, 상기 공간 마스크는 상기 영상 이동 정도에 맞추어 다음의 수학식에 따라 실시간으로 쉬프트될 수 있다.
Figure pat00001
-Pd는 쉬프트 양을 나타내는 동적 피치, M은 상기 스택의 제2 렌즈 어레이의 배율, Δx는 기준 위치로부터 눈이 움직인 양을 나타냄-
일 실시예에 따르면, 영상 생성 방법은 각각 개별 특성을 갖는 단일 뷰 영상들을 포함하는 멀티-뷰 영상을 생성하는 단계; 상기 생성된 멀티-뷰 영상을 구성하는 사출 동공을 생성하는 단계; 도파관을 이용하여 상기 사출 동공을 복제하는 단계; 상기 개별 특성에 기초하여 상기 단일 뷰 영상들을 분리하는 단계; 및 상기 단일 뷰 영상들의 뷰들에 대응하는 상기 아이 박스 내 시청 영역들에 상기 단일 뷰 영상들을 출력하여 3차원 영상을 생성하는 단계를 포함한다.
도 1은 다양한 실시예들에 따른 3차원 영상을 생성하는 방식을 나타낸다.
도 2는 다양한 실시예들에 따른 3차원 증강 현실을 제공하는 요소들을 나타낸다.
도 3은 다양한 실시예들에 따른 멀티-뷰 영상 생성 유닛의 구조를 나타낸다.
도 4는 다양한 실시예들에 따른 아이 박스 시청 영역 생성 유닛 및 도파관에 의한 사출 동공 영상 생성 방식을 나타낸다.
도 5는 다양한 실시예들에 따른 사출 동공 평면에서의 영상 생성 방식을 나타낸다.
도 6은 다양한 실시예들에 따른 공간 마스크의 수동 동작 모드에서의 영상 생성 방식을 나타낸다.
도 7은 다양한 실시예들에 따른 영상 소스 및 스캐닝 미러의 동작 파장을 나타낸다.
도 8은 다양한 실시예들에 따른 도파관의 구조를 나타낸다.
도 9는 다양한 실시예들에 따른 공간 마스크의 필터링 동작을 나타낸다.
도 10은 다양한 실시예들에 따른 렌즈 어레이들의 구조 및 시청 영역 생성 유닛을 나타낸다.
도 11은 다양한 실시예들에 따른 마이크로 렌즈 어레이들(LA1, LA2)의 스택 내 빔 경로들을 나타낸다.
도 12는 다양한 실시예들에 따른 시청 영역 생성 유닛 및 도파관 내의 광 경로를 나타낸다.
도 13은 다양한 실시예들에 따른 시청 영역들에 영상들을 생성하는 방식을 나타낸다.
도 14는 다양한 실시예들에 따른 다양한 광원 및 영상 소스들을 제공하는 멀티-뷰 PGU(picture generating unit)의 구조를 나타낸다.
도 15는 다양한 실시예들에 따른 공간 마스크의 능동 동작 모드의 동작을 나타낸다.
도 16은 다양한 실시예들에 따른 능동 동작 모드의 멀티-뷰 PGU의 동작을 나타낸다.
도 17은 다양한 영상 생성 시스템들의 아이 박스 내 영상 제공 동작들을 나타낸다.
도 18은 다양한 실시예들에 따른 영상들("A" 및 "B")의 디스플레이 과정을 나타낸다.
도 19는 다양한 실시예들에 따른 컴팩트(compact)한 폴더블(foldable) 빔 컴바이너의 구조를 나타낸다.
도 20은 다양한 실시예들에 따른 안경형 AR 글래스의 구조를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 사용되는 개념 및 용어는 다음과 같이 정의될 수 있다.
뷰(view)는 멀티-뷰(multi-view) 영상의 특정 시청 각도(viewing angle) 및/또는 해당 시청 각도에 대응하는 단일 2차원 영상을 의미할 수 있다.
시청 영역(viewing zone)은 특정 뷰 및/또는 각 단일 뷰 영상을 시청할 수 있는 사출 동공 평면(exit pupil plane) 내의 영역일 수 있다. 사출 동공 평면은 아이 박스(eye box)에 대응할 수 있다. 실시예들에서 시청 영역은 아이 박스 내에 공간 마스크(spatial mask) 영상으로 생성될 수 있다. 공간 마스크 영상은 렌즈 어레이에 의해 생성될 수 있다. 증강 현실(augmented reality, AR) 장치에서 사용되고, 영상 생성 유닛에 의해 제공되는 뷰들을 생성하는 광원들의 수는 시청 영역들의 수를 정의할 수 있다.
사출 동공은 가상 영상(virtual image)이 관찰되는 공간의 볼륨에 해당할 수 있다.
사출 동공 복제는 사출 동공의 크기를 증가시키는 것에 해당할 수 있다. 회절(diffraction) 또는 홀로그래픽 요소들, 또는 반투명 미러를 통해 빛을 인-커플링하고, 빛을 내부에서 전파하고, 빛을 점진적으로 아웃-커플링하도록 구성된 도파관(waveguide)들을 광학 시스템에 통합하여 사출 동공의 크기가 증가될 수 있다.
멀티-뷰 영상은 서로 다른 시청 각도들의 복수의 뷰들에 기초하여 생성된 3차원 영상일 수 있다. 실시예들에서 "멀티-뷰 영상"과 "3차원 영상"이라는 용어는 혼용되어 사용될 수 있다.
가상 영상 평면은 스테레오 페어(stereopair)와 같은 2개의 평면 영상들이 생성되는 평면일 수 있다.
스테레오 페어는 객체의 다양한 관찰 지점들에서 이 객체의 뷰들을 묘사하는 동일한 객체의 2차원 영상들의 쌍일 수 있다.
증강 현실(augmented reality, AR)은 가상 객체들을 현실 세계의 장면에 겹쳐서 표현하는 기술에 해당할 수 있다. AR은 현실 세계의 장면과 가상 객체가 하나의 영상 또는 공간에 중첩되게 가상 정보를 현실 세계에 적용하여 시청자에게 몰입감 있는 경험을 제공할 수 있다.
실시예들은 좌안과 우안에 대해 2개의 개별 영상들을 생성하고 시차 효과에 의해 시청자를 위한 3차원 영상을 생성할 수 있다.
이하 AR 관련 동작을 HUD(head up display) 실시예를 통해 설명하지만, HUD 실시예에 관한 설명은 AR 글래스와 같은 다른 AR 장치에도 적용될 수 있다.
도 1은 다양한 실시예들에 따른 3차원 영상을 생성하는 방식을 나타낸다. 3차원 영상은 스테레오 페어에 기초하여 생성될 수 있다. 스테레오 페어는(xL, yL, zL)의 좌안 및(xR, yR, zR)의 우안을 위한 개별 2차원 영상들을 포함할 수 있다. 결과적인 3차원 영상은 시청자로부터 D(m)의 거리에 생성될 수 있다. 3차원 영상의 위치는 스테레오 페어 출력의 좌표에 따라 달라질 수 있다. 도 1의 "화살표" 표시 및 "50m" 표시는 운전자가 보는 3차원 영상에 해당할 수 있다.
좌안과 우안을 위한 평면 영상들(예를 들어, 스테레오 페어)가 생성됨에 따라, 스테레오 출력 기술을 이용하여 3차원 영상이 생성될 수 있다.
양안을 통해 스테레오 페어를 시청하면 스테레오 페어에 의해 의도된 영상을 인식할 수 있고 3차원 영상을 시청하는 효과가 달성될 수 있다.
가상 영상 평면 상의 스테레오 페어 영상들 및 이들의 출력 좌표들을 변경하여 3차원 영상 위치가 변경될 수 있다.
실시예들에 따른 HUD 장치는 도 2의 요소들을 이용하여 사출 동공을 복제하여 3차원 AR을 구현할 수 있다.
도 2는 다양한 실시예들에 따른 3차원 증강 현실을 제공하는 요소들을 나타낸다. 도 2는 HUD의 실시예이며, 차량 운전자는 윤곽선으로 표시되어 있고, 실선은 차량 후드(본넷) 및 윈드쉴드를 나타내고, 점선은 HUD 장치에서 출력된 빛의 전파를 나타낸다. 점선 표시와 같이, 빛은 HUD 장치에서 출광되고 윈드쉴드에서 운전자의 눈을 향해 반사될 수 있다. 운전자는 윈드쉴드를 통해 도로와 가상 영상을 볼 수 있다. 가상 영상은 즉 HUD 장치에 의해 생성된 3차원 영상에 해당할 수 있다.
HUD 장치는 사출 동공 복제 기능을 가지고 3차원 영상을 통해 AR을 제공할 수 있다. HUD 장치는 적어도 2개의 뷰들(예: V1, V2, ..., Vn의 뷰들) 또는 영상 패턴들의 영상을 생성하도록 구성된 멀티-뷰 영상 생성 유닛(picture generation unit, PGU; 1)을 포함할 수 있다. 뷰들은 동일한 시야(field of view, FOV) 크기를 갖지만, 서로 다른 광 파장 및/또는 편광 상태, 및/또는 뷰 생성 시간(t)을 가질 수 있다. 뷰들은 광 파장 및/또는 편광 상태, 및/또는 뷰 생성 시간(t)을 통해 서로 구분될 수 있다.
HUD 장치는 멀티-뷰 PGU(1)의 사출 동공의 복제 및 무한대의 가상 영상의 생성을 실현하는 도파관(2) 및 적어도 2개의 마이크로 렌즈 또는 마이크로 미러 어레이들의 스택, 및 공간 마스크(spatial mask, SM)를 포함하는 시청 영역 생성 유닛(3)을 포함할 수 있다. 시청 영역 생성 유닛(3)은 도파관(2)을 빠져나가는 빔들을 위해 망원(telescopic) 빔 경로를 제공하고, 도파관(2)을 빠져나가는 빔들의 각도 분포를 유지할 수 있다. 2개의 마이크로 렌즈 어레이들의 스택은, HUD 장치의 사출 동공의 제2 렌즈 어레이에 대해 광학적으로 공액(conjugate)된 평면에 위치하는, 공간 마스크와 결합되어 사용될 수 있다. 렌즈 어레이들의 스택은 빔의 각도 방향을 유지하도록 구성될 수 있고, 공간 마스크는 사출 동공의 영역에 대해 공액된 평면에 위치할 수 있고, 아이 박스(4) 내에 뷰들(V1, V2, ..., Vn)에 대응하는 시청 영역들이 형성되도록 빛을 필터링할 수 있다. 아이 박스 내 시청 영역들은 공간 마스크의 투과 필터에 대응하는 빛의 조성이 다를 수 있다. 각 시청 영역은 멀티-뷰 PGU(1)에 의해 생성된 하나의 영상을 제공할 수 있다.
도 3은 다양한 실시예들에 따른 멀티-뷰 영상 생성 유닛의 구조를 나타낸다.
멀티-뷰 PGU(1)는 멀티-뷰 영상을 생성하고, 멀티-뷰 영상을 구성하는 사출 동공을 생성하도록 구성될 수 있다. 멀티-뷰 PGU(1)는 도 3에 개략적으로 도시된 것처럼 적어도 2개의 광원들(11, 12), 빔 컴바이너(또는 영상 컴바이너)(13), 영상 소스(14), 및 프로젝션 광학계(projection optics, 15)를 포함할 수 있다. 상술한 것처럼, 멀티-뷰 PGU(1)는 적어도 2개의 영상들을 생성하도록 구성될 수 있고, 생성된 영상들은 동일한(FOV) 크기를 갖지만 구별되는 특징을 가질 수 있다. 예를 들어, 영상들은 광 파장 및/또는 편광 상태가 다르거나, 영상 생성 시간(t)이 다를 수 있다.
멀티-뷰 PGU(1)는 도파관(2)과 함께 가상 AR 영상을 생성할 수 있다.
멀티-뷰 PGU(1)이 2개 이상의 광원들(11, 12)로 구성된 경우, 광원들(11, 12)은 동일한 파장 및 다른 파장들의 빛 모두를 방출하도록 구성된다. 예를 들어, 광원들(11, 12)은 450-480nm, 510-540nm, 610-650nm 대역의 RGB 빛을 방출할 수 있다. 광원들(11, 12)은 발광 다이오드(emitting diode), 레이저 다이오드(laser diode), 백열등(incandescent lamp) 등일 수 있다. 다만, 광원들(11, 12)의 파장 및 유형은 이들 예시에 제한되지 않는다.
빔 컴바이너(13)는 서로 다른 소스들로부터의 빛을 혼합 및 결합하고, 혼합된 빛을 영상 소스로 출력하도록 구성될 수 있다. 빔 컴바이너(13)는 이색성(dichroic) 미러 또는 멀티-채널 광학계일 수 있다. 예를 들어, 빔 컴바이너(13)는 도파관-기반 컴바이너일 수 있다.
영상 소스(14)는 디스플레이(예: LCOS(liquid crystal on silicon), DMD(digital micromirror device)) 또는 MEMS(micro electro mechanical systems) 스캐닝 시스템일 수 있고, 텍스트 및/또는 그래픽 정보를 출력하여 정보를 디스플레이할 수 있다.
프로젝션 광학계(15)는 렌즈들, 미러들, 및 편광 판들(polarization plates) 중 적어도 하나 이상으로 구성된 광학 유닛일 수 있고, 공간 영상을 동일한 FOV에서 각도 영상(angular image)으로 변환하여 도파관(2)으로 전달할 수 있다.
따라서, 멀티-뷰 PGU(1)는 각 시청 영역에 대응하는 빛을 정렬 및 결합하고, 이를 프로젝션 광학계(15)를 통해 도파관(2)에 전달할 수 있다.
시청 영역 생성 유닛(3) 및 도파관에 의한 사출 동공 영상 생성 방식을 도 4를 참조하여 설명한다.
도 4는 다양한 실시예들에 따른 시청 영역 생성 유닛 및 도파관에 의한 사출 동공 영상 생성 방식을 나타낸다.
시청 영역 생성 유닛(3)은 적어도 2개의 렌즈 어레이들(LA1, LA2)로 구성될 수 있다. 렌즈 어레이들(LA1, LA2)은 다수의 원통형 렌즈들(cylindrical lenses) 또는 구면 렌즈들(spherical lenses)로 구성될 수 있다. 제1 마이크로 렌즈 어레이(LA1)는 도파관(2)으로부터 수신된 가상 영상의 각도 분포를 공간 영상으로 변환하고, 공간 영상을 공간 마스크(SM)로 인-커플링하도록 구성될 수 있다. 제2 마이크로 렌즈 어레이(LA2)는 공간 영상을 각도 영상으로 변환하도록 구성될 수 있다. 마이크로 렌즈 어레이들(LA1, LA2)은 함께 영상들의 각도 방향들을 유지할 수 있고, 동시에 공간 마스크(SM)는 파장 및/또는 편광 상태로 빛을 필터링할 수 있다.
실시예들에 따르면, 공간 마스크(SM)는 광 투과 영역들(light transmitting zones)을 갖는 흡수 소재(absorbing material)의 얇은 층일 수 있고, 멀티-뷰 PGU(1)의 적어도 2개의 광원들에 의해 생성되고, 도파관(2)에서 복제된 빛은 파장 및/또는 편광 상태에 기초하여 공간 마스크(SM)에 의해 필터링될 수 있다. 이와 같이, 공간 마스크는 멀티-뷰 PGU(1)의 광원들에 의해 방출된 빛의 파장들 및 편광 상태들을 고려하여, 사출 동공 평면에서 뷰들의 위치에 따라 영상들을 필터링하도록 구성될 수 있다.
도파관(2)은 사출 동공을 복제하고 무한대의 가상 영상을 생성하도록 구성될 수 있다. 도파관(2)은 2개의 1차원 영상들을 통해(예를 들어, 먼저 Υ 축을 따라 그리고 다음으로 Y 축을 따라), 또는 하나의 2차원 영상을 통해(예를 들어, X 축과 Y축을 동시에 따라) 동공 복제를 제공할 수 있고, 멀티-뷰 PGU(1)에 의해 생성되어 복제된 사출 동공 영상을 인-커플링하고, 변환하고, 아웃-커플링할 수 있다.
시청 영역 생성 유닛(3)으로부터 아웃-커플링된 복제된 영상들은 증강 현실 장치(예: HUD 장치)의 사출 동공 평면에 도달할 수 있다. 사출 동공 평면에 스테레오 영상이 생성될 수 있고, HUD의 경우 스테레오 영상은 차량 운전자 및/또는 다른 탑승자에 의해 아이 박스(4) 내에서 시청될 수 있다. 따라서, 시청 영역 생성 유닛(3)은 각 시청 영역에 다양한 영상을 출력하여 3차원 영상을 생성할 수 있다.
도 5는 다양한 실시예들에 따른 사출 동공 평면에서의 영상 생성 방식을 나타낸다.
상술한 것처럼, 도파관(2)은 사출 동공 복제를 수행할 수 있고, 도파관(2)의 출력에 혼합 빔들이 형성될 수 있다. 출력은 멀티-뷰 PGU에 의해 생성되어 서로 혼합된 좌안과 우안을 위한 영상들에 대응할 수 있다. 다음으로 렌즈 어레이들(LA1, LA2)이 배열될 수 있다. 렌즈 어레이들(LA1, LA2)은 망원 빔 경로를 제공하고 무한대의 가상 영상을 생성하기 위한 초점 거리를 가질 수 있다. 렌즈 어레이들(LA1, LA2)은 무한대의 영상 생성을 제공하는 실질적인 망원 시스템일 수 있다.
렌즈 어레이들(LA1, LA2)은, 예를 들어 HUD의 경우에는 차량 탑승자(운전자 및/또는 다른 탑승자)의 아이 박스(4)에 대응하는 축을 따라, 수평으로 순차적으로 배열된 마이크로 렌즈들(예: 원통형 또는 구형)의 조합으로 구성될 수 있다. 제1 렌즈 어레이(LA1)는 제2 렌즈 어레이(LA2)의 전방 초점 면(front focal plane)에 빛을 포커싱할 수 있다. 공간 마스크(SM)는 제1 렌즈 어레이(LA1)와 제2 렌즈 어레이(LA2) 사이에 배치될 수 있다. 공간 마스크(SM)는 사출 동공 평면과 광학적으로 공액되는 평면에 배치될 수 있다. 제2 렌즈 어레이(LA2)는 공간 마스크(SM)의 영상을 사출 동공 평면으로 변환할 수 있다. 공간 마스크(SM)는 아이 박스(4)에 시청 영역들을 생성하도록 구성될 수 있다. 시청 영역들의 영상들은 스펙트럼 또는 편광 구성 측면에서 서로 다를 수 있다.
실시예들에 따른 공간 마스크(SM)는 능동 모드(active mode) 또는 수동 모드(passive mode)로 동작하도록 구성될 수 있다.
공간 마스크(SM)의 동작은 능동 모드에서, 시간(t)에 따라 각 눈을 위한 영상 디스플레이가 간헐적으로 조절될 수 있다.
공간 마스크(SM)의 동작은 수동 모드에서, 아이 박스(4) 내에서 몇몇 시청 영역들이 동시에 생성될 수 있고, 이와 관련하여 멀티-뷰 PGU는 각각의 시청 영역을 생성하기 위해 적어도 2개의 영상 소스들을 포함할 수 있다. 각 영상 소스는 멀티-뷰 PGU에서 다른 영상 소스와 각각 다른 특정 파장 또는 편광 상태를 가진 영상을 생성할 수 있다. 또한, 각 시청 영역에 대해 파장 또는 편광 상태가 다른 대응 영상이 존재할 수 있다. HUD의 경우 차량이 움직이면, 운전자의 아이 박스(4) 내에서의 위치가 바뀔 수 있고, 변화된 위치에 대응하는 영상이 눈에 들어올 수 있다.
도 6은 다양한 실시예들에 따른 공간 마스크의 수동 동작 모드에서의 영상 생성 방식을 나타낸다.
멀티-뷰 PGU(1)는 공간 마스크(SM)의 수동 동작 모드에서 스펙트럼 조성(spectral composition)이나 편광 상태가 다른 적어도 2개의 뷰들(V1 내지 Vn)을 생성할 수 있고, 공간 마스크(SM)의 능동 모드에서 시간(t)에 의해 구분되는 적어도 2개의 뷰들(V1 내지 Vn)을 생성할 수 있다.
멀티-뷰 PGU(1)는 적어도 하나의 광원(10) 및 적어도 하나의 영상 소스(14)를 포함할 수 있다.
일 실시예에 따르면, 예를 들어 공간 마스크(SM)의 수동 동작 모드에서, 멀티-뷰 PGU(1)는 적어도 2개 이상의 광원들 및 적어도 하나 이상의 영상 소스들을 포함할 수 있다. 도 6에는 하나의 광원(10) 및 하나의 영상 소스(14)가 도시되어 있으나, 이는 설명 및 이해의 편의를 위한 것이다. 2개 이상의 광원들이 존재하는 경우, 2개 이상의 광원들이 하나의 영상 소스와 매칭될 수 있다. 이 경우, 영상 소스는 특정 주파수에서 각 뷰에 대해 서로 다른 영상들을 생성할 수 있고, 광원들은 영상 소스(예: 디스플레이)를 간헐적으로 비출 수 있다. 이 경우, 공간 마스크(SM)의 필터는 시간에 따라 일정하게 유지될 수 있다.
멀티-뷰 PGU(1)는 좌안과 우안을 위한 적어도 2개의 영상들을 생성할 수 있고, 이 영상들은 파장이 서로 다르며 아이 박스(4)의 시청 영역에 대한 각 뷰들(V1, V2, ..., Vn)을 형성할 수 있다.
광원(10)으로부터의 빛은 프로젝션 광학계(15)를 통해 전달되어 인-커플링 요소(21), 확장기(expander, 22), 및 아웃-커플링 요소(23) 가 내장된 평면 기판(flat substrate)으로 구성된 도파관(2)에 도달할 수 있다. 도파관(2)은 회절 격자(diffractive gratings)와 같은 회절 요소로 구현될 수 있다. 도파관은 하나의 축(예: X 축 또는 Y 축) 및 2개의 축(예: X 축 및 Y 축 양자)을 따라 동공을 복제하도록 구성될 수 있다. 도파관은 멀티-뷰 PGU(1)에서 생성된 영상을 인-커플링하고, 도파관(2) 내에서 영상을 전파하고, 아웃-커플링하도록 구성될 수 있다. 도파관(2)에 대한 보다 상세한 설명은 도 8a 내지 도 8c를 통해 제공된다.
그런 다음, 영상은 시청 영역 생성 유닛(3)에 도달하는데, 이는 도파관(2)을 빠져나가는 빔들의 망원 경로를 제공할 수 있고 도파관(2)을 빠져나가는 빔들의 각도 분포를 유지할 수 있다. 시청 영역 생성 유닛(3)은 2개의 마이크로 렌즈 어레이들(LA1, LA2)의 스택으로 구성될 수 있고, 출사 동공의 제2 렌즈 어레이(LA2)에 대해 광학적으로 공액된 평면에 놓인 공간 마스크 (SM)와 결합되어 사용될 수 있다. 다른 수(예: 3개 이상)의 어레이들이 사용되는 것도 가능하다.
시청 영역 생성 유닛(3)에 포함된 스택의 어레이 수는 더 많을 수 있고, 어레이의 수는 광학 시스템의 FOV를 증가시킬 필요성 및/또는 광학 수차(optical aberrations) 보정의 필요성에 기초하여 규정될 수 있다.
공간 마스크(SM)는 내부에 교번하는 이색성 필터 세그먼트들이 내장된 흡수 소재의 얇은 층일 수 있고, 필터 세그먼트들 각각은 멀티-뷰 PGU(1)의 광원(10)의 파장 및 각각의 시청 영역에 대응하는 미리 결정된 파장을 갖는 빛을 투과할 수 있다. 렌즈 어레이들(LA1, LA2)의 스택은 빔들의 각도 방향을 유지하도록 구성될 수 있고, 공간 마스크(SM)는 아이 박스(4)와 함께 공액 평면에 있으며 아이 박스(4) 내의 뷰들(V1, V2, ..., Vn)에 대응하는 시청 영역들이 형성되도록 빛을 필터링할 수 있다. HUD의 경우, 빛은 시청 영역 생성 유닛(3) 이후에 차량의 윈드쉴드 평면에서 아이 박스(4) 평면으로 반사될 수 있다. 아이 박스(4) 내의 시청 영역들의 빛의 구성은 서로 다를 수 있다. 빛은 공간 마스크(SM)의 이색성 투과 필터에 대응할 수 있다. 시청 영역 각각은 멀티-뷰 PGU(1)에서 생성된 하나의 영상을 시청할 수 있도록 제공할 수 있다.
멀티-뷰 PGU(1)는 적어도 하나의 영상 소스(14)를 포함할 수 있다. 영상 소스(14)의 수는 1, 2, ..., n 개일 수 있다. 영상 소스(14)가 복수의 영상 소스들로 구성된 경우, 각 영상 소스는 시청 영역들의 뷰들(V1, V2, ..., Vn) 각각을 위한 자신의 영상을 포함할 수 있고, 아이 박스(4) 영역의 각각의 시청 영역들에 대응하는 특정 파장(λ1, λ2, ..., λn)에서 동작할 수 있다.
멀티-뷰 영상은 서로 다른 영상 소스들(예: 1, 2, ..., n)로부터의 영상들을 결합하여 멀티-뷰 PGU(1)에서 생성될 수 있다. 영상 소스들은 각각 특정 파장(λ1, λ2, ..., λn)에서 동작할 수 있다. 각 영상 소스는 도 7에서 설명될 각각의 스캐닝 미러(M1, M2, ..., Mn)를 가질 수 있다.
도 7은 다양한 실시예들에 따른 영상 소스 및 스캐닝 미러의 동작 파장을 나타낸다.
미러(M1)의 반사 스펙트럼(reflectance spectrum)은 파장(λ1)의 빛을 출력하는 광원(701)의 발광 스펙트럼(emission spectrum)에 대응할 수 있다. 파장(λ1)은 아이 박스 내에서 뷰(V1)가 보이는 시청 영역에 대응할 수 있고, 도 7a에 도시된 것처럼 미러(M1)는 오직 파장(λ1)의 빛만 반사할 수 있다. 반사된 빛은 스캐닝 미러(702), 프로젝션 광학계(703), 및 인-커플링 요소(704)를 통해 도파관(705)에 제공될 수 있다. 미러(Mn)의 반사 스펙트럼은 파장(λn)의 빛을 출력하는 광원의 발광 스펙트럼에 대응할 수 있고, 미러(Mn)는 오직 뷰(Vn)의 시청 영역에 대응하는 파장(λn)의 빛만 반사할 수 있다. 도 7b의 그래프는 미러(M1)의 반사 계수(reflectance coefficient)와 광원(701)에 의해 방출되는 빛의 파장(λ1) 사이의 의존성을 도시한다.
공간 마스크는 뷰들의 수(n)에 따라 빛을 투과하도록 구성될 수 있다. 실시예들에 따르면, 공간 마스크는 내부에 교번하는 이색성 필터 세그먼트들이 내장된 흡수 소재의 얇은 층일 수 있고, 필터 세그먼트들 각각은 멀티-뷰 PGU의 광원의 파장 및 각각의 시청 영역에 대응하는 미리 결정된 파장을 갖는 빛을 투과할 수 있다. 모든 뷰들은 동일한 FOV에서 생성되지만 스펙트럼 조성에 따라 공간에서 분리되어 아이 박스에 시청 영역을 생성할 수 있다.
멀티-뷰 PGU는 몇몇 모드에서 동작하도록 구성될 수 있다.
1) 멀티-뷰 PGU는 하나의 FOV를 갖지만 파장이 다른(예: λ1, λ2, ..., λn) n개의 영상들을 결합하여 멀티-뷰 영상을 생성하도록 구성될 수 있다. 각각의 파장에 기초하여 빛을 필터링하여 아이 박스 내에 시청 영역들을 동시에 생성하는 공간 마스크가 사용될 수 있고, 시청 영역들 영상들은 서로 다른 파장들을 가질 수 있다.
2) 멀티-뷰 PGU는 2개의 영상 소스들을 사용하여 2개의 시야 영역들에 2개의 영상들만 생성하여 스테레오 영상의 생성을 제공하지만, 눈이 움직일 때 좌안과 우안으로 영상을 볼 수 있도록 하기 위해, 공간 마스크는 수평 축(예: X 축)을 따라 쉬프트될 수 있다. 이는 영상들이 하나의 스펙트럼 구성 또는 편광 상태로 교번하여 좌안과 우안을 위한 영상들이 출력되기 때문이다.
3) 멀티-뷰 PGU는 n개의 영상들을 동일한 FOV를 갖지만 편광 상태(예: S 편광, P 편광, 오른쪽 원편광(right-hand circular polarization, RHCP), 및 왼쪽 원편광(left-hand circular polarization, LHCP))이 다른 영상들을 결합하여 멀티-뷰 영상을 생성하도록 구성될 수 있다.
4) 멀티-뷰 PGU는 하나의 스펙트럼 조성 또는 편광 상태를 갖는 하나의 영상 소스를 통해 스테레오 영상을 생성하고, 영상들을 좌안과 우안에 번갈아 디스플레이하기 위해 공간 마스크의 동작을 조절할 수 있다. (공간 마스크의 능동 동작 모드)
도 8a 내지 도 8c를 참조하여 실시예들에 따른 도파관을 더 설명한다.
도 8은 다양한 실시예들에 따른 도파관의 구조를 나타낸다.
도파관은 인-커플링 요소, 아웃-커플링 요소, 및 확장기가 회절 요소들의 형태로 내부에 내장된 얇은 평면 기판일 수 있다. 예를 들어, 회절 요소들은 회절 격자들, 홀로그래픽 광학 요소들, 반투명 미러들을 포함할 수 있다. 도파관은 도 8a에 도시된 것처럼 하나의 축(예: X 축)을 따라, 다음으로 나머지 축(예: Y 축)을 따라 동공을 복제할 수 있다. 또한, 도파관은 도 8b에 도시된 것처럼 동시에 2개의 축들(예: X 축 및 Y 축)을 따라 동공을 복제할 수 있다.
도 8a를 참조하면, 인-커플링 요소(811)는 도파관 내의 빛을 미리 결정된 빔 각도로 인-커플링하도록 구성될 수 있다. 확장기(812)(또는 복제기(replicator))는 도파관 내의 인-커플링된 빛을 하나의 축(예: X 축)을 따라 복제하고, 아웃-커플링 요소(813)의 영역으로 리디렉션하도록 구성될 수 있다. 아웃-커플링 요소(813)는 빛을 나머지 축(예: Y 축)을 따라 복제하고, 빛을 도파관으로부터 아웃-커플링하도록 구성될 수 있다. 도 8b는 동공 복제가 각 축에 대해 교대로 수행되지 않고 2개의 축들에서 동시에 수행되는 도파관의 구조를 나타낸다. 이 경우, 인-커플링 요소(821)는 도파관의 빛을 미리 정해진 빔 각도로 인-커플링하도록 구성될 수 있다. 확장기 및 아웃-커플링 요소는 하나의 회절 요소(822)로 결합되어, 2개의 축들(예: X 축 및 Y 축)을 따라 빛을 동시에 복제하고 미리 정해진 빔 각도에서 도파관의 빛을 아웃-커플링할 수 있다.
예를 들어, 아래의 구성을 통해 3색 영상이 생성될 수 있다. 예를 들어, 3색은 빨간색, 녹색, 파란색일 수 있고, 이들은 R, G, B로 지칭될 수 있다.
a) 3개의 도파관들의 조합. 각 도파관은 특정 색상(예: R, G, 또는 B)을 위해 사용됨.
b) 색상이 결합된 2개의 도파관들의 조합. 예를 들어, 어느 하나의 도파관은 B+G를 위해 사용되고, 다른 하나는 R을 위해 사용됨. 이와 달리, G+R이 어느 하나의 도파관에, B가 다른 하나의 도파관에 할당될 수 있음.
c) 결합된 색상(예: R+G+B)을 위한 1개의 도파관.
d) 서로 다른 도파관들의 조합에 해당하는 도파관. 각 도파관은 특정 색상(예: R, G, 또는 B) 및/또는 색상들의 조합(예: R+G 또는 R+G+B)을 위한 공통 영상의 하나의 각도 부분을 투과할 수 있음.
인-커플링 및 아웃-커플링 요소들은 회절 또는 홀로그래픽 요소들, 또는 반투명 미러들일 수 있다.
도 8c는 1차원 복제를 수행하는 도파관의 단면도를 나타낸다. 도 8c를 참조하면, 도파관(830)은 인-커플링 요소(831), 확장기(832), 및 아웃-커플링 요소(833)를 포함할 수 있고, 프로젝션 광학계(801)를 통해 제공된 영상의 FOV(α1 ... αm)와 동일한 FOV(α1 ... αm)에 영상들을 제공할 수 있다. α1 ... αm는 빛 방향들의 변동 범위일 수 있다. 영상들은 아이 박스로 출력될 수 있고, 사용자로부터 연속적으로 변하는 다양한 거리에 가상 영상을 생성할 수 있다.
도 9는 다양한 실시예들에 따른 공간 마스크의 필터링 동작을 나타낸다.
도 9a는 공간 마스크 필터의 투과율 계수와 파장 사이의 의존성 그래프 및 각각의 마스크 세그먼트들을 개략적으로 나타낸다.
각 마스크 세그먼트의 필터들(F1, F2, ..., Fn)의 수는 뷰들(V1, V2, ..., Vn)에 대응하는 아이 박스(901) 내 시청 영역들에 대응할 수 있다. 필터들(F1, F2, ..., Fn)은 파장들(λ1, λ2, ..., λn)에 대응하는 투과율을 가질 수 있다. 그래프는 필터(F1)의 투과율과 파장(λ1)의 대응 관계를 나타낼 수 있다. 영상 소스와 각각의 시청 영역은 공간 마스크의 각각의 이색성 필터(F1, F2, ..., Fn)에 대응할 수 있다. 각 파장들(λ1, λ2, ..., λn)에 대한 미러들(M1, M2, ..., Mn)(도 7a 참조)의 반사율 계수들은 각 파장들(λ1, λ2, ..., λn)에 대한 필터들(F1, F2, ..., Fn)의 투과율 계수들과 같을 수 있다.
뷰들(V1, V2, ..., Vn)의 영상들은 서로 다를 수 있다. 예를 들어, n=6인 경우, 뷰들(V1, V2, V3)의 영상이 어느 한쪽 눈에 결합되고 뷰들(V4, V5, V6)의 영상이 다른 한쪽 눈에 결합될 수 있다. HUD의 경우, 운전자의 눈의 각 위치에서, 각 눈은 각각의 영상을 볼 수 있다.
도 9b는 공간 마스크가 수동 모드에서 동작할 때 아이 박스(901)에 뷰들을 생성하는 방식을 나타낸다. HUD의 경우 차량이 움직일 때, 운전자는 다른 시점 위치에서 동일 객체를 바라보는 뷰들(V1 내지 Vn)을 보여주는 다른 영상들(예: 스테레오 영상들 또는 모조(pseudo) 3차원 영상들)을 볼 수 있다.
필터가 있는 공간 마스크(SM)의 각 세그먼트는 대응 영상 소스가 동작하는 각 파장(λ)에 대해 조절된 각 광 투과율 계수(F)로 특징지어질 수 있다. (도 9a 참조)
이와 관련하여, 공간 마스크(SM)에서 필터 세그먼트들의 종적 디멘젼(longitudinal dimension)은 다음과 같이 정의될 수 있다.
Figure pat00002
Figure pat00003
는 공간 마스크(SM)의 필터 세그먼트의 종적 디멘젼,
Figure pat00004
는 증강 현실 장치(예: HUD 장치)의 사출 동공의 종적 디멘전, M은 제2 렌즈 어레이(LA2)의 배율이다.
Figure pat00005
및
Figure pat00006
의 단위는 mm일 수 있다.
Figure pat00007
Figure pat00008
는 공간 마스크(SM)와 제2 렌즈 어레이(LA2) 사이의 거리,
Figure pat00009
는 제2 렌즈 어레이 (LA2)와 증강 현실 장치(예: HUD 장치)의 사출 동공 사이의 거리이다.
Figure pat00010
및
Figure pat00011
의 단위는 mm일 수 있다.
공간 마스크(SM)와 제2 렌즈 어레이(LA2) 사이의 거리는 다음과 같이 정의될 수 있다.
Figure pat00012
fLA2는 제2 렌즈 어레이(LA2)의 단위 렌즈의 초점 거리이다. fLA2의 단위는 mm일 수 있다.
렌즈 어레이들의 스택은 렌즈 어레이들(LA1, LA2)의 초점 거리들 및 렌즈 위치들이 망원 빔 경로를 형성하도록 선택될 수 있다. 예를 들어, 빔들은 렌즈 어레이의 입력 및 출력에서 평행할 수 있고, 이를 통해 무한대의 가상 영상이 생성될 수 있다. 렌즈 어레이의 렌즈들의 조합은 렌티큘러 렌즈(예: 원통형 렌즈) 또는 구면 렌즈 세트 형태로 선택될 수 있다. 렌즈 어레이의 렌즈 수는 1개 내지 n개일 수 있다. 제1 렌즈 어레이(LA1)의 렌즈 수는 제2 렌즈 어레이(LA2)의 렌즈 수와 일치할 수 있다.
도 10은 다양한 실시예들에 따른 렌즈 어레이들의 구조 및 시청 영역 생성 유닛을 나타낸다.
도 10a는 원통형 렌즈들을 포함하는 렌즈 어레이들(LA1, LA2)을 이용한 실시예를 도시한다. 렌즈 어레이들(LA1, LA2)의 원통형 렌즈는 사용자의 눈 위치에 동축(coaxial)인 수평 축(horizontal axis)을 따라 배열될 수 있고, 수평 축에 2개의 렌즈 어레이들(LA1, LA2) 및 공간 마스크(SM)를 포함하는 시청 영역 생성 유닛(1001)이 존재할 수 있다. 이 경우, 단 하나의 축을 따라 분포되도록 뷰들(V1, V2, ..., Vn)의 시청 영역들(1002)이 생성될 수 있다. 이러한 배열의 원통형 렌즈 구성에서 시청 영역들(1002)은 단 하나의 축에서만 생성될 수 있다. 도 10b는 시청 영역 생성 유닛(1051)이 구면 렌즈들을 포함하는 렌즈 어레이들(LA1, LA2)을 이용하는 실시예를 도시한다. 이 실시예에서, 렌즈 어레이들(LA1, LA2)의 구면 렌즈들은 2개의 축을 따라 시청 영역들(1052)을 생성할 수 있다.
도 11은 마이크로 렌즈 어레이들(LA1, LA2)의 스택 내 빔 경로들을 나타낸다. 도 11a 및 도 11b에는 제1 어레이(LA1)의 단위 렌즈 및 제2 어레이(LA2)의 단위 렌즈가 예시적으로 도시되어 있다.
상술한 것처럼, 렌즈 어레이들(LA1, LA2)은 광학 시스템의 입력 및 출력에서 망원 빔 경로를 제공하도록 선택될 수 있다. 렌즈 어레이 스택에 의해 제공되는 각도 배율(angular magnification)은 다음과 같이 나타낼 수 있다.
Figure pat00013
MLA는 각도 배율, fLA1은 제1 렌즈 어레이(LA1)의 단위 렌즈의 초점 거리, fLA2는 제2 렌즈 어레이(LA2)의 단위 렌즈의 초점 거리이다. 각 초점 거리의 단위는 mm일 수 있다.
도 11a의 실시예에서 다음과 같은 조건이 도출될 수 있다.
1) fLA1 = fLA2
렌즈 어레이들(LA1, LA2)에 포함된 렌즈의 초점 거리 f는 동일할 수 있다.
2) FOV1 = FOV2
렌즈 어레이들의 스택의 입력에서의 시야각(FOV1)은 출력에서의 시야각(FOV2)과 같을 수 있다.
3) MLA = 1
렌즈 어레이의 각도 배율(MLA)은 1일 수 있다.
4) DLA2effDLA2,
DLA2eff는 제2 렌즈 어레이(LA2)의 단위 렌즈의 유효 직경(effective diameter), 다시 말해 에너지 손실없이 빛이 투과되는 개구(aperture)이다.
DLA2는 제2 렌즈 어레이(LA2)의 단위 렌즈의 실제 직경이다. DLA2eff 및 DLA2는 mm 단위를 가질 수 있다.
제2 렌즈 어레이(LA2)의 렌즈들의 유효 직경은 제2 렌즈 어레이(LA2)의 렌즈들의 실제 직경보다 클 수 있고, 이에 따라 유용한 광이 손실될 수 있다.
도 11b의 실시예에서 다음과 같은 조건이 도출될 수 있다.
1) fLA1 fLA2
렌즈 어레이들(LA1, LA2)의 단위 렌즈의 초점 거리(f)가 다를 수 있다. 예를 들어, 제1 렌즈 어레이(LA1)의 단위 렌즈의 초점 거리(FLA1)가 제2 렌즈 어레이(LA2)의 단위 렌즈의 초점 거리(FLA2)보다 클 수 있다.
2) FOV1 FOV2
렌즈 어레이들의 스택의 입력에서의 시야각(FOV1)은 출력에서의 시야각(FOV2)보다 작을 수 있다.
3) MLA1
렌즈 어레이의 각도 배율(MLA)이 1보다 클 수 있다.
4) DLA2eff<DLA2,
제2 렌즈 어레이(LA2)의 단위 렌즈의 유효 직경은 제2 렌즈 어레이(LA2)의 단위 렌즈의 실제 직경보다 작을 수 있고, 이 경우 시스템에서 에너지 손실이 없을 수 있다.
따라서, 증강 현실 장치(예: HUD 장치)의 효율성은 다음과 같이 향상 될 수 있다.
1) 빛이 도파관으로부터 아웃-커플링되는 FOV는 렌즈 어레이들(LA1, LA2)의 출력에 형성된 최종 FOV보다 작게 선택될 수 있다.
2) 제2 렌즈 어레이(LA2)의 개구(DLA2eff)는 가상 영상의 스트라이프들을 방지하기 위해 선택될 수 있고, 이를 위해 공간 마스크의 평면에 확산기(diffuser)가 제공될 수 있다.
도 12는 다양한 실시예들에 따른 시청 영역 생성 유닛 및 도파관 내의 광 경로를 나타낸다.
도 12a를 참조하면, 시청 영역 생성 유닛은 적어도 2개의 렌즈 어레이들(LA1, LA2)을 포함할 수 있다. 렌즈 어레이들의 수(2개)는 하나의 예시에 불과하며, 시청 영역 생성 유닛은 다른 수(예: 3개 이상)의 렌즈 어레이들을 포함할 수 있다. 각각의 렌즈 어레이들(LA1, LA2)은 다수의 원통형 렌즈들 또는 구면 렌즈들을 포함할 수 있다. fLA1은 제1 렌즈 어레이(LA1)의 단위 렌즈의 초점 거리, fLA2는 제2 렌즈 어레이(LA2)의 단위 렌즈의 초점 거리, tw는 도파관의 두께이고 nw는 도파관의 굴절률(refraction index)이다.
제1 렌즈 어레이(LA1)는 도파관으로부터 수신된 가상 영상의 각도 분포를 공간 영상으로 변환하도록 구성될 수 있고, 후자를 공간 마스크(SM)에 인-커플링할 수 있다. 제2 렌즈 어레이(L
Figure pat00014
2)는 공간 영상을 각도 영상으로 변환하도록 구성될 수 있다. 마이크로 렌즈 어레이들(LA1, LA2)은 함께 영상의 각도 방향을 유지하면서 파장 및/또는 편광 상태에 기초하여 빛을 필터링할 수 있다. 필터링은 공간 마스크(SM)에서 수행될 수 있다. 렌즈 어레이(LA1)는 도파관의 아웃-커플링 요소에 통합되어 빛을 아웃-커플링하고 빛을 공간 마스크(SM)에 포커싱할 수 있다. 이러한 구성은 생성된 3차원 영상의 품질을 유지하면서 장치의 크기를 줄일 수 있다.
도 12b를 참조하면, 제1 렌즈 어레이(L
Figure pat00015
1)는 복수의 미러들로 구성된 미러 어레이일 수 있다. 제2 렌즈 어레이(L
Figure pat00016
2)는 복수의 원통형 렌즈들 또는 구면 렌즈들로 구성될 수 있다. 제1 렌즈 어레이(LA1)는 도파관 아래에 배치될 수 있고, 도파관에서 나온 빛은 제1 렌즈 어레이(LA1)가 있는 아래 방향으로 전파될 수 있다. 제1 렌즈 어레이(LA1)는 도파관으로부터 수신된 가상 영상의 각도 분포를 공간 영상으로 변환하고, 공간 영상을 공간 마스크(SM)로 인-커플링하도록 구성될 수 있다. 제2 렌즈 어레이(LA2)는 공간 영상을 각도 영상으로 변환하도록 구성될 수 있다.
도파관의 두께(tw)는 제1 렌즈 어레이(LA1)의 단위 미러의 초점 거리(fLA1)와 동일할 수 있다. fLA1 = tw/nw의 조건이 만족되면, 증강 현실 장치(예: HUD 장치)의 두께는 상당히 감소될 수 있다. 이 경우, 장치의 두께는 제1 렌즈 어레이(LA1)의 초점 거리(fLA1)의 양만큼 감소될 수 있다. 증강 현실 장치(예: HUD 장치)의 동작 모드 중 하나는 2개의 영상 소스들을 사용하여 2개의 시청 영역들에서 단지 2개의 영상만 생성하여 스테레오 영상을 생성하는 것이지만, 눈이 움직일 때 좌안과 우안을 통한 영상 시청을 제공하기 위해, 공간 마스크(SM)는 수평 축(예: X 축)을 따라 변위되어 하나의 스펙트럼 조성 또는 편광 상태의 영상들을 좌안과 우안을 위해 교번하여 출력할 수 있다.
증강 현실 장치(예: HUD 장치)의 이러한 동작 모드는 도 13을 참조하여 더 상세히 설명한다.
도 13은 다양한 실시예들에 따른 시청 영역들에 영상들을 생성하는 방식을 나타낸다.
도 13a는 사용자(예: 차량 운전자)의 눈 움직임이 없을 때 2개의 서로 다른 뷰의 시청 영역들(E1, E2)을 생성하는 방식을 나타낸다.
Figure pat00017
는 공간 마스크(SM)와 제2 렌즈 어레이(LA2) 사이의 거리,
Figure pat00018
는 제2 렌즈 어레이(LA2)와 증강 현실 장치(예: HUD 장치)의 사출 동공 사이의 거리, fLA2는 제2 렌즈 어레이(LA2)의 단위 렌즈의 초점 거리이다. 제2 렌즈 어레이(LA2)의 배율은 앞서 설명한 수학식 2와 같이 나타낼 수 있다.
도 13b는 사용자(예: 차량 운전자)의 눈이 움직일 때 2개의 서로 다른 뷰의 시청 영역들(E1, E2)을 생성하는 방식을 나타낸다. 예를 들어, 눈은 눈 위치(1301)로부터 눈 위치(1302)까지 Δx만큼 움직일 수 있다. 눈 움직임은 눈 검출기(1351)를 통해 추적될 수 있고, 눈 검출기(1351)로부터의 신호는 제어 유닛(예: 구동 기판(driving board, 1352))에 제공될 수 있다. 제어 유닛은 수평 축(예: X 축)을 따라서 공간 마스크(SM)의 필요한 쉬프트 정도를 계산할 수 있다. 쉬프트 정도는 ΔxSM=M*Δx과 같이 실시간으로 계산될 수 있다. ΔxSM는 쉬프트 양, M은 제2 렌즈 어레이(LA2)의 배율(magnification), Δx는 기준 위치로부터의 눈 움직임이다. Δx의 단위는 mm일 수 있다.
시청 영역들(E1, E2)의 폭(프로파일)을 조정하기 위해, Z 축을 따라 공간 마스크(SM)의 위치를 조절하는 것이 고려될 수 있다.
액추에이터 장치(예: 모터(1353))는 제어 유닛의 신호에 기초하여 공간 마스크(SM)를 이동시킬 수 있다.
도 14는 다양한 실시예들에 따른 다양한 광원 및 영상 소스들을 제공하는 멀티-뷰 PGU의 구조를 나타낸다.
도 14a는 하나의 단일 파장의 빛 및 다양한 파장들의 빛 모두를 방출하는 하나의 광원(1401)이 제공되는 멀티-뷰 PGU를 나타낸다. 빛은 증강 현실 장치(예: HUD 장치)의 선택된 동작 모드에 의존적인 제어 유닛(미도시)의 신호에 따라 방출될 수 있다. 빛은 다른 파장들을 통해 동시에 또는 교번하여 방출될 수 있다. 그런 다음, 빛은 프로젝션 광학계(1402)를 통해 빔 분할 큐브(beam splitting cube)(예: 편광 빔 분할기(polarization beam splitter, PBS; 1403))로 전달될 수 있다. 빛은 디스플레이(1406) 및 디스플레이(1407)의 형태의 영상 소스로 리디렉션되어 2가지 종류의 영상들 또는 영상 패턴들(예: 뷰들(V1, V2))을 생성 할 수 있다. 뷰들(V1, V2)은 동일한 크기의 FOV를 갖지만, 예를 들어 광 파장들 또는 편광 상태들을 통해 구분될 수 있다.
도 14a는 미리 정해진 편광 상태(예: 선형 P 편광 또는 S 편광)를 갖는 영상 소스에서 생성되는 영상을 제공하기 위해 각각 반사형 디스플레이들(1401, 1402) 앞에 배치된 2개의 쿼터-파장 판(QWP; 1404, 1405)을 포함하는 실시예를 나타낸다.
디스플레이(1406)와 디스플레이(1407)는 좌안과 우안을 위한 영상들을 생성할 수 있는데, 도 14a에 표시된 것처럼 이 영상들의 편광 상태 또는 파장은 서로 다를 수 있다. 디스플레이들(1406, 1407)은 영상 소스에 해당할 수 있다. 결과적인 2개의 영상들 중에 하나는 P 편광, 다른 하나는 S 편광일 수 있고, 이들은 프로젝션 광학계(1408)를 사용하여 공간 영상들로부터 동일한 FOV의 각도 영상들로 변환될 수 있고, 인-커플링 요소(1409)를 통해 도파관(1410)에 제공될 수 있다. LCOS 디스플레이가 디스플레이들(1406, 1407)로 사용되는 경우 쿼터-파장 판(QWP) 및 반-파장 판(HWP)과 같은 2개의 편광 요소들이 사용될 수 있다. QWP는 선형 편광을 원 편광으로 변환하는 쿼터-파장 판이고, HWP는 편광 상태를 90도 회전시킬 수 있다.
도 14b는 2개 이상의 광원들(1453, 1454)을 갖는 멀티-뷰 PGU를 나타낸다. 예를 들어, 광원들(1453, 1454)은 하나의 단일 파장으로 빛을 방출하는 레이저 발광 다이오드일 수 있다. 예를 들어, 광원들(1453, 1454)은 하나의 단일 색상 또는 다중 색상의 빛을 출력할 수 있다. 광원들(1453, 1454)은 램프, 발광 다이오드(light emitting diode, LED), 또는 레이저 다이오드(laser diode, LD)일 수도 있다. 빛은 HUD의 선택된 동작 모드에 의존적인 제어 유닛(미도시)의 신호에 따라 방출될 수 있다. 제어 유닛으로부터의 신호에 따라 교대로 기능하는 스캐닝 미러(1455) 및 스캐닝 미러(1456)에 빛이 제공될 수 있고, 스캐닝 미러들(1455, 1456)은 각각 Υ 및 Y의 2개의 축들을 중심으로 회전하고 좌안과 우안을 위한 2D 영상을 생성하도록 구성될 수 있다. 따라서, 스캐닝 미러들(1455, 1456)은 영상 소스에 해당할 수 있다. 광원(1453)과 스캐닝 미러(1455)는 프로젝터(1451)를 구성할 수 있고, 광원(1454)과 스캐닝 미러(1456)는 프로젝터(1452)를 구성할 수 있다. 예를 들어, 프로젝터들(1451, 1452)은 레이저 빔 프로젝터에 해당할 수 있다.
도 14b에서 편광기들(polarizers; 1458, 1459)은 하나의 편광 성분(선형 S, 선형 P, 오른쪽 원형(right-hand circular), 또는 왼쪽 원형(left-hand circular))만으로 빛을 투과시킬 수 있는 편광 요소일 수 있다.
QWP들(1460, 1461)은 선형 편광을 원형 편광으로 변환하는 쿼터-파장 판일 수 있다.
따라서, 광원(1453) 및 스캐닝 미러(1455)의 형태의 영상 소스는 영상(예: 우안 용 영상)을 생성하는 프로젝터(1451)를 구성할 수 있고, 영상은 선형으로 편광된 편광기(1458)를 통과한 다음 쿼터-파장 판(QWP, 1460)을 통과할 수 있다. 선형 편광 영상은 QWP(1460)를 통해 원형 편광 영상(예: RHCP 영상))으로 변환될 수 있고, 이는 편광 빔 분할기(PBS, 1457)에 제공될 수 있다. 광원(1454) 및 스캐닝 미러(1456)의 형태의 영상 소스는 영상(예: 좌안 용 영상)을 생성하는 프로젝터(1452)를 구성할 수 있다. 영상은 편광기(1459) 및 쿼터-파장 판(QWP, 1461)을 통과하여 원형 편광 영상(예: LHCP 영상)으로 변환될 수 있고, 이는 PBS(1457)에 제공될 수 있다. PBS(1457)에서 RHCP 및 LHCP 편광 이미지는 결합되어 프로젝션 광학계(1462)를 통해 도파관(1464)에 전달될 수 있다. 하나는 RHCP 편광이고 다른 하나는 LHCP 편광인 2개의 영상들은 프로젝션 광학계(1462)를 통해 공간 영상들에서 동일 FOV의 각도 영상들로 변환될 수 있고, 이는 인-커플링 요소(1463)를 통해 도파관(1464)에 전달될 수 있다.
영상 소스는 마이크로스코픽 발광 다이오드(microscopic light emitting diode, uLED)를 백라이트로 사용하는 자체-발광 디스플레이(self-luminous display), 액정 디스플레이(liquid crystal display, LCD), 반사형 액정 디스플레이(예: LCOS), 디지털 마이크로미러 디바이스(예: DMD), 및 스캐닝 미러 기반 영상 생성 장치(예: 레이저 빔 프로젝터) 중 하나일 수 있다.
도 15는 다양한 실시예들에 따른 공간 마스크의 능동 동작 모드의 동작을 나타낸다.
도 15a는 능동 동작 모드에서 2개의 서로 다른 뷰의 시청 영역들(E1, E2)을 생성하는 방식을 나타낸다.
도 15b는 증강 현실 장치(예: HUD 장치)의 사용자(예: 운전자)의 눈 위치가 움직일 때 공간 마스크(SM)의 능동 동작 모드에서 2개의 서로 다른 뷰의 시청 영역들(E1, E2)을 생성하는 방식을 나타낸다.
공간 마스크(SM)의 능동 동작 모드에서, 영상은 각 눈에 대해 교번하여 표시될 수 있다. 능동 모드에서 동작하기 위해 영상 소스(예: 디스플레이)와 공간 마스크(SM)의 동작은 동기화될 수 있다. 이 동작 모드는 하나의 영상 소스와 하나의 프로젝션 광학 장치로 구현될 수 있다.
능동 동작 모드에서 멀티-뷰 PGU(1522)는 하나의 스펙트럼 조성과 하나의 편광 상태를 갖는 하나의 영상 소스로 2개의 영상들을 생성하여 스테레오 영상을 생성할 수 있다. 공간 마스크(SM)의 동작은 아이 박스에서 좌안과 우안에 대한 영상(E1과 E2의 영상)을 교대로 표시하기 위해 조정될 수 있다. 따라서 공간 마스크(SM)는 왼쪽 시청 영역(예: E1)과 오른쪽 시청 영역(예: E2)에 영상을 출력하는 2가지 모드들로 동작할 수 있다. 공간 마스크(SM)의 패턴 변경 주파수(예: 동작 주파수)는 영상을 생성할 때 멀티 뷰 PGU(1522)의 디스플레이의 프레임 변경 주파수와 같거나 가까울 수 있다.
이 경우 공간 마스크(SM)는 흑백 줄무늬들로 구성된 마스크 패턴이 출력되는 공간 광 변조기(spatial light modulator; 예: 투명 LCD(liquid crystal display))일 수 있다.
공간 마스크(SM)는 줄무늬가 흰색인 경우 빛을 투과하고 줄무늬가 검은색인 경우 빛을 차단할 수 있다. 이 경우 공간 마스크(SM)는 필터로 동작할 수 있다. 한편 마스크 패턴(예: 폭 및 줄무늬 순서)은 증강 현실 장치(예: HUD 장치)의 사출 동공에서 오직 한쪽 눈 영역(오른쪽 또는 왼쪽)만 비추도록 선택될 수 있다. 이 경우, 하나의 시청 영역만 생성될 수 있다.
공간 마스크(SM)에 2개의 마스크 패턴들이 생성되어 좌안과 우안을 비출 수 있다. 이러한 마스크 패턴들은 번갈아 가며 서로를 따를 수 있다. 따라서 하나 또는 나머지 하나의 시청 영역이 특정 주파수로 간헐적으로 밝혀질 수 있다. 동시에 멀티-뷰 PGU(1522)는 공간 마스크(SM)가 동작하는 것과 동일한 주파수로 좌안과 우안을 위한 영상들을 간헐적으로 생성할 수 있다. 따라서 사용자(예: 차량 운전자)는 좌안과 우안으로 서로 다른 영상을 볼 수 있다. 사용자의 눈이 움직이면, 시간(t) 동안 공간 마스크(SM)에 투과 필터 패턴이 출력될 수 있다. 도 15a의 방식에서 t2는 공간 마스크(SM)에서 필터를 출력하는 시간을 나타내며, 이 필터는 우안을 위한 시청 영역(E2)을 생성할 수 있다. 따라서, 도 15a는 또한 시청 영역(E1)이 활성화되지 않은 채(다시 말해, 영상이 없는 채) 시청 영역(E2)이 활성화된(다시 말해 영상이 있는) 상태를 나타낼 수 있다.
공간 마스크(SM)의 동작을 위해 정적 피치(Ps)가 계산될 수 있다. 예를 들어, 정적 피치는 제2 렌즈 어레이(LA2)의 각 렌즈로부터의 시청 영역들의 위치들 및 정확한 중첩을 정의하는 공간 마스크(SM)의 공간 피치일 수 있다. 공간 마스크(SM)의 정적 피치 Ps(mm)는 다음과 같이 계산될 수 있다.
Figure pat00019
Ps는 정적 피치이고, PLA2는 제2 렌즈 어레이(LA2)의 주기이다. Ps 및 PLA2의 단위는 mm일 수 있다. M은 제2 렌즈 어레이(LA2)의 배율이며, 앞서 설명한 수학식 2와 같이 나타낼 수 있다.
정적 피치(Ps)는 공간 마스크(SM)의 특성을 결정할 수 있고, 제2 렌즈 어레이(LA2)의 주기와 일치할 필요가 있다. 도 15b는 우안의 시청 영역(E2)을 생성하는 공간 마스크(SM)에서 필터를 출력하는 시간(t4)에서 사용자의 눈이 위치(1501)에서 위치(1502)로 Δx만큼 움직일 때, 공간 마스크(SM)의 능동 동작 모드에서 2개의 시청 영역들(E1, E2)을 생성하는 방식을 나타낸다.
도 15b에 따르면, 사용자 또는 차량 운전자의 눈 위치가 변하면 눈의 움직임을 Δx로 특정하는 신호가 검출기(1521)에 제공될 수 있고, 제어 유닛(1523)은 영상의 이동 정도를 나타내는 신호를 공간 마스크(SM)에 보낼 수 있다. 예를 들어, 이동 정도는 픽셀 수로 특정될 수 있고, 픽셀 수 특정을 위해 마스크 쉬프트의 공간 피치를 픽셀로 특화하는 동적 피치(Pd)가 이용될 수 있다. 또한, 공간 마스크(SM)의 동작 주파수는 동기화 유닛(synchronization unit, 1524)로부터의 신호를 통해 동기화될 수 있는데, 이는 영상이 생성될 때 PGU의 영상 소스의 프레임 변경 주파수와 동일할 수 있다.
동적 피치 Pd는 다음과 같이 정의될 수 있다.
Figure pat00020
M은 제2 렌즈 어레이(LA2)의 배율, Δx는 기준 위치로부터 사용자(예: 운전자)의 눈이 움직인 양이다. Pd 및 Δx의 단위는 mm일 수 있다. Pd는 도 13b를 통해 설명한 ΔxSM과 실질적으로 동일한 값일 수 있다.
도 15a 및 도 15b에서 공간 마스크 및 PGU의 능동 동작 모드를 상세히 설명했다.
도 16은 다양한 실시예들에 따른 능동 동작 모드의 멀티-뷰 PGU의 동작을 나타낸다.
도 16a는 하나의 스펙트럼 조성 또는 하나의 편광 상태로 빛을 방출하는 하나의 광원(1601)을 제공하는 멀티-뷰 PGU를 나타낸다. 빛은 프로젝션 광학계(1602)를 통해 빔 분할 큐브(예: PBS(1603))로 전달될 수 있다. 빔 분할 큐브에서 빛은 디스플레이(1604)의 형태의 영상 소스로 리디렉션될 수 있다. 디스플레이(1604)의 영상 소스는 좌안과 우안을 위한 2개의 영상들을 교대로 생성하도록 구성될 수 있다. 결과 영상들은 QWP(1605)를 통해 프로젝션 광학계(1606)에 전달될 수 있고, 프로젝션 광학계(1606)는 결과 영상들에 대응하는 공간 영상들을 동일한 FOV의 각도 영상들로 변환할 수 있다. 각도 영상들은 인-커플링 요소(1607)를 통해 도파관(1608)에 제공될 수 있다.
이러한 구조는 매우 저렴하고 용이하게 구현될 수 있다. 다만, 능동 동작 모드는 공간 마스크(SM)와 영상 소스의 동작 간의 동기화를 요구할 수 있다.
영상 소스는 마이크로스코픽 발광 다이오드(uLED)를 백라이트로 사용하는 자체-발광 디스플레이, 액정 디스플레이(LCD), 반사형 액정디스플레이(예: LCOS), 디지털 마이크로미러 디바이스(예: DMD), 및 스캐닝 미러 기반 영상 생성 장치(예: 레이저 빔 프로젝터) 중 하나일 수 있다.
도 16b는 능동 동작 모드에서 스캐닝 미러(1653) 기반 영상 유닛을 갖는 멀티-뷰 PGU를 나타낸다.
도 16b의 멀티-뷰 PGU는 스캐닝 미러(1653)를 포함하는 LBS(laser beam scanning) 기술을 사용할 수 있다. R, G, B 레이저 형태의 광원(1652)은 각 파장의 빛을 방출할 수 있고, 이는 스캐닝 미러(1653)에 교번하여 제공될 수 있다. 스캐닝 미러(1653)는 Υ와 Y의 2개의 축들을 중심으로 회전하도록 구성될 수 있고, 좌안과 우안을 위한 2D 영상을 각각 생성할 수 있다. 따라서, 스캐닝 미러(1653)가 영상 소스에 해당할 수 있다. 광원(1652) 및 스캐닝 미러(1653)는 레이저 빔 프로젝터와 같은 프로젝터(1651)를 구성할 수 있다. 프로젝터(1651)는 시간(t1, t3, t5, ..., t2k-1)에 각각 어느 하나의 눈을 위한 영상을 생성할 수 있고, 시간(t2, t4, t6, ..., t2k)에 각각 다른 하나의 눈을 위한 영상을 생성할 수 있다.
결과 영상들은 프로젝션 광학계(1654)를 사용하여 공간 영상들로부터 동일한 FOV의 각도 영상들로 변환될 수 있고, 각도 영상들은 인-커플링 요소(1655)를 통해 도파관(1656)에 제공될 수 있다.
상술한 것처럼, 능동 모드는 영상이 생성될 때 공간 마스크(SM)의 동작 주파수(프레임 변경)가 영상 소스(이 경우, 프로젝터)의 프레임 변경 주파수와 동일할 것을 요구할 수 있다. 이 요구 사항은 도 15b와 같이 제어 유닛의 신호를 기반으로 공간 마스크 및 영상 소스의 동작을 조절하는 동기화 유닛을 회로에 포함함으로써 충족될 수 있다.
도 16ρ는 능동 모드에서 동작하는 공간 마스크(SM)의 구조를 나타낸다. 공간 마스크(SM)는 공간 광 변조기(예: LC 패널)일 수 있고, 빛을 투과하거나 차단하는 마스크 패턴을 출력할 수 있다. 마스크 패턴은 흑백 줄무늬들로 구성될 수 있다.
줄무늬가 흰색인 곳에서는 단위 마스크 필터(E2)가 빛을 투과할 수 있고, 줄무늬가 검은색인 곳에서는 단위 마스크 필터(E1)가 빛을 차단할 수 있다. 이 경우 단위 마스크 필터들(E1, E2)을 갖는 공간 마스크(SM)는 필터로 동작할 수 있다.
단위 마스크 필터(E2)에 대해 투과 상태는 시간(t2, t4, t6, ..., t2k)에 대응하고, 흡수 상태(빛 차단)는 시간(t1, t3, t5, ..., t2k-1)에 대응할 수 있다.
단위 마스크 필터 (E1)의 경우 투과 상태는 시간(t1, t3, t5, ..., t2k-1)에 대응하고 흡수 상태(빛 차단)는 시간(t2, t4, t6, ..., t2k)에 대응한다.
하나의 뷰를 생성하기 위한 공간 마스크(SM)의 대역폭, 다시 말해 마스크를 위한 단위 필터 디멘젼(lm)은 다음과 같이 정의될 수 있다.
Figure pat00021
n은 단위 대역의 각 뷰에 대한 픽셀 수이다. P는 마스크 매개 변수에 해당하는 정적 피치(Ps) 및 동적 피치(Pd) 기반으로 정의된 픽셀 피치이다. 정적 피치(Ps) 및 동적 피치(Pd)는 도 15a 및 도 15b에서 설명되었다. lm 및 P는 mm 단위를 가질 수 있다. 마스크 패턴(폭 및 줄무늬 순서)은 증강 현실 장치(예: HUD 장치)의 사출 동공에서 한쪽 눈(오른쪽 또는 왼쪽)을 위한 영역만 조명되도록, 다시 말해 하나의 시청 영역이 생성되도록 선택될 수 있다.
공간 마스크에 좌안과 우안을 비추기 위한 2개의 마스크 패턴들이 생성될 수 있다. 이러한 마스크 패턴들은 교번하여 바뀔 수 있다. 따라서, 하나의 시청 영역과 나머지 시청 영역이 특정 주파수로 교번하여 켜질 수 있다. 동시에, PGU는 공간 마스크가 동작하는 동일한 주파수에서 좌안과 우안을 위한 영상을 간헐적으로 생성할 수 있다.
실시예들에 따른 사출 동공 복제 기능이 있는 증강 현실 장치(예: HUD 장치)는 3차원 AR 영상을 제공할 수 있다. 증강 현실 장치(예: HUD 장치)의 멀티-뷰 PGU는 서로 다른 시청 각도의 복수의 뷰들로부터 생성된 복수의 이미지들로 구성된 멀티-뷰 영상을 생성할 수 있다. 도파관은 장치 소형화 및 5리터 미만의 부피를 제공할 수 있고, 동공 복제를 제공하여 넓은 사출 동공을 생성할 수 있다. 시청 영역 생성 유닛은 필터 형태의 공간 마스크 패턴을 사출 동공의 평면으로 변환하여 시청 영역들을 생성할 수 있고, 이에 따라 3차원 영상을 제공할 수 있다.
도 17은 다양한 영상 생성 시스템들의 아이 박스 내 영상 제공 동작들을 나타낸다.
도 17a는 하나의 디스플레이(1701) 및 하나의 광 파장을 이용한, 도파관-기반 영상 생성 시스템의 구조를 나타낸다. 여기서 생성된 영상은 프로젝션 광학계 및 도파관을 통해 아이 박스에 출력될 수 있다. 이 경우, 양안에 동일한 영상들(1705, 1706)이 제공될 수 있다.
도 17b는 서로 다른 파장의 2개의 디스플레이들(1711, 1712)를 이용한 영상 생성 시스템의 구조를 나타낸다. 여기서 생성된 2개의 영상들은 프로젝션 광학계를 통해 도파관에 제공될 수 있고, 도파관에서 아웃-커플링되어 아이 박스에서 중첩되어 제공될 수 있다. 이 경우, 양안은 중첩된 상태의 동일한 영상들(1715, 1716)을 볼 수 있다.
도 17c는 각 눈을 위해 별도의 영상들이 생성되고, 멀티-뷰 PGU가 제공되고, 실시예들에 따른 사출 동공 복제 기능을 갖춘 증강 현실 장치(예: HUD 장치)의 구조를 나타낸다. 멀티-뷰 PGU는 서로 다른 파장으로 동작하는 2개의 디스플레이들(1721, 1722)(단, 디스플레이 수는 다르게 실시될 수 있음), 동공 복제를 제공하는 도파관, 및 적어도 2개의 렌즈 어레이들(LA1, LA2)(단, 렌즈 어레이들의 수는 다르게 실시될 수 있음) 및 공간 마스크(SM)로 구성된 시청 영역 생성 유닛을 포함할 수 있다. 공간 마스크(SM)는 필터 형태의 공간 마스크 패턴을 사출 동공 평면으로 변환할 수 있고, 각 눈을 위한 별도의 영상이 사출 동공 평면에서 생성될 수 있다. 그 결과, 좌안과 우안을 위한 영상들(1725, 1726)이 스테레오 페어를 형성하고, 3차원 영상이 시청될 수 있다.
도 18은 다양한 실시예들에 따른 영상들("A" 및 "B")의 디스플레이 과정을 나타낸다.
영역(1810)은 2개의 디스플레이들을 이용하여 "A" 영상 및 "B" 영상을 제공하는, 실시예들에 따른 증강 현실 장치(예: HUD 장치)의 구조를 도시한다.
예를 들어, 디스플레이들(1801, 1802)이 각각 λ=519nm 및 λ=520nm의 유사한 파장으로 동작하는 영상 변환이 모델링될 수 있다. 공간 마스크(SM)는 영상 전달을 가능하게 하는 협 대역 이색성 필터들을 사용할 수 있다. 본 예시에 따르면 λ=519nm 및 λ=520nm의 파장의 필터들이 사용될 수 있다. 이 경우, 사용자는 좌안과 우안의 각 위치에 대해 "A"와 "B"의 다른 녹색 영상을 볼 수 있다. 좌안과 우안의 영상이 스테레오 페어를 구성하면 3차원 영상이 생성될 수 있다.
영역(1820)은 영역(1810)의 증강 현실 장치(예: HUD 장치)에 따른 빔 형상, 및 λ=519nm 및 λ=520nm에서 좌안과 우안을 위한 아이 박스(1821)의 영상들을 결정하는 빔들의 전파를 나타낸다.
영역(1830)은 아이 박스(1821)의 우안의 망막에 생성된 영상(1831)과 좌안의 망막에 생성된 영상(1832)을 나타낸다. 이들에 실질적인 색상 차이가 없을 수 있다. 다시 말해, 눈은 약 1nm의 파장 차이를 구분하기 어려울 수 있다.
3차원 영상을 생성하도록 구성된 사출 동공 복제 기능이 있는 HUD 장치는 5리터 미만의 부피를 가진 컴팩트 솔루션을 제공할 수 있고, 이에 따라 모든 차량의 계기판(vehicle instrument panels)에 통합될 수 있거나 계기판을 대체할 수 있다.
또한, 실시예들에 따른 HUD 장치는 스테레오 영상 및 가상 영상을 무한대로 생성하여 운전자의 높은 집중력과 안전성을 확보할 수 있다. 예를 들어, 실제 교통 상황에 대응하는 스테레오 영상이 생성될 수 있고, 운전자는 네비게이션 정보를 포함한 도로 또는 주변에 집중하는 동시에 속도, 엔진 상태, 전화 통화에 대한 정보를 제공받을 수 있다. 또한, 운전자는 다른 외부 장치의 사용으로 인해 주의를 분산시킬 수 있는 기타 외부 정보를 더 제공받을 수 있다.
증강 현실 장치(예: HUD 장치)는 렌즈 어레이들 및 각각의 공간 마스크로 구성된 시청 영역 생성 유닛 및 도파관을 결합하여 사용하여 아이 박스에 스테레오 영상을 생성할 수 있다. 이러한 구조는 기존의 무 안경 입체 디스플레이의 유사한 솔루션에 비해 장치의 부피를 크게 감소시킬 수 있다.
HUD 장치는 대량 생산을 통한 저렴한 비용으로 모든 유형의 차량에 편리하게 통합될 수 있다.
증강 현실 장치는 태블릿 또는 랩톱과 같은 소형 휴대용 장치 및 원격 회의 시스템에서도 사용될 수 있다.
도 19는 다양한 실시예들에 따른 컴팩트(compact)한 폴더블(foldable) 빔 컴바이너의 구조를 나타낸다.
도 19a는 폴더블 빔 컴바이너(1904)를 사용하는, 실시예들의 소형 장치의 구조를 나타낸다.
도 19b는 빔 리디렉션 기능을 갖는 빔 컴바이너(1954)가 사용되는, 실시예들에 따른 소형 장치의 구조를 나타낸다.
이러한 장치들은 각각 멀티-뷰 PGU(1901, 1951), 도파관(1902, 1952), 시청 영역 생성 유닛(1903, 1953), 및 빔 컴바이너(1904, 1954)를 포함할 수 있고, 이러한 구성을 포함하는 다른 실시예들의 증강 현실 장치(예: HUD 장치)와 동일 또는 유사하게 동작할 수 있다. 빔 컴바이너(1904, 1954)는 영상을 아이 박스로 반사하거나 리디렉션할 수 있는 각각의 코팅이 있는 유리 판일 수 있다. 이를 위해, 판에 반사 코팅이 적용(예: 빔 컴바이너(1904)의 경우)되거나, 혹은 회절 패턴들 및/또는 프리즘 패턴들이 적용(예: 빔 컴바이너(1954)의 경우)될 수 있다. 아이 박스를 향한 빔 반사 각도는 도 19a와 같이 빔 컴바이너(1904)에 의해 직접 정의되거나, 혹은 도 19b와 같이 PGU(1951)를 나갈 때 프로젝션 광학계에 의해 빔 각도가 정의된 다음, 빔 컴바이너(1954)를 통해 아이 박스로 리디렉션될 수 있다.
도 20은 다양한 실시예들에 따른 안경형 AR 글래스의 구조를 나타낸다.
실시예들에 따른 증강 현실 장치는 AR 글래스에도 사용될 수 있으며, 도 20은 그 방식을 나타낸다. AR 글래스는 멀티-뷰 PGU(2001), 도파관(2002), 시청 영역 생성 유닛(2003), 및 빔 컴바이너(2004)를 포함할 수 있고, 이러한 구성을 포함하는 다른 실시예들의 증강 현실 장치(예: HUD 장치)와 동일 또는 유사할 수 있다. 본 실시예에서는 3차원 영상을 디스플레이할 수 있는 멀티-뷰 영상이 생성될 수 있다.
도 19a, 도 19b 및 도 20에서 빔 전파 방향들은 실선 및 점선을 사용하여 도시된다. 선들은, 파장, 편광 상태, 또는 시간 상 일시적으로 분리되는 것과 같이 조성 측면에서 다른, 빔들의 서로 다른 특성들을 나타낼 수 있다. 도 19a, 도 19b 및 도 20에서 장치의 구조 옆에 표시된 그래프의 곡선은 서로 다른 구성을 가진 각 빔에 대한 시청 영역들의 조명 강도를 나타낼 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (32)

  1. 각각 개별 특성을 갖는 단일 뷰 영상들을 포함하는 멀티-뷰 영상을 생성하고, 상기 생성된 멀티-뷰 영상을 구성하는 사출 동공을 생성하는 멀티-뷰 영상 생성 유닛;
    상기 멀티-뷰 영상 생성 유닛에서 생성된 상기 사출 동공을 복제하는 도파관; 및
    상기 개별 특성에 기초하여 상기 단일 뷰 영상들을 분리하고, 상기 단일 뷰 영상들의 뷰들에 대응하는 아이 박스 내 시청 영역들에 상기 단일 뷰 영상들을 출력하여 3차원 영상을 생성하는 시청 영역 생성 유닛
    을 포함하는 증강 현실 장치.
  2. 제1항에 있어서,
    상기 단일 뷰 영상들은
    서로 동일한 FOV(field of view)를 갖는
    증강 현실 장치.
  3. 제1항에 있어서,
    상기 멀티-뷰 영상 생성 유닛은
    적어도 하나의 광원, 빔 컴바이너, 적어도 하나의 영상 소스, 및 프로젝션 광학계를 포함하는,
    증강 현실 장치.
  4. 제1항에 있어서,
    상기 멀티-뷰 영상 생성 유닛은
    각각 하나의 파장 또는 다른 파장들의 빛을 방출하도록 구성된 적어도 2개의 광원들을 포함하고,
    상기 적어도 2개의 광원들은
    제어 신호에 따라 동시에 또는 교대로 빛을 방출하는,
    증강 현실 장치.
  5. 제3항에 있어서,
    상기 빔 컴바이너는
    다른 광원들로부터의 빛을 혼합하고, 혼합된 빛을 상기 영상 소스로 출력하는,
    증강 현실 장치.
  6. 제5항에 있어서,
    상기 빔 컴바이너는
    미리 결정된 방향으로의 광 반사 또는 방향 전환을 제공하는 각각의 코팅을 갖는 광학 요소인,
    증강 현실 장치.
  7. 제6항에 있어서,
    상기 광학 요소는
    이색성 코팅, 또는 프리즘 또는 회절 요소들의 형태의 코팅을 갖는 유리 판인,
    증강 현실 장치.
  8. 제5항에 있어서,
    상기 빔 컴바이너는
    도파관-기반 컴바이너인,
    증강 현실 장치.
  9. 제1항에 있어서,
    상기 도파관은
    상기 사출 동공을 복제할 때 X 축 방향의 복제 및 Y 축 방향의 복제를 서로 다른 시간에 수행하거나, 혹은 동시에 수행하는,
    증강 현실 장치.
  10. 제1항에 있어서,
    상기 도파관은
    인-커플링 요소, 확장기, 및 아웃-커플링 요소가 내장된 평면 기판에 해당하는,
    증강 현실 장치.
  11. 제10항에 있어서,
    상기 인-커플링 요소는 미리 결정된 각도를 갖는 빛을 상기 도파관으로 인-커플링하고,
    상기 확장기는 상기 도파관 내의 상기 사출 동공을 복제하고,
    상기 아웃-커플링 요소는 빛을 상기 도파관으로부터 미리 결정된 각도로 아웃-커플링하는,
    증강 현실 장치.
  12. 제10항에 있어서,
    상기 사출 동공이 X 축 및 Y 축을 따라 동시에 복제되는 경우, 상기 확장기, 상기 인-커플링 요소, 및 상기 아웃-커플링 요소는 회절 요소의 형태로 하나의 광학 요소로 결합되는,
    증강 현실 장치.
  13. 제1항에 있어서,
    상기 멀티-뷰 영상 생성 유닛에서 RGB 영상들이 생성되는 경우, 상기 도파관은 각각 상기 RGB 영상들 중 어느 하나의 색상의 영상을 변환하는 3개의 도파관들의 조합을 포함하는,
    증강 현실 장치.
  14. 제1항에 있어서,
    상기 멀티-뷰 영상 생성 유닛에서 RGB 영상들이 생성되는 경우, 상기 도파관은 각각 상기 RGB 영상들 중 어느 하나의 색상의 영상을 전달하는 2개의 도파관들의 조합을 포함하는,
    증강 현실 장치.
  15. 제1항에 있어서,
    상기 멀티-뷰 영상 생성 유닛에서 RGB 영상들이 생성되는 경우, 상기 도파관은 상기 RGB 영상들의 조합된 영상들을 변환하는 하나의 도파관을 포함하는,
    증강 현실 장치.
  16. 제1항에 있어서,
    상기 시청 영역 생성 유닛은
    적어도 2개의 광학 어레이들의 스택, 및 상기 개별 특성에 기초하여 광 필터링을 수행하는 공간 마스크를 포함하는,
    증강 현실 장치.
  17. 제16항에 있어서,
    상기 공간 마스크는
    수동 모드에서 상기 개별 특성 중 파장 및 편광 상태의 적어도 하나에 의한 광 필터링을 수행하는,
    증강 현실 장치.
  18. 제16항에 있어서,
    상기 공간 마스크는
    능동 모드에서 상기 개별 특성 중 영상 생성 시간 조절에 의한 광 필터링을 수행하는,
    증강 현실 장치.
  19. 제16항에 있어서,
    상기 적어도 2개의 광학 어레이들의 스택은 상기 스택의 입력 및 출력에 망원 빔 경로를 제공하는,
    증강 현실 장치.
  20. 제16항에 있어서,
    상기 스택의 마이크로 렌즈 어레이들 각각은 원통형 렌즈 또는 구면 렌즈인 적어도 하나의 렌티큘러 렌즈를 포함하는,
    증강 현실 장치.
  21. 제20항에 있어서,
    상기 스택의 제1 마이크로 렌즈 어레이의 렌즈의 수는 상기 스택의 제2 마이크로 렌즈 어레이의 렌즈의 수와 동일한,
    증강 현실 장치.
  22. 제16항에 있어서,
    상기 스택의 제1 어레이는 적어도 하나의 미러로 구성된 마이크로 미러 어레이이고,
    상기 스택의 제2 어레이는 적어도 하나의 원통형 또는 구면 렌즈 어레이이고,
    상기 제1 어레이의 미러의 수는 상기 제2 어레이의 렌즈 수에 대응하는,
    증강 현실 장치.
  23. 제16항에 있어서,
    상기 스택의 제1 마이크로 렌즈 어레이는
    상기 도파관의 아웃-커플링 요소에 통합되어 빛을 아웃-커플링하고, 빛을 상기 공간 마스크 상에 포커싱하는,
    증강 현실 장치.
  24. 제16항에 있어서,
    수동 모드에서, 상기 공간 마스크는
    내장된 간헐적 필터 세그먼트들을 갖는 흡수 소재 층이고, 상기 간헐적 필터 세그먼트들은 각각 상기 멀티-뷰 영상 생성 유닛의 광원으로부터의 광의 파장에 대응하는 미리 결정된 파장의 빛을 투과시키는,
    증강 현실 장치.
  25. 제24항에 있어서,
    상기 필터 세그먼트들은 이색성 필터들인,
    증강 현실 장치.
  26. 제16항에 있어서,
    수동 모드에서, 상기 공간 마스크는
    S 편광, P 편광, 오른쪽 원편광(RHCP), 및 왼쪽 원편광(LHCP) 중 하나인 편광 상태에 기초하여 빛을 투과시키는,
    증강 현실 장치.
  27. 제16항에 있어서,
    능동 모드에서, 상기 공간 마스크는
    하나의 스펙트럼 조성 또는 편광 상태를 갖는 영상을 좌안과 우안에 대해 교번하여 디스플레이하는,
    증강 현실 장치.
  28. 제16항에 있어서,
    능동 모드에서, 상기 공간 마스크의 동작 주파수는 상기 멀티-뷰 영상 생성 유닛의 영상 소스의 프레임 변경 주파수에 동기화되는,
    증강 현실 장치.
  29. 제16항에 있어서,
    눈 움직임을 감지하도록 구성된 검출기; 및
    수동 모드에서 상기 공간 마스크를 쉬프트시키도록 구성된 액추에이터 장치
    를 더 포함하는, 증강 현실 장치.
  30. 제16항에 있어서,
    눈 움직임을 감지하도록 구성된 검출기; 및
    능동 모드에서 영상 이동 정도를 상기 공간 마스크에 전송하는 제어 유닛
    을 더 포함하는, 증강 현실 장치.
  31. 제30항에 있어서,
    상기 능동 모드에서,
    상기 공간 마스크는 상기 영상 이동 정도에 맞추어 다음의 수학식에 따라 실시간으로 쉬프트되는,
    Figure pat00022

    -Pd는 쉬프트 양을 나타내는 동적 피치, M은 상기 스택의 제2 렌즈 어레이의 배율, Δx는 기준 위치로부터 눈이 움직인 양을 나타냄-
    증강 현실 장치
  32. 각각 개별 특성을 갖는 단일 뷰 영상들을 포함하는 멀티-뷰 영상을 생성하는 단계;
    상기 생성된 멀티-뷰 영상을 포함하는 사출 동공을 생성하는 단계;
    도파관을 이용하여 상기 사출 동공을 복제하는 단계;
    상기 개별 특성에 기초하여 상기 단일 뷰 영상들을 분리하는 단계; 및
    상기 단일 뷰 영상들의 뷰들에 대응하는 아이 박스 내 시청 영역들에 상기 단일 뷰 영상들을 출력하여 3차원 영상을 생성하는 단계
    를 포함하는, 영상 생성 방법.
KR1020210090286A 2020-12-16 2021-07-09 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법 KR20220086456A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111527501.1A CN114637112A (zh) 2020-12-16 2021-12-14 用于提供3d增强现实的增强现实装置及其操作方法
US17/550,600 US11686938B2 (en) 2020-12-16 2021-12-14 Augmented reality device for providing 3D augmented reality and operating method of the same
EP21214736.7A EP4016166A3 (en) 2020-12-16 2021-12-15 Augmented reality device for providing 3d augmented reality and operating method of the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2020141527 2020-12-16
RU2020141527A RU2760473C1 (ru) 2020-12-16 2020-12-16 Устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения и способ формирования изображения посредством указанного устройства дополненной реальности с размножением выходного зрачка

Publications (1)

Publication Number Publication Date
KR20220086456A true KR20220086456A (ko) 2022-06-23

Family

ID=78719417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210090286A KR20220086456A (ko) 2020-12-16 2021-07-09 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20220086456A (ko)
RU (1) RU2760473C1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512413B (zh) * 2006-09-28 2012-02-15 诺基亚公司 利用三维衍射元件的光束扩展
US10983340B2 (en) * 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
KR102217789B1 (ko) * 2016-08-22 2021-02-19 매직 립, 인코포레이티드 나노그레이팅 방법 및 장치

Also Published As

Publication number Publication date
RU2760473C1 (ru) 2021-11-25

Similar Documents

Publication Publication Date Title
CN110941088B (zh) 透视型显示装置
CN113050280B (zh) 用于虚拟和增强现实的分离光瞳光学系统以及用于使用其显示图像的方法
US10877273B2 (en) Optical window system and see-through type display apparatus including the same
EP1952189B1 (en) Display with image-guiding substrate
US11686938B2 (en) Augmented reality device for providing 3D augmented reality and operating method of the same
KR101614956B1 (ko) 헤드 장착형 단일 패널 입체영상 디스플레이
CA2548398C (en) Optical arrangements for head mounted displays
US11194158B2 (en) Light guide with beam separator for dual images
JP2006091333A (ja) 三次元映像表示装置
US11209652B2 (en) Light guide with polarization separator for dual images
EP4091014A1 (en) Eyewear apparatus for wide field of view display
WO2019097695A1 (ja) 表示装置
US20230408824A1 (en) Optical systems and display engines for augmented reality and near-eye headsets
JP2010139590A (ja) 画像投影装置及び投影画像の二次元／三次元切替え方法
US10728534B2 (en) Volumetric display system and method of displaying three-dimensional image
TWI614524B (zh) 頭戴式顯示裝置
KR20220086456A (ko) 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법
JP7276062B2 (ja) 虚像表示装置及び表示制御装置
US11796817B2 (en) Optical arrangement for expanding and uniformizing light beams
JP7111071B2 (ja) ヘッドアップディスプレイ装置
WO2022181346A1 (ja) 画像投影装置
JP7111070B2 (ja) ヘッドアップディスプレイ装置
TW202409643A (zh) 用於提供增強的對比度之光導照明組件
TW202246847A (zh) 增加近眼顯示器的視場
CN115437159A (zh) 一种光学系统、照明系统及显示系统