KR20150003760A

KR20150003760A - 헤드 마운티드 라이트 필드 디스플레이에 사용되도록 이동가능 led 어레이 및 마이크로렌즈 어레이에 기초한 라이트 필드 프로젝터

Info

Publication number: KR20150003760A
Application number: KR1020147029785A
Authority: KR
Inventors: 안드레아스 지 노와치크; 로드 지 플렉
Original assignee: 마이크로소프트 코포레이션
Priority date: 2012-04-25
Filing date: 2013-04-18
Publication date: 2015-01-09
Also published as: WO2013162977A1; CN104246578A; EP2841981A1; CN104246578B; JP2015521298A; US20130285885A1

Abstract

헤드 마운티드 라이트 필드 디스플레이 시스템(HMD)은 하나의 눈에 한 개씩 두 개의 라이트 필드 프로젝터(LFP)를 포함하는데, 각 LFP는 마이크로렌즈 어레이(MLA)에 동작가능하게 결합된 고체 상태 LED 에미터 어레이(SLEA)를 포함한다. SLEA의 LED로부터 방출된 광이 기껏해야 MLA의 하나의 마이크로렌즈를 통해 눈에 도달하도록 SLEA와 MLA가 배치된다. HMD의 LFP는 (임의의 추가의 릴레이 또는 결합 광학소자 필요없이) 눈 앞에 근접하게 배치되도록 마이크로렌즈 어레이에 결합된 이동가능 고체 상태 LED 에미터 어레이를 포함하는데, 이 LED 에미터 어레이는 기계적 다중화를 통해 해상도를 달성하기 위해 LED 에미터를 기계적으로 다중화하도록 마이크로렌즈 어레이에 대해 물리적으로 이동된다.

Description

헤드 마운티드 라이트 필드 디스플레이에 사용되도록 이동가능 LED 어레이 및 마이크로렌즈 어레이에 기초한 라이트 필드 프로젝터{LIGHT FIELD PROJECTOR BASED ON MOVABLE LED ARRAY AND MICROLENS ARRAY FOR USE IN HEAD-MOUNTED LIGHT-FIELD DISPLAY}

3차원(3-D) 디스플레이는 비전 연구, 원격 장치의 조작, 의료 영상화, 수술 훈련, 과학적 시각화, 가상 프로토타이핑, 및 라이트 필드(light-filed)에서 묘사되는 개체(portrayed object)의 3-D 구조의 충실한 인상을 렌더링하는 다수의 다른 가상 및 증강 현실 애플리케이션을 비롯하여, 여러 목적에 유용한다. 3-D 디스플레이는 입체 영상, 움직임 시차, 및 다른 광학 단서(other optical cues)를 시뮬레이팅함으로써 뷰어의 깊이 인식을 향상시킨다. 입체 영상은 망막 부등(retinal disparity)이 이미지 내에 시뮬레이팅된 객체의 깊이를 나타내도록 사용자의 각각의 눈에 상이한 이미지를 제공한다. 이에 반해, 움직임 시차는 시간에 따라 변하는 사용자 위치의 함수에 따라 사용자에 의해 관찰되는 이미지들을 변경하는데, 이는 이미지 내에서 객체들의 깊이를 시뮬레이팅한다. 그러나, 현재의 3-D 디스플레이(예를 들어, 헤드 마운티드 디스플레이(HMD))는 약간 다른 2개의 2차원(2-D) 이미지를, 보여진 객체가 의도한 거리와는 무관하게 고정된 포커스 거리에서 각각의 눈에 제공한다. 제공된 객체의 거리가 디스플레이의 포커스 거리와 다른 경우, 시차로부터의 깊이 단서(depth cues)는 포커스 단서와 다르며, 이는 눈이 잘못된 거리에 포커스를 두거나 또는 객체가 포커스를 벗어나 나타나게 할 수 있다. 포커스 단서와 다른 깊이 단서 간의 장기적인 불일치는 사용자의 불편함을 야기할 수 있다. 사실, 왜곡은 주로, 전형적인 3-D 디스플레이가 2차원(2D) 표면 상에 하나 이상의 이미지를 제공하는 경우 사용자는 묘사된 장면의 이미지 내에 나타낸 가상 객체에 의해 제안된 깊이 단서 대신 물리적 2-D 표면 그 자체에 의해 제공된 깊이 단서에 집중할 수 밖에 없기 때문에 일어난다.

헤드 마운티드 디스플레이(HMD)는 다양한 애플리케이션의 3-D 디스플레이를 위한 유용하고 유망한 방식이다. 초기 HMD는 작은 CRT 디스플레이를 사용하였지만, 보다 현대의 HMD는 LCOS(Liquid Crystal On Silicon), MEMS 스캐너, OLED 또는 DLP와 같은 다양한 디스플레이 기술을 사용한다. 그러나, HMD 장치는 여전히 크고 고가이며 종종 제한된 시야(즉, 40도)만을 제공한다. 또한, 그 밖의 3-D 디스플레이와 같이, HDM는 전형적으로 포커스 단서를 지원하지 않고 이미지를 프레임 순차 방식으로 보여주는데 이 경우 사용자 머리 움직임과 대응하는 시각적 단서의 디스플레이 간에 시간적인 래그(lag)(또는 레이턴시)가 발생한다. 사용자 머리 방향, 광학 포커스 단서 및 입체 이미지 간의 불일치는 사용자에게 불편함을 주며 또한 멀미 및 그 밖의 다른 바람직하지 않은 부작용을 야기할 수 있다. 또한, HMD는 처방된 안경을 사용하는 시력 결함을 가진 사람이 사용하기 어렵다. 이러한 단점들은 HMD 기반 가상/증강 현실 시스템의 수용을 제한하는 결과를 낳았다.

헤드 마운티드 디스플레이 시스템들은 이들이 고해상도와 함께 넓은 시야를 제공하고 정확한 광학 포커스 단서(focus cue)를 지원하여 디스플레이된 객체들이 마치 사용자로부터 의도된 위치에 있는 것처럼 사용자의 눈이 디스플레이된 객체에 포커스를 둘 수 있도록 하는 경우에 더 효율적이다. 광학 포커스 단서와 입체 이미지 간의 불일치는 사용자에게 불편할 수 있고 멀미 및 그 밖의 다른 바람직하지 않은 부작용을 야기할 수 있고, 따라서, 보다 사실적인 3차원 효과를 생성하고 부작용을 최소화하기 위해 정확한 광학 포커스 단서가 사용된다. 또한, 헤드 마운티드 디스플레이 시스템은 (난시 보정을 비롯하여) 불완전한 시력을 교정하고 시력 처방을 고려한다.

디스플레이된 객체들이 사용자로부터 의도된 거리에 위치해 있는 것처럼 사용자의 눈이 이들 디스플레이된 객체에 포커스를 둘 수 있도록 하는 고해상도 및 정확한 광학 포커스 단서를 특징으로 하는 비교적 넓은 시야를 제공하는 HMD가 기술된다. 이와 같은 몇몇 구현들은 크기가 소형이고 높은 광 효율을 나타내며, 저 전력 소비를 사용하는 경량 디자인을 특징으로 하고, 또한 타고난 낮은 장치 비용을 특징으로 한다. 소정의 실시예들은 사용자의 불완전한 시력(예를 들어, 근시, 난시 등)에 맞추어져 있다.

본 명세서에 기술된 다양한 실시예들은 향상된 입체적 라이트 필드를 사용자의 각 눈에 렌더링하는 헤드 마운티드 라이트 필드 디스플레이 시스템(HMD)에 관한 것이다. HMD는 하나의 눈 당 한 개씩 2개의 라이트 필드 프로젝터(LFP)를 포함하고, 각 프로젝터는 마이크로렌즈 어레이(MLA)에 동작가능하게 결합되고 각 눈 앞에 위치한 고체 상태 LED 에미터 어레이(SLEA)를 포함한다. SLEA 및 MLA는 SLEA의 LED로부터 방출된 광이 MLA의 기껏해야 하나의 마이크로렌즈를 통과하여 눈에 도달하도록 배치된다. 이러한 몇몇 실시예는 (임의의 추가적인 릴레이(relay) 또는 연결 광학소자를 사용하지 않고) 눈 앞에 근접하게 배치되도록 마이크로렌즈에 결합된 이동가능 고체 상태 LED 에미터 어레이를 포함하는 HMD LFP에 관한 것이며, 이 경우, LED 에미터 어레이는 원하는 해상도를 달성하기 위해 LED 에미터들을 기계적으로 다중화하도록 마이크로렌즈 어레이에 대해 물리적으로 이동한다.

다양한 구현은 또한 조밀한 177 밀리언 LED 어레이의 효과를 시간 순차적으로 생성하기 위해 보다 적은(및 보다 실용적인) 개수(대략 250,000)의 LED를 "기계적으로 다중화"하는 것에 관한 것이다. 기계적 다중화는 마이크로렌즈 어레이에 대한 LED 광 에미터들의 상대적 위치를 이동시킴으로써 달성될 수 있고, 또한 결과적인 디스플레이 이미지를 포함하는 다수의 픽셀들을 생성하는데 각 LED를 효과적으로 활용함으로써 LED의 개수를 증가시키지 않고 디스플레이 장치의 유효 해상도를 증가시킨다. 육각 샘플링도 2D 광학 이미지 장치의 공간 해상도를 증가 및 최대화할 수 있다.

본 요약은 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약은 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구대상의 범위를 제한하려는 것도 아니다.

전술한 요약 및 예시적인 실시예에 대한 후속하는 상세한 설명은 첨부한 도면과 연계하여 읽을 때 보다 잘 이해된다. 실시예들을 설명하기 위해, 도면에 실시예들의 예시적인 구성들이 도시되어 있지만, 이 실시예들은 개시되어 있는 특정 방법 및 수단에 국한되지 않는다.
도 1은 헤드 마운티드 라이트 필드 디스플레이 시스템(HMD)에 대한 라이트 필드 프로젝터(LFP)의 구현의 측면을 나타낸다.
도 2는 단일 픽셀을 형성하는 다수의 1차 빔을 특징으로 하는 도 1에 도시되어 있는 헤드 마운티드 라이트 필드 디스플레이 시스템(HMD)을 위한 LFP의 구현의 측면을 나타낸다.
도 3은 광이 유한 깊이 단서에 대해 인간의 눈으로 어떻게 처리되는지를 보여준다.
도 4는 유한 거리로부터 등장하는 광원의 효과를 생성하기 위해 사용되는 도 1 및 도 2의 LFP의 예시적인 구현을 나타낸다.
도 5는 본 명세서에 개시되어 있는 소정의 구현을 위한 예시적인 SLEA 지오메트리를 나타낸다.
도 6은 본 명세서에 개시되어 있는 다양한 실시예에 의해 이용될 수 있는 디스플레이 프로세서의 구현에 대한 블록도이다.
도 7은 본 명세서에 개시되어 있는 다양한 실시예를 나타내는 헤드 마운티드 라이트 필드 디스플레이 장치(HMD)에서 도 6의 디스플레이 프로세서에 의한 LFP의 활용을 위한 동작 흐름도이다.
도 8은 도 6의 디스플레이 프로세서에 의한 LFP의 기계적 다중화를 위한 동작 흐름도이다.
도 9는 예시적인 실시예 및 양상과 연계하여 사용될 수 있는 예시적인 컴퓨팅 환경의 블록도이다.

본 명세서에 개시된 다양한 실시예에 있어서, HMD는 고체 상태 LED 에미터 어레이(SLEA) 및 균일한 직경(예를 들어, 대략 1mm)을 갖는 복수의 마이크로렌즈를 포함하는 마이크로렌즈 어레이(MLA)를 차례대로 포함하는 2개의 라이트 필드 프로젝터(LFP)를 각 눈에 한 개씩 포함한다. SLEA는 LED를 구동하는데 사용되는 로직 및 회로를 갖는 실리콘 기반 칩에 집적되는 복수의 고체 상태 발광 다이오드(LED)를 포함한다. SLEA는 SLEA와 MLA 간의 거리가 MLA를 포함하는 마이크로렌즈의 포커스 길이와 동일하도록 MLA에 동작가능하게 결합된다. 이것은 (LED에 대응하는) SLEA의 표면 상의 특정 지점으로부터 방출되는 광선이 MLA(120)를 통과하는 경우 "시준된" (또는 광선이 평행한) 빔으로 포커싱되도록 한다. 따라서, 하나의 특정 지점 소스로부터의 광은 눈으로 입력될 하나의 시준된 빔을 야기할 것이며, 시준된 빔은 이 빔이 통과한 마이크로렌즈의 직경과 대략 동일한 직경을 갖는다.

고체 상태 LED 어레이에서, 광 방출 개구(aperture)는 픽셀 피치와 비교할 때 비교적 작게 설계될 수 있는데, 이는 다른 디스플레이 어레이와 달리 픽셀 당 실질적으로 보다 많은 로직 및 지원 회로의 통합을 가능하게 한다. 증가된 로직 및 지원 회로와 함께, 고체 상태 LED는 물리적인 머리 움직임과 생성된 디스플레이 이미지 간의 레이턴시를 감소 및 최소화하기 위해 HMD의 측정된 머리 자세에 기초하여 (소정의 실시예의 경우, 빠른 프레임리스(frameless) 이미지 생성을 비롯하여) 빠른 이미지 생성을 위해 사용될 수 있다. 최소화된 레이턴시는 이어서 예를 들어 가상 또는 증강 현실 애플리케이션에서 사용되는 경우 멀미의 시작 및 HMD의 다른 부작용을 감소시킨다. 또한, 컴퓨터 생성 3-D 이미지에 고유한 입체적인 깊이 단서에 일치하는 포커스 단서가 또한 생성된 라이트 필드에 직접 부가될 수 있다. 고체 상태 LED는 매우 빠르게 구동될 수 있어, OLED 및 LCOS 기반 HMD와 구별됨을 주목해야 한다. 또한, DPL 기반 HMD도 매우 빠를 수 있지만, 이들은 비교적 고가이며 따라서 고체 상태 LED가 이러한 구현에 대해 보다 경제적인 옵션을 제공한다.

확대 컴포넌트 또는 릴레이 광학소자없이 넓은 시야를 달성하기 위해, 디스플레이 장치는 사용자의 눈 가까이에 배치된다. 예를 들어, 각 눈의 15mm 앞에 배치된 20mm 디스플레이 장치는 대략 66도의 입체적 시야를 제공할 수 있다.

도 1은 헤드 마운티드 라이트 필드 디스플레이 시스템(HMD)을 위한 라이트 필드 프로젝터(LFP)(100)의 구현예의 측면도이다. LFP(100)는 사용자의 눈(130)으로부터 설정된 눈 거리(set eye distance)(104)에 위치한다. LFP(100)는 SLEA와 MLA 간의 거리(마이크로렌즈 간격(102)으로 지칭됨)가 (시준된 빔을 생성하는) MLA를 포함하는 마이크로렌즈의 포커스 길이와 동일하도록 동작가능하게 결합된 고체 상태 LED 에미터 어레이(SLEA)(110) 및 마이크로렌즈 어레이(120)를 포함한다. SLEA(110)는 LED를 구동하는데 필요한 로직 및 회로를 구비한 실리콘 기반 칩(미도시) 상에 집적되는 예를 들어 LED(112)와 같은 복수의 고체 상태 발광 다이오드(LED)를 포함한다. 유사하게, MLA(120)는 균일한 직경(예를 들어, 대략 1mm)을 갖는 마이크로렌즈(122a, 122b, 122c)와 같은 복수의 마이크로렌즈를 포함한다. 도 1에 도시되어 있는 특정 컴포넌트들 및 특징들은 서로에 대해 스케일링되도록 도시되지는 않았음을 주목해야 한다. 본 명세서에서 개시되어 있는 다양한 실시예에 대해, SLEA를 포함하는 LED의 개수는 MLA를 포함하는 렌즈의 개수보다 많은 하나 이상의 자릿수를 갖는 개수이지만, 임의의 주어진 시간에 특정 LED만이 발광할 수 있다.

SLEA(110)의 복수의 LED(예를 들어, LED(112))는 독립적으로 활성화될 수 있는 가장 소규모의 발광 유닛을 나타낸다. 예를 들어, SLEA(100) 내의 LED 각각은 특정 시간에 특정 강도의 광을 출력하도록 독립적으로 제어 및 설정될 수 있다. SLEA(110)를 포함하는 소정 개수의 LED만이 도 1에 도시되어 있지만, 이는 단지 예시 목적일 뿐이며, (본 명세서에서 더 설명되는) 현재 기술이 허용하는 제약 내에서 SLEA(110)에 의해 임의의 개수의 LED가 지원될 수 있다. 또한, 도 1은 LFP(100)의 측면도를 나타내고 있기 때문에, 도 1에서는 SLEA(110) 내의 추가 컬럼의 LED는 보여지지 않을 수 있다.

유사하게, MLA(120)는 마이크렌즈(122a, 122b, 122c)를 포함하는 복수의 마이크로렌즈를 포함할 수 있다. 도시되어 있는 MLA(120)는 소정 개수의 마이크로렌즈를 포함하고 있지만, 이 또한 예시 목적이며, (본 명세서에서 더 설명되는) 현재 기술이 허용하는 제약 내에서 임의의 개수의 마이크로렌즈가 MLA(120) 내에 사용될 수 있다. 또한, 앞서 설명한 바와 같이, 도 1은 LFP(100)의 측면을 나타내고 있기 때문에, 도 1에서 보여지지 않는 MLA(120) 내의 추가 컬럼의 마이크로렌즈가 있을 수 있다. 또한, MLA(120)의 마이크로렌즈는 삼각형, 육각형 또는 (정사각형 어레이를 비롯하여) 직사각형 어레이로 패키징 또는 정렬될 수 있다.

동작시, LED(112)와 같은 SLEA(110)의 각 LED는 LED(120)의 발광 지점으로부터 광을 방출할 수 있고 MLA(120) 쪽으로 분기시킬 수 있다. 이들 광 방출이 예를 들어 마이크로렌즈(122b)와 같은 소정의 마이크로렌즈를 통과하는 경우, 이 마이크로렌즈(122b)에 대한 광 방출은 시준되고 눈(130)으로, 특히 홍채(136)의 내부 모서리에 의해 정의된 눈의 개구로 향한다. 그에 따라, 마이크로렌즈(122b)에 의해 시준된 광 방출(106)의 일부분은 각막(134)에서 눈(130)으로 진입하고 눈(130) 뒤쪽에 있는 망막(132) 상의 단일 지점 또는 픽셀(140)에 수렴된다. 한편, LED(112)로부터의 광 방출이 예를 들어 마이크로렌즈(122a, 122c)와 같은 소정의 다른 마이크로렌즈를 통과하는 경우, 이들 마이크로렌즈(122a, 122c)에 대한 광 방출은 시준되고 눈(130)을, 특히 홍채(136)의 내부 모서리에 의해 정의된 눈의 개구를 벗어난다. 그에 따라, 마이크로렌즈(122a, 122c)에 의해 시준된 광 방출(108)의 일부분은 눈(130)으로 진입하지 않고 따라서 눈(130)에 의해 인지되지 않는다. 눈에 진입하는 시준된 빔(106)에 대한 포커스 지점은 무한 거리로부터 방출하는 것으로 인지됨을 주목해야 한다. 또한, MLA(120)로부터 눈으로 진입하는 광 빔, 예를 들어 광 빔(106)은 "1차 빔"이고, MLA(120)로부터 눈으로 진입하지 않는 광 빔은 "2차 빔"이다.

LED는 모든 방향으로 광을 방출하기 때문에, 각 LED로부터의 광은 MLA 내의 다수의 마이크로렌즈를 조명할 수 있다. 그러나, 각 개별 LED마다, 이들 마이크로렌즈 중 하나만을 통과하는 광이 (눈의 동공의 진입 개구를 통해) 눈으로 향하고, 다른 마이크로렌즈를 통과하는 광은 (눈의 동공의 진입 개구 밖으로) 눈을 벗어난다. 눈으로 향하는 광은 본 명세서에서 1차 빔으로 지칭되고 눈을 벗어나는 광은 본 명세서에서 2차 빔으로 지칭된다. 마이크로렌즈 어레이를 포함하는 복수의 마이크로렌즈의 피치 및 포커스 길이가 이러한 결과를 달성하는데 사용된다. 예를 들어, 눈과 MLA 간의 거리(눈 거리(104))가 15mm로 설정되는 경우, MLA는 약 1mm의 직경과 2.5mm의 포커스 길이를 갖는 렌즈를 필요로 할 수 있다. 그와 달리, 2차 빔은 눈으로 향할 수 있고 의도된 이미지를 대체하나 이를 모방하는 "고스트 이미지"를 생성할 수 있다.

도 2는 단일 픽셀(140)을 형성하는 복수의 1차 빔(106a, 106b, 106c)을 특징으로 하는 도 1에 도시되어 있는 헤드 마운티드 라이트 필드 디스플레이 시스템(HMD)을 위한 LFP(100)의 구현예의 측면도이다. 도 2에 도시되어 있는 바와 같이, 광 빔(106a, 106b, 106c)은 SLEA(110)를 포함하는 3개의 개별 LED(114, 116, 118)에 각각 대응하는 지점에서 SLEA(110)의 표면으로부터 방출된다. 도시되어 있는 바와 같이, (3개의 LED(114, 116, 118)를 비롯하여) SLEA(110)를 포함하는 LED의 발광 지점은 각 마이크로렌즈의 직경과 동일한 거리만큼, 즉 렌즈 간 거리("마이크로렌즈 어레이 피치" 또는 간단히 "피치")만큼 서로 분리된다.

SLEA(110) 내의 LED들은 MLA(120)를 포함하는 복수의 마이크로렌즈와 동일한 피치(또는 간격)를 가지기 때문에, MLA(120)를 통과하는 1차 빔들은 서로 평행하다. 따라서, 눈이 무한대에 포커스를 두는 경우, 3개의 에미터로부터의 광은 망막 상의 단일 스팟(spot)에 수렴되고 따라서 사용자에 의해 무한 거리에 위치한 단일 픽셀로서 인식된다. 눈의 동공 직경은 조명 조건에 따라 달라지지만 일반적으로 3mm 내지 9mm의 범위 내에 있기 때문에, 다수의 (예를 들어, 약 7 내지 81 개의) 개별 LED들이 결합되어 하나의 픽셀(140)을 생성한다.

도 1 및 도 2에 도시되어 있는 바와 같이, MLA(120)는 SLEA(110) 앞에 위치할 수 있고, SLEA(110)와 MLA(120) 사이의 거리는 마이크로렌즈 간격(102)으로 지칭된다. 마이크로렌즈 간격(102)은 SLEA(110)를 포함하는 LED 각각으로부터 방출되는 광이 MLA(120)의 마이크로렌즈 각각을 통과하도록 선택될 수 있다. MLA(120)의 마이크로렌즈는 SLEA(110)의 각 개별 LED로부터 방출된 광이 MLA(120)의 마이크로렌즈들 중 하나만을 통해 눈(130)에 의해 보여질 수 있도록 정렬될 수 있다. SLEA(110) 내의 개별 LED로부터의 광은 MLA(120)의 마이크로렌즈 각각을 통과할 수 있지만, (LED(112 또는 116)와 같은) 특정 LED는 기껏해야 하나의 마이크로렌즈(각각 122b 및 126)를 통해 눈(130)에 보여질 수 있다.

예를 들어, 도 2에 도시되어 있는 바와 같이, 제1 LED(116)로부터 방출된 광 빔(106b)은 눈 거리(112)에서 마이크로렌즈(126)를 통해 눈(130)에 보여질 수 있다. 유사하게, 제2 LED(114)로부터의 광(106a)은 눈 거리(112)에서 마이크로렌즈(124)를 통해 눈(130)에 보여질 수 있으며, 제3 LED(118)로부터의 광(106c)은 눈 거리(112)에서 마이크로렌즈(128)를 통해 눈(130)에 보여질 수 있다. LED(114, 116, 118)로부터의 광은 MLA(120) 내의 다른 마이크로렌즈(미도시)를 통과하지만, 마이크로렌즈(124, 126, 128)를 통과하는 LED(114,116,118)로부터의 광(106a, 106b, 106c)만이 눈(130)에 보여질 수 있다. 또한, 개개의 LED는 일반적으로 단색이지만 3개의 원색 각각으로 존재하는데, 이들 LED(114,116,118) 각각은 3개의 상이한 컬러, 예를 들어, 적색, 녹색 및 청색에 대응할 수 있고, 이들 컬러는 서로 다른 강도로 방출되어 임의의 원하는 결과적인 컬러를 생성하도록 픽셀(140)에서 서로 혼합될 수 있다. 이와 달리, 다른 구현은 예를 들어 4개의 SLEA (2×2) 구성요소들 아래에 배치될 수 있는 특정 적색, 녹색 및 청색 어레이를 구비할 수 있는 다수의 LED 어레이를 사용할 수 있다. 이 구성에서, 출력들은 예를 들어 LED 어레이 내에서 생성되는 1mm 레벨 대 10㎛ 레벨에서 컬러를 제공하도록 눈에서 결합될 수 있다. 그에 따라, 이 접근방식은 서브-픽셀 총수를 절약할 수 있고 이러한 구현을 위한 컬러 변환 복잡성을 감소시킬 수 있다.

물론, 소정의 구현에 있어서, 예를 들어, 적색 LED는 다른 제조 공정을 요구하기 때문에 SLEA는 반드시 RGB LED를 포함할 필요는 없으며, 따라서 소정의 구현은 청색 LED만을 포함하는 SLEA를 포함할 수 있는데, 이 경우 녹색 및 적색 광은 예를 들어 양자점과 같은 형광 물질 층을 사용하는 변환을 통해 청색으로부터 생성된다.

그러나, 도 1 및 도 2에 도시되어 있는 구현은 투영된 이미지가 현실 세계의 뷰에 중첩되는 증강 현실 애플리케이션을 지원하지 않음을 주목해야 한다. 대신, 이들 도면에 구체적으로 설명된 이 구현은 생성된 디스플레이 이미지만을 제공한다. 그럼에도, 도 1 및 도 2에 도시되어 있는 HMD의 또 다른 구현은 증강 현실용으로 구현될 수 있다. 예를 들어, 소정의 증강 현실 애플리케이션을 위해, SLEA(110)에 의해 생성된 이미지는 MLA(120)와 유사한 속성뿐만 아니라 사용자가 거울을 통해 현실 세계를 볼 수 있게 해주는 추가적인 특징을 갖는 반투명 거울에 투영될 수 있다. 마찬가지로, 증강 현실 애플리케이션을 구현하기 위한 다른 구현은 현실 세계 비디오 디스플레이와 합성 이미지 투영을 결합하기 위해 HMD와 통합된 비디오 카메라를 사용할 수 있다. 이들 및 그 밖의 다른 변형예는 본 명세서에 기술된 것에 대한 몇몇 대안 구현이다.

도 1 및 도 2에 기술된 구현에서, 시준된 1차 빔(예를 들어, 106a, 106b, 106c)은 함께, 무한 거리에서 등장하는 사용자에 의해 인지되는 이 사용자의 눈(130)의 망막 상에 픽셀을 페인팅한다. 그러나, 보다 일관적이고 포괄적인 3-D 이미지를 제공하는데 유한 깊이 단서(finite depth cues)가 사용된다. 도 3은 유한 깊이 단서에 대해 사람 눈(130)에 의해 광이 어떻게 처리되는지를 나타내고, 도 4는 유한 거리에서 등장하는 광원의 효과를 생성하는데 사용된 도 1 및 도 2의 LFP(100)의 예시적인 구현을 나타낸다.

도 3에 도시되어 있는 바와 같이, 눈으로부터의 특정 거리(150)에서 객체(142)의 팁(tip)(또는 "지점")으로부터 방출되는 광(106')은 눈(130)의 동공에 들어가는 경우 (도시되어 있는 바와 같이) 소정의 수렴을 가질 것이다. 눈(130)이 눈(130)으로부터의 객체(142)의 거리(150)에 대해 적절히 포커싱되는 경우, 객체(142)의 그 하나의 지점으로부터의 광은 망막(132) 상의 단일 이미지 지점(140)(또는 하나 이상의 추상 세포 내의 광 수용기에 대응하는 픽셀(140))에 수렴될 것이다. 이러한 "적절한 포커스"는 객체(142)까지의 거리(150)를 판단하는데 사용되는 깊이 단서를 사용자에게 제공한다.

이러한 결과를 근사화하기 위해, 또한 도 4에 도시되어 있는 바와 같이, LFP(100)는 눈(130)의 동공에서 유사한 수렴을 갖는 광의 파면을 생성한다. 이것은 LED 발광 지점(114', 116', 118') 간의 거리가 (도 1 및 도 2에서 무한 거리에서 픽셀에 대해 MLA 피치와 동일한 것과는 대조적으로) MLA 피치보다 작도록 이들 LED 발광 지점을 선택함으로써 달성된다. 이들 LED 발광 지점(114', 116', 118') 간의 거리가 MLA 피치보다 작은 경우, 결과적인 1차 빔(106a', 106b', 106c')은 여전히 개별적으로 시준되지만 더 이상 서로 평행하기 않고, 그 보다 대응하는 유한 거리 깊이 단서에 대한 눈(130)의 포커스 상태가 주어진 경우 이들 빔은 (도시되어 있는 바와 같이) 수렴되어 하나의 지점(또는 픽셀)(140)에서 만나게 된다. 각 개별 빔(114', 116', 118')은 디스플레이 칩에서 MLA까지의 거리는 변경되지 않았기 때문에 여전히 시준된다. 최종적인 결과는 무한대보다는 특정 거리(150)에서 객체로부터 유래하는 것으로 보이는 포커싱된 이미지이다. 그러나, 3개의 개별 MLA 렌즈(124, 126, 128)(즉, 각 개별 빔의 중심)로부터의 광(106a', 106b', 106c')은 망막 상에서 단일 지점(140)에서 교차하지만, 3개의 개별 MLA 렌즈 각각으로부터의 광은 망막 상에서 개별적으로 포커스를 이루도록 수렴되지 않는데 그 이유는 SLEA에서 MLA까지의 거리는 변하지 않았기 때문이다. 대신, 각 개별 빔의 포커스 지점(140')은 망막 너머에 위치한다.

포커스 단서를 생성하는 HMD의 능력은 몇몇 1차 빔으로부터의 광이 하나의 픽셀을 형성하기 위해 눈에서 결합된다는 사실에 의존한다. 따라서, 각각의 개별 빔은 예를 들어 픽셀 강도의 약 1/10 내지 1/40에만 기여한다. 눈이 다른 거리에 포커스를 두는 경우, 이들 몇몇 1차 빔으로부터의 광은 확산되어 흐리게 나타날 것이다. 따라서, 이들 구현을 위한 포커스 깊이 단서의 실제 범위는 동공 전체를 이용하는 사람 눈의 심도(depth of field; DOF)와 1개 빔의 직경으로 줄어든 입력 개구를 갖는 HMD의 DOF 간의 차이를 이용한다. 이러한 점을 설명하기 위해, 이하의 예들을 고려한다.

먼저, 4mm의 눈 동공 직경과 2 분각(arc-minutes)의 디스플레이 각도 분해능에서, 눈이 22 피트의 거리에서 객체에 포커스를 두는 경우, 기하학적 DOF는 11 피트로부터 확장된다. DOF에 대해 회절 기반 요소가 존재하지만, 이들 조건에서는, 기하학적 요소가 우세할 것이다. 역으로, 1mm 빔은 DOF의 범위를 2.7 피트에서 무한대로 증가시킬 수 있다. 다시 말해, 이 디스플레이 장치의 동작 범위가 상위 DOF 범위 한계에서 무한대를 포함하도록 설정된 경우, 개시된 디스플레이의 동작 범위는 사용자 앞 약 33 인치에서 시작할 수 있다. 이 거리보다 더 가깝게 나타나는 것으로 렌더링되는 디스플레이된 객체는 사용자가 이들 객체에 적절히 포커스를 두고 있을 지라도 흐리게 나타나기 시작할 수 있다.

두 번째로, HMD의 동작 범위는 상위 동작 범위를 포기하더라도 짧아진 동작 범위를 포함하도록 이동될 수 있다. 이는 SLEA와 MLA 사이의 거리를 약간 줄임으로써 행해질 수 있다. 예를 들어, 3 피트 평균 동작 거리에 대해 MLA 포커스를 조정하는 것은 23 인치에서 6.4 피트의 범위에 걸쳐 HMD에 정확한 포커스 단서를 생성한다. 따라서, 동작 범위가 HMD의 사용에 최적화될 수 있도록 SLEA와 MLA 사이의 거리를 조정할 수 있는 메카니즘을 포함시킴으로써 HMD의 동작 범위를 조정할 수 있다. 예를 들어, 게임을 하는 경우는 먼 거리에 객체(빌딩, 풍경)를 렌더링할 수 있는 반면에 PC 수리 또는 환자의 수술에 대한 교육용 자료는 대부분 가까운 객체를 보여줄 수 있다.

소정 구현의 HMD는 또한 사용자의 눈(130)의 불완전성에 적응할 수 있다. 눈의 바깥 표면(각막(134))은 눈의 광학 시스템의 이미지 형성 굴절의 대부분에 기여하기 때문에, 이 표면을 조각을 이루는 구형 패치들로 근사화하는 것은 근시 및 난시와 같은 불완전성을 교정할 수 있다. 사실, 이러한 교정은 적절한 표면으로 변환되어 각 빔이 이상적인 광학 시스템을 근사화하도록 하기 위한 각도 교정을 야기한다.

몇몇 구현을 위해, 광 센서(광다이오드)가 SLEA(110)에 내장되어 SLEA로 다시 반사되는 광("적목 현상"과 유사함)으로부터 망막 상에서의 각 빔의 위치를 감지할 수 있다. 광다이오드를 SLEA에 추가하는 것은 IC 집적 성능 면에서 쉽게 달성될 수 있는데, 그 이유는 픽셀 간 거리가 커서 광다이오드 지원 회로에 충분한 공간을 제공하기 때문이다. 이러한 내장된 광 센서 어레이를 통해, 눈의 실제 광학 속성을 측정할 수 있고 사전 눈 검사를 통한 처방전 필요없이 렌즈 수차(lens aberrations)를 보정할 수 있다. 이러한 메카니즘은 소정의 광이 HMD에 의해 방출되는 경우 동작할 수 있다. 광다이오드의 민감 정도에 따라, 대체 구현은 어두운 장면에 대해 최소의 배경 조명에 의존할 수 있고, 광이 부족한 경우 적응을 추가할 수 있고, 사용 시작시 전용 적응 패턴을 사용하고 및/또는 IR 조명 시스템을 추가할 수 있다.

눈을 정확하게 모니터링하게 되면 눈 사이의 거리와, 컴퓨터 생성 3D 장면의 정밀도 및 충실도를 개선하기 위한 정보를 산출하는 눈의 정확한 배향을 실시간으로 측정할 수 있게 된다. 사실, 투시 및 입체 이미지 쌍 생성은 관찰자의 눈 위치의 추정값을 이용하고, 각 눈의 실제 배향을 알게 되면 장면의 어느 부분이 관찰되고 있는지에 대한 단서를 소프트웨어에 제공할 수 있다.

그러나, 본 명세서에 개시된 다양한 실시예와 관련하여, MLA 그 자체는 이미지 평면에 위치하지 않기 때문에 MLA 피치는 디스플레이 장치의 결과적인 해상도와 관련이 없음을 주목해야 한다. 대신, 이 디스플레이 장치의 해상도는 빔의 방향이 얼마나 정확하게 제어될 수 있는지와 이들 빔이 얼마나 조밀하게 시준되는지로 설명된다.

보다 작은 LED가 보다 높은 해상도를 생성한다. 예를 들어, 2.5 mm의 MLA 포커스 길이 및 1.5 마이크로미터 직경의 LED 방출 개구는 2.06 분각의 기하학적 빔 분기 또는 사람 눈의 각도 분해능의 약 2배를 생성할 수 있다. 이것은 약 20 인치의 가시 거리에서의 85 DPI(Dots Per Inch) 디스플레이와 동일한 해상도를 생성할 수 있다. 66도의 시야를 넘어서는 경우, 이는 1920 픽셀의 폭과 등가이다. 다시 말해, 2차원에서, 이러한 구성은 거의 4백만 픽셀의 디스플레이를 야기할 수 있고 현재의 고선명 텔레비전(HDTV) 표준을 초과할 수 있다. 그러나, 이러한 파라미터에 기초하여, SLEA는 1.5 마이크로미터 크기의 광 에미터로 완전히 커버된 약 20mm×20mm의 활성 영역(즉, 총 177 밀리언 개의 LED)을 필요로 할 수 있다. 그러나, 이러한 구성은 필요한 배선 또는 구동 전자부품을 위한 LED 간의 공간이 없을 수 있다는 사실을 비롯하여, 몇몇 이유로 실용적이지 않다.

이를 극복하기 위해, 본 명세서에 개시되어 있는 다양한 실시예는 밀집된 177 밀리언 LED 어레이의 효과를 시간 순차적으로 생성하기 위해 대략 250,000 개의 LED를 "기계적으로 다중화"하는 것에 관한 것이다. 이러한 접근방식은 고체 상태 LED의 특징인 높은 효율성 및 빠른 스위칭 속도를 이용한다. 일반적으로, LED 효율은 소형 장치에 높은 방사 휘도를 야기하는 고 전류 밀도를 제공하여, 대부분의 광이 작은 개구로부터 생성되는 LED 에미터의 구성을 가능하게 한다. 이러한 종류의 적색 및 녹색 LED는 광섬유 애플리케이션용으로 10년 넘게 생산되어 왔고, 고효율 청색 LED는 유사하게 작은 개구를 가지고 생산될 수 있다. 작은 장치 크기는 보다 낮은 장치 캐패시턴스로 인해 빠른 스위칭 시간을 제공하여, LED가 몇 나노초(nanosecond)로 턴 온 및 오프할 수 있게 하는 한편, 특별히 최적화된 작은 LED는 나노초 보다 짧은 스위칭 시간을 달성할 수 있다. 고속 스위칭 시간은 하나의 LED가 다수의 에미터 위치에 대해 광을 시간 순차적으로 생성할 수 있게 해준다. 제안된 디스플레이 장치에 대한 LED 방출 개구가 작은 경우, 에미터 피치는 그러한 제약을 받지 않는다. 따라서, LED 디스플레이 칩은 구동 회로를 수용하기에 충분한 공간을 LED 사이에 가진 작은 에미터들의 어레이이다.

달리 말해, 이러한 해상도를 달성하기 위해, 디스플레이 칩의 LED들은 칩 상의 실제 LED의 개수를 실용적인 개수로 감소시키도록 다중화된다. 동시에, 다중화를 통해 앞서 설명한 감지 기능을 위한 광다이오드 및 드라이버 전자소자를 위해 사용되는 칩 표면 영역이 확보된다. 스파스(sparse) 에미터 어레이를 선호하는 또 다른 이유는 인터리브된 3개의 상이한 에미터 LED 세트들(각 컬러(적색, 녹색 및 청색)에 하나씩 할당됨)을 수용할 수 있는 능력이며, 이는 방출된 파장을 특정 컬러로 변환하기 위해 다른 기술 또는 추가의 장치를 사용할 수 있다.

소정의 구현을 위해, SLEA가 177 밀리언 LED를 구현해야 하는 대신 대략 250,000개의 LED를 사용하도록 각 LED 에미터는 721개의 픽셀을 디스플레이하는데 사용될 수 있다(721:1 다중화 비율). 721의 인자는 6각형의 픽셀 간 거리를 15배(즉, 15x 피치 비율, 다시 말해, 2개의 6각형 어레이 내의 포인트들의 개수 간의 비율은 3*n*(n+1)+1이고 여기서 n은 보다 거친 어레이(coarser array)의 포인트들 사이에서 생략된 포인트의 개수임) 증가시킴으로써 도출된다. 이용가능한 기술 제약에 따라 다른 다중화 비율이 가능하다. 그럼에도, 6각형의 픽셀 배열은 외견상 엘리어싱 아티팩트를 완화하면서 주어진 개수의 픽셀들에 대해 최상의 가능 해상도를 제공한다. 따라서, 본 명세서에서 기술된 구현들은 6각형 그리드에 기초를 두고 있지만, 정사각형 또는 직사각형 그리드도 사용될 수 있으며, 본 명세서에서의 어떤 것도 개시되어 있는 구현들을 6각형 그리드로 국한시키지 않는다. 또한, MLA 구조와 SLEA 구조는 동일한 패턴을 사용할 필요가 없음을 주목해야 한다. 예를 들어, 6각형의 MLA는 정사각형 어레이를 갖는 디스플레이 칩을 사용할 수 있고, 또한 그 반대로도 사용할 수 있다. 그럼에도, 6각형은 외견상 원형에 보다 가깝고 MLA에 개선된 성능을 제공한다.

도 5는 본 명세서에 개시되어 있는 소정의 구현을 위한 예시적인 SLEA 지오메트리를 나타낸다. 도면에서 X-축(302) 및 Y-축(304) 상의 증분이 5 마이크로미터인 그리드 상에 겹쳐 놓을 경우, SLEA 지오메트리는 타겟 픽셀(310)의 수로서 측정된 LED "오빗(orbit)"의 두 중심(330) 간의 거리에 대응하는 8x 피치 비율(전술한 15x 피치 비율과는 대조됨)을 특징으로 한다(즉, LED 오빗의 각 중심(330)은 8개의 타겟 픽셀(310)만큼 떨어져 있다). 이 도면에서, 플러스 부호("+")로 표시된 타겟 픽셀(310)은 전술한 177 밀리언 LED 구성의 배열을 나타내는 디스플레이 칩 표면 상에서의 원하는 LED 에미터의 위치를 나타낸다. 이 예시적인 구현에서, 각 타겟 픽셀 간의 거리는 (앞서 설명한 HDTV 충실도를 제공하는 것과 일치하는) 1.5 마이크로미터이다. ("*"와 유사한) 별표는 (이하에서 설명되는) 각 LED "오빗"의 중심(330)이고 따라서 실제 물리적 LED의 존재를 나타내며, 도시되어 있는 7개의 LED는 각 타겟 픽셀(310)에 대해 원하는 LED를 시뮬레이팅하는데 사용된다. 각 LED가 1.5 마이크로미터 직경을 갖는 개구로부터 광을 방출하는 경우, 이들 LED는 도면에서 12 마이크로미터 떨어져 있다(전술한 15x 피치 비율에 대해서는 22.5 마이크로미터 떨어져 있다). 현대의 집적 회로(IC)는 22nm 내지 45nm 트랜지스터를 사용한다는 점을 고려하면, 이는 회로 및 다른 배선을 위한 LED 간의 충분한 공간을 제공한다.

도 5의 구성에 의해 표현되는 이러한 구현에서, SLEA 및 MLA는 각각의 실제 LED에 대한 "오빗"을 만들기 위해 서로에 대해 기계적으로 이동된다. 소정의 특정 구현에서, 이는 SLEA를 이동시키거나, MLA를 이동시키거나, 또는 이들 모두를 동시에 이동시킴으로써 이루어진다. 구현과는 무관하게, 이동 변위는 (약 30 마이크로미터 정도로) 작고, 이는 사람 머리카락의 직경보다 작다. 또한, 한 번의 스캔 사이클에 대해 이용가능한 시간은 대략 종래의 디스플레이의 하나의 프레임 시간과 동일한데, 즉 초당 백 프레임의 디스플레이는 초당 백 스캔 사이클을 요구할 것이다. 이것은 쉽게 달성될 수 있는데 그 이유는 몇 분의 1 그램의 무게를 갖는 객체를 초당 백번씩 사람 머리카락의 직경보다 작은 거리를 이동시키는 것은 많은 에너지를 요구하지 않고 예를 들어 압전 또는 전자기 엑추에이터를 이용하여 쉽게 행해질 수 있기 때문이다. 소정의 구현에 있어, 용량성 또는 광학 센서가 구동 시스템에 사용되어 이러한 움직임을 안정시킬 수 있다. 또한, 이러한 움직임은 엄격히 주기적이고 디스플레이되는 이미지 콘텐츠와는 무관하기 때문에, 액추에이터는 전력을 절약하고 진동 및 잡음을 피하는 공진 시스템을 사용할 수 있다. 또한, 본 명세서에 기술된 다양한 구현에 의해 예상되는 어레이를 이동시키기 위한 다양한 기계적 및 전자 기계적 방법이 있을 수 있지만, 움직임을 제공하기 위해 SLEA와 MLA 사이에 액정 매트릭스(LCM)를 이용하는 또 다른 구현도 고려되고 본 명세서에 개시된다.

도 5는 LED "오빗" 경로(322)로 표시된 원으로 나타낸 원형 스캔 궤적을 사용하는 다중화 동작을 더 나타낸다. 이러한 구현을 위해, 실제 LED들은 LED가 렌더링하기로 되어 있는 타겟 픽셀(310)의 원하는 위치(도면에서 최적합 픽셀(320)에 의해 "X" 심볼로 도시됨)에 이들 LED가 가장 근접해 있을 때 그들의 오빗 동안 조명된다. 이 특정 구성에서 근사화는 특별히 양호하지는 않지만(이는 다수의 "X" 심볼이 "+" 타겟 픽셀(310) 위치로부터 조금 떨어져 있다는 사실로 증명됨), 근사화는 스캔 궤적의 직경으로의 증가를 통해 개선된다.

기계적 변위의 크기의 함수로서 15x 피치 구성에 대한 평균 및 최대 위치 에러를 계산하는 경우, 원형 스캔 경로는 최적이 아님이 명백해질 것이다. 대신, (x 및 y 방향에서 정형곡선의 휨(sinusoidal deflection)이 상이한 빈도로 발생할 때 생성되는) 리싸주 곡선(Lissajous curve)은 외견상 매우 감소된 에러를 제공하고, 따라서 정형곡선의 휨이 종종 선택되는데 그 이유는 그가 공진 시스템으로부터 자연적으로 발생하기 때문이다. 예를 들어, SLEA는 X-방향으로 이동하는 탄성 플렉스 스테이지(elastic flex stage)(예를 들어, 튜닝 포크(tuning fork)) 상에 장착될 수 있는 한편, MLA는 직교하는 Y-방향으로 이동하는 유사한 탄성 플렉스 스테이지에 부착된다. 초당 백 프레임 시스템의 상황에서 스테이지들이 300Hz 및 500Hz(또는 이들의 임의의 배수)에서 동작함을 의미할 수 있는 3:5 주파수 비율을 가정해본다. 사실, 이들 주파수는 몇 서브-마이크로미터의 휨만을 사용하는 시스템에 실용적인데 그 이유는 3:5 리싸주 궤적은 34 마이크로미터의 휨과 함께 동작하는 경우 0.97 마이크로미터의 최악의 경우의 위치 에러와 0.35 마이크로미터만의 평균 위치 에러를 가질 수 있기 때문이다.

또 다른 구현은 스캔 이동이 구현될 수 있는 방식에 대한 변형을 이용할 수 있다. 예를 들어, 소정의 구현을 위해, 하나의 접근방식은 디스플레이 칩 앞에서 MLA를 회전시킬 수 있다. 이러한 접근방식은 각도 분해능이 회전 중심으로부터 바깥으로 확장하는 반지름을 따라 증가한다는 속성을 가지며, 이러한 속성이 유익한 이유는 바깥 빔이 보다 높은 분해능으로부터 보다 많은 이득을 얻기 때문이다.

고체 상태 LED는 특히 전체 광 출력이 크지 않아 냉각이 문제가 되지 않는 작은 고 전류 밀도 장치용으로 오늘날 가장 효율적인 광원에 속함을 인지해야 한다. 본 명세서에 개시된 다양한 SLEA 구현과 등가인 방출 영역을 갖는 LED는 (포커싱 광학소자없이도) 완전히 가동된 경우 단지 동공 앞 15 mm 거리에서 눈을 쉽게 못뜨게 할 수 있고, 따라서 낮은 전력의 광 방출만이 사용된다. 또한, MLA는 LED의 방출된 광의 많은 부분을 직접 동공에 포커싱할 것이기 때문에, LED는 정상보다 훨씬 적은 전류를 사용한다. 또한, LED는 사용자가 밝은 디스플레이로서 인지하게 될 것을 달성하기 위해 매우 짧은 펄스 동안 턴온된다. 전체적인 디스플레이 밝기를 감소시키는 것은 동공의 수축을 방지하는데 그렇지 않으면 눈의 심도를 증가시킬 수 있고 따라서 광학 깊이 단서의 효율성을 감소킬 수 있다. 대신, 본 명세서에 개시된 다양한 실시예는 동일한 장면 내에 매우 밟은 객체와 매우 어두운 객체 모두를 보여주기 위해 디스플레이의 "동적 범위"를 증가시키도록 매우 낮은 광 강도의 범위를 사용한다.

HMD는 멀미(즉, 일반적으로 자기 유지 및 전정 계통으로부터의 자세를 인식하고 균형을 유지하기 위한 신호와 함께 시각적 단서가 사람의 뇌에 의해 꾸준히 통합된다는 사실에 기인하는 문제)를 일으키는 경향으로 인해 제한적으로 받아들여져 왔다. 따라서, 시각적 단서가 내이(inner ear)의 감각 및 신체 움직임으로부터 흩어지는 경우, 사용자는 불편해질 수 있다. 이러한 문제는 해당 분야에서 20년에 걸쳐 인식되어 왔지만, 래그(lag)가 얼마나 허용될 수 있는지에 대한 합의는 없었다. 실험은 60 밀리세컨드 레이턴시는 너무 높다는 것을 보여주었고, 하위 경계는 아직 설정되지 않는데, 그 이유는 대부분의 현재 이용가능한 HMD는 디스플레이 기술을 사용하여 이미지 생성 파이프라인에 의해 요구되는 시간으로 인해 60 밀리세컨드보다 높은 레이턴시를 여전히 가지고 있기 때문이다.

그럼에도, 본 명세서에서 개시된 다양한 구현은 LED 디스플레이의 매우 향상된 속도 및 보다 빠른 업데이트 레이트를 통해 이러한 단점을 극복한다. 이것은 HMD 내의 자세 센서가 1 밀리세컨드 미만에서 사용자의 머리 위치를 판정할 수 있게 해주고, 이러한 자세 데이터는 그에 따라 이미지 생성 알고리즘을 업데이트하는데 사용될 수 있다. 또한, 제안된 디스플레이는 시야에 걸쳐 임의의 영속성없이 변화들이 즉각적으로 행해지도록 LED 디스플레이를 스캐닝함으로써, 즉 다른 디스플레이 기술과는 다른 접근방식으로 업데이트될 수 있다. 예를 들어, LCOS 디스플레이에서 픽셀들이 지속적으로 광을 방출하는 동안, 그들의 강도는 빠르게 움직이는 장면에서 티어링 현상(tearing artifact)을 야기하는 스캔 라인 방식으로 주기적으로 조정된다. 이와 대조적으로, 본 명세서에 개시된 다양한 실시예는 디스플레이의 신속한 (및 소정의 구현에서는 프레임리스(frameless)) 랜덤 업데이트를 특징으로 한다. (당업자라면 알 수 있는 바와 같이, 프레임리스 렌더링은 모션 아티팩트를 감소시키는데, 이는 낮은 레이턴시 위치 업데이트와 연계하여 가상 현실 불편함의 시작을 완화시킬 수 있다.)

도 6은 본 명세서에서 개시된 다양한 구현에 의해 이용될 수 있는 디스플레이 프로세서(165)의 구현의 블록도이다. 디스플레이 프로세서(165)는 LFP(100)에서 움직이고 있는 LED 개구의 위치, 즉 MLA(120) 내의 각 마이크로렌즈의 위치를 추적할 수 있고, SLEA를 포함하는 LED의 출력을 조정할 수 있으며, 원하는 라이트 필드를 렌더링하기 위한 데이터를 처리한다. 라이트 필드는 예를 들어 3-D 이미지 또는 장면일 수 있고, 이러한 이미지 또는 장면은 3-D 영화 또는 텔레비전 방송과 같은 3-D 비디오의 일부일 수 있다. 다양한 소스가 디스플레이 프로세서(165)에 라이트 필드를 제공할 수 있다.

디스플레이 프로세서(165)는 LFP(100)의 LED 개구의 위치를 추적 및/또는 결정할 수 있다. 몇몇 구현에서, 디스플레이 프로세서(165)는 또한 안구 추적과 연관된 위치 및/또는 추적 장치를 사용하여 눈(130)의 홍채(136)에 의해 형성된 개구의 위치를 추적할 수 있다. 위치를 결정하는 당업계에 알려져 있는 임의의 시스템, 방법 또는 기술이 사용될 수 있다.

디스플레이 프로세서(165)는 도 9와 관련하여 이하에서 설명되는 컴퓨팅 장치(500)와 같은 컴퓨팅 장치를 사용하여 구현될 수 있다. 디스플레이 프로세서(165)는 안구 추적기(240)를 비롯하여 다양한 컴포넌트를 포함할 수 있다. 디스플레이 프로세서(165)는 전술한 바와 같은 LED 추적기(230)를 더 포함할 수 있다. 디스플레이 프로세서(165)는 또한 사용자의 눈에 디스플레이할 LFP(100)의 3-D 이미지 또는 장면의 기하학적 설명을 포함할 수 있는 라이트 필드 데이터(220)를 포함할 수 있다. 몇몇 구현에서, 라이트 필드 데이터(220)는 저장된 또는 기록된 3-D 이미지 또는 비디오일 수 있다. 다른 구현에서, 라이트 필드 데이터(220)는 컴퓨터, 비디오 게임 시스템 또는 셋탑 박스 등의 출력일 수 있다. 예를 들어, 라이트 필드 데이터(220)는 3-D 장면을 묘사하는 데이터를 출력하는 비디오 게임 시스템으로부터 수신될 수 있다. 또 다른 예로서, 라이트 필드 데이터(220)는 3-D 영화 또는 3-D 텔레비전 방송을 처리하는 3-D 비디오 플레이어의 출력일 수 있다.

디스플레이 프로세서(165)는 픽셀 렌더러(210)를 포함할 수 있다. 픽셀 렌더러(210)는 라이트 필드 데이터(220)에 의해 묘사되는 라이트 필드가 LFP(100)의 뷰어에 디스플레이되도록 LED의 출력을 제어할 수 있다. 픽셀 렌더러(210)는 LED 추적기(230)의 출력(즉, 뷰잉 개구(140a, 140b)에서 MLA(120)의 각 개별 마이크로렌즈를 통해 보여지는 픽셀들) 및 라이트 필드 데이터(220)를 이용하여 LED의 출력을 결정할 수 있는데, 이는 결과적으로 LFP(100)의 뷰어에게 정확하게 렌더링되는 라이트 필드 데이터(220)이다. 예를 들어, 픽셀 렌더러(210)는 라이트 필드 데이터(220)에 대응하는 라이트 필드를 렌더링하기 위한 각 LED의 적절한 위치 및 강도를 결정할 수 있다.

예를 들어, 불투명 장면 객체의 경우, 픽셀의 컬러 및 강도는 타겟 픽셀에 가장 가까운 교차점에서 장면 지오메트리의 컬러 및 강도를 결정함으로써 픽셀 렌더러(210)에 의해 결정될 수 있다. 이러한 컬러 및 강도의 계산은 다양한 공지된 기술을 사용하여 수행될 수 있다.

몇몇 구현에서, 픽셀 렌더러(210)는 라이트 필드의 픽셀 렌더링에서 포커스 단서를 시뮬레이팅할 수 있다. 예를 들어, 픽셀 렌더러(210)는 라이트 필드의 지오메트리(예를 들어, 라이트 필드에서의 다양한 객체들의 거리) 및 디스플레이 거리(112)에 기초하여 라이트 필드에 적합한 망막 흐림의 수용도 및 변화도와 같은 포커스 단서를 포함하는 라이트 필드 데이터를 렌더링할 수 있다. 포커스 단서를 시뮬레이팅하는 당업계에 알려져 있는 임의의 시스템, 방법 또는 기술이 사용될 수 있다.

도 7은 본 명세서에서 기술된 다양한 구현을 나타내는 헤드 마운티드 라이트 필드 디스플레이 장치(HMD)에서의 도 6의 디스플레이 프로세서(165)에 의한 LFP의 활용을 위한 동작 흐름도(700)이다. 701에서, 디스플레이 프로세스(165)는 사람 눈의 망막 상에 렌더링할 타겟 픽셀을 식별한다. 703에서, 디스플레이 프로세스는 복수의 LED 중 픽셀을 디스플레이할 적어도 하나의 LED를 결정한다. 705에서, 디스플레이 프로세스는 타겟 픽셀에 대응하는, MLA에 대한 최적합 픽셀(320) 위치로 적어도 하나의 LED를 이동시키고, 707에서, 디스플레이 프로세스는 LED로 하여금 특정 기간 동안 특정 강도의 1차 빔을 방출하게 한다.

도 8은 도 6의 디스플레이 프로세서(165)에 의한 LFP의 기계적 다중화를 위한 동작 흐름도(800)이다. 801에서, 디스플레이 프로세서(165)는 각 타겟 픽셀에 대한 최적합 픽셀을 식별한다. 803에서, 프로세서는 LED를 궤적을 따라 이동시키고, 805에서, LED가 렌더링될 타겟 픽셀의 최적합 픽셀 위치에 위치해 있는 경우 사용자의 눈의 망막 상에 픽셀을 적어도 부분적으로 렌더링하기 위한 1차 빔을 방출시킨다.

본 명세서에서 기술된 개념 및 솔루션은 HMD의 사용과 관련하여 설명되었지만, 예를 들어 프로젝션 솔루션에서의 일반적인 사용을 위한 다른 대체 구현이 본 개시물에 의해 예상된다. 예를 들어, 본 명세서에서 기술된 다양한 구현은 보다 작은 MLA(즉, 렌즈) 대 SLEA(즉, LED) 비율을 갖는 디스플레이 시스템의 해상도를 간단히 증가시키는데 사용될 수 있다. 이러한 하나의 구현에서, (1mm와 대조적으로 10㎛ 내지 50㎛ 정도의) 보다 작은 MLA 요소들을 사용하여 8x * 8x 솔루션이 사용될 수 있는데, 이 경우 어레이의 움직임은 보다 큰 솔루션을 허용한다. 물론, 이러한 구현의 소정의 이점(예를 들어, 포커스)은 잃어버릴 수 있지만, 다른 이점(예를 들어, 증가된 해상도)을 제공할 수 있다. 또한, 또 다른 구현은 전자적으로 이동되는 어레이의 결과들을 도광(light guide) 솔루션에 투영하여 증강 현실(AR) 애플리케이션을 가능하게 한다.

도 9는 예시적인 구현 및 측면과 연계하여 사용될 수 있는 예시적인 컴퓨팅 환경의 블록도이다. 이 컴퓨팅 시스템 환경은 적절한 컴퓨팅 환경의 하나의 예시일 뿐이며 용도 또는 기능의 범주에 대해 어떠한 제한도 두려하지 않는다.

다수의 다른 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성이 사용될 수 있다. 사용하기에 적합할 수 있는 잘 알려져 있는 컴퓨팅 시스템, 환경 및/또는 구성의 예는 개인용 컴퓨터(PC), 서버 컴퓨터, 핸드헬드 또는 랩탑 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 내장형 시스템, 전술한 시스템 또는 장치 중 임의의 것을 포함하는 분산형 컴퓨팅 환경 등을 포함하나 이에 국한되지 않는다.

컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어들이 사용될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현할 수 있는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 작업들이 통신 네트워크 또는 다른 데이터 통신 매체를 통해 링크되는 원격 처리 장치들에 의해 수행되는 분산형 컴퓨팅 환경이 사용될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈 및 다른 데이터는 메모리 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치할 수 있다.

도 9를 참조하면, 본 명세서에서 기술된 측면들을 구현하는 예시적인 시스템은 컴퓨팅 장치(500)와 같은 컴퓨팅 장치를 포함한다. 이의 가장 기본적인 구성에서, 컴퓨팅 장치(500)는 전형적으로 적어도 하나의 처리 장치(502) 및 메모리(504)를 포함한다. 컴퓨팅 장치의 정확한 구성 및 유형에 따라, 메모리(504)는 휘발성(예를 들어, 랜덤 액세스 메모리(RAM))일 수 있거나, 비휘발성(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리 등)일 수 있거나, 또는 이 둘의 몇몇 조합일 수 있다. 이러한 가장 기본적인 구성은 도 9에서 점선(506)으로 도시되어 있다.

컴퓨팅 장치(500)는 추가의 특징/기능을 구비할 수 있다. 예를 들어, 컴퓨팅 장치(500)는 자기 또는 광학 디스크 또는 테이프를 포함하나 이에 국한되지 않는 (이동식 및/또는 고정식의) 추가의 저장소를 포함할 수 있다. 이러한 추가 저장소는 도 9에서 이동식 저장소(508) 및 고정식 저장소(510)로 도시되어 있다.

컴퓨팅 장치(500)는 전형적으로 다수의 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 장치(500)에 의해 액세스될 수 있고 휘발성 및 비휘발성 매체와, 이동식 및 고정식 매체 모두를 포함하는 임의의 이용가능 매체일 수 있다.

컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 그 밖의 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함한다. 메모리(504), 이동식 저장소(508) 및 고정식 저장소(510)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, 전기적 소거가능 프로그램 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다용도 디스크(DVD) 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치, 또는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(500)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하나 이에 국한되지 않는다. 임의의 이러한 컴퓨터 저장 매체는 컴퓨팅 장치(500)의 일부일 수 있다.

컴퓨팅 장치(500)는 장치가 다른 장치와 통신할 수 있도록 해주는 통신 연결부(들)(512)를 포함할 수 있다. 컴퓨팅 장치(500)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 입력 장치(들)(514)를 구비할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(516)도 포함될 수 있다. 이들 장치 모두는 당업계에 잘 알려져 있어 본 명세서에서 설명될 필요는 없다.

컴퓨팅 장치(500)는 네트워크에 의해 서로 연결되는 복수의 컴퓨팅 장치(500) 중 하나일 수 있다. 알 수 있는 바와 같이, 네트워크는 임의의 적절한 네트워크일 수 있고, 각 컴퓨팅 장치(500)는 임의의 적절한 방식으로 통신 연결부(들)(512)를 통해 네트워크에 연결될 수 있고, 각 컴퓨팅 장치(500)는 임의의 적절한 방식으로 네트워크 내의 하나 이상의 다른 컴퓨팅 장치(500)와 통신할 수 있다. 예를 들어, 네트워크는 조직 또는 집 등 내의 유선 또는 무선 네트워크일 수 있고, 인터넷과 같은 외부 네트워크로의 직접적 또는 간접적 결합을 포함할 수 있다.

본 명세서에서 개시된 다양한 기법들은 하드웨어 또는 소프트웨어 또는 적절한 경우 이 둘의 조합과 연계하여 구현될 수 있음을 이해해야 한다. 따라서, 본 명세서에 개시된 본 발명의 프로세스 및 장치, 또는 본 발명의 소정의 측면 또는 부분들은 플로피 디스크, CD-ROM, 하드 드라이브 또는 임의의 다른 머신 판독가능 저장 매체와 같은 유형의 매체에 포함되는 프로그램 코드(즉, 명령어들)의 형태를 취할 수 있는데, 이 프로그램 코드가 컴퓨터와 같은 머신 내로 로딩되어 그에 의해 실행되는 경우 그 머신은 본 명세서에 기재된 본 발명을 실시하는 장치가 될 수 있다.

프로그램 코드가 프로그램가능 컴퓨터상에서 실행되는 경우, 컴퓨팅 장치는 일반적으로 프로세서, 프로세서에 의해 판독가능한 저장 매체(휘발성 및 비휘발성 메모리 및/또는 저장 소자), 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치를 포함한다. 하나 이상의 프로그램은 본 명세서에 개시된 본 발명과 관련하여 설명된 프로세스를, 예를 들어 API, 재사용가능 컨트롤 등을 통해 구현 또는 활용할 수 있다. 이러한 프로그램은 컴퓨터 시스템과 통신하도록 상위 레벨 절차 또는 객체 지향 프로그래밍 언어로 구현될 수 있다. 그러나, 프로그램(들)은 어셈블리 또는 기계 언어로 구현될 수 있다. 어떤 경우라도, 언어는 컴파일링된 또는 해석된 언어일 수 있고 하드웨어 구현과 결합될 수 있다.

예시적인 구현은 본 명세서에 개시된 본 발명의 측면을 하나 이상의 독립형 컴퓨터 시스템의 상황에서 이용하는 것을 참조할 수 있지만, 본 발명은 그에 국한되지 않고, 그 보다 네트워크 또는 분산형 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수 있다. 또한, 본 명세서에 기재된 본 발명의 측면들은 복수의 처리 칩 또는 장치에 내에 또는 이들에 걸쳐 구현될 수 있고, 저장은 유사하게 다수의 장치에 걸쳐 행해질 수 있다. 이러한 장치는 예를 들어 PC, 네트워크 서버 및 핸드헬드 장치를 포함할 수 있다.

본 발명은 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 첨부한 청구항에 정의된 본 발명은 전술한 바와 같은 특정 특징 또는 동작들에 반드시 국한될 필요는 없다. 그 보다, 전술한 특정 특징 및 동작들은 청구 대상을 구현하기 위한 예시적인 형식으로 개시되어 있다.

Claims

라이트 필드 프로젝터(light-field projector; LFP)로서,
복수의 발광 다이오드(LED)를 포함하는 고체 상태 LED 어레이(SLEA)와,
상기 SLEA로부터 이격 거리를 두고 배치된 복수의 마이크로렌즈를 포함하는 마이크로렌즈 어레이(MLA)와,
상기 SLEA에 통신가능하게 결합된 프로세서
를 포함하되,
상기 프로세서는
사람 눈의 망막 상에 렌더링할 타겟 픽셀을 식별하고,
상기 복수의 LED 중 상기 픽셀(140)을 디스플레이할 적어도 하나의 LED를 결정하고,
상기 타겟 픽셀에 대응하는, 상기 MLA에 대한 최적합 픽셀 위치(best-fit pixel location)로 상기 적어도 하나의 LED를 이동시키며,
상기 LED로 하여금 특정 기간 동안 특정 강도의 1차 빔(primary beam)을 방출하게 하도록 구성되는,
라이트 필드 프로젝터.
제1항에 있어서,
상기 이격 거리는 상기 MLA가 상기 SLEA로부터 방출되어 상기 MLA를 통과하는 광을 시준시킬 수 있도록 하는 상기 MLA 내의 대응하는 마이크로렌즈의 포커스 길이와 동일한
라이트 필드 프로젝터.
제1항에 있어서,
상기 SLEA에 통신가능하게 결합된 상기 프로세서는 생성된 라이트 필드에 포커스 단서(focus cues)를 추가하도록 더 구성되는
라이트 필드 프로젝터.
제1항에 있어서,
무한 인지 거리(infinite perceived distance)에 이미지를 생성하도록, 상기 SLEA를 구성하는 상기 복수의 LED 내의 각 LED 간의 피치는 상기 MLA를 구성하는 상기 복수의 마이크로렌즈 내의 각 마이크로렌즈 간의 피치와 동일한
라이트 필드 프로젝터.
제1항에 있어서,
유한 인지 거리(finite perceived distance)의 이미지에 대한 시각적 단서를 생성하도록, 상기 SLEA를 구성하는 상기 복수의 LED 내의 LED 서브세트 간의 피치는 상기 MLA를 구성하는 상기 복수의 마이크로렌즈 내의 각 마이크로렌즈 간의 피치보다 작은
라이트 필드 프로젝터.
제1항에 있어서,
상기 SLEA(110)에 통신가능하게 결합된 상기 프로세서는 상기 LFP의 사용자의 불완전한 시력을 교정하도록 더 구성되는
라이트 필드 프로젝터.
제1항에 있어서,
상기 MLA를 구성하는 상기 복수의 마이크로렌즈 내의 각 마이크로렌즈의 직경 및 포커스 길이는 상기 SLEA를 구성하는 각 LED로부터 하나의 빔만이 눈으로 들어가도록 할 만큼 충분히 짧은
라이트 필드 프로젝터.
제1항에 있어서,
눈의 망막 상에 투영되는 픽셀은 상기 복수의 LED 내의 다수의 LED로부터의 1차 빔을 포함하고, 상기 복수의 LED는 보다 많은 수의 정적 LED의 효과를 시간 순차적으로 생성하기 위해 기계적으로 다중화되는
라이트 필드 프로젝터.
복수의 발광 다이오드(LED)(112)를 구비한 고체 상태 LED 어레이(SLEA)와 상기 SLEA로부터 소정의 이격 거리를 두고 배치된 복수의 마이크로렌즈를 구비한 마이크로렌즈 어레이(MLA)를 포함하는 라이트 필드 프로젝터(LFP)에서 복수의 LED를 기계적으로 다중화하기 위한 방법으로서,
오빗(orbit) 중첩을 달성하도록 복수의 LED를 정렬하는 단계와,
각 타겟 픽셀에 대한 최적합 픽셀(best-fit pixel)을 식별하는 단계와,
상기 LED를 궤도를 따라 이동시키는(orbiting) 단계와,
렌더링될 타겟 픽셀에 대한 최적합 픽셀 위치에 LED가 위치해 있는 경우 사용자의 눈의 망막 상에 픽셀을 적어도 부분적으로 렌더링하기 위한 1차 빔을 방출하는 단계
를 포함하는 방법.
복수의 발광 다이오드(LED)를 구비한 고체 상태 LED 어레이(SLEA)와 상기 SLEA로부터 소정의 이격 거리를 두고 배치된 복수의 마이크로렌즈를 구비한 마이크로렌즈 어레이(MLA)를 포함하는 라이트 필드 프로젝터(LFP)에 대한 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 판독가능 매체로서,
상기 컴퓨터 판독가능 명령어들은 프로세서로 하여금,
사람 눈의 망막 상에 렌더링할 복수의 타겟 픽셀을 식별하고,
상기 복수의 LED 중에서 상기 픽셀을 디스플레이하는데 사용될 LED 서브세트를 계산하고,
상기 복수의 LED를 기계적으로 다중화하며,
상기 복수의 LED가 상기 타겟 픽셀에 대응하는, 상기 MLA에 대한 최적합 픽셀 위치에 따라 특정 기간 동안 특정 강도의 1차 빔을 방출하게 하는
명령어들을 포함하는,
컴퓨터 판독가능 매체.