KR102121513B1

KR102121513B1 - 반사 파면 분석에 근거한 프레임 렌더링을 이용한 눈 특성화를 위한 근안 디스플레이

Info

Publication number: KR102121513B1
Application number: KR1020197006109A
Authority: KR
Inventors: 존 디. 페레아울트; 패트릭 륄
Original assignee: 구글 엘엘씨
Priority date: 2017-06-15
Filing date: 2018-03-14
Publication date: 2020-06-10
Also published as: JP6661832B2; KR20190032572A; DE202018101818U1; US10629105B2; WO2018231303A1; TWI661229B; US20180366045A1; CN109565554B; EP3485632B1; JP2020503905A; TW201905537A; EP3485632A1; CN109565554A

Abstract

근안 디스플레이 시스템(100)은 디스플레이 패널(118)을 오버레이하는 렌즈렛들(206)의 어레이(202)를 포함한다. 디스플레이 패널은 광 투사 요소들(218)의 어레이를 포함하고, 각각의 광 투사 요소는 대응하는 렌즈렛의 축과 동축이다. 디스플레이 패널은 광 검출 요소들(202)의 어레이 및 서브-픽셀 요소들(210, 212, 214, 216, 222, 222, 224, 226, 228, 230)의 어레이를 더 포함한다. 시스템은 사용자의 눈을 향해 광 스팟들(504)의 패턴 (506)을 투사하도록 광 투사 요소들의 어레이를 활성화시키고, 눈으로부터 상기 투사된 광 스팟들의 패턴의 반사를 나타내는 이미지(164)를 캡처하도록 광 검출 요소들의 어레이를 제어하도록 구성된 구성된 제어 컴포넌트(160)를 포함한다. 시스템은 또한 캡쳐된 이미지 내의 광 스팟들의 적어도 서브 세트의 예상 위치(514, 524)와 실제 위치(512, 522) 사이의 변위(516, 526)을 결정하고, 변위에 기초하여 눈을 특성화하는 분석 컴포넌트(162)를 포함한다.

Description

반사 파면 분석에 근거한 프레임 렌더링을 이용한 눈 특성화를 위한 근안 디스플레이

본 발명은 일반적으로 근안(near-eye) 디스플레이에 관한 것으로, 보다 상세하게는 컴퓨터(computational) 근안 디스플레이를 위한 프레임 렌더링에 관한 것이다.

헤드 장착형 디스플레이(HMD) 및 다른 근안(near-eye) 디스플레이 시스템은 3차원(3D) 그래픽의 효과적인 디스플레이를 제공하기 위해 근안 광 필드 디스플레이 또는 다른 컴퓨터(computational) 디스플레이를 이용할 수 있다. 일반적으로, 근안 광 필드 디스플레이는 하나 이상의 디스플레이 패널 및 하나 이상의 디스플레이 패널 위에 놓이는 렌즈렛(lenslets), 핀홀(pinholes) 또는 다른 광학 피처의 어레이를 채용한다. 렌더링 시스템은 각각의 요소 이미지가 대응하는 시점 또는 가상 카메라 위치에서 객체 또는 장면의 이미지 또는 뷰를 나타내는 요소 이미지들의 어레이를 렌더링한다.

일반적으로, 요소 이미지들의 각 어레이는 특정 초점 평면을 참조하여 렌더링되고, 사용자의 눈이 실질적인 수차가 없다는 가정에 기초하여 렌더링된다. 그런데, 사용자의 눈이 굴절 이상 또는 다른 수차를 겪는 경우 디스플레이된 이미지가 흐릿하거나 왜곡될 수 있다. 이러한 문제를 회피하기 위해, 사용자가 시력 교정 안경을 착용할 수 있도록 근안 디스플레이 디바이스를 설계할 수 있지만, 결과적으로 폼 팩터는 일반적으로 무게, 관성 및 크기면에서 실용적이지 못하다. 유사하게, 사용자 눈의 현재의 수용 상태(accommodation state)가 요소 이미지 어레이가 렌더링되는 초점 평면과 일치하지 않으면, 사용자에 대한 인지 피로를 야기할 수 있는 불일치 심도 큐(depth cues)를 야기하고 따라서 사용자의 경험을 저하시킨다.

본 발명은 첨부된 도면을 참조하여 당업자에게 보다 잘 이해될 수 있고, 그 많은 특징 및 이점이 명백해질 수 있다. 상이한 도면에서 동일한 참조 번호를 사용하는 것은 유사하거나 동일한 항목을 나타낸다.
도 1은 일부 실시예에 따른 파면 왜곡 추정을 통한 눈 특성화에 기초한 광 필드 프레임 렌더링을 사용하는 근안 디스플레이 시스템을 도시한 도면이다.
도 2는 일부 실시예에 따른 도 1의 근안 디스플레이 시스템의 디스플레이 패널 및 상부(overlying) 렌즈렛 어레이를 보다 상세히 도시하는 도면이다.
도 3은 일부 실시예에 따은 파면 왜곡 추정에 기초하여 사용자의 눈을 특성화하고, 눈 특성화에 기초하여 이미지 렌더링 프로세스를 제어하는 방법을 나타내는 흐름도이다.
도 4는 일부 실시예에 따른 눈 특성화 프로세스 동안 디스플레이 패널 및 상부 렌즈렛 어레이의 단면뷰를 나타내는 도면이다.
도 5는 일부 실시예에 따른 사용자의 눈으로부터 도 2의 디스플레이 패널에 의해 투사된 광 스팟 패턴의 반사를 캡처한 영상을 나타낸 도면이다.

도 1 내지 도 5는 파면 왜곡 추정(wavefront distortion estimation)을 사용하여 사용자 눈의 특성화에 기초한 근안 디스플레이 시스템에서 개선된 이미지 렌더링을 위한 예시적인 시스템 및 기술을 도시한다. 적어도 하나의 실시예에서, 근안 디스플레이 시스템은 사용자에게 몰입형 가상 현실(VR) 또는 증강 현실(AR) 경험을 제공하기 위해 사용자에게 근안 광 필드 프레임을 디스플레이하기 위해 하나 이상의 디스플레이 패널로 구성된 컴퓨터 디스플레이(computational display)를 사용한다. 각 근안 광 필드 프레임은 요소 이미지들의 어레이로 구성되며 각 요소 이미지는 상이한 대응 시점에서 객체 또는 장면의 뷰를 나타낸다. 렌즈렛들의 어레이는 각 디스플레이 패널 위에 놓이며 사용자에게 요소 이미지들의 어레이를 단일 자동 입체시(autostereoscopic) 이미지로 제시하도록 동작한다.

AR 또는 VR 비디오 이미지를 사용자에게 디스플레이하는 것 이외에, 디스플레이 패널은 또한 파면 왜곡 추정 프로세스를 통해 사용자의 눈 중 하나 또는 둘 모두의 특성화를 용이하게 한다. 이를 위해, 적어도 하나의 실시예에서 디스플레이 패널은 렌즈렛 어레이를 통해 눈을 향하여 광 스팟의 패턴을 전송하는 광 투사 요소(예를 들어, 적외선(IR) 투사 타이오드)들의 어레이와, 눈의 구조로부터 광 스폿 패턴의 반사를 패턴 반사 이미지로 캡처하는 광 검출 요소들의 어레이 모두를 포함한다.

수차(aberrations)가 없는 눈에서, 광 스팟 패턴의 반사의 결과로서 눈을 빠져 나가는 파면은 완전히 편평할 것이고, 따라서 파면은 렌즈렛 어레이의 렌즈렛들을 똑바로 타격하게 될 것이다. 결과적으로, 반사된 광 스팟 패턴의 캡쳐 이미지 내의 광 스팟들의 패턴은 광 투사 요소들의 어레이에 의해 투사된 광 스팟 패턴의 광 스팟들 내의 광 스팟들의 패턴과 매칭될 것이다. 즉, 완전한 눈에서, 캡처된 반사 패턴 내의 광 스팟의 실제 위치는 완벽하게 편평한 파면을 가정하는 대응하는 광 스팟의 예상 위치와 일치할 것이다. 대조적으로, 하나 이상의 각막, 망막 또는 눈의 모양 또는 다른 눈 수차 왜곡은 눈을 빠져 나가는 파면을 왜곡한다. 파면의 이러한 왜곡은 차례로 파면의 대응하는 광선이 렌즈 렛 어레이의 대응하는 렌즈 렛을 비스듬하게 타격하게 하고, 이는 차례로 대응하는 반사된 광 스폿의 실제 위치가 상기 반사된 패턴 이미지의 대응하는 예상 위치로부터 시프트하게 한다.

반사된 광 스팟의 예상 위치로부터의 실제 위치의 변위 크기는 대응하는 렌즈렛에서 파면의 위치 영역의 기울기에 비례하고, 변위의 각도는 이 기울기의 방향 또는 각도에 기초한다. 이러한 원리를 고려할 때, 근안 디스플레이 시스템은 반사된 광 스팟의 실제/예상 위치 변위로부터 파면의 형상을 결정할 수 있다. 그런 다음, 근안 디스플레이 시스템은 식별된 파면 왜곡들(즉, 편평한 파면으로부터 파면의 형상의 편차)의 일부 또는 전부를 이용하여 사용자의 눈을 특성화할 수 있다. 이러한 사용자의 눈의 특성화는, 예를 들어, 사용자의 눈에 존재하는 수차의 식별, 사용자의 눈의 현재의 원근 조절 상태의 식별 등을 포함할 수 있다.

근안 디스플레이 시스템은 눈의 특성화를 이용하여 디스플레이 패널에 디스플레이될 광 필드 프레임들의 시퀀스에 대한 렌더링 프로세스의 하나 이상의 양상을 제어한다. 설명을 위해, 일부 실시예에서, 근안 디스플레이 시스템은 사용자의 눈에서 검출된 수차를 보상하기 위한 광 필드 프레임의 렌더링을 제어한다. 이러한 방식으로, 근안 디스플레이 시스템은 그렇지 않은 경우 사용자가 교정 목적으로 안경, 콘택트 렌즈 또는 다른 교정 렌즈를 착용하도록 요구하는 눈의 다양한 결함에 대한 규범적 교정을 제공할 수 있으며, 따라서 근안 디스플레이 시스템을 이용하는 동안 사용자는 그러한 교정 렌즈를 착용할 필요가 없다. 따라서, 근안 디스플레이 시스템은 사용 중에 사용자의 안경 착용을 더 이상 필요로하지 않으므로, 근안 디스플레이 시스템은 렌즈렛 어레이 및 디스플레이 패널을 사용자의 눈에 더 가깝게 위치시키는 구성을 구현할 수 있고, 이에 따라 더 작고 가벼운 폼 팩터가 된다. 다른 예로서, 일부 실시예들에서 근안 디스플레이 시스템은 특정 초점 평면에 기초하여 광 필드 프레임을 렌더링하고, 근안 디스플레이 시스템은 눈의 현재 수용(원근 조절) 상태를 결정하기 위해 눈의 특성화를 이용할 수 있으며, 이 현재 수용 상태로부터 광 필드 프레임을 렌더링하기 위한 적절한 초점 평면을 선택하여 사용자가 현재의 수용 상태와 일치하는 광 필드 프레임에 깊이 큐를 제시함으로써 사용자에게 효과적으로 몰입하는 경험을 가능하게 한다.

도 1은 적어도 하나의 실시예에 따른 눈 특성화 기반의 그래픽 렌더링을 통합하는 근안 디스플레이 시스템(100)을 도시한다. 도시된 예에서, 근안 디스플레이 시스템(100)은 컴퓨터 디스플레이 서브 시스템(102), 렌더링 컴포넌트(104), 및 사용자의 좌안을 특성화하기 위한 눈 특성화 컴포넌트(106) 및 사용자의 우안을 특성화하기 위한 눈 특성화 컴포넌트(108) 중 하나 또는 둘 모두와 같은 하나 이상의 눈 특성화 컴포넌트를 포함한다. 컴퓨터 디스플레이 서브 시스템(102)은 사용자의 좌안 및 우안 앞에 각각 디스플레이(110,112)를 위치시키는 장치(114)(예를 들어, 고글, 안경 등)에 장착된 좌안 디스플레이(110) 및 우안 디스플레이(112)를 포함한다.

도 2를 간단히 참조하면, 적어도 하나의 실시예에 따라 디스플레이(110)의 확대 뷰가 도시된다. 디스플레이(112)도 유사하게 구성된다. 도시된 바와 같이, 디스플레이(110)는 요소 이미지들의 어레이를 각각 포함하는 일련의 또는 연속의 근안 광 필드 프레임들(이후, 참조의 용이함을 위해 "광 필드 프레임")을 디스플레이하기 위한 적어도 하나의 디스플레이 패널(118)을 포함한다. 참조의 용이함을 위해, 요소 이미지들의 어레이는 또한 본 명세서에서 광 필드 프레임으로 지칭될 수 있다. 디스플레이(110)는 또한 디스플레이 패널(118)를 오버레이(overlying)하는 렌즈렛들 (206)(일반적으로 "마이크로 렌즈"라고도 지칭됨)의 어레이(120)를 포함한다. 통상적으로, 렌즈렛 어레이(120) 내의 렌즈렛(206)의 수는 광 필드 프레임 내의 요소 이미지의 수와 동일하지만, 다른 구현예에서 렌즈렛(206)의 수는 요소 이미지의 수보다 적거나 클 수 있다. 도 1의 예는 설명의 용이함을 위해 렌즈렛(206)의 5×4 어레이(120)를 도시하지만, 통상적인 구현예에서 광 필드 프레임내의 요소 이미지의 수 및 렌즈렛 어레이(120)내의 렌즈렛(206)의 수는 전형적으로 훨씬 더 높다. 또한, 일부 실시예들에서, 개별 디스플레이 패널(118)은 디스플레이들(110, 112) 각각에 대해 구현되는 반면에, 다른 실시예들에서 좌안 디스플레이(110) 및 우안 디스플레이(110)는 단일 디스플레이 패널(118)을 공유하여, 디스플레이 패널(118)의 좌측 절반은 좌안 디스플레이(110)로 사용되고 디스플레이 패널(118)의 우측 절반은 우안 디스플레이(112)로 사용된다.

도 2에 도시된 바와 같이, 디스플레이 패널(118)은 이들은 조합된 광 출력이 특정 컬러의 단일 "픽셀"로서 눈에 감지되도록 강도가 제어되는 적색, 녹색, 청색 및 백색 서브 픽셀 세트와 같은 하나 이상의 컬러 서브 픽셀을 포함하는 각각의 디스플레이 요소(elements)(204)로 디스플레이 요소들(예를 들어, "픽셀들")(204)의 어레이(202)를 구현한다. 이러한 방식으로, 렌더링 컴포넌트(104)는 장면의 이미지를 나타내는 일련의 광 필드 프레임을 디스플레이하도록 어레이(202)를 제어할 수 있다.

또한, 본 명세서에서 보다 상세히 기술된 바와 같이, 근안 디스플레이 시스템(100)은 렌즈렛 어레이(120)를 통해 사용자의 눈으로 광 스팟 패턴을 투사하고, 렌즈렛 어레이(120)를 통한 광 스팟 패턴의 반사 이미지를 캡처하여, 수차의 검출, 수용 상태(accommodation state)의 추정 또는 눈의 특성화를 위해 눈을 분석한다. 적어도 하나의 실시예에서, 근안 디스플레이 시스템(100)은 광 스팟 패턴을 투사하고 그 결과로 반사된 스팟 패턴의 이미지를 캡처하기 위해 표시 패널(118) 양자 모두를 사용한다. 이를 위해, 디스플레이 패널(118)은 또한 활성화될 때 렌즈렛 어레이(120)를 통해 사용자 눈을 향해 광 스팟 패턴을 투사하는 광 투사(light-projecting)요소들의 세트와 활성화될 때 렌즈렛 어레이(120)를 통하여 사용자 눈으로부터 상기 투사된 광 스팟 패턴의 반사를 나타내는 이미지를 함께 캡처하는 광 검출 요소들의 세트를 포함(incorporates)한다.

적어도 하나의 실시예에서, 광 투사 요소 세트 및 광 검출 요소 세트는, 디스플레이 요소(204)의 서브 세트는 광 투사 요소 세트의 광 투사 요소를 포함하고 디스플레이 요소(204)의 서브 세트는 광 검출 요소 세트의 광 검출 요소를 포함하도록, 디스플레이 요소(204)의 어레이(202)에 통합된다. 예를 들어, 어레이(202)의 디스플레이 요소(204)의 서브 세트는, 확대 뷰(208)에 도시된 바와 같이, 적색(R) 서브 픽셀 (210), 녹색(G) 서브 픽셀(212), 청색(B) 서브 픽셀(214) 및 백색(W) 서브 픽셀(216)과 같은 컬러 서브 픽셀들의 세트를 포함하는 디스플레이 요소들(204-1)로서 구현될 수 있다. 이 서브 세트인 디스플레이 요소들(204-1)은 투사된 광 스팟 패턴의 일부로서 적외선(IR)을 방출하도록 작동하는 적외선(IR) 서브-픽셀 (218)(광 투사 요소의 일 실시예)을 더 포함한다. IR 서브 픽셀(218)은 예를 들어 IR 투사 VECSEL(vertical-cavity surface-projecting laser, 수직 외부 공진형 표면발광 레이저), IR 광 투사 다이오드(LED) 등으로 구현된다. 디스플레이 요소들(204-1)의 일부 또는 전부는 디스플레이 패널(118)상에 입사하는 IR 광을 검출하도록 동작하는 IR 검출 포토 다이오드(PD)(220)(광 검출 요소의 일 실시예)를 더 포함할 수 있으며, 특히 대응하는 광 스팟 패턴으로 상기 디스플레이 요소(2014-1)의 IR 서브 픽셀(218)에 의해 투사된 IR 광의 반사를 포함할 수 있다. 또한, 어레이(202)의 디스플레이 요소들(204)의 다른 서브 세트는 디스플레이 요소들(204-2)로 구현될 수 있으며, 이들은 확대 뷰(221)에 의해 도시된 바와 같이 적색 서브 픽셀(222), 녹색 서브 픽셀(224, 226), 청색 서브 픽셀(228), 백색 서브 픽셀(230) 및 IR 포토 다이오드(220)(광 검출 요소 중 하나로서)를 포함한다. 상기 디스플레이 요소들(204-1 및 204-2) 내의 서브-픽셀들의 배열 및 유형은 단지 예일 뿐이고, 다른 배열, 구성 및 서브-픽셀의 조합이 구현될 수 있음을 유의해야 한다.

IR 투사 능력을 갖는 디스플레이 요소들(204-1)은, 디스플레이 요소들(204-1)의 IR 서브-픽셀들(218)이 함께 활성화될 때 투사된 IR 광이 광 스팟 패턴(예를 들어, 규칙적으로 이격된 스팟들의 사각형 또는 다른 다각형 그리드)으로 투사되도록 특정 패턴으로 어레이 (202) 전체에 분산되며, 그 예는 도 5를 참조하여 아래에 설명된다. 또한, 후술하는 바와 같이, 디스플레이 요소들(204-1)은 렌즈렛 어레이(120)의 대응하는 렌즈렛들(206)과 동축으로 배치되어, 투사된 IR 광이 대응하는 렌즈렛을 똑바로 타격하도록 한다. IR 검출 능력을 갖는 디스플레이 요소들(204-1 및 204-2)은 이 디스플레이 요소들의 포토 다이오드(220)가 함께 활성화되는 방식으로 어레이(202) 전체에 분산되어, 포토 다이오드(220)의 위치에 대응하는 디스플레이 패널(118)의 영역상에 입사하는 IR 광을 캡처하며, 캡처시의 이 입사 IR 광은 주로 사용자의 눈에서 투사된 IR 광 스팟 패턴의 반사로 구성되므로, 포토 다이오드들(220)은 함께 이 반사된 IR 광 스팟 패턴의 이미지를 캡처하도록 작동한다. 이와 같이, 이 이미지는 본 명세서에서 "반사된 스팟 패턴 이미지"로 지칭되며, 그 예는 도 5를 참조하여 후술된다.

다시 도 1을 참조하면, 렌더링 컴포넌트(104)는 도시된 중앙 처리 장치 (CPU)(136) 및 그래픽 처리 유닛들(GPU)(138,140)과 같은 하나 이상의 프로세서 세트 및 시스템 메모리(142)와 같은 하나 이상의 저장 컴포넌트를 포함하여, 프로세서(136, 138, 140)에 의해 액세스 및 실행되는 소프트웨어 프로그램 또는 다른 실행 가능 명령들을 저장하여 본 명세서에 기술된 다양한 작업을 수행하도록 하나 이상의 프로세서(136, 138, 140)를 조작할 수 있다. 이러한 소프트웨어 프로그램은, 예를 들어, 후술하는 바와 같이 광 필드 프레임 렌더링 프로세스에 대한 실행 가능한 명령들을 포함하는 렌더링 프로그램(144)뿐만 아니라 파면 왜곡 분석에 기초하여 사용자의 눈의 하나 또는 둘 모두를 특성화하기 위한 실행 가능 명령들을 포함하는 눈 특성화 프로그램(146)을 포함한다.

동작시, 렌더링 컴포넌트(104)는 로컬 또는 원격 컨텐츠 소스(150)로부터 렌더링 정보(148)를 수신하는데, 여기서 렌더링 정보(148)는 그래픽 데이터, 비디오 데이터, 또는 디스플레이 서브 시스템(102)에서 렌더링되고 디스플레이될 이미지의 대상인 객체 또는 장면을 나타내는 다른 데이터를 나타낸다. 렌더링 프로그램(144)을 실행하면, CPU(136)는 렌더링 정보(148)를 사용하여 GPU(138, 140)로 유도 (drawing) 명령을 전송하고, 상기 유도 명령들은 차례로 이용되어, 임의의 다양한 공지된 VR/AR 컴퓨터/광 필드 렌더링 프로세스를 사용하여 좌안 디스플레이(110)에서 디스플레이하기 위한 일련의 광 필드 프레임(151) 및 우안 디스플레이(112)에서 디스플레이하기 위한 일련의 광 필드 프레임(153)을 병렬로 렌더링한다. 이 렌더링 프로세스의 일부로서, CPU(136)는 관성 관리 유닛(IMU)(154)으로부터 포즈(pose) 정보(152)를 수신할 수 있으며, 이에 의해 포즈 정보(152)는 디스플레이 서브 시스템(102)의 포즈를 나타내며 포즈로부터 객체 또는 장면의 시점을 반영하기 위해 하나 이상의 광 필드 프레임 쌍(151, 153)의 렌더링을 제어한다.

병렬로, 눈 특성화 컴포넌트(106, 108)는 본 명세서에 기술된 파면 왜곡 분석 프로세스를 사용하여 사용자 눈을 동적으로 특성화하고, 결정된 눈 특성화를 각각 좌안 및 우안에 대한 눈 특성화 정보(156, 158)로서 렌더링 컴포넌트(104)에 제공하도록 동작한다. 눈 특성화 프로세스는 렌즈렛 어레이(120)를 통해 사용자의 눈으로 디스플레이 패널(118)로부터의 IR 광 스팟 패턴을 투사하는 단계와, 디스플레이 패널을 통해 상기 반사된 광 패턴의 이미지를 캡처하는 단계와, 반사된 광 스폿들이 캡쳐된 이미지 내에 있을 것으로 예상되는 곳과 반사된 광 스팟들이 실제로 캡쳐된 이미지 내에 위치하는 곳 사이의 변위들을 결정하는 단계를 포함한다. 이러한 변위는 사용자의 눈으로부터의 광 스팟 패턴의 반사를 나타내는 파면의 왜곡을 나타내므로, 눈 특성화 정보(156, 158) 중 대응하는 하나로 표현되는 굴절 수차, 현재의 수용(원근 조절) 상태 또는 눈의 다른 특성을 식별하는데 사용될 수 있다

이러한 동작을 용이하게 하기 위해, 눈 특성화 컴포넌트(106)는 제어 컴포넌트(160) 및 이미지 분석 컴포넌트(162)를 구현한다. 제어 컴포넌트(160)는 광 스폿 패턴을 투영하고 표시 패널 (118)의 광 검출 소자의 활성화를 트리거하도록 상기 디스플레이 패널(118)의 광 투사 요소들의 세트의 활성화를 트리거하여, 상기 투사된 광 스팟 패턴의 반사를 나타내는 반사된 스팟 패턴 이미지(164)를 캡처하도록 동작한다. 이미지 분석 컴포넌트(162)는 스팟 패턴 이미지(164)를 분석하여 렌더링 컴포넌트(104)를 위한 눈 특성화 정보(156)를 생성하기 위해 좌안을 특징화하도록 동작한다. 눈 특성화 컴포넌트(108)는 우안에 대한 눈 특성화 정보(158)를 생성하기 위한 반사된 스팟 패턴 이미지(166)를 캡쳐 및 분석하기 위해 제어 컴포넌트 및 이미지 분석 컴포넌트로 유사하게 구성된다. 제어 컴포넌트 및 이미지 분석 컴포넌트는 하드웨어, 프로그램 가능 로직, 소프트웨어를 실행하는 프로세서 또는 이들의 조합으로 구현될 수 있다. 예시를 위해 일 실시예에서, 제어 컴포넌트(160)는 디스플레이 패널(118)을 위한 디스플레이 제어기(미도시)의 하드웨어로 적어도 부분적으로 구현되고, 반면에 미지 분석 컴포넌트(162)는 눈 특성화 프로그램(146)의 대응하는 명령 세트를 실행하는 하나 이상의 프로세서(136, 138, 140)에 의해 구현된다.

이하에서 상세히 기술되는 바와 같이, 렌더링 컴포넌트(104)는 광 필드 프레임들(151, 153)의 시퀀스들을 생성하는데 있어서 광 필드 프레임 렌더링 프로세스의 다양한 양상을 제어하기 위해 눈 특성화 컴포넌트들(106, 108) 중 하나 또는 모두로부터의 눈 특성화 정보(156, 158) 중 하나 또는 모두를 사용한다. 예시를 위해, 눈 특성화 정보(156)는 좌안의 하나 이상의 수차를 식별하는 정보를 포함할 수 있고, 따라서 CPU(136)는 GPU(138)의 동작을 제어하여 이들 수차를 보상하도록 광 필드 프레임들(151)의 렌더링을 조정함으로써, 사용자가 근안 디스플레이 시스템 (100)을 사용하는 동안 교정 렌즈를 착용하는 것을 잊을 수 있게 한다. 다른 예로서, 눈 특성화 정보(156)은 눈의 현재 수용 상태를 식별하는 정보를 포함할 수 있고, 렌더링 컴포넌트(104)는 이것을 현재 수용 상태와 일치하는 초점 평면에 대해 광 필드 프레임(151)을 렌더링하는데 사용할 수 있다.

도 3은 사용자의 눈을 특성화하고 이에 따라 하나 이상의 렌더링 동작을 제어하기 위한 근안 디스플레이 시스템(100)의 동작의 예시적인 방법(300)을 나타낸다. 설명의 용이함을 위해, 방법(300)은 절단선 A-A(도 2)를 따라 사용자의 디스플레이 패널(118), 상부(overlying) 렌즈렛 어레이(120) 및 대면 안구(404)의 단면뷰(400, 402)를 도시하는 도 4 및 반사된 스팟 패턴 이미지(164)의 일 예를 도시하는 도 5를 참조하여 설명된다. 또한, 방법(300)은 눈 특성화 컴포넌트(106)를 포함하여 좌안(눈 404)에 대한 근안 디스플레이 시스템(100)의 동작을 특히 참조하여 설명된다. 그러나, 이 동일한 방법은 눈 특성화 컴포넌트(108)를 갖는 우안용 근안 디스플레이 시스템(100)의 동작에 적용될 수 있다.

도 3에 도시된 바와 같이, 방법(300)은 블록(302, 304, 306, 308)으로 표현되는 눈의 특성화 프로세스 및 블록(310)으로 표현되는 광 필드 프레임 렌더링 프로세스를 병렬로 수행하는 2개의 프로세스를 포함한다. 먼저, 눈 특성화 프로세스를 살펴보면, 블록(302)에서, 제어 컴포넌트(160)는 디스플레이 패널(118)을 제어하여 (도 4에 도시된 포토 다이오드(220-1,220-2,220-3,220-4)를 포함하는) 디스플레이 패널(118)의 포토 다이오드들(220)을 트리거함으로써 도 4의 단면 뷰(400)에 도시된 바와같이 렌즈렛 어레이(120)를 통해 눈(404)을 향하는 광 스팟 패턴으로 IR 광을 방출한다. 광 스팟 패턴의 방출을 트리거링하는 것과 동시에, 블록(304)에서 제어 컴포넌트(160)는 (광 검출 소자 세트로서) 디스플레이 패널(118)의 포토 다이오드들(220)를 활성화고, 눈(404)으로부터의 상기 투사된 광 스폿 패턴의 반사를 나타내고 렌즈렛 어레이(120)를 통해 디스플레이 패널(118) 상에 포커싱된 상기 반사된 스팟 패턴 이미지(164)를 갭처한다.

단면뷰(400)에 도시된 바와 같이, 광 스팟 패턴 생성을 위해 사용된 포토 다이오드(220) 각각은 전형적으로 대응하는 렌즈렛(206)의 광축과 실질적으로 동축(예를 들어, 포토 다이오드(220-1)는 도 4의 렌즈렛(206-1)의 광축(406)과 동축임)을 이루어, 포토 다이오드(220)에 의해 투사된 IR 광은 대응하는 렌즈렛(206)으로 똑바로 입사(strike)하게 되고, 따라서 렌즈렛 어레이(120)로부터 실질적으로 편평한 파면(408)으로서 눈(404)을 향해 전송된다(즉, 광 스팟 패턴은 실질적인 왜곡없이 눈(404)을 향해 전송된다).

단면뷰(402)에 도시된 바와 같이, 이렇게 전송된 광 스팟 패턴은 눈(404)의 동공, 렌즈, 각막, 망막 및 다른 구조물에 부딪쳐서, 파면(410)으로 표현되는 반사된 광 스팟 필드 패턴으로 렌즈렛 어레이(120) 및 디스플레이 패널을 향해 다시 반사된다. 이상적인 눈에서, 수차의 부재는 상기 반사된 광 스팟 패턴이 임의의 왜곡으로부터 제거되도록 할 것이고, 따라서 파면(410)은 왜곡되지 않을 것이다. 이러한 상황에서, 렌즈렛 어레이(120) 상에 입사하는 비왜곡의 반사된 파면은 반사된 광 패턴 내의 스팟들을 표현하는 광선들이 예상된 위치에서 디스플레이 패널(118)에 입사하게 할 것이다. 설명을 위해, 눈(404)이 수차가 없는 이상적인 눈인 경우, 반사된 파면(410)은 왜곡되지 않으므로, 예상된 위치들에서 디스플레이 패널(118)에 입사하는 (반사된 광 스팟 패턴 내의 대응하는 스팟들을 나타내는) 광선(411, 412, 413, 414)을 야기한다.

그러나, 눈(404)과 같은 실제 눈에서, 눈의 수차는 반사된 광 스팟 패턴에서 국부적인 왜곡을 야기한다. 즉, 반사된 파면(410)이 눈(404)의 수차에 의해 왜곡된다. 반사된 파면(410)에서의 국부적 왜곡은 파면(410)의 왜곡된 영역들이 대응 렌즈렛들(206)을 똑바로가 아니라 비스듬하게 부딪히게 하고, 그 결과로 광선들은 예상 위치들과 다른 위치에서 디스플레이 패널(118)를 타격한다. 설명을 위해, 단면뷰(402)에서, 눈(404)은 파면(410)을 왜곡시키는 수차를 가지고 있어, 렌즈렛 어레이(120)에 의해 전송된 실제 광선들(431, 432, 433, 434)은 대응하는 광선에 대한 예상 위치와 다를 수 있는 실제 위치들(441, 442, 443, 444)에서 디스플레이 패널(118)을 타격한다. 렌즈렛 어레이(120)는 동공 동액면(pupil conjugate plane)이기 때문에, 파면(410)의 형상은 눈(404)의 동공의 형상을 나타내고, 캡처된 반사 스팟 패턴 이미지에서 광 스팟의 실제 위치와 예상 위치 사이의 선형 변위의 크기는 대응 렌즈렛들(206)을 타격하는 파면(410)의 국부 영역의 기울기(slope)에 비례하고, 선형 변위의 방향은 파면(410)의 국부 영역의 기울기의 방향을 나타낸다. 상기 파면(410)의 국부 영역들의 기울기의 크기 및 방향은 눈(404)의 현재 수용 상태뿐만 아니라 존재하는 임의의 굴절 수차를 포함하여 눈(404)의 특성을 나타낸다.

설명을 위해, 도 5는 반사 스팟 패턴 이미지(164)의 예를 도시한다. 도시된 바와 같이, 반사 스팟 패턴 이미지(164)는 스팟들(예를 들어, 스팟(504))의 어레이(502)를 포함하며, 각각의 스팟은 블록(302)에서 광 스폿 패턴을 전송하는 동안에 눈(404)에서 반사된 검출 광 스팟의 실제 위치를 반영한다. 비교를 위해, 도 5는 또한 눈(404)에서 임의의 수차가 없는 경우(즉, 눈(404)이 이상적인 눈인 경우)의 스팟들의 예상 위치들(예를 들어, 예상 위치(508))의 어레이(506)를 포함한다. 도시된 바와 같이, 디스플레이 패널(118)의 광 투사 요소들의 어레이가 일정하고 고정된 간격의 패턴으로 광 스팟들의 패턴을 투사하도록 배치된다고 가정하면, 예상된 위치의 어레이(506)는 마찬가지로 규칙적이고 고정된 간격의 패턴을 나타낼 것이다. 그러나, 사용자의 눈(404)은 이상적이지 않을 가능성이 있기 때문에, 사용자의 눈(404)의 수차는 반사된 파면(410)을 왜곡시킬 것이고, 따라서 캡처된 스팟 패턴 이미지(164)의 스팟들 중 적어도 일부의 실제 위치는 그들의 예상 위치로부터 벗어나게 할 것이다. 확대뷰(510)를 참조하여 설명하기 위해, 눈(404)에서의 수차는 파면(410)에서의 국부적인 왜곡을 야기하고, 이는 결과적으로 변위(516)(또한 변위 D(K1)로 표시됨)만큼 그의 예상 위치(514)로부터 변위된 실제 위치(512)에 정합하는(registering) 대응 반사 스팟을 야기한다. 다른 예로서, 확대뷰(520)에 의해 도시된 바와 같이, 눈(404)내의 동일하거나 상이한 수차는 파면(410)에서의 국부적인 왜곡을 야기하고, 이는 변위(526)(또한 변위 D(K2)로 표시됨) 만큼 예상 위치(524)로부터 변위된 실제 위치(522)에 정합하는 반사 스폿을 야기한다.

이와 같이, 반사된 스팟 패턴 이미지(164) 내의 반사 스팟들의 실제 위치들 및 그들의 대응하는 예상된 위치들로부터의 변위들은 눈(404)의 소정 특성을 나타낸다. 따라서, 블록(308)에서, 이미지 분석 컴포넌트(162)는 반사된 스팟 패턴 이미지(164)에서 캡쳐된 반사 스팟들의 실제 위치와 예상 위치 사이의 변위를 분석하여 눈(404)을 특성화하고, 상기 결정된 눈의 특성을 나타내는 데이터를 눈 특성화 정보(156)로서 렌더링 컴포넌트(104)로 제공한다.

눈(404)의 임의의 다양한 특성이 결정될 수 있고, 임의의 다양한 파면 왜곡 분석 프로세스가 이러한 특성을 결정하는데 사용될 수 있다. 예시를 위해, 반사된 스팟 패턴 이미지(164)는 종래의 Shack-Hartmann 파면 센서에 의해 캡쳐된 왜곡된 파면과 유사할 수 있으므로, 이러한 종래의 Shack-Hartmann 파면 센서(예를 들어, 완전한 안과적 분석 시스템(COAS) 기술)를 사용하여 일반적으로 적용되는 임의의 다양한 공지된 안구 수차 측정(eye aberrometer) 기술은, 눈(404)에서의 저차(low-order) 및/또는 고차 수차를 특성화하기 위해 유사하게 적응되어 사용될 수 있다. 설멸하기 위해, 스팟들의 변위는 파면 에러의 국부적인 기울기(gradient) (delta_x = f* [dW/dx])와 직접적으로 관련되므로, 스팟-변위 맵을 공간적으로 통합함으로써 이미지 분석 컴포넌트(162)는 (일정하지 않은) 일부 일정한 오프셋까지 파면 에러 (W)를 복구할 수 있다. 파면 에러의 다항식 전개의 항들은 상이한 수차(예를 들어, 디포커스, 난시, 구면 등)에 대응한다. 따라서, 이미지 분석 컴포넌트(162)는 상이한 수차의 계수 또는 상대 가중치를 결정하기 위해 상기 측정된 파면 에러에 다항식을 적합시키거나 광 필드 렌더링에서 파면 에러의 역(inverse)을 인코딩할 수 있다.

다른 예로서, 이미지 분석 컴포넌트(162)는 반사된 스팟 패턴 이미지(164)에서의 변위를 분석하여 눈(404)의 현재 수용 상태를 결정할 수 있다. 위의 단락에서 약술된 수차 검출 방법과 유사하게, 수용 상태는 파면 오차의 2차항(즉, W = W_defocus * r^2)이다. 이와 같이, 난시는 x, y 방향을 따라 상이한 양의 디포커스(defocus) 또는 2차 계수를 허용한다.

블록(302, 304, 306, 308)으로 표현된 눈 특성화 프로세스는 임의의 다양한 방법으로 트리거될 수 있다. 예를 들어, 눈 특성화 프로세스는 사용자 눈의 수차를 특성화하기 위해 시동(stary up)시에 한번 트리거될 수 있고, 그 결과인 눈 특성화 정보는 근안 디스플레이 시스템(100)이 리셋될 때까지 고정되거나 또는 다른 사용자가 근안 디스플레이 시스템(100)을 사용할 때까지 고정될 수 있다. 다른 실시예에서, 눈 특성화 프로세스는, 특히 상기 특성화가 눈의 현재의 수용 상태 또는 일부 주파수로 변화할 것으로 예상되는 눈의 다른 파라미터를 결정하는 것을 포함하는 구현예에서, 주기적으로 또는 다른 것에 기초하여 반복될 수 있다.

눈 특성화 프로세스와 병행하여, 렌더링 컴포넌트(104)는 블럭(310)으로 표현되는 렌더링 프로세스를 수행하고, 이에 의해 일련의 광 필드 프레임(151)이 좌안용 디스플레이 패널(118)에서 디스플레이하기 위해 생성된다(그리고 유사하게, 일련의 광 필드 프레임(153)이 우안용 디스플레이를 위해 생성된다). 생성되고 디스플레이될 광 필드 프레임에 대해, 렌더링 컴포넌트(104)는 사용자의 대응하는 눈에 디스플레이될 이미지 컨텐츠를 광 필드 프레임으로서 식별한다. 적어도 하나의 실시예에서, 렌더링 컴포넌트(104)는 자이로스코프, 가속도계, 자력계, GPS(Global Positioning System) 센서 등과 같은 다양한 포즈(pose)-관련 센서로부터 데이터를 나타내는 포즈 정보(152)를 수신하여, 포즈 정보(152)로부터 디스플레이(110, 112)를 사용자의 눈 근처에 장착하는데 사용되는 장치(예컨대, HMD)의 포즈를 결정한다. 이 포즈로부터, 렌더링 프로그램(144)을 실행하는 CPU(136)는 대상 장면 또는 객체의 대응하는 현재 시점(viewpoint)을 결정할 수 있고, 이 시점 및 렌더링 정보(148)로서 제공된 장면 또는 객체의 그래픽 및 공간 기술(descriptions)로부터, 포즈를 위해 렌더링될 이미지를 결정한다.

적어도 하나의 실시예에서, 프로세서(136, 138, 140)는 눈 특성화 프로세스의 현재 반복의 블록(308)에서 생성된 눈 특성화 정보에 기초하여 이 렌더링 프로세스를 제어한다. 즉, 광 필드 프레임은 사용자 눈의 하나 이상의 식별된 특성에 기초하여 렌더링 컴포넌트(104)에 의해 렌더링된다. 설명을 위해, 눈(404)에 대한 눈 특성화 정보(156)가 눈(404)의 식별된 수차를 나타내는 데이터를 포함할 때, 렌더링 컴포넌트(104)는 식별된 수차를 보상하도록 광 필드 프레임(151)의 렌더링을 조정할 수 있다. 예시를 위해, 파면 에러(예를 들어, 디포커스, 수용 상태)가 측정된 이후에, 광 필드 렌더링을 포함하는 요소 이미지들의 상대적 시프트 간의 관계는 이미지 분석 컴포넌트(164)에 의해 결정될 수 있고(dx = d_lens * f_lens * Phi, 여기서 W_defocus = Phi/2이다), 광 필드 프레임을 렌더링할 때 렌더링 컴포넌트(104)에 의해 구현될 수 있다. 보다 직접적으로, 렌더링 컴포넌트(104)는 광 필드 프레임의 렌더링 동안 파면 에러의 역을 인코딩할 수 있다.

상술한 바와 같이, 눈 특성화 정보는 눈(404)의 현재의 수용 상태를 포함할 수 있다. 이 현재의 수용 상태는 눈의 광학계의 현재 광파워(optical power)를 반영하고, 따라서 눈(404)의 현재의 초점 거리를 나타낸다. 눈(404)에 디스플레이된 광 필드 이미지의 초점 평면과 이 초점 거리 사이의 불일치는 인간 시각 체계가 이러한 불일치 또는 충돌을 설명하기 위해 상당한 인지 노력을 소비하게 할 수 있으며, 이는 결국 사용자를 피로하게 할 수 있다. 따라서, 이러한 수용/초점 평면의 불일치를 최소화하기 위해, 적어도 하나의 실시예에서 렌더링 컴포넌트(104)는 눈 특성화 정보(156)로 표현되는 눈(404)의 현재 수용 상태 상태를 이용하여 현재의 수용 상태와 일치하는 초점 거리/초점 평면을 식별하고, 식별된 초점 거리/초점 평면에 기초하여 하나 이상의 광 필드 프레임(151)의 다음 세트를 렌더링하여, 따라서 디스플레이된 이미지를 눈(404)의 현재 초점 거리와 더 잘 매칭시킴으로써 사용자가 디스플레이된 이미지를 보는데 소비되는 인지 노력을 감소시킨다. 설명을 위해, 눈의 수용 상태를 아는 것이 광 필드 렌더링을 용이하게 할 수 있는 적어도 두 가지 시나리오가 있다. 첫 번째는, 광 필드 디스플레이는 렌즈렛의 초점 심도(depth-of-field)에 의해 주어진 dPhi = 2c/(d_lens * f_lens)에서 동시에 나타낼 수 있는 수용 상태의 동적 범위를 갖는다. 여기서, c는 시스템의 최소 스팟/픽셀 사이즈이다. 이 심도 동적 범위와 횡(transverse) 공간 해상도 사이에는 상충 관계(tradeoff)가 있으므로 수용 범위는 임의로 크게 할 수 없다. 제한된 동적 범위를 사용자가 초점을 맞추려고 하는 평면으로 시프트시키기 위해 가변 초점 기술(예를 들어, LC 광학 경로 차 변조기, 렌즈-디스플레이 거리 변조)이 사용될 수 있다. 두 번째 시나리오는 광 필드 이미지를 렌더링하기 위한 계산 대역폭 요구 사항에 관한 것으로, 계산 은 표현되는 N개의 평면 수에 따라 선형적으로 조정(scale)되며, 이는 모바일 플랫폼 또는 비교적 제한된 컴퓨팅 리소스가 있는 다른 시스템에 문제가 된다. 따라서, 렌더링 컴포넌트(104)는 각각의 광 필드 프레임을 단일 z-평면에 렌더링할 수 있고, 측정된 수용 상태를 사용하여 광 필드 렌더링을 가변 초점 양식 (varifocal modality)과 별도로 또는 가변 초점 양식과 함께 해당 평면으로 시프트시킬 수 있다.

일부 실시예에서, 전술한 기술들의 소정 양태는 소프트웨어를 실행하는 프로세싱 시스템의 하나 이상의 프로세서에 의해 구현될 수 있다. 소프트웨어는 비-일시적 컴퓨터 판독 가능 저장 매체 상에 저장되거나 그렇지 않으면 유형적으로 구현된 하나 이상의 실행 가능 명령 세트을 포함한다. 소프트웨어는 하나 이상의 프로세서에 의해 실행될 때, 전술한 기술들의 하나 이상의 양태를 수행하기 위해 하나 이상의 프로세서를 조작하는 명령들 및 특정 데이터를 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체는 예를 들어 자기 또는 광학 디스크 저장 디바이스, 플래시 메모리와 같은 고체 상태 저장 디바이스, 캐시, RAM(random access memory) 또는 다른 비-휘발성 메모리 디바이스(들) 등을 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체상에 저장된 실행 가능 명령들은 소스 코드, 어셈블리 언어 코드, 오브젝트 코드, 또는 하나 이상의 프로세서에 의해 해석되거나 실행 가능한 다른 명령 포맷일 수 있다.

컴퓨터 판독 가능 저장 매체는 명령들 및/또는 데이터를 컴퓨터 시스템에 제공하기 위해 사용 중에 컴퓨터 시스템에 의해 액세스 가능한 임의의 저장 매체 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는 광학 매체(예컨대, CD(Compact Disc), DVD(Digital Versatile Disc), 블루 레이 디스크), 자기 매체(예컨대, 플로피 디스크, 자기 테이프 또는 자기 하드 디스크), 휘발성 메모리(예컨대, RAM 또는 캐시), 비-휘발성 메모리(예컨대, ROM 또는 플래시 메모리) 또는 마이크로 전자기계 시스템(MEMS) 기반 저장 매체를 포함할 수 있으나 이에 한정되는 것은 아니다. 컴퓨터 판독 가능 저장 매체는 컴퓨팅 시스템(예컨대, 시스템 RAM 또는 ROM)에 내장되거나, 컴퓨팅 시스템(예컨대, 자기 하드 드라이브)에 고정적으로 취부되거나, 컴퓨팅 시스템(예컨대, 광 디스크 또는 USB 기반 플래시 메모리)에 착찰 가능하게 부착되거나, 또는 유선 또는 무선 네트워크(예컨대, 네트워크 액세스 가능 스토리지(NAS))를 통해 컴퓨터 시스템에 결합될 수 있다.

일반적인 설명에서 상술한 모든 활동이나 요소가 요구되는 것은 아니며, 특정 활동이나 디바이스의 일부가 필요하지 않을 수 있으며, 설명된 것에 추가하여 하나 이상의 추가 활동이 수행되거나 요소가 포함될 수 있다. 또한, 활동이 나열된 순서는 반드시 수행되는 순서는 아니다. 또한, 개념들은 특정 실시예를 참조하여 설명되었다. 그러나, 당업자는 이하의 청구 범위에 설명된 바와 같이 본 발명의 범위를 벗어나지 않고 다양한 변형 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기 보다는 예시적인 것으로 간주되어야 하며, 이러한 모든 수정은 본 발명의 범위 내에 포함되는 것으로 의도된다.

장점, 다른 이점 및 문제점에 대한 해결책이 특정 실시예들과 관련하여 위에서 기술되었다. 그러나, 이점, 장점, 문제점에 대한 해결책 및 이점, 장점 또는 해결책이 발생하거나 더 말하게 만들 수 있는 임의의 기능(들)은, 일부 또는 모든 청구항의 결정적인, 필수적인 또는 본질적인 특징으로 해석되어서는 안된다. 더욱이, 위에서 기술된 특정 실시예들은 개시된 주제가, 본 명세서의 교시(teaching)의 이점을 갖는 당업자에게 자명한, 상이하나 동등한 방식으로 변형되고 실시될 수 있기 때문에 단지 예시적인 것이다. 아래의 청구항들에 기술된 것 이외의 도시된 구성 또는 설계의 세부 사항에 제한은 없다. 따라서, 위에서 개시한 특정 실시예들은 변경되거나 수정될 수 있으며 모든 그러한 변형은 개시된 주제의 범위 내에서 고려되는 것이 명백하다. 따라서, 본 명세서에서 요구되는 보호는 이하의 청구항들에서 설명되는 바와 같다.

Claims

근안(near-eye) 디스플레이 시스템(100)으로서,
렌즈렛들(lenslets)(206)의 어레이(120)와;
렌즈렛들의 어레이에 대면하고,
각각의 광 투사 요소가 렌즈렛들의 어레이의 대응 렌즈렛의 축과 동축인 광 투사 요소들(light projecting elements)의 어레이(218);
광 검출 요소들의 어레이(220); 및
서브-픽셀 요소들(210, 212, 214, 216, 222, 222, 224, 226, 228, 230)의 어레이를 포함하는 디스플레이 패널(118)과;
디스플레이 패널에 결합되어, 사용자의 눈을 향해 광 스팟들(504)의 패턴 (506)을 투사하도록 광 투사 요소들의 어레이를 활성화시키고, 눈으로부터 상기 투사된 광 스팟들의 패턴의 반사를 나타내는 이미지(164)를 캡처하도록 광 검출 요소들의 어레이를 제어하도록 구성된 제어 컴포넌트(160)와; 그리고
캡처된 이미지 내의 광 스팟들의 적어도 서브 세트의 예상 위치(514, 524)와 실제 위치(512, 522) 사이의 변위(516, 526)를 결정하고, 변위에 기초하여 눈을 특성화(characterize)하는 분석 컴포넌트(162)를 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
제1항에 있어서, 상기 분석 컴포넌트는
변위에 기초하여 눈의 굴절 수차를 검출함으로써 눈을 특성화하는 것을 특징으로 하는 근안 디스플레이 시스템.
제1항에 있어서, 상기 분석 컴포넌트는
변위에 기초하여 눈의 수용 상태를 검출함으로써 눈을 특성화하는 것을 특징으로 하는 근안 디스플레이 시스템.
제1항에 있어서, 상기 디스플레이 패널에 결합되어, 서브 픽셀 요소들의 어레이를 통해 사용자에게 디스플레이하기 위한 광 필드 프레임의 시퀀스(153)를 렌더링하도록 구성된 렌더링 컴포넌트(104)를 더 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
제4항에 있어서, 상기 렌더링 컴포넌트는
눈의 특성화에 기초하여 광 필드 프레임의 시퀀스에 대한 렌더링 프로세스의 적어도 하나의 양상(aspect)를 조정하는 것을 특징으로 하는 근안 디스플레이 시스템.
제5항에 있어서, 상기 분석 컴포넌트는 변위에 기초하여 눈의 수차를 검출함으로써 눈을 특성화하고; 그리고
상기 렌더링 컴포넌트는 검출된 수차를 보상하기 위해 광 필드 프레임의 시퀀스를 렌더링하는 것을 특징으로 하는 근안 디스플레이 시스템.
제5항에 있어서, 상기 분석 컴포넌트는 변위에 기초하여 눈의 현재의 수용 상태를 검출함으로써 눈을 특성화하고; 그리고
상기 렌더링 컴포넌트는 현재의 수용 상태로부터 결정된 초점 평면(focal plane)에 기초하여 광 필드 프레임의 시퀀스를 렌더링하는 것을 특징으로 하는 근안 디스플레이 시스템.
제1항에 있어서, 상기 광 투사 요소들의 어레이는
적외선 광 스팟들의 패턴으로서 광 스팟들의 패턴을 투사하도록 구성되는 것을 특징으로 하는 근안 디스플레이 시스템.
제8항에 있어서, 상기 디스플레이 패널은
디스플레이 요소들(204-1, 204-2)의 어레이(202)를 포함하고,
각각의 디스플레이 요소(204-1, 204-2)는 서브-픽셀 요소들(210, 212, 214, 216, 222, 222, 224, 226, 228, 230)의 어레이의 적어도 하나의 서브-픽셀 요소를 포함하고, 상기 디스플레이 요소들(204-1, 204-2)의 어레이의 적어도 제1 서브 세트의 각각의 디스플레이 요소는 광 검출 요소들의 어레이의 광 검출 요소(220)를 더 포함하고, 상기 디스플레이 요소(204-1)들의 어레이의 적어도 제2 서브 세트의 각각의 디스플레이 요소는 광 투사 요소들(218)의 어레이의 광 투사 요소(218)를 더 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
제1항의 근안 디스플레이 시스템(100)에서 수행되는 방법으로서,
상기 방법은,
렌즈렛 어레이(202)를 통해 사용자의 눈을 향해 디스플레이 패널(118)의 광 투사 요소들(218)의 어레이로부터 광 스팟들(504)의 패턴(506)을 투사하는 단계와;
디스플레이 패널의 광 검출 요소의 어레이(220)를 통해, 눈으로부터의 광 스팟들의 패턴의 반사를 나타내는 이미지(164)를 캡처하는 단계와;
이미지의 광 스팟들의 적어도 서브 세트의 각 광 스팟에 대해, 캡처된 이미지 내의 예상 위치(514, 524)와 실제 위치(512, 522) 사이의 변위(516, 526)를 결정하는 단계와; 그리고
광 스팟들의 서브 세트에 대한 변위에 기초하여 눈의 하나 이상의 특성을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 눈의 하나 이상의 특성을 결정하는 단계는
변위에 기초하여 눈의 굴절 수차를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 눈의 하나 이상의 특성을 결정하는 단계는
변위에 기초하여 눈의 수용 상태를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 디스플레이 패널을 통해 사용자에게 디스플레이하기 위한 광 필드 프레임(153)의 시퀀스를 렌더링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제13항에 있어서, 상기 눈의 특성에 기초하여 광 필드 프레임의 시퀀스의 렌더링을 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제14항에 있어서, 상기 눈의 하나 이상의 특성을 결정하는 단계는 변위에 기초하여 눈의 수차를 검출하는 단계를 포함하고; 그리고
상기 렌더링을 조정하는 단계는 검출된 수차를 보상하도록 광 필드 프레임의 시퀀스의 렌더링을 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서, 상기 눈의 하나 이상의 특성을 결정하는 단계는 변위에 기초하여 눈의 현재의 수용 상태를 검출하는 단계를 포함하고; 그리고
상기 렌더링을 조정하는 단계는 현재의 수용 상태로부터 결정된 초점 평면에 기초하여 광 필드 프레임의 시퀀스의 렌더링을 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 광 스팟들의 패턴을 투사하는 단계는 적외선 광 스팟들의 패턴을 투사하는 단계를 포함하는 것을 특징으로 하는 방법.