KR102270131B1

KR102270131B1 - 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이

Info

Publication number: KR102270131B1
Application number: KR1020197024670A
Authority: KR
Inventors: 존 디. 페로; 페트릭 룰
Original assignee: 구글 엘엘씨
Priority date: 2017-05-26
Filing date: 2018-02-15
Publication date: 2021-06-28
Also published as: TWI670521B; US10764552B2; KR20190105648A; DE202018101096U1; US20180343434A1; JP2020523803A; TW201908810A; WO2018217253A1

Abstract

니어-아이(near-eye) 디스플레이 시스템(100)은 일체형 라이트필드 프레임을 사용자의 눈(132)에 제시하기 위해 요소 이미지들의 어레이(122) 및 렌즈릿 어레이(124)를 포함하는 니어-아이 라이트필드 프레임(120)을 디스플레이하기 위한 디스플레이 패널(118)을 포함한다. 상기 시스템은, 소스 이미지(202)의 스파스 샘플링(sparse sampling)에 적어도 부분적으로 기초하여 요소 이미지들의 어레이(122)를 생성하여, 상기 요소 이미지들의 어레이의 각각의 개별적인 요소 이미지 내에 포함된 이미지 데이터의 오버랩을 감소시키는 렌더링 컴포넌트(104)를 더 포함한다. 니어-아이 디스플레이 시스템(100)의 동작에 대한 방법은 대상 객체의 현재 뷰포인트의 스파스 샘플링에 기초하여 일체형 라이트필드 프레임(120)을 형성하는 요소 이미지들의 어레이를 생성하여, 상기 어레이의 각각의 개별 요소 이미지 내에 포함된 이미지 데이터의 오버랩을 감소시키는 단계를 포함한다.

Description

스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이

본 명세서는 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이에 관한 것이다.

헤드 장착형 디스플레이(HMD) 및 다른 니어-아이 디스플레이 시스템은 일체형 라이트필드 디스플레이 또는 다른 컴퓨팅 디스플레이를 이용하여 3차원(3D) 그래픽의 효과적인 디스플레이를 제공할 수 있다. 일반적으로, 일체형 라이트필드 디스플레이는 하나 이상의 디스플레이 패널 및 하나 이상의 디스플레이 패널 위에 놓이는 렌즈릿(lenslet), 핀홀(pinhole) 또는 다른 광학 특징의 어레이를 사용한다. 렌더링 시스템은 요소 이미지의 어레이를 렌더링하며, 각 요소 이미지는 해당 원근감 또는 가상 카메라 위치에서 객체 또는 장면의 이미지 또는 뷰를 나타낸다. 이러한 일체형 라이트필드 디스플레이는 전형적으로 해상도와 아이 릴리프(eye relief) (즉, 사용자의 눈이 전체 시야를 얻을 수 있는 거리) 사이의 트레이드오프(tradeoff)를 나타낸다. 일체형 라이트필드 디스플레이를 이용하는 종래의 니어-아이 디스플레이 시스템은 일반적으로 렌즈릿 프로젝터-어레이에서 오버랩으로 인한 공간 해상도를 희생(sacrifice)시킨다.

본 명세서는 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이를 제공하는 것이다.

본 명세서는 첨부된 도면을 참조하여 당업자에게 보다 잘 이해될 수 있고, 많은 특징 및 장점이 명백해질 수 있다. 상이한 도면에서 동일한 참조 부호를 사용하는 것은 유사하거나 동일한 항목을 나타낸다.
도 1은 일부 실시 예에 따라 증가된 디스플레이 해상도를 제공하기 위해 포즈(pose) 검출 및 스파스 샘플링(sparse sampling)을 사용하는 니어-아이 디스플레이 시스템을 도시하는 도면이다.
도 2는 니어-아이 디스플레이 시스템에서의 종래의 컴퓨팅 디스플레이를 예시하는 도면이다.
도 3은 도 1의 니어-아이 디스플레이 시스템에서 사용하기 위한 예시적인 로우 필-팩터(low fill-factor) 디스플레이를 도시하는 도면이다.
도 4는 일부 실시 예에 따라 도 1의 니어-아이 디스플레이 시스템에서 사용하기 위한 다른 예시적인 로우 필-팩터 디스플레이를 도시하는 도면이다.
도 5는 일부 실시 예에 따라 도 1의 니어-아이 디스플레이 시스템에서 사용하기 위한 다른 실시 예의 로우 필-팩터 디스플레이를 도시하는 도면이다.
도 6은 일부 실시 예에 따라 도 1의 니어-아이 디스플레이 시스템에서 증가된 해상도를 갖는 라이트필드 프레임을 렌더링하기 위한 스파스 샘플링 방법의 일례를 나타내는 흐름도이다.
도 7은 일부 실시 예에 따라 라이트필드 프레임을 렌더링하기 위한 예시적인 스파스 샘플링 오퍼레이션을 나타내는 도면이다.
도 8은 일부 실시 예에 따른 라이트필드 슈퍼-해상도의 예를 도시하는 도면이다.

도 1 내지 도 8은 니어-아이(near-eye) 디스플레이 시스템에서 일체형 라이트필드 프레임의 스파스 샘플링 슈퍼-해상도 렌더링을 위한 예시적인 방법 및 시스템을 도시한다. 적어도 하나의 실시 예에서, 니어-아이 디스플레이 시스템은 사용자에게 몰입형 가상현실(VR) 또는 증강현실(AR) 경험을 제공하고 사용자에게 이미지의 일체형 라이트필드 프레임을 디스플레이하기 위해 컴퓨팅 디스플레이를 사용한다. 각각의 일체형 라이트필드 프레임은 요소 이미지들(elemental images)의 어레이로 구성되며, 각각의 요소 이미지는 상이한 해당 시점(뷰포인트)으로부터의 객체 또는 장면의 뷰를 나타낸다. 렌즈릿들의 어레이는 디스플레이 패널 위에 놓이고(overlie), 요소 이미지들의 어레이를 단일 오토스테레오스코픽(autostereoscopic) 이미지로서 사용자에게 제시하도록 동작한다.

컴퓨팅 디스플레이의 해상도가 해상도와 아이 릴리프(eye relief)(즉, 사용자의 눈이 전체 시야(field of view)를 얻을 수 있는 거리) 사이의 트레이드오프를 나타내기 때문에, 일체형 라이트필드 디스플레이를 사용하는 니어-아이 디스플레이 시스템은 일반적으로 렌즈릿 프로젝터-어레이에서 중첩됨으로써 공간 해상도를 희생시킨다. 개선된 해상도를 제공하기 위해, 적어도 하나의 실시 예에서, 본원에 설명된 니어-아이 디스플레이 시스템은 프로젝터 어레이 요소들 내의 이미지 데이터의 오버랩을 제거함으로써 손실된 해상도의 일부를 복구하도록 로우 필-팩터(low fill-factor) 디스플레이의 스파스 샘플링을 이용한다. 일례로서, 각각의 프로젝터 어레이 요소는 소스 이미지의 약간 다른 서브-영역을 샘플링하도록 구성될 수 있으며, 따라서 서로에 대해 고유한 이미지 데이터를 갖는다. 따라서, 소스 이미지의 스파스 샘플링(sparse sampling)은 렌즈릿 프로젝터-어레이에서 수신된 이미지 데이터의 오버랩(overlap)을 감소시키고 그리고 니어-아이 시스템의 감소된 뷰 거리(viewing distance)로부터 초래된 손실된 공간 해상도를 복구하기 위해 로우 필-팩터(low fill-factor) 디스플레이에 의해 획득될 수 있다(예를 들어, 종래의 라이트필드 디스플레이의 10-40 mm 렌즈 초점 길이 대 10 밀리미터(mm) 미만 대 종래의 확대 디스플레이(magnifier display)에 대한 40+ mm).

도 1은 적어도 하나의 실시 예에 따라 일체형 라이트필드 프레임(integral lightfield frame)의 스파스 샘플링 슈퍼-해상도 렌더링을 포함하는 니어-아이 디스플레이 시스템(100)을 도시한다. 도시된 예에서, 니어-아이 디스플레이 시스템(100)은 컴퓨팅 디스플레이(computational display) 서브-시스템(102) 및 렌더링 컴포넌트(104)를 포함한다. 컴퓨팅 디스플레이 서브-시스템(102)은 디스플레이(110,112)를 사용자의 좌안 및 우안 앞에 각각 배치하는 장치(114)(예를 들어, 고글, 안경 등)에 장착된 좌안용 디스플레이(110) 및 우안용 디스플레이(112)를 포함한다.

도면 부호 116에 의해 도시된 바와 같이, 디스플레이들(110, 112) 각각은 요소 이미지(122)의 어레이(120)를 각각 포함하는 시퀀스 또는 일련의 일체형 라이트필드 프레임들(이하, 참조를 용이하게 하기위한 "라이트필드 프레임")을 디스플레이하기 위한 적어도 하나의 디스플레이 패널(118)을 포함한다. 참조를 쉽게 하기 위해, 요소 이미지(122)의 어레이(120)는 여기에서 라이트필드 프레임(120)으로 지칭될 수도 있다. 디스플레이(110,112) 각각은 디스플레이 패널(118)을 덮는 렌즈릿(126)(일반적으로 "마이크로렌즈"라고도 함)의 어레이(124)를 더 포함한다. 전형적으로, 렌즈릿의 수는 렌즈릿 어레이(124) 내의 요소 이미지들(elemental images)(122)의 수와 동일하지만, 다른 구현에서 렌즈릿(126)의 수는 요소 이미지들(122)의 수보다 적거나 클 수 있다. 도 1의 예는, 설명을 용이하게 하기 위해 요소 이미지(122)의 5 × 4 어레이 및 렌즈릿(126)의 해당 5 × 4 어레이(120)를 예시하지만, 일반적인 구현 예에서 라이트필드 프레임(120)의 요소 이미지(122)의 수 및 렌즈릿 어레이(124)의 렌즈릿(126)의 수는 전형적으로 훨씬 더 높다. 또한, 일부 실시 예들에서, 별도의 디스플레이 패널(118)이 각각의 디스플레이(110, 112)에대해 구현되며, 다른 실시 예에서, 좌안용 디스플레이(110) 및 우안용 디스플레이(112)는 단일 디스플레이 패널(118)을 공유하고, 디스플레이 패널(118)의 좌측 절반은 좌안용 디스플레이(110)를 위해 사용되고, 디스플레이 패널(118)의 우측 절반은 우안용 디스플레이(112)를 위해 사용된다.

도 1의 단면도(128)는 디스플레이 패널(118) 위에 놓이는 렌즈릿 어레이(124)의 라인 A-A를 따른 단면도를 도시하고, 렌즈릿 어레이(124)가 디스플레이 패널(118)의 디스플레이 표면(130) 위에 놓여서 디스플레이 표면(130)과 사용자의 해당 눈(132) 사이에 배치된다. 이 구성에서, 각각의 렌즈릿(126)은 디스플레이 표면(130)의 해당 영역을 눈의 동공(134) 상에 포커싱하고, 이러한 각각의 영역은 하나 이상의 인접한 영역들과 적어도 부분적으로 중첩된다. 따라서, 이러한 컴퓨팅 디스플레이 구성에서, 요소 이미지들(122)의 어레이(120)가 디스플레이 패널(118)의 디스플레이 표면(130)에 디스플레이된 다음 렌즈릿 어레이(124)를 통해 눈(132)에 의해 관찰될 때, 사용자는 요소 이미지(122)의 어레이(배열)(120)를 장면의 단일 이미지로 인식한다. 따라서, 이 프로세스가 적절한 시차를 통해 사용자의 좌안 및 우안 모두에 대해 병렬로 수행될 때, 그 결과는 사용자에게 오토스테레오스코픽(autostereoscopic) 3차원(3D) 이미지를 제공하는 것이다.

또한, 도 1에 도시된 바와 같이, 렌더링 컴포넌트(104)는 도시된 중앙 처리 유닛(CPU)(136) 및 그래픽 처리 유닛(GPU)(138, 140)과 같은 하나 이상의 프로세서의 세트, 및 프로세서(136, 138, 140) 중 하나 이상을 조작하여 여기에 설명된 바와 같은 다양한 태스크를 수행하도록 프로세서(136, 138, 140)에 의해 액세스되고 실행되는 다른 실행가능 명령어들 또는 소프트웨어 프로그램을 저장하기 위한 시스템 메모리(142)와 같은 하나 이상의 저장 컴포넌트를 포함한다. 이러한 소프트웨어 프로그램은, 예를 들어 아래에서 설명되는 바와 같이 스파스 샘플링 프로세스에 대한 실행 가능 명령(명령어)을 포함하는 렌더링 프로그램(144)을 포함한다.

동작시에, 렌더링 컴포넌트(104)는 로컬 또는 원격 콘텐츠 소스(150)로부터 렌더링 정보(148)를 수신하고, 렌더링 정보(148)는 그래픽 데이터, 비디오 데이터, 또는 디스플레이 서브-시스템(102)에서 렌더링되고 디스플레이될 이미지의 대상인 객체 또는 장면을 나타내는 다른 데이터를 나타낸다. 렌더링 프로그램(144)을 실행하면, CPU(136)는 렌더링 정보(148)를 사용하여 GPU(138, 140)에 드로잉 명령( drawing instruction)을 보내고, 드로잉 명령을 이용하여 좌안용 디스플레이(110)에 디스플레이하기 위한 일련의 라이트필드 프레임(151) 및 우안용 디스플레이(112)에서 디스플레이하기 위한 일련의 라이트필드 프레임(153)을 다양한 잘 알려진 VR/AR 컴퓨팅(computational)/ 라이트필드 렌더링 프로세스 중 하나를 사용하여 병렬로 렌더링한다. 이 렌더링 프로세스의 일부로서, CPU(136)는 관성 관리 유닛(IMU)(154)으로부터 포즈 정보(150)를 수신할 수 있으며, 이에 의해 포즈 정보(150)는 디스플레이 서브-시스템(102)의 현재 포즈를 나타내며 그리고 현재 포즈로부터의 객체 또는 장면의 시점(viewpoint)을 반영하도록 하나 이상의 라이트필드 프레임 쌍(151, 153)의 렌더링을 제어한다. 다양한 실시 예가 VR 및/또는 AR 디스플레이와 관련하여 본원에서 설명되었지만, 당업자는 이미지 캡처를 위해 라이트필드 카메라 시스템에 유사하게 적용 가능한 것으로 기술된 스파스 샘플링 슈퍼-해상도 렌더링 시스템 및 방법을 인식할 것이다.

도 2는 종래의 컴퓨팅 디스플레이의 단면도(200)를 도시한다. 렌즈릿 어레이(124)의 각 렌즈릿(126)은 사용자의 눈(예를 들어, 도 1의 눈(132)) 상에 별도의 "프로젝터"로서 기능하며, 각각의 "프로젝터"는 디스플레이 패널(118)에 디스플레이된 요소 이미지(122)의 어레이(120)로부터 합성(composite) 가상 이미지(202)를 형성함에 있어서 하나 이상의 인접한 프로젝터와 중첩한다. 이 도면에 도시된 바와 같이, 활성 굴절 영역(active refracting area)(본 명세서에서 "필-팩터(fill-factor)"라고 함)은 거의 100 %이다. 즉, 렌즈릿 어레이(124)(즉, 디스플레이 패널(118))를 향해 광을 지향시키는 면적의 비율은 렌즈릿 어레이가 차지하는 전체 연속 영역(contiguous area)에 대해 갭을 포함하여 100 %에 가깝다.

높은 필-팩터(채움율)를 갖는 디스플레이는 가상 이미지(202)로부터의 복수의 요소 이미지(122)에서 중첩 데이터를 갖는다. 설명하기 위해, 렌즈릿(126-1)은 가상 이미지(202)의 영역(206)에 대응하는 요소 이미지(122-2)로부터 이미지 데이터를 수신한다. 유사하게, 렌즈릿(126-2)은 가상 이미지(202)의 영역(206)에 대응하는 요소 이미지(122-5)로부터 이미지 데이터를 수신하고, 렌즈릿(126-3)은 가상 이미지(202)의 영역(206)에 대응하는 요소 이미지(122-8)로부터 이미지 데이터를 수신한다. 따라서, 요소 이미지(122-2, 122-5, 122-8)로부터 수신된 이미지 데이터는 중첩 정보량이 크다. 높은 필-팩터를 갖는 종래의 디스플레이는 종종 가상 이미지 평면상의 다수의(복수의) 요소 이미지(예를 들어, 4-6 개의 요소 이미지)와 중첩(오버랩)된다. 이러한 오버랩은 동일한 팩터(즉, 4x-6x 해상도의 감소)에 의해 소스 해상도를 감소시킨다.

해상도 감소의 일부는 낮은 필-팩트 디스플레이를 사용하여 복구할 수 있다. 도 3은 일부 실시 예에 따라 니어-아이 디스플레이 시스템(100)에서 이용될 수 있는 낮은 필-팩터 디스플레이의 단면도(300)를 도시한다. 렌즈릿 어레이(124)의 각 렌즈릿(126)은 사용자의 눈(예를 들어, 도 1의 눈(132)) 상에 별도의 "프로젝터"로서 기능하며, 각각의 "프로젝터"는 디스플레이 패널(118)에 디스플레이된 요소 이미지(122)의 어레이(120)로부터 합성 가상 이미지(202)를 형성함에 있어서 하나 이상의 인접한 프로젝터들과 오버랩(중첩)한다. 이와 같이, 상기 필-팩터는 약 33%이다. 즉, 렌즈릿 어레이(124)(즉, 디스플레이 패널(118)의 요소 이미지(122)를 나타내는 발광 소자)를 향해 광을 지향시키는 영역의 비율은 갭을 포함하는 렌즈릿 어레이에 의해 점유된 전체 연속 영역(contiguous area)에 대해 약 33%이다.

낮은 필-팩터를 갖는 디스플레이는 도 3에 도시된 바와 같이 높은 필-팩터 디스플레이와 관련하여 소스 데이터의 스파스 샘플링(sparse sampling)을 제공한다. 설명을 위해, 도 2의 높은 필-팩터 디스플레이와 유사하게, 렌즈릿(126-1)은 가상 이미지(202)의 영역(206)에 대응하는 요소 이미지(122-2)로부터 이미지 데이터를 수신한다. 유사하게, 렌즈릿(126-2)은 가상 이미지(202)의 영역(206)에 대응하는 요소 이미지(122-5)로부터 이미지 데이터를 수신하고, 렌즈릿(126-3)은 가상 이미지(202)의 영역(206)에 대응하는 요소 이미지(122-8)로부터 이미지 데이터를 수신한다. 그러나, 로워(lower) 필-팩터 디스플레이는 렌즈릿 어레이(124)에서 수신된 이미지 데이터의 오버랩을 감소시키기 위해 소스 이미지 데이터의 더 많은 불연속 속성(discrete attribution)을 허용하는 더 작은 발광 소자(smaller light emitting elements)를 포함한다.

도시된 바와 같이, 렌즈릿(126-1)은 가상 이미지(202)의 영역(206) 내의 서브-영역(206-1)에 대응하는 요소 이미지(122-2)로부터 이미지 데이터를 수신한다. 렌즈릿(126-2)은 가상 이미지(202)의 영역(206) 내의 서브-영역(206-2)에 대응하는 요소 이미지(122-5)로부터 이미지 데이터를 수신한다. 렌즈릿(126-3)은 가상 이미지(202)의 영역(206) 내의 서브-영역(206-3)에 대응하는 요소 이미지(122-8)로부터 이미지 데이터를 수신한다. 따라서, 모든 렌즈릿(126-1, 126-2 및 126-3)은 소스 이미지의 동일한 로컬 영역(즉, 영역 (206))으로부터 샘플을 취하지만, 렌즈릿(126)은 동일한 정확한 위치의 이미지 데이터를 샘플링하지 않는다. 렌즈릿(126-1, 126-2 및 126-3) 각각은 소스 이미지의 약간 다른 서브-영역을 샘플링하고, 따라서 서로에 대한 이미지 데이터의 고유한 세기 값(unique intensity value)(즉, 정보 콘텐츠)을 갖는다. 따라서, 가상 이미지(202)의 스파스 샘플링은 렌즈릿(126)에서 수신된 이미지 데이터의 오버랩을 감소시키고 손실된 해상도를 1/(필-팩터)의 비율로 회복시키기 위해 로워 필-팩터(lower fill-factor) 디스플레이에 의해 획득될 수 있다. 예를 들어, 도 3의 약 33% 필-팩터 디스플레이는 가상 이미지(202)의 해상도를 대략 3배(3x)(즉, 1/0.33 필 팩터) 증가시킨다.

다양한 실시 예에서, 디스플레이 패널(118)은 도 3에 도시된 바와 같이 작은 필-팩터로 제조된 발광 소자를 포함할 수 있다. 이러한 발광 소자는 예를 들어 유기 발광 다이오드(OLED) 이미터를 포함할 수 있다. 그러나, 이러한 발광 소자는 단위 면적 및 필 팩터 비율당 소정의 전류 밀도에 대한 휘도 출력에 대해 제한될 수 있다. 다시 말해서, 가상 이미지 해상도를 증가시키기 위해 필-팩터를 감소시킴으로써 스파스 샘플링은 때로는 디스플레이 패널(118)의 밝기(휘도)를 낮추는 결과를 가져올 수 있다. 이러한 낮은 밝기는 적어도 부분적으로는 발광 소자 출력에 이용 가능한 표면적의 작은 부분에 기인한다.

도 4는 일부 실시 예에 따라 니어-아이 디스플레이 시스템(100)에서 이용될 수 있는 로우 필-팩터(low fill-factor) 디스플레이를 위한 구성을 도시한다. 단면도(400)에 의해 도시된 바와 같이, 렌즈릿 어레이(124)의 각 렌즈릿(126)은 사용자의 눈(예를 들어, 도 1의 눈(132))상에 개별 "프로젝터"로서 기능하며, 각각의 "프로젝터"는 발광 소자(402)에 의해 디스플레이 패널(118)에 디스플레이된 요소 이미지들의 어레이로부터 합성 가상 이미지(202)를 형성하는데 있어 하나 이상의 인접한 프로젝터들과 오버랩한다. 이 도면에 도시된 바와 같이, 활성 굴절 영역(본 명세서에서 "필-팩터(fill-factor)"라고 함)은 거의 100%이다. 즉, 렌즈릿 어레이(124)(즉, 디스플레이 패널(118))를 향해 광을 지향시키는 면적의 비율은 렌즈릿 어레이에 의해 점유된 전체 인접 영역에 대해 갭을 포함하여 100%에 가깝다.

높은 필-팩터를 갖는 종래의 디스플레이는 종종 가상 이미지 평면상의 다수의 요소 이미지(예를 들어, 4-6개의 원소 이미지)와 오버랩된다. 높은 필-팩터를 갖는 디스플레이는 가상 이미지(202)로부터의 복수의 요소 이미지(122)에서 오버랩되는 데이터를 갖는다. 따라서, 단면도(400)에 의해 도시된 바와 같이, 이 구성에서, 픽셀 개구 마스크(404)는 디스플레이 패널(118)의 발광기(light emitter)와 렌즈릿 어레이(124) 사이에 위치된다. 픽셀 개구 마스크(404)는 실제로 디스플레이 패널(118)의 필-팩터를 감소시키지 않는다는 것을 주목해야 한다. 렌즈릿 어레이(124)를 향해 광을 지향시키는 표면적은 도 2의 구성과 유사하게 대략 100%이다. 그러나, 추가 픽셀 개구 마스크(404)는 렌즈릿 어레이(124)에서 수신된 광을 좁히고, 이미지 데이터가 발광 소자(402)의 영역의 일부에만 기여하도록 허용한다.

예를 들어, 개구부(개구)(406)의 물리적 치수에 기초하여, 픽셀 개구 마스크를 통과하여 렌즈릿(126-1)에 수신된 광은 발광 소자(402-1)의 서브 영역(408-1)에 기인할 수 있다. 발광 소자(402-1)의 서브 영역(408-1)은 도 3의 요소 이미지(122-2)와 유사하고, 가상 이미지(202)의 영역(206) 내의 서브-영역(206-1)에 대응한다. 유사하게, 개구부(410)를 통과한 렌즈릿(126-2)에서 수신된 광은 발광 소자(402-2)의 서브 영역(408-2)에 기인할 수 있고, 개구부(412)를 통과하여 렌즈릿(126-3)에서 수신된 광은 발광 소자(402-3)의 서브 영역(408-3)에 기인할 수 있다. 이들 서브 영역(408-2 및 408-3)은 도 3의 요소 이미지들(122-5, 122-8)과 유사(analogous)하고 그리고 가상 이미지(202)의 영역(206) 내의 서브 영역들(206-2, 206-3)에 각각 대응한다. 따라서, 픽셀 개구 마스크(404)는 디스플레이 패널(118)의 실제 필-팩터를 변경하지 않고 "유효 필-팩터"(즉, 렌즈릿(126)의 뷰포인트에서 경험한 필-팩터)를 감소시킴으로써 더 큰 해상도를 허용하여, 출력 휘도를 증가시키기 위해 (예를 들어, 도 3에 비해) 더 큰 이미터 표면적을 유지하면서 가상 이미지(202)의 공간 해상도를 증가시킨다.

횡단면도(400)는 픽셀 개구 마스크(404) 내의 개구부의 크기 및 형상에 관한 어떠한 세부 사항도 제공하지 않는다는 것을 주목해야 한다. 당업자는 다양한 크기 및 형상의 개구부가 본 개시의 범위를 벗어나지 않고 사용될 수 있음을 인식할 것이다. 예를 들어, 실질적으로 정사각형 또는 직사각형 개구부가 사용될 수 있다. 횡단면도(400)가 픽셀 개구 마스크(404)와 디스플레이 패널(118) 및 렌즈릿 어레이(124) 사이의 공간을 도시하지만, 그 공간은 명료성 및 관계 목적을 위해 제공되는 것을 유의해야 한다. 예를 들어, 다양한 실시 예에서, 픽셀 개구 마스크(404)는 디스플레이 패널(118) 또는 렌즈릿 어레이(124)와 직접 접촉하도록 배치되거나, 본 발명의 범위를 벗어나지 않으면서 디스플레이 패널(118) 또는 렌즈릿 어레이(124)와 직접 접촉하는 유리 표면에 적용될 수 있다.

도 5는 일부 실시 예에 따라 니어-아이 디스플레이 시스템(100)에서 이용될 수 있는 로우 필-팩터 디스플레이를 위한 또 다른 구성을 도시한다. 횡단면도(500)에 의해 도시된 바와 같이, 렌즈릿 어레이(124)의 렌즈릿(126) 각각은 사용자의 눈(예를 들어, 도 1의 눈(132)) 상에 개별 "프로젝터"로서 기능하며, 각각의 "프로젝터"는 발광 소자(402)에 의해 디스플레이 패널(118)에 디스플레이된 요소 이미지들의 어레이로부터 합성(composite) 가상 이미지(202)를 형성할 때 하나 이상의 인접한 프로젝터들과 오버랩(중첩)된다. 이 도면에 도시된 바와 같이, 활성 굴절 영역(본 명세서에서 "필-팩터"라고 함)은 거의 100%이다. 즉, 렌즈릿 어레이(124) (즉, 디스플레이 패널(118))를 향해 광을 지향시키는 면적(영역)의 비율은 렌즈릿 어레이에 의해 점유된 전체 연속 영역(contiguous area)에 대해 갭을 포함하여 100%에 가깝다.

높은 필-팩터를 갖는 종래의 디스플레이는 종종 가상 이미지 평면상의 다수의 요소 이미지(예를 들어, 4-6 개의 원소 이미지)와 오버랩된다. 높은 필-팩터를 갖는 디스플레이는 가상 이미지(202)의 복수의 요소 이미지(122)에서 오버랩하는 데이터를 갖는다. 따라서, 단면도(횡단면도)(500) 및 도 4와 관련하여 앞서 설명된 바와 같이, 픽셀 개구 마스크(404)는 렌즈릿 어레이(124)와 디스플레이 패널(118)의 발광기 사이에 위치된다. 픽셀 개구 마스크(404)는 실제로 디스플레이 패널(118)의 필-팩터를 감소시키지 않는다는 것을 주목해야 한다. 렌즈릿 어레이(124)를 향해 광을 지향시키는 표면적은 도 2의 구성과 유사하게 대략 100%이다. 그러나, 추가 픽셀 개구 마스크(404)는 렌즈릿 어레이(배열)(124)에서 수신된 광을 좁히고, 이미지 데이터가 발광 소자(402)의 영역의 일부에만 기여하도록 허용한다.

예를 들어, 개구부(406)의 물리적 치수에 기초하여, 픽셀 개구 마스크를 통과한 렌즈릿(126-1)에서 수신된 광은 발광 소자(402-1)의 서브 영역(408-1)에 기인할 수 있다. 발광 소자(402-1)의 서브 영역(408-1)은 도 3의 요소 이미지(122-2)와 유사하고, 가상 이미지(202)의 영역(206) 내의 서브 영역(206-1)에 대응한다. 유사하게, 개구부(410)를 통과하여 렌즈릿(126-2)에서 수신된 광은 발광 소자(402-2)의 서브 영역(408-2)에 기인할 수 있고, 개구부(412)를 통과하여 렌즈릿(126-3)에서 수신된 광은 발광 소자(402-3)의 서브 영역(408-3)에 기인할 수 있다. 이들 서브 영역(408-2 및 408-3)은 도 3의 요소 이미지들(122-5, 122-8)과 유사하고, 가상 이미지(202)의 영역(206) 내의 서브 영역들(206-2, 206-3)에 각각 대응한다. 따라서, 픽셀 개구 마스크(404)는 디스플레이 패널(118)의 실제 필-팩터를 변경하지 않고 "유효 필-팩터"(즉, 렌즈릿(126)의 뷰포인트에서 경험한 필-팩터)를 감소시킴으로써 더 큰 해상도를 허용하여, 출력 휘도를 증가시키기 위해 (예를 들어, 도 3에 비해) 더 큰 이미터 표면적을 유지하면서 가상 이미지(202)의 공간 해상도(spatial resolution)를 증가시킨다.

비록 도 4에 도시된 구성이 도 2의 구성에 비해 출력 휘도(밝기)를 증가시키기 위해 증가된 이미터 표면적을 제공하지만, 픽셀 개구 마스크(404)의 존재는 휘도를 η²만큼 감소시키며, 여기서 η = NA_lenslet/NA_elem (NA_lenslet = 렌즈릿의 개구 수 및 NA_elem = 요소 이미지의 개구 수)이다. 따라서, 도 5의 구성은 각각의 발광 소자(402)의 앞에 배치된 마이크로 렌즈(502)를 더 포함한다. 도 5에 도시된 바와 같이, 마이크로 렌즈(502)는 디스플레이 패널(118)과 픽셀 개구 마스크(404) 사이에 배치되어, 마이크로 렌즈(502)는 개구(개구부)를 지나 발광 소자(402)에 의해 방출된 광을 집속시키도록 구성된다. 따라서, 마이크로 렌즈(502)를 픽셀 개구 마스크(404)와 결합하는 것은 디스플레이 패널(118)의 실제 필-팩터를 변경하지 않고 "유효 필-팩터"(즉, 렌즈릿(126)의 뷰포인트에서 경험한 필-팩터)를 감소시킴으로써 더 큰 해상도를 허용하며, 이에 의해, 마이크로 렌즈(502)를 사용하여 렌즈릿(126)에 대한 출력 휘도 및 광 처리량을 증가시키기 위해 (예를 들어, 도 3에 비해) 더 큰 이미터 표면적으로부터 방출된 광을 집속하는 동안 가상 이미지(202)의 공간 해상도를 증가시킨다.

횡단면도(500)는 픽셀 개구 마스크(404) 내의 개구들의 크기 및 형상에 관한 어떠한 세부 사항도 제공하지 않는다는 것을 주목해야 한다. 당업자는 다양한 크기 및 형상의 개구가 본 개시의 범위를 벗어나지 않고 사용될 수 있음을 인식할 것이다. 예를 들어, 실질적으로 정사각형 또는 직사각형 개구가 사용될 수 있다. 횡단면도(500)가 픽셀 개구 마스크(404)와 디스플레이 패널(118)과 렌즈릿 어레이(124) 사이의 공간을 도시하지만, 공간은 명확성 및 관계 목적을 위해 제공된다는 점에 유의해야한다. 예를 들어, 다양한 실시 예에서, 픽셀 개구 마스크(404)는 디스플레이 패널(118) 또는 렌즈릿 어레이(124)와 직접 접촉하도록 배치될 수 있거나, 본 발명의 범위를 벗어나지 않으면서 디스플레이 패널(118) 또는 렌즈릿 어레이(124)와 직접 접촉하는 유리 표면에 적용될 수 있다.

도 6은 일부 실시 예에 따라 고해상도 라이트필드 디스플레이를 생성하기 위해 로우 필-팩터 디스플레이 패널을 사용하여 라이트필드 프레임을 렌더링하기 위한 니어-아이 디스플레이 시스템(100)의 동작 방법(600)을 도시한다. 방법(600)은 좌안용 디스플레이(110) 또는 우안용 디스플레이(112) 중 하나에 대한 라이트필드 프레임을 렌더링 및 디스플레이하기 위한 프로세스의 한 번의 반복을 도시하고, 따라서, 도시된 프로세스는 각각의 디스플레이(110, 112)에 대해 병렬로 반복적으로 수행되어 상이한 시점에서 각각의 눈에 대해 상이한 스트림 또는 라이트필드 프레임의 시퀀스를 생성 및 디스플레이하고, 따라서 3D, 오토스테레오스코픽 VR 또는 AR 경험을 사용자에게 제공한다.

라이트필드 프레임이 생성되어 디스플레이되기 위해서, 방법(600)은 블럭(602)에서 시작하며, 렌더링 컴포넌트(104)는 사용자의 해당 눈에 디스플레이될 이미지 콘텐츠를 라이트필드 프레임으로서 식별한다. 적어도 하나의 실시 예에서, 렌더링 컴포넌트(104)는 자이로스코프, 가속도계, 자력계, GPS(Global Positioning System) 센서 등과 같은 다양한 포즈 관련 센서 및 IMU 정보로부터 데이터를 나타내는 IMU 정보(152)를 수신하고, IMU 정보(150)로부터 사용자의 눈 근처에 디스플레이들(110, 112)을 장착하는데 사용된 장치(114)(예를 들어, HMD)의 현재 포즈를 결정한다. 이 IMU 정보(152)로부터, 렌더링 프로그램(144)을 실행하는 CPU(136)는 대상 장면 또는 객체의 대응하는 현재 뷰포인트를 결정할 수 있고, 이 뷰포인트 및 렌더링 정보(148)로서 제공된 장면 또는 객체의 그래픽 및 공간 기술로부터 렌더링될 이미지(영상)를 결정할 수 있다.

블록(604)에서, 렌더링 프로그램(144)은 공간 도메인에서 소스 객체(예를 들어, 도 2의 가상 이미지(202))를 스파스 샘플링하기 위해 CPU(136)를 조작하고 그리고 렌더링될 이미지의 블록(602)에서의 결정에 기초하여 요소 이미지를 생성한다. 위에서 설명된 바와 같이, 각각의 요소 이미지는 블록(602)에서 결정된 바와 같이 해당 시각(perspective) 또는 가상 카메라 위치로부터 객체 또는 장면의 이미지 또는 뷰를 나타낸다. 다양한 실시 예들에서, 소스 객체를 스파스 샘플링(sparsely sampling)하는 것은 가상 이미지 평면에서 다른 요소 이미지 내의 이미지 데이터와 오버랩하는 각각의 생성된 요소 이미지 내의 이미지 데이터의 양을 최소화하는 것을 포함한다.

예를 들어, 도 7을 참조하면, 도 7은 디스플레이를 위해 가상 이미지를 스파스 샘플링하도록 구성된 로우 필-팩터 디스플레이(예를 들어, 도 3의 실시 예)의 단면도(700)이다. 도시된 바와 같이, 렌즈릿 어레이(124)의 렌즈릿들(126) 각각은 사용자의 눈(예를 들어, 도 1의 눈(132)) 상의 별도의 "프로젝터"로서 기능하며, 각각의 "프로젝터"는 디스플레이 패널(118)에 디스플레이된 요소 이미지로부터 합성 가상 이미지(202)를 형성하는데 하나 이상의 인접한 프로젝터와 오버랩된다. 이 뷰에 도시된 것처럼 필-팩터는약 33%이다. 즉, 임의의 갭을 포함하는 렌즈릿 어레이에 의해 점유된 총 연속 영역(contiguous area)에 대해 렌즈릿 어레이(124) (즉, 디스플레이 패널(118)의 픽셀(122)과 같은 발광 소자)를 향하여 광을 지향시키는 면적의 비율은 약 33%이다.

예시된 바와 같이, 주어진 패턴으로 표현된 픽셀(122)은 소스 가상 이미지(202)의 동일한 로컬 영역(예를 들어, 로컬 영역(204-206) 중 하나)으로부터의 샘플이다. 그러나, 픽셀(122)은 정확히 동일한 위치에서 샘플링되지 않으므로 고유 한 세기 값(즉, 정보 콘테츠)을 갖는다. 예를 들어, 픽셀(122-1)은 서브 영역(204-1)의 스파스 샘플링에 대응하고, 픽셀(122-4)은 서브 영역(204-2)의 스파스 샘플링에 대응한다. 픽셀(122-1 및 122-4) 모두가 동일한 로컬 영역(204)에서 샘플링하지만, 이들은 서로 다른 시각(perspectives)을 캡처하고 서로에 대해 고유한 세기 값을 갖는다. 또한, 도시된 바와 같이, 픽셀(122-2)은 서브 영역(206-1)의 스파스 샘플링에 대응하고 그리고 픽셀(122-3)은 서브 영역(208-1)의 스파스 샘플링에 대응한다. 따라서, 렌즈릿(126-1)을 통한 프리젠테이션을 위해 픽셀(122-1, 122-2 및 122-3)에 기초하여 렌더링된 요소 이미지는 렌즈릿(126-2)을 통한 프리젠테이션을 위해 픽셀들(122-4, 122-5 및 122-6)에 기초하여 렌더링된 요소 이미지에 대한 고유 데이터를 포함할 것이다(예를 들어, 3개의 디스플레이된 렌즈릿 모두가 다양한 렌즈릿에서 동일한 가상 이미지 데이터의 하나 이상의 카피를 수신하는 도 2의 디스플레이와 반대로).

유사하게, 도 4-5 및 그와 관련된 개시는 또한 요소 이미지들 사이의 이미지 데이터에서 더 큰 공간 해상도 및 덜 겹치는(오버랩하는) 요소 이미지들의 생성을 설명한다. 대안적인 실시 예에서, 렌더링 프로그램(144)은 CPU(136)를 조작하여 공간 객체에서 소스 객체(예를 들어, 도 2의 가상 이미지(202))를 스파스 샘플링하고 그리고 가상 이미지 평면에서 이미지 데이터에 오버랩이 없는 요소 이미지를 생성함으로써 시스템의 효율을 극대화한다. GPU는 이어서 블록(606)에서 라이트필드 프레임을 렌더링하고 그리고 사용자의 눈(132)에 디스플레이하기 위해 상기 라이트필드 프레임을 컴퓨팅 디스플레이(110, 112) 중 해당하는 하나에 제공한다. 또한, 다양한 실시 예에서, 본 명세서에 기술된 스파스 샘플링 렌더링 동작은 가변 초점 렌즈(varifocal lenses)와 결합되어 가상 이미지 평면을 시프트시켜 디스플레이된 이미지의 해상도에 대한 추가 개선을 달성할 수 있다.

도 8은 일부 실시 예에 따른 라이트필드 슈퍼-해상도의 예를 나타내는 도면이다. 라이트필드 디스플레이를 사용하면, 예를 들어 도 1의 눈의 망막(132)에서 인식된 이미지는 복수의 요소 이미지의 합성물이다. 요소 이미지들 각각은 어레이(예를 들어, 도 1의 어레이 (124)) 내의 렌즈릿(예를 들어, 도 1의 렌즈릿(126))을 통과하여 오버랩되는 합성 이미지를 형성하도록 오버랩된다. 도시된 바와 같이, 요소 이미지(802, 804 및 806)의 망막 이미지들은 오버랩하는 서브픽셀 요소(예를 들어, 적색 서브픽셀(810), 청색 서브픽셀(812) 및 녹색 서브픽셀(814))를 갖는 집합(aggregate) 라이트필드 픽셀 그리드(808)를 형성하도록 오버랩한다. 렌즈릿 어레이(124)가 픽셀 격자 그리드와 정렬될 때, 서브픽셀 요소의 망막 이미지들은 도시된 바와 같이 오버랩된다.

일부 실시 예에서, 디스플레이 패널(118)에 대한 렌즈릿 어레이(124)의 회전은 라이트필드 슈퍼-해상도를 초래한다. 디스플레이 픽셀(즉, 샘플 그리드)이 (예를 들어, 렌즈릿 어레이(124) 및/또는 디스플레이 패널(118)의 회전을 통해) 렌즈릿 어레이(124)에 대해 회전될 때, 이웃하는(인접한) 각각의 요소 이미지로부터의 서브 픽셀의 가상 이미지는 더 이상 완벽하게 오버랩되지 않을 것이다. 회전은 컴파운드 변환(compound translation)(예를 들어, 서브 픽셀 위치의 x 축 및 y 축 변환)이며, 이에 의해 망막에서 인식되는 가상 이미지의 편차를 야기한다. 도시된 바와 같이, 상기 회전은 하나의 요소 이미지의 픽셀 그리드의 이웃하는 그리드에 대한 x 축 및 y 축 위치의 서브 픽셀 시프트로서 모델링된다.

일부 각도에서, 서브 픽셀들은 완벽하게 인터리빙될 것이다. 도시된 바와 같이, 회전 후에, 요소 이미지(816, 818, 및 820)의 픽셀 그리드는 일 방향으로 절반 픽셀만큼 분리되고 그리고 다른 방향으로 절반 픽셀의 정수로 분리되어 인접한 요소 이미지의 픽셀들의 인터레이싱(interlacing)이 발생한다. 따라서, 이미지 정보는 인접한 요소 이미지들로부터 합성 망막 이미지(822)의 노말 블랙 영역들로 (예를 들어, 서브 픽셀들 사이의 디스플레이의 비 방출 부분들로 인해) 조정되어 해상도의 1/N 배 증가하고, 여기서, N은 동일한 픽셀을 공유하는 요소 이미지의 수 (예를 들어, 리던던시 팩터(redundancy factor)를 나타낸다.

도 8의 실시 예에서, 공칭 오버랩하는 픽셀들의 가상 이미지를 서로로부터 픽셀 피치의 반의 거리만큼 변위시킴으로써, 결과적인 합성 망막 이미지(822)는 2 배만큼 증가된 해상도를 갖는다. 추가로 인식된 픽셀들은 추가 이미지 정보를 제공하는 인접한 요소 이미지들로부터의 기여(contributions)이다. 예를 들어, 서브픽셀(824)은 2개의 상이한 요소 이미지로부터 청색 서브픽셀 및 녹색 서브픽셀을 오버랩한 결과이다.

여기에서 각 방향으로 2개의 요소 이미지를 회전시키는 예시적인 컨텍스트에서 설명되었지만, 당업자는 더 많은 요소 이미지를 추가하는 것이 컬러 채널의 갭을 채울 것이라는 것을 인식할 것이다. 디스플레이 패널(118)에 대해 렌즈릿 어레이(124)의 회전을 시프트시킴으로써 슈퍼-해상도는 1/(필-팩터)만큼 해상도가 증가하도록 확장될 수 있다. 따라서, 따라서 망막상의 회전된 가상 샘플링 그리드에 따라 소스 이미지를 재샘플링하기 위해 렌더링 기능을 조정함으로써, 서브픽셀 요소의 망막 이미지가 중첩될 때(예를 들어, 렌즈릿 어레이(124)가 픽셀 격자 그리드와 정렬될 때)에 비해 더 큰 해상도 및 덜한 리던던시의 합성 망막 이미지가 생성된다.

다른 실시예에서, 서브픽셀의 인터리빙에 의한 슈퍼-해상도는 렌즈릿-디스플레이 회전으로 인한 x 및 y 축 변환 대신에 렌즈릿 디스플레이 거리(예를 들어, 도 3의 디스플레이 패널에 대한 렌즈릿 어레이(124) 사이의 z 축 거리)를 시프트함으로써 달성될 수 있다. 인터리빙된 컨디션(interleaved condition)을 달성하려면, 렌즈릿 디스플레이 거리는

만큼 시프트되며, 여기서

는 인터리빙된 컨디션에서 비정상적인(anomalous) 이미지 평면까지의 디옵터 거리,

는 렌즈릿 초점 거리,

는 픽셀 크기,

는 렌즈릿 개구 크기, 및 N은 라이트필드 리던던시 팩터(예: 1/(필-팩터))를 나타낸다. 인터리빙된 컨디션으로부터 비정상적인 이미지 평면까지의 디옵터 거리(

)는

=

식으로 표현되며, 여기서 p/N은 발광기 크기,

는 렌즈릿 개구 크기, 및

는 렌즈릿 초점 길이를 나타낸다. 유사하게, 앨리어싱된(aliased) 오버랩 컨디션들 사이의 디옵터 거리(즉, 비정상인 이미지 평면)는

식에 의해 표현되며, 여기서, p는 픽셀 크기, d_a는 렌즈릿 개구 크기, f_a는 렌즈 초점 거리를 나타낸다.

이러한 인터리빙된 컨디션들에서 가상 이미지(예를 들어, 도 3의 가상 이미지 (202))의 깊이 범위는 렌즈릿 심도(depth-of-field) 또는 사용자의 눈 수용 범위에 의해 제한되며(예를 들어,

로 이격된 비정상적인 이미지 재구성의 인식을 차단), 여기서 p는 픽셀 크기, d_a는 렌즈릿 개구 크기 및 f_a는 렌즈릿 초점 거리를 나타낸다. 이상적으로, η은 NA_lenslet/NA_elem(즉, NA_lenslet는 렌즈릿의 개구 수를 나타내며, NA_elem는 요소 이미지의 개구 수를 나타냄)를 나타내지만, 필-팩터가 1보다 클 수 없고, 라이트필드 디스플레이 해상도가 디스플레이 패널(118)의 네이티브 디스플레이 패널 해상도를 초과할 수 없다면, 임의의 값

은 해상도 이득을 산출할 것이다. 이러한 방식으로, 렌즈릿 어레이(124)와 디스플레이 패널(118) 사이의 상대적 거리를 시프트시킴으로써, 보다 큰 해상도의 합성 망막 이미지(composite retinal image)가 생성된다.

일부 실시 예에서, 전술한 기술의 특정 양태는 소프트웨어를 실행하는 프로세싱 시스템의 하나 이상의 프로세서에 의해 구현될 수 있다. 소프트웨어는 비-일시적 컴퓨터 판독 가능 저장 매체에 저장되거나 그렇지 않으면 유형적으로 구현된 하나 이상의 실행 가능 명령 세트를 포함한다. 소프트웨어는 하나 이상의 프로세서에 의해 실행될 때, 전술한 기술의 하나 이상의 양태를 수행하기 위해 하나 이상의 프로세서를 조작하는 명령(명령어) 및 특정 데이터를 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체는, 예를 들어 자기 또는 광 디스크 저장 장치, 플래시 메모리와 같은 솔리드 스테이트 저장 장치, 캐시, 랜덤 액세스 메모리(RAM) 또는 다른 비휘발성 메모리 장치 등을 포함할 수 있다. 비-일시적인 컴퓨터 판독 가능 저장 매체에 저장된 실행 가능 명령(명령어)은 소스 코드, 어셈블리 언어 코드, 오브젝트 코드, 또는 하나 이상의 프로세서에 의해 해석되거나 실행 가능한 다른 명령 포맷일 수 있다.

컴퓨터 판독 가능 저장 매체는 명령 및/또는 데이터를 컴퓨터 시스템에 제공하기 위해 사용 중에 컴퓨터 시스템에 의해 액세스 가능한 임의의 저장 매체 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는 광학 매체(예를 들어, 컴팩트 디스크(CD), DVD(digital versatile disc), 블루레이 디스크), 자기 매체(예를 들어, 플로피 디스크, 자기 테이프 또는 자기 하드), 휘발성 메모리(예를 들어, 랜덤 액세스 메모리 (RAM) 또는 캐시), 비휘발성 메모리(예를 들어, 판독 전용 메모리(ROM) 또는 플래시 메모리), 또는 MEMS (microelectromechanical systems) 기반 저장 매체를 포함할 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체는 컴퓨팅 시스템(예를 들어, 시스템 RAM 또는 ROM)에 내장되고, 컴퓨팅 시스템(예를 들어, 자기 하드 드라이브)에 고정적으로 부착되고, 컴퓨팅 시스템(예를 들어, 광 디스크 또는 USB(Universal Serial Bus) 기반 플래시 메모리)에 제거 가능하게 부착되거나, 유선 또는 무선 네트워크(예를 들어, 네트워크 액세스 가능 스토리지(NAS))를 통해 컴퓨터 시스템에 결합될 수 있다.

일반적인 설명에서 전술된 모든 액티비티 또는 요소가 요구되는 것은 아니며, 특정 액티비티 또는 장치의 일부가 요구되지 않을 수 있으며, 하나 이상의 추가 액티비티가 수행될 수 있거나, 또는 요소가 추가될 수 있음에 유의한다. 또한, 액티비티가 나열된 순서가 반드시 수행되는 순서는 아니다. 또한, 개념들은 특정 실시 예들을 참조하여 설명되었다. 그러나, 당업자는 이하의 청구 범위에 설명된 바와 같이 본 개시의 범위를 벗어나지 않고 다양한 변형 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 상세한 설명 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 하며, 그러한 모든 수정은 본 발명의 범위 내에 포함되는 것으로 의도된다.

장점들, 다른 이점들 및 문제들에 대한 해결책이 특정 실시 예들과 관련하여 상술되었다. 그러나, 이익, 장점, 문제에 대한 해결책 및 이익, 장점 또는 해결책이 발생하거나 더 명확하도록 할 수 있는 특징(들)은 임의의 또는 모든 청구항의 중요하거나 요구되거나 필수적인 특징으로 해석되어서는 안된다. 또한, 위에서 개시된 특정 실시 예는 개시된 요지가 다른 방식(본원의 교시의 이점을 갖는 당업자에게 균등한 방식으로)으로 변경되고 실시될 수 있기 때문에 단지 예시적인 것이다. 아래의 청구 범위에 기술된 것 이외의 도시된 구성 또는 설계의 세부 사항에 제한은 없다. 따라서, 상기 개시된 특정 실시 예는 변경되거나 수정될 수 있으며, 이러한 모든 변형은 개시된 요지의 범위 내에서 고려된다는 것이 명백하다. 따라서, 여기에서 요구되는 보호는 이하의 청구 범위에 설명된 바와 같다.

Claims

니어-아이(near-eye) 디스플레이 시스템으로서,
소스 이미지의 스파스 샘플링(sparse sampling)에 적어도 부분적으로 기초하여 요소 이미지들의 어레이를 생성하고 그리고 상기 요소 이미지들의 어레이의 각각의 개별적인 요소 이미지 내에 포함된 이미지 데이터의 오버랩을 감소시키도록 하는 적어도 하나의 프로세서를 포함하는 렌더링 컴포넌트;
요소 이미지들의 어레이를 포함하는 일체형(integral) 라이트필드 프레임을 디스플레이하도록 하는 복수의 발광 요소들을 포함하는 디스플레이 패널 -소스 이미지의 스파스 샘플링은 복수의 발광 요소들의 각각의 발광 요소의 물리적 배열(arrangement)에 기초하여 달성됨-;
상기 일체형 라이트필드 프레임을 사용자의 눈에 제시하기 위한 렌즈릿 어레이; 그리고
디스플레이 패널과 렌즈릿 어레이 사이에 배치된 픽셀 개구 마스크를 더 포함하며, 픽셀 개구 마스크는 디스플레이의 실제 필-팩터(fill-factor)에 비해 디스플레이 패널의 유효 필-팩터를 감소시키도록 구성된 개구부들을 포함하는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
삭제
제1항에 있어서,
상기 픽셀 개구 마스크의 상기 개구부들은 렌즈릿 어레이로 이미지 데이터를 전송하기 위해 디스플레이 패널의 각각의 발광 요소의 부분을 노출시키는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
제3항에 있어서,
상기 렌더링 컴포넌트는,
각각의 발광 요소의 노출된 부분에 대응하는 소스 이미지의 영역들을 식별함으로써, 요소 이미지들의 어레이를 생성하는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
제1항에 있어서, 상기 니어-아이 디스플레이 시스템은,
상기 디스플레이 패널과 상기 픽셀 개구 마스크 사이에 배치된 복수의 마이크로 렌즈들을 더 포함하며, 상기 마이크로 렌즈들은 렌즈릿 어레이에 대한 광 처리량(light throughput)을 증가시키도록 구성되는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
제1항에 있어서, 상기 렌더링 컴포넌트는,
상기 어레이의 각각의 개별 요소 이미지가 상기 어레이의 다른 모든 요소 이미지들에 대해 고유한 이미지 데이터를 포함하도록 요소 이미지들의 어레이를 생성하는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
제1항에 있어서, 렌즈릿 어레이는,
각각의 개별 요소 이미지로부터의 픽셀들의 가상 이미지들이 상기 어레이의 다른 모든 요소 이미지들에 대해 위치가 변환되도록 디스플레이 패널에 대해 회전되는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
제7항에 있어서,
각각의 개별 요소 이미지로부터의 픽셀들의 가상 이미지들은 상기 어레이 내의 하나 이상의 이웃하는 요소 이미지들의 픽셀들의 가상 이미지들 사이에 인터리빙되는 것을 특징으로 하는 니어-아이 디스플레이 시스템.
렌더링 시스템으로서,
적어도 하나의 프로세서;
적어도 하나의 포즈 관련 센서로부터 데이터를 수신하기 위한 입력부 -상기 데이터는 니어-아이 디스플레이 패널에 대한 대상 객체의 현재 뷰포인트를 나타냄-; 그리고
실행 가능한 명령어들의 세트를 저장하는 저장 컴포넌트를 포함하며,
상기 실행 가능한 명령어들의 세트는 상기 적어도 하나의 프로세서를 조작하여 대상 객체(subject object)의 현재 뷰포인트의 스파스 샘플링에 적어도 부분적으로 기초하여 요소 이미지들의 어레이를 포함하는 일체형 라이트필드 프레임을 렌더링하고, 요소 이미지들의 어레이의 각각의 개별 요소 이미지 내에 포함된 이미지 데이터의 오버랩을 감소시키도록 구성되며,
상기 일체형 라이트필드 프레임을 렌더링하는 것은, 디스플레이의 실제 필-팩터(fill-factor)에 비해 니어-아이 디스플레이 패널의 유효 필-팩터를 감소시키도록 구성된 개구부들을 포함하는 픽셀 개구 마스크에 의해 노출된 니어-아이 디스플레이 패널의 부분들을 식별하는 것을 포함하는 것을 특징으로 하는 렌더링 시스템.
제9항에 있어서,
상기 실행 가능한 명령어들의 세트는,
상기 대상 객체의 부분을 니어-아이 디스플레이 패널의 발광 요소들에 의해 디스플레이될 하나 이상의 요소 이미지들에 기여(attributing) 시킴으로써,
상기 일체형 라이트필드 프레임을 렌더링하기 위해 상기 적어도 하나의 프로세서를 조작하도록 구성되는 것을 특징으로 하는 렌더링 시스템.
제10항에 있어서,
상기 실행 가능한 명령어들의 세트는,
픽셀 개구 마스크에 의해 노출된 발광 요소들의 각각의 부분을 결정하고, 그리고 니어-아이 디스플레이 패널의 발광 요소들의 노출된 부분들에 의해 디스플레이될 하나 이상의 요소 이미지들에 대상 객체의 부분들을 기여(attributing) 시킴으로써,
상기 일체형 라이트필드 프레임을 렌더링하기 위해 상기 적어도 하나의 프로세서를 조작하도록 구성되는 것을 특징으로 하는 렌더링 시스템.
제9항에 있어서,
상기 실행 가능한 명령어들의 세트는,
상기 어레이의 각각의 개별 요소 이미지가 상기 어레이의 다른 모든 요소 이미지들에 대해 고유한 이미지 데이터를 포함하도록 요소 이미지들의 어레이를 생성함으로써,
상기 일체형 라이트필드 프레임을 렌더링하기 위해 상기 적어도 하나의 프로세서를 조작하도록 구성되는 것을 특징으로 하는 렌더링 시스템.
제9항에 있어서,
상기 실행 가능한 명령어들의 세트는,
상기 어레이 내의 하나 이상의 이웃하는 요소 이미지들의 픽셀들의 가상 이미지들 사이에 인터리빙된 픽셀들의 가상 이미지들을 갖는 요소 이미지들의 어레이의 각각의 개별 요소 이미지에 기초하여 대상 객체를 샘플링함으로써,
상기 일체형 라이트필드 프레임을 렌더링하기 위해 상기 적어도 하나의 프로세서를 조작하도록 구성되는 것을 특징으로 하는 렌더링 시스템.
니어-아이 디스플레이 시스템에서의 방법으로서,
적어도 하나의 포즈-관련 센서를 사용하여, 니어-아이 디스플레이 시스템의 디스플레이 패널에 대한 대상 객체(subject object)의 현재 뷰포인트를 결정하는 단계;
상기 대상 객체의 현재 뷰포인트의 스파스 샘플링에 기초하여 일체형 라이트필드 프레임을 형성하는 요소 이미지들의 어레이를 생성하여, 상기 어레이의 각각의 개별 요소 이미지 내에 포함된 이미지 데이터의 오버랩을 감소시키는 단계 -스파스 샘플링은 디스플레이 패널의 복수의 발광 요소들의 각각의 발광 요소의 물리적 배열(arrangement)에 기초하여 달성됨-;
상기 일체형 라이트필드 프레임 내의 위치에서 요소 이미지들의 어레이를 렌더링하는 단계; 그리고
디스플레이 패널에 일체형 라이트필드 프레임을 디스플레이하는 단계 -일체형 라이트필드 프레임을 디스플레이하는 단계는 디스플레이 패널의 복수의 발광 요소들의 각각의 발광 요소를 사용하여 일체형 라이트필드 프레임의 부분들을 디스플레이하는 단계를 포함하며, 상기 복수의 발광 요소들은 복수의 갭들에 의해 분리되며-;
상기 디스플레이 패널의 복수의 발광 요소들 각각에 기여하는(attributable) 대상 객체의 현재 뷰포인트의 부분을 좁혀서 일체형 라이트필드 프레임에서 공간 해상도(spatial resolution)를 증가시키는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서,
상기 요소 이미지들의 어레이를 생성하는 것은,
픽셀 개구 마스크에서 개구부에 의해 노출된 디스플레이 패널의 복수의 발광 요소들 각각의 노출 부분을 식별하는 것을 포함하는 것을 특징으로 하는 방법.
제15항에 있어서,
요소 이미지들의 어레이를 생성하는 것은,
각각의 발광 요소의 노출된 부분에 대응하는 소스 이미지의 영역들을 식별하는 것을 포함하는 것을 특징으로 하는 방법.
제15항에 있어서,
상기 디스플레이 패널에 일체형 라이트필드 프레임을 디스플레이하는 단계는,
디스플레이 패널과 픽셀 개구 마스크 사이에 배치된 마이크로 렌즈들의 세트를 사용하여 개구부들을 지나서 요소 이미지들의 어레이를 나타내는 광을 포커싱하는 단계를 포함하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 방법은,
각각의 개별 요소 이미지로부터의 픽셀들의 가상 이미지들이 상기 어레이의 다른 모든 요소 이미지들에 대해 위치가 변환되도록 디스플레이 패널에 대해 마이크로 렌즈들의 세트를 회전시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
제18항에 있어서,
상기 디스플레이 패널에 대해 상기 마이크로 렌즈들의 세트를 회전시키는 단계는,
상기 어레이 내의 하나 이상의 이웃하는 요소 이미지들의 픽셀들의 가상 이미지들 사이의 각각의 개별 요소 이미지로부터의 픽셀들의 가상 이미지들을 인터리빙하는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서, 요소 이미지들의 어레이를 생성하는 것은, 어레이의 각각의 개별 요소 이미지가 어레이의 모든 다른 요소 이미지들에 대해 고유한 고유 이미지 데이터를 포함하도록 요소 이미지들의 어레이를 생성하는 것을 특징으로 하는 방법.
삭제