KR20220120615A

KR20220120615A - 색 특이적인 변조를 이용한 머리 장착형 시스템

Info

Publication number: KR20220120615A
Application number: KR1020227025158A
Authority: KR
Inventors: 아론 매튜 이쉬; 에드워드 치아 닝 탕; 앤드류 존 그로스; 워렌 코넬리우스 3세 웰치; 조셉 다니엘 로우니
Original assignee: 아브간트 코포레이션
Priority date: 2020-01-06
Filing date: 2021-01-06
Publication date: 2022-08-30
Also published as: CN114930226A; WO2021142486A1; US11624921B2; US20210208407A1; US20230375839A1; EP4062225A1; EP4062225A4

Abstract

이미지를 디스플레이하기 위한 머리 장착형 디스플레이 시스템으로서, 머리 장착형 디스플레이 시스템은 디스플레이를 위해 광을 생성하기 위한 디스플레이 엔진을 포함하고, 시스템은 광의 하나 이상의 색상들에 대해 색 특이적인 설정을 적용하도록 구성된다. 일 실시예에서, 색 특이적인 설정은 상이한 해상도, 상이한 초점 거리, 및 상이한 시야를 갖는 색상들 중 하나 이상을 포함한다.

Description

색 특이적인 변조를 이용한 머리 장착형 시스템

관련 출원

본 출원은 2020년 1월 6일자로 출원된 미국 특허 가출원 제62/957,777호에 대한 우선권을 주장하며, 그 전체 내용이 참조에 의해 원용된다.

기술분야

본 출원은 머리 장착형 디스플레이에 관한 것이며, 더 구체적으로는 머리 장착형 디스플레이에서의 색 특이적인 변조에 관한 것이다.

가벼운 저전력 머리 장착형 디스플레이(HMD: head mounted display)에 대한 수요가 존재한다. 핵심 과제는 머리에 편안하게 착용될 수 있는 고해상도의, 총 천연색의, 큰 시야(FOV: field of view)의, 저전력의, 높은 방열의 디스플레이를 만드는 것이다. 큰 시야에 걸쳐 고해상도(각도당 픽셀(pixel per degree) 또는 PPD)를 유지하기 위해, 일반적으로 많은 수의 픽셀들을 갖는 디스플레이가 필요하다. 예를 들어, 각도당 60개의 픽셀은 전형적인 사람 눈의 각도 해상도의 한계에 있다. 40도 수평(H) x 40도 수직(V)의 시야를 갖는 머리 장착형 디스플레이를 위한 충분한 픽셀들을, 각도당 60픽셀로 제공하기 위해서는, 2400 x 2400픽셀의 디스플레이 해상도, 또는 안구당 5.76메가픽셀의 디스플레이 해상도를 필요로 한다. 개별 픽셀들이 최소 크기를 갖기 때문에, 이러한 해상도를 갖는 디스플레이 패널은 대개 매우 크다. 이는 머리 장착형 디스플레이의 산업적 설계에 있어서의 타협을 필요로 한다. 디스플레이 패널은 또한, 픽셀들을 구동하고, 머리 장착형 디스플레이를 위한 프레임 속도로 각각의 픽셀 값에 대한 계산을 수행하기 위해, 많은 전력을 필요로 한다. 시야가 커짐에 따라 트레이드오프(tradeoff)는 더욱 악화된다.

대개의 사람 눈의 시야는 135º H x 180º V이지만, 눈은 이 시야에 걸쳐서 각도당 60픽셀로 분해될 수 없다. 눈이 최대 시력으로 분해할 수 있는 시야는 대개는 30º H x 30º V이고, 최대 70º H x 55º V이다. 최대의 경우에는 눈의 FOV의 고해상도 영역을 커버하기 위해 4,200 x 3,300 또는 약 14메가픽셀의 해상도를 갖는 디스플레이 패널을 필요로 할 것이다. 그 너머의 주변 공간을 커버하기 위해서는 더 많은 픽셀, 따라서 더 많은 공간, 계산, 및 전력을 필요로 할 것이다. 현재의 기술로는, 디스플레이 크기 및 전력 요건이 편안하고 매력적인 폼 팩터를 불가능하게 만든다.

본 발명은 첨부된 도면들에서 예로서 예시되는데, 이는 제한하기 위한 것이 아니며, 유사한 도면부호는 유사한 구성요소를 지칭한다.
도 1은 다양한 색상들에 대한 스펙트럼 응답들의 일 실시예를 도시한다.
도 2는 시스템의 일 실시예의 블록도이다.
도 3은 가상 현실(VR: virtual reality) HMD 시스템의 일 실시예를 도시하며, 여기서 하나 이상의 색상들은 하나 이상의 더 높은 주파수 색상들을 위한 개별적인 디스플레이 엔진과 함께 VR 디스플레이를 이용하여 디스플레이된다.
도 4는 개별적인 디스플레이 엔진들과 함께 하나의 광 전파기가 사용되는 시스템의 일 실시예를 도시한다.
도 5는 증강 현실(AR: augmented reality) HMD의 일 실시예를 도시하며, 여기서 하나 이상의 색상들은 제1 광 전파기를 사용하는 반면, 하나 이상의 더 높은 주파수 색상들은 제2 광 전파기를 사용한다.
도 6a는 3-전파기 구성의 일 실시예를 도시하며, 여기서 각각의 색상은 개별적인 광 전파기를 갖는다.
도 6b는 3-전파기 구성의 일 실시예를 도시하며, 여기서 각각의 색상은 개별적인 디스플레이 엔진 및 광 전파기를 갖는다.
도 6c는 각각의 광 전파기가 연관된 디스플레이 엔진을 갖는2-전파기 구성의 일 실시예를 도시한다.
도 7은 녹색-전용 도파관이 제2 초점 거리를 제공하는 다초점 도파관의 일 실시예를 도시한다.
도 8은 적색-녹색 도파관 및 청색-녹색 도파관이 사용되는 다초점 도파관의 일 실시예를 도시한다.
도 9는 적색-녹색 도파관 및 청색-녹색 도파관이 사용되는 다초점 도파관의 다른 실시예를 도시한다.
도 10은 한 줄이 아닌 개별적인 입력부들이 사용되는 다초점 도파관의 일 실시예를 도시한다.
도 11은 멀티-FOV 도파관의 일 실시예를 도시한다.
도 12는 멀티-FOV 디스플레이의 다른 실시예를 도시한다.
도 13은 본 발명과 함께 사용될 수 있는 컴퓨터 시스템의 일 실시예의 블록도이다.

사람의 색 인지가 작동하는 방식을 이용하기 위해 머리 장착형 디스플레이(HMD: head mounted display)의 설계를 최적화함으로써, HMD는 해상도 또는 시야를 손상시키지 않으면서 더 작고, 더 가볍고, 더 효율적으로 만들어질 수 있다. 일 실시예에서, 시스템은 시각적 정보가 그의 색상/파장에 기초하여 상이하게 처리되도록, 파장의 시각적 인지에 기초하여 색 특이적인 변조를 적용한다. 시스템은 하나의 색 채널에 설정을 적용하여 그의 포맷을 변경한다. 일 실시예에서, 색상들의 서브세트에 적용되는 설정들은 그것의 해상도, 초점 거리, 시야, 및/또는 중심와(foveation)를 변경한다. 일 실시예에서, 이러한 변경은 녹색 채널에 적용된다. 일 실시예에서, 이러한 변경은 색상들의 다른 서브세트에 적용된다. 일 실시예에서, 시각 정보는 초점 거리, 시야, 및/또는 색상마다의 픽셀 밀도의 변경을 포함한다. 디스플레이에서 3개의 색상들 중 1개 또는 2개에 대해 다른 변경이 적용될 수 있다. 일 실시예에서, 파장 기반 변조는 개선된 품질, 감소된 비용, 감소된 전력 소비, 및/또는 감소된 무게를 갖는 디스플레이를 생성하기 위해 사람 눈의 색 인지를 이용한다.

이러한 개선된 HMD 구조 및 설계는 새로운 방식으로 광학 요소 및 색 인코딩을 이용하고, 이는 이미지의 인지된 픽셀 밀도(PePD: perceived pixel density) 또는 시력을 유지하면서 크기, 전력(배터리), 및 처리 요건, 및 사용자의 머리 주변의 열을 감소시킨다. 이러한 개선된 설계는 가상 현실(VR) 시스템, 증강 현실(AR) 시스템, 또는 가상 객체들이 생성되고 디스플레이되는 임의의 다른 혼합 현실 또는 "XR" 시스템과 함께 사용될 수 있다.

HMD의 문제를 해결하는 한 가지 방법은 동적인 중심와(foveated) 디스플레이를 사용하는 것이다. 동적인 중심와 디스플레이는 시야의 중심 부근에서 단지 몇 도에 불과한, 중심와 영역 내에서만 가장 높은 해상도로 눈이 감지될 수 있다는 사실을 이용한다. 눈의 분해능은 중심으로부터 약 2.5º 멀어질수록 ½ 해상도로 매우 빠르게 떨어지며, 모든 방향으로 시야의 가장자리에서는 약 1/15까지 떨어진다. 동적 중심와 디스플레이는 눈이 바라보는 곳에 고해상도 이미지 부분을 배치시킨다. 이런 식으로, 이들은 눈의 전체 시야를 커버하기 위해 많은 자릿수만큼 필요한 픽셀들의 총 수를 감소시킬 수 있다. 사람 시각 체계의 색 인지 구조를 더 고려함으로써, 고해상도 디스플레이는 훨씬 더 콤팩트하고 효율적으로 설계될 수 있다.

대부분의 사람들에게, 눈의 픽셀 해상도는 녹색/노란색 스펙트럼에 대해 더 높고, 스펙트럼의 적색 및 청색 부분에 대해서는 더 낮다. 일 실시예에서, 시스템은 적색/청색보다는 녹색/노란색에서 더 높은 해상도의 이미지를 디스플레이한다. 이는, 중심와 근처의 대부분의 감각세포들이 녹색/노란색에 민감하기 때문에, 더 높은 해상도의 이미지를 인식하게 한다. 일 실시예에서, 데이터 스트림의 이러한 색 압축은 처리되고 디스플레이되는 데이터의 양을 감소시키고, 또한 사용되는 광학계를 단순화할 수 있다.

총 천연색 이미지를 생성하도록 설계된, 상이한 색상에 대해 상이한 픽셀 해상도를 갖는 회절 광학 요소를 갖는 것은, 더 낮은 비용, 더 가벼운 무게, 및 감소된 전력 소비와 같은 많은 이점을 갖는 예상치 못한 재설계를 가능하게 만든다. 이는 머리 장착형 디스플레이에 대해 배터리들이 더 작아지게 하고, 더 긴 실행시간을 가능하게 하며/하거나 더 낮은 열 소산을 가능하게 한다.

일 실시예에서, 시스템은 제1 초점 거리에 적색/녹색 결합기를 갖고, 제2 초점 거리에 청색/녹색 결합기를 가지면서, 색마다의 초점 거리를 분할한다. 일 실시예에서, 결합기는 도파관이다. 이는 다초점 디스플레이를 제공하기 위해 6개의 결합기들 대신에 2개의 결합기들(적색/녹색 및 청색/녹색)을 갖는 시스템이 사용되게 한다. 총 천연색 이미지가 인지되기 위해 결합기 설계가 3가지 색상을 전송해야 한다는 것은 본 기술분야에 잘 알려져 있다. 총 천연색 다초점 이미지들을 생성하도록 설계된, 상이한 거리들에 3개의 색상들의 서브세트만을 갖는 결합기들을 갖는 것은, 머리 장착형 디스플레이에 대한 더 긴 실행 시간들에 대한 더 낮은 비용, 더 가벼운 무게, 및 감소된 전력 소모와 같은 많은 이점들을 갖는 예상치 못한 재설계를 가능하게 만든다.

본 발명의 실시예들의 다음의 상세한 설명은 본 발명을 실시하는 구체적인 실시예들을 예시하기 위한 것으로서, 유사한 도면부호들이 유사한 구성요소들을 나타내는 첨부된 도면들을 참조한다. 이들 실시예의 설명은 통상의 기술자가 본 발명을 실시할 수 있도록 충분히 상세하다. 통상의 기술자는, 다른 실시예들이 이용될 수 있으며, 본 발명의 범위를 벗어나지 않고 논리적, 기계적, 전기적, 기능적 및 다른 변경들이 이루어질 수 있음을 이해한다. 따라서, 이하의 상세한 설명은 제한적인 의미로 받아들여지지 않아야 하며, 본 발명의 범위는 오로지 첨부된 청구항들에 의해서만 제한된다.

사람의 색 인지 체계

막대세포 및 원뿔세포는 시각을 가능하게 하는 눈의 두 개의 주요 광수용체 세포이다. 막대세포는 광에 매우 민감하며, 하나의 광자에 반응할 것이지만, 뇌에 색상에 대한 정보를 제공하지는 않고, 색상 정보는 원뿔세포에 의해 제공된다. 각각의 원뿔세포는 특정한 스펙트럼 반응을 갖는 파장 민감성 색소를 갖는다. 전형적인 사람의 눈에는 세 가지 유형의 원뿔세포, 즉, 짧은 것(S), 중간 것(M), 및 긴 것(L)이 있다.

도 1은 눈의 막대세포 및 원뿔세포의 전형적인 스펙트럼 반응을 도시한다. 짧은 색소의 피크 반응은 색 스펙트럼의 청색 부분에서 보다 짧은 파장으로 있고, 중간 색소의 피크 반응은 스펙트럼의 녹색 부분의 높은 단부에서 중간 파장으로 있고, 긴 색소의 피크 반응은 스펙트럼의 노란색-오렌지색 부분 부근에서 더 긴 파장으로 존재한다. 각각의 원뿔세포로부터의 스펙트럼 응답은 넓고, 특히 중간 원뿔세포 및 긴 원뿔세포 사이에 상당한 중첩이 존재한다. 이는, 중간 및 긴 원뿔세포 모두를 자극할 수 있지만 짧은 원뿔세포는 자극하지 않는 가시 스펙트럼의 짧은 녹색 부분으로부터 노란색 부분까지의 파장의 부분이 존재한다는 것을 의미한다. 각각의 유형의 원뿔세포의 공간 분포를 사용하여 보다 효율적이고, 가볍고, 더 저렴한 머리 장착형 디스플레이를 설계할 수 있다.

가장 높은 해상도 영역에 있는 망막의 후면은 3가지 유형의 원뿔세포를 포함하는데, 즉, 긴 원뿔세포는 적색이고, 중간 원뿔세포는 녹색이며, 짧은 원뿔세포는 청색이다. 중심와에는 중간 원뿔세포 및 긴 원뿔세포보다 훨씬 적은 수의 짧은 원뿔세포가 존재한다. M+L 원뿔세포 대 S 원뿔세포의 전형적인 비율은 약 14:1이다. 눈의 분해능의 대부분은, 이들의 공간 밀도가 훨씬 더 높기 때문에, 중간 원뿔세포 및 긴 원뿔세포에 의해 감지된 광으로부터 나오는데, 더 많은 산발적으로 이격된 S 원뿔세포는 가시 범위의 보다 작은 단부에서 스펙트럼 정보를 제공한다.

본 출원에 설명된 개선된 HMD는 기존의 산업적 과제를 극복하기 위해 눈이 작동하는 방식을 이용할 수 있다.

마이크로 디스플레이

대개의 디스플레이는 개별적인 색 소스로부터의 광을 혼합하여 디스플레이 내의 모든 색을 생성함으로써 색 이미지를 생성한다. 일 실시예에서, 대개의 디스플레이는 하나의 적색(R) 소스, 하나의 청색(B) 소스, 및 하나의(때때로 2개의) 녹색(G) 소스를 사용한다. 이들 소스는 발광 다이오드(LED: light emitting diode), 마이크로LED, 레이저, 스캐닝 레이저, 하나의 광원 및 상이한 컬러 필터의 섹션을 갖는 빠르게 회전하는 휠 등일 수 있다.

일 실시예에서, RGB 광원들의 그룹, 및/또는 디지털 마이크로미러 장치(DMD: digital micromirror device) 내의 하나의 미러가 하나의 픽셀을 디스플레이하는 데에 사용된다. 이러한 각각의 소스로부터의 광은 각각의 센서에 대한 색소의 스펙트럼 반응에 따라 눈의 원뿔세포 및 막대세포를 자극한다. 시각 체계는 원뿔세포의 반응을, 전형적인 사람이 볼 수 있는 수백만개의 색상으로 변환한다. 각각의 개별 색상에 대해 서로 다른 출력 강도를 설정함으로써 다른 색조(hue)가 생성된다. 각각의 색상의 강도는 특정한 비트 정밀도로 인코딩된다. 3-비트 색상의 경우, 512개의 구별되는 색상을 위해 각각의 색상의 8개의 레벨들이 선택될 수 있다. 현대적인 디스플레이에서, 이는 대개, 각각의 색 채널에 8비트를 할당함으로써, 1,670만 색상으로 확장된다. 이를 수행하는 일반적인 방법은 3개의 색 채널에 256레벨(즉, 적색, 청색 및 녹색에 대해 8비트(2⁸ = 256))의 색상 강도를 제공하는 것이다. 이는 256³ = 1,680만개의 색 조합을 초래한다. 색상 데이터를 디지털 값(예를 들어, YUV 및 이의 변형)으로 인코딩하는 여러 다른 방법이 존재한다. 본 출원은 RGB 광을 사용하는 것을 설명하지만, 본 기술분야의 통상의 기술자는 본 발명을 벗어나지 않고, 색상 데이터를 인코딩하는 다른 방식들이 사용될 수 있다는 것을 이해할 것이다.

이러한 인코딩 접근법들을 아래에 열거된 광학 아키텍처들과 조합하는 것은 컴퓨팅 전력, 비디오 대역폭 요건들을 더 절약시키고, 따라서 전력 소비, 전체 크기, 무게 및 제품의 산업적 설계를 절약시킬 수 있다.

도 2는 머리 장착형 디스플레이 시스템의 일 실시예의 블록도이다.

머리 장착형 디스플레이(200)에 의해 생성된 가상 이미지의 생성은 계산 시스템(200)에서 시작한다. 이 시스템(200)은, 핸드폰에서 사용되는 것과 유사하게, 프로세서 및 그래픽 프로세서를 포함하는 칩 상의 비디오 카드 또는 시스템을 갖는 데스크톱 컴퓨터이거나, 또는 분산된 컴퓨터들이 처리를 제공하는 클라우드 기반 시스템일 수 있다. 일부 실시예들에서, 그래픽 엔진(220)은 카메라(252), 안구 추적 센서(254), 주변 광 센서(256), 및 바이오센서(258)와 같은 센서 입력부들(250)로부터 데이터를 취하여, 각각의 개별 픽셀에 대한 적절한 색상을, 하나의 프레임의 데이터를 구성하는 값들의 어레이로 인코딩한다. 일 실시예에서, 그래픽 엔진(220)은 3개의 색상 값들 모두에 대한 픽셀 데이터를 생성한다. 일 실시예에서, 그래픽 엔진(220)은 해상도 선택기(225)를 포함하여, 각각의 색상에 대한 해상도를 선택한다. 일 실시예에서, 해상도는 색상에 따라 다를 수 있다. 다른 실시예에서, 하나의 색상은 다른 색상보다 더 높은 해상도를 가질 수 있다. 일 실시예에서, 더 높은 해상도의 색은 녹색이다.

일 실시예에서 시스템은 그래픽 엔진(220)으로부터의 광의 일부를 변조하는 변조기(230)를 포함한다. 변조는 해상도, 초점 거리 및/또는 중심와를 변경하는 것일 수 있다. 일 실시예에서, 변조는 그래픽 엔진(220)의 일부일 수 있다. 계산 시스템(210)은 광 데이터에 대한 설정을 제공하며, 이는 각각의 색상에 대한 해상도, 중심와 이미지를 위한 초점 위치, 초점 거리, 및 시야 중 하나 이상을 포함할 수 있다.

일 실시예에서, 사람의 눈에 의해 가장 높은 해상도로 인지되는 녹색광은 가장 높은 해상도를 갖는 반면, 청색 및 적색 광은 더 낮은 해상도를 갖는다. 일 실시예에서, 이는 다운 샘플러(233)를 사용하여 청색 및 적색 광을 다운샘플링하는 것에 의해 달성될 수 있다. 다른 실시예에서, 그래픽 엔진(220) 내의 해상도 선택기(225)는 광의 나머지 부분에 대해 생성된 이미지 데이터보다 더 높은 해상도인 광의 제1 서브세트를 위한 개별적인 광 엔진일 수 있다.

일 실시예에서, 변조는 중심와 이미지 위치설정기(238)를 이용하는 중심와 이미지의 위치 설정을 포함한다. 일 실시예에서, 중심와 이미지 위치설정기(238)는 센서(250)로부터의 데이터를 이용하여 사용자에 대해 중심와 이미지를 위치시킨다.

일 실시예에서, 광의 서브세트는 상이한 초점 거리를 가질 수 있다. 예를 들어, 녹색 광은 근거리에 있을 수 있는 반면, 적색 및 청색 광은 무한 초점 거리에 있을 수 있다. 대안적으로, 적색/녹색은 하나의 초점 거리에 있을 수 있는 반면, 청색/녹색은 다른 초점 거리에 있을 수 있다. 초점 거리 로직(236)은 각각의 색상에 대한 초점 거리를 선택한다.

일 실시예에서, 시스템은 변경되는 광의 색상들의 서브세트를 포함한다. 따라서, 일 실시예에서, 광에 대한 설정은 색상마다 그의 중심와 위치, 초점 거리, 시야 및/또는 해상도를 변경시킬 수 있다. 그러나, 일 실시예에서, 나머지 변경되지 않은 광은 또한, 모든 색상들을 포함할 수 있다.

이 데이터는 고속 데이터 채널(245)을 통해 계산 시스템(210)으로부터 광학 시스템(260)으로 전송된다. 픽셀 값을 계산하고 이들을 이 어레이로 인코딩하는 것은, VR/AR의 시뮬레이터 멀미를 방지하고 AR에서 실제 세계에 고정된 객체를 제공하기 위해, 매우 신속하게 수행되어야 한다. 프레임 속도는 대개 약 90 Hz, 또는 매 0.011초마다 새로운 프레임으로 된다. 이 계산은 많은 에너지를 사용하고 많은 열을 발생시키는 집중적인 과정이다. 이들 모두는 필요한 전력을 제공하기 위한 배터리(240)가 무겁게 되고 사용자의 머리 주위의 열이 불편하기 때문에, 모바일 HMD에 대한 과제들이다.

계산 요건을 감소시키는 것은 전력 소비를 감소시키고, 따라서 더 작은 배터리 크기를 가능하게 하여, 헤드셋을 더 가볍고 더 편안하게 만들며, 생성된 열을 감소시키고, 열 소산 요건을 낮춘다. 그러나 계산 요건을 줄이는 것은 통상적으로 더 많은 픽셀들을 추가함으로써 달성되었던 높은 해상도 및 큰 시야와 같은 다른 시스템 선호도들과 직접적으로 상충된다. 총 픽셀 개수는 FOV의 면적에 따라 증가하는데, 이는, 픽셀들이 너무 많은 컴퓨팅 전력을 필요로 하고 디스플레이 패널 크기를 실질적으로 증가시키기 때문에, 머리 장착형 디스플레이에서 구동하기에는 총 픽셀 개수를 비현실적인 수준으로 증가하게 만든다. 더 많은 시스템 최적화 트레이드오프(tradeoff)를 이해하기 위해서는, 가상 및 증강 현실 HMD를 위한 광학 아키텍처의 세부사항이 도움된다.

HMD의 광학 요소

가상현실(VR) HMD는 현실 세계로부터의 광을 차단하고 사용자에게 완전히 가상현실을 제공한다. VR 디스플레이의 광학 아키텍처는 간단한 용어로는, 앞에 확대 렌즈(275)를 갖는 유기 발광 다이오드 어레이와 같은 불투명 디스플레이(270)이다. VR HMD는 일반적으로 큰 FOV를 가지고 있기 때문에 매우 크며, 사용자에게 심지어 차단된 이미지를 생성하기 위해서 많은 픽셀들을 필요로 한다. 많은 수의 픽셀은 많은 컴퓨팅 전력을 가진, 큰 디스플레이를 필요로 하며, 이는 구동하기 위해 많은 에너지를 필요로 한다.

증강 현실(AR) HMD는 수신되는 광과 혼합되는 가상 이미지를 생성하고, 사용자가 세상에서 이미 보고 있는 것을 증강시킨다. AR 시스템의 광학적 설계는 가상의 이미지를 세상의 실제 이미지와 결합한 것이기 때문에 VR보다 더 복잡하다. 이는 여러 방식으로 달성될 수 있다. 한 방식에서, 시스템은 카메라를 사용하여 실제 세계로부터 들어오는 광을 포착한 다음, 그래픽 프로세싱 유닛에서 AR 이미지와 결합하고, 결합된 이미지가 이어서 HMD에 디스플레이된다. 이는 패스스루(passthrough) AR로 지칭된다. 또 다른 방식은 도파관, 수반(birdbath) 부분 거울, 또는 홀로그래픽 광학 요소와 같은, 투명한 광 결합기를 사용하여, 실제 세계로부터의 광자들을 생성된 AR 이미지들과 직접 결합하는 것이다. 이는 시스루(see-through) AR로 지칭된다.

광학 시스템(260)은 불투명한 가상 현실(VR) 디스플레이(270)를 포함할 수 있거나, 증강 현실(AR) 디스플레이를 가능하게 하는 렌즈들(275)을 포함할 수 있다. 일 실시예에서, AR 시스템은 실제 세계가 직접 인지될 수 있도록 디스플레이 요소들이 투명한, 시스루 시스템이다. 광학 시스템은 하나 이상의 광 결합기들을 포함하는 광 결합기 어셈블리(280)를 포함한다. 일 실시예에서, 광 결합기는 하나 이상의 도파관들이다. 광 결합기 어셈블리(280)는 광을 사용자의 눈으로 지향시킨다. 일 실시예에서, 시스템은 하나 이상의 디스플레이 엔진(285)을 포함한다. 일 실시예에서, 광 결합기 어셈블리(280)는 광 결합기를 이용하는 광의 부분에 대한 초점 거리를 결정할 수 있다. 따라서, 둘 이상의 광 결합기들을 이용하여, 광은 둘 이상의 초점 거리에서 보일 수 있다. 디스플레이 엔진(285)은 광 결합기(들)를 통과하는 광을 생성한다. 일 실시예에서, 시스템은 더 높은 해상도를 갖는 더 작은 이미지인 중심와 이미지(foveated image)를 포함할 수 있다. 이러한 구성들의 경우, 중심와 디스플레이를 위치 설정하기 위해 시야 내에서 이를 이동시키도록 중심와 디스플레이 요소(290)가 제공된다. 본 기술분야에 공지된 바와 같이, 위치 설정 거울 및 렌즈와 같은 다른 요소들이 사용될 수 있다.

도파관은 머리 장착형 디스플레이의 가상 이미지를 다른 광과 혼합하기 위해 사용되는 일종의 광 결합기다. AR 시스템에서, 해당 광은 실제 세계에서 오는 광과 혼합된다. VR 시스템에서, 해당 광은 OLED 또는 LCD 패널과 같은 다른 불투명 디스플레이와 혼합될 수 있다. 하나의 픽셀과 관련된 데이터를 전송하는 하나 이상의 도파관들은 도파관 어셈블리 또는 광 결합기 어셈블리(280)로 지칭될 수 있다. 본 시스템은 일반적으로 도파관을 이용하여 설명되지만, 통상의 기술자는 아래 실시예들 중 임의의 실시예에서, 다른 광 결합기들이 사용될 수 있다는 것을 이해할 것이다.

위의 이점들은, 더 낮은 해상도 요건들로 인해, 이러한 대안적인 광 결합기들에도 적용된다. 예를 들어, 광 결합기는 반사성 홀로그래픽 광학 요소(HOE: holographic optical element), 만곡된 거울, 컴퓨팅 홀로그래픽 디스플레이, 반-투명 거울 및 빔 스플리터를 포함하는 수반 광학계, 또는 다른 설계를 포함할 수 있다. 이러한 유형의 광 결합기의 경우에도, 해상도의 감소는 사용되는 재료, 중량 및 허용 오차에 유연성을 제공한다. 따라서, 통상의 기술자는 본 발명의 개선이 단지 도파관이 아니라 임의의 유형의 광 결합기 어셈블리(280)와 함께 이용될 수 있다는 것을 이해할 것이다.

광 결합기를 이용한 VR 시스템

광 결합기를 사용하는 표준 VR 시스템에서, 소스 디스플레이는 입력 방출기에 의해 광학 재료의 도파관 안으로 방출된다. 광선은 그의 각도가 해당 재료에 대한 임계각보다 작기 때문에 광학 재료 내부에서 반사된다. 이는 내부 전반사(TIR: total internal reflection)로 알려져 있다. 광선은 해당 광선으로 하여금 도파관을 떠나 사용자의 눈을 향하게 하는 외향 방출기와 상호작용할 때까지 도파관의 아래로 TIR을 통해 계속해서 이동한다. 다른 방향으로 광을 이동시켜 시스템의 시선 상자(eyebox)를 더 크게 만드는 다른 요소들이 도파관 내에 존재할 수 있다. 이들은 시선 상자 확대기로 알려져 있다. 내향 방출기, 외향 방출기, 및 시선 상자 확대기는 회절성 광학 요소(DOE: diffractive optical element)로 지칭된다.

많은 상이한 구조 및 재료가 도파관 내의 DOE로서 사용될 수 있다. 표면 부조 격자는 DOE 구조의 한 유형이다. 표면 부조 격자는 매우 작은 홈들을 갖고, 상이한 방향으로 광을 회절시키기 위해 해당 영역들에 배치된다. 이러한 격자는, 예를 들어, 광학 기판의 상부에 있는 폴리머를 나노-임프린팅함으로써 제조될 수 있으며, 그들은 기판에 직접 에칭될 수 있거나, 또는 다수의 다른 방식으로 제조될 수 있다. 격자는 도파관의 표면에 수직일 수 있거나, 또는 경사질 수 있다. 격자는 기둥 또는 홈일 수 있다. DOE를 제조하는 또 다른 방법은 홀로그래픽 필름을 사용하는 것이다. 이들 필름은 폴리머 내에 회절 부위를 생성하기 위해 노출된 폴리머일 수 있다. 필름이 내향 방출 영역, 확대기 영역, 또는 외향 방출 영역에서 도파관에 라미네이팅될 때, 광은 해당 부위들로부터 회절되어, 도파관 아래의 TIR에 필요한 방향으로 전환되거나 눈에 제공되도록 필요한 방향으로 전환된다.

본 기술분야에서는 다양한 유형의 DOE의 사용이 공지되어 있다. 도파관 또는 광 결합기 내의 DOE를 제조하는 다른 방법들이 사용될 수 있다.

사용자에게 전송되는 최종 이미지의 해상도를 높게 유지하기 위해, 도파관의 평탄도(flatness)에는 엄격한 허용 오차가 요구된다. 예를 들어, 일 실시예에서, 1 μm 미만인 두께 편차 및 5 μm 미만의 왜곡(warp)이 사용된다. 이러한 엄격한 허용 오차는 도파관용 재료의 제조 비용을 증가시킨다. 도파관에 대한 해상도 요건이 더 낮은 경우, 도파관은 느슨한 허용 오차를 가질 수 있다. 일 실시예에서, 더 낮은 해상도의 색상의 경우, 도파관은 4 μm 미만의 두께 편차, 및 20 μm 미만의 왜곡을 가질 수 있다. 일 실시예에서, 더 낮은 해상도를 위한 도파관을 만들기 위해 유리보다는 플라스틱과 같은 다른 재료들, 및 사출 성형과 같은 다른 제조 방법들이 사용될 수 있다. 따라서, 도파관들의 일부로서 더 낮은 해상도의 도파관을 가짐으로써, 더 낮은 해상도를 위한 도파관에 대한 유연성 증가로 인해 전체 제품 비용이 감소될 수 있고/있거나 제품이 더 가벼워질 수 있다. 일 실시예에서, 시스템은 또한 이하에 설명되는 바와 같이, 픽셀 밀도를 감소시키기 위해 확대의 사용을 가능하게 할 수 있다.

개별 도파관들의 수를 최소화하는 것은 비용, 복잡성 및 무게를 감소시키고, HMD의 투명도를 증가시키기 때문에 유리하다.

다중 해상도 도파관

다중 해상도의 광 결합기 어셈블리는 파장에 기초하여 둘 이상의 해상도로 데이터를 제공한다. 즉, 하나의 색으로 제공되는 이미지의 해상도는 상이한 색상으로 제공되는 해상도와는 상이할 것이다. 일 실시예에서, 사람의 눈은 녹색의 데이터를 더 높은 해상도로 인지하기 때문에, 이미지의 가장 높은 해상도 부분은 녹색 파장 범위 내에 있다.

일 실시예에서, 더 높은 해상도의 한 색상의 디스플레이 엔진이 보다 낮은 해상도의 다른 색상들의 디스플레이와 결합된다. 일 실시예에서, 상기 더 높은 해상도의 한 색상의 디스플레이 엔진이 중심와(foveated)로 되는데, 이는 사용자의 중심와(fovea)로 지향됨을 의미한다. 일 실시예에서, 상기 결합은 시스템이 VR 디스플레이의 시야 및 상기 한 색상의 디스플레이 엔진의 해상도를 갖는다는 인식을 제공한다.

일 실시예에서, 적색 및 청색 채널들은 제1의 더 낮은 해상도로 제공되는 반면, 녹색 채널은 제2의 더 높은 해상도로 사용자에게 제공된다. 세 개의 채널들 중 두 개 채널이 더 낮은 해상도를 가짐에도 불구하고, 인지되는 해상도는 상기 녹색 채널의 해상도이다. 일 실시예에서, 상기 더 낮은 해상도는 각도당 5 내지 40픽셀(PPD: pixel per degree)이고, 상기 더 높은 해상도는 30 내지 60 ppd이다.

다른 실시예에서, 청색, 적색, 및 녹색 채널들은 최저로부터 최고까지, 각각 상이한 해상도들로 제공된다. 일 실시예에서, 청색 채널은 가장 낮은 해상도(5 내지 20 ppd)로 제공되고, 적색 채널은 중간 해상도(10 내지 40 ppd)로 제공되며, 녹색 채널은 가장 높은 해상도(30 내지 120 ppd)로 제공된다.

다중 해상도 디스플레이를 생성하기 위해, 일 실시예에서, 각각의 색상에 대해 별도의 디스플레이 엔진들이 사용된다. 일 실시예에서, 각각의 색상에 대해 하나씩, 3개의 상이한 디스플레이 엔진들(285)이 존재하며, 이들 각각은 상이한 해상도를 갖고 선택적으로는 상이한 시야를 갖는다. 일 실시예에서, 상기 해상도들은 상술한 해상도 범위에 대응한다. 일 실시예에서, 각각의 단일 색의 광 엔진은 그의 이미지를 임의의 다른 색상의 경로에 있지 않은 내향 방출 격자로 지향시킨다. 다른 실시예에서, 3개의 디스플레이들은 X-큐브 또는 X-플레이트, 또는 이색성(dichroic) 거울들의 다른 배열과 같은 광학 요소들, 또는 다른 광학 요소들을 사용하여 하나의 이미지로 함께 결합되며, 해당 이미지는 광 결합기로 전송된다. 다른 실시예에서, 2개의 디스플레이 패널이 사용될 수 있는데, 하나는 동일한 해상도를 갖는 적색 및 청색을 위한 것이고, 하나는 더 높은 해상도를 갖는 녹색을 위한 것일 수 있다. 다른 실시예에서, 하나의 3색 디스플레이 엔진이 사용될 수 있다. 일 실시예에서, 디스플레이 엔진의 출력은 서로 다른 광 결합기들에 대한 입력을 위해 구분될 수 있다. 디스플레이 엔진의 구성(1개, 2개 또는 3개의 디스플레이 엔진이 사용되는지 여부)은 결정적이지(determinative) 않다. 이는 아래의 구성들 중 임의의 구성에서 변경될 수 있다.

일 실시예에서, 초기 이미지는 녹색 채널의 해상도를 가지며, 녹색 채널은 높은 해상도로 유지되는 반면 적색 및 청색 채널들은 다운샘플링된다(한 프레임의 픽셀 개수를 감소시킴). 일 실시예에서, 다운샘플링은 녹색 채널 해상도의 1/6 내지 5/6 범위 내에 있다. 일 실시예에서, 적색 및 청색 채널들은 동일한 속도로 다운샘플링된다. 대안적으로, 이들은 상이한 속도로 다운샘플링될 수도 있다. 이는 각각의 프레임을 생성하는데 필요한 컴퓨팅 전력, 및 이미지를 사용자에게 제공하는데 사용되는 전력을 감소시킨다.

더 낮은 해상도의 적색/청색 이미지 데이터 및/또는 더 높은 해상도의 녹색 이미지 데이터를 생성하는 다른 방식들이 사용될 수 있다. 일 실시예에서, 적색/청색 채널 해상도 중의 해상도는 확대를 증가시킴으로써 감소되고, 이에 따라 더 큰 픽셀(예를 들어, 각도당 더 적은 픽셀들)을 갖는다. 일 실시예에서, 이는 동일한 디스플레이 엔진을 이용하여 더 큰 시야를 제공하면서, 적색/청색 채널들의 시야를 증가시키기 위해 사용될 수 있다. 일 실시예에서, 확대는 차등적 확대일 수 있어서, 확대 정도는 중심와/이미지 초점으로부터의 거리에 따라 변할 수 있다.

도 3은 가상 현실 디스플레이 패널(310)과 같은 마이크로디스플레이를 갖는 VR HMD의 일 실시예를 도시하며, 일 실시예에서는 더 높은 해상도의 디스플레이(360)와 결합되는 더 낮은 해상도의 LED들의 어레이를 갖는 OLED 패널이다. 단순화를 위해, 이 예시는 단지 하나의 시선 상자, 및 하나의 광선을 도시한다. 통상의 기술자는 도면을 쉽게 이해하기 위한 단순화라는 것을 이해할 것이다.

일 실시예에서, 도파관(330) 또는 다른 광 결합기는 더 높은 해상도의 한 색상의 픽셀들(360)로부터 이미지들을 투사한다. 패널(310)로부터의 이미지들은 VR 광학계(320)를 통과한다. 일 실시예에서, 패널(310)로부터의 광은 도파관(330)을 통과하지만, 도파관(330)을 따라 지향되지는 않는다.

일 실시예에서, 더 낮은 해상도의 RGB OLED(310) 어레이는 3개의 색상 중 2개를 포함한다. 일 실시예에서, 더 낮은 해상도의 OLED 어레이의 색상들은 단지 적색 및 청색일 뿐이다.

다른 실시예에서, 더 낮은 해상도의 OLED(310) 어레이는 표준 3색 OLED일 수 있고, 시스템은 녹색 채널이 데이터를 전송하지 않도록 설정한다. 일 실시예에서, 높은 해상도의 한 색상의 디스플레이(360)는 녹색이다. 다른 실시예에서, 더 높은 해상도의 색상은 M 및 L 원뿔세포 모두를 실질적으로 자극하는 다른 색 파장이다. 일 실시예에서, 상기 색상은 노란색 또는 주황색이다. 색상들 중 적어도 일부에 대해 더 낮은 해상도 디스플레이를 갖는 것은 계산할 총 픽셀 값들이 더 적기 때문에 전체 HMD 전력 소비 및 무게를 감소시키는 반면, 도파관(330)을 통해 디스플레이되는 녹색 이미지의 더 높은 해상도로 인해 인지되는 해상도는 높다. 일 실시예에서, 더 높은 해상도의 한 색상의 디스플레이 엔진은 40 내지 60 ppd의 해상도를 갖는다.

디스플레이 엔진(360)으로부터의 높은 해상도의 이미지는 내향 방출기(340)를 통해 도파관(330)으로 방출되고, 외향 방출기(350)를 통해 외향 방출된다. 일 실시예에서, 도파관(330)을 통해 전송된 높은 해상도의 이미지는 동적으로 중심와 설정(foveated)된다. 동적 중심와 설정은 가장 높은 인지된 해상도를 가진 높은 해상도의 이미지를 사용자의 중심와에 대해 타깃으로 설정한다. 높은 해상도의 이미지가 중심와 설정됨으로써, 시스템은 높은 해상도의 이미지의 시야를 감소시킬 수 있고, 높은 해상도 이미지의 픽셀 개수를 낮추는 한편, 인지되는 해상도를 상기 높은 해상도 수준으로 유지할 수 있다. 감소된 시야는 전체 시야에 걸쳐 높은 인지된 해상도를 유지하면서 전력 소비를 감소시킨다. 일 실시예에서, 높은 해상도의 이미지가 동적으로 중심와 설정될 때, 불투명 VR 디스플레이 패널(310)은, 함께 디스플레이되는 개별적인 필드 이미지를 제공한다. 이 실시예에서, 필드(또는 더 낮은 해상도의) 이미지는 또한 녹색 채널을 포함한다. 따라서, 일 실시예에서, 높은 해상도의 중심와 이미지를 전송하는 녹색 도파관은 또한, 중심와 영역 밖에 있는 더 낮은 해상도의 OLED 이미지를 포함한다. 다른 실시예에서, VR 디스플레이 패널(310)은 필드 이미지 영역에 대해 녹색을 포함한다. 일 실시예에서, 필드 디스플레이는 중심와 디스플레이 영역에 대해 컷아웃(cutout)을 가질 수 있다. 이러한 중심와 설정된 이미지 디스플레이를 구현하는 일 실시예는 본원에 참고로 포함되고 2019년 12월 24일에 등록된 미국 특허 제10,514,546호에 기재되어 있다.

도 4는 하나의 광 전파기가 개별적인 디스플레이 엔진들과 함께 사용되는 시스템의 일 실시예를 도시한다. 시스템은 3개의 개별 디스플레이 엔진들(430, 440, 450)을 포함한다. 일 실시예에서, 상이한 디스플레이 엔진들(430) 각각에 의한 광 출력은 상이한 해상도를 가질 수 있다. 다른 실시예에서, 녹색 디스플레이 엔진(430)으로부터의 광은 적색 디스플레이 엔진(440) 및 청색 디스플레이 엔진(450)의 광 출력보다 더 높은 해상도를 갖는다.

시스템은 디스플레이 엔진들 각각에 대한 내향 방출기들(435, 445, 455)을 포함하는 도파관(410)을 포함한다. 일 실시예에서, 내향 방출기들은 중첩하지 않으며, 물리적으로 서로로부터 이격된다. 일 실시예에서, 도파관(410)은 하나의 외향 방출기(420)를 포함한다. 일 실시예에서, 도파관(410)은 녹색 광에 대해 최적화된다. 도파관(410)은 특정 주파수 범위에 대해 최적화될 수 있다. 일 실시예에서, 도파관(410)은 녹색 채널에 대해 최적화된다.

도 5는 하나 이상의 색상들이 제1 도파관(510)을 사용하는 반면, 하나 이상의 더 높은 주파수 색상들이 제2 도파관(520)을 사용하는, 증강 현실(AR) 머리 장착형 장치(HMD)의 일 실시예를 도시한다. 일 실시예에서, 적색 및 청색 정보(515)는 더 낮은 해상도로 제1 도파관(510)을 통해 제공되고, 녹색 정보(525)는 더 높은 해상도로 제2 도파관(520)을 통해 제공된다. 대부분의 이미지 공간 정보를, M 및 L 원뿔세포 모두를 자극하는 녹색 채널에 배치하고, 적색 및 청색 채널을 더 낮은 해상도로 남김으로써, 이미지의 구조는 녹색 채널(525)로부터 유래하고, 나머지 색역은 보다 낮은 해상도의 청색 및 적색 채널(515)로부터 유래한다. 이는 총 픽셀 개수를 감소시키고, 전력 요건을 감소시키며, 따라서 HMD를 제조하는 무게 및 비용을 감소시킨다. 그러나, 눈이 이미지를 인지하는 방식으로 인해, 결과적인 이미지의 인지된 해상도는 녹색 채널의 더 높은 해상도와 유사하다. 일 실시예에서, 3색 디스플레이 엔진(530)은 적색 및 청색 광(515)과 녹색 광(525) 모두에 대한 이미지 데이터를 생성할 수 있다. 적절한 도파관은 주파수에 기초하여 선택된다. 일 실시예에서, 하나의 디스플레이 엔진(530)이 사용될 수 있고, 시스템은 주파수(파장)에 의해 출력들을 분리할 수 있다. 다른 실시예에서, 도파관들(510, 520)의 내향 방출기들은 주파수 선택적이며, 적절한 색 채널들을 내향 방출시킨다.

일 실시예에서, 더 낮은 해상도를 갖는, 대개 적색 및 청색인, 색 채널들은 더 저렴하고 더 낮은 품질의 도파관들을 통해 전송될 수 있고, 녹색 광은 더 나은 이미징 능력을 갖는 도파관(520)을 통해 전송될 수 있다. 일 실시예에서, 더 낮은 해상도의 색상들을 위한 도파관은 플라스틱으로 제조된다. 일 실시예에서, 더 낮은 해상도를 갖는 색 채널들을 위한 도파관은 더 느슨한 평탄도(flatness) 사양을 갖는 유리로 제조된다.

일부 실시예들에서, 상기 설명된 바와 같이, 녹색 광은 동적으로 중심와 설정된다.

다른 실시예에서, 도 6a에 도시된 바와 같이, 적색 및 청색 데이터를 하나의 도파관에 제공하기보다는, 3개의 도파관들이 각각의 색상에 대해 하나씩 사용된다. 높은 해상도의 녹색 데이터는 하나의 도파관(630)에 제공되고, 적색 및 청색 데이터는 개별적인 도파관들(620, 610)에 제공된다. 일 실시예에서, 이러한 구성에서, 적색 및 청색 광은 상이한 해상도를 가질 수 있다. 일 실시예에서, 적색 광(625)은 중간 해상도이고, 청색 광(615)은 낮은 해상도이다. 일 실시예에서, 3색 디스플레이 엔진(640)이 사용된다. 각각의 도파관들은 개별적인 내향 방출기를 갖는다. 일 실시예에서, 내향 방출기는 각각의 파장 세트가 적절한 도파관 내로 방출되도록 색상 선택적이다. 이는 플라스틱과 같이 더 저렴하고, 더 가볍고, 더 낮은 품질의 이미징 재료가 적색 및 청색 도파관에 사용될 수 있기 때문에 현재의 제품에 대해 개선된다.

도 6b는 각각의 색 채널이 개별적인 디스플레이 엔진(650, 655, 660) 및 광 전파기(654, 659, 665)를 갖는 3-전파기 구성의 일 실시예를 도시한다. 3-도파관 시스템은 각각의 색상에 대해 개별적인 디스플레이 엔진(650, 655, 660)을 이용한다. 각각의 색상에 대한 내향 방출기는 서로에 대하여 이격된다. 개별적인 디스플레이 엔진을 갖는 것은 녹색 디스플레이 엔진(660)이 더 높은 해상도를 갖거나, 상이한 초점 거리에 있거나, 또는 중심와 설정될 수 있게 한다.

도 6c는 각각의 광 전파기가 연관된 디스플레이 엔진을 갖는2-전파기 구성의 일 실시예를 도시한다. 이 구성에서는, 녹색 디스플레이 엔진(670) 및 청색/적색 디스플레이 엔진(680)이 존재한다. 이는 적색/청색 광(685)에 비해 녹색 채널(675)의 해상도가 조절될 수 있게 한다. 또한, 녹색 도파관(695)의 품질은 적색/청색 도파관(690)의 품질보다 높을 수 있다.

다초점 도파관

광의 초점이 고려될 때에는 문제가 복잡해진다. 사람의 눈은 수정체를 변형시킴으로써 그 초점 깊이를 바꿀 수 있다. 이를 조절(accomodation)이라고 한다. 머리 장착형 디스플레이의 경우, 조절 거리는 두 눈으로부터의 시선 벡터가 공간 내에서 교차하는 지점인 응시 지점의 거리와 일치할 필요가 있다. 이러한 깊이가 일치하지 않는 경우에는 두통 및 기타 유해한 생리학적 효과를 유발하는 수렴-조절 불일치가 발생한다. 머리 장착형 디스플레이가 하나의 초점 거리에만 가상 객체들을 디스플레이할 수 있다면, 이들 객체들이 디스플레이될 수 있는 범위는 수렴-조절 불일치를 야기하지 않도록 심하게 제한될 필요가 있다.

일반적으로, 도파관의 외향 방출기는 무한대에 있는 초점에서 가상 이미지를 생성한다. 일 실시예에서, 외향 방출기에 광 출력이 부가되어 무한대로부터 머리에 더 가깝게 되도록 초점을 변화시킬 수 있지만, 이러한 변화는 각각의 외향 방출기에 적용되어야 하고 해당 도파관에 대해 고정되어야 한다. 다른 실시예에서, 외향 방출기와 눈 사이에 광학계가 배치되어 초점을 이동시킨다. 이 경우에, 실제 세계로부터의 광이 얇은 렌즈에 의해 영향을 받지 않도록 도파관의 먼 측면 상에 보상 광학계가 요구된다. 다초점 디스플레이를 제공하는 한 가지 방법은 2세트의 도파관을 사용하는 것인데, RGB를 위한 한 세트는 하나의 초점에 있고, RGB를 위한 다른 세트는 상이한 초점에 있다. 그러나, 이는 총 도파관 개수를 배가시키고, 시스템의 복잡성뿐만 아니라 무게를 증가시킨다.

일 실시예에서, 본 시스템은 상이한 초점 거리를 갖는 둘 이상의 도파관을 포함한다.

도 7은 제1 도파관(710)이 원거리 초점에서 RGB광(715)을 안내하고 제2 도파관(720)이 근거리 초점에서 녹색 광(725)만을 안내하는 일 실시예를 도시한다. 일 실시예에서, 원거리 초점의 RGB광은 0.5미터 내지 무한대의 범위에 초점을 두고, 근거리 초점의 녹색-전용(green-only) 광은 0.25미터 내지 1 미터의 범위 내의 거리에 초점을 둔다. 일 실시예에서, 녹색 광은 도파관(710, 720) 모두에 존재하기 때문에, 도파관 선택기(730)는 상기 광을 적절한 도파관에 지향시킨다. 일 실시예에서, 도파관 선택기(730)는 녹색 광의 일부를 RGB 도파관(710)으로, 그리고 녹색-전용 도파관(720)으로 안내하기 위해 편광을 사용할 수 있다.

도 9는 제1 도파관(910)이 이미지의 청색 및 녹색 광(915)을 안내하고, 더 먼 Z 거리에 초점을 두는 가상 이미지를 생성하는 일 실시예를 도시한다. 제2 도파관(920)은 적색 및 녹색 광(925)을 안내하고, 더 가까운 Z 거리에 초점을 둔다. 일 실시예에서, 더 먼(청색 녹색) Z 거리는 0.5미터 내지 무한대의 범위에 있고, 더 가까운(적색 녹색) Z 거리는 0.25미터 내지 1미터에 있다. 일 실시예에서, 도파관 선택기(940)는 광이 2개의 도파관 중 하나에만 방출되게 하기 위해 편광 제어와 같은 광학 기술을 사용할 수 있다. 일 실시예에서, 도파관 선택기(940)는 빔 스플리터이다. 일 실시예에서, 광이 적절한 도파관 내로 방출되게 하기 위해 색 필터가 사용된다. 일 실시예에서, 색 필터는 반사 필터이다. 일 실시예에서, 디스플레이 엔진(930)은 적색-녹색 프레임들 및 청색-녹색 프레임들의 디스플레이를 교번하고, 도파관 선택기(940)는 시간 기반 선택기이다.

다른 실시예에서, 도 8에 도시된 바와 같이, 적색-녹색 도파관 및 청색-녹색 도파관은, 사용자에게 더 가까운 이미지 데이터를 디스플레이하는 도파관이 청색-녹색 도파관이 되고 더 멀리 있는 이미지 데이터에 대한 도파관이 적색-녹색 도파관이 되도록 스위칭된다.

일 실시예에서, 도 10에 도시된 바와 같이, 0.5미터 내지 무한대의 범위 내의 거리에서 제1의 더 먼 초점 거리에 데이터를 디스플레이하는 RGB 도파관(1010)이 존재하고, 0.25미터 내지 1미터의 범위 내에서 제2의 더 가까운 초점 거리에 데이터를 디스플레이하는 녹색-전용 도파관(1020)이 존재한다. 일 실시예에서, RGB광(1015)을 위한 디스플레이 데이터는 3색 디스플레이 엔진(1040)에 의해 생성되는 반면, 녹색-전용 광(1025)을 위한 디스플레이 데이터는 녹색-전용 디스플레이 엔진(1030)에 의해 생성된다. 일 실시예에서, 녹색-전용 디스플레이 엔진(1030)을 위한 이미지는 동적으로 중심와 설정된다. 일 실시예에서, RGB 디스플레이 엔진(1040)은 중심와 설정된다. 일 실시예에서, 디스플레이 엔진들은 모두 중심와 설정된다. 일 실시예에서, 셋 이상의 초점 길이를 생성하도록, 상이한 거리에 초점을 두는 더 많은 도파관들이 결합되며, 예를 들어 3개의 도파관들은 0.5미터 내지 무한대, 0.25미터 내지 1미터, 및 0.1미터 내지 0.5미터의 범위 내에 초점 면을 제공할 수 있다. 각각의 초점 면은 적어도 하나의 파장을 높은 해상도로 가지며, 일 실시예에서 이 파장은 녹색이고, 해당 초점 면에서 공간 정보를 제공한다. 다른 초점 길이들 중 일부는 이미지의 색상 정보를 제공하기 위해 다른 색상들을 가질 것이다.

도 10에 도시된 실시예에서, 눈동자들은 공간적으로 구분된다. 즉, 제1 도파관(1010)을 위한 내향 방출기는 제2 도파관(1020)을 위한 내향 방출기로부터 공간적으로 구분된다.

다중 FOV 도파관

사람의 시각계는 눈의 시야(FOV)에 걸쳐 상이하게 색상을 감지하는데, 그 이유는 색소가 있는 원뿔세포의 분포가 시야에 걸쳐 다르기 때문이다. 광 결합기 어셈블리의 설계는 더 낮은 총 컬러 픽셀 개수를 갖는 큰 시야를 생성하기 위해 이러한 분포를 고려할 수 있다. 예를 들어, 중간 및 긴 원뿔세포들은 중심와 근처에서 고농도로 발견된다. 중심와 외부의 영역에는 막대세포들 및 짧은 원뿔세포들이 주로 분포한다. 일 실시예에서, 하나의 도파관은 최소 30도 H x 30도 V부터 최대 70도 H x 55도 V까지 회전하는 안구의 중심와에 의해 스캐닝되는 시야를 통해 녹색 및 적색 광을 운반할 수 있고, 다른 도파관은 전체 픽셀은 더 적지만 135도 H x 180도 V의 FOV의 인식을 생성하기 위해 최대 135도 H x 180도 V까지의 훨씬 더 큰 시야에 걸쳐 청색 광을 디스플레이할 수 있다.

도 11은 적색-녹색 도파관(1120)이, 청색-전용(blue-only) 도파관(1110)에 의해 출력된 청색 광(1115)보다 더 작은 시야를 갖는 적색 및 녹색 광(1125)을 출력하는, 다중 FOV 디스플레이의 일 실시예를 도시한다. 이러한 구성에서, 색 채널들을 위한 내향 방출기들은 공간적으로 구분된다. 일 실시예에서, 청색 채널의 해상도는 적색 및 녹색 채널의 해상도보다 더 낮다.

도 12는, RGB 도파관(1210)이 3색 디스플레이 엔진(1240)으로부터, 더 큰 시야를 갖고, 녹색-전용 도파관(1220)을 통한 녹색-전용 디스플레이(1230)보다 더 낮은 해상도를 갖는 적색, 청색 및 녹색 광(1215)을 출력하는, 다중 FOV 디스플레이의 다른 실시예를 도시한다. 이러한 구성에서, 도파관들은 상이한 크기를 갖고, 녹색-전용 도파관(1220)은 더 작은 크기를 갖는다. 일 실시예에서, 내향 방출기들은 또한 상이한 크기를 갖는다. 일 실시예에서, 녹색 광(1225)을 위한 내향 방출기는 RGB 내향 방출기보다 더 작다. 일 실시예에서, 녹색-전용 도파관(1220)을 위한 내향 방출기는 또한 RGB 도파관(1210)의 외향 방출기보다 더 작다. 다양한 조합에서, 도파관, 내향 방출기, 및 외향 방출기의 상대적인 크기들은 도파관들 사이에서 상이할 수 있다.

도 13은 본 발명과 함께 사용될 수 있는 특정 기계의 블록도이다. 그러나, 통상의 기술자에게는 다양한 시스템 아키텍처들의 다른 대안적인 시스템들이 또한 사용될 수 있다는 것이 명백할 것이다.

도 13에 도시된 데이터 처리 시스템은 정보를 전달하기 위한 버스 또는 다른 내부 통신 수단(1340), 및 정보를 처리하기 위해 버스(1340)에 연결된 처리 장치(1310)를 포함한다. 처리 장치(1310)는 중앙 처리 장치(CPU), 디지털 신호 프로세서(DSP), 또는 또 다른 유형의 처리 장치(1310)일 수 있다.

시스템은 일 실시예에서, 프로세서(1310)에 의해 실행될 정보 및 명령들을 저장하기 위해 버스(1340)에 연결된 랜덤 액세스 메모리(RAM) 또는 다른 휘발성 저장 장치(1320)(메모리로서 언급됨)를 더 포함한다. 메인 메모리(1320)는 또한, 처리 장치(1310)에 의한 명령들의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다.

시스템은 또한, 일 실시예에서 프로세서(1310)에 대한 정적 정보 및 명령들을 저장하기 위해 버스(1340)에 연결된 읽기 전용 메모리(ROM)(1350) 및/또는 정적 저장 장치(1350)를 포함한다. 일 실시예에서, 시스템은 또한, 자기 디스크 또는 광 디스크 및 이의 대응하는 디스크 드라이브와 같은 데이터 저장 장치(1330), 또는 시스템에 어떠한 전력도 공급되지 않을 때 데이터를 저장할 수 있는 플래시 메모리 또는 다른 저장장치를 포함한다. 일 실시예에서 데이터 저장 장치(1330)는 정보 및 명령들을 저장하기 위해 버스(1340)에 연결된다.

시스템은 또한, 정보를 출력하기 위해 버스(1360)를 통해 버스(1340)에 연결된 음극선관(CRT) 또는 액정 디스플레이(LCD)와 같은 출력 장치(1370)에 연결될 수 있다. 출력 장치(1370)는 시각 출력 장치, 오디오 출력 장치, 및/또는 촉각 출력 장치(예컨대, 진동, 등)일 수 있다.

입력 장치(1375)는 버스(1360)에 연결될 수 있다. 입력 장치(1375)는 사용자가 정보 및 명령 선택을 처리 장치(1310)에 전달하는 것을 가능하게 하기 위해, 영문숫자 및 다른 키를 포함하는 키보드와 같은 영문숫자 입력 장치일 수 있다. 부가적인 사용자 입력 장치(1380)가 더 포함될 수 있다. 하나의 이러한 사용자 입력 장치(1380)는 마우스, 트랙볼, 스타일러스, 커서 방향 키, 또는 터치 스크린과 같은 커서 제어 장치(1380)이며, 방향 정보 및 명령 선택을 처리 장치(1310)에 전달하기 위해, 및 디스플레이 장치(1370)에 대한 이동을 제어하기 위해 버스(1360)를 통해 버스(1340)에 연결될 수 있다.

컴퓨터 시스템(1300)에 선택적으로 연결될 수 있는 또 다른 장치는 네트워크를 통해 분산 시스템의 다른 노드에 액세스하기 위한 네트워크 장치(1385)이다. 통신 장치(1385)는 이더넷, 토큰 링, 인터넷, 또는 광역 네트워크, 개인 영역 네트워크, 다른 장치에 액세스하는 무선 네트워크 또는 다른 방법에 연결하기 위해 사용된 것과 같은 다수의 상업적으로 이용 가능한 네트워킹 주변 장치 중 임의의 장치를 포함할 수 있다. 통신 장치(1385)는 또한, 널 모뎀 연결, 또는 컴퓨터 시스템(1300)과 외부 세계 사이의 연결을 제공하는 임의의 다른 메커니즘일 수 있다.

도 13에 도시된 이 시스템의 구성요소 중 임의의 구성요소 또는 전부 및 연관된 하드웨어가 본 발명의 다양한 실시예에서 사용될 수 있음에 유의한다.

본 발명을 구현하는 특정한 기계가 특정한 구현에 따라 다양한 방식으로 구성될 수 있다는 것이 당업자에 의해 인식될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는 메인 메모리(1320), 대용량 저장 장치(1330), 또는 프로세서(1310)에 로컬로 또는 원격으로 액세스 가능한 다른 저장 매체에 저장될 수 있다.

본원에서 설명되는 시스템, 방법 및 프로세스는 메인 메모리(1320) 또는 읽기 전용 메모리(1350)에 저장되는 소프트웨어로서 구현될 수 있고 프로세서(1310)에 의해 실행될 수 있다는 것이 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 이 제어 로직 또는 소프트웨어는 또한, 컴퓨터 판독 가능한 매체에 구현되고 대용량 저장 장치(1330)에 의해 판독 가능하며 프로세서(1310)로 하여금 본원의 방법 및 교시에 따라 동작하게 하기 위한 컴퓨터 판독 가능한 프로그램 코드를 가지는 컴퓨터 판독 가능한 매체를 포함하는 제조 물품에 상주할 수 있다.

본 발명은 또한, 상기 설명된 컴퓨터 하드웨어 구성요소의 서브세트를 포함하는 핸드헬드 또는 휴대용 장치로 구현될 수 있다. 예를 들면, 핸드헬드 장치는 버스(1340), 프로세서(1310), 및 메모리(1350 및/또는 1320)만을 포함하도록 구성될 수 있다.

핸드헬드 장치는 사용자가 이용 가능한 옵션의 세트로부터 선택할 수 있는 버튼의 세트 또는 입력 시그널링 구성요소를 포함하도록 구성될 수 있다. 이는 입력 장치 #1(1375) 또는 입력 장치 #2(1380)로 간주될 수 있다. 핸드헬드 장치는 또한, 정보를 핸드헬드 장치의 사용자에게 디스플레이하기 위한 액정 디스플레이(LCD) 또는 디스플레이 요소 매트릭스와 같은 출력 장치(1370)를 포함하도록 구성될 수 있다. 이러한 핸드헬드 장치를 구현하기 위해 종래의 방법이 사용될 수 있다. 이러한 장치에 대한 본 발명의 구현은 본원에 제공된 바와 같이 본 발명의 개시를 고려할 때 당업자에게 명백할 것이다.

본 발명은 또한, 키오스크 또는 차량과 같은, 상기 설명된 컴퓨터 하드웨어 구성요소의 서브세트를 포함하는 특수 목적 기기로 구현될 수 있다. 예를 들면, 기기는 처리 장치(1310), 데이터 저장 장치(1330), 버스(1340), 및 메모리(1320)를 포함하고, 어떠한 입력/출력 메커니즘도 포함하지 않거나, 사용자가 장치와 기본적인 방식으로 통신하는 것을 허용하는 작은 터치 스크린과 같은 단지 가장 기본적인 통신 메커니즘을 포함할 수 있다. 일반적으로, 장치가 특수 목적일수록, 장치가 기능하기 위해 더 적은 요소가 존재할 필요가 있다. 일부 장치에서, 사용자와의 통신은 터치 기반 스크린, 또는 유사한 메커니즘을 통한 것일 수 있다. 일 실시예에서, 장치는 어떠한 직접적인 입력/출력 신호를 제공하지 않을 수 있지만, 웹사이트 또는 네트워크 장치(1385)를 통한 다른 네트워크 기반 연결을 통해 구성되고 액세스될 수 있다.

컴퓨터 시스템으로서 구현된 특정한 기계의 임의의 구성이 특정한 구현에 따라 사용될 수 있다는 것이 당업자에 의해 이해될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는 프로세서(1310)에 로컬로 또는 원격으로 액세스 가능한 임의의 기계 판독 가능한 매체에 저장될 수 있다. 기계 판독 가능한 매체는 기계(예컨대, 컴퓨터)에 의해 판독가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들면, 기계 판독 가능한 매체는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 장치, 또는 임시 또는 영구 데이터 저장을 위해 사용될 수 있는 다른 저장 매체를 포함한다. 일 실시예에서, 제어 로직은 전기, 광학, 음향 또는 다른 형태의 전파된 신호(예컨대, 반송파, 적외선 신호, 디지털 신호, 등)와 같은 송신 가능한 데이터로서 구현될 수 있다.

본 출원은 시스템의 다양한 실시예들을 설명하고 예시한다. 본 발명의 범위를 벗어나지 않고 디스플레이 엔진의 개수, 도파관의 수, 및 조정된 색들이 변경될 수 있다. 또한, 색 채널들의 설정은 해상도, 시야, 초점 거리, 및 중심와에서의 차이들의 임의의 조합을 포함할 수 있다. 부가적으로, 시스템은 본 발명의 범위를 벗어나지 않고, 생성된 청색, 적색, 및/또는 녹색 채널들을 수정하여, 색 채널들 사이의 설정의 차이를 생성할 수 있다. 또한, 본원에 예시된 구성은 혼합되고 매칭될 수 있다. 따라서, 시스템은 하나 이상의 도파관들, 하나 이상의 디스플레이 엔진들을 포함할 수 있고, 색 채널들을 1개, 2개 및/또는 3개의 색상의 임의의 조합으로 구분할 수 있으며, 이는 본 개시의 범위 내에 유지된다.

이상의 명세서에서, 본 발명은 그의 특정한 예시적인 실시예들을 참조하여 설명되었다. 그러나, 첨부된 청구항들에 제시된 바와 같은 본 발명의 더 넓은 사상 및 범위로부터 벗어나지 않고 다양한 수정들 및 변경들이 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

Claims

이미지를 디스플레이하기 위한 머리 장착형 디스플레이 시스템으로서,
디스플레이를 위한 광을 생성하기 위한 디스플레이 엔진;
색상들의 서브세트가 상기 광의 다른 부분과는 상이한 설정을 갖도록, 상기 광의 색상들의 서브세트에 색 특이적인 설정을 적용하도록 구성된 상기 시스템; 및
상기 이미지를 생성하기 위해 하나 이상의 색상들의 상기 광을 출력하기 위한 광 결합기
를 포함하는, 머리 장착형 디스플레이 시스템.
제1항에 있어서, 상기 설정은 상기 색상들의 서브세트에 대한 상이한 해상도를 포함하는, 머리 장착형 디스플레이 시스템.
제2항에 있어서, 상기 색상들의 서브세트는 녹색 광을 포함하고, 상기 녹색 광은 적색 광 및 청색 광보다 높은 해상도를 갖는, 머리 장착형 디스플레이 시스템.
제2항에 있어서,
제1 해상도를 갖는 녹색 광을 출력하기 위한 상기 광 결합기; 및
더 낮은 제2 해상도를 갖는 적색 광을 출력하기 위한 제2 광 결합기
를 더 포함하는, 머리 장착형 디스플레이 시스템.
제4항에 있어서,
더 낮은 제3 해상도를 갖는 청색 광을 출력하기 위한 제3 광 결합기를 더 포함하는, 머리 장착형 디스플레이 시스템.
제4항에 있어서, 상기 청색 광은 상기 제2 광 결합기를 통해 통과되는, 머리 장착형 디스플레이 시스템.
제1항에 있어서, 상기 설정은 상기 하나 이상의 색상들에 대해 상이한 초점 거리들을 갖는 것을 포함하는, 머리 장착형 디스플레이 시스템.
제7항에 있어서, 녹색 광은 적색 광 및 청색 광보다 더 가까운 초점 거리를 갖는, 머리 장착형 디스플레이 시스템.
제8항에 있어서,
제1 초점 거리에 상기 녹색 광을 출력하기 위한 상기 광 결합기; 및
더 먼 제2 초점 거리에 적색 광을 출력하기 위한 제2 광 결합기
를 더 포함하는, 머리 장착형 디스플레이 시스템.
제9항에 있어서, 청색 광은 상기 제2 광 결합기를 통과하는, 머리 장착형 디스플레이 시스템.
제7항에 있어서, 녹색-청색 광은 제1 초점 거리에 디스플레이되고, 적색-녹색 광은 제2 초점 거리에 디스플레이되는, 머리 장착형 디스플레이 시스템.
제1항에 있어서, 상기 디스플레이 엔진은,
상기 색상들의 서브세트를 갖는 중심와(foveal) 이미지를 생성하기 위한 제1 디스플레이 엔진; 및
필드 디스플레이를 생성하기 위한 제2 디스플레이 엔진
을 포함하는, 머리 장착형 디스플레이 시스템.
제12항에 있어서, 상기 색상들의 서브세트는 녹색 채널을 포함하고, 상기 필드 디스플레이는 적색, 청색, 및 녹색 채널들을 포함하는, 머리 장착형 디스플레이 시스템.
이미지를 디스플레이하기 위한 머리 장착형 디스플레이 시스템으로서,
디스플레이를 위해 광의 스펙트럼을 생성하기 위한 디스플레이 엔진;
색 특이적인 설정을 녹색 채널에 적용하도록 구성된 상기 시스템; 및
상기 광의 스펙트럼을 출력하기 위한 광 결합기 어셈블리
를 포함하되, 상기 녹색 채널은 다른 색 채널들과는 상이한 설정을 갖는, 머리 장착형 디스플레이 시스템.
제14항에 있어서, 상기 색 특이적인 설정은 해상도를 포함하고, 상기 녹색 채널은 다른 색 채널보다 높은 해상도를 갖는, 머리 장착형 디스플레이 시스템.
제14항에 있어서, 상기 색 특이적인 설정은 초점 거리를 포함하고, 상기 녹색 채널은 상기 다른 색 채널들보다 더 가까운 초점 거리를 갖는, 머리 장착형 디스플레이 시스템.
제14항에 있어서, 상기 색 특이적인 설정은 중심와(foveating)를 포함하고, 상기 녹색 채널은 중심와 디스플레이를 이용하여 디스플레이되는, 머리 장착형 디스플레이 시스템.
제14항에 있어서, 상기 광 결합기 어셈블리는 하나 이상의 도파관들을 포함하는, 머리 장착형 디스플레이 시스템.
제18항에 있어서, 상기 광 결합기 어셈블리가 2개 이상의 도파관들을 포함하는 경우, 상기 녹색 채널을 안내하는 도파관은 다른 색 채널들에 대한 도파관보다 더 높은 허용 오차를 갖는, 머리 장착형 디스플레이 시스템.
제14항에 있어서,
디스플레이를 위해 광의 전체 스펙트럼을 생성하기 위한 디스플레이 엔진;
색 특이적인 설정을 녹색 채널에 적용하도록 구성된 상기 시스템; 및
상기 광의 전체 스펙트럼을 출력하기 위한 광 결합기 어셈블리
를 더 포함하되, 상기 녹색 채널은 다른 색 채널들과는 상이한 설정을 갖는, 머리 장착형 디스플레이 시스템.