KR20190099374A - 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기 - Google Patents

Abstract

사람 눈(150)의 응시 방향을 유도하기 위한 장치(100)는 눈(150)에 대면하여 배치된 한 쌍의 평행면(104a, 104b)을 갖는 도광 광학 소자(LOE)(120)를 포함한다. 부분적인 반사 표면들(145)의 세트와 같은, 결합 구성은, LOE(120)와 연견되고, LOE 내에서 전파하도록 면(104a)에 입사하는 광의 부분을 결합하기 위해 구성된다. LOE(120)와 연관된 포커싱 광학부(106)는 LOE 내에서 전파하는 평행한 광선의 세트들을 광학 센서(125)에 의해 감지되는 포착된 광의 집중 빔으로 전환한다. 처리 시스템(108)은 눈의 현재 응시 방향을 얻기 위해 광학 센서(125)로부터 신호를 처리한다. LOE의 개구부-결합 효과에도 불구하고, 망막 이미지는 광학 센서에 포커싱한 유일한 이미지 정보로서 효과적으로 복구될 수 있다.

Description

도광 광학 소자를 통한 망막 이미징 기반 안구 추적기

본 발명은 안구 추적에 관한 것으로, 특히 근안 디스플레이의 일부로 결합되기에 적합한 도광 광학 소자를 통해 망막 이미징에 기초하여 사람 눈의 응시 방향을 추적하기 위한 안구 추적기 및 대응하는 방법에 관련된 것이다.

근안 디스플레이 또는 헤드 업 디스플레이용 광학 은 관찰자의 눈이 위치되는 구역(안구-운동-박스)을 덮기 위해 큰 개구부를 필요로 한다. 소형 장치를 구현하기 위해서, 이미지는 큰 개구부를 생성하도록 증식된(multiplied) 작은 개구부를 구비하는 작은 광학 이미지 제네레이터(프로젝터)에 의해 생성된다.

1차원에서 개구부 증식에 대한 접근법은, 이미지가 내부 반사에 의해 전파되는 투명 물질의 평행-면 슬래브(slab)를 기반으로 개발되었다. 이미지 파면(wavefront)의 일부는, 슬래브의 일 표면상에서 회절 광학 소자를 사용하거나 비스듬하게 각진 부분 반사기를 사용하여 슬래브의 바깥으로 결합된다. 이러한 슬래브는 본 명세서에서 "도광 광학 소자", "광 투과 기판" 또는 "도파관"으로 언급된다. 이러한 개구부 증식의 원리가 도 1-4에 개략적으로 도시된다.

도 1은 내부 반사에 의해 광을 가이드하기 위해 한 쌍의 평행면(26, 26A)을 구비한 도광 광학 소자(20)를 도시한다. 빔을 스팬(span)하는 샘플 광선(18a, 18b 및 18c)을 포함하는 조명 빔(18)에 의해 개략적으로 표현된 바와 같은, 투영된 이미지(18)는, 기판 내에서 내부 반사에 의해 잡힌 반사된 광선(28)을 생성하고, 또한 광선(30)을 생성하기 위하여, 도광 광학 소자에 결합된다. 이미지는 평행면(26, 26a)에 대해 경사진 각도로, 부분적으로 반사하는 표면(22)의 시퀀스상에 입사하는, 반복된 내부 반사에 의해 기판을 따라 전파하고, 여기서 이미지 세기의 일부는 광선(48a, 48b)으로서 기판으로부터 결합되도록 반사된다.

고스트 이미지를 야기할 수 있는 원치않는 반사를 최소화하기 위하여, 부분적으로 반사하는 표면(22)이, 바람직하게는 입사 각도의 제1 범위에 대해 낮은 반사율을 갖는 반면 입사 각도의 제2 범위에 대한 원하는 부분적인 반사율을 가지도록 예를 들어, 도 2a 및 2b에 도시된 바와 같이, 코팅되는바, 여기서 부분 반사 표면(34)에 대한 법선에 대해 작은 기울기를 지닌 광선(32)은 결합을 위해 반사된 광선을 생성하기 위하여 분할되는 반면(도 2a), (법선에 대해)높은 기울기 광선(도 2b)은 무시할 수 있는 반사로 투과된다.

도 3은 이미지의 결합을 위해 회절 광학 소자(23)를 사용하여 구현된 대응하는 구성을 도시하는데, 여기 도시된 예시에서는 이미지(18)의 결합을 위한 또 다른 회절 광학 소자(17)를 도시한다. 회절 광학 소자는 당업계에 공지된 바와 같이, 기판의 상부 또는 하부 표면 상에 배치될 수 있다.

두 경우 모두에서, 투영된 이미지(18)는 시준된 이미지, 즉, 각 픽셀이 관측자로부터 멀리 떨어진 장면으로부터 광과 동등한, 대응하는 각도에서 평행한 광선의 빔에 의해 표현되는, 이미지이다. 이미지는 여기서 일반적으로 이미지의 중심인 이미지의 단일 지점에 해당하는 광선에 의해 단순하게 표현되지만, 실제로는 이 중앙 빔의 각 측면에 대한 각도의 범위를 포함하는데, 각도의 대응 범위로 기판에 결합되고, 대응 각도에서 유사하게 결합됨으로써, 관찰자의 눈(24)에 상이한 방향으로 도달하는 이미지의 부분에 대응하는 시야를 생성한다.

도 1 및 3의 개구부 증식은 도면의 우측에서 좌측에 해당하는, 1차원을 따라 발생한다. 일부 경우에서, 도 4에 도시된 바와 같은, 유사한 접근법이 2차원에서 채택된다. 이 경우, 제1 도파관(20a)은 결합(coupling-in) 반사기(16a) 및 부분 반사 결합(coupling-out) 표면(22a)을 가지며, 이는 결합 반사기(16b) 및 부분 반사 결합 표면(22b)을 지닌 제2 도파관(20b)에 광학 입력을 제공한다. 이러한 방식으로, 입력 광선(90)에 의해 표현된 이미지는 2차원에서 연속적으로 증식되어, 2차원에서 확장된 출력 개구부를 제공한다. 여기서, 결합(coupling-out)을 위해 부분적으로 반사하는 표면을 사용하여 도시되었지만, 확장 중 하나 또는 둘 모두는 회절 광학 소자를 사용하여 수행될 수 있다.

개구부 증식에 의해 달성된 비교적 큰 출력 개구부는, 각 입력 이미지 광선이 복수의 이격된 출력 광선으로 분할(split)되는 결과를 낳는다는 것이 이해되어야 한다. 도 1 및 3에서, 이는 분할 입력 광선(18a)으로부터 얻어진 다수의 외-결합 광선(48a) 및 분할 입력 광선(18b)으로부터 얻어진 다수의 외-결합 광선(48b)에 의해 표현된다. 도 4의 2차원적 확장에 대해서도 마찬가지이다.

본 발명은 전술한 문제점을 해결하는 것을 목적으로 한다.

본 발명의 일 양상은, 특히 근안 디스플레이의 일부로서 통합하는데 적합한, 도광 광학 요소를 통한 망막 이미징에 기초하여 사람의 눈의 응시 방향을 추적하기위한 안구 추적기 및 대응하는 방법을 제공한다.

본 발명의 실시예의 교시에 따르면, 사람의 눈의 응시 방향을 얻기 위한 장치가 제공되며, 장치는, (a) 투명한 물질로 형성되고 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 갖는 도광 광학 소자(LOE)로서, 평행면 중 하나가 눈에 직면하게 배치되는 도광 광학 소자(LOE); (b) LOE와 연관되고, LOE 내에서 전파하도록 결합 영역 내의 평행면들 중 하나에 입사하는 광의 부분을 결합하도록 구성되는 결합(couping-in) 구성; (c) LOE와 연관되고, LOE 내에서 전파하는 평행한 광선 세트를 포착된 광의 집중 빔으로 전환하도록 구성된 포커싱 광학부(optics); (d) 포착된 광을 감지하기 위해 배치된 광학 센서; 및 (e) 적어도 하나의 프로세서를 포함하는 처리 시스템으로서, 처리 시스템은 광학 센서와 전기적으로 연관되고 광학 센서로부터의 신호를 처리하여 눈의 현재 응시 방향을 유도하도록 구성되는 처리 시스템을 포함하고, 결합 구성은 LOE 내에서 전파하는 광선을 생성하도록 구성되며, 각각의 광선은 대응하는 입사 광선의 입사 방향을 나타내는 방향을 갖고, 복수의 이격된 평행 입사 광선은 LOE 내에서 전파하는 단일 광선으로 조합된다.

본 발명의 실시예의 또 다른 특징에 따르면, 결합 구성은 평행면에 대해 LOE 내에 비스듬히 배치된 복수의 부분 반사 표면을 포함한다.

본 발명의 실시예의 또 다른 특징에 따르면, 결합 구성은 평행면 중 하나와 관련된 회절 광학 소자를 포함한다.

본 발명의 실시예의 또 다른 특징에 따르면, 광학 센서는 4-쿼드런트 센서를 포함한다.

본 발명의 실시예의 또 다른 특징에 따르면, 광학 센서는 픽셀 센싱 소자들의 어레이를 포함하고, 처리 시스템은 약 10⁴픽셀 이하의 센싱 소자들로부터의 출력들을 처리하는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 결합 영역의 방향으로부터 눈을 조명하도록 배치된 조명 설비를 더 포함한다.

본 발명의 실시예의 또 다른 특징에 따르면, 조명 설비는 LOE로 조명을 도입하여 한 쌍의 평행 표면의 반사에 의해 LOE 내에서 전파하고, 결합 구성에 의해 눈을 향해 결합되도록 구성되는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 투명한 물질로 형성되고 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 갖는 조명 도광 소자를 더 포함하고, 조명 도광 소자는 LOE와 중첩관계로 배치되며, 조명 설비는 조명이 한 쌍의 평행 표면에서 반사에 의해 조명 도광 소자 내에서 전파하도록 조명 도광 소자에 조명을 도입하도록 구성되며, 조명 도광 소자와 연견된 결합 구성에 의해 눈을 향해 결합되는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 조명 설비는 처리 시스템과 연관되고, 처리 시스템은 주기 지속시간을 지닌 조명 주기를 생성하도록 조명 장치를 작동시키며, 처리 시스템은 주기 지속기간 동안 입사되는 포착된 광에 대응하는 광학 센서로부터 유도된 신호를 처리하는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 광학 센서에 도달하는 것으로부터 주어진 파장의 범위 바깥의 파장의 광을 차단하도록 배치되는 통과대역 스펙트럼 필터를 더 포함하며, 조명 설비는 주어진 파장의 범위 내에서 주로 조명을 생성하는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 주어진 파장의 범위는 전자기 방사 스펙트럼의 비 가시 영역에 있는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 조명 설비는 복수의 개별적으로 제어된 조명 픽셀을 포함하고, 처리 시스템은 눈의 선택된 망막의 영역에 대응하는 방향을 따라 선택적으로 조명하기 위하여 조명 픽셀을 선택적으로 작동하는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 눈 응시 방향을 추적하는 동안, 선택된 망막의 영역은 눈의 시신경 원판을 포함하는 영역인 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 처리 시스템은 눈의 망막으로부터의 반사에 대응하는 세기 분포의 중심을 얻음으로써 눈의 현재 응시 방향을 결정하기 위해 광학 센서로부터 신호를 처리하도록 구성되는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 처리 시스템은 눈의 망막의 적어도 하나의 중요한 피쳐의 위치를 검출함으로써 눈의 현재 응시 방향을 결정하기 위해 광학 센서로부터 신호를 처리하도록 구성되는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 처리 시스템은 눈의 망막의 혈관의 패턴을 추적함으로써 눈의 현재 응시 방향을 결정하기 위해 광학 센서로부터 신호를 처리하도록 구성되는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 시준된 이미지가 LOE 내에서 내부 반사를 통해 전파되고 결합 구성에 의해 눈을 향해 LOE의 바깥으로 결합되도록, 시준된 이미지를 LOE로 도입하기 위하여 LOE에 결합된 이미지 프로젝터를 더 포함한다.

본 발명의 실시예의 또 다른 특징에 따르면, 이미지 프로젝터는 처리 시스템과 연관되고, 처리 시스템은

주기 지속시간을 지닌 조명 주기를 생성하도록 이미지 프로젝터를 작동시키며, 처리 시스템은 주기 지속시간 동안 입사되는 포착된 광에 대응하는 광학 센서로부터 얻어진 신호를 처리하는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, 처리 시스템은 투영된 이미지의 선택된 서브섹션에 대응하도록 주기를 생성하고, 주기는 투영된 이미지의 인식에 기여하는 것을 특징으로 한다.

본 발명의 실시예의 또 다른 특징에 따르면, LOE가 사용자의 첫번째 눈에 대면하게 배치되도록, 사용자의 머리에 대해 장치를 지지하기 위한 지지 구성을 더 포함하며, 장치는, (a) 투명한 물질로 형성되고 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 갖는 도광 광학 소자(LOE)로서, 평행면 중 하나가 사용자의 두번째 눈에 직면하게 배치되는 도광 광학 소자(LOE); (b) 두번째 눈 LOE와 연관되고, LOE 내에서 전파하도록 결합 영역 내의 평행면들 중 하나에 입사하는 광의 부분을 결합하도록 구성되는 결합(couping-in) 구성; (c) 두번째 눈 LOE와 연관되고, LOE 내에서 전파하는 평행한 광선 세트를 포착된 광의 집중 빔으로 전환하도록 구성된 포커싱 광학부(optics); 및 (d) 포착된 광을 감지하기 위해 배치된 두번째 눈 광학 센서를 포함하고, 처리 시스템이 두번째 눈 광학 센서와 전기적으로 추가로 연관되고, 광학 센서들 모두로 부터의 신호를 처리하여 눈들의 현재 응시 방향을 유도하도록 구성되는 것을 특징으로 한다.

또한, 본 발명의 실시예의 교시에 따르면, (a) 전술한 실시예들 중 임의의 장치를 제공하는 단계; 및 (b) 눈의 현재 응시 방향을 유도하도록 광학 센서로부터 신호를 처리하는 단계를 포함하는 방법이 제공된다.

본 발명에 따르면 전술한 목적을 달성할 수 있다.

본 발명의 예시적인 실시예가 첨부된 도면을 참조하여 단지 예시로서 설명된다.
도 1은 근안 디스플레이에서 사용을 위한, 부분적인 반사 표면을 이용하는 전술된 종래의 도광 광학 소자의 개략적인 측면도;
도 2a 및 2b는 도 1의 종래 디스플레이에 사용하기 위한, 부분 반사 표면의 각도 선택적 반사 특성의 개략도;
도 3은 근안 디스플레이에 사용하기 위한, 회절 광학 소자를 이용하는 전술된 종래의 도광 광학 소자의 개략적인 측면도;
도 4는 도 1의 것과 유사한 두 개의 도광 광학 소자의 조합에 기초한 전술된 정래의 광학 개구부 확장 설비의 개략적인 사시도;
도 5는 본 발명의 실시예에 따라 구성되고 작동되는, 근안 디스플레이와 조합된 사람 눈의 응시 방향을 추적하기 위한 장치의 개략적인 부분 사시도;
도 6a 및 6b는 제1 바람직한 구현예에 따른 도 5의 장치의 광학 아키텍처의 각각의 개략적인 측면도 및 정면도;
도 7a 및 7b는 제2 바람직한 구현예에 따른 도 5의 장치의 광학 아키텍처의 각각의 개략적인 측면도 및 정면도;
도 8은 광학 신호 및 광학 배경 노이즈의 다양한 소스를 도시하는 본 발명의 장치의 개략도;
도 9a 및 9b는 카메라에 대한 각각의 광학 경로를 따라, 각각 광학 배경 노이즈 및 광학 신호의 순차적인 세기 손실을 나타내는 개략적인 흐름도;
도 10은 규정 이미지 채널 및 추적 조명 채널 사이에서 공간적으로 이미지 데이터의 세분화를 나타내는 개략도;
도 11은 규정 이미지 채널 및 추적 조명 채널 사이에서 시간적으로 이미지 데이터의 세분화를 나타내는 개략도;
도 12는 본 발명의 양태에 따른 눈 추적을 위해 선택적인 조명을 제공하기 위한 프로세스를 나타내는 흐름도;
도 13은 추적 알고리즘의 사용을 위해 다양한 후보 피처를 지시하는 사람 눈의 기저부의 이미지;
도 14는 시신경 원판을 통과하는 평면의 중심와로부터의 각도의 함수로서 사람 눈에서 막대 및 원뿔 광수용체의 수의 변화를 나타내는 그래프;
도 15는 스펙트럼의 가시광 및 적외선 영역에 걸친 파장의 함수로서 사람 망막의 반사율의 변화를 나타내는 그래프;
도 16은 사람의 눈에서 원뿔형 광수용체 및 막대형 광수용체의 상이한 유형의 파장 반응성을 나타내는 그래프;
도 17a 및 17b는 다른 바람직한 구현예에 따른 도 5의 장치의 광학 아키텍처의 각각의 개략적인 측면도 및 정면도;
도 18a 및 18b는 또 다른 바람직한 구현예에 따른 도 5의 장치의 광학 아키텍처의 각각의 개략적인 측면도 및 정면도;
도 18c는 도 18b와 유사한 도면으로서, 다른 변형 실시예를 도시;
도 19는 도 의 장치에서 사용하기 위한, 조합된 가시 이미지 프로젝터 및 적외선 조명 및 이미징 시스템의 광학 아키텍처의 개략적인 정면도;
도 20은 도 5의 장치에서 사용하기 위한, 조합된 가시 이미지 프로젝터 및 적외선 조명 및 이미징 시스템의 광학 아키텍처의 추가의 개략적인 정면도;
도 21a는 상이한 입사각에 대한 정반사 및 확산 반사의 기하학적 형상을 도시하는 사람의 눈의 개략적인 측면도;
도 21b는 각도 함수(동공 오프셋을 변화시킴으로써 변화됨)로서 망막으로부터의 조명 반사의 변화를 도시하는 이론적인 계산에 기초한 그래프;
도 21c는 실험 데이터에 기초한, 도 21b와 유사한 그래프;
도 21d는 조명 파장의 함수로서 망막 반사율의 변화를 나타내는 그래프;
도 22는 각도 선택적 추적 조명의 경우에 도 5의 장치의 안구 추적 서브 시스템에 의해 도출된 추적 이미지의 개략도; 및
도 23은 전용 도광 광학 요소가 망막 이미지를 샘플링하기 위해 제공되는 또 다른 바람직한 구현예에 따른 도 5의 장치의 광학 아키텍처의 측면도이다.

본 발명의 일 실시예는 특히 근-안 디스플레이(near-eye display)의 일부로서 통합되기에 적합한, 도광 광학 소자(light-guide optical element)를 통한 망막 이미징(retinal imaging)에 기반하여 사람 눈의 응시 방향(gaze direction)을 추적하기 위한 장치 및 대응 방법을 제공한다.

본 발명에 따른 안구 추적 장치의 원리 및 작동은 도면 및 첨부된 설명을 참조하여 더 잘 이해될 수 있다.

이제 도면을 참조하면, 도 5 내지 도 23은 사람의 시선(150)의 응시 방향을 얻기 위한, 본 발명의 다양한 실시예에 따라 구성되고 작동되는, 일반적으로 100으로 지정된 장치의 구조 및 작동의 다양한 양태를 도시한다.

서론으로서, 많은 출원에서, 헤드업 또는 근안 디스플레이와 관련하여, 사용자의 응시 방향을 결정하기 위해 안구 추적 설비(arrangement; 배열)를 제공하는 것이 유용하다. 안구 추적을 수행하기 위한 하나의 공통된 접근법은 일반적으로 이미지 내의 동공 위치를 결정함으로써 눈의 방향(orientation)을 얻기 위해, 눈의 이미지를 샘플링하는 것이다.

도 1 또는 도 3의 것과 유사한 원리로 작동하는 도광 광학 소자를 사용하는 것이 특히 바람직할 수 있다. 그러나, 도 1 및 도 3을 참조하여 상술한 입력 이미지부터 출력 이미지까지의 일대다수 관계는 결과적으로 샘플링 광에서 다수대일 관계를 역 방향(reverse direction)으로 정반대(converse)가 되게 한다. 구체적으로, 이미지를 샘플링하기 위해 반대 방향으로 도 1 또는 도 3의 개구부 증식 설비의 사용은, 시스템의 시야(field of view)의 다른 부분으로부터 기판에 입사하는 복수의 평행 광선들의 중첩(superposition)을 수행하게 된다. 라벨링된 다수의 경로(48A)의 역에 대응하는 경로를 따라 도달하는 광은 광선(18A)의 역 경로를 따라 출력 광선으로 전부 조합하게 되고(combined), 마찬가지로 광선(48B)의 역 경로를 따라 다수의 입사 광선은광선(18B)의 역 경로로 조합하게 된다. 더욱이, 집중 광학부(converging optics)가 도광 광학 소자를 통해 이미징 센서상에 포착(captured)된 광을 포커싱하는데 사용되는 경우, 전체 시야로부터 평행한 광선 경로를 따라 기판에 입사되는 포착된 모든 광은 단일 픽셀 센서상에 놓이게 조합될 수 있다. 각막(cornea), 공막(sclera), 눈꺼풀(eyelids) 및 안면 조직(facial tissue)의 표면의 광은 일반적으로 전 방향으로 광을 산란하기 때문에(랑베르 반사(Lambertian reflection)), 시야의 모든 표면은 일반적으로 이미지의 모든 픽셀에 일부 일부 방사선(radiation)을 제공한다. 이러한 이유로, 도광 광학 소자에 입사되는 광으로부터 이미지를 분해하려고 시도하는 것은 대체로 실행가능한 것으로 고려되지 않는다.

본 발명은 전술한 문제점에도 불구하고, 이하에서 설명되는 바와 같이, 도광 광학 소자에 의해 포착된 광으로부터 눈 응시 방향을 결정하는데 효과적인 것으로 밝혀진 장치 및 방법을 제공한다. 구체적으로, 특히 본 발명의 특정한 바람직한 실시예는 사람 눈(150)의 응시 방향을 얻기 위한 장치(100)를 제공하는데, 이 장치는 투명 물질로 형성된 도광 광학 소자(LOE)(120)를 포함하고, 내부 반사에 의해 광을 가이드하기 위한 한 쌍의 평행 면(104a, 104b)을 구비한다. LOE(120)는 평행 면(104a)들 중 하나가 눈(150)에 대해 직면하는 상태로 배치된다. 부분적인-반사 표면(145)의 세트와 같은, 결합 구성(coupling-in configuration)은 LOE(120)와 연관되어 있고, LOE 내에서 전파하기 위해 결합 영역 내의 면(104a)상에 입사되는 광의 비율(proportion)을 결합하도록 구성된다. 포커싱 광학부(focusing optics, 106)는, LOE(120) 내에서 전파되는 포착된 광을 수용하고, 포착된 광의 집중 빔 안으로 LOE 내에서 전파되는 평행한 일련의 광선들을 전환하기 위해서, 직접적으로 또는 간접적으로 LOE(120)에 연관된다. 포커싱 광학부(106)는 바람직하게는 포착된 광을 감지하도록 배치된 광학 센서 또는 "카메라"(125) 안에 통합된다. 적어도 하나의 프로세서를 포함하는 처리 시스템(108)은, 광학 센서(125)와 전기적으로 연관되며, 눈의 현재 응시 방향을 얻기 위해 광학 센서(125)로부터 신호를 처리하도록 구성된다.

결합 구성은 LOE 내에서 내부 반사를 통해 전파하는 각도로 입사하는 방사선의 일부를 편향시키는 임의의 결합 구성이 될 수 있으며, 여기서 각 광선은 대응하는 입사 광선의 입사 방향의 방향 지시(direction indicative)를 갖는다. 적절한 결합 구성은 도시된 바와 같은 부분 반사 표면(145)의 세트, 및 회절 광학 소자를 포함한다.

전술한 바와 같이, 이는 작동의 반전 (센서) 모드시, 복수의 이격된 평행 입사 광선이 LOE 내에서 전파하는 단일 광선으로 조합되는, LOE의 개구부 증식 구성의 고유한 특징이다. 그럼에도 불구하고, 망막 이미징을 위해, 평행 광선의 조합(combining)은 이미지의 유도(derivation)를 배제하지 않는다. 구체적으로, 원거리 장면(또는 원거리 장면과 동등한 시준된(collimated) 투영 이미지)에 포커싱된 눈을 위해, 접안 렌즈(ocular lens)는 임의의 교정 안경 렌즈(corrective spectacle lens)가 존재하는 경우, 망막에 포커싱된 이미지를 생성한다. 망막 표면에서 반사된 임의의 광은 접안 렌즈(및 존재하는 경우 교정 안경 렌즈)에 의해 효과적으로 시준되어, 망막 이미지의 각 특징은 광의 평행한 광선의 빔에 대응한다. 따라서, 망막 이미지는 평행 광선이 LOE에 의해 수집되고, 감소된 개구부로 지향(directed)되고, 포커싱 광학부(106)에 의해 광학 센서(125)를 향해 포커싱되면서 보존된다. 감지된 이미지 데이터가 눈과 주변 조직의 근거리장(near-field) 외부 표면으로부터의 많은 산란 광(scattered light)을 포함하더라도, 근거리장 조명(illumination)은 각도 공간에서 대략 균일하게 분포되어서, 샘플링된 이미지에 일반적으로 평평한 배경 노이즈를 생성한다. 망막 반사 이미지로 인한 특징 또는 변조(modulation)만이 이미지 내에서 대조(contrast)를 생성함으로써, 관찰자의 현재 응시 방향의 결정을 용이하게 한다. 본 발명의 이들 및 다른 특징들은 다음의 상세한 설명으로부터 보다 명확해질 것이다.

이제 도 6a 및 6b를 구체적으로 참조하면, 이는 본 발명의 장치(100)의 하나의 비제한적인 예시적인 실시예를 도시하며, 추적은 광학 개구부 증식을 이용하는 근안 디스플레이 설비를 통해 수행된다. 도시된 바와 같은 구성은, 두 개의 도광 광학 소자의 조합에 기반하며, 제1 치수(도 6b에 도시된 바와 같이 우측에서 좌측)에서 프로젝터 이미지 개구부를 확장하는 제1 LOE(110) 및 제2 치수(여기 도시된 바와 같이 상부에서 하부)에서 이미지 개구부를 확장하는 제2 LOE(120)를 포함한다. 이미지 프로젝터(102)는 LOE(110) 안으로 편광-선택성 빔 스플리터(polarization-selective beam splitter, PBS)(105)를 통해 광(실선 화살표로 도시됨)을 투영한다. 본 명세서에 도시된 바와 같은 구현 중에서 하나의 특히 바람직하지만 비제한적인 세트에서, LOE(110)는 "2D 도파관"이며, LOE(110)를 따라 전파될 때 2 차원으로 이미지를 안내하는 역할을 하는 두 개의 상호-직교 한 쌍의 표면을 갖는 것을 의미한다. LOE(120)는 "1D 도파관"이며, 1차원에서 이미지를 안내하는 "슬랩형(slab-type) 도파관"을 한정하는 평행한 한 쌍의 주 표면을 갖는다는 것을 의미한다. 도 7a 및 7b에 도시된 바와 같은 다른 실시예에서, 장치(100)는 단지 하나의 도파관인 LOE(120)를 사용하여 구현될 수 있다. 여기에 설명된 후자의 경우에는 틸트된 프로젝터 결합 구성이 이용된다. 근안 디스플레이(안구 추적 없이) 맥락에서 이러한 도파관 구성 및 결합 구성의 더 상세한 설명은, WO 2015/162611 A1 및 PCT 특허 출원 번호. PCT/IL2017/051028(이 출원의 출원일이 현재 미발행이며, 선행 기술이 되는 것으로 여겨지지 않음)을 포함하는 다양한 문서에서 찾을 수 있으며, 본 명세서에서 완전히 개시된 것처럼 그 전체가 본 명세서에 참고 문헌으로 포함된다. 본 명세서에서 설명된 예시적인 실시예는 주로 도 6a 및 6b의 두 개의 도파관 구현에 대해 언급하는데, 이는 보다 복잡한 구현인 반면에, 단일 도파관 구현의 더 단순한 구조를 구현하는데 필요한 변경은 당업자에게 자명할 것이다.

LOE(110)에서 LOE(120)상에 이미지 출력의 결합은, LOE(110)의 하나 또는 양 평행 표면에 비스듬한 경사로 배치된 한 시리즈의 내부 부분적인 반사 표면(또는 "패싯(facets)")에 의해 수행되는 바와 같이 본 명세서에 도시된다. 제2 LOE(120)로부터 관찰자의 눈 쪽으로의 결합은, 도 6a 및 7a의 측면도에 가장 잘 보여지는 바와 같이 그 기판의 평행면에 비스듬한 각도로 배치된 제2 세트의 내부 부분적인 반사 표면("패싯")(145)을 사용하여 달성된다. 하나 또는 양 LOE의 패싯은, 당 업계에 공지된 바와 같이, 회절 광학 소자로 대체될 수 있다. 투영된 이미지의 밖으로 결합된(coupled-out) 광은 망막(120) 상에 포커싱된 이미지를 생성하기 위하여 아이 렌즈(115)(시력 교정이 필요한 경우 안경 렌즈(117)의 보조로)에 의해 포커싱된다.

본 발명의 예시적인 실시예에 따르면, 근안 디스플레이 시스템은 관찰자의 망막상에 존재하는 이미징 패턴에 의해 관찰자의 눈의 시선을 획득한다. 관찰은 도파관(120 및 110)을 통해 수행되는데, 이 경우 동일한 도파관이 관찰자의 눈에 이미지를 투영하는데 사용된다. 패턴의 위치 및 그 움직임은 눈의 현재 시선 및 움직임을 나타낸다. 그러한 패턴들은 도 13에 표시된 망막의 이미지로 도시된다. 혈관(152)은 처리 시스템(108)에 의해 수행되는 적절한 이미지 처리 명령에 의해 구현되는 적합한 표준 또는 전용 트래킹 알고리즘에 의해 트래킹될 수 있는 패턴을 생성한다. 중심와(fovea, 155)는 관찰의 방향을 결정하고 시신경 원판(optic disc, 157)(또는 "블라인드 스팟(blind spot)")은 신경 및 혈관이 모이는 특징적인 추적가능한 지점이다.

광의 일부는 망막으로부터 렌즈(115)를 통해 다시 반사되어(파선 화살표로 도시 됨) 효과적으로 평행한 빔으로 시준되고, 프로젝터로부터의 광에 의해 취해진 동일한 광학 경로를 따라 전파된다. 광의 상당한 부분은 잃게 되지만(이하에서 더 설명됨), 설명의 명료성을 위해, 추적에 유용한 부분만이 표시된다. 반사된 광의 부분은 도파관(120)에 결합 되도록 패싯(145)에 의해 편향되어 도파관(110)에 결합 되도록 패싯(140)에서 편향되며, 그의 일부는 PBS(15)에 의해 카메라(125) 상으로 반사된다. 일부 실시예에서, 편광 스크램블러(polarization scrambler, 미도시)가 PBS(105)의 앞에 놓여진다. 카메라(125)는 프로젝터(102)와 유사하게 무한대로 포커싱되고, 이에 따라 망막의 이미지가 카메라에서 생성된다.

이미징 처리의 역할을 할 수 있는 다양한 조명 소스가 도 8에 개략적으로 도시된다. 도파관(120)은 관찰자(1001)의 눈에 대면 관계로 배치되며, 장면의 관찰자의 관점이 도파관을 통과한다는 것을 의미한다. 외부 광원(1002)(파선 화살표)은 도파관 및 관찰자를 조명한다. 이 외부 광은 연속적이며, 배경 방사선으로서 광학 시스템에 진입한다. 광학 시스템에 의해 생성된 광(실선 화살표)은 관찰자의 망막(121) 및 얼굴(face)을 조명한다. 망막의 반사(1점 쇄선 화살표)는 관심의 신호이지만, 비-망막 조직 표면의 반사(2점 쇄선 화살표)는 시스템의 조명 패턴과 채도(선명도)-상관 관계(intensity-correlated)에 있는 추가 배경 방사선이다. 시스템 내의 내부 산란은 관찰자의 얼굴에서 산란된 광과 동일한 특성을 갖는다.

모든 배경 조명은 망막 이미지의 질을 감소시키는 노이즈를 야기한다. 외부 조명원(1002)의 영향을 감소시키기 위해, 본 발명의 양상에 따르면, 광의 짧은 주기(바람직하게는 1ms 이하)가 사용되며, 카메라는 이 짧은 조명 지속시간(duration) 동안 단지 광을 통합하도록 동기화된다. 이러한 방식으로, 연속적인 배경 조명은 크게 억제된다. 부가적으로, 또는 대안적으로, 통과대역 스펙트럼 필터(passband spectral filter)는 눈-추적 조명이 광학 센서에 도달하는 것에서 발생되는 주어진 파장 범위 바깥의 파장의 광을 차단하도록 배치될 수 있다.

눈 검출을 위해 필요한 광의 양을 얻기 위하여 조명 반사에 의해 야기된 배경 광(도 8의 2점 쇄선)을 판단(estimation)한다. 이 판단, 및 본 명세서에 제시된 작동 원리와 계산된 값의 모든 다른 논의는 본 발명에 대한 완전한 이해를 제공하기 위한 것일 뿐이며, 청구 범위에 명시적으로 기재된 것 외에 본 발명을 어떤 식으로든 본 발명을 제한하지 않는다. 특히, 여기에 제시된 특정 계산 또는 값이 나중에 부정확하거나 오류가 있는 것으로 밝혀지면, 본 명세서에 기술된 발명의 유용성을 부정하지 않을 것이다.

보통의 배경 표면은 광을 파이 스테라디안(표면이 랑베르 반사에 가까운 반사 광 분포를 생성하는 낮은 광휘(sheen) 표면이라고 가정)으로 반사하는 반면에, 동공(pupil)은 종종 섬광 사진에서 관찰되는, 광학 시스템으로부터 수신된 광을 다시 광학 시스템으로 반사시키는 "적목 현상"에 대응하는 지향 반사(directional reflection)를 생성한다. 결과적으로, 망막으로부터 수신된 광의 세기(intensity)는 등가의 배경 표면보다 강하다. 추가적으로, 망막으로부터의 이미지는 카메라(125)의 이미지 평면에 포커싱되는 반면, 근처의 "배경" 표면으로부터의 조명은 그렇지 않다. 이는 배경으로부터 얻어진 이미지 콘텐츠(image content)와 망막의 이미지를 구별하는 능력을 향상시킨다.

도 9a 및 9b는 눈에서 추적 카메라(125)까지의 복귀 경로 및 배경 조명에 대한, 광 에너지 손실을 도시한다.

밝은 광에서 사람의 동공은 4mm² 정도이며, 아이-박스(시스템에 의해 조명되는 구역(area)에 대응하여 이미지가 보이는 구역, 배경 조명을 생성하는 구역)는 대략 400mm²가 될 수 있다. 조명의 양과 산란 계수가 신호 및 배경 모두에 대해 대략 동일하다고 가정하면, 신호에 대한 반사된 배경의 비율은 R=2x100=200이다(아이-박스 내의 외부 조직이 대략 2배가 될 수 있다고 가정하면). 다음 방정식은 샷-노이즈 제한 카메라를 가정할 때, 기정된 SNR에 필요한 신호를 보여준다:

따라서, 필요한 SNR이 5인 경우 필요한 광자(photons) 수는

인데,

여기서 'feature'는 정의된 SNR로 검출될 픽셀 또는 패턴이 될 수 있다.

이 계산에서, 다른 배경 광이 시스템이 진입하지 않는다고 가정된다. 따라서, 본 발명에 따르면, 도파관 모서리(도1의 126)는 바람직하게는 흡수되거나, 흡수 인클로저 내에 있다. 이는 배경 방사가 망막으로부터의 신호와 동일한 방식으로, 광학 도파관에서 전파될 때 에너지를 잃어버리고, 에너지를 얻지 못하게 한다.

광학 시스템에 따른 에너지 투과율은 하나의 비 제한적인 예시로서 다음과 같이 근사화될 수 있다:

· 패싯(145) 중 하나를 통해 도파관(120)에 결합된 20%,

· 도파관(120)을 따라 50% 투과(transmission) (추가의 패싯(145) 등을 통해),

· 패싯(140)을 통해 상부 도파관(110)(존재한다면)에 결합된 20%,

· 도파관(110)을 따라 50% 투과,

· PBS(105)를 통한 것과 같이 카메라 (125)로의 50% 결합,

· 카메라(125)의 50% 광학 투과 및 양자 효율.

위의 결과는 모두 2.5e-3의 투과율(transmittance)로 추정된다. 변조 전달 함수(modulation transfer function, MTF) 및 내부 산란과 같은 다른 저하 요인은 2.5e-4의 투과율의 결과로 10의 또 다른 계수로 근사화될 수 있다.

도파관(110)이 존재하지 않는 실시예에서, 투과율은 더 높고, 상기 판단치를 사용하면 2.5e-3 정도가 될 것이다.

모든 프레임의 통합 시간 동안에 눈은 약 5000/2.5e-4=2e7 광자를 수신해야 한다. 3 e-19J(적색)의 광자 에너지의 경우, 이는 약 6e-12 [J/integration time/feature], 또는 1ms 적분 시간(integration time)동안 6 [nW/feature]이다. 이는 실용적인 조명의 세기이다.

망막의 선택된 섹션(및 아이-박스의 다른 영역에 도달하는 대응하는 선택된 광선의 방향) 만이 이하에 논의되는 본 발명의 특정 구현에서 제안된 바와 같이 조명되는 경우, 배경 산란은 실질적으로 감소된다.

안구 추적 조명이 투영된 가상 이미지에 대한 관찰자의 인식(perception)을 방해하지 않도록 주의해야 한다. 다음 중 하나 이상을 포함하여, 표시된 이미지의 손상을 피하도록 여러가지 방법을 사용할 수 있다:

· 낮은 세기를 이용;

· 투영된 이미지의 일부로 추적 조명을 조합;

· 망막의 둔감하거나 관련성이 없는 부위를 향해 지향되는 선택적인 추적 조명;

· 눈이 둔감하지만, 광학 장치가 투과할 수 있고 카메라가 검출할 수 있는 파장으로 작동하도록 추적 조명 파장을 선택.

이들 각각은 이제 개별적으로 처리될 것이다.

낮은 세기(low insensity): 이 해결법에 따르면, 매우 민감하고 낮은 내부 노이즈를 갖는 카메라를 사용하는 것이 바람직하며, 그럼으로써 낮은 조명 세기에서 조차도 우수한 SNR로 망막의 효과적인 이미징을 할 수 있습니다. 이는 관찰자가 조명을 인지(notice)하지 못할 정도로 충분히 낮은 세기의 추적 조명을 사용할 수 있게 한다. 세기는 여전히 위에서 설명한 SNR 계산을 만족해야 한다.

조명 조합(combining illumination): 안구 추적 조명은 투영된 이미지의 일부로 통합될 수 있다. 조명은 도 10에 도시된 바와 같이 이미지 투영 동안에 또는 별개의 시간 슬롯에 있을 수 있다. 이 예시에서, 시간 슬롯 'a' 동안에, 이미지 프로젝터는 누락 또는 억제된 영역을 갖는 이미지를 투영한다. 이 조명은 상대적으로 긴 지속시간, 예를 들면 10ms의 정도일 수 있다. 시간 슬롯 'b' 동안에, 보완 이미지(complimentary image)는 짧은 주기, 예를 들면 더 긴 주기보다 높은 세기에서 약 1ms 지속시간으로 조명되고, 이미지 투영을 완료하는 것 이외에, 안구 추적 조명으로서 제공된다. 오른쪽 이미지는 두 조명 기간(period)을 통합하는 두뇌에 의해 인지(perceived)되는 것을 나타낸다. 보완 이미지는 색상 분리, 또는 디스플레이 색상의 조합 중 어느 하나에 있고, 임의의 선택된 위치 또는 이미지 내의 위치에 있을 수 있다. 이 조명의 바람직한 "패턴 제어"의 일 예시가 아래에 설명된다.

도 10의 표현은 프로젝터의 이미지 평면 및 망막 상에 형성된 이미지에 관한 것이다. 도파관 내에서, 그리고 아이-박스 내 도파관을 나가는 광에서, 각 픽셀은 특정 각도 방향을 지닌 넓은 시준 빔에 대응한다. 시간 슬롯 'b'인, 도 10에 개략적으로 도시된 바와 같이 선택적 패턴의 사용은, 시야 내의 선택된 각도 방향의 소수의 조명에 대응한다.

조명 패턴 제어(illumination pattern control): 특히, 이미지 생성기(102)(도 6b 또는 7b)가 안구 추적 조명을 생성하는데 사용되는 경우, 망막 상의 조명 패턴을 편리하게 제어함으로써, 관심의 영역만을 조명하고 인식된 이미지에 대한 손상을 감소시킨다. 그렇게 하기 위해, 조명의 시간 순서(time sequence)는 이미지 투영 타이밍과 조합되어야 한다. 그러한 구현의 시간 관리의 예시는 도 11에 도시된다. 특정 구현에서, 광원들의 세트가 모든 색상을 생성하기 위하여 순서대로 활성화된다. 각 광원이 조명될 때, 변조 매트릭스(LCOS, LCD 또는 MEMS)가 이 색상의 필요한 이미지를 생성한다. 모든 픽셀의 변조와 함께 빠른 순서의 개별 소스의 조합은 관찰자의 망막상의 셀에 의해 인식될 때 이미지의 모든 픽셀에 필요한 색상을 생성한다. 본 발명의 특정 구현에 따르면, 추가 시간 슬롯은 조명의 순서안으로 도입된다('안구 추적 주기'로 라벨됨). 이 시간 슬롯에서, 소스들(색상), 또는 소스들의 조합, 또는 전용 눈-추적 파장원(후술하는) 중 하나가 짧은 주기로 활성화되고, 그 조명 패턴은 망막의 필요한 섹션만을 조명하도록 모듈레이터에 의해 결정된다. 안구 추적 카메라(125)는 오직 주기 시간 동안에만 광전자를 통합하도록 처리 시스템(108)에 의해 작동된다.

선택된 조명 패턴은 추적될 망막의 선택된 영역이 완전히 조명되기 때문에, 배경 노이즈를 상당히 감소시키지만, 아이-박스 구역에 확산된 총 방사량은 이미지에서 "활성"인 픽셀의 비율에 따라 감소하게 된다.

조명 패턴은, 특징적인 혈관 패턴을 갖지만 광에 대한 감도(sensitivity)가 최소인, 시신경 원판(도 13의 "블라인드 스팟"(157))의 예를 들어, 망막상의 특정 관심 지점에만 집중될 수 있다. 관측자의 실제 시선은 이 지점으로부터 각도 옵셋으로 계산된다. 실제 시선을 유도하고 추적하기 위해 비-제한적이지만 특히 바람직한 프로세스가 도 12에 도시된다. 처음 세 단계는 망막 패턴을 매핑하고 추적 피쳐를 결정하는 초기 설정 프로세스인 반면, 차후의 단계는 연속적인 추적 프로세스를 나타낸다. 구체적으로, 단계(210)에서, 관찰자가 초기화 동안 볼 수 있게 관찰자에게 이미지 마커가 디스플레이된다. 관찰자가 마커를 보는 동안, 기저부(fundus)(망막의 가시적인 부분)는 짧은 주기에 의해 완전히 조명되고(단계 212), 기저부의 전체 이미지가 얻어진다. 그 다음 이 이미지는, 일반적으로 시신경 원판 및 중심와를 포함하는, 추적 가능한 특징을 식별하도록 처리 시스템(1008)에 의해 처리된다(단계 214). 눈 방향의 추적은 다음과 같이 진행된다. 선택된 관심 영역(regions of interest, ROI)은 일반적으로 도 10 및 11을 참조하여 전술된 바와 같은 조명의 시퀀스에 의해, 선택적으로 조명되고(단계 216), 이미지는 대응하는 조명 주기 동안 샘플링된다(단계 218). 결과로 초래된 이미지는 현재 시선을 결정하도록 진행되고(단계 222), 이 유도된 시선은 조명 사이클의 후속 사이클을 위해 관심의 영역의 위치를 갱신(update)하는데 사용되며(단계 224), 추적 프로세스는 단계 216으로 복귀된다. 추적 측정의 빈도(frequency)가 눈의 움직임의 속도보다 높다고 가정하면, 이 갱신 프로세스는 일반적으로 다른 눈으로부터 추적 정보와 선택적으로 조합된 지속적인 추적을 유지하는데 효과적이다. 시선의 방향이 바뀌면, 조명 영역도 바뀌게 된다. 관심 영역의 갱신은 마지막 샘플링된 이미지로부터 결정된 "현재" 응시 방향에 따라 수행되거나, 특정 경우에는 이전의 둘 이상의 측정들 간의 눈 움직임에 기반한 예측 추정(predictive extrapolation)을 사용할 수 있다. 추적이 실패한 경우에, 조명된 영역의 크기는 추적가능한 피쳐가 복구될 때 까지 일시적으로 증가될 수 있다.

본 발명의 특정한 특히 바람직한 실시예에 따르면, 안구 추적 설비는 피사체(subject)의 양 눈을 동시에 추적하기 위해 복제된다. 두 개의 안구 추적기로부터 데이터를 조합함으로써, 추적의 안정성과 지속성을 향상시킬 수 있다. 예를 들어, 눈이 움직이는 동안, 시신경 원판(157)은 하나의 눈에서 추적기에게 보이고 다른 눈에서는 보이지 않을 수 있다. 블라인드 스팟의 추적을 이용하는 추적 알고리즘이 사용되는 경우, 양 눈에 대한 동시 추적은 안구 추적기가 블라인드 스팟만을 추적할 수 있는 기간을 통해 추적이 지속적으로 유지되도록 한다.

파장 선택(wavelength selection): 도 14-16을 참조하면, 스펙트럼 감도는 또한 눈-추적 조명 동안 눈의 자극을 최소하하기 위해 사용될 수 있다. 도 14에 도시된 바와 같이, 막대 세포(rod cells)는 주로 주변 시각(peripheral vision)에 반응할 수 있으며, 중심와에서 빠져있다. 막대 세포는 도 16의 그래프 'R에 도시된 바와 같이, 적색에 상대적으로 둔감하다(620 나노미터 이상). 주변 영역에 존재하는 감소된 원뿔 세포(cone)의 수는 막대 세포보다 낮은 광 레벨에 훨씬 덜 민감하다. 따라서, 본 발명의 특정 구현예에 따르면, 안구 추적을 위해 적색 광으로 주변 망막(즉, 중심와 이외의)을 조명하는 것이 바람직하다.

망막으로부터의 반사가 가시 파장보다 적외선(infrared)에서 실질적으로 더 높다는 것이 도 15의 그래프로부터 명백하다. 700nm에서, 반사는 가시 적색의 반사율보다 거의 두 배이다. 따라서, 광학 시스템 내의 산란이 감소되고, 도파관의 광학 코팅은 가시광에서와 거의 동일한 반사율을 가지지만, 눈이 이들 파장에 둔감하기 때문에, 가시광-적외선(650-750 nm 사이, 좀 더 바람직하게는 680-720 nm 사이)의 프린지(fringe)에 있는 파장을 이용하는 것이 유리할 수 있다.

더 긴 파장(예를 들어, 900 nm)은 가시광 범위에서 보다 6배 이상을 가지며, 본 발명에 따라 사용될 수 있다. 그러나 이는 다양판 표면의 필요한 반사율이 안구 추적기 파장에도 적합하도록 보장하기 위하여, 광학 코팅의 최적화를 필요로 한다.

안구 추적기에 적외선 조명이 사용되는 경우, 적외선 조명을 제공하기 위한 다양한 옵션들이 존재한다. 가시 파장에 가까운 근적외선의 파장이 사용되는 경우, 적외선 조명은 예를 들어, LCOS 변조기를 사용하는, 종래의 가시 이미지 투영 설비에서 제4 "색상"으로 조합될 수 있다. 패턴화된 조명이 더 긴 적외선의 파장에 요구되면, 일반적으로 디지털 광 처리(digital light processing, DPL) 디바이스가 바람직하다. 비-패턴화된 조명의 경우, 전용 조명원이 일반적으로 이미지 프로젝터와는 관계 없이 제공된다. 도 17a-20은 IR 조명을 광학 시스템에 통합시키는 본 발명에 따른 장치의 특정 구현 옵션을 도시한다.

먼저 도 17a 및 17b를 참조하면, 이는 근적외선 조명이 근적외선 소스의 통합에 의해 여분의 "색상"으로서 가시 이미지 투영 설비로 얻어지는 구현에 대한 것이다. 프로젝터의 세부사항은 도시되지 않지만, 당업자에게는 자명할 것이다. 이 경우, 안구 검출 카메라는 상부 도파관(110)에 인접하게 배치되어서, 도 6b의 PBS(105)가 필요하지 않는다. 이러한 구성은 LOE(110)의 내부 패싯(140)이 좌측에서 우측으로 전파하는 광을 상향 결합한다는 사실에 기초한다. 이러한 구성에서, 산란의 투과를 최소화하기 위하여, 편광자(polarizer, 126)를 도입하는 것이 가능하다.

또한, 도 18a 및 18b는 이미지 프로젝터(102)(IR 또는 VIS일 수 있음, 이하 IR로 지칭됨)의 출력과 다른 파장을 갖는 광원(302)이 빔 스플리터(304)(예를 들어 빔 스플리터 또는 PBS가 될 수 있음)를 통해 광을 도파관(110) 안으로 전달하는 구성을 도시한다. 제1 패싯(306)은 이미지 프로젝터(102)로부터 가시 광의 전체 또는 대부분을 투과하도록 설계되었지만, 안구 추적기에 대한 IR 광을 반사한다. IR 조명 광은 도 6a 및 6b에 설명된 바와 같이 눈에 전파되고 되돌아가 전파된다. 그 다음, 이는 패싯(306)에 의해 빔 스플리터(304)에 반사되고, 이미징 카메라(125)에 전달된다.

도 18c에서, 복귀된 광(파선 화살표)은 도파관(110)을 통한 투과에 의해 이미징 카메라(125) 안으로 직접적으로 반사되는데, 이 도파관에 의해 반사 및 안내되지 않고 반사된다. 이는 더 넓은 수신 광학부(도 7a 및 7b에서와 같이 단일 도파관 투영 설비에 사용된 설비과 유사함)를 요구할 수 있거나, 프로젝터보다 더 작은 수신 아이-박스를 가질 수 있다. 더 작은 아이-박스는, 도 21a-21c를 참조하여 이하에서 더 후술되는 바와 같이, 눈으로부터의 반사가 오프-액시스 각도(off-axis angles)일 수 있기 때문에, 일반적으로 허용 가능하다. 조명은 도시된 바와 같이 이미지 프로젝터 또는 전용 조명기(302)로부터 이루어질 수 있다.

도 19는 가시 (VIS) 이미지 투영에 따라 IR 조명을 도입하기 위한 투영 시스템(102)의 가능한 구현의 세부사항을 개략적으로 도시한다. VIS LED(400)로부터의 광은 광 파이프(402)(균일성을 향상시키는 선택적 피쳐)를 통과하고, 조명 광학부(404)를 통과하고, 빔 스플리터(406)를 통과하며, 그리고 LCOS(408) 상에 도달한다. LOSC가 픽셀마다 색상 필터를 내장하면, 시스템에 광 파이프가 없고 조명은 흰색 VIS LED에 의한 것이다. 안구-추적을 위한 IR LED(410)는 다이크로익 스플리터(dichroic splitter, 412)를 통해 도입된다. IR LED는 VIS LED와 순서대로 또는 동시에 조명한다.

도 20은 도 6b에 도시된 구성에 대응하는 추가 옵션을 도시한다. 이 경우에, 도면부호 102는 이미지 투영 광학부(상세히 도시되지 않음)이고, 105는 빔 스플리터이다. 그러나 이 경우에, 105는 프로젝터로부터 가시 광을 투과시키지만 IR 광을 안구-추적 시스템에/으로부터 반사시키는 다이크로익 빔 스플리터인 것이 바람직하다. 명백히, 반대 특성을 지닌 다이크로익 빔 스플리터는 투과된 방향에서 IR 추적 시스템과 동일한 구성을 구성하는데 사용될 수 있다.

안구-추적 시스템을 위한 IR 조명은 IR LED(500)에 의해 생성되고, 광은 빔 스플리터(502)(50/50 빔 스플리터 또는 PBS가 될 수 있음)를 통해 다이크로익 스플리터(105) 상에 도달하고, 도파관(빔 스플리터(105)에 인접하지만, 이 도면에서는 도시되지 않음) 상으로 반사된다. 반사된 광(파선 화살표)은 역방향 경로를 따라가며 빔 스플리터(502)를 통해 IR 카메라(125) 상에 도달한다.

망막의 상세한 피쳐가 추적되는 구현예에서 지금까지 설명되었지만, 본 발명의 특정 구현예는 다른 추적 기술을 이용한다. 망막으로부터의 반사는 일반적으로 도 21b 및 21c에 도시된 바와 같이, 정반 요소(specular component) 및 확산(diffuse) 요소를 모두 포함한다. 도 21a의 눈(200)의 간략화된 모델은 망막(201)의 중심에 수직으로 입사하는 온-액시스 광선을 도시한다. 강한 정반사(specular reflection, 202)는 입사 동공(entrance pupil)을 통해 반사되므로, 이 반사는 외부적으로 강하게 검출된다. 그러나, 광이 오프 액시스 각도(204)에서 망막에 충돌할 때, 정반사(206)는 동공을 빠져나가지 않고 단지 완화(defuse) 반사만이 동공을 빠져 나간다(파선 화살표로 표시됨). 이는 외부적으로 감지될 수 있는 훨씬 약한 신호이다.

도 21b의 그래프는 조합된 반사 세기를 개략적으로 도시한다. 정반사 요소(가변 진폭(variable amplitude) A로 특정)는 각도 의존적인 반면에(여기서 동공 위치로 설명됨) 확산 반사는 대략 일정하다(진폭 B로 특정). 도 21c 및 21d의 그래프는 반사의 요소에 대한 실험적 측정 및 파장 의존성을 도시한다. 이들 실험에 따르면, 반사의 반치전폭(full-width at half maximum, FWHM)은 약 2mm 동공 쉬프트(shift)로, 대략 ~10˚에 해당한다. 검출의 실제 해상도는 다음과 같이 근사화될 수 있다:

Dθ

FWHM / SNR

SNR은 10 내지 100의 범위가 될 수 있기 때문에, 눈 방향 해상도는 1˚ 내지 0.1˚가 될 수 있다. 정확한 방향 검출을 위한 신호 처리는 공지되어 있는바, 그 예시는 Y.Danziger, Applied Optics Vol. 49, Issue 17, pp. 3330-3337 (2010)에 의한 "Sampling-balanced imaging system utilizing whitening matched filter"이다.

그러므로, 눈으로부터 본 발명의 도파관으로의 반사의 세기의 포락선(envelope)은 각도적으로 제한될 것이다. 이 특성은 눈의 방향을 결정하기 위해 hs 발명의 특정 구현예에 사용된다(패턴 검출과는 독립적으로).

본 발명의 이런 양상에 따르면, 전체 시야가 조명되는 것이 바람직하지만, 일부만이 눈에 의해 반사된다. 도 22는 반사된 필드를 개략적으로 묘사하는데, 여기서 원은 주변이 약하게 반사되는 동안 망막의 강한 정반사를 나타낸다. 따라서, 망막 패턴은 이 원 내에서 잘 보이게 되지만, 외부에서는 덜 뚜렷하게 된다(파선으로 표시). 본 발명에 따르면, 눈의 방향은 패턴의 움직임과 높은 반사의 "포락선(envelope)"의 움직임으로 관측될 것이다.

일반적으로 광범위한 센서 매트릭스를 필요로하는 이전에 논의된 패턴 검출과는 달리, 본 명세서에 기술된 종류의 포락선 검출은 훨씬 낮은 해상도를 요구하며, 4 쿼드런트(quadrant) 또는 "쿼드러처(quadrature)" 검출기, 또는 광학 컴퓨터 마우스에서 흔한, 10⁴ 픽셀보다 적고, 일반적으로 50x50 픽셀 정도인 저 픽셀 카운트 검출기를 사용하여 수행될 수 있다.이 구현예의 그룹에 있어서, 이미지를 약간 초점을 흐리게 하기 위하여 포커싱 광학부(106)의 초점 평면으로부터 약간 변위된 광학 센서(125)를 배치하는 것이 유리할 수 있으며, 그로 인해 픽실레이션-관련(pixilation-related) 효과를 감소시키거나 피하게 된다. 센서 소자의 수를 줄이면 고속 그래픽 처리를 사용할 수 있으며, 이는 차례로 추적 프로세스의 응답 속도에 기여하게 된다.

지금까지 설명된 예시는 단일 도파관에서 안구 추적 조명 및 이미징을 조합했지만, 어떤 경우에는 두 개의 개별적인 도파관 사이에서 이들 두 개의 기능을 분리하는 것이 유리할 수 있다는 것을 이해해야 한다. 특히, 특정 경우에서, 눈에 도달하기 전에 안구 추적기 조명의 내부 산란이 수신 카메라를 포화시키기(saturate)에 충분한 후방-산란 방사선을 발생시킬 수 있는 위험이 존재한다. 이러한 문제를 회피하기 위한 하나의 접근법은, 예를 들어 도파관의 면상에 매끄러운 코팅 또는 유리 층을 도입함으로써, 투과 도파관에서의 조명의 후방 산란을 최소화하는 것이다. 대안적인 접근법은, 도 23에 개략적으로 도시되는데, 여기서 투과 및 수신 기능은 두 개의 도파관 사이에서 세분(subdivided)된다.

특히, 도 23의 예시적인 실시예에서, 확대된 근안 디스플레이(250)는 이미지가 눈을 조명하는 임의의 유형이 될 수 있다. 이 측면도에서, 모든 부분 반사 패싯을 기반으로한, 2D 도파관 및 1D 도파관의 조합을 이용하는 것으로 도시되어 있지만, 전술된 모든 추가적인 옵션이 여기서도 적용된다. 이 도면에서, 1점 쇄선 화살표는 조합된 송신기/수신기 도파관을 포화시킬 수 있는 하나의 산란 점(그 중 다수일 수 있음)을 나타낸다.

이전과 마찬가지로, 조명은 가시 조명이거나 IR 파장으로 이루어질 수 있다. 여기서 도시된 구현예에서, 안구에서 반사된 광은 조명 도광 소자와는 별개의 평행 도파관(255)(측면도로 도시됨)에 의해 수집된다. 이 경우, 양 도광 광학 소자들은 전술된 바와 같이, 투명 물질로 형성되고, 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 가지며, 관찰자의 눈에 대면하여 중첩으로 배치된다.

반사된 광(파선 화살표로 묘사됨)은 조명 도파관(250)을 통과하여(게다가 관찰자가 실제 세계를 볼 수 있도록 하기 위하여 대부분 투명하게 구현됨), 수신기 도파관(255)을 통과한다. 이 도파관은 또한 대부분 투명하지만, 도파관으로 방사선의 일부를 결합하기 위한 결합 메커니즘(패싯 또는 회절(diffractive))을 포함한다. 반사된 이미지는 이 도파관(255) 내에서 전파하고, 조합된 시스템에 대해 이전에 설명된 바와 같이 거의 동일한 식으로 수신기에 의해 수집된다.

다시 도 5로 돌아가서, 여기 도시된 특정 비제한적인 구현예에 따르면, 헬멧-탑재 등의 다른 폼 팩터(form factors)가 명백히 본 발명의 범위 내에 들어가더라도, 관찰자의 귀에 맞물리기 위한 사이드 암(600)을 지닌 안경(eye-glasses) 폼 팩터로 장치(100)가 구현된다. 처리 시스템(108)은 다양한 전용 그래픽 프로세서, 디스플레이 드라이버, 및 임의의 적절한 동작하에서 동작하고 적절한 소프트웨어 또는 펌웨어 모듈을 구현하는 범용 프로세서의 임의의 조합을 포함하지만, 이에 한정되지 않는, 당해 기술 분야에서 알려진 바와 같은, 임의의 적합한 유형의 처리 하드웨어 또는 소프트웨어를 사용하여 구현될 수 있다. 또한, 처리 시스템(108)은 일반적으로 정보 그래픽 콘텐츠의 양방향 전송을 위한 LAN 또는 WAN 디바이스와의 유선 또는 무선 통신을 가능하게 하는 다양한 휘발성 데이터 저장 및 다양한 통신 요소를 포함한다. 장치는 케이블(604)을 통해 연결된 전원(602)으로서 개략적으로 도시된, 배터리 또는 외부 전원의 임의의 조합이 될 수 있는, 적절한 전기 전원으로부터 전력이 공급된다. 배터리 전력이 사용되는 경우, 배터리는 안경 또는 헬멧-내장 구조의 일부로 통합될 수 있다.

본 발명의 안구 추적은 눈의 각도 방향(즉, 응시 방향 또는 "시선")을 근본적으로 결정하지만, 대부분의 실시예에서는 눈이 LOE 커버리지의 유효한 아이-박스 내에 남아있는 한 눈의 공간적인 위치에 본질적으로 둔감하다. 이와 같이, 장치는 안경 타입 또는 다른 머리 탑재형 디바이스 또는 머리와 시스템의 정밀하고 반복 가능한 정렬을 보장하는 것이 항상 실현가능하지 않은 다른 착용형 디바이스에 대해 상당한 이점을 드러내며, 여기서 시스템은 사용 동안 눈에 대하여 다소 움직일 수 있다.

전술한 바와 같이, 여기에서는 안경 구조의 일측면의 부분도로서 도시되어 있지만, 전체 디바이스는 단안(monocular) 또는 양안(binocular) 이미지 투영 및 추적을 제공할 수 있으며, 여기서 양자에 대해서는 쌍안이 특히 바람직하다. 장치가 쌍안인 경우, 다양한 처리 및 전력-공급 요소가 두 개의 추적 시스템에 의해 선택적으로 공유될 수 있으며, 추적 정보는 전술한 바와 같이 추적의 향상된 안정성 및 지속성을 제공하도록 융합되는 것이 바람직하다.

첨부된 청구범위가 다수의 종속성 없이 작성된 경우, 이는 이러한 종속성을 허용하지 않는 관할권의 공식 요구 사항을 수용하기 위해서만 수행된다. 청구범위를 다중 의존성으로 표현함으로써 암시될 수 있는 모든 특징의 가능한 조합은 명백하게 구상되고 본 발명의 일부로 간주되어야 함을 유의해야 한다.

상기 설명은 단지 예시로서 제공되는 것으로 의도되며, 많은 다른 실시예가 첨부된 청구범위에서 정의된 본 발명의 범위 내에서 가능하다는 것을 이해할 것이다.

Claims (21)

1. 사람의 눈의 응시 방향을 얻기 위한 장치에 있어서,
   (a) 투명한 물질로 형성되고 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 갖는 도광 광학 소자(LOE)로서, 상기 평행면 중 하나가 눈에 직면하게 배치되는 도광 광학 소자(LOE);
   (b) 상기 LOE와 연관되고, 상기 LOE 내에서 전파하도록 결합 영역 내의 상기 평행면들 중 하나에 입사하는 광의 부분을 결합하도록 구성되는 결합(couping-in) 구성;
   (c) 상기 LOE와 연관되고, 상기 LOE 내에서 전파하는 평행한 광선 세트를 포착된 광의 집중 빔으로 전환하도록 구성된 포커싱 광학부(optics);
   (d) 상기 포착된 광을 감지하기 위해 배치된 광학 센서; 및
   (e) 적어도 하나의 프로세서를 포함하는 처리 시스템으로서, 상기 처리 시스템은 상기 광학 센서와 전기적으로 연관되고 상기 광학 센서로부터의 신호를 처리하여 상기 눈의 현재 응시 방향을 유도하도록 구성되는 처리 시스템을 포함하고,
   상기 결합 구성은 상기 LOE 내에서 전파하는 광선을 생성하도록 구성되며, 각각의 광선은 대응하는 입사 광선의 입사 방향을 나타내는 방향을 갖고, 복수의 이격된 평행 입사 광선은 상기 LOE 내에서 전파하는 단일 광선으로 조합되는 것을 특징으로 하는 장치.
2. 청구항 1에 있어서,
   상기 결합 구성은 상기 평행면에 대해 상기 LOE 내에 비스듬히 배치된 복수의 부분 반사 표면을 포함하는 장치.
3. 청구항 1에 있어서,
   상기 결합 구성은 상기 평행면 중 하나와 관련된 회절 광학 소자를 포함하는 장치.
4. 청구항 1에 있어서,
   상기 광학 센서는 4-쿼드런트 센서를 포함하는 장치.
5. 청구항 1에 있어서,
   상기 광학 센서는 픽셀 센싱 소자들의 어레이를 포함하고, 상기 처리 시스템은 약 10⁴픽셀 이하의 센싱 소자들로부터의 출력들을 처리하는 것을 특징으로 하는 장치.
6. 청구항 1에 있어서,
   상기 결합 영역의 방향으로부터 눈을 조명하도록 배치된 조명 설비를 더 포함하는 장치.
7. 청구항 6에 있어서,
   상기 조명 설비는 상기 LOE로 조명을 도입하여 상기 한 쌍의 평행 표면의 반사에 의해 상기 LOE 내에서 전파하고, 상기 결합 구성에 의해 눈을 향해 결합되도록 구성되는 것을 특징으로 하는 장치.
8. 청구항 6에 있어서,
   투명한 물질로 형성되고 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 갖는 조명 도광 소자를 더 포함하고, 상기 조명 도광 소자는 상기 LOE와 중첩관계로 배치되며, 상기 조명 설비는 상기 조명이 상기 한 쌍의 평행 표면에서 반사에 의해 상기 조명 도광 소자 내에서 전파하도록 상기 조명 도광 소자에 조명을 도입하도록 구성되며, 상기 조명 도광 소자와 연견된 결합 구성에 의해 눈을 향해 결합되는 것을 특징으로 하는 장치.
9. 청구항 6에 있어서,
   상기 조명 설비는 상기 처리 시스템과 연관되고, 상기 처리 시스템은 주기 지속시간을 지닌 조명 주기를 생성하도록 상기 조명 장치를 작동시키며, 상기 처리 시스템은 상기 주기 지속기간 동안 입사되는 포착된 광에 대응하는 상기 광학 센서로부터 유도된 신호를 처리하는 것을 특징으로 하는 장치.
10. 청구항 6에 있어서,
    상기 광학 센서에 도달하는 것으로부터 주어진 파장의 범위 바깥의 파장의 광을 차단하도록 배치되는 통과대역 스펙트럼 필터를 더 포함하며, 상기 조명 설비는 상기 주어진 파장의 범위 내에서 주로 조명을 생성하는 것을 특징으로 하는 장치.
11. 청구항 10에 있어서,
    상기 주어진 파장의 범위는 전자기 방사 스펙트럼의 비 가시 영역에 있는 것을 특징으로 하는 장치.
12. 청구항 6에 있어서,
    상기 조명 설비는 복수의 개별적으로 제어된 조명 픽셀을 포함하고, 상기 처리 시스템은 눈의 선택된 망막의 영역에 대응하는 방향을 따라 선택적으로 조명하기 위하여 상기 조명 픽셀을 선택적으로 작동하는 것을 특징으로 하는 장치.
13. 청구항 12에 있어서,
    눈 응시 방향을 추적하는 동안, 상기 선택된 망막의 영역은 눈의 시신경 원판을 포함하는 영역인 것을 특징으로 하는 장치.
14. 청구항 1에 있어서,
    상기 처리 시스템은 눈의 망막으로부터의 반사에 대응하는 세기 분포의 중심을 얻음으로써 눈의 현재 응시 방향을 결정하기 위해 상기 광학 센서로부터 신호를 처리하도록 구성되는 것을 특징으로 하는 장치.
15. 청구항 1에 있어서,
    상기 처리 시스템은 눈의 망막의 적어도 하나의 중요한 피쳐의 위치를 검출함으로써 눈의 현재 응시 방향을 결정하기 위해 상기 광학 센서로부터 신호를 처리하도록 구성되는 것을 특징으로 하는 장치.
16. 청구항 1에 있어서,
    상기 처리 시스템은 눈의 망막의 혈관의 패턴을 추적함으로써 눈의 현재 응시 방향을 결정하기 위해 상기 광학 센서로부터 신호를 처리하도록 구성되는 것을 특징으로 하는 장치.
17. 청구항 1에 있어서,
    시준된 이미지가 상기 LOE 내에서 내부 반사를 통해 전파되고 상기 결합 구성에 의해 눈을 향해 상기 LOE의 바깥으로 결합되도록, 상기 시준된 이미지를 상기 LOE로 도입하기 위하여 상기 LOE에 결합된 이미지 프로젝터를 더 포함하는 장치.
18. 청구항 17에 있어서,
    상기 이미지 프로젝터는 상기 처리 시스템과 연관되고, 상기 처리 시스템은
    주기 지속시간을 지닌 조명 주기를 생성하도록 상기 이미지 프로젝터를 작동시키며, 상기 처리 시스템은 상기 주기 지속시간 동안 입사되는 포착된 광에 대응하는 상기 광학 센서로부터 얻어진 신호를 처리하는 것을 특징으로 하는 장치.
19. 청구항 18에 있어서,
    상기 처리 시스템은 투영된 이미지의 선택된 서브섹션에 대응하도록 상기 주기를 생성하고, 상기 주기는 투영된 이미지의 인식에 기여하는 것을 특징으로 하는 장치.
20. 청구항 1에 있어서,
    상기 LOE가 사용자의 첫번째 눈에 대면하게 배치되도록, 사용자의 머리에 대해 상기 장치를 지지하기 위한 지지 구성을 더 포함하며, 상기 장치는,
    (a) 투명한 물질로 형성되고 내부 반사에 의해 광을 안내하기 위한 한 쌍의 평행면을 갖는 도광 광학 소자(LOE)로서, 상기 평행면 중 하나가 사용자의 두번째 눈에 직면하게 배치되는 도광 광학 소자(LOE);
    (b) 상기 두번째 눈 LOE와 연관되고, 상기 LOE 내에서 전파하도록 결합 영역 내의 상기 평행면들 중 하나에 입사하는 광의 부분을 결합하도록 구성되는 결합(couping-in) 구성;
    (c) 상기 두번째 눈 LOE와 연관되고, 상기 LOE 내에서 전파하는 평행한 광선 세트를 포착된 광의 집중 빔으로 전환하도록 구성된 포커싱 광학부(optics); 및
    (d) 상기 포착된 광을 감지하기 위해 배치된 두번째 눈 광학 센서를 포함하고,
    처리 시스템이 상기 두번째 눈 광학 센서와 전기적으로 추가로 연관되고, 상기 광학 센서들 모두로 부터의 신호를 처리하여 상기 눈들의 현재 응시 방향을 유도하도록 구성되는 것을 특징으로 하는 장치.
21. (a) 전술한 청구항 중 임의의 장치를 제공하는 단계; 및
    (b) 눈의 현재 응시 방향을 유도하도록 상기 광학 센서로부터 신호를 처리하는 단계를 포함하는 방법.
    

Images