KR20190079667A - 스페클 패턴들을 사용하는 눈 추적을 위한 방법 및 시스템 - Google Patents

Abstract

사용자의 눈의 움직임을 추적하는 방법은 광 빔을 눈에 지향시키는 단계를 포함한다. 눈은 광 빔 중 일부를 반사시킬 수 있다. 방법은 눈에 의해 반사된 광 빔 중 일부에 의해 검출기에 형성된 복수의 스페클 패턴들을 검출하는 단계를 더 포함한다. 복수의 스페클 패턴들은 미리 결정된 프레임 레이트로 검출될 수 있다. 방법은 복수의 스페클 패턴들을 프레임마다 추적함으로써 눈의 움직임을 추적하는 단계를 더 포함한다.

Description

스페클 패턴들을 사용하는 눈 추적을 위한 방법 및 시스템

[0001] 본 출원은 2016년 11월 10일에 출원된 미국 가특허 출원 제62/420,292호의 우선권을 주장하며, 상기 출원의 전체 내용들은 인용에 의해 본원에 통합된다.

[0002] 눈-시선 추적 기술은 많은 분야들에 적용될 수 있다. 예컨대, 눈-시선 추적은, 사용자에게 정확한 3차원 렌더링들을 제공하기 위한 가상 현실(VR) 또는 증강 현실(AR) 헤드셋을 구축하는 데 유용할 수 있다. 다른 애플리케이션들은 장애인들을 지원하기 위한 인간-컴퓨터 인터페이스들, 활동 인식, 이미지 및 비디오 압축, 컴퓨터 비전, 의료 연구에서의 인지 연구들, 레이저 굴절 수술, 차량내 연구를 위한 차량 시뮬레이터들, 스포츠 훈련 시뮬레이터들을 포함하는 훈련 시뮬레이터들, 피로도 검출 등을 포함할 수 있다. 눈-시선 추적 기술의 발전으로 이루어진 진보에도 불구하고, 개선된 눈-시선 추적 방법들에 대한 필요성이 당분야에 존재한다.

[0003] 본 발명은 일반적으로 눈-시선 추적을 위한 방법들 및 시스템들에 관한 것이다. 더 구체적으로, 본 발명은 스페클 패턴들(speckle patterns)을 사용하는 눈-시선 추적을 위한 방법들 및 시스템들에 관한 것이다.

[0004] 본 발명의 실시예에 따라, 사용자의 눈의 움직임을 추적하는 방법은 광 빔을 눈에 지향시키는 단계를 포함한다. 눈은 광 빔 중 일부를 반사시킬 수 있다. 방법은 눈에 의해 반사된 광 빔 중 일부에 의해 검출기에서 형성된 복수의 스페클 패턴들을 검출하는 단계를 더 포함한다. 복수의 스페클 패턴들은 미리 결정된 프레임 레이트로 검출될 수 있다. 방법은 복수의 스페클 패턴들을 프레임마다 추적함으로써 눈의 움직임을 추적하는 단계를 더 포함한다.

[0005] 본 발명의 다른 실시예에 따라, 사용자의 눈의 시선을 추적하는 방법은 카메라를 사용하여 눈의 제1 복수의 이미지들을 제1 프레임 레이트로 기록하는 단계; 및 눈의 제1 복수의 이미지들에 기반하여, 눈의 시작 포지션을 결정하는 단계를 포함한다. 방법은 광 빔을 눈에 지향시키는 단계를 더 포함한다. 눈은 광 빔 중 일부를 반사시킬 수 있다. 방법은 눈에 의해 반사된 광 빔 중 일부에 의해 검출기에서 형성된 제1 복수의 스페클 패턴들을 검출하는 단계를 더 포함한다. 복수의 스페클 패턴들은 제1 프레임 레이트를 초과하는 제2 프레임 레이트로 검출될 수 있다. 방법은 제1 복수의 스페클 패턴들을 프레임마다 추적함으로써 시작 포지션에 대해 눈의 움직임을 추적하는 단계를 더 포함한다.

[0006] 본 발명의 또 다른 실시예에 따라, 사용자의 눈의 시선을 추적하는 방법은 사용자의 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 단계, 미리-캘리브레이팅된 스페클 맵(pre-calibrated speckle map)을 사용하여 눈의 시작 포지션을 결정하는 단계, 및 시작 포지션에 대해 눈의 움직임을 추적하는 단계를 포함한다. 일 실시예에서, 사용자의 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 단계는: 제1 광 빔을 눈에 지향시키고, 눈에 의해 반사된 제1 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제1 스페클 패턴들을 검출하고 ― 복수의 제1 스페클 패턴들 각각은 눈의 개개의 제1 포지션에 대응함 ― , 카메라를 사용하여 눈의 복수의 이미지들을 기록하고 ― 눈의 복수의 이미지들 각각은, 개개의 제1 스페클 패턴이 검출될 때 기록됨 ― , 눈의 개개의 이미지에 기반하여, 각각의 개개의 제1 스페클 패턴에 대응하는 눈의 개개의 제1 포지션을 결정하고, 그리고 복수의 제1 스페클 패턴들 및 눈의 대응하는 제1 포지션들을 저장함으로써 수행된다. 일 실시예에서, 미리-캘리브레이팅된 스페클 맵을 사용하여 눈의 시작 포지션을 결정하는 단계는: 제2 광 빔을 눈에 지향시키고 ― 눈은 제2 광 빔 중 일부를 반사시킴 ― , 눈에 의해 반사된 제2 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제2 스페클 패턴들을 검출하고, 그리고 복수의 제2 스페클 패턴들과 저장된 복수의 제1 스페클 패턴들 간의 비교들 및 눈의 저장된 대응하는 제1 포지션들에 기반하여, 눈의 시작 포지션을 결정함으로써, 수행된다. 일 실시예에서, 시작 포지션에 대해 눈의 움직임을 추적하는 단계는: 제3 광 빔을 눈에 지향시키고 ― 눈은 제3 광 빔 중 일부를 반사시킴 ― , 눈에 의해 반사된 제3 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제3 스페클 패턴들을 검출하고 ― 복수의 제3 스페클 패턴들은 미리 결정된 프레임 레이트로 검출됨 ― , 그리고 복수의 제3 스페클 패턴들을 프레임마다 추적함으로써 시작 포지션에 대해 눈의 움직임을 추적함으로써, 수행된다.

[0007] 본 발명의 추가의 실시예에 따라, 사용자 식별 방법은, 제1 광 빔을 제1 눈에 지향시키고 ― 제1 눈은 제1 광 빔 중 일부를 반사시킴 ― , 제1 눈에 의해 반사된 제1 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제1 스페클 패턴들을 검출하고 ― 복수의 제1 스페클 패턴들 각각은 제1 눈의 개개의 제1 포지션에 대응함 ― , 카메라를 사용하여 제1 눈의 복수의 이미지들을 기록하고 ― 제1 눈의 복수의 이미지들 각각은, 개개의 제1 스페클 패턴이 검출될 때 기록됨 ― , 제1 눈의 개개의 이미지에 기반하여, 각각의 개개의 제1 스페클 패턴에 대응하는 제1 눈의 개개의 제1 포지션을 결정하고, 그리고 복수의 제1 스페클 패턴들 및 제1 눈의 대응하는 제1 포지션들을 저장함으로써, 제1 사용자의 제1 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 단계를 포함한다. 방법은 제2 광 빔을 사용자의 눈에 지향시키고 ― 눈은 제2 광 빔 중 일부를 반사시킴 ― , 눈에 의해 반사된 제2 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제2 스페클 패턴들을 검출하는 단계 ― 복수의 제2 스페클 패턴들 각각은 눈의 개개의 제2 포지션에 대응함 ― , 및 복수의 제2 스페클 패턴들과 복수의 제1 스페클 패턴들을 비교함으로써 사용자가 제1 사용자라고 결정하는 단계를 더 포함한다. 일부 실시예들에서, 눈에 의해 반사된 제1 광 빔 중 일부 및 눈에 의해 반사된 제2 광 빔 중 일부 각각은 눈에 의해 확산하여 반사되거나 경면 반사된다.

[0008] 종래의 기술들에 비해 다수의 이점들이 본 발명에 의해 달성된다. 예컨대, 본 발명의 실시예들은, 스페클 패턴들의 움직임들을 추적함으로써, 예컨대, 미크론 스케일 이하의 작은 눈-시선 움직임들의 정확한 검출을 위한 방법들 및 시스템들을 제공할 수 있다. 스페클들을 사용하는 눈-시선 추적은 매우 강건할 수 있고, 추적 품질은 눈에 대한 센서 위치에 상대적으로 둔감할 수 있다. 본 발명의 실시예들에 따른 눈-시선 추적 방법들은, 더 적은 양의 계산 및 더 적은 수의 광원들이 요구되기 때문에(예컨대, 카메라-기반 눈-추적에 전형적으로 필요한 4개의 LED들과 비교하여, 단지 하나의 광이 요구됨), 종래의 방법들과 비교하여 더 낮은 소비 전력을 제공할 수 있다. 방법들이 하나의 광원과 하나의 검출기만 요구하고, 카메라 렌즈를 요구하지 않기 때문에, 방법들은 또한 더 낮은 비용을 제공할 수 있다.

[0009] 본 발명의 이들 및 다른 실시예들은 자신의 많은 이점들 및 특징들과 함께 아래의 텍스트 및 첨부된 도면들과 관련하여 더 상세하게 설명된다.

[0010] 도 1은, 눈이 다양한 포지션들을 응시할 때 캡처된 눈의 4개의 이미지들((a)-(d))을 도시한다.
[0011] 도 2는 3개의 독립적인 축들을 따른 눈 움직임들을 개략적으로 예시한다.
[0012] 도 3은 레이저 포인터로부터 생성된 예시적인 스페클 패턴을 예시한다.
[0013] 도 4는 이미지 센서 상에 스페클 패턴이 형성되는 방법을 개략적으로 예시한다.
[0014] 도 5a 및 5b는 서로에 대해 작은 시간 인터벌로 촬영된 스페클 패턴의 2개의 스냅샷들을 도시한다.
[0015] 도 6은 본 발명의 실시예에 따른 눈 시선 추적을 위한 예시적인 설정을 개략적으로 예시한다.
[0016] 도 7a는 본 발명의 실시예에 따른 카메라에 의해 캡처된 눈의 정면도를 도시한다.
[0017] 도 7b는 본 발명의 실시예에 따른 검출기에 의해 캡처된 스페클 패턴을 도시한다.
[0018] 도 8은 본 발명의 실시예에 따른, 사용자가 착용할 수 있는 하나의 안경 상에 광원, 검출기 및 선택적인 눈 카메라를 장착될 수 있는 방법을 예시하는 개략도를 도시한다.
[0019] 도 9a-9f는, 눈이 한 측에서 다른 측으로 이동할 때, 10ms(즉, 0.01 초) 시간 인터벌들로 검출기에 의해 캡처된 눈의 스페클 패턴들의 6개의 순차적인 프레임들을 도시한다.
[0020] 도 10a-10c는 검출기 상에 스페클 패턴들이 형성될 수 있는 방법을 예시하는, 10ms 인터벌들로 캡처된 검출기의 3개의 연속적인 프레임들을 도시한다.
[0021] 도 11a는 본 발명의 실시예에 따라, 눈 카메라에 의해 캡처된 눈의 정면도의 스냅샷을 도시한다.
[0022] 도 11b는 본 발명의 실시예에 따라, 도 10a에 도시된 눈의 정면도의 스냅샷이 캡처된 때 동시에 검출기에 의해 캡처된 눈의 생성된 스페클 패턴의 스냅샷을 도시한다.
[0023] 도 11c는 본 발명의 실시예에 따른, 시작 포지션에서 종료 포지션으로의 눈 움직임의 궤적을 도시한다.
[0024] 도 12a는 본 발명의 실시예에 따른, 2개의 상이한 검출기들에서의 스페클 패턴들의 스냅샷들(2개의 좌측 패널들), 및 2개의 상이한 카메라들에 의해 캡처된 눈의 정면도 및 측면도의 스냅샷들(2개의 우측 패널)을 도시한다.
[0025] 도 12b 및 12c는 본 발명의 실시예에 따른, 2개의 검출기들에 의해 각각 검출된 눈의 궤적들을 도시한다.
[0026] 도 13a는 본 발명의 실시예에 따른, 눈이 깜박일 때, 눈의 정면도의 스냅샷을 도시한다.
[0027] 도 13b는 본 발명의 실시예에 따른, 눈이 깜박일 때, 검출기에서의 이미지를 도시한다.
[0028] 도 14a는 본 발명의 실시예에 따른, (i) 2개의 우측 패널들에서, 2개의 상이한 눈 카메라들에 의해 동시에 캡처된 눈의 정면도 및 측면도의 스냅샷들; 및 (ii) 2개의 좌측 패널들에서, 2개의 상이한 검출기들에 의해 캡처된 스페클 패턴들의 스냅샷들을 도시한다.
[0029] 도 14b는 본 발명의 실시예에 따른 눈 움직임의 궤적의 일부를 도시한다.
[0030] 도 14c는 본 발명의 실시예에 따른 시간의 함수로써 추적 품질 스코어를 도시한다.
[0031] 도 15a-15c는 본 발명의 실시예에 따른, 도 14a-14c와 유사하지만 상이한 시간의 스냅샷들이다.
[0032] 도 16은 본 발명의 실시예에 따른 눈-시선 추적 방법을 예시하는 간략화된 흐름도를 예시한다.
[0033] 도 17은 본 발명의 다른 실시예에 따른 눈-시선 추적 방법을 예시하는 간략화된 흐름도를 예시한다.
[0034] 도 18은 본 발명의 실시예에 따른, 사용자의 눈의 움직임을 추적하는 방법을 예시하는 간략화된 흐름도이다.
[0035] 도 19는 본 발명의 실시예에 따른, 사용자의 눈-시선을 추적하는 방법을 예시하는 간략화된 흐름도이다.
[0036] 도 20은 본 발명의 다른 실시예에 따른, 사용자의 눈-시선을 추적하는 방법을 예시하는 간략화된 흐름도이다.
[0037] 도 21은 본 발명의 실시예에 따른, 사용자의 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 방법을 예시하는 간략화된 흐름도이다.
[0038] 도 22는 본 발명의 실시예에 따른, 미리-캘리브레이팅된 스페클 맵을 사용하여 눈의 시작 포지션을 결정하는 방법을 예시하는 간략화된 흐름도이다.
[0039] 도 23은 본 발명의 실시예에 따른, 시작 포지션에 대한 눈의 움직임을 추적하는 방법을 예시하는 간략화된 흐름도이다.
[0040] 도 24는 본 발명의 실시예에 따른, 사용자의 식별 방법을 예시하는 간략화된 흐름도이다.

[0041] 본 발명은 일반적으로 눈-시선 추적을 위한 방법들 및 시스템들에 관한 것이다. 더 상세하게는, 본 발명은 스페클 패턴들을 사용하는 눈-시선 추적을 위한 방법들 및 시스템들에 관한 것이다. 가장 널리 사용되는 현재 설계들은, 수동 추적으로 또한 지칭되는 비디오-기반 눈 추적기들이다. 뷰어가 일정 종류의 자극을 볼 때, 카메라는 하나 또는 양쪽 눈들에 초점을 맞추고, 눈들의 움직임을 기록한다. 도 1은, 눈이 다양한 포지션들에서 응시할 때 캡처된 눈의 4개의 이미지들((a)-(d))을 도시한다. 동공의 중심의 (x, y) 좌표들을 추적함으로써, 눈 시선이 모니터링될 수 있다.

[0042] 대부분의 현대의 눈-추적기들은, CR(corneal reflection)들을 생성하기 위해, 근적외선 비-시준된 광과 같은 적외선 및 동공의 중심을 사용한다. 동공 중심과 각막 반사들 사이의 벡터는, 표면 상의 관심 지점 또는 시선 방향을 컴퓨팅하는 데 사용될 수 있다. 2개의 일반적인 타입들의 적외선 또는 근적외선(활성 광으로 또한 알려짐) 눈 추적 기술들: 밝은 동공 및 어두운 동공 추적 기술들이 사용된다. 이들의 차이는 광학기에 대한 조명 소스의 위치에 기반한다. 조명이 광학 경로와 동축이면, 광이 망막으로부터 반사될 때, 눈은 역반사기(retroreflector)의 역할을 하여, 적색 눈과 유사한 밝은 동공 효과를 생성한다. 조명 소스가 광학 경로로부터 오프셋되면, 망막으로부터의 반사가 카메라로부터 멀어지게 지향되기 때문에, 동공은 어둡게 보인다.

[0043] 도 2는 3개의 독립적인 축들을 따른 가능한 눈 움직임들: 수평 변위(제1 치수), 수직 변위(제2 치수), 수평 회전(제3 치수), 수직 회전(제4 치수), 안구 회전(cyclotorsion)(제5 치수) 및 축 변위(제6 치수)를 개략적으로 예시한다.

[0044] 본 발명의 실시예들은 스페클 패턴들을 사용하여 눈 시선을 추적하기 위한 방법들 및 시스템들을 제공한다. 스페클 패턴은 한 세트의 파면들의 상호 간섭에 의해 생성되는 강도 패턴이다. 스페클 패턴들은 전형적으로 레이저 광과 같은 단색광(monochromatic light)의 확산 반사들(diffuse reflections)에서 발생한다. 스페클 효과는 상이한 위상들 및 진폭들을 갖는 동일한 주파수의 많은 파들의 간섭의 결과이고, 이 많은 파들은 진폭 및 그에 따른 강도가 랜덤하게 변동되는 결과적인 파를 제공하기 위해 함께 합해진다. 도 3은 녹색 레이저 포인터로부터 생성된 예시적인 스페클 패턴을 예시한다.

[0045] 도 4는, 스페클 패턴이 이미지 센서(430) 상에 형성될 수 있는 방법을 개략적으로 예시한다. 표면(420)이 회절 이론에 따른, 레이저와 같은 코히어런트 광원(410)에 의해 조명될 때, 조명된 표면 상의 각각의 지점은 2차 구면파들(spherical waves)의 소스로서 역할을 한다. 산란된 광 필드 내의 임의의 지점에서의 광은 조명된 표면(420) 상의 각각의 지점으로부터 산란된 파들로 구성된다. 표면(420)이 하나의 파장을 초과하는 경로-길이 차이를 생성하기에 충분히 거칠어서, 2π보다 더 큰 위상 변화들을 발생시키면, 결과적인 광의 진폭 및 그에 따른 강도는 랜덤하게 변동된다. 예컨대, 도 4에 예시된 바와 같이, 산란된 광파들은 서로에 대해 이위상(out of phase)으로 간섭하고, 이미지 센서(430) 상의 특정 포지션들(예컨대, 지점 A)에서 어두운 스페클(442)을 초래할 수 있다. 마찬가지로, 산란된 광파들은 서로에 대해 동위상으로 간섭하고, 이미지 센서(430) 상의 특정 포지션들(예컨대, 지점 B)에서 밝은 스페클(444)을 초래할 수 있다. 따라서, 스페클 패턴은 거친 표면에 의해 생성된 홀로그램으로 보여질 수 있다.

[0046] 코히어런트 광(예컨대, 레이저 빔)에 의해 조명되는 거친 표면이 이미징될 때, 스페클 패턴이 이미지 평면에서 관찰되고, 이는 "주관적 스페클 패턴(subjective speckle pattern)"이라 불린다. 스페클 패턴의 세부적인 구조가 뷰잉 시스템 파라미터들에 의존하기 때문에, 이것은 "주관적"이라 불린다. 예컨대, 렌즈 애퍼처의 크기가 변하면, 스페클의 크기가 변한다. 거친 표면에서 산란된 코히어런트 광이 다른 표면에 떨어질 때, 이것은 "객관적인 스페클 패턴(objective speckle pattern)"을 형성한다. 사진 건판(photographic plate) 또는 다른 2-D 광학 센서가, 렌즈 없이, 산란된 광 필드 내에 위치되면, 특징들이 시스템의 기하학적 구조 및 코히어런트 광원의 파장에 의존하는 객관적인 스페클 패턴이 획득된다.

[0047] 본 발명의 실시예들은, 광 빔을 눈에 지향시킴으로써 눈의 움직임을 추적하고, 눈에 의해 광 빔의 확산 반사 및 경면 반사에 의해 형성된 스페클 패턴들의 움직임들을 추적하기 위한 방법들 및 시스템들을 포함한다. 눈 시선을 추적을 추적하기 위해 스페클 패턴들을 사용하는 것은 몇몇의 이점들을 제공할 수 있다. 안구의 표면의 텍스처가 다른 수단에 의해 검출되기에 너무 매끄러울 수 있지만, 이는 관찰 가능한 스페클 패턴들을 생성할 수 있다. 스페클 패턴들이 안구에 의해 생성되고 따라서 안구에 고정되기 때문에, 스페클 패턴들은, 안구가 이동될 때 센서에 대해 움직일 것이다. 스페클 패턴들의 움직임들을 추적함으로써, 예컨대, 미크론 스케일 이하에서, 안구의 작은 움직임들을 정확히 검출하는 것이 가능할 수 있다.

[0048] 도 5a 및 5b는 서로에 대해 작은 시간 인터벌로 캡처된, 검출기 상의 스페클 패턴의 2개의 스냅샷들을 도시하고, 여기서 타겟은 시간 인터벌 동안 작은 거리만큼 이동된다. 볼 수 있듯이, 스페클 패턴은 검출기에 대해 이동되었다. 예컨대, 도 5a의 포지션 A에서의 밝은 스폿은 도 5b의 검출기의 에지 근처의 포지션 A'로 좌측을 향해 이동된다. 유사하게, 도 5a의 포지션 B 및 C에서의 밝은 스폿들은 또한 도 5b의 포지션들 B' 및 C'로 좌측을 향해 각각 이동된다. 스페클 패턴의 움직임들을 추적하기 위해, 프레임들 사이의 타겟에 대한 빔 스폿 움직임이 빔 스폿 크기보다 훨씬 더 작고, 프레임들 사이의 검출기에 대한 스페클 움직임이 검출기 크기보다 훨씬 더 작은 것이 바람직할 수 있다. 예컨대, 일부 실시예들에서, 약 5mm 내지 약 10mm 범위의 빔 스폿 크기가 활용될 수 있다. 눈이 프레임 사이에서 움직일 때, 눈에 대한 빔 스폿의 포지션이 그에 따라 움직인다. 예컨대, 5mm의 빔 스폿 크기가 주어지면 초당 1000개의 프레임들(fps)의 프레임 레이트에 대해, 초당 약 5,000 mm의 레이트에서의 눈의 움직임은 빔 스폿 크기 내에 있을 것이다. 유사하게, 눈이 프레임들 사이에서 움직일 때, 검출기 상의 스페클 패턴이 또한 그에 따라 움직인다. 따라서, 위의 요건들이 만족되도록, 고속 검출기, 예컨대, 1000fps 또는 그 보다 더 빠른 레이트로 동작하는 검출기를 사용하는 것이 바람직할 수 있다.

[0049] 도 6은 본 발명의 실시예에 따른 눈-시선 추적을 위한 예시적인 설정을 개략적으로 예시한다. 광원(610)은 비스듬한 각도로 눈에서 광 빔(620)을 비출 수 있다. 눈은 광 빔(620) 중 일부를 반사시킬 수 있다. 검출기(630)는, 눈에 의해 반사된 광 빔 중 일부에 의해 형성된 스페클 패턴들을 검출하기 위해 눈에 인접하여 포지셔닝될 수 있다. 도 7a는 카메라에 의해 캡처된 눈의 정면도를 도시한다. 밝은 스폿(702)은 눈 상의 빔 스폿이다. 도 7b는 검출기(620)에 의해 캡처된 스페클 패턴을 도시한다. 도 7b에서 볼 수 있듯이, 경면 반사들에 의해 생성된 간섭 프린지들(interference fringes)이 스페클 패턴에서 명확히 보인다. 일부 실시예들에서, 광원(610)은 적외선 파장 범위의 광 빔들을 방출하도록 구성될 수 있다. 일부 실시예들에서, 광원(610)은 근적외선 파장 범위, 예컨대, 0.75-2㎛의 광 빔들을 방출하도록 구성될 수 있다. 일부 실시예들에서, 광원(610)은, 스페클 패턴들이 검출될 수 있도록, 레이저 소스와 같은 코히어런트 광원, 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원을 포함할 수 있다.

[0050] 도 8은 본 발명의 실시예에 따라, 사용자가 착용할 수 있는 하나의 안경(850) 상에 광원(810), 검출기(830), 및 선택적인 눈 카메라(840)가 장착될 수 있는 방법을 예시하는 개략도를 도시한다. 광원(810)은 사용자의 눈에 광 빔(820)을 비출 수 있다. 눈에 의한 광 빔(820)의 확산 반사 및 경면 반사는 검출기(830)에서 스페클 패턴들을 형성할 수 있다. 일부 실시예들에서, 광원(810)은 레이저와 같은 코히어런트 광원을 포함할 수 있다. 눈 카메라(840)는 눈의 이미지들을 캡처할 수 있고, 아래에 더 상세히 논의되는 바와 같이, 그 이미지들로부터 초기 눈 시선 포지션들이 결정될 수 있다.

[0051] 도 9a-9f는, 눈이 한 측에서 다른 측으로 움직일 때, 10 ms(즉, 0.01초) 시간 인터벌들로 검출기에 의해 캡처된, 눈에 의한 광 빔의 반사에 의해 생성된 스페클 패턴들의 6개의 순차적인 프레임들을 도시한다. 볼 수 있듯이, 스페클 패턴들은, 도 9a에서 도 9f로, 좌측을 향해 검출기 영역을 가로질러 움직인다. 예컨대, 도 9a의 밝은 영역 A는 도 9b 및 9c에서, 좌측을 향해 점진적으로 움직이고, 이어서, 도 9d-9f에서, 검출기 영역 밖으로 움직인다. 유사하게, 도 9b에서의 어두운 영역 B는 도 9b에서만 나타나기 시작하고, 도 9c-9e에서, 좌측을 향해 점진적으로 움직이고, 이어서 도 9f에서, 검출기 영역 밖으로 움직인다.

[0052] 도 10a-10c는, 이미지 센서 상에 스페클 패턴들이 형성될 수 있는 방법을 예시하는, 10ms 인터벌들로 캡처된 검출기의 3개의 연속적인 프레임들을 도시한다. 여기서, 어떠한 간섭 프린지들도 보이지 않지만, 눈의 확산 반사에 의해 생성된 스페클 패턴들이 보인다.

[0053] 스페클 패턴들의 움직임들을 추적함으로써, 눈의 움직임이 추적될 수 있다. 본 발명의 일부 실시예들에 따라, 스페클 패턴들의 움직임들은 광학 흐름 알고리즘을 사용하여 추적될 수 있다. 광학 흐름 또는 광학기 흐름은 관찰자(눈 또는 카메라)와 장면 사이의 상대적인 모션에 의해 발생된 시각적인 장면에서의 객체들, 표면들 및 에지들의 명백한 모션의 패턴이다. 정렬된 이미지들의 시퀀스들은 순간적인 이미지 속도들(instantaneous image velocities) 또는 이산 이미지 변위들(discrete image displacements) 중 어느 하나로써 모션의 추정을 허용할 수 있다. 광학 흐름을 결정하는 방법들은 위상 상관관계 방법들, 블록-기반 방법들, 차동 방법들, Horn-Schunck 방법, Buxton-Buxton 방법, Black-Jepson 방법 및 일반 변이 방법들(general variational methods), 이산 최적화 방법들 등을 포함할 수 있다. 본 발명의 실시예에 따라, 눈의 움직임들은 광학 흐름의 위상-상관관계 알고리즘을 눈의 스페클 패턴들의 순차적인 프레임들에 적용함으로써 추적된다.

[0054] 도 11a-11c는 본 발명의 실시예에 따른 눈-시선 추적의 일부 예시적인 결과들을 예시한다. 도 11a는 눈 카메라에 의해 캡처된 눈의 정면도의 비디오의 스냅샷을 도시한다. 도 11b는, 눈의 정면도의 스냅샷이 캡처될 때와 동시에 검출기에 의해 캡처된 눈의 스페클 패턴의 스냅샷을 도시한다. 도 11c는 시작점으로부터, 도 11a 및 11b의 스냅샷이 획득되는 종점까지의 눈 움직임의 궤적을 도시한다. 도 11c의 수평 축 및 수직 축은 각각 (예컨대, 검출기의 픽셀들과 관련하여) 임의의 단위들의, 눈의 수평 포지션 및 수직 포지션이다. 캘리브레이션 후에, 눈-시선 포지션들은 시선 각도로 변환될 수 있다. 스페클 패턴들을 검출하기 위한 프레임 레이트는 초당 약 100개의 프레임들이다. 추적의 지속기간은 약 20 초이다. 도 11c에서 볼 수 있듯이, 눈이 앞뒤로 그리고 좌우로, 그리고 위아래로 이동될 때, 눈의 움직임이 계속적으로 추적된다.

[0055] 스페클 패턴들을 사용하는 눈-시선 추적의 강건함을 보여주기 위해, 2개의 검출기들은 눈의 움직임들을 추적하기 위해 눈 근처에 포지셔닝될 수 있다. 도 12a는 2개의 상이한 검출기들에 의해 캡처된 스페클 패턴들의 스냅샷들(2개의 좌측 패널들) 및 2개의 상이한 카메라들에 의해 캡처된 눈의 정면도 및 측면도의 스냅샷들(2개의 우측 패널들)을 도시한다. 도 12b 및 12c는 2개의 검출기들에 의해 검출된 눈의 궤적들을 각각 도시한다. 도 12b 및 12c의 수평 축 및 수직 축은 각각, 임의의 단위들의, 눈의 수평 포지션 및 수직 포지션이다. 스페클 패턴들을 검출하기 위한 프레임 레이트는 2개의 검출기들 각각에 대해 초당 약 100개의 프레임들이다. 추적의 지속기간은 약 20 초이다. 볼 수 있듯이, 2개의 궤적들은 서로 일관되어, 이러한 눈-시선 추적 방법이 상당히 강건하다는 것을 입증한다.

[0056] 본 발명의 실시예들에 따라, 눈이 깜박이지 않는 한, 눈의 움직임들은 눈의 스페클 패턴들의 움직임들을 추적함으로써 연속적으로 추적될 수 있다. 눈이 깜박일 때, 스페클 패턴들이 사라질 수 있고, 결과적으로 한 프레임과 다음 프레임 간의 상관관계가 손실될 수 있다. 도 13a는 눈이 깜박일 때 눈의 정면도의 스냅샷을 도시한다. 도 13b는 눈이 깜박일 때 동시에 캡처된 검출기에서의 이미지를 도시한다. 도 13b에서 볼 수 있듯이, 눈이 깜박일 때, 스페클 패턴들이 손실된다. 깜박임이 충분히 오래, 예컨대, 수십 밀리초 동안 지속되면, 깜박임 전후에 캡처된 스페클 패턴들은 더 이상 서로 위상 상관관계들을 갖지 않을 수 있다. 결과적으로, 일부 실시예들에 따른, 눈-시선 추적에 사용되는 광학 흐름 알고리즘들과 같은 일부 알고리즘들이 순차적인 프레임들 사이의 위상 상관관계를 요구할 수 있기 때문에, 눈-시선 추적이 인터럽트될 수 있다.

[0057] 일부 실시예들에 따라, 추적 품질 스코어는 눈-시선 추적의 품질의 표시로서 사용될 수 있다. 예컨대, 추적 품질 스코어는 스페클 패턴들의 순차적인 프레임들 사이의 상관관계 정도의 척도일 수 있다. 일부 실시예들에서, 추적 품질 스코어는 상관관계 피크의 값으로부터 계산될 수 있다. 순차적인 프레임들 간의 상관관계가 완벽하면, 상관관계 피크의 값은 1(unity)에 가까울 수 있다. 순차적인 프레임들 간의 상관관계가 열악(poor)하면, 아마도 깜박임으로 인해, 상관관계 피크의 값이 1보다 상당히 더 낮을 수 있다.

[0058] 도 14a-14c 및 15a-15c는 본 발명의 실시예에 따른 눈-시선 추적의 일부 예시적인 결과들을 예시한다. 도 14a의 2개의 우측 패널들은 각각 2개의 상이한 눈 카메라들에 의해 캡처된 눈의 측면도 및 정면도의 스냅샷들을 각각 도시한다. 도 14a의 2개의 좌측 패널들은, 눈의 측면도 및 정면도의 스냅샷들이 캡처되는 동시에 2개의 상이한 검출기들에 의해 캡처된 스페클 패턴들의 스냅샷들을 도시한다. 도 14b는 눈 움직임의 부분적인 궤적을 도시한다. 도 14b의 수평 축 및 수직 축은 각각 임의의 단위들의, 눈의 수평 포지션 및 수직 포지션이다. 도 14c는 시간의 함수로써 추적 품질 스코어를 도시한다. 수직 축은 임의의 단위들의 추적 품질 스코어이다. 수평 축은 (초당 100개의 프레임들에 대응하는 10ms 인터벌의) 프레임 번호이다. 예시된 바와 같이, 추적 품질 스코어는 도시된 시간 기간에 대해 비교적 높다. 도 15a-15c는 도 14a-14c와 유사하지만, 상이한 시간 기간의 스냅샷들이다. 도 15a에 도시된 바와 같이, 눈의 깜박임으로 인해, 스페클 패턴이 손실된다. 도 15c는, 약 1060ms, 즉, 눈이 깜박이기 시작한 순간에 추적 품질 스코어가 갑자기 떨어진 것을 보여준다.

[0059] 위에 예시된 바와 같이, 스페클 패턴들을 추적함으로써, 눈의 상대적인 모션들의 정확한 추적이 달성될 수 있다. 그러나, 스페클 패턴들은 눈의 절대적인 눈-시선 포지션을 제공하지 않는다. 본 발명의 실시예에 따라, 눈의 초기 절대적인 눈-시선 포지션은 카메라-기반 방법과 같은 다른 방법에 의해 결정될 수 있다. 초기 눈-시선 포지션이 결정된 후, 초기 눈-시선 포지션에 대해 눈의 움직임들을 더 정확히 추적하기 위해 스페클 추적이 사용된다. 유사하게, 눈이 깜박일 때 상관관계가 손실되는 경우, 새로운 초기 절대적인 눈-시선 포지션은 카메라-기반 방법에 의해 결정될 수 있다. 새로운 초기 눈-시선 포지션이 설정된 후, 스페클 추적이 재개될 수 있다.

[0060] 도 16은 본 발명의 일부 실시예들에 따른 눈-시선 추적 방법(1600)을 예시하는 간략화된 흐름도를 예시한다. 방법(1600)은 카메라를 사용하여 눈-시선 추적을 수행하는 단계(1602), 및 시작 눈-시선 포지션이 획득되었는지를 결정하는 단계(1604)를 포함한다. 카메라를 사용한 눈-시선 추적은 카메라를 사용하여 눈의 복수의 이미지들을 기록함으로써 수행될 수 있다. 복수의 이미지들 중 하나는 시작 눈-시선 포지션을 결정하기 위해 선택될 수 있다. 예컨대, 눈이 깜박이기 때문에, 일부 이미지들은 아마도 비교적 열악한 품질을 가질 수 있다. 선택된 이미지에 기반하여, 시작 눈-시선 포지션은 미리-캘리브레이팅된 좌표계를 사용하여 결정될 수 있다. 예컨대, 도 1에 예시된 바와 같이, 동공 중심의 (x, y) 좌표들은 미리-캘리브레이팅된 원점에 대해 결정될 수 있다.

[0061] 시작 눈-시선의 포지션이 획득되지 않았다면, 방법(1600)은, 시작 눈-시선 포지션이 획득될 때까지, 카메라를 사용하여 눈-시선 추적(1602)을 계속할 수 있다. 일단 시작 눈-시선 포지션이 획득되었다면, 방법(1600)은 스페클 패턴을 사용하여 눈-시선 추적(1606)을 수행하기 시작할 수 있다. 위에 논의된 바와 같이, 스페클 패턴들을 사용하는 눈-시선 추적은 광 빔을 눈에 지향시키고, 눈에서 반사된 광 빔 중 일부에 의해 검출기에서 형성된 스페클 패턴들을 검출함으로써 수행될 수 있다. 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성되어, 스페클 패턴들이 검출될 수 있다. 눈의 움직임은, 광학 흐름 방법의 위상 상관관계 알고리즘과 같은 알고리즘을 사용하여 프레임마다 스페클 패턴들을 추적함으로써 추적될 수 있다.

[0062] 사용자가 깜박이면, 스페클 패턴들을 사용하여 눈 움직임을 추적하는 능력은 순차적인 프레임들 사이의 상관관계의 손실로 인해 손실될 수 있다. 따라서, 방법(1600)은, 깜박임이 발생하였는지 여부 및 깜박임의 결과로서 상관관계가 손실되었는지 여부를 결정하는 단계(1608)를 더 포함한다. 일부 실시예들에서, 상관관계가 손실되었는지 여부를 결정하는 단계는, (위에 논의된 바와 같이) 상관관계 피크의 값을 계산하는 단계, 및 상관관계 피크의 값과 미리 결정된 임계 값을 비교하는 단계를 포함할 수 있다. 상관관계 피크의 값이 미리 결정된 임계 값 이상이면, 상관관계가 손실되지 않았다고 결정될 수 있다. 반대로, 상관관계 피크의 값이 미리 결정된 임계 값 미만이면, 상관관계가 손실되었다고 결정될 수 있다.

[0063] 상관관계가 손실되지 않았다고 결정되면, 방법(1600)은 스페클 패턴을 추적(1606)함으로써 눈-시선 추적을 계속할 수 있다. 상관관계가 손실되었다고 결정되면, 방법(1600)은 카메라를 사용하여 다시 눈-시선 추적(1602)으로 돌아갈 수 있다. 새로운 시작 눈-시선 포지션이 카메라 추적을 이용하여 획득되면(1604), 방법(1600)은 스페클 패턴을 추적(1606)함으로써 눈-시선 추적을 재개할 수 있다.

[0064] 위에 논의된 바와 같이, 스페클 패턴을 사용하는 눈-시선 추적은 카메라를 사용하는 눈-시선 추적보다 더 정확할 수 있다. 일부 실시예들에서, 방법(1600)은 시작 눈-시선 포지션들을 결정하기 위한 최상의 카메라 프레임들을 선택하고, 더 양호한 정확도를 위해 카메라 프레임들 사이에서 스페클 추적을 수행할 수 있다. 일부 실시예들에서, 방법(1600)은 상당히 높은 프레임 레이트, 예컨대, 10,000 fps로 스페클 추적을 수행할 수 있고, 훨씬 더 낮은 프레임 레이트, 예컨대, 3 fps로 카메라 추적을 수행할 수도 있다.

[0065] 본 발명의 다른 실시예에 따라, 초기 절대적인 눈-시선 포지션은 미리-캘리브레이팅된 스페클 패턴들을 사용함으로써 획득될 수 있다. 눈의 스페클 패턴들은 각각의 개인마다 고유할 수 있다. 사용자의 눈-시선을 추적하기 전에, 사용자에 대해 캘리브레이션 절차가 수행될 수 있다. 캘리브레이션 절차에서, 사용자의 다양한 눈-시선 포지션들에 대응하는 다수의 스페클 패턴들이 획득될 수 있다. 다양한 눈-시선 포지션들은 카메라-기반 방법들 또는 다른 적절한 눈-시선 추적 방법들에 의해 결정될 수 있다. 따라서, 사용자에게 고유한 스페클 맵이 획득되어 시스템에 저장될 수 있다. 스페클 맵은 복수의 미리-캘리브레이팅된 스페클 패턴들 및 이들의 대응하는 눈-시선 포지션들을 포함할 수 있다.

[0066] 도 17은 본 발명의 실시예에 따른 눈-시선 추적 방법(1700)을 예시하는 간략화된 흐름도를 예시한다. 방법(1700)은 사용자에 대해 미리-캘리브레이팅된 스페클 맵을 사용하여 눈-시선 추적을 수행하는 단계(1702) 및 시작 눈-시선 포지션이 획득되었는지 여부를 결정하는 단계(1704)를 포함한다. 위에 논의된 바와 같이, 스페클 맵은 복수의 미리-캘리브레이팅된 스페클 패턴들 및 이들의 대응하는 눈-시선 포지션들을 포함할 수 있다. 복수의 초기 스페클 패턴들은, 광 빔을 눈에 지향시키고, 눈에 인접하게 포지셔닝된 검출기에서 복수의 초기 스페클 패턴들을 검출함으로써 획득될 수 있다. 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성되어, 스페클 패턴들이 검출될 수 있다. 복수의 초기 스페클 패턴들은, 초기 눈-시선 포지션을 결정하기 위해, 스페클 맵 내의 미리-캘리브레이팅된 스페클 패턴과 비교될 수 있다. 예컨대, 복수의 초기 스페클 패턴들 중 하나가 사용자에 대한 스페클 맵에 저장된 스페클 패턴과 매칭한다고 결정될 수 있다. 이어서, 매칭하는 스페클 패턴에 대한 대응하는 눈-시선 포지션이 시작 눈-시선 포지션으로서 사용될 수 있다.

[0067] 시작 포지션이 획득되지 않았다면, 방법(1700)은 스페클 맵(1702)을 사용하여 눈-시선 추적을 계속할 수 있다. 일단 시작 포지션이 획득되면, 시스템은 스페클 패턴을 추적함으로써 시작 눈-시선 포지션에 대해 눈-시선 추적(1706)을 시작할 수 있다. 눈의 움직임은, 광학 흐름 방법의 위상 상관관계 알고리즘과 같은 알고리즘들을 사용하여 프레임마다 스페클 패턴들을 추적함으로써 추적될 수 있다.

[0068] 방법(1700)은, 도 16과 관련하여 위에 논의된 방법(1600)과 유사하게, 깜박임이 발생하였는지 여부를 결정하는 단계(1708) 및 깜박임의 결과로서 상관관계가 손실되었는지 여부를 결정하는 단계(1708)를 더 포함한다. 상관관계가 손실되지 않았다고 결정되면, 방법(1700)은 스페클 추적(1706)을 계속할 수 있다. 상관관계가 손실되었다고 결정되면, 방법(1700)은 스페클 맵을 사용하여 눈-시선 추적(1702)을 수행하기 위해 다시 단계(1702)로 돌아갈 수 있다. 새로운 시작 포지션이 획득되면(1704), 방법(1700)은 스페클 추적(1706)을 재개할 수 있다. 일부 실시예들에서, 방법(1700)은 상당히 높은 프레임 레이트, 예컨대, 10,000 fps로 스페클 추적을 수행하고 훨씬 더 낮은 프레임 레이트, 예컨대, 3 fps로 스페클 맵을 사용하여 추적을 수행할 수 있다.

[0069] 도 18은 본 발명의 실시예에 따른, 사용자의 눈 움직임을 추적하는 방법(1800)을 예시하는 간략화된 흐름도이다. 방법(1800)은 광 빔을 눈에 지향시키는 단계(1802)를 포함한다. 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있어서, 스페클 패턴들이 검출될 수 있다. 눈은 광 빔 중 일부를 반사시킬 수 있다. 눈에 의해 반사된 광 빔 중 일부는 눈에 의해 확산하여 또는 경면 반사될 수 있다. 방법(1800)은 눈에 의해 반사된 광 빔 중 일부에 의해 검출기에서 형성된 복수의 스페클 패턴들을 검출하는 단계(1804)를 더 포함한다. 복수의 스페클 패턴들은 미리 결정된 프레임 레이트로 검출된다. 방법(1800)은 프레임마다 복수의 스페클 패턴들을 추적함으로써 눈의 움직임을 추적하는 단계(1806)를 더 포함한다. 일부 실시예들에서, 미리 결정된 프레임 레이트는 초당 약 5,000개의 프레임들을 초과하고, 초당 약 15,000개의 프레임들 미만이다. 일 실시예에서, 미리 결정된 프레임 레이트는 초당 약 10,000개의 프레임들이다. 일부 다른 실시예들에서, 미리 결정된 프레임 레이트는 초당 약 50개의 프레임들을 초과하고, 초당 약 15,000개의 프레임들 미만이다. 일부 실시예들에서, 복수의 스페클 패턴들을 추적하는 것은 광학 흐름 알고리즘을 사용하여 수행된다. 일 실시예에서, 광학 흐름 알고리즘은 위상 상관관계 방법을 사용한다.

[0070] 도 19는 본 발명의 실시예에 따라 사용자의 눈의 시선을 추적하는 방법(1900)을 예시하는 간략화된 흐름도이다. 방법(1900)은 제1 프레임 레이트로 카메라를 사용하여 눈의 제1 복수의 이미지들을 기록하는 단계(1902); 및 눈의 제1 복수의 이미지들에 기반하여 눈의 시작 포지션을 결정하는 단계(1904)를 포함한다. 일부 실시예들에서, 제1 복수의 이미지들 중 하나는 눈의 시작 포지션을 결정하기 위해 선택될 수 있다. 선택된 이미지에 기반하여, 눈의 시작 포지션은 미리-캘리브레이팅된 좌표계를 사용하여 결정될 수 있다. 예컨대, 도 1에 예시된 바와 같이, 동공 중심의 (x, y) 좌표들은 미리-캘리브레이팅된 원점에 대해 결정될 수 있다.

[0071] 방법(1900)은 광 빔을 눈에 지향시키는 단계(1906)를 더 포함할 수 있다. 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있다. 눈은 광 빔 중 일부를 반사시킬 수 있다. 눈에 의해 반사된 광 빔 중 일부는 눈에 의해 확산하여 또는 경면 반사될 수 있다. 방법(1900)은 눈에 의해 반사된 광 빔 중 일부에 의해 검출기에서 형성된 제1 복수의 스페클 패턴들을 검출하는 단계(1908), 및 프레임마다 제1 복수의 스페클 패턴들을 추적함으로써 시작 포지션에 대해 눈의 움직임을 추적하는 단계(1910)를 더 포함할 수 있다. 일부 실시예들에서, 복수의 스페클 패턴들은 제1 프레임 레이트를 초과하는 제2 프레임 레이트로 검출된다. 일부 실시예들에서, 제1 프레임 레이트는 약 10 fps 미만이고, 제2 프레임 레이트는 약 50 fps를 초과하고 약 15,000 fps 미만이다. 일 실시예에서, 제1 프레임 레이트는 초당 약 3개의 프레임들이며, 제2 프레임 레이트는 초당 약 10,000개의 프레임들이다.

[0072] 일부 실시예들에서, 방법(1900)은, 눈이 깜박였다고 결정하는 단계(1920)를 더 포함할 수 있다. 예컨대, 도 16 및 17에 관련하여 위에 논의된 바와 같이, 추적 품질 스코어에 기반하여, 눈이 깜박였는지 여부가 결정될 수 있다. 방법(1900)은, 눈이 깜박였다고 결정한 것에 대한 응답으로, 새로운 시작 포지션을 결정하기 위해 단계(1902)로 되돌아갈 수 있다. 예컨대, 방법(1900)은, 카메라를 사용하여 눈의 제2 복수의 이미지들을 기록하고, 눈의 제2 복수의 이미지들에 기반하여 새로운 시작 포지션을 결정함으로써 새로운 시작 포지션을 결정하는 단계; 및 제2 프레임 레이트로 검출기에서 형성된 제2 복수의 스페클 패턴들을 검출하고, 제2 복수의 스페클 패턴들을 프레임마다 추적함으로써 새로운 시작 포지션에 대해 눈의 움직임을 추적하는 단계를 포함할 수 있다. 눈이 깜박이지 않았다고 결정되면, 방법(1900)은 단계들(1908 및 1910)로 계속될 수 있다.

[0073] 도 20은 본 발명의 일부 실시예들에 따른, 사용자의 눈의 시선을 추적하는 방법(2000)을 예시하는 간략화된 흐름도이다. 방법(2000)은, 도 21-23과 관련하여 아래에 추가로 설명되는 바와 같이, 사용자의 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 단계(2010), 미리-캘리브레이팅된 스페클 맵을 사용하여 눈의 시작 포지션을 결정하는 단계(2020), 및 시작 포지션에 대해 눈의 움직임을 추적하는 단계(2030)를 포함할 수 있다.

[0074] 도 21은 본 발명의 실시예에 따른, 사용자의 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 방법(2010)을 예시하는 간략화된 흐름도이다. 방법(2010)은 제1 광 빔을 눈에 지향시키는 단계(2011)를 포함한다. 제1 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있다. 눈은 제1 광 빔 중 일부를 반사시킬 수 있다. 방법(2010)은 눈에 의해 반사된 제1 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제1 스페클 패턴들을 검출하는 단계(2012)를 더 포함한다. 복수의 제1 스페클 패턴들 각각은 눈의 개개의 제1 포지션에 대응한다. 방법(2010)은 카메라를 사용하여 눈의 복수의 이미지들을 기록하는 단계(2013)를 더 포함한다. 개개의 제1 스페클 패턴이 검출될 때, 눈의 복수의 이미지들 각각이 기록된다. 방법(2010)은 눈의 개개의 이미지에 기반하여 각각의 개개의 제1 스페클 패턴에 대응하는 눈의 개개의 제1 포지션을 결정하는 단계(2014), 및 복수의 제1 스페클 패턴들 및 눈의 대응하는 제1 포지션들을 저장하는 단계(2015)를 더 포함한다.

[0075] 도 22는 본 발명의 실시예에 따른, 미리-캘리브레이팅된 스페클 맵을 사용하여 눈의 시작 포지션을 결정하는 방법(2020)을 예시하는 간략화된 흐름도이다. 방법(2020)은 제2 광 빔을 눈에 지향시키는 단계(2021)를 포함한다. 제2 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있다. 눈은 제2 광 빔 중 일부를 반사시킬 수 있다. 방법(2020)은 눈에 의해 반사된 제2 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제2 스페클 패턴들을 검출하는 단계(2022), 및 복수의 제2 스페클 패턴들과 저장된 복수의 제1 스페클 패턴들과 눈의 저장된 대응하는 제1 포지션들 사이의 비교들에 기반하여, 눈의 시작 포지션을 결정하는 단계(2023)를 더 포함한다.

[0076] 도 23은 본 발명의 실시예에 따른, 시작 포지션에 대해 눈의 움직임을 추적하는 방법(2030)을 예시하는 간략화된 흐름도이다. 방법(2030)은 제3 광 빔을 눈에 지향시키는 단계(2031)를 포함한다. 제3 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있다. 눈은 제3 광 빔 중 일부를 반사시킬 수 있다. 방법(2030)은 눈에 의해 반사된 제3 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제3 스페클 패턴들을 검출하는 단계(2032)를 더 포함한다. 복수의 제3 스페클 패턴들은 미리 결정된 프레임 레이트로 검출된다. 방법(2030)은 프레임마다 제3 복수의 스페클 패턴들을 추적함으로써 시작 포지션에 대해 눈의 움직임을 추적하는 단계를 더 포함한다.

[0077] 위에 논의된 바와 같이, 눈 스페클 패턴들은 각각의 개인마다 고유할 수 있다. 따라서, 사용자의 식별을 위해 눈 스페클 패턴들이 사용될 수 있다. 도 24는 본 발명의 실시예에 따른 사용자의 식별 방법(2400)을 예시하는 간략화된 흐름도이다. 방법(2400)은 제1 광 빔을 제1 눈에 지향시키는 단계(2402)를 포함한다. 제1 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있다. 제1 눈은 제1 광 빔 중 일부를 반사시킬 수 있다. 방법(2400)은 제1 눈에 의해 반사된 제1 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제1 스페클 패턴들을 검출하는 단계(2404)를 더 포함한다. 복수의 제1 스페클 패턴들 각각은 제1 눈의 개개의 제1 포지션에 대응한다. 방법(2400)은 카메라를 사용하여 제1 눈의 복수의 이미지들을 기록하는 단계(2406)를 더 포함한다. 개개의 제1 스페클 패턴이 검출될 때, 제1 눈의 복수의 이미지들 각각이 기록된다. 방법(2400)은 제1 눈의 개개의 이미지에 기반하여 각각의 개개의 제1 스페클 패턴에 대응하는 제1 눈의 개개의 제1 포지션을 결정하는 단계(2408), 및 복수의 제1 스페클 패턴들 및 제1 눈의 대응하는 제1 포지션들을 저장하는 단계(2410)를 더 포함한다. 방법(2400)은 제2 광 빔을 사용자의 눈에 지향시키는 단계(2412)를 더 포함한다. 제2 광 빔은, 레이저와 같은 코히어런트 광원 또는 발광 다이오드(LED)들과 같은 부분적인 코히어런트 광원에 의해 생성될 수 있다. 눈은 제2 광 빔 중 일부를 반사시킬 수 있다. 방법(2400)은 눈에 의해 반사된 제2 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제2 스페클 패턴들을 검출하는 단계(2414)를 더 포함한다. 복수의 제2 스페클 패턴들 각각은 눈의 개개의 제2 포지션에 대응한다. 방법(2400)은 복수의 제2 스페클 패턴들과 복수의 제1 스페클 패턴들을 비교함으로써 사용자가 제1 사용자라고 결정하는 단계(2416)를 더 포함한다.

[0078] 도 16-24 각각에 예시된 특정 단계들이 본 발명의 실시예에 따른 특정 방법을 제공한다는 것이 인식되어야 한다. 대안적인 실시예들에 따라 다른 시퀀스들의 단계들이 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 약술된 단계들을 상이한 순서로 수행할 수 있다. 또한, 도 16-24에 예시된 개별 단계들은 개별 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 또한, 특정 애플리케이션들에 의존하여 부가적인 단계들이 부가 또는 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0079] 또한, 본원에서 설명된 예들 및 실시예들은 단지 예시 목적들을 위한 것이고, 이에 대한 다양한 수정들 또는 변화들이 당업자에게 연상될 것이며 본 출원의 사상 및 범위 및 첨부된 청구항들의 범위 내에 포함될 것임이 이해된다.

Claims (20)

1. 사용자의 눈의 움직임을 추적하는 방법으로서,
   광 빔을 상기 눈에 지향시키는 단계 ― 상기 눈은 상기 광 빔 중 일부를 반사시킴 ― ;
   상기 눈에 의해 반사된 상기 광 빔 중 일부에 의해 검출기에서 형성된 복수의 스페클 패턴들(speckle patterns)을 검출하는 단계 ― 상기 복수의 스페클 패턴들은 미리 결정된 프레임 레이트로 검출됨 ― ; 및
   상기 복수의 스페클 패턴들을 프레임마다 추적함으로써 상기 눈의 움직임을 추적하는 단계를 포함하는,
   사용자의 눈의 움직임을 추적하는 방법.
2. 제1 항에 있어서,
   상기 눈에 의해 반사된 상기 광 빔 중 일부는 상기 눈에 의해 확산하여(diffusely) 반사되거나 경면 반사되는(specular reflected),
   사용자의 눈의 움직임을 추적하는 방법.
3. 제1 항에 있어서,
   상기 미리 결정된 프레임 레이트는 초당 약 5,000개의 프레임들을 초과하고 초당 약 15,000개의 프레임들 미만인,
   사용자의 눈의 움직임을 추적하는 방법.
4. 제3 항에 있어서,
   상기 미리 결정된 프레임 레이트는 초당 약 10,000개의 프레임들인,
   사용자의 눈의 움직임을 추적하는 방법.
5. 제1 항에 있어서,
   상기 미리 결정된 프레임 레이트는 초당 약 50개의 프레임들을 초과하고 초당 약 15,000개의 프레임들 미만인,
   사용자의 눈의 움직임을 추적하는 방법.
6. 제1 항에 있어서,
   상기 복수의 스페클 패턴들을 추적하는 것은 광학 흐름 알고리즘(optical flow algorithm)을 사용하여 수행되는,
   사용자의 눈의 움직임을 추적하는 방법.
7. 제6 항에 있어서,
   상기 광학 흐름 알고리즘은 위상 상관관계 알고리즘(phase correlation algorithm)을 포함하는,
   사용자의 눈의 움직임을 추적하는 방법.
8. 제1 항에 있어서,
   상기 광 빔은 적외선 방사(infrared radiation)를 포함하는,
   사용자의 눈의 움직임을 추적하는 방법.
9. 사용자의 눈의 시선을 추적하는 방법으로서,
   카메라를 사용하여 상기 눈의 제1 복수의 이미지들을 제1 프레임 레이트로 기록하는 단계;
   상기 눈의 상기 제1 복수의 이미지들에 기반하여, 상기 눈의 시작 포지션을 결정하는 단계;
   광 빔을 상기 눈에 지향시키는 단계 ― 상기 눈은 상기 광 빔 중 일부를 반사시킴 ― ;
   상기 눈에 의해 반사된 상기 광 빔 중 일부에 의해 검출기에서 형성된 제1 복수의 스페클 패턴들을 검출하는 단계 ― 상기 복수의 스페클 패턴들은 상기 제1 프레임 레이트를 초과하는 제2 프레임 레이트로 검출됨 ― ; 및
   상기 제1 복수의 스페클 패턴들을 프레임마다 추적함으로써 상기 시작 포지션에 대해 상기 눈의 움직임을 추적하는 단계를 포함하는,
   사용자의 눈의 시선을 추적하는 방법.
10. 제9 항에 있어서,
    상기 눈에 의해 반사된 상기 광 빔 중 일부는 상기 눈에 의해 확산하여 반사되거나 경면 반사되는,
    사용자의 눈의 시선을 추적하는 방법.
11. 제9 항에 있어서,
    상기 복수의 스페클 패턴들을 추적하는 것은 광학 흐름 알고리즘을 사용하여 수행되는,
    사용자의 눈의 시선을 추적하는 방법.
12. 제11 항에 있어서,
    상기 광학 흐름 알고리즘은 위상 상관관계 알고리즘을 포함하는,
    사용자의 눈의 시선을 추적하는 방법.
13. 제9 항에 있어서,
    상기 제1 프레임 레이트는 초당 약 10개의 프레임들 미만이고, 상기 제2 프레임 레이트는 초당 약 50개의 프레임들을 초과하고 초당 약 15,000개의 프레임들 미만인,
    사용자의 눈의 시선을 추적하는 방법.
14. 제9 항에 있어서,
    상기 눈이 깜박였다고 결정하는 단계;
    새로운 시작 포지션을 결정하는 단계; 및
    상기 새로운 시작 포지션에 대해 상기 눈의 움직임을 추적하는 단계를 더 포함하고,
    상기 새로운 시작 포지션을 결정하는 단계는:
    상기 카메라를 사용하여 상기 눈의 제2 복수의 이미지들을 기록하고; 그리고
    상기 눈의 상기 제2 복수의 이미지들에 기반하여, 상기 새로운 시작 포지션을 결정함으로써,
    수행되고,
    상기 새로운 시작 포지션에 대해 상기 눈의 움직임을 추적하는 단계는:
    상기 검출기에서 형성된 제2 복수의 스페클 패턴들을 상기 제2 프레임 레이트로 검출하고; 그리고
    상기 제2 복수의 스페클 패턴들을 프레임마다 추적함으로써
    수행되는,
    사용자의 눈의 시선을 추적하는 방법.
15. 사용자의 눈의 시선을 추적하는 방법으로서,
    상기 사용자의 눈의 미리-캘리브레이팅된 스페클 맵(pre-calibrated speckle map)을 획득하는 단계;
    상기 미리-캘리브레이팅된 스페클 맵을 사용하여 상기 눈의 시작 포지션을 결정하는 단계; 및
    상기 시작 포지션에 대해 상기 눈의 움직임을 추적하는 단계를 포함하고,
    상기 사용자의 눈의 미리-캘리브레이팅된 스페클 맵을 획득하는 단계는:
    제1 광 빔을 상기 눈에 지향시키고 ― 상기 눈은 상기 제1 광 빔 중 일부를 반사시킴 ― ;
    상기 눈에 의해 반사된 상기 제1 광 빔 중 일부에 의해 검출기에서 형성된 복수의 제1 스페클 패턴들을 검출하고 ― 상기 복수의 제1 스페클 패턴들 각각은 상기 눈의 개개의 제1 포지션에 대응함 ― ;
    카메라를 사용하여 상기 눈의 복수의 이미지들을 기록하고 ― 상기 눈의 상기 복수의 이미지들 각각은, 개개의 제1 스페클 패턴이 검출될 때 기록됨 ― ;
    상기 눈의 상기 개개의 이미지에 기반하여, 각각의 개개의 제1 스페클 패턴에 대응하는 상기 눈의 상기 개개의 제1 포지션을 결정하고; 그리고
    상기 복수의 제1 스페클 패턴들 및 상기 눈의 대응하는 제1 포지션들을 저장함으로써,
    수행되고,
    상기 미리-캘리브레이팅된 스페클 맵을 사용하여 상기 눈의 시작 포지션을 결정하는 단계는:
    제2 광 빔을 상기 눈에 지향시키고 ― 상기 눈은 상기 제2 광 빔 중 일부를 반사시킴 ― ;
    상기 눈에 의해 반사된 상기 제2 광 빔 중 일부에 의해 상기 검출기에서 형성된 복수의 제2 스페클 패턴들을 검출하고; 그리고
    상기 복수의 제2 스페클 패턴들과 상기 저장된 복수의 제1 스페클 패턴들 간의 비교들 및 상기 눈의 상기 저장된 대응하는 제1 포지션들에 기반하여, 상기 눈의 시작 포지션을 결정함으로써,
    수행되고,
    상기 시작 포지션에 대해 상기 눈의 움직임을 추적하는 단계는:
    제3 광 빔을 상기 눈에 지향시키고 ― 상기 눈은 상기 제3 광 빔 중 일부를 반사시킴 ― ;
    상기 눈에 의해 반사된 상기 제3 광 빔 중 일부에 의해 상기 검출기에서 형성된 복수의 제3 스페클 패턴들을 검출하고 ― 상기 복수의 제3 스페클 패턴들은 미리 결정된 프레임 레이트로 검출됨 ― ; 그리고
    상기 복수의 제3 스페클 패턴들을 프레임마다 추적함으로써 상기 시작 포지션에 대해 상기 눈의 움직임을 추적함으로써,
    수행되는,
    사용자의 눈의 시선을 추적하는 방법.
16. 제15 항에 있어서,
    상기 눈에 의해 반사된 상기 제1 광 빔 중 일부, 상기 눈에 의해 반사된 상기 제2 광 빔 중 일부, 및 상기 눈에 의해 반사된 상기 제3 광 빔 중 일부 각각은 상기 눈에 의해 확산하여 반사되거나 경면 반사되는,
    사용자의 눈의 시선을 추적하는 방법.
17. 제15 항에 있어서,
    상기 복수의 제3 스페클 패턴들을 추적하는 것은 광학 흐름 알고리즘을 사용하여 수행되는,
    사용자의 눈의 시선을 추적하는 방법.
18. 제17 항에 있어서,
    상기 광학 흐름 알고리즘은 위상 상관관계 알고리즘을 포함하는,
    사용자의 눈의 시선을 추적하는 방법.
19. 제15 항에 있어서,
    상기 미리 결정된 프레임 레이트는 초당 약 50개의 프레임들을 초과하고 초당 약 15,000개의 프레임들 미만인,
    사용자의 눈의 시선을 추적하는 방법.
20. 제15 항에 있어서,
    상기 눈이 깜박였다고 결정하는 단계;
    상기 눈의 새로운 시작 포지션을 결정하는 단계; 및
    상기 새로운 시작 포지션에 대해 상기 눈의 움직임을 추적하는 단계를 더 포함하고,
    상기 눈의 새로운 포지션을 결정하는 단계는:
    제4 광 빔을 상기 눈에 지향시키고 ― 상기 눈은 상기 제4 광 빔 중 일부를 반사시킴 ― ;
    상기 눈에 의해 반사된 상기 제4 광 빔 중 일부에 의해 상기 검출기에서 형성된 복수의 제4 스페클 패턴들을 검출하고; 그리고
    상기 복수의 제4 스페클 패턴들과 상기 저장된 복수의 제1 스페클 패턴들 간의 비교들 및 상기 눈의 상기 저장된 대응하는 제1 포지션들에 기반하여, 상기 눈의 상기 새로운 시작 포지션을 결정함으로써,
    수행되고,
    상기 새로운 포지션에 대해 상기 눈의 움직임을 추적하는 단계는:
    제5 광 빔을 상기 눈에 지향시키고 ― 상기 눈은 상기 제5 광 빔 중 일부를 반사시킴 ― ;
    상기 눈에 의해 반사된 상기 제5 광 빔 중 일부에 의해 상기 검출기에서 형성된 복수의 제5 스페클 패턴들을 검출하고 ― 상기 복수의 제5 스페클 패턴들은 상기 미리 결정된 프레임 레이트로 검출됨 ― ; 그리고
    상기 복수의 제5 스페클 패턴들을 프레임마다 추적함으로써 상기 새로운 시작 포지션에 대해 상기 눈의 움직임을 추적함으로써,
    수행되는,
    사용자의 눈의 시선을 추적하는 방법.

Images