KR20180072734A

KR20180072734A - 눈 피처들을 사용한 눈 포즈 식별

Info

Publication number: KR20180072734A
Application number: KR1020187013960A
Authority: KR
Inventors: 아드리안 켈러; 미첼 안토니 크러그; 골람레자 아마예
Original assignee: 매직 립, 인코포레이티드
Priority date: 2015-10-16
Filing date: 2016-10-12
Publication date: 2018-06-29
Also published as: US11749025B2; IL291684B; EP3761232A1; JP2022095879A; NZ741863A; JP7399210B2; EP3362946A4; EP3362946B1; US20190114480A1; AU2021240222B2; IL297610B1; WO2017066296A1; IL297610A; CN108369653B; IL258620A; IL291684B2; CA3001682C; CA3170014A1; JP2018532199A; JP7136875B2

Abstract

눈의 피처들을 사용하여 눈 포즈 식별을 위한 시스템들 및 방법들이 설명된다. 시스템들 및 방법들의 실시예들은 눈의 동공 및 변연 경계들을 획득하기 위해 눈 이미지에서 눈의 홍채를 세그먼트화하는 것, 눈의 동공 및 변연 경계들을 사용하여 눈 포즈의 2개의 각도 좌표들(예컨대, 피치 및 요)을 결정하는 것, 눈의 눈 피처(예컨대, 홍채 피처 또는 공막 피처)를 식별하는 것, 식별된 눈 피처를 사용하여 눈 포즈의 제3 각도 좌표(예컨대, 롤)를 결정하는 것, 및 이미지 또는 생체 인증 애플리케이션의 디스플레이를 위해 눈 포즈 측정을 활용하는 것을 포함할 수 있다. 일부 구현들에서, 홍채 세그먼트화는 수행되지 않을 수 있고, 그리고 2개의 각도 좌표들은 눈 피처들로부터 결정된다.

Description

눈 피처들을 사용한 눈 포즈 식별

[0001] 본 출원은 2015년 10월 16일에 출원되고, 발명의 명칭이 "EYE POSE IDENTIFICATION USING EYE FEATURES"인 미국 가 출원 번호 제 62/242,838호에 대해 35 U.S.C. § 119(e) 하에서 우선권을 주장하고, 이로써 이 가출원은 그 전체가 인용에 의해 본원에 포함된다.

[0002] 본 개시내용은 일반적으로 눈 이미저리(imagery)를 프로세싱하기 위한 시스템들 및 방법들에 관한 것이다.

[0003] 인간 홍채는 생체 인증 정보의 소스로서 사용될 수 있다. 생체 인증 정보는 개인의 인증 또는 식별을 제공할 수 있다. 일반적으로 생체 인증 템플릿(template)이라 불리는 생체 인증 정보를 추출하는 프로세스는 통상적으로 많은 난제들을 가진다.

[0004] 일 양상에서, 눈 포즈 식별을 위한 방법이 개시된다. 방법은 하드웨어 컴퓨터 프로세서의 제어 하에서 수행된다. 방법은 눈의 동공 및 변연(limbic) 경계들을 획득하기 위해 눈 이미지에서 눈의 홍채를 세그먼트화(segment)하는 단계; 눈의 동공 및 윤부(limbus) 경계들을 사용하여 눈 포즈 측정의 2개의 각도 좌표들을 결정하는 단계; 눈의 홍채 피처(feature)를 식별하는 단계; 식별된 홍채 피처를 사용하여 눈 포즈 측정의 제3 각도 좌표를 결정하는 단계; 및 이미지 또는 생체 인증 애플리케이션의 디스플레이를 위해 눈 포즈 측정을 활용하는 단계를 포함한다. 다른 양상에서, 눈 포즈 식별을 위한 방법이 머리 장착 디스플레이 시스템에 의해 수행될 수 있다. 홍채 피처들은 홍채의 텍스처(texture)들, 패턴들 또는 키포인트(keypoint)들을 포함할 수 있다. 다른 양상에서, 홍채 피처들에 부가적으로 또는 대안적으로, 방법은 공막(scleral) 피처들을 사용하여 구현될 수 있다.

[0005] 다른 양상에서, 눈 이미지로부터 눈 포즈를 식별하기 위한 방법이 설명된다. 방법은 하드웨어 컴퓨터 프로세서의 제어 하에서 수행되고 그리고 눈 이미지로부터 눈의 피치(pitch) 및 요(yaw)를 결정하는 단계; 눈 피처로부터 눈의 롤(roll)을 결정하는 단계; 및 피치, 요 및 롤로부터 적어도 부분적으로 기반하여 눈 이미지에서 눈 포즈를 결정하는 단계를 포함한다. 착용가능 디스플레이 시스템은 방법을 수행하는 프로세서를 포함할 수 있다. 눈 피처는 홍채 피처 또는 공막 피처를 포함할 수 있다.

[0006] 다른 양상에서, 머리 장착 디스플레이의 동작 에러를 검출하기 위한 방법이 개시된다. 방법은 하드웨어 컴퓨터 프로세서의 제어 하에서 수행되고 그리고 머리 장착 디스플레이의 착용자의 제1 눈의 제1 롤 각도를 결정하는 단계, 머리 장착 디스플레이의 착용자의 제2 눈의 제2 롤 각도를 결정하는 단계, 및 제1 롤 각도와 제2 롤 각도의 비교에 적어도 부분적으로 기반하여 머리 장착 디스플레이 동작의 동작 에러를 검출하는 단계를 포함한다.

[0007] 이 명세서에서 설명된 청구 대상의 하나 또는 그 초과의 구현들의 세부사항들은 아래의 첨부 도면들 및 상세한 설명에서 설명된다. 다른 특징들, 양상들 및 장점들은 상세한 설명, 도면들 및 청구항들로부터 자명하게 될 것이다. 이 요약도 다음 상세한 설명도 본 청구 대상의 범위를 정의하거나 제한하도록 주장하지 않는다.

[0008] 도 1은 눈 피처들을 도시하는 눈의 예를 개략적으로 예시한다.
[0009] 도 1a는 눈의 자연스러운 휴지 상태에 대해 눈 포즈 방향을 측정하는데 사용될 수 있는 3개의 각도들(예컨대, 요, 피치 및 롤)의 예를 도시한다.
[0010] 도 2a-도 2b는 홍채 피처들을 사용하는 예시적인 눈 포즈 식별 시스템을 개략적으로 예시한다.
[0011] 도 3a-도 3b는 눈의 눈 포즈를 식별하기 위한 홍채 코드 식별 시스템의 예를 개략적으로 예시한다.
[0012] 도 4는 눈 포즈 식별 루틴의 예를 개략적으로 예시한다.
[0013] 도 5는 착용가능 디스플레이 시스템의 예를 개략적으로 예시한다.
[0014] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응을 표시하기 위해 재사용될 수 있다. 도면들은 본원에 설명된 예시적 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.

개요

[0015] 눈으로부터 생체 인증 정보를 추출하는 것은 일반적으로 눈 이미지 내에서 홍채의 세그먼트화를 위한 절차를 포함한다. 홍채 세그먼트화는 홍채의 동공 및 변연 경계들을 찾고, 이들이 홍채를 가리면 상부 또는 하부 눈꺼풀들을 로컬라이징(localizing)하고, 속눈썹들, 그림자(shadow)들, 또는 반사들의 가려짐(occlusion)들을 검출하고 배제하는 것 등을 포함하는, 홍채 경계들을 로케이팅(locating)하는 것을 포함하는 동작들을 포함할 수 있다. 예컨대, 눈 이미지는 얼굴의 이미지에 포함될 수 있거나 눈주위 지역의 이미지일 수 있다. 홍채 세그먼트화를 수행하기 위해, 동공의 경계(홍채의 내부 경계) 및 윤부(홍채의 외부 경계) 둘 모두는 이미지 데이터의 별개의 세그먼트들로서 식별될 수 있다.

[0016] 추가로, 생체 인증 정보(예컨대, 눈 포즈)를 획득하기 위해, 컴퓨터의 사용자의 눈 움직임들을 추적하기 위한 알고리즘들이 존재한다. 예컨대, 컴퓨터의 모니터에 커플링된 카메라는 눈 움직임들을 식별하기 위한 이미지들을 제공할 수 있다. 그러나, 눈 추적에 사용되는 카메라들은 사용자의 눈들로부터 약간의 거리가 있다. 예컨대, 카메라는 컴퓨터에 커플링된 사용자의 모니터의 최상부에 위치될 수 있다. 결과로서, 카메라에 의해 생성된 눈들의 이미지들은 종종 빈약한 해상도로 생성된다.

[0017] 부가적으로, 카메라와 사용자의 머리를 관련시키는 기하구조는 일반적으로 눈 움직임들을 추적하는 알고리즘에 선험적으로 제공되지 않는다. 결과로서, 사용자의 눈 포즈를 결정하는 것은 난제들을 제시할 수 있고, 그리고 사용자의 머리의 좌표계에 쉽게 관련되지 않을 수 있다. 본원에 개시된 기법들로 인해, 눈 포즈 식별은 실질적으로 눈의 지향 방향을 식별하고 그리고 또한 홍채 위의 눈꺼풀들에 의한 가려짐 영역들을 예측하는데 사용될 수 있다. 본원에 설명된 눈 포즈 식별의 실시예들은 유리하게 눈꺼풀들에 의해 가려진 홍채의 부분을 추정하는데 사용될 수 있다. 부가적으로, 일부 구현들에서, 이 눈 포즈 식별은 세그먼트화 알고리즘들 및 사용자의 머리에 대한 좌표 프레임의 식별 대신, 또는 이에 대한 시작 포인트로서 사용될 수 있는 눈꺼풀 위치에 대한 모델을 생성하는데 사용될 수 있다.

[0018] 착용가능 HMD(head mounted display)의 맥락에서, 카메라들은 사용자의 모니터에 커플링된 카메라보다 사용자의 눈들에 더 가까울 수 있다. 예컨대, 카메라들은 착용가능 HMD 상에 장착될 수 있고, 착용가능 HMD 자체는 사용자의 머리에 장착된다. 그런 카메라에 대한 눈들의 근접성은 더 높은 해상도 눈 이미저리를 초래할 수 있다. 따라서, 컴퓨터 비전 기법들이 사용자의 눈들로부터, 특히 홍채(예컨대, 홍채 피처)에서 또는 홍채를 둘러싸는 공막(예컨대, 공막 피처)에서 시각적 피처들을 추출하는 것이 가능하다. 예컨대, 눈에 가까운 카메라로 볼 때, 눈의 홍채는 상세한 구조들을 보여줄 것이다. 그런 홍채 피처들은 적외선 조명하에서 관찰될 때 특히 현저하고 생체 인증 식별에 사용될 수 있다. 이들 홍채 피처들은 사용자마다 고유하고 지문 방식으로 사용자를 고유하게 식별하는데 사용될 수 있다. 눈 피처들은 눈의 공막(홍채 외측)의 혈관들을 포함할 수 있고, 혈관들은 또한 적색 또는 적외선 광 하에서 보여질 때 특히 현저하게 보일 수 있다.

[0019] 본 개시내용은 "디스크립터(descriptor)"와 연관될 수 있는 홍채 피처들을 설명한다. 디스크립터는 홍채 피처에 가까운 지역의 수치 표현일 수 있다. 디스크립터는 눈의 다른 이미지에서 동일한 홍채 피처의 인식을 위해 사용될 수 있다. 본원에 개시된 바와 같이, 그런 홍채 피처들은 일반적인 의미에서 눈들의 모션을 추적할뿐 아니라, 눈의 포즈(예컨대, 시선 방향)를 결정하는데 사용될 수 있다. 예컨대, 2개의 눈 이미지들을 관련시키는 호모그래피(homography)의 컴퓨테이션(computation)(예컨대, 2개의 눈 이미지들 사이의 수학적 변환)은 눈 포즈를 식별하는데 사용될 수 있다: 2개의 이미지들 사이의 홍채 피처들의 변화는 초기 눈 포즈(다른 이미지 내)에 대해 새로운 눈 포즈(예컨대, 하나의 이미지 내)를 표시할 수 있다. 홍채 피처들에 부가적으로 또는 대안적으로, 눈의 공막 내 피처들에 대한 디스크립터들이 사용될 수 있다.

[0020] 본 개시내용은 또한 눈 포즈 식별의 예들을 설명한다. 홍채 피처들을 사용하여, 적어도 2개의 눈 이미지들 사이의 호모그래피의 컴퓨테이션은 FBT(feature-based tracking technique: 피처 기반 추적 기법), CBT(code-based tracking: 코드 기반 추적) 기법, 또는 둘 모두를 사용하여 프로세싱될 수 있다. 양쪽 기법들의 특정 실시예들에서, 홍채가 먼저 세그먼트화되는데, 예컨대 동공 및 홍채의 윤부 경계들은 이미지 데이터의 별개의 세그먼트들로서 식별된다. 이런 세그먼트화로부터, 눈 포즈의 2개의 각도 치수들(예컨대, 피치 및 요 각도들)이 결정될 수 있다. 홍채 피처들을 비교함으로써, 눈 포즈의 제3 각도 치수(예컨대, 롤)가 식별될 수 있고, 차례로 모두 3개의 각도 치수들이 식별되면, 눈에 대한 눈 포즈가 식별될 수 있다. 아래에서 추가로 설명될 바와 같이, 피처 기반 추적 기법 및 코드 기반 추적 기법은, 각각의 기법이 눈 포즈의 제3 각도 치수(예컨대, 눈의 롤 각도)를 컴퓨팅하는 방식이 변할 수 있다. 다양한 실시예들에서, 눈의 모두 3개의 각도 치수들은, 필수적으로 눈 이미지들에 대해 홍채 세그먼트화를 수행하지 않고, 다양한 눈 이미지들의 홍채 피처들의 비교로부터 결정될 수 있다.

[0021] 다른 난제들은, 착용가능 HMD로부터 눈 이미저리를 프로세싱할 때 존재할 수 있다. 예컨대, HMD에 장착된 카메라들로부터의 이미지들을 사용하여 눈을 추적하는 것은 다른 문제들을 도입할 수 있다: 눈 움직임은 HMD 움직임 또는 HMD에 장착된 카메라들의 움직임으로부터 구별하기 어려울 수 있다. 그러나, 본원에 설명된 기법들을 사용하면, HMD로부터 획득된 이미지들을 사용하여 눈을 추적하는데 존재하는 난제들은 HMD의 기준 프레임에서 눈의 눈 포즈를 결정함으로써 완화될 수 있다.

[0022] 더 구체적으로, 현재 눈 이미저리 프로세싱 기법들은 눈의 롤, 또는 눈 포즈의 제3 각도 치수를 사용할 수 없다. 그러나, 눈의 롤의 추정은 눈 움직임, 노이즈 억제, 또는 HMD의 움직임에 대한 에러 체킹으로 인한 비틀림(torsion)을 측정하는데 사용될 수 있다. HMD에 장착된 카메라로부터 획득된 눈 이미지의 측면에서 볼 때, 롤 각도는, 회전 축이 동공의 광학 축인 눈 주위의 궤도에 대한 카메라의 포즈(예컨대, 카메라의 지향 방향)의 변화에 대응할 수 있다. 카메라의 정확한 위치가 눈에 대해 정확하게 알려지지 않기 때문에(예컨대, 착용가능 HMD의 맥락에서), 동공의 롤 각도의 컴퓨테이션은 카메라의 위치, 및 따라서 HMD 자체의 장착을 결정하는데 사용될 수 있다.

[0023] 부가적으로, 눈 이미저리를 획득하는 카메라들이 HMD 자체에 장착되기 때문에, 머리의 좌표 프레임에서 사용자의 뷰(view) 방향이 결정될 수 있다. 예로서, 머리 장착 AR(Augmented Reality) 디바이스에 대해, HMD 자체의 좌표 프레임을 사용하는 눈 포즈 식별이 결정될 수 있다.

[0024] 본원에 사용된 바와 같이, 비디오는 자신의 일반적인 의미에서 사용되지만, 시각 이미지들의 시퀀스를 레코딩하는 것(그러나 이에 제한되지 않음)을 포함한다. 비디오의 각각의 이미지는 때때로 이미지 프레임 또는 간단히 프레임으로 지칭된다. 비디오는 오디오 채널과 함께 또는 오디오 채널 없이, 복수의 순차적인 프레임들 또는 비-순차적인 프레임들을 포함할 수 있다. 비디오는 복수의 프레임들을 포함할 수 있고, 복수의 프레임들은 시간적으로 정렬되거나 시간적으로 정렬되지 않는다. 따라서, 비디오의 이미지는 눈 이미지 프레임 또는 눈 이미지로 지칭될 수 있다.

눈의 예

[0025] 도 1은 눈꺼풀들(104), 공막(108), 홍채(112) 및 동공(116)을 가진 눈(100)의 이미지를 예시한다. 곡선(116a)은 동공(116)과 홍채(112) 사이의 동공 경계를 도시하고, 그리고 곡선(112a)은 홍채(112)와 공막(108)(눈의 "백색") 사이의 변연 경계를 도시한다. 눈꺼풀들(104)은 상부 눈꺼풀(104a) 및 하부 눈꺼풀(104b)을 포함한다. 눈(100)은 자연스러운 휴지 포즈(예컨대, 사용자의 얼굴 및 시선 둘 모두는, 사용자의 바로 앞에 있는 먼 객체를 향하는 것처럼 지향됨)로 예시된다. 눈(100)의 자연스러운 휴지 포즈는 자연스러운 휴지 방향(120)에 의해 표시될 수 있고, 자연스러운 휴지 방향(120)은 자연스러운 휴지 포즈에 있을 때 눈(100)의 표면에 수직인(예컨대, 도 1에 도시된 눈(100)에 대한 평면으로부터 일직선(directly)인) 방향이고 그리고 이 예에서 동공(116) 내에 중심이 두어진다.

[0026] 눈은 눈 추적 또는 생체 인증 애플리케이션들에 사용될 수 있는 홍채 또는 공막(또는 둘 모두)의 눈 피처들(124)을 포함할 수 있다. 도 1은 홍채 피처들(124a) 및 공막 피처(124b)를 포함하는 눈 피처들(124)의 예를 예시한다. 눈 피처들(124)은 개인 키포인트들로서 지칭될 수 있다. 그런 눈 피처들은 개인의 눈에 고유할 수 있고, 그리고 그 개인의 각각의 눈에 대해 별개일 수 있다. 홍채 피처(124a)는 홍채 컬러의 나머지와 비교될 때, 또는 그 포인트를 둘러싸는 특정 영역과 비교될 때 특정 컬러 밀도의 포인트일 수 있다. 다른 예로서, 홍채의 텍스처(예컨대, 피처 근처의 홍채의 텍스처와 상이한 텍스처) 또는 패턴은 홍채 피처(124a)로서 식별될 수 있다. 또 다른 예로서, 홍채 피처(124a)는 홍채와 외관이 상이한 흉터일 수 있다. 눈 피처들(124)은 또한 눈의 혈관들과 연관될 수 있다. 예컨대, 혈관은 홍채의 외측에 존재하지만 공막 내에 존재할 수 있다. 그런 혈관들은 적색 또는 적외선 광 조명하에서 더 현저하게 보일 수 있다. 공막 피처(124b)는 눈의 공막 내의 혈관일 수 있다. 일부 경우들에서, 용어 눈 피처는, 피처가 홍채이든, 공막이든 또는 동공을 통해 보여지는 피처(예컨대, 망막 상에)이든, 눈 내의 또는 눈 상의 임의의 타입의 식별 피처를 지칭하는데 사용될 수 있다.

[0027] 각각의 눈 피처(124)는 눈 피처(124)를 둘러싸는 영역의 수치 표현인 디스크립터와 연관될 수 있다. 디스크립터는 또한 홍채 피처 표현으로 지칭될 수 있다. 또 다른 예로서, 그런 눈 피처들은 SIFT(scale-invariant feature transforms), SURF(speeded up robust features), FAST(features from accelerated segment test), ORB(oriented FAST and rotated BRIEF), KAZE, AKAZE(Accelerated KAZE) 등으로부터 유도될 수 있다. 따라서, 눈 피처들(124)은 알려진 컴퓨터 비전 분야로부터의 알고리즘들 및 기법들로부터 유도될 수 있다. 그런 눈 피처들(124)은 키포인트들로서 지칭될 수 있다. 아래에서 설명된 예시적인 실시예들의 일부에서, 눈 피처들은 홍채 피처들의 측면에서 설명될 것이다. 이것은 제한이 아니고 임의의 타입의 눈 피처(예컨대, 공막 피처)는 부가적으로 또는 대안적으로 다른 구현들에서 사용될 수 있다.

[0028] 눈(100)이 상이한 객체들을 바라보기 위해 움직일 때, 눈 포즈는 자연스러운 휴지 방향(120)에 대해 변화할 것이다. 현재 눈 포즈는 자연스러운 휴지 눈 포즈 방향(120)을 참조하여 측정될 수 있다. 눈(100)의 현재 포즈는 눈의 자연스러운 휴지 방향(120)에 대해 현재 눈 포즈 방향을 표시하는 3개의 각도 파라미터들로서 표현될 수 있다. 예시의 목적들을 위해, 그리고 도 1a에 도시된 예시적인 좌표계를 참조하여, 이들 각도 파라미터들은 α(요로서 지칭될 수 있음), β(피치로서 지칭될 수 있음), 및 γ(롤로서 지칭될 수 있음)로서 표현될 수 있다. 다른 구현들에서, 눈 포즈를 측정하기 위한 다른 기법들 또는 각도 표현들, 예컨대 임의의 다른 타입의 오일러 각도 시스템이 사용될 수 있다.

[0029] 눈 이미지는 임의의 적합한 프로세스를 사용하여, 예컨대 하나 또는 그 초과의 순차적인 프레임들로부터 이미지를 추출할 수 있는 비디오 프로세싱 알고리즘을 사용하여 비디오로부터 획득될 수 있다. 눈의 포즈는 본원에 설명된 바와 같은 다양한 눈-추적 기법들을 사용하여 눈 이미지로부터 결정될 수 있다.

피처 기반 추적을 사용하는 눈 포즈 식별의 예

[0030] 도 2a-도 2b는 홍채 피처들을 사용하는 예시적인 눈 포즈 식별 시스템을 개략적으로 예시한다. 더 구체적으로, 도 2a-도 2b는 눈 포즈 식별을 위한 피처-기반 추적 기법을 예시한다. 도시된 예는 세그먼트화된 홍채를 도시한다. 도 2a에 도시된 바와 같이, 홍채 피처들(124a)은 홍채(112) 및 동공(116)을 가진 눈에서 식별된다. 곡선(116a)은 동공(116)과 홍채(112) 사이의 동공 경계를 도시하고, 그리고 곡선(112a)은 홍채(112)와 공막 사이의 변연 경계를 도시한다. 위에서 설명된 바와 같이, 홍채 피처들(124a)은 예컨대 세그먼트화된 홍채의 영역으로부터 컴퓨팅된 수치 표현과 연관될 수 있다.

[0031] 홍채 피처들(124a)은 임의의 특정 이미지(예컨대, 도 2b의 이미지)를 눈의 기준 이미지(예컨대, 도 2a에 도시된 바와 같이 휴지 포지션에서의 전방 지향 눈)에 관련시키는데 사용될 수 있다. 이 예에서, 도 2a는 기준 눈 이미지로부터 획득된 눈일 수 있다. 도 2b는 다른 눈 이미지로부터 획득된, 회전된 동일한 눈(지향 방향을 향함)을 도시한다. 홍채 피처들(124a)을 사용하여, 회전된 눈 이미지(예컨대, 도 2b)의 홍채 피처들(124a)의 포지션을 기준 눈 이미지(예컨대, 도 2a)의 포지션에 관련시키는 호모그래피가 컴퓨팅될 수 있다. 예컨대, 2개의 각도 치수들은 홍채 피처들(124a)을 사용하여 컴퓨팅될 수 있다. 또는 다른 실시예에서, 홍채는 먼저 세그먼트화될 수 있고 이들 2개의 각도 치수들은 그 홍채 세그먼트 이후 컴퓨팅된다. 홍채가 거의 아주 편평하기 때문에, 호모그래피는 적합한 맵핑일 수 있다; 그러나, 일부 구현들에서 더 높은 정밀 결과들을 위해 각막으로부터의 왜곡이 고려될 수 있다. 일 실시예에서, 2개의 각도 치수들은 요 및 피치로 지칭될 수 있다. 부가적으로, 도 2b에 도시된 바와 같이, 눈의 지향 방향은 제3 각도 치수에 관련될 수 있다. 제3 각도 치수는 눈의 롤로서 지칭될 수 있다. 눈의 모두 3개의 각도 치수들이 획득되면, 3개의 각도 치수들을 포함하는 눈 포즈가 식별될 수 있다. 식별된 눈 포즈는 3차원 각도 좌표계로 표현된 눈의 수치 표현일 수 있다. 따라서, 제3 각도 치수에서 눈의 롤 회전의 변화, 예컨대 도 2a-도 2b에 도시된 롤 회전의 변화가 결정될 수 있다. 적어도 2개의 이미지들 사이의 호모그래피를 컴퓨팅하는 그런 프로세스는 "매칭" 홍채 피처들(124a)로 지칭될 수 있다.

[0032] 컴퓨팅된 2개의 각도 치수들(예컨대, 요 및 피치)은 다른 세그먼트화 기법들을 통해 결정된 홍채 세그먼트화를 검증하는데 사용될 수 있다. 예컨대, 세그먼트화 변환은 홍채 피처(예컨대, 키포인트) 호모그래피의 결정과 동시에 해결될 수 있다. 일 구현에서, 세그먼트화 변환은 이미지들로부터 격리된 키포인트들, 키포인트들로부터 풀린 호모그래피, 및 검증된 세그먼트화에 대해 해결될 수 있고, 최종 솔루션은 단일 솔루션을 컴퓨팅하기 위해 키포인트들 및 경계 세그먼트화를 사용하여 (세그먼트화가 검증된 경우) 컴퓨팅된다.

[0033] 홍채 피처들(124a)의 수치 표현은, 홍채 피처들(124a)이 이미지로부터 직접 컴퓨팅되면, 2개의 획득된 눈 이미지들 사이에서 변화할 수 있다. 예컨대, 동공의 원근 왜곡 및 확장 상태는 세그먼트화된 눈에서 홍채 피처들(124a)의 자명한 위치를 변경시킬 수 있다. 게다가, 수치 표현들(예컨대, 디스크립터들)은 왜곡될 수 있고 아마도 이미지들 사이의 홍채 피처들(124a)을 매칭하는데 난제들을 도입할 수 있다. 따라서 일 실시예에서, 동공은 (예컨대, 변연 경계로부터 컴퓨팅된 호모그래피를 인버팅함으로써) 등가 정면도에 다시 맵핑될 수 있고, 그 후 그 왜곡되지 않은 이미지로부터 홍채 피처들(124a)이 컴퓨팅될 수 있다. 그런 맵핑은 또한 동공 경계로부터 변연 경계로 확장되는 방사상 치수의 정규화를 포함할 수 있다.

[0034] 추가로, 획득된 눈 이미지는 극 좌표계 표현으로 컨버팅될 수 있다(예컨대, Daugman에 대한 미국 특허 번호 5,291,560호 참조). 그런 표현 시스템에서, x-좌표는 왜곡되지 않은 이미지의 각도 좌표와 같고 y-좌표는 "의사-반경"(동공 경계로부터의 반경 거리)과 같다. 그런 극좌표 이미지는 표준 사이즈로 정규화될 수 있다. 그런 경우에서, 홍채 피처들(124a) 및 수치 표현들은 극좌표 이미지상에서 컴퓨팅된다. 2개의 획득된 눈 이미지들 사이의 매칭들은 그 극좌표 이미지에 의해 정의된 수치 표현들에 관련하여 컴퓨팅될 수 있다. 2개의 획득된 눈 이미지들 사이의 매칭을 발견하기 위해, 극 변환 및 정류 변환은 인버팅되고 본래 이미지에서 홍채 피처들(124a)의 위치가 컴퓨팅될 수 있다. 일 실시예에서, 배향과 연관된 홍채 피처들(124a)은 불필요할 수 있다. 컴퓨팅된 극좌표 이미지에서, 홍채 피처들(124a)의 배향은 눈의 롤 회전에 무관하게 고정될 수 있다.

[0035] 전술한 예들이 홍채 피처들을 사용하여 눈 포즈를 식별하는 맥락에서 설명되었지만, 이는 예시를 위한 것이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 임의의 적절한 눈 피처는 눈 포즈를 식별하는데 사용될 수 있다. 예컨대, 동공 피처들은 눈 이미지들 사이의 변화들을 검출하는데 사용될 수 있고, 따라서 눈의 롤 각도를 컴퓨팅할 수 있다.

코드 기반 추적을 사용하는 눈 포즈 식별의 예

[0036] 도 3a-도 3b는 눈의 눈 포즈를 식별하기 위한 홍채 코드 식별 기법의 예를 개략적으로 예시한다. 이 예는 홍채 피처들, 이를테면 도 1의 홍채 피처들(124a)을 사용한 코드-기반 추적 기법을 예시한다. 도 3a에 도시된 바와 같이, 휴지 포즈(예컨대, 앞을 똑바로 봄)에서 눈의 이미지(304a)는 홍채 피처들(124a1)을 포함할 수 있다. 도 3b에 도시된 바와 같이, 이미지(304b)는, 휴지 포즈 이미지(304a1)에서의 각도 포지션에 대해 이미지(304b)의 홍채 피처들(124a1)을 각지게 시프트하는 양(308a)만큼의 눈의 롤 각도의 변화를 도시한다. 예컨대, 이미지(304a)의 홍채 피처(124a1)는 각도(308a)만큼 각도 포지션이 시프트되어 이미지(304b)의 시프트된 홍채 피처(124a2)로서 나타난다. 이미지(304b)는 위에서 설명된 요 및 피치 각도들을 사용하여 달성될 수 있는 휴지 관점(예컨대, 눈이 앞을 똑바로 보고 있는 것과 같음)으로부터 도시된다.

[0037] 이미지들(304a, 304b)의 홍채는 위에서 논의된 반경 좌표(r) 및 각도 좌표(γ)를 가진 극성 표현 시스템에 맵핑(예컨대, "언롤링(unroll)")될 수 있다. 또는 또 다른 실시예에서, 홍채는 먼저 세그먼트화될 수 있고 2개의 각도 치수들은 극성 표현 시스템에 맵핑된다. 홍채 코드(312a, 312b)는 각각 이미지들(304a, 304b)의 각각으로부터 추출될 수 있다. 각도(308a)만큼의 눈의 회전으로 인해, 홍채 코드(312b)의 홍채 피처들은 홍채 코드(312a)에서의 자신의 포지션에 대해 시프트 양(308b)만큼 시프트될 것이다. 홍채 코드들(312a, 312b)을 비교함으로써, 시프트 양(308b)이 결정될 수 있다. 극 좌표계에서, 시프트 양(308b)은 픽셀 단위로 측정될 수 있고, 픽셀들은 각도(308a)의 척도, 예컨대 도(degree) 단위로 컨버팅될 수 있다.

[0038] 홍채 코드들은 다양한 방식들로 컴퓨팅될 수 있다. 예컨대 일부 실시예들에서, 홍채 코드들은 홍채 생체 인증을 위해 John Daugman에 의해 개발된 알고리즘들에 따라 컴퓨팅될 수 있다(예컨대 미국 특허 번호 5,291,560호를 참조). 예컨대, 홍채 코드는 2-D 대역통과 필터들(예컨대, 가버(Gabor) 필터들)에 의한 (극 좌표들에서의) 홍채 이미지의 컨벌루션(convolution)에 기반할 수 있고, 그리고 홍채 코드는 (예컨대, 특정 가버 필터에 대한 응답이 포지티브이든 네거티브이든) 2 비트 수로 표현될 수 있다.

[0039] 코드-기반 추적 기법의 비교 프로세스에서, 초기 홍채 코드(312a)(예컨대, 시작 눈 포지션, 이를테면 이미지(304a)로부터의 홍채 코드)는 제3 각도 치수에서의 가능한 병진들의 윈도우(예컨대, -10 픽셀들 내지 +10 픽셀들)에 대해 다시 컴퓨팅될 수 있다. 윈도우는, 사용자의 눈 포즈가 변화하거나 또는 사용자에 의해 착용된 동안 HMD가 시프트하거나, 이동하거나, 회전할 때 사용자의 경험에 따른 예상된 롤 각도의 양(홍채 코드의 수평 병진에 대응함)에 기반하여 선택될 수 있다. 윈도우는 약 5 도 미만, 약 10 도 미만, 약 20 도 미만, 약 30 도 미만, 또는 일부 다른 값의 롤 각도를 표현할 수 있다. 일부 구현들에서, 다시 컴퓨팅된 홍채 코드들은 해싱(hash)되어 이진 트리(tree)에 저장된다. 시프트 양(308b)은 기준 이미지(304a)로부터 다시 컴퓨팅된 홍채 코드들 중 하나에 대해 현재 측정된 홍채 코드들 사이의 최소 다른 비트들의 수(예컨대, 해밍(Hamming) 거리)를 결정함으로써 계산될 수 있다. 최소 다른 비트들의 수는 γ 축을 따라 올바른 회전으로서 선택될 수 있다. 홍채 코드(312b)의 γ 축 방향으로의 변위(312ab)로부터, 홍채의 롤 각도(이미지(304b)와 이미지(304a) 사이의 각도(308a))가 직접 컴퓨팅될 수 있다. 예컨대, 언롤링된 이미지가 512개 픽셀들 폭이였고 가장 우수한 매칭에 대응하는 변위가 5개 픽셀들이었다면, 눈의 롤은 (5 픽셀들/512 픽셀들) x 360 도

3.5 도이다.

[0040] 전술한 예들이 홍채 피처들을 사용하여 눈 포즈를 식별하는 맥락에서 설명되었지만, 이는 예시를 위한 것이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 임의의 적절한 눈 피처는 눈 포즈를 식별하는데 사용될 수 있다. 예컨대, 동공 피처들은 눈 이미지들 사이의 변화들을 검출하는데 사용될 수 있고, 따라서 눈의 롤 각도를 컴퓨팅할 수 있다. 부가적으로, 전술한 예들이 극성 표현의 맥락에서 설명되었지만, 이는 예시를 위한 것이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 적절한 좌표계에 맵핑되는 홍채 피처에 대한 임의의 적절한 수치 표현은 코드-기반 추적 기법을 구현하는데 사용될 수 있다.

예시적 눈 포즈 추정 루틴

[0041] 도 4는 위에서 설명된 FBT 및 CBT 기법들의 실시예들을 사용하여 눈 포즈를 측정하기 위한 예시적인 루틴(400)의 흐름도(400)이다. 루틴(400)은 블록(404)에서 시작된다. 블록(408)에서, 눈 이미지가 수신된다. 눈 이미지는 이미지 캡처 디바이스, 머리 장착 디스플레이 시스템, 서버, 비-일시적 컴퓨터 판독가능 매체, 또는 클라이언트 컴퓨팅 디바이스(예컨대, 스마트폰)(그러나 이에 제한되지 않음)을 포함하는 다양한 소스들로부터 수신될 수 있다.

[0042] 정상적인 인간 홍채는 높은 정도의 정확성을 위해 원형이다. 일반적으로, 홍채는, 카메라가 실질적으로 정면 각도로부터 눈을 보도록 포지셔닝되지 않을 수 있기 때문에 휴지 포지션(예컨대, 똑바로 앞쪽 포지션)에서도, 카메라 이미지로부터 획득될 때 원형으로 보이지 않을 것이다. 홍채의 평면 및 이미저(imager)의 평면이 평행하지 않으면, 일부 특정 이미지에 대해, 홍채의 경계들은 계란형 또는 타원형으로 보일 수 있다. 기구 효과들, 이를테면 카메라의 시야각은 또한 홍채가 원형으로 보이지 않게 이미지를 왜곡할 수 있다. 블록(412)에서, 눈 이미지로부터 눈의 홍채는 변연 경계와 홍채의 동공 경계를 식별하기 위해 세그먼트화된다. 세그먼트화의 부분으로서, 통상적으로 홍채의 부분을 차단하는 눈꺼풀의 위치가 결정될 수 있다. 본원에 설명된 바와 같이, 홍채를 세그먼트화하는 것은 일부 구현들에서는 수행될 수 없고; 그러므로, 블록(412)은 선택적이다.

[0043] 블록(416)에서, 눈 포즈의 2개의 각도 좌표들은 홍채 경계(변연 또는 동공), 또는 일반적으로 홍채 세그먼트화에 기반하여 결정된다. 예컨대, 원근 변환을 특징으로 하는 카메라의 고유 파라미터들(예컨대, 렌즈의 초점 길이들, 픽셀 좌표들에서 이미저 표면상의 광학 중심점 등)이 주어지면, 홍채가 2개의 각도 치수들에서 보여지는 원근 변환을 해결하는 것이 가능하다. 따라서, 결정될 수 있는 2개의 각도 치수들은 눈의 요 및 피치(예컨대, 도 1a에 도시된 각도들(α 및 β)을 참조)일 수 있다. 이미 주목된 바와 같이, 눈의 롤(회전이 홍채의 경계를 변경하지 않는 제3 각도 치수)은 원근 변환으로만 해결될 수 없다.

[0044] 블록(420)에서, 눈 피처들은 눈 이미지에서 식별된다. 예컨대, 이것은 특정 위치들에서 홍채의 텍스처 또는 패턴 또는 키포인트에 대해 위에서 설명된 바와 같이 발생할 수 있다. 홍채 피처들의 수치 표현은 예컨대, 픽셀들의 밀도 측면에서, 홍채 피처로부터의 반경 측면에서, 홍채 코드의 측면에서 홍채 피처 둘레의 영역을 컴퓨팅하거나, 또는 수치 표현을 홍채 피처와 연관시키기 위한 임의의 다른 방법에 의해 컴퓨팅될 수 있다. 추가로, 본원에 설명된 바와 같이, 루틴(400)은 단지 눈의 홍채에 있는 피처들로만 제한되지 않고 (부가적으로 또는 대안적으로) 눈의 공막의 피처들(홍채 외측)에 적용될 수 있다.

[0045] 블록(424)에서, 눈 포즈의 제3 각도 좌표는 식별된 눈 피처들에 기반하여 결정된다. 도 2a-도 2b의 피처-기반 추적 기법 및 도 3a-도 3b의 코드-기반 추적 기법에 대해 위에서 설명된 바와 같이, 눈 포즈의 제3 각도 좌표(예컨대, 도 1a에 도시된 롤 각도(γ))는 (블록(408)에서 획득된) 이미지와 기준 상태(예컨대, 눈이 앞을 똑바로 보는 휴지 상태)에서의 눈의 이미지 사이의 눈 피처(들)(홍채 피처들 또는 공막 피처들)의 각도 포지션의 변화로부터 결정될 수 있다. 따라서, 눈의 3개의 각도 치수들이 결정되면, 눈에 대한 눈 포즈는 3차원 각도 좌표계에 의해 표현된 바와 같이 식별될 수 있다.

[0046] 블록(428)에서, 식별된 눈 포즈는 HMD(head mounted display)에 대한 생체 인증 애플리케이션 또는 이미지 디스플레이에 사용될 수 있다. 따라서, 이 예에서 알 수 있는 바와 같이, 눈 포즈는 홍채의 세그먼트화 및 세그먼트화된 눈으로부터 측정된 식별된 홍채 피처들에 따라 식별될 수 있다.

[0047] 일부 구현들에서, 눈 세그먼트화는 식별된 눈 포즈를 사용하여 다시 추정될 수 있고, 그리고 초기 홍채 세그먼트화와 다시 추정된 홍채 세그먼트화 사이의 비교는 눈 포즈 추정의 일치성을 검증하기 위해 수행될 수 있다. 예컨대, 다시 추정된 홍채 세그먼트화가 초기 홍채 세그먼트화와 실질적으로 동일하면(예컨대, 임계치 차이보다 더 작으면), 눈 포즈 추정치는 정확할 개연성이 있다. 대안적으로, 2개의 포즈 측정들은 (예컨대, 양쪽 측정들을 생성하는 최대 확률로 근본적인 포즈를 컴퓨팅함으로써) 단일 측정으로 융합될 수 있다.

[0048] 다양한 실시예들에서, 루틴(400)은 예컨대 도 5를 참조하여 아래에 설명되는 바와 같이, 착용가능 디스플레이 시스템(500)의 하드웨어 프로세서(예컨대, 로컬 또는 원격 프로세싱 모듈들(528, 532))에 의해 수행될 수 있다. 루틴(400)은 HMD의 착용자의 한쪽 눈 또는 HMD 착용자의 양쪽 눈들에 대해 수행될 수 있다.

머리 장착 디스플레이 에러 회전 루틴의 예

[0049] 다양한 실시예들에서, 착용자의 머리에 대해 머리 장착 디스플레이의 회전을 결정하기 위한 루틴은 루틴(400)(여기서 눈 포즈는 홍채 피처들로부터 식별됨)과 유사하게 수행될 수 있다. 통상적으로 착용자의 각각의 눈의 각도 롤은 실질적으로 동일하다. 착용가능 머리 장착 디스플레이의 경우에, 착용자의 머리에 대한 HMD의 회전은 착용자의 눈들의 각각에 대해 어느 정도 상이한 눈 롤을 유도할 수 있다. 따라서, 눈들의 각각에 대한 각도 롤 측정들이 임계치보다 더 상이하면, 에러가 착용가능 머리 장착 디스플레이에 발생하였다는 것을 표시하기 위해 에러 신호가 생성될 수 있다. 예컨대, 다양한 실시예들에서, 임계치는 1 내지 5 도, 5 내지 10 도, 또는 일부 다른 회전 양일 수 있다.

[0050] 다양한 실시예들에서, 각각의 눈의 각도 롤은 일련의 이미지들에 걸쳐 평균될 수 있고 후속하여 이 에러 회전 기법을 사용하여 비교될 수 있다.

[0051] 일부 실시예들에서, 그런 비교들은, 눈들이 중립적인 휴지 포지션에 있을 때에만 수행될 수 있다. 다른 경우, 이 결정은 다른 시선 방향들에 대해 수행될 수 있다. 이 경우, 눈의 조종 근육들(예컨대, 내직근(Medial rectus)과 외직근(Lateral rectus) 근육들)의 자연스러운 작용의 결과로서 눈의 예상된 롤은, 2개의 눈들 사이의 비교 전에 명시적으로 감산될 수 있다.

눈 포즈 식별의 예시적인 애플리케이션들

[0052] 눈 포즈 식별 추정을 사용하는 시스템들 및 방법들은, 비디오 이미저리의 맥락 내에서 처리될 때, 이미지 프로세싱의 고전적인 문제의 많은 부분이 개선되도록 허용한다. 부가적으로 새로운 문제들이 처리될 수 있다. 예컨대, 눈 포즈 식별은 비디오로부터 이미지를 분류(예컨대, 눈의 홍채를 식별)할 뿐 아니라, 비디오의 하나 또는 그 초과의 프레임들 내의 특정 객체 타입들의 로컬리제이션(예컨대, 상부 눈꺼풀의 위치)을 위해 사용될 수 있다. 다른 예로서, 눈 포즈 식별은 (예컨대, 눈의 배향 또는 방향을 결정하는) 눈-추적의 애플리케이션을 위해 비디오에 적용될 수 있다.

[0053] 일부 그런 애플리케이션들에서, 아래에서 추가로 논의될 바와 같이, 착용가능 디스플레이 시스템은 착용가능 디스플레이 시스템에 동작가능하게 커플링된(예컨대, 부착되거나 포함된) 이미지 캡처 디바이스에 의해 포착된 비디오 데이터에 대해 눈 포즈 식별을 수행하는 프로세서를 포함할 수 있다. 이미지 캡처 디바이스는 눈 포즈를 식별하는데 사용하기 위해 착용자의 눈의 비디오 또는 사용자의 몸체의 다른 컴포넌트들(예컨대, 눈썹)의 비디오를 획득할 수 있다.

[0054] 눈 포즈 식별의 사용은 유리하게 (예컨대, 착용가능 디스플레이 시스템의 이미지 캡처 디바이스로부터 포착된) 비디오에서 눈 포즈의 인식을 허용하고, 이는 생체 인증 정보 같은 비디오 내의 객체들의 개선된 인식 또는 분류를 허용할 수 있다. 예컨대, 종래의 생체 인증 템플릿(template)은 눈의 눈 포즈를 결정하는데 어려움을 가질 수 있다. 그러나, 본원에 설명된 눈 포즈 식별 접근법은 눈 포즈의 3개의 각도 치수들, 이를테면 요, 피치 및 롤을 식별할 수 있다. 따라서, 생체 인증 정보를 추출하기 위한 능력을 제공함으로써, 눈 포즈 식별(도 4에 설명되고 도 2a-도 2b 및 도 3에 예시됨)은, 홍채 세그먼트화만을 사용할 때 이용가능하지 않은 눈의 부분들을 더 잘 추적할 수 있고 생체 인증 추출에 사용되는 더 정확한 홍채 세그먼트화를 제공할 수 있다. 본원에 개시된 눈 포즈 식별 기법들은 생체 인증 추출을 위해 (예컨대, 도 5에서와 같은) 머리 장착 디스플레이에 의해 사용될 수 있다.

눈 포즈 식별을 사용하는 예시적인 착용가능 디스플레이 시스템

[0055] 일부 실시예들에서, 디스플레이 시스템들은 착용가능할 수 있고, 이는 유리하게 더 실감형 VR(virtual reality), AR(augmented reality), 또는 MR(mixed reality) 경험을 제공할 수 있고, 여기서 디지털적으로 재생된 이미지들 또는 이들의 부분들은, 이들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 착용자에게 제시된다.

[0056] 이론에 의해 제한되지 않고, 인간 눈이 통상적으로 심도 인식을 제공하기 위해 유한한 수의 심도 평면들을 해석할 수 있는 것으로 여겨진다. 결과적으로, 인식된 심도의 매우 믿을만한 시뮬레이션은, 이들 제한된 수의 심도 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 눈에 제공함으로써 달성될 수 있다. 예컨대, 도파관들의 스택을 포함하는 디스플레이들은 사용자, 또는 뷰어의 눈들의 전면에 포지셔닝되어 착용되도록 구성될 수 있다. 도파관들의 스택은 복수의 도파관들을 사용하여 광을, 이미지 주입 디바이스(예컨대, 이미지 정보를 하나 또는 그 초과의 광섬유들을 통해 파이핑하는 멀티플렉싱된 디스플레이의 이산 디스플레이들 또는 출력 단부들)로부터 특정 도파관과 연관된 심도 평면에 대응하는 특정 각도들(및 발산 양들)로 뷰어의 눈으로 지향시킴으로써 3-차원 인식을 눈/뇌에 제공하기 위해 활용될 수 있다.

[0057] 일부 실시예들에서, 도파관들의 2개의 스택들(뷰어의 각각의 눈에 대해 하나씩)은 각각의 눈에 상이한 이미지들을 제공하기 위해 활용될 수 있다. 일 예로서, 증강 현실 장면은, AR 기술의 착용자가 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼을 특징으로 하는 실세계 공원형 세팅을 보도록 할 수 있다. 이들 아이템들에 외에, AR 기술의 착용자는 또한, 로봇 동상 및 호박벌이 실세계에 존재하지 않더라도, 그가 실세계 플랫폼 상에 서 있는 로봇 동상, 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터를 보는 것을 인식할 수 있다. 도파관들의 스택(들)은 입력 이미지에 대응하는 광 필드를 생성하는데 사용될 수 있고 일부 구현들에서, 착용가능 디스플레이는 착용가능 광 필드 디스플레이를 포함한다. 광 필드 이미지들을 제공하기 위한 착용가능 디스플레이 디바이스 및 도파관 스택들의 예들은 미국 특허 공개 번호 2015/0016777호에 설명되고, 이 공개 특허는 이로써, 포함한 모든 것에 대해 그 전체가 본원에 인용에 의해 통합된다.

[0058] 도 5는 VR, AR 또는 MR 경험을 착용자(504)에게 제시하는 데 사용될 수 있는 착용가능 디스플레이 시스템(500)의 예를 예시한다. 착용가능 디스플레이 시스템(500)은 본원에 설명된 애플리케이션들 또는 실시예들 중 임의의 것을 제공하기 위해 눈 포즈 식별을 수행하도록 프로그래밍될 수 있다. 디스플레이 시스템(500)은 디스플레이(508), 및 그 디스플레이(508)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(508)는 디스플레이 시스템 착용자 또는 뷰어(504)에 의해 착용가능하고 그리고 착용자(504)의 눈들의 전면에 디스플레이(508)를 포지셔닝하도록 구성된 프레임(512)에 커플링될 수 있다. 디스플레이(508)는 광 필드 디스플레이일 수 있다. 일부 실시예들에서, 스피커(516)는 프레임(512)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝되고, 일부 실시예들에서, 도시되지 않은 다른 스피커는 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공한다. 디스플레이(508)는 다양한 구성들에 장착될 수 있는, 이를테면 프레임(512)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 다른 방식으로 사용자(504)에게 제거가능하게 부착되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(524)에, 이를테면 유선 리드 또는 무선 연결성에 의해, 동작가능하게 커플링된다(520).

[0059] 프레임(512)은 착용자의 눈(들)의 이미지들을 획득하기 위해 프레임(512)에 부착되거나 장착된 하나 또는 그 초과의 카메라들을 가질 수 있다. 일 실시예에서, 카메라(들)는, 눈이 직접 이미징될 수 있도록 착용자의 눈의 전면에서 프레임(512)에 장착될 수 있다. 다른 실시예들에서, 카메라는 프레임(512)의 스템(stem)을 따라(예컨대, 착용자의 귀 가까이에) 장착될 수 있다. 그런 실시예에서, 디스플레이(512)는 착용자의 눈으로부터의 광을 카메라를 향하여 다시 반사시키는 재료로 코팅될 수 있다. 광은, 홍채 피처들이 적외선 이미지들에서 두드러지기 때문에, 적외선 광일 수 있다.

[0060] 로컬 프로세싱 및 데이터 모듈(524)은 하드웨어 프로세서뿐 아니라, 비-일시적 디지털 메모리, 이를테면 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 돕기 위해 활용될 수 있다. 데이터는 (a) 센서들(예컨대 프레임(512)에 동작가능하게 커플링되거나 그렇지 않으면 착용자(504)에게 부착될 수 있음), 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로들로부터 캡처되고; 및/또는 (b) 원격 프로세싱 모듈(528) 및/또는 원격 데이터 저장소(532)를 사용하여 포착되고 그리고/또는 프로세싱되고, 그런 프로세싱 또는 리트리벌(retrieval) 후 가능하게 디스플레이(508)에 전달되는 데이터를 포함한다. 로컬 프로세싱 및 데이터 모듈(524)은 통신 링크들(536, 540)에 의해, 이를테면 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(528) 및 원격 데이터 저장소(532)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들(528, 532)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(524)에 대한 리소스들로서 이용가능하다. 이미지 캡처 디바이스(들)는 눈 포즈 식별 절차들에 사용되는 눈 이미지들을 캡처하는데 사용될 수 있다.

[0061] 일부 실시예들에서, 원격 프로세싱 모듈(528)은 데이터 및/또는 이미지 정보, 이를테면 이미지 캡처 디바이스에 의해 캡처된 비디오 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 비디오 데이터는 로컬 프로세싱 및 데이터 모듈(524) 및/또는 원격 데이터 저장소(532)에 로컬적으로 저장될 수 있다. 일부 실시예들에서, 원격 데이터 저장소(532)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈(524)에서 수행되고, 이는 원격 모듈로부터 완전히 자율적인 사용을 허용한다.

[0062] 일부 구현들에서, 로컬 프로세싱 및 데이터 모듈(524) 및/또는 원격 프로세싱 모듈(528)은 본원에 설명된 바와 같이 눈 포즈를 식별하는 실시예들을 수행하도록 프로그래밍된다. 예컨대, 로컬 프로세싱 및 데이터 모듈(524) 및/또는 원격 프로세싱 모듈(528)은 도 4를 참조하여 설명되는 루틴(400)의 실시예들을 수행하도록 프로그래밍될 수 있다. 로컬 프로세싱 및 데이터 모듈(524) 및/또는 원격 프로세싱 모듈(528)은 예컨대 착용자(504)의 아이덴티티를 식별하거나 인증하기 위한 생체 인증 추출에, 또는 예컨대 각각의 눈이 보고 있는 방향을 결정하기 위한 눈 시선 또는 눈꺼풀 형상 추정 또는 포즈 추정에, 본원에 개시된 눈 포즈 식별 기법들을 사용하도록 프로그래밍될 수 있다. 이미지 캡처 디바이스는 특정 애플리케이션에 대한 비디오(예컨대, 눈-추적 애플리케이션에 대해 착용자의 눈의 비디오 또는 제스처 식별 애플리케이션에 대해 착용자의 손 또는 손가락의 비디오)를 캡처할 수 있다. 비디오는 눈 포즈 식별 기법들을 사용하여 프로세싱 모듈들(524, 528) 중 하나 또는 둘 모두에 의해 분석될 수 있다. 이런 분석으로, 프로세싱 모듈들(524, 528)은 눈 포즈 식별 또는 검출 및/또는 생체 인증 추출 등을 수행할 수 있다. 예로서, 로컬 프로세싱 및 데이터 모듈(524) 및/또는 원격 프로세싱 모듈(528)은 프레임(512)에 부착된 카메라들로부터 획득된 눈 이미지들을 저장하도록 프로그래밍될 수 있다. 게다가, 로컬 프로세싱 및 데이터 모듈(524) 및/또는 원격 프로세싱 모듈(528)은 착용가능 디스플레이 시스템(500)의 착용자의 눈 포즈를 식별하기 위해 본원에 설명된 피처-기반 추적 또는 코드 기반 추적 기법들(예컨대, 루틴(400))을 사용하여 눈 이미지들을 프로세싱하도록 프로그래밍될 수 있다. 일부 경우들에서, 눈 포즈 식별의 적어도 일부를 (예컨대, "클라우드" 내의) 원격 프로세싱 모듈에 오프-로딩(off-loading)하는 것은 컴퓨테이션들의 효율성 또는 속력을 개선할 수 있다. 눈 포즈 식별에 대한 다양한 파라미터들(예컨대, 가중들, 바이어스 항들, 랜덤 서브세트 샘플링 팩터들, 수, 및 필터들의 사이즈(예컨대, 소벨(Sobel) 도함수 연산자), 등)은 데이터 모듈들(524 및/또는 532)에 저장될 수 있다.

[0063] 비디오 분석의 결과들(예컨대, 추정된 눈 포즈)은 부가적인 연산들 또는 프로세싱을 위해 프로세싱 모듈들(524, 528) 중 하나 또는 둘 모두에 의해 사용될 수 있다. 예컨대, 다양한 애플리케이션들에서, 생체 인증 식별, 눈-추적, 인식, 또는 객체들의 분류, 포즈들 등은 착용가능 디스플레이 시스템(500)에 의해 사용될 수 있다. 예컨대, 착용자의 눈(들)의 비디오는 눈 포즈 식별에 사용될 수 있고, 차례로 프로세싱 모듈들(524, 528)에 의해 사용되어 디스플레이(508)를 통해 착용자(504)의 시선 방향을 결정할 수 있다. 착용가능 디스플레이 시스템(500)의 프로세싱 모듈들(524, 528)은 본원에 설명된 비디오 또는 이미지 프로세싱 애플리케이션들 중 임의의 것을 수행하기 위해 눈 포즈 식별의 하나 또는 그 초과의 실시예들로 프로그래밍될 수 있다.

부가적인 양상들

[0064] 본원에 설명된 눈 포즈 식별 기법들은 (예컨대, 비디오 프레임으로부터의) 이미지에 적용될 수 있다. 눈 포즈 식별은 눈의 이미지를 프로세싱하기 위한 단일 프로세스 및/또는 방법론으로서 함께 보여질 수 있다.

[0065] 제1 양상: 눈 이미지를 프로세싱하기 위한 방법이 개시된다. 방법은 하드웨어 컴퓨터 프로세서의 제어 하에 있고 그리고 눈의 동공 및 변연 경계들을 획득하기 위해 눈 이미지에서 눈의 홍채를 세그먼트화하는 단계; 눈의 동공 및 윤부 경계들을 사용하여 제1 눈 포즈 측정의 2개의 각도 좌표들을 결정하는 단계; 눈의 홍채 피처를 식별하는 단계; 식별된 홍채 피처를 사용하여 제1 눈 포즈 측정의 제3 각도 좌표를 결정하는 단계; 및 이미지 또는 생체 인증 애플리케이션의 디스플레이를 위해 제1 눈 포즈 측정을 활용하는 단계를 포함한다.

[0066] 제2 양상: 양상 1의 방법에 있어서, 눈의 홍채 피처를 식별하는 단계는 홍채 피처에 대한 디스크립터를 결정하는 단계를 포함하고, 디스크립터는 홍채 피처의 수치 표현을 포함한다.

[0067] 제3 양상: 양상 1 또는 양상 2의 방법에 있어서, 제3 각도 좌표를 결정하는 단계는 피처-기반 추적 기법, 코드-기반 추적 기법, 또는 이들의 조합을 사용하여 제3 각도 좌표를 결정하는 단계를 포함한다.

[0068] 제4 양상: 양상 1 또는 양상 2의 방법에 있어서, 제3 각도 좌표를 결정하는 단계는 피처-기반 추적 기법 및 코드-기반 추적 기법을 사용하여 제3 각도 좌표를 결정하는 단계를 포함한다.

[0069] 제5 양상: 양상 4의 방법에 있어서, 피처-기반 눈 추적 기법 및 코드-기반 추적 기법은 결정된 눈 포즈의 일치성을 검증하기 위해 실질적으로 동시에 수행된다.

[0070] 제6 양상: 양상들 1-5 중 어느 한 양상의 방법에 있어서, 제3 각도 좌표를 결정하는 단계는 적어도 부분적으로 홍채 피처에 기반하여, 눈 이미지와 기준 눈 이미지 사이의 호모그래피를 결정하는 단계를 포함한다.

[0071] 제7 양상: 양상들 1-6 중 어느 한 양상의 방법에 있어서, 제3 각도 좌표를 결정하는 단계는 적어도 부분적으로 홍채 피처에 기반하여, 눈 이미지로부터 생성된 홍채 코드와 기준 눈 이미지로부터 생성된 홍채 코드 사이의 시프트를 결정하는 단계를 포함한다.

[0072] 제8 양상: 양상들 1-7 중 어느 한 양상의 방법에 있어서, 홍채 피처는 상이한 텍스처, 홍채의 패턴 또는 홍채의 키포인트를 가진 홍채의 영역을 포함한다.

[0073] 제9 양상: 양상들 1-8 중 어느 한 양상의 방법에 있어서, 제1 눈 포즈 측정은 사용자의 제1 눈에 대해 결정되고 제2 눈 포즈 측정은 사용자의 제2 눈에 대해 결정되고, 그리고 제1 눈 포즈 측정과 제2 눈 포즈 측정의 평균은 사용자의 눈 포즈의 단일 추정치로서 사용된다.

[0074] 제10 양상: 하드웨어 프로세서가 개시된다. 하드웨어 프로세서는 양상들 1-9 중 어느 하나의 방법을 수행하도록 프로그래밍된다.

[0075] 제11 양상: 눈 포즈를 결정하기 위한 착용가능 디스플레이 시스템으로서, 착용가능 디스플레이 시스템은 양상 10의 하드웨어 프로세서; 및 착용가능 디스플레이 시스템의 착용자의 눈 이미지들을 하드웨어 프로세서에 송신하도록 구성된 이미지 디바이스를 포함한다.

[0076] 제12 양상: 양상 11의 착용가능 디스플레이 시스템으로서, 하드웨어 프로세서는 착용가능 디스플레이 시스템의 착용자의 눈의 생체 인증 정보를 결정하기 위해 양상들 1-9 중 어느 한 양상의 방법을 수행하도록 추가로 프로그래밍된다.

[0077] 제13 양상: 머리 장착 디스플레이 시스템이 개시된다. 머리 장착 디스플레이 시스템은: 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 이미지 캡처 디바이스로부터 눈 이미지를 수신하고; 적어도 부분적으로 눈 이미지에 기반하여 눈의 피치 및 요를 결정하고; 눈 이미지에서 눈 피처에 적어도 부분적으로 기반하여 눈의 롤을 결정하고; 그리고 적어도 부분적으로 피치, 요 및 롤에 기반하여 눈 이미지에서 눈 포즈를 결정하도록 프로그래밍된다.

[0078] 제14 양상: 양상 13의 머리 장착 디스플레이 시스템으로서, 눈의 롤을 결정하기 위해, 하드웨어 프로세서는 눈 이미지와 기준 눈 이미지 사이의 호모그래피를 결정하도록 프로그래밍된다.

[0079] 제15 양상: 양상 13 또는 양상 14의 머리 장착 디스플레이 시스템으로서, 눈의 롤을 결정하기 위해, 하드웨어 프로세서는 눈 이미지에서 극좌표 표현을 활용하도록 프로그래밍된다.

[0080] 제16 양상: 양상들 13-15 중 어느 한 양상의 머리 장착 디스플레이 시스템으로서, 눈의 롤을 결정하기 위해, 하드웨어 프로세서는 눈 이미지에서 홍채 코드를 기준 눈 이미지로부터의 홍채 코드에 비교하도록 프로그래밍된다.

[0081] 제17 양상: 양상들 13-16 중 어느 하나의 양상의 머리 장착 디스플레이 시스템으로서, 하드웨어 프로세서는 눈 이미지에서 눈 포즈를 사용하여 눈의 생체 인증 데이터를 결정하도록 추가로 프로그래밍된다.

[0082] 제18 양상: 양상들 13-17 중 어느 한 양상의 머리 장착 디스플레이 시스템으로서, 눈 피처는 홍채 피처를 포함한다.

[0083] 제19 양상: 양상 18의 머리 장착 디스플레이 시스템으로서, 홍채 피처는 텍스처, 패턴 또는 홍채의 키포인트를 포함한다.

[0084] 제20 양상: 양상들 13-17 중 어느 한 양상의 머리 장착 디스플레이 시스템으로서, 눈 피처는 공막 피처를 포함한다.

[0085] 제21 양상: 양상 20의 머리 장착 디스플레이 시스템으로서, 공막 피처는 혈관을 포함한다.

[0086] 제22 양상: 양상들 13-21 중 어느 한 양상의 머리 장착 디스플레이 시스템으로서, 프로세서는 눈 이미지에서 눈의 홍채를 세그먼트화하도록 추가로 프로그래밍된다.

[0087] 제23 양상: HMD(head mounted display: 머리 장착 디스플레이)의 동작 에러를 검출하기 위한 방법이 개시된다. 방법은 하드웨어 컴퓨터 프로세서의 제어 하에 있고 그리고 HMD 착용자의 제1 눈의 제1 롤 각도를 결정하는 단계; HMD의 착용자의 제2 눈의 제2 롤 각도를 결정하는 단계; 및 제1 롤 각도와 제2 롤 각도의 비교에 적어도 부분적으로 기반하여 머리 장착 디스플레이 동작의 동작 에러를 검출하는 단계를 포함한다.

[0088] 제24 양상: 양상 23의 방법에 있어서, 머리 장착 디스플레이의 동작 에러를 검출하는 단계는 제1 롤 각도와 제2 롤 각도 사이의 차이가 에러 임계치를 초과하는 것을 결정하는 단계를 포함한다.

[0089] 제25 양상: 양상들 23 또는 24 중 어느 한 양상의 방법에 있어서, 검출된 에러에 기반하여 에러 신호를 생성하는 단계를 더 포함한다.

[0090] 제26 양상: 양상들 23-25 중 어느 한 양상의 방법에 있어서, 머리 장착 디스플레이 동작의 동작 에러를 검출하는 단계는 복수의 눈 이미지들에서 롤 각도에 대한 평균 값을 추적하는 단계를 포함한다.

[0091] 제27 양상: 양상들 23-26 중 어느 한 양상의 방법에 있어서, 제1 롤 각도를 결정하는 단계 또는 제2 롤 각도를 결정하는 단계는 양상들 1-9 중 어느 한 양상의 방법을 수행하는 단계를 포함한다.

[0092] 제28 양상: 장치가 개시된다. 장치는 눈의 이미지를 찍도록 구성된 카메라; 및 눈의 눈 포즈를 추정하기 위해 눈의 이미지를 분석하도록 프로그래밍된 프로세싱 시스템을 포함한다.

[0093] 제29 양상: 양상 28의 장치로서, 카메라는 디지털 카메라이다.

[0094] 제30 양상: 양상들 28-29 중 어느 한 양상의 장치로서, 눈의 눈 포즈를 추정하도록 눈의 이미지를 분석하기 위해, 프로세싱 시스템은 현재 눈 포즈와 기준 눈 포즈 사이의 상대적 변환을 결정하도록 프로그래밍된다.

[0095] 제31 양상: 양상 30의 장치로서, 현재 눈 포즈와 기준 눈 포즈 사이의 상대적 변환을 결정하기 위해, 프로세싱 시스템은 눈의 눈 피처들을 분석하도록 프로그래밍된다.

[0096] 제32 양상: 양상 31의 장치로서, 눈의 눈 피처들을 분석하기 위해, 프로세싱 시스템은 눈의 홍채 피처들 또는 공막 피처들을 분석하도록 프로그래밍된다.

[0097] 제33 양상: 양상 32의 장치로서, 눈의 눈 피처들을 분석하기 위해, 프로세싱 시스템은 눈의 홍채의 윤부의 링을 분석하도록 프로그래밍된다.

[0098] 제34 양상: 양상 33의 장치로서, 눈의 홍채의 윤부의 링을 분석하기 위해, 프로세싱 시스템은 윤부 경계를 카메라의 좌표 프레임에 관련시키는 각도 변환의 3개의 치수들 중 2개를 결정하도록 프로그래밍된다.

[0099] 제35 양상: 양상 34의 장치로서, 프로세싱 시스템은 홍채-코드들의 최적 매칭을 위한 오프셋을 결정하기 위해 각도 윈도우의 탐색을 수행하도록 추가로 프로그래밍된다.

[0100] 제36 양상: 양상 35의 장치로서, 프로세싱 시스템은 오프셋을 사용하여 각도 변환의 제3 "롤" 자유도에 대응하는 롤 각도를 측정하도록 추가로 프로그래밍된다.

[0101] 제37 양상: 양상들 33-36 중 어느 한 양상의 장치로서, 프로세싱 시스템은 눈의 홍채 피처들 또는 공막 피처들을 분석하고 그리고 순차적으로 또는 동시 최적화의 부분으로서 눈의 홍채의 윤부의 링을 분석하도록 프로그래밍된다.

[0102] 제38 양상: 양상들 31-37 중 어느 한 양상의 장치로서, 프로세싱 시스템은 눈 피처들을 추출하도록 추가로 프로그래밍된다.

[0103] 제39 양상: 양상 38의 장치로서, 프로세싱 시스템은: 눈 피처들이 추출되기 전에 홍채 이미지를 극좌표 형태로 컨버팅하고; 그리고 눈 피처들을 다시 이미지 좌표들에 역으로 맵핑하도록 추가로 프로그래밍된다.

[0104] 제40 양상: 양상들 28-39 중 어느 한 양상의 장치로서, 장치는 머리 장착 디스플레이이다.

[0105] 제41 양상: 양상 40의 장치로서, 눈은 머리 장착 디스플레이의 착용자의 한쪽 눈이고, 롤 각도는 머리 장착 디스플레이의 착용자의 한쪽 눈의 롤 각도를 포함하고, 그리고 프로세싱 시스템은: 머리 장착 디스플레이의 착용자의 다른 눈의 제3 "롤" 자유도에 대응하는 롤 각도를 측정하고; 그리고 2개의 롤 각도들이 매칭하지 않을 때 에러 신호를 생성하도록 추가로 프로그래밍된다.

[0106] 제42 양상: 양상 41의 장치로서, 프로세싱 시스템은 2개의 롤 각도들의 평균 값을 각도 측정의 롤 치수의 단일 추정치로서 결정하도록 프로그래밍된다.

[0107] 제43 양상: 양상들 36-42 중 어느 한 양상의 장치로서, 눈의 롤 각도(비틀림)는 눈의 시선축을 수정하기 위해 측정된다.

결론

[0108] 본원에 설명되고 그리고/또는 첨부 도면들에 도시된 프로세스들, 방법들 및 알고리즘들 각각은 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들 또는 특수 목적 컴퓨터들, 특수 목적 회로 등으로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들)을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되거나 링크되거나, 동적 링크 라이브러리에 설치되거나, 또는 해석된 프로그래밍 언어로 쓰여질 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.

[0109] 추가로, 본 개시내용의 기능성의 특정 구현들은 충분히 수학적으로, 컴퓨테이셔널적으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들은 예컨대 수반된 계산들의 볼륨 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 기능을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 시간 양에서 원하는 이미지 프로세싱 임무 또는 애플리케이션을 제공하기 위해 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.

[0110] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비-일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 생성된 데이터 신호들로서(예컨대, 반송파의 부분 또는 다른 아날로그 또는 디지털 전파 신호로서) 무선 기반 및 유선/케이블 기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상에서 송신될 수 있고, 다양한 형태들(예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서)을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적, 유형의 컴퓨터 저장부에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.

[0111] 본원에 설명되고 그리고/또는 첨부 도면들에 도시된 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 흐름도들의 기능성들은 (예컨대, 로지컬 또는 산술적) 특정 기능들 또는 프로세스의 단계들을 구현하기 위한 하나 또는 그 초과의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에 제공된 예시적인 예들로부터 조합되거나, 재배열되거나, 부가되거나, 삭제되거나, 수정되거나 다르게 변화될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고 이에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 임무들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 제거될 수 있다. 게다가, 본원에 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현 변형들이 가능하다.

[0112] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷, 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.

[0113] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 본원에 개시된 바람직한 속성들을 위해 이 양상들 중 단지 하나가 전적으로 책임지거나 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하도록 의도된다. 본 개시내용에 설명된 구현들에 대한 다양한 수정들은 당업자들에게 쉽게 자명할 수 있고, 그리고 본원에 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않고 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에 도시된 구현들로 제한되는 것으로 의도되는 것이 아니라, 본 개시내용, 본원에 개시된 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.

[0114] 별개의 구현들의 맥락에서 이 명세서에 설명된 특정 특징들은 또한 단일 구현으로 결합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한 별도로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 작용하고 심지어 처음에 그와 같이 청구되는 것으로 위에서 설명될 수 있지만, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 청구된 조합은 서브조합 또는 서브조합의 변형에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 실시예에 필요하거나 필수적인 것이 아니다.

[0115] 특정하게 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에 사용된 조건어, 이를테면 특히, "할 수 있다" 및 "예컨대" 등은, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들이 포함하지 않는 것을 전달하기 위해 의도된다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 어쨌든 하나 또는 그 초과의 실시예들을 위해 요구되거나 또는 하나 또는 그 초과의 실시예들이 반드시 저자(author) 입력 또는 프롬프팅으로 또는 이들 없이, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 임의의 특정 실시예에서 수행되는지를 판정하기 위한 로직을 포함하는 것을 의미하도록 의도되지 않는다. 용어 "포함하는", "갖는" 등은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는"은 포괄적인 의미(및 배타적 의미가 아님)로 사용되어, 예컨대 엘리먼트들의 리스트를 연결하기 위해 사용될 때, 용어 "또는"은 리스트 내 엘리먼트들 중 하나, 몇몇 또는 모두를 의미한다. 게다가, 이 출원 및 첨부된 청구항들에 사용된 단수들은 다르게 특정되지 않으면 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 이해될 것이다.

[0116] 본원에 사용된 바와 같이, 아이템들의 리스트 중 "적어도 하나"를 지칭하는 어구는 단일 부재들을 포함하는 이들 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 "A, B, C; A 및 B; A 및 C; B 및 C; 및 A, B 및 C를 커버하도록 의도된다. 특정하게 다르게 언급되지 않으면 "X, Y 및 Z 중 적어도 하나"라는 어구 같은 결합 어구는, 일반적으로 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 사용되는 맥락으로 이해된다. 따라서, 그런 결합 언어는 일반적으로, 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 의미하도록 의도되지 않는다.

[0117] 유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식될 것이다. 추가로, 도면들은 흐름도 형태로 하나 또는 그 초과의 예시적 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들은 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 부가적인 동작들은 예시된 동작들 중 임의의 동작 이전, 이후, 동시에, 또는 사이에 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재정렬될 수 있다. 특정 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 열거된 액션들은 상이한 순서로 수행될 수 있고 여전히 원하는 결과들을 달성할 수 있다.

Claims

눈 이미지를 프로세싱하기 위한 방법으로서,
하드웨어 컴퓨터 프로세서의 제어 하에서:
눈의 동공 및 변연(limbic) 경계들을 획득하기 위해 눈 이미지에서 상기 눈의 홍채를 세그먼트화하는 단계;
상기 눈의 동공 및 윤부(limbus) 경계들을 사용하여 제1 눈 포즈 측정의 2개의 각도 좌표들을 결정하는 단계;
상기 눈의 홍채 피처(feature)를 식별하는 단계;
식별된 홍채 피처를 사용하여 상기 제1 눈 포즈 측정의 제3 각도 좌표를 결정하는 단계; 및
이미지 또는 생체 인증 애플리케이션의 디스플레이를 위해 상기 제1 눈 포즈 측정을 활용하는 단계
를 포함하는,
눈 이미지를 프로세싱하기 위한 방법.
제1 항에 있어서,
상기 눈의 홍채 피처를 식별하는 단계는 상기 홍채 피처에 대한 디스크립터(descriptor)를 결정하는 단계를 포함하고, 상기 디스크립터는 상기 홍채 피처의 수치 표현을 포함하는,
눈 이미지를 프로세싱하기 위한 방법.
제1 항에 있어서,
상기 제3 각도 좌표를 결정하는 단계는 피처-기반 추적 기법, 코드-기반 추적 기법, 또는 이들의 조합을 사용하여 상기 제3 각도 좌표를 결정하는 단계를 포함하는,
눈 이미지를 프로세싱하기 위한 방법.
제1 항에 있어서,
상기 제3 각도 좌표를 결정하는 단계는 적어도 부분적으로 상기 홍채 피처에 기반하여, 상기 눈 이미지와 기준 눈 이미지 사이의 호모그래피(homography)를 결정하는 단계를 포함하는,
눈 이미지를 프로세싱하기 위한 방법.
제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 제3 각도 좌표를 결정하는 단계는 적어도 부분적으로 상기 홍채 피처에 기반하여, 상기 눈 이미지로부터 생성된 홍채 코드와 기준 눈 이미지로부터 생성된 홍채 코드 사이의 시프트(shift)를 결정하는 단계를 포함하는,
눈 이미지를 프로세싱하기 위한 방법.
제1 항에 있어서,
상기 홍채 피처는 상이한 텍스처(texture), 상기 홍채의 패턴 또는 상기 홍채의 키포인트(keypoint)를 가진 상기 홍채의 영역을 포함하는,
눈 이미지를 프로세싱하기 위한 방법.
제1 항에 있어서,
상기 제1 눈 포즈 측정은 사용자의 제1 눈에 대해 결정되고 제2 눈 포즈 측정은 상기 사용자의 제2 눈에 대해 결정되고, 그리고 상기 제1 눈 포즈 측정과 상기 제2 눈 포즈 측정의 평균은 상기 사용자의 눈 포즈의 단일 추정치로서 사용되는,
눈 이미지를 프로세싱하기 위한 방법.
머리 장착 디스플레이 시스템으로서,
눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스;
하드웨어 프로세서
를 포함하고,
상기 하드웨어 프로세서는:
상기 이미지 캡처 디바이스로부터 상기 눈 이미지를 수신하고;
적어도 부분적으로 상기 눈 이미지에 기반하여 상기 눈의 피치(pitch) 및 요(yaw)를 결정하고;
상기 눈 이미지에서 눈 피처에 적어도 부분적으로 기반하여 상기 눈의 롤(roll)을 결정하고; 그리고
적어도 부분적으로 상기 피치, 상기 요 및 상기 롤에 기반하여 상기 눈 이미지에서 눈 포즈를 결정
하도록 프로그래밍되는,
머리 장착 디스플레이 시스템.
제8 항에 있어서,
상기 눈의 롤을 결정하기 위해, 상기 하드웨어 프로세서는 상기 눈 이미지와 기준 눈 이미지 사이의 호모그래피를 결정하도록 프로그래밍되는,
머리 장착 디스플레이 시스템.
제8 항에 있어서,
상기 눈의 롤을 결정하기 위해, 상기 하드웨어 프로세서는 상기 눈 이미지에서 극좌표 표현을 활용하도록 프로그래밍되는,
머리 장착 디스플레이 시스템.
제8 항에 있어서,
상기 눈의 롤을 결정하기 위해, 상기 하드웨어 프로세서는 상기 눈 이미지에서 홍채 코드를 기준 눈 이미지로부터의 홍채 코드에 비교하도록 프로그래밍되는,
머리 장착 디스플레이 시스템.
제8 항에 있어서,
상기 하드웨어 프로세서는 상기 눈 이미지에서 상기 눈 포즈를 사용하여 상기 눈의 생체 인증 데이터를 결정하도록 추가로 프로그래밍되는,
머리 장착 디스플레이 시스템.
제8 항에 있어서,
상기 눈 피처는 홍채 피처를 포함하고, 상기 홍채 피처는 상기 홍채의 텍스처, 패턴 또는 키포인트를 포함하는,
머리 장착 디스플레이 시스템.
제8 항 내지 제13 항 중 어느 한 항에 있어서,
상기 눈 피처는 공막 피처를 포함하고, 상기 공막 피처는 혈관을 포함하는,
머리 장착 디스플레이 시스템.
제8 항에 있어서,
상기 프로세서는 상기 눈 이미지에서 상기 눈의 홍채를 세그먼트화하도록 추가로 프로그래밍되는,
머리 장착 디스플레이 시스템.
HMD(head mounted display: 머리 장착 디스플레이)의 동작 에러를 검출하기 위한 방법으로서,
하드웨어 컴퓨터 프로세서의 제어 하에서:
상기 HMD의 착용자의 제1 눈의 제1 롤 각도를 결정하는 단계;
상기 HMD의 착용자의 제2 눈의 제2 롤 각도를 결정하는 단계; 및
상기 제1 롤 각도와 상기 제2 롤 각도의 비교에 적어도 부분적으로 기반하여 머리 장착 디스플레이 동작의 동작 에러를 검출하는 단계
를 포함하는,
HMD의 동작 에러를 검출하기 위한 방법.
제16 항에 있어서,
상기 머리 장착 디스플레이의 동작 에러를 검출하는 단계는 상기 제1 롤 각도와 상기 제2 롤 각도 사이의 차이가 에러 임계치를 초과하는 것을 결정하는 단계를 포함하는,
HMD의 동작 에러를 검출하기 위한 방법.
제16 항에 있어서,
검출된 에러에 기반하여 에러 신호를 생성하는 단계를 더 포함하는,
HMD의 동작 에러를 검출하기 위한 방법.
제16 항에 있어서,
상기 머리 장착 디스플레이 동작의 동작 에러를 검출하는 단계는 복수의 눈 이미지들에서 롤 각도에 대한 평균 값을 추적하는 단계를 포함하는,
HMD의 동작 에러를 검출하기 위한 방법.
제16 항 내지 제19 항 중 어느 한 항에 있어서,
상기 제1 롤 각도를 결정하는 단계 또는 상기 제2 롤 각도를 결정하는 단계는 피처-기반 추적 기법, 코드-기반 추적 기법, 또는 이들의 조합을 사용하여 제1 롤 각도를 결정하는 단계 또는 상기 제2 롤 각도를 결정하는 단계를 포함하는,
HMD의 동작 에러를 검출하기 위한 방법.