KR102442569B1 - 각막 곡률을 이용한 홍채 경계 추정 - Google Patents

각막 곡률을 이용한 홍채 경계 추정 Download PDF

Info

Publication number
KR102442569B1
KR102442569B1 KR1020197004017A KR20197004017A KR102442569B1 KR 102442569 B1 KR102442569 B1 KR 102442569B1 KR 1020197004017 A KR1020197004017 A KR 1020197004017A KR 20197004017 A KR20197004017 A KR 20197004017A KR 102442569 B1 KR102442569 B1 KR 102442569B1
Authority
KR
South Korea
Prior art keywords
eye
image
display system
wearable display
hardware processor
Prior art date
Application number
KR1020197004017A
Other languages
English (en)
Other versions
KR20190028493A (ko
Inventor
알렉세이 스피제보이
고람레자 아마예
아드리안 캘러
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20190028493A publication Critical patent/KR20190028493A/ko
Application granted granted Critical
Publication of KR102442569B1 publication Critical patent/KR102442569B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Abstract

눈의 홍채의 변연 경계를 결정하기 위한 시스템들 및 방법들의 예들이 제공된다. 각막 벌지의 성질들은 눈 이미지들로부터 컴퓨팅될 수 있다. 눈 표면(예컨대, 공막)과의 각막 벌지의 교차부는 변연 경계로서 결정될 수 있다. 결정된 변연 경계는 홍채 세그멘테이션 또는 바이오메트릭 애플리케이션들을 위해 사용될 수 있다. 머리 장착 디스플레이는 눈을 이미징하는 카메라 및 눈 이미지들을 분석하고 변연 경계를 결정하는 프로세서를 포함할 수 있다.

Description

각막 곡률을 이용한 홍채 경계 추정
[0001] 본 출원은, 2016년 7월 14일에 출원되고 발명의 명칭이 "IRIS BOUNDARY ESTIMATION USING CORNEA CURVATURE"인 러시아 특허 출원 번호 제2016128791호를 우선권으로 주장하며, 그리하여, 이 출원의 내용들은 그 전체가 인용에 의해 본원에 포함된다.
[0002] 본 개시내용은 일반적으로, 눈 이미저리(eye imagery)를 프로세싱하기 위한 시스템들 및 방법들에 관한 것으로, 보다 구체적으로, 눈의 각막 벌지(corneal bulge)의 측정들을 사용하여 홍채의 경계를 식별하는 것에 관한 것이다.
[0003] 인간 홍채는 바이오메트릭(biometric) 정보의 소스로서 사용될 수 있다. 바이오메트릭 정보는 개인의 인증 또는 식별을 제공할 수 있다. 광의적으로, 바이오메트릭 템플릿이라 불리는, 바이오메트릭 정보를 추출하는 프로세스는 통상적으로 다수의 난제들을 갖는다.
[0004] 일 양상에서, 웨어러블 디스플레이 시스템이 개시된다. 웨어러블 디스플레이 시스템은, 디스플레이; 사용자의 눈의 이미지를 캡처(capture)하도록 구성된 이미지 캡처 디바이스; 실행 가능한 명령들을 저장하도록 구성된 비-일시적인 메모리; 및 디스플레이, 이미지 캡처 디바이스 및 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 카메라 캘리브레이션(calibration)을 획득하도록; 눈의 3-차원 좌표 프레임(coordinate frame)에서 눈의 생리적 파라미터들을 획득하도록 ― 생리적 파라미터들은, 눈의 각막을 포함하는 각막 구체(corneal sphere)의 반경, 눈의 홍채의 반경, 및 각막 구체의 중심과 눈의 동공의 중심 사이의 거리를 포함함 ― ; 눈의 이미지를 수신하도록 ― 이미지는 눈의 홍채 및 눈의 각막의 적어도 일부를 포함함 ― ; 각막 구체와 눈 사이의 교차부(intersection)를 결정하도록; 카메라 캘리브레이션에 적어도 부분적으로 기초하여, 눈의 좌표 프레임으로부터 눈의 이미지의 좌표 프레임으로 교차부를 변환하도록; 교차부에 적어도 부분적으로 기초하여 변연 경계(limbic boundary)를 결정하도록; 그리고 바이오메트릭 애플리케이션에서 변연 경계를 활용하도록 프로그래밍된다.
[0005] 다른 양상에서, 컴퓨터 시스템이 개시된다. 컴퓨터 시스템은, 디스플레이; 사용자의 눈의 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 실행 가능한 명령들을 저장하도록 구성된 비-일시적인 메모리; 및 디스플레이, 이미지 캡처 디바이스 및 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 눈의 3-차원 좌표 프레임에서 눈의 생리적 파라미터들을 획득하도록 ― 생리적 파라미터들은, 눈의 각막을 포함하는 각막 구체의 반경, 눈의 홍채의 반경, 및 각막 구체의 중심과 눈의 동공의 중심 사이의 거리를 포함함 ― ; 눈의 이미지를 수신하도록 ― 이미지는 눈의 홍채 및 눈의 각막의 적어도 일부를 포함함 ― ; 각막 구체와 눈 사이의 교차부를 결정하도록; 그리고 교차부에 적어도 부분적으로 기초하여 변연 경계를 결정하도록 프로그래밍된다.
[0006] 본 명세서에서 설명되는 청구 대상의 하나 또는 그 초과의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 이 개요 또는 다음의 상세한 설명 어느것도, 본 발명의 청구 대상의 범위를 한정하거나 제한하는 것으로 의도되지 않는다.
[0007] 도 1a는 눈의 특징들 및 눈 이미징 카메라가 눈들을 뷰잉하는 좌표계를 개략적으로 예시하는 사시도이다.
[0008] 도 1b는 각막의 지오메트리를 설명하는 데 사용될 수 있는 각막 구체 및 눈의 생리적 파라미터들을 개략적으로 예시하는 눈의 단면도이다.
[0009] 도 2는 눈의 변연 경계를 결정하고 바이오메트릭 애플리케이션들에서 변연 경계를 이용하기 위한 예시적인 방법을 예시하는 흐름도이다.
[0010] 도 3은 웨어러블 디스플레이 시스템의 예를 개략적으로 예시한다.
[0011] 도 4는 도 3에 예시된 웨어러블 디스플레이 시스템에 사용될 수 있고 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0012] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)를 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
개요
[0013] 눈으로부터 바이오메트릭 정보를 추출하는 것은 일반적으로 눈 이미지 내의 홍채의 세그멘테이션(segmentation)을 위한 절차를 포함한다. 홍채 세그멘테이션은 홍채의 (안쪽) 동공 및 (바깥쪽) 변연 경계들을 발견하는 것, 상위 및 하위 눈꺼풀들이 홍채를 차폐하는 경우, 이 상위 또는 아래 눈꺼풀들을 로컬화(localizing)하는 것, 속눈썹들, 그림자들 또는 리플렉션(reflection)들의 차폐들을 검출 및 배제시키는 것 등을 포함해서, 홍채 경계들을 로케이팅(locating)하는 것을 포함하는 동작들을 수반할 수 있다. 예컨대, 눈 이미지는 얼굴의 이미지에 포함될 수 있거나 또는 안구 주위 영역(periocular region)의 이미지일 수 있다.
[0014] 홍채 세그멘테이션을 수행하기 위해, 동공의 경계(홍채의 내부 경계) 및 림버스(limbus)(홍채의 외부 경계) 둘 모두가 이미지 데이터의 별개의 세그멘트들로서 식별될 수 있다. 동공 경계를 식별하는 것은, 동공이 매우 효과적으로 광을 흡수하고, 이에 따라 신뢰성 있고 높은 콘트라스트의 경계를 제공하므로, 통상적으로 간단하다. 그러나, 종종 림버스가 훨씬 더 열등하게 정의되며, 눈의 흰색 공막으로의 트랜지션(transition)이 종종 훨씬 더 매끄럽다. 이 어려움은 바이오메트릭 맥락에서 통상적인 바와 같이 적외선 광으로 눈이 이미징될 때 훨씬 더 두드러질 수 있다.
[0015] 림버스에서의 덜 양호하게 정의된 경계로 인해, 더 정확할 뿐만 아니라 더 정밀한 변연 경계 식별을 위한 방법을 갖는 것이 바람직하다. 소프트 경계(soft boundary)의 존재 시에, 종래의 변연 경계 기술들이 사용될 때, 정확도 및 정밀도 둘 모두가 어려움을 겪을 수 있다. 소프트 경계는 알고리즘들에 의해, 종종 눈꺼풀들, 속눈썹들 또는 그것의 그림자(shadow)들과 같은 눈의 다른 엘리먼트들로 오인되기 때문에 정확도 문제가 발생할 수 있다. 동시에, 소프트 경계는 종종, 조명 및 다른 환경적 팩터들에 대해 견고한 세그멘테이션의 진정한 반복 가능한 정의를 제공하지 않기 때문에, 정밀도 문제들이 발생할 수 있다.
[0016] 홍채의 경계를 식별하기 위해, (일부 종래의 기술들에서 사용된 바와 같은) 눈의 표면 착색(surface coloration)과는 대조적으로, 눈의 3차원(3-D) 지오메트리(geometry)의 이용은, 오인될 수 있는 눈의 다른 지오메트리 특징들이 없고, 명확하게 정의된다는 점에서 고유한 대안을 제공하며, 이는 개선된 신뢰성으로 이어진다. 따라서, 본 개시내용은, 홍채의 외부 경계를 식별하기 위해 3-D 눈 지오메트리를 측정하고 측정된 각막 벌지와 눈 표면(예컨대, 공막)의 교차부를 사용하기 위한 기술들을 설명한다.
[0017] 웨어러블 HMD(head mounted display)의 맥락에서, 내향 눈 이미징 카메라(들)는 사용자의 눈들 중 하나 또는 둘 모두에 비교적 근접할 수 있다. 예컨대, 카메라들은, 자체가 사용자에 의해 착용되는 웨어러블 HMD 상에 장착될 수 있다. 이러한 카메라에 대한 눈들의 근접도는 눈 이미저리의 해상도를 더 높게 할 수 있다. 따라서, 컴퓨터 비전 기술들이 눈을 이미징하고 사용자의 눈들로부터 시각적 특징들 이를테면, 각막 벌지의 형상을 추출하는 것이 가능하다. 눈 표면(예컨대, 공막)과 각막 벌지의 교차부는 변연 경계를 식별하는 데 사용될 수 있다. 또한, 눈 근처의 카메라로 뷰잉될 때, 눈의 홍채는 상세한 구조들을 보여줄 것이다. 이러한 홍채 구조들은 적외선 조명하에서 관찰될 때 특히 두드러질 수 있고 바이오메트릭 식별을 위해 사용될 수 있다. 이러한 홍채 특징들은 사용자마다 고유할 수 있고, 지문의 방식으로, 사용자를 고유하게 식별하는 데 사용될 수 있다. 홍채의 경계들을 식별하기 위한 본 기술들은, 홍채를 세그멘팅하고 이를테면, HMD의 사용자를 인증하는, 바이오메트릭 애플리케이션들에 사용될 수 있는 바이오메트릭 템플릿(종종 홍채 코드라고 불림)을 결정하는 데 사용될 수 있다.
눈의 구조들
[0018] 도 1a는 홍채(104), 공막(108) 및 동공(112)을 갖는 눈(100)의 지오메트리를 개략적으로 예시한다. 도 1a는 동공(112)과 홍채(104) 사이의 동공 경계(112a), 및 홍채(104)와 공막(108)(눈의 "흰자위(white)") 사이의 변연 경계(104a)를 도시한다. 변연 경계(104a)(변연-홍채 윤곽(limbic-iris contour)으로서 또한 지칭됨) 상의 지점들(116)의 결정은 아래에서 설명될 것이다. 홍채(104) 및 동공(112)을 커버하는 투명한 각막은 도 1a에 도시되지 않는다.
[0019] 도 1b는 변연 경계(104a)에서 각막(124)과 공막(108)의 교차부를 도시하는, 각막 구체(120)의 개략적인 단면도이다. 홍채(104) 및 동공(112) 아래에(또는 뒤에) 있는, 도 1b에 예시된 각막 구체(120)의 부분은 물리적이 아니며, 각막(124)의 대략적인 구체 형상을 설명하는 데 사용되는 지오메트리 구조이다. 도 1b는 눈(100)의 일부 지오메트리 파라미터들을 예시한다. 각막 구체(120)는 반경(Rc)을 갖는다. 각막 구체(120)의 중심과 동공(112)의 중심은 거리(dp)만큼 분리된다. 각막 구체(120)의 중심으로부터 동공(112)의 중심을 통해 연장되는 선을 가로지르는 방향으로 측정된 홍채(104)의 반경은 Ri이다.
[0020] 도 1a는 또한 눈 이미징 카메라에 의해 촬영된 이미지들을 분석하는 데 사용될 수 있는 좌표계(128)를 도시한다. 이 좌표계(128)에서, 각막 구체(120)의 중심(120a)은 벡터 포지션(cc)에 로케이팅될 수 있고, 동공(112)의 중심은 벡터 포지션(pc)에 로케이팅될 수 있다. 좌표계(128)에서, 각막 구체(120)의 중심(120a)으로부터 동공(112)의 중심(112b)으로의 벡터는 pc-cc에 의해 주어질 수 있다.
홍채의 변연 경계를 결정하기 위한 예시적인 방법론
[0021] 이미지 캡처 디바이스(예컨대, 눈 이미징 카메라)에 의해 촬영된 눈 이미지들로부터 변연 경계(104a)를 결정하기 위한 예시적인 방법론이 HMD에 의해 수행될 수 있다. 예컨대, HMD는 HMD 사용자의 눈들 중 하나 또는 둘 모두를 이미징하는 눈 이미징 카메라를 포함할 수 있다. 일부 HMD들에서, 별개의 눈 이미징 카메라들이 사용자의 눈들 각각에 대해 사용된다.
[0022] 눈 이미징 카메라는 캘리브레이팅될 수 있다. 예컨대, 카메라 캘리브레이션 행렬(calibration matrix)(K)이 결정될 수 있다. 캘리브레이션 행렬(K)은 (직교 방향들에서) 초점 길이들 및 (통상적으로, 카메라 이미지의 중심에서, 픽셀들의) 광학 중심들과 같은 내재적 카메라 파라미터들에 의존한다. 카메라의 캘리브레이션은 눈에 대한 실세계 유닛들(예컨대, 밀리미터들)과 카메라의 자연 유닛들(예컨대, 픽셀들) 간의 관계를 매핑할 수 있다. 캘리브레이션은 특정 사용자에 대한 눈 이미징 이전에 수행되고 특정 카메라에 대해 저장될 수 있다. 일부 구현들에서, 카메라 캘리브레이션은 HMD 제조 프로세스 동안 수행될 수 있다.
[0023] 도 1a 및 도 1b를 참조하면, 사용자에 대한 생리적인 눈 파라미터들(Rc, Ri 및 dp)이 결정될 수 있다. Rc, Ri 및 dp의 값들은 인간 개체군(human population)에 걸쳐 비교적 안정적일 수 있고, 평균값들은 각각, 약 8 밀리미터, 6 밀리미터 및 5.3 밀리미터이다. 일부 구현들에서, 인간 개체군에 대해 통상적인 추정된 값들이 HMD에 의해 사용될 수 있다. 다른 구현들에서, 이들 파라미터들 중 하나 또는 그 초과가 특정 사용자의 눈(들)에 대해 결정될 수 있다. 이러한 파라미터들은 사용자 마다 한 번 결정되거나 사용자에 대해 주기적으로 재결정될 수 있다. 파라미터들(Rc, Ri 및 dp)의 결정은, 스테레오스코피(stereoscopy) 또는 멀티스코픽(multiscopic) 이미징을 이용하고 구형 모델들에 대해 각막 및 공막 영역들을 피팅함으로써 수행될 수 있다. 다른 눈 이미징 기술들이 또한 이러한 파라미터들을 결정하는 데 사용될 수 있다.
[0024] 동공 중심 및 각막 구체(120)의 중심은 3차원으로 추정될 수 있다. 예컨대, 동공 중심은 눈 이미징 카메라에 의해 촬영된 눈 이미지에서 로케이팅될 수 있고, 그 후 카메라 캘리브레이션 정보 또는 행렬(K)을 사용하여, 눈의 좌표 프레임(눈 좌표 프레임으로서 또한 지칭됨)의 3-차원 표현으로 변환될 수 있다. 각막 구체의 중심 및 동공까지의 거리는 눈의 좌표 프레임에서 로케이팅될 수 있다.
[0025] 변연 경계(104a) 상의 다수의 지점들(116)은 각막 구체(120)와 눈 표면(예컨대, 공막(108)) 사이의 교차부 윤곽을 발견함으로써 결정될 수 있다. 각막 구체(120)에 대한 지오메트리 정보(예컨대, Rc, Ri, dp)는, 변연 경계(104a) 상에 있는 다수의 지점들(116)을 발견하기 위해 눈 표면과 각막 구체의 교차부를 컴퓨팅하는 데 사용될 수 있다. 경계(104a) 상의 지점들(116)은 눈 좌표 프레임에서 먼저 결정되고, 그 후 이미지 좌표 평면, 좌표 프레임 또는 좌표계(또는 카메라 이미지 평면)에 재-매핑될 수 있다. 일부 구현들에서, 총 N개의 지점들(116)이 눈의 좌표 프레임에서 홍채 주위에 규칙적인 샘플링을 생성한다. 지점들(116)은 카메라 캘리브레이션 상수들을 사용하여, 카메라의 이미지 좌표계의 이미지 좌표 프레임으로 프로젝팅될 수 있다.
[0026] 지점들(116)은 변연 경계(104a)를 결정하는 데 사용될 수 있다. 예컨대, 타원, 원 또는 다른 형상이 이미지 좌표 프레임에서의 생성된 지점들(116)에 대해 피팅될 수 있다. 타원은, 홍채 정보를 추출하는 데 추후에 사용될 수 있는 변연 경계를 정의한다. 다른 구현들에서, 다른 유형들의 곡선들, 예컨대, 스플라인 곡선(spline curve)들, 계란형들, 불규칙적인 곡선들(홍채 경계가 불규칙한 경우)이 지점들(116)에 대해 피팅될 수 있다. 또 다른 구현들에서, 변연 경계(104a)를 정의하기 위해 지점들(116)이 (곡선-피팅 없이) 사용될 수 있다.
[0027] 따라서, 일 예시적인 구현에서, 다음 액션들이 수행된다. 눈의 생리적인 상수들, 예컨대, 각막 구체 반경, 홍채 반경 및 각막 중심과 동공 중심 사이의 거리가 컴퓨팅 또는 추정된다. 동공 중심 및 각막 구체의 중심은 3차원으로 로케이팅된다. 각막 구체와 눈 표면 사이의 교차부 윤곽의 지점들이 눈 좌표 프레임에서 먼저 결정되고, 그 후 카메라 이미지 평면 또는 이미지 좌표 평면, 좌표 프레임 또는 좌표계로 재매핑된다. 곡선(예컨대, 타원, 원, 스플라인, 다각형 또는 다른 형상)이 변연 경계를 정의하기 위해 이미지 좌표 평면에서 재매핑된 지점들에 대해 피팅된다. 선택적으로, 카메라 캘리브레이션 상수들은, 눈 좌표 프레임과 카메라 이미지 평면 사이의 변환이 결정될 수 있도록 추정 또는 결정될 수 있다.
이미지 좌표 프레임에서 홍채의 변연 경계를 결정하기 위한 예시적인 의사코드
[0028] 다음의 의사코드는 눈 이미지의 좌표 프레임(이미지 좌표 프레임으로서 또한 지칭됨)에서 변연 경계를 결정하기 위한 예시적인 방법론을 설명한다. 도 1a 및 도 1b를 참조하여 위에서 논의된 바와 같이, 좌표계(128)에서, 각막 구체(120)의 중심으로부터 동공(112)의 중심까지의 벡터는 pc-cc에 의해 표현될 수 있다.
[0029] (1) (1,0,0)로부터 pc-cc(도 1a 참조)로의 회전 행렬(Rmat)을 결정하고
[0030] (2) i = 0 내지 num_points ― 1에 대해서, 다음을 행하고,
[0031] (2a) θi = i * 2 * pi/N
[0032] (2b) (정렬된 시각 축(visual axis)의 경우, 정준 좌표 구체(canonical coordinate sphere)에서) 각막 구체의 중심으로부터 3-D 홍채 윤곽 상의 지점까지의 벡터(vi)를 획득하고:
vi = dp * (1,0,0) + Ri * (cos(θi) * (0,1,0) + sin(θi) * (0,0,1))
[0033] (2c) 벡터(vi)를 카메라 좌표 프레임으로 변환하고: vi'= Rmat * vi
[0034] (2d) 카메라 캘리브레이션 행렬(K)을 사용하여 이미지에 vi'를 프로젝팅하고, 이미지에서 홍채 윤곽 지점(Pi)을 획득하고
[0035] (3) 모든 {Pi} 지점들에 대해 곡선(예컨대, 타원, 원, 스플라인, 다각형 또는 다른 형상)을 피팅한다.
[0036] 전술한 예시적인 방법에서, 각막 구체(120)의 중심으로부터 동공(112)의 중심으로의 방향을 설명하는 벡터(pc-cc)와 좌표계(128)의 시각 축 사이의 회전을 설명하는 회전 행렬(Rmat)이 결정된다. 변연 홍채 윤곽(104a) 상의 지점들(116)의 수는 N이고, 지점들(116)은 각도 θ로 균일하게 분포될 수 있다. 변연 경계 상의 지점들(i에 의해 인덱싱됨)은 눈 좌표 프레임에서 벡터(vi)에 의해 설명될 수 있고, 이들 벡터들은 카메라 캘리브레이션 행렬(K)을 사용하여 이미지 좌표 프레임의 벡터들(vi')(예컨대, 변연 경계상의 지점들(116))(예컨대, 도 1의 변연 경계(104a) 상의 지점들(116))로 프로젝팅된다. 이미지 좌표 프레임에서, 변연 윤곽 지점들(Pi)은 변연 경계를 정의하고, 곡선(예컨대, 타원)이 이러한 윤곽 지점들에 대해 피팅될 수 있다.
[0037] 눈 포즈를 추정하는데 타원의 배향이 사용될 수 있다(예컨대, 눈이 카메라를 직접 응시한 경우, 타원이 원이 되도록 감소할 것이고, 눈이 카메라로부터 떨어져서 더 큰 각도들로 응시함에 따라, 타원은 더 평평해짐). 위에서 설명된 바와 같이, 지점들(Pi)은 변연 경계의 아마 불규칙적인 형상을 설명하기 위해 다른 유형들의 곡선들로 피팅될 수 있거나, 또는 지점들(Pi)은 곡선을 피팅하지 않고 변연 경계를 정의하기 위해 직접 사용될 수 있다. 예컨대, (이미지 좌표 프레임에서의) 눈 이미지는 원근 변환(perspective transformation)을 통해 눈의 좌표 프레임으로 변환될 수 있어서, (예컨대, 타원, 원, 스플라인, 다각형, 다른 형상 또는 하나 또는 그 초과의 곡선들에 대한) 변연 경계 지점들의 곡선 피팅이 활용되지 않을 수 있다.
각막 벌지를 이용한 홍채 세그멘테이션을 위한 예시적인 방법
[0038] 도 2는 눈의 변연 경계를 결정하고 바이오메트릭 애플리케이션들에서 변연 경계를 이용하기 위한 예시적인 루틴(200)을 예시하는 흐름도이다. 루틴(200)은 블록(204)에서 시작한다. 블록(208)에서, 루틴(200)은 카메라 캘리브레이션 정보를 획득하고 눈의 생리적 파라미터들을 추정한다. 블록(208)에서, 눈 이미징 카메라는 (선택적으로) 캘리브레이션 이미지들을 촬영하고 카메라 캘리브레이션을 수행할 수 있다(예컨대, 카메라 캘리브레이션 행렬(K)을 획득함). 다른 구현들에서, 카메라 캘리브레이션은 제조 동안 수행될 수 있고, 캘리브레이션 정보는 디바이스에 저장된다. 눈의 생리적 파라미터들(예컨대, Rc, Ri, dp)은 일반 개체군으로부터 추정될 수 있거나, 또는 이들은 특정 개인의 눈들의 이미지들로부터 특정 개인에 대해 결정될 수 있다.
[0039] 블록(212)에서, 루틴(200)은 눈 이미징 카메라에 의해 촬영된 눈 이미지를 수신한다. 블록(216)에서, 각막 구체의 3-차원 좌표들이 결정된다. 예컨대, 도 1a 및 도 1b의 각막 구체(120)의 중심에서 동공 중심이 3차원으로 추정될 수 있다. 동공 중심은 눈 이미징 카메라에 의해 촬영된 눈 이미지에서 로케이팅될 수 있고, 그 후 카메라 캘리브레이션 정보를 사용하여, 눈의 좌표 프레임의 3-차원 표현으로 변환될 수 있다. 각막 구체의 중심 및 동공까지의 거리는 눈의 좌표 프레임에서 로케이팅될 수 있다.
[0040] 블록(220)에서, 눈 표면(예컨대, 공막 표면(108))과 각막 구체(120)의 교차부가 결정된다. 예컨대, 교차부는 변연 경계(104a) 상에 있는 다수의 지점들을 포함할 수 있다. 선택적으로, 블록(224)에서, 변연 경계 상에 있는 것으로 결정된 지점들에 대해 곡선이 피팅할 수 있다. 곡선은 타원, 원, 스플라인, 다각형 또는 다른 형상일 수 있다. 일부 구현들에서, 다수의 곡선들이 블록(224)에서 피팅될 수 있어서, 변연 경계(104a)가 피팅된 다수의 곡선들에 의해 표현된다. 다수의 곡선들 중 하나 또는 그 초과는 포물선들(2차 형식들) 또는 스플라인들(3차 형식들)과 같은 임의의 차수(이를테면, 2, 3, 4, 5 또는 그 초과)의 다항식 형식들에 의해 표현될 수 있다. 다수의 곡선들 중 하나 또는 그 초과는 임의의 차수의 다항식 형식일 필요는 없다. 예컨대, 곡선은 다른 비-선형 수학적 표현일 수 있다. 따라서, 이러한 교차점들 또는 피팅된 곡선으로부터 변연 경계의 추정이 결정될 수 있다. 일부 실시예들에서, 블록들(216, 220 또는 224)을 구현하는 하드웨어 프로세서(예컨대, 도 3의 로컬 프로세싱 모듈(324)의 하드웨어 프로세서)는 눈 이미지에서 변연 경계를 결정하기 위해 위에서 설명된 의사코드를 활용할 수 있다.
[0041] 블록(228)에서, 결정된 변연 경계는 하나 또는 그 초과의 바이오메트릭 애플리케이션들에 사용될 수 있다. 예컨대, 결정된 변연 경계(104a) 또는 동공 경계(112a)(예컨대, 종래의 기술들 또는 본원에 개시된 방법들에 의해 결정됨)는 홍채를 세그멘팅하는 데 사용될 수 있다. 예컨대, 홍채 세그멘테이션 기술들은, 적분-미분 연산자(예컨대, Daugman의 방법), Hough 변환, 측지선 활성 윤곽(geodesic active contour)들, 에지들이 없는 활성 윤곽들, 지향성 광선 검출 방법, Wilde의 방법, Camus 및 Wildes의 방법, Martin-Roche 방법, 또는 이들의 임의의 조합에 기초한 기술들을 포함한다.
[0042] 세그멘팅된 홍채는 사용자의 홍채의 바이오메트릭 템플릿을 결정하는 데 사용될 수 있다. 예컨대, 바이오메트릭 템플릿은 웨이블릿 기술들을 사용하여 결정된 홍채 코드일 수 있다. 홍채 코드들은 다양한 방식들로 컴퓨팅될 수 있다. 예컨대, 일부 실시예들에서, 홍채 코드들은 홍채 바이오메트릭들을 위해 John Daugman에 의해 개발된 알고리즘들에 따라 컴퓨팅될 수 있다(예컨대, 미국 특허 번호 제5,291,560호 참조). 예컨대, 홍채 코드는 2-D 대역통과 필터들(예컨대, Gabor 필터들)을 이용한 (극좌표들에서의)홍채 이미지의 콘볼루션(convolution)에 기초할 수 있고, 홍채 코드는 2비트 숫자(예컨대, 특정 Gabor 필터에 대한 응답이 양인지 또는 음인지 여부)로서 표현될 수 있다.
[0043] 눈 이미지로부터 결정된 홍채 코드는 사용자를 인증하기 위해 알려진 홍채 코드들의 데이터베이스와 비교될 수 있다. 다른 바이오메트릭 애플리케이션에서, 홍채의 변연 경계의 형상은 눈의 눈 포즈를 추정하는 데 사용될 수 있다. 예컨대, 눈 포즈는 눈 이미징 카메라의 좌표계(128) 및 변연 경계(104a)의 추정된 형상에 적어도 부분적으로 기초하여 추정될 수 있다. 일부 실시예들에서, 눈 포즈는 변연 경계(104a)에 의해 한정되는 디스크에 대한 법선에 의해 표현된다(법선은 도 1a에 도시된 방향(pc-cc)을 따라 놓일 수 있음).
[0044] 루틴(200)의 실시예들은 도 3 및 도 4를 참조하여 아래에서 설명되는 웨어러블 디스플레이 시스템(300)에 의해 수행될 수 있다. 예컨대, 눈 이미징 카메라(452)는 눈 이미지들을 획득할 수 있고, 로컬 또는 원격 프로세싱 모듈들(324, 328)은 변연 경계를 결정하기 위해 눈 이미지들을 분석할 수 있다.
[0045] 일부 구현들에서, 컴퓨터 비전 기술들은 (예컨대, 홍채 세그멘테이션을 수행하기 위해 또는 눈을 이미징하고 사용자의 눈들로부터 시각적 특징들, 이를테면, 각막 벌지의 형상을 추출하기 위해) 본원에서 개시된 방법들의 하나 또는 그 초과의 양상들을 위해 사용될 수 있다. 컴퓨터 비전 모듈은 하나 또는 그 초과의 컴퓨터 비전 기술들을 구현할 수 있다. 컴퓨터 비전 기술들의 비-제한적인 예들은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기술들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장된 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기술들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, (예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 신경 네트워크(콘볼루셔널 또는 딥 신경 네트워크들을 포함함) 또는 다른 감독/비-감독 모델들 등과 같은) 다양한 머신 러닝 알고리즘들 등을 포함한다.
예시적인 웨어러블 디스플레이 시스템들
[0046] 일부 실시예들에서, 디스플레이 시스템들은 착용 가능할 수 있으며, 이는 보다 몰입형 가상 현실(VR) 또는 증강 현실(AR) 경험을 유리하게 제공할 수 있고, 여기서, 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그것들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 착용자에게 제시된다.
[0047] 이론에 의해 제한됨이 없이, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 만한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 예컨대, 도파관들의 스택을 포함하는 디스플레이들은 사용자, 또는 뷰어의 눈들의 전면에 포지셔닝되게 착용되도록 구성될 수 있다. 도파관들의 스택은, 이미지 주입 디바이스(예컨대, 이산 디스플레이들, 또는 하나 또는 그 초과의 광섬유들을 통해 이미지 정보를 파이핑(pipe)하는 멀티플렉싱된 디스플레이의 출력 단부들)로부터의 광을 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 뷰어의 눈으로 지향시키기 위해 복수의 도파관들을 사용함으로써 눈/뇌에 3차원 지각을 제공하는데 활용될 수 있다.
[0048] 일부 실시예들에서, 도파관들의 2개의 스택들(뷰어의 각각의 눈마다 하나씩)은 각각의 눈에 상이한 이미지들을 제공하기 위해 활용될 수 있다. 일 예로서, 증강 현실 장면은 AR 기술의 착용자가 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼을 피처링(featuring)하는 실세계 공원-형 세팅을 보도록 이루어질 수 있다. 이들 아이템들에 더하여, AR 기술의 착용자는 또한, 그가 실세계 플랫폼 상에 서 있는 로봇 동상, 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(예컨대, 호박벌)를 "보는 것"을 지각할 수 있더라도, 로봇 동상 및 호박벌은 실세계에 존재하지 않는다. 도파관들의 스택(들)은 입력 이미지에 대응하는 광 필드를 생성하는 데 사용될 수 있고, 일부 구현들에서, 웨어러블 디스플레이는 광 필드 디스플레이를 포함한다.
[0049] 도 3은 디스플레이 시스템 착용자 또는 뷰어(304)에 VR, AR 또는 MR 경험을 제시하는 데 사용될 수 있는 웨어러블 디스플레이 시스템(300)의 예를 예시한다. 웨어러블 디스플레이 시스템(300)은 각막 곡률 기술들을 사용하여 홍채 경계 추정을 수행하거나 본원에서 설명된 실시예들 또는 애플리케이션들 중 임의의 것(예컨대, 눈 이미징 프로세싱)을 제공하도록 프로그래밍될 수 있다. 디스플레이 시스템(300)은 디스플레이(308), 및 디스플레이(308)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(308)는, 디스플레이 시스템 사용자, 착용자 또는 뷰어(304)에 의해 착용 가능하고 그리고 착용자(304)의 눈들의 전면에 디스플레이(308)를 포지셔닝하도록 구성된 프레임(312)에 커플링될 수 있다. 디스플레이(308)는 광 필드 디스플레이일 수 있다. 일부 실시예들에서, 스피커(316)는 프레임(312)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다. 일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 입체 음향/형상화 가능 사운드 제어를 제공한다. 디스플레이(308)는 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(312)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(304)에게 제거 가능하게 부착되는 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(324)에 동작 가능하게 커플링(320)된다.
[0050] 프레임(312)은 착용자의 눈(들)의 이미지들을 획득하기 위해 프레임(312)에 부착되거나 장착되는 하나 또는 그 초과의 카메라들을 가질 수 있다. 일 실시예에서, 카메라(들)는, 눈이 직접 이미징될 수 있도록, 착용자의 눈 전면에서 프레임(312)에 장착될 수 있다. 다른 실시예들에서, 카메라는 프레임(312)의 스템(stem)을 따라 (예컨대, 착용자의 귀 근처에) 장착될 수 있다. 이러한 실시예들에서, 디스플레이(308)는 착용자의 눈으로부터 카메라를 향해 역으로 광을 반사시키는 재료로 코팅될 수 있다. 광은 홍채 특징들이 적외선 이미지들에서 현저하기 때문에 적외선 광일 수 있다.
[0051] 로컬 프로세싱 및 데이터 모듈(324)은 하드웨어 프로세서는 물론, 비-일시적인 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대 프레임(312)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(304)에게 부착될 수 있음), 예컨대, 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(328) 및/또는 원격 데이터 리포지토리(repository)(332)를 사용하여 취득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(308)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(324)은 통신 링크들(336 및/또는 340)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통해 원격 프로세싱 모듈(328) 및 원격 데이터 리포지토리(332)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(328, 332)은 자원들로서 로컬 프로세싱 및 데이터 모듈(324)에 대해 이용 가능하게 된다. 이미지 캡처 디바이스(들)는 변연 경계 추정 절차들에서 사용되는 눈 이미지들을 캡처하는 데 사용될 수 있다. 눈 이미지들은 정지 이미지들 또는 비디오로부터의 프레임들을 포함할 수 있다. 본원에서 사용된 바와 같이, 비디오는 그의 일반적인 의미로 사용되며, 시각적 이미지들의 시퀀스의 레코딩을 포함(그러나 이에 제한되지 않음)한다. 비디오의 각각의 이미지는 때로는, 이미지 프레임 또는 단순히 프레임으로서 지칭된다. 비디오는 오디오 채널이 있거나 또는 없이, 복수의 순차적인 프레임들 또는 비-순차적인 프레임들을 포함할 수 있다. 비디오는 시간에 따라 정렬되거나 시간에 따라 정렬되지 않은 복수의 프레임들을 포함할 수 있다. 따라서, 비디오의 이미지는 눈 이미지 프레임 또는 눈 이미지로서 지칭될 수 있다.
[0052] 일부 실시예들에서, 원격 프로세싱 모듈(328)은 데이터 및/또는 이미지 정보, 이를테면, 이미지 캡처 디바이스에 의해 캡처된 비디오 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 비디오 데이터는 로컬 프로세싱 및 데이터 모듈(324) 및/또는 원격 데이터 리포지토리(332)에 로컬로 저장될 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(332)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)들은 로컬 프로세싱 및 데이터 모듈(324)에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0053] 일부 구현들에서, 로컬 프로세싱 및 데이터 모듈(324) 및/또는 원격 프로세싱 모듈(328)은 본원에서 설명된 바와 같은 홍채의 변연 경계(104a)의 실시예들을 수행하도록 프로그래밍된다. 예컨대, 로컬 프로세싱 및 데이터 모듈(324) 및/또는 원격 프로세싱 모듈(328)은 도 2를 참조하여 설명된 루틴(200)의 실시예들을 수행하거나 위의 예시적인 의사코드를 수행하도록 프로그래밍될 수 있다. 로컬 프로세싱 및 데이터 모듈(324) 및/또는 원격 프로세싱 모듈(328)은, 바이오메트릭 추출 시에, 예컨대, 착용자(304)의 아이덴티티를 식별 또는 인증하기 위해 또는 눈 시선 또는 눈꺼풀 형상 추정 또는 포즈 추정 시에, 예컨대, 각각의 눈이 응시하는 방향을 결정하기 위해 본원에서 개시된 변연 경계 결정 기술들을 이용하도록 프로그래밍될 수 있다. 이미지 캡처 디바이스는 특정 애플리케이션에 대한 비디오(예컨대, 눈 추적 애플리케이션의 경우, 착용자의 눈의 비디오, 또는 제스처 식별 애플리케이션의 경우, 착용자의 손 또는 손가락의 비디오)를 캡처할 수 있다. 비디오는 프로세싱 모듈들(324, 328) 중 하나 또는 둘 모두에 의해 변연 경계 식별 기술들을 사용하여 분석될 수 있다. 이 분석으로, 프로세싱 모듈들(324, 328)은 변연 경계 추정, 홍채 세그멘테이션 및/또는 바이오메트릭 추출 등을 수행할 수 있다. 일 예로서, 로컬 프로세싱 및 데이터 모듈(324) 및/또는 원격 프로세싱 모듈(328)은 프레임(312)에 부착된 카메라들로부터의 획득된 눈 이미지들을 저장하도록 프로그래밍될 수 있다. 또한, 로컬 프로세싱 및 데이터 모듈(324) 및/또는 원격 프로세싱 모듈(328)은 본원에서 설명된 기술들(예컨대, 루틴(200))을 사용하여 눈 이미지들을 프로세싱하도록 프로그래밍될 수 있다. 일부 구현들에서, 변연 경계 추정 중 적어도 일부를 (예컨대, "클라우드"의) 원격 프로세싱 모듈로 오프로딩(off-loading)하는 것은 컴퓨테이션들의 효율 또는 속도를 개선할 수 있다. 변연 경계 추정에 대한 다양한 파라미터들(예컨대, 카메라 캘리브레이션 행렬(K), 눈 파라미터들(Rc, Ri, dp), 회전 행렬(Rmat) 등)이 데이터 모듈들(324 및/또는 328)에 저장될 수 있다.
[0054] 분석의 결과들(예컨대, 추정된 변연 경계)은 부가적인 동작들 또는 프로세싱을 위해 프로세싱 모듈들(324, 328) 중 하나 또는 둘 모두에 의해 사용될 수 있다. 예컨대, 다양한 애플리케이션들에서, 바이오메트릭 식별, 눈-추적, 인식, 또는 제스처들, 객체들, 포즈들의 분류 등은 웨어러블 디스플레이 시스템(300)에 의해 사용될 수 있다. 예컨대, 착용자의 눈(들)의 비디오는 변연 경계 추정을 위해 사용될 수 있고, 이는 결국, 디스플레이(308)를 통해 착용자(304)의 시선의 방향을 결정하는 것 또는 인증과 같은 바이오메트릭 애플리케이션들을 위해 홍채를 세그멘팅하거나 결정하기 위해 프로세싱 모듈들(324, 328)에 의해 사용될 수 있다. 웨어러블 디스플레이 시스템(300)의 프로세싱 모듈들(324, 328)은 본원에서 설명된 비디오 또는 이미지 프로세싱 애플리케이션들 중 임의의 것을 수행하기 위해 변연 경계 추정 기술들의 하나 또는 그 초과의 실시예들로 프로그래밍될 수 있다.
[0055] 일부 실시예들에서, 웨어러블 디스플레이 시스템(300)에 의해 수행되는 컴퓨테이션들은 웨어러블 디스플레이 시스템(300)의 컴포넌트들 또는 웨어러블 디스플레이 시스템(300)과 통신하거나 이와 연관되는 컴포넌트들에 걸쳐 분산될 수 있다. 일부 실시예들에서, 웨어러블 디스플레이 시스템(300)은 로컬 프로세싱 모듈 및 로컬 데이터 리포지토리(예컨대, 로컬 프로세싱 및 데이터 모듈(324))를 포함할 수 있다. 웨어러블 디스플레이 시스템(300)은 원격 프로세싱 모듈(328) 및/또는 원격 데이터 리포지토리(332)와 통신하거나 이를 포함할 수 있다. 웨어러블 디스플레이 시스템(300)의 로컬 프로세싱 모듈(324) 및/또는 원격 프로세싱 모듈(328)은 본원에서 개시된 방법들 중 임의의 것(예컨대, 변연 경계 결정)을 수행하는 데 사용될 수 있다. 예컨대, 눈 이미지가 원격 데이터 리포지토리(332)에 저장될 수 있고, 원격 프로세싱 모듈(328)은 눈 이미지에서 변연 경계를 결정할 수 있다. 다른 예로서, 눈 이미지(또는 눈 이미지의 부분들)는 로컬 데이터 리포지토리 및 원격 데이터 리포지토리(332) 둘 모두에 저장될 수 있고, 로컬 프로세싱 모듈(324) 및 원격 프로세싱 모듈(328)은 눈 이미지에서 변연 경계를 함께 결정할 수 있다. 로컬 프로세싱 모듈(324) 및 원격 프로세싱 모듈(328)은 각각, 변연 경계 결정 프로세스의 부분을 수행할 수 있다. 또 다른 예로서, 변연 경계 결정 프로세스는 로컬 프로세싱 모듈(324) 및 원격 프로세싱 모듈(328)에 걸쳐 분산될 수 있다. 변연 경계 결정 프로세스의 분산은 로컬 프로세싱 모듈(324) 및/또는 원격 프로세싱 모듈(328)의 작업부하에 기초하여 미리 결정되거나 결정될 수 있다. 대안적으로 또는 부가적으로, 변연 경계 결정 프로세스의 분산은 로컬 프로세싱 모듈(324) 및/또는 원격 프로세싱 모듈(328)에 대해 이용 가능한 에너지(예컨대, 배터리 전력)에 기초할 수 있다.
[0056] 일부 실시예들에서, (예컨대, 로컬 프로세싱 모듈(324) 및/또는 원격 프로세싱 모듈(328)을 사용하는) 웨어러블 디스플레이 시스템 및/또는 다른 컴퓨팅 시스템(예컨대, 클라우드 상의 컴퓨팅 시스템 또는 웨어러블 디스플레이 시스템(300)의 컴패니언 컴퓨팅 시스템)은 변연 경계 결정 프로세스를 수행하는 데 사용될 수 있다. 컴퓨팅 시스템은 눈 이미지 전체(또는 그의 부분)를 저장 및 사용할 수 있다. 예컨대, 웨어러블 디스플레이 시스템(300)은 눈 이미지를 다른 컴퓨팅 시스템에 송신할 수 있다. 눈 이미지에서 변연 경계를 결정한 후, 컴퓨팅 시스템은 결정된 변연 경계를 웨어러블 디스플레이 시스템(300)에 역으로 송신할 수 있다. 다른 예로서, 변연 경계 결정 프로세스는 웨어러블 디스플레이 시스템(300) 및 컴퓨팅 시스템에 걸쳐 분산될 수 있다. 변연 경계 결정 프로세스의 분산은 웨어러블 디스플레이 시스템(300) 및/또는 컴퓨팅 시스템의 작업부하에 기초하여 결정될 수 있다. 대안적으로 또는 부가적으로, 변연 경계 결정 프로세스의 분산은 웨어러블 디스플레이 시스템(300)에 대해 이용 가능한 에너지(예컨대, 배터리 전력), 웨어러블 디스플레이 시스템(300)의 잔여 배터리 전력 및/또는 컴퓨팅 시스템에 기초할 수 있다.
[0057] 웨어러블 디스플레이 시스템(300), 로컬 프로세싱 모듈(324), 로컬 데이터 리포지토리, 원격 프로세싱 모듈(328), 원격 데이터 리포지토리(332) 및/또는 다른 컴퓨팅 시스템 간의 송신 또는 통신은 암호화될 수도 있거나 암호화되지 않을 수 있다. 예컨대, 웨어러블 디스플레이 시스템(300)과 컴퓨팅 시스템 간의 송신은 암호화될 수 있다. 다른 예로서, 로컬 프로세싱 모듈(324)과 원격 프로세싱 모듈(332) 간의 송신은 암호화되지 않을 수 있다.
예시적인 도파관 스택 어셈블리
[0058] 도 4는 도 3에 예시된 웨어러블 디스플레이 시스템(300)에 사용될 수 있고 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(400)은 복수의 도파관들(420, 422, 424, 426, 428)을 사용하여 (예컨대, AR 또는 VR 환경에서) 3-차원 지각을 눈(410) 또는 뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(405)를 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템(400)은 도 3의 시스템(300)에 대응할 수 있고, 도 4는 그 시스템(300)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(405)는 도 3의 디스플레이(308)에 통합될 수 있다.
[0059] 도 4를 계속 참조하면, 도파관 어셈블리(405)는 또한 도파관들 사이에 복수의 피처들(430, 432, 434, 436)을 포함할 수 있다. 일부 실시예들에서, 피처들(430, 432, 434, 436)은 렌즈들일 수 있다. 일부 실시예들에서, 피처들(430, 432, 434, 436)은 렌즈들이 아닐 수 있다. 오히려, 이들은 스페이서들(예컨대, 에어 갭들을 형성하기 위한 클래딩 층들 및/또는 구조들)일 수 있다.
[0060] 도파관들(420, 422, 424, 426, 428) 및/또는 복수의 렌즈들(430, 432, 434, 436)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(440, 442, 444, 446, 448)은 이미지 정보를 도파관들(420, 422, 424, 426, 428)에 주입하기 위하여 활용될 수 있고, 이 도파관들 각각은 눈(410)을 향하여 출력하도록, 각각의 개별 도파관을 가로질러 인입 광을 분산시키도록 구성될 수 있다. 광은 이미지 주입 디바이스들(440, 442, 444, 446, 448)의 출력 표면을 나가고 도파관들(420, 422, 424, 426, 428)의 대응하는 입력 에지에 주입된다. 일부 실시예들에서, 단일 광 빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(410)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다.
[0061] 일부 실시예들에서, 이미지 주입 디바이스들(440, 442, 444, 446, 442)은 각각 대응하는 도파관(420, 422, 424, 426, 428)에 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(440, 442, 444, 446, 448)은 예컨대, 이미지 정보를 하나 또는 그 초과의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(440, 442, 444, 446, 448) 각각에 파이핑할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다. 도파관 어셈블리(178)의 기능에 관한 추가의 세부사항들은 미국 특허 공보 제2015/0016777호에 설명되며, 그리하여 상기 특허 공보는 그 전체가 인용에 의해 본원에 포함된다.
[0062] 제어기(450)는 스택된 도파관 어셈블리(405) 및 이미지 주입 디바이스들(440, 442, 444, 446, 448)의 동작을 제어한다. 일부 실시예들에서, 제어기(450)는 도파관들(420, 422, 424, 426, 428)에 대한 이미지 정보의 타이밍 및 프로비전(provision)을 레귤레이팅하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독 가능 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(450)는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(450)는 일부 실시예들에서, 프로세싱 모듈들(324 또는 328)(도 3에 예시됨)의 부분일 수 있다. 일부 실시예들에서, 제어기는 내향 이미징 시스템(452)(예컨대, 디지털 카메라), 외향 이미징 시스템(454)(예컨대, 디지털 카메라) 및/또는 사용자 입력 디바이스(456)와 통신할 수 있다. 내향 이미징 시스템(452)(예컨대, 디지털 카메라)은 눈 움직임들 및 (예컨대, 안구 주위 영역의) 얼굴 움직임들과 같은 착용자의 움직임들을 관찰할 수 있다. 예컨대, 내향 이미징 시스템(452)은 예컨대, 동공(112), 홍채(104) 또는 각막(124)과 같은 눈(100)의 크기 및/또는 배향을 결정하기 위해, 착용자(304)가 응시하는 방향(예컨대, 눈 포즈)을 결정하기 위해 또는 착용자(304)의 바이오메트릭 식별을 위해 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 내향 이미징 시스템(452)은 변연 경계 추정 방법(200)에서 사용되는 눈 이미지들을 캡처할 수 있다. 외향 이미징 시스템(454)은 착용자(304)가 보고 있는 세계(458)의 일부를 이미징하는 데 사용될 수 있다. 사용자는 디스플레이 시스템(400)과 상호작용하기 위해 사용자 입력 디바이스(456)를 통해 커맨드들을 제어기(450)에 입력할 수 있다.
[0063] 일부 실시예들에서, 피사계 심도 및/또는 깊이 평면들의 수 및 분포는 뷰어의 눈들의 동공 크기들 및/또는 배향들에 기초하여 동적으로 변동될 수 있다. 일부 실시예들에서, 내향 이미징 시스템(452)(예컨대, 디지털 카메라)은 눈(410)의 동공의 크기 및/또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 일부 실시예들에서, 내향 이미징 시스템(452)은 (도 3에 예시된 바와 같이) 프레임(312)에 부착될 수 있고, 프로세싱 모듈들(324 및/또는 328)과 전기 통신할 수 있으며, 이 프로세싱 모듈들(324 및/또는 328)은 예컨대, 동공 직경들, 눈들의 배향들, 각막 벌지 또는 사용자(304)의 눈 포즈를 결정하기 위해 내향 이미징 시스템(452)으로부터의 이미지 정보를 프로세싱할 수 있다.
[0064] 일부 실시예들에서, 각각의 눈의 동공 크기 및/또는 배향을 별개로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰질 수 있게 하기 위해, 각각의 눈마다 하나의 카메라가 활용될 수 있다. 일부 실시예들에서, 독립적으로, 각각의 눈의 동공 크기 및/또는 눈 포즈를 별개로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지도록 허용하기 위해, 각각의 눈마다 적어도 하나의 카메라가 활용될 수 있다. 일부 다른 실시예들에서, (예컨대, 한 쌍의 눈들 당 단지 단일 카메라만을 사용하여) 단지 한쪽 눈(410)의 동공 직경 및/또는 배향이 결정되고 뷰어(304)의 양 눈들에 대해 유사한 것으로 간주된다.
부가적인 양상들
[0065] 제1 양상에서, 웨어러블 디스플레이 시스템이 개시된다. 시스템은, 디스플레이; 사용자의 눈의 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 실행 가능한 명령들을 저장하도록 구성된 비-일시적인 메모리; 및 디스플레이, 이미지 캡처 디바이스 및 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 카메라 캘리브레이션을 획득하도록; 눈의 3-차원 좌표 프레임에서 눈의 생리적 파라미터들을 획득하도록 ― 생리적 파라미터들은, 눈의 각막을 포함하는 각막 구체의 반경, 눈의 홍채의 반경, 및 각막 구체의 중심과 눈의 동공의 중심 사이의 거리를 포함함 ― ; 눈의 이미지를 수신하도록 ― 이미지는 눈의 홍채 및 눈의 각막의 적어도 일부를 포함함 ― ; 각막 구체와 눈 사이의 교차부를 결정하도록; 카메라 캘리브레이션에 적어도 부분적으로 기초하여, 눈의 좌표 프레임으로부터 눈의 이미지의 좌표 프레임으로 교차부를 변환하도록; 교차부에 적어도 부분적으로 기초하여 변연 경계를 결정하도록; 그리고 바이오메트릭 애플리케이션에서 변연 경계를 활용하도록 프로그래밍된다.
[0066] 제2 양상에서, 제1 양상의 웨어러블 디스플레이 시스템에 있어서, 카메라 캘리브레이션은 카메라 좌표 프레임과 눈의 좌표 프레임 사이의 관계를 포함한다.
[0067] 제3 양상에서, 제1 양상 또는 제2 양상의 웨어러블 디스플레이 시스템에 있어서, 카메라 캘리브레이션은 캘리브레이션 행렬을 포함하며, 캘리브레이션 행렬은 내재적 카메라 파라미터들을 포함한다.
[0068] 제4 양상에서, 제1 양상 내지 제3 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 생리적 파라미터들은 인간 피험자들의 개체군(population)으로부터 추정된다.
[0069] 제5 양상에서, 제1 양상 내지 제3 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 눈의 생리적 파라미터들을 획득하기 위해, 하드웨어 프로세서는 실행 가능한 명령들에 의해, 눈의 이미지들로부터 생리적 파라미터들을 결정하도록 프로그래밍된다.
[0070] 제6 양상에서, 제5 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 눈의 생리적 파라미터들을 주기적으로 재결정하도록 프로그래밍된다.
[0071] 제7 양상에서, 제1 양상 내지 제6 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 눈의 3-차원 좌표 프레임에서 각막 구체의 3-차원 성질들을 추정하도록 프로그래밍된다.
[0072] 제8 양상에서, 제7 양상의 웨어러블 디스플레이 시스템에 있어서, 각막 구체의 3-차원 성질들을 추정하기 위해, 하드웨어 프로세서는 실행 가능한 명령들에 의해, 동공의 중심 및 각막 구체의 중심을 추정하도록 프로그래밍된다.
[0073] 제9 양상에서, 제1 양상 내지 제8 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 실행 가능 명령들에 의해, 각막 구체 및 눈의 복수의 교차점들을 결정하도록 프로그래밍된다.
[0074] 제10 양상에서, 제9 양상의 웨어러블 디스플레이 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 추가로, 실행 가능한 명령들에 의해, 복수의 교차점들에 대해 곡선을 피팅(fit)하도록 프로그래밍된다.
[0075] 제11 양상에서, 제10 양상의 웨어러블 디스플레이 시스템에 있어서, 곡선은 타원을 포함한다.
[0076] 제12 양상에서, 제9 양상 내지 제11 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 복수의 교차점들은 눈의 좌표 프레임에서 결정된다.
[0077] 제13 양상에서, 제12 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 복수의 교차점들을 눈의 이미지의 좌표 프레임으로 프로젝팅하도록 프로그래밍된다.
[0078] 제14 양상에서, 컴퓨터 시스템(예컨대, 웨어러블 디스플레이 시스템, 이를테면, 머리 장착 디스플레이)이 개시된다. 시스템은, 디스플레이; 사용자의 눈의 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 실행 가능한 명령들을 저장하도록 구성된 비-일시적인 메모리; 및 디스플레이, 이미지 캡처 디바이스 및 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 눈의 3-차원 좌표 프레임에서 눈의 생리적 파라미터들을 획득하도록 ― 생리적 파라미터들은, 눈의 각막을 포함하는 각막 구체의 반경, 눈의 홍채의 반경, 및 각막 구체의 중심과 눈의 동공의 중심 사이의 거리를 포함함 ― ; 눈의 이미지를 수신하도록 ― 이미지는 눈의 홍채 및 눈의 각막의 적어도 일부를 포함함 ― ; 각막 구체와 눈 사이의 교차부를 결정하도록; 그리고 교차부에 적어도 부분적으로 기초하여 변연 경계를 결정하도록 프로그래밍된다.
[0079] 제15 양상에서, 제14 양상의 컴퓨터 시스템에 있어서, 눈의 생리적 파라미터들을 획득하기 위해, 하드웨어 프로세서는 실행 가능한 명령들에 의해, 특정 개인의 눈 이미지들로부터 생리적 파라미터들을 결정하도록 프로그래밍된다.
[0080] 제16 양상에서, 제15 양상의 컴퓨터 시스템에 있어서, 특정 개인은 사용자이다.
[0081] 제17 양상에서, 제14 양상 내지 제16 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 눈의 생리적 파라미터들을 주기적으로 재결정하도록 프로그래밍된다.
[0082] 제18 양상에서, 제14 양상 내지 제17 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 생리적 파라미터들은 인간 피험자들의 개체군에 대해 추정된다.
[0083] 제19 양상에서, 제14 양상 내지 제18 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 눈의 이미지는 이미지 캡처 디바이스로부터 수신된다.
[0084] 제20 양상에서, 제14 양상 내지 제19 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 눈의 3-차원 좌표 프레임에서 눈과 각막 구체 사이의 교차부를 결정하도록 프로그래밍된다.
[0085] 제21 양상에서, 제14 양상 내지 제19 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 이미지의 좌표 프레임에서 눈과 각막 구체 사이의 교차부를 결정하도록 프로그래밍된다.
[0086] 제22 양상에서, 제14 양상 내지 제21 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 변연 경계를 결정하기 위해, 하드웨어 프로세서는 실행 가능한 명령들에 의해, 교차부에 대해 곡선을 피팅하도록 프로그래밍된다.
[0087] 제23 양상에서, 제22 양상의 컴퓨터 시스템에 있어서, 곡선은 타원을 포함한다.
[0088] 제24 양상에서, 제14 양상 내지 제19 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 실행 가능 명령들에 의해, 각막 구체 및 눈의 복수의 교차점들을 결정하도록 프로그래밍된다.
[0089] 제25 양상에서, 제24 양상의 컴퓨터 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 추가로, 실행 가능한 명령들에 의해, 복수의 교차점들에 대해 곡선을 피팅하도록 프로그래밍된다.
[0090] 제26 양상에서, 제25 양상의 컴퓨터 시스템에 있어서, 곡선은 타원을 포함한다.
[0091] 제27 양상에서, 제24 양상 내지 제26 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 복수의 교차점들은 눈의 좌표 프레임에서 결정된다.
[0092] 제28 양상에서, 제27 양상의 컴퓨터 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 복수의 교차점들을 눈의 이미지의 좌표 프레임으로 프로젝팅하도록 프로그래밍된다.
[0093] 제29 양상에서, 제14 양상 내지 제28 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 각막 구체와 눈 사이의 교차부를 결정하기 위해, 하드웨어 프로세서는, 실행 가능한 명령들에 의해, 눈의 3-차원 좌표 프레임에서 각막 구체의 3-차원 성질들을 추정하도록 프로그래밍된다.
[0094] 제30 양상에서, 제29 양상의 컴퓨터 시스템에 있어서, 각막 구체의 3-차원 성질들을 추정하기 위해, 하드웨어 프로세서는 실행 가능한 명령들에 의해, 동공의 중심 및 각막 구체의 중심을 추정하도록 프로그래밍된다.
[0095] 제31 양상에서, 제14 양상 내지 제30 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 변연 경계에 적어도 부분적으로 기초하여 바이오메트릭 애플리케이션을 수행하도록 프로그래밍된다.
[0096] 제32 양상에서, 제31 양상의 컴퓨터 시스템에 있어서, 바이오메트릭 애플리케이션은 홍채 식별을 포함한다.
[0097] 제33 양상에서, 제14 양상 내지 제32 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 카메라 캘리브레이션을 획득하도록 프로그래밍된다.
[0098] 제34 양상에서, 제33 양상의 컴퓨터 시스템에 있어서, 카메라 캘리브레이션은 카메라 좌표 프레임과 눈의 좌표 프레임 사이의 관계를 포함한다.
[0099] 제35 양상에서, 제33 양상 또는 제34 양상의 컴퓨터 시스템에 있어서, 카메라 캘리브레이션은 캘리브레이션 행렬을 포함하며, 캘리브레이션 행렬은 내재적 카메라 파라미터들을 포함한다.
[0100] 제36 양상에서, 제14 양상 내지 제35 양상 중 어느 한 양상의 컴퓨터 시스템에 있어서, 하드웨어 프로세서는 추가로, 실행 가능한 명령들에 의해, 카메라 캘리브레이션에 적어도 부분적으로 기초하여, 눈의 좌표 프레임으로부터 눈의 이미지의 좌표 프레임으로 교차부를 변환하도록 프로그래밍된다.
[0101] 제37 양상에서, 변연 경계 추정을 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어하에 있다. 이 방법은 (예컨대, 비디오 프레임으로부터의) 눈 이미지에 적용될 수 있다.
[0102] 제38 양상에서, 시스템이 개시된다. 이 시스템은 사용자의 눈을 이미징하도록 구성된 카메라; 및 카메라와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는 카메라에 의해 캡처된 사용자의 눈의 눈 이미지를 분석하도록 프로그래밍된다.
[0103] 제39 양상에서, 제38 양상의 시스템에 있어서, 하드웨어 프로세서는 눈 이미지에서 눈의 변연 경계를 결정하기 위해 본원에서 설명된 임의의 방법을 구현하도록 프로그래밍된다.
[0104] 제40 양상에서, 제39 양상의 시스템에 있어서, 하드웨어 프로세서는 눈 이미지로부터 홍채를 세그멘팅하기 위해, 결정된 변연 경계를 사용하도록 프로그래밍된다.
[0105] 제41 양상에서, 제38 양상 내지 제40 양상 중 어느 한 양상의 시스템에 있어서, 하드웨어 프로세서는 사용자의 바이오메트릭 정보의 추출, 컴퓨테이션 또는 결정 시에 변연 경계를 사용하도록 프로그래밍된다.
[0106] 제42 양상에서, 제38 양상 내지 제41 양상 중 어느 한 양상의 시스템에 있어서, 하드웨어 프로세서는 눈 이미지를 눈의 좌표 프레임으로 변환하도록 프로그래밍된다.
[0107] 제43 양상에서, 제42 양상의 시스템에 있어서, 눈 이미지를 눈의 좌표 프레임으로 변환하기 위해, 하드웨어 프로세서는 원근 변환을 통해 눈 이미지를 눈의 좌표 프레임으로 변환하도록 프로그래밍된다.
[0108] 제44 양상에서, 제42 양상 또는 제43 양상의 시스템에 있어서, (예컨대, 타원 또는 일부 다른 규칙적 또는 불규칙적 곡선으로의) 변연 경계의 곡선 피팅은 활용되지 않는다(예컨대, 이 좌표 프레임에서 림버스는 실질적으로 원형임).
[0109] 제45 양상에서, 제38 양상 내지 제44 양상 중 어느 한 양상의 시스템에 있어서, 시스템은 머리-장착 증강 현실, 혼합 현실 또는 가상 현실 디스플레이 시스템을 포함한다.
[0110] 제46 양상에서, 제45 양상의 시스템에 있어서, 디스플레이 시스템은 광 필드 디스플레이 시스템을 포함한다.
결론
[0111] 본원에서 설명되고 그리고/또는 첨부 도면들에 도시되는 프로세스들, 방법들 및 알고리즘들 각각은 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 특유 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행 가능 프로그램으로 컴파일되어 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정한 동작들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0112] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적절한 특수화된 실행 가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 다수의 프레임들(각각의 프레임은 수백만개의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해, 특별히 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0113] 코드 모듈들 또는 임의의 유형의 데이터는, 임의의 유형의 비-일시적인 컴퓨터-판독 가능 매체, 이를테면, 하드 드라이브, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장소, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장소 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0114] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들, 의사코드, 또는 방법들에서의 임의의 프로세스들, 블록들, 상태들, 단계들, 액션들 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 또는 그 초과의 실행 가능한 명령들을 포함하는 코드 모듈들, 세그멘트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다수의 구현 변동들이 가능하다.
[0115] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은, 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(Local Area Network)들, WAN(Wide Area Network)들, PAN(Personal Area Network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크들은 유선 또는 무선 네트워크들 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0116] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시내용에서 설명된 구현들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0117] 별개의 구현들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 구현의 조합으로 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 구현들에서 또는 임의의 적절한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 구현들에서, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0118] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들이 소정의 특징들, 엘리먼트들, 액션들, 및/또는 단계들을 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 액션들, 및/또는 단계들이 하나 또는 그 초과의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 또는 그 초과의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 이를 이용함이 없이, 이들 특징들, 엘리먼트들, 액션들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는(comprising, including), "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0119] 본원에서 사용된 바와 같이, 리스트의 아이템들 “중 적어도 하나”를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A; B; C; A와 B; A와 C; B와 C; 그리고 A와 B와 C를 커버하는 것으로 의도된다. 특정하게 다르게 언급되지 않으면, 구문 "X, Y 또는 Z 중 적어도 하나"와 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 이러한 접속어는 일반적으로, 소정의 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하는 것으로 의도되지 않는다.
[0120] 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 하나 또는 그 초과의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전, 이후, 그들과 동시에, 또는 그들 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 구현들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다

Claims (20)

  1. 웨어러블 디스플레이 시스템으로서,
    디스플레이;
    사용자의 눈의 이미지를 캡처(capture)하도록 구성된 이미지 캡처 디바이스;
    실행 가능한 명령들을 저장하도록 구성된 비-일시적인 메모리; 및
    상기 디스플레이, 상기 이미지 캡처 디바이스 및 상기 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고,
    상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해,
    카메라 캘리브레이션(calibration)을 획득하도록;
    상기 눈의 이미지를 수신하도록 ― 상기 이미지는 상기 눈의 홍채 및 상기 눈의 각막의 적어도 일부를 포함함 ― ;
    상기 눈의 3-차원 좌표 프레임(coordinate frame)에서 상기 눈의 생리적 파라미터들을 획득하도록 ― 상기 생리적 파라미터들은,
    상기 눈의 각막을 포함하는 각막 구체(corneal sphere)의 반경,
    상기 눈의 홍채의 반경, 및
    상기 각막 구체의 중심과 상기 눈의 동공의 중심 사이의 거리를 포함함 ― ;
    원근 변환(perspective transformation)을 통해 상기 눈의 이미지를 상기 눈의 3-차원 좌표 프레임의 변환된 이미지로 변환하도록;
    상기 변환된 이미지로부터, 상기 각막 구체와 공막 사이의 교차부(intersection)를 결정하도록;
    상기 카메라 캘리브레이션에 적어도 부분적으로 기초하여, 상기 눈의 3-차원 좌표 프레임으로부터 카메라 좌표 프레임으로 상기 교차부를 변환하도록;
    상기 교차부에 적어도 부분적으로 기초하여 변연 경계(limbic boundary)를 결정하도록; 그리고
    바이오메트릭 애플리케이션(biometric application)에서 상기 변연 경계를 활용하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  2. 제1 항에 있어서,
    상기 카메라 캘리브레이션은 상기 카메라 좌표 프레임과 상기 눈의 3-차원 좌표 프레임 사이의 관계를 포함하는,
    웨어러블 디스플레이 시스템.
  3. 제1 항에 있어서,
    상기 카메라 캘리브레이션은 캘리브레이션 행렬을 포함하며, 상기 캘리브레이션 행렬은 내재적 카메라 파라미터들을 포함하는,
    웨어러블 디스플레이 시스템.
  4. 제1 항에 있어서,
    상기 생리적 파라미터들은 인간 피험자들의 개체군(population)으로부터 추정되는,
    웨어러블 디스플레이 시스템.
  5. 제1 항에 있어서,
    상기 눈의 생리적 파라미터들을 획득하기 위해, 상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해, 상기 눈의 이미지들로부터 상기 생리적 파라미터들을 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  6. 제5 항에 있어서,
    상기 하드웨어 프로세서는 추가로, 상기 실행 가능한 명령들에 의해, 상기 눈의 생리적 파라미터들을 주기적으로 재결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  7. 제1 항에 있어서,
    상기 각막 구체와 상기 눈 사이의 교차부를 결정하기 위해, 상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해, 상기 눈의 3-차원 좌표 프레임에서 상기 각막 구체의 3-차원 성질들을 추정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  8. 제7 항에 있어서,
    상기 각막 구체의 3-차원 성질들을 추정하기 위해, 상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해, 상기 동공의 중심 및 상기 각막 구체의 중심을 추정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  9. 제1 항 내지 제8 항 중 어느 한 항에 있어서,
    상기 각막 구체와 상기 눈 사이의 교차부를 결정하기 위해, 상기 하드웨어 프로세서는, 상기 실행 가능 명령들에 의해, 상기 각막 구체 및 상기 눈의 복수의 교차점들을 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제9 항에 있어서,
    상기 눈의 3-차원 좌표 프레임으로부터 상기 카메라 좌표 프레임으로 상기 교차부를 변환하기 위해, 상기 하드웨어 프로세서는 상기 실행 가능한 명령들에 의해, 상기 복수의 교차점들을 상기 카메라 좌표 프레임으로 프로젝팅하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  14. 웨어러블 디스플레이 시스템으로서,
    디스플레이;
    사용자의 눈의 이미지를 캡처하도록 구성된 이미지 캡처 디바이스;
    실행 가능한 명령들을 저장하도록 구성된 비-일시적인 메모리; 및
    상기 디스플레이, 상기 이미지 캡처 디바이스 및 상기 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고,
    상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해,
    상기 눈의 이미지를 수신하도록 ― 상기 이미지는 상기 눈의 홍채 및 상기 눈의 각막의 적어도 일부를 포함함 ― ;
    상기 눈의 3-차원 좌표 프레임에서 상기 눈의 생리적 파라미터들을 획득하도록 ― 상기 생리적 파라미터들은,
    상기 눈의 각막을 포함하는 각막 구체의 반경,
    상기 눈의 홍채의 반경, 및
    상기 각막 구체의 중심과 상기 눈의 동공의 중심 사이의 거리를 포함함 ― ;
    원근 변환을 통해 상기 눈의 이미지를 상기 눈의 3-차원 좌표 프레임의 변환된 이미지로 변환하도록;
    상기 변환된 이미지로부터, 상기 각막 구체와 공막 사이의 교차부를 결정하도록; 그리고
    상기 교차부에 적어도 부분적으로 기초하여 변연 경계를 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  15. 제14 항에 있어서,
    상기 눈의 생리적 파라미터들을 획득하기 위해, 상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해, 특정 개인의 눈 이미지들로부터 상기 생리적 파라미터들을 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  16. 제14 항에 있어서,
    상기 눈의 이미지는 상기 이미지 캡처 디바이스로부터 수신되는,
    웨어러블 디스플레이 시스템.
  17. 삭제
  18. 삭제
  19. 제14 항 내지 제16 항 중 어느 한 항에 있어서,
    상기 변연 경계를 결정하기 위해, 상기 하드웨어 프로세서는, 상기 실행 가능한 명령들에 의해, 상기 각막 구체와 상기 눈의 복수의 교차점들을 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  20. 제14 항에 있어서,
    상기 하드웨어 프로세서는 추가로, 상기 실행 가능한 명령들에 의해, 상기 변연 경계에 적어도 부분적으로 기초하여 바이오메트릭 애플리케이션을 수행하도록 프로그래밍되고, 상기 바이오메트릭 애플리케이션은 홍채 식별을 포함하는,
    웨어러블 디스플레이 시스템.
KR1020197004017A 2016-07-14 2017-04-26 각막 곡률을 이용한 홍채 경계 추정 KR102442569B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2016128791 2016-07-14
RU2016128791 2016-07-14
PCT/US2017/029679 WO2018013199A1 (en) 2016-07-14 2017-04-26 Iris boundary estimation using cornea curvature

Publications (2)

Publication Number Publication Date
KR20190028493A KR20190028493A (ko) 2019-03-18
KR102442569B1 true KR102442569B1 (ko) 2022-09-08

Family

ID=60942165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004017A KR102442569B1 (ko) 2016-07-14 2017-04-26 각막 곡률을 이용한 홍채 경계 추정

Country Status (6)

Country Link
US (1) US10296792B2 (ko)
EP (1) EP3484343B1 (ko)
JP (2) JP6917444B2 (ko)
KR (1) KR102442569B1 (ko)
CN (2) CN109661194B (ko)
WO (1) WO2018013199A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
JP7001672B2 (ja) 2016-07-14 2022-01-19 マジック リープ， インコーポレイテッド 虹彩識別のためのディープニューラルネットワーク
JP6917444B2 (ja) 2016-07-14 2021-08-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 角膜曲率を用いた虹彩境界推定
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
CN106445344A (zh) * 2016-09-27 2017-02-22 乐视控股（北京）有限公司 一种截图处理方法及装置
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
IL293688B2 (en) 2016-10-04 2024-02-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
KR102610030B1 (ko) 2016-11-15 2023-12-04 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
JP7112399B2 (ja) 2016-12-05 2022-08-03 マジック リープ， インコーポレイテッド 複合現実環境における仮想ユーザ入力制御
KR101776944B1 (ko) * 2017-01-09 2017-09-08 주식회사 쓰리이 홍채 패턴 코드화 방법
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
JP6929953B2 (ja) 2017-03-17 2021-09-01 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 部屋レイアウト推定方法および技法
KR20220030315A (ko) 2017-07-26 2022-03-10 매직 립, 인코포레이티드 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝
IL272289B (en) 2017-09-20 2022-08-01 Magic Leap Inc A personal neural network for eye tracking
EP3704592A4 (en) 2017-10-26 2022-03-16 Magic Leap, Inc. GRADIENT NORMALIZATION SYSTEMS AND METHODS FOR ADAPTIVE LOSS COMPENSATION IN DEEP MULTITASK NETWORKS
CN111869200A (zh) * 2018-01-17 2020-10-30 奇跃公司 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位
US10917634B2 (en) 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
ES2662912B2 (es) * 2018-01-24 2019-09-13 Univ Madrid Complutense Método y aparato para el reconocimiento biométrico corneal
DE102018105917A1 (de) 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
JP6840697B2 (ja) * 2018-03-23 2021-03-10 株式会社豊田中央研究所 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
CN114127610A (zh) 2019-05-20 2022-03-01 奇跃公司 用于估计眼睛姿势的系统和技术
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
KR20210079774A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 시선 추적 장치를 포함하는 웨어러블 디바이스 및 그 동작 방법
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US20210365533A1 (en) * 2020-05-20 2021-11-25 Facebook Technologies, Llc Systems and methods for authenticating a user of a head-mounted display
US20220351545A1 (en) * 2021-05-03 2022-11-03 NeuraLight Ltd. Obtaining high-resolution oculometric parameters
US11861805B2 (en) * 2021-09-22 2024-01-02 Sony Group Corporation Eyeball positioning for 3D head modeling
WO2023203923A1 (ja) * 2022-04-22 2023-10-26 ソニーグループ株式会社 頭部装着型情報処理装置、情報処理方法、記憶媒体
CN116999017A (zh) * 2023-09-04 2023-11-07 指南星视光(武汉)科技有限公司 基于数据分析的辅助眼部护理智能控制系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114043A1 (en) 2011-11-04 2013-05-09 Alexandru O. Balan See-through display brightness control

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950546B2 (ja) * 1988-08-31 1999-09-20 キヤノン株式会社 視線検出装置及び視線検出装置を有するカメラ
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
AU2003209553A1 (en) 2002-03-13 2003-09-22 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US8098901B2 (en) * 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7248720B2 (en) 2004-10-21 2007-07-24 Retica Systems, Inc. Method and system for generating a combined retina/iris pattern biometric
JP4824420B2 (ja) * 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
US8077914B1 (en) 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
US8363783B2 (en) * 2007-06-04 2013-01-29 Oraya Therapeutics, Inc. Method and device for ocular alignment and coupling of ocular structures
US8098891B2 (en) 2007-11-29 2012-01-17 Nec Laboratories America, Inc. Efficient multi-hypothesis multi-human 3D tracking in crowded scenes
JP5478618B2 (ja) 2008-07-03 2014-04-23 エヌイーシー ラボラトリーズ アメリカ インク 上皮層検出器およびそれに関連する方法
WO2010129074A1 (en) 2009-01-14 2010-11-11 Indiana University Research & Technology Corporation System and method for identifying a person with reference to a sclera image
JP5763681B2 (ja) * 2010-01-22 2015-08-12 オプティメディカ・コーポレイション 走査レーザによる嚢切開を自動配置する装置
US8345984B2 (en) 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
NZ725592A (en) 2010-12-24 2018-05-25 Magic Leap Inc An ergonomic head mounted display device and optical system
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
EP2771877B1 (en) 2011-10-28 2017-10-11 Magic Leap, Inc. System and method for augmented and virtual reality
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示系统
NZ725322A (en) 2012-04-05 2017-12-22 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9141916B1 (en) 2012-06-29 2015-09-22 Google Inc. Using embedding functions with a deep network
CN104244807B (zh) * 2012-07-31 2016-10-19 国立研究开发法人科学技术振兴机构 注视点检测装置以及注视点检测方法
US8369595B1 (en) 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
AU2014248874B2 (en) 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
US9147154B2 (en) 2013-03-13 2015-09-29 Google Inc. Classifying resources using a deep network
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
WO2014182769A1 (en) 2013-05-07 2014-11-13 The Johns Hopkins University Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
KR102341870B1 (ko) 2013-10-16 2021-12-20 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
US9202144B2 (en) 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
JP6236296B2 (ja) 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107300769B (zh) 2013-11-27 2019-12-13 奇跃公司 虚拟和增强现实系统与方法
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
IL231862A (en) 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
WO2015164807A1 (en) 2014-04-25 2015-10-29 Texas State University Detection of brain injury and subject state with eye movement biometrics
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CA2950432C (en) 2014-05-30 2022-01-04 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US9536293B2 (en) 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US20160034811A1 (en) 2014-07-31 2016-02-04 Apple Inc. Efficient generation of complementary acoustic models for performing automatic speech recognition system combination
US9659384B2 (en) 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
EP3204888A4 (en) 2014-10-09 2017-10-04 Microsoft Technology Licensing, LLC Spatial pyramid pooling networks for image processing
WO2016054802A1 (en) 2014-10-10 2016-04-14 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
KR102276339B1 (ko) 2014-12-09 2021-07-12 삼성전자주식회사 Ｃｎｎ의 근사화를 위한 학습 장치 및 방법
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
JP6917444B2 (ja) 2016-07-14 2021-08-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 角膜曲率を用いた虹彩境界推定
JP7001672B2 (ja) 2016-07-14 2022-01-19 マジック リープ， インコーポレイテッド 虹彩識別のためのディープニューラルネットワーク

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114043A1 (en) 2011-11-04 2013-05-09 Alexandru O. Balan See-through display brightness control

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. Plopski et al., 'Corneal-Imaging Calibration for Optical See-Through Head-Mounted Displays,' IEEE Transactions on Visualization and Computer Graphics,' Vol. 21, No. 4, P. 481-490 (2015.01.16.)
C. Nitschke et al., 'Corneal Imaging Revisited: An Overview of Corneal Relection Anaylsis and Applications,' IPSJ Transactions on Computer Vision and Applications,' Vol. 5, P. 1-18 (2013.01.)

Also Published As

Publication number Publication date
US10296792B2 (en) 2019-05-21
EP3484343A1 (en) 2019-05-22
CN109661194A (zh) 2019-04-19
CN109661194B (zh) 2022-02-25
EP3484343A4 (en) 2020-04-15
JP6917444B2 (ja) 2021-08-11
JP2021166103A (ja) 2021-10-14
KR20190028493A (ko) 2019-03-18
CN114495249A (zh) 2022-05-13
US20180018515A1 (en) 2018-01-18
EP3484343B1 (en) 2024-01-10
WO2018013199A1 (en) 2018-01-18
JP2019528510A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
KR102442569B1 (ko) 각막 곡률을 이용한 홍채 경계 추정
US11538280B2 (en) Eyelid shape estimation using eye pose measurement
JP7136875B2 (ja) 眼の特徴を用いる眼ポーズ識別
KR102209595B1 (ko) 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant