KR20200044835A - 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델 - Google Patents

강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델 Download PDF

Info

Publication number
KR20200044835A
KR20200044835A KR1020207006703A KR20207006703A KR20200044835A KR 20200044835 A KR20200044835 A KR 20200044835A KR 1020207006703 A KR1020207006703 A KR 1020207006703A KR 20207006703 A KR20207006703 A KR 20207006703A KR 20200044835 A KR20200044835 A KR 20200044835A
Authority
KR
South Korea
Prior art keywords
eye
shape
iris
display system
pupil
Prior art date
Application number
KR1020207006703A
Other languages
English (en)
Other versions
KR102209595B1 (ko
Inventor
골람레자 아마예
지쑤 첸
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20200044835A publication Critical patent/KR20200044835A/ko
Application granted granted Critical
Publication of KR102209595B1 publication Critical patent/KR102209595B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G06K9/00604—
    • G06K9/0061—
    • G06K9/00617—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)

Abstract

세밀한 눈 형상 모델을 사용하는 강건한 생체인식 애플리케이션들을 위한 시스템들 및 방법들이 설명된다. 일 양상에서, (예컨대, 증강 현실 디스플레이 디바이스 상의 눈-추적 카메라로부터) 눈의 눈 이미지를 수신한 후에, 눈 이미지에서 눈의 눈 형상(예컨대, 상부 또는 하부 눈꺼풀들, 홍채 또는 동공)은 캐스케이드 형상 회귀 방법들을 사용하여 계산된다. 이어서, 추정된 눈 형상에 관련된 눈 피처들이 결정되고, 생체인식 애플리케이션들, 이를테면, 시선 추정 또는 생체인식 식별 또는 인증에서 사용될 수 있다.

Description

강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
[0001] 본 개시내용은 일반적으로 눈 이미저리를 프로세싱하기 위한 시스템들 및 방법에 관한 것이며, 더 상세하게는, 캐스케이드 형상 회귀(cascaded shape regression)를 사용하여 동공, 홍채, 또는 눈꺼풀을 포함하는 세밀한 눈 형상 모델을 추정하기 위한 시스템들 및 방법에 관한 것이다.
[0002] 인간의 눈의 홍채는 생체인식 정보의 소스로서 사용될 수 있다. 생체인식 정보는 개인의 인증 또는 식별을 제공할 수 있다. 생체인식 정보는 추가적으로 또는 대안적으로 눈에 대한 시선 방향을 결정하는 데 사용될 수 있다.
[0003] 세밀한 눈 형상 모델을 사용하는 강건한 생체인식 애플리케이션들을 위한 시스템들 및 방법들이 설명된다. 일 양상에서, (예컨대, 증강 현실 디스플레이 디바이스 상의 눈-추적 카메라로부터) 눈의 눈 이미지를 수신한 후에, 눈 이미지에서 눈의 눈 형상(예컨대, 상부 또는 하부 눈꺼풀, 홍채 또는 동공의 형상)은 캐스케이드 형상 회귀 방법들을 사용하여 계산된다. 이어서, 추정된 눈 형상에 관련된 눈 피처들이 결정되고, 생체인식 애플리케이션들, 이를테면, 시선 추정 또는 생체인식 식별 또는 인증(예컨대, 홍채 코드들)에서 사용될 수 있다. 캐스케이드 형상 회귀 방법은, 예컨대, 눈꺼풀들, 동공 및 홍채의 형상을 라벨링하는 한 세트의 주석이 달린 눈 이미지들에 대해 트레이닝될 수 있다.
[0004] 본 명세서에서 설명되는 청구 대상의 하나 이상의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 이 개요 또는 다음의 상세한 설명 어느 것도, 본 발명의 청구 대상의 범위를 한정하거나 제한하는 것으로 의도되지 않는다.
[0005] 도 1a는 눈 피처들을 도시하는 눈의 예를 개략적으로 예시한다.
[0006] 도 1b는 눈의 자연스러운 휴식 상태에 대해 눈 포즈 방향을 측정하기 위해 사용될 수 있는 3개의 각도들(예컨대, 요, 피치 또는 롤)의 예를 도시한다.
[0007] 도 2a는 웨어러블 디스플레이 시스템의 예를 개략적으로 예시한다.
[0008] 도 2b는 웨어러블 디스플레이 시스템의 예의 평면도를 개략적으로 예시한다.
[0009] 도 3은 생체인식 애플리케이션들에서 사용될 눈 이미지로부터 생체인식 정보를 추출하기 위한 예시적인 루틴의 흐름도이다.
[0010] 도 4a는 세밀한 눈 형상 모델 추정의 예시적인 진행을 개략적으로 예시한다.
[0011] 도 4b는 동공, 홍채 및 눈꺼풀의 경계들이 식별된 세밀한 눈 형상 모델의 예를 개략적으로 예시한다.
[0012] 도 4c는 2개의 쌍들의 형상-인덱스 피처들의 예를 도시하는 이미지이다.
[0013] 도 5는 회귀 함수를 학습하는 데 사용되는 주석이 달린 트레이닝 이미지들의 세트의 예를 예시한다.
[0014] 도 6은 캐스케이드 형상 회귀를 학습하기 위한 눈 형상 트레이닝 루틴의 예의 흐름도이다.
[0015] 도 7a는 거짓 경계 포인트들의 예를 개략적으로 예시한다.
[0016] 도 7b는 선택적인 피처 검출의 예를 개략적으로 예시한다.
[0017] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
개관
[0018] 눈으로부터 생체인식 정보를 추출하는 것은 일반적으로 눈 이미지 내의 홍채의 세그멘테이션(segmentation)을 위한 절차를 포함한다. 홍채 세그멘테이션은 홍채의 동공 및 각막 윤부 경계들을 발견하는 것, 상부 및 하부 눈꺼풀들이 홍채를 가리는 경우, 이 상부 또는 하부 눈꺼풀들을 로컬화(localizing)하는 것, 속눈썹들, 그림자들 또는 반사(reflection)들의 가림들을 검출하여 배제시키는 것 등을 포함해서, 홍채 경계들을 로케이팅(locating)하는 것을 포함하는 동작들을 수반할 수 있다. 예컨대, 눈 이미지는 얼굴의 이미지에 포함될 수 있거나 또는 안구주위 영역의 이미지일 수 있다. 홍채 세그멘테이션을 수행하기 위해, 동공의 경계(홍채의 내부 경계) 및 각막 윤부(limbus)(홍채의 외부 경계) 둘 모두가 이미지 데이터의 별개의 세그멘트들로서 식별될 수 있다. 홍채의 이러한 세그멘테이션 이외에, 눈꺼풀들(상부 또는 하부)에 의해 가려지는 홍채의 부분이 추정될 수 있다. 정상적인 인간의 활동 동안에, 사람의 전체 홍채가 좀처럼 보이지 않기 때문에, 이러한 추정이 수행된다. 다시 말해서, 전체 홍채는 일반적으로 (예컨대, 깜박거림 동안) 눈꺼풀들의 가려짐으로부터 자유롭지 않다.
[0019] 눈꺼풀들은 눈 표면에 걸쳐 눈물들 및 다른 분비물들을 확산시킴으로써 눈을 촉촉하게 유지하기 위해 눈에 의해 사용될 수 있다. 눈꺼풀들은 또한 이물질(foreign debris)로부터 눈을 보호하는 데 사용될 수 있다. 예로서, 깜박임 반사작용은 눈을 급성 외상(acute trauma)으로부터 보호한다. 다른 예로서, 눈이 세계를 활동적으로 보고 있는 경우에도, 눈꺼풀들은, 예컨대, 눈의 지시 방향의 변화들에 대한 응답으로 자동으로 움직임으로써 눈을 보호할 수 있다. 눈꺼풀들에 의한 이러한 움직임은, 동공의 가려짐을 피하면서, 눈 표면의 보호를 최대화할 수 있다. 그러나, 이러한 움직임은, 홍채 세그멘테이션과 같은 홍채 기반의 생체인식 측정들로 생체인식 정보를 추출할 때 추가의 난제들을 제공한다. 예컨대, 홍채 세그멘테이션을 사용하기 위해, 눈꺼풀들에 의해 가려진 홍채의 영역들이 추정되고 아이덴티티 입증 컴퓨테이션들로부터 마스킹될 수 있거나, 눈꺼풀 깜박임 동안 촬영된 이미지들은 폐기되거나 분석 동안 더 낮은 가중치가 주어질 수 있다.
[0020] 생체인식 정보를 추출하는 것은 눈꺼풀들에 의해 가려진 홍채의 일부를 추정하는 것과 같은 난제를 제공하였다. 그러나, 본원에 설명된 기술들을 사용하여, 생체인식 정보를 추출하는 데 제공되는 난제들은 먼저 눈 형상을 추정함으로써 완화될 수 있다. 본원에 사용된 바와 같이, 눈 형상은 동공, 홍채, 상부 눈꺼풀 또는 하부 눈꺼풀의 형상(예컨대, 경계) 중 하나 이상을 포함한다. 이러한 눈 형상 추정은 홍채 세그멘테이션을 위한 시작 포인트로서 사용될 수 있다. 일단 눈 형상이 추정되면, 생체인식 애플리케이션들이 더 효율적이고 더 강건하게 수행될 수 있다. 예컨대, 눈의 특정 영역들(예컨대, 홍채)에서 발견된 각막 반사들(예컨대, 반짝임들(glints))은 시선 추정을 위해 사용될 수 있다. 눈의 다른 영역들(예컨대, 공막)의 반짝임들은 종종 눈 시선 추정에서 사용되지 않다. 본원에 설명된 기술들을 사용하여 세밀한 눈 형상 모델을 계산함으로써, 원하는 영역들(예컨대, 홍채)의 반짝임들은, 전체 눈(예컨대, 홍채 및 공막)을 서치할 필요성을 제거하고, 따라서 다 효율적이고 강건한 시선 추정을 생성함으로써 보다 신속하고 효율적으로 로케이팅될 수 있다.
[0021] 생체인식 정보를 획득하기 위해, 컴퓨터의 사용자의 눈 움직임들을 추적하기 위한 알고리즘들이 존재한다. 예컨대, 컴퓨터의 모니터에 커플링된 카메라는 눈의 움직임들을 식별하기 위한 이미지들을 제공할 수 있다. 그러나, 눈 추적을 위해 사용되는 카메라들은 사용자의 눈들로부터 일정 거리에 있다. 예컨대, 카메라는 컴퓨터에 커플링된 사용자의 모니터의 최상부에 배치될 수 있다. 결과적으로, 카메라에 의해 생성된 눈들의 이미지들은, 종종, 열악한 해상도로 그리고 상이한 각도들로 생성된다. 따라서, 캡처된 눈 이미지로부터 생체인식 정보를 추출하는 것은 난제들을 제공할 수 있다.
[0022] 웨어러블 HMD(head mounted display)의 맥락에서, 카메라들은 사용자의 모니터에 커플링된 카메라보다 사용자의 눈들에 더 가까울 수 있다. 예컨대, 카메라들은, 자체가 사용자의 머리 위에 배치되는 웨어러블 HMD 상에 장착될 수 있다. 이러한 카메라에 대한 눈들의 근접도는 눈 이미저리의 해상도를 더 높게 할 수 있다. 따라서, 컴퓨터 비전 기술들이 사용자의 눈들로부터, 특히, 홍채(예컨대, 홍채 피처)에서 또는 홍채를 둘러싸는 공막(예컨대, 공막 피처)에서 시각적 피처들을 추출하는 것이 가능하다. 예컨대, 눈 근처의 카메라로 볼 때, 눈의 홍채는 세밀한 구조들을 보여줄 것이다. 이러한 홍채 피처들은, 적외선(IR) 조명 하에서 관찰될 때, 특히 두드러지며, 시선 추정 또는 생체인식 식별과 같은 생체인식 애플리케이션들에 사용될 수 있다. 이러한 홍채 피처들은 사용자마다 고유할 수 있고, 지문의 방식으로, 사용자를 고유하게 식별하는 데 사용된다. 눈 피처들은 눈의 공막의(홍채 외부의) 혈관들을 포함할 수 있으며, 이는 또한 적색 또는 적외선 광 아래에서 볼 때 특히 두드러질 수 있다. 눈 피처들은 반짝임들 및 동공의 중심을 더 포함할 수 있다.
[0023] 본원에 개시된 기술들에서, 세밀한 눈 형상 추정은 생체인식 애플리케이션들(예컨대, 시선 추정 및 생체인식 식별)에 사용되는 눈 피처들을 검출하는 보다 강건한 방법을 생성하는 데 사용된다. 시선 추정의 사용은 컴퓨터 인터페이스들의 미래에 중요한 영향들을 미친다. 시선 추정은 현재 능동 인터페이스들(예컨대, 눈 움직임들을 통해 명령들을 수신하는 인터페이스) 및 수동 인터페이스들(예컨대, 시선 포지션에 기반하여 디스플레이를 수정하는 가상 현실 디바이스)에서 사용된다. 종래의 눈 형상 추정 기술들을 사용하여 눈 피처들을 검출하는 것은, 이미지 잡음, 주변 광, 및 눈이 반쯤 감기거나 깜박일 때 외관의 큰 변동들로 인해 난제이다. 따라서, 시선 추정 또는 생체인식 식별과 같은 생체인식 애플리케이션들에 사용되는 눈 피처들을 결정하기 위한 보다 강건한 알고리즘을 생성하는 방법이 유리할 것이다. 다음의 개시내용은 이러한 방법을 설명한다.
[0024] 본 개시내용은 캐스케이드 형상 회귀 기술들을 사용하여 계산된 세밀한 눈 형상 모델뿐만 아니라 세밀한 눈 형상 모델이 강건한 생체인식 애플리케이션들에 사용될 수 있는 방법들을 설명할 것이다. 최근에, 형상 회귀는 정확하고 효율적인 형상 정렬을 위한 최첨단 접근법이 되고 있다. 이는 얼굴, 손 및 귀 형상 추정에서 성공적으로 사용되어 왔다. 회귀 기술들은 유리한데, 왜냐하면, 예컨대, 회귀 기술들이 외관의 큰 변형을 캡처할 수 있고; 회귀 기술들이 랜드마크들 간에 형상 제약(예컨대, 눈꺼풀들 사이의 홍채, 홍채 내부의 동공)을 강제하고; 그리고 회귀 기술들이 계산적으로 효율적이기 때문이다.
[0025] 본원에서 사용된 바와 같이, 비디오는 그의 일반적인 의미로 사용되며, 시각적 이미지들의 시퀀스의 레코딩을 포함하지만, 이에 제한되지 않는다. 비디오의 각각의 이미지는 때로는, 이미지 프레임 또는 단순히 프레임으로 지칭된다. 비디오는, 오디오 채널이 있거나 또는 없이, 복수의 순차적인 프레임들 또는 비-순차적인 프레임들을 포함할 수 있다. 비디오는 시간에 따라 정렬되거나 시간에 따라 정렬되지 않은 복수의 프레임들을 포함할 수 있다. 따라서, 비디오의 이미지는 눈 이미지 프레임 또는 눈 이미지로 지칭될 수 있다.
눈 이미지의 예
[0026] 도 1a는 눈꺼풀들(110), 홍채(112) 및 동공(114)을 갖는 눈(100)의 이미지를 예시한다. 곡선(114a)은 동공(114)과 홍채(112) 사이의 동공 경계를 도시하고, 곡선(112a)은 홍채(112)와 공막(113)(눈의 "흰자위") 사이의 각막 윤부 경계를 도시한다. 눈꺼풀들(110)은 상부 눈꺼풀(110a) 및 하부 눈꺼풀(110b) 및 속눈썹들(117)을 포함한다. 자연스러운 휴식 포즈(예컨대, 여기서 사용자의 얼굴 및 시선 둘 모두는 그들이 사용자의 바로 앞에 있는 먼 객체를 향하는 것처럼 배향됨)의 눈(100)이 예시된다. 눈(100)의 자연스러운 휴식 포즈는 자연스러운 휴식 방향(180)으로 표시될 수 있으며, 이 방향은, 자연스러운 휴식 포즈에 있을 때 눈(100)의 표면에 직교하는(예컨대, 도 1a에 도시된 눈(100)의 평면으로부터 밖으로 똑바른) 방향일 수 있고, 이러한 예에서, 동공(114) 내에 중심을 둔다.
[0027] 눈(100)은, 눈 추적과 같은 생체인식 애플리케이션들에 사용될 수 있는 홍채 또는 공막(또는 둘 모두)의 눈 피처들(115)을 포함할 수 있다. 도 1a는 홍채 피처들(115a) 및 공막 피처(115b)를 포함하는 눈 피처들(115)의 예를 예시한다. 눈 피처들(115)은 개별적인 키포인트들로 지칭될 수 있다. 이러한 눈 피처들(115)은 개인의 눈에 고유할 수 있으며, 해당 개인의 각각의 눈에 대해 별개일 수 있다. 홍채 피처(115a)는, 나머지 홍채의 컬러와 비교하여 또는 특정 컬러 밀도의 포인트를 둘러싸는 특정 영역과 비교하여 특정 컬러 밀도의 포인트일 수 있다. 다른 예로서, 텍스처(예컨대, 피처 근처의 홍채의 텍스처와 상이한 텍스처) 또는 홍채의 패턴은 홍채 피처(115a)로서 식별될 수 있다. 또 다른 예로서, 홍채 피처(115a)는 홍채(112)와 외관이 상이한 흔적(scar)일 수 있다. 눈 피처들(115)은 또한 눈의 혈관들과 연관될 수 있다. 예컨대, 혈관은 홍채(112) 외부에 있지만 공막(113) 내에 존재할 수 있다. 이러한 혈관들은 적색 또는 적외선 광 조명 하에서 더욱 눈에 띄게 보일 수 있다. 공막 피처(115b)는 눈의 공막에서의 혈관일 수 있다. 추가적으로 또는 대안적으로, 눈 피처들(115)은, 광 소스들(예컨대, 시선 추적 또는 생체인식 식별을 위해 눈을 향해 지향되는 IR 광 소스)의 각막 반사들을 포함하는 반짝임들을 포함할 수 있다. 일부 경우들에서, 눈 피처라는 용어는, 눈 내의 또는 눈 상의 임의의 타입의 식별 피처, 즉, 피처가 홍채(112) 내에 있는지, 공막(113) 내에 있는지, 또는 동공(114)을 통해(예컨대, 망막 상에) 보이는 피처 내에 있는지를 나타내는 데 사용될 수 있다.
[0028] 각각의 눈 피처(115)는 눈 피처(115)를 둘러싸는 영역의 수치 표현인 디스크립터와 연관될 수 있다. 디스크립터는 또한 홍채 피처 표현으로 지칭될 수 있다. 또 다른 예로서, 이러한 눈 피처들은 SIFT(scale-invariant feature transforms), SURF(speeded up strong features), FAST(features from accelerated segment test), ORB(oriented FAST and rotated BRIEF), KAZE, AKAZE(Accelerated KAZE) 등으로부터 도출될 수 있다. 따라서, 눈 피처들(115)은 알려진 컴퓨터 비전 분야의 알고리즘들 및 기술들로부터 도출될 수 있다. 이러한 눈 피처들(115)은 키포인트들로 지칭될 수 있다. 이하에 설명되는 예시적인 실시예들 중 일부에서, 눈 피처들은 홍채 피처들의 면에서 설명될 것이다. 이것은 제한이 아니며, 임의의 타입의 눈 피처(예컨대, 공막 피처)가 다른 구현들에서 추가적으로 또는 대안적으로 사용될 수 있다.
[0029] 눈(100)이 상이한 객체들을 보기 위해 움직일 때, 눈 시선(본원에서 때때로 눈 포즈로 또한 지칭됨)은 자연스러운 휴식 방향(180)에 대해 변할 것이다. 현재 눈 시선은 자연스러운 휴식 눈 시선 방향(180)을 참조하여 측정될 수 있다. 눈(100)의 현재 시선은, 눈의 자연스러운 휴식 방향(180)에 대한 현재 눈 포즈 방향을 나타내는 3개의 각도 파라미터들로 표현될 수 있다. 예시 목적으로, 그리고 도 1b에 도시된 예시적인 좌표계를 참조하여, 이러한 각도 파라미터들은 α(요로 지칭될 수 있음), β(피치로 지칭될 수 있음) 및 γ(롤로 지칭될 수 있음)로 표현될 수 있다. 다른 구현들에서, 눈 시선을 측정하기 위한 다른 기술들 또는 각도 표현들, 예컨대, 임의의 다른 타입의 오일러 각도 시스템(Euler angle system)이 사용될 수 있다.
[0030] 눈 이미지는 임의의 적절한 프로세스를 사용하여, 예컨대, 하나 이상의 순차적인 프레임들로부터 이미지를 추출할 수 있는 비디오 프로세싱 알고리즘을 사용하여 비디오로부터 획득될 수 있다. 눈의 포즈는 다양한 눈-추적 기술들을 사용하여 눈 이미지로부터 결정될 수 있다. 예컨대, 눈 포즈는 제공된 광 소스들에 대한 각막의 렌즈 효과들을 고려함으로써 또는 (전방을 보는 눈을 나타내는 원형 형상에 대해) 동공 또는 홍채의 형상을 계산함으로써 결정될 수 있다.
눈 형상 추정을 사용하는 웨어러블 디스플레이 시스템의 예
[0031] 일부 실시예들에서, 디스플레이 시스템들은 착용 가능할 수 있고, 이는 더 몰입형 VR(virtual reality), AR(augmented reality), 또는 MR(mixed reality) 경험을 유리하게 제공할 수 있고, 여기서, 디지털적으로 재생된 이미지들 또는 이 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 착용자에게 제시된다.
[0032] 이론에 의해 제한되지 않고서, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 그럴듯한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 예컨대, 도파관들의 스택을 포함하는 디스플레이들은 사용자, 또는 뷰어의 눈들의 전면에 포지셔닝되게 착용되도록 구성될 수 있다. 도파관들의 스택은, 이미지 주입 디바이스(예컨대, 이산 디스플레이들, 또는 하나 이상의 광섬유들을 통해 이미지 정보를 파이핑(pipe)하는 멀티플렉싱된 디스플레이의 출력 단부들)로부터의 광을 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산 양들)로 뷰어의 눈으로 지향시키기 위해 복수의 도파관들을 사용함으로써 눈/뇌에 3차원 지각을 제공하는 데 활용될 수 있다.
[0033] 일부 실시예들에서, 도파관들의 2개의 스택들(뷰어의 각각의 눈마다 하나씩)은 각각의 눈에 상이한 이미지들을 제공하기 위해 활용될 수 있다. 일 예로서, 증강 현실 장면은 AR 기술의 착용자가 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼을 피처링(featuring)하는 실세계 공원-형 세팅을 보도록 이루어질 수 있다. 이들 아이템들에 더하여, AR 기술의 착용자는 또한, 그가 실세계 플랫폼 상에 서 있는 로봇 동상, 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터를 "보는 것"을 지각할 수 있더라도, 로봇 동상 및 호박벌은 실세계에 존재하지 않는다. 도파관들의 스택(들)은 입력 이미지에 대응하는 광 필드를 생성하는 데 사용될 수 있고, 일부 구현들에서 웨어러블 디스플레이는 웨어러블 광 필드 디스플레이를 포함한다. 광 필드 이미지들을 제공하기 위한 웨어러블 디스플레이 디바이스 및 도파관 스택들의 예들은 미국 특허 공보 제2015/0016777호에서 설명되며, 이로써, 이 특허 공보는 그것이 포함하는 전부에 대해 그 전체가 인용에 의해 본원에 포함된다.
[0034] 도 2a 및 2b는 착용자(204)에 AR, MR 또는 VR 경험을 제공하는 데 사용될 수 있는 웨어러블 디스플레이 시스템(200)의 예들을 예시한다. 웨어러블 디스플레이 시스템(200)은 본원에서 설명된 애플리케이션들 또는 실시예들 중 임의의 것을 제공하기 위해 눈의 이미지를 캡처하고 눈 형상 추정을 수행하도록 프로그래밍될 수 있다. 디스플레이 시스템(200)은 디스플레이(208)(사용자의 눈 또는 눈들 앞에 위치 가능함), 및 해당 디스플레이(208)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(208)는, 디스플레이 시스템 착용자 또는 뷰어(204)에 의해 착용 가능하고 그리고 착용자(204)의 눈들의 전면에 디스플레이(208)를 포지셔닝하도록 구성된 프레임(212)에 커플링될 수 있다. 디스플레이(208)는 사용자로부터 다수의 깊이 평면들에서 가상 이미지들을 디스플레이하도록 구성된 광 필드 디스플레이일 수 있다. 일부 실시예들에서, 스피커(216)는 프레임(212)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝되고, 일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공한다. 디스플레이(208)는, 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(212)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 사용자(204)에게 제거 가능하게 부착되는 로컬 데이터 프로세싱 모듈(224)에 동작 가능하게 커플링(220)된다.
[0035] 도 2b에 도시된 바와 같이, 웨어러블 디스플레이 시스템(200)은, 웨어러블 디스플레이 시스템(200) 내에 배치되고 눈(100a)의 이미지들을 캡처하도록 구성된 눈 추적 카메라(252a)를 더 포함할 수 있다. 디스플레이 시스템(200)은 눈 추적 카메라(252a)로 눈(100a)의 눈 피처들(115)을 캡처하기에 충분한 조명을 제공하도록 구성된 광 소스(248a)를 더 포함할 수 있다. 일부 실시예들에서, 광 소스(248a)는 사용자에게 보이지 않는 적외선 광을 사용하여 눈(100a)을 조명하여, 사용자가 광 소스에 의해 주의가 산만해지지 않는다. 눈 추적 카메라(252a) 및 광 소스(248a)는, 웨어러블 디스플레이 시스템(200), 예컨대, 프레임(212)에 개별적으로 부착되는 별개의 컴포넌트들일 수 있다. 다른 실시예들에서, 눈 추적 카메라(252a) 및 광 소스(248a)는, 프레임(212)에 부착된 단일 하우징(244a)의 컴포넌트들일 수 있다. 일부 실시예들에서, 웨어러블 디스플레이 시스템(200)은, 눈(100b)의 이미지들을 조명하고 캡처하도록 구성된 제2 눈 추적 카메라(252b) 및 제2 광 소스(248b)를 더 포함할 수 있다. 눈 추적 카메라들(252a, 252b)은 눈 형상 계산, 시선 결정 및 생체인식 식별에 사용되는 눈 이미지들을 캡처하는 데 사용될 수 있다.
[0036] 도 2a를 다시 참조하면, 로컬 프로세싱 및 데이터 모듈(224)은 하드웨어 프로세서뿐만 아니라, 비-일시적인 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대 프레임(212)에 동작 가능하게 커플링되거나 그렇지 않으면 착용자(204)에게 부착될 수 있음), 예컨대, 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(228) 및/또는 원격 데이터 저장소(repository)(232)를 사용하여 취득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(208)에 전달하기 위한) 데이터를 포함한다. 로컬 프로세싱 및 데이터 모듈(224)은 통신 링크들(236, 240)에 의해, 예컨대, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(228) 및 원격 데이터 저장소(232)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(228, 232)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(224)에 대한 자원들로서 이용 가능하다.
[0037] 일부 실시예들에서, 원격 프로세싱 모듈(228)은 데이터 및/또는 이미지 정보, 이를테면, 이미지 캡처 디바이스에 의해 캡처된 비디오 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 비디오 데이터는 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 데이터 저장소(232)에 로컬적으로 저장될 수 있다. 일부 실시예들에서, 원격 데이터 저장소(232)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터가 로컬 프로세싱 및 데이터 모듈에 저장되고 로컬 프로세싱 및 데이터 모듈(224)에서 모든 컴퓨테이션들이 수행되어, 원격 모듈로부터의 완전히 자율적인 사용이 허용된다. 일부 구현들에서, 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 프로세싱 모듈(228)은 본원에서 설명된 바와 같이 세밀한 눈 형상 모델을 추정하는 실시예들을 수행하도록 프로그래밍된다. 예컨대, 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 프로세싱 모듈(228)은 도 3을 참조하여 아래에 설명된 루틴(300)의 실시예들을 수행하도록 프로그래밍될 수 있다. 로컬 프로세싱 및 데이터 모듈(224) 또는 원격 프로세싱 모듈(228)은, 생체인식 애플리케이션들을 수행하기 위해, 예컨대, 착용자(204)의 아이덴티티를 식별 및 인증하기 위해 본원에 개시된 눈 형상 추정 기술들을 사용하도록 프로그래밍될 수 있다. 추가적으로 또는 대안적으로, 이는, 시선 추정 또는 포즈 결정에서, 예컨대 각각의 눈이 바라보는 방향을 결정하기 위해 사용될 수 있다.
[0038] 이미지 캡처 디바이스는 특정 애플리케이션에 대한 비디오(예컨대, 눈 추적 애플리케이션의 경우 착용자의 눈의 비디오 또는 제스처 식별 애플리케이션의 경우 착용자의 손 또는 손가락의 비디오)를 캡처할 수 있다. 비디오는 프로세싱 모듈들(224, 228) 중 하나 또는 둘 모두에 의해 눈 형상 추정 기술들을 사용하여 분석될 수 있다. 이 분석으로, 프로세싱 모듈들(224, 228)은 강건한 생체인식 애플리케이션들을 위해 눈 형상 추정을 수행할 수 있다. 예로서, 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 프로세싱 모듈(228)은, 프레임(212)에 부착된 눈 추적 카메라들(252a, 252b)로부터의 획득된 눈 이미지들을 저장하도록 프로그래밍될 수 있다. 게다가, 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 프로세싱 모듈(228)은, 웨어러블 디스플레이 시스템(200)의 착용자(204)의 생체인식 정보를 추출하기 위해, 본원에 설명된 눈 형상 추정 기술들(예컨대, 루틴(300))을 사용하여 눈 이미지들을 프로세싱하도록 프로그래밍될 수 있다. 일부 경우들에서, 생체인식 정보 중 적어도 일부를 (예컨대, "클라우드"의) 원격 프로세싱 모듈로 오프-로딩(off-loading)하는 것은 컴퓨테이션들의 효율성 또는 속도를 개선할 수 있다. 눈 시선 식별을 위한 다양한 파라미터들(예컨대, 필터들(예컨대, 소벨 도함수 연산자(Sobel derivative operator))의 가중치들, 바이어스 항들, 랜덤 서브세트 샘플링 팩터들, 수 및 크기 등)은 데이터 모듈들(224 또는 228)에 저장될 수 있다.
[0039] 비디오 분석의 결과들(예컨대, 세밀한 눈 형상 모델)은 부가적인 동작들 또는 프로세싱을 위해 프로세싱 모듈들(224, 228) 중 하나 또는 둘 모두에 의해 사용될 수 있다. 예컨대, 다양한 애플리케이션들에서, 포즈들, 객체들의 분류, 인식, 눈-추적 도는 생체인식 식별 등은 웨어러블 디스플레이 시스템(200)에 의해 사용될 수 있다. 예컨대, 착용자의 눈(들)의 비디오는 눈 형상 추정에 사용될 수 있으며, 이는 결국, 디스플레이(208)를 통한 착용자(204)의 시선의 방향을 결정하기 위해 프로세싱 모듈들(224, 228)에 의해 사용될 수 있다. 웨어러블 디스플레이 시스템(200)의 프로세싱 모듈들(224, 228)은 본원에서 설명된 비디오 또는 이미지 프로세싱 애플리케이션들 중 임의의 것을 수행하기 위해 눈 형상 추정의 하나 이상의 실시예들로 프로그래밍될 수 있다.
예시적인 눈 형상 추정 루틴
[0040] 도 3은 예시적인 눈 형상 추정 루틴(300)의 흐름도이다. 눈 형상 추정 루틴(300)은, 도 2를 참조하여 설명되는 로컬 프로세싱 및 데이터 모듈(224) 또는 원격 프로세싱 모듈(228) 및 데이터 저장소(232)에 의해 구현될 수 있다. 눈 형상 추정은 또한 눈 형상 검출 또는 세밀한 눈 형상 모델링으로 지칭될 수 있다. 루틴(300)은 블록(308)에서 시작되며, 이때 눈 이미지(324)가 수신된다. 눈 이미지(324)는, 예컨대, 이미지 캡처 디바이스, 머리 장착 디스플레이 시스템, 서버, 비-일시적 컴퓨터 판독 가능 매체 또는 클라이언트 컴퓨팅 디바이스(예컨대, 스마트폰)를 포함하는 다양한 소스들로부터 수신될 수 있다. 눈 이미지(324)는 눈 추적 카메라(252a)로부터 수신될 수 있다. 일부 구현들에서, 눈 이미지(324)는 비디오로부터 추출될 수 있다.
[0041] 블록(312)에서, 세밀한 눈 형상 모델(400b)은 눈 이미지(324)로부터 추정될 수 있다. 일부 실시예들에서, 세밀한 눈 형상 모델(400b)은 아래에 추가로 설명되는 바와 같이 캐스케이드 형상 회귀를 사용하여 추정될 수 있다. 블록(316)에서, 블록(312)에서 추정된 세밀한 눈 형상 모델(400b)에 적어도 부분적으로 기반하여 눈 피처들(115)이 결정된다. 일부 실시예들에서, 눈 피처들(115)(이들 중 일부가 이미지(332)에 도시됨)은 동공 또는 각막 윤부 경계들, 눈꺼풀 경계들, 반짝임들, 눈 키포인트들 또는 동공(114)의 중심을 포함한다. 눈 피처들(115)은 생체인식 애플리케이션에 사용될 수 있는 임의의 피처를 더 포함할 수 있다. 블록(312)에서 추정된 세밀한 눈 형상 모델(400b)은 블록(316)에서의 피처 검출의 강건성을 개선하기 위한 사전 지식으로서 역할을 할 수 있다. 블록(320)에서, 생체인식 애플리케이션(예컨대, 시선 추정 또는 생체인식 식별/인증)은 블록들(312 및 316)에서 획득된 생체인식 정보에 적어도 부분적으로 기반하여 수행된다. 일부 실시예들에서, 블록(320a)에서, 시선 방향은 블록(316)에서 결정된 눈 피처들(115)에 적어도 부분적으로 기반하여 추정될 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 블록(320b)에서, 생체인식 식별/인증은 블록(316)에서 결정된 눈 피처들에 적어도 부분적으로 기반하여 수행될 수 있다. 생체인식 식별 또는 인증은 눈 이미지 및 결정된 동공 및 각막 윤부 경계들에 적어도 부분적으로 기반하여 홍채 코드(예컨대, 도그먼(Daugman) 알고리즘에 기반한 홍채 코드)를 결정하는 것을 포함할 수 있다.
예시적인 눈 형상 추정
[0042] 초기 눈 형상(
Figure pct00001
)을 갖는 입력 이미지(I)가 주어지면, 캐스케이드 형상 회귀는, 형상 증분(ΔS)을 스테이지마다 추정함으로써 형상(S)을 점진적으로 개선(refine)한다. 초기 형상(
Figure pct00002
)은 눈 형상(예컨대, 동공 경계, 각막 윤부 및 눈꺼풀 경계) 또는 디폴트 형상(예컨대, 눈 이미지(I)의 중심에 중심을 둔 원형 동공 및 홍채 경계들)에 대한 최상의 추측을 나타낼 수 있다. 일반적인 형태에서, 스테이지(t)에서의 형상 증분(
Figure pct00003
)은 다음과 같이 회귀된다.
Figure pct00004
여기서
Figure pct00005
는 스테이지(t)에서의 회귀 함수이고,
Figure pct00006
는 형상-인덱스 추출 함수이다.
Figure pct00007
는 이전 스테이지(
Figure pct00008
)에서의 형상 및 입력 이미지(I) 둘 모두에 의존할 수 있음이 유의된다. 형상-인덱스 추출 함수(
Figure pct00009
)는 "비-형상-인덱스" 피처와 비교하여 더 큰 형상 변동들을 처리할 수 있다. 글로벌 조명 변화들에 대해 불변일 수 있는 쌍별 픽셀 비교 피처(pairwise pixel comparison feature)가 사용될 수 있다. 회귀는, 형상 증분(
Figure pct00010
)을 이전 스테이지(
Figure pct00011
)의 형상에 합산하여
Figure pct00012
를 산출함으로써 다음 스테이지(t+1)로 진행한다.
[0043] 눈 형상을 추정하는 데 사용할 수 있는 캐스케이드 형상 회귀 모델들의 일부 예들은 ESR(Explicit Shape Regression), CPR(Cascaded Pose Regression), ERT(Ensemble of Regression Trees), SDM(Supervised Descent Method), LBF(Local Binary Features), PRF(Probabilistic Random Forests), cGPRT(Cascade Gaussian Process Regression Trees), CFSS(Coarse-to-Fine Shape Searching), R-CR-C(Random Cascaded Regression Copse), CCR(Cascaded Collaborative Regression method), STCSR(Spatio-Temporal Cascade Shape Regression) 또는 다른 캐스케이드 형상 회귀 방법들을 포함할 수 있다.
[0044] 도 4a는 세밀한 눈 형상 모델의 예시적인 진행을 개략적으로 예시한다. 간략함을 위해, 도 4a는 상부 눈꺼풀 및 하부 눈꺼풀(110a, 110b)의 형상만을 도시하고, 홍채(112) 또는 동공(114)의 추정된 형상들을 예시하지 않는다. 그러나, 홍채(112) 및 동공(114)의 형상들은 이 스테이지에서 추가적으로 또는 대안적으로 모델링될 수 있다(예컨대, 도 4b의 예시적인 결과를 참조). 일부 실시예들에서, 초기 추정된 눈 형상(404)은 타겟 형상(412)과 유사한 임의의 눈 형상일 수 있다. 예컨대, 초기 추정된 눈 형상은 평균 형상(mean shape)으로서 이미지 중심에 설정될 수 있다. 도 4a는 초기 추정된 눈 형상(404)으로부터 11개의 스테이지들에 걸쳐 수행된 타겟 형상(412)으로의 눈 형상 회귀를 도시한다. 도 4a는 초기(제0) 스테이지(S0), 제1 스테이지(S1) 및 제10 스테이지(S10)를 도시한다. 간략함을 위해, 중간 눈꺼풀 형상(408)만이 도 4a에 도시된다. 일부 실시예들에서, 회귀 모델은 미리 결정된 수의 반복들(예컨대, 5, 10, 20, 50 또는 100 이상) 후에 중지하도록 프로그래밍될 수 있다. 다른 실시예들에서, 스테이지(t)에서의 형상 증분(
Figure pct00013
)이 임계치보다 작을 때까지, 회귀 모델이 계속 반복될 수 있다. 예컨대, 상대적인 눈 형상 변화(|ΔSt/St|)가 임계치 미만이면(예컨대, 10-2 또는 10-3 이하), 회귀 모델이 종결될 수 있다. 다른 실시예들에서, 회귀 모델은, 스테이지(t)에서의 형상(
Figure pct00014
)과 이전 스테이지(
Figure pct00015
)에서의 형상 사이의 차이가 임계치보다 작을 때까지 계속 반복될 수 있다.
[0045] 일부 실시예들에서, 세밀한 눈 형상 모델(400b)은 동공 경계, 각막 윤부 또는 눈꺼풀 경계에 대한 복수의 경계 포인트들(424)을 포함할 수 있다. 경계 포인트들(424)은 추정된 눈꺼풀 형상(412), 추정된 홍채 형상(416) 및 추정된 동공 형상(420)에 각각 대응할 수 있다. 경계 포인트들(424)의 수는 6-100개 이상의 범위에 있을 수 있다. 일부 구현들에서, 세밀한 눈 형상 모델(400b)은, 수신된 눈 이미지가 특정 표준들, 예컨대, 이미지 품질을 충족시키는지 여부를 결정하는 데 사용될 수 있다.
[0046] 도 4b는 도 3의 블록(312)에서 설명된 눈 형상 추정 루틴(300)을 사용하는 완성된 눈 형상 모델의 예를 예시한다. 도 4b는, 동공 경계, 각막 윤부 및 눈꺼풀 경계를 결정한 캐스케이드 형상 회귀에 기반하여 눈 형상이 모델링된 후의 블록(312)의 결과를 예시한다. 이러한 경계들은, 계산된 경계들과 근본적인 눈 이미지 간의 매치를 보여주기 위해 눈의 안구주위 영역의 이미지 상에 오버레이된다. 앞서 설명된 바와 같이, 형상-인덱스 추출 함수(
Figure pct00016
)는 "비-형상-인덱스" 피처와 비교하여 더 큰 형상 변동들을 처리할 수 있다. 글로벌 조명 변화들에 대해 변하지 않을 수 있는 쌍별 픽셀 비교 피처가 사용될 수 있다. 도 4c는 2개의 쌍들의 형상-인덱스 피처들의 예를 도시하는 이미지이다. 로컬 좌표계(x 및 y 축들(450)로 도시됨)는 현재 눈 형상(예컨대, 눈꺼풀 형상(462))에 의해 결정된다. 한 쌍의 픽셀 위치들(460a, 460b)(화살표 라인들로 연결된 정사각형들; 이러한 픽셀 위치들의 2개의 쌍(460a, 460b)이 도시됨)로부터의 세기 값들은 이진 피처(예컨대, 매치 또는 비-매치를 나타내는 0 또는 1과 같은 부울 값)을 제공하기 위해 비교될 수 있다. 예컨대, 동공 내부에 위치된 픽셀(예컨대, 쌍(460b)의 동공 픽셀)은 동공 외부에(예컨대, (도 4c에 도시된 바와 같이) 사용자의 홍채, 공막 또는 피부에) 위치된 픽셀보다 컬러 또는 콘트라스트에서 더 어두울 수 있다. 일부 구현들에서, 픽셀 위치들은 로컬 좌표계(450)에 고정되며, 이는 눈 형상(462)이 회귀 스테이지들 동안에 업데이트됨에 따라 변한다. 하나의 예시적인 시스템에서, 2500개의 피처들은 400개의 픽셀 위치들로부터 구성되며, 이들 모두는 트레이닝 데이터(500)(도 5를 참조하여 아래에 설명됨)로부터 학습된다.
캐스케이드 형상 회귀를 학습하기 위한 트레이닝 이미지들의 예
[0047] 일부 실시예들에서, 회귀 함수(
Figure pct00017
) 및 형상-인덱스 추출 함수(
Figure pct00018
)는 주석이 달린(예컨대, 라벨링된) 트레이닝 데이터의 세트들로부터 학습될 수 있다. 도 5는 형상 및 외관 변동들이 큰 상이한 피사체들로부터의 8개의 예시적인 눈 이미지들((a) 내지 (h)로 인덱싱됨)을 포함하는 트레이닝 데이터(500)의 예를 예시한다. 라벨링된 눈 이미지들은 유리하게 (상이한 성별들, 인종들 등의) 광범위한 피사체들로부터 광범위한 눈 변동들(예컨대, 정상적으로 개방된 눈들, 깜박이는 눈들, 자연스러운 휴식 방향에 대해 광범위한 방향들(위, 아래, 좌측, 우측)을 향하는 눈들 등)을 보여줄 것이다.
[0048] 트레이닝 데이터(500)는 학습될 피처들을 보여주도록 주석이 달리게 되고, 이는 이 예에서 이미지들 각각에 마킹된 동공 경계, 각막 윤부 및 눈꺼풀 경계를 포함한다. 트레이닝 데이터(500) 내의 이미지들 각각에서 이들 라벨링된 경계들은 임의의 적절한 동공 경계, 각막 윤부 또는 눈꺼풀 경계 기술을 사용하여 또는 수작업으로 결정될 수 있다. 주석이 달린 트레이닝 데이터(500)로부터 회귀 함수(
Figure pct00019
) 및 형상-인덱스 추출 함수(
Figure pct00020
)를 학습하기 위해 다양한 머신 학습 알고리즘들이 사용될 수 있다. 지도 머신 학습 알고리즘들(supervised machine learning algorithms)(예컨대, 회귀-기반 알고리즘들)은 주석이 달린 데이터(500)로부터 회귀 함수 및 형상-인덱스 추출 함수를 학습하는 데 사용될 수 있다. 이러한 모델을 생성하는 데 사용될 수 있는 머신 학습 알고리즘들의 일부 예들은, (예컨대, 정규 최소 제곱화 회귀 분석(Ordinary Least Squares Regression)과 같은) 회귀 알고리즘들, (예컨대, 학습 벡터 양자화(Learning Vector Quantization)와 같은) 인스턴스-기반 알고리즘들, (예컨대, 분류 및 회귀 트리들과 같은) 결정 트리 알고리즘들, (예컨대, 나이브 베이즈(Naive Bayes)와 같은) 베이지안 알고리즘들, (예컨대, k-평균 클러스터링과 같은) 클러스터링 알고리즘들, (예컨대, 선험적 알고리즘들과 같은) 연관 규칙 학습 알고리즘들, (예컨대, 퍼셉트론(Perceptron)과 같은) 인공 뉴럴 네트워크 알고리즘들, (예컨대, 심층 볼츠만 머신, 또는 심층 뉴럴 네트워크와 같은) 심층 학습 알고리즘들, (예컨대, 주 성분 분석(Principal Component Analysis)과 같은) 차원성 감소 알고리즘, (예컨대, 누적된 일반화(Stacked Generalization)와 같은) 앙상블 알고리즘들 및/또는 다른 머신 학습 알고리즘들을 포함할 수 있다.
[0049] 일부 실시예들에서, 한 세트의 트레이닝 이미지들이 원격 데이터 저장소(232)에 저장될 수 있다. 원격 프로세싱 모듈(228)은, 회귀 함수(
Figure pct00021
) 및 형상-인덱스 추출 함수(
Figure pct00022
)를 학습하기 위해 트레이닝 이미지들에 액세스할 수 있다. 이어서, 로컬 프로세싱 및 데이터 모듈(224)은 회귀 함수(
Figure pct00023
) 및 형상-인덱스 추출 함수(
Figure pct00024
)를 웨어러블 디바이스(200)에 저장할 수 있다. 이는, 로컬 프로세싱 및 데이터 모듈(224)이 회귀 함수(
Figure pct00025
) 및 형상-인덱스 추출 함수(
Figure pct00026
)를 학습하는 계산 집약적으로 프로세스를 수행할 필요성을 감소시킨다. 일부 실시예들에서, 생체인식 정보는 사용자(204)로부터 수집되고, 로컬 프로세싱 및 데이터 모듈(224)에 저장될 수 있다. 이어서, 생체인식 정보는, 예컨대, 비지도 학습을 통해 사용자의 개인화된 눈 형상 및 피처들에 기반하여 회귀 함수 및 형상-인덱스 추출 함수를 추가로 트레이닝시키기 위해 로컬 프로세싱 및 데이터 모듈(224)(또는 원격 프로세싱 모듈(228))에 의해 사용될 수 있다. 이러한 트레이닝은 회귀 모델이 사용자의 눈들과 안구주위 영역의 피처들을 더 특별히 매칭시키도록 회귀 모델을 개인화하고, 이는 정확도 및 효율성을 개선할 수 있다.
예시적인 눈 형상 트레이닝 루틴
[0050] 도 6은, 한 세트의 트레이닝 이미지들(예컨대, 도 5에 도시된 이미지들(500))로부터 회귀 함수(
Figure pct00027
) 및 형상-인덱스 추출 함수(
Figure pct00028
)를 학습하는 데 사용되는 예시적인 눈 형상 트레이닝 루틴(600)의 흐름도이다. 눈 형상 트레이닝 루틴(600)은 프로세싱 모듈들(224, 228, 232)에 의해 구현될 수 있다. 루틴(600)은, 주석이 달린 눈 이미지들을 포함하는 트레이닝 데이터(예컨대, 데이터(500))가 액세스될 때 블록(608)에서 시작한다. 트레이닝된 눈 이미지들은, 주석이 달린 눈 이미지들을 저장하는 비-일시적 데이터 저장소로부터 액세스될 수 있다. 프로세싱 모듈은 유선 또는 무선 기술들을 통해 비-일시적 데이터 저장소에 액세스할 수 있다. 블록(612)에서, 회귀 함수(
Figure pct00029
) 및 형상-인덱스 추출 함수(
Figure pct00030
)를 학습하기 위해, 머신 학습 기술(예컨대, 주석이 달린 또는 라벨링된 이미지들에 대한 지도 학습)이 적용된다. 이어서, 캐스케이드 형상 회귀 모델이 블록(616)에서 생성될 수 있다. 이 회귀 모델은 루틴(300)이 블록(312)에서 세밀한 눈 형상 모델을 추정하는 것을 가능하게 한다. 위에 설명된 바와 같이, 캐스케이드 형상 회귀 모델은, 사용하는 동안 웨어러블 디스플레이 시스템(200)에 의해 획득된 사용자의 눈 이미지들에 대해 회귀 함수 및 형상-인덱스 추출 함수를 추가로 트레이닝시킴으로써 특정 사용자에게 개인화될 수 있다.
강건한 피처 검출의 예
동공 또는 홍채의 눈꺼풀 가림
[0051] 도 7a는 눈꺼풀들에 의해 부분적으로 가려진 동공의 경계 포인트들(424)을 예시한다. 세밀한 눈 형상 모델을 사용한 강건한 피처 검출에 대한 일 실시예에서, 동공 검출은 거짓 동공 경계 포인트들(704)(상부 눈꺼풀(110a)을 따른 그리고 동공 경계(420) 내의 경계 포인트들의 호(arc)로서 도시됨)을 제거함으로써 개선될 수 있다. 거짓 동공 경계 포인트들(704)은, 도 7a에 도시된 바와 같이, 눈꺼풀이 동공을 부분적으로 가릴 때(상부 눈꺼풀(110a)이 동공(114)을 부분적으로 가리는 경우) 생성될 수 있다. 따라서, 포인트들(704)은 동공의 실제 경계(눈꺼풀에 의해 가려짐)보다는 눈꺼풀의 포지션을 반영한다. 동공의 부정확한 모델의 생성으로 이어질 수 있는 거짓 경계 포인트들(704)을 포함하는 것보다는, 동공 경계-발견 방법이 수행되기 전에, 거짓 경계 포인트들(704)이 식별되고 제거될 수 있다. 일부 실시예들에서, 거짓 동공 경계 포인트들(704)은 상부 또는 하부 눈꺼풀의 특정 거리 내에 위치된 임의의 동공 경계 포인트일 수 있다. 일부 실시예들에서, 거짓 동공 경계 포인트들(704)은 상부 또는 하부 눈꺼풀과 경계를 접하는 임의의 동공 경계 포인트일 수 있다. 일부 실시예들에서, 일단 거짓 동공 경계 포인트들(704)이 식별되고 제거되면, 남아있는 동공 경계 포인트들을 사용하여 타원이 동공에 맞춰질 수 있다. 이러한 타원 맞춤을 위해 구현될 수 있는 알고리즘들은 인테그로-차동 연산자들(integro-differential operators), 최소-제곱 방법, RANSAC(random sample consensus), 또는 타원 또는 곡선 맞춤 알고리즘을 포함한다.
[0052] 위의 실시예들은 구체적으로 거짓 동공 경계 포인트들을 참조하지만, 위에 설명된 기술들은 또한 거짓 각막 윤부 경계 포인트들을 식별하고 제거하기 위해 적용될 수 있다는 것이 유의된다.
[0053] 일부 실시예들에서, 세밀한 눈 형상 모델은, 예컨대, 스타버스트 알고리즘(starburst algorithm)과 같은 동공 경계 발견 알고리즘과 함께 사용될 수 있으며, 이는 많은 동공 경계 포인트들을 검출하는 데 사용될 수 있다. 세밀한 눈 형상 모델의 눈꺼풀 형상들(412)을 사용하여, 상부 또는 하부 눈꺼풀들(110a, 110b)과 경계를 접하는, 스타버스트 알고리즘을 사용하여 결정된 경계 포인트들이 제거되고, 남아있는 경계 포인트들은 동공 경계(420)에 맞추는 데 사용된다. 일부 실시예들에서, 공막(113)과 경계를 접하는 각막 윤부 경계 포인트들은 또한 세밀한 눈 형상 모델을 사용하여 식별될 수 있다. 이후에, 홍채 타원(416)은 공막(113)과 경계를 접하도록 결정된 각막 윤부 경계 포인트들만을 사용하여 맞춰진다. 유사하게, 동공 경계(420)는 홍채(112)와 경계를 접하도록 결정된 동공 경계 포인트들만을 사용하여 맞춰질 수 있다. 일부 실시예들에서, 세밀한 눈 형상 모델은, 세밀한 눈 형상 모델에 기반하여 동공 중심의 더 양호한 초기 "최상의 추측"을 제공함으로써 동공 경계 발견 알고리즘의 강건성을 개선할 수 있다.
반짝임 검출
[0054] 종래의 시선 추정에서, 동공 경계(예컨대, 일부 기술에서 타원) 및 반짝임들은 전체 눈 이미지를 서치함으로써 검출된다. 본원에 설명된 세밀한 눈 형상 모델이 주어지면, 피처 검출은, 피처들에 대해 전체 눈을 서치할 필요성을 제거함으로써 더 빠르고 더 효율적일 수 있다. 일부 실시예들에서, 눈의 상이한 영역들(예컨대, 공막, 동공 또는 홍채)을 먼저 식별함으로써, 세밀한 눈 형상 모델은 눈의 특정 영역들에서의 피처 검출(예컨대, 선택적인 피처 검출)을 허용할 수 있다. 도 7b는 선택적인 피처 검출의 예를 예시한다. 반짝임들(115a, 115b)은 공막(113), 홍채(112) 또는 동공(114)에 나타날 수 있다. 특정 생체인식 애플리케이션들에서, 눈의 특정 영역들(예컨대, 공막) 외부의 반짝임들(115a, 115b)을 무시하면서, 각막 반사들을 나타내는 눈의 특정 영역들(예컨대, 홍채)에서 반짝임들(115a, 115b)을 식별하는 것이 필요하거나 바람직할 수 있다. 예컨대, 특정 기술들로 시선을 결정할 때, 공막(113)에 위치된 공막 반짝임들(115b)은 각막으로부터 광 소스의 반사를 나타내지 않으며, 시선 기술에 공막 반짝임들(115b)이 포함되는 것은 추정된 시선에서 부정확도들로 이어진다. 따라서, 홍채(112) 내에 또는 각막 윤부 경계(416) 내에 위치된 홍채 반짝임들(115a)을 서치하고 식별하기 위해 세밀한 눈 형상 모델을 사용하는 것이 유리할 수 있다. 도 7b에 예시된 바와 같이, 홍채 반짝임들(115a)은 홍채(112) 내에 있고, 따라서 시선 추정에 대해 바람직할 수 있다. 반면에, 공막 반짝임들(115b)은 공막(113)에 나타나고, 따라서 시선 추정에 대해 바람직하지 않을 수 있다. 따라서, 본원에 개시된 기술들의 실시예들은, 반짝임들이 발생할 가능성이 있는 눈 영역들을 식별하는 데 사용될 수 있고, 이들 영역들 외부의 눈 영역들은 서치될 필요가 없고, 이는 기술의 정확도, 속도 및 효율성을 개선한다.
깜박임 검출
[0055] 일부 실시예들에서, 수신된 눈 이미지가 특정 품질 임계치들을 충족시키는지 여부를 결정하기 위해 세밀한 눈 형상 모델을 사용함으로써, 피처 검출이 보다 강건하고 효율적일 수 있다. 예컨대, 세밀한 눈 형상 모델은, 신뢰할 수 있는 눈 형상을 추정하고 피처들을 추출하고 생체인식 애플리케이션(예컨대, 시선 발견 또는 생체인식 인증/식별)을 수행할 정도로, 눈이 충분히 개방되는지 여부를 결정하는 데 사용될 수 있다. 일부 실시예들에서, 상부 눈꺼풀(110a)과 하부 눈꺼풀(110b) 사이의 거리가 임계치 미만이면, 눈 이미지는 사용할 수 없는 것으로 간주되고 폐기되며, 그에 따라서 생체인식 애플리케이션을 위해 어떠한 피처들도 추출되지 않는다. 일부 실시예들에서, 상부 눈꺼풀(110a) 및 하부 눈꺼풀(110b)이 5mm 이하로 분리되면, 눈 이미지가 거부될 수 있다. 다른 실시예에서, 눈꺼풀들(110a, 110b) 중 하나 이상에 의해 동공(114) 또는 홍채(112)가 특정 퍼센티지를 초과하여(예컨대, 40 %, 50 %, 60 %, 또는 75 % 이상) 가려지면, 눈 이미지가 거부될 수 있다. 다른 실시예에서, 다수의 동공 경계 포인트들(704)이 상부 눈꺼풀(110a) 또는 하부 눈꺼풀(110b)과 경계를 접하면, 눈 이미지가 거부될 수 있다. 예컨대, 동공 경계 포인트들(704) 중 대략 절반이 눈꺼풀(110a, 110b)과 경계를 접하면, 동공(114) 중 대략 절반이 눈꺼풀에 의해 가려지고, 따라서 눈 이미지가 생체인식 애플리케이션들에 적합하지 않다고 결론지을 수 있다. 다른 실시예들에서, 눈 이미지를 거부 및 폐기하는 것보다는, 생체인식 애플리케이션에서, 해당 이미지에 눈이 덜 가려지는 눈 이미지들(예컨대, 상부 눈꺼풀(110a)과 하부 눈꺼풀(110b) 사이의 거리가 임계치보다 큰 경우의 이미지들)보다 더 낮은 가중치가 할당된다.
부가적인 양상들
[0056] 제1 양상에서, 웨어러블 디스플레이 시스템은: 사용자의 눈을 조명하도록 구성된 광 소스; 눈의 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 눈 이미지를 저장하도록 구성된 비-일시적인 메모리; 및 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 비-일시적인 메모리로부터 눈 이미지를 수신하고; 캐스케이드 형상 회귀(cascaded shape regression)를 사용하여 눈 이미지로부터 눈 형상을 추정하고 ― 눈 형상은 동공 형상, 홍채 형상 또는 눈꺼풀 형상을 포함함 ― ; 그리고 눈 형상에 적어도 부분적으로 기반하여 생체인식 애플리케이션(biometric application)을 수행하도록 프로그래밍된다.
[0057] 제2 양상에서, 제1 양상의 웨어러블 디스플레이 시스템에 있어서, 광 소스는 적외선 광 소스를 포함한다.
[0058] 제3 양상에서, 제1 양상 또는 제2 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는, 눈 형상에 적어도 부분적으로 기반하여 눈 피처(eye feature)를 결정하도록 추가로 프로그래밍된다.
[0059] 제4 양상에서, 제3 양상의 웨어러블 디스플레이 시스템에 있어서, 눈 피처는 (예컨대, 광 소스로부터의) 반짝임(glint), 혈관, 홍채 피처, 또는 동공의 중심 중 적어도 하나를 포함한다.
[0060] 제5 양상에서, 제1 양상 내지 제4 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 생체인식 애플리케이션은 눈 시선의 결정을 포함한다.
[0061] 제6 양상에서, 제5 양상의 웨어러블 디스플레이 시스템에 있어서, 눈 형상은 홍채 형상을 포함하고, 하드웨어 프로세서는, 홍채 형상 내에 있는 (예컨대, 광 소스로부터의) 반짝임들을 서치(search)하도록 프로그래밍된다.
[0062] 제7 양상에서, 제1 양상 내지 제6 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 눈 형상은 동공 형상 및 눈꺼풀 형상을 포함하고, 하드웨어 프로세서는, 눈꺼풀에 의해 가려지는 동공의 일부를 식별하도록 프로그래밍된다.
[0063] 제8 양상에서, 제7 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는, 동공의 일부가 눈꺼풀에 의해 가려지지 않는 동공 형상에 기반하여 동공 경계(pupillary boundary)를 결정하도록 프로그래밍된다.
[0064] 제9 양상에서, 제1 양상 내지 제8 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 눈 형상은 홍채 형상 및 눈꺼풀 형상을 포함하고, 하드웨어 프로세서는, 눈꺼풀에 의해 가려지는 홍채의 일부를 식별하도록 프로그래밍된다.
[0065] 제10 양상에서, 제9 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는, 홍채의 일부가 눈꺼풀에 의해 가려지지 않는 홍채 형상에 기반하여 각막 윤부 경계(limbic boundary)를 결정하도록 프로그래밍된다.
[0066] 제11 양상에서, 제1 양상 내지 제10 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 눈 형상은 눈꺼풀 형상을 포함하고, 생체인식 애플리케이션은 눈 깜박임(eye blink)의 결정을 포함한다.
[0067] 제12 양상에서, 제11 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는, 상부 눈꺼풀과 하부 눈꺼풀 사이의 거리가 임계치 미만이면, 눈 이미지를 거부하거나 눈 이미지에 더 낮은 가중치를 할당하도록 프로그래밍된다.
[0068] 제13 양상에서, 제1 양상 내지 제12 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 눈 형상은 동공, 홍채 또는 눈꺼풀에 대한 경계를 포함한다.
[0069] 제14 양상에서, 제13 양상의 웨어러블 디스플레이 시스템에 있어서, 경계는 복수의 경계 포인트들을 포함한다.
[0070] 제15 양상에서, 제1 양상 내지 제14 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 생체인식 애플리케이션은 생체인식 식별 또는 생체인식 인증을 포함한다.
[0071] 제16 양상에서, 제1 양상 내지 제15 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는 동공, 홍채 또는 눈꺼풀의 경계에 곡선을 맞추도록 프로그래밍된다.
[0072] 제17 양상에서, 제1 양상 내지 제16 양상 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 캐스케이드 형상 회귀를 사용하여 눈 이미지로부터 눈 형상을 추정하기 위해, 하드웨어 프로세서는: 복수의 스테이지들에 걸친 형상 증분(shape increment)을 결정하기 위해 회귀 함수(regression function)를 반복하도록 프로그래밍되고, 회귀 함수는 형상-인덱스 추출 함수(shape-indexed extraction function)를 포함한다.
[0073] 제18 양상에서, 제17 양상의 웨어러블 디스플레이 시스템에 있어서, 회귀 함수를 반복하기 위해, 하드웨어 프로세서는 반복의 스테이지(t)에서 형상 증분(
Figure pct00031
)에 대해
Figure pct00032
를 평가하도록 프로그래밍되고,
여기서
Figure pct00033
는 스테이지(t)에서의 회귀 함수이고,
Figure pct00034
는 스테이지(t)에서의 형상-인덱스 추출 함수이고, I는 눈 이미지이고,
Figure pct00035
는 반복의 스테이지(t-1)에서의 눈 형상이다.
[0074] 제19 양상에서, 제17 양상 또는 제18 양상의 웨어러블 디스플레이 시스템에 있어서, 형상-인덱스 추출 함수는 한 쌍의 픽셀 위치들 사이의 눈 이미지 값들의 비교를 제공한다.
[0075] 제20 양상에서, 눈 이미지를 프로세싱하기 위한 방법은: 하드웨어 프로세서의 제어 하에서: 눈 이미지를 수신하는 단계; 캐스케이드 형상 회귀를 사용하여 눈 형상을 추정하는 단계; 눈 형상을 사용하여 눈 피처들을 결정하는 단계; 및 눈 피처들을 사용하여 생체인식 애플리케이션을 수행하는 단계를 포함한다.
[0076] 제21 양상에서, 제20 양상의 방법에 있어서, 생체인식 애플리케이션을 수행하는 단계는 생체인식 식별을 수행하는 단계를 포함한다.
[0077] 제22 양상에서, 제20 양상 또는 제21 양상의 방법에 있어서, 생체인식 애플리케이션을 수행하는 단계는 눈 시선 결정을 포함한다.
[0078] 제23 양상에서, 제20 양상 내지 제22 양상 중 어느 한 양상의 방법에 있어서, 눈 형상을 추정하는 단계는 눈꺼풀 형상, 홍채 형상 또는 동공 형상 중 적어도 하나를 추정하는 단계를 포함한다.
[0079] 제24 양상에서, 제20 양상 내지 제23 양상 중 어느 한 양상의 방법에 있어서, 눈 형상을 추정한 후에, 하드웨어 프로세서는 부적절한 눈 이미지를 거부하도록 구성된다.
[0080] 제25 양상에서, 제20 양상 내지 제24 양상 중 어느 한 양상의 방법에 있어서, 캐스케이드 형상 회귀를 사용하여 눈 형상을 추정하는 단계는 형상-인덱스 추출 함수를 포함하는 회귀 함수를 반복하는 단계를 포함한다.
[0081] 제26 양상에서, 눈 형상 계산 엔진을 트레이닝시키기 위한 방법은, 하드웨어 프로세서의 제어 하에서: 한 세트의 주석이 달린 트레이닝 눈 이미지들(annotated training eye images)을 수신하는 단계 ― 세트 내의 각각의 이미지는 눈 형상으로 라벨링됨 ― ; 및 회귀 함수 및 형상-인덱스 추출 함수를 학습하기 위해 한 세트의 주석이 달린 트레이닝 눈 이미지들에 적용되는 머신 학습 기술을 사용하는 단계를 포함하고, 회귀 함수 및 형상-인덱스 추출 함수는 눈 형상을 인식하기 위해 학습한다.
[0082] 제27 양상에서, 제26 양상의 방법에 있어서, 눈 형상은 동공의 형상, 홍채의 형상 또는 눈꺼풀의 형상을 포함한다.
[0083] 제28 양상에서, 제26 양상 또는 제27 양상의 방법에 있어서, 회귀 함수 및 형상-인덱스 추출 함수는,
Figure pct00036
의 반복의 스테이지(t)에서 형상 증분(
Figure pct00037
)에 대해
Figure pct00038
의 반복에 따라 눈 형상을 인식하도록 학습되고,
여기서
Figure pct00039
는 스테이지(t)에서의 회귀 함수이고,
Figure pct00040
는 스테이지(t)에서의 형상-인덱스 추출 함수이고, I는 라벨링되지 않은 눈 이미지이고,
Figure pct00041
는 반복의 스테이지(t-1)에서의 눈 형상이다.
[0084] 제29 양상에서, 제28 양상의 방법에 있어서, 형상-인덱스 추출 함수는 한 쌍의 픽셀 위치들 사이의 눈 이미지 값들의 비교를 제공한다.
[0085] 제30 양상에서, 제29 양상의 방법에 있어서, 비교는 이진(binary) 또는 부울 값(Boolean value)을 포함한다.
부가적인 고려사항들
[0086] 본원에 설명되고 그리고/또는 첨부된 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 컴파일되어 실행 가능 프로그램으로 링크되거나 동적 링크 라이브러리에 설치되거나 해석된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정한 동작들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0087] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여, (적절한 특수화된 실행 가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만 개의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상업적으로 합리적인 시간 양에서 원하는 이미지 프로세싱 태스크, 눈 형상 모델 또는 생체인식 애플리케이션을 제공하기 위해 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0088] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 영구적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0089] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스의 (예컨대, 논리적 또는 산술적) 특정 기능들 또는 단계들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 조합되거나, 재배열되거나, 본원에서 제공된 예시적인 예들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 이들로부터 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 순차적으로, 동시에 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다수의 구현 변동들이 가능하다.
[0090] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0091] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시내용에서 설명된 구현들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0092] 별개의 구현들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 구현의 조합으로 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 또한, 특징들이 소정의 결합들에서 동작하는 것으로 위에서 설명되고 심지어 초기에는 그와 같이 청구될 수도 있지만, 청구된 결합으로부터의 하나 이상의 특징들은 일부 경우들에서, 그 결합으로부터 삭제될 수 있으며, 청구된 결합은 서브결합 또는 서브결합의 변형으로 안내될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0093] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들이 소정의 특징들, 엘리먼트들, 및/또는 단계들을 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되지는 않는다. "포함하는(comprising, including)", "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 출원 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0094] 본원에서 사용된 바와 같이, 리스트의 아이템들 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A; B; C; A와 B; A와 C; B와 C; 그리고 A와 B와 C를 커버하는 것으로 의도된다. 특정하게 다르게 언급되지 않으면, 어구 "X, Y 및 Z 중 적어도 하나"와 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 이러한 접속어는 일반적으로, 소정의 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하는 것으로 의도되지 않는다.
[0095] 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전, 이후, 그와 동시에, 또는 그 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.

Claims (20)

  1. 사용자의 눈을 조명하도록 구성된 적외선 광 소스;
    상기 눈의 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스;
    상기 눈 이미지를 저장하도록 구성된 비-일시적인 메모리; 및
    상기 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고,
    상기 하드웨어 프로세서는:
    상기 비-일시적인 메모리로부터 상기 눈 이미지를 수신하고;
    캐스케이드 형상 회귀(cascaded shape regression)를 사용하여 상기 눈 이미지로부터 눈 형상을 추정하고 ― 상기 눈 형상은 동공 형상, 홍채 형상 또는 눈꺼풀 형상을 포함함 ― ; 그리고
    상기 눈 형상에 적어도 부분적으로 기반하여 생체인식 애플리케이션(biometric application)을 수행하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  2. 제1 항에 있어서,
    상기 하드웨어 프로세서는, 상기 눈 형상에 적어도 부분적으로 기반하여 눈 피처(eye feature)를 결정하도록 추가로 프로그래밍되고, 상기 눈 피처는 상기 적외선 광 소스로부터의 반짝임(glint), 혈관, 홍채 피처, 또는 상기 동공의 중심 중 적어도 하나를 포함하는,
    웨어러블 디스플레이 시스템.
  3. 제1 항에 있어서,
    상기 생체인식 애플리케이션은 눈 시선의 결정을 포함하는,
    웨어러블 디스플레이 시스템.
  4. 제3 항에 있어서,
    상기 눈 형상은 상기 홍채 형상을 포함하고, 상기 하드웨어 프로세서는, 상기 홍채 형상 내에 있는 상기 적외선 광 소스로부터의 반짝임들을 서치(search)하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  5. 제1 항에 있어서,
    상기 눈 형상은 상기 동공 형상 및 상기 눈꺼풀 형상을 포함하고, 상기 하드웨어 프로세서는, 상기 눈꺼풀에 의해 가려지는 상기 동공의 일부를 식별하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  6. 제5 항에 있어서,
    상기 하드웨어 프로세서는, 상기 동공의 일부가 상기 눈꺼풀에 의해 가려지지 않는 상기 동공 형상에 기반하여 동공 경계(pupillary boundary)를 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  7. 제1 항에 있어서,
    상기 눈 형상은 상기 홍채 형상 및 상기 눈꺼풀 형상을 포함하고, 상기 하드웨어 프로세서는, 상기 눈꺼풀에 의해 가려지는 상기 홍채의 일부를 식별하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  8. 제7 항에 있어서,
    상기 하드웨어 프로세서는, 상기 홍채의 일부가 상기 눈꺼풀에 의해 가려지지 않는 상기 홍채 형상에 기반하여 각막 윤부 경계(limbic boundary)를 결정하도록 프로그래밍되는,
    웨어러블 디스플레이 시스 템.
  9. 제1 항에 있어서,
    상기 눈 형상은 상기 눈꺼풀 형상을 포함하고, 상기 생체인식 애플리케이션은 눈 깜박임(eye blink)의 결정을 포함하는,
    웨어러블 디스플레이 시스템.
  10. 제9 항에 있어서,
    상기 하드웨어 프로세서는, 상부 눈꺼풀과 하부 눈꺼풀 사이의 거리가 임계치 미만이면, 상기 눈 이미지를 거부하거나 상기 눈 이미지에 더 낮은 가중치를 할당하도록 프로그래밍되는,
    웨어러블 디스플레이 시스템.
  11. 제1 항에 있어서,
    상기 눈 형상은 동공, 홍채 또는 눈꺼풀에 대한 경계를 포함하는,
    웨어러블 디스플레이 시스템.
  12. 제1 항에 있어서,
    상기 생체인식 애플리케이션은 생체인식 식별 또는 생체인식 인증을 포함하는,
    웨어러블 디스플레이 시스템.
  13. 제1 항 내지 제12 항 중 어느 한 항에 있어서,
    상기 캐스케이드 형상 회귀를 사용하여 상기 눈 이미지로부터 상기 눈 형상을 추정하기 위해, 상기 하드웨어 프로세서는:
    복수의 스테이지들에 걸친 형상 증분(shape increment)을 결정하기 위해 회귀 함수(regression function)를 반복하도록 프로그래밍되고,
    상기 회귀 함수는 형상-인덱스 추출 함수(shape-indexed extraction function)를 포함하는,
    웨어러블 디스플레이 시스템.
  14. 제13 항에 있어서,
    상기 회귀 함수를 반복하기 위해, 상기 하드웨어 프로세서는 상기 반복의 스테이지(t)에서 형상 증분(
    Figure pct00042
    )에 대해
    Figure pct00043
    를 평가하도록 프로그래밍되고,
    여기서
    Figure pct00044
    는 스테이지(t)에서의 상기 회귀 함수이고,
    Figure pct00045
    는 스테이지(t)에서의 상기 형상-인덱스 추출 함수이고, I는 눈 이미지이고,
    Figure pct00046
    는 상기 반복의 스테이지(t-1)에서의 상기 눈 형상인,
    웨어러블 디스플레이 시스템.
  15. 제13 항에 있어서,
    상기 형상-인덱스 추출 함수는 한 쌍의 픽셀 위치들 사이의 눈 이미지 값들의 비교를 제공하는,
    웨어러블 디스플레이 시스템.
  16. 하드웨어 프로세서의 제어 하에서:
    한 세트의 주석이 달린 트레이닝 눈 이미지들(annotated training eye images)을 수신하는 단계 ― 상기 세트 내의 각각의 이미지는 눈 형상으로 라벨링됨 ― ; 및
    회귀 함수 및 형상-인덱스 추출 함수를 학습하기 위해 상기 한 세트의 주석이 달린 트레이닝 눈 이미지들에 적용되는 머신 학습 기술을 사용하는 단계를 포함하고,
    상기 회귀 함수 및 상기 형상-인덱스 추출 함수는 상기 눈 형상을 인식하기 위해 학습하는,
    눈 형상 계산 엔진을 트레이닝시키기 위한 방법.
  17. 제16 항에 있어서,
    상기 눈 형상은 동공의 형상, 홍채의 형상 또는 눈꺼풀의 형상을 포함하는,
    눈 형상 계산 엔진을 트레이닝시키기 위한 방법.
  18. 제16 항 또는 제17 항에 있어서,
    상기 회귀 함수 및 상기 형상-인덱스 추출 함수는,
    Figure pct00047
    의 반복의 스테이지(t)에서 형상 증분(
    Figure pct00048
    )에 대해 상기
    Figure pct00049
    의 반복에 따라 눈 형상을 인식하도록 학습되고,
    여기서
    Figure pct00050
    는 스테이지(t)에서의 상기 회귀 함수이고,
    Figure pct00051
    는 스테이지(t)에서의 상기 형상-인덱스 추출 함수이고, I는 라벨링되지 않은 눈 이미지이고,
    Figure pct00052
    는 상기 반복의 스테이지(t-1)에서의 상기 눈 형상인,
    눈 형상 계산 엔진을 트레이닝시키기 위한 방법.
  19. 제18 항에 있어서,
    상기 형상-인덱스 추출 함수는 한 쌍의 픽셀 위치들 사이의 눈 이미지 값들의 비교를 제공하는,
    눈 형상 계산 엔진을 트레이닝시키기 위한 방법.
  20. 제19 항에 있어서,
    상기 비교는 이진(binary) 또는 부울 값(Boolean value)을 포함하는,
    눈 형상 계산 엔진을 트레이닝시키기 위한 방법.
KR1020207006703A 2017-09-01 2017-09-01 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델 KR102209595B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/049860 WO2019045750A1 (en) 2017-09-01 2017-09-01 DETAILED EYE SHAPE MODEL FOR ROBUST BIOMETRIC APPLICATIONS

Publications (2)

Publication Number Publication Date
KR20200044835A true KR20200044835A (ko) 2020-04-29
KR102209595B1 KR102209595B1 (ko) 2021-01-28

Family

ID=65525936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207006703A KR102209595B1 (ko) 2017-09-01 2017-09-01 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델

Country Status (8)

Country Link
EP (1) EP3676688A4 (ko)
JP (2) JP7178403B2 (ko)
KR (1) KR102209595B1 (ko)
CN (1) CN111033442A (ko)
AU (1) AU2017430168A1 (ko)
CA (1) CA3071819A1 (ko)
IL (1) IL272360A (ko)
WO (1) WO2019045750A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034811A1 (ko) * 2022-08-09 2024-02-15 삼성전자 주식회사 시선 방향을 식별하는 전자 장치 및 그 작동 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
JP2020018474A (ja) * 2018-07-31 2020-02-06 株式会社デンソー 瞳孔推定装置および瞳孔推定方法
CN110275608B (zh) * 2019-05-07 2020-08-04 清华大学 人眼视线追踪方法
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
JP7323159B2 (ja) * 2019-06-21 2023-08-08 株式会社トーメーコーポレーション 眼科装置
WO2021007087A1 (en) * 2019-07-05 2021-01-14 Magic Leap, Inc. Eye tracking latency enhancements
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
KR102294029B1 (ko) * 2019-12-04 2021-08-26 서울대학교산학협력단 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
JP7430082B2 (ja) 2020-03-19 2024-02-09 株式会社トプコン 眼科装置及びその作動方法
US11620855B2 (en) * 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
CN112308071B (zh) * 2020-11-02 2024-03-05 沈阳民航东北凯亚有限公司 一种行李托运的入侵检测方法、装置及电子设备
KR102464704B1 (ko) 2021-09-01 2022-11-09 주식회사 델타엑스 데이터 게시 방법 및 데이터 게시 장치
CN115886717B (zh) * 2022-08-18 2023-09-29 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355841A1 (en) * 2013-06-04 2014-12-04 Ut-Battelle, Llc Frontal view reconstruction for iris recognition
US20150199008A1 (en) * 2014-01-16 2015-07-16 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
US20160196465A1 (en) * 2015-01-07 2016-07-07 Microsoft Technology Licensing, Llc Eye tracking
US20170053166A1 (en) * 2015-08-21 2017-02-23 Magic Leap, Inc. Eyelid shape estimation
US20180137337A1 (en) * 2017-10-09 2018-05-17 Shanghai Tianma Micro-electronics Co., Ltd. Display device, fingerprint recognition calibration method for display device and electronic apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040026905A (ko) * 2002-09-26 2004-04-01 주식회사 세넥스테크놀로지 실시간 홍채인식을 위한 영상품질 평가장치 및 방법과 그프로그램을 저장한 기록매체
JP4313717B2 (ja) 2004-04-13 2009-08-12 本田技研工業株式会社 視線検出装置
US8170293B2 (en) * 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
JP2009211370A (ja) 2008-03-04 2009-09-17 Oki Electric Ind Co Ltd 虹彩認証装置
JP4623172B2 (ja) 2008-09-03 2011-02-02 株式会社デンソー 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US9696801B2 (en) 2014-06-26 2017-07-04 Thomas Alan Donaldson Eye-controlled user interface to control an electronic device
EP3183689A4 (en) 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
CN107111745A (zh) * 2014-11-13 2017-08-29 英特尔公司 图像生物特征识别中的欺骗检测
JP2016115119A (ja) 2014-12-15 2016-06-23 アイシン精機株式会社 開閉眼判定装置、及び開閉眼判定方法
NZ740299A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation using eye pose measurement
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の特徴を用いる眼ポーズ識別
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355841A1 (en) * 2013-06-04 2014-12-04 Ut-Battelle, Llc Frontal view reconstruction for iris recognition
US20150199008A1 (en) * 2014-01-16 2015-07-16 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
US20160196465A1 (en) * 2015-01-07 2016-07-07 Microsoft Technology Licensing, Llc Eye tracking
US20170053166A1 (en) * 2015-08-21 2017-02-23 Magic Leap, Inc. Eyelid shape estimation
US20180137337A1 (en) * 2017-10-09 2018-05-17 Shanghai Tianma Micro-electronics Co., Ltd. Display device, fingerprint recognition calibration method for display device and electronic apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034811A1 (ko) * 2022-08-09 2024-02-15 삼성전자 주식회사 시선 방향을 식별하는 전자 장치 및 그 작동 방법

Also Published As

Publication number Publication date
JP2022132550A (ja) 2022-09-08
WO2019045750A1 (en) 2019-03-07
AU2017430168A1 (en) 2020-02-20
EP3676688A4 (en) 2021-04-07
EP3676688A1 (en) 2020-07-08
KR102209595B1 (ko) 2021-01-28
IL272360A (en) 2020-03-31
JP2021501385A (ja) 2021-01-14
CA3071819A1 (en) 2019-03-07
CN111033442A (zh) 2020-04-17
JP7178403B2 (ja) 2022-11-25

Similar Documents

Publication Publication Date Title
KR102209595B1 (ko) 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
US11227158B2 (en) Detailed eye shape model for robust biometric applications
US11749025B2 (en) Eye pose identification using eye features
JP6917444B2 (ja) 角膜曲率を用いた虹彩境界推定
KR102591552B1 (ko) 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
US20220301217A1 (en) Eye tracking latency enhancements

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant