KR20210003862A - 얼굴 인식을 위한 자동 재개시 - Google Patents

얼굴 인식을 위한 자동 재개시 Download PDF

Info

Publication number
KR20210003862A
KR20210003862A KR1020207033784A KR20207033784A KR20210003862A KR 20210003862 A KR20210003862 A KR 20210003862A KR 1020207033784 A KR1020207033784 A KR 1020207033784A KR 20207033784 A KR20207033784 A KR 20207033784A KR 20210003862 A KR20210003862 A KR 20210003862A
Authority
KR
South Korea
Prior art keywords
user
image
face
images
selected criteria
Prior art date
Application number
KR1020207033784A
Other languages
English (en)
Other versions
KR102535676B1 (ko
Inventor
마르셀 반 오스
토르스텐 게르노스
켈시 와이. 호
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20210003862A publication Critical patent/KR20210003862A/ko
Application granted granted Critical
Publication of KR102535676B1 publication Critical patent/KR102535676B1/ko

Links

Images

Classifications

    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00255—
    • G06K9/00268—
    • G06K9/00912—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

얼굴 인식 인증 프로세스의 동작은 사용자가 디바이스의 인가된 사용자일지라도 사용자를 인증하는 데 실패할 수 있다. 그러한 경우에, 얼굴 인식 인증 프로세스는 자동으로 재개시하여, 추가적인 캡처된 이미지들을 사용하여 사용자를 인증하기 위한 다른 시도를 제공할 수 있다. 사용자를 인증하기 위한 새로운 시도(예를 들면, 재시도)에 대해, 얼굴 인식 인증 프로세스에서 사용되는 이미지들에 대한 하나 이상의 기준이 조정될 수 있다. 예를 들어, 카메라와 사용자의 얼굴 사이의 거리 및/또는 이미지들 내의 사용자의 얼굴의 폐색에 대한 기준들이 사용자를 인증하기 위한 새로운 시도 이전에 조정될 수 있다. 이러한 기준들의 조정은 인가된 사용자가 새로운 시도에서 성공적으로 인증될 가능성을 증가시킬 수 있다.

Description

얼굴 인식을 위한 자동 재개시
본 명세서에 설명된 실시예들은 디바이스 상의 카메라에 의해 캡처된 이미지들에서의 얼굴 검출 및 인식을 위한 방법들 및 시스템들에 관한 것이다. 보다 구체적으로, 본 명세서에 기술된 실시예들은 얼굴 인식 인증 프로세스가 사용자를 인증하려는 시도에서 실패한 후의 얼굴 인식 인증 프로세스의 재시도에 관한 것이다.
사용자들이 패스코드 또는 패스워드 인증에 대한 필요성 없이 그들의 디바이스들에 보다 용이하게 액세스할 수 있게 해주기 위해 생체 측정 인증 프로세스들이 보다 빈번하게 사용되고 있다. 생체 측정 인증 프로세스의 일 예는 지문 센서를 사용하는 지문 인증이다. 얼굴 인식은 디바이스의 인가된 사용자의 인증에 사용될 수 있는 다른 생체 측정 프로세스이다. 얼굴 인식 프로세스들은 일반적으로 이미지에서의 개인들을 식별하고 그리고/또는 이미지들에서의 개인들을 개인들의 데이터베이스와 비교하여 개인들의 얼굴들을 매칭시키는 데 사용된다.
얼굴 인식을 사용한 인증의 경우, 얼굴 인식 시스템은 때때로 인증 프로세스 동안 캡처된 이미지들이 비이상적인 조건들 하에서 캡처될 때 인가된 사용자를 인증하는 데 있어서 문제점들을 만날 수 있다. 예를 들어, 사용자의 얼굴이 카메라에 대해 너무 멀리/너무 가까이 있는 것, 사용자의 얼굴이 캡처된 이미지에서 일부 폐색(occlusion)을 갖는 것, 및/또는 이미지들에서의 사용자의 주의 또는 포즈가 이상적이지 않은 것은 캡처된 이미지들에서의 인가된 사용자를 디바이스 상에 등록된 인가된 사용자와 매칭시키는 것(예컨대, 인증)을 방해할 수 있다. 사용자가 얼굴 인식 인증 프로세스를 사용하여 인가되는 데 반복하여 실패한 경우, 사용자는 그 경험으로 좌절될 수 있으며, 다른 인증 방법들을 찾을 수 있고 그리고/또는 현재 디바이스 대신에 사용할 다른 디바이스에 대해 검색할 수 있다.
소정 실시예들에서, 얼굴 인식 인증 프로세스가 사용자를 인증하는 데 실패하는 경우에, 얼굴 인식 인증 프로세스는 새로 캡처된 이미지들을 사용하여 사용자를 인증하기 위해 재개시 및 재시도할 수 있다. 얼굴 인식 인증 프로세스의 재개시는 사용자로부터의 입력 없이 자동적일 수 있다(예를 들어, 사용자는 프로세스를 재개시하기 위해 추가 입력을 제공할 필요가 없다). 얼굴 인식 인증 프로세스의 자동 재개시는 (재시도된 프로세스가 사용자를 인증하는 데 성공적이면) 더 만족스러운 사용자 경험을 제공할 수 있다.
일부 실시예들에서, 얼굴 인식 인증 프로세스가 재개시될 때 이미지들에 대한 하나 이상의 기준이 조정된다. 이미지들에 대한 기준들은 사용자를 인증하기 위해 이미지들이 성공적으로 조작될 수 있다고 결정하는 데 유용한 기준들을 포함할 수 있다. 이미지들에 대한 기준들의 예들은 카메라와 사용자의 얼굴 사이의 거리, 이미지들에서의 사용자의 주의, 이미지들에서의 사용자의 얼굴의 포즈(예컨대, 얼굴의 피치(pitch), 요(yaw), 및 롤(roll)), 및/또는 이미지들에서의 사용자의 얼굴의 폐색을 포함한다. 얼굴 인식 인증 프로세스를 재개시하기 전에 기준들 중 하나 이상을 조정하는 것은 후속 얼굴 인식 인증 프로세스에서의 성공의 가능성을 개선시킬 수 있다.
본 명세서에 개시되는 실시예들의 방법들 및 장치의 특징들 및 이점들은 첨부 도면과 함께 취해질 때 본 명세서에 개시되는 실시예들에 따른 현재로서는 바람직하지만 그럼에도 불구하고 예시적인 실시예들에 대한 하기의 상세한 설명을 참조하면 보다 완전하게 이해될 것이다.
도 1은 카메라를 포함하는 디바이스의 실시예의 표현을 도시한다.
도 2는 카메라의 실시예의 표현을 도시한다.
도 3은 디바이스 상의 프로세서의 실시예의 표현을 도시한다.
도 4는 디바이스의 인가된 사용자에 대한 이미지 등록 프로세스의 실시예의 플로차트를 도시한다.
도 5는 등록 프로세스 이후의 특징 벡터들을 갖는 특징 공간의 실시예의 표현을 도시한다.
도 6은 디바이스의 메모리 내의 등록 프로파일을 위한 템플릿 공간의 실시예의 표현을 도시한다.
도 7은 얼굴 인식 인증 프로세스의 실시예의 플로차트를 도시한다.
도 8은 예시적인 컴퓨터 시스템의 일 실시예의 블록 다이어그램을 도시한다.
도 9는 컴퓨터 액세스 가능 저장 매체의 일 실시예의 블록 다이어그램을 도시한다.
본 개시내용에 기술된 실시예들은 다양한 수정들 및 대안적인 형태들을 허용할 수 있지만, 본 개시내용의 특정 실시예들이 도면들에 예로서 도시되고, 본 명세서에서 상세히 기술될 것이다. 그러나, 그에 대한 도면들 및 상세한 설명은 실시예들을 개시된 특정 형태로 제한하는 것으로 의도되는 것이 아니라, 그와는 반대로, 의도는 첨부된 청구범위의 사상 및 범주 내에 속한 모든 수정들, 등가물들 및 대안들을 커버하기 위한 것임을 이해하여야 한다. 본 명세서에서 사용되는 표제들은 오직 구성 목적들을 위한 것이며 설명의 범위를 제한하기 위해 사용되는 것으로 의도되지 않는다. 본 출원 전반에 걸쳐 사용되는 바와 같이, "일 수 있다(may)"라는 단어는 의무적인 의미(즉, "이어야만 한다(must)"를 의미)라기보다 오히려 허용의 의미(즉, "~에 대해 가능성을 갖는다"는 의미)로 사용된다. 유사하게, "포함하다(include, includes)" 및 "포함하는(including)"이라는 단어들은, 포함하지만 이로 제한되지 않음을 의미한다.
다양한 유닛들, 회로들 또는 다른 컴포넌트들이 태스크 또는 태스크들을 수행하도록 "구성되는 것"으로 설명될 수 있다. 그러한 맥락들에서, "~하도록 구성된"은 동작 동안에 태스크 또는 태스크들을 수행하는 "회로부를 갖는"을 일반적으로 의미하는 구조의 광의의 설명이다. 그와 같이, 유닛/회로/컴포넌트는 유닛/회로/컴포넌트가 현재 온(on) 상태가 아닐 시에도 태스크를 수행하도록 구성될 수 있다. 일반적으로, "~하도록 구성된"에 대응하는 구조를 형성하는 회로부는 동작을 구현하도록 실행가능한 프로그램 명령어들을 저장하는 하드웨어 회로들 및/또는 메모리를 포함할 수 있다. 메모리는 정적 또는 동적 랜덤 액세스 메모리와 같은 휘발성 메모리 및/또는 광학 또는 자기 디스크 스토리지, 플래시 메모리, 프로그래밍가능 판독 전용 메모리들 등과 같은 비휘발성 메모리를 포함할 수 있다. 하드웨어 회로들은 조합 로직 회로부, 플롭들(flops), 레지스터들(registers), 래치들(latchs) 등과 같은 클록드 저장 디바이스들(clocked storage devices), 유한 상태 머신들, 정적 랜덤 액세스 메모리 또는 임베디드 동적 랜덤 액세스 메모리와 같은 메모리, 맞춤 설계된 회로부, 프로그래밍가능 로직 어레이들 등의 임의의 조합을 포함할 수 있다. 유사하게, 다양한 유닛들/회로들/컴포넌트들은 설명의 편의를 위해 태스크 또는 태스크들을 수행하는 것으로서 설명될 수 있다. 그러한 설명은 "~하도록 구성된"이라는 문구를 포함하는 것으로 해석되어야 한다. 하나 이상의 태스크를 수행하도록 구성된 유닛/회로/컴포넌트를 언급하는 것은 그 유닛/회로/컴포넌트에 대해 35 U.S.C. § 112 (f)항의 해석을 적용하지 않고자 명확히 의도된다.
실시예에서, 본 개시내용에 따른 하드웨어 회로들은 Verilog 또는 VHDL과 같은 하드웨어 디스크립션 언어(hardware description language; HDL)로 회로의 디스크립션을 코딩함으로써 구현될 수 있다. HDL 디스크립션은 주어진 집적 회로 제조 기술을 위해 설계된 셀들의 라이브러리에 대해 합성될 수 있고, 타이밍, 전력 및 다른 이유들로 인해 수정되어 최종 설계 데이터베이스를 생성할 수 있으며, 이는 파운드리(foundry)로 전송되어 마스크들을 생성하고 궁극적으로 집적 회로를 생성할 수 있다. 일부 하드웨어 회로들 또는 그의 부분들은 또한 회로도 편집기(schematic editor)로 맞춤 설계될 수 있고 합성된 회로부와 함께 집적 회로 설계 내로 캡처될 수 있다. 집적 회로는 트랜지스터들을 포함할 수 있고, 다른 회로 요소들(예컨대, 커패시터들, 저항기들, 인덕터들 등과 같은 수동 요소들) 및 트랜지스터들과 회로 요소들 사이의 인터커넥트를 추가로 포함할 수 있다. 일부 실시예들은 하드웨어 회로들을 구현하기 위해 함께 커플링된 다수의 집적 회로들을 구현할 수 있고 그리고/또는 일부 실시예들에서는 이산 요소들이 사용될 수 있다.
본 개시내용의 범위는, 본 명세서에서 다뤄진 문제점들 중 임의의 것 또는 전부를 완화시키든 아니든, (명시적으로 또는 묵시적으로) 본 명세서에 개시된 임의의 특징 또는 특징들의 조합, 또는 그의 임의의 일반화를 포함한다. 따라서, 특징들의 임의의 그러한 조합에 대해 본 출원(또는 그에 대한 우선권을 주장하는 출원)의 심사 동안에 새로운 청구범위가 작성될 수 있다. 구체적으로, 첨부된 청구범위를 참조하면, 종속항들로부터의 특징부들은 독립항들의 특징부들과 조합될 수 있으며, 각자의 독립항들로부터의 특징부들은 첨부된 청구범위에 열거된 특정 조합들로 조합될 수 있을 뿐 아니라 임의의 적절한 방식으로 조합될 수 있다.
본 명세서는 "일 실시예" 또는 "실시예"에 대한 언급들을 포함한다. 본 명세서에서 명시적으로 부인하지 않는다면, 특징들의 임의의 조합을 포함하는 실시예들이 일반적으로 고려되더라도, "일 실시예에서" 또는 "실시예에서"라는 문구들이 나타난다고 해서 반드시 동일한 실시예를 지칭하지는 않는다. 특정 특징들, 구조들 또는 특성들이 본 개시내용과 일관성을 유지하는 임의의 적합한 방식으로 조합될 수 있다.
본 명세서에서 설명된 바와 같이, 본 기술의 일 양태는, 디바이스의 동작 및 그에 대한 액세스를 개선시키도록 다양한 소스들로부터 입수 가능한 데이터를 수집하고 사용하는 것이다. 본 개시내용은, 일부 경우들에 있어서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하는 데 사용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 이미지 데이터(예를 들어, 사용자의 이미지들로부터의 데이터), 인구통계 데이터, 위치 기반 데이터, 전화 번호들, 이메일 주소들, 집 주소들, 또는 임의의 다른 식별 정보를 포함할 수 있다. 이미지 데이터의 경우, 개인 정보 데이터는 사용자의 이미지들로부터의 데이터만을 포함할 수 있고 이미지들 자체는 포함하지 않을 수 있다.
본 개시내용은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 얼굴 인식을 사용하여 디바이스들을 잠금해제 및/또는 인가하는 것을 제어하는 데 사용될 수 있다. 따라서, 그러한 개인 정보 데이터의 사용은 디바이스들에 대한 액세스의 계산된 제어를 가능하게 한다. 게다가, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 이용들이 또한 본 개시내용에 의해 고려된다.
본 개시내용은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 이용을 책임지고 있는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 추가로 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 사용해야 한다. 예를 들어, 얼굴 인식을 사용하여 디바이스들을 잠금해제 및/또는 인가하는 경우에, 사용자들로부터의 개인 정보는, 그러한 사용들이 디바이스들의 동작에만 관한 것이므로, 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 그 적법한 사용들을 벗어나서 공유 또는 판매되지 않아야 한다. 게다가, 그러한 수집은 사용자의 고지에 입각한 동의(informed consent)를 수신한 후에만 발생해야 하며, 개인 정보 데이터는 개인 정보가 수집되는 디바이스 상에 보호된 채로 유지되어야 한다. 추가로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취할 것이다. 추가로, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다.
전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있음을 고려한다. 예를 들어, 본 기술은 사용자들이 서비스들을 위한 등록(registration) 동안의 개인 정보 데이터의 수집에의 참여의 "옵트 인(opt in)" 또는 "옵트 아웃(opt out)"을 선택할 수 있게 해주도록 구성될 수 있다.
도 1은 카메라를 포함하는 디바이스의 실시예의 표현을 도시한다. 소정 실시예들에서, 디바이스(100)는 카메라(102), 프로세서(104), 메모리(106), 및 디스플레이(108)를 포함한다. 디바이스(100)는, 일부 경우들에서, 손에 쥐어질(handheld) 정도로 충분히 작을 수 있는(따라서 또한 핸드헬드 컴퓨터 또는 단순히 핸드헬드라고도 흔히 알려져 있는), 소형 컴퓨팅 디바이스일 수 있다. 소정 실시예들에서, 디바이스(100)는, 모바일 또는 휴대용이며 WLAN 통신을 사용하여 무선 통신들을 수행하는, 다양한 유형들의 컴퓨터 시스템 디바이스들 중 임의의 것이다(예컨대, "모바일 디바이스"). 모바일 디바이스들의 예들은 모바일 전화기들 또는 스마트 폰들, 및 태블릿 컴퓨터들을 포함한다. 다양한 다른 유형들의 디바이스들은, 그들이 랩톱 컴퓨터들, 휴대용 게이밍 디바이스들, 휴대용 인터넷 디바이스들, 및 다른 핸드헬드 디바이스들은 물론, 스마트 워치들, 스마트 안경들, 헤드폰들, 펜던트들, 이어피스들 등과 같은 웨어러블 디바이스들과 같은, 무선 또는 RF 통신 능력들(예컨대, Wi-Fi, 셀룰러, 및/또는 블루투스)을 포함한다면, 이 카테고리에 속할 수 있다. 일반적으로, 용어 "모바일 디바이스"는, 사용자에 의해 용이하게 이송되고, 예를 들어, WLAN, Wi-Fi, 셀룰러, 및/또는 블루투스를 사용하여 무선 통신을 할 수 있는 임의의 전자, 컴퓨팅, 및/또는 통신 디바이스(또는 디바이스들의 조합)를 포함하도록 넓게 정의될 수 있다. 소정 실시예들에서, 디바이스(100)는 프로세서(104), 메모리(106), 및 디스플레이(108)를 갖는 사용자에 의해 사용되는 임의의 디바이스를 포함한다. 디스플레이(108)는, 예를 들어, LCD 스크린 또는 터치스크린일 수 있다. 일부 실시예들에서, 디스플레이(108)는 디바이스(100)를 위한 사용자 입력 인터페이스를 포함한다(예컨대, 디스플레이는 사용자를 위한 대화형 입력을 가능하게 해준다).
카메라(102)는 디바이스(100)의 외부 환경의 이미지들을 캡처하는 데 사용될 수 있다. 소정 실시예들에서, 카메라(102)는 디스플레이(108)의 전방의 이미지들을 캡처하도록 위치된다. 카메라(102)는 사용자가 디스플레이(108)와 상호작용하는 동안 사용자의 이미지들(예컨대, 사용자의 얼굴)을 캡처하도록 위치될 수 있다. 도 2는 카메라(102)의 실시예의 표현을 도시한다. 소정 실시예들에서, 카메라(102)는 디지털 이미지들을 캡처하기 위한 하나 이상의 렌즈 및 하나 이상의 이미지 센서(103)를 포함한다. 카메라(102)에 의해 캡처되는 디지털 이미지들은, 예를 들어, 스틸 이미지들, 비디오 이미지들, 및/또는 프레임별(frame-by-frame) 이미지들을 포함할 수 있다.
소정 실시예들에서, 카메라(102)는 이미지 센서(103)를 포함한다. 이미지 센서(103)는, 예를 들어, 센서들의 어레이일 수 있다. 센서 어레이 내의 센서들은 적외선 이미지들(IR) 또는 다른 비-가시 전자기 방사선을 캡처하기 위해 CCD(charge coupled device) 및/또는 CMOS(complementary metal oxide semiconductor) 센서 요소들을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 카메라(102)는 다수의 유형들의 이미지들을 캡처하기 위해 하나 초과의 이미지 센서를 포함한다. 예를 들어, 카메라(102)는 IR 센서들 및 RGB(적색, 녹색, 및 청색) 센서들 둘 다를 포함할 수 있다. 소정 실시예들에서, 카메라(102)는 이미지 센서(103)에 의해 검출되는 상이한 유형들의 광으로 표면들(또는 피사체들)을 조명하기 위한 조명기들(105)을 포함한다. 예를 들어, 카메라(102)는 가시 광을 위한 조명기(예를 들어, 플래시 조명기), RGB 광을 위한 조명기들, 및/또는 적외 광을 위한 조명기들(예컨대, 플러드 IR 소스 및 패턴(스페클 패턴) 프로젝터)을 포함할 수 있다. 일부 실시예들에서, 플러드 IR 소스 및 패턴 프로젝터는 다른 파장들의 광(예를 들어, 적외선이 아님)이다. 소정 실시예들에서, 조명기들(105)은 VCSEL들(vertical-cavity surface-emitting lasers)과 같은, 그러나 이로 제한되지 않는 광 소스들의 어레이를 포함한다. 일부 실시예들에서, 이미지 센서들(103) 및 조명기들(105)은 단일 칩 패키지에 포함된다. 일부 실시예들에서, 이미지 센서들(103) 및 조명기들(105)은 별개의 칩 패키지들 상에 위치된다.
소정 실시예들에서, 이미지 센서(103)는 IR 이미지 센서이고, 이미지 센서는 얼굴 검출, 얼굴 인식 인증, 및/또는 깊이 검출에 사용되는 적외선 이미지들을 캡처하는 데 사용된다. 이미지 센서(103)(예를 들어, RGB 이미지 센서)의 다른 실시예들이 또한 본 명세서에 설명된 바와 같은 얼굴 검출, 얼굴 인식 인증, 및/또는 깊이 검출에 사용하기 위해 고려될 수 있다. 얼굴 검출을 위해, 조명기(105A)는 IR 조명(예컨대, IR 플래시라이트)으로 피사체를 플러딩(flood)하도록 플러드 IR 조명을 제공할 수 있고, 이미지 센서(103)는 플러드 IR 조명된 피사체의 이미지들을 캡처할 수 있다. 플러드 IR 조명 이미지들은, 예를 들어, IR 광에 의해 조명되는 피사체의 2차원 이미지들일 수 있다.
깊이 검출을 위해 또는 깊이 맵 이미지를 생성하기 위해, 조명기(105B)는 패턴을 갖는 IR 조명(예컨대, 패터닝된 적외선(IR) 조명)을 제공할 수 있다. 패턴은 피사체 상에 투영되는 알려진 제어가능한 구성 및 패턴을 갖는 광의 패턴(예컨대, 광의 구조화된 패턴)일 수 있다. 소정 실시예들에서, 패턴은 스페클 패턴(예컨대, 도트들의 패턴)이다. 그렇지만, 패턴은 광 특징들의 임의의 구조화된 또는 반-구조화된 패턴을 포함할 수 있다. 예를 들어, 패턴은 도트들, 스페클들, 스트라이프들, 대시들, 노드들, 에지들, 및 이들의 조합들을 포함할 수 있지만 이에 제한되지 않는다.
조명기(105B)는 패턴을 형성하도록 구성된 VCSEL 어레이 또는 패턴을 형성하도록 구성된 광 소스 및 패턴화된 투명성을 포함할 수 있다. 조명기(105B)에 의해 제공되는 패턴의 구성 및 패턴은, 예를 들어, 피사체에서의 원하는 패턴 밀도(예컨대, 스페클 또는 도트 밀도)에 기초하여 선택될 수 있다. 이미지 센서(103)는 패턴에 의해 조명되는 피사체의 이미지들을 캡처할 수 있다. 피사체 상의 패턴의 캡처된 이미지는 피사체의 3차원 맵(예컨대, 피사체의 깊이 맵 또는 깊이 맵 이미지)을 생성 또는 추정하기 위해 이미징 및 프로세싱 시스템(예컨대, 본 명세서에서 설명된 바와 같은 이미지 신호 프로세서(ISP))에 의해 평가(예컨대, 분석 및/또는 프로세싱)될 수 있다. 깊이 맵 이미징의 예들은, 마치 본 명세서에 완전히 기재된 것처럼 참고로 포함되는, Freedman 등의 미국 특허 제8,150,142호, Pesach 등의 미국 특허 제8,749,796호, 및 Shpunt 등의 미국 특허 제8,384,997호에, 및, 마치 본 명세서에 완전히 기재된 것처럼 참고로 포함되는, Mor 등의 미국 특허 출원 공개 제2016/0178915호에 기술되어 있다.
소정 실시예들에서, 카메라(102)에 의해 캡처되는 이미지들은 사용자의 얼굴을 갖는 이미지들을 포함한다(예컨대, 사용자의 얼굴이 이미지들 내에 포함된다). 사용자의 얼굴을 갖는 이미지는 사용자의 얼굴의 적어도 일부 부분이 이미지의 프레임 내에 보여지는 임의의 디지털 이미지를 포함할 수 있다. 그러한 이미지는 단지 사용자의 얼굴을 포함할 수 있거나, 또는 이미지의 보다 작은 일부 또는 부분에 사용자의 얼굴을 포함할 수 있다. 사용자의 얼굴은 이미지에서의 사용자의 얼굴의 하나 이상의 특징의 이미지 프로세싱을 가능하게 해주기 위해 이미지에서 충분한 해상도로 캡처될 수 있다.
카메라(102)에 의해 캡처되는 이미지들은 프로세서(104)에 의해 프로세싱될 수 있다. 도 3은 디바이스(100)에 포함된 프로세서(104)의 실시예의 표현을 도시한다. 프로세서(104)는 프로세서에 의해 구현되는 명령어 세트 아키텍처로 정의되는 명령어들을 실행하도록 구성된 회로부를 포함할 수 있다. 프로세서(104)는, 운영 체제와 같은, 디바이스(100)의 메인 제어 소프트웨어를 실행할 수 있다. 일반적으로, 사용 동안 프로세서(104)에 의해 실행되는 소프트웨어는 디바이스(100)의 다른 컴포넌트들을 제어하여 디바이스의 원하는 기능을 실현할 수 있다. 프로세서들은 또한 다른 소프트웨어를 실행할 수 있다. 이러한 애플리케이션들은 사용자 기능성을 제공할 수 있고, 하위 레벨 디바이스 제어, 스케줄링, 메모리 관리 등을 위해 운영체제에 의존할 수 있다.
소정 실시예들에서, 프로세서(104)는 이미지 신호 프로세서(ISP)(110)를 포함한다. ISP(110)는 카메라(102)로부터 수신되는 이미지들을 프로세싱하기에 적합한 회로부(예컨대, 이미지 신호 프로세싱 회로부)를 포함할 수 있다. ISP(110)는 카메라(102)에 의해 캡처되는 이미지들을 프로세싱 또는 분석할 수 있는 임의의 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)를 포함할 수 있다.
소정 실시예들에서, 프로세서(104)는 보안 엔클레이브 프로세서(SEP)(112)를 포함한다. 일부 실시예들에서, SEP(112)는 이미지들이 카메라(102)에 의해 캡처되고 ISP(110)에 의해 프로세싱되는 것을 수반하는 얼굴 인식 인증 프로세스에 관여된다. SEP(112)는 디바이스(100)를 사용하도록 인가된 바와 같은 활성 사용자(예컨대, 디바이스(100)를 현재 사용하고 있는 사용자)를 인증하도록 구성된 보안 회로일 수 있다. "보안 회로"는 격리된 내부 리소스를 외부 회로에 의해 직접 액세스되는 것으로부터 보호하는 회로일 수 있다. 내부 리소스는 개인 정보(예컨대, 생체 측정 정보, 신용 카드 정보 등), 암호화 키들, 난수 생성기 시드들 등과 같은 민감한 데이터를 저장하는 메모리(예컨대, 메모리(106))일 수 있다. 내부 리소스는 또한 민감한 데이터와 연관된 서비스들/동작들을 수행하는 회로부일 수 있다. 본 명세서에서 설명된 바와 같이, SEP(112)는 얼굴 인식 인증 프로세스를 사용하여 사용자를 인증할 수 있는 임의의 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)를 포함할 수 있다. 얼굴 인식 인증 프로세스는 사용자의 이미지들을 카메라(102)로 캡처하고 캡처된 이미지들을 디바이스(100)에 대한 인가된 사용자의 이전에 수집된 이미지들과 비교함으로써 사용자를 인증할 수 있다. 일부 실시예들에서, ISP(110)및 SEP(112)의 기능들이 단일 프로세서에 의해 수행될 수 있다(예컨대, ISP(110) 또는 SEP(112) 중 어느 하나는 양쪽 기능들을 수행할 수 있고 다른 프로세서는 생략될 수 있다).
소정 실시예들에서, 프로세서(104)는 디바이스(100)의 인가된 사용자에 대한 이미지들(예컨대, 이전에 수집된 이미지들)을 캡처하기 위해 등록 프로세스(예컨대, 도 4에 도시된 바와 같은, 이미지 등록 프로세스(200), 또는 등록 프로세스)를 수행한다. 등록 프로세스 동안, 카메라 모듈(102)은, SEP(112)(또는 다른 보안 프로세스)가 후속하여 얼굴 인식 인증 프로세스를 사용하여 사용자를 인증하도록 허용하기 위해, 인가된 사용자로부터의 이미지들 및/또는 이미지 데이터를 캡처(예컨대, 수집)할 수 있다. 일부 실시예들에서, 등록 프로세스로부터의 이미지들 및/또는 이미지 데이터(예컨대, 이미지들로부터의 특징 벡터 데이터)는 디바이스(100)에 템플릿들을 생성하는 데 사용된다. 템플릿들은, 예를 들어, 디바이스(100)의 메모리(106) 내의 템플릿 공간에 저장될 수 있다. 일부 실시예들에서, 템플릿 공간은 템플릿 공간에의 템플릿들의 추가(addition) 및/또는 템플릿 공간으로부터의 템플릿들의 제거(subtraction)에 의해 업데이트될 수 있다. 템플릿 업데이트 프로세스(예컨대, 본 명세서에서 설명된 제1 템플릿 업데이트 프로세스(300) 및/또는 제2 템플릿 업데이트 프로세스(400))는 템플릿 공간에 템플릿들을 추가 및/또는 템플릿 공간으로부터 템플릿들을 제거하기 위해 프로세서(104)에 의해 수행될 수 있다. 예를 들어, 템플릿 공간은 시간 경과에 따른 인가된 사용자의 외관의 변화들 및/또는 하드웨어 성능의 변화들에 적응하도록 부가 템플릿들로 업데이트될 수 있다. 템플릿들을 저장하기 위한 템플릿 공간이 가득 찼을(full) 때 템플릿들의 추가를 보상하기 위해 템플릿 공간으로부터 템플릿들이 제거될 수 있다.
일부 실시예들에서, 카메라 모듈(102)은 얼굴 인식 세션을 위한 다수의 이미지 쌍들을 캡처한다. 각각의 쌍은 2차원 캡처 모드를 사용하여 캡처되는 이미지(예컨대, 플러드 IR 이미지) 및 3차원 캡처 모드를 사용하여 캡처되는 이미지(예컨대, 깊이 맵 이미지를 생성하는 데 사용되는 패터닝된 조명 이미지)를 포함할 수 있다. 소정 실시예들에서, ISP(110) 및/또는 SEP(112)는 사용자에 대해 최종 인증 결정이 이루어지기 전에 플러드 IR 이미지들 및 패터닝된 조명 이미지들을 서로 독립적으로 프로세싱한다. 예를 들어, ISP(110)는 이미지들을 독립적으로 프로세싱하여 각각의 이미지의 특성들을 개별적으로 결정할 수 있다. SEP(112)는 이어서 개별 이미지 특성들을 각각의 유형의 이미지에 대한 저장된 템플릿들과 비교하여 각각의 개별 이미지에 대한 인증 점수(예컨대, 캡처된 이미지에서의 사용자와 저장된 템플릿들에서의 사용자 간의 매칭 점수 또는 다른 매칭 순위)를 생성할 수 있다. 개별 이미지들(예컨대, 플러드 IR 및 패터닝된 조명 이미지들)에 대한 인증 점수들이 조합되어 사용자의 아이덴티티에 대한 결정을 하고, 인증되면, 사용자가 디바이스(100)를 사용할(예컨대, 디바이스를 잠금해제할) 수 있게 할 수 있다.
일부 실시예들에서, ISP(110) 및/또는 SEP(112)는 각각의 쌍에서의 이미지들을 조합하여 얼굴 인식에 사용되는 합성 이미지를 제공한다. 일부 실시예들에서, ISP(110)는 합성 이미지를 프로세싱하여 이미지의 특성들을 결정하고, SEP(112)는 이를 저장된 템플릿들과 비교하여 사용자의 아이덴티티에 대한 결정을 하고, 인증되면, 사용자가 디바이스(100)를 사용할 수 있게 할 수 있다.
일부 실시예들에서, 플러드 IR 이미지 데이터와 패터닝된 조명 이미지 데이터의 조합은 SEP(112)가 3차원 공간에서의 얼굴들을 비교하게 할 수 있다. 일부 실시예들에서, 카메라 모듈(102)은 이미지 데이터를 보안 채널을 통해 SEP(112)에게 통신한다. 보안 채널은, 예를 들어, 데이터를 통신하기 위한 전용 경로(즉, 의도된 참가자들만이 공유하는 경로) 또는 암호화된 데이터를 의도된 참가자들에만 알려진 암호화 키들을 사용하여 통신하기 위한 전용 경로 중 어느 하나일 수 있다. 일부 실시예들에서, 카메라 모듈(102) 및/또는 ISP(110)는 SEP에 의해 수행되는 비교를 용이하게 하기 위해 이미지 데이터를 SEP(112)에 공급하기 전에 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행할 수 있다.
소정 실시예들에서, 프로세서(104)는 하나 이상의 머신 러닝 모델들을 동작시킨다. 머신 러닝 모델들은 프로세서(104) 내에 및/또는 디바이스(100) 상에 위치된 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)의 임의의 조합을 사용하여 동작될 수 있다. 일부 실시예들에서, 하나 이상의 신경 네트워크 모듈(114)은 디바이스(100) 상에서 머신 러닝 모델들을 동작시키는 데 사용된다. 신경 네트워크 모듈들(114)은 ISP(110) 및/또는 SEP(112)에 위치될 수 있다.
신경 네트워크 모듈(114)은 프로세서(104) 내에 및/또는 디바이스(100) 상에 위치된 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 신경 네트워크 모듈(114)은 네트워크에 사용되는 커널들의 스케일이 변화할 수 있는 다중 스케일 신경 네트워크 또는 다른 신경 네트워크이다. 일부 실시예들에서, 신경 네트워크 모듈(114)은 GRU(gated recurrent unit) 순환 신경 네트워크 또는 LSTM(long short-term memory) 순환 신경 네트워크와 같은, 그러나 이로 제한되지 않는 순환 신경 네트워크(RNN)이다.
신경 네트워크 모듈(114)은 신경 네트워크 모듈 또는 유사한 신경 네트워크 모듈(예컨대, 상이한 프로세서 또는 디바이스 상에서 동작하는 신경 네트워크 모듈)에 의해 학습된 동작 파라미터들로 설치 또는 구성된 신경 네트워크 회로부를 포함할 수 있다. 예를 들어, 신경 네트워크 모듈은 신경 네트워크 회로부에 대한 동작 파라미터들을 생성하기 위해 트레이닝 이미지들(예컨대, 기준 이미지들) 및/또는 다른 트레이닝 데이터를 사용하여 트레이닝될 수 있다. 트레이닝으로부터 생성되는 동작 파라미터들은 이어서 디바이스(100) 상에 설치된 신경 네트워크 모듈(114)에 제공될 수 있다. 트레이닝으로부터 생성되는 동작 파라미터들을 디바이스(100) 상의 신경 네트워크 모듈(114)에 제공하는 것은 신경 네트워크 모듈이 신경 네트워크 모듈 내에 프로그래밍된 트레이닝 정보를 사용하여 동작할 수 있게 해준다(예컨대, 트레이닝으로 생성된(training-generated) 동작 파라미터들은 디바이스에 의해 캡처되는 이미지들에 대해 동작하여 이들을 평가하기 위해 신경 네트워크 모듈에 의해 사용될 수 있다).
도 4는 디바이스(100)의 인가된 사용자에 대한 이미지 등록 프로세스(200)의 실시예의 플로차트를 도시한다. 프로세스(200)는 디바이스에(예컨대, SEP(112)에 커플링된 메모리에) 저장된 디바이스(100)의 인가된 사용자에 대한 등록 프로파일을 생성하는 데 사용될 수 있다. 등록 프로파일은 프로세스(200)를 사용하여 생성된 인가된 사용자에 대한 하나 이상의 템플릿을 포함할 수 있다. 등록 프로파일 및 등록 프로파일과 연관된 템플릿들은 사용자가 디바이스를 사용하고 그리고/또는 디바이스 상에서 동작들을 수행하도록(예컨대, 디바이스를 잠금해제하도록) 허용(예컨대, 인가)하기 위해 안면 인식 프로세스에서 사용될 수 있다.
소정 실시예들에서, 프로세스(200)는, 디바이스(100)가 인가된 사용자에 의해 처음으로 사용될 때 그리고/또는 사용자가 얼굴 인식 프로세스를 위한 등록 프로파일을 생성하기로 할 때, 사용된다. 예를 들어, 프로세스(200)는, 디바이스(100)가 인가된 사용자에 의해 처음으로 획득되어(예컨대, 인가된 사용자에 의해 구매되어) 인가된 사용자에 의해 처음으로 턴 온될 때, 개시될 수 있다. 일부 실시예들에서, 프로세스(200)는, 사용자가 얼굴 인식 프로세스에서 등록하고, 디바이스(100)에 대한 보안 설정들을 업데이트하며, 재등록(re-enroll)하고, 그리고/또는 디바이스 상에서 등록 프로파일을 추가하기를 원할 때, 인가된 사용자에 의해 개시될 수 있다.
소정 실시예들에서, 프로세스(200)는 202에서 사용자를 인증하는 것으로 시작된다. 202에서, 사용자는 비-얼굴 인증 프로세스를 사용하여 디바이스(100) 상에서 인증될 수 있다. 예를 들어, 사용자는 패스코드를 입력하는 것, 패스워드를 입력하는 것, 또는 얼굴 인식 이외의 다른 사용자 인증 프로토콜을 사용하는 것에 의해 인증된 사용자로서 인증될 수 있다. 사용자가 202에서 인증된 후에, 사용자의 하나 이상의 등록(예컨대, 기준 또는 등록) 이미지들이 204에서 캡처된다. 등록 이미지들은 플러드 조명기(105A)에 의해 조명되는 사용자의 이미지들(예컨대, 플러드 IR 이미지들) 및/또는 조명기(105B)에 의해 조명되는 사용자의 이미지들(예컨대, 패터닝된 조명 이미지들)을 포함할 수 있다. 본 명세서에서 설명된 바와 같이, 플러드 IR 이미지들 및 패터닝된 조명 이미지들은 디바이스(100) 상에서의 얼굴 인식 프로세스들에서 독립적으로 및/또는 조합하여 사용될 수 있다(예컨대, 이미지들은 인증 결정을 제공하기 위해 독립적으로 사용될 수 있고 이 결정들은 사용자 인증에 대한 최종 결정을 결정하기 위해 조합될 수 있다).
등록 이미지들은 사용자가 디바이스(100)와 상호작용할 때 카메라(102)를 사용하여 캡처될 수 있다. 예를 들어, 등록 이미지들은 사용자가 디바이스(100)의 디스플레이(108) 상의 프롬프트들을 따를 때 캡처될 수 있다. 프롬프트들은 등록 이미지들이 캡처되고 있는 동안 상이한 모션들 및/또는 포즈들을 취하도록 사용자에 대한 지시들을 포함할 수 있다. 204 동안, 카메라(102)는 사용자에 의해 수행되는 각각의 모션 및/또는 포즈에 대한 다수의 이미지들을 캡처할 수 있다. 사용자의 상이한 모션들 및/또는 상이한 포즈들에 대한 이미지들 - 이 이미지들은 여전히 사용자의 상대적으로 명확한 묘사를 가짐 - 을 캡처하는 것은 디바이스(100) 상의 카메라(102)에 대해 제한된 또는 제약된 위치에 있을 필요 없이 사용자가 인증될 수 있게 해주는 보다 나은 다양한 등록 이미지들을 제공하는 데 유용할 수 있다.
다수의 등록 이미지들이 204에서 캡처된 후에, 추가 이미지 프로세싱을 위한 등록 이미지들의 선택이 206에서 이루어질 수 있다. 등록 이미지들의 선택(206), 및 이미지들의 추가 프로세싱은 ISP(110) 및/또는 SEP(112)에 의해 수행될 수 있다. 추가 프로세싱을 위한 등록 이미지들의 선택은 템플릿들을 생성하기에 적합한 이미지들을 선택하는 것을 포함할 수 있다. 예를 들어, 206에서의 템플릿들을 생성하는 데 사용하기에 적합한 이미지들의 선택은, 이미지들에 대한 하나 이상의 선택된 기준을 평가하는 것 및 선택된 기준들을 충족시키는 이미지들을 선택하는 것을 포함할 수 있다. 선택된 이미지들은 사용자에 대한 템플릿들을 생성하는 데 사용될 수 있다. 예를 들어, 선택된 기준들은, 사용자의 얼굴이 카메라의 시야에 있는 것, 사용자의 얼굴의 포즈가 적절한 것(예컨대, 사용자의 얼굴이 카메라로부터 임의의 방향으로 너무 멀리 돌아가 있지 않는 것(즉, 얼굴의 피치, 요, 및/또는 롤이 소정 레벨들 초과가 아닌 것)), 카메라(102)와 사용자의 얼굴 사이의 거리가 선택된 거리 범위 내에 있는 것, 사용자의 얼굴이 최소 값 미만의 폐색을 갖는 것(예컨대, 사용자의 얼굴이 다른 물체에 의해 최소 양 초과만큼 폐색(차단)되지 않는 것), 사용자가 카메라에 주의를 기울이는 것(예컨대, 사용자의 눈들이 카메라를 보고 있는 것), 사용자의 눈들이 감기지 않는 것, 및 이미지에서의 적절한 라이팅(조명)을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 하나 초과의 얼굴이 등록 이미지에서 검출되면, 등록 이미지는 거부되고 추가 프로세싱을 위해 사용되지 않는다(예컨대, 선택되지 않음). 추가 프로세싱에 적합한 이미지들의 선택은 이미지들이 소정 개수의 선택된 기준들 또는 선택된 기준들 전부를 충족시키는 것에 기초한 규칙일 수 있다. 일부 실시예들에서, 폐색 맵들 및/또는 랜드마크 특징 맵들은 이미지들에서 사용자의 특징들(예컨대, 눈들, 코, 및 입과 같은 얼굴 특징들)을 식별하고 이미지들에서 선택된 기준들을 평가하는 데 사용된다.
206에서 이미지들이 선택된 후에, 선택된 (템플릿) 이미지들에서의 사용자의 특징들이 208에서 인코딩될 수 있다. 선택된 이미지들의 인코딩은 이미지들에서의 특징들을 특징 공간에서의 하나 이상의 특징 벡터로서 정의하기 위해 사용자의 특징들(예컨대, 얼굴 특징들)을 인코딩하는 것을 포함할 수 있다. 특징 벡터들(210)은 208에서의 인코딩의 출력일 수 있다. 특징 공간은 n-차원 특징 공간일 수 있다. 특징 벡터는 특징 공간에서의 이미지로부터 특징들을 정의하는 수치 값들의 n-차원 벡터일 수 있다(예컨대, 특징 벡터는 이미지에서의 사용자의 얼굴 특징들을 정의하는 수치 값들의 벡터일 수 있다).
도 5는 특징 벡터들(210)을 갖는 특징 공간(212)의 실시예의 표현을 도시한다. 각각의 특징 벡터(210)(흑색 도트)는 단일 이미지, 합성 이미지(예컨대, 몇 개의 이미지의 합성물(composite)인 이미지), 또는 다수의 이미지들 중 어느 하나로부터의 사용자에 대한 얼굴 특징들을 정의할 수 있다. 특징 벡터들(210)이 단일 사용자의 얼굴 특징들로부터 생성될 때, 특징 벡터들이 동일한 사람과 연관되기 때문에 특징 벡터들은 서로 유사할 수 있고, 도 5에서의 원(211)에 의해 도시된 바와 같이, 어떤 "클러스터링"을 가질 수 있다. 특징 벡터들(256A 및 256B)(개방 마름모들(open diamonds))은, 아래에서 설명되는, 얼굴 인식 프로세스(250)로부터 획득된 특징 벡터들이다.
도 4에 도시된 바와 같이, 프로세스(200)는, 214에서, 특징 벡터들(210)을 디바이스(100)의 메모리(예컨대, SEP(112)에 의해 보호되는 메모리)에 저장하는 것을 포함할 수 있다. 소정 실시예들에서, 특징 벡터들(210)은 메모리의 템플릿 공간(예컨대, 아래에서 설명되는 템플릿 공간(220))에 정적 템플릿들(216)(예컨대, 등록 템플릿들 또는 기준 템플릿들)로서 저장된다. 정적 템플릿들(216)은 프로세스(200)에 의해 생성된 등록 프로파일에 사용될 수 있다. 일부 실시예들에서, 정적 템플릿들(216)(및 본 명세서에서 설명된 다른 템플릿들)은 등록 플러드 IR 이미지들로부터 획득된 특징 벡터들에 대한 및 등록 패터닝된 조명 이미지들로부터 획득된 특징 벡터들에 대한 개별 템플릿들을 포함한다. 플러드 IR 이미지들 및 패터닝된 조명 이미지들(예컨대, 깊이 맵 이미지들을 생성하는 데 사용되는 이미지들)로부터 획득된 개별 템플릿들이 본 명세서에서 설명된 부가 프로세스들 동안 독립적으로 및/또는 조합하여 사용될 수 있다는 것이 이해되어야 한다. 본 개시내용에서 단순함을 위해, 정적 템플릿들(216)이 총칭적으로(generically) 기술되며, 정적 템플릿들(216)(및 템플릿들의 사용)이 플러드 IR 이미지들로부터 획득된 템플릿들 또는 패터닝된 조명 이미지들로부터 획득된 템플릿들 중 어느 하나를 지칭할 수 있다는 것이 이해되어야 한다. 일부 실시예들에서, 플러드 IR 이미지들 및 패터닝된 조명 이미지들의 조합이 템플릿들을 생성하는 데 사용될 수 있다. 예를 들어, 플러드 IR 이미지들 및 패터닝된 조명 이미지들로부터 획득된 특징 벡터들의 쌍들은 디바이스(100) 상에서의 하나 이상의 얼굴 인식 프로세스에서 사용되기 위해 정적 템플릿들(216)에 저장될 수 있다.
도 6은 디바이스(100)의 메모리(106) 내의 등록 프로파일을 위한 템플릿 공간(220)의 실시예의 표현을 도시한다. 소정 실시예들에서, 템플릿 공간(220)은 SEP(112)에 의해 보호되는 디바이스(100)의 메모리(106)의 일 부분에 위치된다. 일부 실시예들에서, 템플릿 공간(220)은 정적 부분(222) 및 동적 부분(224)을 포함한다. 정적 템플릿들(216)은, 예를 들어, 템플릿 공간(220)의 정적 부분(222)에 추가될 수 있다(예컨대, 이 템플릿들은 메모리에 영구적으로 추가되며, 디바이스가 리셋되지 않는 한, 삭제 또는 변경되지 않는다). 일부 실시예들에서, 정적 부분(222)은 소정 개수의 정적 템플릿들(216)을 포함한다. 예를 들어, 도 6에 도시된 템플릿 공간(220)의 실시예의 경우, 정적 부분(222)에 6개의 정적 템플릿(216)이 허용된다. 일부 실시예들에서, 정적 부분(222)에 9개의 정적 템플릿(216)이 허용될 수 있다. 정적 부분(222)에서의 다른 개수의 정적 템플릿들(216)이 또한 고려될 수 있다. 등록 프로파일에 대한 등록 프로세스가 완료되고 정적 템플릿들(216)이 정적 부분(222)에 추가된 후에, 부가의 동적 템플릿들(226)이 등록 프로파일을 위한 템플릿 공간(220)의 동적 부분(224)(예컨대, 디바이스 리셋이 필요 없이 템플릿들이 추가 및 삭제될 수 있는 부분)에 추가될 수 있다.
따라서, 정적 템플릿들(216)은 등록 프로세스와 연관된 등록 프로파일에 대한 등록 프로세스(200)에 의해 생성된 등록 템플릿들(또는 기준 템플릿들)일 수 있다. 등록 프로세스(200)가 완료된 후에, 선택된 개수의 정적 템플릿들(216)이 등록 프로파일을 위한 템플릿 공간(220)의 정적 부분(222)에 저장된다. 등록 프로세스(200) 이후에 정적 부분(222)에 저장되는 정적 템플릿들(216)의 개수는, 예를 들어, 템플릿 이미지들로서 사용하기에 적합한 것으로 선택되는 이미지들의 개수, 또는 디바이스에 대한 템플릿들의 원하는 개수에 기초할 수 있는, 등록 프로세스 동안 획득되는 상이한 특징 벡터들의 개수에 따라 달라질 수 있다. 등록 프로세스(200) 이후에, 정적 템플릿들(216)은 등록 프로파일과 연관된 인가된 사용자의 얼굴 인식을 위해 사용될 수 있는 특징 벡터들(210)(예컨대, 등록 또는 기준 특징 벡터들)을 포함한다. 따라서, 템플릿 공간(220)은 등록 프로파일과 연관된 사용자를 인가하기 위해 얼굴 인식 인증 프로세스에서 사용될 수 있다.
도 7은 얼굴 인식 인증 프로세스(250)의 실시예의 플로차트를 도시한다. 프로세스(250)는 사용자의 얼굴 인식을 이용하여 사용자를 디바이스(100)의 인가된 사용자로서 인증하는 데 사용될 수 있다. 소정 실시예들에서, 프로세스(250)는 디바이스(100) 상의 등록 프로파일(예컨대, 템플릿 공간(220))을 사용하여 사용자를 인증하는 데 사용된다. 인가된 사용자의 인증은 사용자가 디바이스(100)에 액세스하여 사용할(예컨대, 디바이스를 잠금해제할) 수 있게 해주고 그리고/또는 디바이스의 선택된 기능(예컨대, 디바이스 상에서 실행되는 애플리케이션의 기능을 잠금해제하는 것, 결제 시스템들(즉, 지불하는 것), 개인 데이터에 대한 액세스, 통지들의 확장된 뷰 등)에 액세스할 수 있게 해줄 수 있다. 소정 실시예들에서, 프로세스(250)는 (인가된 사용자의 등록 이후에) 디바이스(100)에 대한 프라이머리(primary) 생체 측정 인증 프로세스로서 사용된다. 일부 실시예들에서, 프로세스(250)는 다른 인증 프로세스(예컨대, 지문 인증, 다른 생체 측정 인증, 패스코드 입력, 패스워드 입력, 및/또는 패턴 입력)에 부가하여 인증 프로세스로서 사용된다. 일부 실시예들에서, 다른 인증 프로세스(예컨대, 패스코드 입력, 패턴 입력, 다른 생체 측정 인증)는 사용자가 프로세스(250)를 사용하여 인증받는 데 실패하는 경우 디바이스(100)에 액세스하는 데 사용될 수 있다.
소정 실시예들에서, 프로세스(250)는 서브프로세스(300)로 시작한다. 서브프로세스(300)는 디바이스(100)에 의해 캡처된 초기 이미지를 평가하여 프로세스(250)가 사용자를 인증하기 위해 추가 다운스트림 프로세싱을 계속해야 하는지를 결정하기 위한 초기 프로세스(예컨대, "게이트" 프로세스)일 수 있다. 서브프로세스(300)는 302에서 디바이스(100)에 대한 액세스를 위해 인증받고자 시도하는 사용자의 이미지를 캡처하는 것으로 시작할 수 있다(예컨대, 카메라는 사용자의 "게이트" 이미지를 캡처한다). 소정 실시예들에서, 302에서, 카메라(102)는 게이트 이미지에 대한 사용자의 플러드 IR 이미지를 캡처한다. 게이트 이미지가 사용자의 얼굴의 단일 이미지(예컨대, 단일 플러드 IR 이미지)일 수 있거나, 또는 게이트 이미지가 짧은 시간 기간(예컨대, 1초 이하)에 걸쳐 촬영된 사용자의 얼굴의 일련의 몇 개의 이미지들일 수 있다는 것이 이해되어야 한다. 일부 실시예들에서, 게이트 이미지는 플러드 IR 이미지들과 패터닝된 조명 이미지들(예컨대, 연속적인 플러드 IR와 패터닝된 조명 이미지의 쌍들)의 조합을 포함할 수 있다. 일부 실시예들에서, 게이트 이미지는 플러드 조명기 및/또는 패턴 조명기에 의해 조명되는 사용자의 몇 개의 이미지들의 합성물일 수 있다.
카메라(102)는 사용자에 의한 프롬프트에 응답하여 게이트 이미지를 캡처할 수 있다. 예를 들어, 게이트 이미지는 사용자가 디바이스(100) 상의 버튼(예컨대, 홈 버튼 또는 가상 버튼)을 누르는 것에 의해, 디바이스를 사용자의 얼굴에 대해 선택된 위치로 움직이는 것(예컨대, 카메라가 사용자의 얼굴로 지향되도록 사용자가 디바이스를 움직이는 것 또는 디바이스를 테이블로부터 들어올리는 것)에 의해, 및/또는 디바이스에 대한 특정 제스처 또는 움직임을 행하는 것(예컨대, 스크린 상에서 탭핑하는 것, 디스플레이를 가로질러 사용자의 손가락을 스와이프하는 것, 또는 디바이스를 테이블로부터 집어 드는 것)에 의해 디바이스(100)에 액세스하려고 시도할 때 캡처될 수 있다.
304에서, 게이트 이미지는 사용자의 얼굴 특징들을 특징 공간에서의 하나 이상의 특징 벡터들로서 정의하도록 인코딩될 수 있다. 일부 실시예들에서, 게이트 이미지에 대해 하나의 특징 벡터가 정의된다. 일부 실시예들에서, 게이트 이미지에 대해 다수의 특징 벡터들이 정의된다. 게이트 특징 벡터(들)(306)는 304에서의 게이트 이미지의 인코딩의 출력일 수 있다.
특정 실시예들에서, 특징 벡터들(306)이 308에서, 특징 벡터들이 추가로 프로세싱되어 디바이스(100)를 잠금해제하기 전에(예컨대, 특징 벡터들을 템플릿들과 매칭시키려는 임의의 시도 이전에) 선택된 기준들(예컨대, "게이트 기준들")이 이미지들에서 충족되는지를 결정하기 위해 평가된다. 특징 벡터들(306)로부터 평가되는 선택된 기준들은, 사용자의 얼굴의 최소 부분이 카메라의 시야에 있는 것, 사용자의 얼굴의 포즈가 적절한 것(예컨대, 사용자의 얼굴이 카메라로부터 임의의 방향으로 너무 멀리 돌아가 있지 않는 것(즉, 얼굴의 피치, 요, 및/또는 롤이 소정 레벨들 초과가 아닌 것)), 카메라(102)와 사용자의 얼굴 사이의 거리가 선택된 거리 범위 내에 있는 것, 사용자의 얼굴이 최소 값 미만의 폐색을 갖는 것(예컨대, 사용자의 얼굴이 다른 물체에 의해 최소 양 초과만큼 폐색(차단)되지 않는 것), 사용자가 카메라에 주의를 기울이는 것(예컨대, 사용자의 눈들이 카메라를 보고 있는 것), 사용자의 눈들이 감기지 않는 것, 이미지에서의 적절한 라이팅(조명 또는 노출), 및/또는 카메라가 (예컨대, 카메라 위의 손가락에 의해) 차단 또는 폐색되는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 추가 프로세싱 이전에 충족될 선택된 기준들의 유형들 및 개수는 프로세스(250) 및 서브프로세스(300)에 대한 원하는 설정들에 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 충족될 선택된 기준들은, 특징 벡터들의 다운스트림 프로세싱(예컨대, 이미지들의 다운스트림 프로세싱)에서 더 많은 정확도를 제공할 가능성이 가장 많은, 이미지들에서의 품질을 제공하도록 선택될 수 있다.
서브프로세스(300)의 동작 동안 임의의 시간에, 선택된 기준들 모두가 308에서 충족되는 경우, 프로세스(250)는 252에서 잠금해제 시도 이미지(들)를 캡처하는 것으로 계속된다. 일부 실시예들에서, 프로세스(250)는, 308에서, 선택된 기준들 모두가 충족되지는 않는 경우, 252에서 계속될 수 있다. 예를 들어, 프로세스(250)는 4개의 선택된 기준 중 3개가 충족되는 경우 및/또는 선택된 기준들의 소정 조합들이 충족되는 경우 계속되도록 허용될 수 있다.
소정 실시예들에서, 선택된 기준들 중 임의의 것이 308에서 충족되지 않은 경우, 프로세스(250)에서 어떠한 추가 다운스트림 프로세싱도 발생하지 않을 수 있다(예컨대, 어떠한 잠금해제 시도 이미지들도 252에서 캡처되지 않는다). 일부 실시예들에서, 선택된 기준들에 기초하여 추가 프로세싱의 거부가 308에서 발생하면, 새로운 게이트 이미지가 302에서 캡처되고, 서브프로세스(300)는 새로운 이미지가 선택된 기준들을 충족시키는지를 알아보기 위해 새로운 이미지를 프로세싱한다. 일부 실시예들에서, 서브프로세스(300)는 선택된 기준들이 302에서 캡처된 이미지에 의해 충족될 때까지 반복될 수 있다. 일부 실시예들에서, 서브프로세스(300)가 선택된 기준들에 기초하여 게이트 이미지들을 계속해서 거부하는 경우, 서브프로세스(및 프로세스(250))는 중지되고 디바이스(100)는 디바이스를 잠금해제하고자 하는 추가 시도들로부터 잠금된다. 예를 들어, 서브프로세스(300)는 최대 개수의 게이트 이미지들이 프로세싱될 때까지 그리고/또는 선택된 기준들을 게이트 이미지로 충족시키려고 시도하는 것에 대한 최대 시간 한계가 도달될 때까지 반복될 수 있다. 일부 실시예들에서, 서브프로세스(300)는 디바이스(100) 상의 디스플레이가 턴 오프될 때까지 계속해서 반복될 수 있다(예컨대, 서브프로세스는 디스플레이가 켜져 있는 한 반복적으로 시도된다).
일부 실시예들에서, 서브프로세스(300)에 의해 디바이스(100)가 잠금된 후에, 얼굴 인식 인증 프로세스(250)가 실패했고 그리고/또는 디바이스(100)의 원하는 동작이 수행되지 못하게 제약 또는 방지된다는 것을 나타내는 에러 메시지가 (예컨대, 디스플레이(108) 상에) 디스플레이될 수 있다. 지정된 시간 기간 동안 및/또는 디바이스를 잠금해제하기 위해 다른 인증 프로토콜이 사용될 때까지 얼굴 인증을 사용하려는 추가 시도들로부터 디바이스(100)가 잠금될 수 있다. 예를 들어, 디바이스(100)를 잠금해제하기 위해 패스코드, 패스워드, 패턴 입력, 상이한 형태의 생체 측정 인증, 또는 다른 인증 프로토콜이 사용될 수 있다.
일부 실시예들에서, 서브프로세스(300)는 이미지들의 거부 및 선택된 기준들을 충족하는 이미지를 캡처하려는 반복된 시도들에 관한 사용자에 대한 피드백(예컨대, 사용자에 대한 출력 또는 통지) 없이 동작한다. 일부 실시예들에서, 사용자는 게이트 이미지가 거부될 때 피드백을 제공받는다. 예를 들어, 디바이스(100)가 사용자의 얼굴에 너무 가까이 있고(예컨대, 카메라(102)와 사용자의 얼굴 사이의 거리가 선택된 거리 범위보다 짧음), 사용자의 얼굴로부터 너무 멀리 있으며(예컨대, 카메라와 사용자의 얼굴 사이의 거리가 선택된 거리 범위를 초과함), 그리고/또는 사용자의 얼굴이 카메라의 시야에서 폐색되는 경우, 오디오 메시지, 시각적 메시지, 또는 다른 통지가 제공될 수 있다.
위에서 설명된 바와 같이, 프로세스(250)는, 선택된 기준들 모두(또는 선택된 개수의 선택된 기준들)이 308에서 충족되는 경우 서브프로세스(300)로부터 252에서 계속된다. 252에서, 카메라(102)는 디바이스(100)에 액세스하는 사용자를 인증하려고 시도하기 위해 사용자의 얼굴의 부가의 이미지를 캡처한다(예컨대, 카메라는 사용자의 "잠금해제 시도" 이미지를 캡처한다). 잠금해제 시도 이미지가 사용자의 얼굴의 단일 이미지(예컨대, 단일 플러드 IR 이미지 또는 단일 패터닝된 조명 이미지)일 수 있거나, 또는 잠금해제 시도 이미지가 짧은 시간 기간(예컨대, 1초 이하)에 걸쳐 촬영된 사용자의 얼굴의 일련의 몇 개의 이미지들일 수 있다는 것이 이해되어야 한다. 일부 실시예들에서, 사용자의 얼굴의 일련의 몇 개의 이미지들은 플러드 IR 이미지들과 패터닝된 조명 이미지들의 쌍들(예컨대, 연속적인 플러드 IR 이미지들과 패터닝된 조명 이미지들의 쌍들)을 포함한다. 일부 구현들에서, 잠금해제 시도 이미지는 플러드 조명기 및 패턴 조명기에 의해 조명되는 사용자의 몇 개의 이미지들의 합성물일 수 있다.
본 명세서에서 설명된 바와 같이, 잠금해제 시도 이미지들이 플러드 IR 이미지들 또는 패터닝된 조명 이미지들(예컨대, 깊이 맵 이미지들을 생성하는 데 사용되는 이미지들) 중 어느 하나, 또는 이들의 조합을 포함할 수 있다는 것이 추가로 이해되어야 한다. 게다가, 잠금해제 시도 이미지들이 그들의 대응하는 템플릿과 연관하여(예컨대, 플러드 IR 이미지들이 플러드 IR 등록 이미지들에 대한 템플릿과 연관하여) 독립적으로 또는 필요에 따라 조합하여 프로세싱될 수 있다.
254에서, 잠금해제 시도 이미지는 사용자의 얼굴 특징들을 특징 공간에서의 하나 이상의 특징 벡터들로서 정의하도록 인코딩된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 하나의 특징 벡터가 정의된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 다수의 특징 벡터들이 정의된다. 잠금해제 특징 벡터(들)(256)는 254에서의 잠금해제 시도 이미지의 인코딩의 출력일 수 있다.
소정 실시예들에서, 258에서, 잠금해제 시도 이미지에 대한 매칭 점수(260)를 얻기 위해 특징 벡터(들)(256)가 템플릿 공간(220)의 템플릿들에서의 특징 벡터들과 비교된다. 소정 실시예들에서, 템플릿 공간(220)은 디바이스(100) 상의 등록 프로파일을 위한 템플릿 공간이다. 매칭 점수(260)는 특징 벡터(들)(256)와 템플릿 공간(220)에서의 특징 벡터들(예컨대, 본 명세서에서 설명된 바와 같이, 템플릿 공간에 추가된 정적 템플릿들(216) 및/또는 다른 동적 템플릿들(226)에서의 특징 벡터들) 사이의 차이들의 점수일 수 있다. 그 특징 벡터(들)(256)와 템플릿 공간(220)에서의 특징 벡터들이 가까울수록(예컨대, 거리가 작을수록 또는 차이들이 적을수록), 매칭 점수(260)가 높을 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 특징 벡터(256A)(개방 마름모)가 특징 벡터(256B)(개방 마름모)보다 특징 벡터들(210)에 가깝다(예컨대, 특징 벡터(256B)는 특징 벡터(256A)보다 멀리 있는 이상치이다). 따라서, 특징 벡터(256A)는 특징 벡터(256B)보다 높은 매칭 점수를 가질 것이다. 특징 벡터(256B)가 특징 벡터(256A)보다 특징 벡터들(210)부터 멀리 떨어져 있기 때문에, 특징 벡터(256B)에 대한 보다 낮은 매칭 점수는 특징 벡터(256B)와 연관된 잠금해제 시도 이미지에서의 얼굴이 등록 프로파일 및 템플릿 공간(220)과 연관된 인가된 사용자의 얼굴이라는 보다 작은 신뢰도를 의미한다.
일부 실시예들에서, 특징 벡터(들)(256)와 템플릿 공간(220)으로부터의 템플릿들을 비교하여 매칭 점수(260)를 얻는 것은, 하나 이상의 분류기 또는 분류 가능 네트워크(classification-enabled network)를 사용하여, 특징 벡터(들)(256)와 템플릿 공간(220)으로부터의 템플릿들 사이의 차이들을 분류 및 평가하는 것을 포함한다. 사용될 수 있는 상이한 분류기들의 예들은 선형, 구분적 선형, 비선형 분류기들, 서포트 벡터 머신들, 및 신경 네트워크 분류기들을 포함하지만 이들로 제한되지 않는다. 일부 실시예들에서, 매칭 점수(260)는 특징 벡터(들)(256)와 템플릿 공간(220)으로부터의 템플릿들 사이의 거리 점수들을 사용하여 평가된다.
262에서, 매칭 점수(260)는 디바이스(100)에 대한 잠금해제 임계치(264)와 비교된다. 잠금해제 임계치(264)는, 디바이스를 잠금해제하기(또는 디바이스 상의 특징을 잠금해제하기) 위해 디바이스(100)가 요구하는 인가된 사용자의 얼굴과 잠금해제 시도 이미지에서의 사용자의 얼굴 사이의 (특징 벡터들에 의해 정의되는 바와 같은) 특징들의 최소 차이(예컨대, 특징 공간에서의 거리)를 나타낼 수 있다. 예를 들어, 잠금해제 임계치(264)는 잠금해제 특징 벡터들(예컨대, 특징 벡터들(256))이 인가된 사용자의 얼굴과 연관된 템플릿들(예컨대, 템플릿 공간(220)에서의 정적 템플릿들(216))과 충분히 유사한지(예컨대, 충분히 가까운지) 여부를 결정하는 임계치 값일 수 있다. 추가 예로서, 잠금해제 임계치(264)는, 도 5에 도시된, 특징 공간(212)에서 원(265)에 의해 표현될 수 있다. 도 5에 도시된 바와 같이, 특징 벡터(256A)는 원(265) 내부에 있고, 따라서 특징 벡터(256A)는 잠금해제 임계치(264) 초과의 매칭 점수(260)를 가질 것이다. 그렇지만, 특징 벡터(256B)는 원(265) 외부에 있고, 따라서 특징 벡터(256B)는 잠금해제 임계치(264) 미만의 매칭 점수(260)를 가질 것이다. 소정 실시예들에서, 잠금해제 임계치(264)는 제조 동안 및/또는 디바이스(100)의 펌웨어에 의해 설정된다. 일부 실시예들에서, 잠금해제 임계치(264)는 본 명세서에서 설명된 바와 같이 디바이스의 동작 동안 디바이스(100)에 의해 업데이트(예컨대, 조정)된다.
도 7에 도시된 바와 같이, 262에서, 매칭 점수(260)가 잠금해제 임계치(264) 초과이면(즉, 잠금해제 시도 이미지에서의 사용자의 얼굴이 인가된 사용자의 얼굴과 실질적으로 매칭하면), 잠금해제 시도 이미지에서의 사용자는 디바이스(100) 상의 등록 프로파일에 대한 인가된 사용자로서 인증되고 266에서 디바이스가 잠금해제된다. 262에서, 매칭 점수(260)가 잠금해제 임계치(264) 미만이면(예컨대, 잠금해제 임계치 이상이 아니면), 268에서 디바이스(100)가 잠금해제되지 않는다(예컨대, 디바이스가 잠금된 채로 있다). 매칭 점수(260)가 잠금해제 임계치(264)와 동일하면 잠금해제 임계치에 대한 원하는 설정(예컨대, 보다 엄격한 또는 보다 느슨한 제한사항들)에 따라 디바이스(100)가 잠금 또는 잠금해제될 수 있다는 것에 유의해야 한다. 부가적으로, 동일한 매칭 점수 비교를 위한 어느 한 옵션이 또한 본 명세서에서 설명된 다른 실시예들에 대해 원하는 대로 적용될 수 있다.
소정 실시예들에서, 잠금해제 시도들은 270에서 임계치와 비교된다. 임계치는, 예를 들어, 허용된 잠금해제 시도들의 최대 횟수 또는 잠금해제 시도들을 위한 최대 할당 시간일 수 있다. 일부 실시예들에서, 잠금해제 시도들의 횟수가 카운팅되고(예컨대, 디바이스(100)를 잠금해제하려는 시도들의 횟수가 252에서 캡처된 상이한 잠금해제 시도 이미지를 사용하여 카운팅됨) 허용된 잠금해제 시도들의 최대 횟수와 비교된다.
소정 실시예들에서, 잠금해제 시도들이 임계치에 도달하면(예컨대, 잠금해제 시도들의 횟수가 허용된 시도들의 최대 횟수에 도달하면), 디바이스(100)는 272에서 얼굴 인증을 사용하려는 추가 시도들로부터 잠금된다. 일부 실시예들에서, 272에서 디바이스가 잠금될 때, 얼굴 인식 인증 프로세스(250)가 실패했고 그리고/또는 디바이스(100)의 원하는 동작이 수행되지 못하게 제약 또는 방지된다는 것을 나타내는 에러 메시지가 (예컨대, 디스플레이(108) 상에) 디스플레이될 수 있다. 지정된 시간 기간 동안 및/또는 디바이스를 잠금해제하기 위해 다른 인증 프로토콜이 사용될 때까지 272에서 얼굴 인증을 사용하기 위해 디바이스(100)가 추가의 시도들로부터 잠금될 수 있다. 예를 들어, 잠금해제 옵션들(274)이 디바이스(100)를 잠금해제하는 데 사용될 수 있다.
잠금해제 옵션들(274)은 사용자가 디바이스(100) 상의 특징들을 잠금해제 또는 액세스하기 위해 상이한 유형의 인증을 계속하기 위한 하나 이상의 옵션을 제시받는 것(예컨대, 사용자가 제2 인증 프로토콜을 계속하기 위한 옵션들을 제시받는 것)을 포함할 수 있다. 옵션들을 제시하는 것은, 예를 들어, 디바이스(100)의 디스플레이(108) 상에 하나 이상의 옵션들을 디스플레이하고 디바이스를 잠금해제하는 것 또는 디바이스 상의 특징들에 액세스하는 것을 계속하기 위해 디스플레이된 옵션들 중 하나를 선택하도록 청각적 및/또는 시각적 통신을 통해 사용자에게 프롬프트하는 것을 포함할 수 있다. 사용자는 이어서 선택된 옵션을 사용하여 그리고 필요에 따라 부가의 청각적 및/또는 시각적 프롬프트들에 따라 디바이스(100)를 잠금해제/액세스하는 것을 계속할 수 있다. 선택된 옵션을 사용하여 성공적으로 인증된 후에, 디바이스(100)를 잠금해제/액세스하기 위한 사용자의 초기 요청이 승인될 수 있다. 잠금해제 옵션들(274)은 디바이스(100)를 잠금해제하기 위해 패스코드, 패스워드, 패턴 입력, 상이한 형태의 생체 측정 인증, 또는 다른 인증 프로토콜을 사용하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 잠금해제 옵션들(274)은, 선택될 때, 패스코드/패스워드/패턴 입력 사용자 인터페이스의 디스플레이를 야기하는 "패스코드/패스워드/패턴 사용" 어포던스, 또는 패스코드/패스워드/패턴 입력 사용자 인터페이스, 또는, 디스플레이될 때, 디바이스의 지문 센서 상에 손가락을 놓도록 사용자에게 프롬프트하는 "지문 사용" 프롬프트를 제공하는 것을 포함한다.
잠금해제 시도들이 270에서 임계치 미만인 경우(예컨대, 잠금해제 시도들의 횟수가 허용된 시도들의 최대 횟수 미만인 경우), 프로세스(250)는 서브프로세스(300)에서 다른 게이트 이미지로 시작하여 다시 실행(재개시)될 수 있다(예를 들어, 서브프로세스(300)가 재개시되고, 302에서 (새로운 플러드 IR 이미지와 같은) 사용자의 새로운 이미지가 캡처된다). 일부 구현들에서, 디바이스(100)는 사용자에게 프롬프트함이 없이 사용자의 얼굴의 새로운 게이트 이미지를 자동으로 캡처한다(예컨대, 새로운 이미지의 캡처가 자동으로 구현되고 그리고/또는 사용자에게 숨겨진다). 일부 구현예들에서, 디바이스(100)는 프로세스(250)가 재개시되고 있음을 (시각적으로 및/또는 청각적으로 중 어느 하나로) 사용자에게 통지한다. 일부 실시예들에서, 디바이스(100)는 사용자에게 프로세스(250)를 재개시하기 위한 입력을 제공하도록 프롬프트할 수 있다. 예를 들어, 사용자는 프로세스(250)를 재개시하려는 시도를 (시각적으로 및/또는 청각적으로 중 어느 하나로) 확인응답하거나 다른 방식으로 확인하도록 프롬프트될 수 있다.
소정 실시예들에서, 도 7에 도시된 바와 같이, 서브프로세스(300)가 재개시되기 전에, 선택된 기준들(308에서 평가됨) 중 하나 이상이 310에서 조정된다. 310에서 선택된 기준들을 조정하는 것은 하나 이상의 선택된 기준에 보다 엄격한(예컨대, 보다 제한적인) 허용오차를 제공하는 것을 포함할 수 있다. 일부 실시예들에서, 310에서 선택된 기준들을 조정하는 것은 선택된 개수의 선택된 기준들을 조정하는 것을 포함한다(예컨대, 선택된 기준들의 서브세트만이 조정된다). 310에서 조정되도록 선택된 선택된 기준들은, 조정될 때, 프로세스(250)에서의 잠금해제 시도 이미지들에 대한 매칭 프로세스에서 더 많은 정확도를 제공할 가능성이 있는 선택된 기준들을 포함할 수 있다. 예를 들어, 이러한 선택된 기준들의 조정은, (디바이스(100)를 잠금해제하려고 시도하는 사용자가 인가되지 않은 사용자가 아니라 인가된 사용자인 경우) 252에서 캡처된 잠금해제 시도 이미지들이 프로세스(250)의 재개시에서 사용자를 정확하게 인가하는 데 사용될 가능성을 증가시킬 수 있다.
일부 실시예들에서, 310에서 조정된 선택된 기준들 중 하나는 카메라(102)와 사용자의 얼굴 사이의 거리에 대한 선택된 거리 범위를 포함한다. 소정 실시예들에서, 선택된 거리 범위는 보다 작은 범위로 감소된다. 예를 들어, 선택된 거리 범위는 범위의 한쪽 단부 또는 양쪽 단부에서 약 5 cm만큼, 약 10 cm만큼, 또는 약 15 cm만큼 감소될 수 있다. 따라서, 서브프로세스(300)의 연속적인 재개시 시도들에서 캡처된 게이트 이미지들은 308에서 특징 벡터(306)들이 평가될 때 충족시킬 사용자의 얼굴에 대한 감소된 선택된 거리 범위를 가질 수 있다. 카메라(102)와 사용자의 얼굴 사이의 선택된 거리 기준들에 대한 선택된 거리 범위를 감소시키는 것은 사용자의 얼굴이 카메라로부터 최적의 거리에 있을 가능성을 증가시키고 더 정확한 특징 벡터들(예컨대, 템플릿(220) 내의 특징 벡터들과 매칭할 가능성이 있는 특징 벡터들)이 252에서 캡처된 이미지들로부터 추출(예컨대, 인코딩)된다.
일부 실시예들에서, 252에서 캡처된 잠금해제 시도 이미지들로부터 획득된 사용자의 얼굴과 카메라(102) 사이의 추정된 거리에 대한 데이터가 310에서 선택된 거리 범위를 조정하는 데 사용된다. 카메라(102)와 사용자의 얼굴 사이의 거리에 대한 추정된 데이터는, 예를 들어, 잠금 해제 시도 이미지들로서 캡처된 패터닝된 조명 이미지들(예컨대, 깊이 맵 이미지들을 생성하는 데 사용되는 이미지들)로부터 획득될 수 있다(예컨대, 특징 벡터(256)들은 거리 데이터를 포함한다). 깊이 맵 이미지들이 3차원 데이터를 포함함에 따라, 패터닝된 조명 이미지들로부터 생성되는 깊이 맵 이미지들이 거리를 추정하는 데 더 정확할 수 있다. 따라서, 깊이 맵 이미지들로부터의 거리 데이터를 사용하는 것은 310에서 선택된 거리 범위에 대해 필요한 조정을 제공하는 데 유용할 수 있다. 예를 들어, 깊이 맵 이미지들로부터의 거리 데이터는 사용자의 얼굴이 이전 잠금해제 시도 이미지들에서의 선택된 거리 범위의 하한 또는 상한에 너무 가까웠는지를 평가하는 데 사용될 수 있다. 깊이 맵 이미지 거리 데이터는 이어서 프로세스(250)의 재개시에서 더 나은 매칭의 가능성을 증가시키기 위해 하한을 상승시키도록 그리고/또는 상한을 낮추도록 조정하는 데 사용될 수 있다.
일부 실시예들에서, 선택된 기준들 중 하나는 302에서 캡처된 게이트 이미지(들)에서의 폐색의 최소 값을 310에서 조정하였다. 예를 들어, 폐색의 최소 값이 감소될 수 있다(예컨대, 새로 캡처된 게이트 이미지들에서 더 적은 폐색이 허용될 수 있다). 일부 실시예들에서, 폐색의 최소 값은 선택된 기준들에 대해 본질적으로 0(폐색이 허용되지 않음)으로 감소될 수 있다. 폐색의 최소 값을 감소시키는 것은 잠금해제 시도 이미지들에서 캡처된 사용자의 얼굴에서의 특징들의 개수 및 추출된 대응하는 특징 벡터들의 개수를 증가시킬 수 있다. 증가된 개수의 특징 벡터들은 프로세스(250)의 재개시 동안 템플릿(220) 내의 특징 벡터들에 추출된 특징 벡터들(예컨대, 특징 벡터(256))을 매칭시키는 것의 정확도 및/또는 가능성을 증가시킬 수 있다.
일부 실시예들에서, 다른 선택된 기준들이 310에서 조정된다. 예를 들어, 사용자의 얼굴의 일 부분이 카메라의 시야에 있는 것에 대해, 요구되는 카메라의 시야에 필요한 사용자의 얼굴의 최소 부분이 증가될 수 있다. 사용자의 얼굴의 포즈에 대해, 얼굴의 피치, 요, 및/또는 롤에 대한 허용 가능한 레벨이 감소될 수 있다(예컨대, 정상 위치로부터의 더 작은 피치, 요, 및/또는 롤이 허용된다). 사용자의 주의에 대해, 주의에 대한 제한이 증가될 수 있다(예컨대, 최소 주의에 대한 허용오차가 증가될 수 있다). 노출에 대해, 이미지에서 허용되는 노출 범위가 감소될 수 있다.
일부 실시예들에서, 잠금해제 시도 이미지들이 템플릿(220)과 매칭하지 않고 프로세스(250)의 재개시가 구현되고 있기 때문에 프로세스(250)가 262에서 실패할 때 사용자는 피드백을 제공받는다. 피드백은 디바이스(100) 상에서 사용자에게 오디오 메시지, 시각적 메시지, 또는 다른 통지를 제공하는 것을 포함할 수 있다. 일부 실시예들에서, 깊이 맵 이미지들로부터 추정되는 카메라(102)와 사용자의 얼굴 사이의 거리가 사용자의 얼굴이 선택된 거리 범위의 하한 근처에 있었음을 나타내면, 사용자의 얼굴이 카메라에 너무 가까울 수 있고 사용자가 인증의 가능성을 증가시키기 위해 그의 얼굴을 카메라로부터 더 멀리 이동시킬 수 있다는 피드백이 제공될 수 있다. 사용자는 또한 일부 폐색이 검출되면 피드백을 수신할 수 있다. 그러한 피드백은 얼굴 및/또는 카메라가 폐색 또는 차단되지 않게 하도록 사용자에게 요구하는 것을 포함할 수 있다. 사용자의 부분 얼굴이 이미지의 프레임 또는 장면에서 검출되는 경우(예컨대, 얼굴의 이마, 턱, 좌측, 또는 우측의 부분들이 절단될 때) 부가의 피드백이 사용자에게 제공될 수 있다. 피드백은 이미지를 캡처하기 위해 프레임 또는 장면에서 사용자의 얼굴을 더 잘 위치시키도록 사용자에게 요구하는 것을 포함할 수 있다. 예를 들어, 사용자는 사용자의 머리를 프레임의 중심을 향해 이동시키도록 요구받을 수 있다.
프로세스(250)의 재개시를 위해 310에서 하나 이상의 선택된 기준을 조정하는 것은 사용자에게 더 만족스러운 사용자 경험을 제공할 수 있다. 사용자를 인증하기 위한 프로세스(250)의 재개시된 시도들(예컨대, 재시도 시도들)이 (디바이스(100)를 잠금해제하려고 시도하는 사용자가 인가된 사용자인 경우) 선택된 기준들에 더 엄격한 허용오차가 부과되면 더 높은 성공 가능성을 가질 수 있기 때문에 경험이 더 만족스러울 수 있다. 프로세스(250)에 대한 더 높은 성공 가능성을 제공하는 것은 사용자가 디바이스(100)를 잠금해제하기 위해 이차적인 인증 프로세스를 사용해야 하는 빈도수를 감소시킬 수 있다. 사용자는 또한 프로세스(250)의 자동화된 재시도 시도들로 디바이스(100)의 더 빠른 잠금해제를 경험할 수 있다. 이러한 인자들은 얼굴 인식 인증 프로세스에서 인가된 사용자의 만족도를 증가시킬 수 있어, 사용자를 위한 얼굴 인식 인증 프로세스의 유용성을 증가시킬 수 있다.
소정 실시예들에서, 본 명세서에서 설명된 하나 이상의 프로세스 단계는 비일시적 컴퓨터 판독가능 매체 상에 저장된 명령어들을 실행하는 하나 이상의 프로세서(예컨대, 컴퓨터 프로세서)에 의해 수행될 수 있다. 예를 들어, 도 4 및 도 7에 도시된, 프로세스(200) 및 프로세스(250)는 컴퓨터 판독가능 저장 매체(예컨대, 비일시적 컴퓨터 판독가능 저장 매체)에 프로그램 명령어들로서 저장된 명령어들을 실행하는 하나 이상의 프로세서에 의해 수행되는 하나 이상의 단계를 가질 수 있다.
도 8은 예시적인 컴퓨터 시스템(510)의 일 실시예의 블록 다이어그램을 도시한다. 예시적인 컴퓨터 시스템(510)은 본 명세서에서 설명된 하나 이상의 실시예를 구현하는 데 사용될 수 있다. 일부 실시예들에서, 컴퓨터 시스템(510)은 도 4 및 도 7에 도시된, 프로세스(200) 및 프로세스(250)와 같은 본 명세서에서 설명된 하나 이상의 실시예를 구현하도록 사용자에 의해 동작가능하다. 도 8의 실시예에서, 컴퓨터 시스템(510)은 프로세서(512), 메모리(514), 및 다양한 주변 디바이스들(516)을 포함한다. 프로세서(512)는 메모리(514) 및 주변 디바이스들(516)에 커플링된다. 프로세서(512)는 소프트웨어로 되어 있을 수 있는, 프로세스(200) 및/또는 프로세스(250)에 대한 명령어들을 포함하는, 명령어들을 실행하도록 구성된다. 다양한 실시예들에서, 프로세서(512)는 임의의 원하는 명령어 세트(예컨대, Intel Architecture-32(IA-32, x86이라고도 알려져 있음), 64 비트 확장들을 갖는 IA-32, x86-64, PowerPC, Sparc, MIPS, ARM, IA-64 등)를 구현할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(510)은 하나 초과의 프로세서를 포함할 수 있다. 더욱이, 프로세서(512)는 하나 이상의 프로세서 또는 하나 이상의 프로세서 코어를 포함할 수 있다.
프로세서(512)는 임의의 원하는 방식으로 메모리(514) 및 주변 디바이스들(516)에 커플링될 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(512)는 다양한 인터커넥트를 통해 메모리 (514) 및/또는 주변 디바이스들(516)에 커플링될 수 있다. 대안적으로 또는 부가적으로, 하나 이상의 브리지 칩이 프로세서(512), 메모리(514), 및 주변 디바이스들(516)을 커플링시키는 데 사용될 수 있다.
메모리(514)는 임의의 유형의 메모리 시스템을 포함할 수 있다. 예를 들어, 메모리(514)는 DRAM, 및 보다 상세하게는 DDR(double data rate) SDRAM, RDRAM 등을 포함할 수 있다. 메모리 컨트롤러는 메모리(514)에 인터페이싱하기 위해 포함될 수 있고, 그리고/또는 프로세서(512)는 메모리 컨트롤러를 포함할 수 있다. 메모리(514)는 사용 동안 프로세서(512)에 의해 실행될 명령어들, 사용 동안 프로세서에 의해 동작될 데이터 등을 저장할 수 있다.
주변 디바이스들(516)은 컴퓨터 시스템(510)에 포함되거나 그에 커플링될 수 있는 임의의 종류의 하드웨어 디바이스들(예컨대, 도 9에 도시된 컴퓨터 액세스가능 저장 매체(600)를 임의로 포함한, 저장 디바이스들, 비디오 하드웨어, 오디오 하드웨어와 같은 다른 입/출력(I/O) 디바이스들, 사용자 인터페이스 디바이스들, 네트워킹 하드웨어 등)을 나타낼 수 있다.
집적 회로 설계에 포함되는 (도 1에 도시된) 디바이스(100)를 나타내는 하나 이상의 데이터 구조 및 (도 4 및 도 7에 도시된) 프로세스(200) 및/또는 프로세스(250)를 나타내는 하나 이상의 코드 시퀀스를 포함하는 컴퓨터 액세스가능 저장 매체(600)의 일 실시예의 블록 다이어그램인 도 9를 이제 살펴본다. 각각의 코드 시퀀스는, 컴퓨터 내의 프로세서에 의해 실행될 때, 대응하는 코드 시퀀스에 대해 설명된 동작들을 구현하는 하나 이상의 명령어를 포함할 수 있다. 일반적으로 말하면, 컴퓨터 액세스가능 저장 매체는 명령어들 및/또는 데이터를 컴퓨터에 제공하기 위하여 사용 동안 컴퓨터에 의해 액세스가능한 임의의 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 액세스가능 저장 매체는, 자기 또는 광학 매체, 예컨대, 디스크(고정식 또는 이동식), 테이프, CD-ROM, DVD-ROM, CD-R, CD-RW, DVD-R, DVD-RW, 또는 블루레이(Blu-Ray)와 같은 비일시적 저장 매체들을 포함할 수 있다. 저장 매체들은, RAM(예를 들어, 동기식 동적 RAM(synchronous dynamic RAM; SDRAM), 램버스 DRAM(RDRAM), 정적 RAM(SRAM) 등), ROM, 또는 플래시 메모리와 같은 휘발성 또는 비휘발성 메모리 매체들을 추가로 포함할 수 있다. 저장 매체들은 저장 매체들이 명령어들/데이터를 제공하는 컴퓨터 내에 물리적으로 포함될 수 있다. 대안적으로, 저장 매체들은 컴퓨터에 접속될 수 있다. 예를 들어, 저장 매체들은 네트워크 부착형 스토리지와 같이, 네트워크 또는 무선 링크를 통해 컴퓨터에 접속될 수 있다. 저장 매체들은 범용 시리얼 버스(USB)와 같은 주변기기 인터페이스를 통해 접속될 수 있다. 일반적으로, 컴퓨터 액세스가능 저장 매체(600)는 비일시적 방식으로 데이터를 저장할 수 있고, 본 맥락에서 비일시적이란 신호 상에서 명령어들/데이터를 전송하지 않는 것을 지칭할 수 있다. 예를 들어, 비일시적 스토리지는 휘발성(그리고 전력 차단에 응답하여 저장된 명령어들/데이터를 상실할 수 있음) 또는 비휘발성일 수 있다.
본 명세서에서 설명된 실시예들의 다양한 양태들의 추가의 수정들 및 대안의 실시예들은 본 설명의 관점에서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 따라서, 본 설명은 예시적인 것으로서만 해석되어야 하며, 실시예들을 수행하는 일반적인 방식을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 교시하는 목적을 위한 것이다. 본 명세서에 도시되고 설명된 실시예들의 형태들이 현재 바람직한 실시예들로서 취해지는 것으로 이해되어야 한다. 요소들 및 재료들은 본 명세서에서 예시되고 설명된 것들을 대신할 수 있고, 부분들 및 프로세스들은 뒤바뀔 수 있으며, 실시예들의 소정 특징들은 독립적으로 활용될 수 있는데, 이들 모두는 본 설명의 이점을 얻은 후의 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백해지는 바와 같다. 이하의 청구범위의 사상 및 범위를 벗어나지 않으면서 본 명세서에서 설명된 요소들에서 변경들이 이루어질 수 있다.

Claims (20)

  1. 방법으로서,
    컴퓨터 프로세서 및 메모리를 포함하는 디바이스와 연관된 사용자 인터페이스 상에서, 사용자로부터 상기 디바이스에 대한 잠금해제 요청을 수신하는 단계;
    상기 잠금해제 요청을 수신하는 것에 응답하여, 상기 디바이스 상에 위치된 카메라를 사용하여 상기 사용자의 적어도 하나의 제1 이미지를 획득하는 단계;
    상기 적어도 하나의 제1 이미지를 평가하여 상기 적어도 하나의 제1 이미지 내의 상기 사용자의 얼굴이 하나 이상의 선택된 기준을 충족시키는지를 결정하는 단계;
    상기 적어도 하나의 제1 이미지 내의 상기 사용자의 상기 얼굴이 상기 하나 이상의 선택된 기준을 충족시킨다고 결정하는 것에 응답하여, 상기 디바이스 상에 위치된 상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 하나 이상의 제2 이미지를 획득하는 단계;
    얼굴 인식 인증 프로세스를 사용하여 상기 제2 이미지들을 평가하여 상기 사용자가 상기 디바이스의 인가된 사용자인지를 결정하는 단계;
    상기 사용자가 상기 얼굴 인식 인증 프로세스에 의해 상기 디바이스의 인가된 사용자가 아닌 것으로 결정되는 것에 응답하여,
    상기 선택된 기준들 중 적어도 하나를 조정하는 단계;
    상기 디바이스 상에 위치된 상기 카메라를 사용하여 상기 사용자의 적어도 하나의 제3 이미지를 획득하는 단계;
    상기 적어도 하나의 제3 이미지를 평가하여 상기 적어도 하나의 제3 이미지 내의 상기 사용자의 상기 얼굴이 상기 조정된 선택된 기준들을 충족시키는지를 결정하는 단계;
    상기 적어도 하나의 제3 이미지 내의 상기 사용자의 상기 얼굴이 상기 조정된 선택된 기준들을 충족시킨다고 결정하는 것에 응답하여, 상기 디바이스 상에 위치된 상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 하나 이상의 제4 이미지를 획득하는 단계; 및
    상기 얼굴 인식 인증 프로세스를 사용하여 상기 제4 이미지들을 평가하여 상기 사용자가 상기 디바이스의 상기 인가된 사용자인지를 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 제1 이미지를 평가하여 상기 적어도 하나의 제1 이미지 내의 상기 사용자의 상기 얼굴이 하나 이상의 선택된 기준을 충족시키는지를 결정하는 단계는,
    상기 적어도 하나의 제1 이미지를 인코딩하여 적어도 하나의 특징 벡터를 생성하는 단계 - 상기 특징 벡터는 상기 적어도 하나의 제1 이미지 내의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -; 및
    상기 적어도 하나의 특징 벡터를 평가하여 상기 적어도 하나의 제1 이미지 내의 상기 사용자의 상기 얼굴이 상기 하나 이상의 선택된 기준을 충족시키는지를 결정하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 제1 이미지에 대한 상기 선택된 기준들은 다음과 같은 기준들, 상기 사용자의 상기 얼굴의 최소 부분이 상기 카메라의 시야에 있는 것, 상기 얼굴의 포즈가 적절한 것, 상기 사용자의 상기 얼굴과 상기 카메라 사이의 거리가 선택된 거리 범위 내에 있는 것, 상기 사용자의 상기 얼굴이 최소 값 미만의 폐색(occlusion)을 갖는 것, 및 상기 사용자의 눈들이 감기지 않은 것 중 하나 이상을 포함하는, 방법.
  4. 제1항에 있어서, 상기 선택된 기준들은 상기 사용자의 상기 얼굴과 상기 카메라 사이의 거리가 선택된 거리 범위 내에 있는 것을 포함하고, 상기 선택된 기준들을 조정하는 단계는 상기 선택된 거리 범위를 감소시키는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 선택된 기준들은 상기 사용자의 상기 얼굴이 최소 값 미만의 폐색을 갖는 것을 포함하고, 상기 선택된 기준들을 조정하는 단계는 상기 선택된 기준들에서의 상기 폐색의 최소 값을 감소시키는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 적어도 하나의 제3 이미지 내의 상기 사용자의 상기 얼굴이 상기 조정된 선택된 기준들을 충족시키지 않는다고 결정하는 것에 응답하여,
    추가 제3 이미지들 중 적어도 하나가 상기 조정된 선택된 기준들을 충족시킬 때까지 상기 추가 제3 이미지들을 획득하고 평가하는 단계를 추가로 포함하는, 방법.
  7. 제1항에 있어서, 상기 얼굴 인식 인증 프로세스는,
    상기 제2 또는 제4 이미지들을 인코딩하여 적어도 하나의 특징 벡터를 생성하는 것 - 상기 특징 벡터는 상기 이미지들 내의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
    상기 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 기준 템플릿과 비교하여 매칭 점수를 획득하는 것; 및
    상기 매칭 점수가 잠금해제 임계치 초과인 경우 상기 사용자가 인증을 요구하는 적어도 하나의 동작을 상기 디바이스 상에서 수행하도록 인가하는 것을 포함하는, 방법.
  8. 제1항에 있어서, 상기 선택된 기준들 중 상기 적어도 하나를 자동으로 조정하고 상기 사용자 인터페이스를 통한 상기 사용자로부터의 입력 없이 상기 카메라를 사용하여 상기 사용자의 상기 적어도 하나의 제3 이미지를 획득하는 단계를 추가로 포함하는, 방법.
  9. 제1항에 있어서, 상기 사용자가 상기 얼굴 인식 인증 프로세스에 의해 상기 디바이스의 인가된 사용자가 아닌 것으로 결정되는 것에 응답하여 상기 사용자 인터페이스 상에서 상기 사용자에게 통지를 제공하는 단계를 추가로 포함하는, 방법.
  10. 디바이스로서,
    컴퓨터 프로세서;
    메모리;
    카메라;
    적외선 조명을 제공하는 적어도 하나의 조명기;
    상기 카메라 및 상기 조명기에 커플링된 회로부를 포함하고, 상기 회로부는,
    상기 디바이스를 잠금해제하라는 사용자로부터의 요청을 수신하는 것에 응답하여 상기 사용자의 적어도 하나의 제1 이미지를 획득하고;
    상기 적어도 하나의 제1 이미지를 평가하여 상기 적어도 하나의 제1 이미지 내의 상기 사용자의 얼굴이 하나 이상의 선택된 기준을 충족시키는지를 결정하며;
    상기 적어도 하나의 제1 이미지 내의 상기 사용자의 상기 얼굴이 상기 하나 이상의 선택된 기준을 충족시키는지를 결정하는 것에 응답하여 상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 하나 이상의 제2 이미지를 획득하고;
    상기 제2 이미지들에 대해 얼굴 인식 인증 프로세스를 동작시켜 상기 사용자가 상기 디바이스의 인가된 사용자인지를 결정하도록 구성되며;
    상기 사용자가 상기 얼굴 인식 인증 프로세스에 의해 상기 디바이스의 인가된 사용자가 아닌 것으로 결정되는 것에 응답하여, 상기 회로부는,
    상기 선택된 기준들 중 적어도 하나를 조정하고;
    상기 카메라를 사용하여 상기 사용자의 적어도 하나의 제3 이미지를 획득하며;
    상기 적어도 하나의 제3 이미지를 평가하여 상기 적어도 하나의 제3 이미지 내의 상기 사용자의 상기 얼굴이 상기 조정된 선택된 기준들을 충족시키는지를 결정하고;
    상기 적어도 하나의 제3 이미지 내의 상기 사용자의 상기 얼굴이 상기 조정된 선택된 기준들을 충족시키는지를 결정하는 것에 응답하여 상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 하나 이상의 제4 이미지를 획득하며;
    상기 제4 이미지들에 대해 상기 얼굴 인식 인증 프로세스를 동작시켜 상기 사용자가 상기 디바이스의 상기 인가된 사용자인지를 결정하도록 구성되는, 디바이스.
  11. 제10항에 있어서, 상기 적어도 하나의 조명기는 플러드 적외선 조명기(flood infrared illuminator) 및 패턴 적외선 조명기(pattern infrared illuminator)를 포함하는, 디바이스.
  12. 제10항에 있어서, 상기 디바이스 상의 사용자 인터페이스를 추가로 포함하고, 상기 사용자 인터페이스는 상기 디바이스를 잠금해제하라는 상기 요청을 수신하도록 구성되는, 디바이스.
  13. 제10항에 있어서, 상기 회로부의 일 부분은 상기 얼굴 인식 인증 프로세스가 실패했다는 신호를 제공하도록 구성되고, 상기 회로부의 다른 부분은 상기 신호를 수신하는 것에 응답하여 상기 선택된 기준들 중 적어도 하나를 조정하도록 구성되는, 디바이스.
  14. 제10항에 있어서, 상기 회로부는 상기 선택된 기준들 중 상기 적어도 하나를 자동으로 조정하고, 상기 사용자로부터의 입력 없이 상기 카메라를 사용하여 상기 사용자의 상기 적어도 하나의 제3 이미지를 자동으로 획득하도록 구성되는, 디바이스.
  15. 제10항에 있어서, 상기 디바이스 상의 디스플레이를 추가로 포함하고, 상기 회로부는 상기 사용자가 상기 얼굴 인식 인증 프로세스에 의해 상기 디바이스의 인가된 사용자가 아닌 것으로 결정되는 것에 응답하여 상기 디스플레이 상에서 상기 사용자에게 통지를 제공하도록 구성되는, 디바이스.
  16. 방법으로서,
    컴퓨터 프로세서 및 메모리를 포함하는 디바이스와 연관된 사용자 인터페이스 상에서, 사용자로부터 상기 디바이스에 대한 잠금해제 요청을 수신하는 단계;
    상기 잠금해제 요청을 수신하는 것에 응답하여, 상기 디바이스 상에 위치된 카메라를 사용하여 상기 사용자의 적어도 하나의 제1 이미지를 획득하는 단계;
    상기 사용자가 상기 디바이스의 인가된 사용자인지를 결정하기 위해 얼굴 인식 인증 프로세스를 사용하여 상기 적어도 하나의 제1 이미지를 평가하는 단계;
    상기 사용자가 상기 얼굴 인식 인증 프로세스에 의해 상기 디바이스의 인가된 사용자가 아닌 것으로 결정되는 것에 응답하여,
    상기 디바이스 상의 이미지들을 획득하기 위한 하나 이상의 선택된 기준을 조정하는 단계;
    상기 디바이스 상에 위치된 상기 카메라를 사용하여 상기 사용자의 적어도 하나의 제2 이미지를 획득하는 단계;
    상기 사용자가 상기 디바이스의 상기 인가된 사용자인지를 결정하기 위해 상기 얼굴 인식 인증 프로세스를 사용하여 상기 적어도 하나의 제2 이미지를 평가하는 단계; 및
    상기 사용자가 상기 인가된 사용자라고 결정하는 것에 응답하여 상기 디바이스를 잠금해제하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 상기 선택된 기준들은 상기 사용자의 상기 얼굴의 적어도 일부 부분이 상기 이미지에 있는 것을 포함하는, 방법.
  18. 제16항에 있어서, 상기 선택된 기준들은 상기 사용자의 상기 얼굴과 상기 카메라 사이의 거리가 선택된 거리 범위 내에 있는 것을 포함하고, 상기 선택된 기준들을 조정하는 단계는 상기 선택된 거리 범위를 감소시키는 단계를 포함하는, 방법.
  19. 제16항에 있어서, 상기 선택된 기준들은 상기 사용자의 상기 얼굴이 최소 값 미만의 폐색을 갖는 것을 포함하고, 상기 선택된 기준들을 조정하는 단계는 상기 선택된 기준들에서의 상기 폐색의 최소 값을 감소시키는 단계를 포함하는, 방법.
  20. 제16항에 있어서, 상기 얼굴 인식 인증 프로세스는,
    상기 제1 또는 제2 이미지들을 인코딩하여 적어도 하나의 특징 벡터를 생성하는 것 - 상기 특징 벡터는 상기 이미지들 내의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
    상기 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 기준 템플릿과 비교하여 매칭 점수를 획득하는 것; 및
    어느 한 상기 매칭 점수가 잠금해제 임계치 초과인 경우 상기 사용자가 인증을 요구하는 적어도 하나의 동작을 상기 디바이스 상에서 수행하도록 인가하는 것을 포함하는, 방법.
KR1020207033784A 2018-06-03 2019-05-21 얼굴 인식을 위한 자동 재개시 KR102535676B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862679847P 2018-06-03 2018-06-03
US62/679,847 2018-06-03
US16/141,084 2018-09-25
US16/141,084 US10303866B1 (en) 2018-06-03 2018-09-25 Automatic retries for facial recognition
PCT/US2019/033362 WO2019236285A1 (en) 2018-06-03 2019-05-21 Automatic retries for facial recognition

Publications (2)

Publication Number Publication Date
KR20210003862A true KR20210003862A (ko) 2021-01-12
KR102535676B1 KR102535676B1 (ko) 2023-05-22

Family

ID=66636186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033784A KR102535676B1 (ko) 2018-06-03 2019-05-21 얼굴 인식을 위한 자동 재개시

Country Status (5)

Country Link
US (2) US10303866B1 (ko)
EP (1) EP3785165B1 (ko)
KR (1) KR102535676B1 (ko)
CN (1) CN110555359B (ko)
WO (1) WO2019236285A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870666B (zh) * 2016-09-28 2020-12-29 腾讯科技（深圳）有限公司 一种终端控制方法及终端
US10990805B2 (en) * 2018-09-12 2021-04-27 Apple Inc. Hybrid mode illumination for facial recognition authentication
US11367305B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Obstruction detection during facial recognition processes
EP3651057B1 (fr) * 2018-11-09 2023-06-14 Tissot S.A. Procede d'authentification faciale d'un porteur d'une montre
US11023710B2 (en) * 2019-02-20 2021-06-01 Huawei Technologies Co., Ltd. Semi-supervised hybrid clustering/classification system
US20200272716A1 (en) * 2019-02-21 2020-08-27 Microsoft Technology Licensing, Llc Delegated authentication systems and techniques
US11558197B2 (en) * 2019-04-10 2023-01-17 Korea Institute Of Science And Technology Method for unlocking mobile device using authentication based on ear recognition and mobile device performing the same
CN111476195A (zh) * 2020-04-20 2020-07-31 安徽中科首脑智能医疗研究院有限公司 人脸检测方法、装置、机器人及计算机可读存储介质
CN111985298B (zh) * 2020-06-28 2023-07-25 百度在线网络技术（北京）有限公司 人脸识别样本收集方法和装置
CN111753783A (zh) * 2020-06-30 2020-10-09 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
US11068702B1 (en) * 2020-07-29 2021-07-20 Motorola Solutions, Inc. Device, system, and method for performance monitoring and feedback for facial recognition systems
US11945403B2 (en) 2021-01-11 2024-04-02 Ford Global Technologies, Llc Progressive lockout policy for deviceless vehicle access and remote lockout management interface
US20230050055A1 (en) * 2021-08-11 2023-02-16 Controlled Electronic Management Systems Limited Methods and systems for detecting a tailgating event at an access point controlled by an access control system
US20230057201A1 (en) * 2021-08-23 2023-02-23 Apple Inc. User Equipment Auto-Unlock Optimization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070081773A (ko) * 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
KR20140125078A (ko) * 2013-04-18 2014-10-28 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734067B2 (en) 2004-12-07 2010-06-08 Electronics And Telecommunications Research Institute User recognition system and method thereof
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置，個人識別方法
JP2007241500A (ja) * 2006-03-07 2007-09-20 Toshiba Corp 顔認証装置および顔認証方法
US20090258667A1 (en) * 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US8364971B2 (en) * 2009-02-26 2013-01-29 Kynen Llc User authentication system and method
CN102137077A (zh) * 2010-01-26 2011-07-27 凹凸电子（武汉）有限公司 访问控制系统和采用计算机系统控制访问权限的方法
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
US8913839B2 (en) 2011-09-27 2014-12-16 University Of North Carolina At Wilmington Demographic analysis of facial landmarks
US9081947B2 (en) 2011-12-27 2015-07-14 Intel Corporation Turing test based user authentication and user presence verification system, device, and method
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
US8831295B2 (en) * 2012-03-21 2014-09-09 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
US8411909B1 (en) * 2012-06-26 2013-04-02 Google Inc. Facial recognition
US8396265B1 (en) * 2012-06-26 2013-03-12 Google Inc. Facial recognition
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
US20150013949A1 (en) 2013-04-19 2015-01-15 Roger Arnot Heat-exchange apparatus for insertion into a storage tank, and mounting components therefor
US9928355B2 (en) 2013-09-09 2018-03-27 Apple Inc. Background enrollment and authentication of a user
JP5902661B2 (ja) 2013-09-30 2016-04-13 株式会社東芝 認証装置、認証システムおよび認証方法
US9576126B2 (en) 2014-02-13 2017-02-21 Apple Inc. Updating a template for a biometric recognition device
US9292728B2 (en) 2014-05-30 2016-03-22 Apple Inc. Electronic device for reallocating finger biometric template nodes in a set memory space and related methods
US9230152B2 (en) 2014-06-03 2016-01-05 Apple Inc. Electronic device for processing composite finger matching biometric data and related methods
JP2016081249A (ja) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US20160125223A1 (en) 2014-10-30 2016-05-05 Apple Inc. Electronic device including multiple speed and multiple accuracy finger biometric matching and related methods
CN104408343B (zh) 2014-11-09 2017-03-29 河南华辰智控技术有限公司 通过认证系统对生物特征识别的一种阈值计算方法
US9412169B2 (en) * 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
US9870456B2 (en) 2015-03-30 2018-01-16 Synaptics Incorporated Systems and methods for biometric authentication
KR101688168B1 (ko) * 2015-08-17 2016-12-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102131104B1 (ko) 2015-09-11 2020-07-07 아이베리파이 인크. 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합
US10192103B2 (en) 2016-01-15 2019-01-29 Stereovision Imaging, Inc. System and method for detecting and removing occlusions in a three-dimensional image
CN106843389B (zh) * 2017-01-09 2022-08-05 Oppo广东移动通信有限公司 电子装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070081773A (ko) * 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
KR20140125078A (ko) * 2013-04-18 2014-10-28 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법

Also Published As

Publication number Publication date
US20190370449A1 (en) 2019-12-05
US11693937B2 (en) 2023-07-04
CN110555359B (zh) 2023-09-12
US10303866B1 (en) 2019-05-28
KR102535676B1 (ko) 2023-05-22
EP3785165A1 (en) 2021-03-03
EP3785165B1 (en) 2024-04-03
WO2019236285A1 (en) 2019-12-12
CN110555359A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
KR102535676B1 (ko) 얼굴 인식을 위한 자동 재개시
US10430645B2 (en) Facial recognition operations based on pose
US10503992B2 (en) Process for updating templates used in facial recognition
US11163981B2 (en) Periocular facial recognition switching
US10719692B2 (en) Vein matching for difficult biometric authentication cases
US11367305B2 (en) Obstruction detection during facial recognition processes
US10769415B1 (en) Detection of identity changes during facial recognition enrollment process
US11113510B1 (en) Virtual templates for facial recognition
US10990805B2 (en) Hybrid mode illumination for facial recognition authentication
US20180336399A1 (en) Attention Detection
KR102564951B1 (ko) 얼굴 인식의 다수의 등록들
AU2020100218A4 (en) Process for updating templates used in facial recognition
US11935327B1 (en) On the fly enrollment for facial recognition

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant