KR20210003916A - Multiple registrations of facial recognition - Google Patents

Multiple registrations of facial recognition Download PDF

Info

Publication number
KR20210003916A
KR20210003916A KR1020207034847A KR20207034847A KR20210003916A KR 20210003916 A KR20210003916 A KR 20210003916A KR 1020207034847 A KR1020207034847 A KR 1020207034847A KR 20207034847 A KR20207034847 A KR 20207034847A KR 20210003916 A KR20210003916 A KR 20210003916A
Authority
KR
South Korea
Prior art keywords
user
template
registration
threshold
registration profile
Prior art date
Application number
KR1020207034847A
Other languages
Korean (ko)
Other versions
KR102564951B1 (en
Inventor
에슬람 에이. 모스타파
토르스텐 거노쓰
켈세이 와이. 호
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20210003916A publication Critical patent/KR20210003916A/en
Application granted granted Critical
Publication of KR102564951B1 publication Critical patent/KR102564951B1/en

Links

Images

Classifications

    • G06K9/00288
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06K9/00268
    • G06K9/00926
    • G06K9/481
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

카메라를 갖는 디바이스 상의 얼굴 인식 인증은 디바이스 상의 다수의 등록 프로파일들로 동작할 수 있다. 다수의 등록 프로파일들은 사용자의 상이한 외관들에 대한 별개의 프로파일들 및/또는 디바이스를 사용하도록 인가된 상이한 사용자들에 대한 별개의 프로파일들을 포함할 수 있다. 등록 프로파일들은 등록 프로세스가 상이한 등록 프로파일들 각각을 생성하도록 별개로 동작되는 등록 프로세스를 사용하여 생성될 수 있다. 얼굴 인식 인증 프로세스 동안, 사용자는 등록 프로파일들 중 적어도 하나에 대한 잠금해제 임계치를 초과하는, 사용자의 캡처된 이미지(들)에 대한 매칭 점수를 가짐으로써 디바이스를 잠금해제할 수 있다. 사용자는 다수의 등록 프로파일들에 대한 잠금해제 임계치를 초과하는 매칭 점수를 가질 수 있다. 사용자를 위해 디바이스를 잠금해제하는 각각의 등록 프로파일은 각각의 등록 프로파일에 대해 독립적으로 동작하는 템플릿 업데이트 프로세스를 사용하여 업데이트될 수 있다.Face recognition authentication on a device with a camera can operate with multiple registration profiles on the device. Multiple registration profiles may include separate profiles for different appearances of a user and/or separate profiles for different users authorized to use the device. Registration profiles may be created using a registration process in which the registration process is operated separately to create each of the different registration profiles. During the facial recognition authentication process, the user may unlock the device by having a matching score for the user's captured image(s) that exceeds the unlock threshold for at least one of the enrollment profiles. A user may have a matching score that exceeds the unlock threshold for multiple registration profiles. Each registration profile that unlocks the device for a user can be updated using a template update process that operates independently for each registration profile.

Description

얼굴 인식의 다수의 등록들Multiple registrations of facial recognition

본 명세서에 기술된 실시예들은 디바이스 상의 카메라에 의해 캡처된 이미지들에서의 얼굴 검출 및 인식을 위한 방법들 및 시스템들에 관한 것이다. 보다 구체적으로, 본 명세서에 기술된 실시예들은 얼굴 인식을 위한 다수의 프로파일들의 사용 및 디바이스의 사용 동안 프로파일들을 업데이트하기 위한 방법들에 관한 것이다.Embodiments described herein relate to methods and systems for face detection and recognition in images captured by a camera on a device. More specifically, embodiments described herein relate to the use of multiple profiles for facial recognition and methods for updating profiles during use of a device.

사용자들이 패스코드 또는 패스워드 인증에 대한 필요성 없이 그들의 디바이스들에 보다 용이하게 액세스할 수 있게 해주기 위해 생체 측정 인증 프로세스들이 보다 빈번하게 사용되고 있다. 생체 측정 인증 프로세스의 일 예는 지문 센서를 사용하는 지문 인증이다. 얼굴 인식은 디바이스의 인가된 사용자의 인증에 사용될 수 있는 다른 생체 측정 프로세스이다. 얼굴 인식 프로세스들은 일반적으로 이미지에서의 개인들을 식별하고 그리고/또는 이미지들에서의 개인들을 개인들의 데이터베이스와 비교하여 개인들의 얼굴들을 매칭시키는 데 사용된다.Biometric authentication processes are being used more frequently to allow users to more easily access their devices without the need for passcode or password authentication. An example of a biometric authentication process is fingerprint authentication using a fingerprint sensor. Facial recognition is another biometric process that can be used to authenticate an authorized user of a device. Facial recognition processes are generally used to identify individuals in an image and/or compare the individuals in the images to a database of individuals to match the faces of the individuals.

얼굴 인식을 사용하는 인증의 경우, 사용자의 얼굴 특징들이 변하여 사용자의 이미지들에 차이점들을 생성할 때에도 사용자가 얼굴 인식을 사용하여 디바이스에 계속 액세스할 수 있도록, 얼굴 인식 시스템은 일반적으로 시간 경과에 따른 인가된 사용자의 얼굴 특징들의 변화들에 적응하려고 애쓴다. 예를 들어, 사용자의 얼굴 특징들은 수염 변화들, 이발들(haircuts), 체중 증가/감소, 및/또는 노화로 인해 시간 경과에 따라 변할 수 있다.In the case of authentication using facial recognition, a facial recognition system is generally used over time so that the user can still access the device using facial recognition even when the user's facial features change and create differences in the user's images It tries to adapt to changes in the facial features of the authorized user. For example, the user's facial features may change over time due to beard changes, haircuts, weight gain/loss, and/or aging.

디바이스 상에 다수의(2 개 이상의) 등록 프로파일들을 허용하는 디바이스에 대한 요구가 또한 있을 수 있다. 일부 경우들에서, 사용자가 2 개 이상의 구별되는(또는 다양한) 외관 용모들을 가지면, 다수의 등록 프로파일들이 요구될 수 있다. 구별되는 외관 용모들은, 예를 들어, 안경을 착용하는 것 대비 안경을 착용하지 않는 것, 턱수염이 있는 얼굴을 갖는 것 대비 면도된 얼굴을 갖는 것, 및/또는 짙은 화장을 한 얼굴 대비 화장하지 않은 얼굴로 구별되는 외관들을 포함할 수 있다. 부가적으로, 사용자가 얼굴 인식을 사용하여 디바이스에 액세스하는 것보다 더 많은 것을 갖는 것이 요구되면, 다수의 등록 프로파일들이 활용될 수 있다.There may also be a need for a device that allows multiple (two or more) subscription profiles on the device. In some cases, if the user has two or more distinct (or various) appearance features, multiple registration profiles may be required. Distinguishing appearance features include, for example, not wearing glasses versus wearing glasses, having a shaved face versus having a bearded face, and/or having a face with dark makeup versus a face without makeup. It may include appearances that are distinguished by a face. Additionally, if a user is required to have more than to access the device using facial recognition, multiple enrollment profiles may be utilized.

그러나, 얼굴 인식 시스템은, 얼굴 인식 시스템이 상이한 등록 프로파일들 각각에서 사용자(들) 외관의 변화들에 적응할 수 있게 하면서 다수의 등록 프로파일들의 사용으로 안전하게 유지될 필요가 있다. 따라서, 얼굴 인식 시스템은 변화들에 적응할 필요가 있으면서, 또한 차이들이 특정 등록 프로파일에 대한 변화들로서 인식되는 것을 보장해야 한다.However, the facial recognition system needs to be kept secure with the use of multiple registration profiles while allowing the facial recognition system to adapt to changes in the user(s) appearance in each of the different registration profiles. Thus, the facial recognition system needs to adapt to the changes, while also ensuring that differences are recognized as changes to a particular registration profile.

다수의 등록 프로파일들이 카메라를 갖는 디바이스 상에서의 얼굴 인식 인증에 사용될 수 있다. 등록 프로파일들은 디바이스를 사용하도록 인가된 사용자 및/또는 상이한 사용자들의 상이한 외관들에 대한 프로파일들을 포함할 수 있다. 디바이스 상의 각각의 등록 프로파일에 대한 템플릿들을 생성하기 위해 등록 프로세스가 사용될 수 있다.Multiple registration profiles can be used for facial recognition authentication on a device with a camera. Registration profiles may include profiles for different appearances of different users and/or a user authorized to use the device. The registration process can be used to create templates for each registration profile on the device.

사용자가 얼굴 인식 인증을 사용하여 디바이스에 대한 액세스를 획득하려고 시도할 때, 사용자의 캡처된 이미지(들)로부터의 특징들이 디바이스 상의 등록 프로파일들 각각과 비교될 수 있다. 사용자는 얼굴 인식 인증 프로세스에 대한 잠금해제 임계치를 초과하는 등록 프로파일들 중 적어도 하나와의 매칭 점수를 가짐으로써 디바이스에 대한 액세스를 획득할 수 있다. 디바이스를 잠금해제하는 데 사용되는 등록 프로파일에 대한 템플릿들은 템플릿 업데이트 프로세스를 사용하여 사용자의 캡처된 이미지(들)로부터의 특징들로 업데이트될 수 있다. 사용자가 다수의 등록 프로파일들에 대한 잠금해제 임계치 초과의 매칭 점수를 가지면, 각각의 등록 프로파일들에서의 템플릿들이 디바이스 상에서 병렬로 동작하는 별개의 템플릿 프로세스들을 사용하여 업데이트될 수 있다. 따라서, 각각의 등록 프로파일에 대한 템플릿들은 등록 프로파일에 대한 사용자의 특징들이 시간에 따라 변함에 따라 디바이스에 의해 업데이트될 수 있다.When a user attempts to gain access to a device using facial recognition authentication, features from the user's captured image(s) may be compared to each of the enrollment profiles on the device. The user may gain access to the device by having a matching score with at least one of the registration profiles exceeding the unlock threshold for the facial recognition authentication process. Templates for the registration profile used to unlock the device can be updated with features from the user's captured image(s) using a template update process. If the user has a matching score above the unlock threshold for multiple registration profiles, the templates in each of the registration profiles can be updated using separate template processes operating in parallel on the device. Thus, the templates for each registration profile can be updated by the device as the user's characteristics for the registration profile change over time.

본 명세서에 개시되는 실시예들의 방법들 및 장치의 특징들 및 이점들은 첨부 도면과 함께 취해질 때 본 명세서에 개시되는 실시예들에 따른 현재로서는 바람직하지만 그럼에도 불구하고 예시적인 실시예들에 대한 하기의 상세한 설명을 참조하면 보다 완전하게 이해될 것이다.
도 1은 카메라를 포함하는 디바이스의 실시예의 표현을 도시한다.
도 2는 카메라의 실시예의 표현을 도시한다.
도 3은 디바이스 상의 프로세서의 실시예의 표현을 도시한다.
도 4는 디바이스의 인가된 사용자에 대한 이미지 등록 프로세스의 실시예의 플로차트를 도시한다.
도 5는 등록 프로세스 이후의 특징 벡터들을 갖는 특징 공간의 실시예의 표현을 도시한다.
도 6은 디바이스의 메모리에서 등록 프로파일에 대한 템플릿 공간의 실시예의 표현을 도시한다.
도 7은 디바이스 상의 다수의 등록 프로파일들을 등록하는 실시예의 플로차트를 도시한다.
도 8은 디바이스의 메모리의 2 개의 템플릿 공간들의 실시예의 표현을 도시한다.
도 9는 얼굴 인식 인증 프로세스의 실시예의 플로차트를 도시한다.
도 10은 템플릿 업데이트 프로세스의 실시예의 플로차트를 도시한다.
도 11은 특징 공간으로서 표현되는 템플릿 공간의 실시예의 표현을 도시한다.
도 12는 템플릿 업데이트 서브프로세스의 실시예의 플로차트를 도시한다.
도 13은 템플릿 업데이트 프로세스의 부가 실시예의 플로차트를 도시한다.
도 14는 특징 공간으로서 표현되는 템플릿 공간의 부가 실시예의 표현을 도시한다.
도 15는 다수의 등록 프로파일들과 함께 사용하기 위한 얼굴 인식 인증 프로세스의 실시예의 플로차트를 도시한다.
도 16은 잠금 프로토콜의 실시예의 플로차트를 도시한다.
도 17은 2 세트의 동적 템플릿들을 갖는 템플릿 공간의 실시예의 표현을 도시한다.
도 18은 다수의 등록 프로파일들과 함께 사용하기 위한 얼굴 인식 인증 프로세스의 실시예의 플로차트를 도시한다.
도 19는 잠금 프로토콜의 다른 실시예의 플로차트를 도시한다.
도 20은 잠금 프로토콜의 또 다른 실시예의 플로차트를 도시한다.
도 21은 예시적인 컴퓨터 시스템의 일 실시예의 블록 다이어그램을 도시한다.
도 22는 컴퓨터 액세스가능 저장 매체의 일 실시예의 블록 다이어그램을 도시한다.
본 개시내용에 기술된 실시예들은 다양한 수정들 및 대안적인 형태들을 허용할 수 있지만, 본 개시내용의 특정 실시예들이 도면들에 예로서 도시되고, 본 명세서에서 상세히 기술될 것이다. 그러나, 그에 대한 도면들 및 상세한 설명은 실시예들을 개시된 특정 형태로 제한하는 것으로 의도되는 것이 아니라, 그와는 반대로, 의도는 첨부된 청구범위의 사상 및 범주 내에 속한 모든 수정들, 등가물들 및 대안들을 커버하기 위한 것임을 이해하여야 한다. 본 명세서에서 사용되는 표제들은 오직 구성 목적들을 위한 것이며 설명의 범위를 제한하기 위해 사용되는 것으로 의도되지 않는다. 본 출원 전반에 걸쳐 사용되는 바와 같이, "일 수 있다(may)"라는 단어는 의무적인 의미(즉, "이어야만 한다(must)"를 의미)라기보다 오히려 허용의 의미(즉, "~에 대해 가능성을 갖는다"는 의미)로 사용된다. 유사하게, "포함하다(include, includes)" 및 "포함하는(including)"이라는 단어들은, 포함하지만 이로 제한되지 않음을 의미한다.
다양한 유닛들, 회로들 또는 다른 컴포넌트들이 태스크 또는 태스크들을 수행하도록 "구성되는 것"으로 설명될 수 있다. 그러한 맥락들에서, "~하도록 구성된"은 동작 동안에 태스크 또는 태스크들을 수행하는 "회로부를 갖는"을 일반적으로 의미하는 구조의 광의의 설명이다. 그와 같이, 유닛/회로/컴포넌트는 유닛/회로/컴포넌트가 현재 온(on) 상태가 아닐 시에도 태스크를 수행하도록 구성될 수 있다. 일반적으로, "~하도록 구성된"에 대응하는 구조를 형성하는 회로부는 동작을 구현하도록 실행가능한 프로그램 명령어들을 저장하는 하드웨어 회로들 및/또는 메모리를 포함할 수 있다. 메모리는 정적 또는 동적 랜덤 액세스 메모리와 같은 휘발성 메모리 및/또는 광학 또는 자기 디스크 스토리지, 플래시 메모리, 프로그래밍가능 판독 전용 메모리들 등과 같은 비휘발성 메모리를 포함할 수 있다. 하드웨어 회로들은 조합 로직 회로부, 플롭들(flops), 레지스터들(registers), 래치들(latchs) 등과 같은 클록드 저장 디바이스들(clocked storage devices), 유한 상태 머신들, 정적 랜덤 액세스 메모리 또는 임베디드 동적 랜덤 액세스 메모리와 같은 메모리, 맞춤 설계된 회로부, 프로그래밍가능 로직 어레이들 등의 임의의 조합을 포함할 수 있다. 유사하게, 다양한 유닛들/회로들/컴포넌트들은 설명의 편의를 위해 태스크 또는 태스크들을 수행하는 것으로서 설명될 수 있다. 그러한 설명은 "~하도록 구성된"이라는 문구를 포함하는 것으로 해석되어야 한다. 하나 이상의 태스크를 수행하도록 구성된 유닛/회로/컴포넌트를 언급하는 것은 그 유닛/회로/컴포넌트에 대해 35 U.S.C. §112 (f) 해석을 적용하지 않는 것으로 명확히 의도된다.
실시예에서, 본 개시내용에 따른 하드웨어 회로들은 Verilog 또는 VHDL과 같은 하드웨어 디스크립션 언어(hardware description language; HDL)로 회로의 디스크립션을 코딩함으로써 구현될 수 있다. HDL 디스크립션은 주어진 집적 회로 제조 기술을 위해 설계된 셀들의 라이브러리에 대해 합성될 수 있고, 타이밍, 전력 및 다른 이유들로 인해 수정되어 최종 설계 데이터베이스를 생성할 수 있으며, 이는 파운드리(foundry)로 전송되어 마스크들을 생성하고 궁극적으로 집적 회로를 생성할 수 있다. 일부 하드웨어 회로들 또는 그의 부분들은 또한 회로도 편집기(schematic editor)로 맞춤 설계될 수 있고 합성된 회로부와 함께 집적 회로 설계 내로 캡처될 수 있다. 집적 회로는 트랜지스터들을 포함할 수 있고, 다른 회로 요소들(예컨대, 커패시터들, 저항기들, 인덕터들 등과 같은 수동 요소들) 및 트랜지스터들과 회로 요소들 사이의 인터커넥트를 추가로 포함할 수 있다. 일부 실시예들은 하드웨어 회로들을 구현하기 위해 함께 커플링된 다수의 집적 회로들을 구현할 수 있고 그리고/또는 일부 실시예들에서는 이산 요소들이 사용될 수 있다.
본 개시내용의 범위는, 본 명세서에서 다뤄진 문제점들 중 임의의 것 또는 전부를 완화시키든 아니든, (명시적으로 또는 묵시적으로) 본 명세서에 개시된 임의의 특징 또는 특징들의 조합, 또는 그의 임의의 일반화를 포함한다. 따라서, 특징들의 임의의 그러한 조합에 대해 본 출원(또는 그에 대한 우선권을 주장하는 출원)의 심사 동안에 새로운 청구범위가 작성될 수 있다. 상세하게는, 첨부된 청구범위를 참조하면, 종속 청구항들로부터의 특징들은 독립 청구항들의 특징들과 조합될 수 있으며, 각자의 독립 청구항들로부터의 특징들은 첨부된 청구범위에 열거된 특정 조합들로 조합될 수 있을 뿐 아니라 임의의 적절한 방식으로 조합될 수 있다.
The features and advantages of the methods and apparatus of the embodiments disclosed herein are preferred at the present time according to the embodiments disclosed herein when taken in conjunction with the accompanying drawings, but nonetheless the following of exemplary embodiments. It will be more fully understood with reference to the detailed description.
1 shows a representation of an embodiment of a device including a camera.
2 shows a representation of an embodiment of a camera.
3 shows a representation of an embodiment of a processor on a device.
4 shows a flowchart of an embodiment of an image registration process for an authorized user of a device.
5 shows a representation of an embodiment of a feature space with feature vectors after the registration process.
6 shows an embodiment representation of a template space for a registration profile in the device's memory.
7 shows a flowchart of an embodiment of registering multiple registration profiles on a device.
8 shows a representation of an embodiment of two template spaces of the device's memory.
9 shows a flowchart of an embodiment of a face recognition authentication process.
10 shows a flowchart of an embodiment of a template update process.
11 shows a representation of an embodiment of a template space represented as a feature space.
12 shows a flowchart of an embodiment of a template update subprocess.
13 shows a flowchart of an additional embodiment of the template update process.
14 shows a representation of an additional embodiment of a template space expressed as a feature space.
15 shows a flowchart of an embodiment of a facial recognition authentication process for use with multiple registration profiles.
16 shows a flowchart of an embodiment of a locking protocol.
17 shows a representation of an embodiment of a template space with two sets of dynamic templates.
18 shows a flowchart of an embodiment of a facial recognition authentication process for use with multiple registration profiles.
19 shows a flowchart of another embodiment of the locking protocol.
20 shows a flowchart of another embodiment of the locking protocol.
21 shows a block diagram of one embodiment of an exemplary computer system.
22 shows a block diagram of one embodiment of a computer-accessible storage medium.
While the embodiments described in this disclosure may allow various modifications and alternative forms, certain embodiments of the disclosure are shown by way of example in the drawings and will be described in detail herein. However, the drawings and detailed description thereof are not intended to limit the embodiments to the specific form disclosed, on the contrary, the intention is to all modifications, equivalents and alternatives falling within the spirit and scope of the appended claims. It is to be understood that it is intended to cover them. The headings used in this specification are for constitutional purposes only and are not intended to be used to limit the scope of the description. As used throughout this application, the word "may" is not an obligatory meaning (ie, meaning "must"), but rather a meaning of permissive (ie, "for It is used as "to have a possibility"). Similarly, the words "include, includes" and "including" are meant to include, but are not limited to.
Various units, circuits or other components may be described as being “configured” to perform a task or tasks. In such contexts, “configured to” is a broad description of a structure that generally means “having circuitry” to perform a task or tasks during operation. As such, the unit/circuit/component may be configured to perform a task even when the unit/circuit/component is not currently in an on state. In general, a circuit portion forming a structure corresponding to "configured to" may include hardware circuits and/or memory that store executable program instructions to implement an operation. The memory may include volatile memory such as static or dynamic random access memory and/or non-volatile memory such as optical or magnetic disk storage, flash memory, programmable read only memories, and the like. Hardware circuits include combinatorial logic circuitry, clocked storage devices such as flops, registers, latches, etc., finite state machines, static random access memory or embedded dynamic random Memory such as access memory, custom designed circuitry, programmable logic arrays, and the like. Similarly, various units/circuits/components may be described as performing a task or tasks for convenience of description. Such description is to be construed as including the phrase "configured to". Reference to a unit/circuit/component configured to perform one or more tasks is expressly intended not to apply the 35 USC §112(f) interpretation to that unit/circuit/component.
In an embodiment, hardware circuits according to the present disclosure may be implemented by coding the description of the circuit in a hardware description language (HDL) such as Verilog or VHDL. HDL descriptions can be synthesized against a library of cells designed for a given integrated circuit manufacturing technique and modified for timing, power and other reasons to create a final design database, which can be sent to the foundry and masked. And ultimately create an integrated circuit. Some hardware circuits, or portions thereof, can also be custom designed with a schematic editor and captured into an integrated circuit design along with the synthesized circuit portion. The integrated circuit may include transistors, and may further include other circuit elements (eg, passive elements such as capacitors, resistors, inductors, etc.) and interconnects between the transistors and the circuit elements. Some embodiments may implement multiple integrated circuits coupled together to implement hardware circuits and/or discrete elements may be used in some embodiments.
The scope of this disclosure is to (expressly or implicitly) any feature or combination of features disclosed herein, or any generalization thereof, whether or not alleviating any or all of the problems addressed herein. Includes. Accordingly, new claims may be drawn up during examination of this application (or an application claiming priority thereto) for any such combination of features. Specifically, with reference to the appended claims, features from dependent claims may be combined with features of independent claims, and features from respective independent claims are in specific combinations listed in the appended claims. Not only can they be combined, but they can be combined in any suitable way.

본 명세서는 "일 실시예" 또는 "실시예"에 대한 언급들을 포함한다. 본 명세서에서 명시적으로 부인하지 않는다면, 특징들의 임의의 조합을 포함하는 실시예들이 일반적으로 고려되더라도, "일 실시예에서" 또는 "실시예에서"라는 문구들이 나타난다고 해서 반드시 동일한 실시예를 지칭하지는 않는다. 특정의 특징들, 구조들 또는 특성들이 본 개시내용과 일관성을 유지하는 임의의 적합한 방식으로 조합될 수 있다.This specification includes references to “one embodiment” or “an embodiment”. Unless expressly disclaimed herein, although embodiments including any combination of features are generally contemplated, the appearances of the phrases “in one embodiment” or “in an embodiment” necessarily refer to the same embodiment. I don't. Certain features, structures, or characteristics can be combined in any suitable manner that is consistent with the present disclosure.

본 명세서에 기술된 바와 같이, 본 기술의 일 태양은, 디바이스들에 대한 동작 및 액세스를 개선하기 위해 다양한 소스들로부터 입수가능한 데이터를 수집하고 사용하는 것이다. 본 개시내용은, 일부 경우들에 있어서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하는 데 사용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 이미지 데이터(예컨대, 사용자의 이미지들로부터의 데이터), 인구통계 데이터, 위치-기반 데이터, 전화 번호들, 이메일 주소들, 집 주소들, 또는 임의의 다른 식별 정보를 포함할 수 있다. 이미지 데이터의 경우, 개인 정보 데이터는 이미지들 자체가 아니라 사용자의 이미지들로부터의 데이터만을 포함할 수 있다.As described herein, one aspect of the technology is to collect and use data available from various sources to improve operation and access to devices. The present disclosure contemplates that in some cases, such collected data may include personal information data that may be used to uniquely identify, contact, or locate a particular individual. Such personal data may include image data (e.g., data from images of a user), demographic data, location-based data, phone numbers, email addresses, home addresses, or any other identifying information. have. In the case of image data, personal information data may include only data from images of a user, not images themselves.

본 개시내용은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 얼굴 인식을 이용하여 디바이스들을 잠금해제 및/또는 인가하는 것을 제어하는 데 사용될 수 있다. 따라서, 그러한 개인 정보 데이터의 이용은 디바이스들에 대한 액세스의 계산된 제어를 가능하게 한다. 게다가, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 이용들이 또한 본 개시내용에 의해 고려된다.The present disclosure recognizes that the use of such personal information data in the present technology may be used to benefit users. For example, personal information data can be used to control unlocking and/or authorizing devices using facial recognition. Thus, the use of such personal information data enables calculated control of access to devices. In addition, other uses for personal information data that benefit the user are also contemplated by the present disclosure.

본 개시내용은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 이용을 책임지고 있는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 추가로 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 사용해야 한다. 예를 들어, 얼굴 인식을 사용하여 디바이스들을 잠금해제 및/또는 인가하는 경우에, 사용자들로부터의 개인 정보는 엔티티의 적법하고 합리적인 사용들을 위해 수집되어야 하는데, 그러한 사용들은 디바이스들의 동작에만 해당되고 그 적법한 사용들을 벗어나서 공유 또는 판매되지 않기 때문이다. 또한, 그러한 수집은 사용자들의 사전 동의를 수신한 후에만 발생해야 하며, 개인 정보 데이터는 개인 정보가 수집된 디바이스들 상에서 안전하게 유지되어야 한다. 추가로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취할 것이다. 추가로, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다.The present disclosure further contemplates that entities responsible for the collection, analysis, disclosure, transfer, storage, or other use of such personal information data will comply with well-established privacy policies and/or privacy practices. In particular, such entities should implement and continue to use privacy policies and practices that are generally perceived as meeting or exceeding industrial or administrative requirements for keeping personal data data private and secure. For example, in the case of using facial recognition to unlock and/or authorize devices, personal information from users should be collected for legitimate and reasonable uses of the entity, such uses being specific to the operation of the devices and Because they are not shared or sold beyond legitimate uses. In addition, such collection should occur only after receiving the users' prior consent, and personal information data should be kept secure on the devices for which personal information was collected. Additionally, such entities will take any necessary steps to secure and secure access to such personal information data and ensure that others with access to personal information data adhere to their privacy policies and procedures. Additionally, such entities may themselves be evaluated by third parties to demonstrate their adherence to widely recognized privacy policies and practices.

전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있음을 고려한다. 예를 들어, 본 기술은 사용자들이 서비스들을 위한 등록(registration) 동안의 개인 정보 데이터의 수집에의 참여의 "옵트 인(opt in)" 또는 "옵트 아웃(opt out)"을 선택할 수 있게 해주도록 구성될 수 있다.Notwithstanding the foregoing, the present disclosure also contemplates embodiments in which users selectively block the use of, or access to, personal information data. That is, the present disclosure contemplates that hardware and/or software elements may be provided to prevent or block access to such personal information data. For example, the technology allows users to choose to “opt in” or “opt out” of participation in the collection of personal information data during registration for services. Can be configured.

도 1은 카메라를 포함하는 디바이스의 실시예의 표현을 도시한다. 소정 실시예들에서, 디바이스(100)는 카메라(102), 프로세서(104), 메모리(106), 및 디스플레이(108)를 포함한다. 디바이스(100)는, 일부 경우들에서, 손에 쥐어질(handheld) 정도로 충분히 작을 수 있는(따라서 또한 핸드헬드 컴퓨터 또는 단순히 핸드헬드라고도 흔히 알려져 있는), 소형 컴퓨팅 디바이스일 수 있다. 소정 실시예들에서, 디바이스(100)는, 모바일 또는 휴대용이며 WLAN 통신을 사용하여 무선 통신들을 수행하는, 다양한 유형들의 컴퓨터 시스템 디바이스들 중 임의의 것이다. 모바일 디바이스들의 예들은 모바일 전화기들 또는 스마트 폰들, 및 태블릿 컴퓨터들을 포함한다. 다양한 다른 유형들의 디바이스들은, 그들이 랩톱 컴퓨터들, 휴대용 게이밍 디바이스들, 휴대용 인터넷 디바이스들, 및 다른 핸드헬드 디바이스들은 물론, 스마트 워치들, 스마트 안경들, 헤드폰들, 펜던트들, 이어피스들 등과 같은 웨어러블 디바이스들과 같은, 무선 또는 RF 통신 능력들(예컨대, Wi-Fi, 셀룰러, 및/또는 블루투스)을 포함한다면, 이 카테고리에 속할 수 있다. 일반적으로, 용어 "모바일 디바이스"는, 사용자에 의해 용이하게 이송되고, 예를 들어, WLAN, Wi-Fi, 셀룰러, 및/또는 블루투스를 사용하여 무선 통신을 할 수 있는 임의의 전자, 컴퓨팅, 및/또는 통신 디바이스(또는 디바이스들의 조합)를 포함하도록 넓게 정의될 수 있다. 소정 실시예들에서, 디바이스(100)는 프로세서(104), 메모리(106), 및 디스플레이(108)를 갖는 사용자에 의해 사용되는 임의의 디바이스를 포함한다. 디스플레이(108)는, 예를 들어, LCD 스크린 또는 터치스크린일 수 있다. 일부 실시예들에서, 디스플레이(108)는 디바이스(100)를 위한 사용자 입력 인터페이스를 포함한다(예컨대, 디스플레이는 사용자를 위한 대화형 입력을 가능하게 해준다).1 shows a representation of an embodiment of a device including a camera. In certain embodiments, device 100 includes camera 102, processor 104, memory 106, and display 108. Device 100 may, in some cases, be a small computing device, which in some cases may be small enough to be handheld (thus also commonly known as a handheld computer or simply handheld). In certain embodiments, device 100 is any of various types of computer system devices that are mobile or portable and perform wireless communications using WLAN communication. Examples of mobile devices include mobile phones or smart phones, and tablet computers. A variety of different types of devices include wearables such as smart watches, smart glasses, headphones, pendants, earpieces, as well as laptop computers, portable gaming devices, portable Internet devices, and other handheld devices. If it includes wireless or RF communication capabilities (eg, Wi-Fi, cellular, and/or Bluetooth), such as devices, it may fall into this category. In general, the term “mobile device” refers to any electronic, computing, and/or electronic device that is easily transported by a user and capable of wireless communication using, for example, WLAN, Wi-Fi, cellular, and/or Bluetooth. /Or can be broadly defined to include a communication device (or combination of devices). In certain embodiments, device 100 includes a processor 104, a memory 106, and any device used by a user having a display 108. Display 108 may be, for example, an LCD screen or a touch screen. In some embodiments, display 108 includes a user input interface for device 100 (eg, the display enables interactive input for a user).

카메라(102)는 디바이스(100)의 외부 환경의 이미지들을 캡처하는 데 사용될 수 있다. 소정 실시예들에서, 카메라(102)는 디스플레이(108)의 전방의 이미지들을 캡처하도록 위치된다. 카메라(102)는 사용자가 디스플레이(108)와 상호작용하는 동안 사용자의 이미지들(예컨대, 사용자의 얼굴)을 캡처하도록 위치될 수 있다. 도 2는 카메라(102)의 실시예의 표현을 도시한다. 소정 실시예들에서, 카메라(102)는 디지털 이미지들을 캡처하기 위한 하나 이상의 렌즈 및 하나 이상의 이미지 센서(103)를 포함한다. 카메라(102)에 의해 캡처되는 디지털 이미지들은, 예를 들어, 스틸 이미지들, 비디오 이미지들, 및/또는 프레임별(frame-by-frame) 이미지들을 포함할 수 있다.Camera 102 may be used to capture images of the external environment of device 100. In certain embodiments, camera 102 is positioned to capture images in front of display 108. The camera 102 may be positioned to capture images of the user (eg, the user's face) while the user interacts with the display 108. 2 shows a representation of an embodiment of the camera 102. In certain embodiments, camera 102 includes one or more lenses and one or more image sensors 103 for capturing digital images. Digital images captured by camera 102 may include, for example, still images, video images, and/or frame-by-frame images.

소정 실시예들에서, 카메라(102)는 이미지 센서(103)를 포함한다. 이미지 센서(103)는, 예를 들어, 센서들의 어레이일 수 있다. 센서 어레이 내의 센서들은 적외선 이미지들(IR) 또는 다른 비-가시 전자기 방사선을 캡처하기 위해 CCD(charge coupled device) 및/또는 CMOS(complementary metal oxide semiconductor) 센서 요소들을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 카메라(102)는 다수의 유형들의 이미지들을 캡처하기 위해 하나 초과의 이미지 센서를 포함한다. 예를 들어, 카메라(102)는 IR 센서들 및 RGB(적색, 녹색, 및 청색)센서들 둘 다를 포함할 수 있다. 소정 실시예들에서, 카메라(102)는 이미지 센서(103)에 의해 검출되는 상이한 유형들의 광으로 표면들(또는 피사체들)을 조명하기 위한 조명기들(105)을 포함한다. 예를 들어, 카메라(102)는 가시 광을 위한 조명기(예컨대, 플래시 조명기), RGB 광을 위한 조명기들, 및/또는 적외광을 위한 조명기들(예컨대, 플러드 IR 소스 및 스페클 패턴 프로젝터)을 포함할 수 있다. 일부 실시예들에서, 플러드 IR 소스 및 스페클 패턴 프로젝터는 다른 파장들의 광(예컨대, 적외선이 아님)이다. 소정 실시예들에서, 조명기들(105)은 VCSEL들(vertical-cavity surface-emitting lasers)과 같은, 그러나 이로 제한되지 않는 광 소스들의 어레이를 포함한다. 일부 실시예들에서, 이미지 센서들(103) 및 조명기들(105)은 단일 칩 패키지에 포함된다. 일부 실시예들에서, 이미지 센서들(103) 및 조명기들(105)은 별개의 칩 패키지들 상에 위치된다.In certain embodiments, camera 102 includes an image sensor 103. The image sensor 103 may be an array of sensors, for example. The sensors in the sensor array may include, but are not limited to, charge coupled device (CCD) and/or complementary metal oxide semiconductor (CMOS) sensor elements to capture infrared images (IR) or other non-visible electromagnetic radiation. Does not. In some embodiments, camera 102 includes more than one image sensor to capture multiple types of images. For example, camera 102 may include both IR sensors and RGB (red, green, and blue) sensors. In certain embodiments, camera 102 includes illuminators 105 for illuminating surfaces (or subjects) with different types of light detected by image sensor 103. For example, the camera 102 includes an illuminator for visible light (e.g., a flash illuminator), illuminators for RGB light, and/or illuminators for infrared light (e.g., a flood IR source and a speckle pattern projector). Can include. In some embodiments, the flood IR source and speckle pattern projector are different wavelengths of light (eg, not infrared). In certain embodiments, the illuminators 105 include an array of light sources, such as, but not limited to, vertical-cavity surface-emitting lasers (VCSELs). In some embodiments, image sensors 103 and illuminators 105 are included in a single chip package. In some embodiments, image sensors 103 and illuminators 105 are located on separate chip packages.

소정 실시예들에서, 이미지 센서(103)는 IR 이미지 센서이고 이미지 센서는 얼굴 검출, 얼굴 인식 인증, 및/또는 깊이 검출에 사용되는 적외선 이미지들을 캡처하는 데 사용된다. 이미지 센서(103)의 다른 실시예들(예컨대, RGB 이미지 센서)이 또한 본 명세서에 기술된 바와 같은 얼굴 검출, 얼굴 인식 인증, 및/또는 깊이 검출에 사용하기 위해 고려될 수 있다. 얼굴 검출을 위해, 조명기(105A)는 IR 조명(예컨대, IR 플래시라이트)으로 피사체를 플러딩(flood)하도록 플러드 IR 조명을 제공할 수 있고, 이미지 센서(103)는 플러드 IR 조명된 피사체의 이미지들을 캡처할 수 있다. 플러드 IR 조명 이미지들은, 예를 들어, IR 광에 의해 조명되는 피사체의 2차원 이미지들일 수 있다. 깊이 검출을 위해 또는 깊이 맵 이미지를 생성하기 위해, 조명기(105B)는 스페클 패턴을 갖는 IR 조명을 제공할 수 있다. 스페클 패턴은 피사체 상에 투영되는 알려진, 제어가능한 구성 및 패턴을 갖는 광 스폿들의 패턴(예컨대, 도트들의 패턴)일 수 있다. 조명기(105B)는 스페클 패턴을 형성하도록 구성된 VCSEL 어레이 또는 스페클 패턴을 형성하도록 구성된 광 소스 및 패턴화된 투명성을 포함할 수 있다. 조명기(105B)에 의해 제공되는 스페클 패턴의 구성 및 패턴은, 예를 들어, 피사체에서의 원하는 스페클 패턴 밀도(예컨대, 도트 밀도)에 기초하여 선택될 수 있다. 이미지 센서(103)는 스페클 패턴에 의해 조명되는 피사체의 이미지들을 캡처할 수 있다. 피사체 상의 스페클 패턴의 캡처된 이미지는 피사체의 3차원 맵(예컨대, 피사체의 깊이 맵 또는 깊이 맵 이미지)을 생성 또는 추정하기 위해 이미징 및 프로세싱 시스템(예컨대, 본 명세서에서 설명된 바와 같은 이미지 신호 프로세서(ISP))에 의해 평가(예컨대, 분석 및/또는 프로세싱)될 수 있다. 깊이 맵 이미징의 예들은, 마치 본 명세서에 완전히 기재된 것처럼 참고로 포함되는, Freedman 등의 미국 특허 제8,150,142호, Pesach 등의 미국 특허 제8,749,796호, 및 Shpunt 등의 미국 특허 제8,384,997호에, 및, 마치 본 명세서에 완전히 기재된 것처럼 참고로 포함되는, Mor 등의 미국 특허 출원 공개 제2016/0178915호에 기술되어 있다.In certain embodiments, the image sensor 103 is an IR image sensor and the image sensor is used to capture infrared images used for face detection, face recognition authentication, and/or depth detection. Other embodiments of the image sensor 103 (eg, an RGB image sensor) may also be contemplated for use in face detection, face recognition authentication, and/or depth detection as described herein. For face detection, the illuminator 105A may provide a flood IR illumination to flood the subject with IR illumination (eg, IR flashlight), and the image sensor 103 captures images of the flooded IR illuminated subject. You can capture it. Flooded IR illumination images may be, for example, two-dimensional images of a subject illuminated by IR light. For depth detection or to generate a depth map image, the illuminator 105B may provide IR illumination with a speckle pattern. The speckle pattern can be a pattern of light spots (eg, a pattern of dots) having a known, controllable configuration and pattern projected onto the subject. The illuminator 105B may include a VCSEL array configured to form a speckle pattern or a light source configured to form a speckle pattern and patterned transparency. The configuration and pattern of the speckle pattern provided by the illuminator 105B may be selected, for example, based on a desired speckle pattern density (eg, dot density) in the subject. The image sensor 103 may capture images of a subject illuminated by the speckle pattern. The captured image of the speckle pattern on the subject is an imaging and processing system (e.g., an image signal processor as described herein) to generate or estimate a three-dimensional map of the subject (e.g., a depth map or depth map image of the subject). (ISP)) can be evaluated (e.g., analyzed and/or processed). Examples of depth map imaging are in US Pat. No. 8,150,142 to Freedman et al., US Pat. No. 8,749,796 to Pesach et al., and US Pat. No. 8,384,997 to Shpunt et al. It is described in U.S. Patent Application Publication No. 2016/0178915 to Mor et al., which is incorporated by reference as if fully described herein.

소정 실시예들에서, 카메라(102)에 의해 캡처되는 이미지들은 사용자의 얼굴을 갖는 이미지들을 포함한다(예컨대, 사용자의 얼굴이 이미지들 내에 포함된다). 사용자의 얼굴을 갖는 이미지는 사용자의 얼굴의 적어도 일부분이 이미지의 프레임 내에 보여지는 임의의 디지털 이미지를 포함할 수 있다. 그러한 이미지는 단지 사용자의 얼굴을 포함할 수 있거나, 또는 이미지의 보다 작은 일부 또는 부분에 사용자의 얼굴을 포함할 수 있다. 사용자의 얼굴은 이미지에서의 사용자의 얼굴의 하나 이상의 특징의 이미지 프로세싱을 가능하게 해주기 위해 이미지에서 충분한 해상도로 캡처될 수 있다.In certain embodiments, the images captured by camera 102 include images with the user's face (eg, the user's face is contained within the images). An image with a user's face may include any digital image in which at least a portion of the user's face is shown within a frame of the image. Such an image may only include the user's face, or may include the user's face in a smaller portion or portion of the image. The user's face may be captured with sufficient resolution in the image to enable image processing of one or more features of the user's face in the image.

카메라(102)에 의해 캡처되는 이미지들은 프로세서(104)에 의해 프로세싱될 수 있다. 도 3은 디바이스(100)에 포함된 프로세서(104)의 실시예의 표현을 도시한다. 프로세서(104)는 프로세서에 의해 구현되는 명령어 세트 아키텍처로 정의되는 명령어들을 실행하도록 구성된 회로부를 포함할 수 있다. 프로세서(104)는, 운영 체제와 같은, 디바이스(100)의 메인 제어 소프트웨어를 실행할 수 있다. 일반적으로, 사용 동안 프로세서(104)에 의해 실행되는 소프트웨어는 디바이스(100)의 다른 컴포넌트들을 제어하여 디바이스의 원하는 기능을 실현할 수 있다. 프로세서들은 또한 다른 소프트웨어를 실행할 수 있다. 이러한 애플리케이션들은 사용자 기능성을 제공할 수 있고, 하위 레벨 디바이스 제어, 스케줄링, 메모리 관리 등을 위해 운영체제에 의존할 수 있다.Images captured by camera 102 may be processed by processor 104. 3 shows a representation of an embodiment of a processor 104 included in device 100. The processor 104 may include circuitry configured to execute instructions defined by an instruction set architecture implemented by the processor. The processor 104 may execute main control software of the device 100, such as an operating system. In general, software executed by processor 104 during use can control other components of device 100 to realize the desired functionality of the device. Processors can also run other software. These applications can provide user functionality and can rely on the operating system for low-level device control, scheduling, memory management, etc.

소정 실시예들에서, 프로세서(104)는 이미지 신호 프로세서(ISP)(110)를 포함한다. ISP(110)는 카메라(102)로부터 수신되는 이미지들을 프로세싱하기에 적합한 회로부(예컨대, 이미지 신호 프로세싱 회로부)를 포함할 수 있다. ISP(110)는 카메라(102)에 의해 캡처되는 이미지들을 프로세싱 또는 분석할 수 있는 임의의 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)를 포함할 수 있다.In certain embodiments, the processor 104 includes an image signal processor (ISP) 110. ISP 110 may include circuitry (eg, image signal processing circuitry) suitable for processing images received from camera 102. ISP 110 may include any hardware and/or software (eg, program instructions) capable of processing or analyzing images captured by camera 102.

소정 실시예들에서, 프로세서(104)는 보안 엔클레이브 프로세서(SEP)(112)를 포함한다. 일부 실시예들에서, SEP(112)는 이미지들이 카메라(102)에 의해 캡처되고 ISP(110)에 의해 프로세싱되는 것을 수반하는 얼굴 인식 인증 프로세스에 관여된다. SEP(112)는 디바이스(100)를 사용하도록 인가된 바와 같은 활성 사용자(예컨대, 디바이스(100)를 현재 사용하고 있는 사용자)를 인증하도록 구성된 보안 회로일 수 있다. "보안 회로"는 격리된 내부 리소스를 외부 회로에 의해 직접 액세스되는 것으로부터 보호하는 회로일 수 있다. 내부 리소스는 개인 정보(예컨대, 생체 측정 정보, 신용 카드 정보 등), 암호화 키들, 난수 생성기 시드들 등과 같은 민감한 데이터를 저장하는 메모리(예컨대, 메모리(106))일 수 있다. 내부 리소스는 또한 민감한 데이터와 연관된 서비스들/동작들을 수행하는 회로부일 수 있다. 본 명세서에서 설명된 바와 같이, SEP(112)는 얼굴 인식 인증 프로세스를 사용하여 사용자를 인증할 수 있는 임의의 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)를 포함할 수 있다. 얼굴 인식 인증 프로세스는 사용자의 이미지들을 카메라(102)로 캡처하고 캡처된 이미지들을 디바이스(100)에 대한 인가된 사용자의 이전에 수집된 이미지들과 비교함으로써 사용자를 인증할 수 있다. 일부 실시예들에서, ISP(110)및 SEP(112)의 기능들이 단일 프로세서에 의해 수행될 수 있다(예컨대, ISP(110) 또는 SEP(112) 중 어느 하나는 양쪽 기능들을 수행할 수 있고 다른 프로세서는 생략될 수 있다).In certain embodiments, the processor 104 includes a secure enclave processor (SEP) 112. In some embodiments, SEP 112 is involved in a facial recognition authentication process that involves images being captured by camera 102 and processed by ISP 110. The SEP 112 may be a security circuit configured to authenticate an active user (eg, a user currently using the device 100) as authorized to use the device 100. A "security circuit" may be a circuit that protects an isolated internal resource from being directly accessed by an external circuit. The internal resource may be a memory (eg, memory 106) that stores sensitive data such as personal information (eg, biometric information, credit card information, etc.), encryption keys, random number generator seeds, and the like. The internal resource may also be circuitry that performs services/operations associated with sensitive data. As described herein, SEP 112 may include any hardware and/or software (eg, program instructions) capable of authenticating a user using a facial recognition authentication process. The facial recognition authentication process may authenticate the user by capturing images of the user with the camera 102 and comparing the captured images to previously collected images of the authorized user for the device 100. In some embodiments, the functions of ISP 110 and SEP 112 may be performed by a single processor (e.g., either ISP 110 or SEP 112 may perform both functions and the other The processor can be omitted).

소정 실시예들에서, 프로세서(104)는 디바이스(100)의 인가된 사용자에 대한 이미지들(예컨대, 이전에 수집된 이미지들)을 캡처하기 위해 등록 프로세스(예컨대, 도 4에 도시된 바와 같은, 이미지 등록 프로세스(200), 또는 등록 프로세스)를 수행한다. 등록 프로세스 동안, 카메라 모듈(102)은, SEP(112)(또는 다른 보안 프로세스)가 후속하여 얼굴 인식 인증 프로세스를 사용하여 사용자를 인증하도록 허용하기 위해, 인가된 사용자로부터의 이미지들 및/또는 이미지 데이터를 캡처(예컨대, 수집)할 수 있다. 일부 실시예들에서, 등록 프로세스로부터의 이미지들 및/또는 이미지 데이터(예컨대, 이미지들로부터의 특징 벡터 데이터)는 디바이스(100)에서 템플릿들을 생성하는 데 사용된다. 템플릿들은, 예를 들어, 디바이스(100)의 메모리(106) 내의 템플릿 공간에 저장될 수 있다. 일부 실시예들에서, 템플릿 공간은 템플릿들의 추가(addition) 및/또는 템플릿 공간으로부터의 템플릿들의 제거(subtraction)에 의해 업데이트될 수 있다. 템플릿 업데이트 프로세스(예컨대, 본 명세서에서 설명된 제1 템플릿 업데이트 프로세스(300) 및/또는 제2 템플릿 업데이트 프로세스(400))는 템플릿들을 추가 및/또는 템플릿 공간으로부터 템플릿들을 제거하기 위해 프로세서(104)에 의해 수행될 수 있다. 예를 들어, 템플릿 공간은 시간 경과에 따른 인가된 사용자의 외관의 변화들 및/또는 하드웨어 성능의 변화들에 적응하도록 부가 템플릿들로 업데이트될 수 있다. 템플릿들을 저장하기 위한 템플릿 공간이 가득 찼을(full) 때 템플릿들의 추가를 보상하기 위해 템플릿 공간으로부터 템플릿들이 제거될 수 있다.In certain embodiments, the processor 104 is a registration process (e.g., as shown in FIG. 4) to capture images (e.g., previously collected images) for an authorized user of the device 100 The image registration process 200, or registration process) is performed. During the registration process, the camera module 102 is configured to allow the SEP 112 (or other security process) to subsequently authenticate the user using the facial recognition authentication process, and images and/or images from the authorized user. Data can be captured (eg, collected). In some embodiments, images and/or image data from the registration process (eg, feature vector data from images) are used to create templates at device 100. The templates may be stored, for example, in a template space in the memory 106 of the device 100. In some embodiments, the template space may be updated by addition of templates and/or subtraction of templates from the template space. The template update process (e.g., the first template update process 300 and/or the second template update process 400 described herein) includes the processor 104 to add templates and/or remove templates from the template space. Can be done by For example, the template space may be updated with additional templates to adapt to changes in the appearance of the authorized user and/or changes in hardware performance over time. Templates can be removed from the template space to compensate for the addition of templates when the template space for storing the templates is full.

일부 실시예들에서, 카메라 모듈(102)은 얼굴 인식 세션을 위한 다수의 이미지 쌍들을 캡처한다. 각각의 쌍은 2차원 캡처 모드를 사용하여 캡처되는 이미지(예컨대, 플러드 IR 이미지) 및 3차원 캡처 모드를 사용하여 캡처되는 이미지(예컨대, 깊이 맵 이미지)를 포함할 수 있다. 소정 실시예들에서, ISP(110) 및/또는 SEP(112)는 사용자에 대해 최종 인증 결정이 이루어지기 전에 플러드 IR 이미지들 및 깊이 맵 이미지들을 서로 독립적으로 프로세싱한다. 예를 들어, ISP(110)는 이미지들을 독립적으로 프로세싱하여 각각의 이미지의 특성들을 개별적으로 결정할 수 있다. SEP(112)는 이어서 개별 이미지 특성들을 각각의 유형의 이미지에 대한 저장된 템플릿들과 비교하여 각각의 개별 이미지에 대한 인증 점수(예컨대, 캡처된 이미지에서의 사용자와 저장된 템플릿들에서의 사용자 간의 매칭 점수 또는 다른 매칭 순위)를 생성할 수 있다. 개별 이미지들(예컨대, 플러드 IR 및 깊이 맵 이미지들)에 대한 인증 점수들이 조합되어 사용자의 아이덴티티에 대한 결정을 하고, 인증되면, 사용자가 디바이스(100)를 사용할(예컨대, 디바이스를 잠금해제할) 수 있게 해줄 수 있다.In some embodiments, the camera module 102 captures multiple image pairs for a facial recognition session. Each pair may include an image captured using a two-dimensional capture mode (eg, a flood IR image) and an image captured using a three-dimensional capture mode (eg, a depth map image). In certain embodiments, ISP 110 and/or SEP 112 processes flood IR images and depth map images independently of each other before a final authentication decision is made for the user. For example, ISP 110 may independently process the images to determine characteristics of each image individually. The SEP 112 then compares the individual image characteristics with the stored templates for each type of image, and the authentication score for each individual image (e.g., the match score between the user in the captured image and the user in the stored templates Or other matching rankings). Authentication scores for individual images (e.g., flood IR and depth map images) are combined to make a decision about the user's identity, and if authenticated, the user will use the device 100 (e.g., unlock the device) Can make it possible.

일부 실시예들에서, ISP(110) 및/또는 SEP(112)는 각각의 쌍에서의 이미지들을 조합하여 얼굴 인식에 사용되는 합성 이미지를 제공한다. 일부 실시예들에서, ISP(110)는 합성 이미지를 프로세싱하여 이미지의 특성들을 결정할 수 있고, SEP(112)는 이를 저장된 템플릿들과 비교하여 사용자의 아이덴티티에 대한 결정을 하고, 인증되면, 사용자가 디바이스(100)를 사용하게 허용할 수 있다.In some embodiments, ISP 110 and/or SEP 112 combines the images in each pair to provide a composite image used for facial recognition. In some embodiments, the ISP 110 may process the composite image to determine the characteristics of the image, and the SEP 112 compares it to the stored templates to determine the user's identity, and if authenticated, the user The device 100 may be allowed to be used.

일부 실시예들에서, 플러드 IR 이미지 데이터와 깊이 맵 이미지 데이터의 조합은 SEP(112)가 3차원 공간에서의 얼굴들을 비교하게 할 수 있다. 일부 실시예들에서, 카메라 모듈(102)은 이미지 데이터를 보안 채널을 통해 SEP(112)에게 통신한다. 보안 채널은, 예를 들어, 데이터를 통신하기 위한 전용 경로(즉, 의도된 참가자들만이 공유하는 경로) 또는 암호화된 데이터를 의도된 참가자들에만 알려진 암호화 키들을 사용하여 통신하기 위한 전용 경로 중 어느 하나일 수 있다. 일부 실시예들에서, 카메라 모듈(102) 및/또는 ISP(110)는 SEP에 의해 수행되는 비교를 용이하게 하기 위해 이미지 데이터를 SEP(112)에 공급하기 전에 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행할 수 있다.In some embodiments, the combination of the flood IR image data and the depth map image data may cause the SEP 112 to compare faces in a three-dimensional space. In some embodiments, the camera module 102 communicates the image data to the SEP 112 over a secure channel. A secure channel is, for example, either a dedicated path for communicating data (i.e., a path shared only by the intended participants) or a dedicated path for communicating encrypted data using encryption keys known only to the intended participants. It can be one. In some embodiments, camera module 102 and/or ISP 110 perform various processing operations on image data prior to supplying image data to SEP 112 to facilitate comparisons performed by SEP. can do.

소정 실시예들에서, 프로세서(104)는 하나 이상의 머신 러닝 모델을 동작시킨다. 머신 러닝 모델들은 프로세서(104) 내에 및/또는 디바이스(100) 상에 위치된 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)의 임의의 조합을 사용하여 동작될 수 있다. 일부 실시예들에서, 하나 이상의 신경 네트워크 모듈(114)은 디바이스(100) 상에서 머신 러닝 모델들을 동작시키는 데 사용된다. 신경 네트워크 모듈들(114)은 ISP(110) 및/또는 SEP(112)에 위치될 수 있다.In certain embodiments, processor 104 runs one or more machine learning models. Machine learning models may be operated using any combination of hardware and/or software (eg, program instructions) located within processor 104 and/or on device 100. In some embodiments, one or more neural network modules 114 are used to run machine learning models on device 100. Neural network modules 114 may be located in ISP 110 and/or SEP 112.

신경 네트워크 모듈(114)은 프로세서(104) 내에 및/또는 디바이스(100) 상에 위치된 하드웨어 및/또는 소프트웨어(예컨대, 프로그램 명령어들)의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 신경 네트워크 모듈(114)은 네트워크에 사용되는 커널들의 스케일이 변화할 수 있는 다중 스케일 신경 네트워크 또는 다른 신경 네트워크이다. 일부 실시예들에서, 신경 네트워크 모듈(114)은 GRU(gated recurrent unit) 순환 신경 네트워크 또는 LSTM(long short-term memory) 순환 신경 네트워크와 같은, 그러나 이로 제한되지 않는 순환 신경 네트워크(RNN)이다.The neural network module 114 may include any combination of hardware and/or software (eg, program instructions) located within the processor 104 and/or on the device 100. In some embodiments, the neural network module 114 is a multi-scale neural network or other neural network in which the scale of kernels used in the network may vary. In some embodiments, the neural network module 114 is a cyclic neural network (RNN), such as, but not limited to, a gated recurrent unit (GRU) circulatory neural network or a long short-term memory (LSTM) circulatory neural network.

신경 네트워크 모듈(114)은 신경 네트워크 모듈 또는 유사한 신경 네트워크 모듈(예컨대, 상이한 프로세서 또는 디바이스 상에서 동작하는 신경 네트워크 모듈)에 의해 학습된 동작 파라미터들로 설치 또는 구성된 신경 네트워크 회로부를 포함할 수 있다. 예를 들어, 신경 네트워크 모듈은 신경 네트워크 회로부에 대한 동작 파라미터들을 생성하기 위해 트레이닝 이미지들(예컨대, 기준 이미지들) 및/또는 다른 트레이닝 데이터를 사용하여 트레이닝될 수 있다. 트레이닝으로부터 생성되는 동작 파라미터들은 이어서 디바이스(100) 상에 설치된 신경 네트워크 모듈(114)에 제공될 수 있다. 트레이닝으로부터 생성되는 동작 파라미터들을 디바이스(100) 상의 신경 네트워크 모듈(114)에 제공하는 것은 신경 네트워크 모듈이 신경 네트워크 모듈 내에 프로그래밍된 트레이닝 정보를 사용하여 동작할 수 있게 해준다(예컨대, 트레이닝으로 생성된(training-generated) 동작 파라미터들은 디바이스에 의해 캡처되는 이미지들에 대해 동작하여 이들을 평가하기 위해 신경 네트워크 모듈에 의해 사용될 수 있다).The neural network module 114 may include a neural network circuit unit installed or configured with operating parameters learned by a neural network module or a similar neural network module (eg, a neural network module operating on a different processor or device). For example, the neural network module may be trained using training images (eg, reference images) and/or other training data to generate operating parameters for the neural network circuitry. The operating parameters generated from the training may then be provided to the neural network module 114 installed on the device 100. Providing the operating parameters generated from training to the neural network module 114 on the device 100 enables the neural network module to operate using training information programmed in the neural network module (e.g., generated by training ( training-generated) operating parameters can be used by the neural network module to evaluate and operate on images captured by the device).

도 4는 디바이스(100)의 인가된 사용자에 대한 이미지 등록 프로세스(200)의 실시예의 플로차트를 도시한다. 프로세스(200)는 디바이스에(예컨대, SEP(112)에 커플링된 메모리에) 저장된 디바이스(100)의 인가된 사용자에 대한 등록 프로파일을 생성하는 데 사용될 수 있다. 등록 프로파일은 프로세스(200)를 사용하여 생성된 인가된 사용자에 대한 하나 이상의 템플릿을 포함할 수 있다. 등록 프로파일 및 등록 프로파일과 연관된 템플릿들은 얼굴 인식 프로세스에서 사용되어, 사용자가 디바이스를 사용하고/사용하거나 디바이스 상에서 동작들을 수행하도록 허용(예컨대, 인가)할 수 있다(예컨대, 디바이스를 잠금해제).4 shows a flowchart of an embodiment of an image registration process 200 for an authorized user of device 100. Process 200 may be used to create a registration profile for an authorized user of device 100 stored on the device (eg, in memory coupled to SEP 112 ). The enrollment profile may include one or more templates for authorized users created using process 200. The enrollment profile and templates associated with the enrollment profile may be used in the facial recognition process to allow (eg, authorize) the user to use the device and/or perform operations on the device (eg, unlock the device).

일부 실시예들에서, 인가된 사용자는 다수의 등록 프로파일들을 생성할 수 있는데, 이때 이미지 등록 프로세스(200)에 의해 생성된 각각의 등록 프로파일은 등록 프로세스 동안에 취해진 사용자의 특정 이미지들과 연관된다. 예를 들어, 인가된 사용자는 사용자의 제1 구별되는 외관(예컨대, 안경을 쓴 사용자의 얼굴)과 연관된 제1 등록 프로파일을 생성할 수 있다. 인가된 사용자는 사용자의 제2 구별되는 외관(예컨대, 안경을 쓰지 않은 사용자의 얼굴)과 연관된 제2 등록 프로파일을 또한 생성할 수 있다. 일부 실시예들에서, 다수의 등록 프로파일들은 디바이스의 추가 사용자에 대한 하나 이상의 등록 프로파일을 포함할 수 있다(예컨대, 1차 인가된 사용자는 2차 인가된 사용자가 디바이스 상에 프로파일을 등록하는 것을 허용할 수 있다). 사용자가 디바이스 상에 생성된 등록 프로파일들 중 임의의 것을 사용하여 인증되면 사용자가 디바이스를 사용하도록 인가된 상태(예컨대, 디바이스를 잠금해제)로, 다수의 등록 프로파일들이 얼굴 인식 프로세스에서 병렬로 사용될 수 있다.In some embodiments, an authorized user may create multiple registration profiles, with each registration profile created by the image registration process 200 associated with the user's specific images taken during the registration process. For example, the authorized user may create a first registration profile associated with the user's first distinct appearance (eg, the face of a user wearing glasses). The authorized user may also create a second registration profile associated with the user's second distinct appearance (eg, the face of a user without glasses). In some embodiments, multiple registration profiles may include one or more registration profiles for additional users of the device (e.g., a primary authorized user allows a secondary authorized user to register a profile on the device. can do). When the user is authenticated using any of the registration profiles created on the device, the user is authorized to use the device (e.g., unlocking the device), and multiple registration profiles can be used in parallel in the face recognition process. have.

소정 실시예들에서, 디바이스(100)가 인가된 사용자에 의해 처음으로 사용될 때 그리고/또는 사용자가 얼굴 인식 프로세스에서 등록 프로파일을 생성하기로 선택할 때, 프로세스(200)가 사용된다. 예를 들어, 프로세스(200)는, 디바이스(100)가 인가된 사용자에 의해 처음으로 획득되어(예컨대, 인가된 사용자에 의해 구매되어) 인가된 사용자에 의해 처음으로 턴 온될 때, 개시될 수 있다. 일부 실시예들에서, 프로세스(200)는, 사용자가 얼굴 인식 프로세스에서 등록하고, 디바이스(100)에 대한 보안 설정들을 업데이트하며, 재등록(re-enroll)하고/하거나 디바이스 상에 등록 프로파일을 추가하기를 원할 때, 인가된 사용자에 의해 개시될 수 있다.In certain embodiments, process 200 is used when device 100 is first used by an authorized user and/or when the user chooses to create an enrollment profile in a facial recognition process. For example, process 200 may be initiated when device 100 is first acquired by an authorized user (e.g., purchased by an authorized user) and turned on for the first time by an authorized user. . In some embodiments, process 200 allows the user to enroll in a facial recognition process, update security settings for device 100, re-enroll, and/or add an enrollment profile on the device. When desired, it can be initiated by an authorized user.

소정 실시예들에서, 프로세스(200)는 202에서 사용자를 인증하는 것으로 시작된다. 202에서, 사용자는 비-얼굴 인증 프로세스를 사용하여 디바이스(100) 상에서 인증될 수 있다. 예를 들어, 사용자는 패스코드를 입력하는 것, 패스워드를 입력하는 것, 또는 얼굴 인식 이외의 다른 사용자 인증 프로토콜을 사용하는 것에 의해 인가된 사용자로서 인증될 수 있다. 사용자가 202에서 인증된 후에, 사용자의 하나 이상의 등록(예컨대, 기준 또는 등록) 이미지가 204에서 캡처된다. 등록 이미지들은 플러드 조명기(105A)에 의해 조명되는 사용자의 이미지들(예컨대, 플러드 IR 이미지들) 및/또는 스페클 조명기(105B)에 의해 조명되는 사용자의 이미지들(예컨대, 깊이 맵 이미지들)을 포함할 수 있다. 본 명세서에서 설명된 바와 같이, 플러드 IR 이미지들 및 깊이 맵 이미지들은 디바이스(100) 상에서의 얼굴 인식 프로세스들에서 독립적으로 및/또는 조합하여 사용될 수 있다(예컨대, 이미지들은 인증 결정을 제공하기 위해 독립적으로 사용될 수 있고 이 결정들은 사용자 인증에 대한 최종 결정을 결정하기 위해 조합될 수 있다).In certain embodiments, process 200 begins with authenticating the user at 202. At 202, the user may be authenticated on device 100 using a non-face authentication process. For example, the user may be authenticated as an authorized user by entering a passcode, entering a password, or using a user authentication protocol other than face recognition. After the user is authenticated at 202, one or more registration (eg, reference or registration) images of the user are captured at 204. The registration images include images of the user illuminated by flood illuminator 105A (e.g., flood IR images) and/or images of the user illuminated by speckle illuminator 105B (e.g., depth map images). Can include. As described herein, flood IR images and depth map images may be used independently and/or in combination in facial recognition processes on device 100 (e.g., images are independent to provide an authentication decision). And these decisions can be combined to determine the final decision on user authentication).

등록 이미지들은 사용자가 디바이스(100)와 상호작용할 때 카메라(102)를 사용하여 캡처될 수 있다. 예를 들어, 등록 이미지들은 사용자가 디바이스(100)의 디스플레이(108) 상의 프롬프트들을 따를 때 캡처될 수 있다. 프롬프트들은 등록 이미지들이 캡처되고 있는 동안 상이한 모션들 및/또는 포즈들을 취하도록 사용자에 대한 지시들을 포함할 수 있다. 204 동안, 카메라(102)는 사용자에 의해 수행되는 각각의 모션 및/또는 포즈에 대한 다수의 이미지들을 캡처할 수 있다. 사용자의 상이한 모션들 및/또는 상이한 포즈들에 대한 이미지들 - 이 이미지들은 여전히 사용자의 상대적으로 명확한 묘사를 가짐 - 을 캡처하는 것은 디바이스(100) 상의 카메라(102)에 대해 제한된 또는 제약된 위치에 있을 필요 없이 사용자가 인증될 수 있게 해주는 보다 나은 다양한 등록 이미지들을 제공하는 데 유용할 수 있다.Enrolled images may be captured using camera 102 when a user interacts with device 100. For example, registration images may be captured when the user follows prompts on the display 108 of the device 100. Prompts may include instructions for the user to take different motions and/or poses while registration images are being captured. During 204, camera 102 may capture multiple images for each motion and/or pose performed by the user. Capturing images of the user's different motions and/or different poses-these images still have a relatively clear depiction of the user-is in a limited or constrained position relative to the camera 102 on the device 100. It can be useful to provide a better variety of registration images that allow users to be authenticated without having to be present.

다수의 등록 이미지들이 204에서 캡처된 후에, 추가 이미지 프로세싱을 위한 등록 이미지들의 선택이 206에서 이루어질 수 있다. 등록 이미지들의 선택(206), 및 이미지들의 추가 프로세싱은 ISP(110) 및/또는 SEP(112)에 의해 수행될 수 있다. 추가 프로세싱을 위한 등록 이미지들의 선택은 템플릿들을 생성하기에 적합한 이미지들을 선택하는 것을 포함할 수 있다. 예를 들어, 206에서 템플릿들을 생성하는데 사용하기에 적합한 이미지들의 선택은, 이미지들에 대한 하나 이상의 선택된 기준을 평가하는 것 및 선택된 기준들을 충족시키는 이미지들을 선택하는 것을 포함할 수 있다. 선택된 이미지들은 사용자에 대한 템플릿들을 생성하기 위해 사용될 수 있다. 선택된 기준들은, 사용자의 얼굴이 카메라의 시야에 있는 것, 사용자의 얼굴의 포즈가 적절한 것(예컨대, 사용자의 얼굴이 카메라로부터 임의의 방향으로 너무 멀리 돌아가 있지 않는 것(즉, 얼굴의 피치, 요, 및/또는 롤이 소정 레벨들 초과가 아닌 것)), 카메라(102)와 사용자의 얼굴 사이의 거리가 선택된 거리 범위 내에 있는 것, 사용자의 얼굴이 최소 값 미만의 폐색을 갖는 것(예컨대, 사용자의 얼굴이 다른 물체에 의해 최소 양 초과만큼 폐색(차단)되지 않는 것), 사용자가 카메라에 주의를 기울이는 것(예컨대, 사용자의 눈들이 카메라를 보고 있는 것), 사용자의 눈들이 감기지 않는 것, 및 이미지에서의 적절한 라이팅(조명)을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 하나 초과의 얼굴이 등록 이미지에서 검출되면, 등록 이미지는 거부되고 추가 프로세싱을 위해 사용되지 않는다(예컨대, 선택되지 않음). 추가 프로세싱에 적합한 이미지들의 선택은 이미지들이 소정 개수의 선택된 기준들 또는 선택된 기준들 전부를 충족시키는 것에 기초한 규칙일 수 있다. 일부 실시예들에서, 폐색 맵들 및/또는 랜드마크 특징 맵들은 이미지들에서 사용자의 특징들(예컨대, 눈들, 코, 및 입과 같은 얼굴 특징들)을 식별하고 이미지들에서 선택된 기준들을 평가하는 데 사용된다.After multiple registration images have been captured at 204, selection of registration images for further image processing may be made at 206. The selection 206 of registration images, and further processing of the images may be performed by the ISP 110 and/or the SEP 112. Selection of registration images for further processing may include selecting images suitable for generating templates. For example, selecting images suitable for use in creating templates at 206 may include evaluating one or more selected criteria for the images and selecting images that meet the selected criteria. The selected images can be used to create templates for the user. The selected criteria are that the user's face is in the field of view of the camera, that the pose of the user's face is appropriate (e.g., that the user's face is not turned too far in any direction from the camera (i.e., face pitch, yaw , And/or the roll does not exceed certain levels)), the distance between the camera 102 and the user's face is within a selected distance range, the user's face having an occlusion less than a minimum value (e.g., The user's face is not occluded (blocked) by other objects by more than a minimum amount), the user pays attention to the camera (e.g., the user's eyes are looking at the camera), the user's eyes are not closed. Things, and appropriate lighting (lighting) in the image, but is not limited to these. In some embodiments, if more than one face is detected in the registration image, the registration image is rejected and not used for further processing (eg, not selected). The selection of images suitable for further processing may be a rule based on the images meeting a predetermined number of selected criteria or all of the selected criteria. In some embodiments, occlusion maps and/or landmark feature maps are used to identify the user's features in the images (e.g., facial features such as eyes, nose, and mouth) and to evaluate selected criteria in the images. Is used.

206에서 이미지들이 선택된 후에, 선택된 (템플릿) 이미지들에서의 사용자의 특징들이 208에서 인코딩될 수 있다. 선택된 이미지들의 인코딩은 이미지들에서의 특징들을 특징 공간에서의 하나 이상의 특징 벡터로서 정의하기 위해 사용자의 특징들(예컨대, 얼굴 특징들)을 인코딩하는 것을 포함할 수 있다. 특징 벡터들(210)은 208에서의 인코딩의 출력일 수 있다. 특징 공간은 n-차원 특징 공간일 수 있다. 특징 벡터는 특징 공간에서의 이미지로부터 특징들을 정의하는 수치 값들의 n-차원 벡터일 수 있다(예컨대, 특징 벡터는 이미지에서의 사용자의 얼굴 특징들을 정의하는 수치 값들의 벡터일 수 있다).After the images are selected at 206, the user's characteristics in the selected (template) images may be encoded at 208. Encoding the selected images may include encoding the user's features (eg, facial features) to define features in the images as one or more feature vectors in the feature space. Feature vectors 210 may be the output of the encoding at 208. The feature space may be an n-dimensional feature space. The feature vector may be an n-dimensional vector of numerical values defining features from the image in the feature space (eg, the feature vector may be a vector of numerical values defining the user's facial features in the image).

도 5는 특징 벡터들(210)을 갖는 특징 공간(212)의 실시예의 표현을 도시한다. 각각의 특징 벡터(210)(흑색 도트)는 단일 이미지, 합성 이미지(예컨대, 몇 개의 이미지의 합성물(composite)인 이미지), 또는 다수의 이미지들 중 어느 하나로부터의 사용자에 대한 얼굴 특징들을 정의할 수 있다. 특징 벡터들(210)이 단일 사용자의 얼굴 특징들로부터 생성될 때, 특징 벡터들이 동일한 사람과 연관되기 때문에 특징 벡터들은 서로 유사할 수 있고, 도 5에서의 원(211)에 의해 도시된 바와 같이, 어떤 "클러스터링"을 가질 수 있다. 특징 벡터들(256A 및 256B)(개방 마름모들(open diamonds))은, 아래에서 설명되는, 얼굴 인식 프로세스(250)로부터 획득된 특징 벡터들이다.5 shows a representation of an embodiment of a feature space 212 having feature vectors 210. Each feature vector 210 (black dot) may define facial features for the user from any one of a single image, a composite image (e.g., a composite of several images), or multiple images. I can. When the feature vectors 210 are generated from the facial features of a single user, the feature vectors can be similar to each other because the feature vectors are associated with the same person, as shown by the circle 211 in FIG. , Can have some "clustering". Feature vectors 256A and 256B (open diamonds) are feature vectors obtained from the facial recognition process 250, described below.

도 4에 도시된 바와 같이, 프로세스(200)는, 214에서, 특징 벡터들(210)을 디바이스(100)의 메모리(예컨대, SEP(112)에 의해 보호되는 메모리)에 저장하는 것을 포함할 수 있다. 소정 실시예들에서, 특징 벡터들(210)은 메모리의 템플릿 공간(예컨대, 하기에서 기술되는 템플릿 공간(220))에 정적 템플릿들(216)(예컨대, 등록 템플릿들 또는 기준 템플릿들)로서 저장된다. 정적 템플릿들(216)은 프로세스(200)에 의해 생성된 등록 프로파일을 위해 사용될 수 있다. 일부 실시예들에서, 정적 템플릿들(216)(및 본 명세서에서 기술된 다른 템플릿들)은 등록 플러드 IR 이미지들로부터 획득된 특징 벡터들에 대한 및 등록 깊이 맵 이미지들로부터 획득된 특징 벡터들에 대한 개별 템플릿들을 포함한다. 플러드 IR 이미지들 및 깊이 맵 이미지들로부터 획득된 개별 템플릿들이 본 명세서에서 설명된 부가 프로세스들 동안 독립적으로 및/또는 조합하여 사용될 수 있다는 것을 이해하여야 한다. 본 개시내용에서 단순함을 위해, 정적 템플릿들(216)이 총칭적으로(generically) 기술되며, 정적 템플릿들(216)(및 템플릿들의 사용)이 플러드 IR 이미지들로부터 획득된 템플릿들 또는 깊이 맵 이미지들로부터 획득된 템플릿들 중 어느 하나를 지칭할 수 있다는 것을 이해하여야 한다. 일부 실시예들에서, 템플릿들을 생성하기 위해 플러드 IR 이미지들 및 깊이 맵 이미지들의 조합이 사용될 수 있다. 예를 들어, 플러드 IR 이미지들 및 깊이 맵 이미지들로부터 획득된 특징 벡터들의 쌍들은 디바이스(100) 상에서의 하나 이상의 얼굴 인식 프로세스에서 사용되기 위해 정적 템플릿들(216)에 저장될 수 있다.As shown in FIG. 4, process 200 may include, at 214, storing feature vectors 210 in memory of device 100 (e.g., memory protected by SEP 112). have. In certain embodiments, feature vectors 210 are stored as static templates 216 (e.g., registration templates or reference templates) in a template space (e.g., template space 220 described below) in memory. do. Static templates 216 may be used for a registration profile created by process 200. In some embodiments, static templates 216 (and other templates described herein) are for feature vectors obtained from registered flood IR images and for feature vectors obtained from registered depth map images. Includes individual templates for It should be understood that individual templates obtained from flood IR images and depth map images may be used independently and/or in combination during the additional processes described herein. For simplicity in this disclosure, static templates 216 are generically described, and static templates 216 (and use of templates) are obtained from flood IR images or depth map images. It should be understood that it may refer to any one of the templates obtained from them. In some embodiments, a combination of flood IR images and depth map images may be used to create templates. For example, pairs of feature vectors obtained from flood IR images and depth map images may be stored in static templates 216 for use in one or more facial recognition processes on device 100.

도 6 은 디바이스(100)의 메모리(106) 내의 등록 프로파일에 대한 템플릿 공간(220)의 실시예의 표현을 도시한다. 소정 실시예들에서, 템플릿 공간(220)은 SEP(112)에 의해 보호되는 디바이스(100)의 메모리(106)의 일부분에 위치된다. 일부 실시예들에서, 템플릿 공간(220)은 정적 부분(222) 및 동적 부분(224)을 포함한다. 정적 템플릿들(216)은, 예를 들어, 템플릿 공간(220)의 정적 부분(222)에 추가될 수 있다(예컨대, 이 템플릿들은 메모리에 영구적으로 추가되며, 디바이스가 리셋되지 않는 한, 삭제 또는 변경되지 않는다). 일부 실시예들에서, 정적 부분(222)은 소정 개수의 정적 템플릿들(216)을 포함한다. 예를 들어, 도 6에 도시된 템플릿 공간(220)의 실시예의 경우, 정적 부분(222)에 6 개의 정적 템플릿들(216)이 허용된다. 일부 실시예들에서, 9 개의 정적 템플릿들(216)이 정적 부분(222) 내에 허용될 수 있다. 정적 부분(222) 내의 다른 개수의 정적 템플릿들(216)이 또한 고려될 수 있다. 등록 프로파일에 대한 등록 프로세스가 완료되고 정적 템플릿들(216)이 정적 부분(222)에 추가되는 것 이후에, 부가의 동적 템플릿들(226)이 등록 프로파일을 위한 템플릿 공간(220)의 동적 부분(224)(예컨대, 디바이스 리셋이 필요 없이 템플릿들이 추가 및 삭제될 수 있는 부분)에 추가될 수 있다.6 shows a representation of an embodiment of a template space 220 for a registration profile in memory 106 of device 100. In certain embodiments, template space 220 is located in a portion of memory 106 of device 100 protected by SEP 112. In some embodiments, the template space 220 includes a static portion 222 and a dynamic portion 224. Static templates 216 may be added to the static portion 222 of the template space 220, for example (e.g., these templates are permanently added to the memory and deleted or deleted unless the device is reset). Does not change). In some embodiments, static portion 222 includes a predetermined number of static templates 216. For example, in the case of the embodiment of the template space 220 shown in FIG. 6, six static templates 216 are allowed in the static portion 222. In some embodiments, nine static templates 216 may be allowed within the static portion 222. Other numbers of static templates 216 in static portion 222 may also be considered. After the registration process for the registration profile is completed and the static templates 216 are added to the static portion 222, additional dynamic templates 226 are added to the dynamic portion of the template space 220 for the registration profile ( 224) (eg, a portion where templates can be added and deleted without the need for a device reset).

따라서, 정적 템플릿들(216)은 등록 프로세스와 연관된 등록 프로파일에 대해 등록 프로세스(200)에 의해 생성된 등록 템플릿들(또는 기준 템플릿들)일 수 있다. 등록 프로세스(200)가 완료된 후에, 선택된 개수의 정적 템플릿들(216)이 등록 프로파일을 위해 템플릿 공간(220)의 정적 부분(222)에 저장된다. 등록 프로세스(200) 이후에 정적 부분(222)에 저장되는 정적 템플릿들(216)의 개수는, 예를 들어, 템플릿 이미지들로서 사용하기에 적합한 것으로 선택되는 이미지들의 개수, 또는 디바이스에 대한 템플릿들의 원하는 개수에 기초할 수 있는, 등록 프로세스 동안 획득되는 상이한 특징 벡터들의 개수에 따라 달라질 수 있다. 등록 프로세스(200) 이후에, 정적 템플릿들(216)은 등록 프로파일과 연관된 인가된 사용자의 얼굴 인식을 위해 사용될 수 있는 특징 벡터들(210)(예컨대, 등록 또는 기준 특징 벡터들)을 포함한다. 따라서, 템플릿 공간(22020)은 등록 프로파일과 연관된 사용자를 인가하기 위해 얼굴 인식 인증 프로세스에서 사용될 수 있다.Thus, the static templates 216 may be registration templates (or reference templates) created by the registration process 200 for a registration profile associated with the registration process. After the registration process 200 is complete, a selected number of static templates 216 are stored in the static portion 222 of the template space 220 for the registration profile. The number of static templates 216 stored in the static portion 222 after the registration process 200 is determined by the number of images selected as suitable for use as template images, for example, or the desired number of templates for the device. It may depend on the number of different feature vectors acquired during the registration process, which may be based on the number. After registration process 200, static templates 216 include feature vectors 210 (eg, registration or reference feature vectors) that can be used for facial recognition of an authorized user associated with the registration profile. Thus, the template space 22020 can be used in the face recognition authentication process to authorize a user associated with the registration profile.

디바이스(100)상에 다수의 등록 프로파일들이 있는 실시예들에서, 등록 프로세스(200)는 각각의 등록 프로파일에 대해 별개의(구별되는) 그리고 독립적인 템플릿 공간들(예컨대, 별개의 정적 템플릿들)을 생성하기 위해 등록 프로파일들 각각에 대해 별개로 동작될 수 있다. 도 7은 디바이스 상의 다수의 등록 프로파일들을 등록하는 실시예의 플로차트를 도시한다. 등록 프로세스(200A)는 디바이스(100) 상에 제1 등록 프로파일을 생성하도록 동작될 수 있다. 제1 등록 프로파일은 디바이스(100)의 인가된 사용자(예컨대, 디바이스의 1차 인가된 사용자)와 연관될 수 있다. 등록 프로세스(200A)는 제1 등록 프로파일에 대한 템플릿 공간(220A)을 생성할 수 있다.In embodiments where there are multiple enrollment profiles on device 100, enrollment process 200 includes separate (distinguished) and independent template spaces (e.g., separate static templates) for each enrollment profile. It can be operated separately for each of the registration profiles to create a. 7 shows a flowchart of an embodiment of registering multiple registration profiles on a device. The registration process 200A may be operated to create a first registration profile on the device 100. The first registration profile may be associated with an authorized user of the device 100 (eg, a primary authorized user of the device). The registration process 200A may create a template space 220A for the first registration profile.

템플릿 공간(220A)이 생성된 후에, 인가된 사용자는 230에서 제2 등록 프로파일을 생성하도록 선택할 수 있다. 이어서, 등록 프로세스(200B)는 디바이스(100) 상에 제2 등록 프로파일을 생성하도록 동작될 수 있다. 본 명세서에 기술된 바와 같이, 인가된(1차) 사용자의 제2의 구별되는 외관에 대해 또는 디바이스(100)의 추가적인(예컨대, 2차) 사용자에 대해 제2 등록 프로파일이 생성될 수 있다. 등록 프로세스(200B)는 제2 등록 프로파일에 대한 템플릿 공간(220B)을 생성할 수 있다. 등록 프로세스(200A) 및 등록 프로세스(200B)는 도 4에 도시된 등록 프로세스(200)에 따라 동작할 수 있다.After the template space 220A is created, the authorized user may choose to generate a second registration profile at 230. Subsequently, the registration process 200B may be operated to create a second registration profile on the device 100. As described herein, a second registration profile may be created for a second distinct appearance of an authorized (primary) user or for an additional (eg, secondary) user of device 100. The registration process 200B may create a template space 220B for the second registration profile. The registration process 200A and the registration process 200B may operate according to the registration process 200 shown in FIG. 4.

도 8은 디바이스(100)의 메모리(106) 내의 2 개의 템플릿 공간들(220A, 220B)의 실시예의 표현을 도시한다. 템플릿 공간(220A)은 디바이스(100) 상의 제1 등록 프로파일과 연관될 수 있고, 템플릿 공간(220B)은 디바이스(100) 상의 제2 등록 프로파일과 연관될 수 있다. (2 개의 등록 프로파일에 대한) 2 개의 템플릿 공간들이 도 7 및 도 8에 도시되지만, 임의의 개수의 템플릿 공간들(및 임의의 대응하는 개수의 등록 프로파일들)이 디바이스의 이용가능한 메모리 및 프로세싱 전력을 고려하여 디바이스의 원하는 동작에 기초하여 원하는 대로 디바이스(100) 상에서 활용될 수 있다는 것을 이해하여야 한다.8 shows a representation of an embodiment of two template spaces 220A, 220B in memory 106 of device 100. The template space 220A may be associated with a first registration profile on the device 100, and the template space 220B may be associated with a second registration profile on the device 100. Although two template spaces (for two registration profiles) are shown in Figures 7 and 8, any number of template spaces (and any corresponding number of registration profiles) is the device's available memory and processing power It should be understood that it can be utilized on device 100 as desired based on the desired operation of the device.

도 8에 도시된 바와 같이, 별개의 템플릿 공간들(220A, 220B)은 디바이스(100)의 메모리(106) 내의 구별되는, 분리된 공간들 내에 위치될 수 있다. 예를 들어, 템플릿 공간들(220)은 메모리(106) 내의 템플릿들에 사용되는 메모리 공간의 분할된 부분들에 저장될 수 있다. 소정 실시예들에서, 템플릿 공간들(220A, 220B)은 SEP(112)에 의해 보호되는 디바이스(100)의 메모리(106)의 일부분 내에 있다. 템플릿 공간들(220A, 220B)은 각자 별개의 정적 템플릿들(216A, 216B)을 갖는 그들 자체의 구별되는 별개의 정적 부분들(222A, 224A)을 포함할 수 있다. 템플릿 공간들(220A, 220B)은 또한 각자 별개의 동적 템플릿들(226A, 226B)을 갖는 그들 자체의 구별되는 별개의 동적 부분들(224A, 224B)을 포함할 수 있다. 템플릿 공간들(220A, 220B)은 개별적으로(예컨대, 독립적으로) 액세스되고/되거나 디바이스(100) 상의 프로세서(104)에 의해 동작될 수 있다. 예를 들어, 템플릿 공간들(220A, 220B)은 얼굴 인식 인증 프로세스에 의해 별도로 액세스될 수 있고, 본 명세서에 기술된 바와 같은 템플릿 업데이트 프로세스에 의해 개별적으로 동작될 수 있다.As shown in FIG. 8, separate template spaces 220A and 220B may be located in distinct, separate spaces within memory 106 of device 100. For example, the template spaces 220 may be stored in divided portions of a memory space used for templates in the memory 106. In certain embodiments, the template spaces 220A, 220B are within a portion of the memory 106 of the device 100 that is protected by the SEP 112. The template spaces 220A, 220B may include their own distinct and distinct static portions 222A, 224A, each having separate static templates 216A, 216B. The template spaces 220A, 220B may also include their own distinct and distinct dynamic portions 224A, 224B, each having separate dynamic templates 226A, 226B. Template spaces 220A, 220B may be accessed individually (eg, independently) and/or operated by processor 104 on device 100. For example, the template spaces 220A, 220B may be separately accessed by a face recognition authentication process, and may be individually operated by a template update process as described herein.

디바이스(100) 상에 저장된 다수의 등록 프로파일들(예컨대, 디바이스 상의 다수의 템플릿 공간들(220))에서, 디바이스가 리셋될 때 모든 등록 프로파일들(및 템플릿 공간들 내의 모든 템플릿들)이 디바이스로부터 삭제되거나 제거된다. 적어도 하나의 등록 프로파일만을 삭제하라는 요청이 디바이스 상에 이루어질 때, 모든 등록 프로파일들이 또한 디바이스(100)로부터 삭제될 수 있다. 임의의 남아있는 등록 프로파일들이 삭제되도록 요청된 등록 프로파일과 연관된 사용자가 디바이스(100)에 액세스하는 것을 우연히 허용하는 것을 방지하기 위해 모든 등록 프로파일들이 삭제될 수 있다. 예를 들어, 제1 사용자가 제2 사용자에 대한 등록 프로파일로 디바이스(100)에 액세스하는 것을 허용할 수 있는, 등록 프로파일들 사이의 중첩이 있을 수 있다.In multiple registration profiles stored on device 100 (e.g., multiple template spaces 220 on the device), all registration profiles (and all templates in template spaces) are from the device when the device is reset. Deleted or removed. When a request is made on the device to delete only at least one registration profile, all registration profiles may also be deleted from the device 100. All registration profiles may be deleted to prevent accidentally allowing a user associated with the registration profile for which any remaining registration profiles have been requested to be deleted to access device 100. For example, there may be overlap between registration profiles, which may allow a first user to access device 100 with a registration profile for a second user.

도 9는 얼굴 인식 인증 프로세스(250)의 실시예의 플로차트를 도시한다. 프로세스(250)는 사용자의 얼굴 인식을 이용하여 사용자를 디바이스(100)의 인가된 사용자로서 인증하는 데 사용될 수 있다. 소정 실시예들에서, 프로세스(250)는 디바이스(100) 상의 단일 등록 프로파일(예컨대, 단일 템플릿 공간(220))을 사용하여 사용자를 인증하는 데 사용된다. 다수의 등록 프로파일들이 디바이스(100) 상에 있으면, 디바이스를 액세스하여 사용하려고 시도하는 사용자를 인증하기 위해 프로세스(250)의 하나 이상의 부분이 (본 명세서에 기술된 바와 같이) 병렬로 동작될 수 있다. 인가된 사용자의 인증은 사용자가 디바이스(100)에 액세스하여 사용할(예컨대, 디바이스를 잠금해제할) 수 있게 해주고 그리고/또는 디바이스의 선택된 기능(예컨대, 디바이스 상에서 실행되는 애플리케이션의 기능을 잠금해제하는 것, 결제 시스템들(즉, 지불하는 것), 개인 데이터에 대한 액세스, 통지들의 확장된 뷰 등)에 액세스할 수 있게 해줄 수 있다. 소정 실시예들에서, 프로세스(250)는 (인가된 사용자의 등록 이후에) 디바이스(100)에 대한 프라이머리(primary) 생체 측정 인증 프로세스로서 사용된다. 일부 실시예들에서, 프로세스(250)는 다른 인증 프로세스(예컨대, 지문 인증, 다른 생체 측정 인증, 패스코드 입력, 패스워드 입력, 및/또는 패턴 입력)에 부가하여 인증 프로세스로서 사용된다. 일부 실시예들에서, 다른 인증 프로세스(예컨대, 패스코드 입력, 패턴 입력, 다른 생체 측정 인증)는 사용자가 프로세스(250)를 사용하여 인증받는 데 실패하는 경우 디바이스(100)에 액세스하는 데 사용될 수 있다.9 shows a flowchart of an embodiment of a face recognition authentication process 250. Process 250 may be used to authenticate a user as an authorized user of device 100 using the user's face recognition. In certain embodiments, process 250 is used to authenticate a user using a single registration profile (eg, single template space 220) on device 100. If multiple enrollment profiles are on device 100, one or more portions of process 250 may be operated in parallel (as described herein) to authenticate a user attempting to access and use the device. . Authentication of the authorized user allows the user to access and use the device 100 (e.g., unlock the device) and/or unlock selected functions of the device (e.g., the functionality of applications running on the device). , Payment systems (i.e., paying), access to personal data, an expanded view of notifications, etc.). In certain embodiments, process 250 is used as a primary biometric authentication process for device 100 (after registration of an authorized user). In some embodiments, process 250 is used as an authentication process in addition to other authentication processes (eg, fingerprint authentication, other biometric authentication, passcode input, password input, and/or pattern input). In some embodiments, another authentication process (e.g., passcode input, pattern input, other biometric authentication) may be used to access device 100 if the user fails to be authenticated using process 250. have.

252에서, 카메라(102)는 디바이스(100)에 대한 액세스를 위해 인증받으려고 시도하는 사용자의 얼굴의 이미지를 캡처한다(예컨대, 카메라는 사용자의 "잠금해제 시도" 이미지를 캡처한다). 잠금해제 시도 이미지가 사용자의 얼굴의 단일 이미지(예컨대, 단일 플러드 IR 이미지 또는 단일 깊이 맵 이미지)일 수 있거나, 또는 잠금해제 시도 이미지가 짧은 시간 기간(예컨대, 1초 이하)에 걸쳐 촬영된 사용자의 얼굴의 일련의 몇 개의 이미지들일 수 있다는 것을 이해하여야 한다. 일부 실시예들에서, 사용자의 얼굴의 일련의 몇 개의 이미지들은 플러드 IR 이미지들과 깊이 맵 이미지들의 쌍들(예컨대, 연속적인 플러드 IR 이미지들과 깊이 맵 이미지들의 쌍들)을 포함한다. 일부 구현들에서, 잠금해제 시도 이미지는 플러드 조명기 및 스페클 패턴 조명기에 의해 조명되는 사용자의 몇 개의 이미지들의 합성물일 수 있다.At 252, camera 102 captures an image of the user's face attempting to authenticate for access to device 100 (eg, the camera captures an image of the user's “attempt to unlock”). The unlock attempt image may be a single image of the user's face (e.g., a single flood IR image or a single depth map image), or the unlock attempt image is taken over a short period of time (e.g., 1 second or less). It should be understood that there can be several images in a series of faces. In some embodiments, the series of several images of the user's face include pairs of flood IR images and depth map images (eg, pairs of successive flood IR images and depth map images). In some implementations, the unlock attempt image may be a composite of several images of a user illuminated by a flood illuminator and a speckle pattern illuminator.

카메라(102)는 사용자에 의한 프롬프트에 응답하여 잠금해제 시도 이미지를 캡처할 수 있다. 예를 들어, 잠금해제 시도 이미지는 사용자가 디바이스(100) 상의 버튼(예컨대, 홈 버튼 또는 가상 버튼)을 누르는 것에 의해, 디바이스를 사용자의 얼굴에 대해 선택된 위치로 움직이는 것(예컨대, 카메라가 사용자의 얼굴로 지향되도록 사용자가 디바이스를 움직이는 것 또는 디바이스를 테이블로부터 들어올리는 것)에 의해, 및/또는 디바이스에 대한 특정 제스처 또는 움직임을 행하는 것(예컨대, 디스플레이를 탭핑하거나 디바이스를 잡는 것)에 의해 디바이스(100)에 액세스하려고 시도할 때 캡처될 수 있다. 본 명세서에서 설명된 바와 같이, 잠금해제 시도 이미지들이 플러드 IR 이미지들 또는 깊이 맵 이미지들 중 어느 하나, 또는 이들의 조합을 포함할 수 있다는 것을 이해하여야 한다. 게다가, 잠금해제 시도 이미지들이 그들의 대응하는 템플릿과 연관하여(예컨대, 플러드 IR 이미지들이 플러드 IR 등록 이미지들에 대한 템플릿과 연관하여) 독립적으로 또는 필요에 따라 조합하여 프로세싱될 수 있다.Camera 102 may capture an unlock attempt image in response to a prompt by the user. For example, the unlock attempt image is obtained by moving the device to a selected position relative to the user's face by the user pressing a button (e.g., a home button or a virtual button) on the device 100 (e.g., the camera The device by the user moving the device or lifting the device from the table so that it is oriented towards the face), and/or by making a specific gesture or movement on the device (e.g., by tapping the display or holding the device) It can be captured when trying to access 100. It should be understood that, as described herein, the unlock attempt images may include either flood IR images or depth map images, or a combination thereof. In addition, the unlock attempt images can be processed independently or in combination as needed in association with their corresponding template (eg, flood IR images in association with a template for flood IR registration images).

254에서, 잠금해제 시도 이미지는 사용자의 얼굴 특징들을 특징 공간에서의 하나 이상의 특징 벡터로서 정의하도록 인코딩된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 하나의 특징 벡터가 정의된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 다수의 특징 벡터들이 정의된다. 잠금해제 특징 벡터(들)(256)는 254에서의 잠금해제 시도 이미지의 인코딩의 출력일 수 있다.At 254, the unlock attempt image is encoded to define the user's facial features as one or more feature vectors in the feature space. In some embodiments, one feature vector is defined for the unlock attempt image. In some embodiments, multiple feature vectors are defined for the unlock attempt image. The unlock feature vector(s) 256 may be the output of the encoding of the unlock attempt image at 254.

소정 실시예들에서, 258에서, 잠금해제 시도 이미지에 대한 매칭 점수(260)를 얻기 위해 잠금해제 특징 벡터(들)(256)가 템플릿 공간(220)의 템플릿들에서의 특징 벡터들과 비교된다. 소정 실시예들에서, 템플릿 공간(220)은 디바이스(100) 상의 단일 등록 프로파일에 대한 템플릿 공간이다. 매칭 점수(260)는 특징 벡터(들)(256)와 템플릿 공간(220)에서의 특징 벡터들(예컨대, 본 명세서에서 설명된 바와 같이, 템플릿 공간에 추가된 정적 템플릿들(216) 및/또는 다른 동적 템플릿들(226)에서의 특징 벡터들) 사이의 차이들의 점수일 수 있다. 그 특징 벡터(들)(256)과 템플릿 공간(220)에서의 특징 벡터들이 가까울수록(예컨대, 거리가 작을수록 또는 차이들이 적을수록), 매칭 점수(260)가 높을 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 특징 벡터(256A)(개방 마름모)가 특징 벡터(256B)(개방 마름모)보다 특징 벡터들(210)에 가깝다(예컨대, 특징 벡터(256B)는 특징 벡터(256A)보다 멀리 있는 이상치이다). 따라서, 특징 벡터(256A)는 특징 벡터(256B)보다 더 높은 매칭 점수를 가질 것이다. 특징 벡터(256B)가 특징 벡터들(210)로부터 특징 벡터(256A)보다 더 멀리 떨어져 있기 때문에, 특징 벡터(256B)에 대한 더 낮은 매칭 점수는 특징 벡터(256B)와 연관된 잠금해제 시도 이미지에서의 얼굴이 등록 프로파일 및 템플릿 공간(220)과 연관된 인가된 사용자의 얼굴이라는 신뢰도가 더 낮음을 의미한다.In certain embodiments, at 258, the unlock feature vector(s) 256 are compared to feature vectors in the templates of the template space 220 to obtain a matching score 260 for the unlock attempt image. . In certain embodiments, template space 220 is a template space for a single registration profile on device 100. The matching score 260 is the feature vector(s) 256 and the feature vectors in the template space 220 (e.g., static templates 216 added to the template space, as described herein, and/or It may be a score of differences between feature vectors in different dynamic templates 226). The closer the feature vector(s) 256 and the feature vectors in the template space 220 are (eg, the smaller the distance or the smaller the differences), the higher the matching score 260 may be. For example, as shown in Figure 5, the feature vector 256A (open diamond) is closer to the feature vectors 210 than the feature vector 256B (open diamond) (e.g., the feature vector 256B is a feature It is an outlier that is farther than vector 256A). Thus, feature vector 256A will have a higher matching score than feature vector 256B. Since feature vector 256B is farther away from feature vectors 210 than feature vector 256A, the lower matching score for feature vector 256B is in the unlock attempt image associated with feature vector 256B. It means that the reliability that the face is the face of the authorized user associated with the registration profile and template space 220 is lower.

일부 실시예들에서, 특징 벡터(들)(256)와 템플릿 공간(220)으로부터의 템플릿들을 비교하여 매칭 점수(260)를 얻는 것은, 하나 이상의 분류기 또는 분류 가능 네트워크(classification-enabled network)를 사용하여, 특징 벡터(들)(256)와 템플릿 공간(220)으로부터의 템플릿들 사이의 차이들을 분류 및 평가하는 것을 포함한다. 사용될 수 있는 상이한 분류기들의 예들은 선형, 구분적 선형, 비선형 분류기들, 서포트 벡터 머신들, 및 신경 네트워크 분류기들을 포함하지만 이들로 제한되지 않는다. 일부 실시예들에서, 매칭 점수(260)는 특징 벡터(들)(256)와 템플릿 공간(220)으로부터의 템플릿들 사이의 거리 점수들을 사용하여 평가된다.In some embodiments, comparing the feature vector(s) 256 with the templates from the template space 220 to obtain a matching score 260 uses one or more classifiers or classification-enabled networks. Thus, it includes classifying and evaluating differences between the features vector(s) 256 and the templates from the template space 220. Examples of different classifiers that may be used include, but are not limited to, linear, segmented linear, nonlinear classifiers, support vector machines, and neural network classifiers. In some embodiments, the matching score 260 is evaluated using the feature vector(s) 256 and distance scores between the templates from the template space 220.

262에서, 매칭 점수(260)는 디바이스(100)에 대한 잠금해제 임계치(264)와 비교된다. 잠금해제 임계치(264)는, 디바이스를 잠금해제하기(또는 디바이스 상의 특징을 잠금해제하기) 위해 디바이스(100)가 요구하는 인가된 사용자의 얼굴과 잠금해제 시도 이미지에서의 사용자의 얼굴 사이의 (특징 벡터들에 의해 정의되는 바와 같은) 특징들의 최소 차이(예컨대, 특징 공간에서의 거리)를 나타낼 수 있다. 예를 들어, 잠금해제 임계치(264)는 잠금해제 특징 벡터들(예컨대, 특징 벡터들(256))이 인가된 사용자의 얼굴과 연관된 템플릿들(예컨대, 템플릿 공간(220)에서의 정적 템플릿들(216))과 충분히 유사한지(예컨대, 충분히 가까운지) 여부를 결정하는 임계치 값일 수 있다. 추가 예로서, 잠금해제 임계치(264)는, 도 5에 도시된, 특징 공간(212)에서 원(265)에 의해 표현될 수 있다. 도 5에 도시된 바와 같이, 특징 벡터(256A)는 원(265) 내부에 있고, 따라서 특징 벡터(256A)는 잠금해제 임계치(264) 초과의 매칭 점수(260)를 가질 것이다. 그렇지만, 특징 벡터(256B)는 원(265) 외부에 있고, 따라서 특징 벡터(256B)는 잠금해제 임계치(264) 미만의 매칭 점수(260)를 가질 것이다. 소정 실시예들에서, 잠금해제 임계치(264)는 제조 동안 및/또는 디바이스(100)의 펌웨어에 의해 설정된다. 일부 실시예들에서, 잠금해제 임계치(264)는 본 명세서에서 설명된 바와 같이 디바이스의 동작 동안 디바이스(100)에 의해 업데이트(예컨대, 조정)된다.At 262, the matching score 260 is compared to an unlock threshold 264 for device 100. The unlocking threshold 264 is between the face of the authorized user requested by the device 100 to unlock the device (or unlock a feature on the device) and the face of the user in the unlock attempt image (feature It may represent a minimum difference (eg, distance in feature space) of features (as defined by vectors). For example, the unlocking threshold 264 may include templates associated with the face of the user to which the unlocking feature vectors (e.g., feature vectors 256) have been applied (e.g., static templates in the template space 220) 216)) and sufficiently similar (eg, close enough). As a further example, the unlock threshold 264 may be represented by a circle 265 in the feature space 212, shown in FIG. 5. As shown in FIG. 5, feature vector 256A is inside circle 265 and thus feature vector 256A will have a matching score 260 above the unlock threshold 264. However, the feature vector 256B is outside the circle 265, so the feature vector 256B will have a matching score 260 less than the unlock threshold 264. In certain embodiments, the unlock threshold 264 is set during manufacture and/or by the firmware of the device 100. In some embodiments, the unlock threshold 264 is updated (eg, adjusted) by the device 100 during operation of the device as described herein.

도 9에 도시된 바와 같이, 262에서, 매칭 점수(260)가 잠금해제 임계치(264) 초과이면(즉, 잠금해제 시도 이미지에서의 사용자의 얼굴이 인가된 사용자의 얼굴과 실질적으로 매칭되면), 잠금해제 시도 이미지에서의 사용자는 디바이스(100) 상의 등록 프로파일에 대해 인가된 사용자로서 인증되고 266에서 디바이스가 잠금해제된다. 소정 실시예들에서, 266에서 디바이스(100)가 잠금해제된 후에, 잠금해제 특징 벡터들(256) 및 매칭 점수(260)는 템플릿 공간(220)에서의 템플릿들을 추가 또는 대체할 수 있는, 도 10에 도시된, 제1 템플릿 업데이트 프로세스(300)에 제공된다. 262에서, 매칭 점수(260)가 잠금해제 임계치(264) 미만이면(예컨대, 잠금해제 임계치 이상이 아니면), 268에서 디바이스(100)가 잠금해제되지 않는다(예컨대, 디바이스가 잠금 상태로 남는다). 매칭 점수(260)가 잠금해제 임계치(264)와 동일하면 잠금해제 임계치에 대한 원하는 설정(예컨대, 보다 타이트한 또는 보다 느슨한 제한사항들)에 따라 디바이스(100)가 잠금 또는 잠금해제될 수 있다는 것에 유의해야 한다. 부가적으로, 동일한 매칭 점수 비교를 위한 어느 한 옵션이 또한 본 명세서에서 설명된 다른 실시예들에 대해 원하는 대로 적용될 수 있다.As shown in FIG. 9, at 262, if the matching score 260 exceeds the unlock threshold 264 (that is, when the user's face in the unlock attempt image substantially matches the face of the authorized user), The user in the unlock attempt image is authenticated as an authorized user for the registration profile on the device 100 and the device is unlocked at 266. In certain embodiments, after the device 100 is unlocked at 266, the unlocking feature vectors 256 and the matching score 260 may add or replace templates in the template space 220. It is provided to a first template update process 300, shown at 10. At 262, if the matching score 260 is less than the unlock threshold 264 (eg, not above the unlock threshold), then at 268 the device 100 is not unlocked (eg, the device remains locked). Note that if the matching score 260 is equal to the unlock threshold 264 then the device 100 can be locked or unlocked depending on the desired setting for the unlock threshold (e.g., tighter or looser restrictions). Should be. Additionally, either option for comparing the same match score can also be applied as desired for other embodiments described herein.

소정 실시예들에서, 270에서 잠금해제 시도들이 임계치와 비교된다. 임계치는, 예를 들어, 허용되는 잠금해제 시도들의 최대 횟수 또는 잠금해제 시도들에 대한 최대 할당된 시간일 수 있다. 소정 실시예들에서, 잠금해제 시도들의 횟수가 카운팅되고(예컨대, 252에서 캡처된 상이한 잠금해제 시도 이미지를 사용하여 디바이스(100)를 잠금해제하려 시도하는 횟수), 허용된 잠금해제 시도들의 최대 횟수와 비교된다.In certain embodiments, at 270 unlock attempts are compared to a threshold. The threshold may be, for example, the maximum number of unlock attempts allowed or the maximum allotted time for unlock attempts. In certain embodiments, the number of unlock attempts is counted (e.g., the number of attempts to unlock the device 100 using a different unlock attempt image captured at 252) and the maximum number of unlock attempts allowed. Compared to

소정 실시예들에서, 잠금해제 시도들이 임계치에 도달하면(예컨대, 잠금해제 시도들의 횟수가 허용되는 시도들의 최대 횟수에 도달하면), 디바이스(100)는 272에서 얼굴 인증을 사용하기 위한 추가의 시도들로부터 잠금된다. 일부 실시예들에서, 272에서 디바이스가 잠금될 때, 얼굴 인식 인증 프로세스(250)가 실패했고/실패했거나 디바이스(100)의 원하는 동작이 수행되는 것이 제약 또는 방지된다는 것을 나타내는 에러 메시지가 (예컨대, 디스플레이(108) 상에) 디스플레이될 수 있다. 지정된 시간 기간 동안 및/또는 디바이스를 잠금해제하기 위해 다른 인증 프로토콜이 사용될 때까지 디바이스(100)는 272에서 얼굴 인증을 사용하기 위한 추가의 시도들로부터 잠금될 수 있다. 예를 들어, 잠금해제 옵션들(274)은 디바이스(100)를 잠금해제하는 데 사용될 수 있다.In certain embodiments, when unlocking attempts reach a threshold (e.g., when the number of unlocking attempts reaches the maximum number of allowed attempts), the device 100 further attempts to use facial authentication at 272. Locked from the field. In some embodiments, when the device is locked at 272, an error message indicating that the facial recognition authentication process 250 has failed and/or is restricted or prevented from performing the desired operation of the device 100 is displayed (e.g., On the display 108). Device 100 may be locked at 272 from further attempts to use facial authentication for a specified period of time and/or until another authentication protocol is used to unlock the device. For example, unlock options 274 may be used to unlock device 100.

잠금해제 옵션들(274)은 사용자가 디바이스(100) 상의 특징들을 잠금해제 또는 액세스하기 위해 상이한 유형의 인증을 진행하기 위한 하나 이상의 옵션을 제시받는 것을 포함할 수 있다(예컨대, 사용자는 제2 인증 프로토콜로 진행하기 위한 옵션들을 제시받는다). 옵션들을 제시하는 것은, 예를 들어, 디바이스(100)의 디스플레이(108) 상에 하나 이상의 옵션을 디스플레이하고 디바이스를 잠금해제하는 것 또는 디바이스 상의 특징들에 액세스하는 것을 진행하기 위해 디스플레이된 옵션들 중 하나를 선택하도록 청각적 및/또는 시각적 통신을 통해 사용자에게 프롬프트하는 것을 포함할 수 있다. 사용자는 이어서 선택된 옵션을 사용하여 그리고 필요에 따라 부가의 청각적 및/또는 시각적 프롬프트들에 따라 디바이스(100)를 잠금해제/액세스하는 것을 진행할 수 있다. 선택된 옵션을 사용하여 성공적으로 인증된 후에, 디바이스(100)를 잠금해제/액세스하기 위한 사용자의 초기 요청이 승인될 수 있다. 잠금해제 옵션들(274)은 디바이스(100)를 잠금해제하기 위해 패스코드, 패스워드, 패턴 입력, 상이한 형태의 생체 측정 인증, 또는 다른 인증 프로토콜을 사용하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 잠금해제 옵션들(274)은, 선택될 때, 패스코드/패스워드/패턴 입력 사용자 인터페이스의 디스플레이를 야기하는 "패스코드/패스워드/패턴 사용" 어포던스, 또는 패스코드/패스워드/패턴 입력 사용자 인터페이스, 또는, 디스플레이될 때, 디바이스의 지문 센서 상에 손가락을 놓도록 사용자에게 프롬프트하는 "지문 사용" 프롬프트를 제공하는 것을 포함한다. 일부 실시예들에서, 디바이스(100)가 274에서의 잠금해제 옵션들을 사용하여 잠금해제된 후에, 잠금해제 특징 벡터들(256) 및 매칭 점수(260)가, 도 13에 도시된, 제2 템플릿 업데이트 프로세스(400)에 제공된다.Unlock options 274 may include the user being presented with one or more options for proceeding with different types of authentication to unlock or access features on device 100 (e.g. You are presented with options to proceed with the protocol). Presenting the options is, for example, one of the displayed options to proceed with displaying one or more options on the display 108 of the device 100 and unlocking the device or accessing features on the device. It may include prompting the user through audible and/or visual communication to select one. The user may then proceed to unlock/access the device 100 using the selected option and according to additional audible and/or visual prompts as needed. After being successfully authenticated using the selected option, the user's initial request to unlock/access device 100 may be approved. Unlocking options 274 may include, but are not limited to, using a passcode, password, pattern input, different form of biometric authentication, or other authentication protocol to unlock device 100. . In some embodiments, the unlock options 274, when selected, are a "passcode/password/pattern use" affordance, or a passcode/password/pattern input user interface that, when selected, causes display of the passcode/password/pattern input user interface. A pattern input user interface, or, when displayed, a “fingerprint use” prompt that prompts the user to place a finger on the device's fingerprint sensor. In some embodiments, after the device 100 is unlocked using the unlock options at 274, the unlocking feature vectors 256 and the matching score 260 are compared to the second template, shown in FIG. It is provided to the update process 400.

270에서 잠금해제 시도들이 임계치 미만이면(예컨대, 잠금해제 시도들의 횟수가 허용되는 시도들의 최대 횟수 미만임), 프로세스(250)는 252에서 캡처되고 있는 사용자의 새로운 잠금해제 시도 이미지로 시작하여 다시 실행(재개시)될 수 있다. 일부 구현예들에서, 디바이스(100)는 사용자에게 프롬프트하지 않고 사용자의 얼굴의 새로운 잠금해제 시도 이미지를 자동으로 캡처한다(예컨대, 새로운 이미지의 캡처가 자동으로 구현되고/되거나 사용자로부터 숨겨진다). 일부 구현예들에서, 디바이스(100)는 프로세스(250)가 재개시되고 있음을 사용자에게 통지한다(시각적으로 및/또는 청각적으로). 일부 실시예들에서, 디바이스(100)는 사용자에게 프로세스(250)를 재개시하기 위한 입력을 제공하도록 프롬프트할 수 있다. 예를 들어, 사용자는 프로세스(250)를 재개시하려는 시도를(시각적으로 및/또는 청각적으로) 수취확인하거나 달리 확인하도록 프롬프트될 수 있다.If the unlock attempts at 270 are below the threshold (e.g., the number of unlock attempts is less than the maximum number of allowed attempts), the process 250 starts with the new unlock attempt image of the user being captured at 252 and runs again May be (restarted). In some implementations, the device 100 automatically captures a new unlock attempt image of the user's face without prompting the user (eg, capture of the new image is automatically implemented and/or hidden from the user). In some implementations, device 100 notifies (visually and/or audibly) the user that process 250 is being resumed. In some embodiments, device 100 may prompt the user to provide an input to resume process 250. For example, the user may be prompted to acknowledge (visually and/or audibly) an attempt to resume process 250 or otherwise confirm.

도 10은 제1 템플릿 업데이트 프로세스(300)의 실시예의 플로차트를 도시한다. 프로세스(300)는 프로세스(250)로부터의 특징 벡터(들)(256)에 기초한 하나 이상의 부가의 동적 템플릿(226)으로 템플릿 공간(220)(도 6에 도시됨)을 업데이트하는 데 사용될 수 있다. 소정 실시예들에서, 프로세스(300)는 디바이스(100) 상의 단일 등록 프로파일(예컨대, 프로세스(250)에서 사용된 등록 프로파일)에 대한 템플릿 공간(220)을 업데이트하는 데 사용된다. 다수의 등록 프로파일들이 디바이스(100) 상에 있는 경우, 프로세스(300)는 디바이스 상의 상이한 등록 프로파일들을 독립적으로 업데이트하기 위해 각각의 등록 프로파일에 대해 별개로 동작될 수 있다(본 명세서에 기술된 바와 같음). 프로세스(300)는 등록 프로파일과 연관된 인가된 사용자의 외관의 점진적인 변화들에 대해 템플릿 공간(220)을 업데이트하는 데 사용될 수 있다. 예를 들어, 프로세스(300)는 머리(hair)의 점진적인 변화들(예컨대, 머리 색상, 머리 길이, 및/또는 머리 모양), 체중 증가, 체중 감소, 착용된 안경의 변화들, 또는 작은 외관손상 변화들(예컨대, 멍든 눈들, 흉터들 등)에 대해 템플릿 공간(220)을 업데이트할 수 있다. 프로세스(300)를 사용하여 템플릿 공간(220)을 업데이트하는 것은, 사용자의 외관의 점진적인 변화에도 불구하고, 인가된 사용자가 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100)에 성공적으로 계속 액세스하는 것을 허용한다.10 shows a flowchart of an embodiment of a first template update process 300. Process 300 may be used to update template space 220 (shown in FIG. 6) with one or more additional dynamic templates 226 based on feature vector(s) 256 from process 250. . In certain embodiments, the process 300 is used to update the template space 220 for a single registration profile on the device 100 (eg, the registration profile used in process 250 ). If multiple registration profiles are on device 100, process 300 may be operated separately for each registration profile to independently update different registration profiles on the device (as described herein. ). The process 300 may be used to update the template space 220 for incremental changes in the appearance of the authorized user associated with the registration profile. For example, the process 300 may include gradual changes in hair (e.g., hair color, hair length, and/or hairstyle), weight gain, weight loss, changes in glasses worn, or minor cosmetic damage. Template space 220 may be updated for changes (eg, black eyes, scars, etc.). Updating the template space 220 using the process 300 allows an authorized user to continue to successfully access the device 100 using the facial recognition authentication process 250, despite a gradual change in the user's appearance. Allow to do.

프로세스(300)는 매칭 점수(260)가 임계치(304) 초과인지를 평가하는 것(302)으로 시작될 수 있다. 임계치(304)는 특징 벡터(들)(256)가 다른 템플릿으로서 잠재적으로 사용될 수 있을 정도로 특징 벡터(들)(256)가 (정적 템플릿들(216)로부터의) 특징 벡터들(210)과 충분히 유사한지(예컨대, 가까운지)를 결정하기 위한 임계치 점수일 수 있다(예컨대, 임계치 점수는 특징 벡터들(256)이 특징 벡터들(210)로부터 소정 거리 내에 있는지를 결정할 수 있다). 소정 실시예들에서, 임계치(304)는 잠금해제 임계치(264)보다 크다(초과)(예컨대, 임계치(304)는 잠금해제 임계치(264)보다 높은 매칭 점수를 요구한다). 따라서, 특징 벡터(들)(256)가 템플릿이 되기 위한 임계치는 디바이스를 잠금해제하기 위한 임계치보다 엄격할 수 있다. 임계치(304)는 제조 동안 및/또는 디바이스(100)의 펌웨어에 의해 설정될 수 있다. 임계치(304)는 본 명세서에서 설명된 바와 같이 디바이스의 동작 동안 디바이스(100)에 의해 업데이트(예컨대, 조정)될 수 있다.Process 300 may begin with evaluating 302 whether the matching score 260 is above a threshold 304. The threshold 304 indicates that the feature vector(s) 256 is sufficient with the feature vectors 210 (from the static templates 216) such that the feature vector(s) 256 can potentially be used as another template. It may be a threshold score to determine whether it is similar (eg, close) (eg, the threshold score may determine whether the feature vectors 256 are within a predetermined distance from the feature vectors 210 ). In certain embodiments, threshold 304 is greater than (exceeds) unlock threshold 264 (eg, threshold 304 requires a match score higher than unlock threshold 264). Thus, the threshold for the feature vector(s) 256 to become a template may be stricter than the threshold for unlocking the device. The threshold 304 may be set during manufacture and/or by the firmware of the device 100. Threshold 304 may be updated (eg, adjusted) by device 100 during operation of the device as described herein.

일부 실시예들에서, 매칭 점수(260)가 임계치(304) 미만이면, 프로세스(300)는 중지되고 특징 벡터(들)(256)가 디바이스(100)로부터 삭제된다. 일부 실시예들에서, 매칭 점수(260)가 임계치(304) 미만이면, 프로세스(300)는, 도 12에 설명된, 템플릿 업데이트 서브프로세스(301)로 계속된다. 매칭 점수(260)가 임계치(304) 초과이면, 프로세스(300)가 계속된다. 일부 실시예들에서, 평가(302) 이후에, 306에서 잠금해제 시도 이미지에서의 하나 이상의 품질이 평가된다. 예를 들어, 306에서 잠금해제 시도 이미지에서의 포즈(예컨대, 얼굴의 피치, 요, 및 롤), 폐색, 주의, 시야, 및/또는 거리가 평가될 수 있다. 잠금해제 시도 이미지에서의 포즈 및/또는 폐색은 본 명세서에서 설명된 랜드마크 및/또는 폐색 맵들을 사용하여 평가될 수 있다. 308에서, 적합한 자격요건들이 충족되지 않으면, 프로세스(300)는 중지될 수 있다. 소정 실시예들에서, 적합한 자격요건들을 충족시키는 것은 위에서 설명된 평가된 품질들 중 하나 이상에 대해 이미지에서 선택된 기준들을 충족시키는 것을 포함한다. 예를 들어, 선택된 기준들은, 사용자의 얼굴이 카메라의 시야에 있는 것, 사용자의 얼굴의 포즈가 적절한 것(예컨대, 사용자의 얼굴이 카메라로부터 임의의 방향으로 너무 멀리 돌아가 있지 않는 것(즉, 얼굴의 피치, 요, 및/또는 롤이 소정 레벨들 초과가 아닌 것)), 사용자의 얼굴까지의 거리가 소정 거리 내에 있는 것, 사용자의 얼굴이 최소 값 미만의 폐색을 갖는 것(예컨대, 사용자의 얼굴이 다른 물체에 의해 최소 양 초과만큼 폐색(차단)되지 않는 것), 사용자가 카메라에 주의를 기울이는 것(예컨대, 사용자의 눈들이 카메라를 보고 있는 것), 사용자의 눈들이 감기지 않는 것, 및 이미지에서의 적절한 라이팅(조명)을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 실시예들에서, 306 및 308에서 품질들을 평가하는 것은 프로세스(300) 내의 상이한 위치에서 발생할 수 있다. 예를 들어, 306 및 308에서 품질들을 평가하는 것은 매칭 점수(324)를 임계치(326)와 비교한 후에 또는, 이하에서 설명되는, 336에서 신뢰 점수(332)를 신뢰 점수(334)와 비교한 후에 발생할 수 있다.In some embodiments, if the match score 260 is below the threshold 304, the process 300 stops and the feature vector(s) 256 is deleted from the device 100. In some embodiments, if the matching score 260 is less than the threshold 304, the process 300 continues with the template update subprocess 301, described in FIG. 12. If the matching score 260 exceeds the threshold 304, the process 300 continues. In some embodiments, after evaluation 302, at 306 one or more qualities in the unlock attempt image are evaluated. For example, at 306 the pose (eg, pitch, yaw, and roll of the face), occlusion, attention, vision, and/or distance in the unlock attempt image may be evaluated. The pose and/or occlusion in the unlock attempt image can be evaluated using the landmark and/or occlusion maps described herein. At 308, if the appropriate qualifications are not met, the process 300 may stop. In certain embodiments, meeting suitable qualifications includes meeting selected criteria in the image for one or more of the assessed qualities described above. For example, the selected criteria are that the user's face is in the field of view of the camera, that the user's face pose is appropriate (e.g., that the user's face is not turned too far in any direction from the camera (i.e. The pitch, yaw, and/or roll of is not exceeding certain levels)), the distance to the user's face is within a certain distance, the user's face has an occlusion less than a minimum value (e.g., the user's The face is not occluded (blocked) by other objects by more than a minimum amount), the user pays attention to the camera (e.g., the user's eyes are looking at the camera), the user's eyes are not closed, And appropriate lighting (illumination) in the image, but is not limited to these. In some embodiments, evaluating qualities at 306 and 308 may occur at different locations within process 300. For example, evaluating the qualities at 306 and 308 can be done after comparing the matching score 324 to a threshold 326 or comparing the confidence score 332 to the confidence score 334 at 336, described below. It can happen later.

308에서 적합한 자격요건들이 충족되면, 프로세스(300)는, 310에서, 특징 벡터(들)(256)를 디바이스(100)의 메모리 내의 백업 공간에 저장하는 것으로 계속된다. 메모리 내의 백업 공간은, 예를 들어, 판독가능/기입가능 메모리 및/또는 단기 메모리를 포함하는 메모리 내의 제2 공간 또는 임시 공간일 수 있다. 특징 벡터(들)(256)는 임시 템플릿(312)으로서 메모리에 저장될 수 있다.If the appropriate qualifications are met at 308, the process 300 continues at 310 with storing the feature vector(s) 256 in a backup space in the memory of the device 100. The backup space in the memory may be, for example, a second space or a temporary space in a memory including readable/writable memory and/or short-term memory. Feature vector(s) 256 may be stored in memory as temporary template 312.

소정 실시예들에서, 임시 템플릿(312)이 메모리 내의 백업 공간에 저장된 후에, 프로세스(300)는 임시 템플릿을 인가된 사용자에 대한 디바이스(100)에 의해 캡처된 부가의 잠금해제 시도 이미지들에 대한 특징 벡터들과 비교하는 것으로 계속된다. 314에서, 디바이스(100)의 부가의(미래의) 잠금해제 시도들 동안의 사용자(들)인 사용자(또는 비인가 액세스가 시도되는 경우 사용자들)의 부가의 잠금해제 시도 이미지들이 캡처된다. 316에서 부가의 잠금해제 시도 이미지들에서의 사용자의 얼굴의 특징들이 인코딩되어 특징 벡터들(318)을 생성한다. 320에서, 특징 벡터들(318)이 임시 템플릿(312)과 비교되어 매칭 점수(322)를 얻는다.In certain embodiments, after the temporary template 312 is stored in a backup space in memory, the process 300 applies the temporary template to additional unlock attempt images captured by the device 100 for an authorized user. It continues by comparing feature vectors. At 314, additional unlock attempt images of the user (or users if unauthorized access is attempted), the user(s) during additional (future) unlock attempts of the device 100 are captured. At 316, features of the user's face in the additional unlock attempt images are encoded to generate feature vectors 318. At 320, feature vectors 318 are compared to temporary template 312 to obtain a matching score 322.

324에서 매칭 점수(322)가 이어서 임계치(326)와 비교될 수 있다. 일부 실시예들에서, 임계치(326)는 잠금해제 임계치(264)이다. 일부 실시예들에서, 임계치(326)는 임계치(304)이다. 324에서 매칭 점수(322)가 임계치(326) 초과이면, 328에서 성공적인 시도가 카운팅된다. 324에서 매칭 점수(322)가 임계치(326) 미만이면, 330에서 성공하지 못한 시도가 카운팅된다. 카운팅들(328 및 330)은 원하는 횟수의 잠금해제 시도들(예컨대, 매칭 점수(322)와 임계치(326)의 원하는 횟수의 비교들)이 이루어질 때까지 계속될 수 있다. 일단 원하는 횟수의 시도들이 이루어지면, 잠금해제 시도들의 총 횟수(예컨대, 카운팅들(328 및 330)의 합) 중 328에서의 성공적인 시도들의 횟수가 임시 템플릿(312)에 대한 신뢰 점수(332)를 평가하는 데 사용될 수 있다. 예를 들어, 50회의 총 잠금해제 시도 중 45회의 성공적인 시도가 있을 수 있으며 따라서 신뢰 점수(332)는 45/50 또는 90%이다. 신뢰 점수(332)는 템플릿(312)이 동적 템플릿(226)으로서, 도 6에 도시된, 템플릿 공간(220)에 추가되는지 여부를 평가하는 데 사용될 수 있다.At 324 the matching score 322 may then be compared to a threshold 326. In some embodiments, threshold 326 is an unlock threshold 264. In some embodiments, threshold 326 is threshold 304. If the matching score 322 at 324 exceeds the threshold 326, then at 328 a successful attempt is counted. If the matching score 322 at 324 is less than the threshold 326, then at 330 an unsuccessful attempt is counted. Countings 328 and 330 may continue until a desired number of unlock attempts (eg, matching score 322 and a desired number of comparisons of threshold 326) have been made. Once the desired number of attempts have been made, the number of successful attempts at 328 out of the total number of unlock attempts (e.g., sum of counts 328 and 330) gives the confidence score 332 for the temporary template 312. Can be used to evaluate. For example, of the 50 total unlock attempts, there may be 45 successful attempts, so the confidence score 332 is 45/50 or 90%. Confidence score 332 may be used to evaluate whether template 312 is added to template space 220, shown in FIG. 6, as dynamic template 226.

위에서 설명된 바와 같이, 처음에 등록 이후에, 등록 템플릿들(예컨대, 도 6에 도시된, 정적 템플릿들(216))은 템플릿 공간(220)의 정적 부분(222)에 추가된다. 등록 프로세스 및 정적 템플릿들(216)이 정적 부분(222)에 추가된 후에, 도 10에 도시된 프로세스(300)는 부가의 템플릿들을 템플릿 공간(220)에 추가하는 데 사용될 수 있다. 부가의 템플릿들이 동적 템플릿들(226)로서 동적 부분(224)(예컨대, 디바이스 리셋이 필요 없이 템플릿들이 추가 및 삭제될 수 있는 부분)에 추가될 수 있다. 동적 템플릿들(226)은, 도 9에 도시된, 얼굴 인식 인증 프로세스(250)를 위해 템플릿 공간(220)에서의 정적 템플릿들(216)과 조합하여 사용될 수 있다.As described above, after initial registration, registration templates (eg, static templates 216, shown in FIG. 6) are added to the static portion 222 of the template space 220. After the registration process and static templates 216 have been added to the static portion 222, the process 300 shown in FIG. 10 may be used to add additional templates to the template space 220. Additional templates may be added as dynamic templates 226 to dynamic portion 224 (eg, a portion in which templates may be added and deleted without the need for a device reset). Dynamic templates 226 may be used in combination with static templates 216 in template space 220 for facial recognition authentication process 250, shown in FIG. 9.

소정 실시예들에서, 임시 템플릿(312)에 대한 신뢰 점수(332)가 정적 부분(222)에서의 정적 템플릿들(216)의 최저 신뢰 점수보다 높을 때, 도 10에 도시된, 프로세스(300)에 의해 생성되는 임시 템플릿들(312)은 도 6에 도시된 동적 템플릿들(226)로서 동적 부분(224)에 추가된다. 신뢰 점수(334)는 임시 템플릿(312)에 대한 신뢰 점수(332)를 평가하는 데 사용되는 동일한 잠금해제 시도들 동안 평가되는 정적 부분(222)에서의 정적 템플릿들(216)에 대한 최저 신뢰 점수(예컨대, 임시 템플릿(312)을 사용하는 동일한 잠금해제 시도들 동안 성공적인 잠금해제 시도들의 최저 횟수를 갖는 템플릿에 대한 신뢰 점수)와 동일할 수 있다. 신뢰 점수(334)는 신뢰 점수(332)에 대해 사용되는 동일한 임계치(예컨대, 임계치(326))를 사용하여 평가될 수 있다.In certain embodiments, when the confidence score 332 for the temporary template 312 is higher than the lowest confidence score of the static templates 216 in the static portion 222, the process 300, shown in FIG. Temporary templates 312 created by are added to the dynamic portion 224 as dynamic templates 226 shown in FIG. 6. The confidence score 334 is the lowest confidence score for the static templates 216 in the static portion 222 evaluated during the same unlock attempts used to evaluate the confidence score 332 for the temporary template 312. (E.g., the confidence score for the template with the lowest number of successful unlock attempts during the same unlock attempts using the temporary template 312). Confidence score 334 may be evaluated using the same threshold (eg, threshold 326) used for confidence score 332.

소정 실시예들에서, 336에서, 신뢰 점수(332)가 신뢰 점수(334)보다 크면, 338에서, 임시 템플릿(312)은 동적 템플릿(226)으로서 동적 부분(224)에 추가된다. 예를 들어, 임시 템플릿(312)이 50회의 총 잠금해제 시도 중 45회의 성공적인 잠금해제 시도를 갖는 반면, 하나의 정적 템플릿(216)만이 동일한 50회의 총 잠금해제 시도 중 40회의 성공적인 잠금해제 시도를 갖는다면, 임시 템플릿(312)은 동적 템플릿들(226) 중 하나로서 동적 부분(224)에 추가될 수 있다. 336에서, 신뢰 점수(332)가 신뢰 점수(334)보다 작으면, 340에서 임시 템플릿(312)이 무시 또는 삭제된다. 최대 개수의 허용된 동적 템플릿들(226)이 동적 부분(224)에 저장될 때까지 임시 템플릿들(312)이 추가될 수 있다.In certain embodiments, if, at 336, the confidence score 332 is greater than the confidence score 334, then at 338, the temporary template 312 is added to the dynamic portion 224 as the dynamic template 226. For example, temporary template 312 has 45 successful unlock attempts out of 50 total unlock attempts, while only one static template 216 makes 40 successful unlock attempts out of the same 50 total unlock attempts. If so, the temporary template 312 can be added to the dynamic portion 224 as one of the dynamic templates 226. At 336, if the confidence score 332 is less than the confidence score 334, the temporary template 312 is ignored or deleted at 340. Temporary templates 312 may be added until the maximum number of allowed dynamic templates 226 are stored in the dynamic portion 224.

일단 동적 부분(224)이 동적 부분(224)에서의 그의 최대 개수의 동적 템플릿들(226)에 도달하면, 338에서 임시 템플릿(312)이 동적 템플릿들(226) 중 하나를 대체할 수 있다. 예를 들어, 임시 템플릿이 동적 템플릿들(226) 중 하나보다 덜 이상치이면, 임시 템플릿(312)은 동적 템플릿들(226) 중 하나를 대체할 수 있다. 소정 실시예들에서, 동적 템플릿들(226) 및 임시 템플릿(312)을 표현하는 특징 벡터들의 통계적 분석은 임시 템플릿(312)이 동적 템플릿들(226) 중 하나보다 덜 이상치인지를 평가하는 데 사용된다. 통계적 분석은, 예를 들어, 템플릿들에 대한 특징 벡터들에 대해 동작되는 분류 알고리즘들을 포함할 수 있다.Once the dynamic portion 224 reaches its maximum number of dynamic templates 226 in the dynamic portion 224, the temporary template 312 may replace one of the dynamic templates 226 at 338. For example, if the temporary template is less outlier than one of the dynamic templates 226, then the temporary template 312 may replace one of the dynamic templates 226. In certain embodiments, statistical analysis of the feature vectors representing the dynamic templates 226 and the temporary template 312 is used to assess whether the temporary template 312 is less outlier than one of the dynamic templates 226. do. Statistical analysis can include, for example, classification algorithms operated on feature vectors for templates.

도 11은 특징 공간으로서 표현되는 템플릿 공간(220)의 실시예의 표현을 도시한다. 템플릿 공간(220)의 특징 공간 묘사에서, 정적 템플릿들(216), 동적 템플릿들(226), 및 임시 템플릿(312)은 특징 벡터들에 의해 표현된다. 예를 들어, 정적 템플릿들(216)은 원들에 의해 표현되고, 동적 템플릿들(226)은 마름모들에 의해 표현되며, 임시 템플릿(312)은 별에 의해 표현된다. 소정 실시예들에서, 위에서 설명된 바와 같이, 정적 템플릿들(216)이 임시 템플릿(312)에 의해 대체되도록 허용되지 않는다. 따라서, 동적 부분(224)이 그의 최대 개수의 동적 템플릿들(226)에 도달했다면, 임시 템플릿(312)이 동적 템플릿들(226) 중 하나보다 덜 이상치이면 임시 템플릿(312)은 동적 템플릿들(226) 중 하나를 대체할 수 있다.11 shows a representation of an embodiment of a template space 220 expressed as a feature space. In the feature space description of template space 220, static templates 216, dynamic templates 226, and temporary template 312 are represented by feature vectors. For example, static templates 216 are represented by circles, dynamic templates 226 are represented by diamonds, and temporary template 312 is represented by stars. In certain embodiments, as described above, static templates 216 are not allowed to be replaced by temporary template 312. Thus, if the dynamic portion 224 has reached its maximum number of dynamic templates 226, the temporary template 312 is less outlier than one of the dynamic templates 226, the temporary template 312 is the dynamic templates ( 226) can be substituted.

템플릿 공간(220)에 상관되는 특징 공간에서의 특징 벡터들의 통계적 분석은 특징 벡터들의 최대 개수를 가장 가깝게 정의하는 원(예컨대, 원(342))을 생성할 수 있다. 도 11에 도시된 바와 같이, 원(342)은 원의 이상치로서 동적 템플릿(226')에 대한 특징 벡터를 정의한다. 동적 템플릿(226')에 대한 특징 벡터는 임시 템플릿(312)에 대한 특징 벡터보다 더 이상치이다. 따라서, 임시 템플릿(312)은 템플릿 공간(220)에서의 동적 템플릿(226')을 대체할 수 있다. 임시 템플릿(312)이 동적 템플릿들(226) 각각보다 더 이상치였다면, 임시 템플릿은 동적 템플릿들(226) 중 어느 것도 대체하지 않았을 수 있다.Statistical analysis of feature vectors in the feature space correlated to the template space 220 may generate a circle (eg, a circle 342) that defines the maximum number of feature vectors closest. As shown in FIG. 11, circle 342 defines a feature vector for dynamic template 226' as an outlier of the circle. The feature vector for the dynamic template 226' is more outlier than the feature vector for the temporary template 312. Thus, the temporary template 312 may replace the dynamic template 226' in the template space 220. If the temporary template 312 was outlier than each of the dynamic templates 226, the temporary template may not have replaced any of the dynamic templates 226.

소정 실시예들에서, 임시 템플릿(312)이 템플릿 공간(220)에서의 동적 템플릿(226')을 대체할 때, 디바이스(100)에 대한 하나 이상의 임계치가 재계산될 수 있다. 임시 템플릿(312)이 동적 템플릿(226')보다 덜 이상치일 때, 임계치(들)의 재계산은 임계치들을 추가로 제약할 수 있다(예컨대, 보다 근접한 매칭을 요구하기 위해 매칭 점수들에 대한 임계치를 상승시킴). 일부 실시예들에서, 임시 템플릿(312)이 템플릿 공간(220)에서의 동적 템플릿(226')을 대체할 때 잠금해제 임계치(예컨대, 도 9에 도시된, 잠금해제 임계치(264))가 보다 엄격하게 된다. 일부 실시예들에서, 임시 템플릿(312)이 템플릿 공간(220)에서의 동적 템플릿(226')을 대체할 때 템플릿 업데이트 임계치(예컨대, 도 10에 도시된, 임계치(304))가 보다 엄격하게 된다.In certain embodiments, when temporary template 312 replaces dynamic template 226' in template space 220, one or more thresholds for device 100 may be recalculated. When the temporary template 312 is less outlier than the dynamic template 226', recalculation of the threshold(s) may further constrain the thresholds (e.g., the threshold for matching scores to require a closer match). Elevated). In some embodiments, the unlock threshold (e.g., unlock threshold 264, shown in Figure 9) is greater when the temporary template 312 replaces the dynamic template 226' in the template space 220. It becomes strict. In some embodiments, the template update threshold (e.g., threshold 304, shown in FIG. 10) is more stringent when the temporary template 312 replaces the dynamic template 226' in the template space 220. do.

도 12는 템플릿 업데이트 서브프로세스(301)의 실시예의 플로차트를 도시한다. 위에서 설명된 바와 같이, 매칭 점수(260)가 임계치(304) 미만이지만 잠금해제 임계치(264) 초과이면 서브프로세스(301)가 진행될 수 있다. 그러한 범위(잠금해제 임계치(264) 초과 임계치(304) 미만) 내의 매칭 점수들(260)을 갖는 이미지들은 (디바이스(100)를 여전히 잠금해제할 수 있으면서) 임계치(304) 초과인 이미지들보다 매칭하는 데 더 많은 불확실성을 가질 수 있다. 따라서, 이러한 보다 불확실한 이미지들은 서브프로세스(301)를 사용하여 프로세싱될 수 있다.12 shows a flowchart of an embodiment of the template update sub-process 301. As described above, if the matching score 260 is less than the threshold 304 but exceeds the unlock threshold 264, the sub-process 301 may proceed. Images with matching scores 260 within that range (above unlock threshold 264 and below threshold 304) will match more than images above threshold 304 (while still being able to unlock device 100). Can have more uncertainty in doing things Thus, these more ambiguous images can be processed using the subprocess 301.

서브프로세스(301)에서, 350에서 잠금해제 시도 이미지에서의 하나 이상의 품질이 평가된다. 350에서 잠금해제 시도 이미지의 품질들을 평가하는 것은, 도 10에 도시된 바와 같은, 306 및 308에서 품질들을 평가하는 것과 실질적으로 유사할 수 있다. 도 12에 도시된 바와 같이, 350에서 잠금해제 시도 이미지가 품질들의 평가를 통과하면(예컨대, 자격요건들을 충족시키면), 352에서 임시 템플릿들(312)에 사용되는 백업 공간 내에 다른 임시 템플릿을 저장할 공간(예컨대, 자리(room))이 있는지의 결정(예컨대, 최대 개수의 임시 템플릿들(312)이 백업 공간에 저장되어 있는지의 결정)이 이루어질 수 있다.In sub-process 301, at 350, one or more qualities in the unlock attempt image are evaluated. Evaluating the qualities of the unlock attempt image at 350 may be substantially similar to evaluating the qualities at 306 and 308, as shown in FIG. 10. As shown in Fig. 12, if the unlock attempt image passes the evaluation of the qualities at 350 (eg, meets the qualifications), another temporary template is stored in the backup space used for the temporary templates 312 at 352. A determination of whether there is space (eg, room) (eg, determination of whether the maximum number of temporary templates 312 are stored in the backup space) may be made.

백업 공간에 자리가 없으면("N"), 잠금해제 시도 이미지(및 그의 대응하는 특징 벡터들)는 도 12에 도시된 바와 같이 정책 삭제(354)를 거칠 수 있다. 정책 삭제(354)에서, 기존의 특징들에 대해 선택된 중복성(redundancy)을 갖는(예컨대, 가장 중복적인) 백업 공간(예컨대, 임시 템플릿(312)을 위한 공간)에서의 특징 벡터(들)가 백업 공간에서 대체될 수 있다.If there is no place in the backup space ("N"), the unlock attempt image (and its corresponding feature vectors) may go through a policy deletion 354 as shown in FIG. 12. In policy deletion 354, feature vector(s) in a backup space (e.g., space for temporary template 312) with selected redundancy for existing features (e.g., the most redundant) is Can be replaced in space.

백업 공간에 자리가 있으면("Y"), 356에서 잠금해제 시도 이미지에 대한 특징 벡터들이 임시 템플릿(예컨대, 임시 템플릿(312))으로서 백업 공간에 추가된다. 일단 356에서 서브프로세스(301)로부터의 임시 템플릿이 백업 공간에 추가되면, 임시 템플릿은 (예컨대, 도 10에 도시된 바와 같이 부가의 잠금해제 시도 이미지들과 비교하여) 실질적으로 임시 템플릿(312)으로서 프로세싱될 수 있다. 소정 실시예들에서, 서브프로세스(301)로부터의 임시 템플릿은 선택된 양의 시간 동안 템플릿(예컨대, 임시 템플릿(312) 및/또는 동적 템플릿(226))으로서 사용된다. 예를 들어, 서브프로세스(301)로부터의 임시 템플릿이 원래 다른 템플릿들보다 높은 불확실성으로 추가되기 때문에, 서브프로세스(301)로부터의 임시 템플릿의 사용을 위해 허용되는 시간 양이 제한될 수 있다(예컨대, 임시 템플릿은 제한된 수명을 가진다). 일부 실시예들에서, 선택된 시간 양은 서브프로세스(301)로부터의 임시 템플릿을 사용하는 성공적인 잠금해제 시도들의 최대 양이다.If there is room in the backup space ("Y"), at 356, feature vectors for the unlock attempt image are added to the backup space as a temporary template (eg, temporary template 312). Once the temporary template from the subprocess 301 is added to the backup space at 356, the temporary template is substantially temporary template 312 (e.g., compared to additional unlock attempt images as shown in FIG. 10). Can be processed as. In certain embodiments, a temporary template from subprocess 301 is used as a template (eg, temporary template 312 and/or dynamic template 226) for a selected amount of time. For example, because the temporary template from subprocess 301 is originally added with higher uncertainty than other templates, the amount of time allowed for use of the temporary template from subprocess 301 may be limited (e.g. , Temporary templates have a limited lifetime). In some embodiments, the amount of time selected is the maximum amount of successful unlock attempts using the temporary template from subprocess 301.

위에서 설명된 바와 같이, 제1 템플릿 업데이트 프로세스(300)는 디바이스(100)가 얼굴 인식 인증 프로세스(250)를 사용하여 잠금해제 또는 액세스될 때 등록 프로파일(예컨대, 템플릿 공간에서의 템플릿들)을 업데이트하는 데 사용될 수 있다. 제1 템플릿 업데이트 프로세스(300)는, 예를 들어, 사용자의 외관의 점진적인 변화들(예컨대, 체중 증가/감소)에 응답하여 등록 프로파일을 업데이트하는 데 사용될 수 있다.As described above, the first template update process 300 updates the registration profile (eg, templates in the template space) when the device 100 is unlocked or accessed using the face recognition authentication process 250 Can be used to The first template update process 300 may be used, for example, to update the registration profile in response to gradual changes in the user's appearance (eg, weight gain/loss).

그렇지만, 일부 실시예들에서, 인가된 사용자의 얼굴 특징들(예컨대, 사용자의 얼굴 외관)이 급격히, 또는 적어도 충분히 큰 정도로 변화될 수 있어, 사용자가 도 9에 도시된 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100) 상의 특징들(예컨대, 동작들)을 잠금해제 또는 액세스하는 데 어려움을 겪을 수 있다. 사용자의 얼굴 외관의 급격한 또는 큰 정도의 변화들은, 예를 들어, 턱수염 또는 콧수염의 면도, 얼굴에 대한 큰 흉터 또는 다른 외관손상을 얻는 것, 급격한 메이크업 변화들을 주는 것, 급격한 머리 변화들을 주는 것을 포함할 수 있다. 일부 경우들에서, 등록 프로세스 동안 에러가 있었고 그리고/또는 잠금해제 시도 동안의 사용자의 환경과 등록 시간 간에 큰 차이들이 있으면, 사용자는 또한 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100)를 잠금해제/액세스하는 데 어려움을 겪을 수 있다. 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100)를 잠금해제하는 데 어려움을 겪는 것은 사용자에게는 좌절감을 주는 경험일 수 있다. 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100)를 잠금해제하는 데 있어서의 어려움이 위에서 설명된 변화들/이슈들로 인해 발생할 때, 제2 템플릿 업데이트 프로세스(예컨대, 아래에서 설명되는 제2 템플릿 업데이트 프로세스(400))가, 적어도 일시적으로, 제2 인증 프로토콜을 사용한 사용자의 아이덴티티의 검증 이후에, 이슈들/변화들에도 불구하고, 사용자가 얼굴 인식 인증 프로세스를 사용하여 디바이스를 잠금해제/액세스할 수 있게 해주는 데 사용될 수 있다.However, in some embodiments, the facial features of the authorized user (e.g., the user's facial appearance) may change rapidly, or at least to a sufficiently large extent, so that the user can perform the facial recognition authentication process 250 shown in FIG. May have difficulty unlocking or accessing features (eg, operations) on device 100 using. Sudden or significant changes in the appearance of the user's face include, for example, shaving a beard or mustache, obtaining a large scar or other cosmetic damage to the face, making sudden makeup changes, giving sudden hair changes. can do. In some cases, if there was an error during the enrollment process and/or there are significant differences between the enrollment time and the user's environment during the unlock attempt, the user may also use the facial recognition authentication process 250 to lock the device 100. You may have difficulty unlocking/accessing. Having difficulty in unlocking the device 100 using the facial recognition authentication process 250 may be a frustrating experience for the user. When the difficulty in unlocking the device 100 using the face recognition authentication process 250 arises due to the changes/issues described above, the second template update process (e.g., the second Template update process 400), at least temporarily, after verification of the user's identity using the second authentication protocol, in spite of issues/changes, the user unlocks the device using the face recognition authentication process/ It can be used to make it accessible.

도 9에 도시된 바와 같이, 270에서 성공하지 못한 잠금해제 시도들의 횟수가 선택된 값에 도달하고 디바이스(100)가 얼굴 인식 인증 프로세스를 사용하는 추가 시도들로부터 잠금될 때까지 사용자는 얼굴 인식 인증 프로세스(250)를 사용하여 다수의 잠금해제 시도들을 비성공적으로 시도할 수 있다. 그러한 때에, 사용자는 잠금해제 옵션들(274)에서 디바이스(100) 상의 특징들을 잠금해제 또는 액세스하기 위해 상이한 유형의 인증을 진행하기 위한 하나 이상의 옵션을 제시받을 수 있다. 사용자가 선택된 옵션을 사용하여 성공적으로 인증된 후에, 사용자가 얼굴 인식 인증 프로세스를 사용하여 디바이스를 잠금해제/액세스하지 못하게 이전에 방지했던 사용자의 얼굴 외관의 변화들에도 불구하고 사용자가 얼굴 인식 인증 프로세스(250)를 사용하는 미래의 잠금해제 시도들에서 디바이스를 잠금해제/액세스할 수 있게 해주기 위해, 디바이스(100)는 (예컨대, 아래에서 설명되는 제2 템플릿 업데이트 프로세스(400)를 사용하여) 사용자의 등록 프로파일을, 적어도 일시적으로, 업데이트할 수 있다. 따라서, 사용자는, 선택된 옵션을 사용하여 인증을 성공적으로 완료함으로써, 적어도 짧은 시간 기간 동안 미래의 잠금해제 시도들에서 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100)에 자동으로 액세스할 수 있다.As shown in Fig. 9, the user is in the face recognition authentication process until the number of unsuccessful unlocking attempts at 270 reaches a selected value and the device 100 is locked from further attempts using the face recognition authentication process. (250) can be used to unsuccessfully attempt multiple unlock attempts. At such times, the user may be presented with one or more options for proceeding with different types of authentication to unlock or access features on device 100 in unlock options 274. After the user has been successfully authenticated using the selected option, the user will not be able to use the facial recognition authentication process to unlock/access the device, despite changes in the user's facial appearance that previously prevented the user from using the facial recognition authentication process. To enable unlocking/accessing the device in future unlock attempts using 250, the device 100 may be configured with the user (e.g., using the second template update process 400 described below). You can update your registration profile, at least temporarily. Thus, the user can automatically access the device 100 using the face recognition authentication process 250 in future unlock attempts for at least a short period of time, by successfully completing authentication using the selected option. .

도 13은 제2 템플릿 업데이트 프로세스(400)의 실시예의 플로차트를 도시한다. 도 9에 도시된 바와 같이, 얼굴 인식 인증 프로세스(250)가 디바이스(100)를 잠금해제할 수 없지만 디바이스가 패스코드 또는 다른 인증 프로토콜을 사용하여 잠금해제될 때 프로세스(400)가 사용될 수 있다. 일부 실시예들에서, 잠금해제 시도가 실패한 직후에 또는 잠금해제 시도가 실패하고 나서 지정된 시간 프레임 내에(예컨대, 잠금해제 시도에 시간적으로 근접하여) 디바이스(100)가 패스코드를 사용하여 잠금해제될 때 프로세스(400)가 사용될 수 있다. 소정 실시예들에서, 프로세스(400)는 디바이스(100) 상의 단일 등록 프로파일(예컨대, 프로세스(250)에 사용된 등록 프로파일)에 대한 템플릿 공간(220)을 업데이트하는 데 사용된다. 다수의 등록 프로파일들이 디바이스(100) 상에 있는 경우, 프로세스(400)는 (본 명세서에 기술된 바와 같이) 캡처된 잠금해제 시도 이미지로부터의 특징 벡터들에 가장 근접하게 매칭되는 등록 프로파일에서만 동작될 수 있다.13 shows a flowchart of an embodiment of a second template update process 400. 9, the facial recognition authentication process 250 cannot unlock the device 100, but the process 400 may be used when the device is unlocked using a passcode or other authentication protocol. In some embodiments, the device 100 may be unlocked using the passcode immediately after the unlock attempt fails or within a specified time frame after the unlock attempt fails (e.g., in time proximity to the unlock attempt) When the process 400 can be used. In certain embodiments, process 400 is used to update template space 220 for a single registration profile on device 100 (eg, a registration profile used in process 250 ). If multiple registration profiles are on device 100, process 400 will only operate on the registration profile that most closely matches feature vectors from the captured unlock attempt image (as described herein). I can.

소정 실시예들에서, 디바이스(100)가, 도 9에 도시된, 얼굴 인식 인증 프로세스(250)를 사용하여 잠금해제될 수 있게 해주도록 잠금해제 시도 이미지로부터 생성된 특징 벡터들(예컨대, 특징 벡터들(256))이 정적 템플릿들(216) 및/또는 동적 템플릿들(226)에 충분히 가깝게(예컨대, 잠금해제 임계치 거리 내에) 있지 못하게 방지하는 정도로 인가된 사용자의 얼굴 특징들이 변했을 때 등록 프로파일을 위한 템플릿 공간(220)을 업데이트하기 위해 프로세스(400)가 사용된다. 예를 들어, 도 5에서의 원(265)(잠금해제 임계치 원) 외부에 도시된 특징 벡터(256B)에 대해 프로세스(400)가 사용될 수 있다. 사용자가 얼굴 인식 인증 프로세스(250)를 사용하여 디바이스(100)를 잠금해제할 수 있는 것에 대한 가능한 원인들은, 인가된 사용자가 턱수염 또는 콧수염을 면도하거나, 얼굴에 대한 큰 흉터 또는 다른 외관손상을 얻거나, 큰 메이크업 변화들, 급격한 머리 변화, 또는 얼굴 특징의 다른 심각한 변화를 가지면, 이러한 변화들이 제1 템플릿 업데이트 프로세스(300)가 시간 경과에 따라 점진적으로 템플릿 공간(220)을 업데이트할 수 있게 해주지 않는 인가된 사용자의 얼굴 특징들의 즉각적 변화들 또는 "단계 변화들(step changes)"일 수 있다는 것을 포함하지만, 이들로 제한되지 않는다.In certain embodiments, feature vectors (e.g., feature vectors) generated from the unlock attempt image to enable device 100 to be unlocked using the facial recognition authentication process 250, shown in FIG. Enrollment profile when facial features of an authorized user have changed to the extent that prevents them from being sufficiently close (e.g., within an unlock threshold distance) to static templates 216 and/or dynamic templates 226 Process 400 is used to update the template space 220 for. For example, process 400 may be used for feature vector 256B shown outside circle 265 (unlock threshold circle) in FIG. 5. Possible causes for the user being able to unlock the device 100 using the facial recognition authentication process 250 are: an authorized user shaving a beard or mustache, or getting a large scar or other cosmetic damage to the face. Or, with large makeup changes, sudden hair changes, or other serious changes in facial features, these changes allow the first template update process 300 to gradually update the template space 220 over time. Including, but not limited to, instantaneous changes or "step changes" of the facial features of an authorized user.

제2 템플릿 업데이트 프로세스(400)는 402에서 매칭 점수(260)가 임계치(404) 초과인지를 평가하는 것으로 시작될 수 있다. 임계치(404)는 특징 벡터(들)(256)가 다른 템플릿으로서 잠재적으로 사용될 수 있을 정도로 특징 벡터(들)(256)가 (정적 템플릿들(216)로부터의) 특징 벡터들(210)과 충분히 유사한지(예컨대, 가까운지)를 결정하기 위한 임계치 점수일 수 있다. 소정 실시예들에서, 프로세스(400)에 대한 임계치(404)는 잠금해제 임계치(264) 미만이다. 패스코드(또는 다른 인증)가 프로세스(400)를 시작하기 전에 입력되었기 때문에 임계치(404)는 잠금해제 임계치(264) 미만일 수 있다(예컨대, 특징 벡터들과 템플릿들 사이에 보다 많은 거리가 허용됨). 따라서, 특징 벡터(들)(256)가 프로세스(400)에서의 템플릿이 되기 위한 임계치는 디바이스를 잠금해제하기 위한 임계치 및 도 10에 도시된 프로세스(300)에 대한 임계치보다 덜 엄격할 수 있다. 그렇지만, 임계치(404)는 잠금해제 시도 이미지에 대한 특징 벡터들(256)과 템플릿 공간(220)에 대한 특징 벡터들 사이의 최대 허용가능 거리를 설정하는 값으로 설정될 수 있다. 최대 허용가능 거리를 설정하는 것은 인가된 사용자는 아니지만 디바이스(100)에 대한 패스코드를 가지는 사용자가 디바이스 상에서 얼굴 인식 인증을 할 수 있게 되는 것을 방지하는 데 사용될 수 있다. 임계치(404)는 제조 동안 및/또는 디바이스(100)의 펌웨어에 의해 설정될 수 있다. 임계치(404)는 본 명세서에서 설명된 바와 같이 디바이스의 동작 동안(예컨대, 템플릿들이 템플릿 공간(220)에서 추가 또는 대체된 후에) 디바이스(100)에 의해 업데이트(예컨대, 조정)될 수 있다.The second template update process 400 may begin at 402 by evaluating whether the matching score 260 exceeds a threshold 404. Threshold 404 indicates that the feature vector(s) 256 is sufficient with the feature vectors 210 (from static templates 216) such that the feature vector(s) 256 can potentially be used as another template. It may be a threshold score to determine if it is similar (eg, close). In certain embodiments, the threshold 404 for the process 400 is less than the unlock threshold 264. Threshold 404 may be less than unlock threshold 264 because passcode (or other authentication) was entered before starting process 400 (e.g., more distances are allowed between feature vectors and templates). . Thus, the threshold for feature vector(s) 256 to become a template in process 400 may be less stringent than the threshold for unlocking the device and the threshold for process 300 shown in FIG. 10. However, the threshold 404 may be set to a value that sets a maximum allowable distance between the feature vectors 256 for the unlock attempt image and the feature vectors for the template space 220. Setting the maximum allowable distance can be used to prevent a user who is not an authorized user but has a passcode for the device 100 from being able to perform facial recognition authentication on the device. The threshold 404 may be set during manufacture and/or by the firmware of the device 100. Threshold 404 may be updated (eg, adjusted) by device 100 during operation of the device (eg, after templates are added or replaced in template space 220) as described herein.

프로세스(404)는 중지될 수 있고, 매칭 점수(260)가 임계치(404) 미만이면 특징 벡터(들)(256)가 디바이스(100)로부터 삭제된다. 매칭 점수(260)가 임계치(404) 초과이면, 프로세스(400)가 계속된다. 일부 실시예들에서, 평가(404) 이후에, 406에서 잠금해제 시도 이미지에서의 하나 이상의 품질이 평가된다. 예를 들어, 406에서 잠금해제 시도 이미지에서의 포즈(예컨대, 얼굴의 피치, 요, 및 롤), 폐색, 주의, 시야, 및/또는 거리가 평가될 수 있다. 일부 실시예들에서, 잠금해제 시도 이미지에서의 포즈 및/또는 폐색은 본 명세서에서 설명된 랜드마크 및/또는 폐색 맵들을 사용하여 평가될 수 있다. 408에서, (위에서 설명된 바와 같은) 적합한 자격요건들이 충족되지 않으면, 프로세스(400)는 중지될 수 있다.Process 404 may be stopped and feature vector(s) 256 are deleted from device 100 if match score 260 is less than threshold 404. If the match score 260 exceeds the threshold 404, the process 400 continues. In some embodiments, after evaluation 404, at 406 one or more qualities in the unlock attempt image are evaluated. For example, at 406 a pose (eg, pitch, yaw, and roll of the face), occlusion, attention, field of view, and/or distance in the unlock attempt image may be evaluated. In some embodiments, the pose and/or occlusion in the unlock attempt image may be evaluated using the landmark and/or occlusion maps described herein. At 408, if the appropriate qualifications (as described above) are not met, the process 400 can be stopped.

408에서 적합한 자격요건들이 충족되면, 프로세스(400)는, 410에서, 특징 벡터(들)(256)를 디바이스(100)의 메모리 내의 백업 공간에 저장하는 것으로 계속된다. 프로세스(400)에 대한 메모리 내의 백업 공간은 프로세스(300)에 사용되는 것과 상이한 백업 공간일 수 있다. 예를 들어, 프로세스(400)에 대한 메모리 내의 백업 공간은 프로세스(300)에 사용되는 백업 공간으로부터 파티셔닝된 판독가능/기입가능 메모리를 포함하는 메모리 내의 임시 공간일 수 있다. 특징 벡터(들)(256)는 임시 템플릿(412)으로서 메모리에 저장될 수 있다.If the appropriate qualifications are met at 408, the process 400 continues at 410 with storing the feature vector(s) 256 in a backup space in the memory of the device 100. The backup space in memory for process 400 may be a different backup space than that used for process 300. For example, the backup space in memory for process 400 may be a temporary space in memory including readable/writable memory partitioned from the backup space used for process 300. Feature vector(s) 256 may be stored in memory as temporary template 412.

소정 실시예들에서, 임시 템플릿(412)이 백업 공간에 저장된 후에, 임시 템플릿(412)이 디바이스(100)의 실패한 얼굴 인식 인증 잠금해제 시도들로부터의 부가의 이미지들에 대한 특징 벡터들과 비교될 수 있다. 예를 들어, 프로세스(400)에서, 414에서 부가의 실패한 잠금해제 시도 이미지들이 캡처될 수 있다. 416에서 정확한 패스코드가 입력되면, 414에서 캡처된 이미지들에 대한 특징 벡터들이 418에서 인코딩되어 특징 벡터들(420)을 생성할 수 있다.In certain embodiments, after temporary template 412 is stored in the backup space, temporary template 412 is compared with feature vectors for additional images from failed facial recognition authentication unlock attempts of device 100 Can be. For example, in process 400, additional failed unlock attempt images at 414 may be captured. If the correct passcode is input at 416, feature vectors for images captured at 414 are encoded at 418 to generate feature vectors 420.

소정 실시예들에서, 422에서, 특징 벡터들(420)이 임시 템플릿(412)에 대한 특징 벡터(들)와 비교된다. 특징 벡터들(420)과 임시 템플릿(412)에 대한 특징 벡터(들)의 비교는 매칭 점수(424)를 제공할 수 있다. 426에서 매칭 점수(424)가 임계치(428)와 비교될 수 있다. 임계치(428)는, 예를 들어, 임시 템플릿(412)에 대한 특징 벡터(들)와 디바이스(100)에 대한 패스코드의 입력이 뒤따르는 실패한 얼굴 인식 인증 시도들로부터의 부가의 이미지들로부터 획득되는 특징 벡터들(420) 간의 적어도 최소 매칭 레벨을 정의하는 임계치 또는 유사성 임계치일 수 있다. 따라서, 임계치(428)는 실패한 잠금해제 시도를 야기했고 임시 템플릿(412)을 생성했던 사용자의 특징들의 변화가 얼굴 인식 인증을 사용하는 부가의 실패한 잠금해제 시도들로부터의 이미지들에 여전히 존재할 적어도 최소 양의 확률을 보장하는 값으로 설정될 수 있다.In certain embodiments, at 422, feature vectors 420 are compared to feature vector(s) for temporary template 412. Comparison of the feature vectors 420 and the feature vector(s) for the temporary template 412 may provide a matching score 424. At 426 a matching score 424 may be compared to a threshold 428. Threshold 428 is obtained, for example, from additional images from failed facial recognition authentication attempts followed by the entry of the feature vector(s) for the temporary template 412 and the passcode for the device 100 It may be a threshold or similarity threshold that defines at least a minimum matching level between the feature vectors 420 to be formed. Thus, the threshold 428 caused a failed unlock attempt and the change in the characteristics of the user who created the temporary template 412 is at least the minimum that still exists in images from additional failed unlock attempts using facial recognition authentication. It can be set to a value that guarantees a positive probability.

426에서 매칭 점수(424)가 임계치(428) 초과이면, 430에서 성공적인 매치가 카운팅된다. 426에서 매칭 점수(424)가 임계치(428) 미만이면, 432에서 성공하지 못한 매치가 카운팅된다. 카운팅들(430 및 432)은 얼굴 인식 인증을 사용하는 원하는 횟수의 실패한 잠금해제 시도들(예컨대, 매칭 점수(424)와 임계치(428)의 원하는 횟수의 비교들)이 이루어질 때까지 계속될 수 있다. 일단 원하는 횟수의 시도들이 이루어지면, 실패한 잠금해제 시도들의 총 횟수(예컨대, 카운팅들(430 및 432)의 합) 중 430에서의 성공적인 매치들의 횟수가 임시 템플릿(412)에 대한 신뢰 점수(434)를 평가하는 데 사용될 수 있다. 예를 들어, 20회의 총 실패한 잠금해제 시도 중 매칭 점수(424)와 임계치(428)의 18회의 성공적인 매치(예컨대, 비교)가 있을 수 있다. 신뢰 점수(434)는 템플릿(412)이 동적 템플릿(226)으로서, 도 6에 도시된, 등록 프로파일을 위한 템플릿 공간(220)에 추가되는지 여부를 평가하는 데 사용될 수 있다.If the match score 424 at 426 exceeds the threshold 428, a successful match is counted at 430. If the match score 424 at 426 is less than the threshold 428, then the unsuccessful match at 432 is counted. Countings 430 and 432 may continue until a desired number of failed unlock attempts using facial recognition authentication (e.g., matching score 424 and desired number of comparisons of threshold 428) have been made. . Once the desired number of attempts have been made, the number of successful matches at 430 out of the total number of failed unlock attempts (e.g., the sum of counts 430 and 432) is the confidence score 434 for the temporary template 412. Can be used to evaluate For example, there may be 18 successful matches (eg, comparison) of the match score 424 and the threshold 428 out of a total of 20 failed unlock attempts. Confidence score 434 may be used to evaluate whether template 412 is added as dynamic template 226 to template space 220 for enrollment profile, shown in FIG. 6.

일부 실시예들에서, 인가된 사용자의 얼굴 특징들에서 단계 변화가 발생하면, 얼굴 인식 인증을 사용하는 다수의 연속적인 잠금해제 시도들에 대해 단계 변화가 남아 있을 수 있는 것으로 가정될 수 있다. 예를 들어, 사용자가 턱수염을 면도했다면, 적어도 어떤 시간 길이(예컨대, 적어도 1 주일)동안 단계 변화가 남아 있을 것이다. 그러한 실시예들에서, 선택된 횟수의 연속적인 잠금해제 시도들(예컨대, 10회 또는 15회의 잠금해제 시도)에 도달하기 전에 얼굴 인식 인증을 사용하는 성공적인 잠금해제 시도(또는 원하는 횟수의 성공적인 잠금해제 시도들)가 발생하면, 임시 템플릿(412)이 메모리 내의 백업 공간으로부터 삭제될 수 있다. 일부 실시예들에서, 다수의 연속적인 잠금해제 시도들에 대해 단계 변화가 남아 있을 수 있다는 가정은 적용되지 않을 수 있다(예컨대, 사용자의 단계 변화가 메이크업의 일시적 적용으로 인한 경우).In some embodiments, it may be assumed that if a step change occurs in the facial features of an authorized user, the step change may remain for multiple successive unlock attempts using facial recognition authentication. For example, if the user has shaved his beard, the step change will remain for at least some length of time (eg, at least a week). In such embodiments, successful unlock attempts (or desired number of successful unlock attempts) using facial recognition authentication before reaching a selected number of successive unlock attempts (e.g., 10 or 15 unlock attempts). S) occurs, the temporary template 412 may be deleted from the backup space in memory. In some embodiments, the assumption that a step change may remain for multiple successive unlock attempts (eg, if the user's step change is due to temporary application of makeup).

소정 실시예들에서, 436에서, 신뢰 점수가 임계치보다 큰지를 평가하기 위해 신뢰 점수(434)가 임계치(438)와 비교된다. 임계치(438)는 템플릿(412)이 템플릿 공간(220)에 추가될 수 있게 해주기 전에 매칭 점수(424)와 임계치(428)의 최소 횟수의 성공적인 비교들을 보장하도록 선택된 임계치일 수 있다. 436에서, 신뢰 점수(434)가 임계치(438)보다 크면, 440에서, 임시 템플릿(412)이 템플릿 공간(220)에 추가될 수 있거나, 또는 임시 템플릿(412)이 템플릿 공간(220)에서의 템플릿을 대체할(예컨대, 동적 템플릿들(226) 중 하나를 대체할) 수 있다. 신뢰 점수(434)가 임계치(438)보다 작으면, 442에서 임시 템플릿(412)이 무시 또는 삭제될 수 있다.In certain embodiments, at 436, the confidence score 434 is compared to the threshold 438 to assess whether the confidence score is greater than the threshold. Threshold 438 may be a threshold selected to ensure successful comparisons of the minimum number of times of matching score 424 and threshold 428 before allowing template 412 to be added to template space 220. At 436, if the confidence score 434 is greater than the threshold 438, then at 440, a temporary template 412 may be added to the template space 220, or a temporary template 412 may be added to the template space 220. It may replace a template (eg, replace one of the dynamic templates 226). If the confidence score 434 is less than the threshold 438, the temporary template 412 may be ignored or deleted at 442.

위에서 설명된 바와 같이, 프로세스(400)에 의해 생성된 임시 템플릿(412)은 도 6에 도시된 동적 템플릿들(226) 중 하나로서 등록 프로파일을 위한 템플릿 공간(220)의 동적 부분(224)에 추가될 수 있다. 도 13에 도시된 프로세스(400)의 경우, 임시 템플릿(412)이 인가된 사용자에 대한 것임을 검증하는 데 패스코드(또는 다른 인증)가 사용되었다. 따라서, 소정 실시예들에서, 동적 부분(224)에 이미 있는 동적 템플릿들(226)과의 비교에 대한 필요성 없이 440에서 임시 템플릿(412)이 템플릿 공간(220)에 추가된다. 동적 부분(224)에서의 허용된 동적 템플릿들(226)의 최대 개수에 도달하지 않았으면, 임시 템플릿(412)이 동적 템플릿들(226) 중 하나로서 동적 부분에 추가된다.As described above, the temporary template 412 created by the process 400 is one of the dynamic templates 226 shown in FIG. 6 in the dynamic portion 224 of the template space 220 for the registration profile. Can be added. In the case of the process 400 shown in FIG. 13, a passcode (or other authentication) was used to verify that the temporary template 412 is for an authorized user. Thus, in certain embodiments, a temporary template 412 is added to the template space 220 at 440 without the need for comparison with dynamic templates 226 already in the dynamic portion 224. If the maximum number of allowed dynamic templates 226 in the dynamic portion 224 has not been reached, a temporary template 412 is added to the dynamic portion as one of the dynamic templates 226.

동적 부분(224)에서의 허용된 동적 템플릿들(226)의 최대 개수에 도달했으면, 임시 템플릿(412)이 동적 부분에서의 동적 템플릿들(226) 중 하나를 대체할 수 있다. 임시 템플릿(412)이 인가된 사용자에 대한 것임을 검증하는 데 패스코드(또는 다른 인증)가 사용되었기 때문에, 임시 템플릿이 동적 템플릿들(226) 각각보다 더 이상치이더라도 임시 템플릿이 동적 부분(224)에서의 동적 템플릿들(226) 중 하나를 대체할 수 있다. 소정 실시예들에서, 임시 템플릿(412)은 임시 템플릿의 상대적 라이(relative lie)(예컨대, 아웃라이(outlie))에 상관없이 동적 템플릿들(226)의 가장 큰 이상치를 대체한다. 일부 실시예들에서, 임시 템플릿이 동적 템플릿들 각각보다 더 이상치이더라도, 임시 템플릿(412)이 기존의 동적 템플릿들에 대해 중복적인(예컨대, 가장 중복적인) 동적 템플릿을 대체할 수 있다.Once the maximum number of allowed dynamic templates 226 in the dynamic portion 224 has been reached, the temporary template 412 may replace one of the dynamic templates 226 in the dynamic portion. Since the passcode (or other authentication) was used to verify that the temporary template 412 is for an authorized user, the temporary template is not in the dynamic part 224 even though the temporary template is outlier than each of the dynamic templates 226. One of the dynamic templates 226 of may be substituted. In certain embodiments, temporary template 412 replaces the largest outlier of dynamic templates 226 regardless of the relative lie (eg, outlie) of the temporary template. In some embodiments, even if the temporary template is outlier than each of the dynamic templates, the temporary template 412 may replace the redundant (eg, most redundant) dynamic template for existing dynamic templates.

도 14는 임시 템플릿(412)에 대한 특징 벡터를 갖는 특징 공간으로서 표현되는 템플릿 공간(220)의 실시예의 표현을 도시한다. 도 14에서의 템플릿 공간(220)의 특징 공간 묘사에서, 정적 템플릿들(216), 동적 템플릿들(226), 및 임시 템플릿(412)은 특징 벡터들에 의해 표현된다. 정적 템플릿들(216)은 원들에 의해 표현되고, 동적 템플릿들(226)은 마름모들에 의해 표현되며, 임시 템플릿(412)은 별에 의해 표현된다. 위에서 설명된 바와 같이, 정적 템플릿들(216)이 임시 템플릿(412)에 의해 대체되지 않을 수 있다. 따라서, 동적 부분(224)이 그의 최대 개수의 동적 템플릿들(226)에 도달했으면, 임시 템플릿(412)이 동적 템플릿들(226) 중 하나를 대체할 수 있다.14 shows a representation of an embodiment of a template space 220 expressed as a feature space with feature vectors for the temporary template 412. In the feature space description of template space 220 in FIG. 14, static templates 216, dynamic templates 226, and temporary template 412 are represented by feature vectors. Static templates 216 are represented by circles, dynamic templates 226 are represented by diamonds, and temporary template 412 is represented by stars. As described above, static templates 216 may not be replaced by temporary template 412. Thus, if the dynamic portion 224 has reached its maximum number of dynamic templates 226, the temporary template 412 may replace one of the dynamic templates 226.

템플릿 공간(220)에 상관되는 특징 공간에서의 특징 벡터들의 통계적 분석은 특징 벡터들의 최대 개수를 가장 가깝게 정의하는 원(예컨대, 원(444))을 생성할 수 있다. 도 14에 도시된 바와 같이, 동적 템플릿(226')에 대한 특징 벡터는 동적 템플릿들(226)에 대한 특징 벡터들 각각의 가장 큰 이상치이다. 따라서, 임시 템플릿(412)이 임시 템플릿에 대한 특징 벡터의 위치에 상관없이 템플릿 공간(220)에서의 동적 템플릿(226')을 대체할 수 있다. 도 14에 도시된 예에서, 임시 템플릿(412)에 대한 특징 벡터의 추가는 원(444)을 임시 템플릿(412)에 대한 특징 벡터를 향해 시프트시키고, 동적 템플릿(226')에 대한 특징 벡터가 원의 가장 큰 이상치가 되게 할 수 있다. 일부 실시예들에서, 임시 템플릿(412)이 템플릿 공간(220)에서의 동적 템플릿(226')을 대체할 때, 디바이스(100)에 대한 하나 이상의 임계치가 재계산될 수 있다.Statistical analysis of feature vectors in the feature space correlated to the template space 220 may generate a circle (eg, circle 444) that defines the maximum number of feature vectors closest. As shown in FIG. 14, the feature vector for dynamic template 226 ′ is the largest outlier of each of the feature vectors for dynamic templates 226. Accordingly, the temporary template 412 can replace the dynamic template 226' in the template space 220 regardless of the position of the feature vector for the temporary template. In the example shown in Fig. 14, the addition of a feature vector to the temporary template 412 shifts the circle 444 towards the feature vector for the temporary template 412, and the feature vector for the dynamic template 226' is It can be the biggest outlier of the circle. In some embodiments, when temporary template 412 replaces dynamic template 226' in template space 220, one or more thresholds for device 100 may be recalculated.

일부 실시예들에서, 임시 템플릿이 메모리의 백업 공간에 있는 선택된 시간 기간 동안(예컨대, 임시 템플릿이 템플릿 공간(220)에 추가되기 전에) 디바이스(100)를 잠금해제하는 데 임시 템플릿(예컨대, 임시 템플릿(312) 또는 임시 템플릿(412) 중 어느 하나)이 사용될 수 있다. 패스코드(또는 다른 사용자 인증 프로토콜)가 임시 템플릿과 조합하여 사용된 후에 디바이스(100)를 잠금해제하는 데 임시 템플릿이 사용될 수 있다. 예를 들어, 임시 템플릿(412)의 경우, 임시 템플릿(412)이 생성되어 디바이스 메모리의 백업 공간에 저장되기 전에 디바이스(100)를 잠금해제하기 위해 패스코드가 입력되었다. 임시 템플릿(412)은 이어서 선택된 시간 기간(예컨대, 며칠 또는 일 주일) 동안 얼굴 인식 인증을 사용하는 디바이스(100)의 잠금해제를 가능하게 해주기 위해 사용될 수 있다. 선택된 시간 기간이 만료된 후에, 임시 템플릿(412)이 템플릿 공간(220)에 추가되지 않은 경우, 사용자의 얼굴 인식 인증이 실패하면 사용자는 패스코드에 대해 프롬프트될 수 있다.In some embodiments, a temporary template (e.g., a temporary Either template 312 or temporary template 412) may be used. The temporary template may be used to unlock the device 100 after the passcode (or other user authentication protocol) is used in combination with the temporary template. For example, in the case of the temporary template 412, a passcode is input to unlock the device 100 before the temporary template 412 is created and stored in a backup space of the device memory. Temporary template 412 may then be used to enable unlocking of device 100 using facial recognition authentication for a selected period of time (eg, a few days or a week). After the selected time period has expired, if the temporary template 412 has not been added to the template space 220, the user may be prompted for a passcode if the user's face recognition authentication fails.

위에서 기술된 바와 같이, 소정 실시예들에서, 다수의 등록 프로파일들이 디바이스(100) 상에 생성된다. 예를 들어, 디바이스(100) 상에 다수의 사용자들을 등록하기 위해 그리고/또는 단일 사용자에 대한 다수의 용모들(예컨대, 외관들)을 등록하기 위해 다수의 등록 프로파일들이 생성될 수 있다. 등록 프로세스(200)를 사용하여 디바이스의 추가 사용자들에 대한 등록 프로파일들을 생성함으로써 다수의 사용자들이 디바이스(100) 상에 등록될 수 있다. 예를 들어, 1차 사용자(예컨대, 부모)는, 얼굴 인식을 사용하는 디바이스에 대한 액세스를 2차 사용자에게 제공하기 위해, 2차 사용자(예컨대, 아이)가 등록 프로세스(200)를 사용하여 디바이스(100) 상에 제2 등록 프로파일을 생성하는 것을 허용할 수 있다.As described above, in certain embodiments, multiple registration profiles are created on device 100. For example, multiple registration profiles may be created to register multiple users on device 100 and/or to register multiple features (eg, appearances) for a single user. Multiple users may be registered on device 100 by using the registration process 200 to create registration profiles for additional users of the device. For example, a primary user (e.g., a parent) may use the enrollment process 200 by a secondary user (e.g. It can be allowed to create a second registration profile on (100).

단일 사용자에 대한 다수의 외관들은 실질적으로 상이하며 단일 등록 프로파일을 사용하여 인식될 수 없는 외관들을 포함할 수 있다. 예를 들어, 단일 사용자는 안경을 착용하는 것 대비 안경을 착용하지 않는 것, 턱수염이 있는 얼굴을 갖는 것 대비 면도된 얼굴을 갖는 것, 짙은 화장을 한 얼굴 대비 화장하지 않은 얼굴로 구별되는 외관들을 가질 수 있고/있거나 요일/주의 상이한 시간들에 다른 급격한 변화들을 가질 수 있다. 구별되는 외관들에 대해, 단일 사용자는 등록 프로세스(200)를 처음으로 실행하여 (예컨대, 메이크업을 하고 있는 동안) 제1 외관에 대한 제1 등록 프로파일을 생성하고, 등록 프로세스를 두 번째로 실행하여 (예컨대, 메이크업을 하고 있지 않은 동안) 제2 외관에 대한 제2 등록 프로파일을 생성할 수 있다. 사용자는 제1 등록 프로파일 또는 제2 등록 프로파일 중 어느 하나를 이용하여 사용자를 인증하는 얼굴 인식을 사용하여 디바이스에 액세스할 수 있다.Multiple appearances for a single user are substantially different and may include appearances that cannot be recognized using a single registration profile. For example, a single user may consider appearances distinguished by wearing glasses versus wearing glasses, having a shaved face versus having a bearded face, and a face with dark makeup versus a face without makeup. Can have and/or have different drastic changes at different times of the week/day. For distinct appearances, a single user runs the registration process 200 for the first time to create a first registration profile for the first appearance (e.g., while wearing makeup), and runs the registration process a second time. It is possible to create a second registration profile for the second appearance (eg, while not wearing makeup). The user can access the device using facial recognition that authenticates the user using either the first registration profile or the second registration profile.

다수의 등록 프로파일들을 갖는 실시예들에서, 각각의 등록 프로파일(예컨대, 제1 및 제2 등록 프로파일들)을 디바이스(100) 상에 별개의 등록 프로파일로서 생성하기 위해 이미지 등록 프로세스(200)가 사용될 수 있다. 예를 들어, 프로세스(200)는 각각의 등록 프로파일에 대해 별개의 템플릿 공간들(예컨대, 도 8에 도시된 템플릿 공간들(220A, 220B))을 생성하는 데 사용될 수 있다. 얼굴 인식 인증 프로세스에서, 별개의 템플릿 공간들은 디바이스(100)에 대한 사용자를 인증하기 위해 잠금해제 시도 이미지로부터의 특징들과 독립적으로 비교될 수 있다. 등록 프로파일들 중 어느 하나에 대한 템플릿 공간이 잠금해제 시도 이미지 내의 특징들에 대해 근접한 매칭인 것으로 결정되면(예컨대, 매칭 점수가 잠금해제 임계치를 초과하면), 디바이스(100)는 잠금해제될 수 있다.In embodiments with multiple registration profiles, the image registration process 200 is used to create each registration profile (e.g., first and second registration profiles) as a separate registration profile on the device 100. I can. For example, process 200 can be used to create separate template spaces (eg, template spaces 220A, 220B shown in FIG. 8) for each registration profile. In the facial recognition authentication process, separate template spaces may be independently compared with features from the unlock attempt image to authenticate the user to the device 100. If the template space for any of the registration profiles is determined to be a close match for features in the unlock attempt image (e.g., when the matching score exceeds the unlock threshold), the device 100 may be unlocked. .

일부 실시예들에서, 다수의 등록 프로파일들이 디바이스(100) 상에 저장되면, 잠금해제 임계치가 증가된다(예컨대, 잠금해제 시도 이미지 내의 특징들의 매칭에 대한 요구사항이 보다 엄격하게 된다). 새로운 등록 프로파일이 생성될 때, 증가되는 잠금해제 임계치의 양은 새로운 등록 프로파일에 대한 템플릿들과 연관된 특징 벡터들과 기존의 등록 프로파일(들)에서의 템플릿들과 연관된 특징 벡터들 사이의 특징 공간에서의 거리에 기초할 수 있다(예컨대, 새로운 등록 프로파일에 대한 템플릿에서의 특징 벡터들과 기존의 등록 프로파일들에서의 특징 벡터들 사이의 거리가 클수록, 잠금해제 임계치가 더 많이 증가된다). 일부 실시예들에서, 새로운 잠금해제 임계치는 또한 기존의 등록 프로파일들의 매치 이력에 기초하여 조정될 수 있다(예컨대, 기존의 프로파일들의 이력에 매치들이 많을수록, 임계치가 더 엄격할 수 있다).In some embodiments, if multiple enrollment profiles are stored on device 100, the unlock threshold is increased (eg, the requirement for matching features in the unlock attempt image becomes more stringent). When a new registration profile is created, the amount of unlocking threshold that is increased is in the feature space between the feature vectors associated with the templates for the new registration profile and the feature vectors associated with the templates in the existing registration profile(s). It may be based on the distance (eg, the greater the distance between the feature vectors in the template for the new registration profile and the feature vectors in the existing registration profiles, the more the unlock threshold is increased). In some embodiments, the new unlock threshold may also be adjusted based on the match history of existing registration profiles (eg, the more matches in the history of existing profiles, the tighter the threshold may be).

도 15는 다수의 등록 프로파일들과 함께 사용하기 위한 얼굴 인식 인증 프로세스(250')의 실시예의 플로차트를 도시한다. 도 15는 2 개의 등록 프로파일들과 함께 사용하기 위한 프로세스(250')를 도시한다. 그러나, 프로세스(250')는 디바이스(100) 상에 저장된 임의의 개수의 등록 프로파일들에 대해 동작할 수 있다는 것을 이해하여야 한다. 프로세스(250')는, 252에서, 디바이스(100)에의 액세스를 위해 인증되고자 시도하는 사용자의 얼굴의 잠금해제 시도 이미지를 카메라(102)로 캡처하는 것으로 시작할 수 있다. 254에서, 잠금해제 시도 이미지는 사용자의 얼굴 특징들을 특징 공간에서의 하나 이상의 특징 벡터로서 정의하도록 인코딩된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 하나의 특징 벡터가 정의된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 다수의 특징 벡터들이 정의된다. 잠금해제 특징 벡터(들)(256)는 254에서의 잠금해제 시도 이미지의 인코딩의 출력일 수 있다.15 shows a flowchart of an embodiment of a facial recognition authentication process 250' for use with multiple registration profiles. 15 shows a process 250' for use with two registration profiles. However, it should be understood that process 250 ′ may operate on any number of registration profiles stored on device 100. Process 250 ′ may begin at 252 with capturing an unlock attempt image of a user's face attempting to be authenticated for access to device 100 with camera 102. At 254, the unlock attempt image is encoded to define the user's facial features as one or more feature vectors in the feature space. In some embodiments, one feature vector is defined for the unlock attempt image. In some embodiments, multiple feature vectors are defined for the unlock attempt image. The unlock feature vector(s) 256 may be the output of the encoding of the unlock attempt image at 254.

258A에서, 잠금해제 특징 벡터(들)(256)는 잠금해제 시도 이미지에 대한 제1 매칭 점수(260A)를 얻기 위해 제1 템플릿 공간(220A)(제1 등록 프로파일에 대한 템플릿 공간)의 템플릿들 내의 특징 벡터들과 비교된다. 258B에서, 잠금해제 특징 벡터(들)(256)는 잠금해제 시도 이미지에 대한 제2 매칭 점수(260A)를 얻기 위해 제2 템플릿 공간(220B)(제2 등록 프로파일에 대한 템플릿 공간)의 템플릿들 내의 특징 벡터들과 비교된다. 매칭 점수들(260A, 260B)은 각자 템플릿 공간들(220A, 220B) 내의 특징 벡터들과 특징 벡터(들)(256) 사이의 차들의 점수들일 수 있다. 제1 등록 프로파일 및 제2 등록 프로파일 각자에 대해 제1 매칭 점수(260A) 및 제2 매칭 점수(260B)를 결정한 후에, 제1 매칭 점수는 262A에서 잠금해제 임계치(264)와 비교될 수 있고, 제2 매칭 점수는 262B에서 잠금해제 임계치와 비교될 수 있다.At 258A, the unlock feature vector(s) 256 are the templates of the first template space 220A (template space for the first registration profile) to obtain a first matching score 260A for the unlock attempt image. Are compared with the feature vectors within. At 258B, the unlock feature vector(s) 256 are the templates of the second template space 220B (template space for the second registration profile) to obtain a second matching score 260A for the unlock attempt image Are compared with the feature vectors within. The matching scores 260A and 260B may be scores of differences between the feature vectors in the template spaces 220A and 220B and the feature vector(s) 256, respectively. After determining the first matching score 260A and the second matching score 260B for each of the first registration profile and the second registration profile, the first matching score may be compared to the unlock threshold 264 at 262A, The second match score may be compared to an unlock threshold at 262B.

소정 실시예들에서, 도 15에 도시된 바와 같이, 잠금해제 임계치(264)는 제1 매칭 점수(260A)(1차 인가된 사용자와 연관된 제1 등록 프로파일에 대한 매칭 점수) 및 제2 매칭 점수(260B)(제2 등록 프로파일에 대한 매칭 점수) 둘 모두에 대한 동일한 잠금해제 임계치일 수 있다. 그러나, 일부 실시예들에서, 잠금해제 임계치는 상이한 등록 프로파일들에 대해 상이할 수 있다. 예를 들어, 제2 등록 프로파일에 대한 잠금해제 임계치는 1차 인가된 사용자와 연관된 제1 등록 프로파일에 대한 잠금해제 임계치보다 더 높을 수 있다(예컨대, 제2 등록 프로파일에 대한 매칭은 제1 등록 프로파일에 대한 매칭보다 더 엄격하다).In certain embodiments, as shown in FIG. 15, the unlock threshold 264 is a first matching score 260A (a matching score for a first registration profile associated with a primary authorized user) and a second matching score. (260B) (matching score for the second registration profile) may be the same unlock threshold for both. However, in some embodiments, the unlock threshold may be different for different registration profiles. For example, the unlocking threshold for the second registration profile may be higher than the unlocking threshold for the first registration profile associated with the first authorized user (e.g., matching to the second registration profile is Is more stringent than matching for).

소정 실시예들에서, 258A에서의 제1 매칭 점수(260A)의 생성 및 258B에서의 제2 매칭 점수(260B)의 생성은 제1 매칭 점수(260A) 및 제2 매칭 점수(260B)의 잠금해제 임계치(264)와의 비교와 함께 병렬로 동작할 수 있다(예컨대, 매칭 점수들이 생성되고 잠금해제 임계치와 독립적으로 그리고 실질적으로 동시에 비교된다). 일부 실시예들에서, 제1 매칭 점수(260A) 및 제2 매칭 점수(260B)의 생성 및 잠금해제 임계치(264)와의 비교는 연속적으로 동작된다(예컨대, 제2 매칭 점수(260B)가 생성되고 잠금해제 임계치와 비교되기 전에 제1 매칭 점수(260A)가 생성되고 잠금해제 임계치와 비교된다).In certain embodiments, the generation of the first matching score 260A at 258A and the generation of the second matching score 260B at 258B unlocks the first matching score 260A and the second matching score 260B. It may operate in parallel with a comparison to threshold 264 (eg, match scores are generated and compared independently and substantially simultaneously with the unlock threshold). In some embodiments, the generation of the first match score 260A and the second match score 260B and comparison with the unlock threshold 264 are operated continuously (e.g., the second match score 260B is generated and A first match score 260A is generated and compared to the unlock threshold before being compared to the unlock threshold).

도 15에 도시된 바와 같이, 제1 매칭 점수(260A) 또는 제2 매칭 점수(260B)가 잠금해제 임계치(264)를 초과하면(즉, 잠금해제 시도 이미지 내의 사용자의 얼굴이 제1 등록 프로파일 또는 제2 등록 프로파일 중 어느 하나에 대해 인가된 사용자의 얼굴과 실질적으로 매칭되면), 잠금해제 시도 이미지(252) 내의 사용자는 디바이스(100)에 대한 인가된 사용자로서 인증되고, 266에서 디바이스가 잠금해제된다. 제1 매칭 점수(260A) 및 제2 매칭 점수(260B) 둘 모두가 잠금해제 임계치(264) 미만이면(예컨대, 잠금해제 임계치 이상이 아니면), 디바이스(100)는 잠금 상태로 남고, 프로세스(250')는 (도 16에 도시된) 잠금 프로토콜(450)로 계속된다.As shown in FIG. 15, when the first matching score 260A or the second matching score 260B exceeds the unlocking threshold 264 (that is, the user's face in the unlocking attempt image is the first registration profile or If it substantially matches the face of the authorized user for any of the second registration profiles), the user in the unlock attempt image 252 is authenticated as an authorized user for the device 100, and the device is unlocked at 266. do. If both the first match score 260A and the second match score 260B are less than the unlock threshold 264 (e.g., not above the unlock threshold), the device 100 remains locked, and the process 250 ') continues with the locking protocol 450 (shown in FIG. 16).

266에서 디바이스(100)가 잠금해제된 후에, 잠금해제 특징 벡터들(256) 및 제1 매칭 점수(260A) 및/또는 제2 매칭 점수(260B)는 잠금해제 임계치(264)를 초과하는 매칭 점수들에 따라 템플릿 업데이트 프로세스들에 제공된다. 도 15에 도시된 바와 같이, 제1 매칭 점수(260A)가 잠금해제 임계치(264)를 초과하면, 266에서 디바이스(100)가 잠금해제되고, 제1 매칭 점수가 특징 벡터들(256)과 함께 프로세스(300A)에 제공된다. 프로세스(300A)는 (도 10에 도시된) 프로세스(300)에 따라 제1 템플릿 공간(220A)을 업데이트하기 위한 템플릿 업데이트 프로세스일 수 있다. 유사하게, 제2 매칭 점수(260B)가 잠금해제 임계치(264)를 초과하면, 디바이스(100)는 266에서 잠금해제되고, 제2 매칭 점수는 특징 벡터들(256)과 함께 프로세스(300B)에 제공된다. 프로세스(300B)는 프로세스(300)에 따라 제2 템플릿 공간(220B)을 업데이트하기 위한 템플릿 업데이트 프로세스일 수 있다.After the device 100 is unlocked at 266, the unlocking feature vectors 256 and the first matching score 260A and/or the second matching score 260B are matched scores exceeding the unlocking threshold 264. Depending on the template update processes are provided. 15, when the first matching score 260A exceeds the unlocking threshold 264, the device 100 is unlocked at 266, and the first matching score together with the feature vectors 256 It is provided to process 300A. The process 300A may be a template update process for updating the first template space 220A according to the process 300 (shown in FIG. 10 ). Similarly, if the second match score 260B exceeds the unlock threshold 264, the device 100 is unlocked at 266, and the second match score is added to the process 300B along with the feature vectors 256. Is provided. The process 300B may be a template update process for updating the second template space 220B according to the process 300.

프로세스(300A) 및 프로세스(300B)는 그들의 대응하는 매칭 점수(예컨대, 제1 매칭 점수(200A) 또는 제2 매칭 점수(200B))가 잠금해제 임계치(264)를 초과해야만 실행될 수 있다. 제1 매칭 점수(200A) 및 제2 매칭 점수(200B) 둘 모두가 잠금해제 임계치(264)를 초과하면, 프로세스(300A) 및 프로세스(300B) 둘 모두는 대응하는 템플릿 공간들(220A, 220B)을 업데이트하도록 동작할 수 있다. 프로세스들(300A, 300B)은 동일한 캡처 이미지(들)(예컨대, 잠금해제 시도 이미지(252)에 대한 특징 벡터들(256))로부터의 특징 벡터들과 병렬로 동작할 수 있다(예컨대, 프로세스들은 동시에 그리고 독립적으로 동작한다).Process 300A and process 300B can only be executed if their corresponding match score (eg, first match score 200A or second match score 200B) exceeds unlock threshold 264. If both the first match score 200A and the second match score 200B exceed the unlock threshold 264, then both process 300A and process 300B are assigned corresponding template spaces 220A, 220B. Can be operated to update Processes 300A, 300B may operate in parallel with feature vectors from the same captured image(s) (e.g., feature vectors 256 for unlock attempt image 252) (e.g., processes It works simultaneously and independently).

도 16은 잠금 프로토콜(450)의 실시예의 플로차트를 도시한다. 전술된 바와 같이, 잠금 프로토콜(450)은 제1 매칭 점수(260A) 및 제2 매칭 점수(260B) 둘 모두가 잠금해제 임계치(264) 미만이고 디바이스(100)가 잠금 상태로 남아있는 경우 얼굴 인식 인증 프로세스(250')에서 시작한다. 잠금 프로토콜(450)은 도 9에 도시된 얼굴 인식 인증 프로세스(250)로부터의 일부 동작들을 포함할 수 있다. 예를 들어, 도 16에 도시된 바와 같이, 잠금 프로토콜(450)은 268에서 디바이스가 잠금해제되지 않는 상태에서 시작할 수 있다. 270에서, 잠금해제 시도들의 횟수(예컨대, 252에서 캡처된 상이한 잠금해제 시도 이미지를 사용하여 디바이스(100)를 잠금해제하려는 시도들의 횟수)가 카운팅된다. 270에서의 잠금해제 시도들의 횟수가 선택된 값(예컨대, 임계치) 미만이면, 프로세스(250')는 다른 잠금해제 시도 이미지를 사용하여 다시 실행될 수 있다(예컨대, 사용자의 새로운 이미지가 캡처되고 프로세싱된다).16 shows a flowchart of an embodiment of a locking protocol 450. As described above, the locking protocol 450 recognizes faces when both the first matching score 260A and the second matching score 260B are less than the unlocking threshold 264 and the device 100 remains locked. It begins with the authentication process 250'. The locking protocol 450 may include some operations from the facial recognition authentication process 250 shown in FIG. 9. For example, as shown in FIG. 16, the locking protocol 450 may start at 268 in a state in which the device is not unlocked. At 270, the number of unlock attempts (eg, the number of attempts to unlock the device 100 using a different unlock attempt image captured at 252) is counted. If the number of unlock attempts at 270 is less than a selected value (e.g., threshold), the process 250' may be run again using another unlock attempt image (e.g., a new image of the user is captured and processed). .

잠금해제 시도들의 횟수가 선택된 값 초과이면, 272에서 디바이스(100)는 얼굴 인증을 사용하려는 추가 시도들로부터 잠금된다. 일부 실시예들에서, 얼굴 인식 인증 프로세스(250')가 실패했고/실패했거나 디바이스(100)의 원하는 동작이 수행되는 것이 제약 또는 방지된다는 것을 나타내는 에러 메시지가 (예컨대, 디스플레이(108) 상에) 디스플레이될 수 있다. 지정된 시간 기간 동안 및/또는 디바이스를 잠금해제하기 위해 다른 인증 프로토콜이 사용될 때까지 디바이스(100)는 272에서 얼굴 인증을 사용하기 위한 추가의 시도들로부터 잠금될 수 있다. 일부 실시예들에서, 잠금해제 옵션들(274)이 디바이스(100)를 잠금해제하는 데 사용된다.If the number of unlock attempts exceeds the selected value, at 272 the device 100 is locked from further attempts to use facial authentication. In some embodiments, an error message indicating that the facial recognition authentication process 250 ′ has failed and/or is restricted or prevented from performing the desired operation of the device 100 is (e.g., on the display 108). Can be displayed. Device 100 may be locked at 272 from further attempts to use facial authentication for a specified period of time and/or until another authentication protocol is used to unlock the device. In some embodiments, unlock options 274 are used to unlock device 100.

소정 실시예들에서, 디바이스(100)가 274에서의 잠금해제 옵션들 중 하나를 사용하여 잠금해제된 후에, 제1 매칭 점수(260A) 및 제2 매칭 점수(260B)가 452에서 비교될 수 있다. 제1 매칭 점수(260A)가 제2 매칭 점수(260B)를 초과하면, 제1 등록 프로파일(및 제1 템플릿 공간(220A))은 잠금해제 시도 이미지(252)의 특징 벡터들(256)에 가장 가까운(예컨대, 최소 거리) 특징 벡터들을 가질 수 있다. 제1 매칭 점수(260A)가 제2 매칭 점수(260B) 미만이면, 제2 등록 프로파일(및 제2 템플릿 공간(220B))은 잠금해제 시도 이미지(252)의 특징 벡터들(256)에 가장 가까운(예컨대, 최소 거리) 특징 벡터들을 가질 수 있다.In certain embodiments, after device 100 is unlocked using one of the unlock options at 274, the first matching score 260A and the second matching score 260B may be compared at 452. . When the first matching score 260A exceeds the second matching score 260B, the first registration profile (and the first template space 220A) is the most suitable for the feature vectors 256 of the unlock attempt image 252. It may have close (eg, minimum distance) feature vectors. If the first matching score 260A is less than the second matching score 260B, the second registration profile (and the second template space 220B) is closest to the feature vectors 256 of the unlock attempt image 252 (Eg, minimum distance) feature vectors.

도 16에 도시된 바와 같이, 제1 매칭 점수(260A)가 제2 매칭 점수(260B)를 초과할 때, 잠금해제 특징 벡터들(256) 및 제1 매칭 점수(260A)가 제1 템플릿 공간에 대한 제2 템플릿 업데이트 프로세스(400A)에 제공될 수 있다. 프로세스(400A)는 프로세스(400)에 따라 제1 템플릿 공간(220A)을 업데이트하기 위한 템플릿 업데이트 프로세스일 수 있다. 제1 매칭 점수(260A)가 제2 매칭 점수(260B) 미만일 때, 잠금해제 특징 벡터들(256) 및 제2 매칭 점수(260B)가 프로세스(400B)에 제공될 수 있다. 프로세스(400B)는 프로세스(400)에 따라 제2 템플릿 공간(220B)을 업데이트하기 위한 템플릿 업데이트 프로세스일 수 있다. 도 16에 도시된 바와 같이, 잠금 프로토콜(450)이 구현될 때, 특징 벡터들(256)에 가장 가까운 템플릿 공간만이 업데이트될 수 있다. 특징 벡터들(256)에 가장 가까운 템플릿 공간만을 업데이트하는 것은 디바이스 상의 템플릿 공간들(및 등록 프로파일들) 사이의 명확화를 방지하여 등록 프로파일들 사이에서 디바이스에 대한 원하지 않는 액세스를 방지할 수 있다.As shown in FIG. 16, when the first matching score 260A exceeds the second matching score 260B, the unlocking feature vectors 256 and the first matching score 260A are in the first template space. For the second template update process 400A. Process 400A may be a template update process for updating the first template space 220A according to process 400. When the first matching score 260A is less than the second matching score 260B, the unlocking feature vectors 256 and the second matching score 260B may be provided to the process 400B. The process 400B may be a template update process for updating the second template space 220B according to the process 400. As shown in Fig. 16, when the locking protocol 450 is implemented, only the template space closest to the feature vectors 256 can be updated. Updating only the template space closest to the feature vectors 256 may prevent clarification between template spaces (and registration profiles) on the device, thereby preventing undesired access to the device between registration profiles.

일부 실시예들에서, 본 명세서에 기술된 템플릿 공간들(예컨대, 템플릿 공간들(220, 220A, 및/또는 220B))은 사용자의 얼굴에 대한 디바이스(100)의 다수의 배향들 또는 각도들에 대한 동적 템플릿들(예컨대, 디바이스에 대한 사용자의 얼굴의 다수의 포즈들)을 포함하도록 업데이트된다. 예를 들어, 제1 세트의 동적 템플릿들은 디바이스(100)에 대한 사용자의 얼굴의 제1 포즈에 대해 생성될 수 있는 반면, 제2 세트의 동적 템플릿들은 디바이스에 대한 사용자의 얼굴의 제2 포즈에 대해 생성될 수 있다. 일부 실시예들에서, 사용자의 얼굴의 제1 포즈는 정상 포즈이다(예컨대, 사용자의 얼굴은 보통, 사용자의 전체 얼굴(또는 얼굴의 대부분)이 카메라의 전방에 위치된 상태로 디바이스에 대해 수직으로 위치된다). 사용자의 얼굴의 제2 포즈는, 예를 들어, 뒤집힌 포즈일 수 있다(예컨대, 사용자의 얼굴이 정상 포즈로부터 약 180°회전된다).In some embodiments, the template spaces described herein (e.g., template spaces 220, 220A, and/or 220B) can be applied to multiple orientations or angles of the device 100 relative to the user's face. Is updated to include dynamic templates for (eg, multiple poses of the user's face for the device). For example, a first set of dynamic templates may be created for a first pose of the user's face for the device 100, while a second set of dynamic templates may be generated for a second pose of the user's face for the device. Can be created for In some embodiments, the first pose of the user's face is a normal pose (e.g., the user's face is usually perpendicular to the device with the user's entire face (or most of the face) positioned in front of the camera). Is located). The second pose of the user's face may be, for example, an inverted pose (eg, the user's face is rotated about 180° from the normal pose).

일부 실시예들에서, 제2 포즈에서, 카메라가 사용자의 얼굴에 대해 뒤집혀지기 때문에, 사용자의 얼굴은 카메라에 대해 낮은 피치 각도를 가질 수 있다. 낮은 피치 각도 및 사용자의 얼굴이 뒤집혀 있는 상태에서, 사용자의 턱은 사용자의 얼굴의 일부 특징들을 폐색하거나 차단할 수 있다. 예를 들어, 턱이 사용자의 눈의 부분을 차단 또는 폐색할 수 있다. 사용자의 코 또한 낮은 피치 각도 및 뒤집힌 포즈에서 사용자의 눈의 부분들을 차단 또는 폐색할 수 있다.In some embodiments, the user's face may have a low pitch angle relative to the camera because, in the second pose, the camera is flipped relative to the user's face. With a low pitch angle and a user's face upside down, the user's chin may occlude or block some features of the user's face. For example, the chin may block or occlude a portion of the user's eye. The user's nose may also block or occlude parts of the user's eyes in a low pitch angle and inverted pose.

사용자가 종종 임의의 배향으로 디바이스(100)를 들거나 잡을 수 있기 때문에(예컨대, 사용자는 디바이스의 배향을 인식하지 않거나 디바이스를 적절한 배향으로 회전시키려는 어떠한 의도를 갖지 않을 수 있음), 디바이스가 다수의 포즈 각도들(예컨대, 정상 포즈 및 낮은 피치(뒤집힌) 포즈)을 갖는 얼굴 인증을 사용하여 잠금해제할 수 있게 하는 것은, 사용자에게 디바이스의 증가된 유용성을 제공할 수 있다. 디바이스(100)의 유용성을 증가시키는 것은 디바이스 상에서의 얼굴 인증의 동작에 의해 사용자 만족도를 증가시킬 수 있다.Because the user can often lift or hold the device 100 in any orientation (e.g., the user may not be aware of the orientation of the device or may not have any intention to rotate the device to the proper orientation), the device may pose multiple Being able to unlock using facial authentication with angles (eg, a normal pose and a low pitch (inverted) pose) may provide the user with increased utility of the device. Increasing the usefulness of the device 100 may increase user satisfaction by the operation of face authentication on the device.

소정 실시예들에서, 등록 프로파일(예컨대, 템플릿 공간(220))을 위한 템플릿 공간은 상이한 포즈 각도들에 대한 동적 템플릿들의 별개의 세트들을 포함한다. 예를 들어, 템플릿 공간은 제1(정상 또는 정면) 포즈에 대한 제1 세트의 동적 템플릿들 및 제2 (뒤집힌 또는 낮은 피치 각도) 포즈에 대한 제2 세트의 동적 템플릿들을 포함할 수 있다. 도 17은 2 개의 동적 부분들(224 및 224')을 갖는 템플릿 공간(220')의 실시예의 표현을 도시한다. 동적 부분(224)은 제1 세트의 동적 템플릿들(226)을 포함할 수 있고 동적 부분(224')은 제2 세트의 동적 템플릿들(226')을 포함할 수 있다. 소정 실시예들에서, 동적 템플릿들(226)은 제1(정상 또는 정면) 포즈에 대한 것이고, 동적 템플릿들(226')은 제2 (뒤집히거나 낮은 피치 각도) 포즈에 대한 것이다. 추가적인 동적 부분들 및 동적 템플릿들이 또한 고려될 수 있다는 것이 이해될 것이다. 예를 들어, 제3 동적 부분 및 제3 세트의 동적 템플릿들이 디바이스(100)에 대한 사용자의 얼굴의 가로 배향에 대해 사용될 수 있다.In certain embodiments, the template space for a registration profile (eg, template space 220) includes separate sets of dynamic templates for different pose angles. For example, the template space may include a first set of dynamic templates for a first (normal or front) pose and a second set of dynamic templates for a second (inverted or low pitch angle) pose. 17 shows a representation of an embodiment of a template space 220' having two dynamic portions 224 and 224'. The dynamic portion 224 may include a first set of dynamic templates 226 and the dynamic portion 224' may include a second set of dynamic templates 226'. In certain embodiments, dynamic templates 226 are for a first (normal or frontal) pose, and dynamic templates 226' are for a second (inverted or low pitch angle) pose. It will be appreciated that additional dynamic parts and dynamic templates may also be considered. For example, a third dynamic portion and a third set of dynamic templates may be used for the horizontal orientation of the user's face relative to the device 100.

소정 실시예들에서, 동적 템플릿들(226')은 템플릿 업데이트 프로세스(300) 및/또는 템플릿 업데이트 프로세스(400)를 사용하여 생성되는데, 이는 동적 템플릿들(226)을 생성하기 위해 본 명세서에 기술된다. 도 10 및 도 13에 각자 도시되고 위에서 기술된 바와 같이, 동적 템플릿들(226')은 템플릿 업데이트 프로세스(300) 동안 "품질 평가(306)"에서, 또는 템플릿 업데이트 프로세스(400) 내의 "품질 평가(406)"에서 결정된 디바이스의 포즈 또는 배향에 기초하여 동적 템플릿들(226)과 별개로 생성될 수 있다. 따라서, 동적 템플릿들(226)이 사용자의 포즈가 제1(정상 또는 정면) 포즈인 것으로 결정되는 경우 템플릿 업데이트 프로세스(300) 또는 템플릿 업데이트 프로세스(400) 중 어느 하나에 의해 생성될 수 있는 반면, 동적 템플릿(226')은 사용자의 포즈가 제2(뒤집힌, 또는 낮은 피치 각도) 포즈인 것으로 결정되는 경우 템플릿 업데이트 프로세스(300) 또는 템플릿 업데이트 프로세스(400)에 의해 생성될 수 있다.In certain embodiments, dynamic templates 226' are created using template update process 300 and/or template update process 400, which is described herein for generating dynamic templates 226. do. As shown respectively in FIGS. 10 and 13 and described above, the dynamic templates 226 ′ are in “quality evaluation 306” during the template update process 300, or “quality evaluation” within the template update process 400. It may be created separately from the dynamic templates 226 based on the device's pose or orientation determined at 406". Thus, while the dynamic templates 226 may be generated by either the template update process 300 or the template update process 400 when the user's pose is determined to be the first (normal or frontal) pose, The dynamic template 226 ′ may be generated by the template update process 300 or the template update process 400 when the user's pose is determined to be a second (inverted, or low pitch angle) pose.

예를 들어, "품질 평가(306)"에서, 템플릿 업데이트 프로세스(300)가 사용자의 포즈가 제1(정상 또는 정면) 포즈인 것으로 결정하면, 템플릿 업데이트 프로세스는 템플릿 공간(220)의 동적 부분(224)에 동적 템플릿(226)을 추가한다. 대안적으로, "품질 평가(306)"에서, 템플릿 업데이트 프로세스(300)가 사용자의 포즈가 제2 (뒤집힌, 또는 낮은 피치각도) 포즈인 것으로 결정하면, 템플릿 업데이트 프로세스는 템플릿 공간(220)의 동적 부분(224')에 동적 템플릿(226')을 추가한다. 동적 템플릿들(226, 226')은 각 부분 내의 템플릿들의 최대 수에 도달할 때까지 동적 부분들(224, 224')에 각자 추가될 수 있다. 소정 실시예들에서, 동적 부분들(224, 224')은 동일한 최대 개수의 동적 템플릿들(226, 226')을 갖는다. 일부 실시예들에서, 동적 부분들(224, 224')은 상이한 최대 개수의 동적 템플릿들(226, 226')을 갖는다.For example, in "quality evaluation 306", if the template update process 300 determines that the user's pose is the first (normal or frontal) pose, the template update process is a dynamic portion of the template space 220 ( 224), add a dynamic template 226. Alternatively, in "quality assessment 306", if the template update process 300 determines that the user's pose is the second (inverted, or low pitch angle) pose, the template update process Add dynamic template 226' to dynamic portion 224'. Dynamic templates 226, 226' may be added to dynamic portions 224, 224', respectively, until the maximum number of templates in each portion is reached. In certain embodiments, the dynamic portions 224, 224' have the same maximum number of dynamic templates 226, 226'. In some embodiments, the dynamic portions 224, 224' have a different maximum number of dynamic templates 226, 226'.

사용자의 다수의 포즈들에 대해 다수의 동적 부분들을 사용하는 구현예들에서, 얼굴 인식 인증 프로세스는 사용자의 포즈(예컨대, 디바이스(100)에 대한 배향)를 평가하여, 잠금해제 시도 이미지에 대한 매칭 점수를 결정하는 데 사용될 동적 템플릿들의 세트(예컨대, 동적 부분)를 결정한다. 도 18은 다수의 동적 부분들과 함께 사용하기 위한 얼굴 인식 인증 프로세스(250")의 실시예의 플로차트를 도시한다. 도 18은 2 개의 동적 부분들(예컨대, 동적 부분들(224, 224'))과 함께 사용하기 위한 프로세스(250")를 도시한다. 그러나, 프로세스(250")는 디바이스(100) 상에 저장된 임의의 개수의 동적 부분들에 대해 동작할 수 있다는 것을 이해하여야 한다.In implementations using multiple dynamic portions for multiple poses of the user, the facial recognition authentication process evaluates the user's pose (e.g., orientation relative to the device 100) and matches the unlock attempt image. Determine the set of dynamic templates (eg, dynamic portion) that will be used to determine the score. Figure 18 shows a flowchart of an embodiment of a facial recognition authentication process 250" for use with multiple dynamic portions. Figure 18 shows two dynamic portions (eg, dynamic portions 224, 224'). Shows a process 250" for use with. However, it should be understood that process 250" can operate on any number of dynamic portions stored on device 100.

프로세스(250")는, 252에서, 디바이스(100)에의 액세스를 위해 인증되려 시도하는 사용자의 얼굴의 잠금해제 시도 이미지를 카메라(102)가 캡처하는 것으로 시작할 수 있다. 254에서, 잠금해제 시도 이미지는 사용자의 얼굴 특징들을 특징 공간에서의 하나 이상의 특징 벡터로서 정의하도록 인코딩된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 하나의 특징 벡터가 정의된다. 일부 실시예들에서, 잠금해제 시도 이미지에 대해 다수의 특징 벡터들이 정의된다. 특징 벡터(들)(256)(예컨대, 잠금해제 특징 벡터들)는 254에서 잠금해제 시도 이미지의 인코딩의 출력일 수 있다.Process 250" may begin with camera 102 capturing an unlock attempt image of a user's face attempting to be authenticated for access to device 100 at 252. At 254, an unlock attempt image Is encoded to define the user's facial features as one or more feature vectors in the feature space In some embodiments, one feature vector is defined for the unlock attempt image In some embodiments, the unlock attempt image A number of feature vectors are defined for the feature vector(s) 256 (eg, unlock feature vectors) may be the output of the encoding of the unlock attempt image at 254.

257에서, 잠금해제 시도 이미지에서의 사용자의 얼굴의 포즈가 평가될 수 있다. 포즈를 평가하는 것은 디바이스(100)에 대한 사용자의 얼굴의 배향을 평가하는 것을 포함할 수 있다. 예를 들어, 사용자의 얼굴은 디바이스(100)에 대해 정상 배향(예컨대, 수직)으로 또는 디바이스에 대해 비정상 배향(예컨대, 뒤집힘)에 있는 것으로 평가될 수 있다. 소정 실시예들에서, 사용자의 얼굴의 포즈는 특징 벡터들(256)을 사용하여 평가된다. 예를 들어, 신경 네트워크 모듈은 특징 벡터들(256)에 기초하여 사용자의 얼굴의 포즈를 평가하기 위해 훈련될 수 있다. 사용자의 얼굴의 포즈를 결정하기 위해 특징 벡터들을 평가하는 것에 대한 예는 Gernoth 등의 미국 특허 출원 제15/910,551호에서 찾아지며, 이는 본 명세서에서 완전히 설명되는 바와 같이 참조로서 포함된다. 일부 실시예들에서, 디바이스(100) 상의 하나 이상의 센서로부터의 데이터는 디바이스의 배향에 기초하여 사용자의 얼굴의 포즈를 평가하는 데 사용될 수 있다. 예를 들어, 디바이스(100) 상의 가속도계들 및/또는 자이로스코프들은 사용자의 얼굴 또는 신체에 대한 디바이스의 배향을 평가하고 캡처된 이미지에서 사용자의 얼굴의 포즈를 결정하는 데 사용될 수 있다.At 257, a pose of the user's face in the unlock attempt image may be evaluated. Evaluating the pose may include evaluating the orientation of the user's face relative to the device 100. For example, the user's face may be evaluated as in a normal orientation (eg, vertical) with respect to device 100 or in an abnormal orientation (eg, flipped) with respect to the device. In certain embodiments, the pose of the user's face is evaluated using feature vectors 256. For example, the neural network module may be trained to evaluate a pose of the user's face based on feature vectors 256. An example of evaluating feature vectors to determine a user's face pose is found in US Patent Application No. 15/910,551 to Gernoth et al., which is incorporated by reference as fully described herein. In some embodiments, data from one or more sensors on device 100 may be used to evaluate a pose of a user's face based on the orientation of the device. For example, accelerometers and/or gyroscopes on device 100 may be used to evaluate the orientation of the device with respect to the user's face or body and to determine a pose of the user's face in the captured image.

도 18에 도시된 바와 같이, 프로세스(250")는 (템플릿 공간(220) 내의 정적 부분(222)을 사용하는 것에 더하여) 257에서 평가되는 포즈에 기초하여 동적 부분(224) 또는 동적 부분(224')을 계속해서 사용할 수 있다. 소정 실시예들에서, 본 명세서에 기술된 바와 같이, 동적 부분(224)은 포즈가 제1(정상 또는 정면) 포즈인 것으로 평가될 때 정적 부분(222)과 조합하여 사용된다. 동적 부분(224')은 포즈가 제2(뒤집힌 또는 낮은 피치 각도) 포즈인 것으로 평가될 때 정적 부분(222)과 조합하여 사용될 수 있다. 따라서, 프로세스(250")는, 캡처된 잠금해제 시도 이미지에서 사용자를 인증하려고 시도하는 정적 부분(222)에 더하여, 평가된 포즈에 기초하여, 동적 부분(224) 또는 동적 부분(224') 중 어느 하나를 사용하여 선택적으로 계속된다.As shown in FIG. 18, the process 250 ″ is based on the pose evaluated at 257 (in addition to using the static portion 222 in the template space 220) or the dynamic portion 224 ') may still be used. In certain embodiments, as described herein, the dynamic portion 224 and the static portion 222 when the pose evaluates to be the first (normal or frontal) pose. The dynamic portion 224' may be used in combination with the static portion 222 when the pose is evaluated to be a second (inverted or low pitch angle) pose. Thus, the process 250" In addition to the static portion 222 that attempts to authenticate the user in the captured unlock attempt image, based on the evaluated pose, optionally continuing with either the dynamic portion 224 or the dynamic portion 224'. .

소정 실시예들에서, 257에서 포즈가 평가되고 평가된 포즈에 기초하여 사용될 동적 부분이 결정된 후, 프로세스(250")는 도 18에 도시된 바와 같이 258(또는 선택적으로 258')에서 계속된다. 258(또는 258')에서, 잠금해제 시도 이미지에 대해 (동적 부분(224)에 대한) 매칭 점수(260) 또는 (동적 부분(224')에 대한) 매칭 점수(260')를 얻기 위해, 특징 벡터(들)(256)가 (동적 부분(224) 또는 동적 부분(224')을 사용하여) 템플릿 공간(220)의 템플릿들 내의 특징 벡터들과 비교된다.In certain embodiments, after the pose is evaluated at 257 and the dynamic portion to be used based on the evaluated pose is determined, the process 250" continues at 258 (or optionally 258') as shown in FIG. At 258 (or 258'), to obtain a match score 260 (for dynamic portion 224) or a match score 260' (for dynamic portion 224') for the unlock attempt image, the feature Vector(s) 256 are compared to feature vectors in the templates of template space 220 (using dynamic portion 224 or dynamic portion 224').

매칭 점수(260)(또는 평가된 포즈에 기초한 매칭 점수(260'))가 결정된 후에, 매칭 점수는 (매칭 점수(260)에 대해) 262에서 잠금해제 임계치(264) 또는 (매칭 점수(260')에 대해) 262'에서 잠금해제 임계치(264')와 비교될 수 있다. 소정 실시예들에서, 잠금해제 임계치(264')는 잠금해제 임계치(264)보다 타이트한 제한들을 갖는다(예컨대, 매칭에 대해 더 엄격하다). 보다 타이트한 제한들은 제2 포즈를 갖는 이미지들에서의 평가를 위해 이용가능한 특징들로 인해 잠금해제 임계치(264') 상에 배치될 수 있다. 전술된 바와 같이, 전형적으로 제2(뒤집힌 또는 낮은 피치 각도) 포즈에서, 사용자의 턱이 눈에 띄는 특징일 수 있는 반면, 눈을 포함하는 사용자의 얼굴의 윗부분의 일부 부분들이 이미지에서 평가되지 않도록 가려지거나 폐색될 수 있다(예컨대, 눈 또는 사용자의 얼굴의 눈 주위의 영역에 대해 더 적은 특징 벡터들이 평가될 수 있다). 사용자의 신원을 결정하기 위해 사용자의 턱을 평가하는 것은 사용자의 눈 안의 그리고 그 주위의 특징들을 평가하는 것보다 덜 신뢰할 수 있다. 따라서, 디바이스(100) 상의 얼굴 인식 인증 프로세스에 적합한 보안 레벨들을 유지하기 위해, 잠금해제 임계치(264')에 대해 보다 타이트한 제한들을 둘 수 있다.After the match score 260 (or match score 260' based on the evaluated pose) is determined, the match score is unlocked at 262 (for match score 260) or (match score 260') at 262. )) at 262'. In certain embodiments, unlock threshold 264 ′ has tighter limits than unlock threshold 264 (eg, more stringent for matching). Tighter constraints may be placed on the unlock threshold 264' due to features available for evaluation in images with a second pose. As described above, typically in a second (inverted or low pitch angle) pose, the user's chin may be a prominent feature, while some portions of the upper part of the user's face, including the eyes, are not evaluated in the image. It may be obscured or occluded (eg, fewer feature vectors may be evaluated for the eye or the area around the eye of the user's face). Evaluating the user's jaw to determine the user's identity may be less reliable than evaluating the features in and around the user's eye. Thus, tighter restrictions can be placed on the unlock threshold 264' in order to maintain security levels suitable for the facial recognition authentication process on the device 100.

도 18에 도시된 바와 같이, 평가된 포즈에 기반하여 동적 부분(224)이 사용될 때, 매칭 점수(260)가 잠금해제 임계치(264)를 초과하면(즉, 잠금해제 시도 이미지에서의 사용자의 얼굴이 인가된 사용자의 얼굴과 실질적으로 매칭되면), 잠금해제 시도 이미지(252) 내의 사용자는 디바이스(100)에 대한 인가된 사용자로서 인증되고 266에서 디바이스가 잠금해제된다. 유사하게, 평가된 포즈에 기반하여 동적 부분(224')이 사용될 때, 매칭 점수(260')가 잠금해제 임계치(264')를 초과하면, 잠금해제 시도 이미지(252) 내의 사용자는 디바이스(100)에 대한 인가된 사용자로서 인증되고 266'에서 디바이스가 잠금해제된다. 디바이스(100)가 266(또는 266')에서 잠금해제된 후에, 잠금해제 특징 벡터들(256) 및 프로세싱된 매칭 점수(매칭 점수(260) 또는 매칭 점수(260'))가 템플릿 업데이트 프로세스(300)(도 10에 도시됨)에 제공된다. 템플릿 업데이트 프로세스(300)는 이어서 프로세스(250")를 동작시킨 대응하는 동적 부분(예컨대, 동적 부분(224) 또는 동적 부분(224') 중 어느 하나)을 업데이트하도록 동작한다.As shown in Fig. 18, when the dynamic portion 224 is used based on the evaluated pose, if the matching score 260 exceeds the unlock threshold 264 (that is, the user's face in the unlock attempt image If it substantially matches the face of this authorized user), the user in the unlock attempt image 252 is authenticated as an authorized user for the device 100 and the device is unlocked at 266. Similarly, when the dynamic portion 224' is used based on the evaluated pose, if the matching score 260' exceeds the unlock threshold 264', the user in the unlock attempt image 252 is ), and the device is unlocked at 266'. After the device 100 is unlocked at 266 (or 266'), the unlocked feature vectors 256 and the processed match score (matching score 260 or match score 260') are updated in the template update process 300 ) (Shown in FIG. 10). The template update process 300 then operates to update the corresponding dynamic portion (eg, either dynamic portion 224 or dynamic portion 224') that operated process 250".

소정 실시예들에서, 도 18에 도시된 바와 같이, 동적 부분(224)이 평가된 포즈에 기초하여 사용되는 경우, 매칭 점수(260)가 잠금해제 임계치(264) 미만이면(예컨대, 잠금해제 임계치 이상이 아니면), 디바이스(100)는 잠금 상태로 남고, 프로세스(250")는 (도 19에 도시된) 잠금 프로토콜(460)로 계속된다. 동적 부분(224')이 평가된 포즈에 기초하여 사용되는 경우, 매칭 점수(260')가 잠금해제 임계치(264') 미만이면(예컨대, 잠금해제 임계치 이상이 아니면), 디바이스(100)는 잠금 상태로 남고, 프로세스(250")는 (도 20에 도시된) 잠금 프로토콜(460')로 계속된다.In certain embodiments, as shown in FIG. 18, when the dynamic portion 224 is used based on the evaluated pose, the matching score 260 is less than the unlock threshold 264 (e.g., the unlock threshold If not), the device 100 remains locked and the process 250" continues with the locking protocol 460 (shown in Figure 19). The dynamic portion 224' is based on the evaluated pose. When used, if the matching score 260' is less than the unlock threshold 264' (e.g., not above the unlock threshold), the device 100 remains locked, and the process 250' is (FIG. 20 Lock protocol 460').

도 19는 잠금 프로토콜(460)의 실시예의 플로차트를 도시한다. 전술된 바와 같이, 잠금 프로토콜(460)은 매칭 점수(260)가 잠금해제 임계치(264) 미만이고 디바이스(100)가 잠금 상태로 남아있는 경우, 얼굴 인식 인증 프로세스(250")에서 시작한다. 잠금 프로토콜(460)은 도 9에 도시된 얼굴 인식 인증 프로세스(250)로부터의 일부 동작들을 포함할 수 있다. 예를 들어, 도 19에 도시된 바와 같이, 잠금 프로토콜(460)은 디바이스가 268에서 잠금해제되지 않는 상태에서 시작할 수 있다. 270에서, 잠금해제 시도들의 횟수(예컨대, 252에서 캡처된 상이한 잠금해제 시도 이미지를 사용하여 디바이스(100)를 잠금해제하려는 시도들의 횟수)가 카운팅된다. 270에서의 잠금해제 시도들의 횟수가 선택된 값(예컨대, 임계치) 미만이면, 프로세스(250")는 다른 잠금해제 시도 이미지를 사용하여 다시 실행될 수 있다(예컨대, 사용자의 새로운 이미지가 캡처되고 프로세싱된다).19 shows a flowchart of an embodiment of a locking protocol 460. As described above, the locking protocol 460 starts at the face recognition authentication process 250" when the matching score 260 is less than the unlock threshold 264 and the device 100 remains locked. Protocol 460 may include some operations from face recognition authentication process 250 shown in Fig. 9. For example, as shown in Fig. 19, lock protocol 460 allows the device to lock at 268. At 270, the number of unlock attempts (eg, the number of attempts to unlock the device 100 using a different unlock attempt image captured at 252) is counted at 270. If the number of unlock attempts of is less than a selected value (eg, a threshold), the process 250" may be run again using another unlock attempt image (eg, a new image of the user is captured and processed).

잠금해제 시도들의 횟수가 선택된 값 초과이면, 272에서 디바이스(100)는 얼굴 인증을 사용하려는 추가 시도들로부터 잠금된다. 일부 실시예들에서, 얼굴 인식 인증 프로세스(250")가 실패했고/실패했거나 디바이스(100)의 원하는 동작이 수행되는 것이 제약 또는 방지된다는 것을 나타내는 에러 메시지가 (예컨대, 디스플레이(108) 상에) 디스플레이될 수 있다. 지정된 시간 기간 동안 및/또는 디바이스를 잠금해제하기 위해 다른 인증 프로토콜이 사용될 때까지 디바이스(100)는 272에서 얼굴 인증을 사용하기 위한 추가의 시도들로부터 잠금될 수 있다. 일부 실시예들에서, 잠금해제 옵션들(274)이 디바이스(100)를 잠금해제하는 데 사용된다. 소정 실시예들에서, 디바이스(100)가 274에서의 잠금해제 옵션들 중 하나를 사용하여 잠금해제된 후에, 동적 부분(224)을 업데이트하기 위해 특징 벡터들(256) 및 매칭 점수(260)가 (도 13에 도시된) 제2 템플릿 업데이트 프로세스(400)에 제공될 수 있다.If the number of unlock attempts exceeds the selected value, at 272 the device 100 is locked from further attempts to use facial authentication. In some embodiments, an error message indicating that the facial recognition authentication process 250 ″ has failed and/or is restricted or prevented from performing the desired operation of the device 100 (eg, on display 108) Device 100 may be locked from further attempts to use facial authentication at 272 for a specified period of time and/or until another authentication protocol is used to unlock the device. In examples, unlock options 274 are used to unlock device 100. In certain embodiments, device 100 is unlocked using one of the unlock options at 274. Afterwards, feature vectors 256 and matching score 260 may be provided to the second template update process 400 (shown in FIG. 13) to update the dynamic portion 224.

도 20은 잠금 프로토콜(460')의 실시예의 플로차트를 도시한다. 전술된 바와 같이, 잠금 프로토콜(460')은 매칭 점수(260')가 잠금해제 임계치(264') 미만이고 디바이스(100)가 잠금 상태로 남아있는 경우 얼굴 인식 인증 프로세스(250")에서 시작한다. 잠금 프로토콜(460')은 도 9에 도시된 얼굴 인식 인증 프로세스(250)로부터의 일부 동작들을 포함할 수 있다. 예를 들어, 도 20에 도시된 바와 같이, 잠금 프로토콜(460')은 디바이스가 268'에서 잠금해제되지 않는 상태에서 시작할 수 있다. 270'에서, 잠금해제 시도들의 횟수가 카운팅된다(예컨대, 252에서 캡처된 상이한 잠금해제 시도 이미지를 사용하여 디바이스(100)를 잠금해제하려는 시도들의 횟수). 270'에서의 잠금해제 시도들의 횟수가 선택된 값(예컨대, 임계치) 미만이면, 프로세스(250")는 다른 잠금해제 시도 이미지를 사용하여 다시 실행될 수 있다(예컨대, 사용자의 새로운 이미지가 캡처되고 프로세싱된다).20 shows a flowchart of an embodiment of a locking protocol 460'. As described above, the locking protocol 460' begins with the face recognition authentication process 250" when the matching score 260' is below the unlock threshold 264' and the device 100 remains locked. The lock protocol 460' may include some operations from the face recognition authentication process 250 shown in Fig. 9. For example, as shown in Fig. 20, the lock protocol 460' is a device May start with the unlocked state at 268'. At 270', the number of unlock attempts is counted (e.g., an attempt to unlock the device 100 using a different unlock attempt image captured at 252). If the number of unlock attempts at 270' is less than a selected value (e.g., threshold), the process 250" may be run again using a different unlock attempt image (e.g., a new image of the user is Captured and processed).

잠금해제 시도들의 횟수가 선택된 값을 초과하면, 272'에서 디바이스(100)는 얼굴 인증을 사용하려는 추가 시도들로부터 잠금된다. 일부 실시예들에서, 얼굴 인식 인증 프로세스(250")가 실패했고/실패했거나 디바이스(100)의 원하는 동작이 수행되는 것이 제약 또는 방지된다는 것을 나타내는 에러 메시지가 (예컨대, 디스플레이(108) 상에) 디스플레이될 수 있다. 지정된 시간 기간 동안 및/또는 디바이스를 잠금해제하기 위해 다른 인증 프로토콜이 사용될 때까지 272'에서 디바이스는 얼굴 인증을 사용하기 위한 추가의 시도들로부터 잠금될 수 있다. 일부 실시예들에서, 잠금해제 옵션들(274')이 디바이스(100)를 잠금해제하는 데 사용된다. 소정 실시예들에서, 디바이스(100)가 274'에서의 잠금해제 옵션들 중 하나를 사용하여 잠금해제된 후에, 동적 부분(224')을 업데이트하기 위해 특징 벡터들(256) 및 매칭 점수(260')가 (도 13에 도시된) 제2 템플릿 업데이트 프로세스(400)에 제공될 수 있다.If the number of unlock attempts exceeds the selected value, at 272' the device 100 is locked from further attempts to use face authentication. In some embodiments, an error message indicating that the facial recognition authentication process 250 ″ has failed and/or is restricted or prevented from performing the desired operation of the device 100 (eg, on display 108) The device may be locked from further attempts to use face authentication at 272' for a specified period of time and/or until another authentication protocol is used to unlock the device. At, unlock options 274' are used to unlock device 100. In certain embodiments, device 100 is unlocked using one of the unlock options at 274'. Afterwards, feature vectors 256 and matching score 260 ′ may be provided to the second template update process 400 (shown in FIG. 13) to update the dynamic portion 224 ′.

소정 실시예들에서, 본 명세서에서 설명된 하나 이상의 프로세스 단계는 비일시적 컴퓨터 판독가능 매체 상에 저장된 명령어들을 실행하는 하나 이상의 프로세서(예컨대, 컴퓨터 프로세서)에 의해 수행될 수 있다. 예를 들어, 도 4, 도 9, 도 10, 및 도 13에 도시된, 프로세스(200), 프로세스(250), 프로세스(300), 및 프로세스(400)는 컴퓨터 판독가능 저장 매체(예컨대, 비일시적 컴퓨터 판독가능 저장 매체)에 프로그램 명령어들로서 저장된 명령어들을 실행하는 하나 이상의 프로세서에 의해 수행되는 하나 이상의 단계를 가질 수 있다.In certain embodiments, one or more process steps described herein may be performed by one or more processors (eg, computer processors) executing instructions stored on a non-transitory computer-readable medium. For example, the process 200, process 250, process 300, and process 400, shown in FIGS. 4, 9, 10, and 13, may be computer-readable storage media (e.g., non- Temporary computer readable storage medium).

도 21은 예시적인 컴퓨터 시스템(510)의 일 실시예의 블록 다이어그램을 도시한다. 예시적인 컴퓨터 시스템(510)은 본 명세서에서 설명된 하나 이상의 실시예를 구현하는 데 사용될 수 있다. 일부 실시예들에서, 컴퓨터 시스템(510)은 도 4, 도 9, 도 10, 및 도 13에 도시된, 프로세스(200), 프로세스(250), 프로세스(300), 및 프로세스(400)와 같은 본 명세서에서 설명된 하나 이상의 실시예를 구현하도록 사용자에 의해 동작가능하다. 도 21의 실시예에서, 컴퓨터 시스템(510)은 프로세서(512), 메모리(514), 및 다양한 주변 디바이스들(516)을 포함한다. 프로세서(512)는 메모리(514) 및 주변 디바이스들(516)에 커플링된다. 프로세서(512)는 소프트웨어로 되어 있을 수 있는, 프로세스(200), 프로세스(250), 프로세스(300), 및/또는 프로세스(400)에 대한 명령어들을 포함하는, 명령어들을 실행하도록 구성된다. 다양한 실시예들에서, 프로세서(512)는 임의의 원하는 명령어 세트(예컨대, Intel Architecture-32(IA-32, x86이라고도 알려져 있음), 64 비트 확장들을 갖는 IA-32, x86-64, PowerPC, Sparc, MIPS, ARM, IA-64 등)를 구현할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(510)은 하나 초과의 프로세서를 포함할 수 있다. 더욱이, 프로세서(512)는 하나 이상의 프로세서 또는 하나 이상의 프로세서 코어를 포함할 수 있다.21 shows a block diagram of one embodiment of an exemplary computer system 510. Exemplary computer system 510 may be used to implement one or more embodiments described herein. In some embodiments, the computer system 510 is a process 200, process 250, process 300, and process 400 shown in Figures 4, 9, 10, and 13 It is operable by a user to implement one or more of the embodiments described herein. In the embodiment of FIG. 21, computer system 510 includes a processor 512, a memory 514, and various peripheral devices 516. Processor 512 is coupled to memory 514 and peripheral devices 516. Processor 512 is configured to execute instructions, including instructions for process 200, process 250, process 300, and/or process 400, which may be in software. In various embodiments, processor 512 may be configured with any desired instruction set (e.g., Intel Architecture-32 (also known as IA-32, x86), IA-32, x86-64, PowerPC, Sparc with 64-bit extensions). , MIPS, ARM, IA-64, etc.) can be implemented. In some embodiments, computer system 510 may include more than one processor. Furthermore, processor 512 may include one or more processors or one or more processor cores.

프로세서(512)는 임의의 원하는 방식으로 메모리(514) 및 주변 디바이스들(516)에 커플링될 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(512)는 다양한 인터커넥트를 통해 메모리 (514) 및/또는 주변 디바이스들(516)에 커플링될 수 있다. 대안적으로 또는 부가적으로, 하나 이상의 브리지 칩이 프로세서(512), 메모리(514), 및 주변 디바이스들(516)을 커플링시키는 데 사용될 수 있다.Processor 512 can be coupled to memory 514 and peripheral devices 516 in any desired manner. For example, in some embodiments, processor 512 may be coupled to memory 514 and/or peripheral devices 516 through various interconnects. Alternatively or additionally, one or more bridge chips may be used to couple the processor 512, memory 514, and peripheral devices 516.

메모리(514)는 임의의 유형의 메모리 시스템을 포함할 수 있다. 예를 들어, 메모리(514)는 DRAM, 및 보다 상세하게는 DDR(double data rate) SDRAM, RDRAM 등을 포함할 수 있다. 메모리 컨트롤러는 메모리(514)에 인터페이싱하기 위해 포함될 수 있고, 그리고/또는 프로세서(512)는 메모리 컨트롤러를 포함할 수 있다. 메모리(514)는 사용 동안 프로세서(512)에 의해 실행될 명령어들, 사용 동안 프로세서에 의해 동작될 데이터 등을 저장할 수 있다.Memory 514 may include any type of memory system. For example, the memory 514 may include DRAM, and more particularly, double data rate (DDR) SDRAM, RDRAM, and the like. A memory controller may be included to interface to the memory 514 and/or the processor 512 may include a memory controller. The memory 514 may store instructions to be executed by the processor 512 during use, data to be operated by the processor during use, and the like.

주변 디바이스들(516)은 컴퓨터 시스템(510)에 포함되거나 그에 커플링될 수 있는 임의의 종류의 하드웨어 디바이스들(예컨대, 도 22에 도시된 컴퓨터 액세스가능 저장 매체(600)를 임의로 포함한, 저장 디바이스들, 비디오 하드웨어, 오디오 하드웨어와 같은 다른 입/출력(I/O) 디바이스들, 사용자 인터페이스 디바이스들, 네트워킹 하드웨어 등)을 나타낼 수 있다.Peripheral devices 516 are storage devices, optionally including any kind of hardware devices (e.g., computer-accessible storage media 600 shown in FIG. Other input/output (I/O) devices such as video hardware, audio hardware, user interface devices, networking hardware, etc.).

집적 회로 설계에 포함되는 (도 1에 도시된) 디바이스(100)를 나타내는 하나 이상의 데이터 구조 및 (도 4, 도 9, 도 10, 및 도 13에 도시된) 프로세스(200), 프로세스(250), 프로세스(300), 및/또는 프로세스(400)를 나타내는 하나 이상의 코드 시퀀스를 포함하는 컴퓨터 액세스가능 저장 매체(600)의 일 실시예의 블록 다이어그램인 도 22를 이제 살펴본다. 각각의 코드 시퀀스는, 컴퓨터 내의 프로세서에 의해 실행될 때, 대응하는 코드 시퀀스에 대해 설명된 동작들을 구현하는 하나 이상의 명령어를 포함할 수 있다. 일반적으로 말하면, 컴퓨터 액세스가능 저장 매체는 명령어들 및/또는 데이터를 컴퓨터에 제공하기 위하여 사용 동안 컴퓨터에 의해 액세스가능한 임의의 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 액세스가능 저장 매체는, 자기 또는 광학 매체, 예컨대, 디스크(고정식 또는 이동식), 테이프, CD-ROM, DVD-ROM, CD-R, CD-RW, DVD-R, DVD-RW, 또는 블루레이(Blu-Ray)와 같은 비일시적 저장 매체들을 포함할 수 있다. 저장 매체들은, RAM(예를 들어, 동기식 동적 RAM(synchronous dynamic RAM; SDRAM), 램버스 DRAM(RDRAM), 정적 RAM(SRAM) 등), ROM, 또는 플래시 메모리와 같은 휘발성 또는 비휘발성 메모리 매체들을 추가로 포함할 수 있다. 저장 매체들은 저장 매체들이 명령어들/데이터를 제공하는 컴퓨터 내에 물리적으로 포함될 수 있다. 대안적으로, 저장 매체들은 컴퓨터에 접속될 수 있다. 예를 들어, 저장 매체들은 네트워크 부착형 스토리지와 같이, 네트워크 또는 무선 링크를 통해 컴퓨터에 접속될 수 있다. 저장 매체들은 범용 시리얼 버스(USB)와 같은 주변기기 인터페이스를 통해 접속될 수 있다. 일반적으로, 컴퓨터 액세스가능 저장 매체(600)는 비일시적 방식으로 데이터를 저장할 수 있고, 본 맥락에서 비일시적이란 신호 상에서 명령어들/데이터를 전송하지 않는 것을 지칭할 수 있다. 예를 들어, 비일시적 스토리지는 휘발성(그리고 전력 차단에 응답하여 저장된 명령어들/데이터를 상실할 수 있음) 또는 비휘발성일 수 있다.One or more data structures representing the device 100 (shown in Figure 1) included in the integrated circuit design and the process 200, process 250 (shown in Figures 4, 9, 10, and 13) Referring now to FIG. 22, which is a block diagram of one embodiment of a computer-accessible storage medium 600 comprising one or more code sequences representing process 300, and/or process 400. Each code sequence may include one or more instructions that, when executed by a processor in the computer, implement the described operations for the corresponding code sequence. Generally speaking, computer accessible storage media may include any storage media accessible by a computer during use to provide instructions and/or data to the computer. For example, a computer-accessible storage medium is a magnetic or optical medium, such as a disk (fixed or removable), tape, CD-ROM, DVD-ROM, CD-R, CD-RW, DVD-R, DVD-RW , Or may include non-transitory storage media such as Blu-Ray. Storage media include RAM (e.g., synchronous dynamic RAM (SDRAM), Rambus DRAM (RDRAM), static RAM (SRAM), etc.), ROM, or volatile or nonvolatile memory media such as flash memory. Can be included as. Storage media may be physically contained within a computer in which the storage media provide instructions/data. Alternatively, storage media can be connected to a computer. For example, storage media may be connected to a computer via a network or wireless link, such as network attached storage. Storage media can be connected through a peripheral interface such as a universal serial bus (USB). In general, computer-accessible storage medium 600 may store data in a non-transitory manner, and non-transitory in this context may refer to not transmitting instructions/data on a signal. For example, non-transitory storage may be volatile (and may lose stored instructions/data in response to a power cut) or non-volatile.

본 명세서에서 설명된 실시예들의 다양한 양태들의 추가의 수정들 및 대안의 실시예들은 본 설명의 관점에서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 따라서, 본 설명은 예시적인 것으로서만 해석되어야 하며, 실시예들을 수행하는 일반적인 방식을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 교시하는 목적을 위한 것이다. 본 명세서에 도시되고 설명된 실시예들의 형태들이 현재 바람직한 실시예들로서 취해지는 것을 이해하여야 한다. 요소들 및 재료들은 본 명세서에서 예시되고 설명된 것들을 대신할 수 있고, 부분들 및 프로세스들은 뒤바뀔 수 있으며, 실시예들의 소정 특징들은 독립적으로 활용될 수 있는데, 이들 모두는 본 설명의 이점을 얻은 후의 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백해지는 바와 같다. 이하의 청구범위의 사상 및 범위를 벗어나지 않으면서 본 명세서에서 설명된 요소들에서 변경들이 이루어질 수 있다.Further modifications and alternative embodiments of the various aspects of the embodiments described herein will be apparent to those of ordinary skill in the art in view of this description. Therefore, the present description should be interpreted as illustrative only, and is for the purpose of teaching a general method of performing the embodiments to those of ordinary skill in the art. It should be understood that the forms of the embodiments shown and described herein are taken as presently preferred embodiments. Elements and materials may be substituted for those illustrated and described herein, parts and processes may be interchanged, and certain features of the embodiments may be utilized independently, all of which may be used after gaining the benefit of this description. As will be apparent to those of ordinary skill in the art to which the present invention belongs. Changes may be made in the elements described herein without departing from the spirit and scope of the following claims.

Claims (20)

방법으로서,
디바이스 상에 위치된 카메라를 사용하여 사용자의 얼굴의 제1 이미지를 획득하는 단계 - 상기 디바이스는 컴퓨터 프로세서 및 메모리를 포함함 -;
상기 제1 이미지를 인코딩하여 적어도 하나의 제1 특징 벡터를 생성하는 단계 - 상기 제1 특징 벡터는 상기 제1 이미지에서의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 제1 기준 템플릿과 비교하여 제1 매칭 점수를 획득하는 단계 - 상기 제1 기준 템플릿은 상기 디바이스 상의 제1 등록 프로파일에 대한 기준 템플릿들을 포함함 -;
상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 제2 기준 템플릿과 비교하여 제2 매칭 점수를 획득하는 단계 - 상기 제2 기준 템플릿은 상기 디바이스 상의 제2 등록 프로파일에 대한 기준 템플릿들을 포함함 -;
상기 제1 매칭 점수 또는 상기 제2 매칭 점수 중 적어도 하나가 잠금해제 임계치를 초과하면, 인증을 요구하는 상기 디바이스 상에서 적어도 하나의 동작을 수행하도록 상기 사용자를 인가하는 단계;
상기 제1 매칭 점수가 제1 임계치를 초과하면,
상기 제1 특징 벡터를 디바이스의 상기 메모리에 제1 임시 템플릿으로서 저장하는 단계; 및
상기 제1 임시 템플릿을 사용하여 상기 제1 기준 템플릿에 대한 제1 템플릿 업데이트 프로세스를 동작시키는 단계; 및
상기 제2 매칭 점수가 제2 임계치를 초과하면,
상기 제1 특징 벡터를 디바이스의 상기 메모리에 제2 임시 템플릿으로서 저장하는 단계; 및
상기 제2 임시 템플릿을 사용하여 상기 제2 기준 템플릿에 대한 제2 템플릿 업데이트 프로세스를 동작시키는 단계를 포함하는, 방법.
As a method,
Obtaining a first image of a user's face using a camera located on the device, the device comprising a computer processor and a memory;
Encoding the first image to generate at least one first feature vector, the first feature vector representing one or more facial features of the user in the first image;
Comparing the first feature vector with one or more first reference templates stored in the memory of the device to obtain a first matching score-The first reference template includes reference templates for a first registration profile on the device Ham -;
Comparing the first feature vector with one or more second reference templates stored in the memory of the device to obtain a second matching score-The second reference template includes reference templates for a second registration profile on the device Ham -;
If at least one of the first match score or the second match score exceeds an unlock threshold, authorizing the user to perform at least one operation on the device requesting authentication;
If the first matching score exceeds a first threshold,
Storing the first feature vector as a first temporary template in the memory of the device; And
Operating a first template update process for the first reference template by using the first temporary template; And
If the second matching score exceeds a second threshold,
Storing the first feature vector as a second temporary template in the memory of the device; And
And operating a second template update process for the second reference template using the second temporary template.
제1항에 있어서, 상기 제1 임계치는 상기 제2 임계치와 실질적으로 동일한, 방법.The method of claim 1, wherein the first threshold is substantially equal to the second threshold. 제1항에 있어서, 상기 제1 임계치 및 상기 제2 임계치는 상기 잠금해제 임계치보다 더 높은, 방법.The method of claim 1, wherein the first threshold and the second threshold are higher than the unlock threshold. 제1항에 있어서, 상기 제1 이미지는 상기 사용자의 상기 얼굴의 적외선 이미지인, 방법.The method of claim 1, wherein the first image is an infrared image of the face of the user. 제1항에 있어서, 상기 제1 등록 프로파일은 상기 디바이스의 상기 사용자에 대한 등록 프로파일을 포함하고, 상기 제2 등록 프로파일은 상기 디바이스의 추가 사용자에 대한 등록 프로파일을 포함하는, 방법.The method of claim 1, wherein the first registration profile includes a registration profile for the user of the device, and the second registration profile includes a registration profile for an additional user of the device. 제1항에 있어서, 상기 제1 등록 프로파일은 상기 디바이스의 상기 사용자의 제1 외관에 대한 등록 프로파일을 포함하고, 상기 제2 등록 프로파일은 상기 디바이스의 상기 사용자의 제2 외관에 대한 등록 프로파일을 포함하는, 방법.The method of claim 1, wherein the first registration profile includes a registration profile for a first appearance of the user of the device, and the second registration profile includes a registration profile for a second appearance of the user of the device. How to. 제1항에 있어서, 상기 제1 템플릿 업데이트 프로세스는,
상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 제2 이미지를 획득하는 단계;
상기 제2 이미지를 인코딩하여 적어도 하나의 제2 특징 벡터를 생성하는 단계 - 상기 제2 특징 벡터는 상기 제2 이미지에서의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
상기 제2 특징 벡터를 상기 제1 임시 템플릿과 비교함으로써 제3 매칭 점수를 획득하는 단계;
상기 제3 매칭 점수가 제3 임계치를 초과하는지를 평가함으로써 상기 제1 임시 템플릿에 대한 신뢰 점수를 평가하는 단계; 및
상기 평가된 신뢰 점수가 선택된 신뢰 점수를 초과하면, 상기 제1 임시 템플릿을 상기 제1 기준 템플릿에 추가하는 단계를 포함하는, 방법.
The method of claim 1, wherein the first template update process,
Acquiring a second image of the face of the user using the camera;
Encoding the second image to generate at least one second feature vector, the second feature vector representing one or more facial features of the user in the second image;
Obtaining a third matching score by comparing the second feature vector with the first temporary template;
Evaluating a confidence score for the first temporary template by evaluating whether the third matching score exceeds a third threshold; And
And if the evaluated confidence score exceeds the selected confidence score, adding the first temporary template to the first reference template.
제1항에 있어서, 상기 제1 등록 프로파일 내의 상기 제1 기준 템플릿은,
상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 복수의 기준 이미지들을 획득하는 단계;
상기 기준 이미지들에 대한 선택된 기준들을 충족시키는 선택된 기준 이미지들에 기초하여 인코딩을 위한 기준 이미지들을 선택하는 단계;
상기 선택된 기준 이미지들로부터 상기 사용자의 복수의 얼굴 특징들을 인코딩하여 상기 복수의 기준 특징 벡터들을 생성하는 단계; 및
상기 복수의 기준 특징 벡터들을 상기 디바이스의 상기 메모리에 상기 제1 기준 템플릿으로서 저장하는 단계에 의해 생성되는, 방법.
The method of claim 1, wherein the first reference template in the first registration profile,
Acquiring a plurality of reference images of the face of the user using the camera;
Selecting reference images for encoding based on selected reference images that meet selected criteria for the reference images;
Generating the plurality of reference feature vectors by encoding a plurality of facial features of the user from the selected reference images; And
And storing the plurality of reference feature vectors as the first reference template in the memory of the device.
방법으로서,
디바이스 상에 위치된 카메라를 사용하여 사용자의 얼굴의 제1 이미지를 획득하는 단계 - 상기 디바이스는 컴퓨터 프로세서 및 메모리를 포함함 -;
상기 제1 이미지를 인코딩하여 적어도 하나의 제1 특징 벡터를 생성하는 단계 - 상기 제1 특징 벡터는 상기 제1 이미지에서의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 제1 기준 템플릿과 비교하여 제1 매칭 점수를 획득하는 단계 - 상기 제1 기준 템플릿은 상기 디바이스 상의 제1 등록 프로파일에 대한 기준 템플릿들을 포함함 -;
상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 제2 기준 템플릿과 비교하여 제2 매칭 점수를 획득하는 단계 - 상기 제2 기준 템플릿은 상기 디바이스 상의 제2 등록 프로파일에 대한 기준 템플릿들을 포함함 -;
상기 제1 매칭 점수 또는 상기 제2 매칭 점수 중 적어도 하나가 잠금해제 임계치를 초과하면, 인증을 요구하는 상기 디바이스 상에서 적어도 하나의 동작을 수행하도록 상기 사용자를 인가하는 단계; 또는
상기 제1 매칭 점수 및 상기 제2 매칭 점수 둘 모두가 상기 잠금해제 임계치 미만이면,
상기 사용자에게 적어도 하나의 추가 인증 프로토콜로 진행하도록 하는 옵션을 제공하는 단계; 및
상기 적어도 하나의 추가 인증 프로토콜을 통해 상기 사용자의 인가를 수신하는 것에 응답하여,
상기 제1 매칭 점수가 상기 제2 매칭 점수를 초과하면, 상기 제1 기준 템플릿에 대한 템플릿 업데이트 프로세스를 동작시키는 단계; 또는
상기 제2 매칭 점수가 상기 제1 매칭 점수를 초과하면, 상기 제2 기준 템플릿에 대한 상기 템플릿 업데이트 프로세스를 동작시키는 단계를 포함하는, 방법.
As a method,
Obtaining a first image of a user's face using a camera located on the device, the device comprising a computer processor and a memory;
Encoding the first image to generate at least one first feature vector, the first feature vector representing one or more facial features of the user in the first image;
Comparing the first feature vector with one or more first reference templates stored in the memory of the device to obtain a first matching score-The first reference template includes reference templates for a first registration profile on the device Ham -;
Comparing the first feature vector with one or more second reference templates stored in the memory of the device to obtain a second matching score-The second reference template includes reference templates for a second registration profile on the device Ham -;
If at least one of the first match score or the second match score exceeds an unlock threshold, authorizing the user to perform at least one operation on the device requesting authentication; or
If both the first matching score and the second matching score are less than the unlocking threshold,
Providing the user with an option to proceed with at least one additional authentication protocol; And
In response to receiving the user's authorization via the at least one additional authentication protocol,
If the first matching score exceeds the second matching score, operating a template update process for the first reference template; or
And if the second match score exceeds the first match score, operating the template update process for the second reference template.
제9항에 있어서, 상기 적어도 하나의 추가 인증 프로토콜은 상기 디바이스에 대한 패스코드를 입력하는 것을 포함하는, 방법.The method of claim 9, wherein the at least one additional authentication protocol comprises entering a passcode for the device. 제9항에 있어서, 상기 제1 등록 프로파일은 상기 디바이스의 상기 사용자에 대한 등록 프로파일을 포함하고, 상기 제2 등록 프로파일은 상기 디바이스의 추가 사용자에 대한 등록 프로파일을 포함하는, 방법.10. The method of claim 9, wherein the first registration profile comprises a registration profile for the user of the device, and the second registration profile comprises a registration profile for an additional user of the device. 제9항에 있어서, 상기 제1 등록 프로파일은 상기 디바이스의 상기 사용자의 제1 외관에 대한 등록 프로파일을 포함하고, 상기 제2 등록 프로파일은 상기 디바이스의 상기 사용자의 제2 외관에 대한 등록 프로파일을 포함하는, 방법.The method of claim 9, wherein the first registration profile includes a registration profile for a first appearance of the user of the device, and the second registration profile includes a registration profile for a second appearance of the user of the device. How to. 제9항에 있어서, 상기 템플릿 업데이트 프로세스는,
상기 제1 매칭 점수 또는 상기 제2 매칭 점수가 제1 임계치를 초과하면, 상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 임시 템플릿으로서 저장하는 단계;
상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 제2 이미지를 획득하는 단계;
상기 제2 이미지를 인코딩하여 적어도 하나의 제2 특징 벡터를 생성하는 단계 - 상기 제2 특징 벡터는 상기 제2 이미지에서의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
상기 제2 특징 벡터를 저장된 상기 임시 템플릿과 비교하여 제3 매칭 점수를 획득하는 단계;
상기 제3 매칭 점수를 제2 임계치와 비교함으로써 상기 임시 템플릿에 대한 신뢰 점수를 평가하는 단계 - 상기 제2 임계치는 상기 제1 임계치를 초과함 -; 및
상기 평가된 신뢰 점수가 선택된 신뢰 점수를 초과하면, 상기 임시 템플릿을 상기 제1 기준 템플릿 또는 상기 제2 기준 템플릿에 추가하는 단계를 포함하는, 방법.
The method of claim 9, wherein the template update process,
If the first match score or the second match score exceeds a first threshold, storing the first feature vector as a temporary template in the memory of the device;
Acquiring a second image of the face of the user using the camera;
Encoding the second image to generate at least one second feature vector, the second feature vector representing one or more facial features of the user in the second image;
Comparing the second feature vector with the stored temporary template to obtain a third matching score;
Evaluating a confidence score for the temporary template by comparing the third matching score with a second threshold, the second threshold exceeding the first threshold; And
If the evaluated confidence score exceeds the selected confidence score, adding the temporary template to the first reference template or the second reference template.
제13항에 있어서, 상기 임시 템플릿을 사용하여 선택된 시간 기간 동안 상기 디바이스를 사용하도록 상기 사용자를 인증하는 단계를 추가로 포함하는, 방법.14. The method of claim 13, further comprising authenticating the user to use the device for a selected period of time using the temporary template. 디바이스로서,
카메라;
적외선 조명을 제공하는 적어도 하나의 조명기;
상기 카메라 및 상기 조명기에 커플링된 회로부를 포함하고, 상기 회로부는,
상기 카메라를 사용하여 사용자의 얼굴의 제1 이미지를 획득하고;
상기 제1 이미지를 인코딩하여 적어도 하나의 제1 특징 벡터를 생성하고 - 상기 제1 특징 벡터는 상기 제1 이미지에서의 상기 사용자의 하나 이상의 얼굴 특징을 표현함 -;
상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 제1 기준 템플릿과 비교하여 제1 매칭 점수를 획득하고 - 상기 제1 기준 템플릿은 상기 디바이스 상의 제1 등록 프로파일에 대한 기준 템플릿들을 포함함 -;
상기 제1 특징 벡터를 상기 디바이스의 상기 메모리에 저장된 하나 이상의 제2 기준 템플릿과 비교하여 제2 매칭 점수를 획득하고 - 상기 제2 기준 템플릿은 상기 디바이스 상의 제2 등록 프로파일에 대한 기준 템플릿들을 포함함 -;
상기 제1 매칭 점수 또는 상기 제2 매칭 점수 중 적어도 하나가 잠금해제 임계치를 초과하면, 인증을 요구하는 상기 디바이스 상에서 적어도 하나의 동작을 수행하도록 상기 사용자를 인가하고;
상기 제1 매칭 점수가 제1 임계치를 초과하면,
상기 제1 특징 벡터를 디바이스의 상기 메모리에 제1 임시 템플릿으로서 저장하고;
상기 제1 임시 템플릿을 사용하여 상기 제1 기준 템플릿에 대한 제1 템플릿 업데이트 프로세스를 동작시키고;
상기 제2 매칭 점수가 제2 임계치를 초과하면,
상기 제1 특징 벡터를 디바이스의 상기 메모리에 제2 임시 템플릿으로서 저장하고;
상기 제2 임시 템플릿을 사용하여 상기 제2 기준 템플릿에 대한 제2 템플릿 업데이트 프로세스를 동작시키도록 구성되는, 디바이스.
As a device,
camera;
At least one illuminator for providing infrared illumination;
And a circuit portion coupled to the camera and the illuminator, and the circuit portion,
Obtaining a first image of the user's face using the camera;
Encoding the first image to generate at least one first feature vector, the first feature vector representing one or more facial features of the user in the first image;
Comparing the first feature vector with one or more first reference templates stored in the memory of the device to obtain a first matching score-the first reference template includes reference templates for a first registration profile on the device -;
Comparing the first feature vector with one or more second reference templates stored in the memory of the device to obtain a second matching score-the second reference template includes reference templates for a second registration profile on the device -;
Authorizing the user to perform at least one operation on the device requesting authentication when at least one of the first matching score or the second matching score exceeds an unlocking threshold;
If the first matching score exceeds a first threshold,
Storing the first feature vector as a first temporary template in the memory of the device;
Operating a first template update process for the first reference template by using the first temporary template;
If the second matching score exceeds a second threshold,
Storing the first feature vector as a second temporary template in the memory of the device;
The device, configured to operate a second template update process for the second reference template using the second temporary template.
제15항에 있어서, 상기 회로부는 상기 제1 등록 프로파일 및 상기 제2 등록 프로파일을 생성하기 위해 등록 프로세스를 수행하도록 구성되는, 디바이스.The device of claim 15, wherein the circuitry is configured to perform a registration process to generate the first registration profile and the second registration profile. 제16항에 있어서, 상기 회로부는, 상기 등록 프로세스를 수행하는 데 있어서,
상기 카메라를 사용하여 상기 사용자의 상기 얼굴의 복수의 기준 이미지들을 획득하고;
상기 기준 이미지들에 대한 선택된 기준들을 충족시키는 선택된 기준 이미지들에 기초하여 인코딩을 위한 기준 이미지들을 선택하고;
상기 선택된 기준 이미지들로부터 상기 사용자의 복수의 얼굴 특징들을 인코딩하여 상기 복수의 기준 특징 벡터들을 생성하고;
상기 복수의 기준 특징 벡터들을 상기 디바이스의 상기 메모리에 상기 기준 템플릿들로서 저장하도록 구성되는, 디바이스.
The method of claim 16, wherein the circuit unit, in performing the registration process,
Acquiring a plurality of reference images of the face of the user using the camera;
Selecting reference images for encoding based on selected reference images that satisfy selected criteria for the reference images;
Encoding a plurality of facial features of the user from the selected reference images to generate the plurality of reference feature vectors;
And storing the plurality of reference feature vectors as the reference templates in the memory of the device.
제15항에 있어서, 상기 제1 등록 프로파일은 상기 디바이스의 상기 사용자에 대한 등록 프로파일을 포함하고, 상기 제2 등록 프로파일은 상기 디바이스의 추가 사용자에 대한 등록 프로파일을 포함하는, 디바이스.The device of claim 15, wherein the first registration profile includes a registration profile for the user of the device, and the second registration profile includes a registration profile for an additional user of the device. 제15항에 있어서, 상기 제1 등록 프로파일은 상기 디바이스의 상기 사용자의 제1 외관에 대한 등록 프로파일을 포함하고, 상기 제2 등록 프로파일은 상기 디바이스의 상기 사용자의 제2 외관에 대한 등록 프로파일을 포함하는, 디바이스.The method of claim 15, wherein the first registration profile includes a registration profile for a first appearance of the user of the device, and the second registration profile includes a registration profile for a second appearance of the user of the device. That, the device. 제15항에 있어서, 상기 회로부는 상기 제1 등록 프로파일을 제거하라는 요청 또는 상기 제2 등록 프로파일을 제거하라는 요청에 응답하여 상기 제1 등록 프로파일 및 상기 제2 등록 프로파일 둘 모두를 제거하도록 구성되는, 디바이스.The method of claim 15, wherein the circuitry is configured to remove both the first registration profile and the second registration profile in response to a request to remove the first registration profile or a request to remove the second registration profile. device.
KR1020207034847A 2018-06-03 2019-05-21 Multiple Registrations of Face Recognition KR102564951B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862679846P 2018-06-03 2018-06-03
US62/679,846 2018-06-03
PCT/US2019/033356 WO2019236284A1 (en) 2018-06-03 2019-05-21 Multiple enrollments in facial recognition

Publications (2)

Publication Number Publication Date
KR20210003916A true KR20210003916A (en) 2021-01-12
KR102564951B1 KR102564951B1 (en) 2023-08-07

Family

ID=66821433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034847A KR102564951B1 (en) 2018-06-03 2019-05-21 Multiple Registrations of Face Recognition

Country Status (4)

Country Link
EP (1) EP3785166A1 (en)
KR (1) KR102564951B1 (en)
CN (1) CN110555364B (en)
WO (1) WO2019236284A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368721B (en) * 2020-03-03 2023-05-05 深圳市腾讯计算机系统有限公司 Identity recognition processing method and device, electronic equipment and storage medium
CN113449544A (en) * 2020-03-24 2021-09-28 华为技术有限公司 Image processing method and system
CN111641640B (en) * 2020-05-28 2022-10-28 青岛海尔科技有限公司 Equipment binding processing method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251215A1 (en) * 2012-03-21 2013-09-26 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
US20160104029A1 (en) * 2014-10-09 2016-04-14 Fujitsu Limited Biometric authentication apparatus and biometric authentication method
JP2016081249A (en) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
US20170286790A1 (en) * 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric Enrollment Systems And Methods

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
JP5245971B2 (en) * 2009-03-26 2013-07-24 富士通株式会社 Biological information processing apparatus and method
CN102004908B (en) * 2010-11-30 2012-10-17 汉王科技股份有限公司 Self-adapting face identification method and device
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
EP2786311A4 (en) * 2011-11-29 2016-08-17 Nokia Technologies Oy Method, apparatus and computer program product for classification of objects
CN103310181B (en) * 2012-03-07 2016-08-03 华晶科技股份有限公司 Face recognition system and face recognition method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251215A1 (en) * 2012-03-21 2013-09-26 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
US20160104029A1 (en) * 2014-10-09 2016-04-14 Fujitsu Limited Biometric authentication apparatus and biometric authentication method
JP2016081249A (en) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
US20170286790A1 (en) * 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric Enrollment Systems And Methods

Also Published As

Publication number Publication date
WO2019236284A1 (en) 2019-12-12
CN110555364A (en) 2019-12-10
CN110555364B (en) 2021-04-02
KR102564951B1 (en) 2023-08-07
EP3785166A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
US10430645B2 (en) Facial recognition operations based on pose
US10503992B2 (en) Process for updating templates used in facial recognition
US11693937B2 (en) Automatic retries for facial recognition
CN110889320B (en) Periocular face recognition switching
US10719692B2 (en) Vein matching for difficult biometric authentication cases
US11113510B1 (en) Virtual templates for facial recognition
US11367305B2 (en) Obstruction detection during facial recognition processes
US10769415B1 (en) Detection of identity changes during facial recognition enrollment process
US10990805B2 (en) Hybrid mode illumination for facial recognition authentication
KR102564951B1 (en) Multiple Registrations of Face Recognition
AU2020100218A4 (en) Process for updating templates used in facial recognition
US11935327B1 (en) On the fly enrollment for facial recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant