KR102401170B1 - 복합 인증 장치 및 방법 - Google Patents

복합 인증 장치 및 방법 Download PDF

Info

Publication number
KR102401170B1
KR102401170B1 KR1020150146816A KR20150146816A KR102401170B1 KR 102401170 B1 KR102401170 B1 KR 102401170B1 KR 1020150146816 A KR1020150146816 A KR 1020150146816A KR 20150146816 A KR20150146816 A KR 20150146816A KR 102401170 B1 KR102401170 B1 KR 102401170B1
Authority
KR
South Korea
Prior art keywords
pattern
processor
face image
electronic device
input
Prior art date
Application number
KR1020150146816A
Other languages
English (en)
Other versions
KR20170046448A (ko
Inventor
한승주
유병인
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150146816A priority Critical patent/KR102401170B1/ko
Priority to US15/175,315 priority patent/US10387739B2/en
Publication of KR20170046448A publication Critical patent/KR20170046448A/ko
Application granted granted Critical
Publication of KR102401170B1 publication Critical patent/KR102401170B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • H04M1/673—Preventing unauthorised calls from a telephone set by electronic means the user being required to key in a code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

복합 인증 방법 및 장치가 제공된다. 복합 인증 방법은 사용자의 얼굴, 지문, 입력 패턴, 및 표정 패턴 등에 기초하여, 사용자를 인증하거나, 미리 정한 동작을 실행할 수 있다.

Description

복합 인증 장치 및 방법{METHOD AND DEVICE FOR COMPLEX AUTHENTICATION}
이하, 복합 인증 장치 및 방법이 제공된다.
생체정보 인증 기술은 지문, 홍채 및 얼굴 등 다양한 종류의 생체정보를 인식하여, 인증하는 사용자를 인식할 수 있다. 예를 들어, 출입 통제장치, 및 스마트폰 등에서 신원 확인을 위해 인체의 생체정보를 이용할 수 있다. 이러한 생체정보로는 지문, 정맥의 패턴, 얼굴, 홍채 등이 있으며, 이들 모두 위변조가 어렵다.
이들 생체정보를 인식하는 방법으로는 크게 접촉방식 및 비접촉방식이 있다. 접촉방식으로는 지문 및 정맥의 패턴 등이 있으며, 비접촉방식으로는 얼굴 및 홍채 등이 있다.
다만, 하나의 생체정보만을 이용하여 인증을 수행하게 되면 인증의 신뢰성이 저하될 수 있다.
일 실시예에 따르면 복합 인증 방법은 얼굴 이미지 및 지문 이미지 중 적어도 하나의 이미지에 기초하여 사용자를 식별하는 단계, 상기 얼굴 이미지로부터 추출된 특징점 및 전자 장치의 디스플레이에 대한 입력 중 적어도 하나와 연관된 패턴을 식별하는 단계, 및 상기 전자 장치에 대하여 상기 식별된 사용자 및 상기 식별된 패턴에 할당된 미리 정한 동작을 실행하는 단계를 포함할 수 있다.
상기 패턴을 식별하는 단계는, 상기 얼굴 이미지로부터 추출된 특징점에 기초하여, 복수의 특징점을 포함하는 특징점 그룹을 정의하는 단계, 상기 특징점 그룹의 형태 변경을 감지하는 단계, 및 상기 감지된 형태 변경에 기초하여 상기 특징점과 연관된 패턴을 식별하는 단계를 포함할 수 있다.
상기 패턴을 식별하는 단계는, 상기 얼굴 이미지로부터 추출된 특징점에 기초하여 지정된 복수의 터치 지점에 대한 입력 또는 입력 시퀀스를 수신하는 단계, 및 상기 수신된 입력 또는 입력 시퀀스 및 상기 감지된 형태 변경에 기초하여 상기 특징점 및 상기 입력과 연관된 패턴을 식별하는 단계를 더 포함할 수 있다.
상기 패턴을 식별하는 단계는, 상기 얼굴 이미지의 적어도 일부 영역에 대한 입력을 수신하는 단계, 상기 입력이 검출된 적어도 일부 영역 내의 복수의 특징점의 상호 위치관계의 변경을 검출하는 단계, 및 상기 상호 위치관계의 변경에 기초하여, 상기 패턴을 식별하는 단계를 포함할 수 있다.
상기 패턴을 식별하는 단계는, 상기 얼굴 이미지로부터 추출된 특징점에 기초하여 상기 디스플레이 상에 복수의 터치 지점을 지정하는 단계, 상기 복수의 터치 지점에 대한 입력 또는 입력 시퀀스를 수신하는 단계, 및 상기 수신된 입력 또는 입력 시퀀스에 기초하여 상기 디스플레이에 대한 입력과 연관된 패턴을 식별하는 단계를 포함할 수 있다.
상기 미리 정한 동작을 실행하는 단계는, 상기 식별된 사용자에 대응하는 계정에서, 상기 식별된 패턴에 할당된 상기 전자 장치의 어플리케이션을 실행하는 단계를 포함할 수 있다.
상기 미리 정한 동작을 실행하는 단계는, 상기 식별된 사용자 및 상기 식별된 패턴에 기초하여, 등록된 사용자인 지를 인증하는 단계, 및 상기 인증의 성공에 응답하여, 잠금 상태의 상기 전자 장치를 잠금 해제 상태로 변경하는 단계를 포함할 수 있다.
상기 사용자를 식별하는 단계는, 상기 얼굴 이미지에 대응하는 등록된 사용자를 식별하는 단계를 포함할 수 있다.
상기 사용자를 식별하는 단계는, 상기 디스플레이에 대한 입력으로부터 상기 지문 이미지를 획득하는 단계, 및 상기 지문 이미지에 대응하는 등록된 사용자를 식별하는 단계를 포함할 수 있다.
일 실시예에 따르면, 복합 인증 전자 장치는 사용자로부터 입력을 수신하는 디스플레이, 얼굴 이미지 및 지문 이미지 중 적어도 하나의 이미지에 기초하여 사용자를 식별하고, 상기 얼굴 이미지로부터 추출된 특징점 및 상기 디스플레이에 대한 입력 중 적어도 하나와 연관된 패턴을 식별하며, 상기 식별된 사용자 및 상기 식별된 패턴에 기초하여, 상기 전자 장치에 대하여 미리 정한 동작을 실행하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 얼굴 이미지로부터 추출된 특징점에 기초하여, 복수의 특징점을 포함하는 특징점 그룹을 정의하고, 상기 특징점 그룹의 형태 변경을 감지하며, 상기 감지된 형태 변경에 기초하여 상기 특징점과 연관된 패턴을 식별할 수 있다.
상기 프로세서는, 상기 얼굴 이미지로부터 추출된 특징점에 기초하여 지정된 복수의 터치 지점에 대한 입력 또는 입력 시퀀스를 수신하고, 상기 수신된 입력 또는 입력 시퀀스 및 상기 감지된 형태 변경에 기초하여 상기 특징점 및 상기 입력과 연관된 패턴을 식별할 수 있다.
상기 프로세서는, 상기 얼굴 이미지의 적어도 일부 영역에 대한 입력을 수신하고, 상기 입력이 검출된 적어도 일부 영역 내의 복수의 특징점의 상호 위치관계의 변경을 검출하며, 상기 상호 위치관계의 변경에 기초하여, 상기 패턴을 식별할 수 있다.
상기 프로세서는, 상기 얼굴 이미지로부터 추출된 특징점에 기초하여 상기 디스플레이 상에 복수의 터치 지점을 지정하고, 상기 복수의 터치 지점에 대한 입력 또는 입력 시퀀스를 수신하며, 상기 수신된 입력 또는 입력 시퀀스에 기초하여 상기 디스플레이에 대한 입력과 연관된 패턴을 식별할 수 있다.
상기 프로세서는, 상기 식별된 사용자에 대응하는 계정에서, 상기 식별된 패턴에 할당된 상기 복합 인증 전자 장치의 어플리케이션을 실행할 수 있다.
상기 프로세서는, 상기 식별된 사용자 및 상기 식별된 패턴에 기초하여, 등록된 사용자인 지를 인증하고, 상기 인증의 성공에 응답하여, 잠금 상태의 상기 전자 장치를 잠금 해제 상태로 변경할 수 있다.
상기 프로세서는, 상기 얼굴 이미지 및 상기 디스플레이에 대한 입력으로부터 획득된 지문 이미지 중 적어도 하나에 대응하는 등록된 사용자를 식별할 수 있다.
다른 일 실시예에 따르면, 복합 인증 방법은 얼굴 이미지를 수신하는 단계, 상기 수신된 얼굴 이미지로부터 추출된 특징점의 이동을 추적하는 단계, 상기 특징점의 이동에 응답하여, 상기 추출된 특징점에 기초하여 표정 변화의 시퀀스를 식별하는 단계, 및 상기 식별된 표정 변화의 시퀀스에 대응하는 미리 정한 동작을 실행하는 단계를 포함할 수 있다.
복합 인증 방법은 상기 얼굴 이미지로부터 추출된 특징점에 기초하여, 상기 얼굴 이미지 상에 터치 지점을 지정하는 단계, 디스플레이 상에 지정된 상기 터치 지점에 대한 입력 시퀀스를 식별하는 단계를 더 포함하고, 상기 미리 정한 동작을 실행하는 단계는, 상기 식별된 표정 변화의 시퀀스 및 상기 식별된 입력 시퀀스에 기초하여, 미리 정한 동작을 실행하는 단계를 포함할 수 있다.
도 1 내지 도 3은 일 실시예에 따른 복합 인증 방법을 도시한 흐름도이다.
도 4 내지 도 8은 일 실시예에 따른 복합 인증의 적용 예시를 도시한 도면이다.
도 9 및 도 10은 일 실시예에 따른 복합 인증 장치의 구성을 도시한 블럭도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1 내지 도 3은 일 실시예에 따른 복합 인증 방법을 도시한 흐름도이다.
도 1은 복합 인증 방법의 개괄적인 흐름도를 도시한다.
우선, 단계(110)에서 복합 인증 전자 장치의 프로세서는 얼굴 이미지 및 지문 이미지 중 적어도 하나의 이미지에 기초하여 사용자를 식별할 수 있다.
얼굴 이미지는 사람의 얼굴을 포함하는 이미지를 나타낼 수 있다. 예를 들어, 얼굴 이미지는 사람의 얼굴의 적어도 일부를 포함하는 이미지일 수 있다. 지문 이미지는 사람의 지문을 포함하는 이미지를 나타낼 수 있다. 예를 들어, 지문 이미지는 사람의 지문의 적어도 일부를 포함하는 이미지일 수 있다.
일 실시예에 따르면, 프로세서는 기계학습 알고리즘을 통해 학습된 모델을 통해 얼굴 이미지 및 지문 이미지로부터 사용자를 식별할 수 있다. 예를 들어, 프로세서는 얼굴 이미지 및 지문 이미지로부터 특징을 추출하여, 해당 특징에 대응하는 사용자를 식별할 수 있다.
본 명세서에서 기계학습 및 기계학습 알고리즘은 트레이닝 이미지(예를 들어, 트레이닝 얼굴 이미지 또는 트레이닝 지문 이미지)로부터, 트레이닝 이미지에 대응하는 등록된 사용자의 ID를 출력하도록 학습기를 학습시키는 과정 및 동작 등을 나타낼 수 있다. 예를 들어, 학습기는 뉴럴 네트워크(Neural Network), 히든 마르코프 모델(Hidden Markov Model), 베이지안 네트워크(Beyesian Network), SVM (Support Vector Machine), 및 DT (Decision Tree) 등의 기계학습 구조를 포함할 수 있다. 다만, 사용자 식별을 상술한 바로 한정하는 것은 아니고, 얼굴 이미지로부터 사용자를 식별하는 다양한 기술, 지문 이미지로부터 사용자를 식별하는 다양한 기술, 및 얼굴 이미지와 지문 이미지로부터 사용자를 식별하는 다양한 기술이 사용될 수 있다.
그리고 단계(120)에서 프로세서는 얼굴 이미지로부터 추출된 특징점 및 전자 장치의 디스플레이에 대한 입력 중 적어도 하나와 연관된 패턴을 식별할 수 있다. 예를 들어, 프로세서는 특징점 및 디스플레이에 대한 입력 중 적어도 하나와 연관된 패턴이 매칭하는 기 등록된 패턴을 식별할 수 있다. 예를 들어, 프로세서는 특징점 및 디스플레이에 대한 입력 중 적어도 하나와 연관된 패턴과 일치하는 패턴을 식별할 수 있다. 다른 예를 들어, 프로세서는 특징점 및 입력과 연관된 패턴과 유사도가 가장 높은 패턴을 식별할 수도 있다.
특징점은 얼굴 이미지에서 사람의 얼굴을 대표하는 특징(예를 들어, 눈, 코, 입, 및 눈썹 등)을 나타내는 지점일 수 있다. 예를 들어, 프로세서는 사람의 얼굴의 특징점을 추출하는 알고리즘으로서, 예를 들어, PCA(Principal Component Analysis), LDA(Linear discriminate analysis) 등을 이용하여 특징점을 추출할 수 있다. 다만, 특징점을 추출하는 알고리즘을 상술한 바로 한정하는 것은 아니고, 특징점을 눈, 코, 입, 및 눈썹으로 한정하는 것도 아니며, 이는 단순한 예시이다.
디스플레이에 대한 입력은 디스플레이 상에 가해지는 입력을 나타낼 수 있다. 예를 들어, 디스플레이에 대한 입력은 디스플레이와 객체 간의 접촉에 의해 형성되는 터치, 객체에 의해 터치가 형성된 후 해제될 때까지의 궤적, 터치에 의한 제스쳐, 디스플레이에 대한 임계거리 미만으로의 객체의 접근, 디스플레이에 가해진 터치에 의한 압력 및 해당 압력의 크기 등을 나타낼 수 있다. 다만, 이는 단순한 예시로서 한정하는 것은 아니다.
특징점과 연관된 패턴은 얼굴 이미지 상에서 특징점의 배치 및 이동과 연관된 패턴을 나타낼 수 있고, 하기에서는 특징점과 연관된 패턴을 표정 패턴이라고 표현할 수도 있다. 예를 들어, 특징점과 연관된 패턴은 얼굴 이미지 상에서 특정 표정(예를 들어, 찡그린 표정, 웃는 표정 등)에 대응하는 특징점의 배치 패턴, 특정 표정 변화(예를 들어, 윙크 등)에 대응하는 특징점의 배치 변경 패턴, 및 이미 정해진 순서로 변하는 표정(예를 들어, 윙크 후 웃는 표정 등)에 대응하는 특징점의 배치 변경의 시퀀스 등을 포함할 수 있다. 특징점의 배치 변경의 시퀀스는 일정 순서에 따라 특징점의 특정한 종류의 배치 변경이 순차적으로 발생하는 것을 나타낼 수 있고, 예를 들어 특징점이 오른쪽 눈을 감은 얼굴에 대응하는 배치로 변경된 후, 왼쪽 눈을 감은 얼굴에 대응하는 배치로 변경되는 등의 시퀀스를 나타낼 수 있다. 이러한 특징점의 배치 변경의 시퀀스는 표정 변화의 시퀀스라고 나타낼 수도 있다.
디스플레이에 대한 입력과 연관된 패턴은 디스플레이 상에 가해지는 입력의 위치, 및 입력의 시퀀스 등과 연관된 패턴을 나타낼 수 있고, 하기에서는 입력과 연관된 패턴을 입력 패턴이라고 표현할 수도 있다. 예를 들어, 입력과 연관된 패턴은 디스플레이 상에서 특정 위치에 입력이 가해지는 패턴, 및 특정 입력이 일정한 순서에 따라 디스플레이에 가해지는 입력 시퀀스 등을 포함할 수 있다. 입력 시퀀스는 예를 들어, 특정 순서에 디스플레이 상의 특정한 위치에서 특정한 종류의 입력(예를 들어, 터치, 제스쳐, 압력, 및 일정 크기의 압력 등)이 입력되는 시퀀스를 나타낼 수 있다.
특징점 및 디스플레이에 대한 입력과 연관된 패턴은 특징점 및 입력이 복합적으로 연관된 패턴을 나타낼 수 있다. 예를 들어, 특징점 및 디스플레이에 대한 입력과 연관된 패턴은 터치가 입력된 위치에서 특징점의 배치가 변경되는 패턴 등을 포함할 수 있다.
이어서 단계(130)에서 프로세서는 전자 장치에 대하여 식별된 사용자 및 식별된 패턴에 할당된 미리 정한 동작을 실행할 수 있다. 미리 정한 동작은 특정 패턴에 대하여 할당된 전자 장치의 동작으로서, 예를 들어 어플리케이션의 실행 및 잠금 해제 등을 포함할 수 있다.
예를 들어, 프로세서는 식별된 사용자에 대응하는 계정에서, 식별된 패턴에 할당된 복합 인증 전자 장치의 어플리케이션을 실행할 수 있다. 복합 인증 전자 장치의 어플리케이션은, 복합 인증 전자 장치의 프로세서에 의해 실행되는 프로그램으로서, 예를 들어 카메라 어플리케이션, 메시지 어플리케이션, 메일 어플리케이션, 메신져 어플리케이션, 및 전화 어플리케이션 등을 포함할 수 있다. 다만, 어플리케이션을 상술한 바로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다.
다른 예를 들어, 프로세서는 식별된 사용자 및 식별된 패턴에 기초하여, 등록된 사용자인 지를 인증할 수 있다. 프로세서는 식별된 사용자의 사용자 계정에 대하여, 식별된 패턴을 인증함으로써 복합 인증 장치에 접근하려는 사용자가 정당한 사용자인 지 여부를 판단할 수 있다. 여기서, 프로세서는 인증의 성공에 응답하여, 잠금(Lock) 상태의 복합 인증 전자 장치를 잠금 해제(Unlock) 상태로 변경할 수 있다. 잠금 상태는 전자 장치의 적어도 일부 기능이 제한된 상태를 나타내고, 잠금 해제 상태는 잠금 상태에서 제한된 기능의 적어도 일부가 사용 가능한 상태를 나타낼 수 있다. 예를 들어, 잠금 해제 상태가 되면 복합 인증 전자 장치의 모든 기능에 대한 접근이 허용될 수 있으나, 설계에 따라 특정 사용자 계정에 대해서는 일부 기능에 대한 접근이 제한되고 나머지 기능에 대해서는 접근이 허용되도록 권한이 부여될 수도 있다.
도 2는 상술한 도 1의 복합 인증 방법을 실행하는 예시를 도시한 도면이다. 도 2에서는 얼굴 식별(210), 입력 패턴 식별(220), 지문 식별(230), 표정 패턴 식별(240), 및 할당된 동작 실행(130)을 순서대로 수행하는 방법을 도시한다. 다만, 이로 한정하는 것은 아니고, 도 3에 도시된 바와 같이, 프로세서는 얼굴 식별(210), 입력 패턴 식별(220), 지문 식별(230), 표정 패턴 식별(240), 및 할당된 동작 실행(130)을 병렬적으로 수행할 수도 있다.
얼굴 식별(210)은 하기와 같이 수행될 수 있다.
우선, 단계(211)에서는 프로세서가 얼굴 이미지를 수신할 수 있다. 복합 인증 전자 장치의 카메라가 얼굴 이미지를 촬영하여 프로세서로 전달할 수 있다.
그리고 단계(212)에서 프로세서는 얼굴을 식별할 수 있다. 예를 들어, 프로세서는 얼굴 이미지에 대응하는 등록된 사용자를 식별할 수 있다. 프로세서는 기계 학습 알고리즘을 통해 학습된 학습기를 통해 얼굴 이미지에 대응하는 기 등록된 사용자를 식별할 수 있고, 해당 사용자에 대응하는 사용자 계정을 판별할 수 있다.
이어서 단계(213)에서 프로세서는 얼굴 식별이 성공하였는지 여부를 판단할 수 있다. 얼굴 식별이 성공한 경우에는 다음 동작을 수행할 수 있고, 실패한 경우에는 동작을 종료할 수 있다. 도 2에서는 얼굴 식별이 성공한 경우에만 프로세서가 다음 동작을 수행할 수 있고, 도 3에서는 얼굴 식별이 실패하는 경우에도 나머지 동작을 수행할 수 있다.
입력 패턴 식별(220)은 하기와 같이 수행될 수 있다.
우선, 단계(221)에서 프로세서는 입력 시퀀스를 수신할 수 있다. 예를 들어, 프로세서는 얼굴 이미지로부터 추출된 특징점에 기초하여 디스플레이 상에 복수의 터치 지점을 지정할 수 있다. 프로세서는 복수의 터치 지점에 대한 입력 또는 입력 시퀀스를 수신할 수 있다. 예를 들어, 프로세서는 복수의 터치 지점 중 하나에 대한 입력을 수신하거나, 복수의 터치 지점 중 적어도 일부에 대해 순차적으로 터치가 입력되는 입력 시퀀스를 수신할 수 있다.
이어서 단계(222)에서 프로세서는 입력 패턴을 식별할 수 있다. 예를 들어, 프로세서는 수신된 입력 또는 입력 시퀀스에 기초하여 디스플레이에 대한 입력과 연관된 패턴을 식별할 수 있다. 프로세서는 수신된 입력 또는 입력 시퀀스에 매칭하는 미리 등록된 입력 패턴을 식별할 수 있다.
그리고 단계(223)에서 프로세서는 입력 패턴의 식별이 성공하였는지 여부를 판단할 수 있다. 입력 패턴 식별이 성공한 경우에는 다음 동작을 수행할 수 있고, 실패한 경우에는 동작을 종료할 수 있다. 도 2에서는 입력 패턴의 식별이 성공한 경우에 프로세서가 다음 동작을 수행할 수 있고, 도 3에서는 프로세서가 얼굴 식별이 실패하는 경우에도 나머지 동작을 수행할 수 있다.
지문 식별(230)은 하기와 같이 수행될 수 있다.
우선, 단계(231)에서 프로세서는 지문 이미지를 수신할 수 있다. 예를 들어, 프로세서는 디스플레이에 대한 입력으로부터 지문 이미지를 획득할 수 있다.
그리고 단계(232)에서 프로세서는 지문을 식별할 수 있다. 예를 들어, 프로세서는 지문 이미지에 대응하는 등록된 사용자를 식별할 수 있다. 프로세서는 기계 학습 알고리즘을 사용하여 학습된 학습기를 이용하여 지문 이미지로부터 기 등록된 사용자를 식별할 수 있다.
이어서 단계(233)에서 프로세서는 지문 식별의 성공 여부를 판단할 수 있다. 지문 식별이 성공한 경우에는 프로세서가 다음 동작을 수행할 수 있고, 실패한 경우에는 동작을 종료할 수 있다. 도 2에서는 지문 식별이 성공한 경우에 프로세서가 다음 동작을 수행할 수 있고, 도 3에서는 프로세서가 지문 식별이 실패하는 경우에도 나머지 동작을 수행할 수 있다.
표정 패턴 식별(240)은 하기와 같이 수행될 수 있다.
우선, 단계(241)에서 프로세서는 특징점을 추적할 수 있다. 예를 들어, 프로세서는 얼굴 이미지로부터 추출된 특징점에 기초하여, 복수의 특징점을 포함하는 특징점 그룹을 정의할 수 있다. 특징점 그룹은 사람의 얼굴의 특징을 나타내는 그룹으로서, 예를 들어, 눈을 나타내는 특징점들의 집합, 입을 나타내는 특징점들의 집합, 코를 나타내는 특징점들의 집합, 및 눈썹을 나타내는 특징점들의 집합 등일 수 있다. 프로세서는 특징점 그룹의 형태 변경을 감지할 수 있다. 얼굴의 표정이 변화하게 될 경우, 특징점 그룹의 형태 변경이 발생할 수 있다.
특징점 그룹의 형태는 특징점 그룹을 형성하는 특징점들의 상호 위치관계를 나타낼 수 있다. 특징점 그룹의 형태 변경은 이러한 상호 위치관계의 변경을 나타낼 수 있다. 예를 들어, 사용자가 눈을 뜬 상태에서 감는 표정을 하는 경우, 눈을 나타내는 특징점들의 상호 위치관계가 변경되어, 해당 특징점들로 구성된 특징점 그룹의 형태가 눈을 감은 표정에 대응하는 형태로 변경될 수 있다.
그리고 단계(242)에서 프로세서는 표정 패턴을 식별할 수 있다. 표정 패턴은 특징점과 연관된 패턴을 나타낼 수 있다. 예를 들어, 프로세서는 단계(241)에서 추적된 특징점에 기초하여, 검출된 특징점의 배치, 이동 등에 대응하는 기 등록된 표정 패턴을 식별할 수 있다. 또한, 프로세서는 단계(241)에서 감지된 형태 변경에 기초하여 특징점과 연관된 패턴을 식별할 수 있다.
이어서 단계(243)에서 프로세서는 표정 패턴 식별의 성공 여부를 판단할 수 있다. 표정 패턴 식별이 성공한 경우에는 프로세서가 다음 동작을 수행할 수 있고, 실패한 경우에는 동작을 종료할 수 있다. 도 2에서 프로세서는 표정 패턴 식별이 성공한 경우 다음 동작을 수행할 수 있고, 도 3에서 프로세서는 표정 패턴 식별이 실패해도 나머지 동작을 수행할 수 있다.
전자 장치에 대하여 식별된 사용자 및 식별된 패턴에 할당된 미리 정한 동작을 실행하는 방법(130)은 하기와 같이 수행될 수 있다.
우선, 단계(251)에서 프로세서는 식별된 패턴에 할당된 동작이 존재하는지 판단할 수 있다. 예를 들어, 프로세서는 단계(222)에서 식별된 입력 패턴에 할당된 동작이 존재하는지, 단계(242)에서 식별된 표정 패턴에 할당된 동작이 존재하는지, 또는 입력 패턴 및 표정 패턴이 복합된 패턴에 할당된 동작이 존재하는지 여부를 판단할 수 있다. 여기서, 프로세서는 단계(212) 및 단계(232)에서 식별된 사용자에 대응하는 사용자 계정에서 해당 패턴에 할당된 동작이 존재하는지 여부를 판단할 수도 있다. 예를 들어, 동일한 패턴에 대해서 각 사용자 계정마다 다른 동작이 할당될 수도 있다.
그리고 단계(252)에서 프로세서는 할당된 동작을 실행할 수 있다. 예를 들어, 프로세서는 도 2에서는 단계(243)에서 식별된 표정에 할당된 동작을 수행할 수 있다. 다만, 이로 한정하는 것은 아니고, 프로세서는 단계(222)에서 식별된 입력 패턴에 할당된 동작을 수행할 수도 있다. 다른 예를 들어, 프로세서는 도 3에서는 단계(222)에서 식별된 입력 패턴 또는 단계(243)에서 식별된 표정에 할당된 동작을 수행하거나, 각 단계에서 식별된 입력 패턴 및 표정 패턴이 복합적으로 연관된 패턴(예를 들어, 얼굴의 특정 위치를 터치 후 해당 부위의 표정 변화 등)에 할당된 동작을 수행할 수 있다. 다만, 이로 한정하는 것은 아니고, 프로세서는 도 2 및 도 3에서는 단계(212)에서 식별된 얼굴 및 단계(232)에서 식별된 지문 중 적어도 하나에 기초하여 사용자 계정을 인증할 수 있고, 해당 인증된 사용자 계정에서 입력 패턴 및 표정 패턴 중 적어도 하나에 기초하여 결정된 패턴에 대응하는 동작을 수행할 수 있다.
일 실시예에 따르면, 각 동작의 순서를 도 2에 도시된 바로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 프로세서가 얼굴 식별(210), 입력 패턴 식별(220), 지문 식별(230), 및 표정 패턴 식별(240)을 병렬적으로 수행하고, 식별된 입력 패턴, 표정 패턴, 및 입력과 표정이 복합된 패턴 중 하나에 기초하여, 할당된 동작을 실행(130)할 수 있다.
또한, 프로세서가 도 2 및 도 3에 도시된 동작을 모두 수행하는 것으로 한정하는 것은 아니고, 프로세서는 얼굴 식별(210), 입력 패턴 식별(220), 지문 식별(230), 및 표정 패턴 식별(240) 중 적어도 하나를 직렬적으로 또는 병렬적으로 수행할 수 있고, 이는 하기 도 4 내지 도 8에서 예시를 통해 설명한다. 예를 들어, 프로세서는 표정 패턴 식별(240) 및 식별된 패턴에 할당된 미리 정한 동작을 실행하는 방법(130)을 수행할 수 있는 바, 이 예시는 하기 도 6에서 상세히 설명한다.
도 4 내지 도 8은 일 실시예에 따른 복합 인증의 적용 예시를 도시한 도면이다.
도 4는 도 2 및 도 3의 얼굴 식별(210), 입력 패턴 식별(220) 및 할당된 동작을 수행(130)하는 예시를 도시한다. 예를 들어, 복합 인증 전자 장치(400)는 도 4에 도시된 바와 같이 얼굴 이미지(410)를 수신할 수 있다. 여기서, 얼굴 이미지는 컬러 이미지, 흑백 이미지, 또는 깊이 이미지일 수 있고, 이는 예시로서 한정되지 않는다. 프로세서는 복합 인증 전자 장치(400)의 디스플레이가 얼굴 이미지(410)를 출력하도록 제어할 수 있다. 여기서, 복합 인증 전자 장치(400)는 얼굴 이미지(410)를 식별할 수 있다.
프로세서는 얼굴 이미지(410)로부터 특징점을 추출할 수 있고, 추출된 특징점에 기초하여 복수의 터치 지점을 정의할 수 있다. 예를 들어, 프로세서는 눈에 대응하는 터치 지점, 코에 대응하는 터치 지점, 및 입에 대응하는 터치 지점(411) 등을 정의할 수 있다. 여기서, 프로세서는 각 터치 지점에 대한 입력을 검출할 수 있다. 예를 들어, 사용자의 신체 일부(예를 들어, 손가락)(490)이 복수의 터치 지점 중 입에 대응하는 터치 지점(411)을 터치 입력을 가할 수 있다.
프로세서는 입에 대응하는 터치 지점(411)에서 해당 터치 입력을 검출할 수 있고, 해당 터치 지점(411)에의 터치 입력에 대해 할당된 동작을 수행할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 프로세서는 입에 대응하는 터치 지점(411)에 대한 터치 입력에 응답하여, 카메라 어플리케이션(420)을 실행할 수 있다. 다만, 도 4는 단순한 예시로서, 동작을 카메라 어플리케이션(420)의 실행으로 한정하는 것은 아니고, 할당된 다양한 어플리케이션을 실행하거나, 복합 인증 전자 장치(400)의 잠금 상태를 잠금 해제 상태로 해제하는 등의 동작을 수행할 수 있다. 또한, 도 4에서는 입에 대응하는 터치 지점(411)에 대한 입력을 예로 들었으나, 이로 한정하는 것은 아니고, 왼쪽 눈 및 오른쪽 눈에 대응하는 터치 지점을 연속적으로 터치하는 슬라이드 입력을 프로세서가 수신하여, 이에 대응하여 카메라 어플리케이션을 실행할 수도 있다.
도 5는 도 2 및 도 3의 얼굴 식별(210), 표정 패턴 식별(240) 및 할당된 동작을 수행(130)하는 예시를 도시한 도면이다.
프로세서는 얼굴 이미지(511)로부터 특징점을 추출할 수 있고, 복수의 터치 지점(522, 532)을 정의할 수 있다. 여기서, 프로세서는 각 터치 지점(522, 532)에 대한 입력을 검출할 수 있다. 예를 들어, 사용자의 신체 일부(예를 들어, 손가락)(590)이 복수의 터치 지점(522, 532) 중 입에 대응하는 터치 지점(532)에 터치 입력을 가할 수 있다.
또한, 프로세서는 얼굴 이미지(512)로부터 추출된 특징점(521, 531)에 기초하여, 복수의 특징점을 포함하는 특징점 그룹(520, 530)을 정의할 수 있다. 프로세서는 특징점 그룹(520, 530)의 형태 변경을 감지할 수 있다. 프로세서는 감지된 형태 변경에 기초하여 특징점과 연관된 패턴을 식별할 수 있다.
예를 들어, 프로세서는 얼굴 이미지의 적어도 일부 영역(예를 들어, 터치 지점(522, 532))에 대한 입력을 수신할 수 있다. 프로세서는 입력이 검출된 적어도 일부 영역 내의 복수의 특징점(531)의 상호 위치관계의 변경을 검출할 수 있다. 프로세서는 상호 위치관계의 변경에 기초하여, 패턴을 식별할 수 있다. 도 5에서는 입에 해당하는 터치 지점(532)에서 프로세서가 입력을 검출하고, 이후 연속되는 얼굴 이미지(513)에서 입에 해당하는 특징점 그룹(530) 내의 특징점(531)의 상호 위치관계의 변경을 프로세서가 검출할 수 있다. 따라서, 프로세서는 사용자의 얼굴 이미지(513)로부터 입을 벌린 경우의 특징점의 패턴을 식별할 수 있다.
또한, 프로세서는 복수의 터치 지점(522, 532) 중 여러 지점에 대해 연속적인 입력 시퀀스를 수신할 수도 있다. 예를 들어, 프로세서는 얼굴 이미지(511, 512, 513)로부터 추출된 특징점(521, 531)에 기초하여 지정된 복수의 터치 지점(522, 532)에 대한 입력 또는 입력 시퀀스를 수신할 수 있다. 프로세서는 수신된 입력 또는 입력 시퀀스 및 감지된 형태 변경에 기초하여 특징점 및 입력과 연관된 패턴을 식별할 수 있다.
일 실시예에 따르면, 프로세서는 얼굴 이미지(511, 512, 513)를 수신할 수 있고, 얼굴 이미지(511)로부터 추출된 특징점(521, 531)에 기초하여, 얼굴 이미지(512) 상에 터치 지점(522, 532)을 지정할 수 있다. 프로세서는 디스플레이 상에 지정된 터치 지점(522, 532)에 대한 입력 시퀀스를 식별할 수 있고, 식별된 표정 변화의 시퀀스 및 식별된 입력 시퀀스에 기초하여, 미리 정한 동작을 실행할 수 있다.
예를 들어, 도 4 및 도 5에서는 입에 대응하는 터치 지점에서의 터치를 검출하는 구성만 도시되었으나, 이로 한정하는 것은 아니고 프로세서는 복수의 터치 지점(예를 들어, 왼쪽 눈, 오른쪽 눈, 코, 및 입에 대응하는 터치 지점)에 대한 터치 입력을 순차적으로 수신하는 입력 시퀀스를 수신할 수 있다. 또한, 프로세서는 복수의 터치 지점(예를 들어, 왼쪽 눈, 오른쪽 눈, 코 및 입에 대응하는 터치 지점)에 대해 순차적으로 그려지는 궤적을 나타내는 제스쳐 입력을 수신할 수도 있다. 아울러, 프로세서는 하나 이상의 터치 지점에 대한 터치 압력을 순차적으로 수신할 수 있고, 예를 들어 하나의 터치 지점에 대해서도 제1 크기의 압력, 제2 크기의 압력의 순서로 입력을 입력 시퀀스로서 수신할 수도 있다.
프로세서는 터치 지점에 대한 입력 또는 입력 시퀀스에 응답하여, 입력 또는 입력 시퀀스가 발생한 터치 지점에 대응하는 특징점 그룹의 형태 변경을 검출할 수 있다. 프로세서는 입력 또는 입력 시퀀스에 응답하여 검출된 특징점 그룹의 형태 변경에 기초하여 표정 패턴을 식별할 수 있다.
더 나아가, 입력 시퀀스는 사용자에 의해 미리 등록되거나, 프로세서가 자동으로 랜덤으로 결정할 수도 있다.
예를 들어, 사용자에 의해 패턴이 미리 등록되는 경우, 사용자가 복합 인증 전자 장치(400)의 잠금 상태를 해제하기 위해 입에 대응하는 터치 지점에 대한 터치 입력을 입력 패턴으로 등록할 수 있다.
다른 예를 들어, 프로세서에 의해 패턴이 자동으로 랜덤으로 결정되는 경우, 프로세서가 특징점 및 입력이 복합적으로 연관된 패턴(예를 들어, 입에 대응하는 터치 지점에 대한 터치 입력과 입에 대응하는 특징점 그룹의 형태 변경 이후, 눈에 대응하는 터치 지점에 대한 터치 입력과 눈에 대응하는 특징점 그룹의 형태 변경 패턴)을 복합 인증 전자 장치(400)의 잠금 상태를 해제하기 위한 패턴으로서 결정할 수 있다. 이 경우, 사용자가 디스플레이의 얼굴 이미지에서 입을 터치하면서 입을 벌리고, 이후 눈을 터치하면서 눈을 감으면, 프로세서는 복합 인증 전자 장치(400)의 잠금 상태를 해제할 수 있다. 다만, 상술한 바는 단순히 예시로서, 설계에 따라 특정 동작에 할당되는 패턴은 다양한 입력, 입력 시퀀스, 형태 변경, 및 형태 변경의 시퀀스 등으로 사용자에 의해 미리 등록되거나 프로세서에 의해 결정될 수 있다.
도 6은 표정 패턴 식별(240)을 수행하는 동작을 설명한 도면이다.
프로세서는 얼굴 이미지(611)를 수신할 수 있다. 여기서 프로세서는 얼굴 이미지(611)에 대응하는 사용자를 식별할 수 있으나, 반드시 이로 한정하는 것은 아니고, 사용자 식별 없이 하기와 같이 얼굴의 표정 변화만을 식별할 수도 있다.
일 실시예에 따르면, 프로세서는 수신된 얼굴 이미지(611)로부터 추출된 특징점(621, 631)의 이동을 추적할 수 있다. 예를 들어, 프로세서는 얼굴 이미지로부터 특징점(621, 631)을 추출할 수 있고, 이후 프레임의 얼굴 이미지(612, 613)에서 특징점(621, 631)의 이동을 추적할 수 있다.
프로세서는 특징점(621, 631)의 이동에 응답하여, 추출된 특징점(621, 631)에 기초하여 표정 변화의 시퀀스를 식별할 수 있다. 예를 들어, 프로세서는 연속된 얼굴 이미지(612)에서 입에 대응하는 특징점 그룹(630) 내의 특징점(631)의 상호 위치관계의 변경을 검출할 수 있다. 이후, 프로세서는 얼굴 이미지(613)에서 눈에 대응하는 특징점 그룹(620) 내의 특징점(621)의 상호 위치관계의 변경을 검출할 수 있다. 도 6에 도시된 예시에서는, 입을 벌린 후 눈을 감는 표정 변화의 시퀀스를 프로세서가 식별할 수 있다. 다만, 표정 변화의 시퀀스를 이로 한정하는 것은 아니고, 표정 변화의 시퀀스는 특징점의 위치 이동에 의해 식별될 수 있는 일련의 표정 변화로서, 예를 들어 입을 벌렸다가 다무는 표정, 좌우의 눈을 감았다가 뜨는 표정, 왼쪽 눈을 감은 후 입을 벌리는 표정 등과 같은 다양한 조합의 일련의 표정 변화를 포함할 수 있다.
프로세서는 식별된 표정 변화의 시퀀스에 대응하는 미리 정한 동작을 실행할 수 있다. 예를 들어, 프로세서는 얼굴 이미지로부터 식별되는 표정 변화의 시퀀스에 대해 미리 할당된 어플리케이션을 실행하거나, 해당 표정 변화의 시퀀스가 기 등록된 표정 패턴과 일치하는 경우 잠금 상태를 해제할 수 있다.
도 7은 얼굴 식별(210), 표정 패턴 식별(240) 및 할당된 동작을 수행(130)하는 예시를 도시한 도면이다.
프로세서는 얼굴 이미지(711)를 수신하여 사용자를 식별함으로써, 해당 얼굴 이미지(711)를 인증할 수 있다. 그리고, 프로세서는 얼굴 이미지(711)로부터 특징점(721, 731)을 추출하여, 특징점 그룹(720, 730)을 정의할 수 있다. 또한, 프로세서는 특징점 그룹(720, 730) 단위로 추출된 특징점(721, 731)의 이동을 다음 얼굴 이미지(712)에서 추적함으로써 표정 패턴을 식별할 수 있다. 예를 들어, 프로세서는 도 7에서는 입에 대응하는 특징점 그룹(730)의 특징점(731)의 상호 위치관계의 변경을 통해 사용자가 입을 벌리는 표정 패턴을 식별할 수 있고, 해당 패턴에 할당된 동작으로서 카메라 어플리케이션(740)을 실행할 수 있다.
다만, 표정 패턴을 상술한 바로 한정하는 것은 아니고, 입을 벌리고 다무는 표정 패턴, 눈을 떴다가 감는 표정 패턴, 웃는 표정 패턴, 찡그리는 표정 패턴 등을 포함할 수 있고, 프로세서는 웃는 표정 패턴에 대하여 카메라 어플리케이션의 실행을 할당하거나 찡그리는 표정 패턴에 대하여는 게임 어플리케이션의 실행을 할당하는 등, 설계에 따라 각 표정 패턴에 할당되는 동작의 종류를 달리 설정할 수도 있다.
도 8은 프로세서가 얼굴 식별(210), 입력 패턴 식별(220), 지문 식별(230), 및 표정 패턴 식별(240)을 수행하는 예시를 도시한다.
프로세서는 얼굴 이미지(811)로부터 특징점을 추출할 수 있고, 복수의 터치 지점을 정의할 수 있다. 여기서, 프로세서는 각 터치 지점(832)에 대한 입력을 검출할 수 있다. 예를 들어, 사용자의 신체 일부(예를 들어, 손가락)가 복수의 터치 지점 중 입에 대응하는 터치 지점(832)에 터치 입력을 가할 수 있다.
여기서, 프로세서는 사용자로부터 터치 입력을 수신할 시, 디스플레이를 통해 지문 이미지(840)를 수신할 수 있다. 프로세서는 수신된 지문 이미지(840)에 기초하여 사용자를 식별할 수 있다. 예를 들어, 프로세서는 수신된 지문 이미지(840)가 등록된 사용자에 대응하는지, 또는 미등록된 사용자인 지 여부를 판단할 수 있다.
또한, 프로세서는 얼굴 이미지(811)로부터 추출된 특징점(831)에 기초하여, 복수의 특징점을 포함하는 특징점 그룹(830)을 정의할 수 있다. 프로세서는 얼굴 이미지(812)에서 특징점(831)의 추적을 통해 특징점 그룹(830)의 형태 변경을 감지할 수 있다. 프로세서는 감지된 형태 변경에 기초하여 특징점과 연관된 패턴을 식별할 수 있다.
도 9 및 도 10은 일 실시예에 따른 복합 인증 장치의 구성을 도시한 블럭도이다.
복합 인증 전자 장치(900)는 프로세서(910) 및 디스플레이(920)를 포함한다.
프로세서(910)는 얼굴 이미지 및 지문 이미지 중 적어도 하나의 이미지에 기초하여 사용자를 식별하고, 얼굴 이미지로부터 추출된 특징점 및 디스플레이(920)에 대한 입력 중 적어도 하나와 연관된 패턴을 식별하며, 식별된 사용자 및 식별된 패턴에 기초하여, 전자 장치(900)에 대하여 미리 정한 동작을 실행할 수 있다. 또한, 프로세서(910)는 상술한 도 1 내지 도 8의 방법을 수행하도록 구성될 수 있다.
디스플레이(920)는 사용자로부터 입력을 수신할 수 있다. 디스플레이(920)는 영상을 출력할 수 있고, 사용자로부터 입력 또는 순차적인 복수의 입력으로 구성되는 입력 시퀀스를 수신할 수도 있다. 또한, 디스플레이(920)가 지문 인식 디스플레이인 경우, 디스플레이(920)는 지문 이미지를 수신할 수도 있다. 예를 들어, 디스플레이(920)는 비가시광을 디스플레이(920)에 접촉되는 객체에 조사(radiate)하여, 그에 대한 반사광에 기초하여 지문 이미지를 수신할 수 있다. 다만, 디스플레이(920)가 지문 이미지를 획득하는 방식을 이로 한정하는 것은 아니다.
복합 인증 전자 장치(900)는 메모리(1030), 통신부(1040), 및 카메라(1050)를 더 포함할 수 있다.
메모리(1030)는 프로세서(910)에 의해 실행되는 명령어를 포함하는 프로그램을 저장할 수 있다. 또한, 메모리(1030)는 도 1 내지 도 8의 방법을 수행하기 위해 요구되는 데이터를 저장할 수 있다. 예를 들어, 메모리(1030)는 얼굴 이미지, 지문 이미지, 입력 패턴, 표정 패턴, 등록된 사용자와 연관된 정보(예를 들어, 등록된 얼굴 이미지 또는 얼굴 특징, 등록된 지문 이미지 또는 지문 특징 등)를 일시적으로 또는 반영구적으로 저장할 수 있다.
통신부(1040)는 외부 장치와 데이터를 유무선으로 송수신할 수 있다. 통신부(1040)는 예를 들어, 외부 장치로 인증 결과를 전송하거나, 외부 장치로부터 얼굴 이미지 또는 지문 이미지 등을 수신할 수도 있다.
카메라(1050)는 이미지를 촬영할 수 있다. 예를 들어, 카메라(1050)는 얼굴 이미지를 촬영하여 프로세서(910)로 전달할 수 있다.
일 실시예에 따르면, 복합 인증 전자 장치(900)는 얼굴 식별, 특징점에 기초하여 정의되는 터치 지점에 대한 입력 패턴, 특징점의 추적으로부터 식별되는 표정 패턴, 및 지문 식별을 이용하여, 인증 과정에서의 보안성을 강화할 수 있다. 예를 들어, 복합 인증 전자 장치(900)는 얼굴 및 지문을 통해 사용자를 식별하고, 해당 사용자가 정당한 사용자인 지 여부를 입력 패턴 및 표정 패턴을 통해 검증할 수 있다. 또한, 표정 패턴을 통해, 복합 인증 전자 장치(900)는 단순한 얼굴 사진 등을 통한 위조 및 변조 등을 검출할 수 있다. 더 나아가, 복합 인증 전자 장치(900)는 얼굴 및 지문을 통해 식별된 사용자 계정에 대하여, 입력 및 특징점 중 적어도 하나와 연관된 패턴에 할당된 동작을 수행함으로써 사용자 편의성을 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 전자 장치에서 얼굴 이미지를 수신하는 단계;
    상기 수신된 얼굴 이미지로부터 하나 이상의 특징점을 추출하는 단계;
    상기 전자 장치의 디스플레이에서 상기 하나 이상의 특징점에 대응하는 하나 이상의 터치 지점을 정의하는 단계;
    상기 디스플레이에서 상기 하나 이상의 터치 지점을 통해 상기 하나 이상의 터치 입력을 수신하는 단계;
    상기 수신된 얼굴 이미지에 대응하는 등록된 사용자를 식별하는 단계; 및
    상기 수신된 얼굴 이미지에 대응하는 상기 등록된 사용자를 식별하는 것에 응답하여, 상기 하나 이상의 터치 입력 및 표정 변화의 시퀀스에 기초하여 상기 등록된 사용자의 계정에서 동작에 할당된 패턴을 식별하고, 상기 식별된 패턴을 제1 동작에 할당된 제1 패턴으로 결정하는 것에 응답하여, 제1 어플리케이션을 실행함으로써 상기 제1 동작을 실행하며, 상기 식별된 패턴을 제2 동작에 할당된 제2 패턴으로 결정하는 것에 응답하여, 제2 어플리케이션을 실행함으로써 상기 제2 동작을 실행하는 단계;
    를 포함하고,
    상기 제1 동작 및 상기 제2 동작은,
    상기 등록된 사용자의 계정에서 상기 전자 장치에 의하여 실행가능한 동작인,
    복합 인증 방법.
  2. 제1항에 있어서,
    상기 패턴을 식별하는 단계는,
    상기 얼굴 이미지로부터 추출된 하나 이상의 특징점에 기초하여, 복수의 특징점을 포함하는 특징점 그룹을 정의하는 단계;
    상기 특징점 그룹의 형태 변경을 감지하는 단계; 및
    상기 감지된 형태 변경에 기초하여 상기 특징점 그룹과 연관된 패턴을 식별하는 단계
    를 포함하는 복합 인증 방법.
  3. 제2항에 있어서,
    상기 패턴을 식별하는 단계는,
    상기 감지된 형태 변경에 기초하여 상기 하나 이상의 특징점 및 상기 수신된 하나 이상의 터치 입력과 연관된 패턴을 식별하는 단계
    를 더 포함하는 복합 인증 방법.
  4. 제1항에 있어서,
    상기 패턴을 식별하는 단계는,
    상기 얼굴 이미지의 적어도 일부 영역에 대한 입력을 수신하는 단계;
    상기 얼굴 이미지의 상기 적어도 일부 영역 내의 복수의 특징점의 상호 위치관계의 변경을 검출하는 단계; 및
    상기 상호 위치관계의 변경에 기초하여, 상기 패턴을 식별하는 단계
    를 포함하는 복합 인증 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 실행하는 단계는,
    상기 등록된 사용자의 계정에서 상기 식별된 제1 패턴에 할당된 상기 전자 장치의 어플리케이션을 실행하는 단계
    를 포함하는 복합 인증 방법.
  7. 제1항에 있어서,
    상기 실행하는 단계는,
    상기 등록된 사용자인 지를 인증하는 단계; 및
    상기 인증의 성공에 응답하여, 잠금 상태의 상기 전자 장치를 잠금 해제 상태로 변경하는 단계
    를 포함하는 복합 인증 방법.
  8. 제1항에 있어서,
    상기 사용자를 식별하는 단계는,
    상기 얼굴 이미지에 대응하는 등록된 사용자를 식별하는 단계
    를 포함하는 복합 인증 방법.
  9. 제1항에 있어서,
    상기 등록된 사용자를 식별하는 단계는,
    상기 하나 이상의 터치 입력 중 적어도 하나로부터 지문 이미지를 획득하는 단계; 및
    상기 지문 이미지에 대응하는 사용자를 등록된 사용자로 식별하는 단계
    를 포함하는 복합 인증 방법.
  10. 하드웨어와 결합되어 제1항 내지 제4항, 제6항, 제7항, 및 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독가능한 매체에 저장된 컴퓨터 프로그램.
  11. 전자 장치에 있어서,
    사용자로부터 입력을 수신하는 디스플레이;
    전자 장치에서 얼굴 이미지를 수신하고, 상기 수신된 얼굴 이미지로부터 하나 이상의 특징점을 추출하며, 상기 전자 장치의 디스플레이에서 상기 하나 이상의 특징점에 대응하는 하나 이상의 터치 지점을 정의하고, 상기 디스플레이에서 상기 하나 이상의 터치 지점을 통해 상기 하나 이상의 터치 입력을 수신하며, 상기 수신된 얼굴 이미지에 대응하는 등록된 사용자를 식별하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 수신된 얼굴 이미지에 대응하는 상기 등록된 사용자를 식별하는 것에 응답하여, 상기 하나 이상의 터치 입력 및 표정 변화의 시퀀스에 기초하여 상기 등록된 사용자의 계정에서 동작에 할당된 패턴을 식별하며, 상기 식별된 패턴을 제1 동작에 할당된 제1 패턴으로 결정하는 것에 응답하여 제1 어플리케이션을 실행함으로써 상기 제1 동작을 실행하고, 상기 식별된 패턴을 제2 동작에 할당된 제2 패턴으로 결정하는 것에 응답하여 제2 어플리케이션을 실행함으로써 상기 제2 동작을 실행하며,
    상기 제1 동작 및 상기 제2 동작은,
    상기 등록된 사용자의 계정에서 상기 전자 장치에 의하여 실행가능한 동작인,
    복합 인증 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 얼굴 이미지로부터 추출된 하나 이상의 특징점에 기초하여, 복수의 특징점을 포함하는 특징점 그룹을 정의하고, 상기 특징점 그룹의 형태 변경을 감지하며, 상기 감지된 형태 변경에 기초하여 상기 특징점 그룹과 연관된 패턴을 식별하는,
    복합 인증 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 감지된 형태 변경에 기초하여 상기 하나 이상의 특징점 및 상기 수신된 하나 이상의 터치 입력과 연관된 패턴을 식별하는,
    복합 인증 전자 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 얼굴 이미지의 적어도 일부 영역에 대한 입력을 수신하고, 상기 얼굴 이미지의 상기 적어도 일부 영역 내의 복수의 특징점의 상호 위치관계의 변경을 검출하며, 상기 상호 위치관계의 변경에 기초하여, 상기 패턴을 식별하는,
    복합 인증 전자 장치.
  15. 삭제
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 등록된 사용자의 계정에서 상기 식별된 패턴에 할당된 상기 복합 인증 전자 장치의 어플리케이션을 실행하는,
    복합 인증 전자 장치
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 등록된 사용자인 지를 인증하고, 상기 인증의 성공에 응답하여, 잠금 상태의 상기 전자 장치를 잠금 해제 상태로 변경하는,
    복합 인증 전자 장치.
  18. 삭제
  19. 전자 장치에서 얼굴 이미지를 수신하는 단계;
    상기 전자 장치에 의하여, 상기 수신된 얼굴 이미지로부터 추출된 특징점의 이동을 추적하는 단계;
    상기 전자 장치에 의하여, 상기 특징점의 이동에 응답하여, 상기 추출된 특징점에 기초하여 복수의 연속적인 표정 변화를 포함하는 표정 변화의 시퀀스를 식별하는 단계; 및
    상기 식별된 표정 변화의 시퀀스가 등록된 사용자의 계정에서 상기 전자 장치에 의하여 실행가능한 복수의 동작들 중 하나의 동작에 할당되는지 여부를 결정하는 단계;
    상기 식별된 표정 변화의 시퀀스를 제1 동작에 할당된 제1 패턴으로 결정하는 것에 응답하여, 제1 어플리케이션을 실행함으로써 상기 제1 동작을 실행하고, 상기 식별된 표정 변화의 시퀀스를 제2 동작에 할당된 제2 패턴으로 결정하는 것에 응답하여, 상기 제1 어플리케이션과 다른 제2 어플리케이션을 실행함으로써 상기 제2 동작을 실행하는 단계
    를 포함하고,
    상기 제1 동작 및 상기 제2 동작은,
    상기 등록된 사용자의 계정에서 상기 전자 장치에 의하여 실행가능한 동작인,
    를 포함하는 복합 인증 방법.
  20. 제19항에 있어서,
    상기 얼굴 이미지로부터 추출된 특징점에 기초하여, 상기 얼굴 이미지 상에 터치 지점을 지정하는 단계;
    디스플레이 상에 지정된 상기 터치 지점에 대한 입력 시퀀스를 식별하는 단계
    를 더 포함하고,
    상기 실행하는 단계는,
    상기 식별된 표정 변화의 시퀀스 및 상기 식별된 입력 시퀀스에 기초하여 실행하는 단계
    포함하는 복합 인증 방법.

KR1020150146816A 2015-10-21 2015-10-21 복합 인증 장치 및 방법 KR102401170B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150146816A KR102401170B1 (ko) 2015-10-21 2015-10-21 복합 인증 장치 및 방법
US15/175,315 US10387739B2 (en) 2015-10-21 2016-06-07 Method and device for complex authentication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150146816A KR102401170B1 (ko) 2015-10-21 2015-10-21 복합 인증 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170046448A KR20170046448A (ko) 2017-05-02
KR102401170B1 true KR102401170B1 (ko) 2022-05-24

Family

ID=58558949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150146816A KR102401170B1 (ko) 2015-10-21 2015-10-21 복합 인증 장치 및 방법

Country Status (2)

Country Link
US (1) US10387739B2 (ko)
KR (1) KR102401170B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409903B1 (ko) * 2015-12-09 2022-06-16 삼성전자주식회사 사용자 정보를 제공하는 전자 장치 및 방법
CN107330404A (zh) * 2017-06-30 2017-11-07 重庆科技学院 基于细胞神经网络自联想记忆模型的身份识别方法
CN108875335B (zh) 2017-10-23 2020-10-09 北京旷视科技有限公司 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质
US11449587B2 (en) * 2017-11-20 2022-09-20 Ppip, Llc Systems and methods for biometric identity and authentication
CN108875557B (zh) * 2018-04-25 2020-12-18 北京旷视科技有限公司 用于人证核验的方法、装置、系统及计算机存储介质
KR102238398B1 (ko) 2019-01-24 2021-04-08 노명진 다중 생체정보 사용자인증을 이용한 연속인증 방법
US11558197B2 (en) 2019-04-10 2023-01-17 Korea Institute Of Science And Technology Method for unlocking mobile device using authentication based on ear recognition and mobile device performing the same
KR102339898B1 (ko) * 2020-03-19 2021-12-17 한국과학기술연구원 귀 인식 기반 인증을 이용한 모바일 장치 잠금 해제 방법 및 이를 수행하는 모바일 장치
CN111918018B (zh) * 2019-05-08 2022-05-06 奥图码股份有限公司 视频会议系统、视频会议设备以及视频会议方法
US20210049484A1 (en) * 2019-08-13 2021-02-18 Luis Martins Job System and method for providing supervision of persons using tags with visual identification codes using artificial intelligence methods to prevent fraud.
WO2022147411A1 (en) * 2020-12-30 2022-07-07 Assa Abloy Ab Facial expression to augment face id and presentation attack detection
US11921831B2 (en) 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090116703A1 (en) * 2007-11-07 2009-05-07 Verizon Business Network Services Inc. Multifactor multimedia biometric authentication
US20090309702A1 (en) * 2008-06-16 2009-12-17 Canon Kabushiki Kaisha Personal authentication apparatus and personal authentication method
JP2013190992A (ja) * 2012-03-14 2013-09-26 Hitachi Consumer Electronics Co Ltd 情報処理端末、その認証方法、及び認証プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050783A (ja) * 2001-05-30 2003-02-21 Fujitsu Ltd 複合認証システム
ATE476715T1 (de) 2004-06-21 2010-08-15 Google Inc Einzelbildbasiertes multi-biometrisches system und verfahren
US8725514B2 (en) 2005-02-22 2014-05-13 Nuance Communications, Inc. Verifying a user using speaker verification and a multimodal web-based interface
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
JP6115932B2 (ja) 2012-09-20 2017-04-19 株式会社エクシング 音発生装置及び音発生用プログラム
US10075618B2 (en) * 2013-04-22 2018-09-11 Sony Corporation Security feature for digital imaging
KR20150034074A (ko) 2013-09-24 2015-04-02 크루셜텍 (주) 지문 인증 및 기타 보안 설정 방식을 동시에 이용한 보안 설정 방법, 전자 기기 및 기록 매체
KR101464446B1 (ko) 2013-10-07 2014-11-24 재단법인대구경북과학기술원 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치
KR20150047735A (ko) 2013-10-25 2015-05-06 모지도코화이어코리아 유한회사 이미지 상에서의 사용자 입력에 기반한 사용자 인증방법 및 이를 적용한 전자기기
CN104683302A (zh) * 2013-11-29 2015-06-03 国际商业机器公司 认证方法、认证装置、终端设备、认证服务器及系统
US9355237B2 (en) * 2014-09-24 2016-05-31 Lenovo (Singapore) Pte. Ltd. User verification using touch and eye tracking
US9904775B2 (en) * 2014-10-31 2018-02-27 The Toronto-Dominion Bank Systems and methods for authenticating user identity based on user-defined image data
KR101677426B1 (ko) * 2015-04-02 2016-11-21 한국과학기술원 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템
KR102377182B1 (ko) * 2015-09-01 2022-03-22 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090116703A1 (en) * 2007-11-07 2009-05-07 Verizon Business Network Services Inc. Multifactor multimedia biometric authentication
US20090309702A1 (en) * 2008-06-16 2009-12-17 Canon Kabushiki Kaisha Personal authentication apparatus and personal authentication method
JP2013190992A (ja) * 2012-03-14 2013-09-26 Hitachi Consumer Electronics Co Ltd 情報処理端末、その認証方法、及び認証プログラム

Also Published As

Publication number Publication date
US10387739B2 (en) 2019-08-20
KR20170046448A (ko) 2017-05-02
US20170116490A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
KR102401170B1 (ko) 복합 인증 장치 및 방법
Patel et al. Continuous user authentication on mobile devices: Recent progress and remaining challenges
KR102359558B1 (ko) 얼굴 인증 방법 및 장치
Hadid et al. Biometrics systems under spoofing attack: an evaluation methodology and lessons learned
Tian et al. KinWrite: Handwriting-Based Authentication Using Kinect.
US10877568B2 (en) Three-dimensional in-the-air finger motion based user login framework for gesture interface
Ghayoumi A review of multimodal biometric systems: Fusion methods and their applications
US9613428B2 (en) Fingerprint authentication using stitch and cut
KR102434562B1 (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
KR101242390B1 (ko) 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
US9922237B2 (en) Face authentication system
JP6155306B2 (ja) 顔認識方法、装置、プログラム、およびコンピュータ可読記録媒体
Gofman et al. Multimodal biometrics for enhanced mobile device security
KR101997479B1 (ko) 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치
US10885171B2 (en) Authentication verification using soft biometric traits
KR102427853B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
KR102483650B1 (ko) 사용자 인증 장치 및 방법
CN111382666A (zh) 具有用户验证的设备和方法
EP4088205B1 (en) System and method for disentangling features specific to users, actions and devices recorded in motion sensor data
Ezz et al. Challenge-response emotion authentication algorithm using modified horizontal deep learning
US20180157814A1 (en) Personal authentication method and apparatus based on recognition of fingertip gesture and identification of fake pattern
KR102655949B1 (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
Matsubara et al. Screen unlocking by spontaneous flick reactions with one-class classification approaches
Findling Pan shot face unlock: Towards unlocking personal mobile devices using stereo vision and biometric face information from multiple perspectives
KR20070097629A (ko) 얼굴 인식을 위한 임베디드 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant