KR102172200B1 - Mobile device for checking liveness and operating method thereof - Google Patents

Mobile device for checking liveness and operating method thereof Download PDF

Info

Publication number
KR102172200B1
KR102172200B1 KR1020170051973A KR20170051973A KR102172200B1 KR 102172200 B1 KR102172200 B1 KR 102172200B1 KR 1020170051973 A KR1020170051973 A KR 1020170051973A KR 20170051973 A KR20170051973 A KR 20170051973A KR 102172200 B1 KR102172200 B1 KR 102172200B1
Authority
KR
South Korea
Prior art keywords
binocular parallax
facial features
stored
authentication
face image
Prior art date
Application number
KR1020170051973A
Other languages
Korean (ko)
Other versions
KR20170051392A (en
Inventor
안나영
이동훈
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020170051973A priority Critical patent/KR102172200B1/en
Publication of KR20170051392A publication Critical patent/KR20170051392A/en
Application granted granted Critical
Publication of KR102172200B1 publication Critical patent/KR102172200B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Abstract

본 발명의 실시 예에 따른 모바일 장치의 생체 인증 방법은, 생체 인증 동작을 수행하는 단계; 및 상기 생체 인증 동작이 수행한 후에, 양안시차 지도를 이용하여 라이브니스를 검증하는 단계를 포함할 수 있다.A biometric authentication method of a mobile device according to an embodiment of the present invention includes performing a biometric authentication operation; And verifying the liveness using the binocular parallax map after the biometric authentication operation is performed.

Description

라이브니스를 검증하는 모바일 장치 및 방법{MOBILE DEVICE FOR CHECKING LIVENESS AND OPERATING METHOD THEREOF}A mobile device and method to verify liveness {MOBILE DEVICE FOR CHECKING LIVENESS AND OPERATING METHOD THEREOF}

본 발명은 라이브리스 검증을 수행하는 모바일 장치 및 그것의 방법에 관한 것이다.The present invention relates to a mobile device and a method thereof for performing liveless verification.

얼굴 인식 장치의 위조 공격 시나리오로는 비허가된 사용자가 허가된 사용자의 얼굴 사진이나 비디오 또는 3D 마스크를 사용하는 등의 공격들이 있으며 2D 영상 기반의 얼굴 인식 시스템은 이러한 위조 공격에 속임을 당하기 쉽다. 이러한 위조 얼굴 여부를 판단하기 위해 생체 정보의 라이브니스(liveness)를 검출하는 연구들이 진행되고 있다.Scenarios of a forgery attack of a face recognition device include attacks such as an unauthorized user using an authorized user's face photo, video, or 3D mask, and a 2D image-based face recognition system is likely to be deceived by such a forgery attack. In order to determine whether or not such a forged face exists, studies are being conducted to detect the liveness of biometric information.

한국등록특허: 10-1594433, 등록일: 2016년 2월 5일, 제목: 홍체인식 휴대용 단말기를 이용한 출입통제 시스템 및 출입통제방법,Korean Patent Registration: 10-1594433, Registration Date: February 5, 2016, Title: Access control system and access control method using an iris type portable terminal,

Naveen S, Shihana Fathima R, and R S Moni, "Face Recognition and Authentication using LBP andBSIF", 2016 International Conference on Communication Systems and Networks (ComNet), 21-23 July 2016Naveen S, Shihana Fathima R, and R S Moni, "Face Recognition and Authentication using LBP andBSIF", 2016 International Conference on Communication Systems and Networks (ComNet), 21-23 July 2016

본 발명의 목적은 생체 인증을 향상시키는 모바일 장치 및 그것의 동작 방법을 제공하는 데 있다.An object of the present invention is to provide a mobile device for improving biometric authentication and a method of operating the same.

본 발명의 실시 예에 따른 모바일 장치의 생체 인증 방법은, 생체 인증 동작을 수행하는 단계; 및 상기 생체 인증 동작이 수행한 후에, 양안시차 지도를 이용하여 라이브니스를 검증하는 단계를 포함할 수 있다.A biometric authentication method of a mobile device according to an embodiment of the present invention includes performing a biometric authentication operation; And verifying the liveness using the binocular parallax map after the biometric authentication operation is performed.

본 발명의 실시 예에 따른 모바일 장치 및 그것의 동작 방법은, 양안시차를 이용하여 라이브니스(liveness)를 확보함으로써, 생체 인증의 신뢰성을 향상시킬 수 있다.The mobile device and its operation method according to an embodiment of the present invention can improve reliability of biometric authentication by securing liveness by using binocular parallax.

도 1은 일반적인 양안시차(binocular disparity)를 추출하는 개념을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 개념을 설명하는 모바일 장치(10)를 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 모바일 장치(10)의 얼굴 인식 동작을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 모바일 장치(10)의 얼굴 인식 동작을 예시적으로 보여주는 도면이다.
도 5는 본 발명의 또 다른 실시 예에 따른 모바일 장치(10)의 얼굴 인식 동작을 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다.
도 7은 본 발명의 다른 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다.
도 8은 본 발명의 또 다른 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다.
도 9는 본 발명의 다른 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시 예에 따른 생체 인증 방법을 예시적으로 보여주는 도면이다.1 is a diagram illustrating a concept of extracting a general binocular disparity.
2 is a diagram illustrating a mobile device 10 for explaining the concept of the present invention.
3 is a diagram illustrating a face recognition operation of the mobile device 10 according to an embodiment of the present invention.
4 is a diagram illustrating a face recognition operation of the mobile device 10 according to another embodiment of the present invention.
5 is a diagram illustrating a facial recognition operation of the mobile device 10 according to another embodiment of the present invention.
6 is a ladder diagram illustrating a face authentication process in the mobile device 10 according to an embodiment of the present invention.
7 is a ladder diagram illustrating a face authentication process in the mobile device 10 according to another embodiment of the present invention.
8 is a ladder diagram illustrating a facial authentication process in the mobile device 10 according to another embodiment of the present invention.
9 is a ladder diagram illustrating a face authentication process in the mobile device 10 according to another embodiment of the present invention.
10 is a diagram illustrating a biometric authentication method according to an embodiment of the present invention.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.In the following, the contents of the present invention will be described clearly and in detail to the extent that a person of ordinary skill in the technical field of the present invention can easily implement it using the drawings.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.Since the present invention can apply various changes and have various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific form of disclosure, it is to be understood as including all changes, equivalents, or substitutes included in the spirit and scope of the present invention. Terms such as first and second may be used to describe various elements, but the elements should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.The terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component. When a component is referred to as being "connected" or "connected" to another component, it is understood that it is directly connected to or may be connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 혹은 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Other expressions describing the relationship between components, such as "between" and "just between" or "adjacent to" and "directly adjacent to" should be interpreted as well. The terms used in the present application are used only to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In the present application, terms such as "comprise" or "have" are intended to designate the existence of implemented features, numbers, steps, actions, components, parts, or combinations thereof, and one or more other features or numbers It is to be understood that the possibility of addition or presence of, steps, actions, components, parts, or combinations thereof is not preliminarily excluded. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning of the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. .

양안시(binocular vision)는 인간에게, 두 눈의 망막에 입사하는 두 이미지들 내의 상응하는, 즉 대응하는 지점들의 위치의 작은 차이들에서 깊이 인식(depth perception)을 얻어내는 장점을 제공한다. 이는 입체 시야(stereopsis, solid view)로써 알려져 있다. 깊이 인식은 화면 내의 물체들의 깊이 관계들에 대한 정확한 정보를 제공할 수 있다. 좌측 및 우측 망막 이미지들에서의 한 지점의 위치의 차이는 양안시차(binocular disparity)로 알려져 있다.Binocular vision offers humans the advantage of obtaining depth perception at small differences in the position of corresponding, ie, corresponding points in two images incident on the retina of both eyes. This is known as stereopsis (solid view). Depth recognition can provide accurate information on depth relationships of objects in a screen. The difference in the position of a point in left and right retinal images is known as binocular disparity.

도 1은 일반적인 양안시차(binocular disparity)를 추출하는 개념을 예시적으로 보여주는 도면이다. 도 1을 참조하면, b는 베이스 라인(base line)으로써, 좌측 이미지 센서(11)와 우측 이미지 센서(12)의 거리를 의미한다. f는 이미지 센서들(11, 12)의 초점 거리(focal length)이다. P는 실제 객체(object)가 존재하는 지점을 의미한다. 좌측, 우측 이미지 센서들(11,12)이 객체(P)를 촬상할 때, 각각의 이미지 평면상에 투영되는 점들이 각각 PL 과 PR이다. 여기서 양안시차(d)는 dL-dR이다. 양안시차(d)로부터 렌즈 공식에 의해 깊이(D)가 예측 가능하다. 아래의 수학식을 만족할 것이다.1 is a diagram illustrating a concept of extracting a general binocular disparity. Referring to FIG. 1, b is a base line, and indicates a distance between the left image sensor 11 and the right image sensor 12. f is the focal length of the image sensors 11 and 12. P means the point where the actual object exists. When the left and right image sensors 11 and 12 capture an object P, points projected on each image plane are P L and P R, respectively. Here, the binocular parallax (d) is d L -d R. The depth (D) can be predicted by the lens formula from the binocular parallax (d). It will satisfy the following equation.

Figure 112017039604419-pat00001
Figure 112017039604419-pat00001

여기서, 깊이(D)가 초점 거리(f)에 비해 상대적으로 엄청 크기 때문에, 깊이(D)는 f ×b/d로 표현될 수 있다.Here, since the depth D is relatively large compared to the focal length f, the depth D can be expressed as f × b/d.

본 발명의 실시 예에 따른 모바일 장치 및 그것의 동작 방법은 이러한 양안시차를 이용하여 생체 인식(biometric authentication)을 수행할 수 있다.The mobile device and its operating method according to an embodiment of the present invention may perform biometric authentication using such binocular parallax.

도 2는 본 발명의 개념을 설명하는 모바일 장치(10)를 예시적으로 보여주는 도면이다. 도 2를 참조하면, 모바일 장치(10)는, 프로세서(100), 이미지 장치(200) 및 저장 장치(300)를 포함할 수 있다. 모바일 장치(10)는, 예를 들어, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 웨어러블 장치(wearable device) 일 수 있다.2 is a diagram illustrating a mobile device 10 for explaining the concept of the present invention. Referring to FIG. 2, the mobile device 10 may include a processor 100, an imaging device 200, and a storage device 300. The mobile device 10 may be, for example, a smartphone, a tablet personal computer (PC), or a wearable device.

도 2를 다시 참조하면, 프로세서(100)는 모바일 장치(10)의 적어도 하나의 내부 구성들을 제어하거나 통신에 관한 연산/데이터를 처리를 실행하도록 구현될 수 있다. 실시 예에 있어서, 프로세서(100)는 CPU(central processing unit), GPU(graphic processing unit), AP(application processor), CP(communication processor) 중 적어도 하나를 포함할 수 있다. 도 2에 도시된 바와 같이, 프로세서(100)는, REE(rich execution environment, 110) 및 TEE(trusted execution environment, 120)을 포함할 수 있다.Referring back to FIG. 2, the processor 100 may be implemented to control at least one internal configuration of the mobile device 10 or to process operations/data related to communication. In an embodiment, the processor 100 may include at least one of a central processing unit (CPU), a graphic processing unit (GPU), an application processor (AP), and a communication processor (CP). As shown in FIG. 2, the processor 100 may include a rich execution environment 110 (REE) and a trusted execution environment 120 (TEE).

REE(110)는, 하드웨어, 소프트웨어, 혹은 펌웨어적으로 구현되고, 일반적인 실행 환경을 제공하도록 구현될 수 있다. REE(110)는 인증 어플리케이션(112), 얼굴인식 어플리케이션(114), 및 OS(operating system, 116)을 포함할 수 있다.The REE 110 may be implemented as hardware, software, or firmware, and may be implemented to provide a general execution environment. The REE 110 may include an authentication application 112, a face recognition application 114, and an operating system 116 (OS).

인증 어플리케이션(112)은 사용자에게 인증 동작을 수행하도록 REE(110)에서 구동될 수 있다. 여기서 인증 동작은 사용자의 선택 혹은 서비스 제공자의 선택의 의거하여 다양한 형태 혹은 다양한 조합으로 수행될 수 있다. 인증 동작은 사용자가 알고 있는 것 (예를 들어, 패스워드), 사용자가 갖고 있는 것 (예를 들어, 디지털 지문, 토큰, 공인인증서 등), 사용자의 특징(생리적, 심리적, 행동 등; 생체 인증으로 대표되는 지문, 얼굴, 홍채, 심박수 등) 중 어느 적어도 하나, 혹은 그것들 중 적어도 2 개의 조합으로 이루어질 수 있다. 즉, 인증 어플리케이션(112)은 멀티 팩터 인증을 수행하도록 구현될 수 있다. 인증 어플리케이션(112)은, 인증 동작을 TEE(120)의 인증 처리 어플리케이션(122) 통하여 안전하게 처리하도록 구현될 수 있다.The authentication application 112 may be driven in the REE 110 to perform an authentication operation to a user. Here, the authentication operation may be performed in various forms or in various combinations based on the user's selection or the service provider's selection. Authentication operation is what the user knows (e.g., password), what the user has (e.g., digital fingerprint, token, public certificate, etc.), characteristics of the user (physiological, psychological, behavior, etc.; biometric authentication) Representative fingerprints, faces, irises, heart rate, etc.), or a combination of at least two of them. That is, the authentication application 112 may be implemented to perform multi-factor authentication. The authentication application 112 may be implemented to safely process the authentication operation through the authentication processing application 122 of the TEE 120.

얼굴인식 어플리케이션(114)는 사용자의 얼굴 인식을 수행하도록 구현될 수 있다. 실시 예에 있어서, 얼굴인식 어플리케이션(114)는 인증 어플리케이션(112)의 요청에 응답하여 얼굴 인식 동작을 수행하도록 구현될 수 있다. 얼굴 인식 동작은, 크게 얼굴 이미지를 검출하고, 검출된 얼굴 이미지에서 특징을 추출하고, 추출된 특징과 저장된 특징을 비교하고, 검출된 얼굴 이미지로부터 양안시차(disparity)를 계산하고, 계산된 양안시차와 저장된 양안시차를 비교하도록 구현될 수 있다. 얼굴 인식 동작은 얼굴 특징을 비교함으로써 사용자를 인식하고, 양안시차를 비교함으로써 인식된 얼굴의 라이브니스(liveness)를 검증할 수 있다. 예를 들어, 양안시차가 기준 범위를 벗어날 경우, 라이브니스 검증이 실패했다고 판별될 수 있다.The face recognition application 114 may be implemented to perform face recognition of a user. In an embodiment, the face recognition application 114 may be implemented to perform a face recognition operation in response to a request from the authentication application 112. The face recognition operation largely detects a face image, extracts features from the detected face images, compares the extracted features and stored features, calculates binocular disparity from the detected face images, and calculates binocular disparity. It can be implemented to compare the stored binocular parallax. In the face recognition operation, a user may be recognized by comparing facial features, and a liveness of the recognized face may be verified by comparing binocular parallax. For example, when the binocular parallax is out of the reference range, it may be determined that the liveness verification has failed.

OS(116)은 REE(110)에서 사용자에게 서비스를 제공하는 적어도 하나의 어플리케이션을 실행하는 커널이다. 예를 들어, OS(116)는, 안드로이드(Android), 안드로이드웨어(Android Wear), 심비안(Symbian) OS, 윈도우(Windows) OS 계열, 타이젠(Tizen), 유닉스, 리눅스, 등 일 수 있다. 실시 예에 있어서, OS(116)은 모바일 장치(10)를 제조한 후에 써드 파티(third party)로부터 다운로드 될 수 있다. 실시 예에 있어서, OS(116)은 복수의 운영 체제들을 동시에 구동할 수 있는 가상 플랫폼(예, hypervisor)을 포함할 수 있다.The OS 116 is a kernel that executes at least one application that provides a service to a user in the REE 110. For example, the OS 116 may be Android, Android Wear, Symbian OS, Windows OS series, Tizen, Unix, Linux, or the like. In an embodiment, the OS 116 may be downloaded from a third party after manufacturing the mobile device 10. In an embodiment, the OS 116 may include a virtual platform (eg, a hypervisor) capable of simultaneously driving a plurality of operating systems.

또한, OS(116)은 트러스트존 드라이버(TZ; trustzone driver)를 포함할 수 있다. TZ는 OS(116)에 로딩되는 커널 모듈로써, REE(110)의 어플리케이션과 TEE(120)의 어플리케이션 사이의 통신을 중계할 수 있다. TZ는 REE(110)에 의해 TEE(120)의 안전한 접근을 하도록 구현될 수 있다. 여기서 안전한 접근은 기본적으로 기밀성(confidentiality), 무결성(integrity), 가용성(availability) 등 조건들을 만족할 수 있다고 이해되어야 할 것이다. In addition, the OS 116 may include a trustzone driver (TZ). The TZ is a kernel module loaded on the OS 116 and may relay communication between the application of the REE 110 and the application of the TEE 120. The TZ may be implemented to allow secure access of the TEE 120 by the REE 110. Here, it should be understood that the secure access can basically satisfy conditions such as confidentiality, integrity, and availability.

TEE(120)는, 하드웨어, 소프트웨어, 혹은 펌웨어로 구성되고, REE(110)에서 생성되는 소프트웨어 공격으로부터 보호 수준을 제공하도록 구현될 수 있다. TEE(120)는 REE(110)로부터 격리될 필요가 있는 민감한 어플리케이션, 즉, 적어도 하나의 트러스티드 어플리케이션의 접근/실행을 제어할 수 있다. 트러스티드 어플리케이션은 TEE(120)에서 구동되는 보안을 필요로 하는 보안 어플리케이션(DRM(digital right management), bank, payment, corporate 등) 일 수 있다. 예를 들어, 트러스티드 어플리케이션은, 프리로드 어플리케이션(preloaded application), 네이티브 어플리케이션(native application), 혹은 서드파티 어플리케이션(third party application)을 포함할 수 있다.The TEE 120 is composed of hardware, software, or firmware, and may be implemented to provide a level of protection from software attacks generated by the REE 110. The TEE 120 may control access/execution of a sensitive application that needs to be isolated from the REE 110, that is, at least one trusted application. The trusted application may be a security application (digital right management (DRM), bank, payment, corporate, etc.) that requires security running on the TEE 120. For example, the trusted application may include a preloaded application, a native application, or a third party application.

또한, TEE(120)는 인증 처리 어플리케이션(122), 및 보안 OS(secure OS, 126)을 포함할 수 있다. 인증 처리 어플리케이션(122)는 REE(110)의 인증 동작을 수행하는데 필요한 데이터를 안전하게 처리하도록 구현될 수 있다. 인증 동작에 필요한 인증 데이터의 비식별 처리 동작, 암호화 동작, 비교 동작 등 인증 처리 어플리케이션(122)에서 수행될 수 있다. 한편, 인증 처리 어플리케이션(122)의 동작이 여기에 제한되지 않는다고 이해되어야 할 것이다.In addition, the TEE 120 may include an authentication processing application 122 and a secure OS 126. The authentication processing application 122 may be implemented to safely process data required to perform the authentication operation of the REE 110. It may be performed by the authentication processing application 122, such as a de-identification processing operation, an encryption operation, and a comparison operation of authentication data required for the authentication operation. On the other hand, it will be understood that the operation of the authentication processing application 122 is not limited thereto.

보안 OS(126)은 TEE(120)에서 트러스티드 어플리케이션을 구동할 수 있다. 보안 커널(126)은 악의적인 사용자로부터 물리적/소프트웨어적으로 보호된 상태에서 구동되므로, 키 관리와 같이 보안이 요구되는 작업 등에 사용된다. 보안 커널(126)은 가상 파일 시스템을 포함할 수 있다. 트러스티드 어플리케이션에서 가상 파일 시스템의 파일 기능을 호출하는 경우, 가상 파일 시스템은 내부적으로 암/복호화 등의 작업을 수행한 뒤, REE(110)의 파일시스템에 안전하게 저장/로딩/삭제할 수 있다.The security OS 126 may run a trusted application in the TEE 120. Since the security kernel 126 is physically/software protected from malicious users, it is used for tasks requiring security such as key management. The secure kernel 126 may include a virtual file system. When a file function of a virtual file system is called from a trusted application, the virtual file system internally performs an operation such as encryption/decryption, and then can be safely stored/loaded/deleted in the file system of the REE 110.

이미지 장치(200)는 REE(110)의 제어에 따라 이미지/영상 정보를 획득하도록 구현될 수 있다. 실시 예에 있어서, 이미지 장치(200)는 뎁쓰 카메라(depth camera)를 포함할 수 있다. 예를 들어, 이미지 장치(200)는 스테레오 카메라(stereo camera)로 구현될 수 있다. 즉, 이미지 장치(200)로부터 획득된 이미지 정보는 좌시점 이미지 및 우시점 이미지를 포함할 수 있다. 좌시점 이미지와 우시점 이미지로부터 양안시차가 계산될 수 있다. 양안시차 계산을 위하여 스테레오 정합(stereo maching) 알고리즘이 수행될 수 있다.The image device 200 may be implemented to acquire image/image information under the control of the REE 110. In an embodiment, the imaging device 200 may include a depth camera. For example, the imaging device 200 may be implemented as a stereo camera. That is, the image information obtained from the imaging device 200 may include a left view image and a right view image. The binocular parallax can be calculated from the left-view image and the right-view image. To calculate binocular parallax, a stereo maching algorithm may be performed.

실시 예에 있어서, 이미지 장치(200)는 좌시점/우시점 이미지를 획득 및 전송하도록 구현될 수 있다. 다른 실시 예에 있어서, 이미지 장치(200)는 양안시차를 계산하고, 양안시차 정보를 전송하도록 구현될 수 있다.In an embodiment, the imaging device 200 may be implemented to acquire and transmit a left/right view image. In another embodiment, the imaging device 200 may be implemented to calculate binocular disparity and transmit binocular disparity information.

저장 장치(300)는 데이터를 저장하도록 구현될 수 있다. 저장 장치(300)는 TEE(120)에 의해 보안 데이터(secure data)를 저장하거나, 암복호화된 데이터를 저장하기 위한 보안 영역을 포함할 수 있다. 특히, 저장 장치(300)는 얼굴 인식 동작에 필요한 양안시차 지도(320)를 저장할 수 있다. 실시 예에 있어서, 저장 장치(300)는 휘발성 메모리 장치 혹은 비휘발성 메모리 장치의 전체 혹은 일부에 의해 구현될 수 있다.The storage device 300 may be implemented to store data. The storage device 300 may store secure data by the TEE 120 or include a secure area for storing encrypted and decrypted data. In particular, the storage device 300 may store a binocular parallax map 320 required for a face recognition operation. In an embodiment, the storage device 300 may be implemented by all or part of a volatile memory device or a nonvolatile memory device.

본 발명의 실시 예에 따른 모바일 장치(10)는 얼굴 인식 동작에서 양안시차를 이용하여 사용자의 라이브니스를 검증할 수 있다.The mobile device 10 according to an embodiment of the present invention may verify a user's liveness by using binocular parallax in a face recognition operation.

도 3은 본 발명의 실시 예에 따른 모바일 장치(10)의 얼굴 인식 동작을 예시적으로 보여주는 도면이다. 도 2 내지 도 3을 참조하면, 모바일 장치(10)의 얼굴 인식 동작은 다음과 같이 진행될 수 있다.3 is a diagram illustrating a face recognition operation of the mobile device 10 according to an embodiment of the present invention. 2 to 3, a face recognition operation of the mobile device 10 may be performed as follows.

얼굴 인식 동작 시, 이미지 장치(200)로부터 사용자의 얼굴이 포함된 이미지가 수신될 수 있다. 수신된 이미지로부터 인증에 필요한 얼굴 부분이 검출될 수 있다(S110). 검출된 얼굴 이미지로부터 사전에 결정된 얼굴 특징들이 추출될 수 있다(S120). 추출된 얼굴 특징과 저장된 얼굴 특징이 일치하는 지 판별될 수 있다(S130). 여기서 저장된 얼굴 특징은 저장 장치(300, 도 2 참조)에 저장되어 있을 수 있다. 이러한 얼굴 특징에 대한 판별 동작은 TEE(120)에서 수행될 수 있다.During the face recognition operation, an image including the user's face may be received from the imaging device 200. A face part required for authentication may be detected from the received image (S110). Pre-determined facial features may be extracted from the detected face image (S120). It may be determined whether the extracted facial features match the stored facial features (S130). The facial features stored here may be stored in the storage device 300 (refer to FIG. 2 ). The discrimination operation for such facial features may be performed by the TEE 120.

만일, 추출된 얼굴 특징과 저장된 얼굴 특징이 일치한다면, 라이브니스 검증을 위하여 양안시차가 계산될 수 있다(S140). 계산된 양안시차와 저장된 양안시차가 일치하는 지 판별될 수 있다(S150). 여기서 저장된 양안시차는 저장 장치(300)의 양안시차 지도(320)로부터 읽혀질 수 있다. 이러한 양안시차에 대한 판별 동작은 TEE(120)에서 수행될 수 있다. 양안시차에 대한 판별 동작은 계산된 양안시차가 저장된 양안시차에 대한 사전에 결정된 범위 내에 존재할 때 일치한다고 판별될 수 있다.If the extracted facial features match the stored facial features, binocular parallax may be calculated for liveness verification (S140). It may be determined whether the calculated binocular parallax and the stored binocular parallax match (S150). The binocular parallax stored here may be read from the binocular parallax map 320 of the storage device 300. The determination of the binocular parallax may be performed by the TEE 120. The discrimination operation for binocular parallax may be determined to be consistent when the calculated binocular parallax exists within a predetermined range for the stored binocular parallax.

만일, 계산된 양안시차와 저장된 양안시차가 일치한다면, 얼굴 인식이 성공했다고 판별될 수 있다. 반면에, 추출된 얼굴 특징과 저장된 얼굴 특징이 일치하지 않거나, 계산된 양안시차와 저장된 양안시차가 일치하지 않는다면, 얼굴 인식이 실패했다고 판별될 수 있다.If the calculated binocular parallax and the stored binocular parallax match, it can be determined that face recognition is successful. On the other hand, if the extracted facial features and the stored facial features do not match, or the calculated binocular disparity and the stored binocular disparity do not match, it may be determined that face recognition has failed.

도 4는 본 발명의 다른 실시 예에 따른 모바일 장치(10)의 얼굴 인식 동작을 예시적으로 보여주는 도면이다. 도 4를 참조하면, 얼굴 인식 동작은, 도 3의 그것과 달리 양안시차에 대한 비교 동작(S210, S220, S230)을 얼굴 특징에 대한 비교 동작(S240, S250)보다 우선적으로 수행할 수 있다. 4 is a diagram illustrating a face recognition operation of the mobile device 10 according to another embodiment of the present invention. Referring to FIG. 4, the face recognition operation may perform comparison operations S210, S220, and S230 for binocular parallax in preference to the comparison operations S240 and S250 for facial features, unlike that of FIG. 3.

도 5는 본 발명의 또 다른 실시 예에 따른 모바일 장치(10)의 얼굴 인식 동작을 예시적으로 보여주는 도면이다. 도 5를 참조하면, 얼굴 인식 동작은, 도 3의 그것과 달리 얼굴 특징에 대한 비교 동작(S310, S320, S330)과 양안시차에 대한 비교 동작(S310, S325, S335)을 동시적/병렬적으로 수행할 수 있다.5 is a diagram illustrating a facial recognition operation of the mobile device 10 according to another embodiment of the present invention. Referring to FIG. 5, the face recognition operation, unlike that of FIG. 3, performs a comparison operation for facial features (S310, S320, S330) and a comparison operation for binocular parallax (S310, S325, S335) simultaneously/parallel. Can be done with

도 6은 본 발명의 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다. 도 6을 참조하면, 얼굴 인증 과정은 다음과 같이 진행될 수 있다.6 is a ladder diagram illustrating a face authentication process in the mobile device 10 according to an embodiment of the present invention. Referring to FIG. 6, the face authentication process may proceed as follows.

REE(110, 도 2 참조)는 이미지 장치(200, 도 2 참조)에 얼굴 인식을 요청하는 캡쳐 요청을 전송할 수 있다. 이미지 장치(200)는 캡쳐 요청에 응답하여 이미지 센서를 활성화시킴으로써 인증 동작에 필요한 이미지 촬상 동작을 수행할 수 있다. 특히 사용자에 대한 얼굴이 캡쳐될 수 있다. 이미지 장치(200)는 캡쳐된 이미지를 REE(110)에 전송할 수 있다. 여기서 캡쳐된 이미지는 양안시차 계산을 위한 좌시점 이미지 및 우시점 이미지를 포함할 수 있다. REE(110)는 캡쳐된 이미지로부터 얼굴 특징을 추출하고, 양안시차를 계산할 수 있다. 이후, REE(110)는 추출된 얼굴 특징과 계산된 양안시차를 TEE(120)으로 전송하며, 인증 요청을 할 수 있다. TEE(120)은 이러한 REE(110)의 인증 요청에 응답하여 저장 장치(300)로부터 저장된 얼굴 특징과 양안시차를 읽어올 수 있다. TEE(120)는 추출된 얼굴 특징과 저장된 얼굴 특징을 비교하고, 계산된 양안시차와 저장된 양안시차를 비교할 수 있다. 이러한 비교 결과에 따라 TEE(120)는 최종적인 얼굴 인증이 성공/실패 했는 지에 대한 정보를 REE(110)에 전송할 수 있다.The REE 110 (see FIG. 2) may transmit a capture request requesting face recognition to the image device 200 (see FIG. 2). The image device 200 may perform an image capturing operation required for an authentication operation by activating an image sensor in response to a capture request. In particular, a face of the user may be captured. The image device 200 may transmit the captured image to the REE 110. Here, the captured image may include a left view image and a right view image for calculating binocular parallax. The REE 110 may extract facial features from the captured image and calculate binocular parallax. Thereafter, the REE 110 transmits the extracted facial features and the calculated binocular parallax to the TEE 120, and may request authentication. The TEE 120 may read the stored facial features and binocular parallax from the storage device 300 in response to the authentication request from the REE 110. The TEE 120 may compare the extracted facial features and the stored facial features, and may compare the calculated binocular disparity and the stored binocular disparity. According to this comparison result, the TEE 120 may transmit information on whether the final face authentication succeeds/fails to the REE 110.

도 7은 본 발명의 다른 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다. 도 7을 참조하면, 얼굴 인증 과정은, 도 6에 도시된 그것과 비교하여 얼굴특징/양안시차를 REE(110)에서 추출/계산하지 않고 이미지 장치(200)에서 추출/계산하는 것 외에는 동일하게 진행될 수 있다.7 is a ladder diagram illustrating a face authentication process in the mobile device 10 according to another embodiment of the present invention. Referring to FIG. 7, the face authentication process is the same except that the facial features/binocular parallax are extracted/calculated by the image device 200 without extracting/calculating the facial features/binocular disparity in the REE 110 compared to those shown in FIG. Can proceed.

도 8은 본 발명의 또 다른 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다. 도 8을 참조하면, 얼굴 인증 과정은, 도 6에 도시된 그것과 비교하여 얼굴 특징을 REE(110)에서 추출하지 않고 이미지 장치(200)에서 추출하는 것 외에는 동일하게 진행될 수 있다.8 is a ladder diagram illustrating a facial authentication process in the mobile device 10 according to another embodiment of the present invention. Referring to FIG. 8, the facial authentication process may be performed in the same manner as compared to that shown in FIG. 6 except that facial features are extracted from the image device 200 without extracting the facial features from the REE 110.

도 9는 본 발명의 다른 실시 예에 따른 모바일 장치(10) 내에서 얼굴 인증 과정을 예시적으로 보여주는 래더 다이어그램이다. 도 9를 참조하면, 얼굴 인증 과정은, 도 6에 도시된 그것과 비교하여 양안시차를 REE(110)에서 계산하지 않고 이미지 장치(200)에서 계산하는 것 외에는 동일하게 진행될 수 있다.9 is a ladder diagram illustrating a face authentication process in the mobile device 10 according to another embodiment of the present invention. Referring to FIG. 9, the face authentication process may be performed in the same manner as compared to that shown in FIG. 6 except that the binocular parallax is not calculated by the REE 110 and calculated by the imaging device 200.

도 10은 본 발명의 실시 예에 따른 생체 인증 방법을 예시적으로 보여주는 도면이다. 도 1 내지 도 10을 참조하면, 생체 인증 방법은 다음과 같이 진행될 수 있다. 모바일 장치(10)는 생체 인증 동작을 수행할 수 있다(S410). 여기서 생체 인증 동작은 지문, 홍채, 얼굴, 행위 패턴, 심박 등 이용할 수 있다. 이러한 생체 인증이 통과된 후에, 양안시차 지도(disparity map)을 이용하여 라이브니스가 검증될 수 있다(S420).10 is a diagram illustrating a biometric authentication method according to an embodiment of the present invention. 1 to 10, the biometric authentication method may proceed as follows. The mobile device 10 may perform a biometric authentication operation (S410). Here, the biometric authentication operation may use a fingerprint, an iris, a face, a behavior pattern, and a heart rate. After such biometric authentication is passed, liveness may be verified using a binocular disparity map (S420).

한편, 본 발명의 실시 예에 따른 얼굴 인식 동작이 모바일 장치에만 한정되지 않는다고 이해되어야 할 것이다. 본 발명의 얼굴 인식 동작은 보안을 필요로 하는 차량에도 적용 가능하다.Meanwhile, it should be understood that the facial recognition operation according to the exemplary embodiment of the present invention is not limited to the mobile device. The face recognition operation of the present invention can also be applied to vehicles requiring security.

본 발명에 개시된 생체 인증 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다.The biometric authentication method disclosed in the present invention may be implemented with program commands that can be executed through various computers and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, and data structures. Further, the program instructions may be specially designed and configured for the present disclosure, or may be known and usable to those skilled in computer software. In addition, the program instructions may include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.On the other hand, the contents of the present invention described above are only specific examples for carrying out the invention. The present invention will include not only specific and practically usable means itself, but also technical ideas that are abstract and conceptual ideas that can be utilized as future technologies.

10: 모바일 장치
110: REE
120: TEE
200: 이미지 장치
300: 저장 장치
320: 양안시차 지도10: mobile device
110: REE
120: TEE
200: image device
300: storage device
320: binocular time difference map

Claims (7)

모바일 장치에 포함되는 어플리케이션 프로세서(application processor)에 의해 수행되는 생체 인증 방법에 있어서, 상기 생체 인증 방법은,
상기 모바일 장치에 포함되는 이미지 장치로 얼굴 캡쳐를 요청하는 단계;
상기 이미지 장치로부터 캡쳐된 얼굴 이미지를 수신하는 단계;
상기 얼굴 이미지로부터 인증을 위한 얼굴 특징을 추출하는 단계;
상기 얼굴 이미지의 양안 시차(disparity)를 계산하는 단계;
추출된 얼굴 특징과 상기 모바일 장치에 포함되는 저장 장치에 저장된 얼굴 특징을 비교하여 사용자를 인증하는 단계; 및
계산된 양안 시차와 상기 저장 장치에 저장된 양안 시차를 비교하여 상기 얼굴 이미지의 라이브니스(liveness)를 검증하는 단계를 포함하고,
상기 사용자를 인증하는 단계는 상기 추출된 얼굴 특징과 상기 저장된 얼굴 특징의 일치 여부에 기초하여 상기 사용자를 인증하고,
상기 캡쳐된 얼굴 이미지는 양안 시차를 계산하기 위한 좌시점 이미지와 우시점 이미지를 포함하고,
상기 라이브니스를 검증하는 단계는 상기 계산된 양안 시차가 상기 저장된 양안 시차로부터 미리 결정된 범위 내에 존재하는지 여부에 기초하여 상기 라이브니스를 검증하는,
생체 인증 방법.
In the biometric authentication method performed by an application processor included in a mobile device, the biometric authentication method,
Requesting a face capture from an image device included in the mobile device;
Receiving a captured face image from the imaging device;
Extracting facial features for authentication from the face image;
Calculating binocular disparity of the face image;
Authenticating a user by comparing the extracted facial features with facial features stored in a storage device included in the mobile device; And
Comprising the step of comparing the calculated binocular parallax with the binocular parallax stored in the storage device to verify the liveness of the face image,
The step of authenticating the user authenticates the user based on whether the extracted facial features match the stored facial features,
The captured face image includes a left view image and a right view image for calculating binocular parallax,
The verifying the liveness includes verifying the liveness based on whether the calculated binocular parallax exists within a predetermined range from the stored binocular parallax.
Biometric authentication method.
 제1항에 있어서,
상기 어플리케이션 프로세서는 REE(Rich Execution Environment) 또는 TEE(Trusted Execution Environment)에서 동작하는,
생체 인증 방법.
The method of claim 1,
The application processor is operating in REE (Rich Execution Environment) or TEE (Trusted Execution Environment),
Biometric authentication method.
 제2항에 있어서,
상기 얼굴 캡쳐를 요청하는 단계, 상기 얼굴 특징을 추출하는 단계, 및 상기 양안 시차를 계산하는 단계는, 상기 어플리케이션 프로세서에 의해 상기 REE에서 실행되는 얼굴인식 어플리케이션에 의해 수행되는,
생체 인증 방법.
The method of claim 2,
The step of requesting the face capture, the step of extracting the facial feature, and the step of calculating the binocular parallax are performed by a face recognition application executed in the REE by the application processor,
Biometric authentication method.
 제2항에 있어서,
상기 사용자를 인증하는 단계와 상기 라이브니스를 검증하는 단계는, 상기 어플리케이션 프로세서에 의해 상기 TEE에서 실행되는 인증 처리 어플리케이션에 의해 수행되는,
생체 인증 방법.
The method of claim 2,
The step of authenticating the user and verifying the liveness are performed by an authentication processing application executed in the TEE by the application processor,
Biometric authentication method.
 제2항에 있어서,
상기 생체 인증 방법은 상기 저장 장치로부터 상기 저장된 얼굴 특징과 상기 저장된 양안 시차를 수신하는 단계를 더 포함하고,
상기 저장된 얼굴 특징과 상기 저장된 양안 시차를 수신하는 단계는 상기 어플리케이션 프로세서에 의해 상기 TEE에서 실행되는 인증 처리 어플리케이션에 의해 수행되는,
생체 인증 방법.
The method of claim 2,
The biometric authentication method further comprises receiving the stored facial features and the stored binocular parallax from the storage device,
The step of receiving the stored facial features and the stored binocular parallax is performed by an authentication processing application executed in the TEE by the application processor,
Biometric authentication method.
 제3항에 있어서,
상기 어플리케이션 프로세서에 의해 REE에서 실행되는 인증 어플리케이션은, 상기 얼굴인식 어플리케이션에 얼굴 인증을 요청하고, 상기 어플리케이션 프로세서에 의해 상기 TEE에서 실행되는 인증 처리 어플리케이션에 인증 요청을 하고, 상기 인증 처리 어플리케이션으로부터 상기 인증 요청에 대응하는 결과를 수신하는,
생체 인증 방법.
The method of claim 3,
The authentication application executed in the REE by the application processor requests face authentication from the face recognition application, the application processor makes an authentication request to the authentication processing application executed in the TEE, and the authentication from the authentication processing application Receiving results corresponding to the request,
Biometric authentication method.
 캡쳐 요청에 응답하여 얼굴 이미지를 캡쳐하고, 캡쳐된 얼굴 이미지를 출력하는 스테레오 카메라;
사용자의 얼굴 특징 및 양안 시차를 저장하는 저장 장치; 및
어플리케이션 프로세서를 포함하고,
상기 어플리케이션 프로세서는,
상기 캡쳐 요청을 상기 스테레오 카메라로 전송하고,
상기 캡쳐된 얼굴 이미지로부터 인증을 위한 얼굴 특징을 추출하고,
상기 캡쳐된 얼굴 이미지로부터 양안 시차를 계산하고,
추출된 얼굴 특징과 상기 저장 장치에 저장된 얼굴 특징의 일치 여부에 기초하여 상기 사용자를 인증하고,
계산된 양안 시차를 상기 저장 장치에 저장된 양안 시차와 비교하여 상기 캡쳐된 얼굴 이미지의 라이브니스를 검증하고,
상기 캡쳐된 얼굴 이미지는 양안 시차를 계산하기 위한 좌시점 이미지와 우시점 이미지를 포함하고,
상기 어플리케이션 프로세서는 상기 계산된 양안 시차가 상기 저장된 양안 시차로부터 미리 결정된 범위 내에 존재하는지 여부에 기초하여 상기 라이브니스를 검증하는,
모바일 장치.A stereo camera that captures a face image in response to a capture request and outputs the captured face image;
A storage device that stores a user's facial features and binocular parallax; And
Including an application processor,
The application processor,
Transmit the capture request to the stereo camera,
Extracting facial features for authentication from the captured face image,
Binocular parallax is calculated from the captured face image,
Authenticates the user based on whether the extracted facial features match the facial features stored in the storage device,
Compare the calculated binocular parallax with the binocular parallax stored in the storage device to verify the liveness of the captured face image,
The captured face image includes a left view image and a right view image for calculating binocular parallax,
The application processor verifies the liveness based on whether the calculated binocular parallax exists within a predetermined range from the stored binocular parallax.
Mobile device.
KR1020170051973A 2017-04-22 2017-04-22 Mobile device for checking liveness and operating method thereof KR102172200B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170051973A KR102172200B1 (en) 2017-04-22 2017-04-22 Mobile device for checking liveness and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170051973A KR102172200B1 (en) 2017-04-22 2017-04-22 Mobile device for checking liveness and operating method thereof

Publications (2)

Publication Number Publication Date
KR20170051392A KR20170051392A (en) 2017-05-11
KR102172200B1 true KR102172200B1 (en) 2020-10-30

Family

ID=58741648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170051973A KR102172200B1 (en) 2017-04-22 2017-04-22 Mobile device for checking liveness and operating method thereof

Country Status (1)

Country Link
KR (1) KR102172200B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444744A (en) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 Living body detection method, living body detection device, and storage medium
KR20210108082A (en) * 2020-02-25 2021-09-02 삼성전자주식회사 Method and apparatus of detecting liveness using phase difference

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101053253B1 (en) * 2009-09-01 2011-08-02 (주)실리콘화일 Apparatus and method for face recognition using 3D information
KR20160118508A (en) * 2015-04-02 2016-10-12 삼성에스디에스 주식회사 Apparatus and method for user authentication
KR101594433B1 (en) 2015-04-30 2016-02-16 주식회사 아이티아이씨앤씨 A system for controlling the exit and entry using Iris Recognition portable terminal and Method for controlling the exit and entry using Iris Recognition portable

Also Published As

Publication number Publication date
KR20170051392A (en) 2017-05-11

Similar Documents

Publication Publication Date Title
CN110414200B (en) Identity authentication method, identity authentication device, storage medium and computer equipment
EP3196801B1 (en) Face recognition method, device and computer readable storage medium
CN107018121B (en) User identity authentication method and device
EP3005202B1 (en) System and method for biometric authentication with device attestation
JP5837232B2 (en) Device and method for user authentication and user existence verification based on Turing test
KR101624575B1 (en) User identity attestation in mobile commerce
US20150040212A1 (en) Locking apparatus with enhanced security using iris image
US20160085958A1 (en) Methods and apparatus for multi-factor user authentication with two dimensional cameras
US11238143B2 (en) Method and system for authenticating a user on a wearable heads-up display
KR102079952B1 (en) Method of managing access using face recognition and apparatus using the same
KR20160144375A (en) Method and apparatus of verifying usability of biological characteristic image
KR20220043086A (en) Method for authenticating user contactlessly based on decentralized identifier using verifiable credential and authentication supporting server using the same
JP7318833B2 (en) Image processing device, image processing method, and program
KR102172200B1 (en) Mobile device for checking liveness and operating method thereof
US20060026427A1 (en) Method and system for entity authentication using an untrusted device and a trusted device
KR20130133676A (en) Method and apparatus for user authentication using face recognition througth camera
CN105262758A (en) Identity authentication method and device
US20220078020A1 (en) Biometric acquisition system and method
CN109063442B (en) Service implementation method and device and camera implementation method and device
EP3811254A1 (en) Method and electronic device for authenticating a user
US20230179596A1 (en) Access authentication using obfuscated biometrics
KR101750292B1 (en) Portable finger vein reader and biometric authentication method thereof
EP3745289A1 (en) Apparatus and method for registering biometric information, apparatus and method for biometric authentication
KR102187545B1 (en) Document management apparatus for providing secure document through user authentication based on face recognition and operating method thereof
JP2018169943A (en) Face authentication processing device, face authentication processing method and face authentication processing system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant