KR101362597B1 - Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same - Google Patents

Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same Download PDF

Info

Publication number
KR101362597B1
KR101362597B1 KR1020070026725A KR20070026725A KR101362597B1 KR 101362597 B1 KR101362597 B1 KR 101362597B1 KR 1020070026725 A KR1020070026725 A KR 1020070026725A KR 20070026725 A KR20070026725 A KR 20070026725A KR 101362597 B1 KR101362597 B1 KR 101362597B1
Authority
KR
South Korea
Prior art keywords
user
face
user authentication
dimensional
mobile communication
Prior art date
Application number
KR1020070026725A
Other languages
Korean (ko)
Other versions
KR20080085353A (en
Inventor
석무근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020070026725A priority Critical patent/KR101362597B1/en
Publication of KR20080085353A publication Critical patent/KR20080085353A/en
Application granted granted Critical
Publication of KR101362597B1 publication Critical patent/KR101362597B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

본 발명은 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자 인증방법에 관한 것으로서, 사용자 안면의 복수의 영역에 대한 거리를 감지하는 단계와; 상기 감지된 사용자 안면의 거리값으로부터 상기 사용자 안면의 3차원 특성을 산출하는 단계와; 상기 사용자 안면의 3차원 특성이 기 저장된 정보와 일치 하는지 여부를 판단하는 단계와; 상기 3차원 특성이 기 저장된 정보와 일치하는 경우, 촬상된 사용자 안면의 2차원 이미지를 기 저장된 정보와 비교하여 사용자를 인증하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 간단한 구성으로 사용자의 안면을 3차원적으로 인식하여 분석함으로써 사용자 인증기능의 신뢰도를 향상시킬 수 있다.The present invention relates to a mobile communication terminal having a user authentication function and a method for authenticating the user, the method comprising: detecting distances of a plurality of areas of a user's face; Calculating a three-dimensional characteristic of the user's face from the sensed distance value of the user's face; Determining whether a three-dimensional characteristic of the user's face matches previously stored information; If the three-dimensional characteristic is matched with the previously stored information, characterized in that it comprises the step of authenticating the user by comparing the two-dimensional image of the photographed user's face with the previously stored information. Accordingly, the reliability of the user authentication function can be improved by three-dimensionally recognizing and analyzing the user's face with a simple configuration.

Description

사용자 인증기능을 갖는 이동통신단말기 및 그 사용자 인증방법{Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same}Mobile communication terminal with user authentication function and method of user authentication {Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same}

도 1은 본 발명에 따른 사용자 인증기능을 갖는 이동통신단말기의 제어블록도,1 is a control block diagram of a mobile communication terminal having a user authentication function according to the present invention;

도 2는 본 발명의 일 실시예에 따른 이동통신단말기의 사용자 인증방법의 흐름도,2 is a flowchart of a user authentication method of a mobile communication terminal according to an embodiment of the present invention;

도 3은 본 발명에 따른 사용자 인증기능을 갖는 이동통신단말기의 사용 상태도,3 is a use state diagram of a mobile communication terminal having a user authentication function according to the present invention;

도 4는 본 발명의 다른 실시예에 따른 이동통신단말기의 사용자 인증방법의 흐름도이다.4 is a flowchart illustrating a user authentication method of a mobile communication terminal according to another embodiment of the present invention.

*** 도면의 주요 부분에 대한 부호의 설명 ***DESCRIPTION OF THE REFERENCE SYMBOLS

1 : RF모듈 3 : 오디오처리부 1: RF module 3: Audio processing unit

5 : 디스플레이부 7 : 사용자입력부 5: display unit 7: user input unit

10 : 제어부 12 : 카메라모듈10: control unit 12: camera module

14 : 거리감지 센서부 16 : 안면인식 데이터처리부14: distance sensor unit 16: facial recognition data processing unit

18 : 사용자 인증부 20 : 인증데이터 저장부18: user authentication unit 20: authentication data storage unit

100 : 이동통신단말기 본체 112 : 카메라 렌즈100: mobile communication terminal body 112: camera lens

114 : 적외선 센서114: infrared sensor

본 발명은 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자 인증방법에 관한 것이다.The present invention relates to a mobile communication terminal having a user authentication function and a user authentication method thereof.

근래 들어 이동통신단말기는, DMB 기능, MP3 플레이어, 카메라 기능 등의 다양한 부가기능을 지원하는 고가의 제품들이 판매되고 있으며, 지불 및 결제 기능 등의 금융기능까지 수행하여, 분실 또는 도난 등으로 인한 부정사용 시 막대한 경제적 손실을 초래할 수 있다. 이에 따라, 사용자 인증을 통해 이동통신단말기의 사용을 제한하고자 하는 기술들이 개발된 바 있다.Recently, mobile communication terminals are selling expensive products that support various additional functions such as DMB function, MP3 player, camera function, etc., and even perform financial functions such as payment and payment functions, resulting in fraudulent loss or theft. Use can result in huge economic losses. Accordingly, techniques for limiting the use of the mobile communication terminal through user authentication have been developed.

현재 사용되고 있는 사용자 인증방법 중 사용자 안면 인식 방법은, 카메라를 통해 사용자의 안면을 촬상하여 사용자 안면의 이미지를 분석함으로써 정당한 사용자인지 여부를 인증하도록 하고 있다. Among the currently used user authentication methods, the user's face recognition method uses a camera to capture the user's face and analyze an image of the user's face to authenticate whether the user is a legitimate user.

그런데, 이러한 종래의 사용자 인증방법은 사용자의 안면을 2차원 이미지를 통해 분석함으로, 사용자의 사진이나 사용자가 등장하는 동영상을 카메라로 촬상하는 경우에도 사용자 인증이 가능하다는 문제점이 있다. However, the conventional user authentication method has a problem in that the user's face is analyzed through a two-dimensional image, so that user authentication is possible even when photographing a user's picture or a video in which the user appears with a camera.

본 발명은 전술한 문제점을 해결하기 위해 안출 된 것으로서, 간단한 구성으 로 사용자의 안면을 3차원적으로 인식하여 분석함으로써 사용자 인증기능의 신뢰도를 향상시킬 수 있는 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자 인증방법을 제공함에 그 목적이 있다.The present invention has been made to solve the above problems, a mobile communication terminal having a user authentication function that can improve the reliability of the user authentication function by recognizing and analyzing the user's face in a three-dimensional simple configuration and its The purpose is to provide a user authentication method.

전술한 목적을 달성하기 위한 본 발명에 따른 이동통신단말기의 사용자 인증방법은, 사용자 안면의 복수의 영역에 대한 거리를 감지하는 단계와; 상기 감지된 사용자 안면의 거리값으로부터 상기 사용자 안면의 3차원 특성을 산출하는 단계와; 상기 사용자 안면의 3차원 특성이 기 저장된 정보와 일치 하는지 여부를 판단하는 단계와; 상기 3차원 특성이 기 저장된 정보와 일치하는 경우, 촬상된 사용자 안면의 2차원 이미지를 기 저장된 정보와 비교하여 사용자를 인증하는 단계를 포함하는 것을 특징으로 한다.A user authentication method of a mobile communication terminal according to the present invention for achieving the above object comprises the steps of: sensing the distance to a plurality of areas of the user face; Calculating a three-dimensional characteristic of the user's face from the sensed distance value of the user's face; Determining whether a three-dimensional characteristic of the user's face matches previously stored information; If the three-dimensional characteristic is matched with the previously stored information, characterized in that it comprises the step of authenticating the user by comparing the two-dimensional image of the photographed user's face with the previously stored information.

여기서, 상기 감지된 사용자 안면의 거리값으로부터 상기 사용자 안면의 3차원 특성을 산출하는 단계는, 상기 감지된 사용자 안면의 거리 값 중, 최대값과 최소값의 차를 산출하는 단계를 포함하고; 상기 사용자 안면의 3차원 특성이 기 저장된 정보와 일치 하는지 여부를 판단하는 단계는, 상기 최대값과 최소값의 차가 기 저장된 기준값보다 큰 값을 갖는지 여부를 판단하는 단계를 포함할 수 있다.The calculating of the three-dimensional characteristic of the user face from the detected distance value of the user face includes calculating a difference between a maximum value and a minimum value among the detected distance values of the user face; The determining of whether the three-dimensional characteristic of the user's face coincides with previously stored information may include determining whether a difference between the maximum value and the minimum value has a value greater than a previously stored reference value.

또한, 상기 감지된 사용자 안면의 거리값으로부터 상기 사용자 안면의 3차원 특성을 산출하는 단계는, 상기 감지된 사용자 안면의 거리 값들 간의 차를 산출하여, 상기 사용자 안면의 3차원 굴곡 특성을 추출하는 단계를 포함하고; 상기 사용자 안면의 3차원 특성이 기 저장된 정보와 일치 하는지 여부를 판단하는 단계는, 상기 사용자 안면의 3차원 굴곡 특성이 기 저장된 사용자 안면의 3차원 굴곡 특성과 부합되는지 여부를 판단하는 단계를 할 수 있다.In addition, calculating the three-dimensional characteristics of the user face from the detected distance value of the user face, calculating the difference between the distance values of the detected user face, extracting the three-dimensional bending characteristics of the user face It includes; The determining of whether the 3D characteristic of the user's face coincides with previously stored information may include determining whether the 3D bending characteristic of the user's face matches the 3D bending characteristic of the user's face previously stored. have.

그리고, 상기 3차원 특성이 기 저장된 정보와 일치하는 경우, 촬상된 사용자 안면의 2차원 이미지를 기 저장된 정보와 비교하여 사용자를 인증하는 단계는, 상기 사용자 안면의 2차원 이미지에서, 눈, 코, 입 등의 패턴 크기를 측정하는 단계와; 상기 패턴 크기와 기 저장된 정보와 비교하여 사용자를 인증하는 단계를 포함하는 것이 가능하다.And when the three-dimensional characteristics match the previously stored information, the step of authenticating the user by comparing the two-dimensional image of the photographed user's face with the previously stored information, in the two-dimensional image of the user's face, eyes, nose, Measuring a pattern size such as a mouth; It is possible to include a step of authenticating a user by comparing the pattern size with previously stored information.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 사용자 인증기능을 갖는 이동통신단말기는, 사용자 안면을 2차원 이미지로 촬상하는 카메라모듈과; 상기 사용자 안면의 복수의 영역에 대한 거리를 감지하는 거리감지 센서부와; 상기 감지된 사용자 안면의 거리값으로부터 상기 사용자 안면의 3차원 특성을 산출하는 안면인식 데이터처리부와; 상기 카메라모듈을 통해 촬상된 사용자 안면의 2차원 이미지와 상기 거리감지 센서부를 통해 감지된 상기 사용자 안면의 3차원 특성을 기 저장된 정보와 비교하여 사용자를 인증하는 사용자 인증부를 포함하는 것을 특징으로 한다.On the other hand, a mobile communication terminal having a user authentication function according to the present invention for achieving the above object includes a camera module for photographing the user's face in a two-dimensional image; A distance sensor unit for sensing distances of a plurality of areas of the user's face; A face recognition data processor configured to calculate a three-dimensional characteristic of the user face from the sensed distance value of the user face; And a user authentication unit for authenticating a user by comparing a two-dimensional image of the user's face photographed through the camera module and a three-dimensional characteristic of the user's face detected by the distance sensor unit with previously stored information.

여기서, 상기 안면인식 데이터처리부는, 상기 거리감지 센서부를 통해 감지된 복수개의 거리 값 중, 최대값과 최소값의 차를 산출하고; 상기 사용자 인증부는, 상기 최대값과 최소값의 차가 기 저장된 기준값보다 큰 값을 갖는지 여부에 따라 상기 사용자를 인증하는 것이 가능하다.Here, the face recognition data processing unit may calculate a difference between a maximum value and a minimum value among a plurality of distance values detected by the distance sensor; The user authentication unit may authenticate the user according to whether the difference between the maximum value and the minimum value has a value larger than a previously stored reference value.

또한, 상기 안면인식 데이터처리부는, 상기 거리감지 센서부를 통해 감지된 복수개의 거리 값들 간의 차를 산출하여 상기 사용자 안면의 3차원 굴곡 특성을 추출하고; 상기 사용자 인증부는, 상기 사용자 안면의 3차원 특성이 기 저장된 정보와 일치 하는지 여부에 따라 상기 사용자를 인증하는 것이 가능하다.The face recognition data processor may further include calculating a difference between a plurality of distance values detected by the distance sensor and extracting a three-dimensional bending characteristic of the user's face; The user authentication unit may authenticate the user according to whether or not the three-dimensional characteristic of the user's face matches previously stored information.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예에 따른 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자 인증방법에 대해서 상세하게 설명한다. 다만, 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.Hereinafter, a mobile communication terminal having a user authentication function and a user authentication method thereof will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1은 본 발명에 따른 사용자 인증기능을 갖는 이동통신단말기의 제어블록도이다. 도 1에 도시된 바와 같이, 본 이동통신단말기는 데이터의 무선 송수신을 위한 RF모듈(1)과, 스피커(SPK) 및 마이크(MIC)를 통해 입출력되는 오디오신호를 처리하는 오디오처리부(3)와, 데이터 표시를 위한 디스플레이부(5)와, 사용자 입력을 위한 사용자입력부(7)와, 사용자입력부(7)를 통한 사용자 선택에 따라 RF모듈(1) 및 오디오처리부(3)를 제어하여 전화통화기능 등의 통신기능을 수행하고 각종 부가기능의 제공을 제어하는 제어부(10)를 포함한다.1 is a control block diagram of a mobile communication terminal having a user authentication function according to the present invention. As shown in FIG. 1, the mobile communication terminal includes an RF module 1 for wireless transmission and reception of data, an audio processor 3 for processing audio signals input and output through a speaker SPK and a microphone MIC; And control the RF module 1 and the audio processor 3 according to the user selection through the display unit 5 for displaying data, the user input unit 7 for user input, and the user input unit 7. And a control unit 10 for performing communication functions such as functions and controlling the provision of various additional functions.

또한, 본 이동통신단말기는, 사용자 인증데이터가 저장되는 인증데이터 저장부(20)와, 피사체를 촬상하는 카메라모듈(12)과, 피사체와의 거리를 감지하는 거리감지 센서부(14)와, 피사체의 촬상이미지 및 거리 감지값을 처리하는 안면인식 데이터처리부(16)와, 안면인식 데이터처리부(16)의 처리값과 인증데이터 저장부(20) 의 저장값을 비교하여 사용자를 인증하는 사용자 인증부(18)를 포함한다.The mobile communication terminal may further include an authentication data storage unit 20 storing user authentication data, a camera module 12 for capturing a subject, a distance sensor unit 14 detecting a distance from a subject, User authentication for authenticating a user by comparing the facial recognition data processing unit 16 processing the captured image and the distance detection value of the subject with the processing values of the facial recognition data processing unit 16 and the stored values of the authentication data storage unit 20. Part 18 is included.

인증데이터 저장부(20)에는 사용자 인증을 위한 사용자의 안면인식 데이터가 저장된다. 사용자는 제어부(10)가 제공하는 메뉴를 통해 사용자 인증기능을 설정할 수 있으며, 제어부(10)는 사용자 인증을 위한 사용자의 안면인식 데이터를 인증데이터 저장부(20)에 저장한다.The authentication data storage unit 20 stores face recognition data of a user for user authentication. The user may set a user authentication function through a menu provided by the controller 10, and the controller 10 stores the face recognition data of the user for authentication of the user in the authentication data storage 20.

카메라모듈(12)은 카메라기능 수행 시 피사체를 촬상하여 화상데이터를 생성하고, 이동통신단말기가 사용자 인증모드에 진입한 경우 사용자의 안면을 촬상하여 안면인식데이터 처리부에 제공한다.The camera module 12 generates image data by capturing a subject when performing a camera function. When the mobile communication terminal enters a user authentication mode, the camera module 12 captures a face of a user and provides the image to a face recognition data processor.

거리감지 센서부(14)는 이동통신단말기와 피사체와의 거리를 감지하며, 사용자 인증모드에서는 사용자 안면의 각 부분에 대한 거리를 감지하여 안면인식 데이터처리부(16)에 제공한다. 사람의 안면은 굴곡을 갖는 3차원 입체이기 때문에 거리감지 센서부(14)의 설치영역을 기준으로 코까지의 거리, 뺨까지의 거리, 턱까지의 거리 등을 측정하면 안면의 굴곡에 따라 각기 상이하게 측정된다. 이에, 거리감지 센서부(14)는 안면의 각 부분의 거리를 감지할 수 있도록 사용자 안면의 복수개의 영역에 대한 거리값을 측정할 수 있도록 구비하는 것이 바람직하다. 이러한 거리감지 센서부(14)로는, 적외선 센서, 초음파 센서, 열감지 센서 등 다양한 형태의 센서가 적용될 수 있다.The distance sensor 14 detects the distance between the mobile communication terminal and the subject and, in the user authentication mode, detects the distance for each part of the user's face and provides the same to the face recognition data processor 16. Since the face of a person is a three-dimensional solid with a bend, the distance to the nose, the distance to the cheeks, and the distance to the chin are measured based on the installation area of the distance sensor unit 14, and the differences are different depending on the curvature of the face. Is measured. Thus, the distance sensor 14 is preferably provided to measure the distance value for a plurality of areas of the user's face to detect the distance of each part of the face. As the distance sensor 14, various types of sensors such as an infrared sensor, an ultrasonic sensor, and a thermal sensor may be applied.

안면인식 데이터처리부(16)는 카메라모듈(12)을 통해 촬상된 사용자의 안면 이미지와 거리감지 센서부(14)로 감지된 감지값에 기초하여 안면인식 데이터를 생성한다. 안면인식 데이터처리부(16)는 카메라모듈(12)로 촬상된 안면 이미지의 패 턴을 분석하여 눈의 크기, 코의 크기, 눈과 눈 사이의 거리, 등을 추출해 낼 수 있다. 또한, 거리감지 센서부(14)로 감지된 안면의 각 영역까지의 거리 값을 이용하여 사용자의 안면을 인식할 수 있다. 여기서, 거리 값을 이용한 사용자 안면 인식 방법은 프로세스의 성능이나 감지센서의 설치 위치 등에 따라 다양한 알고리즘이 적용될 수 있다. 예컨대, 간단한 방법으로는 거리감지 센서부(14)를 통해 측정된 복수개의 감지값이 상호 간에 기준값 이상 차이가 나는지 여부에 따라 피사체가 3차원 특성을 갖는지 여부를 판단할 수 있다. 또한, 각 감지값 간의 차를 산출하여 안면의 굴곡을 추출해 내는 것도 가능하다. 또한 거리에 따라 안면의 크기가 달리 촬상될 수 있는 점을 이용하여, 카메라모듈(12)로 촬상된 안면 이미지의 패턴의 크기와 거리 감지값 간의 상관관계를 이용하여 사용자 안면을 인식하는 것도 가능하다.The face recognition data processor 16 generates face recognition data based on the face image of the user captured by the camera module 12 and the detected value detected by the distance sensor 14. The facial recognition data processor 16 may extract the size of the eye, the size of the nose, the distance between the eye, and the like by analyzing the pattern of the facial image captured by the camera module 12. In addition, the user's face may be recognized by using a distance value to each area of the face detected by the distance sensor 14. Here, in the user face recognition method using the distance value, various algorithms may be applied according to the performance of the process or the installation position of the sensor. For example, in a simple method, it may be determined whether a subject has three-dimensional characteristics according to whether a plurality of sensed values measured by the distance sensor 14 are different from each other by more than a reference value. It is also possible to extract the curvature of the face by calculating the difference between each detected value. In addition, using the point that the size of the face can be differently imaged according to the distance, it is also possible to recognize the user's face using the correlation between the pattern size of the face image captured by the camera module 12 and the distance detection value. .

사용자 인증부(18)는 안면인식 데이터처리부(16)에서 처리된 안면인식 데이터와 인증데이터 저장부(20)에 저장된 사용자의 안면인식 데이터를 상호 비교하여 양자의 일치 여부에 따라 사용자를 인증하고 인증결과를 제어부(10)에 제공한다. 이에, 사용자 인증부(18)는 카메라모듈(12)을 통해 수집된 2차원 안면 이미지의 패턴과 거리감지 센서부(14)를 통해 수집된 3차원 안면 특성을 기 저장된 데이터와 비교하여 사용자를 인증할 수 있다.The user authentication unit 18 compares the face recognition data processed by the face recognition data processing unit 16 with the face recognition data of the user stored in the authentication data storage unit 20, and authenticates and authenticates the user according to whether they match. The result is provided to the control unit 10. Accordingly, the user authentication unit 18 authenticates the user by comparing the pattern of the two-dimensional face image collected through the camera module 12 and the three-dimensional face characteristics collected by the distance sensor 14 with previously stored data. can do.

여기서, 제어부(10)는 초기 부팅을 수행하는 경우, 결제 및 공인인증서 등의 금융기능을 실행하는 경우, 락 기능을 해제하는 경우 등, 사용자 인증이 필요한 경우 사용자 인증부(18)를 활성화시키는 한편 디스플레이부(5)를 통해 사용자 인증을 요구한다. 제어부(10)는 카메라모듈(12) 및 거리감지 센서부(14)를 통해 수집되는 사용자의 안면인식 데이터를 사용자 인증부(18)를 통해 인증하여 인증 성공 여부에 따라 이동통신단말기의 기능 사용을 제한할 수 있다.Here, the controller 10 activates the user authentication unit 18 when user authentication is required, such as when performing an initial boot, executing a financial function such as payment and authorized certificate, releasing a lock function, and the like. User authentication is requested through the display unit 5. The control unit 10 authenticates the user's face recognition data collected through the camera module 12 and the distance sensor 14 through the user authentication unit 18 to use the function of the mobile communication terminal according to the successful authentication. You can limit it.

도 2는 본 발명의 일 실시예에 따른 이동통신단말기의 사용자 인증방법의 흐름도로서, 초기 부팅 시 사용자를 인증하는 경우를 예시한 것이다.2 is a flowchart illustrating a user authentication method of a mobile communication terminal according to an embodiment of the present invention, which illustrates a case of authenticating a user during initial booting.

본 발명의 사용자 인증방법을 설정하기 위해서는 먼저, 사용자의 안면 인식 데이터를 인증데이터 저장부(20)에 저장하여야 한다(S10). 제어부(10)는 인증기능 설정 시 사용자에게 안면인식 데이터의 입력을 요청하여, 카메라모듈(12)을 통해 촬상된 2차원 안면 이미지와 거리감지 센서부(14)를 통해 수집된 3차원 안면 특성을 인증데이터 저장부(20)에 저장한다.In order to set the user authentication method of the present invention, first, the user's face recognition data should be stored in the authentication data storage unit 20 (S10). The controller 10 requests the user to input facial recognition data when setting the authentication function, and displays the two-dimensional facial image captured by the camera module 12 and the three-dimensional facial characteristics collected by the distance sensor 14. Stored in the authentication data storage unit 20.

이 후, 이동통신단말기의 부팅에 따라 사용자가 단말기 사용을 선택하는 경우 제어부(10)는 인증모드에 진입하여 디스플레이부(5)에 사용자 인증을 요청 메시지를 표시한다(S12).Thereafter, when the user selects to use the terminal according to the booting of the mobile communication terminal, the controller 10 enters the authentication mode and displays a request message for user authentication on the display unit 5 (S12).

제어부(10)는 카메라모듈(12)을 활성화시키며, 이에 카메라모듈(12)은 사용자의 안면을 촬영하여 안면인식 데이터처리부(16)에 사용자 안면 이미지를 제공한다(S14).The controller 10 activates the camera module 12, and the camera module 12 photographs the user's face and provides the user's face image to the face recognition data processor 16 (S14).

또한, 인증모드에서는 거리감지 센서부(14)가 사용자 안면의 각 영역의 거리를 감지하여 감지된 값을 안면인식 데이터처리부(16)에 제공한다(S16).In addition, in the authentication mode, the distance sensor 14 detects the distance of each area of the user's face and provides the detected value to the face recognition data processor 16 (S16).

이에, 안면인식데이터 처리부는 제어부(10)의 제어에 따라, 카메라모듈(12)로 촬상된 안면 이미지의 2차원적 특성과 거리감지 센서부(14)로 감지된 안면의 3 차원 특성을 추출하여 사용자 인증부(18)에 제공하며, 사용자 인증부(18)는 감지값들과 인증데이터 저장부(20)에 저장된 데이터를 상호 비교한다(S18).Accordingly, the face recognition data processing unit extracts the two-dimensional characteristics of the facial image captured by the camera module 12 and the three-dimensional characteristics of the face detected by the distance sensor 14 under the control of the controller 10. Provided to the user authentication unit 18, the user authentication unit 18 compares the detection values and the data stored in the authentication data storage unit 20 (S18).

이에, 저장된 값과 감지된 값이 일치하는 경우 사용자 인증부(18)는 제어부(10)에 인증이 완료되었음을 통보하고(S20), 그 값이 일치하지 아니하는 경우엔 인증에 실패하였음을 통보한다(S22).Accordingly, if the stored value and the detected value match, the user authentication unit 18 notifies the control unit 10 that the authentication is completed (S20), and if the value does not match, notifies that the authentication failed. (S22).

도 3은 본 발명에 따른 사용자 인증기능을 갖는 이동통신단말기의 사용 상태도로서, 카메라모듈(12)과 거리감지 센서부(14)의 설치 상태를 예시한 것이다.3 is a state diagram of a mobile communication terminal having a user authentication function according to the present invention, illustrating an installation state of the camera module 12 and the distance sensor unit 14.

본 발명의 사용자 인증기능을 수행하는 이동통신단말기는, 본체(100)의 일 영역에 카메라모듈(12)의 카메라렌즈(112)가 사용자 안면 촬상이 가능한 영역에 설치되고, 카메라렌즈(112)의 인접 영역에는 거리감지 센서부(14)의 적외선 센서(114)가 복수개 설치된다. 이에 따라, 사용자의 안면을 촬영한 동일한 위치에서 사용자 안면 각부의 거리를 측정할 수 있음으로 촬상된 안면 이미지의 크기와 안면 각부의 거리 간의 상관관계를 이용하거나, 촬상된 안면 이미지에 감지된 거리값을 매칭시켜 안면을 인식함으로써 더 정확한 데이터를 수집하는 것도 가능하다.The mobile communication terminal performing the user authentication function of the present invention, the camera lens 112 of the camera module 12 in one area of the main body 100 is installed in the area where the user can image the face, the camera lens 112 In the adjacent area, a plurality of infrared sensors 114 of the distance sensor unit 14 are provided. Accordingly, the distance of the user's face parts can be measured at the same location where the user's face is photographed, so that the correlation between the size of the captured face image and the distance of the face parts can be measured, or the distance value detected in the captured face image. It is also possible to collect more accurate data by matching the face to recognize the face.

도 4는 본 발명의 다른 실시예에 따른 이동통신단말기의 사용자 인증방법의 흐름도로서, 도 3의 이동통신단말기의 적외선 센서(114)를 이용하여 사용자 안면을 인식하는 방법을 예시한 것이다.4 is a flowchart illustrating a user authentication method of a mobile communication terminal according to another embodiment of the present invention, which illustrates a method of recognizing a user's face using the infrared sensor 114 of the mobile communication terminal of FIG. 3.

사용자 인증모드에 돌입하면, 4개의 적외선 센서(114)가 활성화되어 사용자의 안면에 적외선을 발산한다(S40).When entering the user authentication mode, four infrared sensors 114 are activated to emit infrared rays to the user's face (S40).

거리감지 센서부(14)는 사용자 안면에서 반사된 각 적외선을 수신하여 거리 를 산출하고, 산출된 값 중 최대값(Max)과 최소값(Min)을 저장한다(S42). 여기서, 사용자 안면의 거리는 발신된 적외선의 속도와 반사되어 수신되는데 걸린 시간을 이용하여 산출될 수 있다. 이를 수식으로 나타내면 다음과 같다.The distance sensor 14 receives the infrared rays reflected from the user's face to calculate the distance, and stores the maximum value Max and the minimum value Min of the calculated values (S42). Here, the distance of the user's face may be calculated using the speed of the transmitted infrared rays and the time taken to reflect the received infrared rays. The equation is expressed as follows.

<수식><Formula>

Figure 112007021823221-pat00001
Figure 112007021823221-pat00001

이에, 각 적외선 센서(114) 별로 감지된 안면 거리를 산출한 후, 그 중 최대값(Max)과 최소값(Min)을 저장한다.Thus, after calculating the detected facial distance for each infrared sensor 114, the maximum value (Max) and the minimum value (Min) of them are stored.

사용자 인증부(18)는 최대값(Max)과 최소값(Min)의 차가 기준값, 예컨대, 0.5cm 보다 큰 값인지 여부를 판단한다(S44). 여기서, 기준값은 인증데이터 저장부(20)에 저장될 수 있으며, 본 실시 예에서는 기준값을 0.5cm인 경우를 예시하여, 감지된 사용자의 안면이 사진이나 영상이 아닌 3차원 입체인지 여부를 판단하고 있다. The user authentication unit 18 determines whether the difference between the maximum value Max and the minimum value Min is a reference value, for example, a value larger than 0.5 cm (S44). Here, the reference value may be stored in the authentication data storage unit 20. In the present exemplary embodiment, the reference value is 0.5 cm to determine whether the detected user's face is a 3D stereoscopic image rather than a photograph or an image. have.

이에, 최대값(Max)과 최소값(Min)의 차가 0.5cm보다 작거나 같은 경우, 안면 인식 대상이 된 피사체가 2차원 이미지, 즉, 사진이나 동영상인 것으로 판단하여 사용자 인증에 실패한 것으로 처리한다(S52).Accordingly, when the difference between the maximum value Max and the minimum value Min is less than or equal to 0.5 cm, the object to be recognized as a face recognition object is determined to be a two-dimensional image, that is, a picture or a video, and the user authentication is failed. S52).

한편, 최대값(Max)과 최소값(Min)의 차가 0.5cm보다 큰 경우, 안면 인식 대상이 된 피사체가 3차원 즉, 실제 사용자의 안면인 것으로 판단하여, 카메라모듈(12)로 촬상된 안면 이미지를 통한 안면 인식기능을 실행한다(S46).On the other hand, if the difference between the maximum value (Max) and the minimum value (Min) is greater than 0.5 cm, it is determined that the subject to be the face recognition object is three-dimensional, that is, the actual user's face, the face image captured by the camera module 12 The facial recognition function is executed through (S46).

이에, 사용자 인증부(18)는 촬상된 안면 이미지와 인증데이터 저장부(20)에 저장된 안면인식 데이터를 비교한다(S48). Thus, the user authentication unit 18 compares the captured facial image with the facial recognition data stored in the authentication data storage unit 20 (S48).

비교 결과, 촬상된 안면 이미지가 저장된 데이터와 일치하는 경우 사용자 인증에 성공한 것으로 처리하여(S50), 사용자가 정당한 사용자임을 인증한다.As a result of the comparison, if the captured facial image matches the stored data, the user authentication is successful (S50), thereby authenticating that the user is a legitimate user.

그리고, 촬상된 안면 이미지가 저장된 데이터와 일치하지 아니하는 경우 사용자 인증에 실패한 것으로 처리하여(S52), 사용자가 사용자 인증을 다시 시도할지 여부를 선택하도록 한다(S54).If the captured facial image does not match the stored data, the user authentication is failed (S52), and the user selects whether to retry user authentication (S54).

이상 설명한 바와 같이, 본 실시 예에서는 거리감지 센서부를 통해 감지된 사용자 안면의 거리에 따라, 안면인식 대상이 된 피사체가 3차원의 실제 얼굴인지 여부를 판단하도록 하고 있다. 이에 따라, 간단한 구성과 프로세스만으로 사용자 사진이나 영상 등을 이용한 불법적인 사용자 인증 시도록 방지하여 안면 인식을 통한 사용자 인증의 신뢰도를 향상시키고 있다.As described above, according to the present embodiment, it is determined whether or not a subject that is a face recognition target is a 3D real face according to the distance of the user's face detected through the distance sensor. Accordingly, it is possible to prevent illegal user authentication using a user photo or video by simple configuration and process, thereby improving reliability of user authentication through facial recognition.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the scope of the appended claims, as well as the appended claims.

이상에서 설명한 바와 같이 본 발명의 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자 인증방법은, 안면 인식 대상이 된 피사체와의 거리를 감지하는 간 단한 구성으로 사용자 안면의 3차원 특성을 인식하여 사용자를 인증하도록 하고 있다.As described above, the mobile communication terminal having the user authentication function and the user authentication method of the present invention recognize the three-dimensional characteristics of the user's face with a simple configuration of detecting a distance from a subject which is a face recognition target. I am trying to authenticate.

이에 따라, 간단한 구성으로도 사용자 안면 인식을 통한 사용자 인증기능의 신뢰도를 향상시킬 수 있다.Accordingly, even with a simple configuration, it is possible to improve the reliability of the user authentication function through user face recognition.

Claims (8)

사용자 안면의 복수의 영역에 대한 거리를 감지하는 단계와;Sensing distances to a plurality of areas of a user's face; 상기 감지된 사용자 안면의 거리값들 중 최대값과 최소값을 저장하는 단계와;Storing a maximum value and a minimum value among the detected distance values of the user's face; 상기 최대값과 최소값의 차가 기 저장된 기준값보다 큰 경우, 사용자의 안면이 3차원이라고 판단하는 단계와;Determining that the user's face is three-dimensional when the difference between the maximum value and the minimum value is larger than a previously stored reference value; 상기 사용자의 안면이 3차원이라고 판단되는 경우, 촬상된 사용자 안면의 2차원 이미지를 기 저장된 정보와 비교하여 사용자를 인증하는 단계를 포함하는 것을 특징으로 하는 이동통신단말기의 사용자 인증방법.And if the face of the user is determined to be three-dimensional, authenticating the user by comparing a two-dimensional image of the photographed face of the user with previously stored information. 삭제delete 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 사용자의 안면이 3차원이라고 판단되는 경우, 촬상된 사용자 안면의 2차원 이미지를 기 저장된 정보와 비교하여 사용자를 인증하는 단계는,If it is determined that the user's face is three-dimensional, the step of authenticating the user by comparing the two-dimensional image of the photographed user's face with previously stored information, 상기 사용자 안면의 2차원 이미지에서, 눈, 코, 입 등의 패턴 크기를 측정하는 단계와;Measuring a pattern size of an eye, a nose, a mouth, etc. in the two-dimensional image of the user's face; 상기 패턴 크기와 기 저장된 정보와 비교하여 사용자를 인증하는 단계를 포함하는 것을 특징으로 하는 이동통신단말기의 사용자 인증방법.And authenticating the user by comparing the pattern size with pre-stored information. 사용자 안면을 2차원 이미지로 촬상하는 카메라모듈과;A camera module for photographing a user's face as a two-dimensional image; 상기 사용자 안면의 복수의 영역에 대한 거리를 감지하는 거리감지 센서부와;A distance sensor unit for sensing distances of a plurality of areas of the user's face; 상기 감지된 사용자 안면의 거리값들 중 최대값과 최소값을 저장하는 안면인식 데이터처리부와;A face recognition data processor configured to store a maximum value and a minimum value among the detected distance values of the user's face; 상기 최대값과 최소값의 차가 기 저장된 기준값보다 큰 경우 사용자의 안면이 3차원이라고 판단하고, 상기 사용자의 안면이 3차원인 경우 상기 카메라모듈을 통해 촬상된 사용자 안면의 2차원 이미지를 기 저장된 정보와 비교하여 사용자를 인증하는 사용자 인증부를 포함하는 것을 특징으로 하는 사용자 인증기능을 갖는 이동통신단말기.If the difference between the maximum value and the minimum value is larger than the previously stored reference value, it is determined that the user's face is three-dimensional, and when the user's face is three-dimensional, the two-dimensional image of the user's face photographed through the camera module is stored with the previously stored information. A mobile communication terminal having a user authentication function, characterized in that it comprises a user authentication unit for authenticating a user. 제 5 항에 있어서,6. The method of claim 5, 상기 거리 감지센서부는,The distance sensor unit, 적외선 센서, 초음파 센서, 열감지 센서 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 사용자 인증기능을 갖는 이동통신단말기.A mobile communication terminal having a user authentication function, characterized in that it comprises at least one of an infrared sensor, an ultrasonic sensor, a thermal sensor. 삭제delete 삭제delete
KR1020070026725A 2007-03-19 2007-03-19 Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same KR101362597B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070026725A KR101362597B1 (en) 2007-03-19 2007-03-19 Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070026725A KR101362597B1 (en) 2007-03-19 2007-03-19 Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same

Publications (2)

Publication Number Publication Date
KR20080085353A KR20080085353A (en) 2008-09-24
KR101362597B1 true KR101362597B1 (en) 2014-02-12

Family

ID=40025090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070026725A KR101362597B1 (en) 2007-03-19 2007-03-19 Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same

Country Status (1)

Country Link
KR (1) KR101362597B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051665A1 (en) * 2017-09-13 2019-03-21 深圳传音通讯有限公司 Start control method and start control system for smart terminal

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095375B2 (en) 2008-07-09 2018-10-09 Apple Inc. Adding a contact to a home screen
US9697346B2 (en) * 2012-03-06 2017-07-04 Cisco Technology, Inc. Method and apparatus for identifying and associating devices using visual recognition
US10354004B2 (en) * 2012-06-07 2019-07-16 Apple Inc. Intelligent presentation of documents
KR102461042B1 (en) * 2015-02-12 2022-11-01 삼성전자주식회사 Payment processing method and electronic device supporting the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040151A (en) * 2004-07-29 2006-02-09 Toshiba Corp Face authentication device, face authentication method, and passage control device
JP2006221422A (en) * 2005-02-10 2006-08-24 Fuji Electric Device Technology Co Ltd Personal identification device
KR20060101255A (en) * 2005-03-15 2006-09-22 오므론 가부시키가이샤 Face authentication apparatus and control method thereof, electronic device having the same, control program of the same, and recording medium on which said control program is recorded

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040151A (en) * 2004-07-29 2006-02-09 Toshiba Corp Face authentication device, face authentication method, and passage control device
JP2006221422A (en) * 2005-02-10 2006-08-24 Fuji Electric Device Technology Co Ltd Personal identification device
KR20060101255A (en) * 2005-03-15 2006-09-22 오므론 가부시키가이샤 Face authentication apparatus and control method thereof, electronic device having the same, control program of the same, and recording medium on which said control program is recorded

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051665A1 (en) * 2017-09-13 2019-03-21 深圳传音通讯有限公司 Start control method and start control system for smart terminal

Also Published As

Publication number Publication date
KR20080085353A (en) 2008-09-24

Similar Documents

Publication Publication Date Title
US20210287026A1 (en) Method and apparatus with liveness verification
US8422746B2 (en) Face authentication system and authentication method thereof
US8493178B2 (en) Forged face detecting method and apparatus thereof
US8515124B2 (en) Method and apparatus for determining fake image
US20100158319A1 (en) Method and apparatus for fake-face detection using range information
US20160078271A1 (en) Touchless fingerprinting acquisition and processing application for mobile devices
CN107392137B (en) Face recognition method and device
US11314966B2 (en) Facial anti-spoofing method using variances in image properties
JP4760049B2 (en) Face authentication device, face authentication method, electronic device incorporating the face authentication device, and recording medium recording the face authentication program
WO2018042996A1 (en) Lifeform sensing device
KR101724971B1 (en) System for recognizing face using wide angle camera and method for recognizing face thereof
WO2010070745A1 (en) Biometric authentication device and biometric authentication method
KR101444538B1 (en) 3d face recognition system and method for face recognition of thterof
KR101362597B1 (en) Mobile Communication Terminal with User Authentication Function and Method of User Authentication the same
KR20210062381A (en) Liveness test method and liveness test apparatus, biometrics authentication method and biometrics authentication apparatus
US20220044014A1 (en) Iris authentication device, iris authentication method and recording medium
KR20150069799A (en) Method for certifying face and apparatus thereof
KR101919138B1 (en) Method and apparatus for remote multi biometric
KR20130133676A (en) Method and apparatus for user authentication using face recognition througth camera
EP3724815B1 (en) Anti-spoofing face id sensing based on retro-reflection
KR101718244B1 (en) Apparatus and method of processing wide angle image for recognizing face
WO2021084643A1 (en) Authentication apparatus, authentication method, and recording medium
KR20170136692A (en) Authentication method for portable secure authentication apparatus with improved security for fake fingerprints
KR102483647B1 (en) Method and device to verify liveness
KR102386918B1 (en) Device and method for authenticating mobile user based on Artificial Intelligence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190123

Year of fee payment: 6