KR102215522B1 - System and method for authenticating user - Google Patents

System and method for authenticating user Download PDF

Info

Publication number
KR102215522B1
KR102215522B1 KR1020190038583A KR20190038583A KR102215522B1 KR 102215522 B1 KR102215522 B1 KR 102215522B1 KR 1020190038583 A KR1020190038583 A KR 1020190038583A KR 20190038583 A KR20190038583 A KR 20190038583A KR 102215522 B1 KR102215522 B1 KR 102215522B1
Authority
KR
South Korea
Prior art keywords
face
biometric
subject
user authentication
registered
Prior art date
Application number
KR1020190038583A
Other languages
Korean (ko)
Other versions
KR20200116758A (en
Inventor
김성은
김성무
김종원
김연수
김제모
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020190038583A priority Critical patent/KR102215522B1/en
Publication of KR20200116758A publication Critical patent/KR20200116758A/en
Application granted granted Critical
Publication of KR102215522B1 publication Critical patent/KR102215522B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 기술은 사용자 인증 시스템 및 방법에 관한 것이다. 본 기술의 구체적인 예에 따르면, 등록 대상자의 딥러닝을 이용한 얼굴 학습 정보와 실시간으로 제공받은 인식 대상자의 얼굴 영상을 토대로 인식 대상자의 얼굴을 이용한 사용자 인증과 등록 대상자의 생체 인지 정보와 실시간으로 제공받은 인식 대상자의 생체 인식 영상을 토대로 인식 대상자의 생체를 이용한 사용자 인증을 결합하여 사용자 인증을 수행함에 따라 사용자 인증에 대한 정확도를 근본적으로 향상시킬 수 있고, 이에 대한 보안성을 강화할 수 있다.The present technology relates to a user authentication system and method. According to a specific example of this technology, based on face learning information using deep learning of the registered subject and the face image of the subject to be recognized in real time, user authentication using the face of the subject to be recognized, biometric information of the subject to be registered, and real-time As user authentication is performed by combining the user authentication using the biometrics of the subject to be recognized based on the biometric image of the subject to be recognized, the accuracy of the user authentication can be fundamentally improved and security for this can be enhanced.

Description

사용자 인증 시스템 및 방법{SYSTEM AND METHOD FOR AUTHENTICATING USER}User authentication system and method {SYSTEM AND METHOD FOR AUTHENTICATING USER}

본 발명은 사용자 인증 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 인식 대상자의 얼굴 인식에 의한 사용자 인증과 인식 대상자의 생체에 의한 사용자 인증을 결합하여 사용자 인증을 수행함에 따라 사용자 인증에 대한 정확성을 극대화할 수 있는 기술에 관한 것이다.The present invention relates to a user authentication system and method, and more particularly, to maximize the accuracy of user authentication by performing user authentication by combining the user authentication by face recognition of the recognition target and the user authentication by the body of the recognition target. It's about the skills you can do.

조직, 특히 소셜 네트워킹, 직장 직무들 등에서의 사람들의 그룹으로부터 그들의 얼굴들을 식별하고 식별된 얼굴 인식으로 사용자 인증을 수행하는 방법은 매우 바람직할 것이다. A method of identifying their faces from a group of people in an organization, especially social networking, workplace duties, etc. and performing user authentication with identified face recognition would be highly desirable.

이를 위해 많은 얼굴 인식 알고리즘들이 존재하지만, 이들 대부분의 제한 양상은, 고려중인 비교를 위한 특성들 모두가 주어지는 경우에 알고리즘을 작동시키기 위해 요구되는 많은 시간의 양 및 연산 파워가 필요하다.There are many facial recognition algorithms for this, but most of these limiting aspects require a large amount of time and computational power required to operate the algorithm given all of the characteristics for comparison under consideration.

또한, 영상처리를 이용한 인식 시스템을 구성할 때 가장 해결하기 어려운 문제 중 하나가 인식 및 처리하고자 하는 대상을 적절한 해상도로 획득하기 힘들다는 점이다. In addition, one of the most difficult problems to solve when constructing a recognition system using image processing is that it is difficult to obtain an object to be recognized and processed with an appropriate resolution.

이로 인해 대부분의 영상 인식 시스템들이 실험실이나 제한된 환경 하에서만 구현됨으로써 고가의 하드웨어 세팅을 필요로 하거나 일반적인 환경에서는 제대로 동작하지 못하는 결과를 가져왔다.As a result, most of the image recognition systems are implemented only in a laboratory or in a limited environment, resulting in requiring expensive hardware settings or not operating properly in a general environment.

선행문헌(특허출원 제2004-0094984)는 사용자 인증을 위해 얼굴 내의 홍체 정보를 이용하는 기술로서, 카메라로부터 얼굴 내의 홍채를 인식하기 위해 고가의 카메라 외 부가 장비가 필요하게 되는 바, 경비가 상승되는 문제점이 여전히 존재하였다.Prior literature (Patent Application No. 2004-0094984) is a technology that uses iris information in the face for user authentication. In order to recognize the iris in the face from the camera, expensive additional equipment other than the camera is required, which increases the cost. This still existed.

본 발명은 등록 대상자의 딥러닝을 이용한 얼굴 학습 정보와 실시간으로 제공받은 인식 대상자의 얼굴 영상을 토대로 인식 대상자의 얼굴을 이용한 사용자 인증과 등록 대상자의 생체 인지 정보와 실시간으로 제공받은 인식 대상자의 생체 인식 영상을 토대로 인식 대상자의 생체를 이용한 사용자 인증을 결합하여 사용자 인증을 수행함에 따라 사용자 인증에 대한 정확도를 근본적으로 향상시킬 수 있고, 이에 대한 보안성을 강화할 수 있는 사용자 인증 시스템 및 방법을 제공하고자 함에 있다. The present invention is based on face learning information using deep learning of the registered subject and the face image of the subject to be recognized in real time, based on user authentication using the face of the subject to be recognized, biometric information of the subject to be registered, and biometric recognition of the subject to be recognized in real time. It is intended to provide a user authentication system and method that can fundamentally improve the accuracy of user authentication and enhance security by combining user authentication using the biometrics of the person to be recognized based on the image. have.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects and advantages of the present invention that are not mentioned can be understood by the following description, and will be more clearly understood by examples of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by means and combinations thereof indicated in the claims.

일 실시 예의 사용자 인증 시스템은,The user authentication system of an embodiment,

카메라를 통해 수신된 등록 대상자의 얼굴 영상에 대해 서브그룹별 주성분분석(PCA: Principal Component Analysis) 및 딥러닝 기법을 이용하여 학습하는 등록 대상자의 얼굴 학습 정보를 데이터베이스에 저장하는 얼굴 인식 장치; A face recognition device for storing face learning information of a registered subject in a database, which is learned by using Principal Component Analysis (PCA) and deep learning techniques for each subgroup of the face image of the registered subject received through the camera;

생체 입력부를 통해 수신된 등록 대상자의 생체 인식 영상에 대해 생체 인지 정보를 추출한 다음 생성된 생체 인식 정보를 데이터베이스에 저장하는 생체 인식 장치; 를 포함하고, A biometric recognition device for extracting biometric information from a biometric image of a registered subject received through a biometric input unit and then storing the generated biometric information in a database; Including,

상기 카메라를 통해 수신된 인식 대상자의 얼굴 영상과 상기 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴에 대한 사용자 인증을 수행하고, User authentication is performed on the face of the subject to be recognized based on the face image of the subject to be recognized received through the camera and the face learning information of the subject to be registered,

상기 인식 대상자의 얼굴에 대한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하며,When user authentication for the face of the person to be recognized is successful, a driving signal in the form of a pulse is generated and transmitted to the biometric input unit,

상기 생체 입력부를 통해 수신된 인식 대상자의 생체 인식 영상과 등록 대상자의 생체 인식 정보를 기반으로 인식 대상자의ㅏ 생체에 대한 사용자 인증을 수행하는 제어부를 더 포함할 수 있다. It may further include a control unit that performs user authentication on the biometrics of the person to be recognized based on the biometric image of the person to be recognized and the biometric information of the person to be registered, received through the biometric input unit.

일 실시 예에 따르면, 상기 얼굴 인식 장치는, According to an embodiment, the face recognition device,

상기 PCA 특징 벡터 도출 알고리즘을 이용하여 카메라로부터 획득된 등록 대상자의 얼굴 영상에서 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역를 추출하고, Using the PCA feature vector derivation algorithm, extracting the face feature vector and the face learning region of the registered subject from the face image of the registered subject obtained from the camera,

AdaBoost 학습 알고리즘을 이용하여 상기 등록 대상자의 얼굴 학습 영역에 대해 딥러닝을 이용한 학습을 수행하여 등록 대상자의 얼굴 학습 정보를 도출한 다음 데이터베이스에 저장하는 것을 포함할 수 있다.It may include performing learning using deep learning on the face learning region of the registered subject using the AdaBoost learning algorithm to derive facial learning information of the registered subject and then storing it in a database.

일 실시 예에 따르면 상기 제어부는,According to an embodiment, the control unit,

상기 인식 대상자의 얼굴 영상과 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴을 이용한 사용자 인증을 수행하고.Performing user authentication using the face of the subject to be recognized based on the face image of the subject to be recognized and face learning information of the subject to be registered.

상기 인식 대상자의 얼굴을 이용한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하며,When user authentication using the face of the person to be recognized is successful, a driving signal in the form of a pulse is generated and transmitted to the biometric input unit,

상기 생체 입력부를 통해 획득된 상기 인식 대상자의 생체 인식 영상 및 등록 대상자의 생체 인식 정보를 토대로 상기 인식 대상자의 생체를 이용한 사용자 인증을 수행하며,Performing user authentication using the biometrics of the recognition target based on the biometric image of the recognition target acquired through the biometric input unit and the biometric recognition information of the registration target,

상기 인식 대상자의 생체를 이용한 사용자 인증 실폐 시 카운터를 증가하고 증가된 카운터의 카운팅값이 소정값에 도달하면 경고 메시지를 생성하도록 구비될 수 있다.It may be provided to increase the counter when user authentication using the biometric of the person to be recognized fails, and to generate a warning message when the counting value of the increased counter reaches a predetermined value.

일 실시 예에 따른 사용자 인증 방법은, User authentication method according to an embodiment,

카메라를 통해 수신된 등록 대상자의 얼굴 영상에 대해 서브그룹별 주성분분석(PCA: Principal Component Analysis) 및 딥러닝 기법을 이용하여 학습하는 등록 대상자의 얼굴 학습 정보를 데이터베이스에 저장하는 얼굴 인식 단계;A face recognition step of storing, in a database, face learning information of the registered subject, which is learned by using Principal Component Analysis (PCA) and deep learning techniques for each subgroup of the face image of the registered subject received through the camera;

생체 입력부를 통해 수신된 등록 대상자의 생체 인식 영상에 대해 생체 인지 정보를 추출한 다음 생성된 생체 인식 정보를 데이터베이스에 저장하는 생체 인식 단계 를 포함하고, A biometric recognition step of extracting biometric information from a biometric image of a registered subject received through a biometric input unit and then storing the generated biometric information in a database,

상기 카메라를 통해 수신된 인식 대상자의 얼굴 영상과 상기 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴에 대한 사용자 인증을 수행하고, 상기 인식 대상자의 얼굴에 대한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하며, 상기 생체 입력부를 통해 수신된 인식 대상자의 생체 인식 영상과 등록 대상자의 생체 인식 정보를 기반으로 인식 대상자의 생체에 대한 사용자 인증을 수행하는 제어단계를 포함할 수 있다.A driving signal in the form of a pulse when user authentication is performed on the face of the person to be recognized based on the face image of the person to be recognized received through the camera and the face learning information of the person to be registered. And a control step of generating and transmitting to the biometric input unit, and performing user authentication for the biometric of the subject to be recognized based on the biometric image of the subject to be recognized and the biometric information of the subject to be registered, received through the biometric input unit. have.

일 실시 예에 따르면, 상기 얼굴 인식 단계는, According to an embodiment, the face recognition step,

상기 PCA 특징 벡터 도출 알고리즘을 이용하여 카메라로부터 획득된 등록 대상자의 얼굴 영상에서 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역를 추출하는 단계;Extracting a face feature vector and a face learning region of the registered subject from the face image of the registered subject obtained from a camera using the PCA feature vector derivation algorithm;

AdaBoost 학습 알고리즘을 이용하여 상기 등록 대상자의 얼굴 학습 영역에 대해 딥러닝을 이용한 학습을 수행하여 등록 대상자의 얼굴 학습 정보를 도출한 다음 데이터베이스에 저장하는 단계를 포함할 수 있다.It may include the step of deriving facial learning information of the registered subject by performing learning using deep learning on the face learning region of the registered subject using an AdaBoost learning algorithm, and then storing it in a database.

일 실시 예에 따르면 상기 제어단계는According to an embodiment, the control step

상기 인식 대상자의 얼굴 영상과 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴을 이용한 사용자 인증을 수행하는 단계;Performing user authentication using the face of the recognition target based on the face image of the recognition target and face learning information of the registration target;

상기 인식 대상자의 얼굴을 이용한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하는 단계; 및Generating a driving signal in the form of a pulse when user authentication using the face of the person to be recognized is successful and transmitting it to the biometric input unit; And

상기 생체 입력부를 통해 획득된 상기 인식 대상자의 생체 인식 영상 및 등록 대상자의 생체 인식 정보를 토대로 상기 인식 대상자의 생체를 이용한 사용자 인증을 수행하여 인식 대상자의 생체를 이용한 사용자 인증 실폐 시 경고 메시지를 생성하고 외부로 전달하는 단계를 포함할 수 있다.Generates a warning message when user authentication fails using the biometrics of the recognition target by performing user authentication using the biometrics of the recognition target based on the biometric image of the recognition target acquired through the biometric input unit and the biometric information of the registration target, and It may include transferring to the outside.

일 실시 예에 따른 상기 제어 단계는,The control step according to an embodiment,

상기 인식 대상자의 생체를 이용한 사용자 인증 실폐 시 카운터를 증가하고 증가된 카운터의 카운팅값이 소정값에 도달하면 경고 메시지를 생성하는 단계를 더 포함할 수 있다.The step of generating a warning message when the user authentication failure using the biometrics of the recognition target person fails, and when the counting value of the increased counter reaches a predetermined value.

일 실시 예에 따르면, 등록 대상자의 딥러닝을 이용한 얼굴 학습 정보와 실시간으로 제공받은 인식 대상자의 얼굴 영상을 토대로 인식 대상자의 얼굴을 이용한 사용자 인증과 등록 대상자의 생체 인지 정보와 실시간으로 제공받은 인식 대상자의 생체 인식 정보를 토대로 인식 대상자의 생체를 이용한 사용자 인증을 결합하여 사용자 인증을 수행함에 따라 사용자 인증에 대한 정확도를 근본적으로 향상시킬 수 있고, 이에 대한 보안성을 강화할 수 있다.According to an embodiment, based on face learning information using deep learning of the registered subject and the face image of the subject to be recognized in real time, user authentication using the face of the subject to be recognized, biometric information of the subject to be registered, and the subject receiving recognition in real time As user authentication is performed by combining user authentication using the biometrics of the person to be recognized based on the biometric information of, the accuracy of user authentication can be fundamentally improved, and security for this can be enhanced.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시 예의 사용자 인증 시스템의 구성도이다.
도 2는 일 실시 예에 따른 사용자 인증 과정을 보인 전체 흐름도이다.The following drawings appended in the present specification illustrate preferred embodiments of the present invention, and serve to further understand the technical idea of the present invention together with the detailed description of the present invention to be described later, so the present invention is described in such drawings. It is limited to and should not be interpreted.
1 is a configuration diagram of a user authentication system according to an embodiment.
2 is an overall flowchart illustrating a user authentication process according to an embodiment.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present specification are only used to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present specification should be interpreted as generally understood by those of ordinary skill in the technical field to which the present invention belongs, unless otherwise defined in the present specification, and excessively comprehensive It should not be construed as a person or an excessively reduced meaning In addition, when a technical term used in the present specification is an incorrect technical term that does not accurately express the spirit of the present invention, it will be replaced with a technical term that can be correctly understood by those skilled in the art to be understood. In addition, general terms used in the present invention should be interpreted as defined in the dictionary or according to the context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present specification includes a plurality of expressions, unless the context clearly indicates otherwise. In the present application, terms such as "consist of" or "include" should not be construed as necessarily including all of the various elements or various steps described in the specification, and some of the elements or some steps It may not be included, or it should be interpreted that it may further include additional elements or steps.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used herein may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected or connected to the other component, but another component may exist in the middle. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것 일뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted. In addition, in describing the present invention, when it is determined that a detailed description of a related known technology may obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only intended to facilitate understanding of the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings. The spirit of the present invention should be construed as extending to all changes, equivalents, or substitutes in addition to the accompanying drawings.

본 발명은 다각도 카메라를 통해 획득된 등록 대상 얼굴에 대해 PCA 특징 벡터 알고리즘을 통해 등록 얼굴 특징 벡터를 추출하고, 추출된 등록 얼굴 특징 벡터로 입력 얼굴 영상에 대해 딥 러닝 학습을 통해 얼굴 인식을 수행하는 얼굴 인식 알고리즘과 획득된 인체의 생체 신호에 대한 생체 인식 알고리즘을 결합하여 사용자 인증을 수행하는 구성을 갖춘다. 일 실시 예에 따른 사용자 인증 결과는 개인 컴퓨터로의 진입 통제 수단, 개인 휴대 단말의 사용 통제 수단, 인터넷 서비스에의 접속 통제 수단, 보안 시설에의 출입 통제 수단 등 다양하게 적용되어 사용될 수 있다.The present invention extracts a registered facial feature vector through a PCA feature vector algorithm for a registered face acquired through a multi-angle camera, and performs face recognition through deep learning learning on an input face image with the extracted registered facial feature vector. It has a configuration that performs user authentication by combining a face recognition algorithm and a biometric recognition algorithm for the obtained human body signal. The user authentication result according to an embodiment may be applied in various ways such as a means for controlling access to a personal computer, a means for controlling use of a personal portable terminal, a means for controlling access to an Internet service, a means for controlling access to a security facility, and the like.

도 1은 본 발명의 실시 예에 따른 사용자 인증 시스템의 구성도로서, 도 1을 참조하면, 본 발명의 실시 예에 따른 사용자 인증 은, 얼굴 인식 알고리즘을 이용한 인증 성공한 인식 대상자의 생체 정보를 이용하여 사용자 인증을 수행함에 따라 사용자 인증에 대한 정확도를 향상시킬 수 있도록 구비되고, 이러한 사용자 인증 시스템은 얼굴 인식 장치(110), 생체 인식 장치(120), 및 제어부(130)를 포함할 수 있다. 1 is a configuration diagram of a user authentication system according to an exemplary embodiment of the present invention. Referring to FIG. 1, user authentication according to an exemplary embodiment of the present invention uses biometric information of a recognition target who has successfully authenticated using a face recognition algorithm. As the user authentication is performed, the user authentication system is provided to improve the accuracy of user authentication, and the user authentication system may include a face recognition device 110, a biometric recognition device 120, and a control unit 130.

얼굴 인식 장치(110)는 카메라(111)로 수집된 등록 대상자 영상 중 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역을 추출하는 얼굴 검출부(112) 및 얼굴 검출부(112)에서 추출된 등록 대상자의 얼굴 학습 영역에 대해 딥러닝 기반으로 학습하여 데이터베이스(114)에 저장하는 얼굴 학습부(113)와, 상기 카메라(111)로 수집된 인식 대상자의 영상과 데이터베이스(114)에 기록된 등록 대상자의 얼굴 학습 정보를 비교 분석하여 인식 대상자에 대한 사용자 인증을 수행하는 사용자 인증부(115)를 포함할 수 있다.The face recognition apparatus 110 learns the face of the registered subject extracted from the face detection unit 112 and the face detection unit 112 extracting a facial feature vector and a face learning region of the registered subject from among the registered subject images collected by the camera 111 A face learning unit 113 that learns about a region based on deep learning and stores it in the database 114, and the image of the recognition subject collected by the camera 111 and the face learning information of the registered subject recorded in the database 114 It may include a user authentication unit 115 that performs user authentication for a person to be recognized by comparing and analyzing.

여기서 카메라(111)는 적어도 하나의 IP 카메라를 구비되고 IP 카메라는 유무선 인터넷 등에 연결하여 사용할 수 있는 디지털 카메라로 카메라 모듈, 디코더, 영상 압축 칩, CPU, 네트워크 전송 칩 등으로 구성될 수 있다.Here, the camera 111 is provided with at least one IP camera, and the IP camera is a digital camera that can be used by connecting to the wired or wireless Internet, and may include a camera module, a decoder, an image compression chip, a CPU, and a network transmission chip.

또한, 얼굴 검출부(112)는 Haar-Cascade 얼굴 검출 알고리즘을 이용하여 카메라의 다각도 얼굴 촬영 영상에서 등록 대상 얼굴을 추출하되, 서브그룹별 주성분분석(PCA: Principal Component Analysis) 기법을 이용하여 등록 대상자의 얼굴 특징 벡터를 검출하고, AdaBoost 학습 알고리즘을 이용하여 다각도 얼굴 촬영 영상에서 등록 대상자의 얼굴 학습 영역을 추출할 수 있다. 이에 PCA 기법을 이용하는 경우 얼굴 검출부(112)는 서브그룹의 데이터 사이즈에 상관없이 각 서브그룹의 고유특성을 효과적으로 반영하면서 서브 그룹의 학습 시 오버피팅되지 아니한다.In addition, the face detection unit 112 extracts the face to be registered from the multi-angle face photographing image of the camera using the Haar-Cascade face detection algorithm, and uses a principal component analysis (PCA) technique for each subgroup. A facial feature vector may be detected, and a face learning region of a registered subject may be extracted from a multi-angle face photographed image using an AdaBoost learning algorithm. Accordingly, when the PCA technique is used, the face detection unit 112 effectively reflects the unique characteristics of each subgroup regardless of the data size of the subgroup, and does not overfitting during learning of the subgroup.

한편, 얼굴 학습부(113)은 얼굴 검출부(112)에서 추출된 등록 대상자의 얼굴학습 영역에 대해 딥러닝 기법을 이용하여 학습하고 얼굴 학습 정보를 생성하되, 일 실시 예에서 딥러닝 기법은 CNN 학습법을 일례로 설명하고 있으나, 이에 한정하지 아니한다. 여기서 상기 CNN 학습법은 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 토대로 컨볼루션 연산을 수행하여 등록 대상 얼굴의 특징 이미지를 생성하고, 상기 등록 대상 얼굴의 특징 이미지를 sub sampling 연산하여 등록 대상 얼굴의 특징 집약 이미지를 획득하며, 상기 등록 대상 얼굴의 특징 집약 이미지를 fully connect 연산을 통해 등록 대상 얼굴의 특징 벡터로 구성하여 상기 등록 대상 얼굴의 특징 벡터 및 역전파 신경망 알고리즘을 토대로 얼굴 검출부(112)에서 추출된 얼굴을 학습하는 방법일 수 있다.Meanwhile, the face learning unit 113 learns the face learning region of the registered subject extracted from the face detection unit 112 using a deep learning technique and generates face learning information. In one embodiment, the deep learning technique is a CNN learning method. Although described as an example, it is not limited thereto. Here, the CNN learning method generates a feature image of a face to be registered by performing a convolution operation based on the multi-angle face photographing image and a feature extraction filter, and collects features of the face to be registered by sub-sampling the feature image of the face to be registered. An image is acquired, and the feature-intensive image of the face to be registered is configured as a feature vector of the face to be registered through a fully connect operation, and extracted from the face detection unit 112 based on the feature vector of the face to be registered and a backpropagation neural network algorithm. It could be a way to learn a face.

또한 얼굴 학습부(113)의 얼굴 학습 정보는 다각도 얼굴 촬영 영상, 상기 등록 대상자의 얼굴 특징, 상기 등록 대상자의 얼굴 학습 영역, 상기 등록 대상자의 얼굴 특징 이미지, 상기 등록 대상자의 얼굴 특징 집약 이미지, 상기 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 정보 중 적어도 어느 하나 이상일 수 있다. In addition, the face learning information of the face learning unit 113 includes a multi-angle face photographing image, a facial feature of the registration target, a face learning region of the registration target, a facial feature image of the registration target, a facial feature aggregate image of the registration target, and the It may be at least one or more of a facial feature vector and facial learning information of a registration target.

얼굴 인식 장치(110)는 데이터베이스(114)를 더 포함하고, 이러한 등록 대상자의 얼굴 학습 정보는 등록 대상자 영상과 매칭시켜 데이터베이스(114)에 저장될 수 있다. The face recognition apparatus 110 further includes a database 114, and the face learning information of the registered subject may be matched with an image of the registered subject and stored in the database 114.

한편, 카메라(111)에 의거 실시간으로 수집된 인식 대상자 영상은 PCA 알고리즘 및 Haar-Cascade 얼굴 검출 알고리즘을 사용하여 인식 대상자의 얼굴 특징 벡터와 학습하고자 하는 얼굴 학습 영역을 검출하고, 상기 검출된 인식 대상자의 얼굴 학습 영역과 데이터베이스(114)에 저장된 등록 대상자의 얼굴 학습 정보를 비교 및 분석할 수 있다.Meanwhile, the recognition target image collected in real time based on the camera 111 detects the face feature vector of the recognition target and the face learning region to be learned using the PCA algorithm and the Haar-Cascade face detection algorithm, and the detected recognition target person It is possible to compare and analyze the face learning area of the patient and the face learning information of the registered subject stored in the database 114.

얼굴 사용자 인증부(115)는 실시간으로 획득한 인식 대상자의 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상자의 얼굴 특징 이미지를 생성하고, 상기 인식 대상자의 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상자의 얼굴 특징 집약 이미지를 획득하며, 상기 인식 대상자의 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상자의 얼굴 특징 벡터로 구성하여, 상기 인식 대상자의 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상자의 얼굴 영상과 상기 등록 대상자의 얼굴 학습 정보를 비교 및 분석할 수 있다.The face user authentication unit 115 generates a face feature image of the subject to be recognized by performing a convolution operation on the face image of the subject to be recognized acquired in real time and a feature extraction filter, and performs a sub sampling operation on the face feature image of the subject to be recognized. Acquires the face feature-intensive image of the subject to be recognized, and configures the face feature-intensive image of the subject to be recognized as a face feature vector of the subject to be recognized through a fully connect operation, and the face feature vector of the subject to be recognized and the back propagation neural network algorithm It is possible to compare and analyze the face image of the subject to be recognized acquired in real time with the face learning information of the subject to be registered.

이에 얼굴 사용자 인증부(115)는 상기 카메라(111)로 수집된 인식 대상자의 얼굴 영상과 데이터베이스(114)에 기록된 등록 대상자의 얼굴 학습 정보를 비교 분석하여 인식 대상자에 대한 사용자 인증을 수행할 수 있다. 여기서, 얼굴 사용자 인증부(115)는 인식 대상자의 얼굴 학습 영역과 데이터베이스(114)에 기록된 등록 대상자의 얼굴 학습 정보가 일치하는 경우 인식 대상 얼굴의 사용자 인증 성공으로 판단할 수 있고, 인식 대상자의 얼굴 학습 영역과 데이터베이스(114)에 기록된 등록 대상자의 얼굴 학습 정보가 일치하지 아니한 경우 인식 대상자에 대한 사용자 인증 실패로 판단할 수 있다. 이러한 얼굴 사용자 인증부(115)의 인증 결과는 제어부(130)로 전달된다.Accordingly, the face user authentication unit 115 may perform user authentication for the recognition target person by comparing and analyzing the face image of the person to be recognized collected by the camera 111 and the face learning information of the person to be registered recorded in the database 114. have. Here, the face user authentication unit 115 may determine that the user authentication of the face to be recognized is successful when the face learning region of the recognition subject and the face learning information of the registered subject recorded in the database 114 match. When the face learning region and the face learning information of the registered subject recorded in the database 114 do not match, it may be determined that the user authentication failed for the recognition subject. The authentication result of the face user authentication unit 115 is transmitted to the control unit 130.

이에 제어부(130)는 얼굴 인식 장치(110)의 사용자 인증 결과 인증 성공인 경우 생체 인식 장치(120)로 인증 성공한 인식 대상자의 생체 정보를 이용한 사용자 인증을 수행하기 위한 구동 신호를 생성하여 전달할 수 있다.Accordingly, the controller 130 may generate and transmit a driving signal for performing user authentication using the biometric information of the recognition target who has successfully authenticated with the biometric device 120 when the authentication is successful as a result of user authentication by the face recognition device 110. .

또한 생체 인식 장치(120)는 제어부(130)의 구동 신호에 의거 응답한 인식 대상자의 생체 영상 및 기 등록된 생체 인식 정보를 이용하여 인식 대상자의 사용자 인증을 수행할 수 있으며, 구동 신호는 펄스 형태로 생성될 수 있다.In addition, the biometric recognition device 120 may perform user authentication of the recognition target person using a biometric image of the recognition target person responding to the driving signal of the control unit 130 and previously registered biometric recognition information, and the driving signal is in the form of a pulse. Can be created with

이에 생체 인식 장치(120)는 생체 입력부(121), 생체 검출부(122), 데이터베이스(123), 및 사용자 인증부(124)를 포함할 수 있다. 여기서, 생체 입력부(121)는 등록 대상의 지문 및 홍체 등의 생체 인식을 수행하여 등록 대상자의 생체 인식 영상을 생체 검출부(122)로 전달할 수 있다. Accordingly, the biometric recognition device 120 may include a biometric input unit 121, a biometric detection unit 122, a database 123, and a user authentication unit 124. Here, the biometric input unit 121 may perform biometric recognition such as a fingerprint and an iris of an object to be registered to transmit a biometric image of the person to be registered to the biometric detection unit 122.

생체 검출부(122)는 생체 인식의 인증 지표가 되는 등록 대상자의 생체 인식 정보를 추출한 다음 추출된 등록 대상자의 생체 인식 정보는 데이터베이스(123)에 등록 대상자의 생체 인식 영상과 매칭시켜 저장될 수 있다. The biometric detection unit 122 may extract biometric information of a subject to be registered, which is an authentication index of biometric recognition, and then store the extracted biometric information of the subject to be registered in the database 123 by matching the biometric image of the subject to be registered.

한편, 생체 사용자 인증부(124)는 등록된 생체 인식 정보와 제어부(130)의 구동 신호에 의거 응답하여 생체 입력부(121)로부터 제공된 생체 인식 영상과 데이터베이스(123)에 등록된 등록 대상자의 생체 인식 정보 간의 정합 정도에 따라 사용자 인증을 수행한다. 즉, 정합 정도가 소정 문턱값 이상이면 인식 대상자에 대해 인증 성공으로 판정하고, 그렇지 않으면 인증 실패로 판정될 수 있다.Meanwhile, the biometric user authentication unit 124 provides a biometric image provided from the biometric input unit 121 in response to the registered biometric information and a driving signal from the control unit 130 and the biometric recognition of the registered subject registered in the database 123. User authentication is performed according to the degree of matching between information. That is, if the degree of matching is equal to or greater than a predetermined threshold, it may be determined that the person to be recognized is authenticated as successful, otherwise it may be determined as authentication failure.

이러한 생체 사용자 인증부(124)의 사용자 인증 결과는 제어부(130)로 전달되고, 이에 제어부(130)는 생체 사용자 인증부(124)의 인증 결과를 외부로 전달할 수 있다. The user authentication result of the biometric user authentication unit 124 is transmitted to the controller 130, and the controller 130 may transmit the authentication result of the biometric user authentication unit 124 to the outside.

이에 일실시 예는 다각도 카메라를 통해 획득된 등록 대상 얼굴에 대해 PCA 특징 벡터 알고리즘을 통해 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역을 추출하고, 추출된 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역에 대해 딥 러닝 학습을 통해 등록 대상자의 얼굴 학습 정보를 도출하며, 도출된 등록 대상자의 얼굴 학습 정보 및 실시간으로 획득된 인식 대상자의 얼굴 영상을 기반으로 수행되는 얼굴 인식 알고리즘과 얼굴 인증 성공한 인식 대상자의 생체 신호에 대한 생체 인식 알고리즘을 결합하여 인식 대상자의 사용자 인증을 수행함에 따라 사용자 인증 결과에 따른 정확도를 향상시킬 수 있고, 이에 보안성을 극대화할 수 있다. Accordingly, one embodiment extracts a face feature vector and a face learning region of a registered subject through a PCA feature vector algorithm for a face to be registered acquired through a multi-angle camera, and extracts the face feature vector and a face learning region of the registered subject. Facial recognition algorithm and biosignals of the recognition target who have succeeded in face authentication and derive facial learning information of the registered subject through deep learning learning, and based on the derived facial learning information of the registered subject and the face image of the recognition subject acquired in real time By combining the biometric recognition algorithm for and performing the user authentication of the person to be recognized, the accuracy according to the user authentication result can be improved, thereby maximizing security.

도 2는 도 1에 도시된 사용자 인증 시스템에 의해 인식 대상자의 사용자 인증을 수행하는 동작을 설명하기 위한 흐름도이다. 일실시예에 따른 사용자 인증 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다. 상기 프로그램은 아이템 추천 방법을 저장한 응용 프로그램, 디바이스 드라이버, 펌웨어, 미들웨어, 동적 링크 라이브러리(DLL) 및 애플릿 중 적어도 하나를 포함할 수 있다. 사용자 인증 시스템는 하나의 프로세서를 포함하고, 프로세서는 사용자 인증 방법이 기록된 기록 매체를 판독함으로써, 사용자 인증 방법을 실행할수 있다. 예를 들어, 사용자 인증 방법은 사용자 인증 시스템에 의해 수행될 수 있다.FIG. 2 is a flowchart illustrating an operation of performing user authentication of a recognized target person by the user authentication system illustrated in FIG. 1. A computer-readable recording medium in which a program for executing a user authentication method according to an embodiment is recorded may be provided. The program may include at least one of an application program storing an item recommendation method, a device driver, firmware, middleware, a dynamic link library (DLL), and an applet. The user authentication system includes one processor, and the processor can execute the user authentication method by reading a recording medium on which the user authentication method is recorded. For example, the user authentication method may be performed by a user authentication system.

도 2를 참조하면, 단계(S11 내지 S14)에서, 사용자 인증 시스템은 다각도 카메라를 통해 등록 대상자의 얼굴 영상을 획득하고, 획득된 등록 대상자의 얼굴 영상에 대해 PCA 특징 벡터 알고리즘을 통해 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역을 추출하며, 추출된 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역에 대해 딥러닝을 이용한 학습을 수행하여 등록 대상의 얼굴 학습 정보를 도출한 다음 도출된 등록 대상의 얼굴 학습 정보를 저장할 수 있다.Referring to FIG. 2, in steps S11 to S14, the user authentication system acquires a face image of a person to be registered through a multi-angle camera, and a face image of a person to be registered through a PCA feature vector algorithm for the face image of the person to be registered. Feature vectors and facial learning areas are extracted, and facial feature vectors and facial learning areas of the extracted registration targets are learned using deep learning to derive facial learning information of the registration target, and then derived facial learning information of the registration target. Can be saved.

한편, 단계(S21 내지 S23)에서, 사용자 인증 시스템은 등록 대상자의 생체 입력부에 의거 수집된 생체 인지 영상 중 생체 인지 정보를 추출하고 추출된 생체 인지 정보를 생체 인지 영상과 매칭시켜 저장할 수 있다.Meanwhile, in steps S21 to S23, the user authentication system may extract the biometric information from the biometric images collected based on the biometric input unit of the person to be registered, and match the extracted biometric information with the biometric image and store it.

이 후 단계(S31)에서, 사용자 인증 시스템은 카메라를 통해 획득된 인식 대상자의 얼굴 영상을 획득한 다음 획득된 인식 대상자의 얼굴 영상과 등록 대상자의 얼굴 학습 정보와 비교 분석을 통해 인식 대상자에 대한 사용자 인증을 수행할 수 있다.Thereafter, in step S31, the user authentication system acquires the face image of the recognition target acquired through the camera, and then compares the acquired face image of the recognition target with the face learning information of the registered target and analyzes the user for the recognition target. Authentication can be performed.

그리고, 단계(S32)에서 사용자 인증 성공인 경우 사용자 인증 시스템은 단계(S33)에서 펄스 형태의 구동 신호를 생성하여 생체 입력부로 전달하고, 단계(S34)에서, 생체 입력부를 통해 입력된 인식 대상자의 생체 인식 영상과 단계(S23)에서 등록된 생체 인식 정보와의 비교 분석을 통해 인식 대상자의 생체를 이용한 사용자 인증이 수행된다.And, if the user authentication is successful in step (S32), the user authentication system generates a driving signal in the form of a pulse in step (S33) and delivers it to the biometric input unit, and in step (S34), the recognition target input through the biometric input unit is User authentication using the biometrics of the person to be recognized is performed through a comparison analysis between the biometric image and the biometric information registered in step S23.

단계(S35)에서, 사용자 인증 결과 인식 대상자의 생체를 이용한 사용자 인증이 성공인 경우 사용자 인증 시스템은 단계(S36)에서 사용자 인증 결과를 외부로 출력할 수 있다. In step S35, if the user authentication result using the biometrics of the person to be recognized is successful, the user authentication system may output the user authentication result to the outside in step S36.

그러나, 단계(S35)에서 사용자 인증 결과 인식 대상자의 생체를 이용한 사용자 인증 실패인 경우 단계(S36 및 S38)에서, 사용자 인증 시스템은 기 정해진 카운터의 카운팅값을 증가한 다음 증가된 카운팅값이 소정값에 도달한 경우 경고 메시지를 발생할 수 있다. However, in the case of failure of user authentication using the biometric of the person to be recognized as a result of user authentication in step S35, in steps S36 and S38, the user authentication system increases the counting value of the predetermined counter, and then the increased counting value reaches a predetermined value. If reached, a warning message can be raised.

이에 일 실시 예에 따르면, 다각도 카메라를 통해 획득된 등록 대상 얼굴에 대해 PCA 특징 벡터 알고리즘을 통해 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역을 추출하고, 추출된 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역에 대해 딥 러닝 학습을 통해 등록 대상자의 얼굴 학습 정보를 도출하며, 도출된 등록 대상자의 얼굴 학습 정보 및 실시간으로 획득된 인식 대상자의 얼굴 영상을 기반으로 수행되는 얼굴 인식 알고리즘과 얼굴 인증 성공한 인식 대상자의 생체 신호에 대한 생체 인식 알고리즘을 결합하여 인식 대상자의 사용자 인증을 수행함에 따라 사용자 인증 결과에 따른 정확도를 향상시킬 수 있고, 이에 보안성을 극대화할 수 있다.Accordingly, according to an embodiment, a facial feature vector and a face learning region of the registered subject are extracted through a PCA feature vector algorithm for a face to be registered acquired through a multi-angle camera, and the facial feature vector and a face learning region of the registered subject are extracted. The face learning information of the registered subject is derived through deep learning learning, and the face recognition algorithm and face authentication are performed based on the derived face learning information of the registered subject and the face image of the recognition subject acquired in real time. By combining a biometric algorithm for a biometric signal to perform user authentication of a person to be recognized, accuracy according to a user authentication result can be improved, thereby maximizing security.

이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the preferred embodiments of the present invention, those skilled in the art will be able to variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can.

다각도 카메라를 통해 획득된 등록 대상 얼굴에 대해 PCA 특징 벡터 알고리즘을 통해 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역을 추출하고, 추출된 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역에 대해 딥 러닝 학습을 통해 등록 대상자의 얼굴 학습 정보를 도출하며, 도출된 등록 대상자의 얼굴 학습 정보 및 실시간으로 획득된 인식 대상자의 얼굴 영상을 기반으로 수행되는 얼굴 인식 알고리즘과 얼굴 인증 성공한 인식 대상자의 생체 신호에 대한 생체 인식 알고리즘을 결합하여 인식 대상자의 사용자 인증을 수행함에 따라 사용자 인증 결과에 따른 정확도를 향상시킬 수 있고, 이에 보안성을 극대화할 수 있는 사용자 인증 시스템 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 인증 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.The facial feature vectors and facial learning regions of the registered subjects are extracted through PCA feature vector algorithms for the faces to be registered acquired through multi-angle cameras, and the extracted facial feature vectors and face learning regions of the registered subjects are learned through deep learning. A face recognition algorithm that derives the face learning information of the registered subject, and is performed based on the derived face learning information of the registered subject and the face image of the recognition subject acquired in real time, and a biometric recognition algorithm for the biosignal of the recognition subject with successful face authentication The accuracy and reliability of the operation of the user authentication system and method that can maximize security can be improved by performing user authentication of the target person to be recognized, and furthermore, performance efficiency. It is an invention that has great industrial applicability because it can bring very great progress in the aspect, and the possibility of marketing or sales of the authentication device is sufficient, as well as the degree to be practically obvious.

Claims (7)

카메라를 통해 수신된 등록 대상자의 얼굴 영상에 대해 서브그룹별 주성분분석(PCA: Principal Component Analysis) 및 딥러닝 기법을 이용하여 학습하는 등록 대상자의 얼굴 학습 정보를 데이터베이스에 저장하는 얼굴 인식 장치;
생체 입력부를 통해 수신된 등록 대상자의 생체 인식 영상에 대해 생체 인지 정보를 추출한 다음 생성된 생체 인식 정보를 데이터베이스에 저장하는 생체 인식 장치; 를 포함하고,
상기 카메라를 통해 수신된 인식 대상자의 얼굴 영상과 상기 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴에 대한 사용자 인증을 수행하고, 상기 인식 대상자의 얼굴에 대한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하며, 상기 생체 입력부를 통해 수신된 인식 대상자의 생체 인식 영상과 등록 대상자의 생체 인식 정보를 기반으로 인식 대상자의 생체에 대한 사용자 인증을 수행하는 제어부를 더 포함하고,
상기 제어부는,
상기 인식 대상자의 얼굴 영상과 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴을 이용한 사용자 인증을 수행하고,
상기 인식 대상자의 얼굴을 이용한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하며,
상기 생체 입력부를 통해 획득된 상기 인식 대상자의 생체 인식 영상 및 등록 대상자의 생체 인식 정보를 토대로 상기 인식 대상자의 생체를 이용한 사용자 인증을 수행하며,
상기 인식 대상자의 생체를 이용한 사용자 인증 실패 시 카운터를 증가하고 증가된 카운터의 카운팅값이 소정값에 도달하면 경고 메시지를 생성하도록 구비되는 것을 특징으로 하는 사용자 인증 시스템. A face recognition device for storing face learning information of a registered subject in a database, which is learned by using Principal Component Analysis (PCA) and deep learning techniques for each subgroup of the face image of the registered subject received through the camera;
A biometric recognition device for extracting biometric information from a biometric image of a registered subject received through a biometric input unit and then storing the generated biometric information in a database; Including,
A driving signal in the form of a pulse when user authentication is performed on the face of the person to be recognized based on the face image of the person to be recognized received through the camera and the face learning information of the person to be registered. And a control unit configured to generate and deliver to the biometric input unit, and perform user authentication for the biometric of the person to be recognized based on the biometric image of the person to be recognized and the biometric information of the person to be registered, received through the biometric input unit,
The control unit,
Perform user authentication using the face of the recognition target based on the face image of the recognition target and the face learning information of the registration target,
When user authentication using the face of the person to be recognized is successful, a driving signal in the form of a pulse is generated and transmitted to the biometric input unit,
Performing user authentication using the biometrics of the subject to be recognized based on the biometric image of the subject to be recognized acquired through the biometric input unit and biometric information of the subject to be registered,
And generating a warning message when a user authentication failure using the biometrics of the subject to be recognized increases a counter and when a counting value of the increased counter reaches a predetermined value. 제1항에 있어서, 상기 얼굴 인식 장치는,
PCA(Principal Component Analysis) 특징 벡터 도출 알고리즘을 이용하여 카메라로부터 획득된 등록 대상자의 얼굴 영상에서 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역를 추출하고,
AdaBoost 학습 알고리즘을 이용하여 상기 등록 대상자의 얼굴 학습 영역에 대해 딥러닝을 이용한 학습을 수행하여 등록 대상자의 얼굴 학습 정보를 도출한 다음 데이터베이스에 저장하는 것을 포함하는 것을 특징으로 하는 사용자 인증 시스템.The method of claim 1, wherein the face recognition device,
Using a PCA (Principal Component Analysis) feature vector derivation algorithm, the facial feature vector of the registered subject and the face learning region are extracted from the registered subject’s face image acquired from the camera,
And derive facial learning information of the registered subject by performing learning using deep learning on the face learning region of the registered subject using an AdaBoost learning algorithm, and then storing the subject’s face learning information in a database. 삭제delete 카메라를 통해 수신된 등록 대상자의 얼굴 영상에 대해 서브그룹별 주성분분석(PCA: Principal Component Analysis) 및 딥러닝 기법을 이용하여 학습하는 등록 대상자의 얼굴 학습 정보를 데이터베이스에 저장하는 얼굴 인식 단계;
생체 입력부를 통해 수신된 등록 대상자의 생체 인식 영상에 대해 생체 인지 정보를 추출한 다음 생성된 생체 인식 정보를 데이터베이스에 저장하는 생체 인식 단계;를 포함하고,
상기 카메라를 통해 수신된 인식 대상자의 얼굴 영상과 상기 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴에 대한 사용자 인증을 수행하고, 상기 인식 대상자의 얼굴에 대한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하며, 상기 생체 입력부를 통해 수신된 인식 대상자의 생체 인식 영상과 등록 대상자의 생체 인식 정보를 기반으로 인식 대상자의 생체에 대한 사용자 인증을 수행하는 제어단계를 포함하고,
상기 제어단계는,
상기 인식 대상자의 얼굴 영상과 등록 대상자의 얼굴 학습 정보를 기반으로 인식 대상자의 얼굴을 이용한 사용자 인증을 수행하는 단계;
상기 인식 대상자의 얼굴을 이용한 사용자 인증 성공 시 펄스 형태의 구동 신호를 생성하여 상기 생체 입력부로 전달하는 단계; 및
상기 생체 입력부를 통해 획득된 상기 인식 대상자의 생체 인식 영상 및 등록 대상자의 생체 인식 정보를 토대로 상기 인식 대상자의 생체를 이용한 사용자 인증을 수행하여 인식 대상자의 생체를 이용한 사용자 인증 실패 시 경고 메시지를 생성하고 외부로 전달하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.A face recognition step of storing, in a database, face learning information of the registered subject, which is learned by using Principal Component Analysis (PCA) and deep learning techniques for each subgroup of the face image of the registered subject received through the camera;
A biometric recognition step of extracting biometric information from a biometric image of a registered subject received through a biometric input unit and then storing the generated biometric information in a database; including,
A driving signal in the form of a pulse when user authentication is performed on the face of the person to be recognized based on the face image of the person to be recognized received through the camera and the face learning information of the person to be registered. And a control step of generating and transmitting to the biometric input unit, and performing user authentication for the biometric of the subject to be recognized based on the biometric image of the subject to be recognized and the biometric information of the subject to be registered, received through the biometric input unit,
The control step,
Performing user authentication using the face of the recognition target based on the face image of the recognition target and face learning information of the registration target;
Generating a driving signal in the form of a pulse when user authentication using the face of the person to be recognized is successful, and transmitting it to the biometric input unit; And
Generates a warning message when user authentication fails using the biometrics of the recognition target by performing user authentication using the biometrics of the recognition target based on the biometric image of the recognition target acquired through the biometric input unit and the biometric information of the registration target, and User authentication method comprising the step of transmitting to the outside. 제4항에 있어서, 상기 얼굴 인식 단계는,
PCA 특징 벡터 도출 알고리즘을 이용하여 카메라로부터 획득된 등록 대상자의 얼굴 영상에서 등록 대상자의 얼굴 특징 벡터 및 얼굴 학습 영역를 추출하는 단계;
AdaBoost 학습 알고리즘을 이용하여 상기 등록 대상자의 얼굴 학습 영역에 대해 딥러닝을 이용한 학습을 수행하여 등록 대상자의 얼굴 학습 정보를 도출한 다음 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.The method of claim 4, wherein the face recognition step,
Extracting a face feature vector and a face learning region of the registered subject from the face image of the registered subject obtained from the camera using a PCA feature vector derivation algorithm;
And deriving facial learning information of the registered subject by performing learning using deep learning on the face learning area of the registered subject using an AdaBoost learning algorithm, and storing the subject’s face learning information in a database. 삭제delete 제4항에 있어서, 상기 제어단계는,
상기 인식 대상자의 생체를 이용한 사용자 인증 실패 시 카운터를 증가하고 증가된 카운터의 카운팅값이 소정값에 도달하면 경고 메시지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인증 방법.



The method of claim 4, wherein the controlling step,
And generating a warning message when user authentication fails by using the biometric of the person to be recognized, and when the counting value of the increased counter reaches a predetermined value.
KR1020190038583A 2019-04-02 2019-04-02 System and method for authenticating user KR102215522B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190038583A KR102215522B1 (en) 2019-04-02 2019-04-02 System and method for authenticating user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190038583A KR102215522B1 (en) 2019-04-02 2019-04-02 System and method for authenticating user

Publications (2)

Publication Number Publication Date
KR20200116758A KR20200116758A (en) 2020-10-13
KR102215522B1 true KR102215522B1 (en) 2021-02-16

Family

ID=72884933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190038583A KR102215522B1 (en) 2019-04-02 2019-04-02 System and method for authenticating user

Country Status (1)

Country Link
KR (1) KR102215522B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758575B1 (en) 2016-11-14 2017-07-26 이선관 Method and system for financial payment using mobile devices
KR102263768B1 (en) * 2020-11-09 2021-06-11 주식회사 고스트패스 System for identity authentication using biometric information of user
KR102391076B1 (en) * 2021-09-07 2022-04-27 주식회사 브리즈랩 System and method of blocking ransomware based on biometric

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734849B1 (en) * 2005-11-26 2007-07-03 한국전자통신연구원 Method for recognizing face and apparatus thereof
KR101962203B1 (en) * 2017-03-10 2019-03-27 크루셜텍 (주) Non-contact multi biometric verification method using multi biometric data and multi biometric apparatus

Also Published As

Publication number Publication date
KR20200116758A (en) 2020-10-13

Similar Documents

Publication Publication Date Title
US10565433B2 (en) Age invariant face recognition using convolutional neural networks and set distances
US10650261B2 (en) System and method for identifying re-photographed images
US20220284732A1 (en) Iris liveness detection for mobile devices
Sahoo et al. Multimodal biometric person authentication: A review
CN105612533B (en) Living body detection method, living body detection system, and computer program product
Sasidhar et al. Multimodal biometric systems-study to improve accuracy and performance
KR102215522B1 (en) System and method for authenticating user
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
Masupha et al. Face recognition techniques, their advantages, disadvantages and performance evaluation
El Khiyari et al. Age invariant face recognition using convolutional neural networks and set distances
JP2019057815A (en) Monitoring system
KR101724971B1 (en) System for recognizing face using wide angle camera and method for recognizing face thereof
CN110612530A (en) Method for selecting a frame for use in face processing
KR20190093799A (en) Real-time missing person recognition system using cctv and method thereof
Kotwal et al. Multispectral deep embeddings as a countermeasure to custom silicone mask presentation attacks
KR102063745B1 (en) Apparatus and method for user identifying based on face profiling
KR20120114934A (en) A face recognition system for user authentication of an unmanned receipt system
JP4887966B2 (en) Verification device
CN109409322B (en) Living body detection method and device, face recognition method and face detection system
KR102596462B1 (en) Access control authentication system and method capable of measuring heart rate using multi-modal sensor
JP2018092272A (en) Biometric authentication apparatus, biometric authentication method and program
KR101718244B1 (en) Apparatus and method of processing wide angle image for recognizing face
Shaker et al. Identification Based on Iris Detection Technique.
KR20210050649A (en) Face verifying method of mobile device
Srivastava et al. Face Verification System with Liveness Detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant