KR20220147993A - identification system and method using landmark of face front and side - Google Patents

identification system and method using landmark of face front and side Download PDF

Info

Publication number
KR20220147993A
KR20220147993A KR1020210055192A KR20210055192A KR20220147993A KR 20220147993 A KR20220147993 A KR 20220147993A KR 1020210055192 A KR1020210055192 A KR 1020210055192A KR 20210055192 A KR20210055192 A KR 20210055192A KR 20220147993 A KR20220147993 A KR 20220147993A
Authority
KR
South Korea
Prior art keywords
data
expected
face
feature
image data
Prior art date
Application number
KR1020210055192A
Other languages
Korean (ko)
Inventor
김용태
홍윤택
Original Assignee
주식회사 와이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이티 filed Critical 주식회사 와이티
Priority to KR1020210055192A priority Critical patent/KR20220147993A/en
Publication of KR20220147993A publication Critical patent/KR20220147993A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

An identification system using front face and side landmarks, according to the present invention, comprises: a data collection unit which collects, in real-time, video data and basic data of an objective person under identification; a feature extraction unit which extracts features from the video data and generates feature data; a learning unit which learns and generates expected data from the basic data; an analysis unit which compares and analyzes the feature data and expected data to check an identity of the person; and an output unit which outputs the result of identification. According to the present invention, even in the case of a person who wears a mask, identification can be carried out by using the wrinkles of the ears and a part of the person's face. Accordingly, an identity of the person can be checked.

Description

얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템 및 그 방법{identification system and method using landmark of face front and side}Identification system and method using landmark of face front and side

본 발명은 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템 및 그 방법에 관한 것으로, 특히 마스크를 착용한 사람의 경우에도 마스크를 쓴 상태에서 신원확인이 가능하게하기 위하여 귀의 주름 및 얼굴의 일부만을 이용하여 신원을 확인할 수 있는 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템 및 그 방법에 관한 것이다.The present invention relates to an identification system and method using front and side landmarks of the face, and in particular, in the case of a person wearing a mask, using only the folds of the ear and a part of the face to enable identification while wearing a mask It relates to an identification system and method therefor using face, front and side landmarks that can confirm identity.

데이터 보안 기술 중, 특히 사용자 자신이 통제권을 갖는 다양한 생체인식 기술을 기반으로 하는 인증 솔루션에 대한 관심이 증대하고 있으며, 공지된 생체인식 기술로는 지문, 홍채, 안면인식 등이 있다.Among data security technologies, in particular, interest in authentication solutions based on various biometric technologies over which users themselves have control is increasing, and known biometric technologies include fingerprint, iris, and face recognition.

이중, 안면인식(Face Recognition)기술은 얼굴의 특징점을 추출하여 저장된 데이터베이스 내 자료와 비교하여 신원을 확인하는 기술을 가리키는 것으로, 사용자의 피부가 인증 장치와 직접적으로 접촉하지 않기 때문에 기존의 생체인식에 비해 위생적이고 편의성이 높아 다양한 분야에서 활용성이 기대된다.Among them, Face Recognition technology refers to a technology that extracts facial feature points and compares them with data in a stored database to confirm the identity. Compared to that, it is hygienic and convenient, so it is expected to be useful in various fields.

최근 영상 인식 기술의 발전으로 인해, 신원확인을 위한 수단으로서 얼굴 인식을 이용하는 얼굴 인식 기반 신원확인 기술이 활발히 개발되고 있다. 얼굴 인식의 경우 사용자가 신원확인을 위한 얼굴 인식 기기에 얼굴을 위치시키면 신원확인 동작이 수행되므로, 사용자 편의성이 매우 뛰어난 장점이 있다.Due to the recent development of image recognition technology, face recognition-based identification technology using face recognition as a means for identification has been actively developed. In the case of face recognition, when a user places a face on a face recognition device for identification, an identification operation is performed, so user convenience is very good.

그러나, 얼굴 인식 기반 신원확인 기술의 경우, 영상 내에 측면 얼굴만 포함되어 있거나 모자/안경/마스크 등으로 인하여 얼굴 영상(특히, 얼굴 정면부)에 일부 또는 전부의 가림이 존재하는 경우에 인식률이 저하되는 단점이 존재한다.However, in the case of face recognition-based identification technology, the recognition rate decreases when only a side face is included in the image or when some or all of the face image (especially the front part of the face) is occluded due to a hat/glasses/mask, etc. There are disadvantages to be

그러나, 현재기술 수준에서 안면인식 기술은 지문인식과 같은 타 생체인식 기술보다 오인식률(False Acceptance Rate)이 높은 편이며, 이에 신원 확인 수단이 아닌 보조수단으로 활용되어 왔다. 안면인식 기술의 오인식률을 해결하기 위해서는, 딥 러닝과 같은 인공지능(AI)기술을 이용하여 정확도를 높일 수 있는 지속적인 연구가 필요하다고 할 수 있다.However, at the current level of technology, facial recognition technology has a higher false acceptance rate than other biometric technologies such as fingerprint recognition, and has been used as an auxiliary means rather than a means of identification. In order to solve the misrecognition rate of facial recognition technology, it can be said that continuous research is needed to increase the accuracy by using artificial intelligence (AI) technology such as deep learning.

또한, 코로나19와 같은 상황이 전세계적으로 확대됨에 따라 마스크 사용이 일상생활화 되어가고 있어 마스크를 착용한 상태에서 신원확인을 할 수 있는 필요성이 대두되고 있다.In addition, as the situation such as Corona 19 expands around the world, the use of masks is becoming a daily life, and the need to verify identity while wearing a mask is emerging.

한국등록특허 제10-2139548호Korean Patent Registration No. 10-2139548

본 발명은 마스크를 착용한 사람의 경우에도 신원확인이 가능하게하기 위하여 귀의 주름 및 얼굴의 일부만을 이용하여 신원을 확인할 수 있는 것을 목적으로 한다.An object of the present invention is to be able to confirm the identity by using only the folds of the ear and a part of the face in order to enable identification even in the case of a person wearing a mask.

상기 과제를 달성하기 위한 본 발명에 따른 얼굴정면 및 측면 랜드마크를 이용한은, 신원확인자의 실시간 영상데이터 및 기초데이터를 수집하는 데이터수집부; 상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 특징추출부; 상기 기초데이터로부터 예상데이터를 학습하고 생성하는 학습부; 상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 분석부;및 상기 신원확인 결과를 출력하는 출력부;를 포함하는 점에 그 특징이 있다.A data collection unit for collecting real-time image data and basic data of an identity verifier using the face front and side landmarks according to the present invention for achieving the above object; a feature extracting unit for extracting features from the image data and generating feature data; a learning unit for learning and generating expected data from the basic data; It is characterized in that it includes; an analysis unit for confirming the identity by comparing and analyzing the characteristic data and the expected data; and an output unit for outputting the identification result.

여기서, 특히 상기 영상데이터는 얼굴 정면 데이터인 제1영상데이터 및 얼굴 측면 데이터인 제2영상데이터를 포함하고, 상기 기초데이터는 얼굴 정면 데이터인 제1기초데이터 및 얼굴 측면 데이터인 제2기초데이터를 포함하는 점에 그 특징이 있다.Here, in particular, the image data includes first image data that is face front data and second image data that is face side data, and the basic data includes first basic data that is face front data and second basic data that is face side data. It is characterized by inclusion.

여기서, 특히 상기 영상데이터의 노이즈를 제거하는 전처리부;를 더 포함하고, 상기 전처리부는, 상기 제1영상데이터 및 제2영상데이터의 노이즈를 제거하고 전처리된 영상데이터인 제1전처리데이터 및 제2전처리데이터를 생성하는 점에 그 특징이 있다.Here, in particular, a pre-processing unit for removing noise from the image data is further included, wherein the pre-processing unit includes first pre-processing data and second pre-processing image data that are pre-processed by removing noise from the first image data and the second image data. It is characterized in that it generates pre-processed data.

여기서, 특히 특징추출부는, 상기 제1전처리데이터 및 제2전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제1특징데이터 및 제2특징데이터를 생성하는 점에 그 특징이 있다.Here, in particular, the feature extraction unit is characterized in that it extracts features by using landmarks from the first pre-processed data and the second pre-processed data and generates the first feature data and the second feature data.

여기서, 특히 상기 학습부는, 상기 제1기초데이터 및 제2기초데이터로부터 영상데이터의 노이즈를 예상하고 학습하여 제1예상 전처리데이터 및 제2예상 전처리데이터를 생성하고, 상기 제1예상 전처리데이터 및 제2예상 전처리데이터에서 랜드마크를 이용해 특징을 학습하여 제1예상 특징데이터 및 제2예상 특징데이터를 생성하는 점에 그 특징이 있다.Here, in particular, the learning unit predicts and learns the noise of the image data from the first basic data and the second basic data to generate the first expected pre-processing data and the second expected pre-processing data, and the first expected pre-processing data and the second expected pre-processing data It is characterized in that the first predicted feature data and the second predicted feature data are generated by learning the features using landmarks in the second predicted pre-processing data.

여기서, 특히 상기 분석부는, 상기 제1특징데이터와 제1예상 특징데이터를 비교분석하여 정면결과 데이터를 생성하고, 상기 제2특징데이터와 제2예상 특징데이터를 비교분석하여 측면결과 데이터를 생성하고, 상기 정면결과 데이터 및 측면결과 데이터를 병합하여 신원을 확인하는 점에 그 특징이 있다.Here, in particular, the analysis unit generates front result data by comparing and analyzing the first characteristic data and the first expected characteristic data, and generates side result data by comparing and analyzing the second characteristic data and the second expected characteristic data, , it is characterized in that the identity is confirmed by merging the front result data and the side result data.

또한, 상기 과제를 달성하기 위한 본 발명에 따른 얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법은, 신원확인자의 실시간 영상데이터 및 기초데이터를 수집하는 단계; 상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 단계; 상기 기초데이터로부터 예상데이터를 학습하고 생성하는 단계; 상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 단계;및 상기 신원확인 결과를 출력하는 단계;를 포함하는 점에 그 특징이 있다.In addition, the identification method using the front and side landmarks of the face according to the present invention for achieving the above object, collecting the real-time image data and basic data of the identification; extracting features from the image data and generating feature data; learning and generating expected data from the basic data; Comparing and analyzing the characteristic data and the expected data to confirm the identity; and outputting the identification result; is characterized in that it includes.

여기서, 특히 상기 영상데이터는 얼굴 정면 데이터인 제1영상데이터 및 얼굴 측면 데이터인 제2영상데이터를 포함하고, 상기 기초데이터는 얼굴 정면 데이터인 제1기초데이터 및 얼굴 측면 데이터인 제2기초데이터를 포함하는 점에 그 특징이 있다.Here, in particular, the image data includes first image data that is face front data and second image data that is face side data, and the basic data includes first basic data that is face front data and second basic data that is face side data. It is characterized by inclusion.

여기서, 특히 상기 영상데이터의 노이즈를 제거하는 단계;를 더 포함하고, 상기 영상데이터의 노이즈를 제거하는 단계는, 상기 제1영상데이터 및 제2영상데이터의 노이즈를 제거하고 전처리된 영상데이터인 제1전처리데이터 및 제2전처리데이터를 생성하는 점에 그 특징이 있다.Here, in particular, removing the noise of the image data; further comprising the step of removing the noise of the image data, the first image data and the second image data to remove the noise and pre-processed image data It is characterized in that the first pre-processing data and the second pre-processing data are generated.

여기서, 특히 상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 단계;는, 상기 제1전처리데이터 및 제2전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제1특징데이터 및 제2특징데이터를 생성하는 점에 그 특징이 있다.Here, in particular, extracting features from the image data and generating feature data; extracting features using landmarks from the first pre-processing data and the second pre-processing data, and extracting the first feature data and the second feature data It is characterized by the point of creation.

여기서, 특히 상기 기초데이터로부터 예상데이터를 학습하고 생성하는 단계;는, 제1기초데이터 및 제2기초데이터로부터 영상데이터의 노이즈를 예상하여 학습하여 제1예상 전처리데이터 및 제2예상 전처리데이터를 생성하고, 제1예상 전처리데이터 및 제2예상 전처리데이터에서 랜드마크를 이용하여 특징을 학습하여 제1예상 특징데이터 및 제2예상 특징데이터를 생성하는 점에 그 특징이 있다.Here, in particular, the step of learning and generating expected data from the basic data; generating the first expected pre-processing data and the second expected pre-processing data by predicting and learning the noise of the image data from the first and second basic data It is characterized in that the first predicted feature data and the second predicted feature data are generated by learning the features using landmarks in the first predicted pre-processing data and the second predicted pre-processing data.

여기서, 특히 상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 단계;는, 상기 제1특징데이터와 제1예상 특징데이터를 비교분석하여 정면결과데이터를 생성하고, 상기 제2특징데이터와 제2예상 특징데이터를 비교분석하여 측면결과데이터를 생성하고, 상기 정면결과데이터 및 측면결과데이터를 병합하여 신원을 확인하는 점에 그 특징이 있다.Here, in particular, the step of confirming the identity by comparing and analyzing the feature data and the expected data; generates front result data by comparing and analyzing the first feature data and the first expected feature data, and the second feature data and the second feature data 2 It is characterized in that the side result data is generated by comparing and analyzed the expected characteristic data, and the identity is confirmed by merging the front result data and the side result data.

본 발명에 따르면, 마스크를 착용한 사람의 경우에도 신원확인이 가능하게하기 위하여 귀의 주름 및 얼굴의 일부만을 이용하여 신원을 확인할 수 있다.According to the present invention, even in the case of a person wearing a mask, the identity can be confirmed using only the folds of the ears and a part of the face in order to enable identification.

도 1은 본 발명의 일 실시 예인 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템을 도식화한 도면이다.
도 2는 본 발명의 일 실시 예인 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예인 얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법을 도식화한 도면이다.
도 4는 도 3의 얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법을 구체적으로 도식화한 도면이다.1 is a diagram schematically illustrating an identity verification system using a face front and side landmarks according to an embodiment of the present invention.
2 is a diagram showing the configuration of an identification system using the front face and side landmarks according to an embodiment of the present invention.
3 is a diagram schematically illustrating an identification method using the front face and side landmarks according to an embodiment of the present invention.
4 is a diagram schematically illustrating an identification method using the front face and side landmarks of FIG. 3 in detail.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

본 발명을 설명함에 있어 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from other components.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. In addition, in this specification, when a component is referred to as "connected" or "connected" with another component, the component may be directly connected or directly connected to the other component, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면에 의거하여 상세하게 설명하면 다음과 같다. Hereinafter, a preferred embodiment of the present invention will be described in detail based on the accompanying drawings.

도 1은 본 발명의 일 실시 예인 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템을 도식화한 도면이다.1 is a diagram schematically illustrating an identity verification system using a face front and side landmarks according to an embodiment of the present invention.

도 2는 본 발명의 일 실시 예인 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템의 구성을 도시한 도면이다.2 is a diagram showing the configuration of an identification system using the front face and side landmarks according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명에 따른 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템은 데이터수집부(110), 전처리부(120), 특징추출부(130), 학습부(140), 분석부(150) 및 출력부(160)를 포함하여 구성된다.1 and 2, the identification system using the front and side landmarks of the face according to the present invention is a data collection unit 110, a preprocessor 120, a feature extraction unit 130, a learning unit 140. , and an analysis unit 150 and an output unit 160 .

상기 데이터수집부(110)는 신원확인자의 실시간 영상데이터 및 기초데이터를 수집한다. The data collection unit 110 collects real-time image data and basic data of the identity verifier.

실시간 영상데이터는 카메라 3대(카메라1, 카메라2, 카메라3)로부터 수집된다. 상기 데이터수집부(110)는 상기 카메라1로부터 신원확인자의 정면 영상데이터를 수집한다. 상기 데이터수집부(110)는 상기 카메라2로부터 신원확인자의 좌측면 영상데이터를 수집한다. 상기 데이터수집부(110)는 상기 카메라3으로부터 신원확인자의 우측면 영상데이터를 수집한다. 보다 구체적으로 상기 좌측면 및 우측면 영상데이터는 귀 주름 데이터일 수 있다.Real-time image data is collected from three cameras (camera 1, camera 2, camera 3). The data collection unit 110 collects the front image data of the identity checker from the camera 1. The data collection unit 110 collects the image data of the left side of the identity verifier from the camera 2 . The data collection unit 110 collects the image data of the right side of the identity verifier from the camera 3 . More specifically, the left side and right side image data may be ear wrinkle data.

기초데이터는 신원확인자의 노이즈 없는 데이터이며, 카메라 3대(카메라1, 카메라2, 카메라3)로부터 기 수집되어 DB(10)에 저장된다. 여기서 노이즈 없는 데이터란 모자, 이어폰, 마스크, 안경 등의 착용없는 상태의 얼굴정면 및 측면데이터를 의미한다. 상기 데이터수집부(110)는 상기 카메라1로부터 신원확인자의 정면 기초데이터를 수집한다. 상기 데이터수집부(110)는 상기 카메라2로부터 신원확인자의 좌측면 기초데이터를 수집한다. 상기 데이터수집부(110)는 상기 카메라3으로부터 신원확인자의 우측면 기초데이터를 수집한다. 보다 구체적으로 상기 좌측면 및 우측면 영상데이터는 귀 주름 데이터일 수 있다.The basic data is noise-free data of the identity checker, and is pre-collected from three cameras (camera 1, camera 2, camera 3) and stored in the DB 10 . Here, the noise-free data means frontal and side data of the face in a state in which a hat, earphone, mask, glasses, etc. are not worn. The data collection unit 110 collects the frontal basic data of the identity verifier from the camera 1. The data collection unit 110 collects the basic data on the left side of the identity checker from the camera 2. The data collection unit 110 collects the basic data on the right side of the identity checker from the camera 3. More specifically, the left side and right side image data may be ear wrinkle data.

상기 데이터수집부(110)에 수집된 데이터들은 DB(10)에 저장된다.The data collected by the data collection unit 110 is stored in the DB 10 .

일 실시 예로 상기 영상데이터는 얼굴 정면 데이터인 제1영상데이터 및 얼굴 측면 데이터인 제2영상데이터를 포함할 수 있다. 얼굴 측면은 좌측면 및 우측면을 포함한다.In an embodiment, the image data may include first image data that is face front data and second image data that is face side data. The face side includes a left side and a right side.

일 실시 예로 상기 기초데이터는 얼굴 정면 데이터인 제1기초데이터 및 얼굴 측면 데이터인 제2기초데이터를 포함할 수 있다. 얼굴 측면은 좌측면 및 우측면을 포함한다. In an embodiment, the basic data may include first basic data that is face front data and second basic data that is face side data. The face side includes a left side and a right side.

상기 전처리부(120)는 상기 영상데이터의 노이즈를 제거한다. 상기 전처리부(120)는 상기 얼굴 정면 데이터인 제1영상데이터의 노이즈를 제거하고 제1전처리데이터를 생성할 수 있다. 상기 전처리부(120)는 얼굴 측면 데이터인 제2영상데이터의 노이즈를 제거하고 제2전처리데이터를 생성할 수 있다. The preprocessor 120 removes noise from the image data. The pre-processing unit 120 may remove noise from the first image data that is the front face data and generate first pre-processing data. The pre-processing unit 120 may remove noise from the second image data, which is face side data, and generate second pre-processing data.

예를 들어, 신원확인자가 마스크, 이어폰을 착용하고 있는 경우, 상기 데이터수집부(110)는 카메라1을 통해 마스크를 쓴 얼굴 정면데이터인 제1영상데이터를 수집하고, 카메라2,3을 통해 이어폰을 착용한 얼굴 측면데이터인 제2영상데이터를 수집한다. 상기 전처리부(120)는 마스크를 쓴 얼굴 정면데이터인 제1영상데이터의 노이즈인 마스크를 제거하고 제1전처리데이터를 생성하고, 이어폰을 착용한 얼굴 측면데이터인 제2영상데이터의 노이즈인 이어폰을 제거하고 제2전처리데이터를 생성할 수 있다. For example, when the identity verifier is wearing a mask or earphone, the data collection unit 110 collects first image data, which is the frontal data of the face wearing the mask, through the camera 1, and the earphone through the cameras 2 and 3 The second image data, which is the side data of the face wearing the , is collected. The pre-processing unit 120 removes the mask that is the noise of the first image data that is the frontal data of the face wearing the mask, generates the first pre-processing data, and receives the earphone that is the noise of the second image data that is the side data of the face wearing the earphone. removed and the second pre-processing data may be generated.

상기 특징추출부(130)는 상기 영상데이터에서 특징을 추출하고 특징데이터를 생성한다. 보다 구체적으로, 랜드마크를 이용하여 특징을 추출할 수 있다. 얼굴 랜드마크 검출은 다수의 공지 기술이 제안된 바 있으며, 일예로 얼굴 랜드마크는 얼굴 랜드 마크 추정(face landmark estimation) 등의 알고리즘을 이용하여 검출할 수 있으며, 얼굴 특징 벡터의 비교를 위한 인공신경망과 별도의 DNN(Deep Neural Network)을 통해 검출 모델을 생성할 수 있다. 다만, 본 실시예에서는 특정 기술로 제한하지는 않는다.The feature extraction unit 130 extracts features from the image data and generates feature data. More specifically, a feature may be extracted using a landmark. A number of known techniques have been proposed for detecting facial landmarks. For example, facial landmarks can be detected using algorithms such as face landmark estimation, and artificial neural networks for comparison of facial feature vectors. A detection model can be created through a separate deep neural network (DNN). However, this embodiment is not limited to a specific technology.

상기 특징추출부(130)는 상기 제1전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제1특징데이터를 생성하고, 제2전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제2특징데이터를 생성할 수 있다. 상기 특징추출부(130)는 상기 제1전처리데이터 및 제2전처리데이터의 일부만의 특징을 추출할 수도 있다. 이 때에도 랜드마크를 이용하여 특징을 추출한다. 즉, 얼굴 정면의 일부분 예를 들면 눈, 코 , 눈썹 등만의 특징 또는 눈, 코 눈썹의 일부의 특징을 추출하여 특징데이터를 생성할 수 있다. 또는 얼굴 측면의 일부분 예를 들면 귀의 주름의 일부의 특징을 추출하여 특징데이터를 생성할 수 있다. The feature extraction unit 130 extracts features by using landmarks in the first pre-processing data, generates first feature data, extracts features using landmarks in the second pre-processing data, and extracts the second feature data. can create The feature extraction unit 130 may extract features of only a portion of the first pre-processing data and the second pre-processing data. Also in this case, features are extracted using landmarks. That is, feature data may be generated by extracting features of only a part of the front of the face, for example, only the eyes, nose, eyebrows, or a part of the eyes, nose, and eyebrows. Alternatively, the feature data may be generated by extracting the features of a part of the face side, for example, a part of the wrinkles of the ear.

상기 학습부(140)는 상기 기초데이터로부터 예상데이터를 학습하고 생성한다. 상기 학습부(140)는 딥러닝 방식으로 자기학습을 하며 그 방식에 제한을 두지 않는다. 상기 학습부(140)는 상기 제1기초데이터 및 제2기초데이터로부터 영상데이터의 노이즈를 예상하고 학습하여 제1예상 전처리데이터 및 제2예상 전처리데이터를 생성하고, 상기 제1예상 전처리데이터 및 제2예상 전처리데이터에서 랜드마크를 이용해 특징을 학습하여 제1예상 특징데이터 및 제2예상 특징데이터를 생성할 수 있다. 예를들어, 노이즈가 없는 얼굴 정면데이터인 제1기초데이터에서 마스크, 모자, 안경 등과 같은 노이즈가 있는 얼굴 정면데이터를 예상하여 학습하고, 상기 제1기초데이터에서 마스크, 모자, 안경 등을 제거하여 제1예상 전처리데이터를 예상하여 학습하고 생성할 수 있다. 또한, 노이즈가 없는 얼굴 측면데이터인 제2기초데이터에서 이어폰과 같은 노이즈가 있는 얼굴 측면데이터를 예상하여 학습하고, 상기 제2기초데이터에서 이어폰을 제거하여 제2예상 전처리데이터를 예상하여 학습하고 생성할 수 있다. 이어서, 상기 학습부(140)는 상기 제1예상 전처리데이터의 특징을 예상하고 학습하여 제1예상 특징데이터를 생성하고, 상기 제2예상 전처리데이터의 특징을 예상하고 학습하여 제2예상 특징데이터를 생성할 수 있다. 상기 특징 추출은 랜드마크를 이용하여 특징을 추출할 수 있다. 상기 학습부(140)는 상기 제1예상 전처리데이터 및 제2예상 전처리데이터의 일부만의 특징을 추출할 수도 있다. 이 때에도 랜드마크를 이용하여 특징을 추출한다. 즉, 얼굴 정면의 일부분 예를 들면 눈, 코 , 눈썹 등만의 특징 또는 눈, 코 눈썹의 일부의 특징을 추출하여 예상하고 학습하여 특징데이터를 생성할 수 있다. 또는 얼굴 측면의 일부분 예를 들면 귀의 주름의 일부의 특징을 추출하여 예상하고 학습하여 특징데이터를 생성할 수 있다. The learning unit 140 learns and generates expected data from the basic data. The learning unit 140 performs self-learning in a deep learning method, and there is no limitation on the method. The learning unit 140 predicts and learns noise of image data from the first basic data and the second basic data to generate first expected pre-processing data and second expected pre-processing data, and the first expected pre-processing data and the second expected pre-processing data The first predicted feature data and the second predicted feature data may be generated by learning a feature using a landmark in the second predicted pre-processing data. For example, by predicting and learning face front data with noise, such as a mask, hat, and glasses, from the first basic data, which is the face front data without noise, and removing the mask, hat, and glasses from the first basic data. It is possible to learn and generate by predicting the first expected pre-processing data. In addition, from the second basic data, which is face side data without noise, face side data with noise, such as earphones, is predicted and learned, and the earphone is removed from the second basic data to predict and learn the second expected pre-processing data and generate can do. Next, the learning unit 140 predicts and learns the characteristics of the first expected pre-processing data to generate first expected characteristic data, and predicts and learns the characteristics of the second expected pre-processing data to obtain the second expected characteristic data. can create The feature extraction may extract features using landmarks. The learning unit 140 may extract features of only a portion of the first expected pre-processing data and the second expected pre-processing data. Also in this case, features are extracted using landmarks. That is, it is possible to generate feature data by extracting, predicting, and learning the features of only a part of the front of the face, for example, only the features of the eyes, nose, eyebrows, or the like, or the features of a part of the eyes, nose, and eyebrows. Alternatively, it is possible to generate feature data by extracting the features of a part of the face side, for example, a part of the folds of the ear, predicting and learning.

상기 분석부(150)는 상기 제1특징데이터와 제1예상 특징데이터를 비교분석하고 정면결과 데이터를 생성한다. 또한, 상기 제2특징데이터와 제2예상 특징데이터를 비교분석하여 측면결과 데이터를 생성한다. 이어서, 상기 분석부(150)는 상기 정면결과 데이터와 측면결과 데이터를 병합하여 비교분석하고 신원을 확인한다.The analysis unit 150 compares and analyzes the first characteristic data and the first expected characteristic data, and generates front result data. In addition, the side result data is generated by comparing and analyzing the second characteristic data and the second expected characteristic data. Then, the analysis unit 150 merges the front result data and the side result data, compares and analyzes the data, and confirms the identity.

상기 출력부(160)는 상기 신원확인 결과를 출력한다. 상기 출력부(160)는 별도의 디스플레이를 가진 PC, 모바일과 같은 장치일 수 있으며 그 종류에 제한은 없다.The output unit 160 outputs the identification result. The output unit 160 may be a device such as a PC or a mobile device having a separate display, and there is no limitation on the type thereof.

상기 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템(100)은 상기 신원확인 결과 등록된 신원을 찾을 수 없는 경우 경고 알람을 울리는 알람부를 더 포함할 수 있다.The identification system 100 using the front face and side landmarks may further include an alarm unit that sounds a warning alarm when the registered identity cannot be found as a result of the identification verification.

도 3은 본 발명의 일 실시 예인 얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법을 도식화한 도면이다.3 is a diagram schematically illustrating an identification method using the front face and side landmarks according to an embodiment of the present invention.

도 4는 도 3의 얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법을 구체적으로 도식화한 도면이다.4 is a diagram schematically illustrating an identification method using the front face and side landmarks of FIG. 3 in detail.

얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법은 상기 설명한 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템에 의해 이루어지며, 모든 구체적인 내용은 상기 설명한 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템의 내용을 참조한다.The identification method using the face front and side landmarks is made by the identification system using the front and side landmarks described above, and all specific details are the contents of the identification system using the front and side landmarks described above. see

도 3 및 도 4를 참조하면, 본 발명에 따른 얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법은, 먼저 신원확인자의 실시간 영상데이터 및 기초데이터를 수집하는 단계(S11,S21)가 수행된다. 상기 영상데이터는 얼굴 정면 데이터인 제1영상데이터 및 얼굴 측면 데이터인 제2영상데이터를 포함하고, 상기 기초데이터는 얼굴 정면 데이터인 제1기초데이터 및 얼굴 측면 데이터인 제2기초데이터를 포함한다.3 and 4, in the identification method using the front and side landmarks of the face according to the present invention, first, the steps (S11, S21) of collecting the real-time image data and basic data of the identification checker are performed. The image data includes first image data that is face front data and second image data that is face side data, and the basic data includes first basic data that is face front data and second basic data that is face side data.

이어서, 상기 영상데이터의 노이즈를 제거하는 전저리 단계(S13)가 수행된다. 상기 전처리 단계는, 상기 제1영상데이터 및 제2영상데이터의 노이즈를 제거하고 전처리된 영상데이터인 제1전처리데이터 및 제2전처리데이터를 생성한다. Next, a pre-processing step (S13) of removing noise from the image data is performed. In the pre-processing step, noise of the first image data and the second image data is removed and first pre-processing data and second pre-processing data which are pre-processed image data are generated.

이어서, 상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 단계(S15)가 수행된다. 상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 단계;는, 상기 제1전처리데이터 및 제2전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제1특징데이터 및 제2특징데이터를 생성할 수 있다. Subsequently, a step (S15) of extracting features from the image data and generating feature data is performed. extracting features from the image data and generating feature data; extracting features using landmarks from the first pre-processing data and the second pre-processing data and generating the first feature data and the second feature data have.

별도로, 상기 기초데이터로부터 예상데이터를 학습하고 생성하는 단계(S23)가 수행된다. 상기 기초데이터로부터 예상데이터를 학습하고 생성하는 단계;는, 제1기초데이터 및 제2기초데이터로부터 영상데이터의 노이즈를 예상하여 학습하여 제1예상 전처리데이터 및 제2예상 전처리데이터를 생성하고, 제1예상 전처리데이터 및 제2예상 전처리데이터에서 랜드마크를 이용하여 특징을 학습하여 제1예상 특징데이터 및 제2예상 특징데이터를 생성할 수 있다.Separately, the step (S23) of learning and generating expected data from the basic data is performed. The step of learning and generating expected data from the basic data; generating the first expected pre-processing data and the second expected pre-processing data by predicting and learning the noise of the image data from the first basic data and the second basic data, The first predicted feature data and the second predicted feature data may be generated by learning features using landmarks in the first predicted pre-processing data and the second predicted pre-processing data.

이어서, 상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 단계(S31)가 수행된다. 상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 단계;는 상기 제1특징데이터와 제1예상 특징데이터를 비교분석하여 정면결과데이터를 생성하고, 상기 제2특징데이터와 제2예상 특징데이터를 비교분석하여 측면결과데이터를 생성할 수 있다. 상기 정면결과데이터 및 측면결과데이터를 병합하여 신원을 확인할 수 있다.Then, a step (S31) of confirming the identity by comparing and analyzing the characteristic data and the expected data is performed. Comparing and analyzing the characteristic data and the expected data to confirm the identity; generates front result data by comparing and analyzing the first characteristic data and the first expected characteristic data, and the second characteristic data and the second expected characteristic data side result data can be generated by comparative analysis. The identity can be confirmed by merging the front result data and the side result data.

이어서, 신원확인 결과를 출력하는 단계(S33)가 수행된다.Then, outputting the identification result (S33) is performed.

이어서, 신원확인 결과 등록된 신원을 찾을 수 없는 경우 경고 알람을 울리는 단계를 더 포함할 수 있다.Subsequently, when the registered identity cannot be found as a result of identification, the method may further include sounding a warning alarm.

본 발명에 따른 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템 및 그 방법은, 상황의 제약으로 인하여 부분적인 신체데이터로 신원확인을 할 수 있다. 또한, 모자, 안경, 마스크, 이어폰과 같은 노이즈가 없은 기초데이터를 기 등록하여 기초데이터로부터 노이즈를 학습하고, 데이터의 일부분을 특징화하고, 예상하는 것을 특징으로 하며, 노이즈가 있는 데이터를 별로로 수집하지 않고도 신원확인을 할 수 있는 것을 특징으로 한다. 또한, 정면 및 측면의 데이터를 모두 병합하여 신원을 비교함으로써 신원확인 결과의 질을 높을 수 있다.The identification system and method using the frontal face and side landmarks according to the present invention can perform identification with partial body data due to situational constraints. In addition, it is characterized by pre-registering basic data without noise such as hats, glasses, masks, and earphones to learn noise from the basic data, and to characterize and predict a part of the data. It is characterized in that identification can be performed without collection. In addition, the quality of the identification result can be improved by merging both the front and side data and comparing the identity.

즉, 본 발명에 따르면, 마스크를 쓴 상태에서 마스크를 벗지 않고도 신원확인을 할 수 있다. 또한, 같은 신원확인자에 대하여 마스크를 쓴 상태에서 신원확인시, 마스크를 쓴 데이터 없이도, 맨 얼굴에 대한 데이터로부터 마스크를 쓴 경우를 학습하여 비교데이터로 씀으로써 신원확인의 효율을 높일 수 있다.That is, according to the present invention, identification can be performed without taking off the mask while wearing the mask. In addition, the efficiency of identification can be improved by learning the case of wearing a mask from the data about the bare face and using it as comparison data, even without data wearing the mask, when checking the same identity while wearing a mask.

본 발명의 권리범위는 상술한 실시 예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시 예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다. The scope of the present invention is not limited to the above-described embodiments, but may be implemented in various types of embodiments within the scope of the appended claims. Without departing from the gist of the present invention claimed in the claims, it is considered to be within the scope of the claims of the present invention to the various extents that can be modified by any person skilled in the art to which the invention pertains.

10 DB 100 신원확인 시스템
110 데이터수집부 120 전처리부
130 특징추출부 140 학습부
150 분석부 160 출력부10 DB 100 Identity Verification System
110 Data collection unit 120 Pre-processing unit
130 Feature Extraction Unit 140 Learning Unit
150 analysis unit 160 output unit

Claims (12)

신원확인자의 실시간 영상데이터 및 기초데이터를 수집하는 데이터수집부;
상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 특징추출부;
상기 기초데이터로부터 예상데이터를 학습하고 생성하는 학습부;
상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 분석부;및
상기 신원확인 결과를 출력하는 출력부;를 포함하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템.a data collection unit that collects real-time image data and basic data of the identity verifier;
a feature extracting unit for extracting features from the image data and generating feature data;
a learning unit for learning and generating expected data from the basic data;
An analysis unit that compares and analyzes the characteristic data and the expected data to confirm the identity; And
Including; an output unit for outputting the identification result
Identity verification system using frontal face and side landmarks. 제1항에 있어서,
상기 영상데이터는 얼굴 정면 데이터인 제1영상데이터 및 얼굴 측면 데이터인 제2영상데이터를 포함하고,
상기 기초데이터는 얼굴 정면 데이터인 제1기초데이터 및 얼굴 측면 데이터인 제2기초데이터를 포함하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템.According to claim 1,
The image data includes first image data that is face front data and second image data that is face side data,
The basic data includes first basic data that is face front data and second basic data that is face side data,
Identity verification system using frontal face and side landmarks. 제2항에 있어서,
상기 영상데이터의 노이즈를 제거하는 전처리부;를 더 포함하고,
상기 전처리부는,
상기 제1영상데이터 및 제2영상데이터의 노이즈를 제거하고 전처리된 영상데이터인 제1전처리데이터 및 제2전처리데이터를 생성하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템.3. The method of claim 2,
It further includes; a pre-processing unit for removing the noise of the image data;
The preprocessor is
removing noise from the first image data and the second image data and generating first pre-processed data and second pre-processed data that are pre-processed image data,
Identity verification system using frontal face and side landmarks. 제3항에 있어서,
상기 특징추출부는,
상기 제1전처리데이터 및 제2전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제1특징데이터 및 제2특징데이터를 생성하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템.4. The method of claim 3,
The feature extraction unit,
extracting a feature by using a landmark from the first pre-processing data and the second pre-processing data and generating the first feature data and the second feature data,
Identity verification system using frontal face and side landmarks. 제4항에 있어서,
상기 학습부는,
상기 제1기초데이터 및 제2기초데이터로부터 영상데이터의 노이즈를 예상하고 학습하여 제1예상 전처리데이터 및 제2예상 전처리데이터를 생성하고,
상기 제1예상 전처리데이터 및 제2예상 전처리데이터에서 랜드마크를 이용해 특징을 학습하여 제1예상 특징데이터 및 제2예상 특징데이터를 생성하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템.5. The method of claim 4,
The learning unit,
predicting and learning the noise of image data from the first basic data and the second basic data to generate first expected pre-processing data and second expected pre-processing data;
generating first expected feature data and second expected feature data by learning features using landmarks in the first predicted pre-processing data and the second predicted pre-processing data;
Identity verification system using frontal face and side landmarks. 제5항에 있어서,
상기 분석부는,
상기 제1특징데이터와 제1예상 특징데이터를 비교분석하여 정면결과 데이터를 생성하고,
상기 제2특징데이터와 제2예상 특징데이터를 비교분석하여 측면결과 데이터를 생성하고,
상기 정면결과 데이터 및 측면결과 데이터를 병합하여 신원을 확인하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템.6. The method of claim 5,
The analysis unit,
Comparing and analyzing the first characteristic data and the first expected characteristic data to generate front result data,
Comparing and analyzing the second characteristic data and the second expected characteristic data to generate side result data,
Confirming the identity by merging the front result data and side result data,
Identity verification system using frontal face and side landmarks. 신원확인자의 실시간 영상데이터 및 기초데이터를 수집하는 단계;
상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 단계;
상기 기초데이터로부터 예상데이터를 학습하고 생성하는 단계;
상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 단계;및
상기 신원확인 결과를 출력하는 단계;를 포함하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법.Collecting real-time image data and basic data of the identity checker;
extracting features from the image data and generating feature data;
learning and generating expected data from the basic data;
Comparing and analyzing the characteristic data and the expected data to confirm the identity; And
Including; outputting the identification result
Identification method using frontal face and side landmarks. 제7항에 있어서,
상기 영상데이터는 얼굴 정면 데이터인 제1영상데이터 및 얼굴 측면 데이터인 제2영상데이터를 포함하고,
상기 기초데이터는 얼굴 정면 데이터인 제1기초데이터 및 얼굴 측면 데이터인 제2기초데이터를 포함하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법.8. The method of claim 7,
The image data includes first image data that is face front data and second image data that is face side data,
The basic data includes first basic data that is face front data and second basic data that is face side data,
Identification method using frontal face and side landmarks. 제8항에 있어서,
상기 영상데이터의 노이즈를 제거하는 전처리 단계;를 더 포함하고,
상기 전처리 단계는, 상기 제1영상데이터 및 제2영상데이터의 노이즈를 제거하고 전처리된 영상데이터인 제1전처리데이터 및 제2전처리데이터를 생성하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법.9. The method of claim 8,
A pre-processing step of removing noise from the image data; further comprising,
The pre-processing step includes removing noise from the first image data and the second image data and generating first pre-processing data and second pre-processing data that are pre-processed image data,
Identification method using frontal face and side landmarks. 제9항에 있어서,
상기 영상데이터에서 특징을 추출하고 특징데이터를 생성하는 단계;는,
상기 제1전처리데이터 및 제2전처리데이터에서 랜드마크를 이용하여 특징을 추출하고 제1특징데이터 및 제2특징데이터를 생성하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법.10. The method of claim 9,
extracting features from the image data and generating feature data;
extracting a feature by using a landmark from the first pre-processing data and the second pre-processing data and generating the first feature data and the second feature data,
Identification method using frontal face and side landmarks. 제10항에 있어서,
상기 기초데이터로부터 예상데이터를 학습하고 생성하는 단계;는,
제1기초데이터 및 제2기초데이터로부터 영상데이터의 노이즈를 예상하여 학습하여 제1예상 전처리데이터 및 제2예상 전처리데이터를 생성하고,
제1예상 전처리데이터 및 제2예상 전처리데이터에서 랜드마크를 이용하여 특징을 학습하여 제1예상 특징데이터 및 제2예상 특징데이터를 생성하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법.11. The method of claim 10,
Learning and generating expected data from the basic data;
To predict and learn the noise of the image data from the first basic data and the second basic data to generate the first expected pre-processing data and the second expected pre-processing data,
The first predicted feature data and the second predicted feature data are generated by learning features using landmarks in the first predicted pre-processing data and the second predicted pre-processing data,
Identification method using frontal face and side landmarks. 제11항에 있어서,
상기 특징데이터와 예상데이터를 비교분석하여 신원을 확인하는 단계;는,
상기 제1특징데이터와 제1예상 특징데이터를 비교분석하여 정면결과데이터를 생성하고,
상기 제2특징데이터와 제2예상 특징데이터를 비교분석하여 측면결과데이터를 생성하고,
상기 정면결과데이터 및 측면결과데이터를 병합하여 신원을 확인하는,
얼굴정면 및 측면 랜드마크를 이용한 신원확인 방법.12. The method of claim 11,
Comparing and analyzing the characteristic data and the expected data to confirm the identity;
Comparing and analyzing the first characteristic data and the first expected characteristic data to generate front result data,
Comparing and analyzing the second characteristic data and the second expected characteristic data to generate side result data,
Confirming the identity by merging the front result data and the side result data,
Identification method using frontal face and side landmarks.
KR1020210055192A 2021-04-28 2021-04-28 identification system and method using landmark of face front and side KR20220147993A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210055192A KR20220147993A (en) 2021-04-28 2021-04-28 identification system and method using landmark of face front and side

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210055192A KR20220147993A (en) 2021-04-28 2021-04-28 identification system and method using landmark of face front and side

Publications (1)

Publication Number Publication Date
KR20220147993A true KR20220147993A (en) 2022-11-04

Family

ID=84045253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210055192A KR20220147993A (en) 2021-04-28 2021-04-28 identification system and method using landmark of face front and side

Country Status (1)

Country Link
KR (1) KR20220147993A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139548B1 (en) 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 System and method for decentralized identifier based on face recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139548B1 (en) 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 System and method for decentralized identifier based on face recognition

Similar Documents

Publication Publication Date Title
CN108182409B (en) Living body detection method, living body detection device, living body detection equipment and storage medium
Masupha et al. Face recognition techniques, their advantages, disadvantages and performance evaluation
KR101937323B1 (en) System for generating signcription of wireless mobie communication
KR20190016733A (en) Method for recognizing partial obscured face by specifying partial area based on facial feature point, recording medium and apparatus for performing the method
KR20120069922A (en) Face recognition apparatus and method thereof
KR101464446B1 (en) Method for user vertification using face recognition and head pose estimation and apparatus thereof
Wang et al. Continuous authentication using EEG and face images for trusted autonomous systems
JP5061563B2 (en) Detection apparatus, biological determination method, and program
WO2020195732A1 (en) Image processing device, image processing method, and recording medium in which program is stored
WO2021112849A1 (en) Improved face liveness detection using background/foreground motion analysis
Hossain et al. Next generation identity verification based on face-gait Biometrics
Li et al. Adaptive deep feature fusion for continuous authentication with data augmentation
KR101195539B1 (en) Door on/off switching system using face recognition and detection method therefor
Adel et al. Inertial gait-based person authentication using siamese networks
US11681496B2 (en) Communication support device, communication support method, and computer-readable storage medium including program
Lee et al. Distinction Between Real Faces and Photos by Analysis of Face Data.
Santos et al. Manifold learning for user profiling and identity verification using motion sensors
Dosi et al. Seg-dgdnet: Segmentation based disguise guided dropout network for low resolution face recognition
KR20220147993A (en) identification system and method using landmark of face front and side
CN109472195A (en) Identify the methods, devices and systems of object
KR102535244B1 (en) identification system and method using landmark of part of the face and voice recognition
Ouellet et al. Multimodal biometric identification system for mobile robots combining human metrology to face recognition and speaker identification
Jamdar et al. Implementation of unimodal to multimodal biometrie feature level fusion of combining face iris and ear in multi-modal biometric system
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
Gupta et al. Unsupervised biometric anti-spoofing using generative adversarial networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right