KR20210069381A - Face Recognition Server For Reflecting Space-Time Environment and Face Recognition System Having The Same - Google Patents
Face Recognition Server For Reflecting Space-Time Environment and Face Recognition System Having The Same Download PDFInfo
- Publication number
- KR20210069381A KR20210069381A KR1020190159134A KR20190159134A KR20210069381A KR 20210069381 A KR20210069381 A KR 20210069381A KR 1020190159134 A KR1020190159134 A KR 1020190159134A KR 20190159134 A KR20190159134 A KR 20190159134A KR 20210069381 A KR20210069381 A KR 20210069381A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- face
- face recognition
- user
- Prior art date
Links
Images
Classifications
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G06K9/00268—
-
- G06K9/00288—
-
- G06K9/481—
-
- G06K9/6256—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
본 발명은 안면인식기술에 관한 것이다.The present invention relates to facial recognition technology.
안면인식(Face Recognition) 기술이란 생체인식(Biometrics) 분야 중의 하나로써 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 기계가 자동으로 사람을 식별하고 인증하는 기술을 의미하는 것으로서, 비밀번호 등에 의한 기존의 인증방식에 비해 보안성이 뛰어나 최근 다양한 분야에서 널리 이용되고 있다. Face Recognition technology is one of the fields of biometrics. It refers to a technology in which a machine automatically identifies and authenticates a person using the unique feature information contained in each person's face. It has superior security compared to the authentication method, and has been widely used in various fields recently.
일반적인 안면인식시스템은 출입게이트 등에 설치된 디바이스에서 촬영된 얼굴이미지를 서버로 전송하고, 서버가 안면인식 및 안면인식에 따른 사용자 인증을 수행하고 인증결과를 디바이스로 전송함으로써 출입게이트의 개방여부를 결정한다.A general face recognition system transmits a face image taken from a device installed in an access gate, etc. to the server, and the server performs face recognition and user authentication according to face recognition, and transmits the authentication result to the device to determine whether the access gate is open. .
일반적인 안면인식시스템은 미리 등록된 기준 이미지와 디바이스에서 촬영된 타겟 사용자 이미지와 비교하여 해당 타겟 사용자에 대한 인증을 수행하게 된다. 이때, 미리 등록된 기준 이미지는 등록을 위해 촬영된 것이기 때문에, 인증을 수행하는 디바이스가 위치하는 장소, 해당 디바이스의 카메라 정보, 시간의 변화 등에 따라 등록사용자일지라도, 디바이스에서 촬영된 사용자 이미지와 다른 것으로 판단될 수 있다는 문제가 있다.A general facial recognition system performs authentication for a corresponding target user by comparing it with a pre-registered reference image and a target user image captured by the device. At this time, since the pre-registered reference image is taken for registration, it is different from the user image captured by the device, even for a registered user, depending on the location of the device performing authentication, camera information of the device, change of time, etc. There is a problem that can be judged.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 안면인식을 수행하기 위해 미리 등록된 기준 이미지를 시공간 환경 변화에 따라 변경할 수 있는 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버 및 안면인식 시스템을 그 기술적 과제로 한다.The present invention provides a face recognition server and a face recognition system for face recognition according to a change in a space-time environment that can change a reference image registered in advance to perform face recognition according to a change in a space-time environment. as a technical task.
또한, 본 발명은 인증대상이 되는 사용자를 등록사용자로 정상 승인한 인증결과들을 기초로 기준이미지를 변경할 수 있는 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버 및 안면인식 시스템을 제공하는 것을 그 기술적 과제로 한다. In addition, the present invention is to provide a face recognition server and a face recognition system for face recognition according to changes in the spatiotemporal environment that can change the reference image based on the authentication results that normally approve the user to be authenticated as a registered user make it a task
상술한 목적을 달성하기 위해서 본 발명의 일 측면에 따른 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버 및 안면인식 시스템은 사용자의 촬영이미지와 해당 사용자의 기준이미지간의 유사도를 기준 임계치와 비교하여 출입을 인증한 인증결과들을 수집하는 인증결과 수집부; 상기 인증결과들 중 등록사용자로 정상 승인된 제2 인증결과들을 추출하고, 상기 제2 인증결과들을 사용자 별로 분류하며, 분류된 제2 인증결과에 포함된 상기 유사도 중 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 사용자의 최적 기준이미지로 결정하는 이미지 결정부; 및 사용자들의 상기 기준이미지를 해당 사용자 별로 결정된 최적 기준이미지로 각각 변경하는 기준이미지 변경부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a face recognition server and a face recognition system for face recognition according to a change in a spatiotemporal environment according to an aspect of the present invention compare the similarity between the user's photographed image and the user's reference image with a reference threshold to enter and exit. an authentication result collection unit that collects authentication results that authenticated the user; Among the authentication results, second authentication results normally approved as a registered user are extracted, the second authentication results are classified for each user, and the second authentication result having the maximum value among the similarities included in the classified second authentication result. an image determination unit for determining a photographed image corresponding to , as an optimal reference image of a corresponding user; and a reference image changing unit for changing the reference image of users into an optimal reference image determined for each user.
본 발명에 따르면 안면인식을 수행하기 위해 미리 등록된 기준 이미지를 시공간 환경 변화에 따라 변경할 수 있기 때문에, 시간의 변화에 따른 사용자의 노화나, 장소의 특성에 따른 사용자의 촬영이미지의 해상도 등에 제한없이 사용자에 대한 인증을 수행할 수 있어 인증 정확도가 향상된다는 효과가 있다.According to the present invention, since the reference image registered in advance for face recognition can be changed according to the change of the spatio-temporal environment, there is no limitation on the user's aging according to the change of time or the resolution of the user's photographed image according to the characteristics of the place. Since the user can be authenticated, the authentication accuracy is improved.
또한, 본 발명에 따르면 인증대상이 되는 사용자를 등록사용자로 정상 승인한 인증결과들을 기초로 기준이미지를 변경하기 때문에, 변경되는 기준이미지의 신뢰도를 보장할 수 있을 뿐만 아니라, 이로 인해 보안 성능 또한 향상될 수 있다는 효과가 있다. In addition, according to the present invention, since the reference image is changed based on the authentication results that normally approve the user to be authenticated as a registered user, it is possible not only to ensure the reliability of the changed reference image, but also to improve the security performance. It has the effect that it can be
도 1은 본 발명의 일 실시예에 따른 안면인식서버를 포함하는 안면인식시스템의 구성을 개략적으로 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 안면인식서버의 구성을 개략적으로 보여주는 블록도이다.
도 3은 일 실시예에 따른 에지 디바이스 관리부(210)의 구성을 보여주는 도면이다.
도 4a에 제1 장소에서 촬영된 타겟사용자의 촬영이미지의 일예를 보여주는 도면이다.
도 4b에 도시된 바와 같이 제2 장소에서 촬영된 타겟사용자의 촬영이미지의 일예를 보여주는 도면이다.
도 5는 시간구간에 따른 최적 기준이미지를 배치하는 것을 보여주는 도면이다.
도 6a는 기준이미지 변경부가 장소 별로 기준이미지를 최적 기준이미지로 변경하는 일예를 보여주는 도면이다.
도 6b는 기준이미지 변경부(340)가 장소 및 출입시간 별로 기준이미지를 최적 기준이미지로 변경하는 일예를 보여주는 도면이다.
도 7은 본 발명의 제1 실시예에 따른 에지 디바이스의 구성을 개략적으로 보여주는 블록도이다
도 8는 인증부가 타겟 사용자를 인증하는 방법을 예시적으로 보여주는 도면이다.
도 9은 본 발명의 제2 실시예에 따른 에지 디바이스의 구성을 개략적으로 보여주는 블록도이다.1 is a block diagram schematically showing the configuration of a face recognition system including a face recognition server according to an embodiment of the present invention.
2 is a block diagram schematically showing the configuration of a face recognition server according to an embodiment of the present invention.
3 is a diagram showing the configuration of the
FIG. 4A is a view showing an example of a photographed image of a target user photographed at a first place.
As shown in FIG. 4B , it is a view showing an example of a photographed image of a target user photographed at a second place.
5 is a diagram illustrating the arrangement of an optimal reference image according to a time interval.
6A is a diagram illustrating an example in which a reference image changing unit changes a reference image to an optimal reference image for each location.
6B is a diagram illustrating an example in which the reference
7 is a block diagram schematically showing the configuration of an edge device according to the first embodiment of the present invention.
8 is a diagram exemplarily illustrating a method for an authenticator to authenticate a target user.
9 is a block diagram schematically showing the configuration of an edge device according to a second embodiment of the present invention.
본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.The meaning of the terms described herein should be understood as follows.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.The singular expression is to be understood as including the plural expression unless the context clearly defines otherwise, and the terms "first", "second", etc. are used to distinguish one element from another, The scope of rights should not be limited by these terms.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that terms such as “comprise” or “have” do not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.The term “at least one” should be understood to include all possible combinations from one or more related items. For example, the meaning of “at least one of the first, second, and third items” means 2 of the first, second, and third items as well as each of the first, second, or third items. It means a combination of all items that can be presented from more than one.
이하, 본 발명에 따른 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버(이하 '안면인식서버' 라함) 및 안면인식 시스템를 포함하는 안면인식시스템의 구성을 도 1을 참조하여 보다 구체적으로 설명한다.Hereinafter, the configuration of a face recognition system including a face recognition server (hereinafter referred to as 'facial recognition server') and a face recognition system for face recognition according to a change in the spatiotemporal environment according to the present invention will be described in more detail with reference to FIG. 1 .
도 1은 본 발명의 일 실시예에 따른 안면인식서버를 포함하는 안면인식시스템의 구성을 개략적으로 보여주는 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 안면인식서버를 포함하는 안면인식시스템(100, 이하, '안면인식시스템'이라 함)은 안면인식서버(110) 및 복수개의 에지 디바이스(120)들을 포함한다.1 is a block diagram schematically showing the configuration of a face recognition system including a face recognition server according to an embodiment of the present invention. As shown in Figure 1, the face recognition system (100, hereinafter, referred to as 'face recognition system') including a face recognition server according to an embodiment of the present invention is a
본 발명에 따른 안면인식서버(110)는 인증대상이 되는 타겟 사용자의 인증을 수행하는 복수개의 에지 디바이스(120)들로부터 인증결과들을 수신하여 이를 기초로 시공간 환경 변화에 따라 에지 디바이스(120)가 인증을 수행할 수 있도록 등록사용자의 기준이미지를 변경한다. 이때, 등록사용자는 안면인식서버(110)에 등록된 사용자를 의미하고, 기준이미지는 에지디바이스(120)가 타겟 사용자의 인증을 수행할 때, 타겟사용자의 촬영이미지와 비교되는 이미지이다. The
안면인식서버(110)는 변경된 기준 이미지를 복수개의 에지디바이스(120)로 전송하게 된다.The
한편, 안면인식서버(110)는 얼굴인식모델을 생성하고, 생성된 얼굴인식모델을 이용하여 사용자 단말기(130)로부터 입력되는 사용자의 얼굴정보로부터 추출된 특징벡터를 이용하여 타겟사용자의 인증을 위한 어레이 파일(Array File)을 생성한다. 또한, 안면인식서버(110)는 변경된 사용자의 기준이미지로부터 추출된 특징벡터를 이용하여 타겟사용자의 인증을 위한 어레이 파일을 생성할 수 있다.On the other hand, the
안면인식서버(110)는 생성된 어레이 파일을 에지 디바이스(120)로 전송함으로써 에지 디바이스(120)가 타겟사용자를 인증할 수 있도록 한다.The
본 발명에 따른 안면인식서버(110)는 도 2에 도시된 바와 같이, 에지 디바이스 관리부(210), 사용자 등록부(220), 사용자 데이터 베이스(222), 입력 이미지 생성부(225), 얼굴인식부(230), 얼굴인식모델(235), 어레이 파일 생성부(240), 출입권한정보 관리부(250), 인터페이스부(270), 얼굴인식모델 트레이닝부(280)를 포함한다.As shown in FIG. 2, the
본 발명에 따른 에지 디바이스 관리부(210)는 각 장소에 설치되어 있는 복수개의 에지 디바이스(120)들의 정보를 에지 디바이스 정보 데이터베이스(219)에 등록한다. 일 실시예에 있어서, 에지 디바이스 관리부(210)는 각 에지 디바이스(120)의 식별정보를 각 에지 디바이스가 설치된 장소와 매핑시켜 에지 디바이스 정보 데이터베이스(219)에 저장할 수 있다. 여기서 에지 디바이스(120)의 식별정보는 제조사 및 시리얼 번호등을 포함할 수 있다.The
한편, 에지 디바이스 관리부(210)는 인터페이스부(270)를 통해 미리 정해진 기간마다 에지 디바이스(120)로부터 복수개의 인증결과를 수신하고, 수신된 인증결과들을 에지 디바이스 정보 데이터베이스(219)에 저장할 수 있다. 이때, 복수개의 인증결과는 에지 디바이스(120)가 타겟 사용자들에 대해 인증을 수행하여 획득된 것이다.Meanwhile, the
본 발명에 따른 에지 디바이스 관리부(210)는 복수개의 인증결과를 기초로 등록사용자에 대해 미리 등록된 기준이미지를 인증환경을 반영한 최적 기준이미지로 변경할 수 있다. 구체적으로 에지 디바이스 관리부(210는 복수개의 인증결과를 기초로 시공간 환경 변화에 따른 최적 기준이미지를 결정하고, 각 사용자의 기준이미지를 최적 기준이미지로 변경할 수 있다. The edge
또한, 본 발명에 따른 에지 디바이스 관리부(210)는 복수개의 인증결과를 수집하고, 수집된 인증결과들을 기초로 기준임계치를 변경할 수 있다. 이때 기준임계치는 에지 디바이스(120)가 타겟 사용자의 인증을 수행할 때, 타겟 사용자의 인증여부를 결정하는 기준값이다. 구체적으로, 에지 디바이스(120)는 타겟 사용자의 인증을 수행할 때, 타겟 사용자의 촬영이미지와 등록사용자의 기준이미지간의 유사도를 산출하게 된다. 이때, 에지 디바이스(120)는 타겟 사용자의 인증여부를 결정하기 위해 기준임계치와 유사도를 비교하게 된다.In addition, the
이하, 도 3을 참조하여 본 발명에 따른 에지 디바이스 관리부(210)에 대해 보다 구체적으로 설명한다.Hereinafter, the
도 3은 일 실시예에 따른 에지 디바이스 관리부(210)의 구성을 보여주는 도면이다.3 is a diagram showing the configuration of the
에지 디바이스 관리부(210)는 인증결과 수집부(310), 이미지 결정부(330), 기준 이미지 변경부(340)를 포함한다.The
인증결과 수집부(310)는 각 에지 디바이스(120)로부터 복수개의 인증결과를 수집한다. 구체적으로 인증결과 수집부(310)는 인터페이스부(270)를 통해 각 에지 디바이스(120)로부터 미리 정해진 기간마다 복수개의 인증결과를 수집할 수 있다. 이때, 인증결과는 미등록사용자를 등록사용자로 잘못 승인한 제1 인증결과, 사용자를 등록사용자로 정상 승인한 제2 인증결과, 및 등록사용자를 미등록사용자로 잘못 승인한 제3 인증결과 등을 포함할 수 있다. 여기서 제2 인증결과는 정상 인증결과로 기재될 수도 있다.The authentication
인증결과 수집부(310)는 수집된 복수개의 인증결과를 에지 디바이스 데이터베이스(219)에 저장한다.The authentication
이미지 결정부(330)는 복수개의 인증결과를 기초로 최적 기준이미지를 결정한다.The
이미지 결정부(330)는 복수개의 인증결과로부터 사용자를 등록사용자로 정상 승인한 복수개의 제2 인증결과를 추출한다. 이에 따라 본원발명은 미리 정해진 잘못 승인된 인증결과를 제외시킴으로써, 제2 인증결과를 기초로 결정되는 최적 기준이미지의 신뢰성을 보장할 수 있다.The
일 실시예에 있어서, 복수개의 인증결과는 타겟 사용자의 촬영이미지, 타겟 사용자의 촬영이미지와 등록사용자의 기준이미지간의 유사도, 에지 디바이스(120)의 디바이스 정보, 에지 디바이스가 설치된 장소정보, 출입시간 정보, 및 등록사용자 정보 등을 포함한다. 이때, 타겟 사용자의 촬영이미지는 에지 디바이스(120)에 의해 촬영된 이미지를 의미한다. 타겟 사용자의 촬영이미지와 등록사용자의 기준이미지간의 유사도는 에지 디바이스(120)가 타겟사용자의 승인 시 산출된 유사도를 의미한다. 에지 디바이스(120)의 디바이스 정보는 해당 승인 출입데이터가 발생된 에지 디바이스(120)의 정보 및 타겟사용자를 촬영하는 카메라 정보를 의미한다.In an embodiment, the plurality of authentication results include a photographed image of a target user, a degree of similarity between a photographed image of the target user and a reference image of a registered user, device information of the
이미지 결정부(330)는 제2 인증결과를 이용하여 인증환경을 반영한 최적 기준이미지를 선택한다. 이때, 인증환경은, 장소정보, 출입시간 정보, 디바이스 정보 중 적어도 하나에 따라 결정되는 환경을 의미한다. The
본 발명에 따른 이미지 결정부(330)가 인증환경을 반영한 최적 기준이미지를 선택하는 이유는, 인증환경에 따라 도 4a에 도시된 바와 같이 제1 장소에서 촬영된 타겟사용자의 촬영이미지와, 도 4b에 도시된 바와 같이 제2 장소에서 촬영된 타겟사용자의 촬영이미지가 인증을 수행할 때마다 달라지기 때문에, 에지 디바이스(120)가 타겟사용자에 대해 신속하게 인증을 할 수 없을 뿐만 아니라, 등록사용자이지만 미등록사용자로 인증할 수 있기 때문이다.The reason that the
도 4a 및 4b에 도시된 바와 같이 동일한 타겟 사용자에 대해 동일한 장소에서도 서로 다른 촬영이미지가 생성되고, 도 4a에서의 타겟사용자의 촬영이미지와 도 4b에서의 타겟사용자의 촬영이미지간에서도 화질의 차이가 발생한다. 또한, 도 4a 및 4b에 도시된 바와 같이 서로 다른 시간대에 촬영된 촬영이미지의 밝기도 차이가 난다.As shown in FIGS. 4A and 4B , different photographed images are generated even in the same place for the same target user, and the difference in image quality between the photographed image of the target user in FIG. 4A and the photographed image of the target user in FIG. 4B is also Occurs. In addition, as shown in FIGS. 4A and 4B , the brightness of the photographed images taken at different time periods is also different.
이에 따라 본원발명은 인증환경을 반영한 최적 기준이미지를 선택함으로써, 인증을 신속하게 할 수 있을 뿐만 아니라, 등록사용자를 미등록사용자로 판단하는 오류를 감소시킬 수 있다는 효과가 있다.Accordingly, the present invention has an effect that by selecting an optimal reference image reflecting the authentication environment, not only can authentication be performed quickly, but also errors in judging a registered user as an unregistered user can be reduced.
이미지 결정부(330)는 제2 인증결과들을 사용자 별로 분류한다. 구체적으로 이미지 결정부(330)는 사용자를 등록사용자로 정상승인한 제2 인증결과들을 해당 제2 인증결과에 포함된 사용자 별로 분류한다.The
예를 들어 설명한다. 복수개의 제2 인증결과는 제2-a 인증결과, 제2-b 인증결과, 제2-c 인증결과, 제2-d 인증결과가 존재하고, 제1 및 제2 사용자가 존재하면, 이미지 결정부(330)는 제1 및 제2 사용자로 인해 발생된 제2 인증결과들을 각 사용자 별로 분류한다.An example will be described. In the plurality of second authentication results, if the 2-a authentication result, the 2-b authentication result, the 2-c authentication result, and the 2-d authentication result exist, and the first and second users exist, the image is determined The
제1 사용자에 대해 제2-a 인증결과, 제2-b 인증결과가 존재하고, 제2 사용자에 대해 제2-c 인증결과, 제2-d 인증결과가 존재하면, 이미지 결정부(330)는 복수개의 제2 인증결과를 제1 사용자에 대한 제2-a 인증결과, 제2-b 인증결과로 분류하고, 제2 사용자에 대한 제2-c 인증결과, 제2-d 인증결과로 분류한다.If the 2-a authentication result and the 2-b authentication result exist for the first user, and the 2-c authentication result and the 2-d authentication result exist for the second user, the
일 실시예에 있어서, 이미지 결정부(330)는 각 사용자 별로 분류된 제2 인증결과를 해당 제2 인증결과가 발생한 출입시간 별로 분류할 수 있다. 이때 출입시간은 하루 단위 시간구간과 주, 월, 분기, 또는 연 단위 시간구간으로 각각 분류될 수도 있다.In an embodiment, the
예를 들어 설명한다.An example will be described.
제1 사용자에 대한 제2-a 인증결과, 제2-b, 제2-c 인증결과로 분류되고, 제2 사용자에 대한 제2-d 인증결과, 제2-e 인증결과, 제2-f 인증결과로 분류되고, 제2-a, 제2-b, 제2-f 인증결과는 오전시간 대에 발생하고, 제2-c, 제2-d, 제2-e 인증결과는 오후시간 대에 발생한 것으로 가정한다.It is classified into 2-a authentication result, 2-b, 2-c authentication result for the first user, 2-d authentication result, 2-e authentication result, 2-f for the second user Classified as authentication results, authentication results 2-a, 2-b, and 2-f occur in the morning, and authentication results 2-c, 2-d, and 2-e occur in the afternoon. assumed to have occurred in
이러한 경우, 이미지 결정부(330)는 제1 사용자의 제2 인증결과는 오전시간대에 발생한 제2-a, 제2-b 인증결과로 분류하고, 오후시간대에 발생한 제2-c 인증결과로 분류할 수 있다. 이미지 결정부(330)는 제2 사용자의 제2 인증결과는 오전시간대에 발생한 제2-f 인증결과로 분류하고, 오후시간대에 발생한 제2-d, 제2-e 인증결과로 분류할 수 있다.In this case, the
일 실시예에 있어서, 이미지 결정부(330)는 각 사용자 별로 분류된 제2 인증결과를 해당 제2 인증결과가 발생한 장소 별로 분류할 수 있다.In an embodiment, the
일 실시예에 있어서, 이미지 결정부(330)는 장소 별로 분류된 제2 인증결과를 해당 제2 인증결과가 발생한 에지 디바이스(120)별로 분류할 수 있다. 이러한 실시예를 따르는 경우, 에지 디바이스(120)는 각 장소 별로 복수개가 존재할 수 있다.In an embodiment, the
일 실시예에 있어서, 이미지 결정부(330)는 장소 별로 분류된 제2 인증결과를 제2 인증결과가 발생한 출입시간 별로 분류할 수 있다. 또한, 에지 디바이스(120) 별로 분류된 제2 인증결과를 제2 인증결과가 발생한 출입시간 별로 분류할 수 있다.In an embodiment, the
한편, 이미지 결정부(330)는 분류된 제2 인증결과에 포함된 유사도 중 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 사용자의 최적 기준이미지로 결정할 수 있다.Meanwhile, the
일 실시예에 있어서, 이미지 결정부(330)는 각 사용자 별로 분류된 제2 인증결과가 해당 제2 인증결과가 발생한 출입시간 별로 분류된 경우, 각 출입시간 별로 분류된 제2 인증결과 중에서 유사도가 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 출입시간의 최적 기준이미지로 각각 결정할 수 있다.In an embodiment, when the second authentication result classified for each user is classified by access time at which the second authentication result occurred, the
예컨대, 제1 사용자에 대해 오전시간대에 제2-a, 제2-b 인증결과로 분류되고 오후시간대에 제2-c, 제2-d 인증결과로 분류된 경우, 이미지 결정부는 오전시간대에 제2 인증결과(제2-a, 제2-b 인증결과) 중 유사도가 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 출입시간의 최적 기준이미지로 결정하고, 오후시간대에 제2 인증결과(제2-c, 제2-b 인증결과) 중 유사도가 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 출입시간의 최적 기준이미지로 결정한다.For example, if the first user is classified as the 2-a and 2-b authentication results in the morning time and classified as the 2-c and 2-d authentication results in the afternoon time, the image determining unit is the first user in the morning time zone. The photographed image corresponding to the second authentication result having the maximum similarity among the 2 authentication results (the 2-a and 2-b authentication results) is determined as the optimal reference image for the corresponding access time, and the second authentication is performed in the afternoon. A photographed image corresponding to the second authentication result having the maximum similarity among the results (the authentication results 2-c and 2-b) is determined as the optimal reference image for the corresponding access time.
일 실시예에 있어서, 이미지 결정부(330)는 각 사용자 별로 분류된 제2 인증결과가 해당 제2 인증결과가 발생한 장소 별로 분류된 경우, 각 장소 별로 분류된 제2 인증결과 중에서 유사도가 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 장소의 최적 기준이미지로 각각 결정할 수 있다.In an embodiment, when the second authentication result classified for each user is classified for each place where the second authentication result occurs, the
일 실시예에 있어서, 이미지 결정부(330)는 각 장소 별로 분류된 제2 인증결과가 해당 제2 인증결과가 발생한 에지 디바이스(120) 별로 분류된 경우, 각 에지 디바이스(120) 별로 분류된 제2 인증결과 중에서 유사도가 최대값을 갖는 제2 인증결과에 대응되는 촬영이미지를 해당 에지 디바이스(120)의 최적 기준이미지로 각각 결정할 수 있다.In an embodiment, when the second authentication result classified for each location is classified for each
이와 같이 본원발명은 복수개의 에지 디바이스(120)가 동일한 장소에 위치하더라도 각 에지 디바이스 별로 카메라의 위치, 카메라의 성능 등이 다를 수 있으므로, 이에 따라 최적 기준이미지를 결정할 수 있다. 이때, 카메라의 성능은 화소, 화각, 민감도 등을 포함할 수 있다.As described above, in the present invention, even if the plurality of
또한, 이미지 결정부(330)는 장소 별로 분류된 제2 인증결과를 제2 인증결과가 발생한 출입시간 별로 분류한 경우 또는 에지 디바이스(120) 별로 분류된 제2 인증결과를 제2 인증결과가 발생한 출입시간 별로 분류한 경우에도, 각 분류된 기준에 따라 각각의 최적 기준이미지를 결정할 수 있다. 그 반대의 경우에도 이미지 결정부(330)는 분류된 기준에 따라 각각의 최적 기준이미지를 결정할 수 있다.In addition, the
기준이미지 변경부(340)는 미리 등록된 사용자들의 기준이미지를 이미지 결정부(330)에 의해 선택된 최적 기준이미지로 변경한다. 구체적으로 기준이미지 변경부(340)는 사용자들의 기준이미지를 해당 사용자 별로 결정된 최적 기준이미지로 각각 변경한다.The reference
일 실시예에 있어서, 기준이미지 변경부(340)는 기준이미지를 이미지 결정부(330)에 의해 출입시간 별로 결정된 최적 기준이미지로 각각 변경할 수 있다.In an embodiment, the reference
또한, 기준이미지 변경부(340)는 기준이미지를 이미지 결정부(330)에 의해 장소 별로 결정된 최적 기준이미지로 각각 변경할 수 있다. 또한, 기준이미지 변경부(340)는 기준이미지를 이미지 결정부(330)에 의해 에지 디바이스(120) 별로 결정된 최적 기준이미지로 각각 변경할 수 있다.Also, the reference
예컨대, 이미지 결정부(330)에 의해 A 장소에서 제1 사용자의 제1 촬영이미지가 최적 기준이미지로 선택되고, B 장소에서 제1 사용자의 제2 촬영이미지가 최적 기준이미지로 선택되며, C 장소에서 제1 사용자의 제3 촬영이미지가 최적 기준이미지로 선택되면, 기준이미지 변경부(340)는 A 장소에서의 기준이미지를 제1 촬영이미지로 변경하고, B 장소에서의 기준이미지를 제2 촬영이미지로 변경하며, C 장소에서의 기준이미지를 제3 촬영이미지로 변경한다.For example, the
일 실시예에 있어서, 기준이미지 변경부(340)는 출입시간 별로 최적 기준이미지를 변경하는 경우, 도 5에 도시된 바와 같이 하루 단위 시간구간(T1)과 주, 월, 분기, 또는 연 단위 시간구간(T2)에 따라 최적 기준이미지를 변경할 수 있다. 기준이미지 변경부(340)는 행에는 하루단위 시간구간(T1)에 따른 최적 기준이미지를 등록하고, 열에는 주, 월, 분기, 또는 연 단위 시간구간(T2)에 따른 최적 기준이미지를 등록한다. 이는 하나의 예일뿐, 하루단위 시간구간(T1)과 주, 월, 분기, 또는 연 단위 시간구간(T2)의 행과 열은 반대로 될 수 있다.In an embodiment, when the reference
이는 사용자의 촬영이미지가 하루 중에도 외부 태양광의 변화에 따라 다르게 촬영될 수 있고, 또한, 계절에 따른 기후변화, 각 사용자들의 노화, 체중 변화, 안경착용 유무 등에 따라 다르게 촬영될 수 있기 때문이다. This is because the user's photographed image may be photographed differently during the day according to changes in external sunlight, and may be photographed differently depending on climate change according to season, aging of each user, weight change, wearing glasses or not.
도 6a는 기준이미지 변경부(340)가 장소 별로 기준이미지를 최적 기준이미지로 변경하는 일예를 보여주는 도면이다. 도 6b는 기준이미지 변경부(340)가 장소 및 출입시간 별로 기준이미지를 최적 기준이미지로 변경하는 일예를 보여주는 도면이다. 6A is a diagram illustrating an example in which the reference
도 6a에 도시된 바와 같이 미리 등록된 기준이미지(410)가 존재하고, 각 장소 별로 최적기준이미지(420)를 등록하게 된다. A 장소(421)에는 제1 촬영이미지와 제2 촬영이미지를 등록하고, B 장소(423)에는 제3 촬영이미지와 제4 촬영이미지를 등록하며, C 장소(425)에는 제5 촬영이미지와 제6 촬영이미지를 등록한다.As shown in FIG. 6A , there is a
또한, 도 6b에 도시된 바와 같이 기준이미지 변경부(340)는 각 장소와 출입시간에 따라 최적 기준이미지(420)를 등록할 수 있다. 기준이미지 변경부(340)는 A 장소(421)에 대해 제1 출입시간에는 제1 촬영이미지(427a)를 등록하고, A 장소(421)에 대해 제2 출입시간에는 제2 촬영이미지(429a)를 등록한다. 또한, 기준이미지 변경부(340)는 B 장소(423)에 대해 제1 출입시간에는 제3 촬영이미지(427b)를 등록하고, C 장소(423)에 대해 제4 촬영이미지(429b)를 등록한다. 또한, 기준이미지 변경부(340)는 C 장소(425)에 대해 제1 출입시간에는 제5 촬영이미지(427c)를 등록하고, C 장소(425)에 대해 제2 출입시간에는 제6 촬영이미지(429c)를 등록한다.In addition, as shown in FIG. 6B , the reference
기준이미지 변경부(340)는 최적 기준이미지를 사용자 데이터베이스(222)에 저장하고, 입력이미지 생성부(225), 얼굴인식부(230), 및 어레이 파일 생성부(240)를 통해 해당 등록사용자의 최적 기준이미지에 대한 신규 어레이 파일이 생성되게 한다. 생성된 신규 어레이 파일은 인터페이스부(270)를 통해 각 에지 디바이스(120)로 배포되게 된다. The reference
한편, 에지 디바이스 관리부(210)는 최적임계치 산출부(360) 및 기준임계치 변경부(370)를 더 포함할 수 있다.Meanwhile, the
최적임계치 산출부(360)는 복수개의 인증결과를 제1 인증결과들을 추출하여 제1 인증결과들을 기초로 최적임계치를 산출한다. 이때, 제1 인증결과는 미등록사용자를 등록사용자로 잘못 승인하여 발생한 인증결과를 의미한다. The optimal
최적임계치 산출부(360)는 제1 인증결과들에 포함된 유사도들 중 최대값을 기초로 제1 최적임계치를 산출한다. 구체적으로, 최적임계치 산출부(360)는 제1 인증결과에 포함된 유사도들 중 최대값을 제1 최적임계치로 산출한다. 이때, 최적임계치 산출부(360)는 유사도에 마진값을 합산한 결과값을 제1 최적임계치로 산출할 수도 있을 것이다.The optimum
일 실시예에 있어서, 최적임계치 산출부(214)는 제1 인증결과들을 제1 인증결과에 대응되는 제2 타입 사용자별로 분류하고, 제2 타입 사용자 별로 제1 최적임계치를 다른 값으로 산출할 수 있다.In an embodiment, the optimal threshold calculation unit 214 may classify the first authentication results for each second type user corresponding to the first authentication result, and calculate the first optimal threshold value as a different value for each second type user. have.
일 실시예에 있어서, 최적임계치 산출부(214)는 인증결과들 중 등록사용자를 미등록사용자로 잘못 승인한 제3 인증결과들에 포함된 유사도들 중 최소값을 기초로 제2 최적임계치를 추가로 산출할 수 있다.In an embodiment, the optimal threshold calculation unit 214 additionally calculates a second optimal threshold based on a minimum value among similarities included in third authentication results for erroneously authorizing a registered user as an unregistered user among authentication results. can do.
일 실시예에 있어서, 최적임계치 산출부(214)는 제1 인증결과들을 제1 인증결과를 송신한 에지 디바이스(120)별로 분류하고, 에지 디바이스(120) 별로 제1 최적 임계치를 다른 값으로 산출할 수 있다. 이때, 최적임계치 산출부(214)는 제3 인증결과들에 대해서도 에지 디바이스(120) 별로 제2 최적 임계치를 다른 값으로 산출할 수도 있다.In an embodiment, the optimal threshold calculation unit 214 classifies the first authentication results for each
일 실시예에 있어서, 최적임계치 산출부(214)는 제1 인증결과가 발생된 출입시간 별로 분류하고, 각 시간별로 제1 최적임계치를 다른 값으로 산출할 수 있다. 이때, 최적임계치 산출부(214)는 제3 인증결과들에 대해서도 각 시간 별로 제2 최적임계치를 다른 값으로 산출할 수 있다.In an embodiment, the optimal threshold calculation unit 214 may classify the first authentication result by access time, and may calculate the first optimal threshold value as a different value for each time. In this case, the optimal threshold value calculating unit 214 may calculate the second optimal threshold value as a different value for each time even for the third authentication results.
기준임계치 변경부(370)는 미리 정해진 기준임계치를 최적임계치 산출부(360)에 의해 산출된 최적임계치로 변경한다.The reference threshold
일 실시예에 있어서, 기준임계치 변경부(218)는 인증결과들 중 등록사용자로 정상 승인된 제2 인증결과에 대응되는 제1 타입 사용자에 대해 기준임계치를 유지하고, 제1 인증결과에 대응되는 제2 타입 사용자에 대해 기준임계치를 제1 최적임계치로 변경할 수 있다.In an embodiment, the reference threshold change unit 218 maintains a reference threshold value for a first type user corresponding to a second authentication result normally approved as a registered user among authentication results, and corresponds to the first authentication result. For the second type user, the reference threshold may be changed to the first optimal threshold.
기준임계치 변경부(218)는 등록사용자를 미등록사용자로 잘못 승인한 제3 인증결과에 대응되는 제3 타입 사용자에 대해 기준임계치를 최적임계치 산출부(214)에 의해 산출된 제2 최적 임계치로 변경할 수 있다.The reference threshold value change unit 218 changes the reference threshold value to the second optimum threshold value calculated by the optimum threshold value calculation unit 214 for the third type user corresponding to the third authentication result that incorrectly approves the registered user as an unregistered user. can
기준임계치 변경부(218)는 각 제2 타입 사용자의 기준임계치를 제2 타입 사용자 별로 서로 다른 값으로 산출된 제1 최적임계치로 각각 변경할 수 있고, 각 제3 타입 사용자의 기준임계치를 제3 타입 사용자 별로 서로 다른 값으로 산출된 제2 최적임계치로 각각 변경할 수 있다.The reference threshold value changing unit 218 may change the reference threshold value of each second type user to the first optimal threshold value calculated as a different value for each second type user, and set the reference threshold value of each third type user to the third type The second optimal threshold values calculated as different values for each user may be respectively changed.
또한, 기준임계치 변경부(218)는 각 에지 디바이스의 기준임계치를 제2 타입 사용자들의 에지 디바이스 별로 산출된 제1 최적 임계치들로 변경할 수 있고, 제3 타입사용자들의 에지 디바이스 별로 산출된 제2 최적 임계치들로 변경할 수 있다.Also, the reference threshold change unit 218 may change the reference threshold of each edge device to first optimal thresholds calculated for each edge device of the second type users, and the second optimum calculated for each edge device of the third type users. Thresholds can be changed.
또한, 기준임계치 변경부(218)는 각 출입시간의 기준임계치를 제2 타입 사용자들의 출입시간 별로 산출된 제1 최적 임계치들로 변경할 수 있고, 제3 타입 사용자들의 출입시간 별로 산출된 제2 최적임계치들로 변경할 수 있다.Also, the reference threshold change unit 218 may change the reference threshold of each access time to the first optimal threshold values calculated for each access time of the second type users, and the second optimal value calculated for each access time of the third type users. Thresholds can be changed.
다만, 상술한 실시예는 정보단위로 서로 다르게 기준임계치를 설정함으로써 관리의 어려움이 발생할 수 있다. 따라서 변형된 실시예에 있어서, 기준임계치 변경부(218)는 제1 최적임계치로 기준임계치를 일괄적으로 변경한 후 에지 디바이스(120)의 인증속도가 미리 정해진 속도보다 낮으면, 각 사용자, 에지디바이스, 또는 출입시간 별로 결정된 제1 최적임계치로 기준임계치를 변경할 수 있다. However, in the above-described embodiment, management difficulties may occur because the reference thresholds are set differently in units of information. Therefore, in a modified embodiment, the reference threshold value changing unit 218 collectively changes the reference threshold value to the first optimal threshold value. If the authentication speed of the
한편, 기준임계치 변경부(370)는 변경된 기준임계치를 각 에지 디바이스(120)로 배포한다. 구체적으로 기준임계치 변경부(370)는 인터페이스부(270)를 통해 변경된 기준임계치를 각 에지 디바이스(120)로 배포할 수 있다. 이에 따라 각 에지 디바이스(120)는 변경된 기준임계치로 인증을 수행하게 된다.Meanwhile, the reference
다시 도 2를 참조하면, 사용자 등록부(220)는 등록을 희망하는 사용자의 사용자 단말기(130)로부터 하나 이상의 사용자 이미지를 수신한다. 사용자 등록부(220)는 사용자 이미지가 수신되면 해당 사용자가 사용자 이미지와 동일인인지 여부를 확인하고, 동일인인 것으로 판단되면 해당 사용자에게 부여되어 있는 출입권한정보를 획득하여 사용자 이미지와 함께 사용자 데이터 베이스(222)에 등록한다. 이때, 사용자 이미지는 기준이미지를 의미한다.Referring back to FIG. 2 , the
입력 이미지 생성부(225)는 사용자 등록부(220)에 의해 입력된 사용자 이미지로부터 얼굴인식에 이용될 입력 이미지를 생성한다. 구체적으로 입력 이미지 생성부(225)는 하나의 사용자 이미지를 미리 정해진 단계까지 다운샘플링하거나 업샘플링함으로써 하나의 사용자 이미지로부터 해상도가 서로 다른 복수개의 사용자 이미지들을 생성한다. The input
일 실시예에 있어서, 입력 이미지 생성부(225)는 사용자 이미지에 가우시안 피라미드(Gaussian Pyramid)를 적용함으로써 다운샘플링된 사용자 이미지를 생성하거나, 사용자 이미지에 라플라시안 피라미드(Laplacian Pyramid)를 적용함으로써 업샘플링된 사용자 이미지를 생성할 수 있다.In an embodiment, the
해상도가 서로 다른 복수개의 사용자 이미지가 생성되면, 입력 이미지 생성부(225)는 각각의 사용자 이미지에 대해, 사용자 이미지 상에서 미리 정해진 픽셀크기의 윈도우를 이동시켜가면서 획득되는 복수개의 이미지를 입력 이미지로 생성한다. 입력 이미지 생성부(225)는 생성된 복수개의 입력 이미지를 얼굴인식부(230)로 입력한다.When a plurality of user images having different resolutions are generated, the input
얼굴인식부(230)는 얼굴인식모델 트레이닝부(250)에 의해 트레이닝된 얼굴인식모델(235)에 입력 이미지 생성부(225)에 의해 생성된 복수개의 입력 이미지를 입력함으로써 얼굴영역이 포함된 얼굴이미지를 획득하고, 획득된 얼굴이미지가 사람을 촬영한 실물이미지인지 여부를 판단하고, 획득된 얼굴 이미지로부터 특징벡터를 추출한다.The
일 실시예에 있어서 얼굴인식모델(230)은 입력 이미지로부터 얼굴이미지를 추출하는 얼굴이미지 추출부(237), 추출된 얼굴이미지로부터 실물이미지 여부를 판단하는 실물이미지 판단부(238) 및 얼굴이미지로부터 특징벡터를 추출하는 특징벡터 추출부(239)를 포함할 수 있다.In an embodiment, the
본 발명에 따른 얼굴이미지 추출부(237)는 컨벌루션 신경망(Convolutional Neural Network: CNN)을 기반으로 구성되어 입력 이미지로부터 얼굴영역이 포함된 얼굴이미지를 추출한다. 이러한 얼굴이미지 추출부(237)는 제1 얼굴탐지부, 제2 얼굴탐지부, 제3 얼굴탐지부, 및 얼굴 이미지 정렬부를 포함한다.The face
제1 얼굴탐지부는 얼굴인식부(230)에 의해 입력되는 입력 이미지에 컨벌루션 연산을 적용함으로써 각 입력 이미지들의 피쳐를 추출하고, 추출된 피쳐를 기초로 해당 입력 이미지 상에서 얼굴영역을 1차적으로 추출한다.The first face detection unit extracts features of each input image by applying a convolution operation to the input image input by the
이를 위해, 제1 얼굴탐지부는 n개의 컨벌루션 연산부, 샘플링부, 제1 및 제2 차원감소부, 및 제1 확률값 연산부를 포함한다.To this end, the first face detection unit includes n convolution operation units, a sampling unit, first and second dimension reduction units, and a first probability value calculation unit.
일 실시예에 있어서, 제1 얼굴탐지부는 3개의 컨벌루션 연산부를 포함할 수 있다. 설명의 편의를 위해 제1 얼굴탐지부가 3개의 컨벌루션 연산부를 포함하는 것으로 설명하지만, 이는 하나의 예일 뿐 제1 얼굴탐지부는 4개 이상의 컨벌루션 연산부를 포함하거나 1개 또는 2개의 컨벌루션 연산부를 포함할 수도 있을 것이다.In an embodiment, the first face detection unit may include three convolutional operation units. For convenience of explanation, it is described that the first face detection unit includes three convolutional operation units, but this is only an example. The first face detection unit may include four or more convolutional operation units, or may include one or two convolutional operation units. There will be.
제1 내지 제3 컨벌루션 연산부 각각은 입력되는 이미지에 컨벌루션 필터를 적용하여 피쳐맵을 생성하고, 생성된 피쳐맵에 활성화함수를 적용함으로써 피쳐맵에 비선형적 특성을 반영한다. 이때, 제1 내지 제3 컨벌루션 연산부에 적용되는 컨벌루션 필터는 서로 상이한 필터일 수 있다.Each of the first to third convolution operation units applies a convolution filter to an input image to generate a feature map, and applies an activation function to the generated feature map to reflect nonlinear characteristics in the feature map. In this case, the convolution filters applied to the first to third convolution operators may be different filters.
일 실시예에 있어서, 제1 내지 제3 컨벌루션 연산부에서 이용되는 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 활성화함수일 수 있다. 여기서, 활성화함수란 복수의 입력정보에 가중치를 부여하여 결합해 완성된 결과값을 출력하는 함수를 의미한다.In one embodiment, the activation function used in the first to third convolution operation units may be an activation function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a reduced value by a predetermined size. have. Here, the activation function refers to a function that gives a weight to a plurality of input information and outputs a completed result value by combining them.
샘플링부는 제1 컨벌루션 연산부로부터 출력되는 피쳐맵에 샘플링 필터를 적용하여 피쳐맵으로부터 특징값을 추출한다. 일 실시예에 있어서, 샘플링부는 피쳐맵 상에서 샘플링 필터에 상응하는 영역에 포함된 픽셀값들 중 최대값을 피쳐맵의 특징값으로 추출할 수 있다. 이러한 실시예에 따르는 경우 샘플링부는 맥스 풀링(Max Pooling) 레이어로 구현될 수 있고, 맥스 풀링 레이어를 통해 피쳐맵의 차원이 감소된다. 샘플링부는 차원이 감소된 피쳐맵을 제2 컨벌루션 연산부로 입력한다.The sampling unit extracts a feature value from the feature map by applying a sampling filter to the feature map output from the first convolution operation unit. In an embodiment, the sampling unit may extract a maximum value among pixel values included in a region corresponding to the sampling filter on the feature map as a feature value of the feature map. According to this embodiment, the sampling unit may be implemented as a max pooling layer, and the dimension of the feature map is reduced through the max pooling layer. The sampling unit inputs the reduced-dimensional feature map to the second convolution operation unit.
제1 차원감소부는 제3 컨벌루션 연산부에서 출력되는 피쳐맵에 제1 차원감소 필터를 적용함으로써 제3 컨벌루션 연산부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제1 차원감소 필터는 피쳐맵을 2차원으로 감소시킬 수 있는 필터로 설정될 수 있다.The first dimension reduction unit reduces the dimension of the feature map output from the third convolution operation unit by applying the first dimension reduction filter to the feature map output from the third convolution operation unit. In an embodiment, the first dimension reduction filter may be set as a filter capable of reducing the feature map in two dimensions.
제1 확률값 연산부는 제1 차원감소부에 의해서 출력되는 2차원의 출력 데이터에 미리 정해진 분류함수를 적용함으로써 해당 입력 이미지에 얼굴영역이 포함되어 있는지 여부에 대한 제1 확률값을 계산한다. 일 실시예에 있어서, 제1 확률값 연산부는 산출된 제1 확률값이 제1 문턱값 이상이면 입력 이미지에 얼굴영역이 포함되어 있는 것으로 판단할 수 있다.The first probability value calculating unit calculates a first probability value of whether a face region is included in the input image by applying a predetermined classification function to the two-dimensional output data output by the first dimension reduction unit. In an embodiment, when the calculated first probability value is equal to or greater than a first threshold value, the first probability value calculator may determine that the input image includes the face region.
제2 차원감소부는 제1 확률값 연산부에 의해 산출된 제1 확률값이 제1 문턱값 이상인 경우 제3 컨벌루션 연산부에서 출력되는 피쳐맵에 제2 차원감소 필터를 적용함으로써 제3 컨벌루션 연산부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제2 차원감소 필터는 피쳐맵을 4차원으로 감소시킬 수 있는 필터로 설정될 수 있고, 제2 차원 감소부는 4차원으로 출력되는 4개의 값을 해당 입력 이미지 상에서의 얼굴영역 좌표로 결정한다. 이때, 얼굴영역의 좌표는 얼굴이 포함된 영역을 사각형 형태의 바운딩박스(Bounding Box)로 표시하였을 때 좌측 상단 꼭지점의 좌표와 우측 하단 꼭지점의 좌표로 정의되거나, 우측상단 꼭지점의 좌표와 좌측 하단 꼭지점의 좌표로 정의될 수 있다.The second dimensionality reduction unit applies the second dimension reduction filter to the feature map output from the third convolution operation unit when the first probability value calculated by the first probability value operation unit is equal to or greater than the first threshold, thereby applying the second dimension reduction filter to the feature map output from the third convolution operation unit. reduce the dimension of In an embodiment, the second dimension reduction filter may be set as a filter capable of reducing the feature map in four dimensions, and the second dimension reduction unit converts four values output in four dimensions to the coordinates of the face region on the input image. decide with At this time, the coordinates of the face area are defined as the coordinates of the upper left vertex and the lower right vertex when the area including the face is displayed as a rectangular bounding box, or the coordinates of the upper right vertex and the lower left vertex can be defined as the coordinates of
제2 얼굴탐지부는 제1 얼굴탐지부에 의해 얼굴영역이 포함된 것으로 판단된 입력 이미지들 및 해당 입력 이미지들 상에서의 얼굴영역의 좌표를 입력 받고, 해당 입력 이미지들 상에서 얼굴영역의 좌표에 해당하는 제1 서브 입력 이미지들에 컨벌루션 연산을 적용함으로써 제1 서브 입력 이미지들의 피쳐를 추출하고, 추출된 피쳐를 기초로 제1 서브 입력 이미지들 상에서 얼굴영역을 2차적으로 추출한다.The second face detector receives input images determined by the first face detector to include the face region and the coordinates of the face region on the input images, and receives the coordinates of the face region on the input images. A feature of the first sub-input images is extracted by applying a convolution operation to the first sub-input images, and a face region is secondarily extracted from the first sub-input images based on the extracted features.
이를 위해, 제2 얼굴탐지부는 n개의 컨벌루션 연산부, 제2 내지 제3 샘플링부, 제1 차원증가부, 제3 및 제4 차원감소부, 및 제2 확률값 연산부를 포함한다.To this end, the second face detection unit includes n convolutional operation units, second to third sampling units, a first dimensional increase unit, third and fourth dimensionality decrease units, and a second probability value calculation unit.
일 실시예에 있어서, 제2 얼굴탐지부는 3개의 컨벌루션 연산부를 포함할 수 있다. 설명의 편의를 위해 제2 얼굴탐지부가 3개의 컨벌루션 연산부를 포함하는 것으로 설명하지만, 이는 하나의 예일 뿐 제2 얼굴탐지부는 제1 얼굴탐지부에 포함된 컨벌루션 연산부의 개수 이상의 컨벌루션 연산부를 포함할 수 있다.In an embodiment, the second face detection unit may include three convolution operation units. For convenience of explanation, it is described that the second face detection unit includes three convolution operation units, but this is only an example. The second face detection unit may include more than the number of convolution operation units included in the first face detection unit. have.
제4 내지 제6 컨벌루션 연산부 각각은 입력되는 이미지에 컨벌루션 필터를 적용하여 피쳐맵을 생성하고, 생성된 피쳐맵에 활성화함수를 적용함으로써 피쳐맵에 비선형적 특성을 반영한다. 일 실시예에 있어서, 제4 내지 제6 컨벌루션 연산부가 이용하는 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 활성화함수일 수 있다.Each of the fourth to sixth convolution operation units applies a convolution filter to an input image to generate a feature map, and applies an activation function to the generated feature map to reflect nonlinear characteristics in the feature map. In an embodiment, the activation function used by the fourth to sixth convolution operation units may be an activation function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a reduced value by a predetermined size. .
제2 샘플링부는 제4 컨벌루션 연산부로부터 출력되는 피쳐맵에 샘플링 필터를 적용하여 해당 피쳐맵에서 특징값을 추출하고, 제3 샘플링부는 제5 컨벌루션 연산부로부터 출력되는 피쳐맵에 샘플링 필터를 적용하여 해당 피쳐맵에서 특징값을 추출한다. 일 실시예에 있어서, 제2 및 제3 샘플링부는 각각의 피쳐맵 상에서 샘플링 필터에 상응하는 영역에 포함된 픽셀값들 중 최대값을 피쳐맵의 특징값으로 추출할 수 있다. 이러한 실시예에 따르는 경우 제2 및 제3 샘플링부는 맥스풀링 레이어로 구현될 수 있고, 맥스풀링 레이어를 통해 각 피쳐맵의 차원이 감소된다.The second sampling unit applies a sampling filter to the feature map output from the fourth convolution operation unit to extract a feature value from the corresponding feature map, and the third sampling unit applies the sampling filter to the feature map output from the fifth convolution operation unit and applies the sampling filter to the corresponding feature. Extract feature values from the map. In an embodiment, the second and third sampling units may extract a maximum value among pixel values included in a region corresponding to a sampling filter on each feature map as a feature value of the feature map. According to this embodiment, the second and third sampling units may be implemented as a maxpooling layer, and the dimension of each feature map is reduced through the maxpooling layer.
제1 차원증가부는 제6 컨벌루션 연산부에서 출력되는 피쳐맵이 미리 정해진 크기의 차원을 갖도록 복수개의 노드들을 이용하여 피쳐맵의 차원을 증가시킨다. 일 실시예에 있어서, 제1 차원증가부는 제6 컨벌루션 연산부에서 출력되는 피쳐맵이 128*128의 크기를 갖거나 256*256의 크기를 갖도록 차원을 증가시킬 수 있다.The first dimension increase unit increases the dimension of the feature map by using a plurality of nodes so that the feature map output from the sixth convolution operation unit has a dimension of a predetermined size. In an embodiment, the first dimension increase unit may increase the dimension so that the feature map output from the sixth convolution operation unit has a size of 128*128 or 256*256.
제1 차원 증가부는 차원이 증가된 피쳐맵에 활성화함수를 적용함으로써 차원이 증가된 피쳐맵에 비선형적 특정을 반영한다. 일 실시예에 있어서, 제1 차원 증가부는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 활성화함수를 적용하여 피쳐맵에 비선형적 특성을 반영할 수 있다.The first dimensional increase unit reflects non-linear characteristics in the dimensionally increased feature map by applying the activation function to the dimensionally increased feature map. In an embodiment, the first dimensional increase unit applies an activation function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a reduced value by a predetermined size to provide a non-linear characteristic to the feature map. can reflect
제3 차원감소부는 제1 차원증가부에서 출력되는 피쳐맵에 제3 차원감소 필터를 적용함으로써 제1 차원증가부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제3 차원감소 필터는 피쳐맵을 2차원으로 감소시킬 수 있는 필터로 설정될 수 있다.The third dimension reduction unit reduces the dimension of the feature map output from the first dimension increase unit by applying the third dimension reduction filter to the feature map output from the first dimension increase unit. In an embodiment, the third dimension reduction filter may be set as a filter capable of reducing the feature map in two dimensions.
제2 확률값 연산부는 제3 차원감소부에 의해서 출력되는 2차원의 출력 데이터에 미리 정해진 분류함수를 적용함으로써 해당 제1 서브 입력 이미지에 얼굴영역이 포함되어 있는지 여부에 대한 제2 확률값을 계산한다. 일 실시예에 있어서, 제2 확률값 연산부는 산출된 제2 확률값이 제1 문턱값보다 큰 제2 문턱값 이상이면 해당 제1 서브 입력이미지에 얼굴영역이 포함된 것으로 판단할 수 있다.The second probability value calculating unit calculates a second probability value of whether the face region is included in the first sub-input image by applying a predetermined classification function to the two-dimensional output data output by the third dimension reduction unit. In an embodiment, the second probability value calculator may determine that the face region is included in the corresponding first sub-input image when the calculated second probability value is greater than or equal to a second threshold greater than the first threshold.
제4 차원감소부는 제2 확률값 연산부에 의해 산출된 제2 확률값이 제2 문턱값 이상인 경우 제1 차원증가부에서 출력되는 피쳐맵에 제4 차원감소 필터를 적용함으로써 제1 차원증가부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제4 차원감소 필터는 피쳐맵을 4차원으로 감소시킬 수 있는 필터로 설정될 수 있고, 제4 차원 감소부는 4차원으로 출력되는 4개의 값을 해당 제1 서브 입력 이미지 상에서의 얼굴영역 좌표로 결정한다. 이때, 얼굴영역의 좌표는 얼굴이 포함된 영역을 사각형 형태의 바운딩박스로 표시하였을 때 좌측 상단 꼭지점의 좌표와 우측 하단 꼭지점의 좌표로 정의되거나, 우측상단 꼭지점의 좌표와 좌측 하단 꼭지점의 좌표로 정의될 수 있다.The fourth dimensionality reduction unit applies the fourth dimension reduction filter to the feature map output from the first dimension increase unit when the second probability value calculated by the second probability value calculating unit is equal to or greater than the second threshold value. Reduce the dimension of the feature map. In an embodiment, the fourth dimensionality reduction filter may be set as a filter capable of reducing the feature map in four dimensions, and the fourth dimension reduction unit converts four values output in four dimensions to the corresponding first sub-input image. Determined by face area coordinates. In this case, the coordinates of the face area are defined as the coordinates of the upper left vertex and the lower right vertex when the area including the face is displayed in a rectangular bounding box, or defined as the coordinates of the upper right vertex and the coordinates of the lower left vertex. can be
제3 얼굴탐지부는 제2 얼굴탐지부에 의해 얼굴영역이 포함된 것으로 판단된 제1 서브 입력 이미지들 및 해당 제1 서브 입력 이미지들 상에서의 얼굴영역의 좌표를 입력 받고, 해당 제1 서브 입력 이미지들 상에서 얼굴영역의 좌표에 해당하는 제2 서브 입력 이미지들에 컨벌루션 연산을 적용함으로써 제2 서브 입력 이미지들의 피쳐를 추출하고, 추출된 피쳐를 기초로 제2 서브 입력 이미지들 상에서 얼굴영역을 3차적으로 추출한다.The third face detector receives the first sub-input images determined by the second face detector to include the face region and the coordinates of the face region on the first sub-input images, and receives the first sub-input image The features of the second sub-input images are extracted by applying a convolution operation to the second sub-input images corresponding to the coordinates of the face region in the fields, and the facial region is tertiary on the second sub-input images based on the extracted features. extracted with
이를 위해, 제3 얼굴탐지부는 n+1개의 컨벌루션 연산부, 제4 내지 제6 샘플링부, 제2 차원증가부, 제5 내지 제6 차원감소부, 및 제3 확률값 연산부를 포함한다.To this end, the third face detection unit includes n+1 convolution operation units, fourth to sixth sampling units, a second dimensional increase unit, a fifth to sixth dimension decrease unit, and a third probability value calculating unit.
일 실시예에 있어서, 제3 얼굴탐지부는 4개의 컨벌루션 연산부를 포함할 수 있다. 설명의 편의를 위해 제3 얼굴탐지부가 4개의 컨벌루션 연산부를 포함하는 것으로 설명하지만, 이는 하나의 예일 뿐 제3 얼굴탐지부는 제2 얼굴탐지부에 포함된 컨벌루션 연산부의 개수 이상의 컨벌루션 연산부를 포함한다면 그 개수에는 제한이 없을 수 있다.In an embodiment, the third face detection unit may include four convolution operation units. For convenience of explanation, it is described that the third face detection unit includes four convolution operation units, but this is only an example. If the third face detection unit includes more than the number of convolution operation units included in the second face detection unit, the The number may be unlimited.
제7 내지 제10 컨벌루션 연산부 각각은 입력되는 이미지에 컨벌루션 필터를 적용하여 피쳐맵을 생성하고, 생성된 피쳐맵에 활성화함수를 적용함으로써 피쳐맵에 비선형적 특성을 반영한다. 일 실시예에 있어서, 제7 내지 제10 컨벌루션 연산부가 이용하는 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 활성화함수일 수 있다.Each of the seventh to tenth convolution operation units applies a convolution filter to an input image to generate a feature map, and applies an activation function to the generated feature map to reflect non-linear characteristics in the feature map. In an embodiment, the activation function used by the seventh to tenth convolution operation units may be an activation function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a reduced value by a predetermined size. .
제4 샘플링부는 제7 컨벌루션 연산부로부터 출력되는 피쳐맵에 샘플링 필터를 적용하여 해당 피쳐맵에서 특징값을 추출하고, 제5 샘플링부는 제8 컨벌루션 연산부로부터 출력되는 피쳐맵에 샘플링 필터를 적용하여 해당 피쳐맵에서 특징값을 추출하며, 제6 샘플링부는 제9 컨벌루션 연산부로부터 출력되는 피쳐맵에 샘플링 필터를 적용하여 해당 피쳐맵에서 특징값을 추출한다. 일 실시예에 있어서, 제4 내지 제6 샘플링부는 각각의 피쳐맵 상에서 샘플링 필터에 상응하는 영역에 포함된 픽셀값들 중 최대값을 피쳐맵의 특징값으로 추출할 수 있다. 이러한 실시예에 따르는 경우 제4 내지 제6 샘플링부는 맥스풀링 레이어로 구현될 수 있고, 맥스풀링 레이어를 통해 각 피쳐맵의 차원이 감소된다.The fourth sampling unit applies a sampling filter to the feature map output from the seventh convolution operation unit to extract a feature value from the corresponding feature map, and the fifth sampling unit applies the sampling filter to the feature map output from the eighth convolution operation unit to apply the sampling filter to the corresponding feature. The feature value is extracted from the map, and the sixth sampling unit applies a sampling filter to the feature map output from the ninth convolution operation unit to extract the feature value from the corresponding feature map. In an embodiment, the fourth to sixth sampling units may extract a maximum value among pixel values included in an area corresponding to the sampling filter on each feature map as a feature value of the feature map. According to this embodiment, the fourth to sixth sampling units may be implemented as a maxpooling layer, and the dimension of each feature map is reduced through the maxpooling layer.
제2 차원증가부는 제10 컨벌루션 연산부에서 출력되는 피쳐맵이 미리 정해진 크기의 차원을 갖도록 복수개의 노드들을 이용하여 피쳐맵의 차원을 증가시킨다. 일 실시예에 있어서, 제2 차원증가부는 제10 컨벌루션 연산부에서 출력되는 피쳐맵이 128*128의 크기를 갖거나 256*256의 크기를 갖도록 차원을 증가시킬 수 있다.The second dimension increase unit increases the dimension of the feature map by using a plurality of nodes so that the feature map output from the tenth convolution operation unit has a dimension of a predetermined size. In an embodiment, the second dimension increase unit may increase the dimension so that the feature map output from the tenth convolution operation unit has a size of 128*128 or a size of 256*256.
제2 차원 증가부는 차원이 증가된 피쳐맵에 활성화함수를 적용함으로써 차원이 증가된 피쳐맵에 비선형적 특정을 반영한다. 일 실시예에 있어서, 제2 차원 증가부는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 활성화함수를 적용하여 피쳐맵에 비선형적 특성을 반영할 수 있다.The second dimensional increase unit reflects non-linear characteristics in the dimensionally increased feature map by applying the activation function to the dimensionally increased feature map. In an embodiment, the second dimensional increase unit applies an activation function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a value reduced by a predetermined size to apply a non-linear characteristic to the feature map. can reflect
제5 차원감소부는 제2 차원증가부에서 출력되는 피쳐맵에 제5 차원감소 필터를 적용함으로써 제2 차원증가부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제5 차원감소 필터는 피쳐맵을 2차원으로 감소시킬 수 있는 필터로 설정될 수 있다.The fifth dimension reduction unit reduces the dimension of the feature map output from the second dimension increase unit by applying the fifth dimension reduction filter to the feature map output from the second dimension increase unit. In an embodiment, the fifth dimension reduction filter may be set as a filter capable of reducing the feature map in two dimensions.
제3 확률값 연산부는 제5 차원감소부에 의해서 출력되는 2차원의 출력 데이터에 미리 정해진 분류함수를 적용함으로써 해당 제2 서브 입력 이미지에 얼굴영역이 포함되어 있는지 여부에 대한 제3 확률값을 계산한다. 일 실시예에 있어서, 제3 확률값 연산부는 산출된 제3 확률값이 제2 문턱값보다 큰 제3 문턱값 이상이면 해당 제2 서브 입력이미지에 얼굴영역이 포함된 것으로 판단한다.The third probability value calculating unit calculates a third probability value of whether a face region is included in the corresponding second sub-input image by applying a predetermined classification function to the two-dimensional output data output by the fifth dimension reduction unit. In an embodiment, the third probability value calculating unit determines that the face region is included in the corresponding second sub-input image when the calculated third probability value is greater than or equal to a third threshold greater than the second threshold.
제6 차원감소부는 제3 확률값 연산부에 의해 산출된 제3 확률값이 제3 문턱값 이상인 경우 제2 차원증가부에서 출력되는 피쳐맵에 제6 차원감소 필터를 적용함으로써 제2 차원증가부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제6 차원감소 필터는 피쳐맵을 4차원으로 감소시킬 수 있는 필터로 설정될 수 있고, 제6 차원 감소부는 4차원으로 출력되는 4개의 값을 해당 제2 서브 입력 이미지 상에서의 얼굴영역 좌표로 결정한다. 이때, 얼굴영역의 좌표는 얼굴이 포함된 영역을 사각형 형태의 바운딩박스로 표시하였을 때 좌측 상단 꼭지점의 좌표와 우측 하단 꼭지점의 좌표로 정의되거나, 우측상단 꼭지점의 좌표와 좌측 하단 꼭지점의 좌표로 정의될 수 있다.The sixth dimension reduction unit applies the sixth dimension reduction filter to the feature map output from the second dimension increase unit when the third probability value calculated by the third probability value calculating unit is equal to or greater than the third threshold value, thereby outputting from the second dimension increase unit. Reduce the dimension of the feature map. In an embodiment, the sixth dimension reduction filter may be set as a filter capable of reducing the feature map in four dimensions, and the sixth dimension reduction unit converts four values output in four dimensions to the corresponding second sub-input image. Determined by face area coordinates. In this case, the coordinates of the face area are defined as the coordinates of the upper left vertex and the lower right vertex when the area including the face is displayed in a rectangular bounding box, or defined as the coordinates of the upper right vertex and the lower left vertex. can be
제6 차원감소부는 산출된 얼굴영역 좌표를 이용하여 얼굴영역이 포함된 것으로 판단된 제2 서브 입력 이미지 상에서 얼굴 이미지를 추출한다.The sixth dimension reduction unit extracts a face image from the second sub-input image determined to include the face region by using the calculated face region coordinates.
제7 차원감소부는 제3 확률값 연산부에 의해 산출된 제3 확률값이 제3 문턱값 이상인 경우 제2 차원증가부에서 출력되는 피쳐맵에 제7 차원감소 필터를 적용함으로써 제2 차원증가부에서 출력되는 피쳐맵의 차원을 감소시킨다. 일 실시예에 있어서 제7 차원감소 필터는 피쳐맵을 10차원으로 감소시킬 수 있는 필터로 설정될 수 있고, 제7 차원 감소부는 10차원으로 출력되는 10개의 값을 해당 제2 서브 입력 이미지 상에서의 랜드마크 좌표로 결정한다. 이때, 랜드마크 좌표는 제2 서브 입력 이미지 상에서의 2개의 눈의 좌표, 코의 좌표, 2개의 입의 좌표를 의미하고, 2개의 입의 좌표는 입의 좌측 꼬리에 대한 좌표 및 입의 우측 꼬리에 대한 좌표를 의미한다.The seventh dimension reduction unit applies the seventh dimension reduction filter to the feature map output from the second dimension increase unit when the third probability value calculated by the third probability value calculating unit is equal to or greater than the third threshold value, thereby outputting from the second dimension increase unit. Reduce the dimension of the feature map. In an embodiment, the seventh dimensionality reduction filter may be set as a filter capable of reducing the feature map in ten dimensions, and the seventh dimension reduction unit converts ten values output in ten dimensions to the corresponding second sub-input image. Determined by landmark coordinates. In this case, the landmark coordinates mean the coordinates of two eyes, the coordinates of the nose, and the coordinates of the two mouths on the second sub-input image, and the coordinates of the two mouths are the coordinates for the left tail of the mouth and the right tail of the mouth. means the coordinates for
이와 같이, 본 발명에 따르면 얼굴이미지 추출부(237)가 제1 내지 제3 얼굴탐지부로 구현되고, 제1 얼굴탐지부는 제2 얼굴탐지부에 비해 얕은(Shallow) 뎁스의 네트워크로 구성되고, 제2 얼굴탐지부는 제3 얼굴탐지부에 비해 얕은 뎁스의 네트워크로 구성됨으로써 얼굴이미지 추출부가 전체적으로 Shallow-to-Deep구조로 단계적인 형태로 형성되도록 한다. 이를 통해, 얼굴이미지 추출의 정확도를 향상시킴과 동시에 복잡도를 감소시킴으로써 얼굴인식 속도 측면에서 이득을 취할 수 있게 된다.As described above, according to the present invention, the face
얼굴 이미지 정렬부는 제3 얼굴탐지부에서 출력된 랜드마크 좌표를 이용하여 얼굴이미지를 정렬한다. 구체적으로, 얼굴 이미지 정렬부는 추출된 얼굴이미지에 대한 랜드마크 좌표를 이용하여 얼굴이미지에 대해 회전, 평행이동, 확대 및 축소 중 적어도 하나를 수행하여 얼굴이미지를 정렬한다. The face image alignment unit aligns the face images by using the landmark coordinates output from the third face detection unit. Specifically, the face image aligning unit aligns the face image by performing at least one of rotation, translation, enlargement, and reduction on the face image by using the landmark coordinates of the extracted face image.
본 발명에서 얼굴 이미지 정렬부를 이용하여 얼굴이미지를 정렬하는 이유는 실물이미지 판단부(238) 및 특징벡터 추출부(239)에 입력으로 제공될 얼굴이미지에 일관성을 부여함으로써 얼굴인식 성능을 향상시키기 위함이다.The reason for aligning the face images using the face image alignment unit in the present invention is to improve the face recognition performance by giving consistency to the face image to be provided as an input to the real image determining unit 238 and the feature
일 실시예에 있어서, 얼굴 이미지 정렬부는 제3 얼굴탐지부에 의해 추출된 얼굴이미지를 실물이미지 판단부(238) 및 특징벡터 추출부(239)에서 이용되는 얼굴이미지와 동일한 해상도로 리사이징(Resizing)하고, 특징벡터 추출부(239)에서 이용되는 해상도의 얼굴이미지에 대한 기준 랜드마크 좌표를 기준으로 제3 얼굴탐지부에 의해 산출된 랜드마크 좌표를 이동시킴으로써 얼굴이미지를 회전, 평행이동, 확대 또는 축소시킬 수 있다.In an embodiment, the face image alignment unit resizes the face image extracted by the third face detection unit to the same resolution as the face image used in the real image determination unit 238 and the feature
실물이미지 판단부(238)는 얼굴이미지 추출부(237)로부터 추출된 얼굴이미지가 사람을 촬영한 실물이미지인지 여부를 판단한다. 구체적으로, 실물이미지 판단부(238)는 신경망 네트워크를 이용하여 타겟 사용자의 얼굴이미지로부터 얼굴이미지의 RGB를 표현하는 RGB 특징벡터, 얼굴이미지의 깊이를 표현하는 깊이 특징벡터, 얼굴이미지의 빛 반사를 표현하는 반사 특징벡터를 추출하고, 추출된 각 특징벡터로 얼굴이미지의 실물이미지 여부를 판단한다.The real image determining unit 238 determines whether the face image extracted from the face
본 발명에 따른 실물이미지 판단부(238)가 얼굴이미지 추출부(237)에 의해 추출된 얼굴이미지로 실물이미지 여부를 판단하는 이유는, 주변환경에 대한 정보를 최소화함으로써 불필요한 정보로 인하여 발생하는 과적합(Overfitting) 및 일반화 성능 저하를 방지하기 위함이다.The reason that the real image determining unit 238 according to the present invention determines whether or not the real image is a real image with the face image extracted by the face
본 발명에 따른 실물이미지 판단부(237)는 실물 특징벡터 추출부, 특징벡터 융합부, 및 판단부를 포함한다.The real
실물 특징벡터 추출부는 타겟 사용자의 얼굴이미지로부터 얼굴이미지의 실물이미지 여부를 판단하기 위해 신경망 네트워크를 이용하여 얼굴이미지의 깊이를 표현하는 깊이 특징벡터, 및 얼굴이미지의 빛 반사를 표현하는 반사 특징벡터 중 적어도 하나와 얼굴이미지의 RGB를 표현하는 RGB 특징벡터를 추출한다.The real feature vector extraction unit uses a neural network to determine whether the face image is a real image from the target user's face image, among a depth feature vector expressing the depth of the face image, and a reflection feature vector expressing the light reflection of the face image. At least one and an RGB feature vector representing the RGB of the face image are extracted.
RGB 특징벡터 추출부는 RGB 신경망 네트워크를 이용하여 얼굴이미지로부터 RGB 특징벡터를 추출한다. 이때, RGB 신경망 네트워크는 사람을 촬영한 2차원 실물이미지와 사진을 촬영한 2차원 페이크 이미지로 학습된다.The RGB feature vector extractor extracts the RGB feature vector from the face image using the RGB neural network. At this time, the RGB neural network network is trained with a two-dimensional real image of a person and a two-dimensional fake image of a photograph.
이를 위해, RGB 특징벡터 추출부는 제1 서브 RGB 특징벡터 추출부, 제2 서브 RGB 특징벡터 추출부, 제3 서브 RGB 특징벡터 추출부, 제4 서브 RGB 특징벡터 추출부(240), 및 RGB 특징벡터 생성부를 포함한다. 여기서, RGB 특징벡터 추출부가 4개의 서브 RGB 특징벡터 추출부를 포함하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로, RGB 특징벡터 추출부(210)는 3개 이하의 서브 RGB 특징벡터 추출부 또는 5개 이상의 서브 RGB 특징벡터 추출부를 포함할 수 있다. To this end, the RGB feature vector extractor includes a first sub-RGB feature vector extractor, a second sub-RGB feature vector extractor, a third sub-RGB feature vector extractor, a fourth sub-RGB
제1 서브 RGB 특징벡터 추출부는 제1 RGB 신경망 네트워크로 얼굴이미지의 피쳐맵을 생성하고, 피쳐맵을 기초로 얼굴이미지로부터 제1 서브 RGB 특징벡터를 추출한다. 제1 서브 RGB 특징벡터 추출부는 추출된 제1 서브 RGB 특징벡터를 제2 서브 RGB 특징벡터 추출부로 전달한다. 또한, 제1 서브 RGB 특징벡터 추출부는 제1 서브 RGB 특징벡터를 깊이 특징벡터 추출부 및 반사 특징벡터 추출부로 전달한다.The first sub-RGB feature vector extractor generates a feature map of the face image with the first RGB neural network, and extracts the first sub-RGB feature vector from the face image based on the feature map. The first sub-RGB feature vector extractor transmits the extracted first sub-RGB feature vector to the second sub-RGB feature vector extractor. In addition, the first sub-RGB feature vector extractor transmits the first sub-RGB feature vector to the depth feature vector extractor and the reflection feature vector extractor.
제2 서브 RGB 특징벡터 추출부는 제2 서브 RGB 신경망 네트워크로 제1 서브 RGB 특징벡터 추출부로부터 전달된 제1 서브 RGB 특징벡터의 피쳐맵을 생성하고, 피쳐맵을 기초로 제1 서브 RGB 특징벡터로부터 제2 서브 RGB 특징벡터를 추출한다. 제2 서브 RGB 특징벡터 추출부는 추출된 제2 서브 RGB 특징벡터를 제3 서브 RGB 특징벡터 추출부로 전달한다. 또한, 제2 서브 RGB 특징벡터 추출부는 제2 서브 RGB 특징벡터를 깊이 특징벡터 추출부 및 반사 특징벡터 추출부로 전달한다.The second sub-RGB feature vector extractor generates a feature map of the first sub-RGB feature vector transmitted from the first sub-RGB feature vector extractor to the second sub-RGB neural network network, and based on the feature map, generates the first sub-RGB feature vector. A second sub-RGB feature vector is extracted from The second sub-RGB feature vector extractor transmits the extracted second sub-RGB feature vector to the third sub-RGB feature vector extractor. In addition, the second sub-RGB feature vector extractor transmits the second sub-RGB feature vector to the depth feature vector extractor and the reflection feature vector extractor.
제3 서브 RGB 특징벡터 추출부는 제3 서브 RGB 신경망 네트워크로 제2 서브 RGB 특징벡터 추출부로부터 전달된 제2 RGB 서브 특징벡터의 피쳐맵을 생성하고, 피쳐맵을 기초로 제2 서브 RGB 특징벡터로부터 제3 서브 RGB 특징벡터를 추출한다. 제3 서브 RGB 특징벡터 추출부는 추출된 제3 서브 RGB 특징벡터를 제4 서브 RGB 특징벡터 추출부로 전달한다. 또한, 제3 서브 RGB 특징벡터 추출부(235)는 제3 서브 RGB 특징벡터를 깊이 특징벡터 추출부 및 반사 특징벡터 추출부로 전달한다.The third sub-RGB feature vector extractor generates a feature map of the second RGB sub feature vector transmitted from the second sub-RGB feature vector extractor to the third sub-RGB neural network network, and based on the feature map, generates the second sub-RGB feature vector. A third sub-RGB feature vector is extracted from The third sub-RGB feature vector extractor transmits the extracted third sub-RGB feature vector to the fourth sub-RGB feature vector extractor. In addition, the third sub-RGB
제4 서브 RGB 특징벡터 추출부는 제4 서브 RGB 신경망 네트워크로 제3 서브 RGB 특징벡터 추출부로부터 전달된 제3 서브 RGB 특징벡터의 피쳐맵을 생성하고, 피쳐맵을 기초로 제3 서브 RGB 특징벡터로부터 제4 서브 RGB 특징벡터를 추출한다. 제4 서브 RGB 특징벡터 추출부는 추출된 제4 서브 RGB 특징벡터를 RGB 특징벡터 생성부로 전달한다. The fourth sub-RGB feature vector extractor generates a feature map of the third sub-RGB feature vector transmitted from the third sub-RGB feature vector extractor to the fourth sub-RGB neural network network, and based on the feature map, generates the third sub-RGB feature vector. A fourth sub-RGB feature vector is extracted from The fourth sub-RGB feature vector extractor transmits the extracted fourth sub-RGB feature vector to the RGB feature vector generator.
이와 같이 서브 RGB 특징벡터 추출부는 n개의 RGB 신경망 네트워크를 이용하여 n개의 서브 RGB 특징벡터를 추출한다. 서브 RGB 특징벡터 추출부는 RGB 신경망 네트워크 별로 얼굴이미지의 피쳐맵을 생성하고, 피쳐맵을 기초로 얼굴이미지로부터 n개의 서브 RGB 특징벡터를 추출한다.In this way, the sub-RGB feature vector extractor extracts n sub-RGB feature vectors by using the n RGB neural network. The sub-RGB feature vector extractor generates a feature map of the face image for each RGB neural network, and extracts n sub-RGB feature vectors from the face image based on the feature map.
본 발명에 따른 서브 RGB 특징벡터 추출부가 n개의 서브 RGB 특징벡터를 추출하는 이유는, 서로 다른 크기를 갖는 서브 RGB 특징벡터로 RGB 특징벡터, 깊이 특징벡터, 반사 특징벡터를 생성하는 것이 하나의 고정된 크기의 특징벡터로 생성하는 것보다 해당 특징벡터의 표현력 및 구분력(Discriminative Power)이 풍부해지기 때문이다. The reason that the sub-RGB feature vector extractor according to the present invention extracts n sub-RGB feature vectors is that generating RGB feature vectors, depth feature vectors, and reflection feature vectors with sub-RGB feature vectors having different sizes is a fixed method. This is because the expressive power and discriminative power of the corresponding feature vector becomes richer than when the feature vector is generated with the specified size.
RGB 특징벡터 생성부는 제1 내지 제4 서브 RGB 특징벡터 추출부에 의해 생성된 제1 서브 RGB 특징벡터, 제2 서브 RGB 특징벡터, 제3 서브 RGB 특징벡터, 및 제4 서브 RGB 특징벡터를 조합하여 RGB 특징벡터를 생성한다. 구체적으로, RGB 특징벡터 생성부는 제1 서브 RGB 특징벡터, 제2 서브 RGB 특징벡터, 제3 서브 RGB 특징벡터, 및 제4 서브 RGB 특징벡터를 합산하여 RGB 특징벡터를 생성한다.The RGB feature vector generator combines the first sub-RGB feature vector, the second sub-RGB feature vector, the third sub-RGB feature vector, and the fourth sub-RGB feature vector generated by the first to fourth sub-RGB feature vector extractor. to generate an RGB feature vector. Specifically, the RGB feature vector generator generates the RGB feature vector by summing the first sub-RGB feature vector, the second sub-RGB feature vector, the third sub-RGB feature vector, and the fourth sub-RGB feature vector.
본 발명에 따른 RGB 특징벡터 생성부가 제1 내지 제4 서브 RGB 특징벡터를 합산하여 RGB 특징벡터를 생성하는 이유는, 하나의 고정된 크기의 특징벡터로 얼굴이미지의 실물이미지 여부를 판단하는 것에 비해, 여러 크기의 특징벡터를 이용하여 얼굴이미지의 실물이미지 여부를 판단하는 것이 성능이 향상되기 때문이다.The reason that the RGB feature vector generator according to the present invention generates the RGB feature vector by summing the first to fourth sub-RGB feature vectors is compared to determining whether the face image is a real image with one fixed size feature vector. , it is because performance is improved to determine whether a face image is a real image using feature vectors of various sizes.
깊이 특징벡터 추출부는 RGB 특징벡터 추출부로부터 입력되는 제1 서브 RGB 특징벡터, 제2 서브 RGB 특징벡터, 및 제3 서브 RGB 특징벡터를 기초로 깊이 특징벡터(b)를 생성한다. The depth feature vector extractor generates a depth feature vector (b) based on the first sub-RGB feature vector, the second sub-RGB feature vector, and the third sub-RGB feature vector input from the RGB feature vector extractor.
타인의 얼굴이 포함된 사진이 촬영된 페이크이미지에는 깊이값이 존재할 수 없다. 따라서, 본 발명은 깊이 특징벡터 추출부에서 추출되는 깊이 특징벡터를 기초로 실물이미지 판단을 정확하게 할 수 있다.A depth value cannot exist in a fake image in which a photo containing another person's face is taken. Accordingly, the present invention can accurately determine the real image based on the depth feature vector extracted by the depth feature vector extractor.
깊이 특징벡터 추출부는 제1 서브 RGB 특징벡터, 제2 서브 RGB 특징벡터, 및 제3 서브 RGB 특징벡터의 크기를 조정하고, 이를 합산하여 입력 특징벡터를 생성한다. 깊이 특징벡터 추출부는 깊이 신경망 네트워크를 이용하여 생성된 입력 특징벡터의 피쳐맵을 생성하고 해당 피쳐맵을 기초로 깊이 특징벡터를 추출한다. 이때, 깊이 특징벡터 추출부는 크기를 조정하기 위해 패딩을 수행할 수 있다. 깊이 신경망 네트워크는 사람을 촬영한 실물이미지로부터 추출된 제1 깊이이미지와 사진을 촬영한 페이크이미지로부터 추출된 제2 깊이이미지로 학습된다.The depth feature vector extractor adjusts the sizes of the first sub-RGB feature vector, the second sub-RGB feature vector, and the third sub-RGB feature vector, and adds them to generate an input feature vector. The depth feature vector extractor generates a feature map of an input feature vector generated by using a depth neural network and extracts a depth feature vector based on the feature map. In this case, the depth feature vector extractor may perform padding to adjust the size. The depth neural network is trained with a first depth image extracted from a real image of a person and a second depth image extracted from a fake image of a photograph.
반사 특징벡터 추출부는 RGB 특징벡터 추출부로부터 입력되는 제1 서브 RGB 특징벡터, 제2 서브 RGB 특징벡터, 및 제3 서브 RGB 특징벡터를 기초로 반사 특징벡터(c)를 생성한다. The reflection feature vector extractor generates the reflection feature vector c based on the first sub-RGB feature vector, the second sub-RGB feature vector, and the third sub-RGB feature vector input from the RGB feature vector extractor.
본 발명은 반사 특징벡터 추출부로부터 반사 특징벡터를 추출하는 이유는, 카메라로 사람의 얼굴을 촬영하게 되면 빛 반사가 없지만 타인의 이미지를 촬영하게 되면 미세하지만 빛 반사가 발생하게 되기 때문이다.The reason why the present invention extracts the reflection feature vector from the reflection feature vector extractor is that when photographing a person's face with a camera, there is no light reflection, but when an image of another person is photographed, a minute but light reflection occurs.
이에 따라 본 발명은 반사 특징벡터를 기초로 얼굴이미지가 실물이미지인지 여부를 판단함으로써 얼굴인식의 정확도가 향상된다는 효과가 있다.Accordingly, the present invention has the effect of improving the accuracy of face recognition by determining whether a face image is a real image based on the reflection feature vector.
반사 특징벡터 추출부는 제1 서브 RGB 특징벡터, 제2 서브 RGB 특징벡터, 및 제3 서브 RGB 특징벡터의 크기를 조정하고 이를 합산하여 입력 특징벡터를 생성한다. 반사 특징벡터 추출부는 반사 신경망 네트워크로 합산된 입력 특징벡터의 피쳐맵을 생성하고 해당 피쳐맵을 기초로 반사 특징벡터를 추출한다. 이때, 반사 특징벡터 추출부는 크기를 조정하기 위해 패딩을 수행할 수 있다. 반사 신경망 네트워크는 사람을 촬영한 실물이미지로부터 추출된 제1 반사이미지와 사진을 촬영한 페이크이미지로부터 추출된 제2 반사이미지로 학습된다.The reflection feature vector extractor adjusts the sizes of the first sub-RGB feature vector, the second sub-RGB feature vector, and the third sub-RGB feature vector, and adds them to generate an input feature vector. The reflection feature vector extractor generates a feature map of the input feature vectors summed with the reflex neural network and extracts the reflection feature vector based on the feature map. In this case, the reflection feature vector extractor may perform padding to adjust the size. The reflex neural network is trained with a first reflected image extracted from a real image of a person and a second reflected image extracted from a fake image of a photograph.
상술한, 신경망 네트워크는 RGB 신경망 네트워크, 깊이 신경망 네트워크, 반사 신경망 네트워크를 포함하고, 각 신경망 네트워크는 복수개의 컨벌루션 연산부와 복수개의 샘플링부가 순차적으로 배치되어 각 RGB, 깊이, 및 반사 특징벡터를 추출하게 된다.The above-mentioned neural network network includes an RGB neural network network, a depth neural network network, and a reflex neural network network, and each neural network network has a plurality of convolution operation units and a plurality of sampling units sequentially arranged to extract each RGB, depth, and reflection feature vectors. do.
특징벡터 융합부는 깊이 특징벡터 및 반사 특징벡터 중 적어도 하나를 RGB 특징벡터와 융합하여 융합 특징벡터를 생성한다. 구체적으로, 특징벡터 융합부는 깊이 특징벡터 추출부로부터 추출된 깊이 특징벡터와 반사 특징벡터 추출부로부터 추출된 반사 특징벡터 중 적어도 하나와 RGB 특징벡터 추출부로부터 추출된 RGB 특징벡터를 융합하여 융합 특징벡터를 생성한다.The feature vector fusion unit generates a fusion feature vector by fusing at least one of a depth feature vector and a reflection feature vector with an RGB feature vector. Specifically, the feature vector fusion unit fuses at least one of the depth feature vector extracted from the depth feature vector extractor and the reflective feature vector extracted from the reflection feature vector extractor with the RGB feature vector extracted from the RGB feature vector extractor to obtain a fusion feature. create a vector
본 발명에 따른 특징벡터 융합부가 각 특징벡터를 융합하는 이유는, RGB 이미지의 특징, 반사이미지의 특징, 및 깊이 이미지의 특징을 적절하게 반영하여 풍부한 표현력을 가지는 특징벡터로 사진을 촬영한 페이크이미지를 판별할 수 있게 함으로써, 페이크이미지로 인증을 수행하는 것을 효과적으로 차단할 수 있게 하기 위함이다.The reason why the feature vector fusion unit according to the present invention fuses each feature vector is a fake image obtained by taking a picture with a feature vector having rich expressive power by appropriately reflecting the characteristics of the RGB image, the characteristics of the reflection image, and the characteristics of the depth image. This is in order to effectively block authentication with a fake image by making it possible to discriminate.
특징벡터 융합부는 제1 출력 특징벡터 생성부, 제2 출력 특징벡터 생성부, 및 융합 특징벡터 생성부를 포함한다.The feature vector fusion unit includes a first output feature vector generator, a second output feature vector generator, and a fusion feature vector generator.
제1 출력 특징벡터 생성부는 RGB 특징벡터를 k개의 융합 컨벌루션 연산부를 통과시켜 제1 출력 특징벡터를 생성한다. The first output feature vector generating unit generates a first output feature vector by passing the RGB feature vectors through k fusion convolution operation units.
제2 출력 특징벡터 생성부는 깊이 특징벡터에서 반사 특징벡터를 감산한 결과값을 k개의 융합 컨벌루션 연산부와 k번째의 컨벌루션 연산부의 출력단에 배치된 융합 샘플링부를 순차적으로 통과시켜 제2 출력 특징벡터를 생성한다. The second output feature vector generator sequentially passes the result obtained by subtracting the reflection feature vector from the depth feature vector through the k fusion convolution operator and the fusion sampling section disposed at the output of the k-th convolution operator to generate a second output feature vector. do.
융합 특징벡터 생성부는 제1 출력 특징벡터와 제2 출력 특징벡터를 합산하여 융합 특징벡터를 생성한다. The fusion feature vector generator generates a fusion feature vector by adding the first output feature vector and the second output feature vector.
판단부는 융합 특징벡터를 이용하여 얼굴이미지가 사람을 촬영한 실물이미지인지 여부를 판단한다. 구체적으로 판단부는 미리 학습된 이진분류기에 융합 특징벡터를 입력하여 얼굴이미지가 실물이미지인지 여부를 판단한다.The determination unit determines whether the face image is a real image of a person by using the fusion feature vector. Specifically, the determination unit determines whether the face image is a real image by inputting the fusion feature vector into the pre-learned binary classifier.
이때, 이진분류기는 실물이미지로부터 추출된 제1 깊이 이미지 및 페이크이미지로부터 추출된 제2 깊이이미지와, 실물이미지로부터 추출된 제1 반사이미지 및 페이크이미지로부터 추출된 제2 반사이미지가 학습될 수 있다. 단순히, 2차원 실물이미지 또는 2차원 페이크이미지로 이진분류기를 학습시키는 경우, 카메라의 화질이나, 장소, 조명 등 외부 특정환경에 대해 과적합(Overfitting)되면서 다른 환경에서 나온 이미지들에 대해 판별이 어려운 문제가 있었다. In this case, the binary classifier can learn the first depth image extracted from the real image and the second depth image extracted from the fake image, and the first reflected image extracted from the real image and the second reflected image extracted from the fake image. . In the case of simply learning a binary classifier with a two-dimensional real image or a two-dimensional fake image, it is difficult to discriminate images from other environments as it overfits to a specific external environment such as camera quality, location, and lighting. There was a problem.
이에 따라 본 발명은 2차원 실물이미지 및 2차원 페이크 이미지뿐만 아니라, 해당 실물이미지 및 페이크이미지로부터 추출된 깊이이미지와 반사이미지를 이진분류기에 학습시킴으로써, 특정 환경에 대한 과적합을 방지할 수 있어 어느 환경에 촬영된 얼굴이미지라도 실물이미지 판단을 정확하게 할 수 있게 하였다.Accordingly, the present invention can prevent overfitting to a specific environment by learning not only the two-dimensional real image and the two-dimensional fake image, but also the depth image and the reflection image extracted from the real image and the fake image in the binary classifier. Even if it is a face image taken in the environment, it is possible to accurately judge the real image.
이진 분류기는 실물이미지로부터 추출된 제1 깊이 이미지를 학습하게 되고, 페이크 이미지로부터 추출된 제2 깊이 이미지를 학습하게 된다. 이때, 실물이미지로부터 추출된 제1 깊이 이미지는 기준이 되는 정답으로 학습되고, 페이크 이미지로부터 추출된 제2 깊이이미지는 RGB를 블랙으로 하여 학습된다. RGB는 (0,0,0)이 된다.The binary classifier learns the first depth image extracted from the real image and learns the second depth image extracted from the fake image. At this time, the first depth image extracted from the real image is learned as a standard correct answer, and the second depth image extracted from the fake image is learned by using RGB as black. RGB becomes (0,0,0).
또한, 이진 분류기는 실물이미지로부터 추출된 제1 반사 이미지를 학습하게 되고, 페이크 이미지로부터 추출된 제2 반사 이미지를 학습하게 된다. 이때, 실물이미지로부터 추출된 제1 반사 이미지는 RGB를 블랙으로 하여 학습된다. RGB는 (0,0,0)이 된다. 페이크이미지로부터 추출된 제2 반사 이미지는 기준이 되는 오답으로 학습된다.In addition, the binary classifier learns the first reflection image extracted from the real image, and learns the second reflection image extracted from the fake image. At this time, the first reflection image extracted from the real image is learned by using RGB as black. RGB becomes (0,0,0). The second reflection image extracted from the fake image is learned as a reference incorrect answer.
판단부는 이진분류기에서 출력되는 확률값이 미리 정해진 문턱값미만이면, 해당 얼굴이미지를 페이크 이미지로 판단한다. 또한, 판단부는 이진분류기에서 출력되는 확률값이 미리 정해진 문턱값 이상이면 해당 얼굴이미지를 실물이미지로 판단한다.If the probability value output from the binary classifier is less than a predetermined threshold, the determination unit determines the corresponding face image as a fake image. In addition, if the probability value output from the binary classifier is equal to or greater than a predetermined threshold, the determination unit determines the corresponding face image as a real image.
이때, 판단부는 복수개의 얼굴이미지 중에 적어도 하나의 얼굴이미지가 페이크 이미지로 판단되면, 복수개의 얼굴이미지를 제거하여 특징벡터 추출부(239)로 해당 얼굴이미지가 입력되지 않게 한다.At this time, when at least one of the plurality of face images is determined to be a fake image, the determination unit removes the plurality of face images so that the corresponding face image is not input to the feature
판단부는 얼굴이미지가 페이크이미지로 판단되면, 실제 얼굴 촬영 요청메시지를 생성하여 디스플레이(미도시)로 전달한다.When the determination unit determines that the face image is a fake image, it generates an actual face photographing request message and transmits it to a display (not shown).
또한, 판단부는 복수개의 얼굴이미지 모두가 실물이미지로 판단되면 복수개의 얼굴이미지 중 가장 큰 얼굴을 포함하는 얼굴이미지를 특징벡터 추출부(239)로 전달한다.In addition, when all of the plurality of face images are determined to be real images, the determination unit transmits the face image including the largest face among the plurality of face images to the feature
다시 도 2를 참조하면, 특징벡터 추출부(239)는 실물이미지 판단부(238)로부터 실물이미지로 판단된 얼굴이미지가 입력되면, 해당 얼굴이미지에 포함된 얼굴로부터 특징벡터를 추출한다. Referring back to FIG. 2 , when a face image determined as a real image is input from the real image determining unit 238 , the feature
본 발명의 일 실시예에 따른 특징벡터 추출부는 복수개의 얼굴이미지 처리부 및 특징벡터 생성부를 포함한다.The feature vector extracting unit according to an embodiment of the present invention includes a plurality of face image processing units and a feature vector generating unit.
복수개의 얼굴이미지 처리부는 입력 데이터를 영상 처리하여 출력 데이터를 생성한다. 이때, 복수개의 얼굴이미지 처리부 중 1 번째 얼굴이미지 처리부에는 입력 이미지로써 얼굴이미지 추출부(237)로부터 출력되는 얼굴이미지가 입력되고, g+1번째 얼굴이미지 처리부에는 입력 이미지로써 g번재 얼굴이미지 처리부의 출력 데이터가 입력된다. The plurality of face image processing units generate output data by image processing the input data. At this time, the face image output from the face
복수개의 얼굴이미지 처리부의 기능 및 세부구성은 동일하므로 이하에서는 복수개의 얼굴이미지 처리부들 중 제1 얼굴이미지 처리부에 대해 예시적으로 설명한다. Since the functions and detailed configurations of the plurality of face image processing units are the same, the first face image processing unit among the plurality of face image processing units will be exemplarily described below.
얼굴이미지 처리부(305)는 입력 데이터(얼굴이미지 또는 이전 얼굴이미지 처리부의 출력 데이터임)에 대해 컨벌루션 연산을 수행하여 피쳐맵을 생성하는 제1 유닛, 제1 유닛에 의해 생성된 피쳐맵에 가중치를 부여하는 제2 유닛, 및 연산부으로 구성된다.The face image processing unit 305 is a first unit that generates a feature map by performing a convolution operation on input data (a face image or output data of a previous face image processing unit), and weights the feature map generated by the first unit. It is composed of a second unit for giving, and an arithmetic unit.
제1 유닛은 정규화부, 제1 컨벌루션 연산부 및 비선형화부를 포함한다.The first unit includes a normalization unit, a first convolution operation unit, and a non-linearization unit.
정규화부는 얼굴이미지 추출부로부터 입력되는 얼굴이미지들을 배치(Batch)단위로 정규화한다. 배치란 한번에 처리할 얼굴이미지들의 개수단위를 의미한다. 본 발명에 따른 정규화부가 배치단위로 정규화를 수행하는 이유는 배치 단위로 정규화를 수행하게 되면 각 얼굴 이미지에 대한 평균 및 분산이 배치 전체에 대한 평균 및 분산과 다를 수 있는데 이러한 특징이 일종의 노이즈로 작용하게 되어 전체적인 성능이 향상될 수 있기 때문이다. The normalization unit normalizes the face images input from the face image extraction unit in batch units. Batch means the unit of number of face images to be processed at once. The reason that the regularizer according to the present invention performs normalization in batches is that when normalization is performed in batches, the mean and variance for each face image may be different from the mean and variance for the entire batch. This feature acts as a kind of noise. This is because overall performance can be improved.
또한, 배치 정규화를 통해 네트워크의 각 층마다 입력의 분포(Distribution)가 일관성 없이 바뀌는 내부 공분산 이동(Internal Covariance Shift) 현상에 의해 학습의 복잡성이 증가하고 그라디언트 소멸 또는 폭발(Gradient Vanishing or Exploding)이 일어나는 것을 방지할 수 있게 되기 때문이다. In addition, through batch normalization, the complexity of learning increases and gradient vanishing or exploding occurs due to the internal covariance shift phenomenon, in which the distribution of inputs for each layer of the network changes inconsistently. because it can be prevented.
제1 컨벌루션 연산부는 정규화부에 의해 정규화된 얼굴이미지에 대해 제1 컨벌루션 필터를 적용하여 제1 피쳐맵을 생성한다. 일 실시예에 있어서, 제1 컨벌루션 연산부는 3*3 픽셀크기를 갖고 스트라이드(Stride)의 값이 1인 제1 컨벌루션 필터를 얼굴이미지에 적용하여 제1 피쳐맵을 생성할 수 있다. 이와 같이, 본 발명에 따른 제1 컨벌루션 연산부는 3*3 픽셀크기를 갖고 스트라이드 값이 1인 제1 컨벌루션 필터를 얼굴이미지에 적용하기 때문에 제1 피쳐맵의 해상도를 높게 보존할 수 있게 된다.The first convolution operation unit generates a first feature map by applying a first convolution filter to the face image normalized by the normalization unit. In an embodiment, the first convolution operation unit may generate a first feature map by applying a first convolution filter having a size of 3*3 pixels and having a stride value of 1 to the face image. As described above, since the first convolution operation unit according to the present invention applies the first convolution filter having a size of 3*3 pixels and a stride value of 1 to the face image, it is possible to preserve the resolution of the first feature map high.
비선형화부는 제1 피쳐맵에 활성화함수를 적용함으로써 제1 피쳐맵에 비선형적 특성을 부여한다. 일 실시예에 있어서, 비선형화부는 제1 피쳐맵의 픽셀값들 중 양의 픽셀값을 동일하게 출력하고 음의 픽셀값은 그 크기를 감소시켜 출력하는 활성화함수를 제1 피쳐맵에 적용함으로써 제1 피쳐맵에 비선형적 특성을 부여할 수 있다. The non-linearization unit applies an activation function to the first feature map, thereby imparting a non-linear characteristic to the first feature map. In one embodiment, the non-linearization unit outputs the same positive pixel value among the pixel values of the first feature map and reduces the size of the negative pixel value to the first feature map by applying an activation function to the first feature map. 1 Non-linear characteristics can be given to the feature map.
비선형화부가 제1 컨벌루션 연산부에 의해 생성된 제1 피쳐맵에 비선형적 특성을 부여하는 것으로 설명하였다. 하지만, 변형된 실시예에 있어서 정규화부는 제1 컨벌루션 연산부에 의해 생성된 제1 피쳐맵들을 배치단위로 추가로 정규화할 수도 있다. 이러한 실시예에 따르는 경우 정규화부는 정규화된 제1 피쳐맵을 비선형화부로 제공하고, 비선형화부는 정규화된 제1 피쳐맵에 활성화함수를 적용함으로써 정규화된 제1 피쳐맵에 비선형적 특성을 부여할 수 있다.It has been described that the non-linearization unit gives a non-linear characteristic to the first feature map generated by the first convolution operation unit. However, in a modified embodiment, the normalization unit may additionally normalize the first feature maps generated by the first convolution operation unit in a batch unit. According to this embodiment, the normalization unit provides the normalized first feature map to the non-linearization unit, and the non-linearization unit applies an activation function to the normalized first feature map, thereby imparting a non-linear characteristic to the normalized first feature map. have.
한편, 상술한 실시예에 있어서 제1 유닛은 제1 컨벌루션 연산부만을 포함하는 것으로 설명하였다. 하지만, 변형된 실시예에 있어서 제1 유닛은 제2 컨벌루션 연산부를 더 포함할 수 있다.Meanwhile, in the above-described embodiment, it has been described that the first unit includes only the first convolution operation unit. However, in a modified embodiment, the first unit may further include a second convolution operation unit.
구체적으로, 제2 컨벌루션 연산부는 비선형화부에 의해 비선형적 특성이 부여된 제1 피쳐맵에 제2 컨벌루션 필터를 적용하여 제2 피쳐맵을 생성한다. 일 실시예에 있어서, 제2 컨벌루션 필터는 제1 컨벌루션 필터와 다른 필터일 수 있다. 제2 컨벌루션 필터는 제1 컨벌루션 필터의 크기는 동일하지만 다른 스트라이드 값을 갖는 필터일 수 있다. 일 예로, 제2 컨벌루션 필터는 3*3 픽셀크기를 갖고 스트라이드(Stride)의 값이 2인 필터일 수 있다.Specifically, the second convolution operation unit generates the second feature map by applying the second convolution filter to the first feature map to which the non-linear characteristic is given by the non-linearization unit. In an embodiment, the second convolutional filter may be a different filter from the first convolutional filter. The second convolutional filter may be a filter having the same size as the first convolutional filter but different stride values. As an example, the second convolutional filter may be a filter having a size of 3*3 pixels and having a stride value of 2.
이러한 실시예에 따르는 경우 정규화부는 제2 컨벌루션 연산부에 의해 생성된 제2 피쳐맵들을 배치단위로 추가로 정규화할 수도 있을 것이다. According to this embodiment, the normalization unit may additionally normalize the second feature maps generated by the second convolution operation unit in a batch unit.
한편, 제1 유닛은 사전정규화부를 더 포함할 수 있다. 사전정규화부는 얼굴이미지 추출부로부터 입력되는 얼굴이미지에 포함된 각 픽셀들의 픽셀값을 정규화할 수 있다. 일 예로, 사전정규화부는 얼굴이미지의 각 픽셀값에서 127.5를 감산한 후, 감산 결과값을 128로 제산함으로써 얼굴이미지를 정규화할 수 있다. 사전정규화부는 사전 정규화된 입력 얼굴이미지를 정규화부로 제공할 수 있다.Meanwhile, the first unit may further include a pre-normalization unit. The pre-normalizer may normalize a pixel value of each pixel included in the face image input from the face image extractor. For example, the pre-normalizer may normalize the face image by subtracting 127.5 from each pixel value of the face image and then dividing the subtraction result by 128. The pre-normalizer may provide the pre-normalized input face image to the normalizer.
제2 유닛은 제1 유닛에 의해 생성된 제2 피쳐맵에 가중치를 부여한다. 본 발명에서 제2 유닛을 통해 제2 피쳐맵에 가중치를 부여하는 이유는 컨벌루션 연산의 경우 입력 이미지의 모든 채널을 컨벌루션 필터와 곱한 후 합산하는 과정에서 중요한 채널과 중요하지 않은 채널들이 모두 얽히게 되므로 데이터의 민감도(Sensitivity)가 저하되므로, 제2 피쳐맵에 각 채널 별로 그 중요도에 따라 가중치를 부여하기 위한 것이다.The second unit gives weight to the second feature map generated by the first unit. The reason why the second feature map is weighted through the second unit in the present invention is that, in the convolution operation, all channels of the input image are multiplied by the convolution filter and then summed, both important and insignificant channels are entangled. Since the sensitivity of is lowered, a weight is given to the second feature map according to its importance for each channel.
제2 유닛은 샘플링부, 가중치 반영부, 및 업스케일링부를 포함한다.The second unit includes a sampling unit, a weight reflection unit, and an upscaling unit.
먼저, 샘플링부는 제1 유닛으로부터 입력되는 제2 피쳐맵을 서브 샘플링하여 차원을 감소시킨다. 일 실시예에 있어서, 샘플링부는 제2 피쳐맵에 글로벌 풀링(Global Pooling) 필터를 적용함으로써 제2 피쳐맵의 차원을 감소시킬 수 있다. 일 예로, 제2 피쳐맵의 차원이 H*W*C인 경우 샘플링부는 제2 피쳐맵의 서브 샘플링을 통해 제2 피쳐맵의 차원을 1*1*C로 감소시킬 수 있다.First, the sampling unit reduces the dimension by subsampling the second feature map input from the first unit. In an embodiment, the sampling unit may reduce the dimension of the second feature map by applying a global pooling filter to the second feature map. For example, when the dimension of the second feature map is H*W*C, the sampling unit may reduce the dimension of the second feature map to 1*1*C through subsampling of the second feature map.
가중치 반영부는 샘플링부에 의해 차원이 감소된 제2 피쳐맵에 가중치를 부여한다. 이를 위해, 가중치 반영부는 차원 감소부, 제1 비선형화부, 차원 증가부, 및 제2 비선형화부를 포함할 수 있다.The weight reflection unit gives weight to the second feature map whose dimension has been reduced by the sampling unit. To this end, the weight reflecting unit may include a dimension reduction unit, a first non-linearization unit, a dimension increase unit, and a second non-linearization unit.
차원 감소부는 서브 샘플링된 제2 피쳐맵을 하나의 레이어로 연결함으로써 서브 샘플링된 제2 피쳐맵의 차원을 감소시킨다. 일 예로, 샘플링부로부터 출력되는 제2 피쳐맵의 차원이 1*1*C인 경우 차원 감소부는 제2 피쳐맵의 차원을 1*1*C/r로 감소시킨다. 여기서, r은 감소율을 의미하는 것으로서, 추출하기 원하는 특징벡터의 개수에 따라 결정될 수 있다.The dimension reduction unit reduces the dimension of the sub-sampled second feature map by connecting the sub-sampled second feature map into one layer. For example, when the dimension of the second feature map output from the sampling unit is 1*1*C, the dimension reduction unit reduces the dimension of the second feature map to 1*1*C/r. Here, r means a reduction rate, and may be determined according to the number of feature vectors to be extracted.
제1 비선형화부는 차원 감소부에 의해 차원이 감소된 제2 피쳐맵에 제1 활성화함수를 적용함으로써 차원이 감소된 제2 피쳐맵에 비선형적 특성을 부여한다. 일 실시예에 있어서, 제1 비선형화부는 제2 피쳐맵의 픽셀값들 중 양의 픽셀값은 그대로 출력하고 음의 픽셀값은 0으로 출력하는 제1 활성화함수를 적용함으로써 차원이 감소된 제2 피쳐맵에 비선형적 특성을 부여할 수 있다.The first non-linearization unit applies a first activation function to the second feature map whose dimension has been reduced by the dimension reduction unit, thereby imparting a non-linear characteristic to the second feature map with a reduced dimension. In an embodiment, the first non-linearization unit applies a first activation function that outputs a positive pixel value among pixel values of the second feature map as it is and outputs a negative pixel value as 0, thereby reducing the second dimension. Non-linear characteristics can be given to the feature map.
차원 증가부는 제1 비선형화부에 의해 비선형적 특성이 부여된 제2 피쳐맵의 차원을 증가시킨다. 일 예로, 비선형적 특성이 부여된 제2 피쳐맵의 차원이 1*1*c/r인 경우 차원 증가부는 제2 피쳐맵의 차원을 다시 1*1*C로 증가시킨다.The dimension increase unit increases the dimension of the second feature map to which the non-linear characteristic is given by the first non-linearization unit. For example, when the dimension of the second feature map to which the non-linear characteristic is given is 1*1*c/r, the dimension increasing unit increases the dimension of the second feature map back to 1*1*C.
제2 비선형화부는 차원 증가부에 의해 차원이 증가된 제2 피쳐맵에 제2 활성화함수를 적용함으로써 차원이 증가된 제2 피쳐맵에 비선형적 특성을 다시 부여한다. 일 실시예에 있어서, 제2 활성화함수는 제1 활성화함수와 다른 함수일 수 있다. 예컨대, 제2 비선형화부는 차원이 증가된 제2 피쳐맵의 픽셀값들 중 양의 픽셀값은 미리 정해진 값으로 수렴하도록 하고 음의 픽셀값은 0으로 출력하는 제2 활성화함수를 적용함으로써 차원이 증가된 제2 피쳐맵에 비선형적 특성을 부여할 수 있다.The second non-linearization unit applies the second activation function to the second feature map whose dimension has been increased by the dimension increase unit, thereby re-applying the non-linear characteristic to the second feature map whose dimension has been increased. In an embodiment, the second activation function may be a different function from the first activation function. For example, the second non-linearization unit applies a second activation function that causes positive pixel values among the pixel values of the second feature map with increased dimensions to converge to a predetermined value and outputs negative pixel values to 0, thereby increasing the dimension. A non-linear characteristic may be imparted to the increased second feature map.
이와 같이, 본 발명에 따른 가중치 반영부는 차원감소부, 제1 비선형화부, 차원증가부, 및 제2 비선형화부를 통해 제2 피쳐맵에 가중치를 부여하고, 차원감소부와 차원증가부를 통해 병목구간을 만들어 게이팅 메커니즘을 한정함으로써 모델 복잡도를 제한하고 일반화를 지원할 수 있게 된다.As described above, the weight reflecting unit according to the present invention applies a weight to the second feature map through the dimension reduction unit, the first non-linearization unit, the dimension increase unit, and the second non-linearization unit, and the bottleneck section through the dimension reduction unit and the dimension increase unit , limiting the model complexity and supporting generalization by limiting the gating mechanism.
업스케일링부는 가중치 반영부에 의해 가중치가 부여된 제2 피쳐맵을 제2 유닛에 입력된 얼굴이미지와 동일한 차원으로 업스케일링한다. 일 실시예에 있어서, 제2 유닛에 입력된 얼굴이미지의 차원이 H*W*C인 경우 업스케일링부는 가중치가 부여된 제2 피쳐맵의 차원을 H*W*C로 업스케일링한다.The upscaling unit upscales the second feature map weighted by the weight reflection unit to the same dimension as the face image input to the second unit. In an embodiment, when the dimension of the face image input to the second unit is H*W*C, the upscaling unit upscales the weighted dimension of the second feature map to H*W*C.
연산부는 제2 유닛을 통해 출력되는 업스케일링된 제2 피쳐맵을 제1 유닛에 입력된 얼굴이미지와 합산한다. 본 발명에서 연산부를 통해 제2 유닛에서 출력된 업스케일링된 제2 피쳐맵을 제1 유닛에 입력된 얼굴이미지와 합산하는 이유는 컨벌루션 신경망에서 깊이가 깊어지는 경우 특징이 흐려지는 문제(Vanish Problem)를 방지하기 위한 것이다.The calculator adds the upscaled second feature map output through the second unit with the face image input to the first unit. In the present invention, the reason for adding the upscaled second feature map output from the second unit to the face image input to the first unit through the operation unit in the present invention is to avoid the problem of feature blurring when the depth is increased in the convolutional neural network (Vanish Problem). it is to do
특징벡터 생성부는 복수개의 얼굴이미지 처리부들 중 마지막 얼굴 이미지 처리부로부터 출력되는 피쳐맵을 하나의 레이어로 병합하여 차원을 감소시킴으로써 미리 정해진 개수의 특징벡터를 생성한다. 일 실시예에 있어서, 특징벡터 생성부는 얼굴이미지 처리부로부터 출력되는 피쳐맵으로부터 128개 이상의 특징벡터를 출력할 수 있다. 예컨대, 특징벡터 생성부는 얼굴 이미지 처리부로부터 출력되는 피쳐맵으로부터 512개의 특징벡터를 출력할 수 있다.The feature vector generator generates a predetermined number of feature vectors by merging the feature map output from the last face image processor among the plurality of face image processors into one layer to reduce the dimension. In an embodiment, the feature vector generator may output 128 or more feature vectors from the feature map output from the face image processor. For example, the feature vector generator may
어레이 파일 생성부(240)는 얼굴인식부(230)에 의해 생성된 특징벡터를 이용하여 각 사용자 별로 어레이(Array)를 생성하고, 생성된 어레이들을 하나의 파일로 머지하여 어레이 파일을 생성한다. 이때, 어레이 파일은 기존 어레이 파일 및 신규 어레이 파일을 포함한다. 신규 어레이 파일은 에지 디바이스 관리부(210)에 의해 변경된 최적 기준이미지에 대한 어레이를 포함할 수 있다. 어레이 파일 생성부(240)는 생성된 어레이 파일을 어레이 파일 데이터베이스(미도시)에 저장할 수 있다. The array
일 실시예에 있어서, 어레이 파일 생성부(240)에 의해 생성되는 어레이는 각 사용자의 얼굴이미지로부터 획득된 복수개의 특징벡터들과 각 사용자의 키(Key)값으로 구성될 수 있다. 이때, 사용자의 키 값은 각 사용자의 식별정보 및 각 사용자의 출입권한정보를 포함한다. 각 사용자의 식별정보는 상술한 바와 같이 각 사용자의 아이다, 성명, 전화번호, 또는 직원번호 등으로 정의될 수 있고, 각 사용자의 출입권한정보는 각 사용자가 출입할 수 있는 각 층에 대한 정보를 포함할 수 있다.In one embodiment, the array generated by the
일 실시예에 있어서, 어레이 파일 생성부(240)는 에지 디바이스(120)가 설치되어 있는 각 장소 별로 어레이 파일을 생성할 수 있다. 예컨대, 제1 어레이 파일은 제1 층에 대한 출입권한이 부여된 사용자들의 어레이들로 구성될 수 있고, 제2 어레이 파일은 제2 층에 대한 출입원한이 부여된 사용자들의 어레이들로 구성될 수 있다. 이를 위해, 어레이 파일 생성부(240)는 각 사용자의 어레이들 또한 각 사용자가 출입할 수 있는 지역 별로 구분하여 생성할 수 있다. 예컨대, 제1 사용자가 제1 층과 제3 층에 출입 가능한 권한을 가진 경우, 어레이 파일 생성부(240)는 제1 사용자에 대해 제1 층에 대한 출입권한정보가 포함된 제1 어레이와 제3 층에 대한 출입권한정보가 포함된 제2 어레이를 별도로 생성할 수 있다.In an embodiment, the
본 발명에 따른 어레이 파일 생성부(240)가 에지 디바이스(120)가 설치된 각 장소 별로 어레이 파일을 생성하는 이유는 사용자의 얼굴을 인증하는 에지 디바이스(120)가 각 장소 별로 설치되는 경우, 특정 장소에 설치된 에지 디바이스(120)로 해당 장소에 대한 출입권한정보가 포함된 어레이 파일만을 전송하면 되므로 어레이 파일의 전송 및 에지 디바이스(120)에서의 어레이 파일 관리가 용이해지기 때문이다.The reason that the array
상술한 실시예에 있어서는 어레이 파일 생성부(240)가 각 장소 별로 어레이 파일을 생성하는 것으로 기재하였지만, 변형된 실시예에 있어서 어레이 파일 생성부(240)는 에지 디바이스(120)가 설치된 모든 장소에 대한 권한정보가 포함된 하나의 어레이 파일을 생성하고, 생성된 어레이 파일을 모든 에지 디바이스(120)로 전송할 수도 있다.In the above-described embodiment, it has been described that the array
출입권한정보 관리부(250)는 각 사용자 별로 부여되어 있는 출입권한정보를 변경하거나 새로운 출입권한정보를 추가한다. 일 실시예에 있어서, 출입권한 정보 관리부(250)는 각 사용자 별로 출입권한정보를 별개로 부여하거나 각 사용자가 속한 조직 단위로 출입권한정보를 부여할 수 있다.The access authority
한편 본 발명에 따른 안면인식서버(110)는 스케줄러(260)를 더 포함할 수 있다. 스케줄러(260)는 미리 정해진 기간이 도래하거나 미리 정해진 이벤트가 발생할 때마다 일괄적으로 신규 사용자를 등록하는 기능을 수행한다. 예컨대, 상술한 실시예에 있어서는 사용자 등록부(220)가 사용자로부터 등록요청이 발생하는 경우 신규 사용자의 등록절차를 수행하는 것으로 설명하였지만, 안면인식서버(110)가 스케줄러(260)를 포함하는 경우 미리 정해진 시간 단위로 또는 미리 정해진 이벤트가 발생하면 스케줄러(260)가 사용자 등록부(220), 입력 이미지 생성부(225), 및 얼굴인식부(230)의 동작을 개시시킴으로써 신규 사용자 등록절차가 자동으로 수행되도록 할 수 있다. 또한, 스케줄러(260)는 에지 디바이스 관리부(210)에 의해 기준이미지가 최적 기준이미지로 변경되면, 입력 이미지 생성부(225), 및 얼굴인식부(230)의 동작을 개시시킨다.Meanwhile, the
인터페이스부(270)는 에지디바이스 관리부(210)로부터 변경된 기준임계치 및 어레이 파일 생성부(240)에 의해 생성된 어레이 파일을 미리 정해진 방식으로 암호화하여 각 에지 디바이스(120)로 전송한다. 이때, 어레이 파일은 기존 어레이 파일 및 신규어레이 파일을 포함한다. 신규 어레이 파일은 최적 기준이미지에 대한 어레이를 포함할 수 있다.The interface unit 270 encrypts the reference threshold value changed by the edge
일 실시예에 있어서, 인터페이스부(270)는 공개키 기반의 암호화 알고리즘을 이용하여 기준임계치 및 어레이 파일을 암호화하고, 이를 각 에지 디바이스(120)로 전송할 수 있다.In an embodiment, the interface unit 270 may encrypt the reference threshold value and the array file using a public key-based encryption algorithm, and transmit it to each
한편, 인터페이스부(270)는 암호화된 기준임계치 및 어레이 파일을 에지 디바이스(120)와 약속된 프로토콜에 따라 에지 디바이스(120)로 전송할 수 있다.Meanwhile, the interface unit 270 may transmit the encrypted reference threshold and the array file to the
또한, 인터페이스부(270)는 각 에지 디바이스(120)로부터 미리 정해진 기간 마다 인증결과를 수신하여 에지 디바이스 관리부(210)로 제공할 수 수 있다.In addition, the interface unit 270 may receive an authentication result from each
얼굴인식모델 트레이닝부(280)는 컨벌루션 신경망을 기초로 얼굴인식모델(235)을 생성하고, 생성된 얼굴인식모델(235)을 트레이닝시킨다. 구체적으로, 얼굴인식모델 트레이닝부(280)는 얼굴인식모델(235)을 구성하는 컨벌루션 신경망을 지속적으로 트레이닝시킴으로써 최적의 얼굴인식모델을 생성한다.The face recognition
이를 위해, 얼굴인식모델 트레이닝부(280)는 얼굴이미지 추출부(227)를 트레이닝시키는 얼굴이미지 추출 트레이닝부(282), 특징벡터 추출부(229)를 트레이닝시키는 특징벡터 추출 트레이닝부(284), 실물이미지 판단부(238)를 트레이닝시키는 실물이미지 판단 트레이닝부(285) 및 특징벡터 추출부(229)의 오차를 감소시키는 오차감소부(286)를 포함한다.To this end, the face recognition
얼굴이미지 추출 트레이닝부(282)는 얼굴이미지 추출부(227)를 학습 이미지를 이용하여 트레이닝시킨다. 특징벡터 추출 트레이닝부(284)는 특징벡터 추출부(229)를 학습 이미지를 이용하여 트레이닝시킨다. 실물이미지 판단 트레이닝부(285)는 실물이미지 판단부(238)를 트레이닝 시킨다.The face image
얼굴이미지 추출 트레이닝부(282)는 얼굴이미지 추출부(237)를 구성하는 제1 내지 제3 얼굴탐지부를 학습 이미지를 이용하여 트레이닝시킨다. 구체적으로, 얼굴이미지 추출 트레이닝부(282)는 제1 내지 제3 얼굴탐지부에 미리 정해진 크기를 갖는 복수개의 학습 이미지를 입력하여 학습 이미지에서 얼굴영역이 포함될 확률값 및 얼굴영역 좌표를 산출하고, 산출된 확률값 및 얼굴영역 좌표를 역전파(Back Propagation) 알고리즘에 따라 제1 내지 제3 얼굴탐지부에 피드백함으로써 제1 내지 제3 얼굴탐지부에 적용된 컨벌루션 필터들의 필터계수 및 가중치를 갱신한다.The face image
특징벡터 추출 트레이닝부(284)는 특징벡터 추출부(239)를 학습 이미지를 이용하여 트레이닝시킨다. 구체적으로, 특징벡터 추출 트레이닝부(505)는 특징벡터 추출부(239)에 복수개의 학습 이미지를 미리 정해진 배치단위로 입력함으로써 각 학습이미지로부터 특징벡터를 추출한다.The feature vector
특징벡터 추출 트레이닝부(284)는 추출된 특징벡터들을 미리 정해진 분류함수에 적용함으로써 해당 학습 이미지가 특정 클래스에 포함될 확률값을 예측하고, 예측된 확률값(이하, '예측값'이라 함)과 실제값간의 오차를 연산하여 그 결과를 역전파 알고리즘을 이용하여 특징벡터 추출부(284)에 피드백함으로써 특징벡터 추출부(239)에 적용된 컨벌루션 필터들의 필터계수 및 가중치를 갱신한다.The feature vector
일 실시예에 있어서, 특징벡터 추출 트레이닝부(284)는 실물이미지 판단부(284)의 실물 특징벡터 추출부를 학습이미지를 이용하여 트레이닝 시킬 수 있다. 이하에서는 특징벡터 추출 트레이닝부(284)가 특징벡터 추출부(239)를 트레이닝시키는 것과 실물 특징벡터 추출부를 트레이닝 시키는 것이 동일하므로, 실물 특징벡터 추출부를 트레이닝 시키는 것에 대한 구체적인 설명은 생략한다.In an embodiment, the feature vector
실물이미지 판단 트레이닝부(285)는 실물이미지 판단부(238)를 트레이닝 시킨다. 구체적으로 실물이미지 판단 트레이닝부(238)는 RGB 신경망 네트워크, 깊이 신경망 네트워크, 반사 신경망 네트워크, 및 실물이미지 판단부(238)의 판단부가 이용하는 이진분류기를 학습시킨다.The real image judgment training unit 285 trains the real image judgment unit 238 . Specifically, the real image judgment training unit 238 trains the RGB neural network network, the depth neural network network, the reflex neural network network, and the binary classifier used by the judgment unit of the real image judgment unit 238 .
실물이미지 판단 트레이닝부는 이진분류기에 실물이미지 및 페이크 이미지를 학습시키고, 추가로, 깊이 신경망 네트워크를 통과하여 실물이미지로부터 분리된 제1 깊이이미지와 페이크이미지로부터 분리된 제2 깊이이미지, 반사 신경망 네트워크를 통과하여 실물이미지로부터 분리된 제1 반사이미지와 페이크이미지로부터 분리된 제2 반사이미지를 학습시킨다. 이때, 페이크 이미지로부터 추출된 제2 깊이이미지는 RGB를 (0,0,0)으로 하여 학습시키고, 실물이미지로부터 추출된 제1 반사이미지는 RGB를 (0,0,0)으로 하여 학습시킨다.The real image judgment training unit learns the real image and the fake image in the binary classifier, and additionally passes through the depth neural network network to create a first depth image separated from the real image, a second depth image separated from the fake image, and a reflex neural network network. The first reflected image separated from the real image by passing through and the second reflected image separated from the fake image are learned. At this time, the second depth image extracted from the fake image is trained with RGB as (0,0,0), and the first reflection image extracted from the real image is learned with RGB as (0,0,0).
한편, 본 발명에 따른 얼굴인식모델 트레이닝부(280)는 오차감소부(286)를 통해 특징벡터 추출시 발생되는 오차를 더욱 감소시킴으로써 특징벡터 추출부(239)의 성능을 더욱 향상시킬 수 있다. 실물이미지 판단부(238)의 실물 특징벡터 추출부도 특징벡터 추출부(239)와 동일하게 오차감소부(286)를 통해 성능을 향상시킬 수 있다. On the other hand, the face recognition
오차감소부(286)는 특징벡터 추출 트레이닝부(284)가 특징벡터 추출부(239)를 트레이닝시키는 과정에서 특징벡터 추출부(239)를 통해 추출된 특징벡터들에 기초한 예측값과 실제값간의 오차를 감소시킨다. 구체적으로, 오차감소부(286)는 특징벡터 추출부(239)가 학습 이미지로부터 추출한 특징벡터들을 기초로 예측값과 실제값간의 오차를 계산하고, 오차가 감소될 수 있도록 각 학습 이미지를 2차원 각도 평면상에 배치하고 배치결과에 따른 확률값을 이용하여 특징벡터 추출 트레이닝부(284)가 특징벡터 추출부(239)를 트레이닝시킬 수 있도록 한다.The
본 발명에 따른 얼굴인식모델 트레이닝부(280)가 오차감소부(286)를 통해 오차감소가 되도록 특징벡터 추출부(239)를 학습시키는 이유는 동일인임에도 불구하고 얼굴이 촬영된 조명이나 환경이 변화하는 경우 동일인임을 구분해 내지 못하는 것과 같은 오차가 발생하기 때문에, 이러한 오차감소부(286)를 통해 얼굴인식의 오차가 감소될 수 있는 특징벡터가 추출되도록 특징벡터 추출부(239)를 트레이닝 시키기 위한 것이다.The reason that the face recognition
본 발명의 일 실시예에 따른 오차감소부(286)는 얼굴이미지 배치부(287) 및 확률산출부(289)를 포함한다.The
얼굴이미지 배치부(287)는 학습 이미지에 대해 특징벡터 추출부(239)가 추출한 복수개의 특징벡터들을 기초로 각 학습 이미지들을 2차원 각도 평면 상에 배치한다. 구체적으로, 얼굴이미지 배치부(287)는 서로 다른 클래스에 포함되는 학습 이미지들간의 코사인 유사도를 산출하고, 코사인 유사도에 따라 각 학습 이미지들 간의 이격각도인 기준각도를 산출함으로써 학습 이미지들을 2차원 각도 평면상에 배치하게 된다.The face
본 발명에서 얼굴이미지 배치부(287)가 각 학습 이미지들의 특징벡터를 기초로 산출되는 각 학습 이미지들 간의 거리에 따라 학습 이미지를 벡터공간에 배치하게 되면 각 학습 이미지들 간에 중첩되는 영역이 발생할 수 밖에 없어, 학습시 동일인과 타인을 명확하게 구분하기가 어렵다는 한계가 있다.In the present invention, when the face
따라서, 본 발명에서는 얼굴이미지 배치부(287)가 서로 다른 클래스에 포함되는 학습 이미지들 사이의 각도를 코사인 유사도를 통해 산출하고, 산출된 각도를 기초로 각 학습 이미지를 2차원 각도 평면상에 배치하는 것이다.Therefore, in the present invention, the face
확률 산출부(289)는, 2차원 각도 평면 상에서 얼굴이미지 배치부(287)에 의해 산출된 기준각도에 가산될 마진각도를 가변시키고, 가변되는 마진각도 별로 각 학습 이미지들이 해당 클래스에 포함될 확률을 산출한다.The
구체적으로, 확률 산출부(525)는 각 학습 이미지 간의 기준각도(θ1,θ2)에 가산되는 마진각도(P1, P2)를 가변시키면서 서로 중첩되는 특성을 갖는 학습 이미지들이 2차원 각도 평면 상에서 이격되도록 한다. 일 실시예에 있어서, 마진각도(P1, P2)는 0보다 크고 90도 보다 작은 범위 내에서 학습률(Learning Rate)에 따라 결정될 수 있다.Specifically, the probability calculator 525 changes the margin angles P1 and P2 that are added to the reference angles θ 1 , θ 2 between each training image while the training images having overlapping characteristics are displayed on a two-dimensional angular plane. to be spaced apart. In an embodiment, the margin angles P1 and P2 may be determined according to a learning rate within a range greater than 0 and less than 90 degrees.
예컨대, 학습률이 증가하면 마진각도도 그에 따라 증가하고 학습률이 감소하면 마진각도도 그에 따라 감소하도록 설정될 수 있다. 이때, 확률 산출부(525)는 마진각도를 미리 정해진 기준 단위만큼 가변시킬 수 있다.For example, when the learning rate increases, the margin angle increases accordingly, and when the learning rate decreases, the margin angle may be set to decrease accordingly. In this case, the probability calculator 525 may vary the margin angle by a predetermined reference unit.
확률산출부(289)에 의해 마진각도가 기준각도에 가산되면 벡터공간 내에서 서로 중첩되는 특징을 가졌던 학습 이미지들이 서로 이격되도록 배치된다는 것을 알 수 있다.When the margin angle is added to the reference angle by the
확률산출부(289)는 기준각도에 가산되는 마진각도 별로 각 학습 이미지들이 해당 클래스에 포함될 확률을 산출하고, 산출된 확률값을 특징벡터 추출 트레이닝부(284)로 제공함으로써 특징벡터 추출 트레이닝부(284)가 확률산출부(289)에 의해 산출된 확률값을 기초로 특징벡터 추출부(239)를 학습시킬 수 있도록 한다. 즉, 특징벡터 추출 트레이닝부(284)는 확률산출부(289)에 의해 산출된 확률값을 기초로 특징벡터 추출부(239)에 적용된 컨벌루션 필터들의 계수 및 가중치 중 적어도 하나를 갱신함으로써 특징벡터 추출부(239)를 학습시키게 된다.The
일 실시예에 있어서, 확률 산출부(289)는 아래의 수학식 1을 이용하여 각 마진각도별로 각 학습 이미지들이 해당 클래스에 포함될 확률을 산출할 수 있다.In an embodiment, the
수학식 1에서 x는 기준각도를 나타내고 p는 상기 마진각도를 나타내며, n은 클래스의 개수를 나타낸다.In
일 실시예에 있어서, 확률 산출부(289)는 확률 산출부(289)에 의해 산출된 확률값을 기초로 특징벡터 추출 트레이닝부(284)에 의해 트레이닝된 특징벡터 추출부(239)에 미리 정해진 테스트 얼굴이미지를 적용했을 때 예측값과 실제값간의 오차가 기준치 이하가 될 때까지 마진각도를 계속하여 가변시킬 수 있다.In an embodiment, the
즉, 확률 산출부(289)는 트레이닝된 특징벡터 추출부(239)에 미리 정해진 테스트 얼굴이미지를 적용했을 때 산출되는 예측값과 실제값간의 오차가 기준치 이하가 되는 시점의 마진각도를 최종 마진각도로 결정한다. 이때, 예측값과 실제값간의 오차는 크로스 엔트로피(Cross Entropy) 함수를 이용하여 산출할 수 있다.That is, the
상술한 바와 같은 오차감소부(286)를 통해 오차감소가 수행되면 서로 다른 환경이나 다른 조명에서 촬영된 경우라 하더라도 동일인을 정확하게 분류해 낼 수 있게 된다. If the error reduction is performed through the
상술한 실시예에 있어서, 얼굴인식모델 트레이닝부(280)는 알고리즘 형태의 소프트웨어로 구현되어 안면인식서버(110)에 탑재될 수 있다.In the above-described embodiment, the face recognition
다시 도 1을 참조하면, 에지 디바이스(120)는 특정 장소 마다 배치되어 안면인식서버(110)에 의해 배포되는 얼굴인식모델(235)을 이용하여 해당 장소로의 출입을 희망하는 타겟사용자의 얼굴을 인식하고, 인식결과를 기초로 타겟사용자의 출입을 인증하는 기능을 수행한다.Referring back to FIG. 1 , the
본 발명에서, 안면인식서버(110)가 타겟 사용자의 얼굴인식 및 인증을 수행하지 않고 에지 디바이스(120)가 타겟 사용자의 얼굴인식 및 인증을 수행하도록 한 이유는 타겟 사용자의 얼굴인식 및 인증을 안면인식서버(110)에서 수행하는 경우 안면인식서버(110) 또는 네트워크에서 장애가 발생되면 얼굴인식 및 인증이 수행될 수 없을 뿐만 아니라 사용자의 수가 증가함에 따라 고가의 안면인식서버(110)의 증설이 요구되기 때문이다.In the present invention, the reason that the
이에 따라 본 발명은 에지 컴퓨팅(Edge Computing) 방식을 적용하여 에지 디바이스(120)에서 타겟 사용자의 얼굴인식 및 인증을 수행하도록 함으로써 안면인식서버(110) 또는 네트워크에 장애가 발생하더라도 정상적으로 얼굴인식 서비스를 제공할 수 있어 서비스 제공 신뢰도를 향상시킬 수 있고, 사용자의 수가 증가하더라도 고가의 안면인식서버(110)를 증설할 필요가 없어 안면인식시스템(100) 구축비용을 절감할 수 있게 된다.Accordingly, the present invention applies an edge computing method to perform face recognition and authentication of a target user in the
이하, 본 발명에 따른 에지 디바이스(120)의 구성을 도 4을 참조하여 보다 구체적으로 설명한다.Hereinafter, the configuration of the
도 7은 본 발명의 제1 실시예에 따른 에지 디바이스의 구성을 개략적으로 보여주는 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 에지 디바이스(120)는 제1 촬영부(1210), 입력 이미지 생성부(1250), 얼굴인식부(1300), 인증부(1310), 얼굴인식모델(1320), 업데이트부(1330), 메모리(1340), 및 인터페이스부(1350)를 포함한다.7 is a block diagram schematically showing the configuration of an edge device according to the first embodiment of the present invention. 7 , the
제1 촬영부(1210)는 인증대상이 되는 타겟 사용자가 접근하면, 타겟 사용자를 촬영하여 촬영 이미지를 생성한다. 제1 촬영부(1210)는 생성된 촬영이미지를 입력 이미지 생성부(1250)로 전송한다.When the target user to be authenticated approaches, the first photographing
입력 이미지 생성부(1250)는 제1 촬영부(1210)로부터 전송된 타겟 사용자의 촬영이미지로부터 얼굴인식에 이용될 입력 이미지를 생성한다. 구체적으로 입력 이미지 생성부(1250)는 하나의 타겟 사용자의 촬영이미지를 미리 정해진 단계까지 다운샘플링하거나 업샘플링함으로써 하나의 타겟 사용자의 촬영이미지로부터 해상도가 서로 다른 복수개의 타겟 사용자의 이미지들을 생성한다.The input
해상도가 서로 다른 복수개의 타겟 사용자 이미지가 생성되면, 입력 이미지 생성부(1250)는 각각의 타겟 사용자 이미지에 대해, 타겟 사용자 이미지 상에서 미리 정해진 픽셀크기의 윈도우를 이동시켜가면서 획득되는 복수개의 이미지를 입력 이미지로 생성한다. 입력 이미지 생성부(1250)는 생성된 입력 이미지를 얼굴인식부(1300)로 입력한다.When a plurality of target user images having different resolutions are generated, the
얼굴인식부(1300)는 입력 이미지 생성부(1250)로부터 타겟 사용자의 입력 이미지가 수신되면 수신된 타겟 사용자의 입력 이미지를 안면인식서버(110)로부터 배포된 얼굴인식모델(1320)에 입력하여 타겟 얼굴이미지를 추출하고, 추출된 타겟 얼굴이미지로부터 타겟 특징벡터를 추출한다. When the input image of the target user is received from the
또한, 얼굴인식모델(1320)은 미리 정해진 주기마다 업데이트될 수 있다. 일 예로, 에지 디바이스(120)는 안면인식서버(110)에 의해 얼굴인식모델(1320)이 업데이트될 때마다 안면인식서버(110)로부터 새로운 얼굴인식모델(1320)을 배포받음으로써 기 배포된 얼굴인식모델(1320)을 새로운 얼굴인식모델(1320)로 업데이트할 수 있다.Also, the
인증부(1310)는 얼굴인식부(1300)에 의해 획득된 타겟 특징벡터와 안면인식서버(110)로부터 수신된 어레이 파일에 포함된 특징벡터들을 비교하여 유사도를 산출하고, 산출된 유사도를 기준임계치와 비교하여 타겟 사용자가 해당 장소에 출입이 가능한 등록사용자인지 여부를 인증한다. 이때, 인증부(1310)는 업데이트부(1330)에 의해 변경된 최적 기준이미지를 포함하는 어레이 파일로 타겟사용자를 인증한다. 인증부(1310)는 미리 정해진 주기에 따라 안면인식서버(110)로부터 최적임계치로 변경된 기준임계치를 수신하고, 이를 유사도와 비교하여 타겟 사용자를 인증한다.The
이하, 인증부(1310)가 타겟 사용자를 인증하는 방법에 대해 구체적으로 설명한다.Hereinafter, a method in which the
먼저, 인증부(1310)는 어레이 파일에 포함된 각 어레이 마다 해당 어레이에 포함된 특징벡터에서 타겟 특징벡터를 동일 인덱스 별로 감산하여 제곱한 제1 결과값을 산출한다. 인증부(1310)는 인덱스 별로 산출된 제1 결과값을 합산하여 제2 결과값을 산출하고, 미리 정해진 기준값에서 제2 결과값을 감산한 제3 결과값을 유사도로 산출한다.First, for each array included in the array file, the
인증부(1310)는 어레이 파일에 포함된 어레이들 중 유사도가 가장 큰 어레이에 매핑되어 있는 사용자가 타겟사용자와 가장 유사한 사용자인 것으로 결정한다. 이때, 인증부(1310)는 유사도가 기준임계치 이상인 경우 타겟사용자가 정당한 권한을 가진 사용자로 인증하게 되고, 이에 따라 타겟 사용자가 해당 장소의 출입이 허가될 수 있다.The
이하, 인증부(1310)가 얼굴인식부(1300)에 의해 획득된 타겟 특징벡터와 어레이 파일에 포함된 특징벡터들을 비교하여 타겟 사용자가 해당 층에 출입이 가능한 정당한 사용자인지 여부를 인증하는 방법을 예를 들어 설명하기로 한다.Hereinafter, the
도 8은 인증부가 타겟 사용자를 인증하는 방법을 예시적으로 보여주는 도면이다. 도 8에 도시된 바와 같이, 어레이 파일은 각 사용자의 특징벡터들을 포함하는 어레이가 각 로우 별로 배치되어 있다. 예컨대, 1번째 로우에는 제1 사용자에 대한 특징벡터들이 순차적으로 배치되어 있고, 2번째 로우에는 제2 사용자에 대한 특징벡터들이 순차적으로 배치되어 있다. 이때, 각 사용자의 특징벡터들은 인덱스 순서에 따라 하나의 로우에 배치되어 있다.8 is a diagram exemplarily illustrating a method for an authenticator to authenticate a target user. As shown in FIG. 8 , in the array file, an array including each user's feature vectors is arranged for each row. For example, feature vectors for the first user are sequentially arranged in the first row, and feature vectors for the second user are sequentially arranged in the second row. At this time, the feature vectors of each user are arranged in one row according to the index order.
도 8a에 도시된 바와 같이 인증부(1310)는 어레이 파일(1410)의 각 어레이의 특징벡터들과 타겟 특징벡터들 간의 차이값을 인덱스 별로 산출하고, 도 8b에 도시된 바와 같이 산출된 차이값들을 제곱하여 제1 결과값을 산출하며, 도 8c에 도시된 바와 같이 각 어레이 별로 제1 결과값들을 모두 합산하여 제2 결과값을 산출한다.As shown in FIG. 8A , the
이후, 도 8d에 도시된 바와 같이, 인증부(1310)는 미리 정해진 기준값(예컨대, 1)에서 제2 결과값을 감산함으로써 제3 결과값인 유사도를 산출하고, 산출된 유사도들 중 제일 큰 값인 0.310528에 해당하는 어레이에 매핑되어 있는 사용자를 타겟 사용자와 가장 유사한 사용자로 결정한다. 또한, 인증부(1310)는 가장 큰 값으로 결정된 유사도가 기준임계치보다 큰 값이므로 타겟 사용자를 해당 어레이에 매핑되어 있는 사용자로 최종 인증한다.Thereafter, as shown in FIG. 8D , the
인증부(1310)가 타겟 사용자를 인증하는 방식을 수학식으로 표현하면 아래의 수학식2와 같이 표현할 수 있다.When the
수학식 2에서 Z는 제3 결과값인 유사도를 나타내고, R은 미리 정해진 기준값을 나타내며, Xi는 n개의 특징벡터들 중 i번째 인덱스에 해당하는 특징벡터를 나타내고 Yi는 n개의 특징벡터들 중 i번째 인덱스에 해당하는 타겟 특징벡터를 나타낸다.In
인증부(1310)는 미리 정해진 주기에 따라 안면인식서버(110)로부터 변경된 기준임계치를 수신하여 갱신하고, 갱신된 기준임계치를 이용하여 타겟 사용자를 인증한다. The
얼굴인식모델(1320)은 안면인식서버(110)에 의해 생성되어 배포된 것으로서, 얼굴인식모델(1320)은 안면인식서버(110)에 의해 얼굴인식모델(235)이 트레이닝되어 갱신될 때마다 갱신된 얼굴인식모델(235)로 대체된다. 이때, 얼굴인식모델(1320)은 인터페이스부(1350)를 통해 안면인식서버(110)로부터 수신될 수 있다.The
업데이트부(1330)는 미리 정해진 업데이트 주기마다 최적 기준이미지로부터 추출된 특징벡터들을 포함하는 복수개의 어레이로 구성된 신규 어레이 파일을 안먼인식서버(110)로부터 수신하고, 기존 어레이 파일을 신규 어레이 파일로 변경한다.The
일 실시예에 있어서, 업데이트부(1330)는 미리 정해진 시간동안 획득된 제2 인증결과들을 기초로 사용자 별로 인식시도 대비 승인회수의 비율을 산출하고, 산출된 비율이 미리 정해진 기준치 이상이면 업데이트 주기를 감소시키고 기준치 이하이면 업데이트 주기를 증가시킨다. In one embodiment, the
또한 업데이트부(1330)는 인식시도 대비 승인회수의 변화율에 따라 업데이트 주기를 가변시킬수 있다. 업데이트 부(1330)는 변화율이 미리 정해진 기준치 이상으로 증가하면 업데이트 주기를 감소시키고, 변화율이 미리 정해진 기준치 이하로 감소하면 업데이트 주기를 증가시킬 수 있다.Also, the
업데이트부(1330)는 인터페이스부(1350)를 통해 안면인식서버(110)로부터 최적 기준이미지를 포함하는 어레이 파일 또는 기준임계치이 수신되면 이를 제1 메모리(1342)에 업로드하여 인증부(1310)가 이를 이용하여 타겟 사용자를 인증할 수 있도록 한다. 특히, 본 발명에 따른 업데이트부(1330)는 어레이 파일 또는 기준임계치를 동적으로 로딩할 수 있다.When the
구체적으로, 업데이트부(1330)는 제1 메모리(1342)에 기존 어레이 파일 또는 기준임계치가 로딩되어 있을 때, 안면인식서버(110)로부터 신규 어레이 파일 또는 신규 기준임계치가 수신되는 경우 신규 어레이 파일 또는 신규 기준임계치를 제2 메모리(1344)에 로딩하고, 제2 메모리(1344)에 신규 기준임계치 또는 신규 어레이 파일의 로딩이 완료되면 제1 메모리(1342)에 로딩되어 있는 기존 어레이 파일 또는 기준임계치을 제2 메모리(1344)에 로딩되어 있는 신규 어레이 파일 또는 신규 기준임계치로 대체한다.Specifically, when an existing array file or a reference threshold is loaded in the
본 발명에 따른 업데이트부(1330)가 상술한 바와 같이 기준임계치 또는 어레이 파일을 동적 로딩하는 이유는 인증부(1310)가 타겟 사용자에 대한 인증처리를 수행함과 동시에 업데이트부(1330)가 신규 어레이 파일 또는 신규 기준임계치를 업데이트할 수 있도록 함으로써 에지 디바이스(120)가 새롭게 업데이트된 신규 어레이 파일 또는 신규 기준임계치를 기초로 실시간으로 얼굴인식이 수행될 수 있도록 하기 위함이다.The reason that the
제1 메모리(1342)에는 인증부(1310)에 의해 이용되는 기존 어레이 파일 또는 기존 기준임계치이 로딩되고, 제2 메모리(1344)에는 새롭게 수신된 신규 어레이 파일 또는 신규 기준임계치가 로딩된다. 제2 메모리(1344)에 신규 어레이 파일 또는 신규 기준임계치의 로딩이 완료되면 업데이트부(1330)에 의해 제1 메모리(1342)에 기록된 기존 어레이 파일 또는 기존 기준임계치가 신규 어레이 파일 또는 신규 기준임계치로 대체되게 된다.An existing array file or an existing reference threshold used by the
인터페이스부(1350)는 에지 디바이스(120)와 안면인식서버(110)간의 데이터 송수신을 매개한다. 구체적으로, 인터페이스부(1350)는 안면인식서버(110)로부터 얼굴인식모델(1320)을 수신하고, 안면인식서버(110)로부터 최적 기준이미지를 포함하는 어레이 파일 또는 기준 임계치를 수신하여 업데이트부(1330)를 통해 제1 메모리(1342) 또는 제2 메모리(1344)에 로딩한다. 또한, 인터페이스부(1350)는 인증부(1330)에 의한 출입데이터를 안면인식서버(110)로 주기적으로 전송한다.The
일 실시예에 있어서, 어레이 파일, 기준임계치 및 얼굴인식모델(1320)은 인터페이스부(1350)를 통해 미리 정해진 주기마다 업데이트될 수 있다.In an embodiment, the array file, the reference threshold, and the
상술한 바와 같이, 본 발명에 따르면 에지 디바이스(120)에는 얼굴인식을 위한 얼굴인식모델(1320), 어레이 파일, 기준임계치만 저장될 뿐 사용자의 얼굴이미지나 개인정보가 저장되지 않기 때문에 에지 디바이스(120)가 해킹되더라도 사용자의 개인정보가 유출될 염려가 없어 보안이 강화된다.As described above, according to the present invention, only the
상술한 실시예에서 얼굴인식모델(1320)에 포함된 실물이미지 판단부로 타겟사용자의 촬영이미지가 사람을 촬영한 실물이미지인지 등록사용자의 사진을 촬영한 페이크이미지인지를 판단하였다. 상술한 실시예와 달리, 본 발명은 추가로 IR 카메라인 제2 촬영부(1510)로 실물이미지인지 여부를 판단할 수 있다.In the above-described embodiment, the real image determination unit included in the
도 9는 본 발명의 제2 실시예에 따른 에지 디바이스의 구성을 보여주는 블록도이다. 도 9에 도시된 제2 실시예에 따른 에지 디바이스는 도 7에 도시된 제1 실시예에 따른 에지 디바이스에 비해 제2 촬영부(1510) 및 진위판단부(1520)를 더 포함한다는 점에서 제1 실시예에 따른 에지 디바이스와 구별된다. 이하에서는, 설명의 편의를 위해 제1 실시예에 따른 에지 디바이스와 동일한 기능을 하는 구성에 대한 설명은 생략하고, 새롭게 추가된 제2 촬영부(1510) 및 진위판단부(1520)와 새롭게 추가된 구성으로 인해 그 기능이 변경된 제1 촬영부(1210)에 대해서만 기재하기로 한다.9 is a block diagram showing the configuration of an edge device according to a second embodiment of the present invention. The edge device according to the second embodiment shown in FIG. 9 is second in that it further includes a second photographing
제1 촬영부(1210)는 촬영대상을 촬영하여 촬영이미지를 생성한다. 제1 촬영부(1210)는 생성된 촬영이미지를 진위판단부(1520)로 전송한다.The first photographing
제2 촬영부(1510)는 촬영대상을 촬영하여 뎁스(Depth) 이미지를 생성한다. 제2 촬영부(1510)는 제1 촬영부(1210)에 의해 촬영대상이 촬영되는 시점과 동일한 시점 또는 제1 촬영부(1210)에 촬영대상이 촬영되는 시점으로부터 소정시간 이전 또는 소정시간 이후에 촬영대상을 촬영할 수 있다.The second photographing
일 실시예에 있어서, 제2 촬영부(1510)는 촬영대상을 촬영하여 뎁스 이미지를 생성할 수 있는 IR 카메라로 구현될 수 있다.In an embodiment, the second photographing
이와 같이 제2 실시예에 따른 에지 디바이스(120)가 제2 촬영부(1510)를 통해 촬영대상를 촬영하여 뎁스 이미지를 생성하는 이유는, 제2 촬영부(1510)에 의해 촬영대상의 실제 얼굴이 촬영되는 경우와 촬영대상의 얼굴이 포함된 사진이 촬영된 경우 서로 다른 형태의 뎁스 이미지가 생성되기 때문이다.As described above, the reason that the
제2 촬영부(1510)는 생성된 뎁스 이미지를 진위판단부(1520)로 전송한다.The second photographing
진위판단부(1520)는 제2 촬영부(1510)로부터 전송된 뎁스 이미지를 이용하여 제2 촬영부(1510)에 의해 촬영된 촬영대상이 사진인지 또는 실제 촬영대상의 얼굴인지 여부를 판단한다.The
구체적으로, 진위판단부(1520)는 제2 촬영부(1510)로부터 수신한 뎁스 이미지로부터 뎁스 데이터를 추출하고, 이진 분류(Binary Classification)를 통해 뎁스 이미지가 촬영대상의 실제 얼굴인지 여부를 판단한다. 일 실시예에 있어서, 진위판단부(1520)는 딥 러닝(Deep Learning) 알고리즘 기반의 트레이닝을 통해 실제 얼굴과 사진에 대한 분류 정확도가 향상되도록 할 수 있다.Specifically, the
진위판단부(1520)는 제2 촬영부(1510)에 의해 촬영된 촬영대상이 실제 얼굴인 것으로 판단되면 제1 촬영부(1210)로부터 수신된 촬영 이미지를 입력 이미지 생성부(1250)로 전송한다. When it is determined that the photographing target photographed by the second photographing
한편, 진위판단부(1520)는 제2 촬영부(1510)에 의해 촬영된 촬영대상이 실제 얼굴이 아닌 것으로 판단되면 제1 촬영부(1210)로부터 수신된 촬영 이미지를 입력 이미지 생성부(1250)로 전송하지 않고, 인증처리가 실패하였음을 문자 형태 또는 음성 형태의 알람 메시지를 이용하여 출력하거나, 비정상적 접근 시도가 있었음을 시스템 운영자에게 통지할 수 있다.On the other hand, when it is determined that the photographing target photographed by the second photographing
이와 같이 본 발명은 진위판단부(1520)가 1차적으로 실물이미지 여부를 판단하고, 2차적으로 얼굴인식모델(1320)의 실물이미지 판단부가 2차적으로 실물이미지 여부를 판단하여 촬영된 촬영대상이 실제 얼굴인지 사진인지 여부를 정확하게 판별할 수 있다. 이에 따라 본 발명은 사진이 촬영된 경우 인증처리가 수행되지 않도록 함으로써 정당한 권원없는 사용자가 타인의 사진을 이용하여 인증을 받고자 수행하는 시도를 원천적으로 차단할 수 있고, 이를 통해 보안을 향상시킬 수 있게 된다.As described above, in the present invention, the
다시 도 1을 참조하면, 사용자 단말기(130)는 사용자를 신규 등록하기 위한 사용자 이미지를 사용자의 식별정보와 함께 안면인식서버(110)로 전송한다. 일 실시예에 있어서, 사용자 단말기(130)에는 안면인식서버(110)와 연동할 수 있는 얼굴등록 에이전트(미도시)가 탑재되어 있고, 사용자는 사용자 단말기(130) 상에서 얼굴등록 에이전트를 실행시킴으로써 사용자의 얼굴을 촬영한 이미지나 기 촬영된 이미지를 사용자 식별정보와 함께 안면인식서버(110)로 전송할 수 있다.Referring back to FIG. 1 , the
일 실시예에 있어서, 사용자 단말기(130)는 각 사용자 별로 복수개의 사용자 이미지를 등록하도록 요청할 수 있다. 이때, 각 사용자 별로 등록요청되는 복수개의 이미지는 서로 다른 환경에서 촬영된 사진이거나 서로 다른 조명하에서 촬영된 사진일 수 있다.In an embodiment, the
사용자 단말기(130)는 안면인식서버(110)로 사용자 이미지를 전송하여 사용자 등록을 요청할 수 있는 것이라면 그 종류에 제한 없이 어떤 것이든 이용 가능하다. 예컨대, 사용자 단말기(130)는 스마트폰, 노트북, 데스크탑 또는 테플릿 PC등으로 구현될 수 있다.The
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the above-described present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof.
예컨대, 도 2에 도시된 안면인식서버의 구성과 도 4 및 도 6에 도시된 에지 디바이스의 구성은 프로그램 형태로 구현될 수도 있을 것이다. 본 발명에 따른 안면인식서버의 구성 및 에지 디바이스의 구성이 프로그램으로 구현되는 경우, 도 2, 도 4, 및 도 6에 도시된 각 구성들이 코드로 구현되고, 특정 기능을 구현하기 위한 코드들이 하나의 프로그램으로 구현되거나, 복수개의 프로그램을 분할되어 구현될 수도 있을 것이다.For example, the configuration of the face recognition server shown in FIG. 2 and the configuration of the edge device shown in FIGS. 4 and 6 may be implemented in the form of a program. When the configuration of the face recognition server and the configuration of the edge device according to the present invention are implemented as a program, each configuration shown in FIGS. 2, 4, and 6 is implemented as a code, and the codes for implementing a specific function are one It may be implemented as a program of , or may be implemented by dividing a plurality of programs.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
100: 안면인식시스템
110: 안면인식서버
120: 에지 디바이스
130: 사용자 단말기
210: 에지 디바이스 관리부
310: 인증결과 수집부
330: 이미지 결정부
340: 기준이미지 변경부
360: 최적임계치 산출부
370: 기준임계치 변경부100: face recognition system 110: face recognition server
120: edge device 130: user terminal
210: edge device management unit 310: authentication result collection unit
330: image determining unit 340: reference image changing unit
360: optimum threshold value calculation unit 370: reference threshold value change unit
Claims (17)
상기 인증결과들 중 등록사용자로 정상 승인된 정상 인증결과들을 추출하고, 상기 정상 인증결과들을 사용자 별로 분류하며, 분류된 정상 인증결과에 포함된 상기 유사도 중 최대값을 갖는 정상 인증결과에 대응되는 촬영이미지를 해당 사용자의 최적 기준이미지로 결정하는 이미지 결정부; 및
사용자들의 상기 기준이미지를 해당 사용자 별로 결정된 최적 기준이미지로 각각 변경하는 기준이미지 변경부를 포함하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.an authentication result collecting unit that compares the similarity between the user's photographed image and the corresponding user's reference image with a reference threshold and collects authentication results for authenticating access;
Among the authentication results, normal authentication results normally approved as a registered user are extracted, the normal authentication results are classified for each user, and a photographing corresponding to a normal authentication result having a maximum value among the similarities included in the classified normal authentication result. an image determining unit that determines an image as an optimal reference image of the user; and
A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that it includes a reference image changing unit for changing the reference image of users into an optimal reference image determined for each user.
상기 이미지 결정부는,
상기 각 사용자 별로 분류된 정상 인증결과를 해당 정상 인증결과가 발생한 출입시간 별로 분류하고, 분류된 정상 인증결과에 포함된 유사도 중 최대값을 갖는 정상 인증결과에 대응되는 촬영이미지를 해당 출입시간의 최적 기준이미지로 각각 결정하고,
상기 기준이미지 변경부는,
상기 기준이미지를 상기 출입시간 별로 결정된 최적 기준이미지로 각각 변경하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.According to claim 1,
The image determination unit,
The normal authentication result classified for each user is classified by the access time at which the normal authentication result occurred, and the photographed image corresponding to the normal authentication result having the maximum value among the similarities included in the classified normal authentication result is selected as the optimal value of the access time. Each is determined as a reference image,
The reference image change unit,
A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that each of the reference images is changed to an optimal reference image determined for each access time.
상기 이미지 결정부는,
상기 각 사용자 별로 분류된 정상 인증결과를 해당 정상 인증결과가 발생한 장소 별로 분류하고, 분류된 정상 인증결과에 포함된 유사도 중 최대값을 갖는 정상 인증결과에 대응되는 촬영이미지를 해당 장소의 최적 기준이미지로 각각 결정하고,
상기 기준이미지 변경부는,
상기 기준이미지를 상기 장소 별로 결정된 최적 기준이미지로 각각 변경하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.According to claim 1,
The image determination unit,
The normal authentication result classified for each user is classified by the place where the normal authentication result occurs, and the photographed image corresponding to the normal authentication result having the maximum value among the similarities included in the classified normal authentication result is the optimal reference image of the place. to determine each,
The reference image change unit,
A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that each of the reference images is changed to an optimal reference image determined for each location.
상기 장소에는 상기 인증결과 수집부로 인증결과를 전송하는 둘 이상의 에지 디바이스가 설치되고,
상기 이미지 결정부는,
상기 장소 별로 분류된 정상 인증결과를 해당 정상 인증결과가 발생한 에지 디바이스별로 분류하고, 분류된 정상 인증결과에 포함된 유사도 중 최대값을 갖는 정상 인증결과에 대응되는 촬영이미지를 해당 에지 디바이스의 최적 기준이미지로 각각 결정하고,
상기 기준이미지 변경부는,
상기 기준이미지를 상기 에지 디바이스 별로 결정된 최적 기준이미지로 각각 변경하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.4. The method of claim 3,
Two or more edge devices for transmitting an authentication result to the authentication result collecting unit are installed in the place,
The image determination unit,
The normal authentication result classified for each location is classified by the edge device where the normal authentication result occurred, and the captured image corresponding to the normal authentication result having the maximum value among the similarities included in the classified normal authentication result is used as the optimal standard for the edge device. Decide on each image,
The reference image change unit,
A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that each of the reference images is changed to an optimal reference image determined for each edge device.
상기 인증결과 수집부는 상기 사용자의 인증을 수행하는 복수개의 에지 디바이스로부터 상기 인증결과를 수신하고,
상기 에지 디바이스는 얼굴인식모델을 이용하여 상기 사용자의 촬영이미지를 상기 변경된 최적 기준이미지와 비교하여 상기 사용자의 인증을 수행하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.According to claim 1,
The authentication result collection unit receives the authentication result from a plurality of edge devices that perform authentication of the user,
The edge device compares the user's photographed image with the changed optimal reference image using a face recognition model to perform authentication of the user. A face recognition system for face recognition according to a change in a spatio-temporal environment.
상기 에지 디바이스는, 타겟 사용자의 촬영이미지로부터 타겟 특징벡터를 생성하며 상기 타겟 특징벡터를 상기 최적 기준이미지로부터 추출된 특징벡터들을 포함하는 복수개의 어레이로 구성된 신규 어레이파일과 비교하여 상기 사용자를 인증하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.6. The method of claim 5,
The edge device generates a target feature vector from a photographed image of a target user, and compares the target feature vector with a new array file comprising a plurality of arrays including feature vectors extracted from the optimal reference image to authenticate the user. A face recognition system for face recognition according to a change in the spatiotemporal environment, characterized in that.
상기 에지 디바이스는 각 어레이에 포함된 특징벡터에서 상기 타겟 특징벡터를 동일 인덱스 별로 감산하여 제곱한 제1 결과값을 산출하고, 해당 어레이 내에서 각 인덱스 별로 산출된 제1 결과값들을 합산하여 산출되는 제2 결과값을 이용하여 상기 타겟 사용자를 인증하는 인증부를 포함하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.7. The method of claim 6,
The edge device calculates a first result value obtained by squaring the target feature vector by subtracting the same index from the feature vector included in each array, and summing the first result values calculated for each index in the array. A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that it comprises an authenticator for authenticating the target user by using a second result value.
상기 인증부는 상기 어레이 파일에 포함된 어레이들 중 미리 정해진 기준값에서 상기 제2 결과값을 감산한 제3 결과값을 상기 유사도로 산출하고 상기 유사도가 가장 큰 어레이에 매핑되어 있는 사용자가 상기 타겟 사용자와 가장 유사한 사용자인 것으로 결정하고, 상기 유사도가 미리 정해진 기준임계치 이상이면 상기 타겟 사용자를 정상 승인하는 것을 특징으로 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.8. The method of claim 7,
The authenticator calculates a third result value obtained by subtracting the second result value from a predetermined reference value among the arrays included in the array file with the similarity degree, and the user mapped to the array having the greatest similarity is the target user and the target user. A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that it is determined as the most similar user, and the target user is normally approved if the degree of similarity is greater than or equal to a predetermined reference threshold.
상기 에지 디바이스는
미리 정해진 업데이트 주기마다 상기 최적 기준이미지로부터 추출된 특징벡터들을 포함하는 상기 복수개의 어레이로 구성된 신규 어레이 파일을 안면인식서버로부터 수신하고, 기존 어레이 파일을 상기 신규 어레이 파일로 변경하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.6. The method of claim 5,
The edge device is
Space-time characterized in that the new array file composed of the plurality of arrays including the feature vectors extracted from the optimal reference image is received from a face recognition server at each predetermined update cycle, and the existing array file is changed to the new array file A face recognition system for face recognition according to environmental changes.
상기 에지 디바이스는,
미리 정해진 시간동안 획득된 정상 인증결과들을 기초로 상기 사용자 별로 인식시도 대비 승인회수의 변화율을 산출하고, 산출된 변화율이 미리 정해진 기준치 이상이면 상기 업데이트 주기를 감소시키고 상기 기준치 이하이면 업데이트 주기를 증가시키는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.10. The method of claim 9,
The edge device is
Based on the normal authentication results obtained for a predetermined time, the change rate of the number of approvals compared to the recognition attempt is calculated for each user, and if the calculated rate of change is greater than or equal to a predetermined reference value, the update period is decreased, and if it is less than the reference value, the update period is increased. A face recognition system for face recognition according to a change in the spatiotemporal environment, characterized in that.
상기 에지 디바이스는,
상기 기존 어레이 파일을 제1 메모리에 로딩하고, 상기 안면인식서버로부터 신규 어레이 파일이 수신되면 상기 신규 어레이 파일을 제2 메모리에 로딩하고, 상기 제2 메모리에 상기 신규 어레이 파일의 로딩이 완료되면 상기 제1 메모리에 로딩되어 있는 상기 기존 어레이 파일을 상기 제2 메모리에 로딩되어 있는 신규 어레이 파일로 대체하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식 시스템.10. The method of claim 9,
The edge device is
The existing array file is loaded into a first memory, and when a new array file is received from the facial recognition server, the new array file is loaded into a second memory, and when the loading of the new array file into the second memory is completed, the A face recognition system for face recognition according to a change in a spatiotemporal environment, characterized in that the existing array file loaded in the first memory is replaced with a new array file loaded in the second memory.
등록요청된 사용자의 입력 이미지를 얼굴인식모델에 입력함으로써 얼굴이미지를 추출하고, 상기 추출된 얼굴이미지로부터 복수개의 특징벡터를 생성하는 얼굴인식부를 더 포함하고,
상기 얼굴인식모델은,
상기 입력 이미지로부터 상기 얼굴이미지를 추출하는 얼굴이미지 추출부;
상기 얼굴이미지가 사람을 촬영한 실물이미지인지 여부를 판단하는 실물이미지 판단부; 및
상기 얼굴이미지가 실물이미지로 판단되면, 상기 얼굴이미지에 포함된 얼굴로부터 특징벡터를 추출하는 특징벡터 추출부를 포함하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식시스템.According to claim 1,
Further comprising a face recognition unit that extracts a face image by inputting an input image of a user requested for registration into a face recognition model, and generates a plurality of feature vectors from the extracted face image,
The face recognition model is
a face image extraction unit for extracting the face image from the input image;
a real image determination unit for determining whether the face image is a real image of a person; and
and a feature vector extraction unit for extracting a feature vector from a face included in the face image when the face image is determined to be a real image.
상기 얼굴이미지 추출부는,
서로 다른 뎁스(Depth)의 신경망 네트워크를 갖는 2개 이상의 얼굴탐지부를 이용하여 입력 이미지들로부터 상기 얼굴이미지를 추출하고,
상기 2개 이상의 얼굴탐지부는 뎁스가 깊어지는 순서에 따라 순차적으로 배치되어 n번째 얼굴탐지부에 입력되는 입력 이미지의 개수가 n-1번째 얼굴탐지부에 입력되는 입력 이미지의 개수보다 감소되는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식시스템.13. The method of claim 12,
The face image extraction unit,
Extracting the face image from input images using two or more face detectors having neural networks of different depths,
The two or more face detectors are sequentially arranged in the order of depth in depth, so that the number of input images input to the n-th face detector is reduced than the number of input images input to the n-1 face detector, characterized in that A face recognition system for face recognition according to changes in the space-time environment.
상기 실물이미지 판단부는,
상기 얼굴이미지로부터 상기 얼굴이미지의 깊이를 표현하는 깊이 특징벡터 및 상기 얼굴이미지의 빛 반사를 표현하는 반사 특징벡터 중 적어도 하나와 상기 얼굴이미지의 RGB를 표현하는 RGB 특징벡터를 추출하는 실물 특징벡터 추출부;
상기 깊이 특징벡터 및 상기 반사 특징벡터 중 적어도 하나를 상기 RGB 특징벡터와 융합하여 융합 특징벡터를 생성하는 특징벡터 융합부; 및
상기 융합 특징벡터를 이용하여 상기 얼굴이미지가 사람을 촬영한 실물 이미지인지 여부를 판단하는 판단부를 포함하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식시스템.13. The method of claim 12,
The real image determination unit,
Real feature vector extraction for extracting from the face image at least one of a depth feature vector expressing the depth of the face image and a reflection feature vector expressing light reflection of the face image and an RGB feature vector expressing RGB of the face image part;
a feature vector fusion unit generating a fusion feature vector by fusing at least one of the depth feature vector and the reflection feature vector with the RGB feature vector; and
and a determination unit for determining whether the face image is a real image of a person photographed by using the fusion feature vector.
상기 특징벡터 추출부는,
입력 데이터를 영상 처리하여 출력 데이터를 생성하는 복수개의 얼굴이미지 처리부; 및
상기 복수개의 얼굴이미지 처리부들 중 마지막 얼굴이미지 처리부에서 출력되는 출력 데이터를 하나의 레이어로 병합하여 미리 정해진 개수의 특징벡터를 생성하는 특징벡터 생성부를 포함하고,
상기 복수개의 얼굴 이미지 처리부들 중 1번째 얼굴이미지 처리부에는 상기 입력 이미지로써 얼굴이미지가 입력되고, n+1번째 얼굴이미지 처리부에는 상기 입력 이미지로써 n번재 얼굴이미지 처리부의 출력 데이터가 입력되는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식시스템.13. The method of claim 12,
The feature vector extraction unit,
a plurality of face image processing units for image processing input data to generate output data; and
a feature vector generator for generating a predetermined number of feature vectors by merging the output data output from the last face image processor among the plurality of face image processors into one layer;
A face image is input as the input image to the first face image processing unit among the plurality of face image processing units, and the output data of the nth face image processing unit is input as the input image to the n+1th face image processing unit. A face recognition system for face recognition according to changes in the space-time environment.
각 사용자 별로 상기 복수개의 특징벡터와 사용자의 식별정보로 구성된 어레이를 생성하고, 생성된 어레이들을 머지하여 어레이 파일을 생성하는 어레이 파일 생성부; 및
상기 생성된 어레이 파일을 에지 디바이스로 전송하는 인터페이스부를 더 포함하는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식시스템.13. The method of claim 12,
an array file generator for generating an array composed of the plurality of feature vectors and user identification information for each user, and merging the generated arrays to generate an array file; and
A face recognition system for face recognition according to a change in a space-time environment, characterized in that it further comprises an interface unit for transmitting the generated array file to an edge device.
상기 얼굴인식모델은 오차감소 알고리즘을 통해 학습되어 있고,
상기 오차감소 알고리즘은 상기 얼굴인식모델에 학습 이미지들을 입력하여 획득된 복수개의 특징벡터를 기초로 상기 학습 이미지들을 2차원 각도 평면 상에 배치하고, 서로 다른 클래스에 포함된 학습 이미지간의 기준각도에 가산되는 마진각도를 가변시켜 상기 가변되는 마진각도 별로 각 학습 이미지들이 상기 각 클래스에 포함될 확률을 산출하며, 상기 산출된 확률을 기초로 상기 얼굴인식모델을 학습시키는 것을 특징으로 하는 시공간 환경 변화에 따른 안면인식을 위한 안면인식시스템.13. The method of claim 12,
The face recognition model is trained through an error reduction algorithm,
The error reduction algorithm arranges the training images on a two-dimensional angular plane based on a plurality of feature vectors obtained by inputting training images to the face recognition model, and adds them to a reference angle between training images included in different classes. A face according to a change in a spatiotemporal environment, characterized in that by varying a margin angle to calculate a probability that each training image is included in each class for each variable margin angle, and learning the face recognition model based on the calculated probability Facial recognition system for recognition.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190159134A KR102312152B1 (en) | 2019-12-03 | 2019-12-03 | Face Recognition Server For Reflecting Space-Time Environment and Face Recognition System Having The Same |
PCT/KR2019/017218 WO2020117006A1 (en) | 2018-12-07 | 2019-12-06 | Ai-based face recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190159134A KR102312152B1 (en) | 2019-12-03 | 2019-12-03 | Face Recognition Server For Reflecting Space-Time Environment and Face Recognition System Having The Same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210069381A true KR20210069381A (en) | 2021-06-11 |
KR102312152B1 KR102312152B1 (en) | 2021-10-12 |
Family
ID=76376477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190159134A KR102312152B1 (en) | 2018-12-07 | 2019-12-03 | Face Recognition Server For Reflecting Space-Time Environment and Face Recognition System Having The Same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102312152B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102579116B1 (en) * | 2022-12-14 | 2023-09-15 | 주식회사 딥노이드 | Apparatus and method for automatically learning and distributing artificial intelligence based on the cloud |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225813A (en) * | 2007-03-13 | 2008-09-25 | National Institute Of Advanced Industrial & Technology | Face recognition method operating on web browser and its program |
KR20140127478A (en) * | 2013-04-25 | 2014-11-04 | 주식회사 슈프리마 | Method for providing distributed biometric recognition service |
KR20170000748A (en) * | 2015-06-24 | 2017-01-03 | 삼성전자주식회사 | Method and apparatus for face recognition |
-
2019
- 2019-12-03 KR KR1020190159134A patent/KR102312152B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225813A (en) * | 2007-03-13 | 2008-09-25 | National Institute Of Advanced Industrial & Technology | Face recognition method operating on web browser and its program |
KR20140127478A (en) * | 2013-04-25 | 2014-11-04 | 주식회사 슈프리마 | Method for providing distributed biometric recognition service |
KR20170000748A (en) * | 2015-06-24 | 2017-01-03 | 삼성전자주식회사 | Method and apparatus for face recognition |
Also Published As
Publication number | Publication date |
---|---|
KR102312152B1 (en) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102294574B1 (en) | Face Recognition System For Real Image Judgment Using Face Recognition Model Based on Deep Learning | |
WO2020207189A1 (en) | Method and device for identity authentication, storage medium, and computer device | |
US11288504B2 (en) | Iris liveness detection for mobile devices | |
US12014571B2 (en) | Method and apparatus with liveness verification | |
KR102137329B1 (en) | Face Recognition System for Extracting Feature Vector Using Face Recognition Model Based on Deep Learning | |
US10579872B2 (en) | Method and apparatus with iris region extraction | |
KR102184493B1 (en) | System for Face Recognition Based On AI | |
KR102161359B1 (en) | Apparatus for Extracting Face Image Based on Deep Learning | |
WO2020134238A1 (en) | Living body detection method and apparatus, and storage medium | |
KR102308122B1 (en) | Server And System for Face Recognition Using The Certification Result | |
KR102184490B1 (en) | Edge Device for Face Recognition | |
US20200302041A1 (en) | Authentication verification using soft biometric traits | |
WO2021047482A1 (en) | Method and system for performing steganographic technique | |
CN112052830B (en) | Method, device and computer storage medium for face detection | |
KR102546327B1 (en) | Edge device comparing face images using clustering technique and face authentication system having the same | |
KR102312152B1 (en) | Face Recognition Server For Reflecting Space-Time Environment and Face Recognition System Having The Same | |
KR102673999B1 (en) | Face recognition system for training face recognition model using frequency components | |
US20220383663A1 (en) | Method for obtaining data from an image of an object of a user that has a biometric characteristic of the user | |
KR102137328B1 (en) | Face Recognition Service Providing System for Training Face Recognition Model Using Error Reduction Algorithm | |
Shukla et al. | Spoof Detection Using Local Binary Pattern in Face | |
KR20220043842A (en) | Edge device for recognizing a face wearing a mask and system for recognizing a face wearing a mask | |
Srivastava et al. | A Machine Learning and IoT-based Anti-spoofing Technique for Liveness Detection and Face Recognition | |
Li et al. | A Novel 6G Scalable Blockchain Clustering-Based Computer Vision Character Detection for Mobile Images. | |
Jayabharathi et al. | POC-net: pelican optimization-based convolutional neural network for recognizing large pose variation from video | |
Yuen et al. | Development of AI-Enabled Contactless Visitor Access Monitoring System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |