KR102530141B1 - Method and apparatus for face authentication using face matching rate calculation based on artificial intelligence - Google Patents

Method and apparatus for face authentication using face matching rate calculation based on artificial intelligence Download PDF

Info

Publication number
KR102530141B1
KR102530141B1 KR1020220108405A KR20220108405A KR102530141B1 KR 102530141 B1 KR102530141 B1 KR 102530141B1 KR 1020220108405 A KR1020220108405 A KR 1020220108405A KR 20220108405 A KR20220108405 A KR 20220108405A KR 102530141 B1 KR102530141 B1 KR 102530141B1
Authority
KR
South Korea
Prior art keywords
face
recognition target
data
area
mask
Prior art date
Application number
KR1020220108405A
Other languages
Korean (ko)
Other versions
KR20220123212A (en
Inventor
최명수
Original Assignee
(주)소프트제국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)소프트제국 filed Critical (주)소프트제국
Publication of KR20220123212A publication Critical patent/KR20220123212A/en
Application granted granted Critical
Publication of KR102530141B1 publication Critical patent/KR102530141B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치에 관한 것으로, 상기 방법은, 인식 대상이 포함되는 이미지를 획득하는 단계; 상기 이미지로부터 상기 인식 대상의 얼굴 특징 정보를 식별하는 단계; 상기 얼굴 특징 정보에 기초하여, 상기 인식 대상의 마스크 착용 여부를 판단하는 단계; 상기 판단의 결과에 따라 상기 인식 대상의 얼굴 데이터를 획득하는 단계; 상기 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 복수의 얼굴 데이터와 비교하여 얼굴 매칭률을 생성하여 출력하는 단계를 포함하며, 상기 얼굴 데이터는, 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀, 얼굴형 중 적어도 하나에 대한 데이터를 포함하고, 상기 얼굴 매칭률을 생성할 시, 상기 얼굴 데이터에 포함된 둘 이상의 데이터를 비교하고, 상기 비교의 결과를 조합하여 상기 인식 대상의 상기 얼굴 데이터와 상기 기 저장된 얼굴 데이터들 간 매칭률을 산출할 수 있다.A method and apparatus for face authentication using artificial intelligence-based face matching rate calculation, the method comprising: obtaining an image including a recognition target; identifying facial feature information of the recognition target from the image; determining whether the recognition target wears a mask based on the facial feature information; obtaining face data of the recognition target according to a result of the determination; and generating and outputting a face matching rate by comparing face data of the object to be recognized with a plurality of face data pre-stored in a database, wherein the face data includes skin color, iris, distance between eyes, eyebrows, lips, nose, It includes data on at least one of an ear and a face type, and when generating the face matching rate, two or more pieces of data included in the face data are compared, and the result of the comparison is combined to form the face data of the recognition target. It is possible to calculate a matching rate between and the pre-stored face data.

Description

인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치{METHOD AND APPARATUS FOR FACE AUTHENTICATION USING FACE MATCHING RATE CALCULATION BASED ON ARTIFICIAL INTELLIGENCE}Method and apparatus for face authentication using face matching rate calculation based on artificial intelligence

본 발명은 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치에 대한 것이다.The present invention relates to a method and apparatus for face authentication using artificial intelligence-based face matching rate calculation.

일반적으로 건물이나 건물 내 사무실 등에 출입을 통제하는 시스템의 경우 지문, 출입카드, 신분증 등을 통해 본인인증이 주로 이루어졌다.In general, in the case of a system that controls access to a building or an office within a building, identity authentication is mainly performed through fingerprints, access cards, and identification cards.

그러나 최근에 코로나 바이러스로 인해 모든 사람들이 마스크를 쓰고 생활하고 있기 때문에 지문이나 출입카드 등을 통한 출입 통제 시스템의 경우, 증상(발열)이 있는 사람도 아무런 확인 없이 출입이 가능함으로 바이러스 전파의 위험을 높일 수 있다는 문제가 존재한다.However, since everyone is wearing a mask recently due to the corona virus, in the case of access control systems through fingerprints or access cards, even people with symptoms (fever) can enter and exit without any confirmation, reducing the risk of virus transmission. There is a problem that can be raised.

따라서, 건물이나 건물 내 사무실 등을 출입할 때 지문이나 출입카드가 아닌 마스크를 착용한 상태에서도 얼굴을 인식하여 출입여부를 판단할 수 있는 방안이 필요하다.Therefore, when entering or exiting a building or an office within a building, there is a need for a method that can determine whether or not to enter or exit by recognizing a face even when wearing a mask rather than a fingerprint or access card.

등록특허공보 제10-2255229호 (공고일자: 2021년 05월 24일)Registered Patent Publication No. 10-2255229 (Announcement date: May 24, 2021)

개시된 실시예들은, 상술한 바와 같은 문제점을 해결하기 위해, 마스크를 착용한 사람에 대해서도 얼굴을 인식할 수 있도록 하는 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치를 제공할 수 있다.The disclosed embodiments provide a method and apparatus for face authentication using artificial intelligence-based face matching rate calculation that enables face recognition even for a person wearing a mask, in order to solve the above-described problems. can

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

본 개시에 일 측면에 따른 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법은, 인식 대상이 포함되는 이미지를 획득하는 단계; 상기 이미지로부터 상기 인식 대상의 얼굴 특징 정보를 식별하는 단계; 상기 얼굴 특징 정보에 기초하여, 상기 인식 대상의 마스크 착용 여부를 판단하는 단계; 상기 판단의 결과에 따라 상기 인식 대상의 얼굴 데이터를 획득하는 단계; 상기 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 복수의 얼굴 데이터와 비교하여 얼굴 매칭률을 생성하여 출력하는 단계를 포함하며, 상기 얼굴 데이터는, 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀, 얼굴형 중 적어도 하나에 대한 데이터를 포함하고, 상기 얼굴 매칭률을 생성할 시, 상기 얼굴 데이터에 포함된 둘 이상의 데이터를 비교하고, 상기 비교의 결과를 조합하여 상기 인식 대상의 상기 얼굴 데이터와 상기 기 저장된 얼굴 데이터들 간 매칭률을 산출할 수 있다.According to an aspect of the present disclosure, a method for face authentication using artificial intelligence-based face matching rate calculation includes obtaining an image including a recognition target; identifying facial feature information of the recognition target from the image; determining whether the recognition target wears a mask based on the facial feature information; obtaining face data of the recognition target according to a result of the determination; and generating and outputting a face matching rate by comparing face data of the object to be recognized with a plurality of face data pre-stored in a database, wherein the face data includes skin color, iris, distance between eyes, eyebrows, lips, nose, It includes data on at least one of an ear and a face type, and when generating the face matching rate, two or more pieces of data included in the face data are compared, and the result of the comparison is combined to form the face data of the recognition target. It is possible to calculate a matching rate between and the pre-stored face data.

상기 기 저장된 복수의 얼굴 데이터는, 복수의 사용자들의 얼굴 데이터를 포함하되, 동일한 사용자에 대한 서로 다른 이미지로부터 획득된 복수의 얼굴 데이터를 포함할 수 있다.The plurality of pre-stored face data may include face data of a plurality of users, and may include a plurality of face data obtained from different images of the same user.

상기 얼굴 특징 정보는, 얼굴 면적, 상기 얼굴 면적 내 유사 컬러군 면적의 비율, 얼굴 하부 면적 내 유사 컬러군 면적의 비율 및 입술 식별 유무 중 적어도 하나를 포함할 수 있다.The facial feature information may include at least one of a face area, a ratio of an area of the similar color group within the face area, a ratio of an area of the similar color group within the lower face area, and presence/absence of lip identification.

상기 마스크 착용 여부를 판단하는 단계는, 상기 인식 대상의 얼굴 면적 내 유사 컬러군의 영역이 존재하는지 여부를 식별한 후, 상기 유사 컬러군의 영역의 면적 및 상기 인식 대상의 얼굴 면적에 기초하여 상기 마스크 착용 여부를 판단할 수 있다.Determining whether or not the mask is worn may include identifying whether or not an area of the similar color group exists within an area of the face of the recognition target, and then determining whether or not an area of the similar color group exists and the face area of the recognition target based on the area of the similar color group. You can determine whether or not to wear a mask.

상기 마스크 착용 여부를 판단하는 단계는, 상기 인식 대상의 얼굴 면적 내에서 상기 유사 컬러군의 영역의 면적의 비율이 기 설정된 값 이상인지 여부를 식별하고, 상기 비율이 상기 기 설정된 값 보다 큰 경우, 상기 인식 대상이 마스크를 착용한 것으로 판단하고, 상기 유사 컬러군의 영역은 마스크 영역으로 결정할 수 있다.The step of determining whether the mask is worn is to identify whether the ratio of the area of the similar color group within the facial area of the recognition target is equal to or greater than a preset value, and if the ratio is greater than the preset value, It is determined that the recognition target is wearing a mask, and an area of the similar color group may be determined as a mask area.

상기 마스크 착용 여부를 판단하는 단계는, 상기 얼굴 영역을 상부 얼굴 영역 및 하부 얼굴 영역으로 구분한 후, 상기 하부 얼굴 영역의 면적 대비 상기 유사 컬러군의 영역의 면적의 비율이 기 설정된 값 이상인지 여부를 식별하고, 상기 비율이 상기 기 설정된 값 보다 큰 경우, 상기 인식 대상이 마스크를 착용한 것으로 판단하고, 상기 유사 컬러군의 영역은 마스크 영역으로 결정할 수 있다.The step of determining whether the mask is worn may include dividing the face region into an upper face region and a lower face region, and then checking whether the ratio of the area of the similar color group to the area of the lower face region is equal to or greater than a preset value. is identified, and if the ratio is greater than the preset value, it is determined that the recognition target is wearing a mask, and an area of the similar color group may be determined as a mask area.

상기 인식 대상의 얼굴의 특징들을 나타내는 상기 얼굴 데이터는, 상기 마스크 착용 여부를 한 결과에 따라 제1 이미지, 제2 이미지 및 제3 이미지 중 어느 하나를 상기 인공지능 딥러닝 모델에 선택적으로 적용하여 획득하며, 상기 제2 이미지는, 상기 인식 대상의 얼굴에서 상기 마스크 착용 부분에 대응하는 영역을 제거하여 획득하고, 상기 제3 이미지는, 상기 제2 이미지에서 상기 인식 대상의 헤어에 대응하는 영역을 제거하여 획득할 수 있다.The face data representing the facial features of the recognition target is obtained by selectively applying any one of a first image, a second image, and a third image to the artificial intelligence deep learning model according to a result of whether the mask is worn or not. The second image is obtained by removing a region corresponding to the mask wearing portion from the face of the recognition target, and the third image is obtained by removing a region corresponding to the hair of the recognition target from the second image. can be obtained by

상기 얼굴 데이터를 획득하는 단계는, 상기 인식 대상이 마스크를 착용하지 않은 것으로 판단되는 경우, 상기 제1 이미지를 상기 인공지능 딥러닝 모델에 적용하여, 상기 얼굴 데이터를 획득할 수 있다.In the obtaining face data, when it is determined that the recognition target is not wearing a mask, the face data may be obtained by applying the first image to the artificial intelligence deep learning model.

상기 얼굴 인증 방법은, 상기 인식 대상이 포함되는 동영상을 획득하는 단계를 더 포함하고, 상기 얼굴 특징 정보를 식별하는 단계는, 상기 동영상 내의 프레임들로부터 하나 이상의 제1 이미지를 결정하는 단계를 포함할 수 있다.The face authentication method may further include acquiring a video including the recognition target, and identifying the facial feature information may include determining one or more first images from frames in the video. can

한편, 본 개시의 일 측면에 따른 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 장치는, 통신 인터페이스; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 인식 대상이 포함되는 이미지를 획득하고, 상기 이미지로부터 상기 인식 대상의 얼굴 특징 정보를 식별하고, 상기 얼굴 특징 정보에 기초하여, 상기 인식 대상의 마스크 착용 여부를 판단하고, 상기 판단의 결과에 따라 상기 인식 대상의 얼굴 데이터를 획득하고, 상기 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 복수의 얼굴 데이터와 비교하여 얼굴 매칭률을 생성하여 출력하며, 상기 얼굴 데이터는, 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀, 얼굴형 중 적어도 하나에 대한 데이터를 포함하고, 상기 얼굴 매칭률을 생성할 시, 상기 얼굴 데이터에 포함된 둘 이상의 데이터를 비교하고, 상기 비교의 결과를 조합하여 상기 인식 대상의 상기 얼굴 데이터와 상기 기 저장된 얼굴 데이터들 간 매칭률을 산출할 수 있다.Meanwhile, an apparatus for face authentication using artificial intelligence-based face matching rate calculation according to an aspect of the present disclosure includes a communication interface; a memory that stores one or more instructions; and a processor that executes the one or more instructions stored in the memory, wherein the processor obtains an image including the recognition target by executing the one or more instructions, and obtains facial feature information of the recognition target from the image. and, based on the facial feature information, determining whether or not the recognition target is wearing a mask, obtaining face data of the recognition target according to a result of the determination, and pre-stored a plurality of face data of the recognition target in a database. A face matching rate is generated and output by comparison with face data of , wherein the face data includes data on at least one of skin color, iris, distance between eyes, eyebrows, lips, nose, ears, and face shape, and the face When generating a matching rate, two or more pieces of data included in the face data are compared, and a matching rate between the face data of the recognition target and the previously stored face data may be calculated by combining the result of the comparison.

이 외에도, 본 개시의 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법을 실행하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, a computer program stored in a computer readable recording medium for executing the method for face authentication using the artificial intelligence-based face matching rate calculation of the present disclosure may be further provided.

이 외에도, 본 개시의 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, a computer readable recording medium recording a computer program for executing a method for face authentication using the AI-based face matching rate calculation of the present disclosure may be further provided.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

상기와 같은 본 발명에 따르면, 마스크를 착용한 사람에 대해서도 얼굴을 인식할 수 있는 방법을 제공함으로써 마스크를 벗지 않고도 얼굴 인식이 가능할 수 있는 효과가 있다.According to the present invention as described above, by providing a method for recognizing a face of a person wearing a mask, there is an effect that face recognition is possible without taking off the mask.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 개시의 일 실시예에 따른 서버의 동작을 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 서버의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 서버의 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 서버가 마스크 착용 여부를 판단하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 서버가 인식 대상의 얼굴을 포함하는 이미지로부터 얼굴 데이터를 획득하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 서버가 얼굴 매칭률을 계산하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 서버가 얼굴 데이터를 획득하는 동작을 설명하기 위한 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 서버가 얼굴 매칭률을 생성하는 다른 실시예를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 서버가 얼굴 인증 서비스를 제공 가능한 서비스들을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 서버가 인식 대상의 마스크 착용이 식별됨에 따른 동작을 설명하기 위한 도면이다.1 is a diagram schematically illustrating the operation of a server according to an embodiment of the present disclosure.
2 is a block diagram showing the configuration of a server according to an embodiment of the present disclosure.
3 is a flowchart for explaining the operation of a server according to an embodiment of the present disclosure.
4 is a diagram for explaining an operation of determining whether a mask is worn by a server according to an embodiment of the present disclosure.
5 is a diagram for explaining an operation in which a server obtains face data from an image including a face of a recognition target according to an embodiment of the present disclosure.
6 is a diagram for explaining an operation of calculating a face matching rate by a server according to an embodiment of the present disclosure.
7 is a flowchart illustrating an operation of acquiring face data by a server according to an embodiment of the present disclosure.
8 is a diagram for explaining another embodiment in which a server generates a face matching rate according to an embodiment of the present disclosure.
9 is a diagram for explaining services that a server can provide a face authentication service according to an embodiment of the present disclosure.
10 is a diagram for explaining an operation according to an embodiment of the present disclosure according to which the server identifies wearing a mask of a recognition target.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected from general terms that are currently widely used as much as possible while considering the functions in the present invention, but these may vary depending on the intention of a person skilled in the art or precedent, the emergence of new technologies, and the like. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, not simply the name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a certain part "includes" a certain component throughout the specification, it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as “unit” and “module” described in the specification refer to a unit that processes at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭할 수 있으나, 동일한 구성요소가 다른 도면에서 다른 참조 부호를 사용하여 설명될 수 있다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification. Also, like reference numerals may refer to like elements throughout the specification, but like elements may be described using different reference numerals in different drawings.

도 1은 본 개시의 일 실시예에 따른 서버의 동작을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating the operation of a server according to an embodiment of the present disclosure.

일 실시예에 따른 서버(1000)는 인식 대상(100)의 얼굴을 인식할 수 있다. 일 실시예에서, 서버(1000)는 인식 대상(100)의 얼굴을 촬영한 얼굴 이미지를 획득할 수 있다. 서버(1000)는 인식 대상의 얼굴 특징 정보를 식별하고, 얼굴 특징 정보에 기초하여 인식 대상의 마스크 착용 여부를 판단할 수 있다. 이 경우, 얼굴 특징 정보는 예를 들어, 얼굴의 면적, 얼굴 면적 내 유사 컬러군 면적의 비율, 얼굴 하부 면적 내 유사 컬러군 면적의 비율, 입술 식별 유무 등을 포함할 수 있다.The server 1000 according to an embodiment may recognize the face of the recognition target 100 . In an embodiment, the server 1000 may obtain a face image obtained by photographing the face of the recognition target 100 . The server 1000 may identify facial feature information of the recognition target and determine whether or not the recognition target is wearing a mask based on the facial feature information. In this case, the facial feature information may include, for example, the area of the face, the ratio of the area of the similar color group within the area of the face, the ratio of the area of the similar color group within the area of the lower part of the face, whether lips are identified, and the like.

일 실시예에서, 서버(1000)는 인식 대상(100)의 마스크 착용 여부에 기초하여, 인식 대상(100)의 얼굴 이미지를 다양한 방식으로 처리할 수 있다. 서버(1000)는 다양한 방식으로 처리된 인식 대상(100)의 얼굴 이미지를, 인공지능 딥러닝 모델에 적용하여 얼굴 데이터를 획득할 수 있다. 서버(1000)는 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 얼굴 데이터와 비교함으로써, 사용자의 얼굴을 인증할 수 있다.In an embodiment, the server 1000 may process the face image of the recognition target 100 in various ways based on whether or not the recognition target 100 is wearing a mask. The server 1000 may acquire face data by applying the face image of the recognition target 100 processed in various ways to an artificial intelligence deep learning model. The server 1000 may authenticate the user's face by comparing face data of a recognition target with face data pre-stored in a database.

본 개시의 서버(1000)가 제공하는 얼굴 인식 동작의 일련의 과정들은, 후술하는 도면들과 그에 대응하는 설명들을 참조하면 보다 상세하게 이해될 것이다.A series of processes of the face recognition operation provided by the server 1000 of the present disclosure will be understood in more detail with reference to the following drawings and corresponding descriptions.

도 2는 본 개시의 일 실시예에 따른 서버의 구성을 도시한 블록도이다.2 is a block diagram showing the configuration of a server according to an embodiment of the present disclosure.

도 2를 참조하면, 일 실시예에 따른 서버(1000)는 통신 인터페이스(1100), 메모리(1200) 및 프로세서(1300)를 포함할 수 있다.Referring to FIG. 2 , a server 1000 according to an embodiment may include a communication interface 1100, a memory 1200, and a processor 1300.

통신 인터페이스(1100)는 프로세서(1300)의 제어에 의해 외부 전자 장치(예를 들어, 사용자 디바이스)들과 데이터 통신을 수행할 수 있다.The communication interface 1100 may perform data communication with external electronic devices (eg, user devices) under the control of the processor 1300 .

통신 인터페이스는(1100), 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Alliances, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 전자 장치(1000)와 외부 디바이스들 간의 데이터 통신을 수행할 수 있다.The communication interface 1100, for example, wired LAN, wireless LAN, Wi-Fi, Bluetooth, Zigbee, Wi-Fi Direct (WFD), infrared communication (IrDA) , infrared Data Association), BLE (Bluetooth Low Energy), NFC (Near Field Communication), WiBro (Wireless Broadband Internet, Wibro), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGi Data communication between the electronic device 1000 and external devices may be performed using at least one of WiGig (Wireless Gigabit Alliances) and data communication methods including RF communication.

일 실시예에 따른 통신 인터페이스(1100)는 서버(1000)가 얼굴 인증 서비스를 제공하기 위한 데이터를 외부 디바이스(예를 들어, 얼굴 인식용 카메라, 사용자 디바이스, 외부 서버 등)와 송수신할 수 있다. 예를 들어, 통신 인터페이스(1100)는 인식 대상의 얼굴이 포함되는 이미지를 외부 디바이스로부터 수신할 수 있다. 통신 인터페이스(1100)는 얼굴 인식 결과, 얼굴 매칭률, 얼굴 인증 정보 등을 외부 디바이스로 전송할 수 있다.The communication interface 1100 according to an embodiment may transmit/receive data for the server 1000 to provide a face authentication service with an external device (eg, a camera for face recognition, a user device, an external server, etc.). For example, the communication interface 1100 may receive an image including a face of a recognition target from an external device. The communication interface 1100 may transmit a face recognition result, a face matching rate, face authentication information, and the like to an external device.

메모리(1200)는 프로세서(1300)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 개시된 실시예들에서, 프로세서(1300)가 수행하는 동작들은 메모리(1200)에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.The memory 1200 may store instructions, data structures, and program codes readable by the processor 1300 . In the disclosed embodiments, operations performed by the processor 1300 may be implemented by executing instructions or codes of a program stored in the memory 1200 .

메모리(1200)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등)를 포함할 수 있으며, 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함하는 비 휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.The memory 1200 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (eg SD or XD memory). Non-volatile memory including at least one of ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, and optical disk and volatile memory such as RAM (Random Access Memory) or SRAM (Static Random Access Memory).

일 실시예에 따른 메모리(1200)는 서버(1000)가 얼굴 인증 서비스를 제공하기 위해 동작하도록 하는 하나 이상의 인스트럭션 또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(1200)에는 얼굴 인증 서비스를 제공하기 위한 다양한 소프트웨어 모듈 및/또는 데이터들이 저장될 수 있다. 메모리(1200)는 얼굴 데이터 관리 모듈(1210), 이미지 처리 모듈(1220) 및 얼굴 인식 모듈(1230)을 포함할 수 있다.The memory 1200 according to an embodiment may store one or more instructions or programs that cause the server 1000 to operate to provide a face authentication service. For example, various software modules and/or data for providing a face authentication service may be stored in the memory 1200 . The memory 1200 may include a face data management module 1210 , an image processing module 1220 and a face recognition module 1230 .

프로세서(1300)는 서버(1000)의 전반적인 동작들을 제어할 수 있다. 예를 들어, 프로세서(1300)는 메모리(1200)에 저장된 프로그램의 하나 이상의 명령어들을 실행함으로써, 서버(1000)가 얼굴 인증 서비스를 제공하기 위한 전반적인 동작들을 제어할 수 있다.The processor 1300 may control overall operations of the server 1000 . For example, the processor 1300 may control overall operations for the server 1000 to provide a face authentication service by executing one or more instructions of a program stored in the memory 1200 .

프로세서(1300)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 처리 장치(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 애플리케이션 프로세서(Application Processor), 신경망 처리 장치(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.The processor 1300 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), DSPDs ( Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), Application Processors, Neural Processing Units, or artificial intelligence designed with hardware structures specialized in processing AI models. It may be configured with at least one of dedicated processors, but is not limited thereto.

프로세서(1300)는 메모리(1200)에 저장된 하나 이상의 모듈을 실행할 수 있다.The processor 1300 may execute one or more modules stored in the memory 1200.

일 실시예에서, 프로세서(1300)는 얼굴 데이터 관리 모듈(1210)을 실행하여, 얼굴 인증 서비스를 제공하기 위한 데이터들을 관리, 처리할 수 있다. 일부 실시예에서, 얼굴 데이터는 피부색, 홍채, 안구 간 거리, 눈썹, 중 적어도 하나에 대응하는 데이터를 포함할 수 있다. 일부 실시예에서, 얼굴 데이터는, 입술, 코, 귀, 얼굴형 중 적어도 하나에 대응하는 데이터를 더 포함할 수 있다. 얼굴 데이터 관리 모듈(1210)은 데이터베이스를 포함할 수 있다. 프로세서(1300)는 인공지능 딥러닝 모델을 이용하여 획득된 얼굴 데이터를 저장할 수 있다.In an embodiment, the processor 1300 may execute the face data management module 1210 to manage and process data for providing a face authentication service. In some embodiments, face data may include data corresponding to at least one of skin color, iris, inter-eye distance, and eyebrows. In some embodiments, face data may further include data corresponding to at least one of lips, nose, ears, and face shape. The face data management module 1210 may include a database. The processor 1300 may store face data acquired using an artificial intelligence deep learning model.

일 실시예에서, 프로세서(1300)는 이미지 처리 모듈(1220)을 실행하여, 인식 대상의 얼굴이 포함되는 이미지로부터 얼굴을 인식하기 위한 전처리를 수행할 수 있다. 일부 실시예에서, 프로세서(1300)는 인식 대상의 얼굴이 포함되는 제1 이미지를 획득하고, 인식 대상이 마스크를 착용한 것으로 판단되는 경우, 제1 이미지로부터 마스크에 대응하는 영역을 제거한 제2 이미지를 생성할 수 있다. 일부 실시예에서, 프로세서(1300)는 제2 이미지로부터 인식 대상의 헤어에 대응하는 영역을 제거한 제3 이미지를 생성할 수 있다.In an embodiment, the processor 1300 may execute the image processing module 1220 to perform preprocessing for recognizing a face from an image including a face of a recognition target. In some embodiments, the processor 1300 obtains a first image including a face of a recognition target, and when it is determined that the recognition target is wearing a mask, the processor 1300 removes a region corresponding to the mask from the first image to obtain a second image. can create In some embodiments, the processor 1300 may generate a third image by removing a region corresponding to the hair of the recognition target from the second image.

일 실시예에서, 프로세서(1300)는 얼굴 인식 모듈(1230)을 실행하여, 인식 대상의 얼굴 데이터를 획득할 수 있다. 얼굴 인식 모듈(1230)은 인공지능 딥러닝 모델을 포함할 수 있다. 프로세서(1300)는 이미지 처리 모듈(1220)에 의해 생성된, 제1 이미지, 제2 이미지 및 제3 이미지 중 적어도 하나를 인공지능 딥러닝 모델에 적용함으로써, 인식 대상의 얼굴 데이터를 획득할 수 있다. 프로세서(1300)는 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 얼굴 데이터들과 비교하고, 얼굴 매칭률을 산출할 수 있다.In an embodiment, the processor 1300 may execute the face recognition module 1230 to obtain face data of a recognition target. The face recognition module 1230 may include an artificial intelligence deep learning model. The processor 1300 may obtain face data of a recognition target by applying at least one of the first image, the second image, and the third image generated by the image processing module 1220 to an artificial intelligence deep learning model. . The processor 1300 may compare face data of a recognition target with face data pre-stored in a database and calculate a face matching rate.

도 3은 본 개시의 일 실시예에 따른 서버의 동작을 설명하기 위한 흐름도이다.3 is a flowchart for explaining the operation of a server according to an embodiment of the present disclosure.

단계 S310에서, 일 실시예에 따른 서버(1000)는 인식 대상이 포함되는 제1 이미지를 획득한다. 서버(1000)는 외부 전자 장치(예를 들어, 얼굴 인식용 카메라 등)로부터 인식 대상의 얼굴이 포함되는 이미지를 수신할 수 있다. 일부 실시예에서, 서버(1000)는 인식 대상이 포함되는 동영상을 획득할 수 있다. 이 경우, 동영상에 포함되는 복수의 프레임들 각각이 제1 이미지일 수 있다. 또는, 동영상에 포함되는 복수의 프레임들 중 하나 이상의 프레임이 제1 이미지로 결정될 수 있다.In step S310, the server 1000 according to an embodiment obtains a first image including an object to be recognized. The server 1000 may receive an image including a face of a recognition target from an external electronic device (eg, a face recognition camera). In some embodiments, the server 1000 may obtain a video including a recognition target. In this case, each of a plurality of frames included in the video may be a first image. Alternatively, one or more frames among a plurality of frames included in the video may be determined as the first image.

단계 S320에서, 일 실시예에 따른 서버(1000)는 제1 이미지로부터 인식 대상의 얼굴 특징 정보를 식별한다. 서버(1000)는 제1 이미지에 포함되는 인식 대상의 얼굴을 검출할 수 있다. 일부 실시예에서, 서버(1000)는 얼굴 검출을 위한 인공지능 딥러닝 모델을 이용하여 얼굴을 검출할 수 있다. 서버(1000)는 제1 이미지에서 얼굴이 검출되면, 검출된 영역으로부터 얼굴 특징 정보를 획득할 수 있다. 얼굴 특징 정보는 예를 들어, 얼굴의 면적, 얼굴 면적 내 유사 컬러군 면적의 비율, 얼굴 하부 면적 내 유사 컬러군 면적의 비율, 입술 식별 유무 등을 포함할 수 있다.In step S320, the server 1000 according to an embodiment identifies facial feature information of a recognition target from the first image. The server 1000 may detect a face of a recognition target included in the first image. In some embodiments, the server 1000 may detect a face using an artificial intelligence deep learning model for face detection. When a face is detected in the first image, the server 1000 may obtain facial feature information from the detected region. The facial feature information may include, for example, the area of the face, the ratio of the area of the similar color group within the area of the face, the ratio of the area of the similar color group within the area of the lower part of the face, whether lips are identified, and the like.

단계 S330에서, 일 실시예에 따른 서버(1000)는 얼굴 특징 정보에 기초하여, 인식 대상의 마스크 착용 여부를 판단할 수 있다.In step S330, the server 1000 according to an embodiment may determine whether or not the recognition target is wearing a mask based on facial feature information.

일 실시예에서, 얼굴 내에 유사 컬러군 면적이 있는 경우(예를 들어, 하얀색 컬러군, 검은색 컬러군 등), 이는 인식 대상이 마스크를 착용함으로 인한 것일 수 있다. 서버(1000)는 얼굴 면적 내에서 유사 컬러군 면적의 비율이 기설정된 값 이상인지 여부, 얼굴 하부 면적 내에서 유사 컬러군 면적의 비율이 기설정된 값 이상인지 여부, 입술 식별 유무 등의 얼굴 특징 정보 중 적어도 하나에 기초하여, 인식 대상의 마스크 착용 여부를 판단할 수 있다. 일부 실시예에서, 서버(1000)는 얼굴 특징 정보에 포함되는 얼굴 면적 내에서 유사 컬러군 면적의 비율이 기설정된 값 이상인지 여부, 얼굴 하부 면적 내에서 유사 컬러군 면적의 비율이 기설정된 값 이상인지 여부, 입술 식별 유무 중 둘 이상의 조합에 기초하여, 인식 대상의 마스크 착용 여부를 판단할 수 있다.In one embodiment, when there is an area of a similar color group within the face (eg, a white color group, a black color group, etc.), this may be due to the recognition target wearing a mask. The server 1000 provides facial feature information such as whether the ratio of the area of the similar color group within the face area is greater than or equal to a preset value, whether the ratio of the area of the similar color group within the lower face area is greater than or equal to the preset value, and whether or not lips are identified. Based on at least one of the above, whether or not the recognition target is wearing a mask may be determined. In some embodiments, the server 1000 determines whether the ratio of the area of the similar color group within the facial area included in the facial feature information is equal to or greater than a preset value, and whether the ratio of the area of the similar color group within the lower face area is greater than or equal to the preset value. Whether or not the recognition target is wearing a mask may be determined based on a combination of two or more of recognition and presence of lip identification.

단계 S340에서, 일 실시예에 따른 서버(1000)는 인식 대상이 마스크를 착용한 것으로 판단되는 경우, 인식 대상의 얼굴에서 마스크 착용 부분에 대응하는 영역을 제거한 제2 이미지를 획득한다. 서버(1000)는 인식 대상의 고유 특징이 아닌 영역인 마스크 착용 영역을 제거한 제2 이미지를 이용함으로써, 노이즈를 제거하여 데이터를 간소화할 수 있으며, 인식 속도 및 정확도를 향상시킬 수 있다. 서버(1000)는 인식 대상이 마스크를 착용하지 않은 경우로 판단되는 경우, 제2 이미지를 생성하지 않고 제1 이미지를 이용하여 얼굴 인식을 할 수 있다.In step S340, when it is determined that the recognition target is wearing a mask, the server 1000 according to an embodiment obtains a second image obtained by removing a region corresponding to the mask wearing portion from the face of the recognition target. The server 1000 may simplify data by removing noise and improve recognition speed and accuracy by using the second image from which the mask wearing area, which is not a unique feature of the recognition target, is removed. When it is determined that the recognition target is not wearing a mask, the server 1000 may perform face recognition using the first image without generating the second image.

단계 S350에서, 일 실시예에 따른 서버(1000)는 제2 이미지를 인공지능 딥러닝 모델에 적용하여, 인식 대상의 얼굴의 특징들을 나타내는 얼굴 데이터를 획득한다. In step S350, the server 1000 according to an embodiment applies the second image to the artificial intelligence deep learning model to obtain facial data representing facial features of a recognition target.

일 실시예에서, 인식 대상이 마스크를 착용한 경우, 획득 가능한 얼굴 데이터는 피부색, 홍채, 안구 간 거리, 눈썹, 중 적어도 하나에 대응하는 데이터를 포함할 수 있다. 또한, 인식 대상이 마스크를 착용하지 않은 경우, 획득 가능한 얼굴 데이터는, 입술, 코, 귀, 얼굴형 중 적어도 하나에 대응하는 데이터를 더 포함할 수 있다.In one embodiment, when a recognition target wears a mask, obtainable face data may include data corresponding to at least one of skin color, iris, inter-eye distance, and eyebrows. In addition, when the recognition target does not wear a mask, the obtainable face data may further include data corresponding to at least one of lips, nose, ears, and face shape.

단계 S360에서, 일 실시예에 따른 서버(1000)는 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 복수의 얼굴 데이터와 비교하여 얼굴 매칭률을 생성한다. 데이터베이스에 기 저장된 복수의 얼굴 데이터는, 인식 대상의 사용자 등록/인증 절차에 의해 저장된 것일 수 있다. 일부 실시예에서, 데이터베이스에 기 저장된 복수의 얼굴 데이터는, 서버(1000)가 얼굴 인증 서비스를 제공함에 따라 획득되는 얼굴 데이터가 저장된 것일 수 있다. 일부 실시예에서, 데이터베이스에는, 한명의 인식 대상에 대응하는 복수의 얼굴 데이터가 저장되어 있을 수 있다. 예를 들어, 동일한 인식 대상을 촬영한 다른 이미지들 각각으로부터 획득된 얼굴 데이터들이 데이터베이스 저장되어 있을 수 있다.In step S360, the server 1000 according to an embodiment compares face data of a recognition target with a plurality of face data pre-stored in a database to generate a face matching rate. A plurality of face data pre-stored in the database may be stored by a user registration/authentication procedure of a recognition target. In some embodiments, the plurality of face data pre-stored in the database may be face data acquired as the server 1000 provides a face authentication service. In some embodiments, a plurality of face data corresponding to one recognition target may be stored in the database. For example, face data obtained from different images of the same recognition target may be stored in a database.

단계 S370에서, 일 실시예에 따른 서버(1000)는 얼굴 매칭률을 출력한다. In step S370, the server 1000 according to an embodiment outputs a face matching rate.

일 실시예에서, 서버(1000)는 인식 대상의 얼굴이 데이터베이스에 등록된 얼굴과 매칭하는지 여부를 나타내는 데이터를 다양한 형태로 출력할 수 있다. 예를 들어, 서버(1000)는 얼굴 매칭률을 시각적으로 나타내는 데이터(이미지, 비디오 등)를 출력할 수 있다. 이 경우, 디스플레이를 포함하는 외부 장치 등이 데이터를 수신하여 표시할 수 있다. 다른 예에서, 서버(1000)는 얼굴 매칭률을 청각적으로 나타내는 데이터(음향, 음성 등)를 출력할 수 있다. 이 경우, 스피커를 포함하는 외부 장치 등이 데이터를 수신하여 출력할 수 있다.In one embodiment, the server 1000 may output data representing whether a face of a recognition target matches a face registered in a database in various forms. For example, the server 1000 may output data (image, video, etc.) visually indicating the face matching rate. In this case, an external device including a display may receive and display data. In another example, the server 1000 may output data (sound, voice, etc.) that aurally indicates the face matching rate. In this case, an external device including a speaker may receive and output data.

도 4는 본 개시의 일 실시예에 따른 서버가 마스크 착용 여부를 판단하는 동작을 설명하기 위한 도면이다.4 is a diagram for explaining an operation of determining whether a mask is worn by a server according to an embodiment of the present disclosure.

도 4를 참조하면, 일 실시예에 따른 서버(1000)는 인식 대상이 포함되는 제1 이미지를 획득할 수 있다.Referring to FIG. 4 , the server 1000 according to an embodiment may obtain a first image including a recognition target.

일 실시예에서, 서버(1000)는 제1 이미지로부터 얼굴 영역(410)을 검출할 수 있다. 서버(1000)는 얼굴 영역(410)에서 마스크 영역(420)을 검출함으로써, 인식 대상이 마스크를 착용하고 있는지 여부를 판단할 수 있다.In one embodiment, the server 1000 may detect the face region 410 from the first image. The server 1000 may determine whether the recognition target is wearing a mask by detecting the mask area 420 in the face area 410 .

일 실시예에서, 서버(1000)는 얼굴 영역(410)에서 유사한 컬러군의 영역이 존재하는지 여부를 식별할 수 있다. 이 경우, 인식 대상이 착용한 마스크가 유사한 컬러군의 영역으로 분류되어 마스크 영역(420)으로 결정될 수 있다.In one embodiment, the server 1000 may identify whether an area of a similar color group exists in the face area 410 . In this case, a mask worn by a recognition target may be classified as an area of a similar color group and determined as the mask area 420 .

일 실시예에서, 서버(1000)가 인식 대상이 마스크를 착용하였는지 여부를 판단함에 있어서, 아래의 수학식 1이 이용될 수 있다.In one embodiment, when the server 1000 determines whether or not the recognition target is wearing a mask, Equation 1 below may be used.

Figure 112022090493238-pat00001
Figure 112022090493238-pat00001

여기서, Smask는 유사한 컬러군의 영역의 면적을 말하며, Sface는 얼굴 영역(410)의 면적을 말한다. 서버(1000)는 얼굴 영역(410)의 면적 내에서 유사한 컬러군의 영역의 면적의 비율이 기 설정된 값 이상인지 여부를 식별하고, 율굴 영역(410)의 면적 대비 유사한 컬러군의 영역의 면적의 비율이 기 설정된 값인 Ref1 보다 큰 경우, 인식 대상이 마스크를 착용하였다고 판단할 수 있다. 이 경우, 유사한 컬러군의 영역은 마스크 영역(420)으로 결정될 수 있다.Here, S mask refers to an area of a similar color group, and S face refers to an area of the face area 410 . The server 1000 identifies whether the ratio of the area of the area of the similar color group within the area of the face area 410 is greater than or equal to a preset value, and determines whether the area of the area of the similar color group compared to the area of the yulgul area 410 is determined. When the ratio is greater than Ref1, which is a preset value, it may be determined that the recognition target is wearing a mask. In this case, an area of a similar color group may be determined as a mask area 420 .

일 실시예에서, 서버(1000)가 인식 대상이 마스크를 착용하였는지 여부를 판단함에 있어서, 아래의 수학식 2가 이용될 수 있다.In one embodiment, when the server 1000 determines whether or not the recognition target is wearing a mask, Equation 2 below may be used.

Figure 112022090493238-pat00002
Figure 112022090493238-pat00002

여기서, Smask(411)는 유사한 컬러군의 영역의 면적을 말하며, Sbottomface(421) 얼굴 영역(410) 상하방향 최장 거리를 이등분하는 이등분선을 기준으로 얼굴 영역(410)을 상부 얼굴 영역와 하부 얼굴 영역으로 구분한 다음, 그 중 하부 얼굴 영역의 면적을 말한다. 서버(1000)는 하부 얼굴 영역(Sbottomface)(421)의 면적 대비 유사한 컬러군의 영역인 Smask(411)의 면적 비율이 기 설정된 값인 Ref2 보다 큰 경우, 인식 대상이 마스크를 착용하였다고 판단할 수 있다. 이 경우, 유사한 컬러군의 영역은 마스크 영역(420)으로 결정될 수 있다. 서버(1000)가 수학식 2를 이용하는 경우, 비교 대상이 얼굴 영역(410)의 전체가 아닌, 하부 얼굴 영역(421)만을 비교대상으로 하므로, 인식 속도 및 정확도를 향상시킬 수 있다.Here, S mask 411 refers to the area of regions of similar color groups, and S bottomface 421 divides the face region 410 into an upper face region and a lower face based on a bisector that bisects the longest vertical distance of the face region 410 in the vertical direction. It is divided into regions and refers to the area of the lower face region among them. The server 1000 determines that the recognition target is wearing a mask when the ratio of the area of the S mask 411, which is an area of a similar color group, to the area of the S bottomface 421 is greater than the preset value Ref2. can In this case, an area of a similar color group may be determined as a mask area 420 . When the server 1000 uses Equation 2, since the comparison target is only the lower face region 421 instead of the entire face region 410, the recognition speed and accuracy can be improved.

서버(1000)가 인식 대상의 얼굴을 인식함에 있어서, 마스크 영역(420)은 관심 영역이 아니므로, 서버(1000)는 얼굴 영역(410)의 이미지에서, 마스크 영역(420)을 제거한 제2 이미지를 획득할 수 있다.When the server 1000 recognizes the face of the recognition target, since the mask area 420 is not an area of interest, the server 1000 removes the mask area 420 from the image of the face area 410 to obtain a second image. can be obtained.

일 실시예에서, 동일한 사용자라도 헤어 스타일이 변경될 수 있으므로, 얼굴 영역(410) 내에서 인식 대상의 헤어에 대응되는 영역은 서버(1000)가 인식 대상의 얼굴을 인식함에 있어서 관심 영역이 아닐 수 있다. 전술한 실시예들에 따라, 일 실시예에 따른 서버(1000)는 동일한 방식으로 얼굴 영역(410) 내에서 헤어 영역(430)을 검출할 수 있다. 서버(1000)는 얼굴 영역(410)의 이미지에서 마스크 영역(420)을 제거한 제2 이미지로부터, 헤어 영역(430)을 제거함으로써 제3 이미지를 생성할 수 있다.In one embodiment, since the hair style of the same user can be changed, a region corresponding to the hair of the recognition target within the face region 410 may not be a region of interest when the server 1000 recognizes the face of the recognition target. there is. According to the above-described embodiments, the server 1000 according to an embodiment may detect the hair region 430 within the face region 410 in the same manner. The server 1000 may generate a third image by removing the hair region 430 from the second image obtained by removing the mask region 420 from the image of the face region 410 .

도 5는 본 개시의 일 실시예에 따른 서버가 인식 대상의 얼굴을 포함하는 이미지로부터 얼굴 데이터를 획득하는 동작을 설명하기 위한 도면이다.5 is a diagram for explaining an operation in which a server obtains face data from an image including a face of a recognition target according to an embodiment of the present disclosure.

도 5를 참조하면, 일 실시예에 따른 서버(1000)는 인식 대상의 얼굴이 포함되는 이미지(510)를 획득할 수 있다. 일 실시예에서, 이미지(510)는 인식 대상의 얼굴이 포함되는, 제1 이미지일 수 있다. 일 실시예에서, 이미지(510)는 제1 이미지로의 인식 대상의 얼굴에서 마스크 착용 영역을 제거한 제2 이미지일 수 있다. 일 실시예에서, 이미지(510)는 제2 이미지의 인식 대상의 얼굴에서 헤어 영역을 제거한 제3 이미지일 수 있다.Referring to FIG. 5 , the server 1000 according to an embodiment may obtain an image 510 including a face of a recognition target. In one embodiment, the image 510 may be a first image including a face of a recognition target. In one embodiment, the image 510 may be a second image obtained by removing the mask wearing region from the face of the target to be recognized as the first image. In an embodiment, the image 510 may be a third image obtained by removing a hair region from the face of the recognition target of the second image.

일 실시예에 따른 서버(1000)는 인식 대상의 얼굴이 포함되는 이미지(510)를 인공지능 딥러닝 모델(520)에 적용하여, 얼굴 데이터(530)를 획득할 수 있다. 인공지능 딥러닝 모델(520)은 이미지 처리에 적합한 네트워크(예를 들어, CNN 등)를 이용하여 구현될 수 있다.According to an embodiment, the server 1000 may acquire face data 530 by applying the image 510 including the face of the recognition target to the artificial intelligence deep learning model 520 . The artificial intelligence deep learning model 520 may be implemented using a network (eg, CNN) suitable for image processing.

일 실시예에서, 서버(1000)는 인공지능 딥러닝 모델(520)을 이용하여, 마스크 착용 영역을 제거한 제2 이미지 및/또는 헤어 영역을 더 제거한 제3 이미지로부터 피부색, 홍채, 안구 간 거리, 눈썹 중 적어도 하나에 대응하는 데이터를 획득할 수 있다.In one embodiment, the server 1000 uses the artificial intelligence deep learning model 520 to obtain skin color, iris, inter-eye distance, Data corresponding to at least one of the eyebrows may be obtained.

일 실시예에서, 서버(1000)는 인공지능 딥러닝 모델(520)을 이용하여, 인식 대상의 얼굴이 포함되는 제1 이미지로부터 얼굴 데이터를 획득할 수 있다. 이 경우, 제1 이미지는 마스크를 착용하지 않은 이미지이므로, 얼굴 데이터(530)는 얼굴의 하관 및 다른 부위로부터 추출 가능한 입술, 코, 귀, 얼굴형 중 적어도 하나에 대응하는 데이터를 더 포함할 수 있다.In an embodiment, the server 1000 may obtain face data from the first image including the face of the recognition target by using the artificial intelligence deep learning model 520 . In this case, since the first image is not wearing a mask, the face data 530 may further include data corresponding to at least one of lips, nose, ears, and face shapes extractable from the lower part of the face and other parts. there is.

도 6은 본 개시의 일 실시예에 따른 서버가 얼굴 매칭률을 계산하는 동작을 설명하기 위한 도면이다.6 is a diagram for explaining an operation of calculating a face matching rate by a server according to an embodiment of the present disclosure.

일 실시예에서, 서버(1000)는 얼굴 데이터베이스(610)를 생성하고 관리할 수 있다. 일 실시예에서, 얼굴 데이터베이스(610)는 복수의 사용자들의 얼굴 데이터를 포함할 수 있으며, 동일한 사용자에 대한 서로 다른 이미지로부터 획득된 복수의 얼굴 데이터를 포함할 수 있다.In one embodiment, server 1000 may create and manage face database 610 . In one embodiment, the face database 610 may include face data of a plurality of users, and may include a plurality of face data obtained from different images of the same user.

일 실시예에서, 서버(1000)는 인식 대상의 얼굴로부터 얼굴 데이터(620)를 추출하고, 얼굴 데이터베이스(610) 내에 기 저장된 얼굴 데이터들과 비교하여 얼굴 매칭률을 계산할 수 있다.In an embodiment, the server 1000 may calculate a face matching rate by extracting face data 620 from a face of a recognition target and comparing the face data 620 with face data pre-stored in the face database 610 .

일부 실시예에서, 서버(1000)는 인식 대상의 얼굴로부터 획득된 얼굴 데이터(620)에 포함되는, 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀, 얼굴형 중 적어도 하나를 비교함으로써, 인식 대상의 얼굴 데이터(620)와 얼굴 데이터베이스(610)에 기 저장된 얼굴 데이터들의 매칭률을 계산할 수 있다.In some embodiments, the server 1000 compares at least one of skin color, iris, distance between eyes, eyebrows, lips, nose, ears, and face shape included in the facial data 620 obtained from the face of the recognition target. , a matching rate between face data 620 to be recognized and face data pre-stored in the face database 610 may be calculated.

일부 실시예에서, 서버(1000)는 인식 대상의 얼굴로부터 획득된 얼굴 데이터(620)에 포함되는, 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀, 얼굴형 중 둘 이상을 비교하고, 비교 결과를 조합함으로써, 인식 대상의 얼굴 데이터(620)와 얼굴 데이터베이스(610)에 기 저장된 얼굴 데이터들의 매칭률을 계산할 수 있다.In some embodiments, the server 1000 compares two or more of skin color, iris, distance between eyes, eyebrows, lips, nose, ears, and face shape included in the face data 620 obtained from the face of the recognition target, and , By combining the comparison result, a matching rate between face data 620 of a recognition target and face data pre-stored in the face database 610 may be calculated.

일 실시예에 따른 서버(1000)는 얼굴 매칭률에 기초하여 인식 대상의 얼굴을 인증할 수 있다. 예를 들어, 얼굴 매칭률이 기 설정된 값 이상인 경우, 일 실시예에 따른 서버(1000)는 인식 대상이 서버(1000)에 기 등록된 사용자인 것으로 결정할 수 있다.The server 1000 according to an embodiment may authenticate a face of a recognition target based on a face matching rate. For example, when the face matching rate is greater than or equal to a preset value, the server 1000 according to an embodiment may determine that a recognition target is a user pre-registered in the server 1000 .

도 7은 본 개시의 일 실시예에 따른 서버가 얼굴 데이터를 획득하는 동작을 설명하기 위한 흐름도이다.7 is a flowchart illustrating an operation of acquiring face data by a server according to an embodiment of the present disclosure.

도 7을 설명함에 있어서, 도 3의 단계 S330 이후에 도 7에 도시된 동작들이 수행될 수 있다. 즉, 서버(1000)는 인식 대상의 마스크 착용 여부에 따라, 얼굴 데이터를 획득하기 위한 이미지를 다르게 결정할 수 있다. 서버(1000)는 인식 대상이 마스크를 착용한 것으로 판단되는 경우, 단계 S710을 수행한다.In describing FIG. 7 , operations shown in FIG. 7 may be performed after step S330 of FIG. 3 . That is, the server 1000 may determine an image for obtaining face data differently depending on whether or not the recognition target is wearing a mask. When it is determined that the recognition target is wearing a mask, the server 1000 performs step S710.

단계 S710에서, 일 실시예에 따른 서버(1000)는 인식 대상의 얼굴에서 마스크 착용 부분에 대응하는 영역을 제거한 제2 이미지를 획득할 수 있다.In step S710, the server 1000 according to an embodiment may obtain a second image obtained by removing a region corresponding to a mask wearing portion from the face of the recognition target.

단계 S720에서, 일 실시예에 따른 서버(1000)는 제2 이미지에서 인식 대상의 헤어에 대응하는 영역을 검출할 수 있다. 서버(1000)는 인식 대상의 헤어에 대응하는 영역을 제거한 제3 이미지를 획득할 수 있다.In step S720, the server 1000 according to an embodiment may detect a region corresponding to the hair of the recognition target in the second image. The server 1000 may obtain a third image from which a region corresponding to the hair of the recognition target is removed.

단계 S730에서, 일 실시예에 따른 서버(1000)는 제1, 제2, 제3 이미지 중 적어도 하나를 인공지능 딥러닝 모델에 적용하여, 인식 대상의 얼굴의 특징들을 나타내는 얼굴 데이터를 획득할 수 있다.In step S730, the server 1000 according to an embodiment may apply at least one of the first, second, and third images to an artificial intelligence deep learning model to obtain facial data representing facial features of a recognition target. there is.

일부 실시예에서, 서버(1000)는 인식 대상이 마스크를 착용하지 않은 것으로 판단되는 경우, 제1 이미지를 인공지능 딥러닝 모델에 적용하여 인식 대상의 얼굴 데이터를 획득할 수 있다.In some embodiments, when it is determined that the recognition target is not wearing a mask, the server 1000 may acquire face data of the recognition target by applying the first image to the artificial intelligence deep learning model.

일부 실시예에서, 서버(1000)는 인식 대상이 마스크를 착용한 것으로 판단되는 경우, 제2 이미지 또는 제3 이미지를 인공지능 딥러닝 모델에 적용하여 인식 대상의 얼굴 데이터를 획득할 수 있다.In some embodiments, when it is determined that the recognition target is wearing a mask, the server 1000 may acquire face data of the recognition target by applying the second image or the third image to the artificial intelligence deep learning model.

일부 실시예에서, 서버(1000)는 인식 대상이 마스크를 착용한 것으로 판단되는 경우, 제2 이미지 및 제3 이미지 각각을 인공지능 딥러닝 모델에 적용하여, 인식 대상의 얼굴 데이터를 획득할 수 있다.In some embodiments, when it is determined that the recognition target is wearing a mask, the server 1000 may acquire face data of the recognition target by applying each of the second image and the third image to an artificial intelligence deep learning model. .

한편, 일 실시예에서, 이미지 내에 인식 대상은 복수일 수 있다. 이 경우, 서버(1000)는 복수의 인식 대상들이 각각에 대하여 마스크 착용 여부를 판단할 수 있다. 서버(1000)는 복수의 인식 대상들 중에서 마스크를 착용한 인식 대상들에 대하여는 제2 이미지 및/또는 제3 이미지를 인공지능 딥러닝 모델에 적용하여 얼굴 데이터를 획득하고, 복수의 인식 대상들 중에서 마스크를 착용하지 않은 인식 대상들에 대하여는 제1 이미지를 인공지능 딥러닝 모델에 적용하여, 얼굴 데이터를 획득할 수 있다.Meanwhile, in an embodiment, a plurality of objects to be recognized in an image may be plural. In this case, the server 1000 may determine whether each of the plurality of recognition targets is wearing a mask. The server 1000 obtains face data by applying the second image and/or the third image to an artificial intelligence deep learning model for recognition objects wearing masks among a plurality of recognition objects, and acquires face data among the plurality of recognition objects. Face data may be obtained by applying the first image to an artificial intelligence deep learning model for recognition targets not wearing a mask.

일 실시예에 따른 서버(1000)는 인식 대상의 얼굴 데이터를 획득하면, 인식 대상의 얼굴 데이터를 서버(1000)의 데이터베이스 내 저장된 얼굴 데이터와 비교하여 얼굴 매칭률을 계산할 수 있다. 이는 전술하였으므로, 동일한 설명은 생략한다.When acquiring face data of a recognition target, the server 1000 according to an embodiment may calculate a face matching rate by comparing the face data of the recognition target with face data stored in a database of the server 1000 . Since this has been described above, the same description is omitted.

도 8은 본 개시의 일 실시예에 따른 서버가 얼굴 매칭률을 생성하는 다른 실시예를 설명하기 위한 도면이다.8 is a diagram for explaining another embodiment in which a server generates a face matching rate according to an embodiment of the present disclosure.

단계 S810에서, 일 실시예에 따른 서버(1000)는 인식 대상이 착용한 마스크의 종류를 식별할 수 있다. 일 실시예에서, 인식 대상이 착용하는 마스크는, 마스크의 용도, 성능 및 제조사 등에 따라 마스크의 디자인이 각각 상이하다. 일례로, 사용자가 일회용 마스크를 사용하는 경우, 사용자는 편의를 위해 일회용 마스크를 다량으로 구매하는 경우가 있다. 이에 따라, 기설정된 기간 이내(예를 들어, 한달) 동안은 사용자가 동일한 종류의 마스크를 착용하는 경우가 존재할 수 있다. 일 실시예에 따른 서버(1000)는 인식 대상의 얼굴 인식을 신속하고 정확하게 하기 위하여, 인식 대상이 착용한 마스크의 종류를 식별하고, 식별된 마스크의 종류를 얼굴 인증을 하기 위한 데이터베이스 검색에 활용할 수 있다.In step S810, the server 1000 according to an embodiment may identify the type of mask worn by the recognition target. In one embodiment, the mask worn by the recognition target has a different design depending on the purpose, performance, and manufacturer of the mask. For example, when a user uses a disposable mask, the user may purchase a large amount of disposable masks for convenience. Accordingly, there may be cases where the user wears the same type of mask for a predetermined period (eg, one month). In order to quickly and accurately recognize the face of the recognition target, the server 1000 according to an embodiment may identify the type of mask worn by the recognition target and utilize the identified mask type for a database search for face authentication. there is.

단계 S820에서, 일 실시예에 따른 서버(1000)는 마스크 종류에 기초하여, 데이터베이스의 기설정된 기간 이내의 얼굴 데이터들 중에서, 인식 대상의 얼굴 데이터와 매칭되는 데이터를 검색할 수 있다. 일 실시예에서, 서버(1000)는 데이터베이스에 내에 저장된 얼굴 데이터들 중에서, 매칭되는 얼굴 데이터를 검색하기 위한 검색 조건을 설정할 수 있다. 예를 들어, 서버(1000)는 데이터베이스 내에 저장된 얼굴 데이터들 중에서 최근 한달간의 얼굴 데이터를 검색 대상 데이터로 선택할 수 있다. 인식 대상의 얼굴 데이터와 매칭되는 얼굴 데이터를 데이터베이스 내에서 검색할 때, 서버(1000)는 인식 대상의 마스크 종류에 기초하여 데이터베이스 내에서 동일한 마스크 종류를 착용한 것으로 분류된 얼굴 데이터를 검색할 수 있다.In step S820, the server 1000 according to an embodiment may search for data that matches face data of a recognition target, among face data within a preset period of the database, based on the mask type. In an embodiment, the server 1000 may set a search condition for matching face data among face data stored in the database. For example, the server 1000 may select face data for a recent month from among face data stored in the database as search target data. When searching the database for face data that matches the face data of the recognition target, the server 1000 may search for face data classified as wearing the same mask type in the database based on the mask type of the recognition target. .

일 실시예에 따른 서버(1000)는, 데이터베이스 내에서 인식 대상의 얼굴 데이터와 매칭되는 얼굴 데이터들을 검색하고, 얼굴 매칭률을 생성할 수 있다.The server 1000 according to an embodiment may search for face data matching face data of a recognition target in a database and generate a face matching rate.

도 9는 본 개시의 일 실시예에 따른 서버가 얼굴 인증 서비스를 제공 가능한 서비스들을 설명하기 위한 도면이다.9 is a diagram for explaining services that a server can provide a face authentication service according to an embodiment of the present disclosure.

일 실시예에 따른 서버(1000)는 얼굴 인증 기능을 다양한 서비스에 적용할 수 있다. 예를 들어, 서버(1000)가 제공하는 서비스는, 결제 서비스(910), 공공 서비스(920), 금융 서비스(930), 의료 서비스(940) 및 출입 및 보안 서비스(950) 중 하나를 제공할 수 있다.The server 1000 according to an embodiment may apply a face authentication function to various services. For example, the server 1000 may provide one of payment service 910, public service 920, financial service 930, medical service 940, and access and security service 950. can

일 실시예에서, 서버(1000)는 인식 대상의 얼굴 매칭률에 기초하여, 서비스를 제공하고 서비스에 관련된 정보를 출력할 수 있다.In an embodiment, the server 1000 may provide a service and output information related to the service based on a face matching rate of a recognition target.

예를 들어, 얼굴 인증은 지하철, 버스, 편의점, 마트, 커피숍, 프랜차이즈 등에서 사용자의 비용 결제 서비스(910)에 적용될 수 있다. 서버(1000)는 전술한 실시예들에 따라 인식 대상의 얼굴을 인식하고, 얼굴 매칭률을 출력하며, 얼굴 매칭률에 기초하여 얼굴 인증을 수행함으로써, 사용자가 비용 결제를 하게 할 수 있다. 이 경우, 서버(1000)는 얼굴이 인증됨에 따라 결제가 되도록 하고, 결제 서비스에 관련된 정보로 인증이 완료되어 결제가 진행되었다는 알림 등을 출력할 수 있다.For example, face authentication may be applied to a user's payment service 910 in a subway, bus, convenience store, mart, coffee shop, franchise, and the like. The server 1000 recognizes a face of a recognition target, outputs a face matching rate, and performs face authentication based on the face matching rate according to the above-described embodiments, thereby allowing the user to pay a fee. In this case, the server 1000 may allow payment to be made as the face is authenticated, and may output a notification indicating that payment has been made after authentication is completed with information related to the payment service.

예를 들어, 얼굴 인증은 도로 감시, 범죄자 추적, 민원 발급 등의 공공 서비스(910)에 적용될 수 있다. 서버(1000)는 전술한 실시예들에 따라 인식 대상의 얼굴을 인식하고, 얼굴 매칭률을 출력하며, 얼굴 매칭률에 기초하여 얼굴 인증을 수행함으로써, 민원 서류를 발급받게 할 수 있다. 이 경우, 서버(1000)는 얼굴이 인증됨에 따라 민원 서류가 발급되도록 하고, 결제 서비스에 관련된 정보로 인증이 완료되어 민원서류가 발급되었다는 알림 등을 출력할 수 있다.For example, face authentication may be applied to public services 910 such as road surveillance, criminal tracking, and issuance of civil complaints. The server 1000 recognizes a face of a recognition target, outputs a face matching rate, and performs face authentication based on the face matching rate, so that civil documents are issued. In this case, the server 1000 may issue a civil application document as the face is authenticated, and may output a notification indicating that the civil application document has been issued due to completion of authentication with information related to the payment service.

같은 방식으로, 서버(1000)는 은행, 증권사 등의 결제 시스템 및 ATM 기기 사용 등의 금융 서비스(930), 스마트 진료, 비대면 진료 등의 의료 서비스(940) 및 출입 통제, 근태 관리 등의 출입 및 보안 서비스(950) 등의 다양한 서비스에 대하여, 인식 대상의 얼굴 매칭률에 기초하여 서비스 제공 및 서비스에 관련된 정보를 출력할 수 있다.In the same way, the server 1000 provides financial services 930 such as payment systems and ATM devices of banks and securities companies, medical services 940 such as smart medical treatment and non-face-to-face medical treatment, and access control such as access control and time and attendance management. For various services, such as the security service 950 and the like, service provision and information related to the service may be output based on the face matching rate of the object to be recognized.

Claims (10)

장치에 의해 수행되는, 인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법에 있어서,
인식 대상이 포함되는 이미지를 획득하는 단계;
상기 이미지로부터 상기 인식 대상의 얼굴 면적, 상기 얼굴 면적 내 유사 컬러군 면적의 비율, 얼굴 하부 면적 내 유사 컬러군 면적의 비율 및 입술 식별 유무를 포함하는 얼굴 특징 정보를 식별하는 단계;
상기 얼굴 특징 정보에 기초하여, 상기 인식 대상의 마스크 착용 여부를 판단하는 단계;
상기 판단의 결과에 따라 상기 인식 대상의 얼굴 데이터를 획득하는 단계;
상기 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 복수의 얼굴 데이터와 비교하여 얼굴 매칭률을 생성하여 출력하는 단계를 포함하며,
상기 인식 대상의 얼굴 데이터를 획득하는 단계는,
상기 판단의 결과, 상기 인식 대상이 마스크를 착용한 경우, 상기 얼굴 데이터로서 피부색, 홍채, 안구 간 거리 및 눈썹에 대한 데이터를 획득하고, 상기 인식 대상이 마스크를 착용하지 않은 경우, 상기 얼굴 데이터로서 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀 및 얼굴형에 대한 데이터를 획득하고,
상기 얼굴 매칭률을 생성 시에, 상기 얼굴 데이터에 포함된 둘 이상의 데이터를 비교하고, 상기 비교의 결과를 조합하여 상기 인식 대상의 상기 얼굴 데이터와 상기 기 저장된 얼굴 데이터들 간 매칭률을 산출하고,
상기 기 저장된 복수의 얼굴 데이터는 복수의 사용자들의 얼굴 데이터를 포함하되, 동일한 사용자에 대한 서로 다른 이미지로부터 획득된 복수의 얼굴 데이터를 포함하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
In the face authentication method using artificial intelligence-based face matching rate calculation, performed by the device,
obtaining an image including an object to be recognized;
identifying, from the image, facial feature information including a face area of the recognition target, a ratio of an area of a similar color group within the face area, a ratio of an area of the similar color group within an area of a lower face, and presence/absence of lip identification;
determining whether the recognition target is wearing a mask based on the facial feature information;
obtaining face data of the recognition target according to a result of the determination;
Comparing face data of the recognition target with a plurality of face data pre-stored in a database to generate and output a face matching rate;
Obtaining face data of the recognition target,
As a result of the determination, when the recognition target wears a mask, data on skin color, iris, eyeball distance, and eyebrows are acquired as the face data, and when the recognition target does not wear a mask, as the face data Acquire data on skin color, iris, interocular distance, eyebrows, lips, nose, ears and face shape;
When generating the face matching rate, two or more pieces of data included in the face data are compared, and a matching rate between the face data of the recognition target and the previously stored face data is calculated by combining a result of the comparison,
Characterized in that the plurality of pre-stored face data includes face data of a plurality of users, and includes a plurality of face data obtained from different images of the same user.
A face authentication method using artificial intelligence-based face matching rate calculation.
 삭제delete 삭제delete 제1항에 있어서,
상기 마스크 착용 여부를 판단하는 단계는,
상기 인식 대상의 얼굴 면적 내 유사 컬러군의 영역이 존재하는지 여부를 식별한 후, 상기 유사 컬러군의 영역의 면적 및 상기 인식 대상의 얼굴 면적에 기초하여 상기 마스크 착용 여부를 판단하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
According to claim 1,
The step of determining whether the mask is worn,
After identifying whether or not an area of the similar color group exists within the face area of the recognition target, whether or not the mask is worn is determined based on the area of the similar color group region and the facial area of the recognition target. ,
A face authentication method using artificial intelligence-based face matching rate calculation.
 제4항에 있어서,
상기 마스크 착용 여부를 판단하는 단계는,
상기 인식 대상의 얼굴 면적 내에서 상기 유사 컬러군의 영역의 면적의 비율이 기 설정된 값 이상인지 여부를 식별하고,
상기 비율이 상기 기 설정된 값 보다 큰 경우, 상기 인식 대상이 마스크를 착용한 것으로 판단하고, 상기 유사 컬러군의 영역은 마스크 영역으로 결정하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
According to claim 4,
The step of determining whether the mask is worn,
Identifying whether a ratio of an area of an area of the similar color group within a face area of the recognition target is equal to or greater than a preset value;
When the ratio is greater than the preset value, it is determined that the recognition target is wearing a mask, and an area of the similar color group is determined as a mask area.
A face authentication method using artificial intelligence-based face matching rate calculation.
 제4항에 있어서,
상기 마스크 착용 여부를 판단하는 단계는,
얼굴 영역을 상부 얼굴 영역 및 하부 얼굴 영역으로 구분한 후, 상기 하부 얼굴 영역의 면적 대비 상기 유사 컬러군의 영역의 면적의 비율이 기 설정된 값 이상인지 여부를 식별하고,
상기 비율이 상기 기 설정된 값 보다 큰 경우, 상기 인식 대상이 마스크를 착용한 것으로 판단하고, 상기 유사 컬러군의 영역은 마스크 영역으로 결정하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
According to claim 4,
The step of determining whether the mask is worn,
After dividing the face region into an upper face region and a lower face region, identifying whether a ratio of the area of the similar color group to the area of the lower face region is equal to or greater than a preset value;
When the ratio is greater than the preset value, it is determined that the recognition target is wearing a mask, and an area of the similar color group is determined as a mask area.
A face authentication method using artificial intelligence-based face matching rate calculation.
 제1항에 있어서,
상기 인식 대상의 얼굴의 특징들을 나타내는 상기 얼굴 데이터는,
상기 마스크 착용 여부를 한 결과에 따라 제1 이미지, 제2 이미지 및 제3 이미지 중 어느 하나를 인공지능 딥러닝 모델에 선택적으로 적용하여 획득하며,
상기 제2 이미지는, 상기 인식 대상의 얼굴에서 상기 마스크 착용 부분에 대응하는 영역을 제거하여 획득하고,
상기 제3 이미지는, 상기 제2 이미지에서 상기 인식 대상의 헤어에 대응하는 영역을 제거하여 획득하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
According to claim 1,
The face data representing facial features of the recognition target,
According to the result of whether or not to wear the mask, one of the first image, the second image, and the third image is selectively applied to the artificial intelligence deep learning model and obtained,
The second image is obtained by removing a region corresponding to the mask wearing portion from the face of the recognition target,
The third image is obtained by removing a region corresponding to the hair of the recognition target from the second image.
A face authentication method using artificial intelligence-based face matching rate calculation.
 제7항에 있어서,
상기 얼굴 데이터를 획득하는 단계는,
상기 인식 대상이 마스크를 착용하지 않은 것으로 판단되는 경우, 상기 제1 이미지를 상기 인공지능 딥러닝 모델에 적용하여, 상기 얼굴 데이터를 획득하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
According to claim 7,
Obtaining the face data,
Characterized in that, when it is determined that the recognition target is not wearing a mask, the face data is obtained by applying the first image to the artificial intelligence deep learning model.
A face authentication method using artificial intelligence-based face matching rate calculation.
 제8항에 있어서,
상기 얼굴 인증 방법은,
상기 인식 대상이 포함되는 동영상을 획득하는 단계를 더 포함하고,
상기 얼굴 특징 정보를 식별하는 단계는, 상기 동영상 내의 프레임들로부터 하나 이상의 제1 이미지를 결정하는 단계를 포함하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 방법.
According to claim 8,
The face authentication method,
Further comprising obtaining a video including the recognition target,
Characterized in that the identifying the facial feature information comprises determining one or more first images from frames within the video.
A face authentication method using artificial intelligence-based face matching rate calculation.
 인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 장치에 있어서,
통신 인터페이스;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
인식 대상이 포함되는 이미지를 획득하고, 상기 이미지로부터 상기 인식 대상의 얼굴 면적, 상기 얼굴 면적 내 유사 컬러군 면적의 비율, 얼굴 하부 면적 내 유사 컬러군 면적의 비율 및 입술 식별 유무를 포함하는 얼굴 특징 정보를 식별하고, 상기 얼굴 특징 정보에 기초하여, 상기 인식 대상의 마스크 착용 여부를 판단하고, 상기 판단의 결과에 따라 상기 인식 대상의 얼굴 데이터를 획득하고, 상기 인식 대상의 얼굴 데이터를 데이터베이스에 기 저장된 복수의 얼굴 데이터와 비교하여 얼굴 매칭률을 생성하여 출력하며,
상기 인식 대상의 얼굴 데이터를 획득 시에,
상기 판단의 결과, 상기 인식 대상이 마스크를 착용한 경우, 상기 얼굴 데이터로서 피부색, 홍채, 안구 간 거리 및 눈썹에 대한 데이터를 획득하고, 상기 인식 대상이 마스크를 착용하지 않은 경우, 상기 얼굴 데이터로서 피부색, 홍채, 안구 간 거리, 눈썹, 입술, 코, 귀 및 얼굴형에 대한 데이터를 획득하고,
상기 얼굴 매칭률을 생성 시에, 상기 얼굴 데이터에 포함된 둘 이상의 데이터를 비교하고, 상기 비교의 결과를 조합하여 상기 인식 대상의 상기 얼굴 데이터와 상기 기 저장된 얼굴 데이터들 간 매칭률을 산출하고,
상기 기 저장된 복수의 얼굴 데이터는 복수의 사용자들의 얼굴 데이터를 포함하되, 동일한 사용자에 대한 서로 다른 이미지로부터 획득된 복수의 얼굴 데이터를 포함하는 것을 특징으로 하는,
인공지능 기반 얼굴 매칭률 산출을 이용한 얼굴 인증 장치.In the face authentication device using artificial intelligence-based face matching rate calculation,
communication interface;
a memory that stores one or more instructions; and
a processor to execute the one or more instructions stored in the memory;
The processor, by executing the one or more instructions,
An image including a recognition target is acquired, and facial features including a face area of the recognition target, a ratio of an area of a similar color group within the face area, a ratio of an area of a similar color group within an area of the lower face, and whether or not lips are identified are obtained from the image. information, determine whether or not the recognition target is wearing a mask based on the facial feature information, obtain face data of the recognition target according to a result of the determination, and store the face data of the recognition target in a database. Compared with a plurality of stored face data, a face matching rate is generated and output,
When obtaining face data of the recognition target,
As a result of the determination, when the recognition target wears a mask, data on skin color, iris, eyeball distance, and eyebrows are acquired as the face data, and when the recognition target does not wear a mask, as the face data Acquiring data on skin color, iris, interocular distance, eyebrows, lips, nose, ears and face shape;
When generating the face matching rate, two or more pieces of data included in the face data are compared, and a matching rate between the face data of the recognition target and the previously stored face data is calculated by combining a result of the comparison,
Characterized in that the plurality of pre-stored face data includes face data of a plurality of users, and includes a plurality of face data obtained from different images of the same user.
Face authentication device using AI-based face matching rate calculation.
KR1020220108405A 2021-02-24 2022-08-29 Method and apparatus for face authentication using face matching rate calculation based on artificial intelligence KR102530141B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210024631 2021-02-24
KR20210024631 2021-02-24
KR1020220018333A KR102439216B1 (en) 2021-02-24 2022-02-11 Method and server for recognizing face wearing mask using artificial intelligence deep learning

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220018333A Division KR102439216B1 (en) 2021-02-24 2022-02-11 Method and server for recognizing face wearing mask using artificial intelligence deep learning

Publications (2)

Publication Number Publication Date
KR20220123212A KR20220123212A (en) 2022-09-06
KR102530141B1 true KR102530141B1 (en) 2023-05-10

Family

ID=83061436

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220018333A KR102439216B1 (en) 2021-02-24 2022-02-11 Method and server for recognizing face wearing mask using artificial intelligence deep learning
KR1020220108405A KR102530141B1 (en) 2021-02-24 2022-08-29 Method and apparatus for face authentication using face matching rate calculation based on artificial intelligence

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220018333A KR102439216B1 (en) 2021-02-24 2022-02-11 Method and server for recognizing face wearing mask using artificial intelligence deep learning

Country Status (1)

Country Link
KR (2) KR102439216B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078249B1 (en) * 2019-06-18 2020-02-17 주식회사 페이스테그 Method for face authentication, apparatus for face authentication and computer program for the same
WO2020050413A1 (en) * 2018-09-06 2020-03-12 Ｎｅｃソリューションイノベータ株式会社 Device for deciding face image candidate for authentication, method for deciding face image candidate for authentication, program, and recording medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255229B1 (en) 2020-10-15 2021-05-24 주식회사 유유랑컴퍼니 Fever patient tracking management system using face recognition technology

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050413A1 (en) * 2018-09-06 2020-03-12 Ｎｅｃソリューションイノベータ株式会社 Device for deciding face image candidate for authentication, method for deciding face image candidate for authentication, program, and recording medium
KR102078249B1 (en) * 2019-06-18 2020-02-17 주식회사 페이스테그 Method for face authentication, apparatus for face authentication and computer program for the same

Also Published As

Publication number Publication date
KR102439216B1 (en) 2022-09-01
KR20220121184A (en) 2022-08-31
KR20220123212A (en) 2022-09-06

Similar Documents

Publication Publication Date Title
US11288504B2 (en) Iris liveness detection for mobile devices
KR102299847B1 (en) Face verifying method and apparatus
KR102359558B1 (en) Face verifying method and apparatus
EP2704052A1 (en) Transaction verification system
CN106663157A (en) User authentication method, device for executing same, and recording medium for storing same
JP2007257221A (en) Face recognition system
US11682236B2 (en) Iris authentication device, iris authentication method and recording medium
US11756338B2 (en) Authentication device, authentication method, and recording medium
CN109766785A (en) A kind of biopsy method and device of face
JP6792986B2 (en) Biometric device
KR102530141B1 (en) Method and apparatus for face authentication using face matching rate calculation based on artificial intelligence
KR102493322B1 (en) Device and method for authenticating user based on facial characteristics and mask characteristics of the user
Grabovskyi et al. Facial recognition with using of the microsoft face API Service
KR102521661B1 (en) Entrance control method for contaless entrance control and system performing the same
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)
Singh et al. Biometric Methods of Face Recognition: A Mirror Review
Ramesh Kumar et al. Human identification based on ear image contour and its properties
Al-Rashid Biometrics Authentication: Issues and Solutions
Singh et al. Comparison of Algorithms for the Detection of Occluded Faces
KR20190136349A (en) Face verifying method and apparatus based on 3d image

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant