KR20220056618A

KR20220056618A - Method for recognizing identity adaptable to mask environment and apparatus using the same

Info

Publication number: KR20220056618A
Application number: KR1020200141359A
Authority: KR
Inventors: 장재윤; 윤호섭; 김재홍
Original assignee: 한국전자통신연구원
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2022-05-06

Abstract

Disclosed are a method for recognizing identity adaptable to a mask wearing environment to minimize effect of a mask wearing environment on identity recognition performance and an apparatus thereof. According to one embodiment of the present invention, the method comprises the following steps by an identity recognizing device: extracting identity features of a face of a user detected in an image; determining whether a mask is worn on the user's face on the basis of the identity features; and performing identification of the user's face on the basis of any one of a basic identity recognition function or an add-on mask identity recognition function in consideration of whether a mask is worn or not, wherein the basic identity recognition function is performed on the basis of the identity features and the mask identity recognition function is performed on the basis of recalculated identity features.

Description

Identity recognition method adaptable to mask environment and device therefor

본 발명은 마스크 환경에 적응 가능한 신원 인식 기술에 관한 것으로, 특히 기존의 신원 인식기를 크게 변경하거나 가공하지 않으면서 마스크를 착용한 환경에 적응 가능한 신원 인식 기술에 관한 것이다.The present invention relates to an identity recognition technology adaptable to a mask environment, and more particularly, to an identity recognition technology adaptable to an environment in which a mask is worn without significantly changing or processing an existing identity recognizer.

일반적으로 현 시대에 사용되는 2D 영상 기반의 사용자 신원 인식 시스템은 사용자 얼굴 영역의 전체적인 외형적 특징을 벡터화하고, 그 형태의 유사도를 비교하는 방식으로 신원 인식을 수행한다. 이 때, 외형적 특징으로부터 신원 특징을 계산하기 때문에 조명, 표정, 포즈 등의 변화에 의해서 사용자 얼굴 영역에서 추출되는 신원 특징의 왜곡이 발생하기도 한다. In general, a 2D image-based user identity recognition system used in the present age performs identity recognition by vectorizing the overall external features of the user's face area and comparing the similarity of the shape. At this time, since the identity features are calculated from the external features, distortion of the identity features extracted from the user's face region may occur due to changes in lighting, facial expression, pose, and the like.

최근 발전하는 기술로 인하여 조명, 표정, 포즈에 의해 발생하는 왜곡으로 인한 신원 인식 성능의 저하는 크게 억제하였다. 하지만, 마스크를 착용한 상황과 같이 얼굴을 가리는 경우에는 정보의 왜곡이 아닌 손실이 발생하기 때문에, 가려짐이 없는 얼굴과 마스크 착용으로 인해 하관이 절반 가량 가려진 얼굴은 외형적으로 큰 차이가 발생할 수 밖에 없다. 이러한 차이는 신원 인식기의 전체적인 성능을 저하시키는 원인이 될 수 밖에 없다. Due to the recently developed technology, the degradation of identity recognition performance due to distortion caused by lighting, facial expression, and pose is greatly suppressed. However, when the face is covered, such as when wearing a mask, information is lost, not distorted, so there can be a big difference in appearance between a face that is not covered and a face whose lower canal is half covered by wearing a mask. there is only This difference inevitably causes deterioration of the overall performance of the identity recognizer.

또한, 이러한 문제를 해결하기 위해서 신원 인식기 자체에서 마스크 환경을 같이 학습하는 경우, 마스크를 착용하지 않은 일반적인 환경에 대한 인식 정밀도가 떨어지는 문제를 동반한다.In addition, in order to solve this problem, when the identity recognizer itself learns the mask environment, it is accompanied by a problem that the recognition accuracy of the general environment in which the mask is not worn decreases.

한국 공개 특허 제10-2005-0017067호, 2005년 2월 21일 공개(명칭: 가변 타원 마스크와 형태학적 특징을 이용한 얼굴 인식 방법)Korean Patent Laid-Open Patent No. 10-2005-0017067, published on February 21, 2005 (Title: Face Recognition Method Using Variable Ellipse Mask and Morphological Features)

본 발명의 목적은 기존에 학습된 신원 인식 모델을 변경 또는 가공하지 않으면서, 애드온 방식으로 마스크 환경에 대응 가능한 신원 인식 기술을 제공함으로써 마스크 착용으로 인해 기존의 신원 인식 모델의 성능이 저하되는 것을 억제하는 것이다.It is an object of the present invention to suppress deterioration of the performance of the existing identity recognition model due to wearing a mask by providing an identity recognition technology that can respond to a mask environment in an add-on method without changing or processing the previously learned identity recognition model will do

또한, 본 발명의 목적은 마스크 착용 환경이 신원 인식 성능에 미치는 영향을 최소화하도록 신원 인식 기술을 개선하는 것이다.It is also an object of the present invention to improve the identity recognition technology so as to minimize the influence of the mask wearing environment on the identity recognition performance.

또한, 본 발명의 목적은 신원 인식 대상자가 마스크를 착용한 경우, 마스크 착용 영역이 주는 외형적 특징의 영향력을 최소화하여 신원 인식 성능을 향상시키는 것이다.Another object of the present invention is to improve identity recognition performance by minimizing the influence of external features provided by a mask wearing area when an identity recognition target wears a mask.

또한, 본 발명의 목적은 시간 및 비용의 부담 없이 기존의 시스템을 그대로 활용하면서 간단하게 인식 성능을 확장시킬 수 있는 신원 인식 기술을 제공하는 것이다.Another object of the present invention is to provide an identity recognition technology capable of simply extending recognition performance while utilizing an existing system without burden of time and cost.

상기한 목적을 달성하기 위한 본 발명에 따른 신원 인식 방법은 신원 인식 장치가, 영상에서 검출된 사용자 얼굴에 대한 신원 특징을 추출하는 단계; 상기 신원 인식 장치가, 상기 신원 특징 및 상기 신원 인식 장치에 애드온(ADD-ON)된 마스크 분류 기능을 이용하여 상기 사용자 얼굴에 대한 마스크 착용 여부를 판단하는 단계; 및 상기 신원 인식 장치가, 상기 마스크 착용 여부를 고려하여 기본 신원 인식 기능 및 상기 신원 인식 장치에 애드온(ADD-ON)된 마스크 신원 인식 기능 중 어느 하나를 기반으로 상기 사용자 얼굴에 대한 신원 인식을 수행하는 단계를 포함하고, 상기 기본 신원 인식 기능은 상기 신원 특징을 기반으로 수행되고, 상기 마스크 신원 인식 기능은 재계산된 신원 특징을 기반으로 수행된다.An identity recognition method according to the present invention for achieving the above object includes, by an identity recognition apparatus, extracting an identity feature for a user's face detected from an image; determining, by the identity recognizing device, whether to wear a mask on the face of the user using the identity feature and a mask classification function added-on to the identity recognizing device; and the identity recognition device performs identity recognition on the user's face based on any one of a basic identity recognition function and a mask identity recognition function added to the identity recognition device in consideration of whether the mask is worn. and wherein the basic identity recognition function is performed based on the identity feature, and the mask identity recognition function is performed based on the recalculated identity feature.

이 때, 수행하는 단계는 상기 마스크 신원 인식 기능을 이용하는 경우, 상기 사용자 얼굴에 상응하는 이미지에서 마스크 영역을 제외한 수정 이미지를 생성하는 단계; 및 상기 수정 이미지를 기반으로 신원 특징을 재계산하는 단계를 포함할 수 있다.In this case, the performing may include, when using the mask identity recognition function, generating a corrected image excluding a mask area from the image corresponding to the user's face; and re-calculating the identity feature based on the modified image.

이 때, 판단하는 단계는 상기 신원 특징에 상응하게 추출된 신원 특징 벡터를 기반으로 상기 마스크 착용 여부를 판단할 수 있다.In this case, the determining may include determining whether to wear the mask based on an identity feature vector extracted to correspond to the identity feature.

이 때, 수정 이미지는 상기 사용자 얼굴에 상응하는 이미지에서 상기 마스크 영역에 포함된 하단 전체 영역을 삭제한 제1 타입, 상기 사용자 얼굴에 상응하는 이미지에서 상기 마스크 영역만 삭제한 제2 타입 및 상기 제2 타입에서 삭제된 마스크 영역을 상기 제2 타입에서 검출되는 평균 피부색깔로 치환한 제3 타입 중 어느 하나에 상응할 수 있다.In this case, the corrected image includes a first type in which the entire lower region included in the mask region is deleted from the image corresponding to the user's face, a second type in which only the mask region is deleted from the image corresponding to the user's face, and the second type in which only the mask region is deleted from the image corresponding to the user's face. It may correspond to any one of the third types in which the mask area deleted in the second type is replaced with the average skin color detected in the second type.

이 때, 수행하는 단계는 신원 인식 기능의 종류를 고려하여 데이터베이스에 저장된 기본 참조 데이터 및 마스크 기반 참조 데이터 중 어느 하나를 기반으로 상기 신원 인식을 수행할 수 있다.In this case, in the performing step, the identity recognition may be performed based on any one of the basic reference data and the mask-based reference data stored in the database in consideration of the type of the identity recognition function.

이 때, 신원 인식 장치가, 등록을 위해 입력되는 복수의 영상들을 기반으로 상기 데이터베이스에 상기 기본 참조 데이터 및 상기 마스크 기반 참조 데이터 중 적어도 하나를 등록하는 단계를 더 포함할 수 있다.In this case, the method may further include, by the identity recognition apparatus, registering at least one of the basic reference data and the mask-based reference data in the database based on a plurality of images input for registration.

또한, 본 발명의 일실시예에 따른 신원 인식 장치는, 영상에서 검출된 사용자 얼굴에 대한 신원 특징을 추출하고, 상기 신원 특징을 기반으로 상기 사용자 얼굴에 대한 마스크 착용 여부를 판단하고, 상기 마스크 착용 여부를 고려하여 기본 신원 인식 기능 및 애드온(ADD-ON)된 마스크 신원 인식 기능 중 어느 하나를 기반으로 상기 사용자 얼굴에 대한 신원 인식을 수행하는 프로세서; 및 기본 참조 데이터 및 마스크 기반 참조 데이터 중 적어도 하나를 저장하는 데이터베이스 를 포함하고, 상기 기본 신원 인식 기능은 상기 신원 특징을 기반으로 수행되고, 상기 마스크 신원 인식 기능은 재계산된 신원 특징을 기반으로 수행된다.In addition, the identity recognition apparatus according to an embodiment of the present invention extracts an identity feature for a user's face detected from an image, determines whether to wear a mask on the user's face based on the identity feature, and wears the mask a processor for performing identity recognition on the user's face based on any one of a basic identity recognition function and an ADD-ON mask identity recognition function; and a database storing at least one of basic reference data and mask-based reference data, wherein the basic identity recognition function is performed based on the identity feature, and the mask identity recognition function is performed based on the recalculated identity feature do.

이 때, 프로세서는 상기 마스크 신원 인식 기능을 이용하는 경우, 상기 사용자 얼굴에 상응하는 이미지에서 마스크 영역을 제외한 수정 이미지를 생성하고, 상기 수정 이미지를 기반으로 신원 특징을 재계산할 수 있다.In this case, when the mask identity recognition function is used, the processor may generate a corrected image excluding the mask region from the image corresponding to the user's face, and recalculate the identity feature based on the corrected image.

이 때, 프로세서는 상기 신원 특징에 상응하게 추출된 신원 특징 벡터를 기반으로 상기 마스크 착용 여부를 판단할 수 있다.In this case, the processor may determine whether to wear the mask based on the identity feature vector extracted to correspond to the identity feature.

이 때, 프로세서는 신원 인식 기능의 종류를 고려하여 상기 데이터베이스에 저장된 기본 참조 데이터 및 마스크 기반 참조 데이터 중 어느 하나를 기반으로 상기 신원 인식을 수행할 수 있다.In this case, the processor may perform the identity recognition based on any one of the basic reference data and the mask-based reference data stored in the database in consideration of the type of the identity recognition function.

이 때, 프로세서는 등록을 위해 입력되는 복수의 영상들을 기반으로 상기 데이터베이스에 상기 기본 참조 데이터 및 상기 마스크 기반 참조 데이터 중 적어도 하나를 등록할 수 있다.In this case, the processor may register at least one of the basic reference data and the mask-based reference data in the database based on a plurality of images input for registration.

본 발명에 따르면, 기존에 학습된 신원 인식 모델을 변경 또는 가공하지 않으면서, 애드온 방식으로 마스크 환경에 대응 가능한 신원 인식 기술을 제공함으로써 마스크 착용으로 인해 기존의 신원 인식 모델의 성능이 저하되는 것을 억제할 수 있다.According to the present invention, without changing or processing the previously learned identity recognition model, by providing an identity recognition technology that can respond to a mask environment in an add-on method, the performance of the existing identity recognition model is suppressed due to wearing a mask can do.

또한, 본 발명은 마스크 착용 환경이 신원 인식 성능에 미치는 영향을 최소화하도록 신원 인식 기술을 개선할 수 있다.In addition, the present invention can improve the identity recognition technology to minimize the influence of the mask wearing environment on the identity recognition performance.

또한, 본 발명은 신원 인식 대상자가 마스크를 착용한 경우, 마스크 착용 영역이 주는 외형적 특징의 영향력을 최소화하여 신원 인식 성능을 향상시킬 수 있다.In addition, the present invention can improve the identity recognition performance by minimizing the influence of the external features provided by the mask wearing area when the identity recognition target wears a mask.

또한, 본 발명은 시간 및 비용의 부담 없이 기존의 시스템을 그대로 활용하면서 간단하게 인식 성능을 확장시킬 수 있는 신원 인식 기술을 제공할 수 있다.In addition, the present invention can provide an identity recognition technology capable of simply extending recognition performance while utilizing an existing system without burden of time and cost.

도 1은 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법을 나타낸 동작 흐름도이다.
도 2는 본 발명의 일실시예에 따라 마스크 신원 인식 기능이 애드온되는 일 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 참조 데이터 등록 과정을 나타낸 동작 흐름도이다.
도 4 내지 도 5는 본 발명에 따른 수정 이미지의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 신원 인식 과정을 상세하게 나타낸 도면이다.
도 7는 본 발명의 일실시예에 따른 신원 인식 방법을 상세하게 나타낸 동작 흐름도이다.
도 8은 본 발명의 일실시예에 따른 신원 인식 장치를 나타낸 블록도이다.1 is an operation flowchart illustrating an identity recognition method adaptable to a mask environment according to an embodiment of the present invention.
2 is a diagram illustrating an example in which a mask identity recognition function is added on according to an embodiment of the present invention.
3 is an operation flowchart illustrating a reference data registration process according to an embodiment of the present invention.
4 to 5 are views showing an example of a corrected image according to the present invention.
6 is a diagram illustrating in detail an identity recognition process according to an embodiment of the present invention.
7 is a detailed operation flowchart illustrating an identity recognition method according to an embodiment of the present invention.
8 is a block diagram illustrating an identity recognition apparatus according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations will be omitted. The embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법을 나타낸 동작 흐름도이다.1 is an operation flowchart illustrating an identity recognition method adaptable to a mask environment according to an embodiment of the present invention.

일반적으로 현 시대에 사용되고 있는 영상 기반의 사용자 신원 인식 시스템은 외형적 특징을 비교하여 사용자의 신원을 인식하는 방식으로 동작한다. 이와 같은 일반적인 신원 인식기는 사용자의 얼굴 전체가 보이는 상황을 가정하고 설계되므로, 환경적 요인이나 질병 등으로 인하여 마스크 착용이 필수불가결한 상황에서는 그 성능이 크게 저하될 수 밖에 없다. 따라서, 이러한 경우에는 마스크를 벗고 신원 인식을 수행하거나 영상이 아닌 다른 방식 사용해야 하는 불편함이 동반된다. In general, an image-based user identity recognition system used in the present age operates in a manner that recognizes a user's identity by comparing external features. Since such a general identity recognizer is designed on the assumption that the user's entire face is visible, its performance is inevitably degraded in a situation where wearing a mask is essential due to environmental factors or diseases. Therefore, in this case, it is accompanied by inconvenience of removing the mask and performing identity recognition or using a method other than an image.

본 발명에서는 이러한 문제점을 해결하기 위해, 기존의 영상 기반 신원 인식 모델 자체를 변경하지 않고, 애드온 방식으로 기존 모델의 기능을 확장하여 사용자가 마스크를 착용한 상황에서도 신원 인식이 가능하도록 성능이 향상된 신원 인식 기술을 제안하고자 한다.In order to solve this problem, the present invention does not change the existing image-based identity recognition model itself, but expands the function of the existing model in an add-on method so that identity recognition is possible even when the user wears a mask. We would like to propose a recognition technology.

도 1을 참조하면, 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법은 신원 인식 장치가, 영상에서 사용자 얼굴을 검출하고(S110), 검출된 사용자 얼굴에 대한 신원 특징을 추출한다(S120).Referring to FIG. 1 , in an identity recognition method adaptable to a mask environment according to an embodiment of the present invention, an identity recognition apparatus detects a user's face from an image (S110), and extracts an identity feature from the detected user's face (S120).

이 때, 영상에서 사용자 얼굴을 검출하는 과정은 본 발명에 적용 가능한 종래 방식을 사용할 수 있으며, 특정한 방식으로 한정되지 않는다. In this case, the process of detecting the user's face from the image may use a conventional method applicable to the present invention, and is not limited to a specific method.

이 때, 신원 특징은 이미지에 대한 특징 벡터에 상응하는 형태로 추출될 수 있다. In this case, the identity feature may be extracted in a form corresponding to the feature vector for the image.

예를 들어, 사용자 얼굴에서 검출되는 눈, 코, 입에 대한 특징 벡터를 추출하여 신원 특징으로 활용할 수 있다. For example, a feature vector for eyes, nose, and mouth detected from a user's face may be extracted and used as an identity feature.

이 때, 사용자 얼굴에 상응하는 이미지를 기반으로 특징 벡터를 추출하는 과정은 본 발명에 적용 가능한 종래 방식을 사용할 수 있으며, 특정한 방식으로 한정되지 않는다.In this case, the process of extracting the feature vector based on the image corresponding to the user's face may use a conventional method applicable to the present invention, and is not limited to a specific method.

또한, 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법은 신원 인식 장치가, 신원 특징 및 신원 인식 장치에 애드온(ADD-ON)된 마스크 분류 기능을 이용하여 사용자 얼굴에 대한 마스크 착용 여부를 판단한다(S125).In addition, in the identity recognition method adaptable to the mask environment according to an embodiment of the present invention, the identity recognition device wears a mask on the user's face using an identity feature and a mask classification function added-on to the identity recognition device. It is determined whether or not (S125).

이 때, 신원 특징에 상응하게 추출된 신원 특징 벡터를 기반으로 마스크 착용 여부를 판단할 수 있다. In this case, it may be determined whether the mask is worn based on the identity feature vector extracted to correspond to the identity feature.

이 때, 본 발명에서는 사용자 얼굴에 해당하는 이미지의 외형적 특징 정보를 이용하지 않고, 앞서 추출된 신원 특징을 이용하여 마스크 착용 여부를 판단할 수 있다. 즉, 정제되지 않은 이미지 데이터 자체가 아니라, 신원 특징 추출과정을 통해 한차례 정제되어 주요 정보가 요약된 데이터를 이용하기 때문에 상대적으로 간단한 네트워크 만으로도 마스크 착용 여부를 판단할 수 있다. At this time, in the present invention, it is possible to determine whether to wear the mask by using the previously extracted identity features, without using the information on the external features of the image corresponding to the user's face. In other words, it is possible to determine whether a mask is worn with only a relatively simple network because it uses data that has been refined once through an identity feature extraction process, rather than unrefined image data itself, and summarized key information.

또한, 사용자 얼굴에 해당하는 이미지 전체가 아닌 요약된 데이터만을 이용함으로써 마스크 착용 여부를 판단하기 위한 연산 과정이 줄어들어 시스템 부하를 감소시킬 수 있다.In addition, by using only the summarized data rather than the entire image corresponding to the user's face, the calculation process for determining whether the mask is worn is reduced, thereby reducing the system load.

또한, 이미지의 외형적 특징 정보를 이용하여 마스크 착용 여부를 판단하는 경우, 사용자의 자세나 조명, 마스크의 텍스처 정보 등이 판단결과를 왜곡시킬 수 있는데, 본 발명에서는 신원 특징을 이용함으로써 이러한 왜곡을 억제하는 효과도 기대할 수 있다.In addition, when determining whether to wear a mask by using the external feature information of the image, the user's posture, lighting, and texture information of the mask may distort the judgment result. In the present invention, such distortion is eliminated by using the identity feature. A deterrent effect can be expected.

이와 같은 본 발명의 마스크 분류 기능은, 도 2에 도시된 것처럼, 기존의 신원 인식 기술에 애드온(ADD-ON)되는 형태로 제공될 수 있다. 즉, 본 발명에서는 도 2에 도시된 것처럼 기존의 신원 인식 장치에서 신원 특징 벡터를 추출한 이후에 ADD-ON CLASSIFIER(210)에 상응하는 형태로 마스크 분류기(211)를 제공함으로써 영상(200)에서 검출된 사용자 얼굴에 마스크가 착용되었는지 아닌지 여부를 판단할 수 있다.As shown in FIG. 2 , the mask classification function of the present invention may be provided as an add-on (ADD-ON) to the existing identity recognition technology. That is, in the present invention, as shown in FIG. 2 , after the identity feature vector is extracted from the existing identity recognition device, the mask classifier 211 is provided in a form corresponding to the ADD-ON CLASSIFIER 210 to detect in the image 200 . It can be determined whether or not the mask is worn on the user's face.

이 때, 본 발명은 도 2에 도시된 것과 같은 add-on 형태로 마스크 분류 기능을 제공됨으로써 신원 인식 장치의 다른 기능에 영향을 주지 않으면서 마스크 분류 기능만을 업데이트하는 것이 가능할 수 있다. 즉, 기존의 신원 인식 기능을 그대로 사용하면서 지속적으로 업데이트된 마스크 분류 기능을 제공할 수 있기 때문에 기술의 발전으로 마스크 분류 기능이 향상되는 경우에도 보다 수월하게 업데이트된 기능을 적용할 수 있다.In this case, in the present invention, by providing the mask classification function in the form of an add-on as shown in FIG. 2 , it may be possible to update only the mask classification function without affecting other functions of the identity recognition apparatus. In other words, since the continuously updated mask classification function can be provided while using the existing identity recognition function, the updated function can be applied more easily even when the mask classification function is improved due to the advancement of technology.

단계(S125)의 판단결과 마스크를 착용하지 않았으면, 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법은, 신원 인식 장치가 기본 신원 인식 기능을 기반으로 사용자 얼굴에 대한 신원 인식을 수행한다(S130).If it is determined in step S125 that the mask is not worn, the identity recognition method adaptable to the mask environment according to an embodiment of the present invention allows the identity recognition device to recognize the user's face based on the basic identity recognition function. perform (S130).

이 때, 기본 신원 인식 기능은 신원 특징을 기반으로 수행될 수 있다.In this case, the basic identity recognition function may be performed based on identity characteristics.

예를 들어, 기본 신원 인식 기능을 이용하여 사용자 얼굴에 대한 신원 인식을 수행하는 경우, 사용자 얼굴에서 추출된 신원 특징과 데이터베이스에 사전에 등록된 기본 참조 데이터를 비교하여 신원 인식을 수행할 수 있다. For example, when performing identity recognition on a user's face using a basic identity recognition function, identity recognition may be performed by comparing an identity feature extracted from the user's face with basic reference data previously registered in a database.

이 때, 기본 참조 데이터는 마스크를 착용하지 않은 상태로 추출된 신원 특징에 상응하게 생성되어 데이터베이스에 등록된 것으로, 본 발명의 일실시예에 따른 등록 과정에서 생성될 수 있다. At this time, the basic reference data is generated corresponding to the identity features extracted without wearing a mask and registered in the database, and may be generated during the registration process according to an embodiment of the present invention.

도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법은, 신원 인식 장치가, 등록을 위해 입력되는 복수의 영상들을 기반으로 데이터베이스에 기본 참조 데이터 및 마스크 기반 참조 데이터 중 적어도 하나를 등록한다.Although not shown in FIG. 1, in an identity recognition method adaptable to a mask environment according to an embodiment of the present invention, an identity recognition apparatus stores basic reference data and a mask in a database based on a plurality of images input for registration At least one of the reference data is registered.

예를 들어, 도 3을 참조하면, 본 발명의 일실시예에 따른 신원 인식 장치는 복수의 영상들이 입력되는 경우, 복수의 영상들을 기반으로 사용자 얼굴을 검출하고(S310), 검출된 사용자 얼굴에서 신원 특징을 계산하여 추출할 수 있다(S320).For example, referring to FIG. 3 , when a plurality of images are input, the identity recognition apparatus according to an embodiment of the present invention detects a user's face based on the plurality of images (S310), and from the detected user's face An identity feature may be calculated and extracted (S320).

이 후, 신원 특징 및 신원 인식 장치에 애드온된 마스크 분류 기능을 이용하여 사용자 얼굴이 마스크를 착용하였는지 여부를 판단할 수 있다(S325).Thereafter, it may be determined whether the user's face wears the mask by using the identity feature and the mask classification function added to the identity recognition device (S325).

단계(S325)의 판단결과 마스크를 착용하지 않았으면, 단계(S320)에서 추출된 신원 특징을 기본 참조 데이터로 사용하여(S330) 데이터베이스에 저장할 수 있다(S360).If it is determined in step S325 that the mask is not worn, the identity feature extracted in step S320 may be used as basic reference data (S330) and stored in the database (S360).

또한, 단계(S325)의 판단결과 마스크를 착용하였으면, 사용자 얼굴에 상응하는 이미지에 대해 마스크 영역 수정을 수행하여(S340) 수정 이미지를 생성하고, 수정 이미지를 기반으로 신원 특징을 재계산할 수 있다(S350).In addition, if the mask is worn as a result of the determination in step S325, the mask area correction is performed on the image corresponding to the user's face (S340) to generate a corrected image, and the identity feature can be recalculated based on the corrected image ( S350).

이 후, 재계산된 신원 특징을 마스크 기반 참조 데이터로 사용하여 데이터베이스에 저장할 수 있다(S360).Thereafter, the recalculated identity feature may be used as mask-based reference data and stored in the database (S360).

이 때, 마스크 영역 수정(S340)을 통해 수정 이미지를 생성하는 과정은 추후에 도 1에 도시된 단계(S140)를 기반으로 상세하게 설명하도록 한다. In this case, the process of generating the corrected image through the mask region correction ( S340 ) will be described later in detail based on the step ( S140 ) shown in FIG. 1 .

또한, 단계(S125)의 판단결과 마스크를 착용하였으면, 본 발명의 일실시예에 따른 마스크 환경에 적응 가능한 신원 인식 방법은, 신원 인식 장치가, 신원 인식 장치에 애드온(ADD-ON)된 마스크 신원 인식 기능을 기반으로 사용자 얼굴에 대한 신원 인식을 수행한다(S140).In addition, if it is determined in step S125 that the mask is worn, the identity recognition method adaptable to the mask environment according to an embodiment of the present invention includes an identity recognition device, a mask identity that is ADD-ON to the identity recognition device. Identity recognition of the user's face is performed based on the recognition function (S140).

이 때, 마스크 신원 인식 기능은 도 2에 도시된 ADD-ON CLASSIFIER(210)에 상응하는 형태로 제공될 수 있다. In this case, the mask identity recognition function may be provided in a form corresponding to the ADD-ON CLASSIFIER 210 shown in FIG. 2 .

즉, 본 발명의 일실시예에 따르면, 도 2에는 도시하지 아니하였으나, 별도의 마스크 신원 인식기(미도시)를 신원 인식 장치에 ADD-ON되는 형태로 제공함으로써 마스크를 착용한 상태로 검출된 사용자 얼굴에 대한 신원 인식 성능을 향상시킬 수 있다.That is, according to an embodiment of the present invention, although not shown in FIG. 2, a user detected while wearing a mask by providing a separate mask identity recognizer (not shown) in the form of being ADD-ON to the identity recognition device It is possible to improve the identity recognition performance of faces.

이 때, 사용자 얼굴에 상응하는 이미지에서 마스크 영역을 제외한 수정 이미지를 생성할 수 있다. In this case, a corrected image excluding the mask area from the image corresponding to the user's face may be generated.

이 때, 수정 이미지는 사용자 얼굴에 상응하는 이미지에서 마스크 영역에 포함된 하단 전체 영역을 삭제한 제1 타입, 사용자 얼굴에 상응하는 이미지에서 마스크 영역만 삭제한 제2 타입 및 제2 타입에서 삭제된 마스크 영역을 제2 타입에서 검출되는 평균 피부색깔로 치환한 제3 타입 중 어느 하나에 상응할 수 있다.In this case, the corrected image is the first type in which the entire lower area included in the mask area is deleted from the image corresponding to the user's face, the second type in which only the mask area is deleted from the image corresponding to the user's face, and the second type is deleted. It may correspond to any one of the third types in which the mask area is replaced with the average skin color detected in the second type.

예를 들어, 도 4를 참조하면, 영상에서 검출된 사용자 얼굴(410)에서 마스크 영역에 포함된 하단 전체 영역의 값을 0으로 치환하여 하단이 가려진 제1 타입 수정 이미지(420)를 생성할 수 있다. 이 때, 제1 타입 수정 이미지는 하단 전체 영역을 0으로 치환하는 간단한 연산만으로 생성할 수 있다는 장점이 있다.For example, referring to FIG. 4 , in the user's face 410 detected in the image, the value of the entire lower region included in the mask region is substituted with 0 to generate the first type correction image 420 in which the lower part is hidden. there is. In this case, there is an advantage that the first type correction image can be generated only by a simple operation of replacing the entire lower area with 0.

다른 예를 들어, 먼저 도 4의 사용자 얼굴(410)에서 마스크 영역을 segmentation하여 도 5에 도시된 segmentation 이미지(510)를 생성하고, segmentation 이미지(510)에 해당하는 영역만을 0으로 치환하는 방식으로 제2 타입 수정 이미지(520)를 생성할 수 있다. As another example, first, a mask area is segmented in the user's face 410 of FIG. 4 to generate the segmentation image 510 shown in FIG. 5, and only the area corresponding to the segmentation image 510 is replaced with 0. A second type correction image 520 may be generated.

또 다른 예를 들어, 도 5에 도시된 제2 타입 수정 이미지(520)에서 0으로 치환된 영역을 나머지 얼굴 영역의 평균 피부색깔로 치환하여 제3 타입 수정 이미지를 생성할 수도 있다.As another example, in the second type correction image 520 shown in FIG. 5 , the region replaced by 0 may be replaced with the average skin color of the remaining face regions to generate the third type correction image.

이 때, 수정 이미지를 기반으로 신원 특징을 재계산할 수 있다.In this case, the identity feature may be recalculated based on the corrected image.

이 때, 수정 이미지를 이용하여 신원 특징을 재계산함으로써 마스크의 형태가 신원 인식 성능에 미치는 왜곡 영향을 최소화할 수 있다.In this case, the distortion effect of the mask shape on the identity recognition performance can be minimized by re-calculating the identity feature using the corrected image.

예를 들어, 도 4에 도시된 제1 타입 수정 이미지(420)를 기반으로 신원 특징을 재계산하는 경우, 가려진 하단 영역이 반영되지 않고 상단의 가려지지 않은 영역만을 이용하여 신원 특징이 재계산될 수 있다.For example, when the identity feature is recalculated based on the first type correction image 420 shown in FIG. 4 , the identity feature may be recalculated using only the upper non-occluded region without reflecting the lower covered area. can

다른 예를 들어, 도 5에 도시된 제2 타입 수정 이미지(520)를 기반으로 신원 특징을 재계산하는 경우, 마스크 영역을 제외한 나머지 사용자 얼굴을 이용하여 신용 특징이 재계산될 수 있다. 이 때, 제2 타입 수정 이미지를 이용하는 경우, 제1 타입 수정 이미지에 비해 생성하는 과정에서 연산량이 조금 증가하지만, 사용자 얼굴 외곽선 형태 정보를 신원 특징으로 활용할 수 있다는 장점이 존재할 수 있다.As another example, when the identity feature is recalculated based on the second type correction image 520 shown in FIG. 5 , the credit feature may be recalculated using the user's face other than the mask area. In this case, when the second type corrected image is used, the amount of computation is slightly increased in the process of generating compared to the first type corrected image, but there may be an advantage in that the user's face outline shape information can be used as an identity feature.

다른 예를 들어, 제3 타입 수정 이미지를 기반으로 신원 특징을 재계산하는 경우, 사용자 얼굴 외곽선 형재 정보에 추가하여 사용자 얼굴의 피부 색깔 정부를 신원 특징으로 더 활용할 수 있다는 장점이 존재할 수 있다.As another example, when the identity feature is recalculated based on the third type corrected image, there may be an advantage that the skin color government of the user's face can be further utilized as the identity feature in addition to the user's face outline shape information.

이 때, 본 발명에서는 3가지 타입의 수정 이미지를 중 한가지를 선택적으로 이용하여 신원 특징을 재계산할 수 있다.In this case, in the present invention, the identity feature may be recalculated by selectively using one of the three types of corrected images.

이 때, 마스크 신원 인식 기능은 재계산된 신원 특징을 기반으로 수행될 수 있다. In this case, the mask identity recognition function may be performed based on the recalculated identity feature.

이 때, 신원 인식 기능의 종류를 고려하여 데이터베이스에 저장된 기본 참조 데이터 및 마스크 기반 참조 데이터 중 어느 하나를 기반으로 신원 인식을 수행할 수 있다. In this case, in consideration of the type of the identity recognition function, identity recognition may be performed based on any one of the basic reference data and the mask-based reference data stored in the database.

예를 들어 도 6을 참조하면, 본 발명에 따른 신원 인식 과정은 먼저 영상을 통해 검출된 사용자 얼굴(610)에 대한 신원 특징 벡터를 계산하고, 이를 기반으로 마스크 착용 여부를 판단할 수 있다. For example, referring to FIG. 6 , the identity recognition process according to the present invention may first calculate an identity feature vector for a user's face 610 detected through an image, and determine whether to wear a mask based on this.

만약, 도 6에 도시된 것처럼 사용자 얼굴(620)이 마스크를 착용하지 않은 경우에는 사전에 계산된 기본 신원 특징 벡터를 데이터베이스에 저장된 기본 참조 데이터와 비교하는 기본 신원 인식 기능(621)을 통해 사용자 얼굴에 대한 신원 인식을 수행할 수 있다.If the user's face 620 does not wear a mask as shown in FIG. 6 , the user's face through the basic identity recognition function 621 that compares the pre-calculated basic identity feature vector with the basic reference data stored in the database identity recognition can be performed.

또한, 도 6에 도시된 것처럼 사용자 얼굴(630)이 마스크를 착용한 경우에는 사용자 얼굴(630)에 대한 수정 이미지를 생성하고, 수정 이미지를 기반으로 재계산된 신원 특징 벡터를 데이터베이스에 저장된 마스크 기반 참조 데이터와 비교하는 마스크 신원 인식 기능(631)을 통해 마스크를 착용한 사용자 얼굴에 대한 신원 인식을 수행할 수 있다.In addition, as shown in FIG. 6 , when the user's face 630 wears a mask, a corrected image for the user's face 630 is generated, and an identity feature vector recalculated based on the corrected image is stored in the database based on the mask. Through the mask identity recognition function 631 comparing with reference data, identity recognition of the face of the user wearing the mask may be performed.

즉, 신원 인식 결과에 직접적인 영향을 주는 이미지를 그대로 이용하여 신원 인식을 수행하는 것이 아니라, 마스크 착용시 이에 따른 왜곡 영향력을 감소시킬 수 있는 방식으로 신원 인식을 수행할 수 있다. That is, instead of performing identity recognition by using an image that directly affects the identity recognition result, identity recognition may be performed in a way that can reduce the distortion influence when wearing a mask.

이에 따라, 신원 인식 대상 사용자가 마스크를 착용한 것으로 판단되는 경우, 그 영향력을 최소화하여 신원 인식기의 성능을 보조할 수 있다. Accordingly, when it is determined that the identity recognition target user wears the mask, the performance of the identity recognizer may be supported by minimizing its influence.

이와 같은 신원 인식 방법을 통해 기존에 학습된 신원 인식 모델을 변경 또는 가공하지 않으면서, 애드온 방식으로 마스크 환경에 대응 가능한 신원 인식 기술을 제공함으로써 마스크 착용으로 인해 기존의 신원 인식 모델의 성능이 저하되는 것을 억제할 수 있다.Through such an identity recognition method, without changing or processing the previously learned identity recognition model, by providing identity recognition technology that can respond to the mask environment in an add-on method, the performance of the existing identity recognition model deteriorates due to wearing a mask. can be restrained

또한, 마스크 착용 환경이 신원 인식 성능에 미치는 영향을 최소화하도록 신원 인식 기술을 개선할 수 있다.In addition, the identity recognition technology can be improved to minimize the impact of the mask wearing environment on the identity recognition performance.

또한, 신원 인식 대상자가 마스크를 착용한 경우, 마스크 착용 영역이 주는 외형적 특징의 영향력을 최소화하여 신원 인식 성능을 향상시킬 수 있다.In addition, when the person to be recognized wears the mask, the influence of the external features provided by the mask wearing area may be minimized to improve the identity recognition performance.

또한, 시간 및 비용의 부담 없이 기존의 시스템을 그대로 활용하면서 간단하게 인식 성능을 확장시킬 수 있는 신원 인식 기술을 제공할 수 있다.In addition, it is possible to provide an identity recognition technology capable of simply extending recognition performance while utilizing an existing system without burden of time and cost.

도 7는 본 발명의 일실시예에 따른 신원 인식 방법을 상세하게 나타낸 동작 흐름도이다.7 is a detailed operation flowchart illustrating an identity recognition method according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 신원 인식 방법은 먼저 영상에서 사용자 얼굴을 검출하고(S710), 검출된 사용자 얼굴에 대한 신원 특징을 계산할 수 있다(S720).Referring to FIG. 7 , the identity recognition method according to an embodiment of the present invention may first detect a user's face from an image (S710) and calculate an identity feature for the detected user's face (S720).

이 후, 신원 특징 및 신원 인식 장치에 애드온(ADD-ON)된 마스크 분류 기능을 이용하여 사용자 얼굴에 대한 마스크 착용 여부를 판단할 수 있다(S725).Thereafter, it may be determined whether or not to wear a mask on the user's face by using the identity feature and the mask classification function added-on to the identity recognition device (S725).

단계(S725)의 판단결과 마스크를 착용하지 않았으면, 신원 인식 장치가 기본 신원 인식 기능을 기반으로 기본 신원특징을 사용하여(S730) 데이터베이스에 저장된 기본 참조 데이터와 비교하는 방식으로 사용자 얼굴에 대한 신원 인식을 수행한다(S760).If it is determined in step S725 that the mask is not worn, the identity recognition device uses the basic identity features based on the basic identity recognition function (S730) to compare the identity of the user's face with the basic reference data stored in the database Recognition is performed (S760).

또한, 단계(S725)의 판단결과 마스크를 착용하였으면, 신원 인식 장치가 신원 인식 장치에 애드온(ADD-ON)된 마스크 신원 인식 기능을 기반으로 마스크 영역을 수정하여(S740) 사용자 얼굴에 상응하는 이미지를 수정하여 수정 이미지를 생성할 수 있다. In addition, if the mask is worn as a result of the determination in step S725, the identity recognition device corrects the mask area based on the mask identity recognition function added on to the identity recognition device (S740) to obtain an image corresponding to the user's face can be edited to create a modified image.

이 후, 수정 이미지를 기반으로 신원 특징을 재계산하고(S750), 재계산된 신원 특징과 데이터베이스에 저장된 마스크 기반 참조 데이터를 비교하여 사용자 얼굴에 대한 신원 인식을 수행할 수 있다(S760).Thereafter, the identity feature may be recalculated based on the corrected image (S750), and the recalculated identity feature may be compared with the mask-based reference data stored in the database to perform identity recognition on the user's face (S760).

도 8은 본 발명의 일실시예에 따른 신원 인식 장치를 나타낸 블록도이다.8 is a block diagram illustrating an identity recognition apparatus according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 신원 인식 장치는 통신부(810), 프로세서(820) 및 데이터베이스(830)를 포함한다.Referring to FIG. 8 , the identity recognition apparatus according to an embodiment of the present invention includes a communication unit 810 , a processor 820 , and a database 830 .

통신부(810)는네트워크와 같은 통신망을 통해 신원 인식을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.The communication unit 810 may serve to transmit/receive information necessary for identity recognition through a communication network such as a network. In this case, the network provides a path for transferring data between devices, and is a concept that encompasses both an existing network and a network that can be developed in the future.

예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.For example, the network is IP Network, which provides large-capacity data transmission and reception service and data service without interruption through Internet Protocol (IP), and All IP, which is an IP network structure that integrates different networks based on IP. ) network, etc., wired network, Wibro (Wireless Broadband) network, 3G mobile communication network including WCDMA, HSDPA (High Speed Downlink Packet Access) network and 3.5G mobile communication network including LTE network, 4 including LTE advanced It may be achieved by combining one or more of a generation mobile communication network, a satellite communication network, and a Wi-Fi network.

예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.For example, a network is a wired/wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile devices and with the outside of the mobile body, and a satellite that provides communication between an earth station and an earth station. It may be either a satellite communication network or a wired/wireless communication network, or a combination of two or more. Meanwhile, the transmission method standard of the network is not limited to the existing transmission method standard, and may include all transmission method standards to be developed in the future.

프로세서(820)는 영상에서 사용자 얼굴을 검출하고, 검출된 사용자 얼굴에 대한 신원 특징을 추출한다.The processor 820 detects a user's face from the image and extracts an identity feature of the detected user's face.

또한, 프로세서(820)는 신원 특징 및 신원 인식 장치에 애드온(ADD-ON)된 마스크 분류 기능을 이용하여 사용자 얼굴에 대한 마스크 착용 여부를 판단한다.In addition, the processor 820 determines whether to wear the mask on the user's face by using the identity feature and the mask classification function added-on to the identity recognition device.

이 때, 본 발명은 도 2에 도시된 것과 같은 add-on 형태로 마스크 분류 기능을 제공됨으로써 신원 인식 장치의 다른 기능에 영향을 주지 않으면서 마스크 분류 기능만을 업데이트하는 것이 가능할 수 있다. 즉, 기존의 신원 인식 기능을 그대로 사용하면서 지속적으로 업데이트된 마스크 분류 기능을 제공할 수 있기 때문에 기술의 발전으로 마스크 분류 기능이 향상되는 경우에도 보다 수월하게 업데이트된 기능을 적용할 수 있다.In this case, in the present invention, it may be possible to update only the mask classification function without affecting other functions of the identity recognition apparatus by providing the mask classification function in the form of an add-on as shown in FIG. 2 . In other words, since it is possible to provide a continuously updated mask classification function while using the existing identity recognition function as it is, even if the mask classification function is improved due to technological advancement, the updated function can be applied more easily.

또한, 프로세서(820)는 마스크를 착용하지 않았으면, 기본 신원 인식 기능을 기반으로 사용자 얼굴에 대한 신원 인식을 수행한다.Also, if the processor 820 does not wear a mask, the processor 820 performs identity recognition on the user's face based on a basic identity recognition function.

또한, 프로세서(820)는 등록을 위해 입력되는 복수의 영상들을 기반으로 데이터베이스에 기본 참조 데이터 및 마스크 기반 참조 데이터 중 적어도 하나를 등록한다.Also, the processor 820 registers at least one of basic reference data and mask-based reference data in the database based on a plurality of images input for registration.

또한, 프로세서(820)는 마스크를 착용하였으면, 애드온(ADD-ON)된 마스크 신원 인식 기능을 기반으로 사용자 얼굴에 대한 신원 인식을 수행한다.In addition, if the processor 820 wears a mask, the processor 820 performs identity recognition on the user's face based on an ADD-ON mask identity recognition function.

즉, 본 발명의 일실시예에 따르면, 도 2에는 도시하지 아니하였으나, 별도의 마스크 신원 인식기(미도시)를 신원 인식 장치에 ADD-ON되는 형태로 제공함으로써 마스크를 착용한 상태로 검출된 사용자 얼굴에 대한 신원 인식 성능을 향상시킬 수 있다.That is, according to an embodiment of the present invention, although not shown in FIG. 2 , a user detected while wearing a mask by providing a separate mask identity recognizer (not shown) in the form of being ADD-ON to the identity recognition device It is possible to improve the identity recognition performance of faces.

예를 들어, 도 4를 참조하면, 영상에서 검출된 사용자 얼굴(410)에서 마스크 영역에 포함된 하단 전체 영역의 값을 0으로 치환하여 하단이 가려진 제1 타입 수정 이미지(420)를 생성할 수 있다. 이 때, 제1 타입 수정 이미지는 하단 전체 영역을 0으로 치환하는 간단한 연산만으로 생성할 수 있다는 장점이 있다.For example, referring to FIG. 4 , in the user's face 410 detected in the image, the value of the entire lower region included in the mask region is substituted with 0 to generate the first type correction image 420 in which the lower part is hidden. there is. In this case, the first type correction image has an advantage that it can be generated only by a simple operation of replacing the entire lower area with 0.

또한, 도 6에 도시된 것처럼 사용자 얼굴(630)이 마스크를 착용한 경우에는 사용자 얼굴(630)에 대한 수정 이미지를 생성하고, 수정 이미지를 기반으로 재계산된 신원 특징 벡터를 데이터베이스에 저장된 마스크 기반 참조 데이터와 비교하는 마스크 신원 인식 기능(631)을 통해 마스크를 착용한 사용자 얼굴에 대한 신원 인식을 수행할 수 있다.In addition, as shown in FIG. 6 , when the user's face 630 wears a mask, a corrected image for the user's face 630 is generated, and an identity feature vector recalculated based on the corrected image is stored in the database based on the mask. Through the mask identity recognition function 631 comparing with reference data, identity recognition of a user's face wearing a mask may be performed.

즉, 신원 인식 결과에 직접적인 영향을 주는 이미지를 그대로 이용하여 신원 인식을 수행하는 것이 아니라, 마스크 착용시 이에 따른 왜곡 영향력을 감소시킬 수 있는 방식으로 신원 인식을 수행할 수 있다. That is, instead of performing identity recognition by using an image that directly affects the identity recognition result, identity recognition can be performed in a way that can reduce the distortion influence when wearing a mask.

데이터베이스(830)는 기본 참조 데이터 및 마스크 기반 참조 데이터 중 적어도 하나를 저장한다.The database 830 stores at least one of basic reference data and mask-based reference data.

또한, 데이터베이스(830)는 신원 인식 과정에서 발생하는 다양한 정보를 저장할 수도 있다.In addition, the database 830 may store various types of information generated during an identity recognition process.

이와 같은 신원 인식 장치를 이용함으로써 기존에 학습된 신원 인식 모델을 변경 또는 가공하지 않으면서, 애드온 방식으로 마스크 환경에 대응 가능한 신원 인식 기술을 제공함으로써 마스크 착용으로 인해 기존의 신원 인식 모델의 성능이 저하되는 것을 억제할 수 있다.By using such an identity recognition device, the performance of the existing identity recognition model deteriorates due to wearing a mask by providing an identity recognition technology that can respond to the mask environment in an add-on method without changing or processing the previously learned identity recognition model. can be prevented from becoming

또한, 신원 인식 대상자가 마스크를 착용한 경우, 마스크 착용 영역이 주는 외형적 특징의 영향력을 최소화하여 신원 인식 성능을 향상시킬 수 있다.In addition, when the person to be recognized wears a mask, the influence of the external features provided by the mask wearing area may be minimized to improve the identity recognition performance.

이상에서와 같이 본 발명에 따른 마스크 환경에 적응 가능한 신원 인식 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the configuration and method of the above-described embodiments are not limitedly applicable to the identity recognition method and apparatus for the identification adaptable to the mask environment according to the present invention, but the embodiments are subject to various modifications. All or part of each embodiment may be selectively combined and configured.

200, 610: 영상 210: add-on classifier
211: 마스크 분류기 410, 610, 620, 630: 사용자 얼굴
420: 제1 타입 수정 이미지 510: segmentation 이미지
510: 제2 타입 수정 이미지 810: 통신부
820: 프로세서 830: 데이터베이스200, 610: image 210: add-on classifier
211: mask classifier 410, 610, 620, 630: user face
420: first type correction image 510: segmentation image
510: second type correction image 810: communication unit
820: processor 830: database

Claims

extracting, by the identity recognizing apparatus, an identity feature of the user's face detected from the image;
determining, by the identity recognizing device, whether to wear a mask on the face of the user using the identity feature and a mask classification function added-on to the identity recognizing device; and
The identity recognition device performs identity recognition on the user's face based on any one of a basic identity recognition function and a mask identity recognition function added to the identity recognition device in consideration of whether the mask is worn step
including,
wherein the basic identity recognition function is performed based on the identity feature, and the mask identity recognition function is performed based on the recalculated identity feature.