KR20210009401A - Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation - Google Patents

Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation Download PDF

Info

Publication number
KR20210009401A
KR20210009401A KR1020210004279A KR20210004279A KR20210009401A KR 20210009401 A KR20210009401 A KR 20210009401A KR 1020210004279 A KR1020210004279 A KR 1020210004279A KR 20210004279 A KR20210004279 A KR 20210004279A KR 20210009401 A KR20210009401 A KR 20210009401A
Authority
KR
South Korea
Prior art keywords
illuminance
feature point
module
peripheral
storage module
Prior art date
Application number
KR1020210004279A
Other languages
Korean (ko)
Other versions
KR102322115B1 (en
Inventor
김영신
Original Assignee
엔트롤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190002712A external-priority patent/KR20200086489A/en
Application filed by 엔트롤 주식회사 filed Critical 엔트롤 주식회사
Priority to KR1020210004279A priority Critical patent/KR102322115B1/en
Publication of KR20210009401A publication Critical patent/KR20210009401A/en
Application granted granted Critical
Publication of KR102322115B1 publication Critical patent/KR102322115B1/en

Links

Images

Classifications

    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

Disclosed are an apparatus and a method for improving face recognition performance according to outdoor illuminance variation. The apparatus for improving face recognition performance according to outdoor illuminance variation includes: an infrared camera for photographing a face image of a subject; an image storage module for storing the face image photographed by the infrared camera; a peripheral illuminance extraction module for extracting peripheral illuminance of the subject from the face image stored in the image storage module; a feature point extraction module for extracting feature points from the face image stored in the image storage module; an illuminance/feature point storage module for pre-storing the peripheral illuminance and the feature points of the face image stored in the image storage module; an illuminance/feature point comparison module for comparing the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature points extracted from the feature point extraction module with the peripheral illuminance and feature points previously stored in the illuminance/feature point storage module, respectively, to output peripheral illuminance and feature points that are matched as a result of the comparison; and a face recognition module for recognizing and outputting a face image corresponding to the peripheral illuminance and feature points output from the illuminance/feature point comparison module in the image storage module.

Description

야외 조도 변화에 따른 얼굴 인식 성능 개선 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING FACE RECOGNITION PERFORMANCE IN ACCORDANCE TO OUTDOOR ILLUMINANCE VARIATION}Facial recognition performance improvement device and method according to changes in outdoor illumination {APPARATUS AND METHOD FOR IMPROVING FACE RECOGNITION PERFORMANCE IN ACCORDANCE TO OUTDOOR ILLUMINANCE VARIATION}

본 발명은 카메라 이미지의 얼굴 인식 기술에 관한 것으로서, 구체적으로는 얼굴 인식 성능 개선 장치 및 방법에 관한 것이며, 좀 더 구체적으로는 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치 및 방법에 관한 것이다.The present invention relates to a technology for recognizing a face of a camera image, specifically, to an apparatus and method for improving face recognition performance, and more specifically, to an apparatus and method for improving face recognition performance according to a change in outdoor illumination.

얼굴 인식 시스템은 출입 관리나 신원 확인 등의 다양한 분야의 생체 인식 기술 중 하나로 널리 이용되고 있다.Face recognition systems are widely used as one of biometric recognition technologies in various fields such as access control and identification.

얼굴 인식 기술은 일반적인 이미지가 이용되기도 하지만, 적외선 이미지는 밤이나 자연광이 부족한 장소에서도 높은 인식률을 갖는다.Although general images are used for facial recognition technology, infrared images have a high recognition rate even at night or in places where natural light is insufficient.

이에, 적외선 이미지를 이용한 얼굴 인식 기술이 더 유용할 수 있다.Accordingly, a face recognition technology using an infrared image may be more useful.

그런데, 실내 환경이 아닌 실외 환경에서는 자연광이 풍부하여 너무 많은 적외선이 피사체에 넓게 조사될 수 있다.However, in an outdoor environment other than an indoor environment, natural light is abundant and too much infrared rays may be widely irradiated to the subject.

따라서 피사체에 영향을 주는 조도의 변화가 심하게 되어 적외선 이미지의 인식에 현저한 왜곡이 생길 수 있다.Accordingly, a change in illuminance that affects the subject may be severe, resulting in significant distortion in the recognition of an infrared image.

얼굴 인식 기술에서는 눈, 코, 입 등의 특징점을 추출하게 되는데, 특징점 추출이 제대로 되지 않아 특징점의 유사도 판단이 어려운 경우가 발생하게 된다.In facial recognition technology, feature points such as eyes, nose, and mouth are extracted. However, since feature points are not properly extracted, it is difficult to determine the similarity of feature points.

도 1은 동일한 사용자에 대해 다양한 조도 변화 환경에서 촬영한 적외선 이미지를 나타낸다. 즉, 이러한 적외선 이미지에서는 동일한 사용자에 대해서도 특징점 추출 데이터가 동일하게 매칭되지 않고 서로 조금씩 다르게 나타날 수 있다.1 shows an infrared image captured by the same user in various environments of varying illuminance. That is, in such an infrared image, even for the same user, the feature point extraction data may not be identically matched and may appear slightly different from each other.

이에, 실외의 조도 변화 환경에서도 안정적인 인식률을 유지할 수 있는 방안이 요구된다.Accordingly, there is a need for a way to maintain a stable recognition rate even in an outdoor lighting environment.

10-2018-007989410-2018-0079894 10-087408810-0874088

본 발명의 목적은 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치를 제공하는 데 있다.An object of the present invention is to provide an apparatus for improving face recognition performance according to changes in outdoor illumination.

본 발명의 다른 목적은 야외 조도 변화에 따른 얼굴 인식 성능 개선 방법을 제공하는 데 있다.Another object of the present invention is to provide a method for improving face recognition performance according to changes in outdoor illumination.

상술한 본 발명의 목적에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치는, 피사체의 얼굴 이미지를 촬영하는 적외선 카메라; 상기 적외선 카메라에서 촬영된 얼굴 이미지를 저장하는 이미지 저장 모듈; 상기 이미지 저장 모듈에 저장된 얼굴 이미지에서 피사체의 주변 조도를 추출하는 주변 조도 추출 모듈; 상기 이미지 저장 모듈에 저장된 얼굴 이미지로부터 특징점을 추출하는 특징점 추출 모듈; 사용자의 얼굴 이미지의 주변 조도 및 기준 특징점을 미리 저장하는 조도/특징점 저장 모듈; 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 상기 조도/특징점 저장 모듈에 기 저장된 주변 조도 및 기준 특징점과 대비하고, 대비 결과 매칭(matching)되는 주변 조도 및 기준 특징점을 출력하는 조도/특징점 대비 모듈; 상기 조도/특징점 대비 모듈에서 출력된 주변 조도 및 기준 특징점에 대응되는 사용자를 인식하는 얼굴 인식 모듈을 포함하도록 구성될 수 있다.According to an object of the present invention, an apparatus for improving face recognition performance according to a change in outdoor illumination includes: an infrared camera for photographing a face image of a subject; An image storage module for storing a face image captured by the infrared camera; A peripheral illumination extraction module for extracting peripheral illumination of a subject from the face image stored in the image storage module; A feature point extraction module for extracting feature points from the face image stored in the image storage module; An illuminance/feature point storage module that stores the peripheral illuminance and reference feature points of the user's face image in advance; The ambient illuminance extracted from the ambient illuminance extraction module and the feature point extracted from the feature point extraction module are compared with the ambient illuminance and reference feature previously stored in the illuminance/feature storage module, and the surrounding illuminance and reference feature points matched as a result of the contrast An illuminance/characteristic point contrast module that outputs a; It may be configured to include a face recognition module that recognizes a user corresponding to the peripheral illumination output from the illumination/characteristic point contrast module and a reference characteristic point.

그리고 상기 적외선 카메라의 촬영시 상기 피사체를 조명하는 근적외선 램프를 더 포함하도록 구성될 수 있다.And it may be configured to further include a near-infrared lamp for illuminating the subject when the infrared camera is photographed.

여기서, 상기 조도/특징점 저장 모듈은, 주변 조도 인덱스 별로 기준 특징점을 저장하도록 구성될 수 있다.Here, the illuminance/characteristic point storage module may be configured to store reference characteristic points for each peripheral illuminance index.

그리고 상기 조도/특징점 대비 모듈은, 상기 주변 조도 추출 모듈에서 추출된 주변 조도와 동일한 조도의 기준 특징점을 상기 조도/특징점 저장 모듈에서 검색하여 상기 특징점 추출 모듈에서 추출된 특징점과 대비하고, 매칭되는 주변 조도 및 기준 특징점을 출력하도록 구성될 수 있다.And the illuminance/characteristic point contrast module searches the illuminance/characteristic point storage module for a reference feature point of the same illuminance as the peripheral illuminance extracted from the peripheral illuminance extraction module, compares it with the feature point extracted from the feature point extraction module, and matches surroundings It may be configured to output illuminance and reference feature points.

그리고 상기 조도/특징점 저장 모듈은, 상기 대비 결과 상기 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 있는 경우, 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장하도록 구성될 수 있다.And the illuminance/characteristic point storage module, when there is a reference feature point that matches at the same illuminance as the peripheral illuminance as a result of the comparison, the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module It may be configured to update and store additionally as ambient illuminance and reference feature points.

그리고 상기 조도/특징점 대비 모듈은, 상기 대비 결과 상기 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 없는 경우, 상기 주변 조도로부터 소정 범위 내의 조도를 갖는 기준 특징점을 상기 조도/특징점 저장 모듈에서 검색하여 상기 특징점 추출 모듈에서 추출된 특징점과 대비하고, 대비 결과 매칭되는 주변 조도 및 기준 특징점을 출력하도록 구성될 수 있다.And the illuminance/feature point contrast module, if there is no reference feature point matching at the same illuminance as the surrounding illuminance as a result of the contrast, the illuminance/feature point storage module searches for a reference feature point having an illuminance within a predetermined range from the surrounding illuminance, and the It may be configured to compare with the feature points extracted from the feature point extraction module, and output the surrounding illuminance and reference feature points that match as a result of the contrast.

그리고 상기 조도/특징점 저장 모듈은, 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 갱신 저장하도록 구성될 수 있다.In addition, the illuminance/characteristic point storage module may be configured to update and store the peripheral illuminance extracted from the peripheral illuminance extracting module and the feature point extracted from the feature point extracting module as the peripheral illuminance and reference feature points of a corresponding user.

한편, 상기 얼굴 인식 성능 개선 장치는, 출입 관리 시스템에 적용되도록 구성될 수 있다.Meanwhile, the apparatus for improving face recognition performance may be configured to be applied to an access management system.

상술한 본 발명의 다른 목적에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 방법은, 적외선 카메라가 피사체의 얼굴 이미지를 촬영하는 단계; 이미지 저장 모듈이 상기 적외선 카메라에서 촬영된 얼굴 이미지를 저장하는 단계; 주변 조도 추출 모듈이 상기 이미지 저장 모듈에 저장된 얼굴 이미지에서 피사체의 주변 조도를 추출하는 단계; 특징점 추출 모듈이 상기 이미지 저장 모듈에 저장된 얼굴 이미지로부터 특징점을 추출하는 단계; 조도/특징점 대비 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 조도/특징점 저장 모듈에 기 저장된 주변 조도 및 기준 특징점과 대비하는 단계; 상기 조도/특징점 대비 모듈이 상기 대비 결과 매칭(matching)되는 주변 조도 및 기준 특징점을 출력하는 단계; 얼굴 인식 모듈이 상기 조도/특징점 대비 모듈에서 출력된 주변 조도 및 기준 특징점에 대응되는 사용자를 인식하는 단계를 포함하도록 구성될 수 있다.According to another object of the present invention, a method for improving face recognition performance according to a change in outdoor illumination includes the steps of: capturing a face image of a subject by an infrared camera; Storing, by an image storage module, a face image photographed by the infrared camera; Extracting, by the peripheral illumination extraction module, the peripheral illumination of the subject from the face image stored in the image storage module; Extracting, by a feature point extraction module, a feature point from the face image stored in the image storage module; Comparing, by an illuminance/feature point contrast module, the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module with the peripheral illuminance and reference feature previously stored in the illuminance/feature storage module; Outputting, by the illuminance/characteristic point contrast module, a peripheral illuminance and a reference characteristic point matched as a result of the contrast; The face recognition module may be configured to include the step of recognizing a user corresponding to a reference feature point and a peripheral illuminance output from the illuminance/feature contrast module.

그리고 상기 조도/특징점 저장 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장하는 단계를 더 포함하도록 구성될 수 있다.And the illuminance / feature point storage module may be configured to further include the step of updating and storing the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module as the peripheral illuminance and reference feature point of the user. have.

여기서, 상기 대비 결과 매칭되는 경우, 상기 조도/특징점 저장 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장하는 단계는, 주변 조도 인덱스 별로 특징점을 저장하도록 구성될 수 있다.Here, when the contrast result is matched, the illuminance/feature point storage module updates and stores the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module as the peripheral illuminance and reference feature points of the user. The step may be configured to store feature points for each peripheral illumination index.

그리고 상기 조도/특징점 대비 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 조도/특징점 저장 모듈에 기 저장된 주변 조도 및 기준 특징점과 대비하는 단계는, 상기 대비 결과 상기 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 있는 경우, 상기 주변 조도 추출 모듈에서 추출된 주변 조도와 동일한 조도의 기준 특징점을 상기 조도/특징점 저장 모듈에서 검색하여 상기 특징점 추출 모듈에서 추출된 특징점과 대비하도록 구성될 수 있다.And the step of comparing, by the illuminance/feature contrast module, the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module with the ambient illuminance and reference feature previously stored in the illuminance/feature storage module, the contrast result When there is a reference feature point matched at the same illuminance as the peripheral illuminance, a reference feature point having the same illuminance as the peripheral illuminance extracted from the peripheral illuminance extraction module is searched in the illuminance/feature point storage module, and the feature point extracted from the feature point extraction module and It can be configured to be prepared.

그리고 상기 조도/특징점 대비 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 조도/특징점 저장 모듈에 기 저장된 주변 조도 및 기준 특징점과 대비하는 단계는, 상기 대비 결과 상기 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 없는 경우, 상기 주변 조도로부터 소정 범위 내의 조도를 갖는 기준 특징점을 상기 조도/특징점 저장 모듈에서 검색하여 상기 특징점 추출 모듈에서 추출된 특징점과 대비하도록 구성될 수 있다.And the step of comparing, by the illuminance/feature contrast module, the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module with the ambient illuminance and reference feature previously stored in the illuminance/feature storage module, the contrast result When there is no reference feature point matching at the same illuminance as the peripheral illuminance, a reference feature point having an illuminance within a predetermined range from the peripheral illuminance is searched in the illuminance/feature point storage module, and is configured to compare with the feature point extracted from the feature point extraction module. I can.

상술한 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치 및 방법에 의하면, 적외선이 풍부한 야외의 조도 변화가 심해지는 환경에서 주변 밝기별로 인식되는 특징점 데이터를 최대한 다양하게 보유하도록 구성됨으로써, 다양한 조도 변화의 환경에서도 적외선 이미지 상의 얼굴 인식 인식률을 높이는 효과가 있다.According to the above-described apparatus and method for improving face recognition performance according to changes in outdoor illuminance, by being configured to hold as diverse as possible feature point data recognized for each ambient brightness in an environment in which a change in illuminance in an outdoor rich in infrared rays is severe, environment of various illuminance changes Also, there is an effect of increasing the recognition rate of face recognition on an infrared image.

즉, 실사용시 동일인의 특징점 데이터로 판단되는 특징점 데이터들을 조도 변화별로 다양하게 자동으로 데이터베이스화하도록 구성됨으로써, 얼굴 인식 성능을 자체적으로 해당 실사용 환경에 적합하게 지속적으로 개선시킬 수 있는 효과가 있다.That is, the feature point data determined as the feature point data of the same person during actual use are configured to automatically database variously according to the change in illumination, so that the face recognition performance can be continuously improved to suit the actual use environment.

도 1은 조도 변화에 따른 다양한 적외선 이미지의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치의 블록 구성도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 특징점 대비의 모식도이다.
도 4는 본 발명의 일 실시예에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 방법의 흐름도이다.1 is an exemplary diagram of various infrared images according to a change in illuminance.
2 is a block diagram of an apparatus for improving face recognition performance according to a change in outdoor illumination according to an embodiment of the present invention.
3A to 3C are schematic diagrams comparing feature points according to an embodiment of the present invention.
4 is a flowchart of a method of improving face recognition performance according to a change in outdoor illumination according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and will be described in detail in specific details for carrying out the invention. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치의 블록 구성도이고, 도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 특징점 대비의 모식도이다.2 is a block diagram of an apparatus for improving face recognition performance according to a change in outdoor illumination according to an embodiment of the present invention, and FIGS. 3A to 3C are schematic diagrams comparing feature points according to an embodiment of the present invention.

먼저 도 2를 참조하면, 본 발명의 일 실시예에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치(100)는 적외선 카메라(110), 근적외선 램프(120), 이미지 저장 모듈(130), 주변 조도 추출 모듈(140), 특징점 추출 모듈(150), 조도/특징점 저장 모듈(160), 조도/특징점 대비 모듈(170), 얼굴 인식 모듈(180)을 포함하도록 구성될 수 있다.First, referring to FIG. 2, an apparatus 100 for improving face recognition performance according to a change in outdoor illumination according to an embodiment of the present invention includes an infrared camera 110, a near-infrared lamp 120, an image storage module 130, and ambient illumination It may be configured to include an extraction module 140, a feature point extraction module 150, an illuminance / feature point storage module 160, an illuminance / feature point contrast module 170, and a face recognition module 180.

야외 조도 변화에 따른 얼굴 인식 성능 개선 장치(100)는 야외의 변화 무쌍한 조도 변화에도 적외선 이미지를 통한 얼굴 인식 성능을 강건하게 확보하고 개선할 수 있도록 구성된다.The apparatus 100 for improving face recognition performance according to changes in outdoor illuminance is configured to reliably secure and improve face recognition performance through infrared images even with changes in outdoor illuminance.

특히, 얼굴 인식기를 설치 후 해당 장소의 조도 변화 환경에서 사용자의 적외선 얼굴 이미지에서 추출하는 특징점 데이터들을 다양한 조도 환경에서 확보하여 기준이 되는 데이터베이스에 업데이트하도록 구성됨으로써, 동일한 사용자에 대한 기준이 되는 특징점 데이터를 다양하게 확보하여 얼굴 인식 성능을 실사용 환경에서 점차적으로 개선해 나가도록 구성된다.In particular, after installing the face recognizer, the feature point data extracted from the infrared face image of the user in the lighting environment of the corresponding place is secured in various illuminance environments and is configured to be updated in the reference database, thereby providing the standard feature point data for the same user. It is configured to gradually improve the face recognition performance in a real-world environment by securing various values.

야외 조도 변화에 따른 얼굴 인식 성능 개선 장치(100)는 출입 관리 시스템, 신원 확인 시스템, CCTV 시스템 등에 적용될 수 있다.The apparatus 100 for improving face recognition performance according to changes in outdoor illumination may be applied to an access management system, an identification system, a CCTV system, and the like.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

적외선 카메라(110)는 피사체의 얼굴 이미지를 촬영하도록 구성될 수 있다.The infrared camera 110 may be configured to capture a face image of a subject.

근적외선 램프(120)는 적외선 카메라(110)의 촬영시 피사체를 조명하도록 구성될 수 있다.The near-infrared lamp 120 may be configured to illuminate a subject when the infrared camera 110 is photographed.

근적외선 램프(120)는 적외선 카메라(110)의 촬영을 위한 구성으로서, 적외선 카메라(110)의 촬영에 적합한 기준 적외선 량을 미리 설정해 두고 기준 적외선 량에 적합하게 적외선 량을 보충해주도록 구성될 수 있다. 즉, 적외선 측정 센서(미도시)를 이용하여 주변 환경의 적외선 량을 측정하고, 측정된 적외선 량을 기반으로 기준 적외선 량에 근접하게 근적외선 램프(120)가 적외선 량을 조정하여 피사체에 조사하도록 구성될 수 있다. 피사체의 얼굴 중 한쪽 면이 어둡게 나타나면, 해당 방향의 근적외선 램프(120)가 동작하도록 구성될 수 있다.The near-infrared lamp 120 is a component for photographing by the infrared camera 110, and may be configured to set a reference amount of infrared rays suitable for photographing by the infrared camera 110 in advance and supplement the amount of infrared rays appropriately to the reference amount of infrared rays. . That is, the infrared measurement sensor (not shown) is used to measure the amount of infrared rays in the surrounding environment, and based on the measured amount of infrared rays, the near-infrared lamp 120 adjusts the amount of infrared rays and irradiates the subject. Can be. When one surface of the subject's face is dark, the near-infrared lamp 120 in the corresponding direction may be configured to operate.

이미지 저장 모듈(130)은 적외선 카메라(110)에서 촬영된 얼굴 이미지를 저장하도록 구성될 수 있다.The image storage module 130 may be configured to store a face image photographed by the infrared camera 110.

주변 조도 추출 모듈(140)은 이미지 저장 모듈(130)에 저장된 얼굴 이미지에서 피사체의 주변 조도를 추출하도록 구성될 수 있다.The ambient illuminance extraction module 140 may be configured to extract the peripheral illuminance of the subject from the face image stored in the image storage module 130.

특징점 추출 모듈(150)은 이미지 저장 모듈(130)에 저장된 얼굴 이미지로부터 특징점을 추출하도록 구성될 수 있다. 특징점은 눈, 코, 입 등의 구성에 대한 좌표 구성으로서, 특징점을 통해 얼굴 인식과 사용자 식별이 가능하다.The feature point extraction module 150 may be configured to extract feature points from a face image stored in the image storage module 130. The feature point is a coordinate configuration for the composition of eyes, nose, and mouth, and face recognition and user identification are possible through the feature points.

조도/특징점 저장 모듈(160)은 사용자의 얼굴 이미지의 주변 조도 및 특징점을 미리 저장하도록 구성될 수 있다. 미리 사용자 얼굴 등록을 통해 해당 등록 시점의 주변 조도와 해당 등록 시점에 얼굴 이미지에서 추출된 특징점이 등록될 수 있다.The illuminance/characteristic point storage module 160 may be configured to store the peripheral illuminance and characteristic points of the user's face image in advance. Through the registration of the user's face in advance, the ambient illumination at the time of registration and the feature points extracted from the face image at the time of registration may be registered.

그런데, 해당 등록 시점에는 특정 조도 환경에서 등록되기 때문에 모든 조도 환경의 얼굴 이미지에 대한 특징점이 저장되는 것은 아니다.However, at the time of registration, the feature points for face images in all illumination environments are not stored because they are registered in a specific illumination environment.

조도/특징점 저장 모듈(160)은 주변 조도 인덱스 별로 특징점을 저장하도록 구성될 수 있다. 즉, 얼굴 이미지의 저장 시 해당 시점의 주변 조도와 특징점을 저장할 수 있는데, 각 사용자에 대해서 주변 조도 별로 특징점 데이터가 다양하게 저장될 수 있다.The illuminance/characteristic point storage module 160 may be configured to store characteristic points for each peripheral illuminance index. That is, when the face image is stored, peripheral illumination and feature points at a corresponding point in time may be stored, and feature point data for each user may be stored in various ways.

조도/특징점 대비 모듈(170)은 주변 조도 추출 모듈(140)에서 추출된 주변 조도 및 특징점 추출 모듈(150)에서 추출된 특징점을 조도/특징점 저장 모듈(160)에 기 저장된 주변 조도 및 기준 특징점과 대비하도록 구성될 수 있다. 조도/특징점 저장 모듈(160)에 기 저장된 주변 조도 및 기준 특징점은 얼굴 인식을 위한 기준값이 될 수 있다. 이러한 기준 특징점은 조도 변화에 따라 조금씩 다르게 나타되므로, 하나의 사용자에 대해서 주변 조도별로 기준 특징점이 많이 확보될수록 그 사용자에 대한 인식률은 높아지게 된다.The illuminance/characteristic point contrast module 170 uses the peripheral illuminance extracted from the peripheral illuminance extraction module 140 and the feature points extracted from the feature point extraction module 150 with the peripheral illuminance and reference feature points previously stored in the illuminance/characteristic point storage module 160. It can be configured to be prepared. The ambient illuminance and reference feature points previously stored in the illuminance/feature point storage module 160 may be reference values for face recognition. Since these reference feature points are slightly different according to changes in illuminance, the recognition rate for the user increases as more reference feature points are secured for each peripheral illuminance for one user.

조도/특징점 대비 모듈(170)은 위 대비 결과 매칭(matching)되는 주변 조도 및 기준 특징점을 출력하도록 구성될 수 있다. 주변 조도와 특징점의 대비 프로세스를 좀 더 구체적으로는 설명하면 다음과 같다.The illuminance/characteristic point contrast module 170 may be configured to output the surrounding illuminance and reference characteristic points matched as a result of the above contrast. The process of contrasting the surrounding illumination and the feature points will be described in more detail as follows.

먼저 조도/특징점 대비 모듈(170)이 주변 조도 추출 모듈(140)에서 추출된 주변 조도와 동일한 조도의 기준 특징점들을 조도/특징점 저장 모듈(160)에서 검색하여 특징점 추출 모듈(150)에서 추출된 특징점과 대비하도록 구성될 수 있다.First, the illuminance/feature contrast module 170 searches for reference feature points of the same illuminance as the ambient illuminance extracted from the peripheral illuminance extraction module 140 in the illuminance/feature storage module 160, and the feature points extracted from the feature point extraction module 150 It can be configured to contrast.

그리고 조도/특징점 대비 모듈(170)은 그 주변 조도에서 매칭되는 기준 특징점을 출력하도록 구성될 수 있다.In addition, the illuminance/characteristic point contrast module 170 may be configured to output a reference characteristic point matched in the surrounding illuminance.

만약 조도/특징점 저장 모듈(160)에 앞서 추출된 주변 조도 및 특징점과 동일한 주변 조도 및 기준 특징점이 저장되어 있으면 그 매칭되는 주변 조도 및 기준 특징점을 출력할 수 있으나, 동일한 주변 조도와 기준 특징점이 저장되어 있지 않으면 동일한 사용자의 기준 특징점을 찾아내기가 쉽지 않다.If the ambient illuminance and reference feature points that are the same as the ambient illuminance and feature points extracted prior to the illuminance/feature point storage module 160 are stored, the matching peripheral illuminance and reference feature points can be output, but the same peripheral illuminance and reference feature points are stored. If not, it is difficult to find the reference feature points of the same user.

이때, 조도/특징점 대비 모듈(170)은 대략 어느 정도의 유사 범위 내에서 매칭되는 기준 특징점을 찾아낼 수 있다.In this case, the illuminance/characteristic point comparison module 170 may find a matching reference characteristic point within an approximate similarity range.

도 3a는 조도/특징점 저장 모듈(160)에 등록된 얼굴 이미지 (A)의 기준 특징점 (A-1)과 동일한 주변 조도에서 촬영하여 추출한 특징점 (A-2)의 매칭 결과가 매우 높은 수치로 나오는 것을 알 수 있다(A-1:A-2 매칭 스코어 90, 인증 성공 기준 70 = 인증 성공).3A shows the matching result of the feature point (A-2) extracted by photographing at the same peripheral illumination as the reference feature point (A-1) of the face image (A) registered in the illuminance/feature point storage module 160 is displayed as a very high value. It can be seen that (A-1:A-2 matching score 90, authentication success criterion 70 = authentication success).

여기서, 위 대비 결과 매칭되는 기준 특징점이 있는 경우, 조도/특징점 저장 모듈(160)은 주변 조도 추출 모듈(140)에서 추출된 주변 조도 및 특징점 추출 모듈(150)에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장하도록 구성될 수 있다.Here, when there is a reference feature point matching as a result of the above contrast, the illuminance/feature point storage module 160 uses the peripheral illuminance extracted from the peripheral illuminance extraction module 140 and the feature point extracted from the feature point extraction module 150 to the user's surroundings. It may be configured to update and store additionally as illuminance and reference feature points.

즉, 동일한 주변 조도에서도 동일한 사용자의 특징점이 약간 다르게 나올 수 있으므로, 이러한 특징점도 의미있는 기준 특징점으로서 조도/특징점 저장 모듈(160)에 추가 갱신될 수 있다.That is, since the same user's feature points may appear slightly different in the same ambient illuminance, such feature points may be additionally updated in the illuminance/feature point storage module 160 as meaningful reference feature points.

다음으로, 위 대비 결과 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 없는 경우, 조도/특징점 대비 모듈(170)은 주변 조도로부터 소정 범위 내의 조도를 갖는 기준 특징점을 조도/특징점 저장 모듈(160)에서 검색하여 특징점 추출 모듈(150)에서 추출된 특징점과 대비하도록 구성될 수 있다.Next, if there is no reference feature point matching at the same illuminance as the surrounding illuminance as a result of the above contrast, the illuminance/feature contrast module 170 stores a reference feature point having an illuminance within a predetermined range from the surrounding illuminance in the illuminance/feature point storage module 160. It may be configured to search and compare the feature points extracted by the feature point extraction module 150.

그리고 조도/특징점 대비 모듈(170)은 위 대비 결과 매칭되는 주변 조도 및 특징점을 출력하도록 구성될 수 있다.In addition, the illuminance/characteristic point contrast module 170 may be configured to output the surrounding illuminance and characteristic points matched as a result of the above contrast.

이때, 조도/특징점 대비 모듈(170)은 대략 어느 정도의 유사 범위 내에서 매칭되는 특징점을 찾아낼 수 있다.In this case, the illuminance/characteristic point comparison module 170 may find a matching feature point within an approximately certain similarity range.

도 3b는 조도/특징점 저장 모듈(160)에 등록된 얼굴 이미지 (A)의 기준 특징점 (A-1)과 주변 조도가 약간 더 밝을 때 촬영하여 추출한 특징점 (B-1)의 매칭 결과가 도 3a보다는 다소 낮은 수치로 나오는 것을 알 수 있다(A-1:A-2 매칭 스코어 75, 인증 성공 기준 70 = 인증 성공). 하지만, 매칭 스코어 75가 인증 성공 기준 70 이상이므로, 동일한 얼굴인 것으로 판단할 수 있다.3B shows the matching result of the reference feature point (A-1) of the face image (A) registered in the illumination/characteristic point storage module 160 and the feature point (B-1) extracted by photographing when the surrounding illumination is slightly brighter. It can be seen that the number is slightly lower than that (A-1:A-2 matching score of 75, authentication success criterion 70 = authentication success). However, since the matching score of 75 is equal to or greater than the authentication success criterion 70, it may be determined that the face is the same.

여기서, 조도/특징점 저장 모듈(160)은 주변 조도 추출 모듈(140)에서 추출된 주변 조도 및 특징점 추출 모듈(150)에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장하도록 구성될 수 있다. 주변 조도가 달라지면 특징점이 다소 다르게 나오므로, 이러한 특징점은 의미 있는 기준 특징점으로서 조도/특징점 저장 모듈(160)에 추가 갱신될 수 있다.Here, the illuminance/feature point storage module 160 is configured to update and store the peripheral illuminance extracted from the peripheral illuminance extraction module 140 and the feature point extracted from the feature point extraction module 150 as the user's peripheral illuminance and reference feature point. Can be. Since the feature points appear slightly different when the ambient illuminance is different, these feature points may be additionally updated in the illuminance/feature point storage module 160 as a meaningful reference feature point.

위 프로세스를 통해서도 대비 결과 유사한 특징점이 없으면, 등록된 사용자가 아닌 것으로 볼 수 있다.Even through the above process, if there are no similar features as a result of the contrast, it can be considered that the registered user is not.

즉, 도 3c는 조도/특징점 저장 모듈(160)에 등록된 얼굴 이미지 (A)의 특징점 (A-1)과 조도/특징점 저장 모듈(160)에 등록된 얼굴 이미지 (B)의 특징점 (B-1)에 대한 촬영 이미지의 특징점 (B-2)의 매칭 결과를 각각 나타낸다(A-1:B-2 매칭 스코어 65, 인증 성공 기준 70 = 인증 실패이고, B-1:B-2 매칭 스코어 85, 인증 성공 기준 70 = 인증 성공). B-2는 B-1과 동일한 사용자의 특징점으로 판단할 수 있고, B-2는 A-1과는 다른 사용자의 특징점으로 판단할 수 있다.That is, FIG. 3C is a feature point (A-1) of the face image (A) registered in the illumination/characteristic point storage module 160 and a feature point (B-) of the face image (B) registered in the illumination/characteristic point storage module 160 Each of the matching results of the feature point (B-2) of the photographed image for 1) is shown (A-1:B-2 matching score 65, authentication success criterion 70 = authentication failure, B-1:B-2 matching score 85 , Authentication success criterion 70 = authentication success). B-2 may be determined as a feature point of the same user as B-1, and B-2 may be determined as a feature point of a user different from A-1.

얼굴 인식 모듈(180)은 조도/특징점 대비 모듈(170)에서 출력된 주변 조도 및 기준 특징점에 대응되는 사용자를 조도/특징점 저장 모듈(160)에서 검색하여 사용자를 인식하도록 구성될 수 있다.The face recognition module 180 may be configured to recognize a user by searching for a user corresponding to the peripheral illumination output from the illumination/characteristic point contrast module 170 and the reference characteristic point from the illumination/characteristic point storage module 160.

도 3은 본 발명의 일 실시예에 따른 야외 조도 변화에 따른 얼굴 인식 성능 개선 방법의 흐름도이다.3 is a flowchart of a method for improving face recognition performance according to a change in outdoor illumination according to an embodiment of the present invention.

도 4를 참조하면, 적외선 카메라(110)가 피사체의 얼굴 이미지를 촬영한다(S101).4, the infrared camera 110 photographs a face image of a subject (S101).

다음으로, 이미지 저장 모듈(130)이 적외선 카메라(110)에서 촬영된 얼굴 이미지를 저장한다(S102).Next, the image storage module 130 stores the face image photographed by the infrared camera 110 (S102).

다음으로, 주변 조도 추출 모듈(140)이 이미지 저장 모듈(130)에 저장된 얼굴 이미지에서 피사체의 주변 조도를 추출한다(S103).Next, the peripheral illumination extraction module 140 extracts the peripheral illumination of the subject from the face image stored in the image storage module 130 (S103).

다음으로, 특징점 추출 모듈(150)이 이미지 저장 모듈(130)에 저장된 얼굴 이미지로부터 특징점을 추출한다(S104).Next, the feature point extraction module 150 extracts feature points from the face image stored in the image storage module 130 (S104).

다음으로, 조도/특징점 대비 모듈(170)이 주변 조도 추출 모듈(140)에서 추출된 주변 조도 및 특징점 추출 모듈(150)에서 추출된 특징점을 조도/특징점 저장 모듈(160)에 기 저장된 주변 조도 및 기준 특징점과 대비한다(S105).Next, the ambient illuminance extracted from the ambient illuminance extraction module 140 and the ambient illuminance extracted from the feature point extraction module 150 by the illuminance/characteristic point contrast module 170 and the ambient illuminance previously stored in the illuminance/feature storage module 160 It contrasts with the reference feature point (S105).

이때, 조도/특징점 대비 모듈(170)은 주변 조도 추출 모듈(140)에서 추출된 주변 조도와 동일한 조도의 특징점을 조도/특징점 저장 모듈(160)에서 검색하여 특징점 추출 모듈(150)에서 추출된 특징점과 대비하도록 구성될 수 있다.At this time, the illuminance/feature contrast module 170 searches for a feature point of the same illuminance as the peripheral illuminance extracted from the peripheral illuminance extraction module 140 by the illuminance/feature point storage module 160, and the feature point extracted by the feature point extraction module 150 It can be configured to contrast.

여기서, 위 대비 결과 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 있는 경우, 주변 조도 추출 모듈(140)에서 추출된 주변 조도와 동일한 조도의 기준 특징점을 조도/특징점 저장 모듈(160)에서 검색하여 특징점 추출 모듈(150)에서 추출된 특징점과 대비하도록 구성될 수 있다.Here, when there is a reference feature point matching at the same illuminance as the surrounding illuminance as a result of the above contrast, the reference feature point having the same illuminance as the peripheral illuminance extracted from the peripheral illuminance extraction module 140 is searched by the illuminance/feature point storage module 160 and the feature point It may be configured to contrast with the feature points extracted by the extraction module 150.

그리고 위 대비 결과 주변 조도와 동일한 조도에서 매칭되는 기준 특징점이 없는 경우, 주변 조도로부터 소정 범위 내의 조도를 갖는 기준 특징점을 조도/특징점 저장 모듈(160)에서 검색하여 특징점 추출 모듈(140)에서 추출된 특징점과 대비하도록 구성될 수 있다.And if there is no reference feature point matching at the same illuminance as the surrounding illuminance as a result of the above contrast, the illuminance/feature storage module 160 searches for a reference feature point having an illuminance within a predetermined range from the surrounding illuminance, and is extracted from the feature point extraction module 140. It can be configured to contrast with feature points.

다음으로, 조도/특징점 대비 모듈(170)이 대비 결과 매칭(matching)되는 주변 조도 및 기준 특징점을 출력한다(S106).Next, the illuminance/characteristic point contrast module 170 outputs the surrounding illuminance and the reference characteristic point to which the contrast result is matched (S106).

다음으로, 얼굴 인식 모듈(180)이 조도/특징점 대비 모듈(170)에서 출력된 주변 조도 및 기준 특징점에 대응되는 사용자를 인식한다(S107). 이때, 조도/특징점 대비 모듈(170)에서 출력된 주변 조도 및 특징점에 대응되는 사용자가 없는 경우, 얼굴 인식 모듈(180)은 인식되는 사용자가 없음을 출력하고 경고음을 출력할 수 있다(S107-1).Next, the face recognition module 180 recognizes a user corresponding to the peripheral illumination output from the illumination/characteristic point contrast module 170 and the reference characteristic point (S107). In this case, when there is no user corresponding to the peripheral illumination and the characteristic point output from the illumination/characteristic point contrast module 170, the face recognition module 180 may output that there is no user to be recognized and output a warning sound (S107-1). ).

다음으로, 조도/특징점 저장 모듈(160)이 주변 조도 추출 모듈(140)에서 추출된 주변 조도 및 특징점 추출 모듈(150)에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장한다(S108). 여기서, 조도/특징점 저장 모듈(160)이 주변 조도 인덱스 별로 특징점을 저장하도록 구성될 수 있다.Next, the illuminance/feature point storage module 160 adds the peripheral illuminance extracted from the peripheral illuminance extraction module 140 and the feature point extracted from the feature point extraction module 150 as the peripheral illuminance and reference feature point of the corresponding user, and stores the update. (S108). Here, the illuminance/characteristic point storage module 160 may be configured to store characteristic points for each peripheral illuminance index.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the above embodiments, those skilled in the art can understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention described in the following claims. There will be.

110: 적외선 카메라
120: 근적외선 램프
130: 이미지 저장 모듈
140: 주변 조도 추출 모듈
150: 특징점 추출 모듈
160: 조도/특징점 저장 모듈
170: 조도/특징점 대비 모듈
180: 얼굴 인식 모듈110: infrared camera
120: near-infrared lamp
130: image storage module
140: ambient light extraction module
150: feature point extraction module
160: illuminance/characteristic point storage module
170: illuminance/characteristic point contrast module
180: face recognition module

Claims (4)

해당 장소의 조도 변화 환경에서 사용자의 적외선 얼굴 이미지에서 추출하는 특징점 데이터들을 다양한 조도 환경에서 확보하여 기준이 되는 데이터베이스에 업데이트하도록 구성된 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치에 있어서,
피사체의 얼굴 이미지를 촬영하는 적외선 카메라;
상기 적외선 카메라에서 촬영된 얼굴 이미지를 저장하는 이미지 저장 모듈;
상기 이미지 저장 모듈에 저장된 얼굴 이미지에서 피사체의 주변 조도를 추출하는 주변 조도 추출 모듈;
상기 이미지 저장 모듈에 저장된 얼굴 이미지로부터 특징점을 추출하는 특징점 추출 모듈;
사용자의 얼굴 이미지의 주변 조도 및 기준 특징점을 미리 저장하는 조도/특징점 저장 모듈;
상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 상기 조도/특징점 저장 모듈에 기 저장된 주변 조도 및 기준 특징점과 대비하고, 대비 결과 매칭(matching)되는 주변 조도 및 기준 특징점을 출력하는 조도/특징점 대비 모듈;
상기 조도/특징점 대비 모듈에서 출력된 주변 조도 및 기준 특징점에 대응되는 사용자를 인식하는 얼굴 인식 모듈; 및
상기 적외선 카메라의 촬영시 상기 피사체를 조명하는 근적외선 램프;를 포함하는 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치.
In an apparatus for improving face recognition performance according to a change in outdoor illuminance configured to secure feature point data extracted from an infrared face image of a user in an illuminance change environment of a corresponding place in various illuminance environments and update to a reference database,
An infrared camera that takes an image of a subject's face;
An image storage module for storing a face image captured by the infrared camera;
A peripheral illumination extraction module for extracting peripheral illumination of a subject from the face image stored in the image storage module;
A feature point extraction module for extracting feature points from the face image stored in the image storage module;
An illuminance/feature point storage module that stores the peripheral illuminance and reference feature points of the user's face image in advance;
The ambient illuminance extracted from the ambient illuminance extraction module and the feature point extracted from the feature point extraction module are compared with the ambient illuminance and reference feature previously stored in the illuminance/feature storage module, and the surrounding illuminance and reference feature points matched as a result of the contrast An illuminance/characteristic point contrast module that outputs a;
A face recognition module for recognizing a user corresponding to a reference feature point and surrounding illumination output from the illuminance/feature contrast module; And
An apparatus for improving face recognition performance according to a change in outdoor illuminance including a near-infrared lamp that illuminates the subject when the infrared camera is photographed.
 제1항에 있어서, 상기 조도/특징점 저장 모듈은,
주변 조도 인덱스 별로 기준 특징점을 저장하도록 구성되는 것을 특징으로 하는 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치.
The method of claim 1, wherein the illuminance/characteristic point storage module,
An apparatus for improving face recognition performance according to a change in outdoor illumination, characterized in that configured to store reference feature points for each peripheral illumination index.
 제1항에 있어서, 상기 조도/특징점 대비 모듈은,
상기 주변 조도 추출 모듈에서 추출된 주변 조도와 동일한 조도의 기준 특징점을 상기 조도/특징점 저장 모듈에서 검색하여 상기 특징점 추출 모듈에서 추출된 특징점과 대비하고, 매칭되는 주변 조도 및 기준 특징점을 출력하도록 구성되는 것을 특징으로 하는 야외 조도 변화에 따른 얼굴 인식 성능 개선 장치.
The method of claim 1, wherein the illuminance/characteristic point contrast module,
A reference feature point of the same illuminance as the peripheral illuminance extracted from the peripheral illuminance extraction module is searched by the illuminance/feature point storage module, compared with the feature point extracted from the feature point extraction module, and output matching surrounding illuminance and reference feature point An apparatus for improving face recognition performance according to a change in outdoor illumination, characterized in that.
 해당 장소의 조도 변화 환경에서 사용자의 적외선 얼굴 이미지에서 추출하는 특징점 데이터들을 다양한 조도 환경에서 확보하여 기준이 되는 데이터베이스에 업데이트하도록 구성된 얼굴 인식 성능 개선 장치를 이용한 야외 조도 변화에 따른 얼굴 인식 성능 개선 방법에 있어서,
적외선 카메라가 피사체의 얼굴 이미지를 촬영하는 단계;
이미지 저장 모듈이 상기 적외선 카메라에서 촬영된 얼굴 이미지를 저장하는 단계;
주변 조도 추출 모듈이 상기 이미지 저장 모듈에 저장된 얼굴 이미지에서 피사체의 주변 조도를 추출하는 단계;
특징점 추출 모듈이 상기 이미지 저장 모듈에 저장된 얼굴 이미지로부터 특징점을 추출하는 단계;
조도/특징점 대비 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 조도/특징점 저장 모듈에 기 저장된 주변 조도 및 기준 특징점과 대비하는 단계;
상기 조도/특징점 대비 모듈이 상기 대비 결과 매칭(matching)되는 주변 조도 및 기준 특징점을 출력하는 단계;
얼굴 인식 모듈이 상기 조도/특징점 대비 모듈에서 출력된 주변 조도 및 기준 특징점에 대응되는 사용자를 인식하는 단계; 및
상기 조도/특징점 대비 모듈의 대비 결과 매칭이 되는 경우, 상기 조도/특징점 저장 모듈이 상기 주변 조도 추출 모듈에서 추출된 주변 조도 및 상기 특징점 추출 모듈에서 추출된 특징점을 해당 사용자의 주변 조도 및 기준 특징점으로서 추가하여 갱신 저장하는 단계;를 포함하는 것을 특징으로 하는 야외 조도 변화에 따른 얼굴 인식 성능 개선 방법.
A method for improving face recognition performance according to changes in outdoor illumination using a facial recognition performance improvement device configured to obtain feature point data extracted from the user's infrared face image in various illumination environments and update it to a reference database in the illumination change environment of the corresponding place. In,
Capturing a face image of the subject by an infrared camera;
Storing, by an image storage module, a face image photographed by the infrared camera;
Extracting, by the peripheral illumination extraction module, the peripheral illumination of the subject from the face image stored in the image storage module;
Extracting, by a feature point extraction module, a feature point from the face image stored in the image storage module;
Comparing, by an illuminance/feature point contrast module, the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module with the peripheral illuminance and reference feature previously stored in the illuminance/feature storage module;
Outputting, by the illuminance/feature point contrast module, a peripheral illuminance and a reference feature point matched by the contrast result;
Recognizing, by a face recognition module, a user corresponding to the peripheral illumination output from the illumination/characteristic point contrast module and a reference characteristic point; And
When the contrast result of the illuminance/feature point versus module is matched, the illuminance/feature point storage module uses the peripheral illuminance extracted from the peripheral illuminance extraction module and the feature point extracted from the feature point extraction module as the peripheral illuminance and reference feature point of the user. The method for improving face recognition performance according to a change in outdoor illuminance, comprising: adding and updating and storing.
KR1020210004279A 2019-01-09 2021-01-12 Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation KR102322115B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210004279A KR102322115B1 (en) 2019-01-09 2021-01-12 Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190002712A KR20200086489A (en) 2019-01-09 2019-01-09 Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation
KR1020210004279A KR102322115B1 (en) 2019-01-09 2021-01-12 Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002712A Division KR20200086489A (en) 2019-01-09 2019-01-09 Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation

Publications (2)

Publication Number Publication Date
KR20210009401A true KR20210009401A (en) 2021-01-26
KR102322115B1 KR102322115B1 (en) 2021-11-04

Family

ID=74310203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004279A KR102322115B1 (en) 2019-01-09 2021-01-12 Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation

Country Status (1)

Country Link
KR (1) KR102322115B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070092007A (en) * 2006-03-08 2007-09-12 포스앤핏 주식회사 Apparatus for three dimensional scanning
KR20080095441A (en) * 2007-04-24 2008-10-29 삼성전자주식회사 Face detecting method and apparatus
KR100874088B1 (en) 2007-05-28 2008-12-16 에스케이 텔레콤주식회사 Face Recognition Method and System Using Image Shift Sensing
KR20170026999A (en) * 2015-09-01 2017-03-09 주식회사 셀바스에이아이 Method for pre-processing image data, computer readable medium including set of commands for performing the same and optical object recognition appratus using the same
KR20180079894A (en) 2017-01-03 2018-07-11 한국전자통신연구원 System and method for providing face recognition information and server using the method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070092007A (en) * 2006-03-08 2007-09-12 포스앤핏 주식회사 Apparatus for three dimensional scanning
KR20080095441A (en) * 2007-04-24 2008-10-29 삼성전자주식회사 Face detecting method and apparatus
KR100874088B1 (en) 2007-05-28 2008-12-16 에스케이 텔레콤주식회사 Face Recognition Method and System Using Image Shift Sensing
KR20170026999A (en) * 2015-09-01 2017-03-09 주식회사 셀바스에이아이 Method for pre-processing image data, computer readable medium including set of commands for performing the same and optical object recognition appratus using the same
KR20180079894A (en) 2017-01-03 2018-07-11 한국전자통신연구원 System and method for providing face recognition information and server using the method

Also Published As

Publication number Publication date
KR102322115B1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
Singh et al. Face detection and recognition system using digital image processing
US20060110014A1 (en) Expression invariant face recognition
JP4241763B2 (en) Person recognition apparatus and method
WO2019071664A1 (en) Human face recognition method and apparatus combined with depth information, and storage medium
KR102288302B1 (en) Authentication method and authentication apparatus using infrared ray(ir) image
US11756336B2 (en) Iris authentication device, iris authentication method, and recording medium
US20210334581A1 (en) Method for authentication or identification of an individual
WO2005096216A1 (en) Face detection and recognition using pose-specific detectors and pose-specific recognizers
Tayal et al. Automatic face detection using color based segmentation
KR100983346B1 (en) System and method for recognition faces using a infra red light
WO2004042658A1 (en) Method for cerficating individual, iris registering device, system for certificating iris, and program for cerficating individual
US7158099B1 (en) Systems and methods for forming a reduced-glare image
US20210256244A1 (en) Method for authentication or identification of an individual
JP2014106794A (en) Face authentication device, authentication method and program thereof, and information apparatus
KR20070105074A (en) Method of managing image in a mobile communication terminal
KR100467152B1 (en) Personal authentication method of face recognition system
KR102322115B1 (en) Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation
US10621419B2 (en) Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
Syambas et al. Image processing and face detection analysis on face verification based on the age stages
KR20200086489A (en) Apparatus and method for improving face recognition performance in accordance to outdoor illuminance variation
JP4369187B2 (en) Personal identification device
US20210191977A1 (en) Modality mapping for visual search
CN109741243B (en) Color sketch image generation method and related product
TW202111602A (en) Method for establishing biometric database, method for facial recognition and system thereof
KR20210076519A (en) System for management entrance and exit based on face recognition using data augmentation

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right