WO2016163755A1 - 품질 측정 기반의 얼굴 인식 방법 및 장치 - Google Patents
품질 측정 기반의 얼굴 인식 방법 및 장치 Download PDFInfo
- Publication number
- WO2016163755A1 WO2016163755A1 PCT/KR2016/003608 KR2016003608W WO2016163755A1 WO 2016163755 A1 WO2016163755 A1 WO 2016163755A1 KR 2016003608 W KR2016003608 W KR 2016003608W WO 2016163755 A1 WO2016163755 A1 WO 2016163755A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- face
- face image
- detected
- face recognition
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000001186 cumulative effect Effects 0.000 claims description 24
- 238000005315 distribution function Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 18
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
Definitions
- the present invention relates to a face recognition method and apparatus.
- Facial recognition technology is still known to have many difficulties when applied in a real environment where the environment is not well controlled.
- problems such as a low resolution face image acquisition, a light change, a face pose change, an alignment problem, and the like are present, and when applied to a real environment, it is known that the face recognition performance is greatly deteriorated.
- Research on face recognition in such an environment is required.
- the face image in the access control system is obtained in the form of a video, where processing and recognizing the face image every frame is undesirable in terms of performance and time efficiency. Therefore, there is a need for an alternative method for performing robust face recognition as well as efficient face recognition for an automatic access control system.
- the present invention provides an efficient face recognition method and apparatus based on face image quality measurement.
- the present invention provides an efficient method and apparatus for measuring quality with respect to face pose and alignment.
- the present invention provides an efficient method and apparatus for measuring the quality regarding the blur of a face image.
- the present invention provides an efficient method and apparatus for measuring the quality of the brightness of the face image.
- a face image is detected from an input video image, the quality of the detected face image is measured to determine whether the detected face image is a face recognition image, When the detected face image is determined as a face recognition image, facial feature information is extracted from the detected face image, and the face recognition is performed using the extracted face feature information.
- the quality depends on the quality of the face pose and alignment, the quality of the blur of the face image, or the brightness of the face image. It characterized by including at least one of the quality.
- the step of determining whether the image is a face recognition image is related to the quality of the face pose and alignment and the blur of the detected face image according to the priority of the quality measurement. And at least one of a quality or a quality related to the brightness of the detected face image is sequentially or hierarchically measured.
- the step of determining whether the face recognition image is a reconstruction of the detected face image using a training face image and a contribution factor, and the reconstruction And calculating an error between the detected face image and the detected face image, and comparing the error with the first threshold value to determine whether the detected face image is the face recognition image.
- the detected face image is determined as the face recognition image.
- the detected face image is determined as the face recognition image
- determining whether the face recognition image is the same converting the detected face image into a frequency domain
- generating a cumulative distribution function using the magnitude spectrum of the frequency domain and re-determining whether the selected face image is the face recognition image based on a comparison between the kurtosis value of the generated cumulative distribution function and a second threshold value. It is characterized by.
- the detected face image is re-determined as the face recognition image.
- the kurtosis value is a measure for determining whether the detected face image is a blurred image.
- the detected face image when the detected face image is re-determined as the face recognition image, determining whether the face recognition image is a face histogram analysis of the detected face image A closeness of brightness is calculated through the control, and the detected face image is selected as the face recognition image based on a comparison between the calculated similarity and a third threshold value.
- the detected face image is selected as the face recognition image.
- the face recognition apparatus based on the quality measurement may include a preprocessing unit that detects a face image from an input video image, and determines whether the detected face image is a face recognition image by measuring a quality of the detected face image.
- the face image selection unit when the detected face image is determined as a face recognition image, the face recognition unit extracts face feature information from the detected face image, and performs the face recognition using the extracted face feature information. Characterized in that it comprises a classification unit.
- the quality depends on the quality of the face pose and alignment, the quality of the blur of the face image, or the brightness of the face image. It characterized by including at least one of the quality.
- the face recognition image is characterized by means of an image usable for face recognition.
- the face image selection unit a pose / alignment measurement unit for measuring the quality of the face pose and alignment, measuring the quality of the blur of the detected face image And at least one of a blur measuring unit or a brightness measuring unit measuring a quality of brightness of the detected face image.
- the pose / alignment measurer reconstructs the detected face image by using a training face image and a contribution factor, and reconstructs the detected face image.
- the error between the detected face images is calculated, and the error is compared with the first threshold to determine whether the detected face image is the face recognition image.
- the contribution factor may indicate a degree to which the training face image contributes to the reconstructed face image.
- the detected face image is determined as the face recognition image.
- the blur measurement unit converts the detected face image into a frequency domain and the size of the frequency domain.
- a cumulative distribution function is generated by using a spectrum, and based on a comparison between the kurtosis value of the generated cumulative distribution function and a second threshold value, the cumulative distribution function is re-determined whether the selected face image is the face recognition image.
- the detected face image is re-determined as the face recognition image.
- the kurtosis value is a measure for determining whether the detected face image is a blurred image.
- the brightness measurer uses a histogram analysis of the detected face image to determine the closeness of brightness. ) And select the detected face image as the face recognition image based on the comparison between the calculated similarity and the third threshold.
- the similarity may be a similarity between a reference histogram and a histogram of the detected face image.
- the detected face image is selected as the face recognition image.
- the robustness and efficiency of the system can be improved.
- the security strength can be adaptively adjusted by flexibly adjusting the threshold value according to the environment or situation to which the face recognition system is applied.
- FIG. 1 schematically illustrates a face recognition apparatus 100 based on quality measurement of a face image as an embodiment to which the present invention is applied.
- FIG. 2 illustrates a method of performing face recognition based on a quality measurement in the face recognition apparatus 100 according to an embodiment to which the present invention is applied.
- FIG 3 illustrates a method of measuring a quality of pose and alignment of a face image in the pose / alignment measurer 132 according to an embodiment to which the present invention is applied.
- FIG. 4 illustrates a method of measuring a quality of blur of a face image by the blur measuring unit 134 as an embodiment to which the present invention is applied.
- FIG. 5 illustrates a method of measuring a quality of brightness of a face image in the brightness measuring unit 136 as an embodiment to which the present invention is applied.
- a face image is detected from an input video image, the quality of the detected face image is measured to determine whether the detected face image is a face recognition image, When the detected face image is determined as a face recognition image, facial feature information is extracted from the detected face image, and the face recognition is performed using the extracted face feature information.
- the quality depends on the quality of the face pose and alignment, the quality of the blur of the face image, or the brightness of the face image. It characterized by including at least one of the quality.
- the step of determining whether the image is a face recognition image is related to the quality of the face pose and alignment and the blur of the detected face image according to the priority of the quality measurement. And at least one of a quality or a quality related to the brightness of the detected face image is sequentially or hierarchically measured.
- the step of determining whether the face recognition image is a reconstruction of the detected face image using a training face image and a contribution factor, and the reconstruction And calculating an error between the detected face image and the detected face image, and comparing the error with the first threshold value to determine whether the detected face image is the face recognition image.
- the detected face image is determined as the face recognition image.
- the detected face image is determined as the face recognition image
- determining whether the face recognition image is the same converting the detected face image into a frequency domain
- generating a cumulative distribution function using the magnitude spectrum of the frequency domain and re-determining whether the selected face image is the face recognition image based on a comparison between the kurtosis value of the generated cumulative distribution function and a second threshold value. It is characterized by.
- the detected face image is re-determined as the face recognition image.
- the kurtosis value is a measure for determining whether the detected face image is a blurred image.
- the detected face image when the detected face image is re-determined as the face recognition image, determining whether the face recognition image is a face histogram analysis of the detected face image A closeness of brightness is calculated through the control, and the detected face image is selected as the face recognition image based on a comparison between the calculated similarity and a third threshold value.
- the detected face image is selected as the face recognition image.
- the face recognition apparatus based on the quality measurement may include a preprocessing unit that detects a face image from an input video image, and determines whether the detected face image is a face recognition image by measuring a quality of the detected face image.
- the face image selection unit when the detected face image is determined as a face recognition image, the face recognition unit extracts face feature information from the detected face image, and performs the face recognition using the extracted face feature information. Characterized in that it comprises a classification unit.
- the quality depends on the quality of the face pose and alignment, the quality of the blur of the face image, or the brightness of the face image. It characterized by including at least one of the quality.
- the face recognition image is characterized by means of an image usable for face recognition.
- the face image selection unit a pose / alignment measurement unit for measuring the quality of the face pose and alignment, measuring the quality of the blur of the detected face image And at least one of a blur measuring unit or a brightness measuring unit measuring a quality of brightness of the detected face image.
- the pose / alignment measurer reconstructs the detected face image by using a training face image and a contribution factor, and reconstructs the detected face image.
- the error between the detected face images is calculated, and the error is compared with the first threshold to determine whether the detected face image is the face recognition image.
- the contribution factor may indicate a degree to which the training face image contributes to the reconstructed face image.
- the detected face image is determined as the face recognition image.
- the blur measurement unit converts the detected face image into a frequency domain and the size of the frequency domain.
- a cumulative distribution function is generated by using a spectrum, and based on a comparison between the kurtosis value of the generated cumulative distribution function and a second threshold, the cumulative distribution function is re-determined whether the selected face image is the face recognition image.
- the detected face image is re-determined as the face recognition image.
- the kurtosis value is a measure for determining whether the detected face image is a blurred image.
- the brightness measurer uses a histogram analysis of the detected face image to determine the closeness of brightness. ) And select the detected face image as the face recognition image based on the comparison between the calculated similarity and the third threshold.
- the similarity may be a similarity between a reference histogram and a histogram of the detected face image.
- the detected face image is selected as the face recognition image.
- first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
- first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
- each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
- each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
- the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
- the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
- the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
- FIG. 1 schematically illustrates a face recognition apparatus 100 based on quality measurement of a face image as an embodiment to which the present invention is applied.
- the face recognition apparatus 100 of the present invention may detect a face image from an input video image and perform face recognition on the detected face image based on a predetermined quality measurement.
- the face recognition apparatus 100 may include a preprocessor 110, a face cluster processor 120, a face image selector 130, a face feature extractor 140, and a classifier 150. Can be.
- the preprocessor 110 may perform pre-processing on the input video image and detect a face image in the video image.
- the preprocessing may perform at least one of noise reduction or histogram equalization on the input video image.
- the input video image may include a plurality of face images.
- the preprocessing unit 110 may calculate the number of face images included in the video image through the detection process, respectively. Identification information for identifying the face image may be calculated.
- the identification information may mean information regarding the position or size of the detected face image.
- the face cluster processor 120 horizontally or vertically lines a face and / or a specific region (eg, eyes, nose, ears, mouth, forehead, etc.) included in the face image detected by the preprocessor 110. You can align with a line.
- a specific region eg, eyes, nose, ears, mouth, forehead, etc.
- the eye region in the face image may be detected based on the identification information, and alignment may be performed so that the eyes are horizontal.
- an affine transform may be used to level the eye.
- the faces may be aligned by rotating the face in the face image by a predetermined angle or by aligning a specific area included in the face with a horizontal or vertical line.
- the face image selecting unit 130 may determine whether the corresponding face image is an image (hereinafter, referred to as a face recognition image) by measuring a predetermined quality of the detected face image.
- the predetermined quality is a quality related to face recognition, and may include at least one of quality related to face pose and alignment, quality related to blur, and quality related to brightness of a face image. Can be.
- the face image selector 130 may include a pose / alignment measurer 132, a blur measurer 134, and a brightness measurer 136 to measure the predetermined quality.
- the pose / alignment measurer 132 may measure quality related to face pose and alignment of the detected face image. For example, the pose / alignment measurer 132 may measure whether the face is in front and whether the face is well-aligned. This is because frontal and aligned face images can be restored from a training face image with a smaller error. Thus, if the detected face image is found to be a frontal and aligned image, the face image may be used as a face recognition image.
- the training face image refers to a set of front and aligned candidate face images, which may be pre-stored in a database (DB) for face recognition.
- DB database
- the blur measurer 134 may measure blur on the face image determined by the pose / alignment measurer 132 as the face recognition image. For example, the face image in the time domain may be converted into the frequency domain, and the low frequency component and the high frequency component may be analyzed to determine whether the face image is a blurred image. If it is confirmed that the face image has more information or data in the low frequency region than in the high frequency region, the face image may be viewed as a blood image. Therefore, when it is determined that the detected face image is not a blood image, the face image may be used as a face recognition image.
- the brightness measurer 136 may measure the quality related to the brightness of the face through histogram analysis of the face image of the face image determined by the blur measurer 134.
- the face without facial recognition is a face image that is too bright or too dark, and the histogram of these images is biased to either side. Therefore, the quality of the brightness may be measured based on the similarity between the reference histogram (eg, the histogram evenly distributed) and the histogram of the face image.
- the face image may be determined as a face recognition image.
- the face image selecting unit 130 sequentially measures the quality of the face pose and alignment, the quality of the blur of the face image, and the quality of the brightness of the face image, but this is within a range apparent to those skilled in the art.
- the priority for measuring quality can be changed.
- the face image selector 130 may improve the accuracy of face recognition by sequentially performing quality measurement regarding face pose and alignment, blur of the face image, and brightness of the face image, and may improve security level or face recognition image.
- the quality measurement for at least one of the above-described plurality of quality measurements may be selectively performed in consideration of a processing speed for determining.
- the face feature extractor 140 may extract face feature information with respect to the face image determined by the face image selector 130.
- the facial feature information may include at least one of position and / or size information regarding a specific region included in the face, ratio information occupied by the specific region in the face, or depth information of the specific region.
- the classifier 150 may perform face recognition using the extracted facial feature information and a preset classification algorithm. For example, whether a face in the face image is mapped to a pre-registered face and / or personal information corresponding to the face may be output.
- the personal information may include a name, social security number, ID, and the like.
- FIG. 2 illustrates a method of performing face recognition based on a quality measurement in the face recognition apparatus 100 according to an embodiment to which the present invention is applied.
- a face image may be detected from an input video image (S200).
- pre-processing such as noise removal or histogram smoothing may be performed on the input video image, and the face image included in the video image may be detected.
- the number of face images and identification information for identifying each face image may be calculated, as shown in FIG. 1.
- a face and / or a specific region (eg, an eye mouth, etc.) included in the face may be inclined or distorted.
- a process of aligning the face and / or a specific area included in the face with a horizontal or vertical line or rotating the lens at a predetermined angle may be involved.
- the quality of the detected face image may be measured to determine whether the detected face image is a face recognition image (S210).
- the quality may include at least one of quality related to face pose and alignment, quality related to blur of the face image, and quality related to brightness of the face image.
- the plurality of qualities may be sequentially or hierarchically measured according to the priority of quality measurement to determine whether the detected face image is a face recognition image.
- the priority of the quality measurement indicates the order of measuring the plurality of quality, which may be predetermined or may be variably determined by an external factor such as a user or security strength.
- the quality is sequentially measured based on the priority of the quality of the face pose and alignment, the quality of the blur of the face image, the quality of the brightness of the face image, but is not limited thereto. Of course, the priority can be changed within.
- the measuring method for the plurality of qualities described above will be described in detail with reference to FIGS. 3 to 5.
- step S210 When it is determined in step S210 that the detected face image is a face recognition image, face feature information may be extracted from the detected face image (S220).
- the facial feature information may include at least one of position and / or size information regarding a specific region included in the face, ratio information that the specific region occupies in the face, or depth information of the specific region.
- Face recognition may be performed using the facial feature information extracted at step S220 (S230).
- the facial feature information it may be checked whether a face in the detected face image is mapped to a pre-registered face, and personal information corresponding to the face may be output.
- step S210 if it is determined in step S210 that the detected face image is not a face recognition image, it may be controlled so that face recognition is not performed on the detected face image.
- the detected face image may not be transmitted to the face feature 140, or a separate identifier indicating that the detected face image is not a face recognition image may be signaled.
- FIG 3 illustrates a method of measuring a quality of pose and alignment of a face image in the pose / alignment measurer 132 according to an embodiment to which the present invention is applied.
- the detected face image may be reconstructed using a training face image (S300).
- a contribution factor indicating a degree of contribution of a related training face image to a reconstructed face image may be calculated.
- the contribution coefficient may be determined as an optimal coefficient based on the difference between the detected face image and the reconstructed face image.
- the contribution factor may be calculated as in Equation 1 below.
- fj may mean a detected face image
- A may mean a training face image
- xj may mean a coefficient applied to the training face image in reconstruction of the face image based on the training face image.
- the first term represents a difference or error between the detected face image and the reconstructed face image
- the second term is a term related to regularization
- ⁇ adjusts the optimization ratio of the first term and the second term. It may correspond to a normalization parameter.
- the detected face image may be reconstructed by applying the calculated contribution factor xj * to the training face image A.
- an error d1 between the reconstructed face image and the detected face image may be calculated (S310).
- an error d1 regarding face pose and alignment may be measured by the Euclidean distance between the detected face image and the reconstructed face image.
- the error d1 may be derived as in Equation 2 below.
- operation S320 it may be determined whether the detected face image is a face recognition image by comparing the error d1 calculated in operation S310 with the first threshold value ⁇ 1.
- the difference between the reconstructed face image and the input face image is smaller than the first threshold value tau 1, this may be regarded as a face image having a good pose and alignment state. On the contrary, if the difference between the reconstructed face image and the input face image is greater than the first threshold ⁇ 1, this may be viewed as a face with a significant change in pose and alignment.
- the detected face image corresponds to an image available for face recognition based on a comparison result between the error d1 and the first threshold value ⁇ 1. For example, when the error d1 is smaller than the first threshold ⁇ 1, the detected face image corresponds to the front and aligned face images, which may be selected as the face recognition image.
- the detected face image corresponds to a face image that is not frontal or not aligned, and thus may not be selected as a face recognition image.
- the first threshold is a threshold used to measure quality with respect to face pose and alignment, which may be predetermined or variably determined according to external factors such as user or security strength.
- FIG. 4 illustrates a method of measuring a quality of blur of a face image by the blur measuring unit 134 as an embodiment to which the present invention is applied.
- the detected face image may be converted into a frequency domain (S400).
- a Discrete Fourier Transform may be performed on the face image in the time domain to convert to a face image in the frequency domain.
- a cumulative distribution function may be generated using a magnitude spectrum on the frequency domain (S410).
- the detected face image is a face recognition image or a blooded image (S420).
- the detected face image may be viewed as a blurred image.
- the detected face image may be limited so as not to be used as a face recognition image.
- the kurtosis value d2 of the cumulative distribution function is smaller than the second threshold value ⁇ 2, it may be considered that no blur exists in the detected face image, and thus the corresponding face image may be selected as a face recognition image.
- the kurtosis value d2 represents a degree of concentration of the frequency distribution, and may be used as a measure for determining whether the face image is a blurred image.
- the second threshold value ⁇ 2 is a threshold value used for measuring the quality of the blur of the face image, and may be similarly preset or may be variably determined according to an external factor such as a user or a security strength.
- FIG. 5 illustrates a method of measuring a quality of brightness of a face image in the brightness measuring unit 136 as an embodiment to which the present invention is applied.
- a similarity level d3 of brightness may be calculated through histogram analysis of the detected face image (S500).
- a closeness between the reference histogram and the histogram of the detected face image may be calculated.
- the reference histogram may mean a histogram uniformly distributed.
- the similarity d3 may be derived as in Equation 3 below.
- Equation 3 hj means a histogram of the detected face image, and href means a reference histogram.
- the detected face image is a face recognition image based on the comparison between the calculated similarity d3 and the third threshold ⁇ 3 (S510).
- the detected face image may be viewed as an image having poor brightness quality. Therefore, in this case, the detected face image may be limited so as not to be used as a face recognition image.
- the detected face image may be viewed as an image having a good brightness for face recognition, and thus the face image may be selected as the face recognition image.
- the third threshold value ⁇ 3 is a threshold value used to measure the quality of the brightness of the face image.
- the third threshold value ⁇ 3 may be similarly preset or variably determined according to external factors such as a user or a security strength.
- the present invention can be used to recognize a face.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법 및 장치는, 입력된 비디오 영상으로부터 얼굴 영상을 검출하고, 검출된 얼굴 영상에 대해 품질을 측정하여 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하며, 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우에 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 이용하여 얼굴 인식을 수행하는 것을 특징으로 한다.
Description
본 발명은 얼굴 인식 방법 및 장치에 관한 것이다.
얼굴 인식 기술은 환경이 잘 통제되지 않은 실제 환경에서 적용되었을 때 여전히 많은 어려움이 있는 것으로 알려졌다. 이러한 실제 환경에서는 저 해상도의 얼굴 영상 획득, 조명의 변화, 얼굴 포즈의 변화, 정렬 문제 등과 같은 문제점이 존재하게 되고, 실제 환경에 적용되었을 때 얼굴 인식 성능을 매우 저하하는 요소로 알려졌다. 이러한 환경에서의 얼굴 인식에 관한 연구가 요구되고 있다. 특히 출입 통제 시스템에서의 얼굴 영상은 비디오 형태로 획득되게 되는데, 이때 매 프레임마다 얼굴 영상을 처리 및 인식하는 것은 성능과 시간 효율성 측면에서도 바람직하지 못하다. 따라서, 자동 출입 통제 시스템을 위하여 효율적인 얼굴 인식뿐만 아니라 강인한 얼굴 인식을 수행하기 위한 대안이 요구되고 있다.
본 발명은 얼굴 영상 품질 측정에 기반한 효율적인 얼굴 인식 방법 및 장치를 제공한다.
본 발명은 얼굴 포즈 및 정렬에 관한 품질을 측정하는 효율적인 방법 및 장치를 제공한다.
본 발명은 얼굴 영상의 블러에 관한 품질을 측정하는 효율적인 방법 및 장치를 제공한다.
본 발명은 얼굴 영상의 밝기에 관한 품질을 측정하는 효율적인 방법 및 장치를 제공한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법은, 입력된 비디오 영상으로부터 얼굴 영상을 검출하고, 상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하며, 상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우에 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는 품질 측정의 우선 순위에 따라 상기 얼굴 포즈 및 정렬에 관한 품질, 상기 검출된 얼굴 영상의 블러에 관한 품질 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 순차적 또는 계층적으로 측정하여 수행되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는 훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치는, 입력된 비디오 영상으로부터 얼굴 영상을 검출하는 전처리부, 상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 얼굴 영상 선택부, 상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부 및 상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 분류부를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 얼굴 영상 선택부는, 상기 얼굴 포즈 및 정렬에 관한 품질을 측정하는 포즈/정렬 측정부, 상기 검출된 얼굴 영상의 블러에 관한 품질을 측정하는 블러 측정부 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질을 측정하는 밝기 측정부 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 포즈/정렬 측정부는, 훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타내는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 블러 측정부는, 상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 밝기 측정부는, 상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도인 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 한다.
본 발명에 의하면, cascaded 구조의 품질 측정 프레임워크를 가지고 얼굴 영상의 품질을 효율적으로 측정할 수 있다.
본 발명에 의하면, 얼굴 영상 품질 측정에 기반하여 얼굴 인식의 정확성을 향상시킬 수 있다.
본 발명에 의하면, 좋은 품질을 갖는 얼굴 영상에 대해서 얼굴 인식을 수행되기 때문에 시스템의 강인성 및 효율성을 향상시킬 수 있다.
본 발명에 의하면, 얼굴 인식 시스템이 적용되는 환경 또는 상황에 따라 flexible하게 임계치를 조절함으로써, 보안 강도를 적응적으로 조절할 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 얼굴 영상의 품질 측정에 기반한 얼굴 인식 장치(100)를 개략적으로 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 얼굴 인식 장치(100)에서 품질 측정에 기반한 얼굴 인식(face recognition)을 수행하는 방법을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 포즈/정렬 측정부(132)에서 얼굴 영상의 포즈 및 정렬에 관한 품질을 측정하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 블러 측정부(134)에서 얼굴 영상의 블러에 관한 품질을 측정하는 방법을 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 밝기 측정부(136)에서 얼굴 영상의 밝기에 관한 품질을 측정하는 방법을 도시한 것이다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법은, 입력된 비디오 영상으로부터 얼굴 영상을 검출하고, 상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하며, 상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우에 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는 품질 측정의 우선 순위에 따라 상기 얼굴 포즈 및 정렬에 관한 품질, 상기 검출된 얼굴 영상의 블러에 관한 품질 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 순차적 또는 계층적으로 측정하여 수행되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는 훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치는, 입력된 비디오 영상으로부터 얼굴 영상을 검출하는 전처리부, 상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 얼굴 영상 선택부, 상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부 및 상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 분류부를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 얼굴 영상 선택부는, 상기 얼굴 포즈 및 정렬에 관한 품질을 측정하는 포즈/정렬 측정부, 상기 검출된 얼굴 영상의 블러에 관한 품질을 측정하는 블러 측정부 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질을 측정하는 밝기 측정부 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 포즈/정렬 측정부는, 훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타내는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 블러 측정부는, 상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 밝기 측정부는, 상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도인 것을 특징으로 한다.
본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 한다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 일실시예로서, 얼굴 영상의 품질 측정에 기반한 얼굴 인식 장치(100)를 개략적으로 도시한 것이다.
본 발명의 얼굴 인식 장치(100)는 입력된 비디오 영상에서 얼굴 영상을 검출하고, 검출된 얼굴 영상에 대해서 소정의 품질 측정에 기반하여 얼굴 인식(face recognition)을 수행할 수 있다.
도 1을 참조하면, 얼굴 인식 장치(100)는 전처리부(110), 얼굴 클러스터 처리부(120), 얼굴 영상 선택부(130), 얼굴 특징 추출부(140) 및 분류부(150)를 포함할 수 있다.
전처리부(110)는 입력된 비디오 영상에 대해서 전처리(Pre-processing)를 수행하고, 비디오 영상 내의 얼굴 영상을 검출할 수 있다. 상기 전처리에서는 입력된 비디오 영상에 대한 노이즈 제거 또는 히스토그램 평활화(equalization) 중 적어도 하나를 수행할 수 있다. 또한, 입력된 비디오 영상에는 복수의 얼굴 영상이 포함될 수 있으며, 이 경우 전처리부(110)는 상기 검출 과정을 통해 비디오 영상에 포함된 얼굴 영상의 개수를 산출할 수 있고, 비디오 영상에 포함된 각각의 얼굴 영상을 식별하기 위한 식별 정보를 산출할 수도 있다. 여기서, 식별 정보라 함은 검출된 얼굴 영상의 위치 또는 크기에 관한 정보를 의미할 수 있다.
얼굴 클러스터 처리부(120)는 상기 전처리부(110)에서 검출된 얼굴 영상 내의 얼굴 및/또는 얼굴에 포함된 특정 영역(예를 들어, 눈, 코, 귀, 입, 이마 등)을 수평 라인 또는 수직 라인에 맞춰 정렬할 수 있다.
예를 들어, 상기 식별 정보에 기반하여 얼굴 영상 내의 눈 영역을 검출하고, 눈이 수평을 이루도록 정렬을 수행할 수 있다. 이때, 눈의 수평을 맞추기 위해서 어파인 변환(affine transform)이 이용될 수 있다. 또는, 얼굴 영상 내의 얼굴을 소정의 각도만큼 회전하거나, 상기 얼굴에 포함된 특정 영역을 수평 또는 수직 라인에 맞춰서 정렬함으로써 얼굴을 정렬시킬 수도 있다.
얼굴 영상 선택부(130)는 검출된 얼굴 영상에 대해 소정의 품질을 측정하여 해당 얼굴 영상이 얼굴 인식(face recognition)을 위해 이용 가능한 영상(이하, 얼굴 인식 영상이라 한다.)인지를 결정할 수 있다. 상기 소정의 품질은 얼굴 인식과 관련된 품질로서, 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함할 수 있다.
상기 소정의 품질 측정을 위해 얼굴 영상 선택부(130)는 포즈/정렬 측정부(132), 블러 측정부(134) 및 밝기 측정부(136)를 포함할 수 있다.
포즈/정렬 측정부(132)는 검출된 얼굴 영상의 얼굴 포즈 및 정렬에 관한 품질을 측정할 수 있다. 예를 들어, 포즈/정렬 측정부(132)는 얼굴이 정면인지 여부와 얼굴의 정렬 상태(well-aligned 여부)를 측정할 수 있다. 이는 정면의 그리고 정렬이 맞는 얼굴 영상일수록 작은 에러를 가지고 훈련 얼굴 영상(training face image)으로부터 복원이 가능하기 때문이다. 따라서, 검출된 얼굴 영상이 정면의 그리고 정렬이 맞는 영상인 것으로 확인된 경우, 해당 얼굴 영상은 얼굴 인식 영상으로 이용될 수 있다. 상기 훈련 얼굴 영상은 정면의 그리고 정렬이 맞는 후보 얼굴 영상의 집합을 의미하며, 이는 얼굴 인식을 위해 데이터 베이스(DB)에 기-저장된 것일 수 있다.
블러 측정부(134)는 포즈/정렬 측정부(132)에 의해서 얼굴 인식 영상으로 결정된 얼굴 영상에 대해서 블러를 측정할 수 있다. 예를 들어, 시간 도메인 상의 얼굴 영상을 주파수 도메인으로 변환하고, 저주파 성분과 고주파 성분에 대한 분석을 통해 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단할 수 있다. 만일, 해당 얼굴 영상이 고주파 영역에 비해 저주파 영역에서 상대적으로 많은 정보 또는 데이터를 가지고 있는 것으로 확인된 경우, 해당 얼굴 영상은 블러드 영상으로 볼 수 있다. 따라서, 검출된 얼굴 영상이 블러드 영상이 아닌 것으로 판단되는 경우에 해당 얼굴 영상은 얼굴 인식 영상으로 이용될 수 있다.
밝기 측정부(136)는 블러 측정부(134)에 의해서 얼굴 인식 영상으로 결정된 얼굴 영상에 대해서 얼굴 영상의 히스토그램 분석을 통해 얼굴의 밝기와 관련된 품질을 측정할 수 있다. 밝기의 측면에서 볼 때, 얼굴 인식이 되지 않는 얼굴은 너무 밝거나 너무 어두운 얼굴 영상이며, 이 영상들의 히스토그램은 어느 한쪽으로 편중되어 있다. 따라서, 레퍼런스 히스토그램(예를 들어, 고르게 분포된 히스토그램)과 해당 얼굴 영상의 히스토그램 간의 유사도에 기초하여 밝기에 관한 품질을 측정할 수 있다. 검출된 얼굴 영상의 히스토그램이 레퍼런스 히스토그램과 유사한 경우, 해당 얼굴 영상은 얼굴 인식 영상으로 결정될 수 있다.
상기 얼굴 영상 선택부(130)에서는 얼굴 포즈 및 정렬에 관한 품질, 얼굴 영상의 블러에 관한 품질 그리고 얼굴 영상의 밝기에 관한 품질을 순차적으로 측정하는 것을 도시하고 있으나, 이는 당업자에게 자명한 범위 내에서 품질을 측정하는 우선 순위는 변경될 수 있다. 또한, 얼굴 영상 선택부(130)에서는 얼굴 포즈 및 정렬, 얼굴 영상의 블러, 얼굴 영상의 밝기에 관한 품질 측정을 순차적으로 수행하여 얼굴 인식의 정확성을 향상시킬 수도 있고, 보안 수준 또는 얼굴 인식 영상을 결정하기 위한 처리 속도 등을 고려하여 상술한 복수의 품질 측정 중 적어도 하나에 대한 품질 측정을 선택적으로 수행할 수도 있음은 물론이다.
얼굴 특징 추출부(140)는 얼굴 영상 선택부(130)에 의해서 결정된 얼굴 영상에 대해서 얼굴 특징 정보를 추출할 수 있다. 여기서, 얼굴 특징 정보는 얼굴에 포함된 특정 영역에 관한 위치 및/또는 크기 정보, 해당 특정 영역이 얼굴에서 차지하는 비율 정보 또는 특정 영역의 뎁스 정보(depth information) 중 적어도 하나를 포함할 수 있다.
분류부(150)는 상기 추출된 얼굴 특징 정보 및 기-설정된 분류 알고리즘을 이용하여 얼굴 인식을 수행할 수 있다. 예를 들어, 얼굴 영상 내의 얼굴이 기-등록된 얼굴에 매핑되는지 여부 및/또는 해당 얼굴에 대응하는 개인 정보를 출력할 수 있다. 여기서, 개인 정보는 성명, 주민등록번호, ID 등을 포함할 수 있다.
도 2는 본 발명이 적용되는 일실시예로서, 얼굴 인식 장치(100)에서 품질 측정에 기반한 얼굴 인식(face recognition)을 수행하는 방법을 도시한 것이다.
도 2를 참조하면, 입력된 비디오 영상으로부터 얼굴 영상을 검출할 수 있다(S200).
구체적으로, 입력된 비디오 영상에 대해서 노이즈 제거 또는 히스토그램 평활화 등과 같은 전처리(Pre-processing)를 수행하고, 비디오 영상에 포함된 얼굴 영상을 검출할 수 있다. 비디오 영상에 복수의 얼굴 영상이 포함된 경우, 얼굴 영상의 개수, 각 얼굴 영상을 식별하기 위한 식별 정보를 산출할 수도 있으며, 이는 도 1에서 살펴본 바와 같다.
또한, 얼굴 영상을 검출하는 과정에서 해당 얼굴 영상의 얼굴 및/또는 얼굴에 포함된 특정 영역(예를 들어, 눈 입 등)이 기울어져 있거나 틀어져 있는 경우가 발생할 수 있다. 이러한 경우에는 얼굴 및/또는 얼굴에 포함된 특정 영역을 수평 또는 수직 라인에 맞춰서 정렬하거나, 소정의 각도로 회전하는 과정이 수반될 수도 있다.
도 2를 참조하면, 검출된 얼굴 영상에 대해 품질을 측정하여 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정할 수 있다(S210).
구체적으로, 상기 품질은 검출된 얼굴 영상에 대해서 얼굴 포즈 및 정렬에 관한 품질, 얼굴 영상의 블러에 관한 품질 또는 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 포함할 수 있다.
또한, 품질 측정의 우선 순위에 따라 상기 복수의 품질을 순차적 또는 계층적으로 측정하여 검출된 얼굴 영상이 얼굴 인식 영상인지를 결정할 수도 있다. 여기서, 품질 측정의 우선 순위는 상기 복수의 품질을 측정하는 순서를 나타내는 것으로서, 이는 기-설정된 것일 수도 있고, 사용자 또는 보안 강도(security strength) 등 외부 요소에 의해 가변적으로 결정될 수도 있다. 본 명세서에서는 얼굴 포즈 및 정렬에 관한 품질, 얼굴 영상의 블러에 관한 품질, 얼굴 영상의 밝기에 관한 품질의 우선 순위로 순차적으로 품질을 측정하는 것을 기재하고 있으나, 이에 한정되지 아니하며 당업자에게 자명한 범위 내에서 우선 순위는 변경될 수 있음은 물론이다. 상술한 복수의 품질에 대한 측정 방법에 대해서는 도 3 내지 도 5를 참조하여 자세히 살펴 보도록 한다.
S210 단계에서 검출된 얼굴 영상이 얼굴 인식 영상인 것으로 결정된 경우, 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출할 수 있다(S220).
상기, 얼굴 특징 정보는 얼굴에 포함된 특정 영역에 관한 위치 및/또는 크기 정보, 해당 특정 영역이 얼굴에서 차지하는 비율 정보 또는 특정 영역의 뎁스 정보(depth information) 중 적어도 하나를 포함할 수 있다.
S220 단계에서 추출된 얼굴 특징 정보를 이용하여 얼굴 인식(face recognition)을 수행할 수 있다(S230).
구체적으로, 상기 얼굴 특징 정보에 기초하여 검출된 얼굴 영상 내의 얼굴이 기-등록된 얼굴에 매핑되는지 여부를 확인할 수 있고, 해당 얼굴에 대응하는 개인 정보를 출력할 수도 있다.
반면, S210 단계에서 검출된 얼굴 영상이 얼굴 인식 영상이 아닌 것으로 결정된 경우, 검출된 얼굴 영상에 대해 얼굴 인식이 수행되지 아니하도록 제어할 수 있다. 예를 들어, 검출된 얼굴 영상을 얼굴 특징부(140)로 전송하지 아니하거나, 검출된 얼굴 영상이 얼굴 인식 영상이 아님을 나타내는 별도의 식별자를 시그날링할 수도 있다.
도 3은 본 발명이 적용되는 일실시예로서, 포즈/정렬 측정부(132)에서 얼굴 영상의 포즈 및 정렬에 관한 품질을 측정하는 방법을 도시한 것이다.
도 3을 참조하면, 훈련 얼굴 영상(training face image)을 이용하여 검출된 얼굴 영상을 재구성(reconstruct)할 수 있다(S300).
구체적으로, 재구성된 얼굴 영상에 대해 관련 훈련 얼굴 영상이 기여하는 정도를 나타내는 기여 계수를 산출할 수 있다. 여기서, 기여 계수는 검출된 얼굴 영상과 재구성된 얼굴 영상 간의 차이에 기반하여 최적의 계수로 결정될 수 있다. 예를 들어, 상기 기여 계수는 다음 수학식 1과 같이 산출될 수 있다.
수학식 1 
상기 수학식 1에서 fj는 검출된 얼굴 영상을 의미하고, A는 훈련 얼굴 영상을 의미하며, xj는 훈련 얼굴 영상에 기반한 얼굴 영상의 재구성에서 훈련 얼굴 영상에 적용되는 계수를 의미할 수 있다. 수학식 1에서 첫 번째 항은 검출된 얼굴 영상과 재구성된 얼굴 영상 간의 차이 또는 에러를 나타내고, 두 번째 항은 정규화(regularization)에 관한 항으로서, λ는 첫 번째 항과 두 번째 항의 최적화 비율을 조절하는 정규화 파라미터에 해당할 수 있다.
상기 산출된 기여 계수(xj*)를 훈련 얼굴 영상(A)에 적용하여 검출된 얼굴 영상을 재구성할 수 있다.
도 3을 참조하면, S300 단계에서 재구성된 얼굴 영상과 검출된 얼굴 영상 간의 오차(d1)를 산출할 수 있다(S310).
구체적으로, 검출된 얼굴 영상과 재구성된 얼굴 영상 간의 유클리디언 거리에 의해 얼굴 포즈 및 정렬에 관한 오차(d1)가 측정될 수 있다. 예를 들어, 상기 오차(d1)은 다음 수학식 2와 같이 유도될 수 있다.
수학식 2 
S310 단계에서 산출된 오차(d1)와 제1 임계치(τ1)를 비교하여 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정할 수 있다(S320).
만일, 재구성된 얼굴 영상과 입력된 얼굴 영상 간의 차이가 제1 임계치(τ1)보다 작다면, 이는 포즈 및 정렬 상태가 좋은 얼굴 영상으로 볼 수 있다. 반대로 재구성된 얼굴 영상과 입력된 얼굴 영상 간의 차이가 제1 임계치(τ1)보다 크다면, 이는 포즈 및 정렬의 변화가 심한 얼굴로 볼 수 있다.
따라서, 오차(d1)와 제1 임계치(τ1) 간의 비교 결과에 기초하여 검출된 얼굴 영상이 얼굴 인식을 위해 이용 가능한 영상에 해당하는지를 결정할 수 있다. 예를 들어, 오차(d1)가 제1 임계치(τ1)보다 작은 경우, 검출된 얼굴 영상은 정면의 그리고 정렬된 얼굴 영상에 해당하므로 이는 얼굴 인식 영상으로 선택될 수 있다.
반면, 오차(d1)가 제1 임계치(τ1)보다 큰 경우, 출검된 얼굴 영상은 정면이 아니거나 정렬되지 아니한 얼굴 영상에 해당하므로 이는 얼굴 인식 영상으로 선택되지 않을 수 있다.
상기 제1 임계치는 얼굴 포즈 및 정렬에 관한 품질을 측정하기 위해 이용되는 임계치로서, 이는 기-설정된 것일 수도 있고, 사용자 또는 보안 강도 등 외부 요소에 따라 가변적으로 결정될 수도 있다.
도 4는 본 발명이 적용되는 일실시예로서, 블러 측정부(134)에서 얼굴 영상의 블러에 관한 품질을 측정하는 방법을 도시한 것이다.
도 4를 참조하면, 검출된 얼굴 영상을 주파수 도메인으로 변환할 수 있다(S400). 예를 들어, 시간 도메인의 얼굴 영상에 대해 이산 푸리에 변환(Discrete Fourier Transform)을 수행하여 주파수 도메인의 얼굴 영상으로 변환할 수 있다.
상기 주파수 도메인 상의 크기 스펙트럼(magnitude spectrum)을 이용하여 누적 분포 함수(cumulative distribution function)를 생성할 수 있다(S410).
S410 단계에서 생성된 누적 분포 함수의 첨도 값(kurtosis, d2)와 제2 임계치(τ2) 간의 비교에 기초하여 검출된 얼굴 영상이 얼굴 인식 영상인지 또는 블러드(blurred) 영상인지를 결정할 수 있다(S420).
예를 들어, 누적 분포 함수의 첨도 값(d2)이 제2 임계치(τ2)보다 큰 경우, 검출된 얼굴 영상은 블러드(blurred) 영상으로 볼 수 있다. 이 경우, 검출된 얼굴 영상은 얼굴 인식 영상으로 이용되지 않도록 제한될 수 있다.
반면, 누적 분포 함수의 첨도 값(d2)이 제2 임계치(τ2)보다 작은 경우, 검출된 얼굴 영상에는 블러가 존재하지 않는 것으로 볼 수 있으므로 해당 얼굴 영상을 얼굴 인식 영상으로 선택할 수 있다.
상기 첨도 값(d2)은 도수 분포의 집중도를 나타내는 것으로서, 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도로 이용될 수 있다. 또한, 상기 제2 임계치(τ2)는 얼굴 영상의 블러에 관한 품질을 측정하기 위해 이용되는 임계치로서, 마찬가지로 기-설정된 것일 수도 있고, 사용자 또는 보안 강도 등 외부 요소에 따라 가변적으로 결정될 수도 있다.
도 5는 본 발명이 적용되는 일실시예로서, 밝기 측정부(136)에서 얼굴 영상의 밝기에 관한 품질을 측정하는 방법을 도시한 것이다.
도 5를 참조하면, 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(d3)를 산출할 수 있다(S500).
구체적으로, 레퍼런스 히스토그램과 검출된 얼굴 영상의 히스토그램 간의 유사도(closeness)를 산출할 수 있다. 여기서, 레퍼런스 히스토그램은 uniform하게 분포된 히스토그램을 의미할 수 있다. 예를 들어, 상기 유사도(d3)는 다음 수학식 3과 같이 유도될 수 있다.
수학식 3 
상기 수학식 3에서 hj는 검출된 얼굴 영상의 히스토그램을 의미하고, href는 레퍼런스 히스토그램을 의미한다.
도 5를 참조하면, 산출된 유사도(d3)와 제3 임계치(τ3) 간의 비교에 기초하여 검출된 얼굴 영상이 얼굴 인식 영상인지를 결정할 수 있다(S510).
예를 들어, 상기 유사도(d3)가 제3 임계치(τ3)보다 큰 경우, 검출된 얼굴 영상은 밝기 품질이 좋지 않은 영상으로 볼 수 있다. 따라서, 이러한 경우 검출된 얼굴 영상은 얼굴 인식 영상으로 이용되지 않도록 제한될 수 있다.
반면, 상기 유사도(d3)가 제3 임계치(τ3)보다 작은 경우, 검출된 얼굴 영상은 얼굴 인식에 좋은 밝기를 가진 영상으로 볼 수 있는바, 해당 얼굴 영상을 얼굴 인식 영상으로 선택할 수 있다.
상기 제3 임계치(τ3)는 얼굴 영상의 밝기에 관한 품질을 측정하기 위해 이용되는 임계치로서, 마찬가지로 기-설정된 것일 수도 있고, 사용자 또는 보안 강도 등 외부 요소에 따라 가변적으로 결정될 수도 있다.
본 발명은 얼굴을 인식하는데 이용될 수 있다.
Claims (18)
- 입력된 비디오 영상으로부터 얼굴 영상을 검출하는 단계;상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 단계;여기서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하고, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미함,상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 단계; 및상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제1항에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,품질 측정의 우선 순위에 따라 상기 얼굴 포즈 및 정렬에 관한 품질, 상기 검출된 얼굴 영상의 블러에 관한 품질 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 순차적 또는 계층적으로 측정하여 수행되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제2항에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하는 단계;여기서, 상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타냄,상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하는 단계; 및상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제3항에 있어서,상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제3항에 있어서,상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,상기 검출된 얼굴 영상을 주파수 도메인으로 변환하는 단계;상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하는 단계; 및상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 단계를 더 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제5항에 있어서,상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제5항에 있어서,상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제5항에 있어서,상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하는 단계;여기서, 상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도임, 및상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 단계를 더 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 제8항에 있어서,상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
- 입력된 비디오 영상으로부터 얼굴 영상을 검출하는 전처리부;상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 얼굴 영상 선택부;상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부; 및상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 분류부를 포함하되,상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하고, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제10항에 있어서, 상기 얼굴 영상 선택부는,상기 얼굴 포즈 및 정렬에 관한 품질을 측정하는 포즈/정렬 측정부, 상기 검출된 얼굴 영상의 블러에 관한 품질을 측정하는 블러 측정부 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질을 측정하는 밝기 측정부 중 적어도 하나를 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제11항에 있어서, 상기 포즈/정렬 측정부는,훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하되,상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타내는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제12항에 있어서,상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제12항에 있어서,상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 블러 측정부는,상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제14항에 있어서,상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제14항에 있어서,상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제14항에 있어서,상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 밝기 측정부는,상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하되,상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도인 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
- 제17항에 있어서,상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2015-0048592 | 2015-04-06 | ||
| KR1020150048592A KR20160119932A (ko) | 2015-04-06 | 2015-04-06 | 품질 측정 기반의 얼굴 인식 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016163755A1 true WO2016163755A1 (ko) | 2016-10-13 |
Family
ID=57072122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2016/003608 WO2016163755A1 (ko) | 2015-04-06 | 2016-04-06 | 품질 측정 기반의 얼굴 인식 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20160119932A (ko) |
| WO (1) | WO2016163755A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305366A (zh) * | 2018-02-08 | 2018-07-20 | 深圳汇通智能化科技有限公司 | 一种具有人脸识别功能的智能门禁系统 |
| CN109977931A (zh) * | 2019-05-06 | 2019-07-05 | 北京理工大学 | 一种抗运动模糊的人脸识别方法 |
| CN112102551A (zh) * | 2020-09-27 | 2020-12-18 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102440329B1 (ko) * | 2016-10-24 | 2022-09-02 | 삼성에스디에스 주식회사 | 영상 선택 방법 및 그 장치 |
| WO2018121523A1 (en) | 2016-12-28 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for evaluating images |
| CN106803067B (zh) * | 2016-12-28 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种人脸图像质量评估方法及装置 |
| KR102455633B1 (ko) | 2017-12-21 | 2022-10-17 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
| KR102220574B1 (ko) * | 2020-04-06 | 2021-02-25 | 두에이아이(주) | 영상 데이터 필터링을 위한 품질 점수 임계값 산출 방법, 장치 및 컴퓨터프로그램 |
| KR102410564B1 (ko) * | 2020-09-22 | 2022-06-20 | (주) 아하 | 딥 러닝 기반 사람 인식 장치 및 방법 |
| KR20220126546A (ko) * | 2021-03-09 | 2022-09-16 | 삼성전자주식회사 | 전자 장치 및 그의 얼굴 인식 방법 |
| KR102452192B1 (ko) * | 2021-06-28 | 2022-10-11 | 주식회사 펫나우 | 반려 동물의 식별을 위한 객체의 이미지를 필터링하기 위한 방법 및 장치 |
| KR102444928B1 (ko) * | 2021-06-28 | 2022-09-21 | 주식회사 펫나우 | 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 장치 |
| AU2022300548B2 (en) * | 2021-06-28 | 2024-08-08 | Petnow Inc. | Method for photographing object for identifying companion animal, and electronic device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060093238A1 (en) * | 2004-10-28 | 2006-05-04 | Eran Steinberg | Method and apparatus for red-eye detection in an acquired digital image using face recognition |
| WO2008045521A2 (en) * | 2006-10-11 | 2008-04-17 | Hewlett-Packard Development Company, L.P. | Face-based image clustering |
| US20120288165A1 (en) * | 2011-05-11 | 2012-11-15 | Honeywell International Inc. | Surveillance-based high-resolution facial recognition |
| US20130202159A1 (en) * | 2012-01-17 | 2013-08-08 | Sungkyunkwan University Research & Business Foundation | Apparatus for real-time face recognition |
| US20140029859A1 (en) * | 2012-07-30 | 2014-01-30 | Evernote Corporation | Extracting multiple facial photos from a video clip |
-
2015
- 2015-04-06 KR KR1020150048592A patent/KR20160119932A/ko unknown
-
2016
- 2016-04-06 WO PCT/KR2016/003608 patent/WO2016163755A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060093238A1 (en) * | 2004-10-28 | 2006-05-04 | Eran Steinberg | Method and apparatus for red-eye detection in an acquired digital image using face recognition |
| WO2008045521A2 (en) * | 2006-10-11 | 2008-04-17 | Hewlett-Packard Development Company, L.P. | Face-based image clustering |
| US20120288165A1 (en) * | 2011-05-11 | 2012-11-15 | Honeywell International Inc. | Surveillance-based high-resolution facial recognition |
| US20130202159A1 (en) * | 2012-01-17 | 2013-08-08 | Sungkyunkwan University Research & Business Foundation | Apparatus for real-time face recognition |
| US20140029859A1 (en) * | 2012-07-30 | 2014-01-30 | Evernote Corporation | Extracting multiple facial photos from a video clip |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305366A (zh) * | 2018-02-08 | 2018-07-20 | 深圳汇通智能化科技有限公司 | 一种具有人脸识别功能的智能门禁系统 |
| CN109977931A (zh) * | 2019-05-06 | 2019-07-05 | 北京理工大学 | 一种抗运动模糊的人脸识别方法 |
| CN112102551A (zh) * | 2020-09-27 | 2020-12-18 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160119932A (ko) | 2016-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016163755A1 (ko) | 품질 측정 기반의 얼굴 인식 방법 및 장치 | |
| WO2014069822A1 (en) | Apparatus and method for face recognition | |
| WO2015174647A1 (ko) | 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체 | |
| WO2019050360A1 (en) | ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE | |
| WO2016171341A1 (ko) | 클라우드 기반 병리 분석 시스템 및 방법 | |
| WO2010041836A2 (en) | Method of detecting skin-colored area using variable skin color model | |
| WO2012115332A1 (ko) | 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법 | |
| WO2014058248A1 (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| WO2018117353A1 (ko) | 홍채와 공막의 경계선 검출 방법 | |
| WO2013048159A1 (ko) | 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 | |
| WO2019168264A1 (ko) | 전자 장치 및 그 제어 방법 | |
| WO2017099427A1 (ko) | 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치 | |
| WO2021054518A1 (ko) | 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램 | |
| WO2015182904A1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
| WO2019103221A1 (ko) | 관심 영역 기반 온라인 만화 식별 시스템 및 방법 | |
| JP3490910B2 (ja) | 顔領域検出装置 | |
| WO2013118955A1 (ko) | 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법 | |
| EP3459009A2 (en) | Adaptive quantization method for iris image encoding | |
| WO2019035544A1 (ko) | 학습을 이용한 얼굴 인식 장치 및 방법 | |
| WO2016122068A1 (ko) | 타이어 인식 방법 및 장치 | |
| WO2023200280A1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 | |
| WO2012053811A9 (ko) | 텐서 보팅에 기반을 둔 컬러 클러스터링 시스템 및 그 방법 | |
| WO2016148322A1 (ko) | 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치 | |
| WO2020226455A1 (ko) | 안저 이미지를 이용한 시신경병증 예측 장치 및 시신경병증 예측 결과 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16776858 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/01/2018) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16776858 Country of ref document: EP Kind code of ref document: A1 |