KR20030081539A - System and method for extracting constituent element of face - Google Patents
System and method for extracting constituent element of face Download PDFInfo
- Publication number
- KR20030081539A KR20030081539A KR1020020019811A KR20020019811A KR20030081539A KR 20030081539 A KR20030081539 A KR 20030081539A KR 1020020019811 A KR1020020019811 A KR 1020020019811A KR 20020019811 A KR20020019811 A KR 20020019811A KR 20030081539 A KR20030081539 A KR 20030081539A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- eye
- area
- mouth
- face
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
Landscapes
- Image Processing (AREA)
Abstract
Description
본 발명은 얼굴 구성 요소 추출 시스템 및 방법에 관한 것으로서, 보다 상세하게는 얼굴을 포함하는 영상으로부터, 얼굴 영역을 분리하고 이를 바탕으로 눈, 눈썹 및 입 영역을 추출하는 얼굴 구성 요소 시스템 및 방법에 관한 것이다.The present invention relates to a facial component extraction system and method, and more particularly, to a facial component system and method for separating the face region from the image including the face and extracting the eyes, eyebrows and mouth region based thereon will be.
의사전달 수단으로 문자, 말과 더불어 사람의 손짓, 몸짓, 얼굴 표정 등도 중요한 역할을 하고 있다. 따라서 이들을 통하여 상대방의 의사를 인식하려는 연구가 활발히 진행되고 있다.In addition to text and speech, human gestures, gestures, and facial expressions play an important role in communication. Therefore, researches to recognize the intention of the other party through these are actively conducted.
채팅 시 문자로 된 문장을 가상의 캐릭터가 읽어준다면 상대방으로 하여금 많은 흥미를 유발할 수 있다. 이 경우, 목소리뿐만 아니라 캐릭터의 입 모양을 발음에 맞게 변화를 시키거나 나아가 일부 문장의 뜻을 이해하여 그 맞는 표정을 짓는다면 상대방에게 더욱 실감나게 의미를 전달할 수 있다. 또한 화상 채팅이나 화상 회의 등을 할 때 자신의 얼굴이 드러나는걸 꺼려하는 경우, 대리자로써 자신이 짓고 있는 표정이나 얼굴 모양을 그대로 표현해주는 캐릭터가 있다면 유용할 것이다.If a virtual character reads a text sentence during a chat, it can cause a lot of interest for the other party. In this case, if you change the shape of the mouth of the character as well as the voice, or even understand the meaning of some sentences to make the expression that fits, the meaning can be more realistically conveyed to the other party. Also, if you're reluctant to see your face when you're in a video chat or video conference, it's useful to have a character who represents your facial expression or face as a representative.
이렇듯 사람의 표정을 표현하려면 먼저 입력 영상으로부터 얼굴을 찾아내고 그 얼굴 내에서 표정을 표현하는 요소들을 찾아내야 하는데 인간의 얼굴 영상은 복잡하고 보는 각도 및 조명등에 따라 수시로 변하기 때문에 처리가 매우 까다롭다. 이런 어려움 때문에 얼굴 구성 요소를 추출하는 기존 방법들은 많은 처리시간을 필요로 하고 별도의 하드웨어적인 장치를 사용했다As such, to express a human expression, a face must first be found from the input image, and the elements expressing the expression within the face must be found. Since the human facial image is complicated and changes frequently depending on the viewing angle and lighting, it is very difficult to process. Because of this difficulty, existing methods of extracting facial components require a lot of processing time and use a separate hardware device.
이런 하드웨어는 피실험자에게 부자유스러움과 심리적 부담을 주는 문제점이 있다.Such hardware has a problem of giving inconvenient and psychological burden to the test subject.
따라서, 본 발명이 이루고자 하는 기술적 과제는 영상 촬영 수단으로부터 영상을 입력받아 이 영상을 간단한 영상처리 기법을 이용하여 구성 요소를 추출할 수 있는 시스템 및 방법을 제공하는 것이다.Accordingly, an aspect of the present invention is to provide a system and method for receiving an image from an image capturing means and extracting the component using a simple image processing technique.
도 1은 본 발명의 일실시예에 따른 얼굴 구성 요소 추출 시스템을 도시한 구성도이다.1 is a block diagram showing a facial component extraction system according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 얼굴 구성 요소 추출 방법에 대한 전체 흐름도이다.2 is a flowchart illustrating a method of extracting facial components according to an embodiment of the present invention.
도 3은 상기 도 2의 얼굴 영역 검출 단계에 대한 세부 흐름도이다.3 is a detailed flowchart of the face area detection step of FIG. 2.
도 4는 얼굴 영역 검출 단계를 통하여 검출된 결과를 도시한 도면이다.4 is a diagram illustrating a result detected through the face region detection step.
도 5는 상기 도 2의 눈 영역 검출 단계에 대한 세부 흐름도이다.FIG. 5 is a detailed flowchart of the eye area detecting step of FIG. 2.
도 6은 눈 영역 검출 단계를 통하여 검출된 결과를 도시한 도면이다.6 is a diagram illustrating a result detected through an eye region detection step.
도 7은 상기 도 2의 눈썹 영역 검출 단계에 대한 세부 흐름도이다.FIG. 7 is a detailed flowchart of the eyebrow region detecting step of FIG. 2.
도 8은 눈썹 영역 검출 단계를 통하여 검출된 결과를 도시한 도면이다.8 is a diagram illustrating a result detected through the eyebrow region detection step.
도 9는 상기 도 2의 입 영역 검출 단계에 대한 세부 흐름도이다.9 is a detailed flowchart of the mouth region detecting step of FIG. 2.
도 10은 입 영역 검출 단계를 통하여 검출된 결과를 도시한 도면이다.10 is a diagram illustrating a result detected through the mouth region detecting step.
상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은In order to achieve the above technical problem, the present invention
얼굴을 포함하고 있는 디지털 영상 신호를 입력하는 입력수단;Input means for inputting a digital video signal including a face;
상기 입력된 디지털 영상 신호에서 얼굴 영역을 분리하는 얼굴 영역 검출 수단;Face region detection means for separating a face region from the input digital image signal;
상기 얼굴 영역 검출 수단에 의해 분리된 얼굴 영역 내에서 눈 영역을 검출하는 눈 영역 검출 수단;Eye region detecting means for detecting an eye region within the face region separated by the face region detecting means;
상기 눈 영역 검출 수단에 의해 검출된 눈 영역을 기준으로 눈썹 후보 영역을 설정하고 눈썹 영역을 검출하는 눈썹 영역 검출 수단; 및Eyebrow region detection means for setting an eyebrow candidate region and detecting the eyebrow region based on the eye region detected by the eye region detection means; And
상기 눈 영역 검출 수단에 의해 검출된 눈 영역을 기준으로 입 후보 영역을 설정하고 입 영역을 검출하는 입 영역 검출 수단을 포함하는 것을 특징으로 하는 얼굴 구성 요소 추출 시스템을 제공한다.And a mouth region detecting means for setting a mouth candidate region on the basis of the eye region detected by the eye region detecting means and detecting the mouth region.
또한, 상술한 다른 기술적 과제를 달성하기 위하여, 본 발명은In addition, in order to achieve the above-mentioned other technical problem, the present invention
(a) 얼굴을 포함하고 있는 영상을 입력하는 단계;(a) inputting an image including a face;
(b) 피부색을 이용한 색상 영역 분할을 통하여 얼굴 영역을 분리하는 단계;(b) separating the face region through color region division using skin color;
(c) 상기 (b) 단계에서 분리된 얼굴 영역 내에서 형판정합을 통하여 눈 영역을 검출하는 단계;(c) detecting the eye region through template matching in the face region separated in step (b);
(d) 상기 (c) 단계에서 검출된 눈 영역을 토대로 눈썹 후보 영역을 설정한 다음 휘도 성분의 변형된 히스토그램을 이용하여 눈썹 영역을 검출하는 단계; 및(d) setting an eyebrow candidate region based on the eye region detected in step (c) and then detecting the eyebrow region using a modified histogram of luminance components; And
(e) 상기 (c) 단계에서 검출된 눈 영역을 토대로 입의 후보 영역을 설정한 다음 휘도 성분의 분산값을 이용하여 입 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 얼굴 구성 요소 추출 방법을 제공한다.(e) setting a candidate region of the mouth based on the eye region detected in step (c), and then detecting the mouth region using the dispersion value of the luminance component. to provide.
상술한 본 발명에 따른 얼굴 구성 요소 추출 방법은 의상, 머리카락 등이 피부색과 유사한 색을 띠어 상기 (b) 단계에서 얼굴 영역으로 분리되는 경우에, 휘도 성분의 분산값을 이용하여 얼굴 영역 외의 영역을 제거하는 얼굴 영역 보정 단계를 더 포함하는 것이 바람직하며, 상기 휘도 성분의 분산값을 이용하여 얼굴 영역 외의 영역을 제거하는 얼굴 영역 보정 단계는 각 화소의 휘도 성분의 분산값을 구하는 단계; 및 상기 단계에서 구한 분산값의 평균값을 역치값으로 하여 역치값 이상의 값을 갖는 영역을 분리된 얼굴 영역에서 제거하는 단계를 포함할 수 있다.According to the method of extracting facial components according to the present invention, when the clothing, hair, etc. have a color similar to the skin color, and are separated into the facial region in the step (b), an area other than the facial region is extracted using the dispersion value of the luminance component. Preferably, the method further includes removing a face region correction step, wherein the face region correction step of removing a region other than the face region using the variance value of the luminance component comprises: obtaining a variance value of the luminance component of each pixel; And removing a region having a value greater than or equal to the threshold value from the separated face region by using the average value of the dispersion values obtained in the above step as the threshold value.
또한, 상기 화소의 휘도 성분의 분산값은 하나의 화소와 이웃한 8개의 화소와의 휘도 성분의 차의 절대치의 합의 평균값인 것이 바람직하다.Further, it is preferable that the dispersion value of the luminance component of the pixel is the average value of the sum of the absolute values of the difference between the luminance components of one pixel and the neighboring eight pixels.
상술한 본 발명에 따른 얼굴 구성 요소 추출 방법은 상기 (c) 단계에서 검출된 눈 영역이 다수인 경우에, 얼굴에서 눈이 가지는 기하학적 정보를 이용하여 다수인 눈 영역을 축소시키는 단계; 상기 기하학적 정보를 이용하여 눈 영역을 축소시키는 단계에서 얻어진 눈 영역을 토대로 눈 예비 영역을 설정하는 단계; 상기 눈 예비 영역 설정 단계에서 설정된 눈 후보 영역에서 에지를 검출하는 단계; 및 눈의좌우 양끝과 위아래 양끝을 검출하기 위하여 변형된 눈의 형판을 이용한 형판정합을 통하여 검출된 눈 영역을 보정하는 단계를 더 포함할 수 있다.The above-described facial component extraction method according to the present invention comprises the steps of: reducing a plurality of eye regions using geometric information of eyes in a face when there are a plurality of eye regions detected in the step (c); Setting an eye reserve region based on the eye region obtained in the step of reducing the eye region using the geometric information; Detecting an edge in an eye candidate region set in the eye preliminary region setting step; And correcting the detected eye region through template matching using the modified eye template to detect left, right, and top and bottom ends of the eye.
상술한 본 발명에 따른 얼굴 구성 요소 추출 방법에 있어서, 상기 (d) 단계의 휘도 성분의 변형된 히스토그램은 하나의 빈(bin)을 가지는 피크(peak)와 밸리(valley)가 제거된 히스토그램인 것이 바람직하다.In the facial component extraction method according to the present invention described above, the modified histogram of the luminance component of step (d) is a histogram from which peaks and valleys having one bin are removed. desirable.
상술한 본 발명에 따른 얼굴 구성 요소 추출 방법은 상기 (d) 단계에서 검출된 눈썹 영역이 눈썹 좌우측 끝 부분의 어두운 영역 또는 머리카락과 같은 눈썹이 아닌 영역을 포함하는 경우에, 두께가 갑자기 상승되는 부분을 찾아 그 부분부터 눈썹 아래 경계선의 기울기를 이용하여 눈썹 영역의 바깥쪽 경계를 찾아내어 눈썹 영역을 보정하는 단계를 더 포함할 수 있다.According to the aforementioned method of extracting facial components according to the present invention, when the eyebrow area detected in the step (d) includes a dark area of the left and right ends of the eyebrow or a non-eyebrow area such as hair, a portion of which the thickness suddenly rises The method may further include correcting the eyebrow area by finding an outer boundary of the eyebrow area using the slope of the boundary below the eyebrow from the portion.
상술한 본 발명에 따른 얼굴 구성 요소 추출 방법은 상기 (e) 단계에서 눈 영역을 토대로 입 후보 영역을 설정함에 있어 검출된 좌우측의 눈이 기울어져 있는 경우에, 좌우측 눈의 기울기를 구한 후에 그 기울기값을 토대로 입 후보 영역의 좌우 이동량을 구하여 입 후보 영역을 설정하는 것이 바람직하다.According to the method of extracting facial components according to the present invention, when the detected left and right eyes are inclined in setting the mouth candidate area based on the eye area in the step (e), the slopes of the left and right eyes are obtained after the inclination of the left and right eyes. It is preferable to set the mouth candidate area by obtaining the left and right movement amounts of the mouth candidate area based on the value.
또한, 상기 (e) 단계에서 입 후보 영역에서 휘도 성분의 분산값을 이용하여 입 영역을 검출하는 단계는 입 후보 영역내의 각 화소의 휘도 성분의 분산값을 구하는 단계; 및 상기 단계에서 구한 분산값의 평균값을 역치값으로 하여 역치값를 초과하는 값을 가지는 영역을 입 영역으로 취하는 단계를 포함할 수 있으며, 여기서 상기 (e) 단계의 휘도 성분의 분산값이 하나의 화소와 이웃한 8개의 화소와의 휘도 성분의 차의 절대치의 합의 평균값인 것이 바람직하다.Further, in the step (e), detecting the mouth region using the dispersion value of the luminance component in the mouth candidate region may include obtaining a dispersion value of the luminance component of each pixel in the mouth candidate region; And taking an area having a value exceeding the threshold value as the mouth region using the average value of the dispersion values obtained in the step as the threshold value, wherein the dispersion value of the luminance component of the step (e) is one pixel. It is preferable that it is the average value of the sum of the absolute values of the difference between the luminance components with the adjacent eight pixels.
또한, 상술한 본 발명에 따른 얼굴 구성 요소 추출 방법에 있어서, 상기 (e) 단계에서 검출된 입 영역이 입 주변의 주름 등과 같은 입이 아닌 영역을 포함하는 경우에, 수평으로 연속된 화소의 수를 측정하여 15화소(pixel) 이하의 두께를 가지는 영역을 제거하여 입 영역을 보정하는 단계를 더 포함할 수 있다.In addition, in the facial component extraction method according to the present invention described above, when the mouth area detected in the step (e) includes a non-mouth area such as wrinkles around the mouth, the number of horizontally continuous pixels The method may further include correcting the mouth region by removing the region having a thickness of 15 pixels or less by measuring the thickness of the region.
이하, 첨부된 도면을 통하여 본 발명을 상세하게 설명하기로 한다. 첨부되는 도면은 본 발명을 설명하기 위한 일실시예에 해당될 뿐 이에 의해 본 발명이 한정되는 것이 아님은 명백하다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. The accompanying drawings are only one embodiment for describing the present invention, it is apparent that the present invention is not limited thereto.
본 발명의 일실시예에 따른 얼굴 구성 요소 추출 시스템을 도시한 구성도인 도 1을 참조하면, 본 발명에 일실시예에 따른 얼굴 구성 요소 추출 시스템은 영상 입력 수단(100), 얼굴 영역 검출 수단(200), 눈 영역 검출 수단(300), 눈썹 영역 검출 수단(400) 및 입 영역 검출 수단(500)으로 구성되어 있다.Referring to FIG. 1, which is a block diagram illustrating a facial component extraction system according to an embodiment of the present invention, the facial component extraction system according to an embodiment of the present invention includes an image input means 100 and a face region detection means. 200, the eye area detection means 300, the eyebrow area detection means 400, and the mouth area detection means 500.
영상 입력 수단(100)은 디지털 영상 촬영 수단에 의해 얻어지는 디지털 영상 데이터를 얼굴 영역 추출 수단(200)으로 입력하는 역할을 하며, 또한 아날로그 영상 촬영 수단에 의해 얻어지는 아날로그 영상 데이터를 A/D 변환 수단에 의해 변화된 디지털 영상 데이터를 얼굴 영역 추출 수단(200)으로 입력할 수도 있다.The image input means 100 serves to input the digital image data obtained by the digital image capturing means to the face region extraction means 200, and also inputs the analog image data obtained by the analog image capturing means to the A / D conversion means. The changed digital image data may be input to the face region extraction unit 200.
얼굴 영역 검출 수단(200)은 입력된 디지털 영상 데이터에서 얼굴 영역을 검출한다. 상기 얼굴 영역 검출 수단(200)은 구체적으로 입력된 디지털 영상에서 색상 영역 분할을 통하여 1차적으로 얼굴 영역을 추출하는 색상 영역 분할 수단, 입력된 디지털 영상 내의 각 화소의 휘도 값을 검출하는 휘도 값 검출 수단 및 검출된 휘도 값에서 휘도 성분의 분산값을 구하고, 이 분산값의 평균값을 역치값으로하여 색상 영역 분할 수단을 통하여 분리된 얼굴 영역을 보정하는 얼굴 영역 보정 수단으로 구성될 수 있다.The face area detecting means 200 detects a face area from the input digital image data. The face region detecting means 200 is a color region dividing means for firstly extracting a face region through color gamut division from an input digital image, and a luminance value detection for detecting a luminance value of each pixel in the input digital image. Means and a face region correction means for obtaining a variance value of the luminance component from the detected luminance value, and correcting the separated face region through the color gamut dividing means by using the average value of the variance value as the threshold value.
눈 영역 검출 수단(300)은 상기 얼굴 영역 검출 수단(200)에 의해 분리된 얼굴 영역 내에서 눈 영역 검출한다. 상기 눈 영역 검출 수단(300)은 구체적으로 형판 정합을 통하여 1차적으로 눈 영역을 검출하는 형판 정합 수단, 형판 정합 수단에서 검출된 눈 영역 중에서 눈의 기하학적 정보를 이용하여 검출된 눈 영역을 축소시키는 수단, 상기 기하학적 정보를 이용한 눈 영역 축소 수단에서 얻어진 눈 영역을 토대로 눈 예비 영역을 설정하는 눈 예비 영역 설정 수단, 이 눈 예비 영역에서 에지를 검출하는 에지 검출 수단 및 눈의 좌우 양끝과 위아래 양끝을 검출하기 위하여 변형된 눈 형판을 이용한 형판 정합 수단으로 구성될 수 있다.The eye region detecting means 300 detects the eye region within the face region separated by the face region detecting means 200. The eye region detecting means 300 specifically reduces the eye region detected by using the geometric information of the eye among the eye region detected by the template matching means and the eye region detected by the template matching means. Means, eye preliminary area setting means for setting an eye preliminary area based on the eye area obtained by the eye area reduction means using the geometric information, edge detection means for detecting an edge in the eye preliminary area, and both left and right ends and top and bottom ends of the eye. And a template matching means using a modified eye template for detection.
눈썹 영역 검출 수단(400)은 상기 눈 영역 검출 수단(300)에 의해 검출된 눈 영역을 토대로 눈썹 영역을 검출한다. 상기 눈썹 영역 검출 수단(400)은 구체적으로 눈 영역 검출 수단(300)을 통하여 검출된 눈 영역을 토대로 눈썹 후보 영역을 설정하는 눈썹 후보 영역 설정 수단, 이 눈썹 후보 영역 설정 수단에 의해 설정된 눈썹 후보 영역에서 변형된 휘도 성분 히스토그램을 이용하여 눈썹 영역을 검출하는 눈썹 영역 검출 수단 및 이 눈썹 영역 검출 수단에 의해 검출된 눈썹 영역을 보정하는 눈썹 영역 보정 수단으로 구성될 수 있다.The eyebrow region detecting means 400 detects the eyebrow region based on the eye region detected by the eye region detecting means 300. The eyebrow region detecting means 400 is specifically an eyebrow candidate region setting means for setting an eyebrow candidate region based on the eye region detected by the eye region detecting means 300, and an eyebrow candidate region set by the eyebrow candidate region setting means. The eyebrow region detection means for detecting the eyebrow region using the modified luminance component histogram at and the eyebrow region correction means for correcting the eyebrow region detected by the eyebrow region detection means.
입 영역 검출 수단(500)은 상기 눈 영역 검출 수단(300)에 의해 검출된 눈 영역을 토대로 입 영역을 검출한다. 상기 입 영역 검출 수단(500)은 구체적으로 눈 영역 검출 수단(300)을 통하여 검출된 눈 영역을 토대로 입 후보 영역을 설정하는입 후보 영역 설정 수단, 이 입 후보 영역 설정 수단에 의해 설정된 입 후보 영역을 좌우측 눈의 기울기값을 이용하여 보정하는 입 후보 영역 보정 수단, 보정된 입 후보 영역에서 화소의 휘도 성분의 분산값을 이용하여 입 영역을 검출하는 입 영역 검출 수단 및 이 입 영역 검출 수단에 의해 검출된 입 영역을 보정하는 입 영역 보정 수단으로 구성될 수 있다.The mouth area detecting means 500 detects the mouth area based on the eye area detected by the eye area detecting means 300. Specifically, the mouth region detecting means 500 includes mouth candidate region setting means for setting a mouth candidate region based on the eye region detected by the eye region detecting means 300, and a mouth candidate region set by the mouth candidate region setting means. By the mouth candidate region correction means for correcting the index using the inclination values of the left and right eyes, the mouth region detecting means for detecting the mouth region using the dispersion value of the luminance component of the pixel in the corrected mouth candidate region, and the mouth region detecting means. Mouth area correction means for correcting the detected mouth area.
이어서, 본 발명의 일실시예에 따른 얼굴 구성 요소 추출 방법에 대한 전체 흐름도인 도 2를 참조하여 얼굴 구성 요소 추출 방법을 설명하기로 한다.Next, the facial component extraction method will be described with reference to FIG. 2, which is an overall flowchart of the facial component extraction method according to an embodiment of the present invention.
본 발명의 일실시예에 따른 얼굴 구성 요소 추출 방법은 크게 영상 입력 단계(S100), 얼굴 영역 검출 단계(S200), 눈 영역 검출 단계(S300), 눈썹 영역 검출 단계(S400) 및 입 영역 검출 단계(S500)를 포함하고 있다.The facial component extracting method according to an embodiment of the present invention includes an image input step S100, a face area detection step S200, an eye area detection step S300, an eyebrow area detection step S400, and a mouth area detection step. (S500) is included.
이하에서는 각각 단계들에 대한 세부적인 흐름도인 도 3, 도 5, 도 7 및 도 9를 참조하여 상세하게 설명한다.Hereinafter, a detailed flowchart of each step will be described in detail with reference to FIGS. 3, 5, 7 and 9.
1. 영상 입력 단계(S100)1. Image input step (S100)
상기 영상 입력 단계(S100)는 얼굴 영역 및 얼굴의 구성 요소(구체적으로, 눈, 눈썹 및 입)를 검출하기 위해서 얼굴을 포함하는 디지털 영상을 입력하는 단계이다.The image input step S100 is a step of inputting a digital image including a face in order to detect facial regions and components of the face (specifically, eyes, eyebrows, and mouth).
2. 얼굴 영역 검출 단계(S200)2. Face area detection step (S200)
얼굴 영역 검출 단계(S200)는 상기 영상 입력 단계(S100)에서 입력된 디지털 영상에서 얼굴 영역만을 분리하는 단계이다. 그 세부적인 단계들은 도 3에 도시되어 있는데, 이를 참조하면 색상 영역 분할을 통한 1차적인 얼굴 영역 분리를 위한색상 영역 분할 단계(S210)와 이 색상 영역 분할 단계에서 분리된 얼굴 영역의 오류를 수정하기 위한 휘도 성분의 분산값을 이용한 영역 분할 단계(S220) 및 1차적으로 분리된 얼굴 영역에서 휘도 성분의 분산값이 큰 영역을 제거하는 단계(S230)로 구성될 수 있다.The face region detecting step S200 is a step of separating only the face region from the digital image input in the image input step S100. The detailed steps are shown in FIG. 3. Referring to this, the color region segmentation step S210 for primary face region segmentation through color region segmentation and the error of the face region segmented in the color region segmentation stage are corrected. A region dividing step (S220) using the dispersion value of the luminance component to be performed and a step (S230) of removing the region having a large dispersion value of the luminance component in the primarily separated face region.
우선, 색상 영역 분할 단계(S210)에 대하여 구체적으로 설명하기로 한다.First, the color gamut dividing step S210 will be described in detail.
얼굴 영역의 검출은 얼굴인식이나 표정 인식, 얼굴의 구성 요소 추출을 위한 전처리 단계로 이해할 수 있는데, 얼굴 영역을 검출하기 위한 방법으로는 크게 얼굴 형판 (template)을 이용하는 방법과 색상 정보를 이용하는 방법이 있다.Facial region detection can be understood as a preprocessing step for face recognition, facial expression recognition, and facial component extraction. The methods for detecting the facial region are mainly a method using a face template and a method using color information. have.
얼굴 형판을 이용한 방법은 얼굴 특징에 대한 대표적인 형판을 작성하여 입력영상에 대해 형판과 매칭시킨 후 가장 유사한 모양의 특징영역을 찾아가는 방법으로 얼굴의 크기와 모양이 다양하기 때문에 대표성을 부여하기가 어려운 단점을 가지고 있으며, 색상 정보를 이용하는 방법 얼굴 피부색과 특정 영역의 색상차를 이용해서 특징 영역을 찾아내는 방법으로 간단히 색상정보를 비교함으로써 얼굴 영역을 분리할 수 있다.The method using the face template is difficult to give representativeness because the size and shape of the face is varied by creating a representative template for facial features, matching the template with the input image, and finding the feature area with the most similar shape. Method of using color information A face region can be separated by simply comparing color information by finding a feature region by using the skin color of the face and the color difference of a specific region.
얼굴 피부색은 주어진 색 공간에서 제한된 색 범위 내에 분포하므로 얼굴 영역은 얼굴 피부색을 나타내는 색을 이용하여 영역을 추출함으로써 검출된다. YCbCr 색상 공간은 색상의 명암도가 Y라는 휘도 (luminance) 값에 의해 나타나고 색상 정보를 가지고 있는 Cb와 Cr의 색차(chrominance) 값은 명암 정보가 들어있지 않으므로 조명에 영향을 받지 않아 피부색 범위를 효과적으로 찾아낼 수 있다.Since the facial skin color is distributed within a limited color range in a given color space, the facial area is detected by extracting the area using a color representing the facial skin color. The YCbCr color space is represented by the luminance value of Y, and the chrominance values of Cb and Cr, which have color information, are not affected by lighting. I can make it.
이러한 YCbCr 값은 입력된 영상의 RGB 값으로부터 하기의 수학식 1을 이용하여 변환될 수 있다.The YCbCr value may be converted from the RGB value of the input image by using Equation 1 below.
상기 수학식 1을 이용하여 변환된 결과에 의하면 얼굴 피부색을 나타내는 Cb 값과 Cr 값의 범위는 각각 [77 127] 과 [133 173] 되며, 이 Cb 값과 Cr 값을 이용한 색상 영역 분할을 통하여 1차적으로 얼굴 영역이 검출한다.According to the result of conversion using Equation 1, the ranges of the Cb value and the Cr value representing the facial skin color are [77 127] and [133 173], respectively, and the color range is divided by using the Cb value and the Cr value. Facial region is detected by car.
입력 영상이 M x N의 영상 해상도를 가질 때, 색상 영역 분할은 하기의 수학식 2에 의해서 수행될 수 있다.When the input image has an image resolution of M × N, color gamut division may be performed by Equation 2 below.
상기 수학식 2에서 x는 0, …, M-1이고, y는 0, …, N-1이며,ｆ cs(x,y)는 색상 영역 분할 결과를 나타낸다.In Equation 2, x is 0,... , M-1, y is 0,... , N-1, and ｆ cs (x, y) represents the color gamut division result.
영상 입력단계에서 입력된 영상에 대하여 상기 수학식 2를 이용한 색상 영역 분할 결과를 도 4a에 도시하였다. 도4a에서 볼 수 있듯이 피부색을 이용한 색상 영역 분할을 통해서 얼굴 영역이 배경으로부터 분리됨을 알 수 있다.4A illustrates a color gamut division result using Equation 2 with respect to an image input in the image input step. As shown in FIG. 4A, it can be seen that the face region is separated from the background by segmenting the color region using the skin color.
그러나, 입력된 영상 중에서 피부색과 유사한 색을 띠는 부분이 있는 경우에는 얼굴 영역으로 분리될 수도 있다. 도 4a를 보면, 머리카락의 색상이 얼굴의 색상과 유사하여 머리카락 부분이 얼굴 영역으로 검출된 것을 알 수 있다.However, if there is a portion of the input image having a color similar to the skin color, it may be separated into a face region. Referring to FIG. 4A, it can be seen that the color of the hair is similar to the color of the face, and thus the hair part is detected as the face area.
이런 영역은 얼굴 영역 검출 이후 과정에서 오동작을 일으킬 수 있으므로 제거되어야 하는데, 이하에서는 이 제거 단계에 대하여 상세하게 설명한다.This area should be removed because it may cause a malfunction in the process after the face area detection, which will be described in detail below.
본 발명자는 다양한 실험을 통하여 머리카락 부분 등이 얼굴 부분에 비해 이웃한 화소간의 휘도 성분의 변화가 크며, 이를 이용하면 머리카락 부분 등의 제거가 가능함을 찾아내었다.The inventors have found that the hair part and the like have a large change in the luminance component between neighboring pixels compared to the face part through various experiments, and by using this, the hair part and the like can be removed.
머리카락 부분 등의 제거를 위해서는 먼저, 입력된 영상내의 각 화소에 대한 휘도 성분의 분산값을 구하고 이 분산값의 평균값을 역치값으로 하여 입력 영상을 분할하는 단계(S220)를 거친 다음 이어서 색상 영역 분할 단계(S210)에서 1차적으로 얼굴 영역 분리된 영역에서 역치값 이상을 가지는 영역을 제거하는 단계(S230)가 수행된다.In order to remove the hair, etc., first, a dispersion value of luminance components for each pixel in the input image is obtained, and the input image is divided using a mean value of the dispersion values as a threshold value (S220), and then color gamut division is performed. In operation S210, an operation having an area having a threshold value or more from an area primarily separated from the face region is performed in operation S230.
휘도 성분의 분산값을 이용한 영역 분할(S220)을 위해서는 먼저, 휘도 성분의 분산값을 구하여야 한다.For region division using the dispersion value of the luminance component (S220), first, the dispersion value of the luminance component should be obtained.
휘도 성분의 분산값은 각 화소에 대해 이웃한 화소 8개와의 휘도 성분의 차의 제곱의 합으로 구할 수 있으며, 이웃한 화소와의 차의 절대치 합으로 구할 수도 있다. 본 발명에서는 계산상의 부담을 줄이기 위해서 후자를 선택하였다. 이 후자를 구하는 식은 하기의 수학식 3으로 나타냈다.The dispersion value of the luminance component can be obtained by the sum of the squares of the differences of the luminance components with the eight neighboring pixels for each pixel, or can be obtained by the sum of the absolute values of the differences with the neighboring pixels. In the present invention, the latter was selected to reduce the computational burden. This latter formula was expressed by the following equation (3).
여기서, Ｖ(x, y)는 (x, y)에서의 분산 값을 나타낸다.Here, Ｖ (x, y) represents the variance value at (x, y).
상기 수학식 3에서 구한 각 화소의 분산값을 역치값으로 하고, 하기의 수학식 4를 이용하여 영상을 이진화시켜 영역 분할을 한다.The variance value of each pixel obtained in Equation 3 is used as a threshold value, and the region is divided by binarizing the image using Equation 4 below.
여기서,ｆ v(x,y)는 분산 값을 이용하여 이진화한 결과이고,th v는 역치값이다.Where, f v (x, y) is the result of binarization by using a variance value, a threshold value th is v.
상기 수학식 2를 통하여 색상 영역 분할 결과와 상기 수학식 4를 통한 영상 분할 결과를 이용하여 하기의 수학식 5를 통하여 머리카락 등과 같이 피부색과 유사하여 얼굴 영역으로 함께 분리되는 부분을 제거할 수 있다.Using Equation 2 and the result of the image segmentation through Equation 4, Equation 5 can be used to remove portions that are similar to the skin color, such as hair, to be separated into the facial region.
여기서,ｆ HR(x,y)는 최종적으로 입력 영상으로부터 검출되는 얼굴 영역을 나타낸다. 즉, 상기 수학식 2를 이용한 색상 영역 분할을 통하여 입력 영상 중에서 피부색을 가지는 영역을 분리하고, 그 영역 중에서 분산값이 역치값(분산값들이 평균값) 이상인 영역을 제거한 것이다.Here, ｆ HR (x, y) represents a face area finally detected from an input image. In other words, the region having the skin color is separated from the input image by segmenting the color region using Equation 2, and the region having the variance value equal to or greater than the threshold value (the variance values) is removed from the region.
수학식 4를 통한 영상 분할 결과는 도 4b로 나타냈는데, 도 4b에서 검은 영역이 휘도 성분의 분산값이 큰 영역을 나타내는 것으로서, 머리카락 등의 영역이 얼굴 영역 보다 분산값이 크다는 것을 알 수 있다.The result of image segmentation using Equation 4 is shown in FIG. 4B. In FIG. 4B, the black region represents a region having a large dispersion value of luminance components, and it can be seen that a region such as hair has a larger dispersion value than a face region.
그리고, 최종 얼굴 분리 결과 즉, 수학식 5를 통한 머리카락 영역 등의 제거 결과는 도 4c로 나타냈는데, 도 4c에서 얼굴 영역으로 분리된 머리카락 영역이 제거되었음을 확인할 수 있다.And, the final face separation result, that is, the removal result of the hair region through Equation 5 is shown in Figure 4c, it can be confirmed that the hair region separated by the face region in Figure 4c.
눈 영역 검출 단계(S300)Eye area detection step (S300)
눈 영역 검출 단계(S300)는 얼굴 영역 검출 단계(S200)에서 분리된 얼굴 영역에서 눈 영역을 검출하는 단계로서 그 세부적인 단계들은 도 5에 도시되어 있다.The eye area detection step S300 is a step of detecting the eye area in the face area separated in the face area detection step S200, and the detailed steps thereof are illustrated in FIG. 5.
도 5를 참조하면, 상기 눈 영역 검출 단계(S300)는 구체적으로 상기 얼굴 영역 검출 단계에서 검출된 얼굴 영역 내에서 형판 정합을 통한 1차적인 눈 영역 검출 단계(S310), 눈의 기하학적 정보를 이용하여 상기 형판 정합을 통하여 검출된 눈 영역을 축소시키는 단계(S320), 눈 영역 보정을 위한 눈 예비 영역 설정 단계(S330), 에지 검출 단계(S340) 및 새로운 형판을 이용한 형판 정합을 눈 영역 보정 단계(S350)로 구성되어 있다.Referring to FIG. 5, the eye region detection step S300 is specifically used for detecting the primary eye region through template matching in the face region detected in the face region detection step S310, using geometric information of the eye. Reducing the eye region detected through the template matching (S320), eye preliminary region setting step (S330) for eye region correction, edge detection step (S340), and template matching using a new template eye region correction step It consists of S350.
먼저, 형판 정합을 통한 1차적인 눈 영역 검출 단계(S310)는 본 발명이 속하는 기술 분야에 널리 알려진 눈 형판을 이용하여 실시된다. 이 형판 정합 결과를 도 6b로 나타내었는데, 도 6a는 상술한 얼굴 영역 검출 단계(S200)를 통하여 얼굴 영역을 분리한 영상이다.First, the primary eye region detection step S310 through template matching is performed using an eye template that is well known in the art. The template matching result is illustrated in FIG. 6B, but FIG. 6A is an image obtained by separating the face region through the face region detecting step S200 described above.
형판 정합 결과를 도시한 도 6b를 보면 많은 영역 들이 눈 영역으로 검출됨을 알 수 있는데, 눈 영역의 검출 결과는 이후에 눈썹, 입 영역 검출에 이용되므로 좀 더 정확한 검출을 필요로 한다. 따라서, 본 발명에서 눈의 기하학적 정보를 이용하여 검출된 눈 영역을 축소시키는 단계(S320)를 통하여 좀더 정확한 눈을 검출한다.Referring to FIG. 6B, which shows the template matching result, it can be seen that many areas are detected as eye areas, and the detection result of the eye areas is later used for detecting eyebrows and mouth areas, and thus requires more accurate detection. Therefore, in the present invention, more accurate eyes are detected through the step S320 of reducing the detected eye region using geometric information of the eyes.
본 발명에 따른 눈 영역 축소 단계(S320)는 눈이 가지고 있는 얼굴 내의 기하학적 정보, 즉 두 눈은 얼굴 영역의 상위 부분에 위치하고, 얼굴 영역의 중앙에 대해 좌우대칭적으로 존재하며, 눈과 눈썹이 동시에 검출될 경우 눈은 눈썹 바로 밑에 위치한다라는 정보를 이용하여 상기 형판 정합을 통하여 검출한 결과 중에서 눈 후보 영역을 축소한다.In the eye region reduction step S320 according to the present invention, the geometric information in the face that the eyes have, that is, the two eyes are located at the upper portion of the face region, exists symmetrically with respect to the center of the face region, and the eyes and the eyebrows are When detected at the same time, the eye candidate region is reduced in the detection result through the template registration using the information that the eye is located directly under the eyebrows.
상술한 기하학적 정보를 위한 눈 영역 축소 단계(S320)에 대한 결과를 도 6c에 도시하였는데, 매우 정확한 눈 영역이 검출되었음을 알 수 있다.The result of the eye region reduction step S320 for the above-described geometric information is shown in FIG. 6C, and it can be seen that very accurate eye regions have been detected.
그러나, 사람의 얼굴 표정을 표현하기 위해서는 눈커플을 포함하는 눈의 모양이 정확하게 검출되어야 하므로 다음과 같은 보정 작업이 필요하다.However, in order to express a human facial expression, since the shape of the eye including the eye couple must be accurately detected, the following correction operation is required.
먼저, 검출된 눈을 이용하여 눈 예비 영역을 설정한다(S330).First, an eye preliminary area is set using the detected eye (S330).
눈 예비 영역의 높이는 검출된 눈 영역에서 위아래로 눈 영역의 높이의 1/2만큼씩 늘린다. 눈 예비 영역의 너비는 눈 영역에서 좌우로 각각 눈 영역의 너비의 1/2만큼씩 늘린다. 눈 영역의 높이와 너비가 너무 작을 경우에 대비해 눈 예비 영역의 최소 높이와 너비는 각각 45, 60 화소로 정할 수 있다.The height of the eye reserve area is increased by 1/2 of the height of the eye area up and down in the detected eye area. The width of the eye reserve is increased by 1/2 of the width of the eye region, respectively, from side to side in the eye region. In case the height and width of the eye area are too small, the minimum height and width of the eye reserve area can be set to 45 and 60 pixels, respectively.
이렇게 설정된 눈 예비 영역 내에서 캐니 에지 연산자(Canny edge operator)를 이용하여 에지를 검출한다(S340). 이 에지 검출 단계(S340)를 통하여 검출된 결과는 도 6d에 도시하였다.The edge is detected using a Canny edge operator in the eye spare area set as described above (S340). The result detected through this edge detection step S340 is shown in FIG. 6D.
에지를 검출한 후 검출된 에지를 이용하여 형판 정합을 통하여 정확한 눈의 모양을 찾는다(S350). 정확한 눈의 모양을 찾기 위하여 본 발명에서는 눈의 좌우양 끝과 위아래 양끝의 검출할 수 있는 형판을 새롭게 만들어 이용하였다.After the edge is detected, the correct eye shape is found through template matching using the detected edge (S350). In order to find the correct eye shape, the present invention newly used a template for detecting both left and right ends and upper and lower ends of the eye.
기존의 눈 검출 기법들은 단순히 눈의 위치만을 구했는데, 본 발명에서는 눈의 위치 뿐만 아니라 눈의 감김 정도를 표현하기 위해서는 눈꺼풀의 위치도 함께 검출할 수 있다.Conventional eye detection techniques have simply obtained the position of the eye, in the present invention can detect the position of the eyelid as well as the position of the eye to express the degree of eye closure.
눈썹 영역 검출 단계(S400)Eyebrow area detection step (S400)
눈썹 영역 검출 단계에 대한 세부적인 단계들은 도 7에 도시하였는데, 도 7을 참조하면, 눈썹 후보 영역 설정 단계(S410), 변형된 히스토그램을 이용한 눈썹 영역 검출 단계(S420) 및 검출된 눈썹 영역 보정 단계(S430)로 구성되어 있다.Detailed steps for the eyebrow area detection step are shown in FIG. 7, and referring to FIG. 7, the eyebrow candidate area setting step S410, the eyebrow area detection step using the modified histogram S420, and the detected eyebrow area correction step It consists of (S430).
상술한 바와 같은 단계들은 먼저 눈썹이 존재할 만한 영역, 즉 눈썹 후보 영역을 설정한 다음, 그 후보 영역에서 일반적으로 눈썹은 그 주변의 다른 얼굴 영역보다 어두운 색을 띤다는 점을 이용하여 결정된 것이다.The steps as described above are determined by first setting an area where the eyebrows may be present, that is, an eyebrow candidate area, and then in that candidate area that the eyebrows generally have a darker color than other facial areas around it.
눈썹 후보 영역 설정 단계(S410)는 눈 바로 위에 위치하므로 눈썹이 존재한다는 것을 이용하여 상기 눈 영역 검출 단계(S300)에서 검출한 눈 영역을 이용하여 눈썹 후보 영역을 설정한다.Since the eyebrow candidate region setting step S410 is located directly above the eye, the eyebrow candidate region is set using the eye region detected in the eye region detecting step S300 by using the presence of the eyebrows.
눈과 눈썹 후보 영역 사이는 눈 영역의 높이의 1/4만큼 거리를 두고 눈썹 후보 영역의 높이는 눈 영역의 높이의 1.5배로 한다. 눈썹 후보 영역의 너비는 눈 영역의 너비에 좌우로 각각 눈 영역의 너비의 1/2만큼씩 늘린다. 눈의 높이와 너비가 너무 작을 경우에 대비해 눈썹 후보 영역의 최소 높이와 너비는 각각 20, 30 화소로 정할 수 있다.The distance between the eye and the eyebrow candidate area is 1/4 of the height of the eye area, and the height of the eyebrow candidate area is 1.5 times the height of the eye area. The width of the eyebrow candidate area increases by 1/2 of the width of the eye area, respectively, to the left and right of the eye area. In case the height and width of the eye are too small, the minimum height and width of the candidate eyebrow area can be set to 20 and 30 pixels, respectively.
상기 눈썹 후보 영역 설정 단계(S410)에서 눈썹후보 영역 내에서 눈썹의 검출은 휘도 성분의 히스토그램을 이용한 트레솔딩(thresholding) 기법을 이용하여 검출하며(S420), 이에 대해서는 하기의 수학식 6으로 나타냈다.In the eyebrow candidate region setting step (S410), the detection of the eyebrows in the eyebrow candidate region is detected using a thresholding technique using a histogram of luminance components (S420), which is represented by Equation 6 below.
여기서f eyebrow(x,y)는 휘도 성분의 히스토그램을 이용한 트레솔딩 결과이고 는th hist는 역치값으로 구하는 방법은 다음과 같다.Here, f eyebrow (x, y) is the result of tresolding using the histogram of the luminance component, and th hist is the threshold value as follows.
일반적인 히스토그램은 단지 하나의 빈(bin)을 갖는 많은 수의 피크(peak)들과 밸리(valley)들을 가지고 있어 역치값 결정을 어렵게 만든다. 그러나 본 발명에서는 단지 하나의 빈을 갖는 피크들과 밸리들이 제거된 수정된 히스토그램을 이용한다. 피크는 각 빈에 대해 그 빈의 값이 전후 빈의 값보다 클 경우 이 빈의 값을 전후 빈 중 큰 값을 가지는 빈의 값으로 대치하고, 밸리도 비슷한 방법으로 각 빈에 대해 그 빈의 값이 전후 빈의 값보다 작은 경우 이를 전후 빈 중 작은 값을 가지는 빈의 값으로 대치함으로써 제거될 수 있다.A typical histogram has a large number of peaks and valleys with only one bin, making it difficult to determine threshold values. However, the present invention uses a modified histogram in which peaks and valleys with only one bin are removed. For each bin, if the value of the bin is greater than the value of the before and after bin, the peak is replaced by the value of the bin with the larger value between the bins. If it is smaller than the value of the front and back bins, it can be removed by replacing it with the value of the bin having the smaller value.
검출될 눈썹 영역은 후보 영역의 전체 면적의 20%에서 50%를 차지한다고 가정하면, 역치값은 휘도 성분의 누적 히스토그램이 후보 영역의 전체 면적의 20%가 되는 빈을 하위 경계(lower bound)로, 50%가 되는 빈을 상위 경계(upper bound)로 하는 제한된 범위 내에서 검출된다. 따라서, 상기 제한된 범위 내에서 수정된 히스토그램의 최소값을 가지는 빈을 역치값을 이용하는데, 즉 역치값은 하기 수학식 7을 통하여 구할 수 있다.Assuming that the eyebrow area to be detected occupies 20% to 50% of the total area of the candidate area, the threshold value is the lower bound of the bin whose cumulative histogram of the luminance component is 20% of the total area of the candidate area. In other words, it is detected within a limited range with 50% of the bins being upper bound. Accordingly, the bin having the minimum value of the histogram modified within the limited range is used as the threshold value, that is, the threshold value can be obtained through Equation 7 below.
상기 수학식 7에서 h(i)는 눈썹 후보 영역의 휘도 성분의 히스토그램을 나타내고,lower-bound는 휘도 성분의 누적 히스토그램이 후보 영역의 전체 면적의 20%가 되는 빈이고,upper-bound는 50%가 되는 빈이다.In Equation 7, h ( i ) represents a histogram of the luminance component of the eyebrow candidate region, lower-bound is a bin whose cumulative histogram of the luminance component is 20% of the total area of the candidate region, and upper-bound is 50% Is a bean.
그러나, 눈썹을 검출할 때 휘도 성분의 히스토그램을 이용하여 트레솔딩을 취하기 때문에 얼굴 영역 중 좌측 눈썹의 경우는 좌측 끝부분의, 우측 눈썹의 경우는 우측 끝부분의 어두운 얼굴 부분이 또는 머리카락의 일부분이 포함되기 때문에 일부 영상에선 눈썹을 검출할 때 잘못된 영역이 포함되는 현상이 발생할 수 있어서 눈썹 영역의 보정이 필요한 경우가 있다. 이 눈썹 영역 보정(S430)은 다음과 방법으로 이루어진다.However, when the eyebrows are detected, tresolding is performed using the histogram of the luminance component, so that the dark face part of the left eyebrow and the right end part of the right eyebrow or the part of the hair In some images, a wrong area may be included when detecting the eyebrows, so the eyebrow area may need to be corrected. This eyebrow region correction (S430) is made in the following method.
일반적으로 이런 잘못 검출된 부분은 도 8a에서 볼 수 있는 것과 같이 그 두께가 눈썹 두께의 평균치보다 훨씬 두껍고 눈썹 경계선을 보면 위쪽 경계보다는 아래쪽 경계가 더 정확하게 검출된다. 이점을 이용하여 갑자기 두꺼워지는 부분을 찾아 그 부분부터 눈썹 아래 경계선을 이용하여 경계선의 떨어지는 정도, 즉 기울기를 이용하여 눈썹의 바깥쪽 경계를 찾을 수 있으며, 이렇게 찾은 눈썹의 바깥쪽을 경계를 이용하여 검출된 눈썹 영역을 보정할 수 있다. 도 8b에는 보정 후의 검출된 눈썹 클러스터를 보여주고 있다.In general, such a misdetected part is thicker than the average of the eyebrow thickness as shown in FIG. 8A, and the lower border is detected more accurately than the upper border when the eyebrow border is seen. You can use this to find the area that suddenly thickens, and from that part, you can find the outer boundary of the eyebrows using the degree of falling of the boundary line, that is, the slope, using the boundary below the eyebrows. The detected eyebrow area can be corrected. 8B shows the detected eyebrow cluster after correction.
입 영역 검출(S500)Mouth area detection (S500)
입 영역 검출 단계(S500)는 그 세부적인 단계를 도 9에 도시하였는데, 이 도9를 참조하면, 입 후보 영역 설정 단계(S510), 입 후보 영역 보정 단계(S520), 입 후보 영역에 대한 휘도 성분의 분산값을 이용한 영역 분할 단계(S530), 입 영역 검출 단계(S540) 및 검출된 입 영역 보정 단계(S550)로 구성되어 있다.A detailed description of the mouth region detection step S500 is shown in FIG. 9. Referring to FIG. 9, the mouth candidate region setting step S510, the mouth candidate region correction step S520, and the luminance of the mouth candidate region are illustrated. It consists of an area division step (S530), an mouth area detection step (S540), and a detected mouth area correction step (S550) using the dispersion values of the components.
입 후보 영역 설정 단계(S510)는 검출된 두 눈의 위치 값과 얼굴 모양의 통계적인 자료를 이용하여 구할 수 있는데. 상기 눈 영역 검출 단계에서 검출된 왼쪽 눈의 좌표를(XL,YL), 오른쪽 눈의 좌표를 (XR,YR)라 할 때, 입 후보 영역의 x 좌표값의 범위인 [MouthLMouthR]와 y 좌표값의 범위인 [MouthTMouthB]는 하기 수학식 8을 이용하여 결정할 수 있다.The mouth candidate region setting step (S510) may be obtained by using statistical data of the position and face shape of the detected eyes. When the coordinates of the left eye detected in the eye region detection step are (X L, Y L ) and the coordinates of the right eye are (X R, Y R ), [Mouth L which is a range of x coordinate values of the mouth candidate region. [Mouth T Mouth B ], which is a range of Mouth R ] and y coordinate values, may be determined using Equation 8.
여기서 Yeye는 (YL+ YR)/2 이다.Where Y eye is (Y L + Y R ) / 2.
상술한 바와 같은 수학식 8을 이용한 입 후보 영역 설정 방법은 두 눈이 수평으로 있을 때에는 비교적 정확하게 입 후보 영역을 설정할 수 있으나, 두 눈이 기울어져 있는 경우에는 입 후보 영역의 설정에 보정이 필요하다.In the method of setting the mouth candidate region using Equation 8 as described above, when the eyes are horizontal, the mouth candidate region can be set relatively accurately, but when the eyes are inclined, the mouth candidate region needs to be corrected. .
입 후보 영역의 보정 단계(S520)는 두 눈 사이의 기울기와 거리를 이용하여 상기 수학식 8을 통하여 구한 입 후보 영역에서 입 후보 영역의 x 좌표값과 y 좌표값의 변동량을 구하는 방식으로 수행되는데, 먼저 하기의 수학식 9를 통하여 좌우측 두 눈의 기울기(Gradient)와 거리(Length)를 구한 다음 이 기울기와 거리를 이용하여 입 후보 영역의 x 좌표값의 변동량인 dx와 y 좌표값의 변동량인 dy를 구한다. 이어서, 하기의 수학식 10에서와 같이 상기 수학식 8을 통하여 구한 입 후보 영역의 값들을 보정하는 방법으로 이루어진다.The correction step (S520) of the mouth candidate region is performed by calculating a variation amount of the x coordinate value and the y coordinate value of the mouth candidate region in the mouth candidate region obtained through Equation 8 using the slope and the distance between the two eyes. First, the gradient and the distance of the left and right eyes are calculated through Equation 9 below, and then, using the slope and the distance, the variation of the dx and y coordinate values, Find dy. Subsequently, as shown in Equation 10 below, a method of correcting values of the candidate candidate area obtained through Equation 8 is performed.
상기 수학식 9에 의하여 YL과 YR값을 구하였을 때, YL< YR이면, dx는 음의 값을 갖게 된다.When Y L and Y R values are obtained according to Equation 9, if Y L <Y R , dx has a negative value.
다음으로, 최종적인 입 후보 영역의 x 좌표값의 범위인 [FMouthLFMouthR]와 y 좌표값의 범위인 [FMouthTFMouthB]를 구하는 수학식 10은 다음과 같다.Next, Equation 10 for obtaining [FMouth L FMouth R ], which is the range of the x coordinate value of the final candidate candidate area, and [FMouth T FMouth B ], which is the range of the y coordinate value, is as follows.
이렇게 설정된 입 후보 영역 내에서 입 후보 영역에 대한 휘도 성분의 분산값을 이용한 영역 분할 단계(S530), 입 영역 검출 단계(S540) 및 검출된 입 영역 보정 단계(S550)를 거쳐 입 영역 검출이 완료된다.Mouth region detection is completed through an area division step (S530), an mouth area detection step (S540), and a detected mouth area correction step (S550) using the dispersion value of the luminance component with respect to the mouth candidate area in the set mouth area. do.
먼저, 입 후보 영역에 대한 휘도 성분의 분산값을 이용한 영역 분할 단계(S530)를 살펴보면 다음과 같다.First, an area division step (S530) using the dispersion value of the luminance component of the candidate region is described as follows.
본 발명에서 입 영역을 검출하기 위하여 입 후보 영역에 대한 휘도 성분의 분산값을 이용한 것은 입술이나 이빨에 의해 주변보다 입 영역이 더 큰 분산 값을 가지고 있다는 것을 다양한 실험을 통하여 알아내었기 때문이다.In the present invention, the variance value of the luminance component with respect to the mouth candidate region is used to detect the mouth region because it has been found through various experiments that the mouth region has a larger dispersion value than the surroundings by the lips or the teeth.
휘도 성분의 분산값을 이용한 영역 분할 단계(S530)를 수행하기 위해서는 먼저, 휘도 성분의 분산값을 구하여야 한다.In order to perform the region division step S530 using the dispersion value of the luminance component, first, the dispersion value of the luminance component should be obtained.
휘도 성분의 분산값은 각 화소에 대해 이웃한 화소 8개와의 휘도 성분의 차의 제곱의 합으로 구할 수 있으며, 이웃한 화소와의 차의 절대치 합으로 구할 수도 있다. 본 발명에서는 계산상의 부담을 줄이기 위해서 후자를 선택하였다. 이 후자를 구하는 식은 하기의 수학식 11으로 나타냈다.The dispersion value of the luminance component can be obtained by the sum of the squares of the differences of the luminance components with the eight neighboring pixels for each pixel, or can be obtained by the sum of the absolute values of the differences with the neighboring pixels. In the present invention, the latter was selected to reduce the computational burden. This latter formula is represented by the following expression (11).
여기서, Ｖ(x, y)는 (x, y)에서의 분산 값을 나타낸다.Here, Ｖ (x, y) represents the variance value at (x, y).
상기 수학식 11에서 구한 각 화소의 분산값을 역치값으로 하고, 하기의 수학식 12를 이용하여 영상을 이진화시켜 영역 분할을 한다.A variance value of each pixel obtained in Equation 11 is used as a threshold value, and an area is divided by binarizing an image using Equation 12 below.
여기서,ｆ mouth(x,y)는 분산 값을 이용하여 영역을 분리한 결과이고,th mouth는 역치값이다.Here, ｆ mouth (x, y) is the result of region separation using the variance value, and th mouth is the threshold value.
이어서, 입 영역 검출하는 단계(S540)가 수행되는데, 입 영역 검출하는단계(S540)는 상기 수학식 12에 의해 구한ｆ mouth(x,y) 중에서 휘도 성분의 분산화값이 역치값을 초과하는 값을 가진 영역을 취하면 된다.Then, there is carried out a step (S540) for detecting input area, an input area comprising the steps of: detecting (S540) is determined by the equation 12 f mouth (x, y) from the distributed value of the luminance component value exceeding the threshold value Take an area with
상술한 바와 같이 분산 값을 이용하여 입을 검출할 경우 입술이나 이빨뿐만 아니라 입 주변의 주름에 의해 잘못된 부분이 입 영역에 포함될 수 있는 문제점이 있다. 따라서, 최종적으로 입 영역을 결정하기 위해서는 상기 입 영역 검출 단계(S540)에서 구한 입 영역의 보정 단계(S550)가 필요하다. 이 입 영역의 보정 단계(S550)는 다음과 같이 수행된다.As described above, when the mouth is detected using the variance value, there is a problem that a wrong part may be included in the mouth area due to wrinkles around the mouth as well as the lips or teeth. Therefore, in order to finally determine the mouth region, the mouth region correction step S550 obtained in the mouth region detection step S540 is required. The correction step S550 of this mouth region is performed as follows.
잘못 검출되는 부분의 대표적인 것은 입과 코 사이의 주름이나 코 옆의 주름인데, 일반적으로 이런 주름에 의한 영역은 상하로 가늘고 긴 형태를 가지고 있으며 이러한 점을 이용하여 수평으로 연속된 화소의 수를 측정하여 15화소(pixel) 이하의 두께를 가지는 영역은 제거함으로써 주름에 의한 잘못된 입 영역을 제거할 수 있다.The most common ones are the wrinkles between the mouth and nose or the wrinkles next to the nose. In general, the area caused by these wrinkles has a long and thin shape vertically and upwardly. Therefore, by removing the region having a thickness of 15 pixels or less, an erroneous mouth region caused by wrinkles can be removed.
상술한 바와 같은 과정을 통하여 검출된 입 영역에 대한 결과를 도 10으로 나타냈었는데, 도 10a는 보정 전의 검출된 입 클러스터를 보여주며, 도 10b는 보정 후의 검출된 입 클러스터을 보여준다. 이 도 10a와 10b를 비교하면 보면 입 주변의 주름이 제거되었음을 알 수 있다.The result of the mouth area detected through the above-described process is shown in FIG. 10, FIG. 10A shows the detected mouth cluster before correction, and FIG. 10B shows the detected mouth cluster after correction. 10A and 10B, it can be seen that wrinkles around the mouth are removed.
상술한 바와 같은 본 발명에 따른 얼굴 구성 요소 추출 시스템 및 방법에 의하면, 복잡하고 값비싼 장비나 표식을 사용하지 않고 간단한 영상처리 기법을 이용하여 얼굴 구성 요소를 추출함으로써 피실험자에게 심리적인 부담을 주지 않으면서도 정밀하게 추출할 수 있는 장점을 가지고 있다.According to the system and method for extracting facial components according to the present invention as described above, it is possible to extract facial components using simple image processing techniques without using complicated and expensive equipment or markers, so as not to give psychological burden to the subject. It also has the advantage of being able to extract precisely.
본 발명에 따른 시스템 및 방법은 사람의 행동을 이해하고 그에 따라 적당히 반응하는 컴퓨터 시스템, 시끄러운 환경에서 입술의 움직임으로부터 정보를 추출하여 언어를 인식할 수 있는 시스템, 컴퓨터나 건물의 출입을 제어하는 감시 시스템, 현실감 있는 얼굴 애니메이션(face animation)을 실현하는 얼굴 행위에 대한 기준 데이터를 얻는 수단 등으로 쓰일 수 있다.The system and method according to the present invention is a computer system that understands human behavior and responds accordingly, a system that can recognize language by extracting information from the movement of the lips in a noisy environment, and monitors access to a computer or building. It can be used as a system, a means of obtaining reference data on facial behavior for realizing realistic face animation.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020019811A KR20030081539A (en) | 2002-04-11 | 2002-04-11 | System and method for extracting constituent element of face |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020019811A KR20030081539A (en) | 2002-04-11 | 2002-04-11 | System and method for extracting constituent element of face |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20030081539A true KR20030081539A (en) | 2003-10-22 |
Family
ID=32378641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020019811A KR20030081539A (en) | 2002-04-11 | 2002-04-11 | System and method for extracting constituent element of face |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20030081539A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100590572B1 (en) * | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | Method and apparatus for detecting a position of eye |
| JP7516090B2 (en) | 2020-03-31 | 2024-07-16 | キヤノン株式会社 | Image processing device, image processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09251534A (en) * | 1996-03-18 | 1997-09-22 | Toshiba Corp | Device and method for authenticating person |
| KR19980020738A (en) * | 1996-09-11 | 1998-06-25 | 양승택 | Facial component extraction system and its extraction method |
| US6028960A (en) * | 1996-09-20 | 2000-02-22 | Lucent Technologies Inc. | Face feature analysis for automatic lipreading and character animation |
| JP2001022933A (en) * | 1999-07-07 | 2001-01-26 | Mitsubishi Electric Corp | Face image processor using two-dimensional template |
| KR20030040680A (en) * | 2001-11-15 | 2003-05-23 | 삼성에스디에스 주식회사 | Method for detecting face from video data and apparatus thereof |
-
2002
- 2002-04-11 KR KR1020020019811A patent/KR20030081539A/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09251534A (en) * | 1996-03-18 | 1997-09-22 | Toshiba Corp | Device and method for authenticating person |
| KR19980020738A (en) * | 1996-09-11 | 1998-06-25 | 양승택 | Facial component extraction system and its extraction method |
| US6028960A (en) * | 1996-09-20 | 2000-02-22 | Lucent Technologies Inc. | Face feature analysis for automatic lipreading and character animation |
| JP2001022933A (en) * | 1999-07-07 | 2001-01-26 | Mitsubishi Electric Corp | Face image processor using two-dimensional template |
| KR20030040680A (en) * | 2001-11-15 | 2003-05-23 | 삼성에스디에스 주식회사 | Method for detecting face from video data and apparatus thereof |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100590572B1 (en) * | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | Method and apparatus for detecting a position of eye |
| JP7516090B2 (en) | 2020-03-31 | 2024-07-16 | キヤノン株式会社 | Image processing device, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| KR100480781B1 (en) | Method of extracting teeth area from teeth image and personal identification method and apparatus using teeth image | |
| JP4307496B2 (en) | Facial part detection device and program | |
| EP2955662B1 (en) | Image processing device, imaging device, image processing method | |
| EP1596573B1 (en) | Image correction apparatus | |
| JP4309928B2 (en) | Wrinkle detection device, wrinkle detection method, and program | |
| JPH0877334A (en) | Automatic feature point extracting method for face image | |
| US20040037460A1 (en) | Method for detecting objects in digital images | |
| US8290277B2 (en) | Method and apparatus for setting a lip region for lip reading | |
| US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| CN112232332B (en) | Non-contact palm detection method based on video sequence | |
| CN110032932B (en) | Human body posture identification method based on video processing and decision tree set threshold | |
| Xiao et al. | Retinal hemorrhage detection by rule-based and machine learning approach | |
| JP2000105819A (en) | Face image area detecting device | |
| Monwar et al. | Pain recognition using artificial neural network | |
| CN111160194A (en) | Static gesture image recognition method based on multi-feature fusion | |
| CN110648336B (en) | Method and device for dividing tongue texture and tongue coating | |
| Arsic et al. | Improved lip detection algorithm based on region segmentation and edge detection | |
| CN112712054B (en) | Face wrinkle detection method | |
| KR20130126386A (en) | Adaptive color detection method, face detection method and apparatus | |
| US20060010582A1 (en) | Chin detecting method, chin detecting system and chin detecting program for a chin of a human face | |
| KR20030081539A (en) | System and method for extracting constituent element of face | |
| WO2018113259A1 (en) | Method and device for acquiring target object, and robot | |
| KR20050014072A (en) | Method for extraction region of face with learning colors distribution of a frame image | |
| KR102458614B1 (en) | System for diagnosing skin using non-contact type rgb camera and skin diagnosis method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| NORF | Unpaid initial registration fee |