KR20030091471A - YCrCb color based human face location detection method - Google Patents

YCrCb color based human face location detection method Download PDF

Info

Publication number
KR20030091471A
KR20030091471A KR1020020029532A KR20020029532A KR20030091471A KR 20030091471 A KR20030091471 A KR 20030091471A KR 1020020029532 A KR1020020029532 A KR 1020020029532A KR 20020029532 A KR20020029532 A KR 20020029532A KR 20030091471 A KR20030091471 A KR 20030091471A
Authority
KR
South Korea
Prior art keywords
color
region
center
value
condition
Prior art date
Application number
KR1020020029532A
Other languages
Korean (ko)
Other versions
KR100488014B1 (en
Inventor
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0029532A priority Critical patent/KR100488014B1/en
Publication of KR20030091471A publication Critical patent/KR20030091471A/en
Application granted granted Critical
Publication of KR100488014B1 publication Critical patent/KR100488014B1/en

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E06DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06BFIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B7/00Special arrangements or measures in connection with doors or windows
    • E06B7/16Sealing arrangements on wings or parts co-operating with the wings
    • EFIXED CONSTRUCTIONS
    • E06DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06BFIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B7/00Special arrangements or measures in connection with doors or windows
    • E06B7/12Measures preventing the formation of condensed water

Abstract

PURPOSE: A YCrCb color based face region extracting method is provided to extract a face region rapidly and correctly using color information represented in YCrCb color space. CONSTITUTION: One conditional region where a center color has Cr larger than Cb on CrCb plane and another conditional region where a center color has Cr smaller than Cb are set, and a skin-color region with respect to an input image is detected using the set two conditional regions(102). In detection of the skin-color region according to the two conditions, areas composed of pixels satisfying the two conditions are grouped into similar color groups to designate a face candidate region(102b). The designation of the face candidate region is carried out through a step of quantizing color values of pixels satisfying skin-color condition, a step of extracting a histogram with respect to the entire image and a center histogram with respect to a partial region of the image, a step of finding the maximum bin in the histogram or the center histogram, a step of grouping bins having colors similar to the color of the maximum beam into one color group, and a step of designating only pixels satisfying a color range corresponding to the grouped bins as the face candidate region.

Description

YCrCb 칼라 기반 얼굴 영역 추출 방법{YCrCb color based human face location detection method}YCrCb color based human face location detection method
본 발명은 얼굴 영역 추출에 관한 것으로서, 특히 YCrCb 칼라를 기반으로 하여 얼굴 영역을 추출하는 방법에 관한 것이다.The present invention relates to face region extraction, and more particularly, to a method for extracting a face region based on a YCrCb color.
오늘날, 정지영상이나 동영상에서의 얼굴 영역 추출은 다양한 목적을 위해 유용하게 응용될 수 있다. 예를 들어, 자동으로 얼굴을 인식하기 위한 시스템에서, 얼굴을 인식하기 이전에 얼굴 영역만을 자동으로 추출하기 위하여 사용되기도 하고, 또는 보안 시스템에서 얼굴 영역만을 취득하기 위해 사용하기도 한다. 이외에도 다양한 목적으로 얼굴 영역 추출 알고리즘을 사용할 수 있는데, 최근에는 이동 통신 환경이 발달하면서 고화질에 낮은 데이터 양으로 통신하기 위한 방법에도 응용된다. 즉, 화상 통신에서 얼굴 영역은 다른 영역에 비해 중요한 영역으로서 얼굴 영역은 상대적으로 높은 화질을 나타내도록 코딩하고, 다른 영역은 낮은 화질을 나타내도록 코딩함으로써 같은 데이터 양을 유지하면서도 얼굴 영역을 보다 높은 화질로 전송할 수 있다.Today, face region extraction from still images or moving images can be usefully applied for various purposes. For example, in a system for automatically recognizing a face, it may be used to automatically extract only a face area before recognizing a face, or may be used to acquire only a face area in a security system. In addition, a face region extraction algorithm may be used for various purposes. Recently, as the mobile communication environment develops, it is applied to a method for communicating with high data quality and low data amount. In other words, in video communication, the face area is an important area compared to other areas, and the face area is coded to display a relatively high picture quality, and the other area is coded to show a low picture quality, while maintaining the same amount of data while maintaining a higher picture quality. Can be sent to.
이와 같이, 얼굴 영역 추출은 매우 중요한 알고리즘으로서, 오래 전부터 매우 많은 연구가 이루어져 왔다. 얼굴 영역의 추출은 크게 탬플리트 기반의 접근 방법과 비칼라 특징(feature) 기반의 접근 방법, 그리고 칼라 특징 기반의 접근 방법을 사용하여 이루어진다.As such, face region extraction is a very important algorithm, and a lot of research has been done for a long time. Facial region extraction is largely done using a template based approach, a non-color feature based approach, and a color feature based approach.
탬플리트 기반의 접근 방법의 경우에는 얼굴 이미지의 특성을 하나의 탬플리트로 구성하여, 이를 입력 영상과 부분적으로 매칭함으로써 얼굴 영역을 추출하게 되는데, shape 정보를 사용한 탬플리트나 얼굴에 나타난 텍스쳐의 특징을 나타내는 텍스쳐 탬플리트를 사용하기도 한다. 이와 같은 탬플리트 매칭 기반의 접근 방식은칼라를 사용하지 않고 회색(Gray) 이미지를 사용하는 경우가 일반적이므로, 조명등에 의존적이지 않은 장점이 있으나, 탬플리트 매칭 회수가 많아 처리 시간이 많이 요구된다는 단점이 있다. 이는 입력 영상에서 어떠한 크기로, 어떠한 위치에 얼굴이 나타날 지 모르므로 탬플리트를 다양한 크기로 조절하면서 모든 위치에 매칭시켜야 하기 때문이다.In the case of the template-based approach, the facial image is extracted by configuring the characteristics of the face image as a single template and partially matching it with the input image.The texture using the shape information or the texture representing the texture of the face is extracted. It also uses templates. Such a template matching-based approach generally uses a gray image without using a color, and thus has an advantage of not being dependent on lighting, but has a disadvantage in that a large number of template matching is required for processing time. . This is because the face may appear at what size and at what position in the input image, so the template must be adjusted to various sizes and matched to all positions.
비 칼라 특징 기반의 접근 방법으로는 눈, 코, 입 등의 특징을 검출하는 방법으로 에지 성분을 기반으로 얼굴 영역을 검출하는 방법이 있다. 가장 많이 소개되어 있는 접근 방법은 살색 조건을 두어 얼굴 영역을 추출하려는 칼라 특징 기반의 접근 방법이다. 칼라를 기반으로 얼굴 영역을 추출할 경우 단순한 살색 조건으로는 얼굴 영역 이외의 많은 배경 영역이 포함되어 얼굴 영역만을 표현하기 어렵다. 이러한 문제로 인하여 각 연구마다 다양한 색공간을 사용하고, 동시에 추가적인 알고리즘을 통하여 부분적으로 문제를 해결하고자 하였다.An approach based on non-color features is a method of detecting features such as eyes, nose, and mouth, and a face region based on edge components. The most frequently introduced approach is a color feature-based approach that attempts to extract facial regions with flesh color conditions. When the face region is extracted based on the color, a simple skin condition includes many background regions other than the face region, making it difficult to express only the face region. Because of this problem, each study uses a variety of color spaces and at the same time tries to solve the problem partially through additional algorithms.
예컨대, 학습데이터 집합으로부터 L*a*b* 색좌표에서 표현되는 살색 범위를 다시 'Principle Component Analysis'를 이용하여 보다 적은 정보량으로 효과적인 스킨 칼라 범위를 표현할 수 있도록 변환한 후 이를 이용하여 얼굴 영역을 추출하는 방법이 이용되기도 한다. 또한, Fuzzy Set을 이용하여 특정 칼라가 살색일 확률을 계산하는 개념이 이용되기도 한다. 그리고, YCrCb 색공간에서 표현된 칼라를 사용하여 살색임을 판단하는데, YCrCb 색공간 자체가 살색 조건을 표현하기에는 적합하지 않은 부분을 발견하여, 이를 해결하고자 Y에 따라 변형된 CrCb값을 갖는 YCr'Cb'을 사용하기도 한다.For example, the skin color range expressed in L * a * b * color coordinates from the training data set is converted again to express an effective skin color range with a smaller amount of information using 'Principle Component Analysis', and then the face region is extracted by using the same. The method of doing this is sometimes used. In addition, the concept of calculating the probability that a specific color is flesh using Fuzzy Set is also used. In addition, it is determined that the skin color is determined using the color expressed in the YCrCb color space, and the YCrCb color space itself is found to be unsuitable for expressing the skin color condition. 'Can also be used.
상기 기술된 접근 방법들은 최근에는 단독으로 사용되기 보다는 복합적으로 조합되어 사용된다. 즉 각 접근 방법들의 장점을 보완하여 사용되는데, 예를 들어 초기 살색 조건으로 후보 영역을 추출한 후, 그 안에서 눈과 입을 추출하여 최종적인 얼굴 영역을 추출하는 방법이 사용되기도 한다.The approaches described above are used in combination in recent years rather than alone. In other words, it is used to supplement the advantages of each approach, for example, after extracting the candidate region as the initial skin condition, and then extracting the final face region by extracting eyes and mouth therein.
상기 기술한 접근 방법 중 칼라를 기반으로 추출하는 방법은 처리하는 색공간에 따라 성능과 속도가 달라지게 된다. 일반적으로 RGB는 칼라 값(R,G,B값)이 사람이 보는 칼라를 직관적으로 표현하지 못하기 때문에(이러한 성질을 perceptually uniform이라 함) 다른 색공간으로 변환되어 사용하게 된다. 통신 환경에서 얼굴 추출을 행할 경우 영상의 표준 형식에서 표현하는 색공간을 사용하게 되면 색공간 변환 없이 바로 처리할 수 있으므로 효율적일 수 있다.Among the above-described approaches, the color-based extraction method has different performance and speed depending on the color space to be processed. In general, RGB uses color values (R, G, B values) because they do not intuitively represent the color that humans see (this property is called perceptually uniform). When face extraction is performed in a communication environment, using a color space represented by a standard format of an image may be efficiently processed without color space conversion.
특히, 화상통신 환경에서 실시간 처리는 매우 중요하므로 이러한 처리측면에서의 효율성은 매우 중요하다. 일반적으로 통신환경에서 사용되는 영상 표준 형식은 H.261, H.263 등 H.26x 계열과 MPEG 계열을 들 수 있다. 이들 표준 형식들은 모두 색을 YCrCb 색공간에서 표현한다. 따라서 효과적인 처리를 위해서는 YCrCb 색공간에서 모든 추출 과정이 이루어져야 한다. 특히, 이동 통신 단말기 등 제한적인 H/W 자원을 사용해야 하는 경우에는, 최대한 적은 프로세스를 사용하여 얼굴 영역을 추출해야 하므로 색공간 변환을 하지 않기 위해 YCrCb 색공간을 사용하는 것은 필수적이라 할 수 있다.In particular, real-time processing is very important in a video communication environment, so the efficiency in terms of such processing is very important. In general, video standard formats used in communication environments include H.26x and MPEG series such as H.261 and H.263. All of these standard formats represent colors in the YCrCb color space. Therefore, all the extraction processes must be performed in the YCrCb color space for effective treatment. In particular, when limited H / W resources such as a mobile communication terminal are to be used, it is necessary to use the YCrCb color space in order to avoid color space conversion because face areas must be extracted using as few processes as possible.
본 발명은, 일반적인 디지털 방송 및 화상통신에서 사용되는 영상 표준에서채택되고 있는 YCrCb 색공간에서 표현된 색 정보를 바로 사용하여 얼굴 영역을 빠르고 정확하게 추출할 수 있는 YCrCb 칼라 기반 얼굴 영역 추출 방법을 제공함에 그 목적이 있다.The present invention provides a YCrCb color-based face region extraction method capable of quickly and accurately extracting a face region by directly using color information expressed in the YCrCb color space adopted in a video standard used in general digital broadcasting and video communication. The purpose is.
도 1은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 얼굴 영역을 추출하는 과정을 나타낸 순서도.1 is a flowchart illustrating a process of extracting a face region by the YCrCb color-based face region extraction method according to the present invention.
도 2 내지 도 5는 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 살색 조건을 판단하기 위한 살색 범위의 분포를 나타낸 도면.2 to 5 are views showing the distribution of the skin color range for determining the skin color condition by the YCrCb color-based face region extraction method according to the present invention.
도 6은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, CrCb 색 평면 상에서 살색 영역 조건을 나타낸 도면.Figure 6 is a view showing the skin area conditions on the CrCb color plane by the YCrCb color-based face area extraction method according to the present invention.
도 7 내지 도 9는 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, YCrCb 칼라 기반의 양자화 과정을 설명하기 위한 도면.7 to 9 are views for explaining a YCrCb color-based quantization process by the YCrCb color-based face region extraction method according to the present invention.
도 10은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 칼라 그룹화를 통한 얼굴 영역 추출 과정을 나타낸 순서도.10 is a flowchart illustrating a face region extraction process through color grouping by the YCrCb color-based face region extraction method according to the present invention.
도 11은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 두 개의 히스토그램을 사용한 칼라 그룹화 과정을 나타낸 순서도.11 is a flowchart illustrating a color grouping process using two histograms by the YCrCb color-based face region extraction method according to the present invention.
상기의 목적을 달성하기 위하여 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법은, YCrCb 색공간에서 살색 영역을 표현하기 위해, CrCb 평면 상에서 중심 칼라가 Cr이 Cb보다 큰 하나의 조건 영역과, 중심 칼라가 Cr이 Cb보다 작은 또 다른 조건 영역을 설정하고, 설정된 두 개의 조건 영역을 이용하여 입력된 영상에 대한 살색 영역을 검출하는 점에 그 특징이 있다.In order to achieve the above object, in the YCrCb color-based face region extraction method according to the present invention, in order to express the skin color region in the YCrCb color space, one condition region in which the center color is greater than Cb on the CrCb plane, and the center color Is characterized by setting another condition region in which Cr is smaller than Cb, and detecting the flesh color region for the input image using the two set condition regions.
여기서 본 발명에 의하면, 상기 두 개의 조건 영역 중에서, 한 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 크고, Cb가 중심(128)보다 작으며, 다른 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 작고, Cb가 색공간의 중심(128)보다 큰 점에 그 특징이 있다.According to the present invention, the center color of one of the two condition areas, Cr is larger than the center 128 of the color space, Cb is smaller than the center 128, and the center color of the other condition region is Cr It is characterized by being smaller than the center 128 of the color space and having a larger Cb than the center 128 of the color space.
또한 본 발명에 의하면, 상기 두 개의 조건 영역은 부분적으로 서로 겹치며, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 하나의 조건 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 다른 조건 영역으로 이루어지는 점에 그 특징이 있다.Further, according to the present invention, the two conditional regions partially overlap each other, one conditional region satisfying the case where Cr is larger than 125 and smaller than 164, Cb is larger than 85 and smaller than 131, and Cr is larger than 105 and 134 It is characterized by being made of another conditional area which is smaller and satisfies the case where Cb is larger than 127 and smaller than 149.
또한 본 발명에 의하면, 상기 두 개의 조건 영역에 해당하는 칼라 중에서, CrCb 평면 상에서의 중심 영역은 살색 조건에서 제외시키며, 상기 제외시키는 중심 영역은 다음 식 (|Cb-Cr|< 5 .AND.|(Cb+Cr)/2 -128|< 5)을 만족시키는 영역으로 설정되는 점에 그 특징이 있다.According to the present invention, among the colors corresponding to the two condition areas, the center area on the CrCb plane is excluded from the skin color condition, and the center area to be excluded is represented by the following equation (| Cb-Cr | <5.AND. | Its characteristic is that it is set to an area satisfying (Cb + Cr) / 2−128 | <5).
또한 본 발명에 의하면, 상기 두 개의 조건 영역을 설정함에 있어, Y 값의 특정 범위는 40보다 크고 250보다 작은 경우로 지정되는 점에 그 특징이 있다.In addition, according to the present invention, in setting the two conditional regions, the specific range of the Y value is characterized in that it is designated as a case larger than 40 and smaller than 250.
또한 본 발명에 의하면, 상기 설정된 두 개의 조건에 의하여 살색 영역에 대한 검출을 수행함에 있어, 상기 두 개의 조건을 만족하는 픽셀로 구성된 영역에 대하여, 다시 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계를 더 구비하는 점에 그 특징이 있다.In addition, according to the present invention, in performing the detection of the skin color area according to the two conditions, the face candidate area is designated by grouping similar color groups again with respect to the area composed of pixels satisfying the two conditions. Its feature is that it further comprises steps.
또한 본 발명에 의하면, 상기 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계는, 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와; 이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와; 상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계와; 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 및 상기 그룹화된 빈들에 해당하는 칼라 범위를 만족하는 픽셀들만 얼굴 후보 영역으로 지정하는 단계; 를 구비하는 점에 그 특징이 있다.According to the present invention, the step of designating a face candidate region by grouping into similar color groups may include quantizing a color value of a pixel satisfying a flesh color condition; Extracting a histogram ('hist') for the entire image and a center histogram ('center_hist') for the image partial region; Finding the largest bin having the largest value in the histogram ('hist') or the center histogram ('center_hist'); Grouping bins with a color similar to the maximum bin into one color group; Designating only pixels satisfying a color range corresponding to the grouped bins as a face candidate region; Its features are that it has a.
또한 본 발명에 의하면, 상기 최대 빈에 대하여 하나의 칼라 그룹으로 그룹화 한 이후에, 한번 그룹화에 참여한 빈들을 제외시키고, 다시 나머지 빈들 중에서 최대 빈을 찾아 복수 개의 그룹으로 칼라 그룹화를 반복적으로 수행하는 단계를 더 구비하는 점에 그 특징이 있다.According to the present invention, after grouping one color group with respect to the maximum bin, excluding the bins once participating in the grouping, and repeatedly searching for the maximum bin among the remaining bins and repeatedly performing color grouping into a plurality of groups. Its features are further provided.
또한 본 발명에 의하면, 상기 이미지 부분 영역을 대상으로 하는 중앙 히스토그램 추출은, 이전 프레임에서 얼굴 검출이 성공하였으면 이전 얼굴 영역을 대상으로 추출하고, 그렇지 않으면 이미지 중앙의 부분 영역을 대상으로 추출하는 점에 그 특징이 있다.Further, according to the present invention, the central histogram extraction targeting the image partial region may be performed by extracting the previous facial region if the face detection is successful in the previous frame, or extracting the partial region in the center of the image. It has its features.
또한 본 발명에 의하면, 상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값보다 Cr 값과 Cb 값을 보다 세밀하게 양자화 하는 점에 그 특징이 있다.Further, according to the present invention, in the step of quantizing the color value of the pixel that satisfies the skin color condition, the feature is that the Cr value and the Cb value are quantized more precisely than the Y value.
또한 본 발명에 의하면, 상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값은 비균등 양자화를 수행하고, Cr 값과 Cb 값은 균등 양자화를 수행하는 점에 그 특징이 있다.In addition, according to the present invention, in the step of quantizing the color value of the pixel that satisfies the fleshing condition, the Y value performs the non-uniform quantization, the Cr value and the Cb value is characterized in that the uniform quantization .
또한 본 발명에 의하면, 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에 있어, 상기 제 1항에서 기술한 CrCb 평면 상에서의 두 개의 조건 영역 중에서, 상기 최대 빈이 속한 조건 영역의 빈들과 다른 조건 영역에 속한 빈들과는 서로 그룹화를 수행하지 않고, 상기 최대 빈과 동일 조건 영역에 속한 빈들에 대해서만 그룹화를 수행하는 점에 그 특징이 있다.According to the present invention, in the step of grouping bins having a color similar to the maximum bin into one color group, among the two condition regions on the CrCb plane described in claim 1, the condition region to which the maximum bin belongs. It is characterized in that the bins of the bin and the bins belonging to different condition areas are not grouped with each other, but are grouped only for the bins belonging to the same condition area as the maximum bin.
또한 본 발명에 의하면, 상기 최대 빈을 검출하는 단계에 있어, 상기 제 1항에 기술한 CrCb 평면 상에서의 두 개의 부분 영역이 각각, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 제 1 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 제 2 영역으로 구성되고, 상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하는 점에 그 특징이 있다.Further, according to the present invention, in the step of detecting the maximum bin, the two partial regions on the CrCb plane described in claim 1 are each larger than 125 and smaller than 164, and Cb is larger than 85 and higher than 131. A first region satisfying the small case, and a second region satisfying the case where Cr is larger than 105 and smaller than 134, and Cb is larger than 127 and smaller than 149, and the maximum bin is the first region than the second region. Its feature is that it is preferentially detected in the area.
또한 본 발명에 의하면, 상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하기 위하여, 상기 제 1 영역에 속한 빈 값과 제 2 영역에 속한 빈 값을 비교할 때, 상기 제 1 영역에 속한 빈 값에 1보다 큰 값의 가중치를 곱하거나, 상기 제 2 영역에 속한 빈 값에 1보다 작은 값의 가중치를 곱하여 비교하는 점에 그 특징이 있다.In addition, according to the present invention, when comparing the bin value belonging to the first region and the bin value belonging to the second region, the first bin is preferentially detected in the first region rather than the second region. The characteristic is that a bin value belonging to an area is multiplied by a weight of a value greater than 1, or a bin value belonging to a second area is multiplied by a weight of a value less than 1 and compared.
또한 본 발명에 의하면, 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에서, 유사한 칼라를 갖는 빈들은 각 빈이 의미하는 중심 칼라 간의 거리를 계산하여 구해지며, 중심 칼라 간의 거리는 Y 값 간의 거리, Cr 값 간의 거리, Cb 값 간 거리의 조합으로 구성하되, Cb 값 간의 거리에 가장 큰 가중치를 적용하고 Cr 값 간의 거리에 그 다음으로 큰 가중치를 적용하고, Y 값 간의 거리에 가장 작은 가중치를 적용하며, 상기 Y 값 간의 거리에 적용하는 가중치는, Y 값이 특정 임계치 이하일 때에는 원래의 Y 값 간의 가중치보다 큰 가중치를 적용하는 점에 그 특징이 있다.According to the present invention, in the grouping of bins having a color similar to the maximum bin into one color group, the bins having the similar color are obtained by calculating the distance between the center colors of each bin, and the distance between the center colors is It consists of a combination of the distance between Y values, the distance between Cr values, and the distance between Cb values, applying the largest weight to the distance between Cb values, the next largest weight to the distance between Cr values, and The smallest weight is applied and the weight applied to the distance between the Y values is characterized by applying a weight greater than the weight between the original Y values when the Y value is less than or equal to a specific threshold.
이와 같은 본 발명에 의하면, YCrCb 색공간을 사용하는 동영상 표준인 MPEG 1, 2, 4 또는 H.26 계열로 인코딩된 데이터를 처리하는 보안 시스템, 화상 통신 또는 비디오 인덱싱 기반의 응용 시스템 등에서, 얼굴 영역을 검출하는데 있어 매우 효과적으로 적용될 수 있는 장점이 있다.According to the present invention, in the security system for processing data encoded in the MPEG 1, 2, 4 or H.26 series, which is a video standard using the YCrCb color space, in the application system based on video communication or video indexing, etc. There is an advantage that can be applied very effectively in detecting.
또한 본 발명에 의하면, 색공간 상에서의 살색 범위를, 주로 일반적인 조건에서 얼굴 색상이 표현되는 영역과, 조명등의 왜곡에 의한 얼굴 색상이 표현되는 영역으로 나눈 뒤 처리하므로, 조명등에 덜 민감할 뿐 아니라, 보다 다양한 왜곡에강한 얼굴 영역 추출 방법을 제공할 수 있는 장점이 있다.In addition, according to the present invention, since the skin color range in the color space is mainly divided into the area where the face color is expressed in general conditions and the area where the face color is expressed by the distortion of the lighting lamp, it is not only less sensitive to the lighting lamp. In addition, there is an advantage in that it is possible to provide a face region extraction method that is resistant to various distortions.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법을 설명하기 이전에, 색공간의 특성에 대하여 간략하게 살펴 보기로 한다.First, before describing the YCrCb color-based face region extraction method according to the present invention, the characteristics of the color space will be briefly described.
일반적으로, 이미지 처리에서 흔히 사용하는 HSV, HSI 등의 색공간은 색의 3가지 특성인 밝기(Brightness), 순도(Saturation), 색상(Hue)을 표현하고 있다. 이러한 성질을 'Naturality'라고 하는데, 이러한 성질을 가지고 있는 색공간은 이미지 검색, 칼라 기반 영역 분리 등 칼라를 사용하는 이미지를 처리하는데 보다 효과적이다. 이에 반해, YCrCb나 YUV와 같은 색공간은 각 축이 의미하는 성질이 상기 기술한 순도나 색상을 바로 나타내지 못하는 단점이 있다. 하지만 YCrCb 색공간은, MPEG, H.26x 계열 등 동영상 표준에서 사용되고 있기 때문에, 동영상에 대하여 보다 효과적인 처리를 수행하기 위해서는 YCrCb 색공간을 바로 사용하여 영상을 처리하여야 한다. 그렇지 않으면 다른 색공간으로 변환하는 부수적인 처리가 필요하기 때문에 비효율적이다.In general, color spaces such as HSV and HSI, which are commonly used in image processing, express three characteristics of color, brightness, purity, and color. This property is called 'Naturality'. A color space with this property is more effective in processing images that use color, such as image retrieval and color-based region separation. In contrast, color spaces such as YCrCb and YUV have disadvantages in that the properties of each axis do not immediately represent the purity or color described above. However, since the YCrCb color space is used in video standards such as MPEG and H.26x series, the video must be processed using the YCrCb color space in order to perform more effective processing on the video. Otherwise it is inefficient because it requires additional processing to convert to a different color space.
이러한 이유로, MPEG과 같은 영상에서 얼굴 영역을 추출할 경우 YCrCb 색공간에서 살색 영역 조건을 정의하여 추출하는 방법이 연구되고 있다. 살색 영역 조건을 설정하는 것은 색공간과 관계 없이 정의할 수 있다. 일반적으로 색공간과 색공간 사이는 서로 변환 가능하므로, 하나의 색공간에서 정의된 간단한 색 범위에 대한 조건은 거의 동일하게 다른 색공간에서 정의될 수 있다. 따라서 이 경우에는 색공간이 추출 성능에 영향을 크게 주지 않는다. 하지만 단순히 살색 조건 정의만을 가지고 사람의 얼굴 영역을 추출할 경우 높은 성능을 기대하기 어렵다.For this reason, when extracting a face region from an image such as MPEG, a method of defining and extracting a skin region condition in the YCrCb color space has been studied. Setting the skin region conditions can be defined regardless of the color space. In general, since the color space and the color space can be converted to each other, the conditions for the simple color range defined in one color space can be defined in the other color spaces almost equally. In this case, therefore, the color space does not significantly affect the extraction performance. However, it is difficult to expect high performance when extracting a human face by simply defining the skin condition.
일반적으로 다양한 동영상에서 나타날 수 있는 살색을 모두 포함하는 살색 영역 조건은 매우 광범위하기 때문에, 단순한 살색 조건만을 적용할 경우 얼굴 영역 이외의 많은 영역이 더 포함되어 추출되므로 얼굴 영역만을 추출하기 어렵다. 따라서 보다 효과적인 성능을 위해서는 살색 조건 뿐 아니라, 색 정보를 사용하여 영역을 세분화하거나 병합하는 등의 추가적인 처리가 요구된다.In general, since the skin region conditions including all the skin colors that can appear in various videos are very wide, it is difficult to extract only the facial regions because only a simple skin condition is applied and many more regions are extracted. Therefore, for more effective performance, not only the skin color condition but additional processing such as subdividing or merging regions using color information is required.
이와 같이 추가적인 영상의 처리에서는 색공간의 특성이 성능을 많이 좌우하게 된다. 이러한 이유는 상기 기술한 색공간에서 색의 기본 3가지 성질을 잘 표현할 수 있는 지와, 색공간 내부에서 시각적인 색 차가 정규적으로 분포되어 있는 지 등이 색공간에 따라 다르기 때문이다. 따라서 YCrCb 색공간에서 영상을 처리할 때에는, YCrCb 색공간의 특성을 고려하여 각 응용에 맞는 적절한 방법을 적용하여야 한다.As described above, in the processing of the additional image, the characteristics of the color space heavily influence the performance. This is because it is possible to express three basic properties of color well in the above-described color space, and whether the visual color difference is regularly distributed in the color space varies depending on the color space. Therefore, when processing an image in the YCrCb color space, an appropriate method suitable for each application should be applied in consideration of the characteristics of the YCrCb color space.
한편, 카메라를 통한 화상 통신 영상의 경우 카메라 자체의 특성이나 조명에 따라 살색 영역이 다양하게 나타날 수 있다. 이러한 왜곡 현상에 의해 원래 살색이라고 생각되는 좁은 범위의 살색 영역 이외에도 다양한 색으로 실제 얼굴 영역이 표현되기도 한다. 이러한 색의 왜곡은 다음 두 가지로 크게 구분 지을 수 있다. 하나는 얼굴 영역의 부분적인 왜곡이며, 다른 하나는 영상 전체에 대한 왜곡으로 나눌 수 있다.On the other hand, in the case of a video communication image through the camera, the skin color region may appear in various ways depending on the characteristics or lighting of the camera itself. Due to this distortion phenomenon, the actual face area may be expressed in various colors in addition to the narrow range of skin areas originally thought to be flesh colors. This color distortion can be divided into two types. One is a partial distortion of the face region, and the other is a distortion of the entire image.
먼저, 얼굴 영역에 대한 부분적인 왜곡에 대해서 살펴 보도록 한다. 보통은 방향성 있는 조명등으로 인해 얼굴 한 쪽이 그림자가 지거나, 빛의 반사로 인하여얼굴 영역 중 일부분이 다른 얼굴 영역과 다른 색을 지니는 경우이다. 대부분 이런 경우 얼굴 내부에서 밝기의 차이가 가장 심한 특성이 있다. 다음으로는 색의 순도가 약간 차이가 나는데 일반적으로 그림자 부분으로 갈수록 색의 순도는 약한 특성이 있다. 조명 자체가 색조명이 아닌 자연광이나 형광등과 같이 일반적인 조명일 경우 색상 자체의 변화는 크기 않다. 이와 같이 조명에 의한 얼굴의 부분적인 왜곡에서는 얼굴 내부의 색상 차이는 '밝기' > '순도' > '색상' 순으로 나타난다. 따라서, 하나의 얼굴을 하나의 영역으로 제대로 구분하기 위해서는 밝기에 민감하지 않아야 하며, 반면에 색상에 민감해야 한다.First, let's look at the partial distortion of the face area. Usually, one side of the face is shadowed by directional lights, or part of the face area is different from other face areas due to the reflection of light. In most cases, the difference in brightness inside the face is most severe. Next, the purity of the color is slightly different. Generally, the purity of the color is weaker toward the shadow. In the case of general lighting such as natural light or fluorescent lamps in which the lighting itself is not a color name, the change of color itself is not large. As described above, in the partial distortion of the face caused by illumination, the color difference inside the face is shown in the order of 'brightness'> 'purity'> 'color'. Therefore, in order to properly distinguish one face into one area, it should not be sensitive to brightness, while it should be sensitive to color.
다음은 영상 전체에 대한 왜곡에 대하여 살펴 보기로 한다. 카메라 자체적인 특성, 또는 전체적인 조명 특성으로 인해 영상 전체적으로 색이 왜곡되는 경우가 있다. 이러한 경우 왜곡의 척도는 흰색의 물체가 흰색으로 표현되지 않고 다른 색으로 왜곡되는 정도로 표현된다. 영상 처리에서는 실제 물체의 색이 흰색인지 알 수 없으므로 표현된 색이 왜곡된 색인지 원래의 색인지 알 수 없다. 따라서 효과적인 얼굴 영역 추출을 위해서는 살색 영역 조건에, 쉽게 발생할 수 있는 왜곡에 의해 표현되는 살색 영역을 포함하여야 한다. 단, 이 경우 원래 정의된 살색 영역과 왜곡되어 새롭게 포함된 살색 영역이 하나의 얼굴에 모두 포함되어 나타나는 경우는 드물다. 이것은 영상 전체가 왜곡되었기 때문인데, 이러한 성질을 이용하여 이후 소개될 제안된 방법에서는 영상 전체에 대한 왜곡을 고려하여 새롭게 포함된 살색 영역과 원래 정의된 살색 영역을 다른 그룹으로 분리하여 독립적으로 관리한다.Next, the distortion of the entire image will be described. Color may be distorted throughout the image due to the camera's own characteristics or the overall lighting characteristics. In this case, the measure of distortion is expressed to the extent that the white object is distorted to other colors rather than white. In image processing, it is impossible to know whether the color of an actual object is white, and thus it is impossible to know whether the expressed color is a distorted index or an original index. Therefore, for effective face region extraction, the skin region should include the skin region represented by distortions that can easily occur. In this case, however, the original defined skin color region and the newly distorted skin color region are rarely included in one face. This is because the whole image is distorted. In this method, the proposed method, which will be introduced later, separately manages the newly included flesh color region and the originally defined skin color region by considering the distortion of the whole image, and manages them independently. .
그러면, 도 1을 참조하여, 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출방법에 대하여 설명해 보기로 한다. 도 1은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 얼굴 영역을 추출하는 과정을 나타낸 순서도이다.Next, a method of extracting a YCrCb color based face region according to the present invention will be described with reference to FIG. 1. 1 is a flowchart illustrating a process of extracting a face region by the YCrCb color-based face region extraction method according to the present invention.
먼저, YCrCb 칼라 기반의 영상 정보가 입력된다(단계 101). 이후, 도 1에는 도시되지 않았지만, 영상이 입력되면 빠른 처리를 위해 영상의 크기를 축소하는 'resizing' 과정을 수행할 수도 있는데, 이는 하드웨어 적으로 구현될 수도 있으며, 소프트웨어 적으로 구현될 수도 있다.First, YCrCb color based image information is input (step 101). Subsequently, although not shown in FIG. 1, when an image is input, a 'resizing' process of reducing the size of the image may be performed for fast processing. The image may be implemented in hardware or in software.
하나의 'resizing' 과정 예로서, 입력 영상은 QCIF(176*144) 크기의 YCrCb 4:2:0 형식이며 'resizing' 과정을 거치면 88*72 크기의 YCrCb 4:4:4 형식이 되도록 구현할 수 있다. 여기서 4:2:0 형식이란 H.26 계열에서 사용하는 영상 표준으로서 Y 값을 먼저 top-left 순서로 이미지 크기만큼 표현한 후, Cb 값을 top-left 순서로 이미지 크기의 가로 세로 각각 1/2 크기만큼 표현하고, 다음 Cr 값을 top-left 순서로 역시 이미지 크기의 가로 세로 각각 1/2 크기만큼 표현하는 것을 말한다. 즉, 176*144 해상도를 갖는 한 프레임을 표현하기 위해서는 176*144*1.5 bytes가 필요하다. 4:4:4 형식이란 Y, Cr, Cb 모두 이미지 크기만큼 표현되는 것을 의미하며, 본 발명에서 'resizing'된 후 한 프레임은 88*72*3 bytes 만큼이 필요하게 된다. 이러한, 'resizing' 단계가 끝나면 각각의 픽셀 값이 살색 영역인지 여부를 판단하여 살색 영역을 추출하는 살색 영역 추출 단계를 거친다(단계 102).As an example of one 'resizing' process, the input image may be YCrCb 4: 2: 0 format having a QCIF (176 * 144) size, and a 88 * 72 YCrCb 4: 4: 4 format having a 'resizing' process. have. Here, the 4: 2: 0 format is an image standard used in the H.26 series. Y values are first expressed in the top-left order by the image size, and then Cb values are in the top-left order. It expresses as much as the size and expresses the next Cr value in the top-left order as much as 1/2 size of the image size. In other words, 176 * 144 * 1.5 bytes are required to represent a frame with 176 * 144 resolution. The 4: 4: 4 format means that Y, Cr, and Cb are all represented by the image size. In the present invention, one frame is required as much as 88 * 72 * 3 bytes after 'resizing'. After the 'resizing' step, the skin color region extraction step is performed to determine whether each pixel value is the skin color region to extract the skin color region (step 102).
상기 단계 102의 살색 영역 추출 단계는, 살색 조건을 만족하는 지를 판단하는 살색 조건 판단 과정(단계 102a)과 살색 조건을 만족하는 픽셀들을 다시 유사 칼라 그룹으로 세분화하는 칼라 그룹화 과정(단계 102b)으로 구성되어 있다. 상기단계 102인, 살색 영역 추출 단계의 출력으로는 가장 얼굴일 확률이 높은 살색 그룹에 해당하는 살색 영역이 후보 영역으로 추출되며, 이는 후처리에 의해 잡음 등은 제거되고 얼굴 후보 영역만이 남게 된다(단계 103). 이후, 후보 영역에서 얼굴임을 확인하여 얼굴 영역을 최종적으로 추출하는 얼굴 확인과정을 수행한다(단계 104). 그리고, 얼굴 추출의 성공 여부를 판단하여(단계 105), 얼굴 추출이 성공하면 다음 단계에서 현재 추출된 얼굴 영역 정보를 사용하기 위해 현재 얼굴 영역 정보를 'pre-face region'으로 등록하는 과정을 수행한다(단계 106). 이전 프레임에서 추출된 얼굴 영역 정보를 사용하는 방법은 이후에 자세히 설명하기로 한다.The skin color extraction step of step 102 includes a skin color condition determining process (step 102a) for determining whether the skin color condition is satisfied and a color grouping process (step 102b) for subdividing pixels satisfying the color condition into similar color groups. It is. As the output of the skin color region extracting step of step 102, the skin color region corresponding to the skin color group having the highest probability of being a face is extracted as the candidate region, and noise is removed by the post-processing and only the face candidate region remains. (Step 103). Thereafter, a face verification process of finally extracting a face region by checking the face in the candidate region is performed. In operation 105, if the face extraction succeeds, the process of registering the current face region information as a 'pre-face region' is performed to use the currently extracted face region information. (Step 106). How to use the face region information extracted from the previous frame will be described in detail later.
그러면, 상기 단계 102a인 살색 조건 판단 단계에 대하여 상세히 살펴 보기로 한다. 먼저, 살색 조건 판단 단계를 수행하기 위해서는 'Training Set'을 수집하도록 한다. 여기서, 'Training Set'은 다양한 카메라를 이용하여 다양한 조명 하에 실제 화상 통신 영상을 수집하여 이루어진다. 수집된 화상 통신 영상 중 살색 영역에 해당하는 영역을 별도로 수집하여 최종적인 'Training Set'을 구성한다.Next, a detailed description will be given of the skin color determination step of step 102a. First, in order to perform the skin condition determination step, a 'Training Set' is collected. Here, 'Training Set' is made by collecting the actual video communication image under various lighting using various cameras. A region corresponding to the skin color region is separately collected from the collected video communication images to form a final training set.
그리고, 구성된 'Training Set'을 사용하여 YCrCb 색공간 상에서 살색 영역이 어떻게 분포되어 있는지를 분석한다. 이때, 분석을 수행함에 있어, 상기에서 기술하였듯이 영상 전체에 대한 왜곡이 일어난 경우를 별도로 분석하여 결과를 도출하도록 한다. 이러한 과정을 통하여 분석된 결과가 도면 2 내지 5에 나타나 있다. 도 2 내지 도 5는 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 살색 조건을 판단하기 위한 살색 범위의 분포를 나타낸 도면이다.We then analyze how the skin region is distributed in the YCrCb color space using the configured 'Training Set'. At this time, in performing the analysis, as described above, a case in which distortion of the entire image occurs is analyzed separately to derive a result. Results analyzed through this process are shown in FIGS. 2 to 5. 2 to 5 are views showing the distribution of the skin color range for determining the skin color condition by the YCrCb color-based face region extraction method according to the present invention.
도 2는 'Y' 축에 대한 살색 분포를 나타낸다. 도 2에서 알 수 있듯이 'Y' 축전체에 걸쳐 살색이 분포됨을 알 수 있다. 즉 'Y' 축, 밝기 성분을 이용해서는 살색 영역을 비 살색 영역과 구분하기 어렵다는 것을 알 수 있다. 또한, 도 3은 'Cb' 축에 대한 살색 분포를 나타내고 있고, 도 4는 'Cr'축에 대한 살색 분포를 나타낸다. 도 3 및 도 4에서 알 수 있듯이, 'Cb'와 'Cr'은 살색과 비살색을 구분하는데 매우 중요한 정보임을 알 수 있다. 도 4는 'Y', 'Cr', 'Cb' 값 별로 조합하여 각 부분 영역별 분포를 나타낸다. 즉 상기 도2, 도3, 도4에서 측정된 살색 영역 범위를 만족하는 색이라도 세 축의 값이 조합을 이루었을 때에는 살색에 포함되지 않을 수 있음을 알 수 있다. 이러한 영역은 주로 회색(Gray) 영역에 해당한다.2 shows the flesh color distribution on the 'Y' axis. As can be seen in Figure 2 it can be seen that the flesh color is distributed throughout the 'Y' axis. In other words, it is difficult to distinguish the skin color region from the non-skin color region by using the 'Y' axis and the brightness component. 3 shows the skin color distribution on the 'Cb' axis, and FIG. 4 shows the skin color distribution on the 'Cr' axis. As can be seen in Figures 3 and 4, it can be seen that 'Cb' and 'Cr' is very important information for distinguishing the flesh color and the non- flesh color. 4 shows the distribution of each partial region by combining the values of 'Y', 'Cr', and 'Cb'. That is, even if the color satisfying the range of skin color areas measured in FIGS. 2, 3, and 4 can be seen that when the values of the three axes are combined, they may not be included in the skin color. This area mainly corresponds to a gray area.
그러면, 이와 같은 분석 결과를 이용하여 살색 범위 조건을 정의해 보도록 한다. 살색 범위 조건은 왜곡되지 않는 일반적인 경우에 해당하는 조건과 영상 전체에 대해 왜곡이 발생했을 경우에 해당하는 조건으로 구분되어 정의된다.Then, the skin color range condition is defined using the analysis result. The skin color range condition is defined by dividing the condition corresponding to the general case where the distortion does not occur and the condition corresponding to the case where distortion occurs for the entire image.
먼저 'Y'축에 대해서는 '0'~'255' 범위를 갖는 전체 'Y' 범위 중 '41'~'250' 범위 사이가 살색 영역이 될 수 있는 조건으로 지정한다. 전체 범위 중 약 75%가 살색 조건으로 포함되는 것에서 알 수 있듯이 밝기 성분은 살색을 구분하는데 좋은 특징이 되지 않는다. 이는 상기 기술한 바와 같이, 밝기에 대해서 민감하지 않아야 된다는 내용과 상통한다.First, the 'Y' axis is designated as a condition that the skin color range can be between '41' and '250' of the entire 'Y' range having '0' ~ '255' range. As can be seen from the fact that about 75% of the entire range is included in the skin condition, the brightness component is not a good feature to distinguish the skin color. This is in line with the above description that it should not be sensitive to brightness.
다음, CrCb 색 평면 상에서 정의된 살색 영역 조건은 도 6에 나타낸 바와 같다. 도 6은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, CrCb 색 평면 상에서 살색 영역 조건을 나타낸 도면이다.Next, the skin region conditions defined on the CrCb color plane are as shown in FIG. 6. FIG. 6 is a diagram illustrating skin color gamut conditions on a CrCb color plane by the YCrCb color-based face area extraction method according to the present invention.
도 6에서 표현된 '그룹 1'은 왜곡되지 않은 영상에서 일반적으로 정의된 살색 영역 조건에 해당하며, '그룹 2'는 영상 전체에 대해 왜곡이 일어났을 경우에 대한 살색 영역 조건에 해당한다. 도 6에서 알 수 있듯이, 영상이 왜곡되지 않을 경우 살색 영역은 'Red' 성분이 주로 나타나거나 간혹 'Green' 성분이 'Red' 성분과 함께 나타나기도 한다. 하지만 영상에 대한 왜곡이 발생했을 경우에는 'Blue' 성분이 주로 표현되기도 한다. 여기서, 평면 중앙에 표현된 작은 원은 순도가 적은 영역, 즉 회색 영역으로서 역시 살색 영역에서 제외하도록 한다.'Group 1' represented in FIG. 6 corresponds to a skin color region condition generally defined in an undistorted image, and 'Group 2' corresponds to a skin color region condition in a case where distortion occurs in the entire image. As can be seen in FIG. 6, when the image is not distorted, the flesh region is mainly represented by the 'Red' component, or sometimes by the 'Green' component with the 'Red' component. However, when the distortion occurs in the image, the 'Blue' component is often expressed. Here, the small circle represented in the center of the plane is a region of low purity, that is, a gray region, to be excluded from the flesh color region.
도 6에 표현된 살색 영역을 식으로 표현하면 다음 [수학식 1]과 같이 나타낼 수 있다.When the flesh region expressed in FIG. 6 is expressed by an equation, it may be expressed as Equation 1 below.
TRUE IF TRUE IF
그룹 1: 40 < y < 250 .AND. 85 < Cb < 131 .AND. 125 < Cr < 164Group 1: 40 <y <250 .AND. 85 <Cb <131 .AND. 125 <Cr <164
그룹 2: 40 < y < 250 .AND. 127 < Cb < 149 .AND. 105 < Cr < 134Group 2: 40 <y <250 .AND. 127 <Cb <149 .AND. 105 <Cr <134
FALSE IFFALSE IF
|Cb-Cr| < 5 .AND. |(Cb+Cr)/2-128| < 5)| Cb-Cr | <5 .AND. ((Cb + Cr) / 2-128 | <5)
즉, '그룹 1'은 밝기 조건을 만족하면서 'Blue' 성분을 나타내는 'Cb'가 중간 값보다 작은 일부분이고 'Red' 성분을 나타내는 'Cr'이 중간 값보다 큰 일부분 영역으로 구성된다. 이때, 중간 값은 원래 '128'이지만 어느 정도 중첩되도록 'Cb'의 경우 '131'부터, 'Cr'의 경우 '125'부터로 지정한다.That is, 'Group 1' is composed of a partial region where 'Cb' representing the 'Blue' component is smaller than the median while satisfying the brightness condition and 'Cr' representing the 'Red' component is larger than the median. In this case, the intermediate value is originally '128', but it is designated as '131' for 'Cb' and '125' for 'Cr' to overlap to some extent.
그리고, '그룹 2'는 역시 같은 밝기 조건을 만족하면서 'Cb' 가 중간 값보다 큰 일부분이고, 'Cr'이 중간 값보다 작은 일부분 영역으로 지정하였다. 마찬가지로살색 영역에 주로 포함되는 'Red' 성분을 나타내는 'Cr'을 중첩되도록 '134'부터 지정하였다. 여기서, 상기 기술된 중첩의 정도는 모두 실험에 의해 결정되었다.In addition, 'Group 2' is a partial region where 'Cb' is larger than the median and 'Cr' is smaller than the median while satisfying the same brightness condition. Similarly, '134' is specified to overlap 'Cr', which represents the 'Red' component mainly included in the skin region. Here, the degree of overlap described above was all determined by experiment.
그런데, 상기 기술한 바와 같이 단순한 살색 영역 조건 정의만으로는 너무 많은 영역이 살색 영역으로 추출되기 때문에, 살색 영역으로 추출된 영역을 다시 유사한 색을 지닌 영역으로 세분화 하여 얼굴 영역을 추출하도록 한다. 이 경우 살색 범위 중 유사한 색들끼리 묶어 그룹화하기 위해서 색을 양자화한다.However, as described above, since too many areas are extracted into the skin area only by the simple skin area condition definition, the area extracted by the skin area is subdivided into areas having a similar color to extract the face area. In this case, the colors are quantized in order to group and group similar colors in the flesh color range.
예컨대, 컴퓨터가 24 비트로 표현하는 색의 종류는 2553만큼이나 되므로 이를 바로 사용할 경우 그룹화하는데 매우 많은 시간이 걸리게 된다. 따라서, 적당히 이들 색을 그보다 작은 개수(이를 양자화 레벨이라 함)가 되도록 일차적으로 그룹화하는 것을 양자화라고 한다. 일반적으로 양자화 레벨이 작을수록 처리 시간은 효과적이 되지만 양자화 레벨이 너무 작게 되면 높은 성능을 기대하기 어렵게 된다.For example, the number of colors represented by a computer in 24-bit is 255 3, so when used directly, it takes a lot of time to group. Therefore, primary grouping of these colors into a smaller number (the quantization level) as appropriate is called quantization. In general, the smaller the quantization level, the more effective the processing time. However, if the quantization level is too small, it is difficult to expect high performance.
본 발명에서는 상기 기술한 YCbCr의 각 특성에 맞게 양자화를 수행 하였다. 먼저, 'Y'의 경우 상기 기술하였듯이 밝기에 덜 민감하게 하기 위하여 'Cb', 'Cr'에 비해 적은 수의 양자화 레벨로 양자화하였다. 도 7에 나타낸 바와 같이, '41'에서 '250'사이의 구간을 3개의 양자화 레벨로 나누었다. 이와 같이 크게 나눔으로써 어느 정도 밝기 차이가 나는 픽셀은 같은 밝기로 취급할 수 있을 뿐 아니라 불필요한 레벨 수를 줄임으로써 보다 빠르게 처리할 수 있게 된다.In the present invention, quantization was performed according to the above-described characteristics of YCbCr. First, in the case of 'Y', as described above, in order to be less sensitive to brightness, quantization is performed with a smaller number of quantization levels than 'Cb' and 'Cr'. As shown in FIG. 7, the section between '41' and '250' was divided into three quantization levels. By dividing in such a large way, pixels with some brightness difference can be treated not only with the same brightness but also faster by reducing the number of unnecessary levels.
도 7의 (a)에서 알 수 있듯이, 'Y'의 경우 비균등 양자화를 행하였다. 즉, '41'에서 '63'까지를 하나의 구간으로, '63'에서 '120'까지를 하나의 구간으로, 그리고 '120'에서 '250'까지를 하나의 구간으로 설정하였다. 이와 같이, 낮은 구간일수록 적은 폭을 갖는데 이는 '120' 이상에서는 조명의 반사에 의해 발생할 수 있는 밝기 차이가 크므로 모두 하나의 레벨로 보겠다는 것이며, '63'과 '120'사이의 구간은 일반적으로 흔하게 나타나는 얼굴색의 밝기 구간이고, '63'에서 '41' 사이의 구간은 얼굴의 그림자 부분에서 나타날 수 있는 구간을 의미한다.As can be seen from FIG. 7A, in the case of 'Y', non-uniform quantization was performed. That is, '41' to '63' is set as one section, '63' to '120' as one section, and '120' to '250' as one section. As such, the lower the interval, the smaller the width. Above 120, the brightness difference that can be caused by the reflection of the lighting is large, so all of them are considered as one level, and the interval between '63' and '120' is generally It is a brightness section of the face color that is commonly shown as, and the section between '63' and '41' means a section that can appear in the shadow portion of the face.
이와 같은 비균등 양자화는 성능을 높이기 위한 최적화에는 유리하지만 양자화 레벨 수가 큰 경우에는 처리 시간이 길어 비효율적일 수 있다. 본 경우에는 양자화 레벨 수가 3이므로 크지 않고, 이에 비해 성능에 대한 효과는 크므로 'Y'에 대해서만 비균등 양자화를 수행하고 'Cb', 'Cr'에 대해서는 균등 양자화를 수행하도록 하였다.Such non-uniform quantization is advantageous for optimization to increase performance, but when the number of quantization levels is large, processing time may be long and inefficient. In this case, the number of quantization levels is not large because the number of quantization levels is 3, and in contrast, the effect on performance is large. Therefore, only non-uniform quantization is performed on 'Y' and equal quantization is performed on 'Cb' and 'Cr'.
그러면, '그룹 1'의 'Cb', 'Cr'의 양자화에 대하여 살펴 보도록 한다.Next, the quantization of 'Cb' and 'Cr' of 'Group 1' will be described.
상기 기술하였듯이 영상의 왜곡에 대처하기 위해 원래의 살색 범위 조건 이외에, 왜곡에 의해 발생될 수 있는 색 범위 조건을 살색 범위에 추가하였다. 이중 원래의 살색 범위 조건에 해당하는 '그룹 1'의 양자화 방법은 도 7의 (b) 및 (c)에 나타낸 바와 같다.As described above, in order to cope with the distortion of the image, in addition to the original flesh color range condition, a color range condition that may be generated by the distortion is added to the flesh color range. The quantization method of 'group 1' corresponding to the original skin color range condition is shown in FIGS. 7B and 7C.
도 7에서 알 수 있듯이, '그룹 1'에서는 'Cb'의 경우 '85'~'131'사이의 값을 폭 '10'을 기준으로 균등 분할 하였고, 'Cr'은 '125'~'164' 사이의 값을 폭 '10'을 기준으로 균등 분할 하였다. 'Cb', 'Cr'의 경우 'Y' 보다 매우 자세한 레벨로 양자화한 것을 알 수 있는데, 이는 'Y' 보다 'Cb', 'Cr' 성분에 보다 민감하게 하기 위해서 이다.As can be seen in FIG. 7, in 'Group 1', the value between '85' and '131' is equally divided based on the width '10' in case of 'Cb', and 'Cr' is '125' ~ '164' The values between were evenly divided based on the width '10'. In the case of 'Cb' and 'Cr', it can be seen that the quantization is performed at a much more detailed level than 'Y', in order to be more sensitive to 'Cb' and 'Cr' components than 'Y'.
다음에는 도 8을 참조하여, '그룹 2'에 대한 'Cb' 및 'Cr'의 양자화에 대하여 살펴 보도록 한다. 이때, '그룹 2'에 대한 'Y'의 양자화는 도 7 (a)에서 설명된 바와 동일하게 처리하였다.Next, the quantization of 'Cb' and 'Cr' for 'Group 2' will be described with reference to FIG. 8. In this case, quantization of 'Y' for 'group 2' was performed in the same manner as described with reference to FIG.
그리고, 'Cb' 및 'Cr'에 대한 양자화에 대해서 '그룹 2'의 경우에는 도 8의 (a) 및 (b)와 같이 양자화를 수행하였다. 도 8에 나타낸 바와 같이, 'Cb'의 경우 '127'~'149' 사이의 값을 폭 '11' 만큼 균등 분할하고, 'Cr'의 경우 '105'~'134' 사이의 값을 폭 '15' 만큼 균등 분할 하였다. 여기서, '그룹 1'이 '그룹 2' 보다 약간 자세한 레벨로 양자화 되었는데, 이는 '그룹 1'의 경우가 대부분의 경우 살색 영역에 해당하므로, 상대적으로 경우가 적은 '그룹 2'는 보다 적은 수의 레벨로 양자화한 것이다.In the case of 'Group 2', quantization of 'Cb' and 'Cr' was performed as shown in FIGS. 8A and 8B. As shown in FIG. 8, the value between '127' and '149' is equally divided by the width '11' for 'Cb', and the value between '105' and '134' for 'Cr'. The cells were evenly divided by 15 '. Here, 'group 1' is quantized to a slightly more detailed level than 'group 2', which means that 'group 1' corresponds to the skin color region in most cases, so that 'group 2' which is relatively less frequently has fewer It is quantized to level.
도 9는 상기 기술한 방법으로, 'Cb', 'Cr' 평면 상에서 균등 양자화를 했을 경우를 2 차원으로 보여주고 있다. 도 9에서 '그룹 1'이 '그룹 2' 보다 다소 세밀하게 양자화된 것은 '그룹 1'이 대부분의 왜곡되지 않은 영상에서 주로 나타나는 살색 영역이기 때문이다.FIG. 9 shows the case where the uniform quantization is performed on the 'Cb' and 'Cr' planes by the above-described method in two dimensions. In FIG. 9, the 'group 1' is slightly more quantized than the 'group 2' because the 'group 1' is a skin region that is mainly shown in most undistorted images.
한편, 상기 기술하였듯이, 지정된 살색 범위 조건을 만족하는 영역을 추출할 경우 얼굴 이외의 광범위한 영역이 포함되는 것이 일반적이다. 따라서 유사한 색을 지닌 영역별로 영역을 분리하여 얼굴 영역만을 추출하는 과정이 필요하다. 이때 유사한 색끼리 그룹화하는 과정을 칼라 그룹화라 하고 같은 칼라 그룹을 지닌 영역만을 분리하는 것을 영역의 분리라고 한다. 일단 칼라가 그룹화되고 나면, 해당 그룹에 속하는 칼라를 지닌 영역만을 추출함으로써 해당 칼라를 지닌 영역의 분리가 되므로, 여기서는 칼라 그룹화 과정만을 설명하기로 한다.On the other hand, as described above, when extracting an area that satisfies the specified skin color range condition, a wide range of areas other than the face is generally included. Therefore, a process of extracting only the face area by separating the areas by areas having similar colors is necessary. In this case, the process of grouping similar colors is called color grouping, and separating only areas having the same color group is called area separation. Once a color is grouped, only the area having the color belonging to the group is extracted to separate the area having the corresponding color, and therefore only the color grouping process will be described.
그러면, 도 10을 참조하여, 본 발명에 따른 칼라 그룹화를 통한 얼굴 영역 추출 과정을 설명해 보기로 한다. 도 10은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 칼라 그룹화를 통한 얼굴 영역 추출 과정을 나타낸 순서도이다.Next, a process of extracting a face region through color grouping according to the present invention will be described with reference to FIG. 10. 10 is a flowchart illustrating a face region extraction process through color grouping by the YCrCb color-based face region extraction method according to the present invention.
먼저, 처음에는 아직 얼굴 영역을 추출하지 않은 상태이므로 얼굴 영역이 이전에 성공적으로 추출되었는지를 나타내는 플래그, 'Flag_FaceDetect'를 'FALSE'로 세팅한다. 다음 YCrCb 색공간에서 색을 표현한 입력 프레임을 받으면(단계 1001), 상기 입력 프레임에 대하여 각 픽셀이 상기 기술한 살색 범위 조건을 만족하는 지의 여부를 확인한다(단계 1002).First, since a face region has not been extracted at first, a flag, 'Flag_FaceDetect' indicating whether a face region has been successfully extracted previously, is set to 'FALSE'. When an input frame representing a color in the YCrCb color space is received (step 1001), it is checked whether each pixel satisfies the above described flesh color range condition for the input frame (step 1002).
이때, 상기 단계 1002에서의 살색 범위 조건을 만족하는 픽셀에 대해서 두 개의 히스토그램을 구성하게 되는데 하나는 프레임 전체를 대상으로 하는 'hist'와 다른 하나는 일부 영역만을 대상으로 히스토그램을 구성하는 'Center_hist'이다(단계 1003 내지 1006). 여기서, 단계 1003에서의 판단 결과, 'Center_Hist'는 만일 이전에 성공적으로 얼굴 영역을 추출했을 경우, 즉 'Flag_FaceDetect'이 'TRUE'이면 이전 얼굴 영역을 대상으로 구성되고(단계 1005), 그렇지 않은 경우에는 프레임 중앙을 중심으로 하는 일정 영역을 대상으로 구성된다(단계 1004).In this case, two histograms are configured for pixels satisfying the skin color range condition in step 1002, one of which is 'hist' for the entire frame and the other is 'Center_hist' which forms the histogram for only a partial region. (Steps 1003 to 1006). Here, as a result of the determination in step 1003, 'Center_Hist' is configured for the previous face area if the face area has been successfully extracted previously, that is, if 'Flag_FaceDetect' is 'TRUE' (step 1005), otherwise Is composed of a predetermined area centered on the center of the frame (step 1004).
다음, 상기 단계 1003 내지 1006에서 구성된 두 개의 히스토그램을 가지고 칼라 그룹화 과정이 수행되는데(단계 1007), 이에 대해서는 뒤에서 보다 자세히 설명하기로 한다.Next, a color grouping process is performed with the two histograms configured in steps 1003 to 1006 (step 1007), which will be described in more detail later.
그리고, 칼라 그룹화 과정이 끝나면, 중요도가 높은 칼라 그룹에 해당하는 영역이 첫 번째 얼굴 후보 영역이 된다(단계 1008). 이후, 얼굴 후보 영역은 탬플리트 매칭이나 눈, 입과 같은 얼굴 특정 정보를 사용하여 후보 영역을 확인하거나 재 설정함으로써 얼굴 영역 추출 과정을 모두 마치게 된다(단계 1009).When the color grouping process is completed, the area corresponding to the color group having high importance becomes the first face candidate area (step 1008). Thereafter, the face candidate region completes the face region extraction process by identifying or resetting the candidate region using template matching or face specific information such as eyes and mouth (step 1009).
한편, 두 개의 히스토그램을 사용한 칼라 그룹화 과정은 다음 도 11에 나타낸 바와 같이 수행된다. 도 11은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 두 개의 히스토그램을 사용한 칼라 그룹화 과정을 나타낸 순서도이다.Meanwhile, a color grouping process using two histograms is performed as shown in FIG. 11. 11 is a flowchart illustrating a color grouping process using two histograms by the YCrCb color-based face region extraction method according to the present invention.
먼저, 입력 프레임에서 처음으로 그룹화하는 경우에는 'Center_hist'에서, 두번째 이후에는 'hist'에서 가장 큰 값을 갖는 빈, 'binmax'를 구한다(단계 1101 내지 단계 1103). 만일, 상기 단계에서 구해진 'binmax'의 값(V(binmax))이 일정 임계치 'th1' 보다 작을 경우에는, 입력된 영상 프레임에 얼굴이 없다고 판단하고 루틴을 끝내며, 그렇지 않을 경우에는 단계 1105 이후의 과정을 수행한다(단계 1104).First, if the first group in the input frame is obtained from the 'Center_hist', blank, 'bin max' after the second time has the largest value in the 'hist' (step 1101 to step 1103). If the value of 'bin max ' (V (bin max )) obtained in the above step is smaller than the predetermined threshold 'th1', it is determined that there is no face in the input image frame, and the routine ends. The process then proceeds (step 1104).
먼저, 'binmax'를 포함하여, 'binmax'가 표현하는 칼라와 유사한 칼라에 해당하는 'bin'들을 같은 '그룹 A'에 포함시킨다(단계 1105). 여기서, 유사도 측정은 각 'binmax'와 다른 bin이 표현하는 중심 칼라 간의 거리를 사용하는데, 거리가 특정 임계치 'th2'보다 작을 경우에는 한 그룹으로 포함시킨다. 그리고, 'Bin'이 표현하는 중심 칼라란, 양자화된 색공간의 부분 영역 하나 하나가 각 하나의 'bin'에 해당하게 되는데, 이때 해당 부분 영역의 중심 칼라가 해당 'bin'의 중심 칼라가 된다. 또한, 효과적인 처리를 위하여 각 'bin'별 중심칼라는 테이블로 사전에 정의해 놓는다.First, it includes the 'bin max' 'group A' and, like the 'bin' corresponding to the similar color with the color represented by 'max bin' including (step 1105). In this case, the similarity measurement uses a distance between each bin max and a center color represented by another bin. If the distance is smaller than a specific threshold 'th2', the similarity measurement is included as a group. In addition, the central color represented by 'Bin' means that each subregion of the quantized color space corresponds to one 'bin', wherein the central color of the partial region becomes the central color of the 'bin'. . Also, for effective processing, the central color for each 'bin' is pre-defined as a table.
이러한 방법으로 하나의 그룹에 포함된 모든 빈값들을 더하여 그 합한 값이 일정 임계치 'th3'보다 크면 해당 칼라 그룹을 하나의 얼굴 영역 후보 칼라 그룹으로 생각하여, 해당 칼라 그룹에 속한 칼라를 지닌 픽셀만을 표시하여 얼굴 후보 영역으로 지정한다. 다음 현재 얼굴 후보 영역에 해당했던 칼라 그룹에 포함된 모든 빈들을 처리 대상에서 제외한 후 다시 처음 단계를 반복한다(단계 1006 내지 단계 1109).In this way, if all the bins included in one group are added together and the sum is greater than a certain threshold 'th3', the color group is considered as one face area candidate color group, and only pixels with the colors belonging to the color group are displayed. To designate a face candidate area. Next, all the bins included in the color group corresponding to the current face candidate region are excluded from the processing target, and the first step is repeated again (steps 1006 to 1109).
만일, 상기 단계 1107에서의 판단 결과, 앞서 하나의 그룹에 포함된 모든 빈값들을 더하여 그 합한 값이 일정 임계치 'th3'보다 작을 경우에는 입력된 영상 프레임에 얼굴이 없다고 여기고 루틴을 마친다.As a result of the determination in step 1107, when all the bin values included in one group are added together and the sum thereof is smaller than a predetermined threshold 'th3', the routine is concluded that there is no face in the input image frame.
그런데, 일반적으로 상기 기술한 살색 조건인 '그룹 1'에 속한 색과 '그룹 2'에 속한 색은 한 화면의 하나의 얼굴에 동시에 포함되지 않는다. '그룹 1'은 주로 나타나는 살색 영역이며, '그룹 2'는 조명등의 왜곡에 의해 나타날 수 있는 살색 영역이다. 따라서, 시간에 따라 얼굴을 구성하고 있는 색이 '그룹 1'에서 '그룹 2'로 변화될 수는 있으나, 동시에 한 얼굴에 '그룹 1'과 '그룹 2'에 속하는 색들이 모두 포함되는 경우는 거의 발생되지 않는다.However, in general, the color belonging to the above-described flesh color condition 'group 1' and the color belonging to 'group 2' are not simultaneously included in one face of one screen. 'Group 1' is a skin region that appears mainly, and 'Group 2' is a skin region that may appear due to distortion of a lamp. Therefore, the color constituting the face may change from 'group 1' to 'group 2' according to time, but at the same time, if a face includes all the colors belonging to 'group 1' and 'group 2' It rarely occurs.
이러한 이유로 인하여, 'binmax'가 '그룹 1'에 속한 경우에는, '그룹 1'에 속한 'bin' 들만을 대상으로 그룹화를 수행하고, 'binmax'가 '그룹 2'에 속한 경우에는, '그룹 2'에 속한 'bin' 들만을 대상으로 그룹화를 수행하게 된다.For this reason, if 'bin max ' belongs to 'group 1', grouping is performed only for 'bin' belonging to 'group 1', and if 'bin max ' belongs to 'group 2', Grouping is performed only on 'bin' belonging to 'group 2'.
또한, 최대 빈('binmax')을 구함에 있어, 상기 최대 빈은 상기 '그룹 2' 보다 상기 '그룹 1'에서 우선적으로 검출되도록 가중치를 설정할 수도 있다. 이때, 상기 최대 빈('binmax')은 상기 '그룹 2' 보다 상기 '그룹 1'에서 우선적으로 검출되도록 하기 위하여, 상기 '그룹 1'에 속한 빈 값과 '그룹 2'에 속한 빈 값을 비교할 때, 상기 '그룹 1'에 속한 빈 값에 1보다 큰 값의 가중치를 곱하거나, 상기 '그룹 2'에 속한 빈 값에 1보다 작은 값의 가중치를 곱하여 비교할 수도 있다.Further, in obtaining the maximum bin ('bin max '), the maximum bin may be set to a weight such that the maximum bin is preferentially detected in the group 1 rather than the group 2. In this case, the maximum bin ('bin max ') is a bin value belonging to the 'group 1' and the bin value belonging to 'group 2' in order to be detected in the 'group 1' preferentially than the 'group 2'. In comparison, the bin value belonging to 'group 1' may be multiplied by a weight greater than 1, or the bin value belonging to 'group 2' may be multiplied by a weight of a value less than 1.
지금까지, N 개의 칼라 그룹을 구하기 위한 그룹화 과정을 기술하였으나, 일반적으로 처음 추출된 칼라 그룹의 영역에서 실제 얼굴이 검출되는 경우가 대부분이다. 따라서, 본 발명에서는 상기 과정에서 첫 번째 칼라 그룹이 검출되면 해당 칼라 그룹의 영역을 후보 영역으로 검출하고 바로 루틴을 마치도록 설계하여 보다 실용적인 처리를 하도록 구현할 수도 있다.So far, the grouping process for obtaining N color groups has been described, but in general, the actual face is mostly detected in the area of the color group extracted first. Therefore, in the present invention, when the first color group is detected in the above process, the area of the corresponding color group is detected as the candidate area, and the routine may be designed to immediately end the routine to implement a more practical process.
한편, 상기 칼라 그룹화 과정에서 'binmax' 와 각 'bin'이 표현하는 중심 칼라 간의 거리를 구하는 방법은, 기본적으로 유클리디언 거리(Euclidean Distance)를 사용하되, 각 요소에 가중치를 주어 사용한다.Meanwhile, the method for calculating the distance between 'bin max ' and the center color represented by each 'bin' in the color grouping process basically uses Euclidean distance, but weights each element. .
일반적으로, 두 칼라 간의 유클리디언 거리는 다음 [수학식 2]와 같이 정의될 수 있다.In general, the Euclidean distance between two collars may be defined as in Equation 2 below.
상기 [수학식 2]에 의하면, 이 경우 밝기 성분을 나타내는 'Y'와 칼라를 표현하는 'Cb', 'Cr'을 모두 같은 중요도로 고려하는 것이 된다. 하지만 앞에서 기술하였듯이, 밝기 성분의 경우 보다 민감하지 않도록 하기 위해 중요도를 낮게 하고 'Cb', 'Cr'의 경우 상대적으로 높은 중요도를 할당할 필요가 있다.According to Equation 2, 'Y' representing the brightness component and 'Cb' and 'Cr' representing the color are all considered to be the same importance. However, as mentioned earlier, in order to make the brightness component less sensitive, it is necessary to assign a lower importance and a relatively high importance for 'Cb' and 'Cr'.
이때, 'Cb', 'Cr'의 경우 살색에 'Red' 성분이 많이 포함되어 있기 때문에 'Cr'이 상대적으로 살색을 결정하는데 중요하게 사용된다. 따라서 'Cb' 보다는 'Cr'이 상대적으로 높은 가중치를 갖도록 한다. 이러한 이유로 각 성분을 이용한 거리에 가중치를 적용하되, 가중치는 "Y-거리에 대한 가중치 a << Cb-거리에 대한 가중치 b < Cr-거리에 대한 가중치 c"와 같이 결정될 수 있다. 이때, 상기 가중치 a:b:c는 실험에 의해 각각 1:16:25로 지정하였다.In this case, 'Cb' and 'Cr' are used to determine the color relatively because 'Red' component contains a lot of flesh color. Therefore, 'Cr' rather than 'Cb' has a relatively high weight. For this reason, the weight is applied to the distance using each component, but the weight may be determined as "weight a for Y-distance a << weight b for Cr-distance b <weight c for Cr-distance". In this case, the weights a: b: c were each designated 1:16:25 by experiment.
그리고, 상기에서 설명된 바와 같이, 상기 'Y'의 경우에는 3 가지 경우로 양자화를 하였는데, 제일 어두운 구간인 '41'~'63' 구간은 화면 전체가 어두울 때 살색으로 나타나지만 일반적으로는 머리 영역에도 나타난다. 따라서, 화면 전체가 어두울 경우를 제외하면 'binmax'의 중심 칼라가 밝을 경우에는, 'Y'가 '41'~'63' 구간은 얼굴 영역이 아닐 확률이 높다. 하지만 앞서 기술했듯이 밝기에 대해 일반적으로 민감도가 낮아야 되므로 가중치를 낮게 설정했기 때문에, '41'~'63' 구간의 밝기는 상대적으로 매우 어둡더라도 'binmax'의 중심 칼라와 같은 칼라 그룹으로 포함될 수 있다. 이러한 현상을 막기 위하여 Y-거리에 대한 가중치 a 는 두 빈의 중심 칼라 중 하나의 밝기가 '41'~'63'일 경우에 한하여 보다 높은 가중치를 적용한다. 본 발명의 실시 예에서는 실험에 의해 '3'으로 설정하였다. 이와 같이 설정된 최종적인 두 빈간의 거리 계산 식은 다음 [수학식 3]과 같이 설정할 수 있다.As described above, in the case of the 'Y', the quantization is performed in three cases. The darkest sections '41' to '63' sections appear in flesh color when the entire screen is dark, but generally the head region. Appears on Therefore, except when the entire screen is dark, when the center color of 'bin max ' is bright, it is highly likely that the section 'Y' is not a face region in the range '41' to '63'. However, as described above, since the sensitivity should be low for brightness, since the weight is set low, the brightness of '41' ~ '63 'section can be included as the same color group as the center color of' bin max 'even though it is relatively dark. have. In order to prevent this phenomenon, the weight a for the Y-distance applies a higher weight only when the brightness of one of the center colors of the two bins is '41' to '63'. In the embodiment of the present invention, it was set to '3' by experiment. The distance calculation formula between the two final bins set as described above may be set as in Equation 3 below.
여기서, a = 3 if Y<63Where a = 3 if Y <63
1 others1 others
b=16b = 16
c=25c = 25
한편, 이와 같은 살색 영역 추출 과정을 통하여 검출된 얼굴 후보 영역은 픽셀단위로 추출된 영역인 만큼 잡음이 많이 포함되어 있다. 이를 제거하기 위해 다음과 같은 후처리를 수행할 수 있다.Meanwhile, the face candidate region detected through the skin color region extraction process includes a lot of noise as it is a region extracted in units of pixels. To eliminate this, the following post-processing can be performed.
'Opening'이라는 모폴로지 기법을 사용하면 'Opening'에 사용되는 엘리먼트 크기보다 작은 잡음은 제거된다. 이를 이용하여 잔 잡음 등을 제거할 수 있다. 또한, 연결 성분(connected component)을 조사하여 연결 성분의 크기와 밀도가 일정 임계치 이하인 연결 성분은 모두 버림으로써 잡음을 제거할 수 있다. 본 발명에서는 연결 성분을 픽셀 단위로 계산하는 대신, 'N*N' 크기의 블록으로 블록화한 후 블록 단위의 연결 성분을 조사하여 적용하였다. 이러한 방법은 모폴로지에 비해 짧은 시간으로 큰 크기의 잡음을 제거할 수 있게 된다.Using a morphology technique called 'opening' eliminates noise smaller than the element size used for 'opening'. This can be used to remove residual noise. In addition, the noise may be removed by irradiating the connected components by discarding all connected components whose size and density are less than or equal to a predetermined threshold. In the present invention, instead of calculating the connection component in units of pixels, the block component is blocked into blocks of 'N * N' size, and then the connection component in the block unit is examined and applied. This method can remove a large amount of noise in a short time compared to morphology.
그리고, 검출된 얼굴 후보 영역은 실제 얼굴 영역 뿐 아니라 다른 잡음에 의해 검출된 배경도 포함될 수 있다. 이를 가려내기 위해 후보 영역을 기준으로 얼굴 확인 단계를 수행하게 되는데 얼굴 확인 방법은 여러 가지 방법이 사용될 수 있다. 예를 들어, 상기 배경에서 기술한 탬플리트 기반의 방법이나 비칼라 특징 기반의 접근 방법이 모두 사용될 수 있는데, 본 발명에서는 얼굴의 'shape' 정보인 타원 매칭을 사용하여 빠르고 정확하게 얼굴 영역을 확인한 후, 최종 얼굴 영역을 추출하는 방법을 사용하였다. 즉, 살색 영역이 타원모양에 가까운 것을 찾아내어 매칭된 타원이 얼굴 영역으로 간주하는 방법을 사용함으로써, 최종적인 얼굴 영역을 빠르고 정확하게 추출할 수 있게 된다.The detected face candidate region may include not only the actual face region but also a background detected by other noise. To identify this, a face verification step is performed based on the candidate region. Various methods may be used for face verification. For example, both the template-based method and the non-color feature-based approach described in the background may be used. In the present invention, after checking the face region quickly and accurately using elliptic matching, which is 'shape' information of the face, A method of extracting the final face area was used. That is, by using a method in which the flesh area is close to the ellipse shape and the matched ellipse is regarded as the face area, the final face area can be extracted quickly and accurately.
이상의 설명에서와 같이 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하면, YCrCb 색공간을 사용하는 동영상 표준인 MPEG 1, 2, 4 또는 H.26 계열로 인코딩된 데이터를 처리하는 보안 시스템, 화상 통신 또는 비디오 인덱싱 기반의 응용 시스템 등에서, 얼굴 영역을 검출하는데 있어 매우 효과적으로 적용될 수 있는 장점이 있다.As described above, according to the YCrCb color-based face region extraction method according to the present invention, a security system for processing data encoded in MPEG 1, 2, 4 or H.26 series, which is a video standard using YCrCb color space, In a communication or video indexing based application system, there is an advantage that can be applied very effectively in detecting a face region.
또한, 본 발명에 따른 YCbCr 칼라 기반 얼굴 영역 추출 방법에 의하면, 색공간 상에서의 살색 범위를, 주로 일반적인 조건에서 얼굴 색상이 표현되는 영역과, 조명등의 왜곡에 의한 얼굴 색상이 표현되는 영역으로 나눈 뒤 처리하므로, 조명등에 덜 민감할 뿐 아니라, 보다 다양한 왜곡에 강한 얼굴 영역 추출 방법을 제공할수 있는 장점이 있다.In addition, according to the YCbCr color-based face region extraction method according to the present invention, the skin color range in the color space is divided into a region where the face color is expressed mainly under general conditions, and a region where the face color due to distortion of lighting is expressed. As a result, it is not only sensitive to lighting, but also has an advantage of providing a method for extracting a facial region that is resistant to various distortions.
또한, 본 발명에 따른 YCbCr 칼라 기반 얼굴 영역 추출 방법에 의하면, 작은 메모리와 적은 프로세스를 사용하여 처리할 수 있으므로, 하드웨어적 제한이 많은 이동통신 단말기 등에서도 실시간으로 적용될 수 있는 장점이 있다.In addition, according to the YCbCr color-based face region extraction method according to the present invention, since it can be processed using a small memory and a small process, there is an advantage that can be applied in real time even in a mobile communication terminal with a lot of hardware restrictions.

Claims (16)

  1. YCrCb 색공간에서 살색 영역을 표현하기 위해, CrCb 평면 상에서 중심 칼라가 Cr이 Cb보다 큰 하나의 조건 영역과, 중심 칼라가 Cr이 Cb보다 작은 또 다른 조건 영역을 설정하고, 설정된 두 개의 조건 영역을 이용하여 입력된 영상에 대한 살색 영역을 검출하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.To represent the skin region in the YCrCb color space, set one condition region where the center color is less than Cb and another condition region where the center color is less than Cb on the CrCb plane. YCrCb color-based face region extraction method characterized in that the detection of the skin color region for the input image using.
  2. 제 1항에 있어서,The method of claim 1,
    상기 두 개의 조건 영역 중에서, 한 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 크고, Cb가 중심(128)보다 작으며, 다른 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 작고, Cb가 색공간의 중심(128)보다 큰 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.Among the two condition regions, the center color of one condition region is Cr larger than the center 128 of the color space, Cb is smaller than the center 128, and the center color of the other condition regions is that Cr is the center of the color space ( 128, and Cb is larger than the center of the color space (128).
  3. 제 1항에 있어서,The method of claim 1,
    상기 두 개의 조건 영역은 부분적으로 서로 겹치며, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 하나의 조건 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 다른 조건 영역으로 이루어지는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.The two condition regions partially overlap each other, one condition region satisfying the case where Cr is greater than 125 and less than 164, Cb is greater than 85 and less than 131, Cr is greater than 105 and less than 134, and Cb is 127 YCrCb color-based face region extraction method, characterized in that it consists of different conditional regions satisfying the case of larger and smaller than 149.
  4. 제 1항에 있어서,The method of claim 1,
    상기 두 개의 조건 영역에 해당하는 칼라 중에서, CrCb 평면 상에서의 중심 영역은 살색 조건에서 제외시키며, 상기 제외시키는 중심 영역은 다음 식 (|Cb-Cr|< 5 .AND.|(Cb+Cr)/2 -128|< 5)을 만족시키는 영역으로 설정되는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.Of the colors corresponding to the two condition areas, the center area on the CrCb plane is excluded from the skin color condition, and the center area to be excluded is represented by the following formula (| Cb-Cr | <5.AND. | (Cb + Cr) / 2-128 | <5) YCrCb color-based face region extraction method characterized in that the area is set.
  5. 제 1항에 있어서,The method of claim 1,
    상기 두 개의 조건 영역을 설정함에 있어, Y 값의 특정 범위는 40보다 크고 250보다 작은 경우로 지정되는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.In setting the two condition areas, the YCrCb color-based face area extraction method characterized in that the specific range of the Y value is designated as greater than 40 and less than 250.
  6. 제 1항에 있어서,The method of claim 1,
    상기 설정된 두 개의 조건에 의하여 살색 영역에 대한 검출을 수행함에 있어, 상기 두 개의 조건을 만족하는 픽셀로 구성된 영역에 대하여, 다시 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계를 더 구비하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.In performing the detection of the skin color area according to the set two conditions, the method further includes the step of designating a face candidate area by grouping similar color groups again with respect to the area composed of pixels satisfying the two conditions. Characterized by YCrCb color-based facial region extraction method.
  7. 제 6항에 있어서, 상기 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계는,The method of claim 6, wherein the grouping of the similar color groups to designate a face candidate region comprises:
    살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와;Quantizing a color value of a pixel satisfying the flesh color condition;
    이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와;Extracting a histogram ('hist') for the entire image and a center histogram ('center_hist') for the image partial region;
    상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계와;Finding the largest bin having the largest value in the histogram ('hist') or the center histogram ('center_hist');
    상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 및Grouping bins with a color similar to the maximum bin into one color group; And
    상기 그룹화된 빈들에 해당하는 칼라 범위를 만족하는 픽셀들만 얼굴 후보 영역으로 지정하는 단계; 를 구비하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.Designating only pixels satisfying a color range corresponding to the grouped bins as a face candidate area; YCrCb color-based face region extraction method comprising the.
  8. 제 7항에 있어서,The method of claim 7, wherein
    상기 최대 빈에 대하여 하나의 칼라 그룹으로 그룹화 한 이후에, 한번 그룹화에 참여한 빈들을 제외시키고, 다시 나머지 빈들 중에서 최대 빈을 찾아 복수 개의 그룹으로 칼라 그룹화를 반복적으로 수행하는 단계를 더 구비하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.After grouping the maximum bins into one color group, excluding the bins once participating in the grouping, and searching for the maximum bins among the remaining bins, and repeatedly performing color grouping into a plurality of groups. YCrCb color based facial region extraction method.
  9. 제 7항에 있어서,The method of claim 7, wherein
    상기 이미지 부분 영역을 대상으로 하는 중앙 히스토그램 추출은, 이전 프레임에서 얼굴 검출이 성공하였으면 이전 얼굴 영역을 대상으로 추출하고, 그렇지 않으면 이미지 중앙의 부분 영역을 대상으로 추출하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.The central histogram extraction targeting the image partial region is performed by extracting the previous face region if the face detection is successful in the previous frame, and extracting the partial region in the center of the image. Zone extraction method.
  10. 제 7항에 있어서,The method of claim 7, wherein
    상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값보다 Cr 값과 Cb 값을 보다 세밀하게 양자화 하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.In the step of quantizing the color value of the pixel that satisfies the skin condition, YCrCb color-based face region extraction method characterized in that the quantization of the Cr value and the Cb value more precisely than the Y value.
  11. 제 7항에 있어서,The method of claim 7, wherein
    상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값은 비균등 양자화를 수행하고, Cr 값과 Cb 값은 균등 양자화를 수행하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.In the step of quantizing the color value of the pixel that satisfies the skin condition, YCrCb color-based facial region extraction method characterized in that Y value performs non-uniform quantization, Cr value and Cb value performs quantization.
  12. 제 7항에 있어서,The method of claim 7, wherein
    상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에 있어, 상기 제 1항에서 기술한 CrCb 평면 상에서의 두 개의 조건 영역 중에서, 상기 최대 빈이 속한 조건 영역의 빈들과 다른 조건 영역에 속한 빈들과는 서로 그룹화를 수행하지 않고, 상기 최대 빈과 동일 조건 영역에 속한 빈들에 대해서만 그룹화를 수행하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.In the step of grouping bins having a color similar to the maximum bin into one color group, a condition region different from the bins of the condition region to which the maximum bin belongs, out of two condition regions on the CrCb plane described in claim 1 above. YCrCb color-based face region extraction method characterized in that the grouping is performed only for the bins belonging to the same condition region as the maximum bin without grouping with the bins belonging to.
  13. 제 7항에 있어서, 상기 최대 빈을 검출하는 단계에 있어,8. The method of claim 7, wherein in detecting the maximum bin,
    상기 제 1항에 기술한 CrCb 평면 상에서의 두 개의 부분 영역이 각각, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 제 1 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 제 2 영역으로 구성되고, 상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.The first region satisfies the case where the two partial regions on the CrCb plane described in claim 1 are larger than 125 and smaller than 164, Cb is larger than 85 and smaller than 131, and Cr is larger than 105 and 134, respectively. YCrCb color-based face area, the second area being smaller and satisfying the case where Cb is larger than 127 and smaller than 149, wherein the maximum bin is preferentially detected in the first area rather than the second area. Extraction method.
  14. 제 13항에 있어서,The method of claim 13,
    상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하기 위하여, 상기 제 1 영역에 속한 빈 값과 제 2 영역에 속한 빈 값을 비교할 때, 상기 제 1 영역에 속한 빈 값에 1보다 큰 값의 가중치를 곱하거나, 상기 제 2 영역에 속한 빈 값에 1보다 작은 값의 가중치를 곱하여 비교하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.The maximum bin is equal to the bin value belonging to the first region when comparing the bin value belonging to the first region with the bin value belonging to the second region in order to be detected in the first region preferentially rather than the second region. YCrCb color-based face region extraction method characterized in that the multiplication by multiplying the weight of the value greater than 1 or by multiplying the weight value of the value smaller than 1 by the bin value belonging to the second region.
  15. 제 7항에 있어서,The method of claim 7, wherein
    상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에서, 유사한 칼라를 갖는 빈들은 각 빈이 의미하는 중심 칼라 간의 거리를 계산하여 구해지며, 중심 칼라 간의 거리는 Y 값 간의 거리, Cr 값 간의 거리, Cb 값 간 거리의 조합으로 구성하되, Cb 값 간의 거리에 가장 큰 가중치를 적용하고Cr 값 간의 거리에 그 다음으로 큰 가중치를 적용하고, Y 값 간의 거리에 가장 작은 가중치를 적용하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.In the grouping of bins having a color similar to the maximum bin into one color group, bins having similar colors are obtained by calculating the distance between the center colors of each bin, and the distance between the center colors is the distance between Y values, Cr It consists of a combination of distances between values and distances between Cb values, with the largest weights applied to distances between Cb values, the next largest weights between distances between Cr values, and the smallest weights applied to distances between Y values. YCrCb color-based facial region extraction method, characterized in that.
  16. 제 15항에 있어서,The method of claim 15,
    상기 Y 값 간의 거리에 적용하는 가중치는, Y 값이 특정 임계치 이하일 때에는 원래의 Y 값 간의 가중치보다 큰 가중치를 적용하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.The weight applied to the distance between the Y values is YCrCb color-based face region extraction method characterized in that when the Y value is less than a certain threshold value that is greater than the weight between the original Y value.
KR10-2002-0029532A 2002-05-28 2002-05-28 YCrCb color based human face location detection method KR100488014B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0029532A KR100488014B1 (en) 2002-05-28 2002-05-28 YCrCb color based human face location detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0029532A KR100488014B1 (en) 2002-05-28 2002-05-28 YCrCb color based human face location detection method

Publications (2)

Publication Number Publication Date
KR20030091471A true KR20030091471A (en) 2003-12-03
KR100488014B1 KR100488014B1 (en) 2005-05-06

Family

ID=32384655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0029532A KR100488014B1 (en) 2002-05-28 2002-05-28 YCrCb color based human face location detection method

Country Status (1)

Country Link
KR (1) KR100488014B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695159B1 (en) * 2005-08-04 2007-03-14 삼성전자주식회사 Apparatus and method for generating RGB map for skin color model and apparatus and method for detecting skin color employing the same
KR100927642B1 (en) * 2009-05-14 2009-11-20 한국 한의학 연구원 A face edge extraction method using visual division histogram analysis
KR101143555B1 (en) * 2010-06-28 2012-05-09 한국과학기술원 Face Detection System using Skin Color Filtering and Morphology Process and Method Therefor
KR101875891B1 (en) * 2011-12-08 2018-07-09 에스케이텔레콤 주식회사 apparatus and method for face detection using multi detection

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445613B1 (en) 2008-07-23 2014-09-29 삼성전자주식회사 Image processing method and apparatus, and digital photographing apparatus using thereof
KR101470763B1 (en) * 2013-12-26 2014-12-08 성균관대학교산학협력단 Method for detecting color object in image and apparatur for detecting color object in image
KR101481370B1 (en) * 2014-07-08 2015-01-14 성균관대학교산학협력단 Method for detecting color object in image and apparatus for detecting color object in image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339471A (en) * 1999-05-31 2000-12-08 Matsushita Electric Ind Co Ltd Method and device for extracting picture
KR20020031630A (en) * 2000-10-20 2002-05-03 구자홍 Method for extraction of face using distortion data of color
KR100422709B1 (en) * 2001-10-05 2004-03-16 엘지전자 주식회사 Face detecting method depend on image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695159B1 (en) * 2005-08-04 2007-03-14 삼성전자주식회사 Apparatus and method for generating RGB map for skin color model and apparatus and method for detecting skin color employing the same
KR100927642B1 (en) * 2009-05-14 2009-11-20 한국 한의학 연구원 A face edge extraction method using visual division histogram analysis
KR101143555B1 (en) * 2010-06-28 2012-05-09 한국과학기술원 Face Detection System using Skin Color Filtering and Morphology Process and Method Therefor
KR101875891B1 (en) * 2011-12-08 2018-07-09 에스케이텔레콤 주식회사 apparatus and method for face detection using multi detection

Also Published As

Publication number Publication date
KR100488014B1 (en) 2005-05-06

Similar Documents

Publication Publication Date Title
US8358813B2 (en) Image preprocessing
US8559708B2 (en) Image preprocessing
KR100422709B1 (en) Face detecting method depend on image
US9268993B2 (en) Real-time face detection using combinations of local and global features
US7068840B2 (en) Determination of an illuminant of digital color image by segmentation and filtering
US8660323B2 (en) Image Preprocessing
JP3769487B2 (en) Blond Pixel Removal Method for Image Skin Color Detection
KR100488014B1 (en) YCrCb color based human face location detection method
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
EP1271403A1 (en) Method and device for character location in images from digital camera
CN107292307B (en) Automatic identification method and system for inverted Chinese character verification code
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
US8244004B2 (en) Image preprocessing
Ajmal et al. A comparison of RGB and HSV colour spaces for visual attention models
Torres et al. Automatic detection of specular reflectance in colour images using the MS diagram
Yusuf et al. Human face detection using skin color segmentation and watershed algorithm
Gangopadhyay et al. FACE DETECTION AND RECOGNITION USING HAAR CLASSIFIER AND LBP HISTOGRAM.
Manjare et al. Skin detection for face recognition based on HSV color space
Tomaschitz et al. Skin detection applied to multi-racial images
KR100927642B1 (en) A face edge extraction method using visual division histogram analysis
Rahman et al. Skin lesions classification based on color plane-histogram-image quality analysis features extracted from digital images
Kryszczuk et al. Color correction for face detection based on human visual perception metaphor
KR100451652B1 (en) Human face location detection method using adaptive color clustering
JPH06251147A (en) Video feature processing method
CN109948463B (en) Method for realizing face and lip recognition function based on color and mathematical model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090331

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee