KR100488014B1 - ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법 - Google Patents

ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법 Download PDF

Info

Publication number
KR100488014B1
KR100488014B1 KR10-2002-0029532A KR20020029532A KR100488014B1 KR 100488014 B1 KR100488014 B1 KR 100488014B1 KR 20020029532 A KR20020029532 A KR 20020029532A KR 100488014 B1 KR100488014 B1 KR 100488014B1
Authority
KR
South Korea
Prior art keywords
color
region
center
condition
value
Prior art date
Application number
KR10-2002-0029532A
Other languages
English (en)
Other versions
KR20030091471A (ko
Inventor
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0029532A priority Critical patent/KR100488014B1/ko
Publication of KR20030091471A publication Critical patent/KR20030091471A/ko
Application granted granted Critical
Publication of KR100488014B1 publication Critical patent/KR100488014B1/ko

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B7/00—Special arrangements or measures in connection with doors or windows
    • E06B7/16—Sealing arrangements on wings or parts co-operating with the wings
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B7/00—Special arrangements or measures in connection with doors or windows
    • E06B7/12—Measures preventing the formation of condensed water

Abstract

본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법은, YCrCb 색공간에서 살색 영역을 표현하기 위해, CrCb 평면 상에서 중심 칼라가 Cr이 Cb보다 큰 하나의 조건 영역과, 중심 칼라가 Cr이 Cb보다 작은 또 다른 조건 영역을 설정하고, 설정된 두 개의 조건 영역을 이용하여 입력된 영상에 대한 살색 영역을 검출한다.
또한 본 발명에 의하면, 상기 설정된 두 개의 조건에 의하여 살색 영역에 대한 검출을 수행함에 있어, 상기 두 개의 조건을 만족하는 픽셀로 구성된 영역에 대하여, 다시 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계를 더 구비하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계는, 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와; 이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와; 상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계와; 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 및 상기 그룹화된 빈들에 해당하는 칼라 범위를 만족하는 픽셀들만 얼굴 후보 영역으로 지정하는 단계; 를 구비하는 점에 그 특징이 있다.

Description

ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법{YCrCb color based human face location detection method}
본 발명은 얼굴 영역 추출에 관한 것으로서, 특히 YCrCb 칼라를 기반으로 하여 얼굴 영역을 추출하는 방법에 관한 것이다.
오늘날, 정지영상이나 동영상에서의 얼굴 영역 추출은 다양한 목적을 위해 유용하게 응용될 수 있다. 예를 들어, 자동으로 얼굴을 인식하기 위한 시스템에서, 얼굴을 인식하기 이전에 얼굴 영역만을 자동으로 추출하기 위하여 사용되기도 하고, 또는 보안 시스템에서 얼굴 영역만을 취득하기 위해 사용하기도 한다. 이외에도 다양한 목적으로 얼굴 영역 추출 알고리즘을 사용할 수 있는데, 최근에는 이동 통신 환경이 발달하면서 고화질에 낮은 데이터 양으로 통신하기 위한 방법에도 응용된다. 즉, 화상 통신에서 얼굴 영역은 다른 영역에 비해 중요한 영역으로서 얼굴 영역은 상대적으로 높은 화질을 나타내도록 코딩하고, 다른 영역은 낮은 화질을 나타내도록 코딩함으로써 같은 데이터 양을 유지하면서도 얼굴 영역을 보다 높은 화질로 전송할 수 있다.
이와 같이, 얼굴 영역 추출은 매우 중요한 알고리즘으로서, 오래 전부터 매우 많은 연구가 이루어져 왔다. 얼굴 영역의 추출은 크게 탬플리트 기반의 접근 방법과 비칼라 특징(feature) 기반의 접근 방법, 그리고 칼라 특징 기반의 접근 방법을 사용하여 이루어진다.
탬플리트 기반의 접근 방법의 경우에는 얼굴 이미지의 특성을 하나의 탬플리트로 구성하여, 이를 입력 영상과 부분적으로 매칭함으로써 얼굴 영역을 추출하게 되는데, shape 정보를 사용한 탬플리트나 얼굴에 나타난 텍스쳐의 특징을 나타내는 텍스쳐 탬플리트를 사용하기도 한다. 이와 같은 탬플리트 매칭 기반의 접근 방식은 칼라를 사용하지 않고 회색(Gray) 이미지를 사용하는 경우가 일반적이므로, 조명등에 의존적이지 않은 장점이 있으나, 탬플리트 매칭 회수가 많아 처리 시간이 많이 요구된다는 단점이 있다. 이는 입력 영상에서 어떠한 크기로, 어떠한 위치에 얼굴이 나타날 지 모르므로 탬플리트를 다양한 크기로 조절하면서 모든 위치에 매칭시켜야 하기 때문이다.
비 칼라 특징 기반의 접근 방법으로는 눈, 코, 입 등의 특징을 검출하는 방법으로 에지 성분을 기반으로 얼굴 영역을 검출하는 방법이 있다. 가장 많이 소개되어 있는 접근 방법은 살색 조건을 두어 얼굴 영역을 추출하려는 칼라 특징 기반의 접근 방법이다. 칼라를 기반으로 얼굴 영역을 추출할 경우 단순한 살색 조건으로는 얼굴 영역 이외의 많은 배경 영역이 포함되어 얼굴 영역만을 표현하기 어렵다. 이러한 문제로 인하여 각 연구마다 다양한 색공간을 사용하고, 동시에 추가적인 알고리즘을 통하여 부분적으로 문제를 해결하고자 하였다.
예컨대, 학습데이터 집합으로부터 L*a*b* 색좌표에서 표현되는 살색 범위를 다시 'Principle Component Analysis'를 이용하여 보다 적은 정보량으로 효과적인 스킨 칼라 범위를 표현할 수 있도록 변환한 후 이를 이용하여 얼굴 영역을 추출하는 방법이 이용되기도 한다. 또한, Fuzzy Set을 이용하여 특정 칼라가 살색일 확률을 계산하는 개념이 이용되기도 한다. 그리고, YCrCb 색공간에서 표현된 칼라를 사용하여 살색임을 판단하는데, YCrCb 색공간 자체가 살색 조건을 표현하기에는 적합하지 않은 부분을 발견하여, 이를 해결하고자 Y에 따라 변형된 CrCb값을 갖는 YCr'Cb'을 사용하기도 한다.
상기 기술된 접근 방법들은 최근에는 단독으로 사용되기 보다는 복합적으로 조합되어 사용된다. 즉 각 접근 방법들의 장점을 보완하여 사용되는데, 예를 들어 초기 살색 조건으로 후보 영역을 추출한 후, 그 안에서 눈과 입을 추출하여 최종적인 얼굴 영역을 추출하는 방법이 사용되기도 한다.
상기 기술한 접근 방법 중 칼라를 기반으로 추출하는 방법은 처리하는 색공간에 따라 성능과 속도가 달라지게 된다. 일반적으로 RGB는 칼라 값(R,G,B값)이 사람이 보는 칼라를 직관적으로 표현하지 못하기 때문에(이러한 성질을 perceptually uniform이라 함) 다른 색공간으로 변환되어 사용하게 된다. 통신 환경에서 얼굴 추출을 행할 경우 영상의 표준 형식에서 표현하는 색공간을 사용하게 되면 색공간 변환 없이 바로 처리할 수 있으므로 효율적일 수 있다.
특히, 화상통신 환경에서 실시간 처리는 매우 중요하므로 이러한 처리측면에서의 효율성은 매우 중요하다. 일반적으로 통신환경에서 사용되는 영상 표준 형식은 H.261, H.263 등 H.26x 계열과 MPEG 계열을 들 수 있다. 이들 표준 형식들은 모두 색을 YCrCb 색공간에서 표현한다. 따라서 효과적인 처리를 위해서는 YCrCb 색공간에서 모든 추출 과정이 이루어져야 한다. 특히, 이동 통신 단말기 등 제한적인 H/W 자원을 사용해야 하는 경우에는, 최대한 적은 프로세스를 사용하여 얼굴 영역을 추출해야 하므로 색공간 변환을 하지 않기 위해 YCrCb 색공간을 사용하는 것은 필수적이라 할 수 있다.
본 발명은, 일반적인 디지털 방송 및 화상통신에서 사용되는 영상 표준에서 채택되고 있는 YCrCb 색공간에서 표현된 색 정보를 바로 사용하여 얼굴 영역을 빠르고 정확하게 추출할 수 있는 YCrCb 칼라 기반 얼굴 영역 추출 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법은, YCrCb 색공간에서 살색 영역을 표현하기 위해, CrCb 평면 상에서 중심 칼라가 Cr이 Cb보다 큰 하나의 조건 영역과, 중심 칼라가 Cr이 Cb보다 작은 또 다른 조건 영역을 설정하고, 설정된 두 개의 조건 영역을 이용하여 입력된 영상에 대한 살색 영역을 검출하는 점에 그 특징이 있다.
여기서 본 발명에 의하면, 상기 두 개의 조건 영역 중에서, 한 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 크고, Cb가 중심(128)보다 작으며, 다른 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 작고, Cb가 색공간의 중심(128)보다 큰 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 두 개의 조건 영역은 부분적으로 서로 겹치며, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 하나의 조건 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 다른 조건 영역으로 이루어지는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 두 개의 조건 영역에 해당하는 칼라 중에서, CrCb 평면 상에서의 중심 영역은 살색 조건에서 제외시키며, 상기 제외시키는 중심 영역은 다음 식 (｜Cb-Cr｜< 5 .AND.｜(Cb+Cr)/2 -128｜< 5)을 만족시키는 영역으로 설정되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 두 개의 조건 영역을 설정함에 있어, Y 값의 특정 범위는 40보다 크고 250보다 작은 경우로 지정되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 설정된 두 개의 조건에 의하여 살색 영역에 대한 검출을 수행함에 있어, 상기 두 개의 조건을 만족하는 픽셀로 구성된 영역에 대하여, 다시 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계를 더 구비하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계는, 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와; 이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와; 상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계와; 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 및 상기 그룹화된 빈들에 해당하는 칼라 범위를 만족하는 픽셀들만 얼굴 후보 영역으로 지정하는 단계; 를 구비하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 최대 빈에 대하여 하나의 칼라 그룹으로 그룹화 한 이후에, 한번 그룹화에 참여한 빈들을 제외시키고, 다시 나머지 빈들 중에서 최대 빈을 찾아 복수 개의 그룹으로 칼라 그룹화를 반복적으로 수행하는 단계를 더 구비하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 이미지 부분 영역을 대상으로 하는 중앙 히스토그램 추출은, 이전 프레임에서 얼굴 검출이 성공하였으면 이전 얼굴 영역을 대상으로 추출하고, 그렇지 않으면 이미지 중앙의 부분 영역을 대상으로 추출하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값보다 Cr 값과 Cb 값을 보다 세밀하게 양자화 하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값은 비균등 양자화를 수행하고, Cr 값과 Cb 값은 균등 양자화를 수행하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에 있어, 상기 제 1항에서 기술한 CrCb 평면 상에서의 두 개의 조건 영역 중에서, 상기 최대 빈이 속한 조건 영역의 빈들과 다른 조건 영역에 속한 빈들과는 서로 그룹화를 수행하지 않고, 상기 최대 빈과 동일 조건 영역에 속한 빈들에 대해서만 그룹화를 수행하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 최대 빈을 검출하는 단계에 있어, 상기 제 1항에 기술한 CrCb 평면 상에서의 두 개의 부분 영역이 각각, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 제 1 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 제 2 영역으로 구성되고, 상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하기 위하여, 상기 제 1 영역에 속한 빈 값과 제 2 영역에 속한 빈 값을 비교할 때, 상기 제 1 영역에 속한 빈 값에 1보다 큰 값의 가중치를 곱하거나, 상기 제 2 영역에 속한 빈 값에 1보다 작은 값의 가중치를 곱하여 비교하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에서, 유사한 칼라를 갖는 빈들은 각 빈이 의미하는 중심 칼라 간의 거리를 계산하여 구해지며, 중심 칼라 간의 거리는 Y 값 간의 거리, Cr 값 간의 거리, Cb 값 간 거리의 조합으로 구성하되, Cb 값 간의 거리에 가장 큰 가중치를 적용하고 Cr 값 간의 거리에 그 다음으로 큰 가중치를 적용하고, Y 값 간의 거리에 가장 작은 가중치를 적용하며, 상기 Y 값 간의 거리에 적용하는 가중치는, Y 값이 특정 임계치 이하일 때에는 원래의 Y 값 간의 가중치보다 큰 가중치를 적용하는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, YCrCb 색공간을 사용하는 동영상 표준인 MPEG 1, 2, 4 또는 H.26 계열로 인코딩된 데이터를 처리하는 보안 시스템, 화상 통신 또는 비디오 인덱싱 기반의 응용 시스템 등에서, 얼굴 영역을 검출하는데 있어 매우 효과적으로 적용될 수 있는 장점이 있다.
또한 본 발명에 의하면, 색공간 상에서의 살색 범위를, 주로 일반적인 조건에서 얼굴 색상이 표현되는 영역과, 조명등의 왜곡에 의한 얼굴 색상이 표현되는 영역으로 나눈 뒤 처리하므로, 조명등에 덜 민감할 뿐 아니라, 보다 다양한 왜곡에 강한 얼굴 영역 추출 방법을 제공할 수 있는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
먼저, 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법을 설명하기 이전에, 색공간의 특성에 대하여 간략하게 살펴 보기로 한다.
일반적으로, 이미지 처리에서 흔히 사용하는 HSV, HSI 등의 색공간은 색의 3가지 특성인 밝기(Brightness), 순도(Saturation), 색상(Hue)을 표현하고 있다. 이러한 성질을 'Naturality'라고 하는데, 이러한 성질을 가지고 있는 색공간은 이미지 검색, 칼라 기반 영역 분리 등 칼라를 사용하는 이미지를 처리하는데 보다 효과적이다. 이에 반해, YCrCb나 YUV와 같은 색공간은 각 축이 의미하는 성질이 상기 기술한 순도나 색상을 바로 나타내지 못하는 단점이 있다. 하지만 YCrCb 색공간은, MPEG, H.26x 계열 등 동영상 표준에서 사용되고 있기 때문에, 동영상에 대하여 보다 효과적인 처리를 수행하기 위해서는 YCrCb 색공간을 바로 사용하여 영상을 처리하여야 한다. 그렇지 않으면 다른 색공간으로 변환하는 부수적인 처리가 필요하기 때문에 비효율적이다.
이러한 이유로, MPEG과 같은 영상에서 얼굴 영역을 추출할 경우 YCrCb 색공간에서 살색 영역 조건을 정의하여 추출하는 방법이 연구되고 있다. 살색 영역 조건을 설정하는 것은 색공간과 관계 없이 정의할 수 있다. 일반적으로 색공간과 색공간 사이는 서로 변환 가능하므로, 하나의 색공간에서 정의된 간단한 색 범위에 대한 조건은 거의 동일하게 다른 색공간에서 정의될 수 있다. 따라서 이 경우에는 색공간이 추출 성능에 영향을 크게 주지 않는다. 하지만 단순히 살색 조건 정의만을 가지고 사람의 얼굴 영역을 추출할 경우 높은 성능을 기대하기 어렵다.
일반적으로 다양한 동영상에서 나타날 수 있는 살색을 모두 포함하는 살색 영역 조건은 매우 광범위하기 때문에, 단순한 살색 조건만을 적용할 경우 얼굴 영역 이외의 많은 영역이 더 포함되어 추출되므로 얼굴 영역만을 추출하기 어렵다. 따라서 보다 효과적인 성능을 위해서는 살색 조건 뿐 아니라, 색 정보를 사용하여 영역을 세분화하거나 병합하는 등의 추가적인 처리가 요구된다.
이와 같이 추가적인 영상의 처리에서는 색공간의 특성이 성능을 많이 좌우하게 된다. 이러한 이유는 상기 기술한 색공간에서 색의 기본 3가지 성질을 잘 표현할 수 있는 지와, 색공간 내부에서 시각적인 색 차가 정규적으로 분포되어 있는 지 등이 색공간에 따라 다르기 때문이다. 따라서 YCrCb 색공간에서 영상을 처리할 때에는, YCrCb 색공간의 특성을 고려하여 각 응용에 맞는 적절한 방법을 적용하여야 한다.
한편, 카메라를 통한 화상 통신 영상의 경우 카메라 자체의 특성이나 조명에 따라 살색 영역이 다양하게 나타날 수 있다. 이러한 왜곡 현상에 의해 원래 살색이라고 생각되는 좁은 범위의 살색 영역 이외에도 다양한 색으로 실제 얼굴 영역이 표현되기도 한다. 이러한 색의 왜곡은 다음 두 가지로 크게 구분 지을 수 있다. 하나는 얼굴 영역의 부분적인 왜곡이며, 다른 하나는 영상 전체에 대한 왜곡으로 나눌 수 있다.
먼저, 얼굴 영역에 대한 부분적인 왜곡에 대해서 살펴 보도록 한다. 보통은 방향성 있는 조명등으로 인해 얼굴 한 쪽이 그림자가 지거나, 빛의 반사로 인하여 얼굴 영역 중 일부분이 다른 얼굴 영역과 다른 색을 지니는 경우이다. 대부분 이런 경우 얼굴 내부에서 밝기의 차이가 가장 심한 특성이 있다. 다음으로는 색의 순도가 약간 차이가 나는데 일반적으로 그림자 부분으로 갈수록 색의 순도는 약한 특성이 있다. 조명 자체가 색조명이 아닌 자연광이나 형광등과 같이 일반적인 조명일 경우 색상 자체의 변화는 크기 않다. 이와 같이 조명에 의한 얼굴의 부분적인 왜곡에서는 얼굴 내부의 색상 차이는 '밝기' > '순도' > '색상' 순으로 나타난다. 따라서, 하나의 얼굴을 하나의 영역으로 제대로 구분하기 위해서는 밝기에 민감하지 않아야 하며, 반면에 색상에 민감해야 한다.
다음은 영상 전체에 대한 왜곡에 대하여 살펴 보기로 한다. 카메라 자체적인 특성, 또는 전체적인 조명 특성으로 인해 영상 전체적으로 색이 왜곡되는 경우가 있다. 이러한 경우 왜곡의 척도는 흰색의 물체가 흰색으로 표현되지 않고 다른 색으로 왜곡되는 정도로 표현된다. 영상 처리에서는 실제 물체의 색이 흰색인지 알 수 없으므로 표현된 색이 왜곡된 색인지 원래의 색인지 알 수 없다. 따라서 효과적인 얼굴 영역 추출을 위해서는 살색 영역 조건에, 쉽게 발생할 수 있는 왜곡에 의해 표현되는 살색 영역을 포함하여야 한다. 단, 이 경우 원래 정의된 살색 영역과 왜곡되어 새롭게 포함된 살색 영역이 하나의 얼굴에 모두 포함되어 나타나는 경우는 드물다. 이것은 영상 전체가 왜곡되었기 때문인데, 이러한 성질을 이용하여 이후 소개될 제안된 방법에서는 영상 전체에 대한 왜곡을 고려하여 새롭게 포함된 살색 영역과 원래 정의된 살색 영역을 다른 그룹으로 분리하여 독립적으로 관리한다.
그러면, 도 1을 참조하여, 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 대하여 설명해 보기로 한다. 도 1은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 얼굴 영역을 추출하는 과정을 나타낸 순서도이다.
먼저, YCrCb 칼라 기반의 영상 정보가 입력된다(단계 101). 이후, 도 1에는 도시되지 않았지만, 영상이 입력되면 빠른 처리를 위해 영상의 크기를 축소하는 'resizing' 과정을 수행할 수도 있는데, 이는 하드웨어 적으로 구현될 수도 있으며, 소프트웨어 적으로 구현될 수도 있다.
하나의 'resizing' 과정 예로서, 입력 영상은 QCIF(176*144) 크기의 YCrCb 4:2:0 형식이며 'resizing' 과정을 거치면 88*72 크기의 YCrCb 4:4:4 형식이 되도록 구현할 수 있다. 여기서 4:2:0 형식이란 H.26 계열에서 사용하는 영상 표준으로서 Y 값을 먼저 top-left 순서로 이미지 크기만큼 표현한 후, Cb 값을 top-left 순서로 이미지 크기의 가로 세로 각각 1/2 크기만큼 표현하고, 다음 Cr 값을 top-left 순서로 역시 이미지 크기의 가로 세로 각각 1/2 크기만큼 표현하는 것을 말한다. 즉, 176*144 해상도를 갖는 한 프레임을 표현하기 위해서는 176*144*1.5 bytes가 필요하다. 4:4:4 형식이란 Y, Cr, Cb 모두 이미지 크기만큼 표현되는 것을 의미하며, 본 발명에서 'resizing'된 후 한 프레임은 88*72*3 bytes 만큼이 필요하게 된다. 이러한, 'resizing' 단계가 끝나면 각각의 픽셀 값이 살색 영역인지 여부를 판단하여 살색 영역을 추출하는 살색 영역 추출 단계를 거친다(단계 102).
상기 단계 102의 살색 영역 추출 단계는, 살색 조건을 만족하는 지를 판단하는 살색 조건 판단 과정(단계 102a)과 살색 조건을 만족하는 픽셀들을 다시 유사 칼라 그룹으로 세분화하는 칼라 그룹화 과정(단계 102b)으로 구성되어 있다. 상기 단계 102인, 살색 영역 추출 단계의 출력으로는 가장 얼굴일 확률이 높은 살색 그룹에 해당하는 살색 영역이 후보 영역으로 추출되며, 이는 후처리에 의해 잡음 등은 제거되고 얼굴 후보 영역만이 남게 된다(단계 103). 이후, 후보 영역에서 얼굴임을 확인하여 얼굴 영역을 최종적으로 추출하는 얼굴 확인과정을 수행한다(단계 104). 그리고, 얼굴 추출의 성공 여부를 판단하여(단계 105), 얼굴 추출이 성공하면 다음 단계에서 현재 추출된 얼굴 영역 정보를 사용하기 위해 현재 얼굴 영역 정보를 'pre-face region'으로 등록하는 과정을 수행한다(단계 106). 이전 프레임에서 추출된 얼굴 영역 정보를 사용하는 방법은 이후에 자세히 설명하기로 한다.
그러면, 상기 단계 102a인 살색 조건 판단 단계에 대하여 상세히 살펴 보기로 한다. 먼저, 살색 조건 판단 단계를 수행하기 위해서는 'Training Set'을 수집하도록 한다. 여기서, 'Training Set'은 다양한 카메라를 이용하여 다양한 조명 하에 실제 화상 통신 영상을 수집하여 이루어진다. 수집된 화상 통신 영상 중 살색 영역에 해당하는 영역을 별도로 수집하여 최종적인 'Training Set'을 구성한다.
그리고, 구성된 'Training Set'을 사용하여 YCrCb 색공간 상에서 살색 영역이 어떻게 분포되어 있는지를 분석한다. 이때, 분석을 수행함에 있어, 상기에서 기술하였듯이 영상 전체에 대한 왜곡이 일어난 경우를 별도로 분석하여 결과를 도출하도록 한다. 이러한 과정을 통하여 분석된 결과가 도면 2 내지 5에 나타나 있다. 도 2 내지 도 5는 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 살색 조건을 판단하기 위한 살색 범위의 분포를 나타낸 도면이다.
도 2는 'Y' 축에 대한 살색 분포를 나타낸다. 도 2에서 알 수 있듯이 'Y' 축 전체에 걸쳐 살색이 분포됨을 알 수 있다. 즉 'Y' 축, 밝기 성분을 이용해서는 살색 영역을 비 살색 영역과 구분하기 어렵다는 것을 알 수 있다. 또한, 도 3은 'Cb' 축에 대한 살색 분포를 나타내고 있고, 도 4는 'Cr'축에 대한 살색 분포를 나타낸다. 도 3 및 도 4에서 알 수 있듯이, 'Cb'와 'Cr'은 살색과 비살색을 구분하는데 매우 중요한 정보임을 알 수 있다. 도 4는 'Y', 'Cr', 'Cb' 값 별로 조합하여 각 부분 영역별 분포를 나타낸다. 즉 상기 도2, 도3, 도4에서 측정된 살색 영역 범위를 만족하는 색이라도 세 축의 값이 조합을 이루었을 때에는 살색에 포함되지 않을 수 있음을 알 수 있다. 이러한 영역은 주로 회색(Gray) 영역에 해당한다.
그러면, 이와 같은 분석 결과를 이용하여 살색 범위 조건을 정의해 보도록 한다. 살색 범위 조건은 왜곡되지 않는 일반적인 경우에 해당하는 조건과 영상 전체에 대해 왜곡이 발생했을 경우에 해당하는 조건으로 구분되어 정의된다.
먼저 'Y'축에 대해서는 '0'~'255' 범위를 갖는 전체 'Y' 범위 중 '41'~'250' 범위 사이가 살색 영역이 될 수 있는 조건으로 지정한다. 전체 범위 중 약 75%가 살색 조건으로 포함되는 것에서 알 수 있듯이 밝기 성분은 살색을 구분하는데 좋은 특징이 되지 않는다. 이는 상기 기술한 바와 같이, 밝기에 대해서 민감하지 않아야 된다는 내용과 상통한다.
다음, CrCb 색 평면 상에서 정의된 살색 영역 조건은 도 6에 나타낸 바와 같다. 도 6은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, CrCb 색 평면 상에서 살색 영역 조건을 나타낸 도면이다.
도 6에서 표현된 '그룹 1'은 왜곡되지 않은 영상에서 일반적으로 정의된 살색 영역 조건에 해당하며, '그룹 2'는 영상 전체에 대해 왜곡이 일어났을 경우에 대한 살색 영역 조건에 해당한다. 도 6에서 알 수 있듯이, 영상이 왜곡되지 않을 경우 살색 영역은 'Red' 성분이 주로 나타나거나 간혹 'Green' 성분이 'Red' 성분과 함께 나타나기도 한다. 하지만 영상에 대한 왜곡이 발생했을 경우에는 'Blue' 성분이 주로 표현되기도 한다. 여기서, 평면 중앙에 표현된 작은 원은 순도가 적은 영역, 즉 회색 영역으로서 역시 살색 영역에서 제외하도록 한다.
도 6에 표현된 살색 영역을 식으로 표현하면 다음 [수학식 1]과 같이 나타낼 수 있다.
TRUE IF
그룹 1: 40 < y < 250 .AND. 85 < Cb < 131 .AND. 125 < Cr < 164
그룹 2: 40 < y < 250 .AND. 127 < Cb < 149 .AND. 105 < Cr < 134
FALSE IF
|Cb-Cr| < 5 .AND. |(Cb+Cr)/2-128| < 5)
즉, '그룹 1'은 밝기 조건을 만족하면서 'Blue' 성분을 나타내는 'Cb'가 중간 값보다 작은 일부분이고 'Red' 성분을 나타내는 'Cr'이 중간 값보다 큰 일부분 영역으로 구성된다. 이때, 중간 값은 원래 '128'이지만 어느 정도 중첩되도록 'Cb'의 경우 '131'부터, 'Cr'의 경우 '125'부터로 지정한다.
그리고, '그룹 2'는 역시 같은 밝기 조건을 만족하면서 'Cb' 가 중간 값보다 큰 일부분이고, 'Cr'이 중간 값보다 작은 일부분 영역으로 지정하였다. 마찬가지로 살색 영역에 주로 포함되는 'Red' 성분을 나타내는 'Cr'을 중첩되도록 '134'부터 지정하였다. 여기서, 상기 기술된 중첩의 정도는 모두 실험에 의해 결정되었다.
그런데, 상기 기술한 바와 같이 단순한 살색 영역 조건 정의만으로는 너무 많은 영역이 살색 영역으로 추출되기 때문에, 살색 영역으로 추출된 영역을 다시 유사한 색을 지닌 영역으로 세분화 하여 얼굴 영역을 추출하도록 한다. 이 경우 살색 범위 중 유사한 색들끼리 묶어 그룹화하기 위해서 색을 양자화한다.
예컨대, 컴퓨터가 24 비트로 표현하는 색의 종류는 2553 만큼이나 되므로 이를 바로 사용할 경우 그룹화하는데 매우 많은 시간이 걸리게 된다. 따라서, 적당히 이들 색을 그보다 작은 개수(이를 양자화 레벨이라 함)가 되도록 일차적으로 그룹화하는 것을 양자화라고 한다. 일반적으로 양자화 레벨이 작을수록 처리 시간은 효과적이 되지만 양자화 레벨이 너무 작게 되면 높은 성능을 기대하기 어렵게 된다.
본 발명에서는 상기 기술한 YCbCr의 각 특성에 맞게 양자화를 수행 하였다. 먼저, 'Y'의 경우 상기 기술하였듯이 밝기에 덜 민감하게 하기 위하여 'Cb', 'Cr'에 비해 적은 수의 양자화 레벨로 양자화하였다. 도 7에 나타낸 바와 같이, '41'에서 '250'사이의 구간을 3개의 양자화 레벨로 나누었다. 이와 같이 크게 나눔으로써 어느 정도 밝기 차이가 나는 픽셀은 같은 밝기로 취급할 수 있을 뿐 아니라 불필요한 레벨 수를 줄임으로써 보다 빠르게 처리할 수 있게 된다.
도 7의 (a)에서 알 수 있듯이, 'Y'의 경우 비균등 양자화를 행하였다. 즉, '41'에서 '63'까지를 하나의 구간으로, '63'에서 '120'까지를 하나의 구간으로, 그리고 '120'에서 '250'까지를 하나의 구간으로 설정하였다. 이와 같이, 낮은 구간일수록 적은 폭을 갖는데 이는 '120' 이상에서는 조명의 반사에 의해 발생할 수 있는 밝기 차이가 크므로 모두 하나의 레벨로 보겠다는 것이며, '63'과 '120'사이의 구간은 일반적으로 흔하게 나타나는 얼굴색의 밝기 구간이고, '63'에서 '41' 사이의 구간은 얼굴의 그림자 부분에서 나타날 수 있는 구간을 의미한다.
이와 같은 비균등 양자화는 성능을 높이기 위한 최적화에는 유리하지만 양자화 레벨 수가 큰 경우에는 처리 시간이 길어 비효율적일 수 있다. 본 경우에는 양자화 레벨 수가 3이므로 크지 않고, 이에 비해 성능에 대한 효과는 크므로 'Y'에 대해서만 비균등 양자화를 수행하고 'Cb', 'Cr'에 대해서는 균등 양자화를 수행하도록 하였다.
그러면, '그룹 1'의 'Cb', 'Cr'의 양자화에 대하여 살펴 보도록 한다.
상기 기술하였듯이 영상의 왜곡에 대처하기 위해 원래의 살색 범위 조건 이외에, 왜곡에 의해 발생될 수 있는 색 범위 조건을 살색 범위에 추가하였다. 이중 원래의 살색 범위 조건에 해당하는 '그룹 1'의 양자화 방법은 도 7의 (b) 및 (c)에 나타낸 바와 같다.
도 7에서 알 수 있듯이, '그룹 1'에서는 'Cb'의 경우 '85'~'131'사이의 값을 폭 '10'을 기준으로 균등 분할 하였고, 'Cr'은 '125'~'164' 사이의 값을 폭 '10'을 기준으로 균등 분할 하였다. 'Cb', 'Cr'의 경우 'Y' 보다 매우 자세한 레벨로 양자화한 것을 알 수 있는데, 이는 'Y' 보다 'Cb', 'Cr' 성분에 보다 민감하게 하기 위해서 이다.
다음에는 도 8을 참조하여, '그룹 2'에 대한 'Cb' 및 'Cr'의 양자화에 대하여 살펴 보도록 한다. 이때, '그룹 2'에 대한 'Y'의 양자화는 도 7 (a)에서 설명된 바와 동일하게 처리하였다.
그리고, 'Cb' 및 'Cr'에 대한 양자화에 대해서 '그룹 2'의 경우에는 도 8의 (a) 및 (b)와 같이 양자화를 수행하였다. 도 8에 나타낸 바와 같이, 'Cb'의 경우 '127'~'149' 사이의 값을 폭 '11' 만큼 균등 분할하고, 'Cr'의 경우 '105'~'134' 사이의 값을 폭 '15' 만큼 균등 분할 하였다. 여기서, '그룹 1'이 '그룹 2' 보다 약간 자세한 레벨로 양자화 되었는데, 이는 '그룹 1'의 경우가 대부분의 경우 살색 영역에 해당하므로, 상대적으로 경우가 적은 '그룹 2'는 보다 적은 수의 레벨로 양자화한 것이다.
도 9는 상기 기술한 방법으로, 'Cb', 'Cr' 평면 상에서 균등 양자화를 했을 경우를 2 차원으로 보여주고 있다. 도 9에서 '그룹 1'이 '그룹 2' 보다 다소 세밀하게 양자화된 것은 '그룹 1'이 대부분의 왜곡되지 않은 영상에서 주로 나타나는 살색 영역이기 때문이다.
한편, 상기 기술하였듯이, 지정된 살색 범위 조건을 만족하는 영역을 추출할 경우 얼굴 이외의 광범위한 영역이 포함되는 것이 일반적이다. 따라서 유사한 색을 지닌 영역별로 영역을 분리하여 얼굴 영역만을 추출하는 과정이 필요하다. 이때 유사한 색끼리 그룹화하는 과정을 칼라 그룹화라 하고 같은 칼라 그룹을 지닌 영역만을 분리하는 것을 영역의 분리라고 한다. 일단 칼라가 그룹화되고 나면, 해당 그룹에 속하는 칼라를 지닌 영역만을 추출함으로써 해당 칼라를 지닌 영역의 분리가 되므로, 여기서는 칼라 그룹화 과정만을 설명하기로 한다.
그러면, 도 10을 참조하여, 본 발명에 따른 칼라 그룹화를 통한 얼굴 영역 추출 과정을 설명해 보기로 한다. 도 10은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 칼라 그룹화를 통한 얼굴 영역 추출 과정을 나타낸 순서도이다.
먼저, 처음에는 아직 얼굴 영역을 추출하지 않은 상태이므로 얼굴 영역이 이전에 성공적으로 추출되었는지를 나타내는 플래그, 'Flag_FaceDetect'를 'FALSE'로 세팅한다. 다음 YCrCb 색공간에서 색을 표현한 입력 프레임을 받으면(단계 1001), 상기 입력 프레임에 대하여 각 픽셀이 상기 기술한 살색 범위 조건을 만족하는 지의 여부를 확인한다(단계 1002).
이때, 상기 단계 1002에서의 살색 범위 조건을 만족하는 픽셀에 대해서 두 개의 히스토그램을 구성하게 되는데 하나는 프레임 전체를 대상으로 하는 'hist'와 다른 하나는 일부 영역만을 대상으로 히스토그램을 구성하는 'Center_hist'이다(단계 1003 내지 1006). 여기서, 단계 1003에서의 판단 결과, 'Center_Hist'는 만일 이전에 성공적으로 얼굴 영역을 추출했을 경우, 즉 'Flag_FaceDetect'이 'TRUE'이면 이전 얼굴 영역을 대상으로 구성되고(단계 1005), 그렇지 않은 경우에는 프레임 중앙을 중심으로 하는 일정 영역을 대상으로 구성된다(단계 1004).
다음, 상기 단계 1003 내지 1006에서 구성된 두 개의 히스토그램을 가지고 칼라 그룹화 과정이 수행되는데(단계 1007), 이에 대해서는 뒤에서 보다 자세히 설명하기로 한다.
그리고, 칼라 그룹화 과정이 끝나면, 중요도가 높은 칼라 그룹에 해당하는 영역이 첫 번째 얼굴 후보 영역이 된다(단계 1008). 이후, 얼굴 후보 영역은 탬플리트 매칭이나 눈, 입과 같은 얼굴 특정 정보를 사용하여 후보 영역을 확인하거나 재 설정함으로써 얼굴 영역 추출 과정을 모두 마치게 된다(단계 1009).
한편, 두 개의 히스토그램을 사용한 칼라 그룹화 과정은 다음 도 11에 나타낸 바와 같이 수행된다. 도 11은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 두 개의 히스토그램을 사용한 칼라 그룹화 과정을 나타낸 순서도이다.
먼저, 입력 프레임에서 처음으로 그룹화하는 경우에는 'Center_hist'에서, 두번째 이후에는 'hist'에서 가장 큰 값을 갖는 빈, 'binmax'를 구한다(단계 1101 내지 단계 1103). 만일, 상기 단계에서 구해진 'binmax'의 값(V(binmax ))이 일정 임계치 'th1' 보다 작을 경우에는, 입력된 영상 프레임에 얼굴이 없다고 판단하고 루틴을 끝내며, 그렇지 않을 경우에는 단계 1105 이후의 과정을 수행한다(단계 1104).
먼저, 'binmax'를 포함하여, 'binmax'가 표현하는 칼라와 유사한 칼라에 해당하는 'bin'들을 같은 '그룹 A'에 포함시킨다(단계 1105). 여기서, 유사도 측정은 각 'binmax'와 다른 bin이 표현하는 중심 칼라 간의 거리를 사용하는데, 거리가 특정 임계치 'th2'보다 작을 경우에는 한 그룹으로 포함시킨다. 그리고, 'Bin'이 표현하는 중심 칼라란, 양자화된 색공간의 부분 영역 하나 하나가 각 하나의 'bin'에 해당하게 되는데, 이때 해당 부분 영역의 중심 칼라가 해당 'bin'의 중심 칼라가 된다. 또한, 효과적인 처리를 위하여 각 'bin'별 중심칼라는 테이블로 사전에 정의해 놓는다.
이러한 방법으로 하나의 그룹에 포함된 모든 빈값들을 더하여 그 합한 값이 일정 임계치 'th3'보다 크면 해당 칼라 그룹을 하나의 얼굴 영역 후보 칼라 그룹으로 생각하여, 해당 칼라 그룹에 속한 칼라를 지닌 픽셀만을 표시하여 얼굴 후보 영역으로 지정한다. 다음 현재 얼굴 후보 영역에 해당했던 칼라 그룹에 포함된 모든 빈들을 처리 대상에서 제외한 후 다시 처음 단계를 반복한다(단계 1006 내지 단계 1109).
만일, 상기 단계 1107에서의 판단 결과, 앞서 하나의 그룹에 포함된 모든 빈값들을 더하여 그 합한 값이 일정 임계치 'th3'보다 작을 경우에는 입력된 영상 프레임에 얼굴이 없다고 여기고 루틴을 마친다.
그런데, 일반적으로 상기 기술한 살색 조건인 '그룹 1'에 속한 색과 '그룹 2'에 속한 색은 한 화면의 하나의 얼굴에 동시에 포함되지 않는다. '그룹 1'은 주로 나타나는 살색 영역이며, '그룹 2'는 조명등의 왜곡에 의해 나타날 수 있는 살색 영역이다. 따라서, 시간에 따라 얼굴을 구성하고 있는 색이 '그룹 1'에서 '그룹 2'로 변화될 수는 있으나, 동시에 한 얼굴에 '그룹 1'과 '그룹 2'에 속하는 색들이 모두 포함되는 경우는 거의 발생되지 않는다.
이러한 이유로 인하여, 'binmax'가 '그룹 1'에 속한 경우에는, '그룹 1'에 속한 'bin' 들만을 대상으로 그룹화를 수행하고, 'binmax'가 '그룹 2'에 속한 경우에는, '그룹 2'에 속한 'bin' 들만을 대상으로 그룹화를 수행하게 된다.
또한, 최대 빈('binmax')을 구함에 있어, 상기 최대 빈은 상기 '그룹 2' 보다 상기 '그룹 1'에서 우선적으로 검출되도록 가중치를 설정할 수도 있다. 이때, 상기 최대 빈('binmax')은 상기 '그룹 2' 보다 상기 '그룹 1'에서 우선적으로 검출되도록 하기 위하여, 상기 '그룹 1'에 속한 빈 값과 '그룹 2'에 속한 빈 값을 비교할 때, 상기 '그룹 1'에 속한 빈 값에 1보다 큰 값의 가중치를 곱하거나, 상기 '그룹 2'에 속한 빈 값에 1보다 작은 값의 가중치를 곱하여 비교할 수도 있다.
지금까지, N 개의 칼라 그룹을 구하기 위한 그룹화 과정을 기술하였으나, 일반적으로 처음 추출된 칼라 그룹의 영역에서 실제 얼굴이 검출되는 경우가 대부분이다. 따라서, 본 발명에서는 상기 과정에서 첫 번째 칼라 그룹이 검출되면 해당 칼라 그룹의 영역을 후보 영역으로 검출하고 바로 루틴을 마치도록 설계하여 보다 실용적인 처리를 하도록 구현할 수도 있다.
한편, 상기 칼라 그룹화 과정에서 'binmax' 와 각 'bin'이 표현하는 중심 칼라 간의 거리를 구하는 방법은, 기본적으로 유클리디언 거리(Euclidean Distance)를 사용하되, 각 요소에 가중치를 주어 사용한다.
일반적으로, 두 칼라 간의 유클리디언 거리는 다음 [수학식 2]와 같이 정의될 수 있다.
상기 [수학식 2]에 의하면, 이 경우 밝기 성분을 나타내는 'Y'와 칼라를 표현하는 'Cb', 'Cr'을 모두 같은 중요도로 고려하는 것이 된다. 하지만 앞에서 기술하였듯이, 밝기 성분의 경우 보다 민감하지 않도록 하기 위해 중요도를 낮게 하고 'Cb', 'Cr'의 경우 상대적으로 높은 중요도를 할당할 필요가 있다.
이때, 'Cb', 'Cr'의 경우 살색에 'Red' 성분이 많이 포함되어 있기 때문에 'Cr'이 상대적으로 살색을 결정하는데 중요하게 사용된다. 따라서 'Cb' 보다는 'Cr'이 상대적으로 높은 가중치를 갖도록 한다. 이러한 이유로 각 성분을 이용한 거리에 가중치를 적용하되, 가중치는 "Y-거리에 대한 가중치 a << Cb-거리에 대한 가중치 b < Cr-거리에 대한 가중치 c"와 같이 결정될 수 있다. 이때, 상기 가중치 a:b:c는 실험에 의해 각각 1:16:25로 지정하였다.
그리고, 상기에서 설명된 바와 같이, 상기 'Y'의 경우에는 3 가지 경우로 양자화를 하였는데, 제일 어두운 구간인 '41'~'63' 구간은 화면 전체가 어두울 때 살색으로 나타나지만 일반적으로는 머리 영역에도 나타난다. 따라서, 화면 전체가 어두울 경우를 제외하면 'binmax'의 중심 칼라가 밝을 경우에는, 'Y'가 '41'~'63' 구간은 얼굴 영역이 아닐 확률이 높다. 하지만 앞서 기술했듯이 밝기에 대해 일반적으로 민감도가 낮아야 되므로 가중치를 낮게 설정했기 때문에, '41'~'63' 구간의 밝기는 상대적으로 매우 어둡더라도 'binmax' 의 중심 칼라와 같은 칼라 그룹으로 포함될 수 있다. 이러한 현상을 막기 위하여 Y-거리에 대한 가중치 a 는 두 빈의 중심 칼라 중 하나의 밝기가 '41'~'63'일 경우에 한하여 보다 높은 가중치를 적용한다. 본 발명의 실시 예에서는 실험에 의해 '3'으로 설정하였다. 이와 같이 설정된 최종적인 두 빈간의 거리 계산 식은 다음 [수학식 3]과 같이 설정할 수 있다.
여기서, a = 3 if Y<63
1 others
b=16
c=25
한편, 이와 같은 살색 영역 추출 과정을 통하여 검출된 얼굴 후보 영역은 픽셀단위로 추출된 영역인 만큼 잡음이 많이 포함되어 있다. 이를 제거하기 위해 다음과 같은 후처리를 수행할 수 있다.
'Opening'이라는 모폴로지 기법을 사용하면 'Opening'에 사용되는 엘리먼트 크기보다 작은 잡음은 제거된다. 이를 이용하여 잔 잡음 등을 제거할 수 있다. 또한, 연결 성분(connected component)을 조사하여 연결 성분의 크기와 밀도가 일정 임계치 이하인 연결 성분은 모두 버림으로써 잡음을 제거할 수 있다. 본 발명에서는 연결 성분을 픽셀 단위로 계산하는 대신, 'N*N' 크기의 블록으로 블록화한 후 블록 단위의 연결 성분을 조사하여 적용하였다. 이러한 방법은 모폴로지에 비해 짧은 시간으로 큰 크기의 잡음을 제거할 수 있게 된다.
그리고, 검출된 얼굴 후보 영역은 실제 얼굴 영역 뿐 아니라 다른 잡음에 의해 검출된 배경도 포함될 수 있다. 이를 가려내기 위해 후보 영역을 기준으로 얼굴 확인 단계를 수행하게 되는데 얼굴 확인 방법은 여러 가지 방법이 사용될 수 있다. 예를 들어, 상기 배경에서 기술한 탬플리트 기반의 방법이나 비칼라 특징 기반의 접근 방법이 모두 사용될 수 있는데, 본 발명에서는 얼굴의 'shape' 정보인 타원 매칭을 사용하여 빠르고 정확하게 얼굴 영역을 확인한 후, 최종 얼굴 영역을 추출하는 방법을 사용하였다. 즉, 살색 영역이 타원모양에 가까운 것을 찾아내어 매칭된 타원이 얼굴 영역으로 간주하는 방법을 사용함으로써, 최종적인 얼굴 영역을 빠르고 정확하게 추출할 수 있게 된다.
이상의 설명에서와 같이 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하면, YCrCb 색공간을 사용하는 동영상 표준인 MPEG 1, 2, 4 또는 H.26 계열로 인코딩된 데이터를 처리하는 보안 시스템, 화상 통신 또는 비디오 인덱싱 기반의 응용 시스템 등에서, 얼굴 영역을 검출하는데 있어 매우 효과적으로 적용될 수 있는 장점이 있다.
또한, 본 발명에 따른 YCbCr 칼라 기반 얼굴 영역 추출 방법에 의하면, 색공간 상에서의 살색 범위를, 주로 일반적인 조건에서 얼굴 색상이 표현되는 영역과, 조명등의 왜곡에 의한 얼굴 색상이 표현되는 영역으로 나눈 뒤 처리하므로, 조명등에 덜 민감할 뿐 아니라, 보다 다양한 왜곡에 강한 얼굴 영역 추출 방법을 제공할 수 있는 장점이 있다.
또한, 본 발명에 따른 YCbCr 칼라 기반 얼굴 영역 추출 방법에 의하면, 작은 메모리와 적은 프로세스를 사용하여 처리할 수 있으므로, 하드웨어적 제한이 많은 이동통신 단말기 등에서도 실시간으로 적용될 수 있는 장점이 있다.
도 1은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 얼굴 영역을 추출하는 과정을 나타낸 순서도.
도 2 내지 도 5는 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 살색 조건을 판단하기 위한 살색 범위의 분포를 나타낸 도면.
도 6은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, CrCb 색 평면 상에서 살색 영역 조건을 나타낸 도면.
도 7 내지 도 9는 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, YCrCb 칼라 기반의 양자화 과정을 설명하기 위한 도면.
도 10은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 칼라 그룹화를 통한 얼굴 영역 추출 과정을 나타낸 순서도.
도 11은 본 발명에 따른 YCrCb 칼라 기반 얼굴 영역 추출 방법에 의하여, 두 개의 히스토그램을 사용한 칼라 그룹화 과정을 나타낸 순서도.

Claims (16)

  1. YCrCb 색공간에서 살색 영역을 표현하기 위해, CrCb 평면 상에서 중심 칼라가 Cr이 Cb보다 큰 하나의 조건 영역과, 중심 칼라가 Cr이 Cb보다 작은 또 다른 조건 영역을 설정하고, 설정된 두 개의 조건 영역을 이용하여 입력된 영상에 대한 살색 영역을 검출하는 단계;
    상기 설정된 두 개의 조건 영역에 의하여 검출된 살색 영역에 대하여, 다시 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계;
    를 포함하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  2. 제 1항에 있어서,
    상기 두 개의 조건 영역 중에서, 한 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 크고, Cb가 중심(128)보다 작으며, 다른 조건 영역의 중심 칼라는 Cr이 색공간의 중심(128)보다 작고, Cb가 색공간의 중심(128)보다 큰 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  3. 제 1항에 있어서,
    상기 두 개의 조건 영역은 부분적으로 서로 겹치며, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 하나의 조건 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 다른 조건 영역으로 이루어지는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  4. 제 1항에 있어서,
    상기 두 개의 조건 영역에 해당하는 칼라 중에서, CrCb 평면 상에서의 중심 영역은 살색 조건에서 제외시키며, 상기 제외시키는 중심 영역은 다음 식 (｜Cb-Cr｜< 5 .AND.｜(Cb+Cr)/2 -128｜< 5)을 만족시키는 영역으로 설정되는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  5. 제 1항에 있어서,
    상기 두 개의 조건 영역을 설정함에 있어, Y 값의 특정 범위는 40보다 크고 250보다 작은 경우로 지정되는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  6. 삭제
  7. 제 1항에 있어서, 상기 유사 색 그룹으로 그룹화 하여 얼굴 후보 영역을 지정하는 단계는,
    살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와;
    이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와;
    상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계와;
    상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 및
    상기 그룹화된 빈들에 해당하는 칼라 범위를 만족하는 픽셀들만 얼굴 후보 영역으로 지정하는 단계; 를 구비하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  8. 제 7항에 있어서,
    상기 최대 빈에 대하여 하나의 칼라 그룹으로 그룹화 한 이후에, 한번 그룹화에 참여한 빈들을 제외시키고, 다시 나머지 빈들 중에서 최대 빈을 찾아 복수 개의 그룹으로 칼라 그룹화를 반복적으로 수행하는 단계를 더 구비하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  9. 제 7항에 있어서,
    상기 이미지 부분 영역을 대상으로 하는 중앙 히스토그램 추출은, 이전 프레임에서 얼굴 검출이 성공하였으면 이전 얼굴 영역을 대상으로 추출하고, 그렇지 않으면 이미지 중앙의 부분 영역을 대상으로 추출하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  10. 제 7항에 있어서,
    상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값보다 Cr 값과 Cb 값을 보다 세밀하게 양자화 하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  11. 제 7항에 있어서,
    상기 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계에 있어, Y 값은 비균등 양자화를 수행하고, Cr 값과 Cb 값은 균등 양자화를 수행하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  12. 제 7항에 있어서,
    상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에 있어, 상기 제 1항에서 기술한 CrCb 평면 상에서의 두 개의 조건 영역 중에서, 상기 최대 빈이 속한 조건 영역의 빈들과 다른 조건 영역에 속한 빈들과는 서로 그룹화를 수행하지 않고, 상기 최대 빈과 동일 조건 영역에 속한 빈들에 대해서만 그룹화를 수행하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  13. 제 7항에 있어서, 상기 최대 빈을 검출하는 단계에 있어,
    상기 제 1항에 기술한 CrCb 평면 상에서의 두 개의 부분 영역이 각각, Cr이 125보다 크고 164보다 작고, Cb가 85보다 크고 131보다 작은 경우를 만족하는 제 1 영역과, Cr이 105보다 크고 134보다 작고, Cb가 127보다 크고 149보다 작은 경우를 만족하는 제 2 영역으로 구성되고, 상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  14. 제 13항에 있어서,
    상기 최대 빈은 상기 제 2 영역 보다 상기 제 1 영역에서 우선적으로 검출되도록 하기 위하여, 상기 제 1 영역에 속한 빈 값과 제 2 영역에 속한 빈 값을 비교할 때, 상기 제 1 영역에 속한 빈 값에 1보다 큰 값의 가중치를 곱하거나, 상기 제 2 영역에 속한 빈 값에 1보다 작은 값의 가중치를 곱하여 비교하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  15. 제 7항에 있어서,
    상기 최대 빈과 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계에서, 유사한 칼라를 갖는 빈들은 각 빈이 의미하는 중심 칼라 간의 거리를 계산하여 구해지며, 중심 칼라 간의 거리는 Y 값 간의 거리, Cr 값 간의 거리, Cb 값 간 거리의 조합으로 구성하되, Cb 값 간의 거리에 가장 큰 가중치를 적용하고 Cr 값 간의 거리에 그 다음으로 큰 가중치를 적용하고, Y 값 간의 거리에 가장 작은 가중치를 적용하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
  16. 제 15항에 있어서,
    상기 Y 값 간의 거리에 적용하는 가중치는, Y 값이 특정 임계치 이하일 때에는 원래의 Y 값 간의 가중치보다 큰 가중치를 적용하는 것을 특징으로 하는 YCrCb 칼라 기반 얼굴 영역 추출 방법.
KR10-2002-0029532A 2002-05-28 2002-05-28 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법 KR100488014B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0029532A KR100488014B1 (ko) 2002-05-28 2002-05-28 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0029532A KR100488014B1 (ko) 2002-05-28 2002-05-28 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법

Publications (2)

Publication Number Publication Date
KR20030091471A KR20030091471A (ko) 2003-12-03
KR100488014B1 true KR100488014B1 (ko) 2005-05-06

Family

ID=32384655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0029532A KR100488014B1 (ko) 2002-05-28 2002-05-28 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법

Country Status (1)

Country Link
KR (1) KR100488014B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445613B1 (ko) 2008-07-23 2014-09-29 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR101470763B1 (ko) * 2013-12-26 2014-12-08 성균관대학교산학협력단 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치
KR101481370B1 (ko) * 2014-07-08 2015-01-14 성균관대학교산학협력단 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695159B1 (ko) * 2005-08-04 2007-03-14 삼성전자주식회사 피부색 모델을 위한 알지비 맵 생성장치 및 방법과 이를이용한 피부색 검출장치 및 방법
KR100927642B1 (ko) * 2009-05-14 2009-11-20 한국 한의학 연구원 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법
KR101143555B1 (ko) * 2010-06-28 2012-05-09 한국과학기술원 얼굴 색상 필터링 및 모폴로지 연산을 이용한 얼굴 검출 시스템 및 방법
KR101875891B1 (ko) * 2011-12-08 2018-07-09 에스케이텔레콤 주식회사 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
CN112801715B (zh) * 2021-02-20 2023-12-12 北京九泉科技有限公司 一种净水器智能控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339471A (ja) * 1999-05-31 2000-12-08 Matsushita Electric Ind Co Ltd 画像抽出方法およびその装置
KR20020031630A (ko) * 2000-10-20 2002-05-03 구자홍 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법
KR20030029187A (ko) * 2001-10-05 2003-04-14 엘지전자 주식회사 영상 의존적인 얼굴 영역 추출방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339471A (ja) * 1999-05-31 2000-12-08 Matsushita Electric Ind Co Ltd 画像抽出方法およびその装置
KR20020031630A (ko) * 2000-10-20 2002-05-03 구자홍 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법
KR20030029187A (ko) * 2001-10-05 2003-04-14 엘지전자 주식회사 영상 의존적인 얼굴 영역 추출방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445613B1 (ko) 2008-07-23 2014-09-29 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR101470763B1 (ko) * 2013-12-26 2014-12-08 성균관대학교산학협력단 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치
KR101481370B1 (ko) * 2014-07-08 2015-01-14 성균관대학교산학협력단 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치

Also Published As

Publication number Publication date
KR20030091471A (ko) 2003-12-03

Similar Documents

Publication Publication Date Title
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
US9268993B2 (en) Real-time face detection using combinations of local and global features
US8660323B2 (en) Image Preprocessing
JP3769487B2 (ja) 画像肌色検出における金髪画素除去方法
Ajmal et al. A comparison of RGB and HSV colour spaces for visual attention models
US7068840B2 (en) Determination of an illuminant of digital color image by segmentation and filtering
EP1271403A1 (en) Method and device for character location in images from digital camera
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
CN107292307B (zh) 一种倒置汉字验证码自动识别方法及系统
CN108563979B (zh) 一种基于航拍农田图像判别水稻稻瘟病病情的方法
EP2259207A1 (en) Method of detection and recognition of logos in a video data stream
US8244004B2 (en) Image preprocessing
Lee et al. Color image enhancement using histogram equalization method without changing hue and saturation
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
KR100488014B1 (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
Yusuf et al. Human face detection using skin color segmentation and watershed algorithm
Torres et al. Automatic detection of specular reflectance in colour images using the MS diagram
CN109657544B (zh) 一种人脸检测方法和装置
CN108875572B (zh) 基于背景抑制的行人重识别方法
CN114926661B (zh) 一种纺织品表面颜色数据处理、识别方法及系统
KR102377056B1 (ko) 이미지 위조 탐지 장치 및 방법
CN111402189B (zh) 一种视频图像偏色检测装置及方法
CN108133204B (zh) 一种手体识别方法、装置、设备及计算机可读存储介质
CN111415372A (zh) 一种基于hsi颜色空间和上下文信息的运动目标归并方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090331

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee