KR100451652B1 - 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법 - Google Patents

적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법 Download PDF

Info

Publication number
KR100451652B1
KR100451652B1 KR10-2002-0029533A KR20020029533A KR100451652B1 KR 100451652 B1 KR100451652 B1 KR 100451652B1 KR 20020029533 A KR20020029533 A KR 20020029533A KR 100451652 B1 KR100451652 B1 KR 100451652B1
Authority
KR
South Korea
Prior art keywords
color
face
group
group size
face region
Prior art date
Application number
KR10-2002-0029533A
Other languages
English (en)
Other versions
KR20030091472A (ko
Inventor
이진수
이지은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0029533A priority Critical patent/KR100451652B1/ko
Publication of KR20030091472A publication Critical patent/KR20030091472A/ko
Application granted granted Critical
Publication of KR100451652B1 publication Critical patent/KR100451652B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법은, 영상이 입력되는 단계와; 입력된 영상에서 살색 조건을 만족하는 픽셀을 조사하는 단계와; 살색 조건을 만족하는 픽셀들을 대상으로 색 공간상에서 칼라 그룹 크기만큼의 범위를 갖는 유사한 칼라끼리 그룹화하는 단계와; 한 그룹 칼라에 속한 픽셀들로 얼굴 후보 영역을 지정하는 단계와; 지정된 얼굴 후보 영역에서 비칼라 특징을 이용하여 얼굴 영역을 확인 또는 조정하는 단계; 및 칼라 그룹 크기를 조정하고, 추출된 얼굴 영역 정보를 저장하는 단계; 를 포함한다.
여기서 본 발명은, 상기 비칼라 특징을 이용하여 얼굴 영역을 확인하는 단계는, 타원 모양 매칭을 통하여 수행되며, 한 그룹 칼라에 속한 픽셀들로 구성된 얼굴 후보 영역을 대상으로 타원 내에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 높고, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 낮을 수록, 추출된 영역이 얼굴일 확률이 높은 것으로 판단한다.
또한 본 발명은, 상기 칼라 그룹 크기를 조정하는 단계에 있어, 타원 모양 매칭을 통하여, 타원 내에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 낮으며, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율도 낮은 경우에는, 상기 칼라 그룹 크기를 증가시킨다.

Description

적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법{Human face location detection method using adaptive color clustering}
본 발명은 얼굴 영역 추출에 관한 것으로서, 주변 환경이 지속적으로 변화되는 이동 통신 단말기를 이용한 통신 환경에 적용될 수 있는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 관한 것이다.
오늘날, 정지영상이나 동영상에서의 얼굴 영역 추출은 다양한 목적을 위해 유용하게 응용될 수 있다. 예를 들어, 자동으로 얼굴을 인식하기 위한 시스템에서, 얼굴을 인식하기 이전에 얼굴 영역만을 자동으로 추출하기 위하여 사용되기도 하고, 또는 보안 시스템에서 얼굴 영역만을 취득하기 위해 사용하기도 한다. 이외에도 다양한 목적으로 얼굴 영역 추출 알고리즘을 사용할 수 있는데, 최근에는 이동 통신 환경이 발달하면서 고화질에 낮은 데이터 양으로 통신하기 위한 방법에도 응용된다. 즉, 화상 통신에서 얼굴 영역은 다른 영역에 비해 중요한 영역으로서 얼굴 영역은 상대적으로 높은 화질을 나타내도록 코딩하고, 다른 영역은 낮은 화질을 나타내도록 코딩함으로써 같은 데이터 양을 유지하면서도 얼굴 영역을 보다 높은 화질로 전송할 수 있다.
이와 같이, 얼굴 영역 추출은 매우 중요한 알고리즘으로서, 오래 전부터 매우 많은 연구가 이루어져 왔다. 얼굴 영역의 추출은 크게 탬플리트 기반의 접근 방법과 비칼라 특징(feature) 기반의 접근 방법, 그리고 칼라 특징 기반의 접근 방법을 사용하여 이루어진다.
탬플리트 기반의 접근 방법의 경우에는 얼굴 이미지의 특성을 하나의 탬플리트로 구성하여, 이를 입력 영상과 부분적으로 매칭함으로써 얼굴 영역을 추출하게 되는데, 'shape' 정보를 사용한 탬플리트나 얼굴에 나타난 텍스쳐의 특징을 나타내는 텍스쳐 탬플리트를 사용하기도 한다. 이와 같은 탬플리트 매칭 기반의 접근 방식은 칼라를 사용하지 않고 회색(Gray) 이미지를 사용하는 경우가 일반적이므로, 조명 등에 의존적이지 않은 장점이 있으나, 탬플리트 매칭 회수가 많아 처리 시간이 많이 요구된다는 단점이 있다. 이는 입력 영상에서 어떠한 크기로, 어떠한 위치에 얼굴이 나타날 지 모르므로 탬플리트를 다양한 크기로 조절하면서 모든 위치에 매칭시켜야 하기 때문이다.
상기 기술된 방법들을 다른 관점에서 분류할 경우 칼라 기반 접근 방법과 비 칼라 기반 접근 방법으로 나누어 생각할 수도 있다. 상기 기술한 특징 기반 방법 중 살색 조건을 사용하는 방법이 칼라 기반 접근 방법이라고 할 수 있고, 기타 방법들이 비 칼라 기반 접근 방법이라고 할 수 있다. 이렇게 분류할 수 있는 것은 칼라 기반 접근 방법이 그만큼 지금까지의 연구 결과에서 많은 부분을 차지하기 때문이다.
상기 기술된 접근 방법들은 최근에는 단독으로 사용되기 보다는 복합적으로 조합되어 사용되기도 한다. 즉 각 접근 방법들의 장점을 보완하여 사용되는데, 예를 들어, 초기 살색 조건으로 후보 영역을 추출한 후, 그 안에서 눈과 입을 추출하여 최종적인 얼굴 영역을 추출하는 방안이 소개된 바 있다.
이와 같이, 칼라 기반 접근 방법과 비 칼라 기반 접근 방법을 조합하여 사용하는 연구 대부분은 복수 개의 접근 방법의 결과를 조합하여 최종 결과를 유도하는 방법을 따르고 있다. 하지만 이러한 방법은 두 방법의 장점을 보완하는 점도 있으나, 어느 한 방법의 잘못된 판단이 전체 판단에 영향을 주어 오류를 일으킬 수도있는 단점이 있다.
따라서, 보다 높은 처리를 위해서는 각 접근 방법의 결과가 서로 다른 접근 방법에 순기능적으로 영향을 줄 필요가 있다. 예를 들어, 칼라 접근 방법에서 사용되는 파라메터 값들은 비 칼라 접근 방법을 통해 얻은 결과를 분석하여 가변적으로 사용할 수도 있고, 또 반대로 비 칼라 접근 방법에서 사용되는 파라메터 값들이 칼라 접근 방법을 통해 얻은 결과를 바탕으로 결정될 수도 있어야 한다.
본 발명은, 칼라 기반 접근 방법과, 비 칼라 기반 접근 방법을 조합하여 얼굴 영역 추출 알고리즘을 구성하고, 두 접근 방법의 결과가 서로 다른 접근 방법에 순기능적인 영향을 제공함으로써 최적의 얼굴 영역 추출 결과를 얻을 수 있는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법을 제공함에 그 목적이 있다.
도 1은 일반적인 YCrCb 색공간에서의 CrCb 색 좌표에 대한 살색 표시 영역을 나타낸 도면.
도 2는 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 얼굴 영역이 추출되는 과정을 나타낸 순서도.
도 3 및 도 4는 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 칼라 그룹 크기를 증가시키는 경우를 설명하기 위한 도면.
도 5 및 도 6은 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 칼라 그룹 크기를 감소시키는 경우를 설명하기 위한 도면.
도 7 및 도 8은 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 칼라 그룹화가 수행되는 과정을 나타낸 순서도.
도 9는 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 얼굴 영역이 추출되는 다른 실시 예의 과정을 나타낸 순서도.
상기의 목적을 달성하기 위하여 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법은,
영상이 입력되는 단계와;
입력된 영상에서 살색 조건을 만족하는 픽셀을 조사하는 단계와;
살색 조건을 만족하는 픽셀들을 대상으로 색 공간상에서 칼라 그룹 크기만큼의 범위를 갖는 유사한 칼라끼리 그룹화하는 단계와;
한 그룹 칼라에 속한 픽셀들로 얼굴 후보 영역을 지정하는 단계와;
지정된 얼굴 후보 영역에서 비칼라 특징을 이용하여 얼굴 영역을 확인 또는조정하는 단계; 및
칼라 그룹 크기를 조정하고, 추출된 얼굴 영역 정보를 저장하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서 본 발명은, 상기 비칼라 특징을 이용하여 얼굴 영역을 확인하는 단계는, 타원 모양 매칭을 통하여 수행되며, 한 그룹 칼라에 속한 픽셀들로 구성된 얼굴 후보 영역을 대상으로 타원 내에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 높고, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 낮을 수록, 추출된 영역이 얼굴일 확률이 높은 것으로 판단하는 점에 그 특징이 있다.
또한 본 발명은, 상기 칼라 그룹 크기를 조정하는 단계에 있어, 타원 모양 매칭을 통하여, 타원 내에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 낮으며, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율도 낮은 경우에는, 상기 칼라 그룹 크기를 증가시키는 점에 그 특징이 있다.
또한 본 발명은, 상기 칼라 그룹 크기를 조정하는 단계에 있어, 타원 모양 매칭을 통하여, 타원 내에 해당 그룹 칼라에 속한 픽셀에 차지하는 비율이 높으며, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율도 높은 경우에는, 상기 칼라 그룹 크기를 감소시키는 점에 그 특징이 있다.
또한 본 발명은, 상기 칼라 그룹 크기를 조정하는 단계에 있어, 현재의 칼라 그룹 크기가 일정 범위 이내인 경우에만 상기 칼라 그룹 크기를 증가 또는 감소시키며, 그 칼라 그룹 크기의 일정 범위는 90에서 130 사이로 설정되는 점에 그 특징이 있다.
또한 본 발명은, 상기 칼라 그룹 크기를 조정하는 단계에 있어, 상기 칼라 그룹 크기는 일정 범위로 증가 또는 감소시키며, 그 조정되는 변동 범위는 5씩 처리되는 점에 그 특징이 있다.
또한 본 발명에서, 상기 칼라 그룹 크기만큼의 범위를 갖는 유사한 칼라끼리 그룹화하는 단계는, 살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와; 이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와; 상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계; 및 상기 최대 빈이 갖는 칼라와, 칼라 그룹 크기보다 가까운 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 를 구비하는 점에 그 특징이 있다.
또한 본 발명은, 상기 칼라 그룹으로 그룹화하는 단계 이후에, 한번 그룹화에 참여한 빈들을 제외시킨 후 다시 나머지 빈들 중에서 최대 빈을 찾고, 상기 최대 빈이 갖는 칼라와, 칼라 그룹 크기보다 가까운 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화 하는 과정을 반복적으로 수행하여, 복수 개의 그룹으로 칼라를 그룹화하는 단계를 더 구비하는 점에 그 특징이 있다.
또한 본 발명은, 상기 이미지 부분영역을 대상으로 하는 중앙 히스토그램을 추출하는 단계에 있어, 이전 프레임에서 얼굴 검출이 성공되었으면 이전 얼굴 영역을 대상으로 히스토그램을 추출하고, 그렇지 않은 경우에는 이미지 중앙의 부분영역에서 히스토그램을 추출하는 점에 그 특징이 있다.
또한 본 발명은, 상기 지정된 얼굴 후보 영역에서 비칼라 특징을 이용하여 얼굴 영역을 확인하는 단계에 있어, 눈, 입의 특징 정보를 이용한 얼굴 영역 확인 과정을 수행하며, 눈, 입의 특징 정보로는 눈, 입의 패턴을 이용하는 점에 그 특징이 있다.
또한 본 발명은, 상기 칼라 그룹 크기를 조정하고, 추출된 얼굴 영역 정보를 저장하는 단계에 있어, 얼굴 영역 추출의 성공 여부에 대한 판단을 수행하고, 얼굴 영역 추출에 성공한 경우에는 다음 프레임에 대하여 얼굴 영역 추출 처리를 수행하고, 얼굴 영역 추출에 실패한 경우에는 조정된 칼라 그룹 크기를 적용하여, 상기 칼라 그룹화 단계부터 다시 수행하여 얼굴 영역 추출을 시도하는 단계를 더 구비하는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, 칼라 기반 접근 방법과, 비 칼라 기반 접근 방법을 조합하여 얼굴 영역 추출 알고리즘을 구성하고, 두 접근 방법의 결과가 서로 다른 접근 방법에 순기능적인 영향을 제공함으로써 최적의 얼굴 영역 추출 결과를 얻을 수 있는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
먼저, 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 대하여 설명하기 이전에, 얼굴 내 색 분포 상의 문제점 및 그 해결 방안에 대하여 간략하게 설명하기로 한다.
일반적으로 칼라 기반으로 얼굴 영역과 비 얼굴 영역을 잘 구분하려면 얼굴 영역을 구성하는 색의 구성 분포가 색 공간 상에서 다른 비 얼굴 영역과 잘 구분되도록 분포되어야 한다. 하지만 일반적으로 얼굴 영역을 구성하는 살색의 조건은 도 1에 나타낸 바와 같이 매우 광범위하며, 살색 조건을 만족하는 얼굴이 아닌 배경영역도 자주 영상에 등장하게 된다. 이러한 이유로 단순한 살색 조건만으로는 대부분의 영상에서 얼굴 영역을 제대로 구분하기 어렵다.
따라서, 살색 조건을 만족하는 픽셀들에 대해서 유사한 칼라를 갖는 픽셀들끼리 그룹화(혹은 클러스터링)를 수행함으로써 얼굴 영역만을 분리하는 방법이 연구되고 있다. 이와 같은 방법을 사용함으로써 비록 한 프레임에 살색 조건을 만족하는 픽셀들은 얼굴 영역 뿐 아니라 배경에서도 많이 포함되지만, 그룹화를 통하여 얼굴 영역과, 배경이지만 살색 조건을 만족하는 영역들로 구성된 후보 영역들을 생성한 후, 얼굴 확인 과정을 통해 얼굴 영역을 선택할 수 있게 된다.
이때, 그룹화를 수행할 때에는 색공간 상에서 유사한 색끼리 그룹 짓게 되는데 이때 얼마만큼 가까운 색을 하나의 그룹으로 설정하는 지에 따라 결과는 매우 달라지게 된다. 보통은 평균적으로 하나의 얼굴 영역을 구성하는 픽셀들의 색 분포가 갖는 거리를 하나의 그룹으로 묶을 수 있는 색 거리로 정의하게 된다(이를 칼라 그룹 크기라고 하자). 하지만 조명 등 환경에 따라 하나의 얼굴을 구성하는 픽셀의 색 분포는 달라질 수 있다.
즉, 유사 색을 그룹화하기 위한 색 거리가 영상에 따라 달라질 수 있다. 따라서 효과적인 얼굴 영역 추출을 수행하려면, 입력된 영상에 최적화된 색 그룹 크기를 사용하여 그룹화를 수행할 수 있어야 한다. 하지만 입력 영상에 맞는 최적의 칼라 그룹 크기를 자동으로 판단하기란 쉽지 않다.
본 발명은 이와 같이 최적의 칼라 그룹 크기를 판단하여 적응적으로 칼라 그룹화를 수행할 수 있는 방법을 제시하고자 한다. 본 발명에서는 동영상을 대상으로 얼굴 영역을 추출함에 있어서, 이전 프레임에서의 얼굴 특징이 현재 프레임에서 크게 다르지 않다는 점을 이용하여, 이전 프레임에서의 결과에 따라 칼라 그룹 크기를 조절하도록 한다.
그러면, 도 2를 참조하여, 본 발명에 따른 얼굴 영역 추출 과정에 대하여 상세하게 살펴보기로 한다. 도 2는 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 얼굴 영역이 추출되는 과정을 나타낸 순서도이다.
먼저, 입력 영상이 들어오면(단계 201), 각 픽셀 칼라가 살색 조건을 만족하는 지 조사하여 살색 픽셀만을 대상으로 지정한다(단계 202a). 그리고, 살색 픽셀을 대상으로 칼라 그룹화를 수행한다(단계 202b). 여기서 칼라 그룹화란, 남겨진 살색 픽셀들을 유사한 색끼리 하나의 그룹으로 묶어 같은 그룹에 해당하는 픽셀들을 하나의 레이블로 지정하는 과정을 말한다. 이때, 칼라 그룹화는 현재 지정되어 있는 색공간 상에서의 칼라 그룹 크기를 파라메터로 사용하여 이루어진다. 이와 같은, 칼라 그룹화에 대한 자세한 방법은 뒤에서 별도로 상세히 설명하기로 한다.
그리고, 칼라 그룹화가 이루어지면 우선순위가 높은 하나의 칼라 그룹에 대하여 공간적으로 인접한 픽셀끼리 그룹화하는 연결요소 분석과정을 통한 얼굴 후보 영역 추출이 이루어진다(단계 202c). 즉, 이는 공간적으로 뭉쳐있는 픽셀들을 하나의 영역으로 지정하는 과정인데, 이때 구성된 각각의 영역을 연결요소(connected component)라고 한다. 칼라 그룹의 우선순위는 칼라 그룹화 단계에서 결정 나는데이는 뒤에서 상세히 설명하기로 한다. 여기서, 각 후보 영역들 중 크기가 작은 영역은 삭제함으로써 얼굴일 확률이 높은 영역만을 해당 칼라 그룹의 얼굴 후보 영역으로 제시한다.
이후, 제시된 얼굴 후보 영역들은 타원 모양 정보를 이용한 얼굴 확인 단계에 의해 얼굴 영역인지 여부를 판단하게 되고 얼굴 영역도 조정하게 된다(단계 203a). 여기서, 타원 모양 정보를 이용한 얼굴 확인 단계는, 얼굴이 일반적으로 타원 모양임을 이용하는 것으로서, 타원 매칭 시 타원 내부에는 살색 픽셀이 많이 차있고 타원 바깥에는 살색 픽셀이 적을 때 얼굴일 확률이 높게 되는 것이다.
이때, 타원 내부에 살색 픽셀이 차있는 비율을 'inner_rate'라고 정의하고 타원 외부에 비살색 픽셀이 차있는 비율을 'outer_rate'라고 정의하자. 즉, 'inner_rate'와 'outer_rate'가 모두 높아 지도록 타원을 조정하면서 매칭을 수행하고, 가장 최적의 타원을 찾아 얼굴 후보 영역으로 지정한다.
그리고, 타원 모양 정보를 이용한 얼굴 확인 단계에서 확인된 얼굴 후보 영역은, 다음 눈과 입 특징 정보를 이용한 얼굴 확인 단계를 거쳐 최종적으로 얼굴 영역으로 확인된다(단계 203b). 여기서, 눈과 입 특징 정보를 이용한 얼굴 확인 단계는 입력 영상을 회색(gray) 영상으로 변환한 후, 사전에 정의된 눈과 입 패턴을 사용하여 눈과 입이 존재하는 지 여부를 확인하게 된다.
이때, 상기 단계 203b에서, 눈과 입 특징 정보를 이용한 얼굴 확인 과정을 통해 최종적으로 얼굴 영역 추출에 성공하게 되면, 칼라 그룹의 크기를 조정하고(단계 204), 추출된 얼굴 영역 정보를 'rectangle'로서 저장하게 된다(단계 205).
이와 같은 일련의 과정으로 얼굴 영역이 추출되는데, 추출된 결과를 사용하여, 상기 단계 204와 같이, 상기 칼라 그룹화에 사용되는 칼라 그룹 크기를 조정하게 된다. 이때, 칼라 그룹 크기의 조절은 다음 [수학식 1]과 같이 조정되도록 설정할 수 있다.
THEN 칼라 그룹 크기 증가
ELSE IF (inner_rate > Th3 .AND. outer_rate < Th4)
THEN 칼라 그룹 크기 감소
먼저, 'inner_rate'가 임계치 'Th1'보다 작고 'outer_rate'가 또 다른 임계치 'Th2' 보다 클 경우에는 현재의 칼라 그룹 크기를 증가시킨다. 즉, 도 3과 같이 최적으로 찾은 타원 내부에 살색이 적고 타원 외부에도 살색이 적을 경우에는, 칼라 그룹 크기를 증가시켜 다음 프레임에서의 추출 시에는 도 4와 같이 보다 넓게 색 그룹을 구성함으로써 많은 색들을 한 그룹으로 포함시키게 한다. 도 3 및 도 4는 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 칼라 그룹 크기를 증가시키는 경우를 설명하기 위한 도면이다.
이와 같이, 칼라 그룹 크기를 증가시켜 조정함으로써, 타원 모양 매칭 시 타원 내에 포함되는 살색 부분이 보다 많아질 것이고, 타원 외부에는 얼굴 영역이 아니므로 여전히 살색 부분이 적게 될 것이다. 하지만, 타원 내부에 살색이 적더라도 타원 외부에 살색이 많은 상태라면 얼굴과 배경이 유사한 살색으로 이루어진 경우이므로 칼라 그룹 크기를 증가시켜도 타원 외부의 살색 비중이 커짐으로 인해 추출이 어려워진다. 이러한 이유로 상기와 같이 'inner_rate'와 'outer_rate'를 혼용하여 판단하게 된다.
만일, 타원 모양 매칭 방법에서 최적으로 매칭된 결과를 잘못 판단했을 경우 칼라 그룹 크기도 잘못 조정하게 된다. 이러한 문제를 해결하기 위해 다음 두 가지를 고려하였다. 먼저 칼라 그룹 크기의 변화 폭에 경계를 두었다. 본 실시의 예에서는 기본 값이 105이며 최대로 변할 수 있는 값은 130까지, 그리고 최소로 변할 수 있는 값은 90으로 설정하였다. 마찬가지 이유로 급격한 칼라 그룹 크기의 변화는 오히려 잘못된 결과를 가져올 수 있으므로 적절한 변화의 폭을 설정해야 하는데 본 발명에서는 한번에 5만큼씩 변화시켰다. 이러한 것을 모두 반영하여 다음 [수학식 2]와 같은 칼라 그룹 크기 변화 식을 구성하였다.
THEN 칼라 그룹 크기 5만큼 증가
ELSE IF(inner_rate>Th3 .AND. outer_rate<Th4 .AND. 칼라 그룹 크기>90)
THEN 칼라 그룹 크기 5만큼 감소
한편, 'inner_rate'가 임계치 'Th1'보다 크고 'outer_rater'가 또 다른 임계치 'Th2' 보다 작을 경우에는, 도 3과는 반대로 도 5와 같이 타원 내부에 살색 부분이 많이 포함되어 있으나, 외부에도 살색 부분이 많이 포함되어 추출이 어려운 경우이므로 이 경우에는 칼라 그룹 크기를 감소시킨다. 도 5 및 도 6은 본 발명에따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 칼라 그룹 크기를 감소시키는 경우를 설명하기 위한 도면이다.
이에 따라, 다음 프레임 추출 시에는 도 6과 같이 보다 적은 범위를 하나의 칼라 그룹으로 생성함으로 전체적으로 하나의 그룹에 속한 살색 부분이 감소하게 될 것이다. 하지만, 얼굴 영역보다는 배경 영역에서 많이 감소하게 될 것이므로 보다 타원 내부에 많은 살색 부분을 포함하면서 타원 외부에는 보다 적은 살색 부분을 포함하게 되어 추출을 용이하게 할 수 있다.
이와 같이 현재의 결과를 바탕으로 칼라 그룹 크기를 조정한 후, 이를 다음 프레임에서 적용할 수 있는 것은 화상 통신과 같이 화면 전환(cut)이 없는 연속된 영상에서 한 프레임 차이는 미미하므로 현재의 결과를 기준으로 어느 정도 반영될 수 있기 때문이다.
한편, 도 7 및 도 8은 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하여, 칼라 그룹화가 수행되는 과정을 나타낸 순서도이다.
먼저, 도 7을 참조하여 칼라 그룹화 과정을 설명하면, 이전 영역에서 얼굴 영역 추출이 성공했는 지의 여부를 판단한다(단계 701). 이때, 상기 단계 701에서의 판단 결과, 이전 영역에서 얼굴 영역 추출이 성공했을 경우에는 저장된 얼굴 영역 정보를 사용하여, 이전 프레임에서 추출된 얼굴 영역 위치 내에 포함된 살색 픽셀들을 대상으로 중앙 히스토그램(center_hist)을 구성한다(단계 703).
만일, 상기 단계 701에서의 판단 결과, 이전 프레임에서 얼굴 영역 추출을 실패했거나 현재 프레임이 첫 프레임일 경우에는, 사전에 지정된 중앙 영역 내에포함된 살색 픽셀들을 대상으로 중앙 히스토그램(hist)을 구성한다(단계 702).
이후, 영상 전체에 포함된 살색 픽셀들을 대상으로 전체 히스토그램을 구성한다(단계 704). 그리고, 상기 단계 702 내지 단계 704에서 구성된 두 가지 히스토그램을 사용하여 실질적인 칼라 그룹화를 수행하게 되는데(단계 705), 이 칼라 그룹화 과정에 대해서는 도 8을 참조하여 설명하기로 한다.
먼저, 도 8을 참조하여 칼라 그룹화 과정을 설명하면, 얼굴 영역 검출이 처음인 경우에는 'Center_hist'에서, 그렇지 않은 경우에는 'hist'에서 가장 큰 값을 갖는 빈, 'binmax'를 구한다(단계 801 내지 단계 803). 만일, 상기 단계 801 내지 803에서 구해진 최대 빈('binmax')의 값(V(binmax))이 일정 임계치 'th1' 보다 작을 경우에는, 입력된 영상 프레임에 얼굴이 없다고 판단하고 루틴을 끝내며, 그렇지 않을 경우에는 단계 805 이후의 과정을 수행하게 된다(단계 804).
먼저, 최대 빈('binmax')을 포함하여, 최대 빈('binmax')이 표현하는 칼라와 유사한 칼라에 해당하는 'bin'들을 같은 '그룹 A'에 포함시킨다(단계 805). 여기서, 유사도 측정은 각 'binmax'와 다른 bin이 표현하는 중심 칼라 간의 거리를 사용하는데, 거리가 특정 임계치 'th2'보다 작을 경우에는 한 그룹으로 포함시킨다. 여기서 'Bin'이 표현하는 중심 칼라란, 양자화된 색공간의 부분 영역 하나 하나가 각 하나의 'bin'에 해당하게 되는데, 이때 해당 부분 영역의 중심 칼라가 해당 'bin'의 중심 칼라가 된다. 또한, 효과적인 처리를 위하여 각 'bin'별 중심 칼라는 테이블로 사전에 정의해 놓는다.
이러한 방법으로 하나의 그룹에 포함된 모든 빈 값들을 더하여 그 합한 값이 일정 임계치 'th3'보다 큰 지의 여부를 판단한다(단계 806 및 단계 807). 이때, 상기 단계 807에서의 판단 결과, 일정 임계치 'th3'보다, 하나의 그룹에 포함된 모든 빈 값들을 더한 값이 크면, 해당 칼라 그룹을 하나의 얼굴 영역 후보 칼라 그룹으로 생각하여, 해당 칼라 그룹에 속한 칼라를 지닌 픽셀만을 표시하여 얼굴 후보 영역으로 지정한다(단계 808). 다음 현재 얼굴 후보 영역에 해당했던 칼라 그룹에 포함된 모든 빈들을 처리 대상에서 제외한 후 다시 처음 단계를 반복한다(단계 809).
만일, 상기 단계 807에서의 판단 결과, 앞서 하나의 그룹에 포함된 모든 빈값들을 더하여 그 합한 값이 일정 임계치 'th3'보다 작을 경우에는 입력된 영상 프레임에 얼굴이 없다고 여기고 루틴을 마친다.
지금까지, N 개의 칼라 그룹을 구하기 위한 그룹화 과정을 기술하였으나, 일반적으로 처음 추출된 칼라 그룹의 영역에서 실제 얼굴이 검출되는 경우가 대부분이다. 따라서, 본 발명에서는 상기 과정에서 첫 번째 칼라 그룹이 검출되면 해당 칼라 그룹의 영역을 후보 영역으로 검출하고 바로 루틴을 마치도록 설계하여 보다 실용적인 처리를 하도록 구현할 수도 있다.
상기 칼라 그룹화 과정에서 'binmax' 와 각 'bin'이 표현하는 중심 칼라 간의 거리를 구하는 방법은 기본적으로 유클리디언 거리(Euclidean Distance)를 사용하였다. 두 칼라간의 유클리디언 거리는 다음 [수학식 3]과 같이 정의된다.
지금까지 기술한 실시의 예에서는 타원 모양 정보를 이용한 얼굴 확인 결과를 사용하여 칼라 그룹 크기를 조정한 후 이를 다음 프레임에 반영하는 방법을 소개하였다. 이러한 방법은 앞에서 기술했듯이, 연속된 프레임에서 현재의 정보가 다음 프레임에서 어느 정도 유용하기 때문에 가능하며, 이로 인한 처리 시간도 별도로 추가되지 않는다는 장점이 있다. 하지만 본 발명의 개념은 이러한 실시의 예에 한정되지 않고, 도 9와 같은 또 다른 실시 예에 적용될 수도 있다.
먼저, 살색 영역 추출 단계(단계 902)와 비칼라 기반 추출 단계(단계 903)는, 도 2를 참조하여 설명한 바와 동일하므로 여기서는 그 상세한 설명은 생략하기로 한다. 이후, 칼라 그룹 크기 정보를 조정하고(단계 904), 현재 얼굴 영역 추출을 성공했는 지의 여부를 판단한다(단계 905).
이때, 상기 단계 905에서의 판단 결과, 현재 얼굴 영역 추출을 성공한 경우에는, 도 2를 참조하여 설명된 바와 같이, 현재 얼굴 영역 정보를 저장한 후(단계 906), 그 다음 프레임을 처리하게 된다.
한편, 상기 단계 905에서의 판단 결과, 현재 얼굴 영역 추출에 실패했을 경우에는, 현재 조정된 칼라 그룹 정보를 사용하여 칼라 그룹화 단계(단계 902b)부터 다시 수행하게 된다. 즉, 첫 시도에서 얼굴 영역 추출에 실패했더라도 칼라 그룹 크기를 조정함으로써 얼굴 영역 추출을 다음 시도에서 성공하게 될 수도 있다.
이와 같은 과정을 포함하는 얼굴 영역 추출 방법은 정확성이 증가되는 장점이 있으나 처리 시간이 많이 요구될 수도 있는 단점이 있다. 또한, 영상에 얼굴이 포함되지 않거나 환경이 좋지 않을 경우에는, 반복하여 얼굴 영역을 추출하려 해도 얼굴 영역 추출에 있어 계속 실패할 수도 있다. 따라서, 일정 회수 이상 실패하면 더 이상 반복하지 않고 다음 프레임에 대한 얼굴 영역 추출을 처리하도록 시스템을 설계할 수도 있다.
이상의 설명에서와 같이 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하면, 칼라 기반 접근 방법과, 비 칼라 기반 접근 방법을 조합하여 얼굴 영역 추출 알고리즘을 구성하고, 두 접근 방법의 결과가 서로 다른 접근 방법에 순기능적인 영향을 제공함으로써 최적의 얼굴 영역 추출 결과를 얻을 수 있는 장점이 있다.
또한, 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하면, 조명 등에 변화되는 왜곡을 해결하기 위해, 가변적인 칼라 그룹 방법을 사용하여 얼굴 영역을 추출함으로써, 다양한 조명에 효과적으로 대응할 수 있을 뿐만 아니라, 이동 화상통신 단말기와 같이 사용자의 이동으로 인한 연속된 조명의 점차적인 변화에도 효과적으로 적용될 수 있는 장점이 있다.
또한, 본 발명에 따른 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법에 의하면, 작은 메모리 이용 및 빠른 처리가 가능하므로, 이동 통신 단말기와 같이 제한된 하드웨어에 탑재되어 실시간으로 적용될 수 있는 장점이 있다.

Claims (11)

  1. 영상이 입력되는 단계와;
    입력된 영상에서 살색 조건을 만족하는 픽셀을 조사하는 단계와;
    살색 조건을 만족하는 픽셀들을 대상으로 색 공간상에서 칼라 그룹 크기만큼의 범위를 갖는 유사한 칼라끼리 그룹화하는 단계와;
    한 그룹 칼라에 속한 픽셀들로 얼굴 후보 영역을 지정하는 단계와;
    지정된 얼굴 후보 영역에서 비칼라 특징을 이용하여 얼굴 영역을 확인 또는 조정하는 단계; 및
    칼라 그룹 크기를 조정하고, 추출된 얼굴 영역 정보를 저장하는 단계; 를 포함하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  2. 제 1항에 있어서,
    상기 비칼라 특징을 이용하여 얼굴 영역을 확인하는 단계는, 타원 모양 매칭을 통하여 수행되며, 한 그룹 칼라에 속한 픽셀들로 구성된 얼굴 후보 영역을 대상으로 타원 내에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 높고, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 낮을 수록, 추출된 영역이 얼굴일 확률이 높은 것으로 판단하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  3. 제 1항에 있어서,
    상기 칼라 그룹 크기를 조정하는 단계에 있어, 타원 모양 매칭을 통하여, 타원 내에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율이 낮으며, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율도 낮은 경우에는, 상기 칼라 그룹 크기를 증가시키는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  4. 제 1항에 있어서,
    상기 칼라 그룹 크기를 조정하는 단계에 있어, 타원 모양 매칭을 통하여, 타원 내에 해당 그룹 칼라에 속한 픽셀에 차지하는 비율이 높으며, 타원 외부에 해당 그룹 칼라에 속한 픽셀이 차지하는 비율도 높은 경우에는, 상기 칼라 그룹 크기를 감소시키는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  5. 제 1항에 있어서,
    상기 칼라 그룹 크기를 조정하는 단계에 있어, 현재의 칼라 그룹 크기가 일정 범위 이내인 경우에만 상기 칼라 그룹 크기를 증가 또는 감소시키며, 그 칼라 그룹 크기의 일정 범위는 90에서 130 사이로 설정되는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  6. 제 1항에 있어서,
    상기 칼라 그룹 크기를 조정하는 단계에 있어, 상기 칼라 그룹 크기는 일정 범위로 증가 또는 감소시키며, 그 조정되는 변동 범위는 5씩 처리되는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  7. 제 1항에 있어서,
    상기 칼라 그룹 크기만큼의 범위를 갖는 유사한 칼라끼리 그룹화하는 단계는,
    살색 조건을 만족하는 픽셀의 색 값을 양자화하는 단계와;
    이미지 전체를 대상으로 하는 히스토그램('hist')과, 이미지 부분영역을 대상으로 하는 중앙 히스토그램('center_hist')을 추출하는 단계와;
    상기 히스토그램('hist') 또는 중앙 히스토그램('center_hist')에서 가장 큰 값을 갖는 최대 빈을 찾는 단계; 및
    상기 최대 빈이 갖는 칼라와, 칼라 그룹 크기보다 가까운 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화하는 단계; 를 구비하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  8. 제 7항에 있어서,
    상기 칼라 그룹으로 그룹화하는 단계 이후에, 한번 그룹화에 참여한 빈들을제외시킨 후 다시 나머지 빈들 중에서 최대 빈을 찾고, 상기 최대 빈이 갖는 칼라와, 칼라 그룹 크기보다 가까운 유사한 칼라를 갖는 빈들을 하나의 칼라 그룹으로 그룹화 하는 과정을 반복적으로 수행하여, 복수 개의 그룹으로 칼라를 그룹화하는 단계를 더 구비하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  9. 제 7항에 있어서,
    상기 이미지 부분영역을 대상으로 하는 중앙 히스토그램을 추출하는 단계에 있어, 이전 프레임에서 얼굴 검출이 성공되었으면 이전 얼굴 영역을 대상으로 히스토그램을 추출하고, 그렇지 않은 경우에는 이미지 중앙의 부분영역에서 히스토그램을 추출하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  10. 제 1항에 있어서,
    상기 지정된 얼굴 후보 영역에서 비칼라 특징을 이용하여 얼굴 영역을 확인하는 단계에 있어, 눈, 입의 특징 정보를 이용한 얼굴 영역 확인 과정을 수행하며, 눈, 입의 특징 정보로는 눈, 입의 패턴을 이용하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
  11. 제 1항에 있어서,
    상기 칼라 그룹 크기를 조정하고, 추출된 얼굴 영역 정보를 저장하는 단계에 있어, 얼굴 영역 추출의 성공 여부에 대한 판단을 수행하고, 얼굴 영역 추출에 성공한 경우에는 다음 프레임에 대하여 얼굴 영역 추출 처리를 수행하고, 얼굴 영역 추출에 실패한 경우에는 조정된 칼라 그룹 크기를 적용하여, 상기 칼라 그룹화 단계부터 다시 수행하여 얼굴 영역 추출을 시도하는 단계를 더 구비하는 것을 특징으로 하는 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법.
KR10-2002-0029533A 2002-05-28 2002-05-28 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법 KR100451652B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0029533A KR100451652B1 (ko) 2002-05-28 2002-05-28 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0029533A KR100451652B1 (ko) 2002-05-28 2002-05-28 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법

Publications (2)

Publication Number Publication Date
KR20030091472A KR20030091472A (ko) 2003-12-03
KR100451652B1 true KR100451652B1 (ko) 2004-10-08

Family

ID=32384656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0029533A KR100451652B1 (ko) 2002-05-28 2002-05-28 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법

Country Status (1)

Country Link
KR (1) KR100451652B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402212B1 (ko) * 2013-09-09 2014-06-11 (주)시솔 Nfc 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446958B (zh) * 2016-10-09 2019-04-12 湖南穗富眼电子科技有限公司 一种人体离开可靠检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187936A (ja) * 1996-12-24 1998-07-21 Sharp Corp 画像処理装置
KR20000060745A (ko) * 1999-03-19 2000-10-16 윤덕용 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체
KR20030026528A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 화상 통신 시스템
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187936A (ja) * 1996-12-24 1998-07-21 Sharp Corp 画像処理装置
KR20000060745A (ko) * 1999-03-19 2000-10-16 윤덕용 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체
KR20030026528A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 화상 통신 시스템
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402212B1 (ko) * 2013-09-09 2014-06-11 (주)시솔 Nfc 장치

Also Published As

Publication number Publication date
KR20030091472A (ko) 2003-12-03

Similar Documents

Publication Publication Date Title
CN111860533B (zh) 图像的识别方法及装置、存储介质和电子装置
US7454040B2 (en) Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
CN100393106C (zh) 检测和/或追踪图像或图像序列中颜色区域的方法和装置
CN107292307B (zh) 一种倒置汉字验证码自动识别方法及系统
CN111191573A (zh) 一种基于眨眼规律识别的驾驶员疲劳检测方法
JP2003506767A (ja) 走査イメージを照合するための装置および方法
CN105844242A (zh) 图像中的肤色检测方法
JP2007257087A (ja) 肌色領域検出装置及び肌色領域検出方法
Radu et al. A robust sclera segmentation algorithm
KR20150092546A (ko) 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법
CN112464885A (zh) 基于机器学习的面部色斑未来变化的图像处理系统
US7620246B2 (en) Method and apparatus for image processing
WO2017061106A1 (ja) 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
CN114140465A (zh) 基于宫颈细胞切片图像的自适应的学习方法和学习系统
CN113392819B (zh) 一种批量化学术图像自动分割标注装置和方法
US8131077B2 (en) Systems and methods for segmenting an image based on perceptual information
Gasparini et al. Automatic red-eye removal for digital photography
Yusuf et al. Human face detection using skin color segmentation and watershed algorithm
CN113450369A (zh) 一种基于人脸识别技术的课堂分析系统及方法
KR100451652B1 (ko) 적응적 칼라 클러스터링을 이용한 얼굴 영역 추출 방법
KR100488014B1 (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
Sarkar et al. Universal skin detection without color information
CN107992853B (zh) 人眼检测方法、装置、计算机设备及存储介质
Ghouzali et al. A skin detection algorithm based on discrete cosine transform and generalized Gaussian density
Ojo et al. Illumination invariant face detection using hybrid skin segmentation method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090619

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee