KR100422709B1 - 영상 의존적인 얼굴 영역 추출방법 - Google Patents

영상 의존적인 얼굴 영역 추출방법 Download PDF

Info

Publication number
KR100422709B1
KR100422709B1 KR10-2001-0061336A KR20010061336A KR100422709B1 KR 100422709 B1 KR100422709 B1 KR 100422709B1 KR 20010061336 A KR20010061336 A KR 20010061336A KR 100422709 B1 KR100422709 B1 KR 100422709B1
Authority
KR
South Korea
Prior art keywords
color
area
image
representative
face
Prior art date
Application number
KR10-2001-0061336A
Other languages
English (en)
Other versions
KR20030029187A (ko
Inventor
이진수
유재신
김현준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0061336A priority Critical patent/KR100422709B1/ko
Priority to EP02021835A priority patent/EP1300804A3/en
Priority to US10/263,054 priority patent/US20030068083A1/en
Priority to CNB021443211A priority patent/CN1207924C/zh
Publication of KR20030029187A publication Critical patent/KR20030029187A/ko
Application granted granted Critical
Publication of KR100422709B1 publication Critical patent/KR100422709B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

본 발명에 따른 영상 의존적인 얼굴 영역 추출방법은, 주어진 영상에 대하여, 그 분포 영역이 설정된 임계치 이상으로 분포되는 칼라 그룹을 구하고, 각 구해진 칼라 그룹에 대한 대표 칼라를 지정하는 단계와; 상기 지정된 대표 칼라 중에서 살색 칼라 영역에 해당되는 대표 칼라가 있는지 여부를 판단하는 단계; 및 상기 영상에서, 살색 칼라 영역에 해당되는 칼라를 대표 칼라로 갖는 칼라 그룹의 픽셀들로 구성된 영역을 분리(segmentation)하는 단계; 를 포함한다.
여기서, 얼굴 영역을 확인하는 단계를 더 구비한다.
또한, 상기 주로 분포되는 칼라 그룹을 구하는 단계는, 주어진 영상에 대한 칼라 히스토그램을 구성하는 단계와; 칼라 히스토그램의 빈값 들 중에서 최대값을 갖는 빈 bmax를 구하는 단계와; 상기 빈 bmax의 대표 칼라 값과 다른 각 빈의 대표 칼라 값의 유사도를 산출하는 단계와; 측정된 유사도가 일정 임계치 이하인 빈들과 bmax를 사용하여 주 칼라의 칼라 범위를 지정하는 단계; 및 주 칼라의 대표 칼라를 지정하는 단계; 를 구비한다.

Description

영상 의존적인 얼굴 영역 추출방법{Face detecting method depend on image}
본 발명은 영상처리방법에 관한 것으로서, 특히 VOD(Video On Demand), PVR (Personal Video Recorder) 등 동영상 처리 관련 시스템 및 화상 통신 시스템 등에 있어, 주어진 영상에서 칼라 분포를 분석한 후 주어진 영상에 적합한 살색 범위를 적응적으로 지정함으로써, 스킨 칼라를 이용하여 얼굴 영역을 효과적으로 검출할 수 있는 영상 의존적인 얼굴 영역 추출방법에 관한 것이다.
오늘날, 얼굴 영역을 추출하는 기술은 다양한 응용 분야에서 중요하게 사용되고 있다. VOD/PVR 등 동영상 서비스 응용 분야에서는 얼굴이 등장한 구간을 중요 구간으로 인식하며, 이를 이용한 비디오 인덱싱을 수행하기 위하여 얼굴 영역 추출 기술이 이용된다.
또한, PC(Personal Computer) 카메라를 이용한 화상 통신이나, 화상 전송이 가능한 IMT2000 서비스 등에서도 얼굴 영역을 추출하여 얼굴 영역만을 높은 비트 레이트(bit-rate)로 코딩함으로써, 전체적으로는 낮은 비트 레이트에 높은 화질을 유지할 수 있는 오브젝트 기반 코딩 기술에서 얼굴 영역 추출 기술이 이용된다.
이와 같이, 다양한 분야에 얼굴 영역 추출 기술이 이용되므로 자동으로 얼굴 영역을 추출하기 위한 연구가 많이 보고되고 있다.
한편, 얼굴 영역을 추출하는 대표적인 방법은 스킨 칼라(skin color) 정보를 이용하는 것이다. 즉, 살색을 갖는 픽셀들만을 사용하여 얼굴 영역 후보로 지정함으로써 얼굴 영역을 추출하는 방법이다.
그런데, 같은 사람의 얼굴을 다양한 장소와 다양한 촬영 장치를 사용하여 취득한 영상에서 살색 영역에 대한 색상을 분석하면 각 영상마다 색상이 다양하게 나타난다. 즉, 살색 영역이 영상에 따라 색좌표 상에서 매우 다양하게 나타나므로, 사전에 모든 가능한 살색 범위를 지정할 경우 그 범위가 너무 광범위하게 되어 한 영상에서 살색 이외의 영역을 포함하는 경우가 많아진다. 따라서, 살색 범위를 이용한 얼굴 영역 추출 방법을 사실상 적용하기가 어렵게 되며 이러한 원인은 다음과 같다.
- 조명에 의한 색상 왜곡
조명에 따라 살색의 범위가 매우 달라진다. 특히, 밝기는 매우 민감한 색 요소로서 조명에 가장 크게 변화한다.
- 영상 취득 장치에 의한 색상 왜곡
같은 장소, 같은 조명에서 영상을 취득하더라도 영상을 취득하는데 사용된 영상 취득 장치에 따라 색상이 달라진다. 예를 들어 PC 카메라의 경우 카메라 제조사에 따라서 흰색을 순수한 흰색으로 표현하기 보다는 파란색이나 녹색 등 다른 색으로 왜곡되어 취득하는 경우가 대부분이다. 이것은 각 영상 취득 장치마다 자체 특성에 의해 색상이 왜곡되거나 자체 필터 등으로 색상을 변형시켰기 때문에 발생된다.
- 영상 재생 장치에 의한 색상 왜곡
PC의 비디오 카드 등 영상을 입력 받아 재생하는데 사용되는 장치 특성에 의해서도 색상이 왜곡된다.
상기한 바와 같은 스킨 칼라를 이용하여 얼굴 영역을 추출하는 방법에 대한 문제점을 극복하기 위하여, 스킨 칼라 이외의 정보를 사용한 얼굴 영역 추출 방법에 대한 연구도 많이 보고되고 있다. 그 한 방법으로서, 사람 얼굴 영상 집합을 사전에 구성하여 사람 얼굴의 특성에 따라 크게 몇 개의 그룹으로 나눈 후, 이를 다시 각도에 따라서 몇 개의 그룹으로 구분하여 각 그룹별로 사람 얼굴의 탬플리트를 구성한다. 그리고, 구성된 탬플리트를 이미지 전 영역에 대해 탬플리트 최소 사이즈에서 출발하여 최대 사이즈까지 크기 조절을 해가면서 스캔 및 매칭해 나가는 방법이다.
이 방법은 탬플리트 매칭 회수가 매우 많기 때문에 탬플리트 크기가 작아도 프로세싱 시간이 매우 크다는 문제점이 있어서 정확성은 높은 편이나 실시간 처리가 어렵다는 단점이 있다.
본 발명은 상기와 같은 여건을 감안하여 창출된 것으로서, VOD(Video On Demand), PVR(Personal Video Recorder) 등 동영상 처리 관련 시스템 및 화상 통신 시스템 등에 있어, 주어진 영상에서 칼라 분포를 분석한 후 주어진 영상에 적합한 살색 범위를 적응적으로 지정함으로써, 스킨 칼라를 이용하여 얼굴 영역을 효과적으로 검출할 수 있는 영상 의존적인 얼굴 영역 추출방법을 제공함에 그 목적이 있다.
도 1은 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 의하여, 영상에서 얼굴 영역을 추출하는 과정을 나타낸 순서도.
도 2는 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 있어, 입력된 영상의 주 칼라 그룹화 과정을 나타낸 순서도.
도 3 내지 도 5는 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 있어, 입력된 영상과, 주 칼라 그룹에 해당되는 영역이 표시된 영상 및 살색 칼라 그룹을 지정하여 살색 영역만이 표시된 영상의 예를 각각 나타낸 도면.
도 6은 일반적인 오프닝 모폴로지 기법을 설명하기 위한 도면.
상기의 목적을 달성하기 위하여 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법은,주어진 영상에 대하여, 그 분포 영역이 설정된 임계치 이상으로 분포되는 칼라 그룹을 구하고, 각 구해진 칼라 그룹에 대한 대표 칼라를 지정하는 단계와;상기 지정된 대표 칼라 중에서 살색 칼라 영역에 해당되는 대표 칼라가 있는지 여부를 판단하는 단계; 및
상기 영상에서, 살색 칼라 영역에 해당되는 칼라를 대표 칼라로 갖는 칼라 그룹의 픽셀들로 구성된 영역을 분리(segmentation)하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서, 얼굴 영역을 확인하는 단계를 더 구비하는 점에 그 특징이 있다.
또한, 상기 얼굴 영역을 확인하는 단계는, 추출된 픽셀들로 구성되어 분리된 영역과 얼굴 템플리트의 비교를 통하여, 분리된 영역이 얼굴 영역인지의 여부가 판단되는 점에 그 특징이 있다.
또한, 상기 얼굴 영역을 확인하는 단계는, 분리된 영역의 면적과 가로 세로 비율이 소정 범위 이내인 조건을 만족할 때, 얼굴 영역으로 판단되는 점에 그 특징이 있다.
또한, 상기 얼굴 영역을 확인함에 있어, 분리된 영역의 크기가 일정 임계치 이하인 영역은 얼굴 영역이 아닌 것으로 판단하고, 그 임계치 이하의 영역은 삭제하며, 상기 임계치 이하의 영역을 삭제함에 있어, 오프닝(opening) 모폴로지 기법을 사용하여 임계치 이하의 영역을 삭제하는 점에 그 특징이 있다.
또한, 상기 주로 분포되는 칼라 그룹을 구하는 단계는, 주어진 영상에 대한 칼라 히스토그램을 구성하는 단계와; 칼라 히스토그램의 빈값 들 중에서 최대값을 갖는 빈 bmax를 구하는 단계와; 상기 빈 bmax의 대표 칼라 값과 다른 각 빈의 대표 칼라 값의 유사도를 산출하는 단계와; 측정된 유사도가 일정 임계치 이하인 빈들과 bmax를 사용하여 주 칼라의 칼라 범위를 지정하는 단계; 및 주 칼라의 대표 칼라를 지정하는 단계; 를 구비하는 점에 그 특징이 있다.
또한, 추출된 주 칼라에 해당되는 빈을 칼라 히스토그램에서 제외시키고, 나머지 빈들에 대하여 최대 빈 값을 구하며, 그 최대 빈 값이 일정 임계치 이상인 경우에는 주 칼라 그룹을 추가로 지정하는 단계를 더 구비하는 점에 그 특징이 있다.
또한, 상기 지정된 대표 칼라 중에서 살색 칼라 영역에 해당되는 대표 칼라가 있는지 여부를 판단하는 단계에 있어, 사전에 살색 칼라 영역에 해당되는 칼라로 정의된 살색 칼라 정보를 참조하여, 구해진 칼라 그룹에 대한 대표 칼라가 상기 정의된 살색 칼라 영역에 속하는 지 여부를 판단하는 점에 그 특징이 있다.
또한, 상기 사전에 정의된 살색 범위는, 색좌표가 RGB이고, R, G, B 각 좌표값의 범위가 0에서 255사이일 때, B가 G보다 크고, G는 100보다 크고, R은 B+15보다 크고 R은 B+50보다 작은 경우에 살색으로 판단되며, 또한 색좌표가 RGB이고, R, G, B 각 좌표값의 범위가 0에서 255사이일 때, G가 B보다 크고, B는 100보다 크고, R은 G+15보다 크고 R은 G+50보다 작은 경우에 살색으로 판단되는 점에 그 특징이 있다.
또한, 상기 사전에 정의된 살색 범위는 색좌표가 YCrCb이고 24비트로 표현될 때, Cb가 134와 155사이에 존재하고, Cr이 91에서 142 사이에 존재하고, Y가 60에서 230 사이에 존재하는 경우에 살색으로 판단되는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, VOD(Video On Demand), PVR(Personal Video Recorder) 등 동영상 처리 관련 시스템 및 화상 통신 시스템 등에 있어, 주어진 영상에서 칼라 분포를 분석한 후 주어진 영상에 적합한 살색 범위를 적응적으로 지정함으로써, 스킨 칼라를 이용하여 얼굴 영역을 효과적으로 검출할 수 있는 장점이 있다.
일반적으로, 촬영 조건 및 촬영 장비에 따라서 영상에 표현되는 살색의 범위는 매우 다양하게 나타난다. 하지만 한 영상 프레임 내에서 한 사람의 얼굴을 구성하는 살색 픽셀의 칼라 분포는 좁은 범위에 집중되어 있다. 이는 한 프레임을 대상으로 했을 때, 한 프레임 내에서는 같은 조명에 같은 영상 취득 장치를 사용했기 때문에 살색이 일정한 범위 안에서 나타나기 때문이다.
그러나, 살색이 일정한 범위 안에서 나타난다 할지라도, 프레임마다 살색의 범위가 달라지므로, 주어진 프레임에서는 어떠한 범위로 색좌표를 지정해야 최적의 살색 영역을 추출할 수 있는 지 여부를 자동으로 판단해야 하는 어려움이 있다. 본 발명에서는 주어진 영상 프레임에서 칼라 분포를 분석하여 주된 칼라 그룹을 구한 후, 살색 영역에 해당되는 칼라 그룹을 현재 주어진 영상에서의 살색 범위로 지정함으로써, 영상에 의존적인 살색 범위를 적응적으로 적용하여, 빠르고 효과적인 얼굴 영역을 추출할 수 있는 방법을 제안한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
도 1은 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 의하여, 영상에서 얼굴 영역을 추출하는 과정을 나타낸 순서도이다.
도 1에 나타낸 바와 같이, 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법은 크게 영상 입력 단계(단계 101), 주 칼라 그룹화 단계(단계 102), 살색 칼라 그룹 지정 단계(단계 103), 살색 칼라 영역 추출 단계(단계 104) 및 얼굴 영역 확인 단계(단계 105)로 구성된다.
이때, 상기 단계 101에서 입력되는 영상은 정지 영상일 수도 있으며, 동영상의 한 프레임이 될 수도 있다. 그리고, 상기 단계 102의 주 칼라 그룹화 단계는, 단계 101에서 입력된 영상의 칼라 분포를 분석하여, 주된 칼라 그룹이 어떠한 범위로 분포되어 있는 지를 자동으로 분석하는 단계이다.
이러한 단계 102에서의 주 칼라 분석과정은 도 2를 참조하여 상세히 설명하기로 한다. 도 2는 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 있어, 입력된 영상의 주 칼라 그룹화 과정을 나타낸 순서도이다.
도 2를 참조하여 입력된 영상에 대한 주 칼라 그룹화 과정을 설명하면, 먼저 정지 영상이나 동영상의 입력 영상에 대해 칼라 스페이스(color space)를 HSV로 변환하고 칼라 값을 양자화 한다. 그리고, 양자화된 칼라 값들에 대해, 칼라 히스토그램을 구하고 정규화 과정을 거쳐 칼라 히스토그램 값을 정규화(Normalized color Histogram) 한다(단계 201).
그리고, 상기 단계 201에서 구해진 정규화된 칼라 히스토그램을 참조하여, 추출된 칼라 히스토그램의 빈 중에서 최대값을 가지는 빈 bmax를 추출한다(단계 202). 이때, 추출된 bmax가 차지하는 비율이 소정의 임계 값(τ1) 이상인지 여부를 판단한다(단계 203).
상기 단계 203에서의 판단 결과, 추출된 bmax가 차지하는 비율이 소정의 임계 값(τ1) 이상인 경우에는, 현재 추출된 빈의 대표 칼라 값이 입력된 영상의 주된 칼라라고 판단하고, 주된 칼라를 이용한 칼라 그룹화 알고리즘을 수행한다(단계 204 이하 과정). 또한, 상기 단계 203에서의 판단 결과, 칼라 히스토그램에서 추출된 최대값을 갖는 빈이 차지하는 비율이 특정 임계 값(τ1)보다 작은 경우에는, 주된 칼라는 존재하지 않는 것으로 판단하고 주 칼라 그룹화 과정의 수행을 종료한다.
한편, 상기 단계 203에서의 판단 결과, 그 비율이 임계 값(τ1) 이상의 값을 갖는 것으로 판단된 bmax에 대해, 모든 칼라 히스토그램의 빈들과 현재 추출된 bmax의 대표 칼라 값과의 유사도를 계산한다(단계 204).
이때, 칼라 히스토그램의 빈들과 bmax의 대표 칼라 값과의 유사도를 계산하는 방법은 각 빈을 대표하는 대표 칼라 값과, bmax대표 칼라 값의 차를 구하는 방법을 사용한다. 그리고, 각 빈을 대표하는 대표 칼라 값은 칼라 히스토그램을 구성하는 각 빈이 의미하는 칼라 범위에서의 중간 칼라 값을 사용한다. 따라서, 각 빈의 대표 칼라 값은, 칼라 히스토그램을 구하기 위해 HSV 색좌표를 양자화하는 과정에서 이미 결정된다.
그리고, 유사도 계산에 의해 각 빈들의 대표 칼라 값과 bmax의 대표 칼라 값의 차이가 소정의 임계 값(τ2)보다 작은 값을 갖는 모든 빈들을 추출한다. 이로부터 추출된 bmax와 유사한 칼라 값을 갖는 빈들 bk의 집합을 구하고, {bmax, bk} 집합을 구한다(단계 205).
여기서, bk는 bmax와 유사한 칼라 값을 갖는 빈들의 집합이다({bmax, bk}, k∈S, S={Cbmax와 대표 칼라 값의 차이가 임계 값(τ2)보다 작은 모든 빈}). 그리고, 이와 같이 생성된 bmax와 bk집합의 대표 칼라 값들을 이용하여 새로운 주된 칼라를 생성한다(단계 206).
이때, 새로운 주된 칼라를 생성하는 방법은 다음과 같다.
-- bmax: 칼라 히스토그램에서 최대값을 가지는 빈
-- bk: 칼라 히스토그램에서 i번째 빈
-- Cbmax: 최대값을 가지는 빈의 대표 칼라 값
-- Cbk: 칼라 히스토그램에서 i번째 빈의 대표 칼라 값
-- Cdom: 새로운 주된 칼라 값
-- V(x) : x의 벡터(vector) 값
-- p(x) : x의 확률, 즉 히스토그램에서의 빈 값.
여기서, 새로운 주된 칼라는 빈이 차지하는 비율과, 그 빈의 대표 칼라 값을 반영하여 구한다. 빈이 차지하는 비율을 반영하기 때문에 주된 전체 이미지에서 어떤 칼라 값이 많이 포함되어 있는지를 알 수 있다. 이때, 칼라 대표 값을 표현하기 위하여 원래 칼라 스페이스로 변환한다(예컨대 R, G, B). 그리고, 추출한 bmax와 bk집합의 빈들을 현재 이미지에서 추출한 히스토그램에서 삭제한 후(단계 207), 그 히스토그램에서 다시 최대값을 가지는 빈 bmax를 추출하는 단계 202 이후의 과정을 반복하여 수행한다.
이러한 주 칼라 그룹화에 대한 연산은 최대값을 갖는 bmax의 비율이 특정 임계 값(τ1)보다 작을 때까지 반복되어 수행된다. 주된 칼라의 추출은 임계 값(τ1)과 추출하고 싶은 주된 칼라 값의 개수를 입력하여 추출되는 개수를 조절할 수 있다.
이와 같은 일련의 과정을 통하여 입력된 영상에 대한 주 칼라 그룹화가 수행되면, 지정된 주 칼라 그룹 중에서 칼라 범위가 살색 영역 내에 있는 그룹을 지정하는 살색 칼라 그룹 지정 단계를 수행한다(단계 103).
이때, 사전에 정의된 살색 영역은 종래 기술과 같이 학습 살색 영역 데이터의 집합으로부터 통계적으로 분석되어 정의된 범위를 사용한다. 이와 같이, 사전에 준비된 살색 데이터 집합을 이용하여 광범위한 살색 범위를 지정한 후, 상기 단계 102에서의 주 칼라 그룹화 단계에서 구해진 칼라 그룹 중에서 살색 범위에 해당되는 칼라 그룹을 살색 그룹으로 지정함으로써 살색 칼라 그룹 지정은 수행된다. 이때, 새롭게 지정된 살색 범위는 종래의 살색 범위에 비해 매우 협소한 범위로서 입력된 영상에서 살색 영역을 추출하기에 적절한 범위가 된다.
한편, 본 발명의 실시 예에서는 RGB 색 좌표에서의 살색 범위와 YCrCb 색 좌표에서의 살색 범위를 다음과 같이 지정하였다.
<RGB 색 좌표>
IF (((b>g) (g>100) (r>b+15) (r<b+50)) || ((g>b) (b>100 (r>g+5) (r<g+50)))
THAN SKIN COLOR
<YCrCb 색 좌표>
IF ((Cb>134 Cb<155 Cr>91 Cr<142) Y>60 Y<230)
THAN SKIN COLOR
그리고, 새롭게 지정된 살색 범위를 사용하여 살색 픽셀만을 추출함으로써 스킨 영역을 추출할 수 있게 된다(단계 104).
이러한 과정을 통하여 얼굴 영역이 검출되는 예를 도 3 내지 도 5에 나타내었다. 도 3은 원래의 입력 영상을 나타내고 있으며, 도 4는 도 3에서 나타난 입력 영상에 대해 주 칼라 그룹화를 거쳐서 주 칼라 그룹에 해당되는 영역을 표시한 예이다. 그리고, 도 5는 도 4의 주 칼라 그룹중에서 살색 칼라 그룹을 지정하여 살색 영역만을 표시한 예를 나타낸 것이다. 도면에 나타낸 바와 같이, 얼굴 영역은 하나의 주 칼라로 잘 분리될 수 있을만큼 적절하게 표시될 수 있음을 알 수 있다.
한편, 살색 칼라 그룹에 의한 영역 분리는 얼굴 영역 이외의 일부 영역이 같이 추출될 수 있으므로 얼굴 영역 확인 단계가 필요하다. 얼굴 영역 확인 단계는 추출된 살색 영역들 중에서 크기가 임계치 이하인 영역을 제거하는 오프닝 (opening) 모폴로지 기법과 같은 일반적인 방법을 사용하여 처리할 수 있다.
도 6은 일반적인 오프닝 모폴로지 기법을 설명하기 위한 도면이다.
즉, 도 6에 나타낸 바와 같이, 크기가 일정 임계치 이하인 영역을 제거하는 방법은 지름이 해당 임계치 이상인 엘리먼트 사용한 오프닝 모폴로지 기법을 사용함으로써 간단히 수행될 수 있다. 오프닝은 주어진 엘리먼트(도 6 (b) 참조)를 사용하여 엘리먼트의 반지름만큼, 영역의 경계로부터 영역을 축소하는 'Erosion' 과정(도 6 (c) 참조)과, 남은 영역을 다시 엘리먼트의 반지름만큼 영역의 경계로부터 영역을 확장하는 'Dilation' 과정(도 6 (d) 참조)을 통해 이루어진다.
한편, 이와 같은 과정을 통하여 검출된 얼굴 영역에 대한 보다 확실한 검증을 하기 위하여 얼굴 템플리트를 추가적으로 이용할 수 있다. 즉, 추출된 스킨 영역들 중에서 얼굴 영역을 추출하기 위해 얼굴 탬플리트를 이용한 얼굴 영역 확인 단계를 거침으로써, 얼굴 영역을 추출하게 된다(단계 105).
또한, 상기 얼굴 영역을 확인하는 단계에 있어, 분리된 영역의 면적과 가로 세로 비율이 소정 범위 이내인 조건을 만족할 때, 분리된 영역이 얼굴 영역인 것으로 판단되도록 설정할 수도 있다.
그런데, 화상 통신과 같이 스킨 영역이 주로 얼굴만 등장하는 경우, 얼굴의 위치를 추적하기 위해 본 방법을 이용할 경우에는 상기 얼굴 영역 확인 단계를 생략하고도, 살색 영역만을 사용하여 얼굴 영역을 효과적으로 추출할 수도 있다.
이상의 설명에서와 같이 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 의하면, VOD(Video On Demand), PVR(Personal Video Recorder) 등 동영상 처리 관련 시스템 및 화상 통신 시스템 등에 있어, 주어진 영상에서 칼라 분포를 분석한 후 주어진 영상에 적합한 살색 범위를 적응적으로 지정함으로써, 스킨 칼라를 이용하여 얼굴 영역을 효과적으로 검출할 수 있는 장점이 있다.
즉, 본 발명에 따른 영상 의존적인 얼굴 영역 추출방법에 의하면, 살색 영역을 기반으로 하므로 프로세싱 시간이 빠르고, 주어진 영상에서 최적의 살색 범위를사용하므로 정확한 살색 영역을 추출할 수 있는 장점이 있으며, 특히 화상 통신 등 사람의 얼굴이 주로 등장하는 영상에서, 얼굴의 위치를 추적하기 위해 얼굴 영역을 추출할 때 매우 효과적으로 얼굴 영역을 분리할 수 있게 된다.

Claims (12)

  1. 주어진 영상에 대하여, 그 분포 영역이 설정된 임계치 이상으로 분포되는 칼라 그룹을 구하고, 각 구해진 칼라 그룹에 대한 대표 칼라를 지정하는 단계와;
    상기 지정된 대표 칼라 중에서 살색 칼라 영역에 해당되는 대표 칼라가 있는지 여부를 판단하는 단계; 및
    상기 영상에서, 살색 칼라 영역에 해당되는 칼라를 대표 칼라로 갖는 칼라 그룹의 픽셀들로 구성된 영역을 분리(segmentation)하는 단계; 를 포함하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  2. 제 1항에 있어서,
    얼굴 영역을 확인하는 단계를 더 구비하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  3. 제 2항에 있어서,
    상기 얼굴 영역을 확인하는 단계는, 추출된 픽셀들로 구성되어 분리된 영역과 얼굴 템플리트의 비교를 통하여, 분리된 영역이 얼굴 영역인지의 여부가 판단되는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  4. 제 2항에 있어서,
    상기 얼굴 영역을 확인하는 단계는, 분리된 영역의 면적과 가로 세로 비율이 소정 범위 이내인 조건을 만족할 때, 얼굴 영역으로 판단되는 것을 특징으로 하는영상 의존적인 얼굴 영역 추출방법.
  5. 제 2항에 있어서,
    상기 얼굴 영역을 확인함에 있어, 분리된 영역의 크기가 일정 임계치 이하인 영역은 얼굴 영역이 아닌 것으로 판단하고, 그 임계치 이하의 영역은 삭제하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  6. 제 5항에 있어서,
    상기 임계치 이하의 영역을 삭제함에 있어, 오프닝(opening) 모폴로지 기법을 사용하여 임계치 이하의 영역을 삭제하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  7. 제 1항에 있어서,
    그 분포 영역이 설정된 임계치 이상으로 분포되는 칼라 그룹을 구하고, 각 구해진 칼라 그룹에 대한 대표 칼라를 지정하는 단계는,
    주어진 영상에 대한 칼라 히스토그램을 구성하는 단계와;
    칼라 히스토그램의 빈값 들 중에서 최대값을 갖는 빈 bmax를 구하는 단계와;
    상기 빈 bmax의 대표 칼라 값과 다른 각 빈의 대표 칼라 값의 유사도를 산출하는 단계와;
    측정된 유사도가 일정 임계치 이하인 빈들과 bmax를 사용하여 주 칼라의 칼라 범위를 지정하는 단계; 및
    구해진 칼라 그룹에 대한 주 칼라의 대표 칼라를 지정하는 단계; 를 구비하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  8. 제 7항에 있어서,
    추출된 주 칼라에 해당되는 빈을 칼라 히스토그램에서 제외시키고, 나머지 빈들에 대하여 최대 빈 값을 구하며, 그 최대 빈 값이 일정 임계치 이상인 경우에는 주 칼라 그룹을 추가로 지정하는 단계를 더 구비하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  9. 제 1항에 있어서,
    상기 지정된 대표 칼라 중에서 살색 칼라 영역에 해당되는 대표 칼라가 있는지 여부를 판단하는 단계에 있어, 사전에 살색 칼라 영역에 해당되는 칼라로 정의된 살색 칼라 정보를 참조하여, 구해진 칼라 그룹에 대한 대표 칼라가 상기 정의된 살색 칼라 영역에 속하는 지 여부를 판단하는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  10. 제 9항에 있어서,
    상기 살색 칼라 영역에 해당되는 칼라로 정의된 살색 칼라의 범위는, 색좌표가 RGB이고, R, G, B 각 좌표값의 범위가 0에서 255사이일 때, B가 G보다 크고, G는 100보다 크고, R은 B+15보다 크고 R은 B+50보다 작은 경우에 살색으로 판단되는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  11. 제 9항에 있어서,
    상기 살색 칼라 영역에 해당되는 칼라로 설정된 살색 칼라의 범위는, 색좌표가 RGB이고, R, G, B 각 좌표값의 범위가 0에서 255사이일 때, G가 B보다 크고, B는 100보다 크고, R은 G+15보다 크고 R은 G+50보다 작은 경우에 살색으로 판단되는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
  12. 제 9항에 있어서,
    상기 살색 칼라 영역에 해당되는 칼라로 설정된 살색 칼라의 범위는, 색좌표가 YCrCb이고 24비트로 표현될 때, Cb가 134와 155사이에 존재하고, Cr이 91에서 142 사이에 존재하고, Y가 60에서 230 사이에 존재하는 경우에 살색으로 판단되는 것을 특징으로 하는 영상 의존적인 얼굴 영역 추출방법.
KR10-2001-0061336A 2001-10-05 2001-10-05 영상 의존적인 얼굴 영역 추출방법 KR100422709B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2001-0061336A KR100422709B1 (ko) 2001-10-05 2001-10-05 영상 의존적인 얼굴 영역 추출방법
EP02021835A EP1300804A3 (en) 2001-10-05 2002-09-27 Face detecting method by skin color recognition
US10/263,054 US20030068083A1 (en) 2001-10-05 2002-10-01 Face detecting method depending on image
CNB021443211A CN1207924C (zh) 2001-10-05 2002-10-08 取决于图像的面部检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0061336A KR100422709B1 (ko) 2001-10-05 2001-10-05 영상 의존적인 얼굴 영역 추출방법

Publications (2)

Publication Number Publication Date
KR20030029187A KR20030029187A (ko) 2003-04-14
KR100422709B1 true KR100422709B1 (ko) 2004-03-16

Family

ID=19714890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0061336A KR100422709B1 (ko) 2001-10-05 2001-10-05 영상 의존적인 얼굴 영역 추출방법

Country Status (4)

Country Link
US (1) US20030068083A1 (ko)
EP (1) EP1300804A3 (ko)
KR (1) KR100422709B1 (ko)
CN (1) CN1207924C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087812A (ko) 2017-05-15 2018-08-02 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 얼굴 비교를 통한 개인 식별 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100488014B1 (ko) * 2002-05-28 2005-05-06 엘지전자 주식회사 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
CN100377164C (zh) * 2004-10-21 2008-03-26 佳能株式会社 用于检测图像中的人脸肤色区域的方法、装置和存储介质
JP4555197B2 (ja) * 2005-09-16 2010-09-29 富士フイルム株式会社 画像レイアウト装置および方法並びにプログラム
JP4639271B2 (ja) * 2005-12-27 2011-02-23 三星電子株式会社 カメラ
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7558416B2 (en) * 2006-10-02 2009-07-07 Johnson & Johnson Consumer Companies, Inc. Apparatus and method for measuring photodamage to skin
US8085995B2 (en) * 2006-12-01 2011-12-27 Google Inc. Identifying images using face recognition
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
CN101375791A (zh) * 2007-08-31 2009-03-04 佛山普立华科技有限公司 婴儿睡眠状态监视系统及方法
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
TWI479428B (zh) * 2008-10-14 2015-04-01 Sicpa Holding Sa 用於物品識別之方法及系統
CN101482923B (zh) * 2009-01-19 2012-05-23 刘云 视频监控中人体目标的检测与性别识别方法
CN101882223B (zh) * 2009-05-04 2015-02-04 海信集团有限公司 人体肤色的测评方法
EP2446395A1 (en) * 2009-06-25 2012-05-02 Koninklijke Philips Electronics N.V. Geture recognition using chroma- keying
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP2013111737A (ja) * 2011-12-01 2013-06-10 Sony Corp ロボット装置及びその制御方法、並びにコンピューター・プログラム
CN103793927B (zh) * 2014-02-18 2017-04-12 厦门美图网科技有限公司 一种提取主要颜色的图像分析方法
CN107798681B (zh) * 2016-09-02 2021-01-15 天津工业大学 基于数学形态学的小目标图像快速阈值分割方法
CN107194348A (zh) * 2017-05-19 2017-09-22 北京云识图信息技术有限公司 一种图像中目标物体的主颜色识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863597A (ja) * 1994-08-22 1996-03-08 Konica Corp 顔抽出方法
JPH0944670A (ja) * 1995-07-28 1997-02-14 Sharp Corp 特定画像領域抽出方法及び特定画像領域抽出装置
JP2000339471A (ja) * 1999-05-31 2000-12-08 Matsushita Electric Ind Co Ltd 画像抽出方法およびその装置
KR20030012193A (ko) * 2001-07-31 2003-02-12 주식회사 드림미르 다양한 배경의 영상데이터에서의 눈 위치 검출방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
WO1999023600A1 (en) * 1997-11-04 1999-05-14 The Trustees Of Columbia University In The City Of New York Video signal face region detection
AUPP400998A0 (en) * 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US6377702B1 (en) * 1999-12-08 2002-04-23 Sony Corporation Color cast detection and removal in digital images
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863597A (ja) * 1994-08-22 1996-03-08 Konica Corp 顔抽出方法
JPH0944670A (ja) * 1995-07-28 1997-02-14 Sharp Corp 特定画像領域抽出方法及び特定画像領域抽出装置
JP2000339471A (ja) * 1999-05-31 2000-12-08 Matsushita Electric Ind Co Ltd 画像抽出方法およびその装置
KR20030012193A (ko) * 2001-07-31 2003-02-12 주식회사 드림미르 다양한 배경의 영상데이터에서의 눈 위치 검출방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(2000. 8) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087812A (ko) 2017-05-15 2018-08-02 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 얼굴 비교를 통한 개인 식별 방법

Also Published As

Publication number Publication date
CN1207924C (zh) 2005-06-22
CN1411284A (zh) 2003-04-16
US20030068083A1 (en) 2003-04-10
KR20030029187A (ko) 2003-04-14
EP1300804A3 (en) 2005-12-21
EP1300804A2 (en) 2003-04-09

Similar Documents

Publication Publication Date Title
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
JP3769487B2 (ja) 画像肌色検出における金髪画素除去方法
JP4194025B2 (ja) 照明不変の客体追跡方法及びこれを用いた映像編集装置
US7218759B1 (en) Face detection in digital images
Chung et al. Efficient shadow detection of color aerial images based on successive thresholding scheme
JP4251719B2 (ja) 複数人物が存在する場合の人間の顔のロバスト追跡システム
US7327882B2 (en) Method and device for character location in images from digital camera
US6574354B2 (en) Method for detecting a face in a digital image
CN110008797B (zh) 一种多摄像机多人脸视频接续采集方法
Dhavalikar et al. Face detection and facial expression recognition system
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
McBride et al. A comparison of skin detection algorithms for hand gesture recognition
CN112329851A (zh) 一种图标检测方法、装置及计算机可读存储介质
Zhao et al. A robust color-independent text detection method from complex videos
WO2018151043A1 (ja) 画像処理方法、及びコンピュータプログラム
KR20090065099A (ko) 디지털 영상 특징 관리 시스템 및 그 방법
KR100488014B1 (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
JPH11306325A (ja) 対象物検出装置及び対象物検出方法
CN108875572B (zh) 基于背景抑制的行人重识别方法
KR20060007901A (ko) 영상으로부터의 중요 객체 추출 장치 및 방법
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
Khediri et al. Comparison of image segmentation using different color spaces
KR100586227B1 (ko) 색분포 학습을 통한 얼굴영역 추출 방법
Astawa et al. The impact of color space and intensity normalization to face detection performance

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091230

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee