KR100957716B1 - 가변 피부색 모델을 이용한 피부색 영역 검출 방법 - Google Patents

가변 피부색 모델을 이용한 피부색 영역 검출 방법

Info

Publication number
KR100957716B1
KR100957716B1 KR1020080098058A KR20080098058A KR100957716B1 KR 100957716 B1 KR100957716 B1 KR 100957716B1 KR 1020080098058 A KR1020080098058 A KR 1020080098058A KR 20080098058 A KR20080098058 A KR 20080098058A KR 100957716 B1 KR100957716 B1 KR 100957716B1
Authority
KR
South Korea
Prior art keywords
skin color
region
skin
color
area
Prior art date
Application number
KR1020080098058A
Other languages
English (en)
Other versions
KR20100038899A (ko
Inventor
도준형
김근호
김종열
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020080098058A priority Critical patent/KR100957716B1/ko
Priority to PCT/KR2009/005422 priority patent/WO2010041836A2/en
Priority to US13/058,903 priority patent/US8457394B2/en
Publication of KR20100038899A publication Critical patent/KR20100038899A/ko
Application granted granted Critical
Publication of KR100957716B1 publication Critical patent/KR100957716B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 가변 피부색 모델을 이용한 피부색 영역 검출 방법에 관한 것으로, 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법은 입력영상에 대해 피부색 모델을 이용하여 피부색 영역을 추출하되, 영상 전체 크기와 추출된 피부색 영역의 크기 비율이 일정한 값보다 작을 때까지 피부색 영역 선택 기준이 되는 문턱값을 조정하여 피부색 영역을 반복 추출하는 제 1 단계 및 상기 제 1 단계에서 결정된 문턱값을 상기 피부색 모델에 적용시켜 피부색 영역을 추출하되, 사물 영역과 잡음 영역의 특징을 분석하여 상기 피부색 모델을 수정하는 제 2 단계를 포함하여 이루어져, 다양한 조명과 배경에도 높은 피부색 사물 검출률과 낮은 오경보(false alarm)율을 가지는 장점이 있다.
피부색, 추출, 피부색 모델, 확률, 사물 영역, 잡음 영역

Description

가변 피부색 모델을 이용한 피부색 영역 검출 방법{Extraction Method of Skin-Colored Region using Variable Skin Color Model}
본 발명은 가변 피부색 모델을 이용한 피부색 영역 검출 방법에 관한 것으로, 특히 다양한 조명과 배경 조건하에서도 정확도가 높은 피부색 영역 검출 방법에 관한 것이다.
카메라에 의해 쵤영된 영상으로부터 안면 진단, 얼굴 인식 등의 목적으로 얼굴 부분을 자동으로 검출하는 기술과, 얼굴 자동 추적 기능을 구현하기 위한 얼굴 부분을 자동으로 검출하는 기술이 개발되고 있는데, 이를 위해서 일반적으로 피부색 검출 방법이 많이 사용되고 있다.
일반적으로 사람마다 피부색 분포가 다르고, 조명과 환경 조건에 따라서 피부색의 분포가 달라지므로 입력 영상에 따라 정확한 피부색 영역을 추출하기가 어렵다.
또한 피부색으로 간주하는 컬러값의 범위가 클 경우 입력 영상의 특징에 상관없이 피부색 영역 추출은 가능하나 피부색이 아닌 영역을 피부색으로 간주하는 오경보(false alarm)혹은 오수락(false acceptance)이 발생하게 되고, 반대로 피부 색으로 간주되는 컬러값의 범위가 작을 경우, 피부색 영역인데 피부색이 아닌 것으로 간주하는 오거부(false rejection)가 발생하게 되는 문제점이 있다.
따라서, 입력 영상의 특징에 맞게 정확한 피부색 영역을 추출하기 위한 모델의 변형이 필요하다.
이와 관련된 종래 기술을 살펴보면 다음과 같다.
먼저, 피부색 모델을 위한 알지비 맵 생성장치 및 방법과 이를 이용한 피부색 검출장치 및 방법(대하민국 등록특허 2007-0016664, 2007. 02. 08 등록)은 하나의 고정된 피부색 모델을 이용하여 고속으로 피부색 영역을 추출하는 방법인데, 이 경우 조명 조건 변화나, 입력 영상의 특성에 따라 피부색 검출의 정확도가 떨어지는 단점이 있다.
또 다른 종래 기술은 실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한 로봇(대한민국 등록특허 2007-0008271, 2007. 01. 17 등록)이 있는데, 이 기술은 마찬가지로 하나의 피부색 모델을 이용하여 사람을 검출하기 때문에 조명 조건이나, 배경 또는 입력 영상의 특성에 따라 피부색 검출의 정확도가 떨어진다.
또 다른 종래 기술인 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법(대한민국 등록특허 2006-0012777, 2006.02.09)은 피부색 픽셀로 감지되는 픽셀값의 범위로 설정된 초기 설정 피부색 모델을 이용하여 피부색의 영상을 감지한다. 이 경우 입력 영상의 특징에 따라 피부색 픽셀로 감지되는 픽셀값의 범위가 작으면 조명에 민감해져 피부색 영역인데 피부색이 아닌 영역으로 간주되는 오거부(false rejection)가 발생하게 되는 문제점이 있다. 반면, 픽셀값의 범위가 크게 되면 피 부색이 아님에도 피부색으로 간주되는 오경보(false alarm) 또는 오수락(false acceptance)이 증가하게 되는 문제점이 발생한다.
또 다른 종래 기술인 망진을 위한 얼굴내 특징 요소 추출(대한민국 등록특허 2005-0050061)은 RGB 영상을 YCbCr 영상으로 변환하여 Cb, Cr 의 값이 특정 범위안에 드는 경우 피부색으로 간주하는 방법으로, 고정된 피부색 모델을 이용하여 피부색을 검출한다. 이 경우, 상기 종래 기술과 마찬가지로 고정된 피부색 모델을 사용하기 때문에 피부색 검출의 정확도가 떨어지는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법은 입력 영상의 특징을 고려하여 피드백 정보를 이용하여 피부색 모델을 수정함으로써 피부색 검출 정확도가 향상된 가변 피부색 모델을 이용한 피부색 영역 검출 방법을 제공하는데 그 목적이 있다.
상기한 과제를 해결하기 위한 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법은 입력영상에 대해 피부색 모델을 이용하여 피부색 영역을 추출하되, 영상 전체 크기와 추출된 피부색 영역의 크기 비율이 일정한 값보다 작을 때까지 피부색 영역으로 간주하기 위한 문턱값을 조정하여 피부색 영역을 반복 추출하는 제 1 단계 및 상기 제 1 단계에서 구한 피부색 영역 추출 문턱값을 이용하 여 상기 피부색 모델을 적용시켜 피부색 영역을 추출하되, 사물 영역과 잡음 영역의 특징을 분석하여 상기 피부색 모델을 수정하는 제 2 단계를 포함하여 이루어진다.
여기서, 상기 제 1 단계 또는 제 2 단계에서 피부색 영역 추출은 하기의 식에 의해 이루어진다.
Figure 112008069896538-pat00001
여기서, skin(x,y)는 픽셀(x,y)의 색상값인 color(x,y)가 피부색인지의 여부(1인 경우에는 피부색, 0인 경우에는 피부색이 아닌 것으로 간주한다), p(skin|color(x,y))은 주어진 픽셀(x,y)의 색상값인 color(x,y)가 피부색일 확률값인 피부색 모델이며,
Figure 112008069896538-pat00002
는 피부색 영역 추출 문턱값이다.
또한, 상기 제 1 단계는 입력 영상에 대해 초기에 설정된 피부색 모델을 이용하여 피부색 영역을 추출하는 제 1 과정, 영상의 전체 크기와 상기 제 1 과정에서 추출된 피부색 영역의 크기 비율을 계산하여 분석하는 제 2 과정, 상기 제 2 과정에서 계산된 영상 전체 크기와 추출된 피부색 영역의 크기 비율을 설정된 기준값과 비교하여 원하는 피부색 영역이 검출되었는지 판단하는 제 3 과정 및 상기 영상 전체 크기와 추출된 피부색 영역의 크기 비율이 설정된 기준값보다 큰 경우에는 피부색 영역 추출 기준값(
Figure 112008069896538-pat00003
)을 증가시켜 다시 상기 제 1 과정부터 반복하게 하는 제 4 과정을 포함하여 이루어진다.
여기서, 상기 초기 피부색 모델은 다수의 영상들을 모아 데이터베이스를 구축하여, 피부색으로 사용된 컬러값과 피부색으로 사용되지 않은 컬러값을 통계 낸 후, 히스토그램을 이용하거나 가우시안 함수를 이용하여 피부색 확률 모델을 근사화시켜 생성된 것을 특징으로 한다.
또한, 상기 초기 피부색 모델을 구축하는데 사용되는 색공간은 RGB, YCbCr, YUV, HSV, HLS, CIE, CIE L*a*b, CIE L*u*v, Normalized RGB 들 중 하나이며, 선택된 색공간에서 밝기 정보를 제외하고 색상 정보만을 이용하여 구축된 것을 특징으로 한다.
상기 초기 피부색 모델은 영상에서 밝기 정보를 제외하고 색상 정보만을 이용하여 구축된 것을 특징으로 한다.
또한, 상기 제 2 단계는 상기 제 1 단계에서 결정된 '피부색 영역 선택을 위한 문턱값'을 이용하여 상기 피부색 모델을 적용시켜 피부색 영역을 추출하는 제 1 과정, 상기 제 1 과정에서 추출된 피부색 영역 중 사물 영역과 잡음 영역을 구분하고, 상기 사물 영역과 잡음 영역의 특징을 분석하는 제 2 과정, 상기 사물 영역의 개수가 일정 수준을 유지하기 시작하는지 검사하여 원하는 피부색 영역이 추출되었는지 판단하는 제 3 과정, 상기 사물 영역의 개수가 일정 수준을 유지하지 않는 경우에는 상기 피부색 모델을 수정하여 상기 제 1 과정부터 반복하게 하는 제 4 과정 및 상기 사물 영역의 개수가 일정 수준을 유지하는 경우에는 피부색 영역 추출 결과를 출력하는 제 5 과정을 포함하여 이루어진다.
여기서, 상기 제 2 과정은 추출된 피부색 영역을 크기를 고려하여 사물 영역과 잡음 영역으로 구분하는 제 1 서브과정 및 상기 사물 영역과 잡음 영역의 특징을 분석하는 제 2 서브과정을 포함하여 이루어진다.
여기서, 상기 제 2 서브과정은 각 영역의 개수, 넓이, 반복수행 이전의 피부색 모델을 사용하였을때 추출된 영역과 비교하여 영역 개수의 변화 히스토리, 영역 넓이의 변화 히스토리, 전체 영상에서 추출된 피부색 영역의 비율을 파악하여 분석한다.
상기 제 3 과정은 상기 제 2 과정의 분석 결과를 기반으로 사물 영역의 개수가 급속하게 감소한 뒤 일정 수준을 유지하였는지 여부 또는 일정 반복 횟수를 거친 후 사물 영역 개수가 일정 수준을 유지하였는지 여부를 기준으로 판단한다.
여기서, 상기 제 4 과정에서 상기 피부색 모델은 k 번째 반복 과정에서의 피부색 모델이 P k (skin|color)인 경우, k-1번째 반복 과정의 피부색 모델 P k -1(skin|color)에서 '잡음(noise)영역에 포함되는 확률'이 높은 색상값이 피부색일 확률을 0으로 만들고, '사물(object)영역에 포함되는 확률'이 높은 색상값이 피부색일 확률은 동일하게 유지하는 것을 특징으로 한다.
상기와 같이 구성되는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법은 피부색 검출 결과를 직접 피드백 받아 피부색 영역 선택 기준과 피 부색 모델을 수정함으로써, 다양한 조명과 배경에도 높은 피부색 사물 검출률과 낮은 오경보(false alarm)율을 가지는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용 및 실시예를 설명하면 다음과 같다.
먼저, 본 발명에서 사용되는 기본적인 피부색 모델에 관하여 설명한다.
상기 기본적인 피부색 모델은 P(skin|color(x,y))와 같이 표현되는데, 여기서 P는 주어진 픽셀(x,y)의 색상값 color(x,y)이 피부색일 확률을 의미한다. 만약 확률적인 연산이 아니라 피부색 인지 아닌지의 이분법적으로 구분이 필요한 경우에 p값은 피부색이 아닌 경우에는 0의 값을 가지고, 피부색인 경우에는 1의 값을 가진다.
입력 영상에 상기 피부색 모델을 적용하여 피부색 영역과 그렇지 않은 영역으로 분할하는 경우, 하기의 수학식 1과 같이 표현된다.
Figure 112008069896538-pat00004
여기서, skin(x,y)는 픽셀(x,y)의 색상값인 color(x,y)가 피부색인지의 여부 를 말하는데, (x,y)좌표에서 1의 값을 가지면 피부색 영역을 의미하고, 0의 값을 가지는 피부색 영역이 아닌 것을 의미하는 함수이다.
또한, 상기
Figure 112008069896538-pat00005
는 피부색 모델로부터 피부색 영역을 선택하기 위한 문턱값(threshold value)으로 상수이며, 0 에서 1 사이의 값이다.
도 1은 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 개념이 대략적으로 도시된 순서도이다.
본 발명은 먼저, 오경보(false alarm) 여부에 상관없이 오거부(false rejection)를 최소화하도록 초기 피부색 모델을 설정하여 피부색 영역을 추출한다.
다음으로, 추출된 피부색 영상 결과를 피드백 받아, 피부색 영상의 특징을 추출 및 분석하고, 수정이 필요한 경우에는 원하는 피부색 영역만이 추출될 때까지 상기 피부색 영역 선택 기준 및 피부색 모델을 수정한다.
여기서, 피부색 영역 선택 기준을 수정한다는 것은 상기 피부색 영역을 결정하기 위한 문턱값
Figure 112008069896538-pat00006
를 수정하는 것을 의미한다.
도 2는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 전체 알고리즘이 도시된 순서도이며, 도 3은 전체 영상이 피부색 톤과 유사한 색으로 구성된 일례가 도시된 도이다.
도 2를 참조하면, 본 발명은 먼저, 큰 2 개의 단계로 나누어 질 수 있다.
첫번째 단계(Stage 1)는 도 3과 같이 전체 영상이 피부색 톤을 가질 경우를 대비하여, 전체적인 영상에서 피부색 영역의 비율에 따라 피부색 영역으로 간주하기 위한 조건인 피부색 영역 선택 기준을 조정하는 단계이다.
즉, 첫번째 단계(Stage 1)는 상기 수학식 1에서
Figure 112008069896538-pat00007
값을 수정하는 단계이다.
두번째 단계(Stage 2)는 출력된 피부색 영상에서 사물(object)과 노이즈 특성을 고려하여 피부색 모델을 수정하는 단계이다.
즉, 두번째 단계(Stage 2)는 상기 수학식 1에서 P(skin|color(x,y))를 수정하는 단계이다.
이 경우, 배경의 대부분이 피부색 톤을 가지는 영상을 다루지 않는 경우에는 상기 첫번째 단계(Stage 1)는 생략될 수 있다.
도 4는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 첫번째 단계(Stage 1)가 구체적으로 도시된 순서도이다.
도 4를 참조하여, 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 첫번째 단계(Stage 1)를 상세히 설명하면 다음과 같다.
먼저, 입력받은 영상에 대해 초기에 설정된 피부색 모델을 이용하여 피부색 영역을 검출한다(S1-1).
즉, 먼저 초기 피부색 모델 P(skin|color)을 설정한다.
여기서, 상기 초기 피부색 모델은 가능한 모든 피부색 영역이 검출될 수 있도록 피부색 픽셀로 감지되는 픽셀값의 범위를 넓게 설정한다.
즉, 초기 피부색 영역 검츨 결과에서 오경보(false alarm)가 증가하더라도 오거부(false rejection)를 0에 가깝도록 한다.
초기 피부색 모델의 예로는 기존 사진들을 모아 데이터베이스를 구축하고, 피부색으로 사용된 컬러값과 피부색으로 사용되지 않은 컬러 값을 통계낸 후, 히스토그램을 이용하거나 가우시안 함수를 이용하여 피부색 확률 모델을 근사화시켜 만들 수 있다.
상기 피부색 모델을 구축하는데 사용할 수 있는 색공간의 예로는 RGB, YCbCr, YUV, HSV, HLS, CIE, CIE L*a*b, CIE L*u*v, Normalized RGB 등이 있으며, 조명의 변화에 둔감한 피부색 모델을 만들기 위해 밝기 정보(예를 들면, YCbCr에서 Y값, YUV 에서 Y값, CIE L*a*b 에서 L값 등)를 제외하고 색상정보만을 사용하여 피부색 모델을 구축한다.
다음으로, 상기 초기 피부색 모델을 이용하여 초기 피부색 영역을 추출한다.
여기서, 초기 피부색 영역을 추출시 피부색 모델을 설정할때와 마찬가지로 가능한 모든 피부색 영역이 검출될 수 있도록, 피부색으로 간주되기 위한 조건을 최대한 완화한다.
즉, 초기에는 수학식 1에서
Figure 112008069896538-pat00008
값을 가능한 0에 가까운 작은 값으로 설정한다. 일례로
Figure 112008069896538-pat00009
값은 0 에서 0.1 사이의 값으로 설정될 수 있다.
이렇게 초기 피부색 모델을 이용하여 초기 피부색 영역을 추출한 후에는 추출된 피부색 영역을 분석한다(S1-2).
즉, 영상의 전체 크기와 추출된 피부색 영역의 크기의 비율을 계산한다.
다음으로, 원하는 피부색 영역이 추출되었는지 판단한다(S1-3).
즉, 이 과정은 영상의 전체 크기와 추출된 피부색 영역의 크기와의 비율을 고려하여, 피부색 영역 선택 문턱값을 수정하고 피부색 영역을 재추출하는 과정(S1-4 → S1-1 → S1-2 → S1-3)을 거칠 것인지, 반복과정을 중단할 것인지 판단하는 것이다.
이 과정을 보다 구체적으로 설명하면, 먼저 상기 비율이 일정한 기준값보다 작을 경우에는 두번째 단계(Stage 2)로 넘어간다.
만약 영상 전체 크기와 추출된 피부색 영역의 크기 비율이 일정한 기준값보다 클 경우에는 피부색 재추출하는 반복과정을 수행한다.
여기서, 상기 기준값은 인물의 피부색과 배경의 피부색을 구별하는 기준이 되는 값으로 설정할 수 있다. 즉, 지나치게 영상에서 큰 영역의 피부색은 인물의 피부색이 아니라고 판단하고 재추출하는 과정으로 들어가는 것이다.
여기서, 재추출 과정으로 들어가는 경우에는 피부색 영역 선택 기준을 강화한다(S1-4). 즉, 수학식 1에서,
Figure 112008069896538-pat00010
의 값을 조금씩 증가시키는 것이다.
Figure 112008069896538-pat00011
값이 증가할수록 피부색으로 식별되는 컬러 영역의 범위가 줄어든다.
도 5는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 두번째 단계(Stage 2)가 도시된 순서도이다.
도 5를 참조하여, 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 두번째 단계(Stage 2)를 상세히 설명하면 다음과 같다.
본 발명의 두번째 단계는 초기 피부색 모델을 수정하는 단계로써, 먼저 상기 첫번째 단계에서 최종적으로 구한
Figure 112008069896538-pat00012
값을 이용하고, 입력 영상에 대해 피부색 모델을 적용시켜 피부색 영역을 추출한다(S2-1).
다음으로, 추출된 피부색 영역을 분석한다(S2-2).
분석과정을 보다 상세히 설명하면, 먼저 추출된 피부색 영역을 사물(object)영역과 잡음(noise)영역으로 나눈다. 이 경우 사물 영역과 잡음 영역의 구분은 추출된 영역의 크기를 고려하여 결정한다. 일반적으로 잡음 영역의 경우 그 크기가 사물 영역에 비해 작음을 알 수 있다.
다음으로, 사물 영역과 잡음 영역의 특징들을 분석한다. 각 영역의 특징들의 예로는 각 영역의 개수, 넓이, 이전 피부색 모델을 사용하였을 때 추출된 영역과 비교하여 영역 개수의 변화 히스토리(history), 영역 넓이의 변화 히스토리(history), 전체 영상에서 추출된 피부색 영역의 비율 등이 있다.
원하는 피부색 영역이 검출되었는지 판단하고(S2-3), 만약 원하는 피부색 영역이 검출되지 않은 경우에는 피부색 모델을 수정하여 저장하고(S2-4), 다시 수정된 피부색 모델을 적용시켜 피부색 영역을 추출하고 분석하는 과정을 원하는 피부 색이 검출될 때까지 반복한다(S2-1 ~ S2-3 반복).
만약 원하는 피부색 영역이 검출되는 경우에는 그 결과를 출력한다(2-5).
여기서, 원하는 피부색 영역이 추출되었는지 판단하는 과정을 보다 상세히 설명하면, 먼저 사물 영역과 잡음 영역의 특징들과 피부색 모델의 수정 횟수를 고려하여 피부색 모델 수정하고 피부색 영역을 재추출하는 과정(S2-4 → S2-1 → S2-2 → S2-3)을 거칠 것인지, 상기 반복과정을 중단할 것인지 판단한다.
원하는 피부색 영역이 추출되었는지의 판단 기준의 예를 들면 다음과 같다.
a. 사물 영역의 개수가 급속하게 감소한뒤 일정 수준을 유지하기 시작하는 시점
b. 일정 횟수동안 '피부색 모델 수정과정 + 피부색 영역 재추출 과정'을 거친 뒤 사물 영역 개수가 일정 수준을 유지하기 시작하는 시점
상기 두 조건을 이용하여 원하는 피부색 영역의 추출되었는지 판단한다.
여기서 일정 수준을 유지하기 시작하는 시점은 반복 횟수에 따른 사물 영역 개수의 히스토리에서 처음으로 로컬 미니멈(Local Minimum)인 지점을 계산하여 찾는다.
원하는 피부색 영역이 추출되지 않았다고 판단되는 경우 피부색 모델을 수정하는 구체적인 과정은 다음과 같다.
k 번째 반복 과정에서 피부색 모델을 P k (skin|color)은 다음과 같이 수정되어 진다.
k-1 번째 반복 과정에서의 피부색 모델 P k -1(skin|color)에서, 잡음(noise) 영역에 포함되는 확률이 높은 색상값(예로 color=c1 이라 가정)이 피부색일 확률을 0으로 만든다. 즉, P k (skin|c1)=0 으로 설정한다.
다음으로, 사물(object) 영역에 포함되는 확률이 높은 색상 값(예, color=c2 이라 가정)이 피부색일 확률은 원래의 확률값을 유지한다. 즉, P k (skin|c2)=P k -1(skin|c2)로 설정한다.
이를 수학식으로 표현하면 하기의 수학식 2와 같다.
Figure 112008069896538-pat00013
이때, k-1 번째 반복 과정에서, 주어진 픽셀(x,y)의 색상값 color(x,y)이 피부색에 해당하고, 사물(object) 영역에 포함되는 확률P(object|(skin|color))은 베이즈 정리(Bayes' Theorem)에 의해 하기의 수학식 3과 같이 계산된다.
Figure 112008069896538-pat00014
여기서, os[color]는 피부색으로 검출된 영역 중 사물(object) 영역내에서 색상값 'color'를 가지는 픽셀의 개수, ns[color]는 피부색으로 검출된 영역 중 잡음(noise) 영역내에서 색상값 'color'를 가지는 픽셀의 개수, Tos는 피부색으로 검출된 영역 중 사물(object) 영역내의 모든 픽셀의 개수, Tns는 피부색으로 검출된 영역 중 잡음(noise) 영역내의 모든 픽셀의 개수를 말한다.
도 6a 내지 도 8c는 입력 영상에 대해 종래 기술을 적용한 경우의 피부색 추출 결과와 본 발명을 적용한 경우의 피부색 추출 결과가 비교 도시된 도이다.
도 6a, 도 7a 및 도 8a는 입력 영상이 도시된 도이며, 도 6b, 도 7b 및 도 8b는 고정된 피부색 선택 기준과 고정된 피부색 모델을 사용한 경우의 추출 결과가 도시된 도이며, 도 6c, 도 7c 및 도 8c는 본 발명에 따른 피부색 추출 결과가 도시된 도이다.
도 6a의 경우, 사물(인물)의 피부색 영역 뿐만 아니라 배경의 피부색 영역도 입력 영상에 섞여 있는 것을 알 수 있다.
종래의 기술, 즉 고정된 피부색 추출 기준과 고정된 피부색 모델을 사용했을 경우에는 도 6b와 같이, 잡음 영역인 배경의 피부색 영역도 추출되므로, 원하고자 하는 인물의 피부색만 정확히 추출되지 않음을 알 수 있다.
그러나, 도 6c의 경우 본 발명의 피부색 영역 검출 방법을 적용한 것으로, 배경의 잡음 영역의 피부색 영역은 배제되고, 순수 인물의 피부색 영역만 추출된 것을 알 수 있다.
이는 잡음 영역의 피부색이 검출될 경우 본 발명의 두 번째 단계(Stage 2)에서 잡음 영역 내의 피부색 영역을 검출하여 잡음 영역의 색상을 피부색 영역에서 배제시키도록 피부색 모델을 수정했기 때문에 도 6c와 같이 순수 인물의 피부색만 추출할 수 있는 것이다.
도 7a의 경우, 배경의 색상이 인물의 피부색과 유사한 톤으로 구성되는데, 고정된 기준을 가지는 종래 기술을 적용할 경우, 도 7b와 같이 배경의 피부색 톤도 모두 피부색 영역으로 추출되기 때문에 정확한 인물의 피부색 영역만을 추출할 수 없다.
그러나, 본 발명의 피부색 영역 추출 방법을 사용하면, 피부색 모델에서 피부색 영역 선택 문턱값을 원하는 영상이 나올때까지 조절하여 피부색 영역을 추출한 후 남은 잡은 영역이 제거되도록 피부색 모델을 수정하므로 도 7c와 같이 보다 정확한 피부색 영역을 추출할 수 있다.
도 8a의 경우에도 배경의 절반 부분이 피부색 톤과 유사하나 본 발명의 피부색 영역 추출 방법을 사용하면 도 8c와 같이 정확한 인물의 피부색 영역만을 추출할 수 있다.
이상과 같이 본 발명에 의한 가변 피부색 모델을 이용한 피부색 영역 검출 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
도 1은 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 개념이 대략적으로 도시된 순서도,
도 2는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 전체 알고리즘이 도시된 순서도,
도 3은 전체 영상이 피부색 톤과 유사한 색으로 구성된 일례가 도시된 도,
도 4는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 첫번째 단계(Stage 1)가 도시된 순서도,
도 5는 본 발명에 따른 가변 피부색 모델을 이용한 피부색 영역 검출 방법의 두번째 단계(Stage 2)가 도시된 순서도,
도 6a 내지 도 8c는 입력 영상에 대해 종래 기술을 적용한 경우의 피부색 추출 결과와 본 발명을 적용한 경우의 피부색 추출 결과가 비교 도시된 도이다.

Claims (14)

  1. 입력영상에 대해 피부색 모델을 이용하여 피부색 영역을 추출하되, 상기 추출된 피부색 영역의 크기를 영상 전체 크기로 나눈 값이 일정한 값보다 작을 때까지 피부색 영역 선택 기준이 되는 문턱값을 조정하여 피부색 영역을 반복 추출하는 제 1 단계; 및
    상기 제 1 단계에서 결정된 문턱값보다 상기 피부색 모델의 확률값이 큰 영역을 피부색 영역으로 추출하고, 상기 추출된 피부색 영역의 크기가 미리 설정된 제1 기준값보다 크면 사물영역으로, 상기 제1 기준값보다 작으면 잡음 영역으로 구분한 후, 상기 사물 영역과 잡음 영역의 특징을 분석하여 상기 피부색 모델을 수정하는 제 2 단계를 포함하여 이루어지는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  2. 청구항 1에 있어서,
    상기 제 1 단계 또는 제 2 단계에서 피부색 영역 추출은 하기의 식에 의해 이루어지는 것을 특징으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
    Figure 112008069896538-pat00015
    (여기서, skin(x,y)는 픽셀(x,y)의 색상값인 color(x,y)가 피부색인지의 여부를 나타내는 함수, P(skin|color(x,y))은 주어진 픽셀(x,y)의 색상값인 color(x,y)가 피부색일 확률값인 피부색 모델이며,
    Figure 112008069896538-pat00016
    는 피부색 영역 선택 기준이 되는 문턱값)
  3. 청구항 2에 있어서,
    상기 제 1 단계는 입력 영상에 대해 초기에 설정된 피부색 모델을 이용하여 피부색 영역을 추출하는 제 1 과정;
    상기 제 1 과정에서 추출된 피부색 영역의 크기를 영상 전체 크기로 나누는 제 2 과정;
    상기 제 2 과정에서 계산된 추출된 피부색 영역의 크기를 영상 전체 크기로 나눈 값을 설정된 기준값과 비교하여 원하는 피부색 영역이 검출되었는지 판단하는 제 3 과정; 및
    상기 계산된 추출된 피부색 영역의 크기를 영상 전체 크기로 나눈 값이 설정된 기준값보다 큰 경우에는 피부색 영역 선택 기준이 되는 문턱값(
    Figure 112010018003074-pat00035
    )을 증가시켜 다시 상기 제 1 과정부터 반복하게 하는 제 4 과정을 포함하여 이루어지는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  4. 청구항 3에 있어서,
    상기 제 1 과정은 초기 피부색 모델을 설정하는 제 1 서브과정; 및
    상기 초기 피부색 모델과 0에서 0.1 사이의 값을 가지는 문턱값(
    Figure 112008069896538-pat00018
    )을 이용하여 초기 피부색 영역을 추출하는 제 2 서브과정을 포함하여 이루어지는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  5. 청구항 4에 있어서,
    상기 초기 피부색 모델은 다수의 영상들을 모아 데이터베이스를 구축하여, 피부색으로 사용된 컬러값과 피부색으로 사용되지 않은 컬러값을 통계 낸 후, 히스토그램을 이용하거나 가우시안 함수를 이용하여 피부색 확률 모델을 근사화시켜 생성된 것을 특징으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  6. 청구항 4에 있어서,
    상기 초기 피부색 모델을 구축하는데 사용되는 색공간은 RGB, YCbCr, YUV, HSV, HLS, CIE, CIE L*a*b, CIE L*u*v, Nomalized RGB 중 하나인 것을 특징으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  7. 청구항 4에 있어서,
    상기 초기 피부색 모델은 영상에서 밝기 정보를 제외하고 색상 정보만을 이용하여 구축된 것을 특징으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  8. 청구항 2에 있어서,
    상기 제 2 단계는 상기 제 1 단계에서 결정된 문턱값보다 상기 피부색 모델의 확률값이 큰 영역을 피부색 영역으로 추출하는 제 1 과정;
    상기 제 1 과정에서 추출된 피부색 영역의 크기가 미리 설정된 제1 기준값보다 크면 피부색 영역으로, 상기 제1 기준값보다 작으면 잡음 영역으로 구분한 후, 상기 사물 영역과 잡음 영역의 특징을 분석하는 제 2 과정;
    상기 사물 영역의 개수가 상기 제1과정부터 제 4과정까지의 반복에도 일정 개수를 유지하기 시작하는지 검사하여 원하는 피부색 영역이 추출되었는지 판단하는 제 3 과정;
    상기 사물 영역의 개수가 일정 개수를 유지하지 않는 경우에는 상기 피부색 모델을 수정하여 상기 제 1 과정부터 반복하게 하는 제 4 과정; 및
    상기 사물 영역의 개수가 제1과정부터 제 4과정까지의 반복에도 일정 개수를 유지하는 경우에는 피부색 영역 추출 결과를 출력하는 제 5 과정을 포함하여 이루어지는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  9. 청구항 8에 있어서,
    상기 제 2 과정은 추출된 피부색 영역의 크기를 고려하여, 상기 추출된 피부색 영역의 크기가 미리 설정된 제1 기준값보다 크면 피부색 영역으로, 상기 제1 기준값보다 작으면 잡음 영역으로 구분하는 제 1 서브과정; 및
    상기 사물 영역과 잡음 영역의 특징을 분석하는 제 2 서브과정을 포함하여 이루어지는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  10. 청구항 1에 있어서,
    상기 사물 영역과 잡음 영역의 특징은 각 영역의 개수, 넓이, 반복수행 이전의 피부색 모델을 사용하였을때 추출된 영역과 비교하여 영역 개수의 변화 히스토리, 영역 넓이의 변화 히스토리, 전체 영상에서 추출된 피부색 영역의 비율 중 적어도 하나를 포함하는 것을 특징으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  11. 청구항 8에 있어서,
    상기 제 3 과정은 상기 제 2 과정의 분석 결과를 기반으로 사물 영역의 개수가 급속하게 감소한 뒤 일정 개수를 유지하였는지 여부 또는 상기 제 1과정부터 상기 제 4과정까지의 반복 과정을 일정 반복 횟수 만큼 거친 후 사물 영역 개수가 일정 개수를 유지하였는지 여부를 기준으로 판단하는 것을 특징으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  12. 청구항 11에 있어서,
    상기 제 3과정에서 사물 영역의 개수가 일정 개수를 유지하는 시점은 사물 영역 개수의 변화 히스토리에서 첫 번째 로컬 미니멈(local minimum)을 가지는 지점으로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법.
  13. 삭제
  14. 청구항 8에 있어서,
    상기 제 4 과정에서 상기 피부색 모델의 수정은 k 번째 반복 과정에서의 피부색 모델이 P k (skin|color)인 경우, 하기의 수학식에 의해 이루어지는 것을 특징으 로 하는 가변 피부색 모델을 이용한 피부색 영역 검출 방법,
    Figure 112008069896538-pat00019
    Figure 112008069896538-pat00020
    (여기서, P(object|(skin|color))는 주어진 픽셀(x,y)의 색상값 color(x,y)이 피부색에 해당하고 사물(object) 영역에 포함되는 확률이며, k 는 반복 수행 횟수, os[color]는 피부색으로 검출된 영역 중 사물(object) 영역내에서 색상값 'color'를 가지는 픽셀의 개수, ns[color]는 피부색으로 검출된 영역 중 잡음(noise) 영역내에서 색상값 'color'를 가지는 픽셀의 개수, Tos는 피부색으로 검출된 영역 중 사물(object) 영역내의 모든 픽셀의 개수, Tns는 피부색으로 검출된 영역 중 잡음(noise) 영역내의 모든 픽셀의 개수).
KR1020080098058A 2008-10-07 2008-10-07 가변 피부색 모델을 이용한 피부색 영역 검출 방법 KR100957716B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080098058A KR100957716B1 (ko) 2008-10-07 2008-10-07 가변 피부색 모델을 이용한 피부색 영역 검출 방법
PCT/KR2009/005422 WO2010041836A2 (en) 2008-10-07 2009-09-23 Method of detecting skin-colored area using variable skin color model
US13/058,903 US8457394B2 (en) 2008-10-07 2009-09-23 Method of detecting skin-colored area using variable skin color model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080098058A KR100957716B1 (ko) 2008-10-07 2008-10-07 가변 피부색 모델을 이용한 피부색 영역 검출 방법

Publications (2)

Publication Number Publication Date
KR20100038899A KR20100038899A (ko) 2010-04-15
KR100957716B1 true KR100957716B1 (ko) 2010-05-12

Family

ID=42101062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080098058A KR100957716B1 (ko) 2008-10-07 2008-10-07 가변 피부색 모델을 이용한 피부색 영역 검출 방법

Country Status (3)

Country Link
US (1) US8457394B2 (ko)
KR (1) KR100957716B1 (ko)
WO (1) WO2010041836A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2909809A4 (en) * 2012-10-22 2016-08-10 Nokia Technologies Oy CLASSIFICATION OF IMAGE SAMPLES
US20140177908A1 (en) * 2012-12-26 2014-06-26 Himax Technologies Limited System of object detection
US20150055858A1 (en) * 2013-08-21 2015-02-26 GM Global Technology Operations LLC Systems and methods for color recognition in computer vision systems
JP2015180045A (ja) * 2014-02-26 2015-10-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9251567B1 (en) 2014-03-13 2016-02-02 Google Inc. Providing color corrections to photos
JP2015184906A (ja) * 2014-03-24 2015-10-22 富士通株式会社 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding
US10628700B2 (en) 2016-05-23 2020-04-21 Intel Corporation Fast and robust face detection, region extraction, and tracking for improved video coding
KR102623989B1 (ko) * 2016-08-01 2024-01-11 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN107633252B (zh) * 2017-09-19 2020-04-21 广州市百果园信息技术有限公司 肤色检测方法、装置及存储介质
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180627A1 (en) 2004-02-13 2005-08-18 Ming-Hsuan Yang Face recognition system
US20070110322A1 (en) 2005-09-02 2007-05-17 Alan Yuille System and method for detecting text in real-world color images
JP2007257087A (ja) 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US7302096B2 (en) * 2002-10-17 2007-11-27 Seiko Epson Corporation Method and apparatus for low depth of field image segmentation
US7542600B2 (en) * 2004-10-21 2009-06-02 Microsoft Corporation Video image quality
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
US7869631B2 (en) * 2006-12-11 2011-01-11 Arcsoft, Inc. Automatic skin color model face detection and mean-shift face tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180627A1 (en) 2004-02-13 2005-08-18 Ming-Hsuan Yang Face recognition system
US20070110322A1 (en) 2005-09-02 2007-05-17 Alan Yuille System and method for detecting text in real-world color images
JP2007257087A (ja) 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
배정태, 박창범, 이성환, 칼라 양자화 맵의 영역 히스토그램에 기반한 조명 적응적 피부색 검출, 한국정보과학회 2007 한국컴퓨터종합학술대회 논문집, 제34권 제1호(A), pp. 222-223, 2007년 6월.*

Also Published As

Publication number Publication date
US20110142338A1 (en) 2011-06-16
WO2010041836A2 (en) 2010-04-15
WO2010041836A3 (en) 2010-07-15
US8457394B2 (en) 2013-06-04
KR20100038899A (ko) 2010-04-15

Similar Documents

Publication Publication Date Title
KR100957716B1 (ko) 가변 피부색 모델을 이용한 피부색 영역 검출 방법
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
US7657090B2 (en) Region detecting method and region detecting apparatus
KR101993266B1 (ko) 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
EP2959454B1 (en) Method, system and software module for foreground extraction
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
US7925093B2 (en) Image recognition apparatus
US20210133980A1 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
JP2007517315A (ja) デジタルカラー画像における空の検出
JP2007257087A (ja) 肌色領域検出装置及び肌色領域検出方法
KR101035768B1 (ko) 립 리딩을 위한 입술 영역 설정 방법 및 장치
US11615626B2 (en) Method, system and computer readable medium for estimating crowd level using image of crowd
CN110879982A (zh) 一种人群计数系统及方法
CN104408728A (zh) 一种基于噪声估计的伪造图像检测方法
CN111583180A (zh) 一种图像的篡改识别方法、装置、计算机设备及存储介质
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
JP2017053699A (ja) 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法
CN108710881B (zh) 神经网络模型、候选目标区域生成方法、模型训练方法
KR101408344B1 (ko) 얼굴 검출 장치
Christoff et al. Morphological crater classification via convolutional neural network with application on MOLA data
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
JP2004246618A (ja) パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
Sajid et al. Background subtraction under sudden illumination change
KR100893086B1 (ko) 조명 변화에 강인한 얼굴 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160503

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee