KR20110090764A - 머리카락 영역을 검출하는 방법 - Google Patents

머리카락 영역을 검출하는 방법 Download PDF

Info

Publication number
KR20110090764A
KR20110090764A KR1020110000503A KR20110000503A KR20110090764A KR 20110090764 A KR20110090764 A KR 20110090764A KR 1020110000503 A KR1020110000503 A KR 1020110000503A KR 20110000503 A KR20110000503 A KR 20110000503A KR 20110090764 A KR20110090764 A KR 20110090764A
Authority
KR
South Korea
Prior art keywords
image
hair
reliability
region
pixel
Prior art date
Application number
KR1020110000503A
Other languages
English (en)
Inventor
런 하이빙
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/018,857 priority Critical patent/US20110194762A1/en
Publication of KR20110090764A publication Critical patent/KR20110090764A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

머리(head) 영역의 신뢰도(confidence level) 이미지를 획득하는 단계; 및 상기 획득한 신뢰도 이미지를 처리하여 머리카락(hair) 영역을 검출하는 단계를 포함하는 머리카락 영역 검출 방법이 제공된다. 상기 방법은 피부 및 머리카락의 색깔, 주파수, 깊이 정보를 결합하여 머리카락 영역을 검출할 수 있으며, 로컬 정보 방법(local information method) 대신에 전역 최적화 방법(global optimization method)을 이용하여 노이즈 배경(noise background)에서 전체 머리카락 영역을 분할한다.

Description

머리카락 영역을 검출하는 방법{Method for Detecting Hair Region}
본 발명의 실시예들은 머리카락 영역을 검출하는 새로운 방법에 관한 것이며, 이 방법을 통해 정확하고 신속하게 머리카락 영역을 검출할 수 있다.
다양한 헤어스타일, 머리카락의 색상 및 밝기로 인해 머리카락의 검출은 매우 도전적인 연구 주제가 되었다. 가상 헤어스타일 디자인, 가상 인간 모델, 가상 이미지 디자인 등에 있어서 머리카락 검출 기술은 매우 유용하다. 주요 기업들은 이미 머리카락 영역의 검출에 대한 연구를 수년 동안 진행해 왔다. 미국 공개특허 US20070252997에서는 발광 장치 및 이미지 센서로 머리카락 영역을 검출하는 설비를 공개했다. 이 설비는 특별히 디자인한 발광 장치로 조명도의 문제를 해결했으나, 피부 색깔과 또렷한 배경에 대한 의존 정도가 매우 높다. 따라서 검출 결과는 안정되지 않고 그 응용도 제한을 많이 받고 있다. 미국 공개특허 US2008215038은 2-step 방법을 사용하고 있는데, 먼저 2D 이미지에서 대략적인 머리카락 영역의 위치를 확정한 후, 레이저 스캐닝을 통해 구한 3D 이미지에서 정확한 머리카락 영역을 검출한다. 이는 레이저 스캐너의 비용이 매우 비싸고 사용자 인터페이스의 형편이 좋지 않은 문제점이 있다.
미국 특허 6,711,286은 생성된 RGB를 색조 색깔 공간(color space)과 결합해서 피부 색깔과 피부 화소에 있는 노란색 머리카락 화소를 검출한다. 이 방법도 불안정한 색깔 정보 및 배경 영역의 영향을 받는다.
선행 기술은 주요하게 다음과 같은 두 가지 문제가 있다. 하나는, 기존 발명은 피부 색상과 뚜렷한 배경에 너무 의지한다는 것이다. 피부 색깔은 사람, 조명도, 카메라 및 환경에 따라 항상 변화하므로 이 방식으로 머리카락 영역을 검출하는 것은 매우 불안정하며 안정적이고 정확한 결과를 얻을 수 없다. 다른 하나는, 상기 발명은 모두 로컬 정보 방법(local information method)을 기반으로 하는 것인데, 로컬 정보 방법으로는 화소가 머리카락 영역에 속하는지를 정확하게 확인할 수 없다.
정확하고 신속하게 머리카락 영역을 검출할 수 있는 방법이 제공된다. 상기 방법은 컬러 카메라(CCD/CMOS)와 깊이 카메라를 이용하고 상기 방법은 컬러 카메라(CCD/CMOS)와 깊이 카메라를 얼라인(align)한다. 상기 방법은 피부 및 머리카락의 색깔, 주파수, 깊이 정보를 결합하여 머리카락 영역을 검출할 수 있으며, 로컬 정보 방법(local information method) 대신에 전역 최적화 방법(global optimization method)을 이용하여 노이즈 배경(noise background)에서 전체 머리카락 영역을 분할한다.
본 발명의 일측에 따르면, 머리카락 영역을 검출하는 방법에 있어서, 머리 영역의 신뢰도 이미지를 획득하는 단계; 및 획득한 신뢰도 이미지를 처리하여 머리카락 영역을 검출하는 단계를 포함하고, 상기 머리 영역의 신뢰도 이미지를 획득하는 단계는, 컬러 이미지의 머리 영역에 대한 색깔 분석을 통해 머리카락 색깔 신뢰도 이미지를 획득하는 것을 특징으로 하는, 머리카락 영역 검출 방법을 제공한다.
본 발명의 일측에 따르면, 상기 머리 영역의 신뢰도 이미지를 획득하는 단계는, 컬러 이미지의 머리 영역에 대응하는 그레이 스케일 이미지(gray scale image)에 대한 주파수 분석을 통해 머리카락 주파수 신뢰도 이미지를 획득하는 단계를 더 포함한다.
본 발명의 일측에 따르면, 상기 머리 영역의 신뢰도 이미지를 획득하는 단계는, 컬러 이미지의 머리 영역에 대응하는 깊이 이미지에 대한 시나리오 분석(scenario analysis)을 통해 시나리오 영역 신뢰도 이미지를 계산하는 단계를 더 포함한다.
본 발명의 일측에 따르면, 상기 머리 영역의 신뢰도 이미지를 획득하는 단계는, 컬러 이미지의 머리 영역에 대한 색깔 분석을 통해 비-피부(피부가 아닌) 색깔 신뢰도 이미지를 획득하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 획득한 신뢰도 이미지를 처리하여 머리카락 영역을 검출하는 단계는, 각 신뢰도 이미지를 위해 각각 설정한 임계값(threshold value)에 기초하여 각 신뢰도 이미지 중 화소값(pixel value)이 해당 임계값보다 큰 화소를 1로 설정하고, 그렇지 않은 것을 0으로 설정한 후; 각 신뢰도 이미지 중의 해당 화소에 대해 AND 연산을 실행하고, 획득한 화소값이 1인 영역을 머리카락 영역으로 결정하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 획득한 신뢰도 이미지를 처리하는 단계는, 각 신뢰도 이미지의 화소값을 각 신뢰도 이미지를 위해 설정한 가중치(weight)와 각각 곱셈하고 곱셈한 결과를 덧셈하여 각 신뢰도 이미지의 합-이미지의 해당 화소의 화소값을 계산한 후, 미리 설정된 임계값에 기초하여 합-이미지의 해당 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 획득한 신뢰도 이미지를 처리하는 단계는, 획득한 각 신뢰도 이미지에 따라 유니버설 바이너리 분류기(universal binary classifier)를 사용하여 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 획득한 신뢰도 이미지를 처리하는 단계는, 각 신뢰도 이미지의 화소값을 각 신뢰도 이미지를 위해 설정한 가중치와 각각 곱셈하고 곱셈한 결과를 덧셈하여 각 신뢰도 이미지의 합-이미지의 해당 화소의 화소값을 계산한 후, 미리 설정된 임계값에 기초하여 합-이미지의 해당 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 획득한 신뢰도 이미지를 처리하는 단계는, 획득한 신뢰도 이미지에 대해 전역 최적화 방법을 사용하여 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 전역 최적화 방법은 그래프 컷 방법(graph cut method)이고, 그래프 컷 방법으로 아래의 에너지 함수
Figure pat00001
를 최소화하여 이미지를 머리카락 영역과 비-머리카락 영역으로 분할하고,
Figure pat00002
여기서, f는 모든 화소의 종류를 의미하고, 상기 종류는 비-머리카락 화소류와 머리카락 화소류로 나뉘며,
Figure pat00003
는 화소를 화소가 속한 종류 안으로 끌어내는 외력(external force)이 생성하는 에너지를 의미하고,
Figure pat00004
는 인접하는 화소 사이의 평활도(smoothness)의 평활도 에너지 값을 의미한다.
본 발명의 일측에 따르면, 신뢰도 이미지의 수(數)가 m일 때 이미지의 각 화소값은 각 신뢰도 이미지에 대응하는 m 개의 신뢰도 값을 가지며; 화소가 머리카락 종류로 표기되는 경우 상기 화소의 데이터 에너지는 m 개의 신뢰도 값에 각각 대응하는 m 개의 에너지의 가중치 합(weighted sum)이고, 그렇지 않은 경우 상기 화소의 데이터 에너지는 (m - m개의 에너지의 가중치 합)이며, m은 2 ≤ m ≤ 4 이다.
본 발명의 일측에 따르면, 상기 머리카락 영역을 검출하는 방법은, 컬러 이미지에 대한 분할을 통해 컬러 이미지의 머리 영역을 획득하는 단계를 더 포함한다.
본 발명의 일측에 따르면, 컬러 이미지의 머리 영역의 크기 및 위치에 따라 컬러 이미지에 대응하는 깊이 이미지의 머리 영역을 결정한다.
도 1은 본 발명의 일실시예에 따른 머리카락 영역 검출 방법의 흐름도이다.
도 2는 입력된 RGB 컬러 이미지와 얼굴/눈 검출 영역을 도시한다.
도 3은 컬러 이미지의 머리 영역을 도시한다.
도 4는 깊이 이미지의 머리 영역을 도시한다.
도 5는 깊이 이미지의 머리 영역의 신뢰도 이미지를 도시한다.
도 6은 머리카락 색깔 신뢰도 이미지를 도시한다.
도 7은 비-피부 색깔 신뢰도 이미지를 도시한다.
도 8은 대역통과필터(band-pass filter)의 설계를 도시한다.
도 9는 머리카락 주파수 신뢰도 이미지를 도시한다.
도 10은 대략적으로 그래프 컷 방법을 도시한다.
도 11은 검출된 머리카락 영역을 도시한다.
이하에서, 실시예와 첨부된 도면을 참조하여 본 발명에 대해 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 머리카락 영역 검출 방법의 흐름도이다. 상기 방법은 다음과 같은 단계를 포함한다. 단계(S110)에서, RGB 컬러 이미지에 대한 분할을 통해 컬러 이미지의 머리 영역을 획득한다. 단계(S120)에서, 획득한 컬러 이미지의 머리 영역의 크기 및 위치에 따라, 컬러 이미지에 대응하는 깊이 이미지 중 컬러 이미지의 머리 영역에 대응하는 깊이 이미지의 머리 영역을 획득한다. 단계(S130)에서, 깊이 이미지의 머리 영역에 대한 시나리오 분석을 통해 시나리오 영역의 신뢰도 이미지 D를 계산한다. 단계(S140)에서, 컬러 이미지의 머리 영역에 대한 색깔 분석을 통해 머리카락 신뢰도 이미지 H를 획득한다. 본 발명의 일실시예에 따른 상기 단계에서, 단계(S120)과 단계(S130)은 필수적인 것이 아니며, 필요에 따라 생략이 가능하다. 또한, 단계(S140)에서, 색깔 분석을 통해 머리카락 신뢰도 이미지 H를 획득하는 것 외에, 필요에 따라 색깔 분석을 통해 컬러 이미지의 머리 영역의 비-피부 신뢰도 이미지 N을 획득할 수도 있다. 또한, 본 발명의 일실시예에 따른 상기 방법은 단계(S150)를 포함할 수 있다. 상기 단계(S150)에서, 컬러 이미지의 머리 영역에 대응하는 그레이 스케일 이미지에 대한 주파수 분석을 통해 머리카락 주파수 신뢰도 이미지 F1을 획득한다. 그리고 단계(S160)에서, 획득한 신뢰도 이미지에 대해 정제화(refinement)를 수행하고 머리카락 영역을 검출한다. 여기서, 상기 획득한 신뢰도 이미지는 머리카락 색깔 신뢰도 이미지 및 머리카락 주파수 신뢰도 이미지가 시나리오 영역 신뢰도 이미지 및 비-피부 신뢰도 이미지 중 적어도 하나와 결합된 이미지이다.
단계(S110)에서, 얼굴 및 눈 검출 방법을 이용하여 머리 영역의 정확한 위치를 확인할 수 있다. 얼굴의 위치 및 크기로 상기 머리 영역의 위치 및 크기를 확인할 수 있다.
Figure pat00005
여기서, 좌표(x, y)는 머리 영역의 좌측 위쪽의 모서리 위치를 의미하고, W와 H는 머리 영역의 너비와 높이를 의미하고, (x0，y0)은 왼쪽 눈의 중심 위치를 의미하고, W0은 왼쪽 눈과 오른쪽 눈 사이의 거리를 의미하고,
Figure pat00006
내지
Figure pat00007
은 상수 값을 의미한다. 여기서 다수 개의 얼굴 이미지에서 인공적으로 양쪽 눈의 중심 위치와 얼굴 영역을 표시하고 표시한 결과로
Figure pat00008
내지
Figure pat00009
의 평균값을 통계한다. 도 2는 입력된 컬러 이미지와 얼굴/눈 검출 영역을 도시하고, 도 3은 컬러 이미지의 머리 영역을 도시한다. 단계(S120)에서, 획득한 컬러 이미지의 머리 영역의 크기 및 위치에 따라, 컬러 이미지에 대응하는 깊이 이미지 중 컬러 이미지의 머리 영역에 대응하는 깊이 이미지의 머리 영역을 획득한다. 도 4는 대응하는 깊이 이미지의 머리 영역을 도시한다.
단계(S130)에서, 온라인 트레이닝 방법(online training method)을 통해 가우시안 모델(Gaussian model)을 구축하여 깊이 이미지의 머리 영역의 시나리오 영역의 신뢰도 이미지 D를 계산한다. 상기 시나리오 영역의 신뢰도 이미지 D에서, 각 화소는 모두 신뢰도 값을 가지고 있으며 상기 신뢰도 값은 해당 화소가 시나리오 영역인 확률값을 의미한다.
다음으로 온라인 트레이닝 방법을 통해 가우시안 모델을 구축하는 방법에 대해 간단히 설명한다. 먼저, 분할된 깊이 이미지 중의 깊이의 히스토그램(histogram)을 통계한다. 다음으로 히스토그램 중 대부분 영역의 깊이 정보를 러프(rough) 시나리오로 영역으로 간주하고, 러프 시나리오로 영역의 깊이에 의거하여, 가우시안 모델을 이용해서 시나리오 영역의 확률값에 대해 모델링(modeling)한
Figure pat00010
중의 깊이의 평균값
Figure pat00011
과 분산(variance)
Figure pat00012
을 계산하고, 각 화소의 깊이를
Figure pat00013
에 대입하여 해당 화소가 시나리오 영역 신뢰도 이미지 D에서의 신뢰도를 구한다. 즉,
Figure pat00014
여기서 D(x, y)는 시나리오 영역 신뢰도 이미지에서 좌표가 (x, y)인 화소가 시나리오 영역인 확률값을 의미하고,
Figure pat00015
과
Figure pat00016
는 깊이 이미지 중 시나리오 영역의 깊이의 평균값과 분산을 의미한다. 온라인 트레이닝 방법을 통해 구축된 가우시안 모델을 이용하여 시나리오 영역 신뢰도 이미지 D를 계산할 수 있는데 그 결과는 도 5와 같다.
단계(S140)에서 언급한 색깔 분석 과정에서, 머리카락 색깔을 위해 가우시안 혼합 모델(Gauss Mixture Model, GMM)을 구축하는 방법을 통해 도 6의 머리카락 색깔 신뢰도 이미지 H를 획득할 수 있다. 또한, 필요에 따라 이 단계에서 피부 색깔을 위해 가우시안 혼합 모델을 구축하는 방법을 통해 도 7의 비-피부 색깔 신뢰도 이미지 N을 획득할 수 있다. 머리카락 색깔 신뢰도 이미지 H는 이미지H에서 각 화소가 머리카락 색깔인 확률값을 의미하고, 비-피부 색깔 신뢰도 이미지 N은 상기 이미지 N에서 각 화소가 피부 색깔이 아닌 확률값을 의미한다.
여기서, 머리카락 색깔 가우시안 혼합 모델의 구체적인 트레이닝 방법은 다음과 같다. 즉, 먼저 다수 개의 사람의 얼굴 이미지를 구해 인공적으로 머리카락 영역을 표기해서 표기한 머리카락 영역의 각 화소를 샘플로 하고, RGB값을 HSV값으로 전환한 후, 그 중의 HS를 이용하여 가우시안 혼합 모델의 파라미터(parameter)를 계산한다. 이외에 피부 색깔 가우시안 혼합 모델의 구체적인 트레이닝 방법은 다음과 같다. 즉, 먼저 다수 개의 사람의 얼굴 이미지를 구해 인공적으로 사람의 얼굴 중에 있는 피부 영역을 표기해서 표기한 피부 영역의 각 화소를 샘플로 하고, RGB값을 HSV값으로 전환한 후, 그 중의 HS를 이용하여 가우시안 혼합 모델의 파라미터를 계산한다. 반면에 비-피부 색깔 가우시안 혼합 모델의 구체적인 트레이닝 방법은 다음과 같다. 즉, 먼저 피부 색깔 가우시안 혼합 모델을 트레이닝을 한 후, (1.0-피부 색깔 가우시안 혼합 모델)을 이용하여 비-피부 색깔 가우시안 혼합 모델을 획득할 수 있다.
여기서 가우시안 혼합 모델의 일반적인 공식은 다음과 같다:
Figure pat00017
여기서 M은 가우시안 혼합 모델에 포함된 싱글 가우시안 모델(single Gaussian model)의 수량을 의미하고,
Figure pat00018
은 하나의 싱글 가우시안 모델을 의미하고,
Figure pat00019
는 평균값을 의미하고,
Figure pat00020
는 분산을 의미하고, x는 색조값을 의미하고,
Figure pat00021
은
Figure pat00022
의 가중치를 의미한다.
단계(S150)은 주파수 분석 단계이다. 주파수 공간에 있어서, 머리카락 영역은 매우 안정적인 특징이 있다. 도 8에서 도시한 바와 같이 대역통과필터를 설계하여 머리카락 주파수 신뢰도 이미지 F1을 계산한다. 여기서, 대역통과필터의 상한 임계값(fL)과 하한 임계값(fU)는 오프라인 트레이닝을 통해 구한다. 그 방법은 다음과 같다. 즉, 먼저 머리카락 영역 이미지를 수집하여 인공적으로 머리카락 영역을 분할한 후, 머리카락 영역의 주파수 영역 이미지를 계산하고, 주파수 영역 이미지 중 머리카락 영역의 히스토그램인 H(f)을 통계하여 fL과 fU로 하여금
Figure pat00023
와
Figure pat00024
라는 관계를 가지도록 한다. 여기서 상기 두 공식은 각각 5%의 값만 fL보다 작고 5%의 값만 fU보다 크다는 것을 의미한다. 주파수 분석 과정에 있어서 머리카락 영역 중의 화소에 대해 머리카락 주파수 영역값의 가우시안 모델을 구축하고, 이 가우시안 모델은 오프라인 트레이닝을 통해 구한다. 다음으로, 각 화소에 대해 주파수 영역값을 계산하고, 가우시안 모델에 대입하여 확률값을 구한다. 주파수 신뢰도 이미지 F1에서 각 화소값은 해당 화소가 머리카락 주파수인 확률값을 의미한다. 마지막으로 도 9의 머리카락 주파수 신뢰도 이미지 F1을 획득한다.
단계(S160)은 정제화(refinement) 단계이다. 단계(S160)에서는 어느 화소가 머리카락 영역에 속하는지 어느 화소가 머리카락 영역에 속하지 않는지를 정확하게 결정하는 단계이다. 여기에는 다음과 같이 4가지 결정 방법이 있다.
(1) 임계값 방법
이 방법에서, 획득한 각 신뢰도 이미지를 위해 서로 다른 임계값을 설정하고, 각 신뢰도 이미지에 있는 화소를 머리카락 화소와 비-머리카락 화소 두 가지로 나눈다. 즉, 신뢰도 이미지에 있는 화소의 확률값이 이 신뢰도 이미지를 위해 설정한 임계값보다 큰 경우에는 상기 화소를 머리카락 화소로 결정하고 이의 화소값을 "1"로 표기하고, 반면에 그렇지 않은 경우에는 상기 화소를 비-머리카락 화소로 결정하고 이의 화소값을 "0"로 표기한다. 다음으로 각 신뢰도 이미지에 대한 이진화(binarization)를 실행한 후 각 신뢰도 이미지 중 해당 화소에 대해 AND 연산을 실행하고, AND 연산을 통해 구한 화소값이 "1"인 영역을 머리카락 영역으로 결정한다.
(2) 단위값 결합 방법
임계값 방법과 달리, 이 방법에서는 앞에서 설명한 각 단계에서 구한 각 신뢰도 이미지의 가중치의 합-이미지를 계산한다. 이 방법이 임계값 방법과의 다른 점은, 다른 신뢰도 이미지는 서로 다른 가중치를 가지고 이 가중치를 해당 신뢰도 이미지의 화소(i, j)의 신뢰도 값과 곱셈한 후 각 신뢰도 이미지의 곱셈한 결과를 덧셈하여 합-이미지의 화소(i, j)가 머리카락 화소인 확률값을 구하는 것이다. 이들 가중치는 분할 머리카락 영역에 있어서의 이들의 안정성과 성능을 나타낸다. 예를 들면, 4개의 신뢰도 이미지 즉 D, H, N 및 F1를 획득한 경우에는, 다음 공식을 이용하여 (i, j)에 있는 화소가 머리카락 화소인 확률값을 구한다:
Figure pat00025
여기서 Wn, Wf, Wh 및 Wd는 각각 신뢰도 이미지 D, H, N 및 F1의 가중치를 의미하고, n(i, j), f(i, j), h(i, j) 및 d(i, j)는 각각 신뢰도 이미지 N, F1, H 및 D 중의 화소(i, j)가 머리카락 화소인 확률값을 의미하고, s(i, j)는 신뢰도 이미지 N, F1, H 및 D의 합-이미지 중 화소(i, j)가 머리카락 화소인 확률값을 의미한다. 합-이미지의 화소의 확률값s(i, j)를 구한 후 획득한 s(i, j)를 설정한 임계값과 비교하고, 임계값보다 크면 머리카락 영역에 속하는 것이고, 그렇지 않으면 머리카락 영역에 속하지 않는 것이다.
(3) 유니버설 바이너리 분류기 방법
유니버설 바이너리 분류기 방법에서, 화소(i, j)는 m(2≤m≤4)차원 특징을 가지고 있고, 여기서 m은 획득한 신뢰도 이미지의 개수와 같고, (i, j)에 있는 화소의 특징은 획득한 신뢰도 이미지의 유형과 개수에 따라 변할 수 있다. 예를 들어, m이 4일 경우 화소(i, j)는 [d(i, j), n(i, j), h(i, j), f(i, j)]라는 특징을 갖는데 여기서 d(i, j), n(i, j), h(i, j) 및 f(i, j)은 각각 획득한 신뢰도 이미지 D, N, H 및 F1 중 화소 (i, j)가 머리카락 화소인 확률값을 의미한다. 물론, 획득한 신뢰도 이미지가 N, H와 F1일 때, 화소(i, j)는 [n(i, j), h(i, j), f(i, j)]라는 특징을 갖고, 획득한 신뢰도 이미지가 D, H와 F1일 때 화소(i, j)는 [d(i, j), h(i, j), f(i, j)]라는 특징을 갖는다. SVM(Support Vector Method)와 LDA(linear discriminative analysis)의 유니버설 바이너리 분류기와 같은 것은 화소(i, j)가 머리카락 화소인지를 결정하는 것에 직접 사용할 수 있다.
(4) 전역 최적화 방법
위에서 설명한 3 가지 방법은 모두 로컬 정보에 따른 방법이다. 그러나 로컬 정보에만 기초하면 화소가 머리카락 영역에 속하는지를 결정하기가 어렵다. 전역 최적화 방법은 전체 이미지에 대한 통합 조정으로 전역 최적화를 이룬다. 그래프 컷(graph cut), 마르코프 랜덤 필드(Markov Random Field), 신뢰 전파(Belief Propagation)는 현재 가장 널리 쓰이는 전역 최적화 방법이다. 본 발명의 일실시예에서는 도 10에서 도시한 바와 같은 그래프 컷 방법을 이용한다. 도 10에서는 각 꼭지점은 이미지 중의 각 화소를 의미하고, F는 상기 꼭지점을 화소가 속한 종류 안으로 끌어내기 위해 필요한 외력을 의미한다. 도 11에서 인접하는 각 꼭지점 사이에 스프링으로 대략적으로 연결하고, 여기서 인접하는 화소가 같은 종류에 속하는 경우에는 그 사이에 있는 스프링은 늘어져 있는 상태이며 에너지가 추가되지 않고, 그렇지 않은 경우에는 스프링이 당겨져 있는 상태이고 그 사이에 하나의 에너지가 추가된다.
상기 방법에서 아래와 같은 전역 에너지 함수
Figure pat00026
를 구축한다. 즉:
Figure pat00027
여기서 f는 모든 화소의 종류를 의미하고, 상기 종류는 비-머리카락 화소류와 머리카락 화소류로 나뉘며,
Figure pat00028
는 화소를 화소가 속한 종류 안으로 끌어내는 외력이 생성하는 에너지를 의미하고,
Figure pat00029
는 인접하는 화소 사이의 평활도(smoothness)의 평활도 에너지 값을 의미한다. 전역 최적화 방법을 통해, 하나의 신뢰도 이미지만 이용해도 머리카락 영역을 정확하게 분할할 수 있다.
m(2≤m≤4)개의 신뢰도 이미지를 획득한 경우, 이미지 중의 각 화소는 모두 각각 획득한 각 신뢰도 이미지 중의 해당 화소에 대응하는 m 개의 신뢰도 값을 포함한다. 더 상세하게는, 머리카락류에 속하는 화소라면 이것의 데이터 에너지는 이 화소의 m개의 신뢰도 값에 각각 대응하는 m개의 데이터 에너지의 각 가중치의 합이고, 반면에 그렇지 않은 화소라면 데이터 에너지는 (m - m개의 에너지의 가중치 합)이다.
본 발명의 일실시예에서는 신뢰도 이미지 중에 있는 화소값이 클수록, 즉 상기 화소의 확률값이 클수록 이 화소가 머리카락 영역에 들어가기 위한 에너지가 작아진다. 도 11에서 도시한 바와 같이 최적화 에너지 함수를 통해 이미지는 머리카락 영역과 비-머리카락 영역 두 부분으로 분할된다.
본 발명의 실시예들에 따른 방법을 이용하면 정확하고 신속하게 머리카락 영역을 검출할 수 있다. 머리 영역 분할 단계를 통해 하나의 큰 이미지에서 머리 영역을 분할할 수 있고, 시나리오 분석 단계를 통해 시나리오 영역 신뢰도 이미지를 획득할 수 있고, 색깔 분석 단계를 통해 비-피부색깔 신뢰도 이미지 및 머리카락 색깔 신뢰도 이미지를 획득할 수 있고, 주파수 분석 단계를 통해 머리카락 주파수 신뢰도 이미지를 획득할 수 있다. 정제화 단계는 신뢰도 이미지를 이용하여 더욱 정확하고 신속하게 머리카락 영역을 분할할 수 있다.
본 발명의 실시예들에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

Claims (13)

  1. 머리카락 영역을 검출하는 방법에 있어서,
    머리 영역의 신뢰도 이미지를 획득하는 단계; 및
    획득한 신뢰도 이미지를 처리하여 머리카락 영역을 검출하는 단계
    를 포함하고,
    상기 머리 영역의 신뢰도 이미지를 획득하는 단계는,
    컬러 이미지의 머리 영역에 대한 색깔 분석을 통해 머리카락 색깔 신뢰도 이미지를 획득하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  2. 제1항에 있어서,
    상기 머리 영역의 신뢰도 이미지를 획득하는 단계는,
    컬러 이미지의 머리 영역에 대응하는 그레이 스케일 이미지(gray scale image)에 대한 주파수 분석을 통해 머리카락 주파수 신뢰도 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  3. 제2항에 있어서,
    상기 머리 영역의 신뢰도 이미지를 획득하는 단계는,
    컬러 이미지의 머리 영역에 대응하는 깊이 이미지에 대한 시나리오 분석(scenario analysis)을 통해 시나리오 영역 신뢰도 이미지를 계산하는 단계를 더 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  4. 제3항에 있어서,
    상기 머리 영역의 신뢰도 이미지를 획득하는 단계는,
    컬러 이미지의 머리 영역에 대한 색깔 분석을 통해 비-피부(피부가 아닌) 색깔 신뢰도 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  5. 제4항에 있어서,
    상기 획득한 신뢰도 이미지를 처리하여 머리카락 영역을 검출하는 단계는,
    각 신뢰도 이미지를 위해 각각 설정한 임계값(threshold value)에 기초하여 각 신뢰도 이미지 중 화소값(pixel value)이 해당 임계값보다 큰 화소를 1로 설정하고, 그렇지 않은 것을 0으로 설정한 후; 각 신뢰도 이미지 중의 해당 화소에 대해 AND 연산을 실행하고, 획득한 화소값이 1인 영역을 머리카락 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  6. 제4항에 있어서,
    상기 획득한 신뢰도 이미지를 처리하는 단계는,
    각 신뢰도 이미지의 화소값을 각 신뢰도 이미지를 위해 설정한 가중치(weight)와 각각 곱셈하고 곱셈한 결과를 덧셈하여 각 신뢰도 이미지의 합-이미지의 해당 화소의 화소값을 계산한 후, 미리 설정된 임계값에 기초하여 합-이미지의 해당 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  7. 제4항에 있어서,
    상기 획득한 신뢰도 이미지를 처리하는 단계는,
    획득한 각 신뢰도 이미지에 따라 유니버설 바이너리 분류기(universal binary classifier)를 사용하여 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  8. 제4항에 있어서,
    상기 획득한 신뢰도 이미지를 처리하는 단계는,
    각 신뢰도 이미지의 화소값을 각 신뢰도 이미지를 위해 설정한 가중치와 각각 곱셈하고 곱셈한 결과를 덧셈하여 각 신뢰도 이미지의 합-이미지의 해당 화소의 화소값을 계산한 후, 미리 설정된 임계값에 기초하여 합-이미지의 해당 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  9. 제4항에 있어서,
    상기 획득한 신뢰도 이미지를 처리하는 단계는,
    획득한 신뢰도 이미지에 대해 전역 최적화 방법(global optimization method)을 사용하여 화소가 머리카락 영역에 속하는지를 결정하는 단계를 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  10. 제9항에 있어서,
    상기 전역 최적화 방법은 그래프 컷 방법(graph cut method)이고, 그래프 컷 방법으로 아래의 에너지 함수
    Figure pat00030
    를 최소화하여 이미지를 머리카락 영역과 비-머리카락 영역으로 분할하고,
    Figure pat00031

    여기서, 상기 f는 모든 화소의 종류를 의미하고, 상기 종류는 비-머리카락 화소류와 머리카락 화소류로 나뉘며,
    Figure pat00032
    는 화소를 화소가 속한 종류 안으로 끌어내는 외력(external force)이 생성하는 에너지를 의미하고,
    Figure pat00033
    는 인접하는 화소 사이의 평활도(smoothness)의 평활도 에너지 값을 의미하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  11. 제10항에 있어서,
    신뢰도 이미지의 수(數)가 m일 때 이미지의 각 화소값은 각 신뢰도 이미지에 대응하는 m 개의 신뢰도 값을 가지며; 화소가 머리카락 종류로 표기되는 경우 상기 화소의 데이터 에너지는 m 개의 신뢰도 값에 각각 대응하는 m 개의 에너지의 가중치 합(weighted sum)이고, 그렇지 않은 경우 상기 화소의 데이터 에너지는 (m - m개의 에너지의 가중치 합)이며, m은 2 ≤ m ≤ 4인 것을 특징으로 하는, 머리카락 영역 검출 방법.
  12. 제1항에 있어서,
    상기 머리카락 영역을 검출하는 방법은,
    컬러 이미지에 대한 분할을 통해 컬러 이미지의 머리 영역을 획득하는 단계를 더 포함하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
  13. 제12항에 있어서,
    컬러 이미지의 머리 영역의 크기 및 위치에 따라 컬러 이미지에 대응하는 깊이 이미지의 머리 영역을 결정하는 것을 특징으로 하는, 머리카락 영역 검출 방법.
KR1020110000503A 2010-02-04 2011-01-04 머리카락 영역을 검출하는 방법 KR20110090764A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/018,857 US20110194762A1 (en) 2010-02-04 2011-02-01 Method for detecting hair region

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2010101129223 2010-02-04
CN201010012922 2010-02-04

Publications (1)

Publication Number Publication Date
KR20110090764A true KR20110090764A (ko) 2011-08-10

Family

ID=44928478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000503A KR20110090764A (ko) 2010-02-04 2011-01-04 머리카락 영역을 검출하는 방법

Country Status (1)

Country Link
KR (1) KR20110090764A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398041B2 (en) * 2015-09-10 2022-07-26 Sony Corporation Image processing apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398041B2 (en) * 2015-09-10 2022-07-26 Sony Corporation Image processing apparatus and method

Similar Documents

Publication Publication Date Title
US20110194762A1 (en) Method for detecting hair region
EP3096263B1 (en) Human body orientation recognition method and system based on two-lens camera
CN103810490B (zh) 一种确定人脸图像的属性的方法和设备
JP4950787B2 (ja) 画像処理装置及びその方法
CN105519102B (zh) 视频监控方法和视频监控系统
US9305206B2 (en) Method for enhancing depth maps
WO2016066038A1 (zh) 一种图像主体提取方法及系统
CN102147852B (zh) 检测头发区域的方法
US20160335491A1 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
US20100172578A1 (en) Detecting skin tone in images
TW201005673A (en) Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
KR20110013200A (ko) 인체 자세 식별 방법 및 장치
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN105740780A (zh) 人脸活体检测的方法和装置
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
JP6850751B2 (ja) 物体追跡装置、物体追跡方法、及びコンピュータプログラム
CN106488122A (zh) 一种基于改进Sobel算子的动态自动调焦算法
CN112818925A (zh) 一种城市建筑和树冠识别方法
Vlaminck et al. Obstacle detection for pedestrians with a visual impairment based on 3D imaging
CN105139401A (zh) 一种深度图中深度的可信度的评估方法
Limper et al. Mesh Saliency Analysis via Local Curvature Entropy.
CN110580454A (zh) 活体检测方法及装置
JP2015125731A (ja) 人物属性推定装置、人物属性推定方法及びプログラム
CN104123569B (zh) 一种基于有监督学习的视频人数信息统计方法
KR20110090764A (ko) 머리카락 영역을 검출하는 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid