KR100927642B1 - 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법 - Google Patents

영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법 Download PDF

Info

Publication number
KR100927642B1
KR100927642B1 KR1020090042063A KR20090042063A KR100927642B1 KR 100927642 B1 KR100927642 B1 KR 100927642B1 KR 1020090042063 A KR1020090042063 A KR 1020090042063A KR 20090042063 A KR20090042063 A KR 20090042063A KR 100927642 B1 KR100927642 B1 KR 100927642B1
Authority
KR
South Korea
Prior art keywords
image
color
brightness
histogram
threshold value
Prior art date
Application number
KR1020090042063A
Other languages
English (en)
Inventor
도준형
김근호
김종열
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020090042063A priority Critical patent/KR100927642B1/ko
Application granted granted Critical
Publication of KR100927642B1 publication Critical patent/KR100927642B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 다양한 배경, 조명 조건에서도 높은 성능으로 얼굴의 경계선을 구분할 수 있는 방법을 안출하는 것을 그 목적으로 하며, 이러한 목적을 위해 얼굴영역을 검출하는 제1단계와 제1단계에서 검출된 얼굴영역의 영상을 분리하는 제2단계와 제2단계에서 분리된 하나 이상의 영상에 대해 얼굴의 후보 영역을 검출하는 제3단계와 제3단계에 의해 구해진 영상들을 논리적 연산을 하는 제4단계 및 제4단계이후 모폴로지 연산을 통해 최종적인 얼굴 윤곽선이 포함된 얼굴 영역을 구하는 제5단계로 구성된 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법을 제공하여 다양한 배경, 조명조건에도 불구하고 높은 성능으로 얼굴의 경계선을 구분 하며, 기존의 방법들보다 뛰어난 성능으로 얼굴 윤곽선을 찾을 수 있다.
히스토그램, 모폴로지 연산, 열림연산, 닫힘연산, 얼굴 윤곽선

Description

영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법{A Face edge extraction Method using visual division histogram analysis}
본 발명은 얼굴의 윤곽선 검출을 영상 분할 히스토그램을 이용해서 구하는 방법에 관한 것이다.
한의학에서 얼굴의 진단을 위해서는 필요한 얼굴 윤곽선의 검출이 중요한 바, 이는 얼굴 형태의 정보와 얼굴 윤곽선에 있는 특징점들을 추출할 수 있기 때문이다.
그러나, 다양한 조명 및 배경조건때문에 얼굴 윤곽선을 정확하게 검출하는 것은 일반적으로 어렵고, 이에 따라 얼굴 윤곽선을 구하기 위한 연구가 있어 왔다.
경계선을 찾기 위한 방법 중 영상의 윤곽선 영상(에지 영상)을 추출하는 방법은 영상의 특징에 따라 에지를 판별하기 위한 임계값을 결정하기 어려워 정확한 경계선을 검출하기가 힘들고, 또 다른 방법인 조정된 임계값을 사용하는 방법의 경우 밝기 성분, 색상 성분 영상에서 얼굴 후보 영역을 검출할 경우 입력 영상의 특징에 따라 얼굴의 경계선을 찾기 힘들다는 단점이 있다.
또한 자동으로 임계값을 찾는 방법인 Isodata 알고리즘, back-ground symmetry 알고리즘, Triangle 알고리즘, Max-contour-contrast 알고리즘, Otsu알고리즘, Em 알고리즘 등이 있으나, 이러한 것들은 모두 성능이 기대치에 미치지 못한다는 단점이 있다.
따라서, 상기한 바와 같이 다양한 배경, 조명 조건에서도 높은 성능으로 얼굴의 경계선을 구분할 수 있는 방법을 안출하는 것이 본 발명의 과제이다.
상기한 과제를 해결하기 위한 본 발명의 특징에 따른 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법은 얼굴영역을 검출하는 제1단계, 제1단계에서 검출된 얼굴영역의 영상을 분리하는 제2단계, 제2단계에서 분리된 하나 이상의 영상에 대해 얼굴의 후보 영역을 검출하는 제3단계, 제3단계에 의해 구해진 영상들을 논리적 연산을 하는 제4단계 및 제4단계이후 모폴로지 연산을 통해 최종적인 얼굴 윤곽선이 포함된 얼굴 영역을 구하는 제5단계로 구성된 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법을 포함한다.
여기서 제2단계는 하나의 밝기 성분 영상과 두 개의 색상 성분 영상으로 분리하는 것을 특징으로 한다.
또한, 제2단계는 밝기와 무관하게 고유의 색상을 표현 할 수 있는 세 개의 색상 성분 영상으로 분리하는 것을 특징으로 한다.
또한, 제2단계는 두 개의 색상 성분 영상으로 분리하는 것을 특징으로 한다.
또한, 제2단계는 하나의 색상 성분 영상으로 분리하는 것을 특징으로 한다.
한편, 제3단계는 상기 밝기 성분 영상에 대한 작업을 통해 얼굴에 대한 후보 영역을 검출하는 밝기성분영역검출단계 및 색상 성분 영상에 대한 작업을 통해 얼굴에 대한 후보 영역을 검출하는 색상성분영역검출단계로 이루어진 것을 특징으로 한다.
한편, 제3단계는 색상 성분 영상에 대한 작업을 통해 얼굴에 대한 후보 영역을 검출하는 것을 특징으로 한다.
또한, 밝기성분영역검출단계는 분리된 밝기 성분의 영상을 시스템에서 기 설정된 갯수로 분할하는 밝기영상분할단계, 밝기영상분할단계에서 분할된 각 밝기 성분의 영상에 대해 히스토그램 분석을 하는 밝기영상분석단계, 밝기영상분석단계에 의해 구해진 결과를 바탕으로 임계값을 결정하는 밝기영상임계값설정단계, 밝기영상임계값설정단계에서 정해진 임계값을 각 영상에 대해 적용하는 밝기영상임계값적용단계 및 밝기영상임계값적용단계에 의해 구해진 영상을 바탕으로 얼굴의 윤곽선을 포함하는 후보영역을 검출하는 밝기영상검출단계로 구성된 것을 특징으로 한다.
또한, 색상성분영역검출단계는 분리된 색상 성분 영상을 시스템에서 기 설정된 갯수로 분할하는 색상영상분할단계, 색상영상분할단계에서 분할된 각 색상 성분의 영상에 대해 히스토그램 분석을 하는 색상영상분석단계, 색상영상분석단계를 통해 임계값을 결정하는 색상영상임계값설정단계, 색상영상임계값설정단계에서 정해진 임계값을 각 영상에 대해 적용하는 색상영상임계값적용단계 및 색상영상임계값적용단계에 의해 구해진 영상을 바탕으로 얼굴의 윤곽선을 포함하는 후보영역을 검출하는 색상영상검출단계로 구성된 것을 특징으로 한다.
또한, 제3단계는 분리된 색상 성분 영상을 시스템에서 기 설정된 갯수로 분 할하는 색상영상분할단계, 색상영상분할단계에서 분할된 각 색상 성분의 영상에 대해 히스토그램 분석을 하는 색상영상분석단계, 색상영상분석단계를 통해 임계값을 결정하는 색상영상임계값설정단계, 색상영상임계값설정단계에서 정해진 임계값을 각 영상에 대해 적용하는 색상영상임계값적용단계 및 색상영상임계값적용단계에 의해 구해진 영상을 바탕으로 얼굴의 윤곽선을 포함하는 후보영역을 검출하는 색상영상검출단계로 구성된 것을 특징으로 한다.
또한, 밝기영상임계값설정단계는 히스토그램의 첫번째 지역 최소점(local minimum)과 시스템에 기 설정된 γ1을 비교하는 제6단계 및 제6단계에서 상기 첫번째 지역 최소점이 더 작은 경우는 임계값을 첫번째 지역 최소점으로 하고, 그렇지 않은 경우는 γ1보다 작도록 시스템에 기 설정된 γ2를 그 임계값으로 하는 제7단계로 이루어진 것을 특징으로 한다.
또한, 밝기영상임계값적용단계는 밝기영상임계값설정단계에서 결정된 임계값보다 영상의 픽셀값이 큰 경우만을 추출하는 것을 특징으로 한다.
또한, 색상영상분석단계는 분할된 각 색상 성분의 영상에 대해 시스템에 기 설정된 α% 영역 내에서의 히스토그램 분석을 하는 제8단계 및 제8단계의 히스토그램에서 히스토그램 최대값을 가지는 bin을 기준으로 하여 좌우로 최대값의 β%(β는시스템에 기 설정된 값)를 가지는 bin값을 구하는 제9단계로 구성된 것을 특징으로 한다.
또한, 색상영상임계값설정단계는 제9단계에서 구해진 두 개의 bin값을 기준 으로 하여, 원래 영상의 히스토그램상에서 상기 bin값 중 작은 값의 왼쪽으로 첫번째 지역 최소값(m1)과 상기 bin값 중 큰 값의 오른쪽으로 첫번째 지역 최소값(m2)을 각각 임계값으로 하는 것을 특징으로 한다.
또한, 색상영상임계값적용단계는 각 분할된 영상에 대해서 픽셀값이 상기 m1과 m2사이인 것만을 추출하는 것으로 구성되는 것을 특징으로 한다.
또한, 색상영상분석단계는 분할된 각 색상 성분의 영상에 대해 시스템에 기 설정된 α% 영역 내에서의 히스토그램 분석을 하는 제10단계 및 제10단계의 히스토그램에서 히스토그램 최대값을 가지는 bin을 기준으로 하여 좌우로 최대값의 β%(β는 시스템에 기 설정된 값)를 가지는 bin값을 구하는 제11단계로 구성된 것을 특징으로 한다.
또한, 색상영상임계값설정단계는 제11단계에서 구해진 두 개의 bin값을 기준으로 하여, 원래 영상의 히스토그램상에서 상기 bin값 중 작은 값의 왼쪽으로 첫번째 지역 최소값(m1)과 상기 bin값 중 큰 값의 오른쪽으로 첫번째 지역 최소값(m2)을 각각 임계값으로 하는 것을 특징으로 한다.
또한, 색상영상임계값적용단계는 각 분할된 영상에 대해서 픽셀값이 상기 m1과 m2사이인 것만을 추출하는 것으로 구성되는 것을 특징으로 한다.
또한, 제4단계는 논리적 AND연산을 하는 것을 특징으로 한다.
또한, 제5단계는 모폴로지 연산중 열림(Opening)연산과 닫힘(Closing)연산을 하는 것을 특징으로 한다.
또한, γ1과 γ2는 각각 시스템에 기 설정되거나 혹은 사용자로부터 입력 받을 수 있는 것을 특징으로 한다.
또한, α와 β는 각각 시스템에 기 설정되거나 혹은 사용자로부터 입력 받을 수 있는 것을 특징으로 한다.
현재 영상의 히스토그램을 분석하여 임계값을 찾아내므로 다양한 배경, 조명조건에도 불구하고 높은 성능으로 얼굴의 경계선을 구분 할 수 있으며, 기존의 알고리즘보다 뛰어난 성능으로 윤곽선을 찾을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 발명의 목표는 정확한 진단을 위하여 얼굴의 윤곽을 정확히 구하고자 하는 것으로써 먼저 기존에 잘 알려진 얼굴 검출 방법(예, adaboost를 이용한 얼굴 검출)을 이용하여 입력 영상으로부터 얼굴 영역 사각형을 검출하고(도1) 전체 얼굴 영역을 포함시키기 위해 관심영역을 검출된 사각형 중심 기준으로 크기를 확대한다(도2).(도6 100, 도9 500)
사각형 내부를 관심영역(ROI, Region Of Interest)라 하는데, 관심영역내의 컬러 RGB를 히스토그램분석을 하기 위한 성분으로 나누며 상기와 같이 검출된 확대된 사각형을 대상으로 영상을 분리한다.
이 때, 영상의 분리는 여러가지 방법이 가능한데, 첫번째 방법은 하나의 밝기 성분 영상(도3)과 두 개의 색상 성분 영상(도4, 도5)으로 분리하는 방법(도6 110)이고, 두번째 방법은 밝기와 무관하게 고유의 색상을 표현할 수 있는 세 개의 색상 성분 영상으로 분리하는 방법(도9 510)이며, 세 번째 방법은 두 개의 색상 성분 영상으로 분리하는 방법(도11)이며 네 번째 방법은 하나의 색상 성분 영상으로만 분석하는 방법(도12)이다.
즉, 어떤 형식으로 영상을 분석하는 경우에도 윤곽선을 구하는 것이 가능하다.
첫번째 방법의 경우 색공간이 YCrCb(Y), YUV(Y), CIE L*a*b*(L*), CIE L*u*v*(L*), HSV(V) 및 HLS(L)인 경우 각각 괄호안의 밝기 성분과 그 밖의 2개의 색상 성분으로 분리할 수 있고, 두번째 방법의 경우 색공간이 Normalized RGB,인 경우 밝기와 무관하게 고유의 색상을 표현 할 수 있는 세 개의 색상 성분 영상으로 분리할 수 있다.
이 후 얼굴 세부 영역에 따라 밝기, 색상의 분포가 다를 수 있으므로, 각 성분 영상을 각각 1개 이상의 영역으로 분할한다.(도6 125 135 145, 도7 200, 도8 300, 도9 525 535 545, 도10 600 )
이후 밝기 성분 영상에 대한 분석을 시작한다.(도6 125, 도7 213)
이 때 분할된 각 영상에서 히스토그램을(Hn[i])을 구한다. 이때 히스토그램의 크기는 히스토그램의 최대값을 기준으로 정규화한다.(식1)
밝기 성분 영상의 히스토그램 정규화
Figure 112009028932300-pat00001
수학식1에서 h[i]는 정규화 전의 히스토그램을 나타내고 H[i]는 정규화 후의 히스토그램을 나타내며, n은 분할된 각 영상을 나타내고 m은 히스토그램의 bin수를 나타낸다.
밝기 성분 영상의 히스토그램은 그 임계값의 결정시 첫번째 지역 최소점 (local minimum)인 곳을 임계점으로 한다.(도19) 그러나, 만일 그 값이 시스템에서 미리 지정된 값인 γ1보다 클 경우 임계값은 시스템에서 미리 지정한 γ2로 정한다.
이때, γ1의 값은 γ2보다 더 크도록 미리 지정한다.
밝기 성분 영상의 히스토그램 분석을 통해 임계값을 정하게 되면 분할된 각각의 영상에 대한 임계값보다 픽셀값이 더 큰 값만을 추출한다.(도7 220)
이러한 방법으로 각 분할 영상마다 임계값을 적용하여 추출항 영상이 도20에 도시되어 있다.
한편, 색상 성분 영상은 밝기성분 영상과는 다른 분석과정을 거치게 된다.
분할된 각 색상 성분 영상에 대해서 관심영역(ROI)의 중심점을 기준으로 α% 영역내의 영상에 대해 수학식2와 같이 히스토그램(HSn[i])을 구한다. 이때 히스토그램 크기는 히스토그램의 최대값을 기준으로 정규화한다.
Figure 112009028932300-pat00002
수학식2에서 hs[i]는 정규화 전의 색상 성분 영상에 대한 히스토그램을 나타내고 HS[i]는 색상 성분 영상에 대한 정규화 후의 히스토그램을 나타내며, n은 분할된 각 영상을 나타내고 m은 히스토그램의 bin수를 나타낸다.
수학식 2와 같이 구해진 히스토그램에서 히스토그램의 최대값을 가지는 bin을 기준으로 하여 좌우로 최대값의 β%를 가지는 bin값(midn1, midn2)을 찾는다.(도8 312, 도8 315 과정)
도21와 도22은 각각 α=16, β=50으로 설정된 색상 성분 영상1(Cr)과 색상 성분 영상2(Cb)에 대한 히스토그램 분석을 나타낸다.
각 도에서 (a)는 정규화된 히스토그램을 나타내고, (b)는 β를 적용한 bin값을 구하는 과정을 나타낸다.
임계값을 결정하는 과정(도6 135, 도6 145, 도8 317)은 위에서 구해진 midn1 과 midn2값을 기준으로 원래의 분할 영상 각각에서 2개의 지역 최소점(local minimum)을 찾는다.(단, midn1 < midn2) 그중 하나는 midn1의 왼쪽으로 첫번째 지역최소점(local minimum)을 찾고, 다른 하나는 midn2의 오른쪽으로 첫번째 지역최소점(local minimum)을 찾는다. 이때 찾은 두 값이 임계값(min11, min12)이 된다.(단, min11 < min12)
상기 과정을 통해 히스토그램상에서 구해진 두 임계값은 색상 성분 영상(Cr, Cb)에 대해 각각 적용되는데, 그 과정은 두 임계값 중 작은 값(실시예에서는 min11)보다는 크고, 큰 값(실시예에서는 min12)보다는 작은 값만을 추출한다.(도6 135,도6 145, 도8 320, 도25, 도26 )
상기와 같은 과정을 통해 나온 세 개의 영상(1개의 밝기 성분 영상과 2개의 색상 성분 영상)에 대해 다시 합하는 연산을 가해서 최종적인 영상을 구하는데, 그중 첫번째 연산은 논리적 AND연산이다.(도6 150)
이 연산은 세개의 영상 모두에 픽셀이 존재할 경우만 결과값으로 픽셀을 표시하며, 그 중 어느 하나의 픽셀이라도 존재하지 않을 경우 결과에 픽셀을 표시하지 않는 논리적 AND연산이다.(도6 150)
그 이후 최종적으로 모폴로지 연산(morphological operation)중 CLOSING과 OPENING연산을 취한다.
모폴로지 연산이란 영상의 기본적인 특징은 유지시키면서 형태에 변화를 주 는 형상적 처리를 말하는데, 그 종류는 크게 나누어 침식(erosion)연산과 팽창(dilation)연산, 열림(opening)연산과 닫힘(closing)연산이 있다.
먼저 침식연산이란 물체의 크기를 축소하는 연산인바, 최소값 필터로써 작용한다. 배경이 0인 이진영상의 경우 구조요소의 내부값이 모두 255인 경우만이 출력값을 255로 내보내고, 그렇지 않은 경우는 출력이 0이된다.(도28, 도29)
또한, 팽창연산이란 물체의 크기를 확대하는 연산인바, 최대값 필터로써 작용한다. 배경이 0인 이진영상의 경우 구조요소의 내부값 중 하나라도 255인 경우 출력이 255가 되고, 모두 0인경우만이 출력을 0으로 한다.(도30, 도31)
한편, 열림연산이란 침식연산을 적용한 후에 팽창연산을 적용하는 연산을 말하는데,이는 물체의 영상을 분리하는데 유용한 연산이다.(도32)
이와는 반대로 닫힘연산은 팽창연산을 먼저 적용한 후에 침식연산을 적용하는 연산을 말하며, 이는 물체를 결합하는데 유용한 연산이다.(도33)
위에서 설명한 바와 같이 논리적 AND 연산이후 모폴로지 연산중 닫힘연산과 열림연산을 수행하는 과정을 거쳐서(도6 160) 최종적인 얼굴의 윤곽선을 구하게 된다.(도27)
상기 실시예는 영상을 1개의 밝기 성분 영상과 2개의 색상 성분 영상으로 분리한 경우를 설명한 것이며, 만일 영상을 색상 성분 영상만으로 분리하는 경우 과정은 밝기 성분 영상에 대한 과정이 없어지는 대신 색상 성분 영상에 대한 분석과정으로 대체되며, 그 이후의 과정은 실시예와 동일하다.
본 발명에 의한 얼굴 경계면 추출 방법은 현재 영상의 히스토그램을 분석하여 임계값을 찾으므로 다양한 배경 및 조명 조건에도 높은 성능으로 얼굴의 경계선을 구분할 수 있다는 장점이 있다.
이전의 방법에서 사용했던 것과 같이 단순히 에지 영상을 추출할 경우 영상의 특징에 따라 에지를 판별하기 위한 임계값을 결정하기 어려워 정확한 경계선을 검출하기가 쉽지 않고, 고정된 임계값을 사용하여 밝기 성분, 색상 성분 영상에서 얼굴 후보 영역을 검출할 경우 입력 영상의 특징에 따라 정확한 얼굴 경계선을 얻을 수 없다.
본 발명의 경우 기존의 방법들인 Isodata 알고리즘, back-ground symmetry 알고리즘, Triangle 알고리즘, Max-contour-contrast 알고리즘, Otsu알고리즘, Em 알고리즘등보다 뛰어난 성능을 보이고 있다.
도1은 기존에 알려진 얼굴 검출 방법에 의해 검출된 얼굴의 사각형 영역을 도시한다.
도2는 도1에서 보여지는 검출된 얼굴의 사각형 영역을 확대한 사각형 영역을 도시한다.
도3은 관심 영역내의 컬러 RGB영상을 본 발명에 의한 색공간 YCrCb로 분리한 결과 중 Y성분(밝기 성분) 영상을 도시한다.
도4는 관심 영역내의 컬러 RGB영상을 본 발명에 의한 색공간 YCrCb로 분리한 결과 중 Cr성분(색상 성분1) 영상을 도시한다.
도5는 관심 영역내의 컬러 RGB영상을 본 발명에 의한 색공간 YCrCb로 분리한 결과 중 Cb성분(색상 성분2) 영상을 도시한다.
도6은 본 발명에 의한 밝기 영상과 색상 영상으로 나누어 얼굴 윤곽선을 구하는 과정의 전체적 개념도를 도시한다.
도7은 도6의 과정 중 밝기 성분 영상에 대한 작업을 구체적으로 도시한다.
도8은 도6의 과정 중 색상 성분 영상에 대한 작업을 구체적으로 도시한다.
도9는 본 발명에 의한 색상 영상으로 나누어 얼굴 윤곽선을 구하는 과정의 전체적 개념도를 도시한다.
도10은 도9의 과정중 색상 성분 영상에 대한 작업을 구체적으로 도시한다.
도13은 도6에 의한 밝기 성분과 색상 성분 영상의 분리 이후 밝기 성분 영상을 4개로 분할한 후의 영상을 도시한다.
도14는 도6에 의한 밝기 성분과 색상 성분 영상의 분리 이후 색상 1성분 영상을 1개로 분할한 후의 영상을 도시한다.
도15은 도6에 의한 밝기 성분과 색상 성분 영상의 분리 이후 색상 2성분 영상을 1개로 분할한 후의 영상을 도시한다.
도16은 도13에 대한 각 분할 영상의 히스토그램 정규화 분석을 도시한다.
도17은 도14에 대한 각 분할 영상의 히스토그램 정규화 분석을 도시한다.
도18은 도15에 대한 각 분할 영상의 히스토그램 정규화 분석을 도시한다.
도19은 도13에 대해서 각 분할 영상의 임계값을 구하는 과정을 도시한다.
도20은 도19과 같이 분할된 밝기 성분 영상 각각에 대한 임계값을 영상에 적용하여 추출한 영상을 도시한다.
도21는 도14의 색상 1성분 영상(Cr)에 대한 임계값을 α는 16을, β는 50을 미리 설정한 경우의 mid값들을 구하는 영상을 도시한다.
도22은 도15의 색상 2성분 영상(Cb)에 대한 임계값을 α는 16을, β는 50을 미리 설정한 경우의 mid값들을 구하는 영상을 도시한다.
도23은 도21의 색상 1성분 영상(Cr)에 대한 임계값을 구한 모습을 도시한다.(구해진 임계값 min11, min12)
도24는 도22의 색상 2성분 영상(Cb)에 대한 임계값을 구한 모습을 도시한다.(구해진 임계값 min11, min12)
도25은 도21의 색상 1성분 영상(Cr)에 대한 임계값을 적용해서 나온 결과를 도시한다.
도26는 도22의 색상 2성분 영상(Cb)에 대한 임계값을 적용해서 나온 결과를 도시한다.
도27은 각 성분 영상에 대해 검출된 영상을 논리적 연산과 모폴로지 연산을 통해 최종적으로 나온 얼굴 윤곽선 영상을 도시한다.
도28는 모폴로지 연산(Morphological Operaion)중 침식연산에 의한 입력영상과 연산후의 영상을 도시한다.
도29은 모폴로지 연산(Morphological Operaion)중 침식연산을 이론적으로 설명하는 도면을 도시한다.
도30은 모폴로지 연산(Morphological Operaion)중 팽창연산에 의한 입력영상과 연산후의 영상을 도시한다.
도31은 모폴로지 연산(Morphological Operaion)중 팽창연산을 이론적으로 설명하는 도면을 도시한다.
도32는 모폴로지 연산(Morphological Operaion)중 열림연산에 의한 입력영상과 연산후의 영상을 도시한다.
도33은 모폴로지 연산(Morphological Operaion)중 닫힘연산에 의한 입력영상과 연산후의 영상을 도시한다.
도34는 입력영상과 본 발명된 방법을 이용하여 나온 결과 영상을 도시한다.

Claims (23)

  1. 컬러 입력영상으로 부터 얼굴영역 사각형(관심영역)을 전체 얼굴영역을 포함하도록 하여 얼굴영역을 검출하는 제1단계;
    상기 제1단계에서 검출된 관심영역에 대해서 1차원 히스토그램분석을 하기 위해 컬러 영상을 밝기 성분과 하나 이상의 색상 성분을 나타내는 그레이(Gray) 영상들로 각각 분리하는 제2단계;
    상기 제2단계에서 분리된 밝기 성분 영상과 색상 성분을 나타내는 영상들 중에서 하나 이상의 영상에 대해 영상의 영역을 분할하고 분할된 영역내의 영상에 대해 히스토그램을 분석하여 얼굴의 윤곽선을 포함하는 후보 영역을 검출하는 제3단계;
    상기 제3단계에서 얼굴의 윤곽선을 포함하는 후보 영역이 검출된 각 분리영상들에 대해서 픽셀값에 대한 AND 논리 연산을 하는 제4단계; 및
    상기 제4단계이후 모폴로지 연산을 통해 최종적으로 얼굴 윤곽선을 기준으로 색상이 흑과 백으로 구별되는 얼굴 윤곽선이 포함된 얼굴 영역의 영상을 구하는 제5단계로 구성된 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  2. 청구항 1항에 대해서,
    상기 제2단계는,
    색공간이 YCrCb인 경우는 하나의 밝기 성분 영상 Y와 두개의 색상 성분 영상 CrCb로 분리하고,
    색공간이 YUV인 경우는 하나의 밝기 성분 영상 Y와 두개의 색상 성분 영상 UV로 분리하고,
    색공간이 CIE L*a*b*인 경우는 하나의 밝기 성분 영상 L*와 두개의 색상 성분 영상 a*b*로 분리하고,
    색공간이 CIE L*u*v*인 경우는 하나의 밝기 성분 영상 L*와 두개의 색상 성분 영상 u*v*로 분리하고,
    색공간이 HSV인 경우는 하나의 밝기 성분 영상 V와 두개의 색상 성분 영상 HS로 분리하며,
    색공간이 HLS인 경우는 하나의 밝기 성분 영상 L와 두개의 색상 성분 영상 HS로 분리하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  3. 청구항 1항에 대해서,
    상기 제2단계는,
    색공간이 Normalized RGB인 경우 밝기와 무관하게 고유의 색상을 표현 할 수 있는 세 개의 색상 성분 영상(Normalized R, Normalized G, Normalized B)으로 분리하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  4. 청구항 1항에 대해서,
    상기 제2단계는,
    색공간이 YCrCb 인 경우는 두개의 색상 성분 영상 CrCb로 분리하고,
    색공간이 YUV 인 경우는 두개의 색상 성분 영상 UV로 분리하고,
    색공간이 CIE L*a*b*인 경우는 두개의 색상 성분 영상 a*b*로 분리하고,
    색공간이 CIE L*u*v*인 경우는 두개의 색상 성분 영상 u*v*로 분리하고,
    색공간이 HSV인 경우는 두개의 색상 성분 영상 HS로 분리하고,
    색공간이 HLS인 경우는 두개의 색상 성분 영상 HS로 분리하며,
    색공간이 Normalized RGB인 경우는 Normalized RG, Normalized GB, 및 Normalized RB중 하나인 두개의 색상 성분 영상으로 분리하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  5. 청구항 1항에 대해서,
    상기 제2단계는,
    색공간이 YCrCb인 경우는 Cr 및 Cb중 어느 하나의 색상 성분 영상으로 분리하고,
    색공간이 YUV인 경우는 U및 V중 어느 하나의 색상 성분 영상으로 분리하고,
    색공간이 CIE L*a*b* 인 경우는 a*및 b*중 어느 하나의 색상 성분 영상으로 분리하고,
    색공간이 CIE L*u*v*인 경우는 u*및 v*중 어느 하나의 색상 성분 영상으로 분리하고,
    색공간이 HSV인 경우는 H및 S중 어느 하나의 색상 성분 영상으로 분리하고,
    색공간이 HLS인 경우는 H및 S중 어느 하나의 색상 성분 영상으로 분리하며,
    색공간이 Normalized RGB인 경우는 Normalized R, Normalized G, 및 Normalized B중 어느 하나의 색상 성분 영상으로 분리하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  6. 청구항 2항에 대해서,
    상기 제3단계는,
    상기 밝기 성분 영상에서 얼굴의 윤곽선을 포함하는 후보 영역을 검출하는 밝기성분영역검출단계; 및
    상기 색상 성분 영상에서 얼굴의 윤곽선을 포함하는 후보 영역을 검출하는 색상성분영역검출단계로 이루어진 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  7. 청구항 3항 내지 5항 중 어느 하나의 항에 있어서,
    상기 제3단계는 색상 성분 영상에서 얼굴의 윤곽선을 포함하는 후보 영역을 검출하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  8. 청구항 6에 있어서,
    상기 밝기성분영역검출단계는,
    상기 분리된 밝기 성분의 영상의 영역을 기 설정된 갯수로 분할하는 밝기영상분할단계;
    상기 밝기영상분할단계에서 분할된 각 밝기 성분의 영상에 대해 히스토그램 분석을 하는 밝기영상분석단계;
    상기 밝기영상분석단계에 의해 구해진 결과를 바탕으로 임계값을 결정하는 밝기영상임계값설정단계;
    상기 밝기영상임계값설정단계에서 분할된 각각의 밝기 성분영상에서 각각 정해진 임계값을 상기 분할된 각각의 밝기 성분 영상들의 픽셀값과 비교해서 임계값보다 영상 내의 픽셀값이 더 큰 경우만 해당 픽셀을 선택하는 밝기영상임계값적용단계; 및
    상기 밝기영상임계값적용단계에 의해 선택된 픽셀만을 얼굴 윤곽선을 포함하는 후보영역으로 선택하는 밝기영상검출단계로 구성된 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  9. 청구항 6에 있어서,
    상기 색상성분영역검출단계는,
    상기 분리된 색상 성분 영상의 영역을 기 설정된 갯수로 분할하는 색상영상분할단계;
    상기 색상영상분할단계에서 분할된 각 색상 성분의 영상에 대해 히스토그램 분석을 하는 색상영상분석단계;
    상기 색상영상분석단계를 통해 임계값을 결정하는 색상영상임계값설정단계;
    상기 색상영상임계값설정단계에서 분할된 각각의 밝기 성분영상에서 각각 정해진 임계값을 상기 분할된 각각의 색상 성분 영상들의 픽셀값과 비교해서 임계값보다 영상 내의 픽셀값이 더 큰 경우만 해당 픽셀을 선택하는 색상영상임계값적용단계; 및
    상기 색상영상임계값적용단계에 의해 선택된 픽셀만을 얼굴 윤곽선을 포함하는 후보영역으로 선택하는 색상영상검출단계로 구성된 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  10. 청구항 7에 있어서,
    상기 제3단계는,
    상기 분리된 색상 성분 영상의 영역을 기 설정된 갯수로 분할하는 색상영상분할단계;
    상기 색상영상분할단계에서 분할된 각 색상 성분의 영상에 대해 히스토그램 분석을 하는 색상영상분석단계;
    상기 색상영상분석단계를 통해 임계값을 결정하는 색상영상임계값설정단계;
    상기 색상영상임계값설정단계에서 분할된 각각의 밝기 성분영상에서 각각 정해진 임계값을 상기 분할된 각각의 색상 성분 영상들의 픽셀값과 비교해서 임계값보다 영상 내의 픽셀값이 더 큰 경우만 해당 픽셀을 선택하는 색상영상임계값적용단계; 및
    상기 색상영상임계값적용단계에 의해 선택된 픽셀만을 얼굴 윤곽선을 포함하는 후보영역으로 선택하는 색상영상검출단계로 구성된 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  11. 청구항 8에 있어서,
    상기 밝기영상임계값설정단계는,
    상기 히스토그램의 첫번째 지역 최소점(local minimum)과 기 설정된 γ1을 비교하는 제6단계; 및
    상기 제6단계에서 상기 첫번째 지역 최소점이 더 작은 경우는 임계값을 첫번째 지역 최소점으로 하고, 그렇지 않은 경우는 γ1보다 작도록 기 설정된 γ2를 임계값으로 하는 제7단계로 이루어진 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  12. 삭제
  13. 청구항 9에 있어서,
    상기 색상영상분석단계는,
    상기 분할된 각 색상 성분의 영상에 대해 분할된 영상 면적 α%이내에 (α는 기 설정된 값) 해당하는 영역의 영상에 대해 히스토그램 분석을 하는 제8단계; 및
    상기 제8단계의 히스토그램에서 히스토그램 최대값을 가지는 bin을 기준으로 하여 좌우로 최대값의 β%(β는 기 설정된 값)를 가지는 2개의 bin값을 구하는 제9단계로 구성된 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  14. 청구항 13에 있어서,
    상기 색상영상임계값설정단계는,
    상기 제9단계에서 구해진 상기 두 개의 bin값을 기준으로 하여, 원래 영상의 히스토그램상에서 상기 bin값 중 작은 값의 왼쪽으로 첫번째 지역 최소값(m1)과 상기 bin값 중 큰 값의 오른쪽으로 첫번째 지역 최소값(m2)을 각각 임계값으로 하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  15. 청구항 14에 있어서,
    상기 색상영상임계값적용단계는,
    각 분할된 영상에 대해서 상기 분할된 영상내의 픽셀값이 상기 m1보다 크고 상기 m2보다 작은 경우에만 얼굴의 윤곽선을 포함하는 후보영역으로 선택하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  16. 청구항 10에 있어서,
    상기 색상영상분석단계는,
    상기 분할된 각 색상 성분의 영상에 대해 분할된 영상 면적의 α%이내에 (α는 기 설정된 값) 해당하는 영역의 영상에 대해 히스토그램 분석을 하는 제10단계; 및
    상기 제10단계의 히스토그램에서 히스토그램 최대값을 가지는 bin을 기준으로 하여 좌우로 최대값의 β%(β는 기 설정된 값)를 가지는 2개의 bin값을 구하는 제11단계로 구성된 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  17. 청구항 16에 있어서,
    상기 색상영상임계값설정단계는,
    상기 제11단계에서 구해진 상기 두 개의 bin값을 기준으로 하여, 원래 영상의 히스토그램상에서 상기 bin값 중 작은 값의 왼쪽으로 첫번째 지역 최소값(m1)과 상기 bin값 중 큰 값의 오른쪽으로 첫번째 지역 최소값(m2)을 각각 임계값으로 하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  18. 청구항 17에 있어서,
    상기 색상영상임계값적용단계는,
    각 분할된 영상에 대해서 상기 분할 영상내의 픽셀값이 상기 m1보다 크고 상기 m2보다 작은 경우에만 얼굴의 윤곽선을 포함하는 후보영역으로 선택하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  19. 청구항 13항에 있어서,
    상기 α와 상기 β는 각각 기 설정되거나 혹은 사용자로부터 입력 받을 수 있는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  20. 청구항 1항 내지 6항, 8항, 9항, 11항 및 13항 내지 15항중 어느 하나의 항에 있어서,
    상기 제5단계는,
    모폴로지 연산중 열림(Opening)연산을 먼저하고 그 이후 닫힘(Closing)연산을 하거나 닫힘(Closing)연산을 먼저하고 그 이후 열림(Opening)연산을 하는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  21. 삭제
  22. 청구항 11에 있어서,
    상기 γ1과 상기 γ2는 각각 기 설정되거나 혹은 사용자로부터 입력 받을 수 있는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
  23. 청구항 16항에 있어서,
    상기 α와 상기 β는 각각 기 설정되거나 혹은 사용자로부터 입력 받을 수 있는 것을 특징으로 하는 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법.
KR1020090042063A 2009-05-14 2009-05-14 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법 KR100927642B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090042063A KR100927642B1 (ko) 2009-05-14 2009-05-14 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090042063A KR100927642B1 (ko) 2009-05-14 2009-05-14 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법

Publications (1)

Publication Number Publication Date
KR100927642B1 true KR100927642B1 (ko) 2009-11-20

Family

ID=41605217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090042063A KR100927642B1 (ko) 2009-05-14 2009-05-14 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법

Country Status (1)

Country Link
KR (1) KR100927642B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103270535A (zh) * 2010-06-23 2013-08-28 诺基亚公司 用于跟踪脸部部分的方法、装置和计算机程序产品
KR101973726B1 (ko) * 2018-12-27 2019-04-30 한국건설기술연구원 모폴로지컬 필터링을 이용하여 대상지역의 수치표면모델로부터 수치표고모델을 생성하기 위한 방법 및 전자장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091471A (ko) * 2002-05-28 2003-12-03 엘지전자 주식회사 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
KR100843257B1 (ko) 2007-04-11 2008-07-02 인하대학교 산학협력단 윤곽선 복원을 이용한 얼굴검출 장치 및 방법
KR20080109425A (ko) * 2007-06-13 2008-12-17 경원대학교 산학협력단 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법 및시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091471A (ko) * 2002-05-28 2003-12-03 엘지전자 주식회사 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
KR100843257B1 (ko) 2007-04-11 2008-07-02 인하대학교 산학협력단 윤곽선 복원을 이용한 얼굴검출 장치 및 방법
KR20080109425A (ko) * 2007-06-13 2008-12-17 경원대학교 산학협력단 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법 및시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103270535A (zh) * 2010-06-23 2013-08-28 诺基亚公司 用于跟踪脸部部分的方法、装置和计算机程序产品
CN103270535B (zh) * 2010-06-23 2016-05-25 诺基亚技术有限公司 用于跟踪脸部部分的方法、装置
KR101973726B1 (ko) * 2018-12-27 2019-04-30 한국건설기술연구원 모폴로지컬 필터링을 이용하여 대상지역의 수치표면모델로부터 수치표고모델을 생성하기 위한 방법 및 전자장치

Similar Documents

Publication Publication Date Title
Chung et al. Efficient shadow detection of color aerial images based on successive thresholding scheme
Salvador et al. Cast shadow segmentation using invariant color features
EP2575077B1 (en) Road sign detecting method and road sign detecting apparatus
AU2013258519B2 (en) Method and apparatus for image scoring and analysis
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
CN105761260B (zh) 一种皮肤图像患处分割方法
US9852354B2 (en) Method and apparatus for image scoring and analysis
KR101340180B1 (ko) 설태 및 설질 영역을 구분하여 건강을 진단하는 장치 및 방법
Fatichah et al. Overlapping white blood cell segmentation and counting on microscopic blood cell images
KR20150007880A (ko) 영상 화질 개선 방법, 장치 및 기록 매체
CN111539980A (zh) 一种基于可见光的多目标追踪方法
KR102010086B1 (ko) 미세조직의 상 분할 방법 및 장치
KR100927642B1 (ko) 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법
CN109716355B (zh) 微粒边界识别
Islami Implementation of HSV-based Thresholding Method for Iris Detection
Rahman et al. Skin lesions classification based on color plane-histogram-image quality analysis features extracted from digital images
Amil et al. Bilateral histogram equalization with pre-processing for contrast enhancement
JP2010186246A (ja) 画像処理装置、方法、及び、プログラム
KR100488014B1 (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
CN112270683B (zh) 一种ihc数字预览图识别和组织前景分割方法及系统
CN110458042B (zh) 一种荧光ctc中的探针数目检测方法
CN114463440A (zh) 一种单摄像头目标定位方法、系统、设备及存储介质
Faisal et al. New Segmentation Method for Skin Cancer Lesions
Rout et al. Transition region based approach for skin lesion segmentation
CN107977604B (zh) 一种基于改进聚合通道特征的手部检测方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121105

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140925

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150831

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee