KR20100055557A - 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법 - Google Patents

피부색영역 기반 얼굴검출을 위한 적분영상 생성방법 Download PDF

Info

Publication number
KR20100055557A
KR20100055557A KR1020080114343A KR20080114343A KR20100055557A KR 20100055557 A KR20100055557 A KR 20100055557A KR 1020080114343 A KR1020080114343 A KR 1020080114343A KR 20080114343 A KR20080114343 A KR 20080114343A KR 20100055557 A KR20100055557 A KR 20100055557A
Authority
KR
South Korea
Prior art keywords
skin color
image
run
face detection
integral
Prior art date
Application number
KR1020080114343A
Other languages
English (en)
Other versions
KR100977756B1 (ko
Inventor
김성대
이유라
김수정
이황수
강무성
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020080114343A priority Critical patent/KR100977756B1/ko
Publication of KR20100055557A publication Critical patent/KR20100055557A/ko
Application granted granted Critical
Publication of KR100977756B1 publication Critical patent/KR100977756B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법에 관한 것으로서, 임의의 RGB 영상 데이터를
Figure 112008079282156-PAT00001
변환을 통해 얼굴 후보 영역을 추출하는 (a) 단계, 및 추출된 얼굴 후보 영역의 적분값을 도출하여 1차원 벡터 적분영상으로 변환 및 저장하는 (b) 단계를 포함한다.
상기와 같은 본 발명에 따르면, 임의의 RGB 영상 데이터를
Figure 112008079282156-PAT00002
변환 및 1차원 히스토그램에 의한 임계값에 따라, 추출된 얼굴 후보 영역을 적분값을 도출하여 1차원 벡터 적분영상으로 변환 및 저장함으로써, 저장 공간 및 계산량의 부담을 최소화시키고, 동일한 식별기를 사용하여 얼굴을 검출할 경우, 피부색 영역만을 얼굴 후보 영역으로 포함하기 때문에, 고정된 검출률 대비 낮은 오검출률을 확보하는 효과가 있다.
얼굴 검출, 피부색 검출, 적분 영상, Face Detection, Skin Detection, Intrgral Image

Description

피부색영역 기반 얼굴검출을 위한 적분영상 생성방법{A INTEGRAL IMAGE GENERATION METHOD FOR SKIN REGION BASED FACE DETECTION}
본 발명은 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법에 관한 것으로서, 더욱 상세하게는 영상 전체에 대한 적분값을 계산을 피부색 영역으로 한정함으로써, 저장 공간 및 계산량의 부담을 최소화시키는 기술에 관한 것이다.
최근 보안 분야에 대한 관심이 커지면서 인간의 외적 특성 혹은 움직임 특징을 이용하여 개인을 인식하는 보안장비의 개발이 활발히 진행되고 있다. 특히 이러한 생체인식을 이용한 지능화된 화상 감시 시스템에서 인간의 얼굴 인식을 이용하고 있으며 얼굴 검출은 이러한 응용 영역에서 시스템의 첫 번째 단계로 구성되는 중요한 연구 분야이다. 현재까지 얼굴 영상에서 나타나는 컬러, 밝기, 기하학적 분포 등의 특징을 이용한 여러 가지 방법이 활발히 연구되고 있다.
그러나 얼굴 검출에는 몇 가지 어려움이 따른다. 영상 내 얼굴의 위치, 크기, 회전, 방향, 조명 환경 등에 따른 변화로 인해 얼굴의 구성요소가 모두 드러나지 않는 제한적인 상황이 자주 발생한다. 이러한 상황에서도 얼굴을 검출하기 위한 방안이 다양하게 연구된 바 있다.
일반적으로 한 장의 영상으로부터 얼굴을 검출하는 방법은 지식 기반 방법(Knowledge-based method), 특징 기반 방법(feature-based method), 템플릿 정합 기법(template matching method), 영상(외양)기반 방법(Image-based method) 등으로 나눌 수 있다.
지식 기반 방법은 얼굴에 나타나는 특징들과 그들 사이의 관계에 근거한 간단한 규칙들로 얼굴인지 아닌지를 판단한다. 예를 들어 얼굴에서 두 개의 눈과 코, 입이 좌우 대칭으로 나타난다. 이러한 특징 사이의 상관관계는 상대적인 거리, 위치로 나타낸다. 그러나 규칙들이 너무 일반적인 경우 오검출 발생 확률이 높아지며, 영상에서 얼굴이 나타나는 모든 상황을 감안하여 규칙을 만들기 힘들기 때문에 영상 내 얼굴의 자세가 다른 경우 검출하기 어렵다.
특징 기반 방법에서는 영상 내 얼굴의 다양한 자세, 혹은 조명 환경의 변화에 강인한 특징을 찾아서 얼굴 검출에 이용한다. 일반적으로 눈썹, 눈, 코, 입, 머리카락 등의 부분적인 얼굴 특징을 에지(Edge)검출기를 이용하여 추출한다. 이러한 방법은 얼굴 자세나 방향에는 강인하지만 조명이나 잡음에 의한 부분 손실에 약하다는 단점이 있다.
템플릿 정합 기법에서는 학습과정 없이 얼굴의 부분영역이나 외각선을 이용하여 미리 표준 얼굴에 대한 정보를 만든다. 주어진 얼굴 후보에 대하여 이러한 표준 얼굴과의 유사성을 판단하여 얼굴과 비얼굴을 구분한다. 이러한 방법은 비교적 간단하게 이용할 수 있지만 다양한 얼굴 자세에서 템플릿을 정의하기 힘들다는 단점이 있다.
마지막으로 영상 기반 방법에서는, 훈련 영상들부터 얼굴과 비얼굴을 구분하기에 용이한 통계적 정보를 획득하고, 획득된 통계적 정보에 기반하여 얼굴과 비얼굴을 구분하는 식별기(Classifier)를 구성한다. 다른 방법에 비해 많은 예제들이 필요하며 식별기를 구성하기 위한 시간 소모가 많지만 패턴인식 알고리즘을 이용함으로서 정확도가 높으며 얼굴 자세에 비교적 강인하다. 현재 이러한 접근 방법으로 분류될 수 있는 다양한 학습 알고리즘이 얼굴 검출에 용이하게 사용되고 있다.
현재 영상 기반 방법에서 많이 쓰이는 학습 알고리즘에서는 실시간 얼굴 검출을 위한 빠른 특징값 계산을 위하여 적분 영상을 사용하고 있다. 일반적으로 회전된 얼굴을 검출하고자 할 때 널리 활용되는 방법은 입력 영상을 회전 변환한 후, 회전 변환된 영상에서 수직방향으로 놓인 얼굴을 검출하는 것이다. 이 때 적분 영상을 이용할 경우, 각 회전 단계마다 별도의 적분영상을 획득하여야 한다.
또한, 정면 얼굴 검출기의 검출률 향상을 위해 기존의 수직, 수평방향 특징 마스크 이외에 회전된 특징 마스크를 이용할 경우 회전 각도에 대한 추가적인 적분 영상 구성이 필요하다. 특히, 핸드폰 카메라와 같은 적은 메모리 공간을 요구하는 시스템에서는 이러한 적분 영상 획득에 따른 저장 공간 및 계산량에 대한 부담이 따른다.
본 발명은 상기와 같은 문제점을 해소하고자 안출된 것으로서, 본 발명의 목적은, 영상 기반 방법에 따라 얼굴영역을 검출하는데 있어 불필요한 적분 영상을 배제한 즉, 영상 전체에 대한 적분값을 계산을 피부색 영역으로 한정함으로써, 저장 공간 및 계산량의 부담을 최소화시키고, 고정된 검출률 대비 낮은 오검출률을 확보하는데 있다.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법은, 임의의 RGB 영상 데이터를
Figure 112008079282156-PAT00003
변환을 통해 얼굴 후보 영역을 추출하는 (a) 단계, 및 추출된 얼굴 후보 영역의 적분값을 도출하여 1차원 벡터 적분영상으로 변환 및 저장하는 (b) 단계를 포함한다.
또한, (a) 단계는, 임의의 RGB 영상 데이터에 대해
Figure 112008079282156-PAT00004
변환을 수행하는 (a-1) 단계와,
Figure 112008079282156-PAT00005
로 변환된 영상의 1차원 히스토그램을 생성하고, 생성된 1차원 히스토그램의 분포에 따른 최고점과 최저점 검출을 통한 임계값에 따라 피부색 영역을 검출하는 (a-2) 단계, 및 검출된 피부색 영역의 화소들에 대해 Morphological 연산을 수행하여 얼굴 후보 영역을 도출하는 (a-3) 단계를 포함한다.
또한, (a-1) 단계는, RGB 영상 내의 피부색 화소를 대표하는 평균 벡터를 이용하여 피부색 영역의 클러스터가 컬러축에 평행 또는 수직하도록 변환하는 (a-1-1) 단계를 포함한다.
또한, (a-2) 단계는,
Figure 112008079282156-PAT00006
로 변환된 영상의 각 컬러축에 대한 1차원 히스토그램을 추출하는 (a-2-1) 단계와, 추출된 1차원 히스토그램에서 최대값(Peak)과 최소값(valley)을 검출하는 (a-2-2) 단계, 및 검출된 최대값(Peak)과 최소값(valley)을 각 컬러 성분에 대한 임계값으로 도출하고, 기 설정된 임계값에 대응하는 컬러 성분을 피부색 영역으로 검출하는 (a-2-3) 단계를 포함한다.
또한, (a-3) 단계는, 검출된 피부색 영역의 화소들에 대해 Morphological 연산을 수행하여 잡음과 같이 일정 부분에 연속적으로 존재하지 않는 화소들을 제거하는 (a-3-1) 단계, 및 피부색 영역 내부의 빈곳을 채워 얼굴 후보 영역을 도출하는 (a-3-2) 단계를 포함한다.
또한, (b) 단계는, 1차원 벡터 적분영상과 대응하는 화소의 적분값에 대한 위치 정보를 저장하는 Run-Set 데이터(같은 행에 위치하면서 연속되는 피부색 화소들의 모음)를 생성하여 저장하는 (b-1) 단계, 및 Run-Set에 의해 저장된 적분값과 위치정보로부터 얼굴 검출을 위해 영상 내 임의의 화소 위치로부터 적분값을 추출하는 (b-2) 단계를 포함한다.
또한, (b-1) 단계는, 1차원 벡터 적분영상의 각 행에 존재하는 Run들 중 가장 오른쪽 Run의 ID를 제 1 리스트(
Figure 112008079282156-PAT00007
)에 저장하는 (b-1-1) 단계와, 각 Run의 시작점의 x좌표를 제 2 리스트(
Figure 112008079282156-PAT00008
)에 저장하는 (b-1-2) 단계, 및 첫 번째 Run부터 j 번째 Run 까지 존재하는 피부색 영상의 개수에 해당하는 적분값을 제 3 리스트(
Figure 112008079282156-PAT00009
)에 저장하는 (b-1-3) 단계를 포함한다.
그리고, Run-Set 데이터는, Run-length 부호화를 통해 도출하는 것을 특징으 로 한다.
상기와 같은 본 발명에 따르면, 임의의 RGB 영상 데이터를
Figure 112008079282156-PAT00010
변환 및 1차원 히스토그램에 의한 임계값에 따라, 추출된 얼굴 후보 영역을 적분값을 도출하여 1차원 벡터 적분영상으로 변환 및 저장함으로써, 저장 공간 및 계산량의 부담을 최소화시켜 메모리 공간에 제약이 있는 컴퓨팅 환경에서 유용하게 사용되는 효과가 있다.
그리고, 동일한 식별기를 사용하여 얼굴을 검출할 경우, 피부색 영역만을 얼굴 후보 영역으로 포함하기 때문에, 고정된 검출률 대비 낮은 오검출률을 확보하는 효과가 있다.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 1 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성장치를 보인 구성도이다. 도면에 나타낸 바와 같이 본 발명의 적분영상 생성장 치(100)는, 컬러 좌표 변환부(110), 피부색 화소 검출부(120), 얼굴 후보 영역화부(130), 적분값 생성/저장부(140), 적분값 위치정보 저장부(150) 및 적분값 산출부(160)를 포함하여 이루어진다.
먼저, 컬러 좌표 변환부(110)는 입력된 영상의 RGB값을 아래의 [수학식 1]에 따라
Figure 112008079282156-PAT00011
(Karhunen-Loeve Transform)변환한다. 이와 같은 변환은, 컬러 영상에서 반사가 없을 때, 균일한 컬러를 갖는 물체와 대응하는 화소(이하, '균일컬러 화소')들의 색 공간 분포는 가늘고 긴 모양을 가지며, 분포의 최장 축은 원점과 화소들의 평균컬러를 연결한 벡터의 방향과 같다는 실험결과를 이용한다.
[수학식 1]
Figure 112008079282156-PAT00012
상기 [수학식 1]은 컬러축이 화소 분포의 최장 축에 수직 또는 평행하도록 색 공간을 변환을 나타낸다. 이와 같은 색 공간 변환에 따른 균일컬러 화소를 임계화 방법을 통해 추출할 경우, 화소 분포의 최장 축 방향에 평행한 직육면체 형태의 임계구간 설정시 해당 화소 이외의 화소들을 최대한 배제할 수 있도록 한다.
또한, 상기 [수학식 1]에서
Figure 112008079282156-PAT00013
는 균일컬러 화소들의 대표 벡터(주로 평균값)이며,
Figure 112008079282156-PAT00014
는 입력받은 영상의 RGB값을 나타낸다. 이러한 축 변환은 추출 대상 균일컬러 화소들의 평균 컬러를 추정을 용이하게 하며, 상기 색 공간 변환을 통해 추출하고자 하는 균일컬러 화소들의 분포가 좌표축에 평행되도록 한다.
한편, 피부색 화소 검출부(120)는 컬러 좌표 변환부(110)로부터
Figure 112008079282156-PAT00015
로 변환된 영상(이하, '
Figure 112008079282156-PAT00016
영상')을 인가받아 각 화소들의 피부색 영역 검출을 위한 임계화를 위해 1차원 히스토그램을 생성하고, 1차원 히스토그램으로부터 최고점(Peak)과 최저점(velley)을 검출하여 균일컬러 화소들로부터 피부색 영역을 도출한다. 이처럼 각 컬러 성분에 대한 임계값 도출에 따라
Figure 112008079282156-PAT00017
영상을 각 컬러 성분에 대한 독립적인 피부색 영역을 검출할 수 있다.
부연하면, 도 2 는 입력 색공간이 2차원이라고 상정 했을 때 각 축에 대한 1차원 히스토그램을 나타낸 것이다. 도 2 에서
Figure 112008079282156-PAT00018
축에 대한 1차원 히스토그램은 균일컬러 화소 값들 중에서
Figure 112008079282156-PAT00019
값이
Figure 112008079282156-PAT00020
과
Figure 112008079282156-PAT00021
사이에 있는 화소 값들의
Figure 112008079282156-PAT00022
값 분포를 나타내는 것이다. 실제 균일컬러 화소들은
Figure 112008079282156-PAT00023
의 3차원 색 공간이므로 이 개념을 3차원으로 확장하여 각 축에 대한 조건부 1차원 히스토그램을 획득한다.
얼굴 후보 영역화부(130)는 피부색 화소 검출부(120)로부터 인가받은 피부색 영역에 대하여 후처리 과정을 통해 얼굴 후보 영역을 생성한다.
세부적으로, 도 3 을 참조하여 살피면, 피부색 영역을 이진화하여 현재 화소가 피부색이면 '1'값을 할당하고, 피부색이 아니면 '0'값을 할당하여 피부색 영역으로부터 얼굴 후보 영역을 도출한다.
또한, 이진화된
Figure 112008079282156-PAT00024
영상을 Erosion 및 Dilation 처리과정을 수반하는 Morphological 연산을 수행하는데, 먼저 Erosion 연산을 통해 검출된 피부색 화소들 중에서 잡음과 같이 일정부분에 연속적으로 존재하지 않는 화소들을 제거하고, Dilation 연산을 수행하여 Erosion 연산의 잡음 제거에 따라 감소된 피부색 영역을 확대시킨다.
이어서, Morphological 연산을 거친 이진화된
Figure 112008079282156-PAT00025
영상의 피부색 영역 내부의 빈 곳을 채워 상기 피부색 화소 검출부(120)로부터 인가받은 피부색 영역에 대해서 얼굴 후보 영역을 도출한다. 여기서, 빈 곳은, 눈, 입, 머리카락 등 피부색이 아닌 영역을 뜻한다.
적분값 생성/저장부(140)는 얼굴 후보 영역화부(130)로부터 인가받은 얼굴 후보 영역에 대한 적분영상 값을 도출하고, 도출된 적분영상 값을 1차원 벡터 형태로 저장(이하, '1차원 벡터 적분영상')한다. 이때, 도출된 적분영상 값은, 피부색영역의 위치정보를 run-length 코드로 부호화하여 생성되며, 도 4 는 도출된 적분영상 값이 1차원 벡터 형태로 저장되는 것을 예시한 도면이다.
즉, 얼굴 후보 영역을 에두르는 최소사각형을 찾고, 찾아진 사각형 영역에 대한 적분영상을 구성하는 것이 아니라, 저장 공간을 최소화하기 위해 얼굴후보영역에 해당하는 화소들에 대한 적분값만을 추출하여 1차원 백터 적분영상으로 저장한다.
적분값 위치 정보 저장부(150)는 적분값 생성/저장부(140)로부터 인가받은 1차원 벡터 적분영상과 대응하는 화소의 적분값에 대한 위치 정보를 저장하기 위해 Run-length 부호화를 통해 Run-Set 데이터를 생성한다.
세부적으로 1차원 벡터 적분영상 중에서 피부색영역을 표현하는 Run-Set 정의를 첨부도면 도 4 를 참조하여 살피면 다음과 같다.
도 4 에 도시된 바와 같이, ① 내지 ⑧은 같은 행에 위치하면서 연속되는 피부색 화소들의 모음인 Run들이다. 이러한 Run은, 상기 1차원 벡터 적분영상 내에 위치한 순서대로 좌측 상부에서 우측 하부 순으로 1 내지 8 까지의 번호(이하 'ID')를 부여받는다.
한편, Run-Set은, 1차원 벡터 적분영상 내에 존재하는 모든 Run들의 정보를 도 5 에 도시된 바와 같이, 세 가지 타입의 리스트로 저장되며, 여기서, H는 영상높이, N은 Run의 개수이다.
먼저, 첫 번째 리스트(
Figure 112008079282156-PAT00026
)에는 1차원 벡터 적분영상의 각 행에 존재하는 Run들 중, 가장 오른쪽에 존재하는 Run의 ID를 저장하며,
Figure 112008079282156-PAT00027
은 1차원 벡터 적분영상의
Figure 112008079282156-PAT00028
번째 행에 존재하는 Run들 중에서 가장 오른쪽에 존재하는 Run의 ID 값이다. 따라서,
Figure 112008079282156-PAT00029
은 영상 높이에 해당하는 크기를 가지며, 처음부터
Figure 112008079282156-PAT00030
번째 행에 존재하는 모든 Run의 개수를 나타낸다.
또한, 두 번째 리스트(
Figure 112008079282156-PAT00031
)에는 영상에서 각 Run의 시작점의 x좌표를 저장하며,
Figure 112008079282156-PAT00032
값은
Figure 112008079282156-PAT00033
번째 Run의 시작 x좌표를 가진다. 따라서,
Figure 112008079282156-PAT00034
는 1차원 벡터 적분영상 내 Run의 개수만큼의 크기를 갖는다.
마지막으로, 세 번째 리스트(
Figure 112008079282156-PAT00035
)는 Run의 개수에 해당하는 적분값을 저장한다. 즉,
Figure 112008079282156-PAT00036
값은 첫 번째 Run부터
Figure 112008079282156-PAT00037
번째 Run 까지 존재하는 모든 피부색영역(피부색)의 화소들의 개수를 의미한다. 마찬가지로
Figure 112008079282156-PAT00038
역시 Run의 개수만큼의 크기를 갖는다.
상술한 바와 같이 Run-Set을 구성하는 세 가지 리스트가 2차원 벡터 적분영상 값의 위치정보를 저장하고 있으며, 영상 내 얼굴 후보 영역 중 임의의 위치에 해당하는 적분값을 알고자 할 때 이 세 가지 리스트를 이용하여 용이하게 적분값을 획득할 수 있다.
그리고, 적분값 산출부(160)는 적분값 위치 정보 저장부(150)로부터 인가받은 Run-Set에 의해 저장된 적분값과 위치정보로부터 얼굴 검출을 위한 영상 내 임의의 화소 위치로부터 적분값을 추출한다.
세부적으로 도 6 을 참조하여 임의의 위치로부터 적분값을 획득하기 위해 Run-Set과 1차원 벡터 적분영상 값에 대한 배열이 주어졌을 때,
Figure 112008079282156-PAT00039
에서의 적분값 추출을 살피면 다음과 같다.
먼저,
Figure 112008079282156-PAT00040
의
Figure 112008079282156-PAT00041
번째 값
Figure 112008079282156-PAT00042
와
Figure 112008079282156-PAT00043
번째
Figure 112008079282156-PAT00044
값을 독출하는데, 여기서,
Figure 112008079282156-PAT00045
의 값은 1차원 벡터 적분영상의
Figure 112008079282156-PAT00046
번째 행에 존재하는 Run들의 개수를 의미하며, 영상의
Figure 112008079282156-PAT00047
번째 행에는
Figure 112008079282156-PAT00048
, ...,
Figure 112008079282156-PAT00049
의 ID를 갖는 Run들이 위치한다.
다음으로,
Figure 112008079282156-PAT00050
, ...,
Figure 112008079282156-PAT00051
의 값을 관찰하는데, 여기서,
Figure 112008079282156-PAT00052
는
Figure 112008079282156-PAT00053
번째 Run의 시작 좌표이므로, 만약
Figure 112008079282156-PAT00054
부터
Figure 112008079282156-PAT00055
사이의 임의의 정수 k에 대하여,
Figure 112008079282156-PAT00056
가 x보다 작고
Figure 112008079282156-PAT00057
이 x보다 크다면 x는 k번째 Run에 속한다.
여기서,
Figure 112008079282156-PAT00058
는, k번째 Run에서 좌표 x가 몇 번째 화소인지를 의미하며, 첫 번째부터
Figure 112008079282156-PAT00059
번째까지의 Run들에는 총
Figure 112008079282156-PAT00060
개의 화소가 포함된다. 따라서,
Figure 112008079282156-PAT00061
에서의 적분값은 적분값 배열의
Figure 112008079282156-PAT00062
번째 값임을 알 수 있다.
이하, 본 상술한 시스템을 기반으로 하는 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법에 관하여 도 7 을 참조하여 설명하면 다음과 같다.
먼저, 컬러 좌표 변환부(110)가 임의의 RGB 영상 데이터를 컬러 공간에서
Figure 112008079282156-PAT00063
변환을 수행하여 임의의 좌표공간으로 옮겨진
Figure 112008079282156-PAT00064
영상을 생성한다(S110).
이서어, 피부색 화소 검출부(120)가
Figure 112008079282156-PAT00065
영상의 각 컬러 성분에 대한 1차원 히스토그램을 생성하고, 1차원 히스토그램에서 검출한 최고점(peak) 및 최저점(valley) 검출을 통한 임계값에 따라 피부색 영역을 검출한다(S120).
뒤이어, 얼굴 후보 영역화부(130)가 검출된 피부색 영역의 화소들에 대해 Morphological 연산을 수행하여 피부색 영역 안에 잔존하는 비피부색 영역을 피부색 영역으로 변환하여 얼굴 후보 영역을 도출한다(S130). 여기서, Morphological 연산은 Erosion 연산 및 Dilation 연산을 포함한다.
뒤미처, 적분값 생성/저장부(140)는 얼굴 후보 영역의 적분값을 도출하여 1차원 벡터 형태로 저장, 즉 1차원 벡터 적분영상을 저장한다(S140).
이서서, 적분값 위치정보 저장부(150)는 1차원 벡터 적분영상과 대응하는 화 소의 적분값에 대한 위치 정보를 저장하는 Run-Set 데이터(같은 행에 위치하면서 연속되는 피부색 화소들의 모음)를 생성한다(S150).
그리고, 적분값 산출부(160)는 적분값 위치정보 저장부(150)로부터 인가받은 Run-Set에 의해 저장된 적분값과 위치정보로부터 얼굴 검출을 위해 영상 내 임의의 화소 위치로부터 적분값을 추출한다(S160).
세부적으로, 도 8 을 참조하여 상기 제S110 단계를 살피면, 입력된 RGB 영상내 피부색 화소를 대표하는 평균 벡터를 이용하여 피부색 영역의 클러스터가 컬러축에 평행 또는 수직하도록 변환하는 단계(S111)를 더 포함한다.
또한, 도 9 를 참조하여 상기 제S120 단계를 살피면,
Figure 112008079282156-PAT00066
영상의 컬러 공간에서 각 컬러축에 대한 1차원 히스토그램을 도출하고(S121), 도출된 1차원 히스토그램에서 최대값(Peak)과 최소값(valley)을 검출하며(S122), 검출된 최대값(Peak)과 최소값(valley)을 각 컬러 성분에 대한 임계값으로 도출하여
Figure 112008079282156-PAT00067
영상을 각 컬러 성분에 독립적인 피부색 영역을 검출한다(S123).
또한, 도 10 을 참조하여 상기 제S130 단계를 살피면, 얼굴 후보 영역화부(130)가 검출된 피부색 영역의 화소들에 대해 Morphological 연산에 따라 잡음과 같이 일정 부분에 연속적으로 존재하지 않는 검출 화소들을 제거하고(S131), 피부색 영역 내부의 빈곳을 채워 얼굴 후보 영역을 도출한다(S312).
그리고, 도 11 을 참조하여 상기 제S150 단계를 살피면, 적분값 위치 정보 저장부(150)가 1차원 벡터 적분영상과 대응하는 화소의 적분값에 대한 위치 정보를 저장하는 Run-Set 데이터를 Run-length 부호화를 통해 도출된다(S151).
또한, 생성된 Run-Set 데이터를 세 가지 리스트로 구분하여 저장하되, 제 1 리스트(
Figure 112008079282156-PAT00068
)는 1차원 벡터 적분영상의 각 행에 존재하는 Run들 중, 가장 오른쪽에 존재하는 Run의 ID를 저장하고(S152), 제 2 리스트(
Figure 112008079282156-PAT00069
)는 영상에서 각 Run의 시작점의 x좌표를 저장하며(S153), 제 3 리스트(
Figure 112008079282156-PAT00070
)는 첫 번째 Run부터
Figure 112008079282156-PAT00071
번째 Run 까지 존재하는 피부색영상의 개수에 해당하는 적분값을 저장한다(S154).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템을 나타낸 구성도.
도 2 는 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템의 1차원 히스토그램을 나타낸 도면.
도 3 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템의 얼굴 후보 영역화부(130)가 얼굴 후보 영역을 생성하는 과정을 나타낸 도면.
도 4 는 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템의 적분값 생성/저장부(140)가 검출된 피부색 영역에 속하는 화소들의 적분값이 어떻게 1차원 벡터 형태로 저장되는지를 예시한 도면.
도 5 는 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템의 적분값 위치정보 저장부(150)에 저장되는 Run-Set의 세 가지 리스트 타입을 나타낸 도면.
도 6 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템의 적분값 산출부(160)가 임의의 위치로부터 Run-Set과 1차원 벡터 적분영상 값에 대한 배열이 주어졌을 때,
Figure 112008079282156-PAT00079
에서의 적분값 추출 방안을 나타낸 도면.
도 7 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법을 나타낸 순서도.
도 8 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방 법의 제S110 단계의 세부과정을 나타낸 도면.
도 9 는 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법의 제S120 단계의 세부과정을 나타낸 도면.
도 10 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법의 제S130 단계의 세부과정을 나타낸 도면.
도 11 은 본 발명에 따른 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법의 제S150 단계의 세부과정을 나타낸 도면.
** 도면의 주요 부분에 대한 부호의 설명 **
100: 피부색영역 기반 얼굴검출을 위한 적분영상 생성시스템
110: 컬러 좌표 변환부 120: 피부색 화소 검출부
130: 얼굴 후보 영역화부 140: 적분값 생성/저장부
150: 적분값 위치정보 저장부 160: 적분값 산출부

Claims (8)

  1. 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법에 있어서,
    (a) 임의의 RGB 영상 데이터를
    Figure 112008079282156-PAT00072
    변환을 통해 얼굴 후보 영역을 추출하는 단계; 및
    (b) 상기 추출된 얼굴 후보 영역의 적분값을 도출하여 1차원 벡터 적분영상으로 변환 및 저장하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    (a-1) 상기 임의의 RGB 영상 데이터에 대해
    Figure 112008079282156-PAT00073
    (Karhunen-Loeve Transform) 변환을 수행하는 단계;
    (a-2) 상기
    Figure 112008079282156-PAT00074
    로 변환된 영상의 1차원 히스토그램을 생성하고, 생성된 1차원 히스토그램의 분포에 따른 최고점과 최저점 검출을 통한 임계값에 따라 피부색 영역을 검출하는 단계; 및
    (a-3) 상기 검출된 피부색 영역의 화소들에 대해 Morphological 연산을 수행하여 얼굴 후보 영역을 도출하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  3. 제 2 항에 있어서,
    상기 (a-1) 단계는,
    (a-1-1) 상기 RGB 영상 내의 피부색 화소를 대표하는 평균 벡터를 이용하여 피부색 영역의 클러스터가 컬러축에 평행 또는 수직하도록 변환하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  4. 제 2 항에 있어서,
    상기 (a-2) 단계는,
    (a-2-1) 상기
    Figure 112008079282156-PAT00075
    로 변환된 영상의 각 컬러축에 대한 1차원 히스토그램을 추출하는 단계;
    (a-2-2) 상기 추출된 1차원 히스토그램에서 최대값(Peak)과 최소값(valley)을 검출하는 단계; 및
    (a-2-3) 상기 검출된 최대값(Peak)과 최소값(valley)을 각 컬러 성분에 대한 임계값으로 도출하고, 기 설정된 임계값에 대응하는 컬러 성분을 피부색 영역으로 검출하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  5. 제 2 항에 있어서,
    상기 (a-3) 단계는,
    (a-3-1) 상기 검출된 피부색 영역의 화소들에 대해 Morphological 연산을 수 행하여 잡음과 같이 일정 부분에 연속적으로 존재하지 않는 화소들을 제거하는 단계; 및
    (a-3-2) 상기 피부색 영역 내부의 빈곳을 채워 얼굴 후보 영역을 도출하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  6. 제 1 항에 있어서,
    상기 (b) 단계는,
    (b-1) 상기 1차원 벡터 적분영상과 대응하는 화소의 적분값에 대한 위치 정보를 저장하는 Run-Set 데이터(같은 행에 위치하면서 연속되는 피부색 화소들의 모음)를 생성하여 저장하는 단계; 및
    (b-2) 상기 Run-Set에 의해 저장된 적분값과 위치정보로부터 얼굴 검출을 위해 영상 내 임의의 화소 위치로부터 적분값을 추출하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  7. 제 6 항에 있어서,
    상기 (b-1) 단계는,
    (b-1-1) 상기 1차원 벡터 적분영상의 각 행에 존재하는 Run들 중 가장 오른쪽 Run의 ID를 제 1 리스트(
    Figure 112008079282156-PAT00076
    )에 저장하는 단계;
    (b-1-2) 상기 각 Run의 시작점의 x좌표를 제 2 리스트(
    Figure 112008079282156-PAT00077
    )에 저장하는 단 계; 및
    (b-1-3) 첫 번째 Run부터 j 번째 Run 까지 존재하는 피부색 영상의 개수에 해당하는 적분값을 제 3 리스트(
    Figure 112008079282156-PAT00078
    )에 저장하는 단계; 를 포함하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
  8. 제 6 항에 있어서,
    상기 Run-Set 데이터는,
    Run-length 부호화를 통해 도출하는 것을 특징으로 하는 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법.
KR1020080114343A 2008-11-18 2008-11-18 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법 KR100977756B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080114343A KR100977756B1 (ko) 2008-11-18 2008-11-18 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080114343A KR100977756B1 (ko) 2008-11-18 2008-11-18 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법

Publications (2)

Publication Number Publication Date
KR20100055557A true KR20100055557A (ko) 2010-05-27
KR100977756B1 KR100977756B1 (ko) 2010-08-25

Family

ID=42279860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080114343A KR100977756B1 (ko) 2008-11-18 2008-11-18 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법

Country Status (1)

Country Link
KR (1) KR100977756B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135336A1 (en) * 2011-11-30 2013-05-30 Akihiro Kakinuma Image processing device, image processing system, image processing method, and recording medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR100724932B1 (ko) * 2005-08-02 2007-06-04 삼성전자주식회사 얼굴 검출 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135336A1 (en) * 2011-11-30 2013-05-30 Akihiro Kakinuma Image processing device, image processing system, image processing method, and recording medium

Also Published As

Publication number Publication date
KR100977756B1 (ko) 2010-08-25

Similar Documents

Publication Publication Date Title
US8233661B2 (en) Object tracking apparatus and object tracking method
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
EP2737434B1 (en) Gait recognition methods and systems
JP4459137B2 (ja) 画像処理装置及びその方法
JP4284288B2 (ja) パターン認識装置及びその方法
US20080219516A1 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
JP2003346162A (ja) 手の画像認識による入力システム
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
WO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
Kheirkhah et al. A hybrid face detection approach in color images with complex background
CN113646806A (zh) 图像处理设备、图像处理方法和存储程序的记录介质
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
Mousavi et al. Three dimensional face recognition using svm classifier
KR100977756B1 (ko) 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법
Bourbakis et al. Skin-based face detection-extraction and recognition of facial expressions
CN111104857A (zh) 一种基于步态能量图的身份识别方法及系统
KR101620556B1 (ko) 생체 인식 방법
Zhang et al. Face recognition using SIFT features under 3D meshes
Saranya et al. An approach towards ear feature extraction for human identification
Paul et al. Automatic adaptive facial feature extraction using CDF analysis
Jacques et al. Improved head-shoulder human contour estimation through clusters of learned shape models
Paul et al. Extraction of facial feature points using cumulative distribution function by varying single threshold group
Irteza et al. Recognition of hand gesture using hidden Markov model
Kurmi et al. Performance evaluation of rgb skin color segmentation based face detection technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140724

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee