KR100843257B1 - 윤곽선 복원을 이용한 얼굴검출 장치 및 방법 - Google Patents

윤곽선 복원을 이용한 얼굴검출 장치 및 방법 Download PDF

Info

Publication number
KR100843257B1
KR100843257B1 KR1020070035686A KR20070035686A KR100843257B1 KR 100843257 B1 KR100843257 B1 KR 100843257B1 KR 1020070035686 A KR1020070035686 A KR 1020070035686A KR 20070035686 A KR20070035686 A KR 20070035686A KR 100843257 B1 KR100843257 B1 KR 100843257B1
Authority
KR
South Korea
Prior art keywords
image
current frame
edge
head region
difference
Prior art date
Application number
KR1020070035686A
Other languages
English (en)
Inventor
이필규
김송국
강성관
주현재
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020070035686A priority Critical patent/KR100843257B1/ko
Application granted granted Critical
Publication of KR100843257B1 publication Critical patent/KR100843257B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 윤곽선 복원을 이용한 얼굴검출 장치 및 방법에 관한 것으로서, 별도의 실시간 영상 시스템으로부터 사람이 포함된 영상을 수신하는 영상입력부;, 수신한 이전 프레임 영상과 현재 프레임 영상에서의 사람 영상 중심축 이동량을 이용하여 현재 프레임 사람 영상의 에지(edge)를 복원하고, 상기 에지가 복원된 현재 프레임 사람 영상을 머리 영역과 몸체 영역으로 구분하여 얼굴을 포함한 머리 영역만을 잘라냄으로써 얼굴 가능영역을 검출하며, 검출된 얼굴 가능영역으로부터 얼굴검출을 수행하는 영상처리부; 및 얼굴검출의 결과를 출력하는 영상출력부;를 포함한다.
본 발명에 따르면, 사람 영상의 윤곽선을 복원한 후에 머리 가능 영역을 검출하여 그 영역에서만 얼굴 검출을 수행할 수 있게 함으로써 실시간 얼굴 검출에 적합한 보다 빠른 얼굴 검출이 가능하게 하는 효과가 있다.
윤곽선, 중심축, 클러스터링, 얼굴검출

Description

윤곽선 복원을 이용한 얼굴검출 장치 및 방법{Apparatus for Detecting faces using the Restoration of Body Outline and Method therefor}
도 1 은 본 발명의 바람직한 실시예에 따른 얼굴검출 장치의 구성도.
도 2 는 본 발명의 바람직한 실시예에 따른 얼굴검출 방법의 전체적인 흐름도.
도 3 은 본 발명의 바람직한 실시예에 따른 에지가 복원된 현재 프레임 사람 영상의 예시도.
도 4 는 본 발명의 바람직한 실시예에 따른 머리 영역 분리과정에 관한 상세 흐름도.
도 5 는 본 발명의 바람직한 실시예에 따른 사람 윤곽선 프로젝션의 예시도.
도 6 은 본 발명의 바람직한 실시예에 따른 1 차 클러스터링의 예시도.
도 7 은 본 발명의 바람직한 실시예에 따른 2 차 클러스터링의 예시도.
본 발명은 윤곽선 복원을 이용한 얼굴검출 장치 및 방법에 관한 것으로서, 더욱 상세하게는 움직임이 있는 사람 영상의 중심축 이동량을 이용하여 현재 프레 임 에지(edge)를 복원하고, 일차 미분 연산자와 이차 미분 연산자를 이용하여 머리 영역과 몸체 영역을 구분한 후 K-평균 군집화 방법을 사용하여 얼굴을 포함한 영역을 잘라내어 얼굴 가능 영역만을 탐색할 수 있도록 함으로써 보다 빠른 얼굴검출이 가능하게 하는 윤곽선 복원을 이용한 얼굴검출 장치 및 방법에 관한 것이다.
종래 사람의 영상을 이용하여 얼굴검출을 수행하는 방법으로는 미리 학습된 네트워크(network)를 통해 얼굴이 포함되어 있는지를 판단하는 방법, 영상으로부터 추출한 특징 벡터(feature vector)를 이용한 방법 및 프레임 간의 차이 영상을 이용하는 방법 등이 있었다.
그러나, 미리 학습된 네트워크(network)를 통해 얼굴이 포함되어 있는지를 판단하는 방법은 지속적으로 학습 정보를 업데이트하는 과정이 필요할 뿐 아니라 연산량 및 연산의 복잡도가 대단히 높아 얼굴검출을 실시간 적용하기 어렵다는 문제점이 있었다.
또한, 각 특징점들의 방향 벡터를 추적하는 방법은 영상 패턴을 픽셀 단위로 이동하면서 패턴을 비교하여 검색을 수행하기 때문에 연산에 많은 시간이 소요되어 실시간 구현이 어렵다는 문제점이 있었다.
그리고, 프레임 간의 차이 영상을 이용하는 방법은 단락된 에지가 빈번히 발생하기 때문에 이러한 단락된 에지를 연결하기 위한 알고리즘이 필요한데, 현재까지의 알고리즘은 영상의 윤곽선을 변형시킨다거나 길게 단락된 에지가 있는 경우 수행되지 않는 등의 문제점이 있었다.
본 발명의 목적은 사람 영상의 중심축 이동량을 고려한 에지 복원을 통하여 사람의 실제 움직임을 반영한 윤곽선을 복원하는 얼굴검출 장치 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 사람 영상에서 머리 영역만을 검출하여 얼굴 가능 영역에서만 얼굴검출을 할 수 있게 함으로써 종래 얼굴검출에 소요되었던 시간을 단축하는 데 있다.
본 발명의 구성을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적인 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음을 유의하여야 할 것이다.
상기 목적을 달성하기 위한 본 발명은, 윤곽선 복원을 이용한 얼굴검출 장치에 관한 것으로서, 별도의 실시간 영상 시스템으로부터 사람이 포함된 영상을 수신하는 영상입력부; 상기 영상입력부로부터 수신한 이전 프레임 영상과 현재 프레임 영상에서의 사람 영상 중심축 이동량을 이용하여 현재 프레임 사람 영상의 에지(edge)를 복원하고, 상기 에지가 복원된 현재 프레임 사람 영상을 머리 영역과 몸체 영역으로 구분하여 얼굴을 포함한 머리 영역만을 분리하며, 분리된 머리 영역으로부터 얼굴검출을 수행하는 영상처리부; 및 얼굴검출의 결과를 출력하는 영상출력부;를 포함한다.
바람직하게는, 상기 영상처리부는, 상기 영상입력부로부터 사람의 영상이 포함된 영상을 수신하여, 수신한 상기 이전 프레임 영상과 현재 프레임 영상과의 차 이 영상 또는 이전 프레임 영상보다 더욱 이전의 프레임 영상과 현재 프레임 영상과의 차이 영상(이하, '세 개 프레임 간의 차이 영상'이라 한다.)으로부터 각 픽셀값의 차를 구하고, 각 픽셀값의 차가 제 1 임계값을 넘는 픽셀값의 차들을 선택한 다음, 선택된 픽셀값의 차들을 합한 값이 수신한 사람 영상이 움직임이 있는지 여부에 대한 기준이 되는 제 2 임계값(이하, '제 2 임계값'이라 한다.)을 넘는 경우 상기 두 개 또는 세 개 프레임 간의 차이 영상으로부터 현재 프레임 사람 영상의 에지를 복원하는 에지복원부; 상기 에지복원부로부터 에지가 복원된 사람 영상을 수신하여, 수신한 사람 영상으로부터 일차 미분 연산자와 이차 미분 연산자를 이용하여 머리 영역과 몸체 영역의 중심점을 찾고, K-평균 군집화 방법을 사용한 클러스터링을 수행하여 머리 영역과 몸체 영역을 분리한 다음, 얼굴검출부로 머리 영역 영상을 전송하는 머리영역분리부; 및 머리영역분리부로부터 수신한 머리 영역 영상에서 사람 얼굴을 검출하는 얼굴검출부; 를 포함하는 것을 특징으로 한다.
그리고 바람직하게는, 상기 머리영역분리부는, 상기 K-평균 군집화 방법을 사용한 클러스터링을 재차 수행하여 노이즈를 제거하는 기능을 포함하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명은, 윤곽선 복원을 이용한 얼굴검출 방법에 관한 것으로서, (a) 별도의 실시간 영상 시스템으로부터 사람이 포함된 영상을 수신하는 단계; (b) 수신한 이전 프레임 영상과 현재 프레임 영상과의 차이 영상 또는 수신한 이전 프레임 영상보다 더욱 이전의 프레임 영상과 현재 프레임 영상과의 차이 영상으로부터 각 픽셀값의 차를 구하고, 각 픽셀값의 차가 제 1 임 계값을 넘는 픽셀값의 차들을 선택한 다음, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는 경우 상기 두 개 또는 세 개 프레임 간의 차이 영상에서의 사람 영상 중심축 이동량을 이용하여 현재 프레임 사람 영상의 에지를 복원하는 단계; (c) 에지가 복원된 현재 프레임 사람 영상으로부터 머리 영역을 분리하는 단계; 및 (d) 분리된 머리 영역으로부터 사람 얼굴을 검출하는 단계; 를 포함한다.
바람직하게는, 상기 (c) 단계는 에지가 복원된 현재 프레임 사람 영상으로부터 일차 미분 연산자와 이차 미분 연산자를 이용해 머리 영역과 몸체 영역의 중심점을 찾는 단계; 및 K-평균 군집화 방법을 사용한 클러스터링을 수행함으로써 머리 영역과 몸체 영역을 분리하는 단계; 를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 (c) 단계는 상기 K-평균 군집화 방법을 사용한 클러스터링을 재차 수행하여 노이즈를 제거하는 단계; 를 포함하는 것을 특징으로 한다.
그리고 바람직하게는, 상기 (d) 단계 이후에 (e) 검출된 사람 얼굴을 출력하는 단계; 를 더 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명의 바람직한 실시예에 따른 윤곽선 복원을 이용한 얼굴검출 장치의 구성을 도 1 을 참조하여 설명하면 다음과 같다.
도 1 은 본 발명의 바람직한 실시예에 따른 얼굴검출 장치의 구성도이다.
도 1 에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 윤곽선 복원을 이용한 얼굴검출 장치는 별도의 실시간 영상 시스템으로부터 사람의 영상을 입 력받는 영상입력부(100), 현재 프레임 영상의 에지를 복원하고, 상기 에지가 복원된 현재 프레임 사람 영상을 머리 영역과 몸체 영역으로 구분하여 얼굴을 포함한 머리 영역만을 잘라냄으로써 얼굴 가능 영역을 검출하며, 검출된 얼굴 가능 영역으로부터 얼굴검출을 수행하는 영상처리부(200) 및 얼굴검출의 결과를 출력하는 영상출력부(300)를 포함한다.
상기 영상입력부(100)는 사람이 포함된 영상을 입력받는 기능을 수행한다. 상기 영상은 PC 카메라 등으로부터 입력된 영상일 수 있으며 사람을 촬상할 수 있는 어떠한 형태의 카메라부터도 입력될 수 있다.
또한, 상기 영상처리부(200)는 에지복원부(210), 머리영역분리부(220) 및 얼굴검출부(230)를 포함한다.
상기 에지복원부(210)는 상기 영상입력부(100)로부터 사람의 영상이 포함된 영상을 수신한다. 또한, 상기 에지복원부(210)는 상기 현재 프레임 영상과 이전 프레임 영상 간의 차이 영상으로부터 각 픽셀값의 차를 구하고, 그러한 각 픽셀값의 차가 제 1 임계값을 넘는 픽셀값의 차들을 선택한다. 그 다음, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는지를 판단한 후 제 2 임계값을 넘는 경우 이전 프레임 영상과 현재 프레임 영상에서의 사람 영상의 중심축 이동량을 고려해 상기 두 개 프레임 간의 차이 영상으로부터 현재 프레임 영상의 에지를 복원한다. 상기 판단 결과, 제 2 임계값을 넘지 않는 경우 상기 세 개 프레임 간의 차이 영상을 적용한다. 상기 세 개 프레임 간의 차이 영상으로부터 현재 프레임 영상에서의 사람 영상 중심축 이동량을 고려해 현재 프레임 영상의 에지를 복원한다.
다음으로, 상기 머리영역분리부(220)는 상기 에지복원부(210)로부터 에지가 복원된 사람 영상을 수신한다. 수신한 사람 영상으로부터 일차 미분 연산자와 이차 미분 연산자를 이용하여 머리 영역과 몸체 영역의 중심점을 찾고, K-평균 군집화 방법을 사용한 머리 영역과 몸체 영역 분리를 통해 상기 얼굴검출부(230)로 머리 영역 영상을 전송한다.
마지막으로, 상기 얼굴검출부(230)는 상기 머리영역분리부(220)로부터 수신한 머리 영역 영상에서 사람 얼굴을 검출한다.
그리고, 상기 영상출력부(300)는 상기 얼굴검출부(230)의 얼굴검출 결과를 출력한다.
이하, 본 발명의 바람직한 실시예에 따른 윤곽선 복원을 이용한 얼굴검출 방법에 관한 전체적인 흐름을 도 2 와 도 3 을 참조하여 설명하면 다음과 같다.
도 2 는 본 발명의 바람직한 실시예에 따른 얼굴검출 방법의 전체적인 흐름도이며, 도 3 은 본 발명의 바람직한 실시예에 따른 에지가 복원된 현재 프레임 사람 영상의 예시도이다.
도 2 에 도시된 바와 같이, 상기 영상처리부(200)의 에지복원부(210)는 상기 영상입력부(100)로부터 사람이 포함된 영상을 수신한다(S2). 수신하는 영상은 정지영상이나 동영상일 수 있으며 각 영상 프레임을 수신한다.
상기 영상처리부(200)의 에지복원부(210)는 수신한 현재 프레임 영상과 이전 프레임 영상의 차이 영상에서 각 픽셀값의 차를 구한다. 그 다음, 그러한 각 픽셀값의 차가 제 1 임계값을 넘는 픽셀값의 차들을 선택하여 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는지를 판단한다(S4).
상기 S4 단계의 판단 결과, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는 경우, 움직임이 있는 영상인 것으로 간주하여 사람 영상에 대한 에지를 생성하고 기본적인 노이즈를 제거하는 전처리 과정을 거친다(S6).
상기 S6 단계의 전처리 과정 후, 현재 프레임 영상에서의 사람 영상 중심축 이동량을 고려해 현재 프레임 영상에서 단락된 에지를 복원한다(S8). 상기 에지 복원 방법에 대하여 보다 상세하게 설명하면 다음과 같다.
본 발명의 바람직한 실시예에 따른 에지 복원 방법은 사람이 카메라를 응시하는 경우에는 사람의 모습이 좌우대칭이라는 점에 기초하고 있다. 이를 이용하면 프레임 에지에서의 중심축을 찾을 수 있으며 이전 프레임 에지에서의 중심축과 현재 프레임 에지에서의 중심축을 비교하여 중심축이 이동되어 있는 양을 알아낼 수 있게 된다. 이러한 중심축 이동량을 통해 에지 복원량을 결정한다. 다음의 [수학식 1]에 더욱 상세한 에지 복원량 결정 방법을 나타내었다.
Figure 112007027820066-pat00001
Figure 112007027820066-pat00002
Figure 112007027820066-pat00003
Figure 112007027820066-pat00004
Figure 112007027820066-pat00005
상기 [수학식 1]에서 Eleft(xi,y)는 프레임 에지에서의 각 i번째 row값에 대한 좌측 탐색 결과이며, Devleft(xi,y)는 각 i-1번째와 i번째 row값에 대한 좌측 차이 결과를 의미한다. 아울러, Eright(xi,y)는 각 i번째 row값에 대한 우측 탐색 결과를 의미하며 Devright(xi,y)는 각 i-1번째와 i번째 row값에 대한 우측 차이 결과를 의미하는데, 상기 [수학식 1]과 마찬가지 방법으로 구할 수 있다.
또한, 상기 [수학식 1]에서 Centern - 1(x,y)는 현재 프레임 에지에서의 중심축을 의미하며 Jn (x,y)는 이전 프레임 에지에서의 중심축과 현재 프레임 에지에서의 중심축과의 차이 결과를 의미한다. 상기 [수학식 1]에서와 같이, 현재 프레임 에지에서의 중심축 계산 결과에 의해 이전 프레임 에지에서의 중심축과 현재 프레임 에지에서의 중심축과의 차이 결과를 계산할 수 있다.
상술한 바에 의해, 상기 도 3 에 도시된 바와 같이 현재 프레임 영상에서 단락된 에지를 복원하게 된다.
상기 도 3 에 상술한 방법으로 에지가 복원된 현재 프레임 사람 영상을 나타내었다.
상기 도 3 에서, 좌측 이미지는 상기 영상입력부(100)로부터 수신한 원래의 이미지이고, 중앙에 전처리 과정을 거친 상기 프레임 간의 차이 영상을 나타내었다. 이러한 중앙의 영상에서 상술한 사람의 중심축 이동량을 고려한 에지 복원 방법을 이용하여 단락된 에지를 복원하게 되는 바, 우측 이미지는 에지가 복원된 이미지를 나타내고 있다. 중앙의 이미지에서 단락되어 있는 부분이 우측의 이미지에서는 사람의 실제 모습을 반영하여 연결되어 있는 것을 볼 수 있다.
상기 영상처리부(200)의 머리영역분리부(220)는 에지가 복원된 현재 프레임 사람 영상을 수신받아 수신한 현재 프레임 사람 영상으로부터 머리 영역을 분리한다(S10).
다음으로, 상기 영상처리부(200)의 얼굴검출부(230)는 상기 머리영역분리부(220)에서 분리된 머리 영역 영상으로부터 얼굴검출을 수행한다(S12).
상기 영상처리부(200)의 얼굴검출부(230)가 얼굴검출을 수행하는 방법으로는, 프레임 간의 차이 영상을 이용하는 방법, 미리 학습된 네트워크(network)를 통해 얼굴이 포함되어 있는지를 판단하는 방법 및 영상으로부터 추출한 특징 벡터(feature vector)를 이용한 방법 등 종래 얼굴검출을 수행하는 데 이용하던 방법들이 사용될 수 있다.
마지막으로, 상기 영상출력부(300)는 검출된 얼굴 영상을 출력한다(S14).
상기 S4 단계의 판단 결과, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘지 않는 경우, 상기 영상처리부(200)의 에지복원부(210)는 상기 세 개 프레임 간의 차이 영상으로부터 각 픽셀값의 차를 구하고, 그러한 각 픽셀값의 차가 제 1 임계값을 넘는 픽셀값의 차들을 선택한다. 그 다음, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는지를 판단하여 제 2 임계값을 넘는다면 상기 S6 단계로 절차를 이행한다(S16).
종래 프레임 간의 차이 영상을 이용하는 방법에서는 두 개 프레임 간의 차이 영상만을 이용하던 것과는 달리, 본 발명에 따른 윤곽선 복원을 이용한 얼굴검출 장치 및 방법은 상기 두 개 프레임 간의 차이 영상과 병행하여 세 개 프레임 간의 차이 영상을 이용한다. 그에 의해 제 1 임계값과 제 2 임계값을 상황에 따라 적절히 부여함으로써 사람 영상의 움직임을 보다 충실하게 반영한 얼굴검출을 수행할 수 있다.
상기 S16 단계의 판단 결과, 선택된 픽셀값들의 차를 합한 값이 제 2 임계값을 넘지 않는 경우, 상기 영상처리부(200)의 에지복원부(210)는 수신한 영상이 움직임이 없는 영상인 것으로 간주하여 최근에 검출하여 저장되어 있던 머리 영역 영상을 상기 영상처리부(200)의 얼굴검출부(230)로 전송하고 상기 S12 단계로 절차를 이행한다(S18).
상술한 상기 제 S10 단계인 머리 영역 분리 단계에 대하여 도 4 내지 도 7 를 이용하여 상세하게 설명하면 다음과 같다.
도 4 는 본 발명의 바람직한 실시예에 따른 머리 영역 분리 과정에 관한 상세 흐름도이고, 도 5 는 본 발명의 바람직한 실시예에 따른 사람 윤곽선 프로젝션의 예시도이고, 도 6 은 본 발명의 바람직한 실시예에 따른 1 차 클러스터링의 예시도이며, 도 7 은 본 발명의 바람직한 실시예에 따른 2 차 클러스터링의 예시도이 다.
상기 머리 영역 분리 과정은 상기 영상처리부(200)의 머리영역분리부(220)에 의해 이루어지며, 상기 현재 프레임 에지로부터 수직 방향의 프로젝션을 수행하여 단락된 에지가 복원된 윤곽선의 폭을 계산함으로써 시작된다. 즉, 각 열에 해당되는 좌측 탐색에서 첫 번째로 발견된 컬럼의 값과 우측 탐색에서 첫 번째로 발견된 컬럼의 차이 값을 이용하여 윤곽선의 폭을 계산한다. 다음의 [수학식 2]에 상기 윤곽선 폭의 계산 방법을 나타내었다.
Figure 112007027820066-pat00006
상기 [수학식 2]에서 Devright(y)는 각 i번째 row값에 대한 우측 차이 결과를 의미하며, Devleft(y)는 각 i번째 row값에 대한 좌측 차이 결과를 의미한다. 상기 [수학식 2]로부터 윤곽선의 폭에 대한 RP(xi)값을 계산할 수 있다.
상기 도 5 에 도시된 바와 같이, 좌측 탐색에서 첫 번째로 발견된 컬럼의 값과 우측 탐색에서 첫 번째로 발견된 컬럼의 값과의 차이를 이용해 프로젝션을 수행함으로써 에지가 복원된 윤곽선의 폭을 계산한다.
그 다음, 일차 미분 연산자와 이차 미분 연산자를 이용하여 현재 프레임 에지에서의 머리 영역과 몸체 영역의 중심점을 찾아낸다(S102).
상기 도 6 에 도시된 바와 같이, 먼저, y=RP(x)라는 함수는 이계도 함수를 가진다고 가정한다. [수학식 3]에 나타낸 바와 같이, 만약 일계도 함수인 y=RP'(xi)값이 양의 값을 가진다면 함수 y=RP(xi)는 증가하는 상태에 있다. 또한, 이계도 함수인 y= RP''(xi)값이 양의 값을 가진다면 함수 y=RP(xi)의 형태는 아래로 볼록인(∪) 형태를 취한다. 또한, y= RP''(xi)값이 음의 값을 가진다면 함수 y=RP(xi)의 형태는 위로 볼록인(∩) 형태를 취한다. 그러므로 이계도 함수는 원래의 함수 모양이 아래로 볼록인 상태에서 위로 볼록인 상태로 바뀌는 순간에 함수값이 0이 된다. 이러한 성질을 이용하여, 이계도 함수 y= RP''(xi)의 함수값이 음이 되는 범위 안에서 일계도 함수 y=RP'(xi)의 함수값이 0이 되는 점을 찾게 되면 그 점이 머리 영역의 중심점이 된다.
같은 방법으로 몸체 영역의 중심점도 찾을 수 있다.
다음으로, 상기 영상처리부(200)의 머리영역분리부(220)는 현재 프레임 에지 영상에서 상기 머리 영역의 중심점과 몸체 영역의 중심점으로 클러스터링을 수행하여 각각의 부분을 분리한다(S104).
상기 클러스터링 과정을 보다 상세하게 설명하면 다음과 같다.
상기 클러스터링은 K-평균 군집화 기법에 의하여 이루어진다.
먼저, 군집분석이란 데이터베이스에서 의미 있는 정보를 추출해 분석하는 데이터 마이닝 기법 중 한 가지로서, 군집이라는 것은 유사한 데이터들의 집합이다. 군집분석 중 본 발명에 적용될 분석기법은 K-평균 군집화 기법으로서, n개의 개체를 k개의 군집으로 유사성이 높은 것을 하나의 군집으로 묶어주는 방법이다.
본 발명에서는 현재 프레임에서 에지가 복원된 사람 영상을 두 개의 군집으로 나누는 과정에 있어서 K-평균 군집화 기법이 적용되며, 초기 군집중심은 상술한 머리 영역과 몸체 영역의 중심점으로 선정된다. 다음으로, 유클리디안 거리를 이용하여 각각의 픽셀 차이 정보를 상술한 머리 영역과 몸체 영역 중 유사성이 높은 하나의 영역으로 할당한다. 이러한 과정을 재 할당이 일어나지 않을 때까지 반복하여 최종 결과를 얻는다. 상기 클러스터링 과정을 다음의 [수학식 3]에 나타내었다.
Figure 112007027820066-pat00007
상기 [수학식 3]에 나타낸 바와 같이, 먼저 유클리디안 거리를 이용한 1차 클러스터링을 수행한다. 현재 프레임 영상에서의 각각의 픽셀 차이 정보와 머리 영역 또는 몸체 영역 중심점과의 유클리디안 거리를 비교하여 유사도가 높은 영역으로 할당한다. 머리 영역 중심점과의 유사도가 높은 픽셀 차이 정보에는 1 이라는 값을 부여하고 몸체 영역 중심점과의 유사도가 높은 픽셀 차이 정보에는 0 이라는 값을 부여하여 두 개의 군집으로 군집화한다(또는 그 반대로 0 과 1 을 할당할 수도 있다).
다시 말하면, RP(xi)값과 머리 영역 중심점까지의 거리가 몸체 영역 중심점까지의 거리보다 가까운 경우에는 G(x,y) 값으로 0 을 부여하고 더 먼 경우에는 G(x,y) 값으로 1 을 부여한다. 이때, 0 이 부여된 좌표들은 머리 영역으로 분류되며 1 이 부여된 좌표들은 몸체 영역으로 분류되는 방법으로 클러스터링이 수행된다.
상기 도 6 에 도시된 바와 같이, 머리 영역과 몸체 영역의 중심점을 찾은 후 유클리디안 거리를 이용하여 에지가 복원된 사람 영상을 머리 영역과 몸체 영역으로 군집화한다.
마지막으로, 상기 1차 클러스터링 이후에 K-평균 군집화 방법을 사용한 2 차 클러스터링을 수행하여 1 차 클러스터링 결과에서 발생할 수 있는 노이즈를 제거한다(S106).
상기 2 차 클러스터링에 대하여 [수학식 4]를 참조하여 설명하면 다음과 같다.
Figure 112007027820066-pat00008
상기 [수학식 4]에 나타낸 바와 같이, 2 차 클러스터링은 1 차 클러스터링에서 계산된 행의 평균 인덱스를 이용하여 수행된다. 먼저, 1 차 클러스터링에서 머리 영역 또는 몸체 영역으로 분류된 좌표들 각각의 평균 인덱스를 구한다. 그리고 계산된 머리 영역과 몸체 영역의 평균 인덱스를 군집중심으로 하여 에지가 복원된 사람 영상의 좌표들을 유클리디안 거리가 가까운 영역으로 재분류한다.
상기 도 7 에 도시된 바와 같이, 1 차 클러스터링 수행시 몸체 영역에 포함되지 않았던 영역이 2 차 클러스터링을 통해 복원된 것을 볼 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
상술한 본 발명에 따르면, 기 사용중인 에지 복원 방법과 달리 사람 영상의 중심축 이동량을 고려한 에지 복원을 통하여 사람의 실제 움직임을 반영해 윤곽선을 복원하는 효과가 있다.
그리고, 본 발명에 따르면, 얼굴 가능 영역만을 검출하여 그 영역에서만 얼굴검출을 수행할 수 있도록 함으로써 실시간 얼굴검출 장치 또는 방법에 적합하도록 얼굴검출에 소요되는 시간을 단축하는 효과도 있다.

Claims (7)

  1. 윤곽선 복원을 이용한 얼굴검출 장치에 있어서,
    별도의 실시간 영상 시스템으로부터 사람이 포함된 영상을 수신하는 영상입력부(100);
    상기 영상입력부(100)로부터 수신한 이전 프레임 영상과 현재 프레임 영상에서의 사람 영상 중심축 이동량을 이용하여 현재 프레임 사람 영상의 에지(edge)를 복원하고, 상기 에지가 복원된 현재 프레임 사람 영상을 머리 영역과 몸체 영역으로 구분하여 얼굴을 포함한 머리 영역만을 분리하며, 분리된 머리 영역으로부터 얼굴검출을 수행하는 영상처리부(200); 및
    상기 영상처리부(200)가 수행한 얼굴검출의 결과를 출력하는 영상출력부(300);를 포함하는 윤곽선 복원을 이용한 얼굴검출 장치.
  2. 제 1 항에 있어서,
    상기 영상처리부(200)는,
    상기 영상입력부(100)로부터 사람의 영상이 포함된 영상을 수신하여, 수신한 상기 이전 프레임 영상과 현재 프레임 영상과의 차이 영상 또는 이전 프레임 영상보다 더욱 이전의 프레임 영상과 현재 프레임 영상과의 차이 영상으로부터 각 픽셀값의 차를 구하고, 각 픽셀값의 차가 제 1 임계값을 넘는 픽셀값의 차들을 선택한 다음, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는 경우 상기 두 개 또 는 세 개 프레임 간의 차이 영상으로부터 현재 프레임 사람 영상의 에지를 복원하는 에지복원부(210);
    상기 에지복원부로부터 에지가 복원된 사람 영상을 수신하여, 수신한 사람 영상으로부터 일계도 함수와 이계도 함수를 이용하여 머리 영역과 몸체 영역의 중심점을 찾고, K-평균 군집화 방법을 사용한 클러스터링을 수행하여 머리 영역과 몸체 영역을 분리한 다음, 얼굴검출부로 머리 영역 영상을 전송하는 머리영역분리부(220); 및
    상기 머리영역분리부로부터 수신한 머리 영역 영상에서 사람 얼굴을 검출하는 얼굴검출부(230); 를 포함하는 것을 특징으로 하는 윤곽선 복원을 이용한 얼굴검출 장치.
  3. 제 2 항에 있어서,
    상기 머리영역분리부(220)는,
    상기 K-평균 군집화 방법을 사용한 클러스터링을 재차 수행하여 노이즈를 제거하는 것을 특징으로 하는 윤곽선 복원을 이용한 얼굴검출 장치.
  4. 윤곽선 복원을 이용한 얼굴검출 방법에 있어서,
    (a) 별도의 실시간 영상 시스템으로부터 사람이 포함된 영상을 수신하는 단계;
    (b) 수신한 이전 프레임 영상과 현재 프레임 영상과의 차이 영상 또는 수신 한 이전 프레임 영상보다 더욱 이전의 프레임 영상과 현재 프레임 영상과의 차이 영상으로부터 각 픽셀값의 차를 구하고, 각 픽셀값의 차가 제 1 임계값을 넘는 픽셀값의 차들을 선택한 다음, 선택된 픽셀값의 차들을 합한 값이 제 2 임계값을 넘는 경우 상기 두 개 또는 세 개 프레임 간의 차이 영상에서의 사람 영상 중심축 이동량을 이용하여 현재 프레임 사람 영상의 에지를 복원하는 단계;
    (c) 에지가 복원된 현재 프레임 사람 영상으로부터 머리 영역을 분리하는 단계; 및
    (d) 분리된 머리 영역으로부터 사람 얼굴을 검출하는 단계; 를 포함하는 윤곽선 복원을 이용한 얼굴검출 방법.
  5. 제 4 항에 있어서,
    상기 (c) 단계는,
    (c1) 에지가 복원된 현재 프레임 사람 영상으로부터 일차 미분연산자와 이차 미분연산자를 이용해 머리 영역과 몸체 영역의 중심점을 찾는 단계;
    (c2) K-평균 군집화 방법을 사용한 클러스터링을 수행함으로써 머리 영역과 몸체 영역을 분리하는 단계; 를 포함하는 것을 특징으로 하는 윤곽선 복원을 이용한 얼굴검출 방법.
  6. 제 5 항에 있어서,
    상기 (c2) 단계는,
    (c3) 상기 K-평균 군집화 방법을 사용한 클러스터링을 재차 수행하여 노이즈를 제거하는 단계; 를 포함하는 것을 특징으로 하는 윤곽선 복원을 이용한 얼굴검출 방법.
  7. 제 4 항에 있어서,
    상기 (d) 단계 이후에,
    (e) 검출된 사람 얼굴을 출력하는 단계; 를 더 포함하는 것을 특징으로 하는 윤곽선 복원을 이용한 얼굴검출 방법.
KR1020070035686A 2007-04-11 2007-04-11 윤곽선 복원을 이용한 얼굴검출 장치 및 방법 KR100843257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070035686A KR100843257B1 (ko) 2007-04-11 2007-04-11 윤곽선 복원을 이용한 얼굴검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070035686A KR100843257B1 (ko) 2007-04-11 2007-04-11 윤곽선 복원을 이용한 얼굴검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100843257B1 true KR100843257B1 (ko) 2008-07-02

Family

ID=39823541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070035686A KR100843257B1 (ko) 2007-04-11 2007-04-11 윤곽선 복원을 이용한 얼굴검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100843257B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927642B1 (ko) 2009-05-14 2009-11-20 한국 한의학 연구원 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272979A (ja) * 1995-03-31 1996-10-18 Toshiba Corp 顔画像輪郭抽出方法および顔画像輪郭抽出装置
JP2000134638A (ja) 1998-10-22 2000-05-12 Matsushita Electric Ind Co Ltd 画像処理装置
KR20030040680A (ko) * 2001-11-15 2003-05-23 삼성에스디에스 주식회사 얼굴 검출 방법 및 그 장치
KR20040072259A (ko) * 2003-02-10 2004-08-18 삼성전자주식회사 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272979A (ja) * 1995-03-31 1996-10-18 Toshiba Corp 顔画像輪郭抽出方法および顔画像輪郭抽出装置
JP2000134638A (ja) 1998-10-22 2000-05-12 Matsushita Electric Ind Co Ltd 画像処理装置
KR20030040680A (ko) * 2001-11-15 2003-05-23 삼성에스디에스 주식회사 얼굴 검출 방법 및 그 장치
KR20040072259A (ko) * 2003-02-10 2004-08-18 삼성전자주식회사 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927642B1 (ko) 2009-05-14 2009-11-20 한국 한의학 연구원 영상 분할 히스토그램 분석을 이용한 얼굴 윤곽선 검출 방법

Similar Documents

Publication Publication Date Title
JP6943338B2 (ja) 画像処理装置、システム、方法及びプログラム
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US7995843B2 (en) Monitoring device which monitors moving objects
US20100033574A1 (en) Method and System for Object Surveillance and Real Time Activity Recognition
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
KR102213494B1 (ko) 행동 인식 장치 및 방법
JP2010165046A (ja) 情報処理装置及び情報処理方法
CN115294420A (zh) 一种特征提取模型的训练方法、重识别方法及装置
RU2370817C2 (ru) Система и способ отслеживания объекта
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
JP2008009728A (ja) 表情認識方法及び表情認識装置
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
KR100843257B1 (ko) 윤곽선 복원을 이용한 얼굴검출 장치 및 방법
CN116543419B (zh) 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统
KR20200010658A (ko) 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램
Hema et al. Human age classification based on gait parameters using a gait energy image projection model
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
Nath et al. Lip contour extraction scheme using morphological reconstruction based segmentation
KR101581586B1 (ko) 깊이 영상의 노이즈를 보정하는 방법
CN113657315A (zh) 人脸图像的质量筛选方法、装置、设备及存储介质
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
Rabha Background modelling by codebook technique for automated video surveillance with shadow removal
KR20030040680A (ko) 얼굴 검출 방법 및 그 장치
Prakash et al. Ear localization using hierarchical clustering

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140320

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee