KR101408344B1 - 얼굴 검출 장치 - Google Patents

Abstract

본 발명은 얼굴 검출에 관한 것으로, 본 발명의 일 실시 예예 따른 얼굴 검출 장치는, 학습 데이터를 이용하여 입력 영상에서 전역적 특징을 추출하고, 추출된 특징을 기초로 얼굴을 검출함으로써, 영상의 전체적인 특징을 효과적으로 이용할 뿐만 아니라, 의도한 영역에서 특징을 추출하고 계산해야 할 특징의 수를 줄일 수 있는 효과가 있다.

얼굴, 검출, 특징, 전역적

Description

얼굴 검출 장치{Apparatus for detecting face}

본 발명은 얼굴 검출에 관한 것으로, 더 상세하게는 특징을 이용한 얼굴 검출에 관한 것이다.

디지털 영상 처리 기술에서 얼굴을 인식하는 방법은 지식 기반 방법, 특징 기반 방법, 탬플릿 매칭 방법 및 외형 기반 방법 등 다양하게 존재한다.

지식 기반 방법은 사람의 얼굴이 눈썹, 눈, 코, 입 등을 포함하고 있고, 각각의 얼굴 성분들은 서로 일정한 거리와 위치 관계를 가지고 있다는 것을 전제로하여 연구자의 지식을 기반으로 얼굴을 검출하는 방법이다.

특징 기반 방법은 얼굴 특징 성분들의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감(texture) 정보, 또는 이러한 요소들의 혼합된 형태의 정보를 이용해서 얼굴을 검출하는 방법이다.

템플릿 매칭 방법은 수동적으로 대상이 되는 모든 얼굴에 대한 표준 얼굴 패턴을 만든 후, 입력영상과 비교하여 얼굴을 검출하는 방법이다.

외형 기반 방법은 다양한 영상을 입력 받아 훈련 과정을 통해 만든 모델을 이용하여 얼굴을 검출하는 방법이다.

전술한 얼굴 검출 기술들 중에서, 특징 기반 방법은 환경의 변화에 강인하지 못하는 단점이 있다. 얼굴 검출에서 사용된 특징점들은 영상의 지역적인 위치에서 특징을 추출하여 일반적인 얼굴의 특징을 추출하지 못한다. 이로인해 훈련 영상에서는 분류가 잘되지만 훈련 영상이 아닌 실제 환경에서는 검출률이 떨어지는 문제점이 발생한다.

본 발명의 일 실시 예는 얼굴 검출을 위한 특징 추출 시 영상의 지역적인 위치에서 얼굴의 특징을 추출함으로써 발생하는 문제점을 해결하고, 영상의 전체적인 특징을 효과적으로 이용하기 위해 눈과 입의 영역에서 특징을 추출하도록 영역을 지정하여 특징을 추출함으로써, 계산해야 할 특징의 수와 훈련시간을 줄이고, 훈련 영상 뿐만 아니라 실제 환경에서도 얼굴의 특징을 잘 나타내어 얼굴 검출의 성능을 높일 수 있는 얼굴 검출 장치를 제공하는 것이다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 얼굴 검출 장치는 학습 데이터를 이용하여 입력 영상으로부터 전역적 특징을 추출하는 특징 추출부; 및 상기 추출된 전역적 특징에 아다부스트(adaboost) 알고리즘을 적용하여 얼굴을 검출하는 얼굴 검출부를 포함한다.

상기 전역적 특징은 상기 입력 영상의 좌상측을 포함하는 제1 영역으로부터 추출한 제1 특징, 상기 입력 영상의 우상측을 포함하는 제2 영역으로부터 추출한 제2 특징 및 상기 입력 영상의 하측을 포함하는 제3 영역으로부터 추출한 제3 특징을 포함하는 것을 특징으로 한다.

상기 전역적 특징으로부터의 특징 값은 다음 수학식 5 및 6에 따라 계산되는 것을 특징으로 한다.

[수학식 5]

[수학식 6]

여기서, R은 입력 영상이고, rectsum(r₁), rectsum(r₂), rectsum(r₃) 각각은 상기 제1 특징, 제2 특징 및 제3 특징을 나타내는 직사각형의 픽셀 값들의 합이고, w는 가중치이다.

상기 특징 추출부는 상기 입력 영상을 적분하여 적분영상을 생성하는 적분영상 생성부; 및 상기 학습 데이터 및 적분된 입력 영상을 이용하여 상기 제1 특징, 제2 특징 및 제3 특징으로부터 전역적 특징 값을 산출하는 전역적 특징 추출부를 포함하는 것을 특징으로 한다.

상기 얼굴 검출 장치는 학습 데이터 영상으로부터 전역적 특징을 추출하여 얼굴 검출을 위한 분류기를 학습하여 생성한 학습 데이터를 상기 특징 추출부에 제공하는 분류기 학습부를 더 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예예 따른 얼굴 검출 장치는 학습 데이터를 이용하여 입 력 영상에서 전역적 특징을 추출하고, 추출된 특징을 기초로 얼굴을 검출함으로써 영상의 전체적인 특징을 효과적으로 이용할 뿐만아니라 의도한 영역에서 특징을 추출하고 계산해야 할 특징의 수를 줄일 수 있는 효과가 있다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 검출 장치(100)의 개략적인 블록도이고, 도 2는 도 1에 도시된 특징 추출부(110)와 분류기 학습부(120)를 구체화한 블록도이다.

도 1을 참조하면, 얼굴 검출 장치(100)는 특징 추출부(110), 분류기 학습부(120) 및 얼굴 검출부(130)를 포함한다. 여기서, 특징 추출부(110)는 적분 영상 생성부(111)와 전역적 특징 추출부(112)를 포함하고, 분류기 학습부(120)는 적분 영상 생성부(121), 전역적 특징 추출부(122) 및 아다부스트 학습부(123)를 포함하 여 이루어진다.

특징 추출부(110)는 분류기 학습부(120)로부터 제공된 학습 데이터를 이용해 입력 영상으로부터 전역적 특징을 추출한다. 여기서, 전역적 특징은 인접한 영역의 차이를 특징으로 사용한 Haar-like 특징과 달리 영상의 전역적인 특징을 고려한 것이다.

일반적으로 Haar-like 특징은 얼굴 영상은 얼굴 고유한 패턴을 가지고 있다는 사실로부터, 고유 패턴들을 이용하여 얼굴과 다른 개체들간의 차이를 분류한다. 도 3a와 같이 영상의 내용을 얼굴로 분류하는 이유는 실제 사람의 얼굴, 장난감 얼굴 모양, 바위 얼굴 모양, 모두가 얼굴로 판단할 수 있는 눈, 코, 입 등의 얼굴만의 고유 패턴을 가지고 있기 때문이다. 컬러영상을 이용하여 패턴을 구하면 패턴의 색상에 따라서 계산 복잡도가 커지게 되므로, 흑백영상으로 변환, 픽셀들을 휘도값 기분으로 분류하여 쉽게 패턴들을 표시할 수 있다.

Haar-like 특징은 Papageorgiou가 개체 검출을 위해 Haar-wavelet을 특징으로 제안하였고, P.Viola와 M.Jones가 개체 검출을 위해 Haar-wavelet과 유사한 형태의 특징을 사용하였다. Haar-like는 도 3b와 같은 프로토타입들을 가지고 있다. 이 프로토타입은 얼굴 영상의 intensity가 낮은 부분을 검은 사각형으로, 높은 부분을 백색 사각형이라고 보고, 도 3c에 도시된 것처럼 그 위치에서 얻을 수 있는 값을 얼굴과 비얼굴을 분류하는 패턴으로 이용한다.

Haar-like 특징 값의 계산은 도 3d에 도시된 바와 같이 프로토타입 중 밝은 영역의 사각형 내 픽셀값들의 총합(a)에서 어두운 영역의 사각형 내 픽셀 값들의 총합(b)을 빼서 계산한다.

Haar-like 특징의 특징값은 훈련 영상에서 도 3b에 도시된 특징들을 이동시키면서 계산한다. 훈련 영상의 크기가 W(width) X H(height)일 때 특징은 직사각형 r = (x, y, w, h)로 표현할 수 있다. 여기서 x, y는 직사각형 r의 초기 시작점을 나타내고, w, h는 r의 너비와 높이를 나타낸다. 직사각형 r의 범위는 다음 수학식 1을 만족한다.

직사각형의 픽셀 값의 합을 rectsum(r)이라고 하면 특징 값 f는 다음 수학식 2를 통해 계산할 수 있다.

상기 수학식 2에서 w_i는 r_i의 가중치를 의미한다. 가중치는 부호를 갖고 특징을 표현하는 사각형의 넓이 차를 보상한다. 가중치는 다음 수학식 3과 같이 나타낼 수 있다.

여기서 w₁를 -1로 고정하면 w₂는 다음 수학식 4와 같이 된다.

하지만, Haar-like 특징은 인접한 영역의 차이를 특징으로 사용하고, 영상의 전역적인 특징을 사용하지 않았기 때문에 각각의 스테이지에서 사용되고 있는 훈련 영상의 지역적인 변화에 종속적이며 조명이나 환경의 영향 따라 영상이 불균일한 경우 검출률이 떨어진다.

본 발명의 일 실시 예에서는 도 5에 도시된 것과 같은 전역적 특징을 사용한다.

도 5를 참조하면, R1, R2, R3는 각각 왼쪽 눈과 오른쪽 눈 그리고 입의 특징을 효과적으로 추출하기 위해 나누어진다. 그리고, R1 영역에서 특징 F1을 추출하고, R2 영역에서 특징 F2, R3 영역에서 특징 F3를 추출한다. 각각의 특징들 F1 내지 F3를 추출하는 영역을 미리 지정함으로써 의도한 영역에서 특징을 추출하고 계산하여야 할 특징들의 수를 줄일 수 있다.

전역적 특징 값을 계산하는 방법은 상기 수학식 1 내지 4에서 설명한 방법과 유사하다. 영상 전체를 R, 특징 F1, F2, F3를 직사각형 r로 표현하면 전역적 특징의 특징 값 f는 다음 수학식 5와 같다.

여기서, 가중치 w는 다음 수하식 6과 같이 표현된다.

적분 영상 생성부(111)는 입력 영상의 픽셀 합을 계산하여 적분 영상을 생성한다. 미리 영상에 대한 픽셀 합을 구한 상태에서 전역적 특징 값을 구하게 되므로, 사각형 영역 내 전체 픽셀을 더하지 않고 일부 픽셀값만을 이용하여 특징 값을 구할 수 있다. 다음 수학식 7은 입력영상 i를 적분영상 ii로 변환하는 수식이다.

여기서, x, y는 픽셀의 위치이고, x', y'은 이전 픽셀의 위치이다.

적분영상의 수식을 이용하여 영상을 변환할 때 다음 수학식 8로 구할 수 있다. 수학식 2에서 s(x, y)는 픽셀값들의 합이고, 계산 시에 초기값, 즉 계산의 첫번째 값은 s(x,-1)=0, ii(-1,y)=0이다.

도 4와 같은 4×4 영상의 경우, 도 4a가 원본 영상의 강도(intensity) 값이면, 변환한 영상의 강도 값은 도 4b와 같다. 도 4c 및 도 4d는 실제 영상과 그것을 적분한 후 255로 정규화시킨 결과이다. 영상을 적분한 후 원하는 구간 내의 픽셀 값의 총합은 도 4e와 같이 해당 사각형의 좌표가 위치한 지점의 픽셀값이 된다.

전역적 특징 추출부(112)는 학습 데이터, 즉 서브 윈도우의 위치, 크기, 프로토타입의 종류를 이용하여 적분된 입력영상으로부터 해당 서브 윈도우의 전역적 특징의 특징 값을 추출한다. 상기 수학식 5 및 6을 참조하여 설명한 바와 같이, 해당 윈도우 내에서 전체 입력 영상의 픽셀 값의 합과 각각의 특징들, 즉 F1 내지 F3의 직사각형의 픽셀 값의 합 합한 값의 차이값을 추출한다.

적분 영상 생성부(121) 및 전역적 특징 추출부(122)의 기능은 적분 영상 생성부(111) 및 전역적 특징 추출부(112)에서 설명한 바와 같다.

아다부스트 학습부(123)는 초기 전역적 특징의 집합과 얼굴, 배경으로 구성된 훈련 영상을 이용하여 분류 학습을 한다. 훈련 과정에서 분류를 위한 특징들이 선택되므로 얼굴에 관한 선행 지식이 필요가 없다는 장점이 있다. 효율적인 분류기를 만드는 것은 적은 수로도 얼굴을 잘 검출할 수 있는 특징 집합을 찾는 것이다. 이를 위해 아다부스트 알고리즘은 낮은 분류 성능을 보이는 간단한 형태의 약한 분류기들(weak classifiers)을 선형적으로 결합하여 강한 분류기(strong classifier)를 만든다. 약한 분류기는 윈도우 내의 전역적 특징들 중 얼굴과 배경을 가장 잘 분류하는 하나의 특징을 선별한다. 이를 위해 적분이미지를 통해 구한 픽셀값의 합을 이용하여 에러가 최소화되는 문턱값을 찾는다. 이렇게 구한 약한 분류기들을 선형적으로 결합하여 최종적인 강한 분류기를 구성한다.

도 6은 도 1에 도시된 얼굴 검출부(130)가 아다부스트 알고리즘을 이용해 얼굴을 검출하는 것을 설명하기 위한 도면이다.

얼굴 검출부(130)는 전역적 특징 값에 캐스캐이드 아다부스트 알고리즘을 통해 선별된 특징을 이용하여 얼굴을 검출한다. 도 6에는 캐스케이드 아다부스트 알고리즘으로 제작한 검출기를 이용하여 얼굴을 분류하는 방법을 도시한 흐름도이다. 아다부스트는 데이터들로부터 반복 연산을 통해 에러가 적은 약한 분류기들을 선별하여 이 분류기들의 선형 조합을 통해 정확도가 높은 강한 분류기를 만들어 주는 알고리즘이다. 아다부스트 학습 알고리즘은 가장 잘 알려진 부스트 알고리즘이며, 단순하면서도 효율적이라는 장점을 지닌다.

도 6을 참조하면, 캐스케이드 아다부스트 학습 알고리즘은 지정된 서브윈도우들에서 추출한 전역적 특징 값을 단계별(620, 630, 640, 650)로 추출하여 지정된 서브 윈도우가 얼굴인지 판단한다. 각 단계를 지날수록 더 성능이 좋은 분류기를 통해 서브 윈도우가 얼굴인지 분류한다. 이 방법을 통해 더욱 빠른 검출 알고리즘을 구현할 수 있다. 첫단계(620)에서는 적은 수의 특징 값들로 분류기를 제작하고, 다음 단계(630)에서는 첫 단계(620)에서 보다 더 많은 수의 특징 값들을 가지고 전 단계보다 정밀한 분류기를 만든다. 입력 영상의 대부분은 얼굴이 아닌 부 분이 차지하고 있으므로 영역이 검출기의 각 단계를 지나면서 대부분의 비얼굴은 초기 단계에서 걸러지게 되므로 빠른 속도의 검출기를 제작할 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 검출 장치(100)의 개략적인 블록도이다.

도 2는 도 1에 도시된 특징 추출부(110)와 분류기 학습부(120)를 구체화한 블록도이다.

도 3은 도 2에 도시된 적분 영상 생성부(110)가 적분 영상을 생성하는 것을 설명하기 위한 도면이다.

도 4는 적분 영상을 이용하여 특징을 추출하는 것을 설명하기 위한 도면이다.

도 5는 도 2에 도시된 전역적 특징 추출부(112)를 설명하기 위한 도면이다.

도 6은 도 1에 도시된 얼굴 검출부(130)가 아다부스트 알고리즘을 이용해 얼굴을 검출하는 것을 설명하기 위한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 얼굴 검출 장치 110: 특징 추출부

120: 분류기 학습부 130: 얼굴 검출부

111,121: 적분 영상 생성부 112,122: 전역적 특징 추출부

123: 아다부스트 학습부

Claims (5)

1. 삭제
2. 삭제
3. 학습 데이터를 이용하여 입력 영상으로부터 전역적 특징을 추출하는 특징 추출부; 및

   상기 추출된 전역적 특징에 아다부스트(adaboost) 알고리즘을 적용하여 얼굴을 검출하는 얼굴 검출부를 포함하고,

   상기 전역적 특징은,

   상기 입력 영상의 좌상측을 포함하는 제1 영역으로부터 추출한 제1 특징, 상기 입력 영상의 우상측을 포함하는 제2 영역으로부터 추출한 제2 특징 및 상기 입력 영상의 하측을 포함하는 제3 영역으로부터 추출한 제3 특징을 포함하며,

   상기 전역적 특징으로부터의 특징 값은,

   다음 수학식 5 및 6에 따라 계산되는 것을 특징으로 하는 얼굴 검출 장치.

   [수학식 5]

   

   [수학식 6]

   

   (여기서, R은 입력 영상이고, rectsum(r₁), rectsum(r₂), rectsum(r₃) 각각은 상기 제1 특징, 제2 특징 및 제3 특징을 나타내는 직사각형의 픽셀 값들의 합이고, w는 가중치이며, rectsum(R)은 입력 영상의 픽셀 값들의 합이고, Area(r₁), Area(r₂), Area(r₃) 각각은 상기 제1 특징, 제2 특징 및 제3 특징을 나타내는 직사각형의 넓이이며, Area(R)은 입력 영상의 넓이임).
4. 삭제
5. 삭제

Images