KR20000060745A - 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체 - Google Patents

Abstract

본 발명은 얼굴이 3차원 상에서 자유롭게 움직일 때에 카메라를 이용하여 얼굴의 움직임을 추적할 수 있도록 하는 얼굴 추적 방법 및 그 기록매체에 관한 것이며, 특히 얼굴의 컬러 정보를 이용하여 얼굴 영역을 분할한 후에, 분할된 얼굴 영역을 타원으로 모델링함으로써 잡음에 강인하고, 신뢰성 있게 얼굴 추적을 수행할 수 있도록 하는 실시간 얼굴 추적 방법 및 그 기록매체를 제공하는데 그 목적이 있다.

본 발명에 따르면, 연속적인 영상을 입력받아 컬러 영상 분할을 수행하여 얼굴 영역을 추출하는 제 1 단계; 및 추출된 얼굴 영역을 타원체 모델에 근사시켜 얼굴 영역을 결정한 후에, 모션 파라미터를 추출하는 제 2 단계를 포함하여 이루어진 얼굴 추적 방법이 제공된다.

Description

얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체{A Real time face tracking technique using face's color model and ellipsoid approximation model}

본 발명은 얼굴이 3차원 상에서 자유롭게 움직일 때에 카메라를 이용하여 얼굴의 움직임을 추적할 수 있도록 하는 얼굴 추적 방법 및 그 기록매체에 관한 것이며, 특히 얼굴의 컬러 정보를 이용하여 얼굴 영역을 분할한 후에, 분할된 얼굴 영역을 타원으로 모델링함으로써 잡음에 강인하고, 신뢰성 있게 얼굴 추적을 수행할 수 있도록 하는 실시간 얼굴 추적 방법 및 그 기록매체에 관한 것이다.

얼굴의 움직임을 추적하거나 재구성하는 문제는 다양한 컴퓨터 비젼 기반의 인간 컴퓨터 상호 작용(human computer interaction)에 있어서 필수 불가결한 역할을 한다.

얼굴의 움직임으로 긍정, 부정 등의 사용자 의도를 나타내는 제스쳐(head gesture)로서의 역할 뿐만 아니라 얼굴 인식(face identification), 얼굴 표정 인식(face expression recognition) 등 다양한 얼굴 인식 응용분야를 위한 전처리로서도 얼굴의 움직임을 추적 및 추정하는 문제는 매우 중요하게 대두되고 있다.

한편, 카메라로부터 얼굴 영상을 입력받아 얼굴의 검출, 추적 및 인식 등의 작업을 수행하는 시스템의 이상적인 요구조건은 다음과 같이 정리할 수 있다.

지금까지의 시스템들은 이 목표를 향해 많은 발전이 이루어져 왔다.

1. 미세한 움직임까지 처리할 수 있도록 높은 해상도를 지원해야 한다.(high resolution)

2. 2차원의 움직임뿐만 아니라 3차원의 움직임도 지원해야 한다. (three dimentional)

3. 실시간 처리가 가능해야 한다.(real time operation)

4. 완전히 자동화 시스템이어야 한다. (fully automated)

5. 특별한 조명 조건이 없어야 한다. (no special lighting)

6.대규모 공간에서의 움직임도 자동적으로 추적 가능해야 한다. (tracking in large space)

7. 사용자로 하여금 특별한 장비를 착요하거나 칠하는 등 거추장스럽게 해서는 안된다.

8. 사용되는 참조점(reference points)간의 정합이 자동적으로 이루어져야 한다.

9. 비용이 저렴해야 한다. (inexpensive)

종래 기술에 따른 얼굴 움직임을 추적하는 방법은 대부분 배경이 단순하거나 정적이라는 가정하에서 수행되어 왔다.

그리고, 연속적인 영상에 대해 계속 차영상(differential image)을 구함으로써 움직이는 얼굴의 위치를 추적할 수 있었다.

하지만 상기 종래 기술에 따른 얼굴 움직임을 추적하는 방법은 배경이 복잡하거나 동적일 경우에는 차영상을 구하기가 매우 어려워지므로 실제 적용에 있어서 한계가 있다는 문제점이 있었다.

또한, 종래 기술에 따른 얼굴 움직임을 추적하는 방법으로는 얼굴의 중요 부위에 파란색 점과 같은 마크를 붙이고 이점의 위치를 추출하고 추적함으로써 얼굴의 움직임을 구하는 방법이 있었다.

그러나 ,상기 종래 기술에 따른 얼굴 움직임을 추적하는 방법은 이상적인 시스템의 요구조건인 완전한 자동화의 요구조전에 부합하지 않는다는 문제점이 있었다.

또한, 종래 기술에 따른 얼굴 움직임을 추적하는 방법으로는 사용자가 개입하여 입력되는 영상 시퀀스의 첫 프레임에 대하여 얼굴 특징을 추출함으로써 얼굴의 움직임을 추출하는 방법이 있었다.

그러나, 상기 종래 기술에 따른 얼굴 움직임을 추적하는 방법은 이상적인 시스템의 요구조건중에 실시간 처리가 가능해야 하며, 자동화 시스템이어야 한다는 요구 조전에 부합하지 않는다는 문제점이 있었다.

또한, 종래 기술에 따른 얼굴 움직임을 추적하는 방법으로는 광흐름(optical flow)를 사용하는 경우가 있었다.

그러나, 상기 종래 기술에 따른 얼굴 움직임을 추적하는 방법은 움직임이 미세한 얼굴의 표정을 추출하기 위한 근육의 움직임을 검출할 때 적합한 방법이며, 얼굴의 머리전체가 상당히 큰 움직임을 보일 경우에는 적합하지 않다는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 얼굴의 컬러 정보를 이용하여 얼굴 영역을 분할한 후에, 분할된 얼굴 영역을 타원으로 모델링함으로써 잡음에 강인(robust)하고, 신뢰성 있게 얼굴 추적을 수행할 수 있도록 하는 실시간 얼굴 추적 방법 및 그 기록매체를 제공하는 것을 목적으로 한다.

도 1은 본 발명의 일실시예에 따른 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법의 흐름도이고,

도 2는 본 발명을 이용하여 컬러 영상을 분할한 예시도이고,

도 3은 본 발명을 이용하여 분할된 컬러 영상을 타원에 근사시킨 영상을 예시한 도면이고,

도 4는 추출된 모션 파라미터를 얼굴 애니메이션의 제어 입력으로 사용한 일예시도.

앞서 설명한 바와 같은 목적을 달성하기 위한 본 발명에 따르면, 연속적인 영상을 입력받아 컬러 영상 분할을 수행하여 얼굴 영역을 추출하는 제 1 단계; 및 추출된 얼굴 영역을 타원체 모델에 근사시켜 얼굴 영역을 결정한 후에, 모션 파라미터를 추출하는 제 2 단계를 포함하여 이루어진 얼굴 추적 방법이 제공된다.

또한, 본 발명에 따르면, 컴퓨터에, 연속적인 영상을 입력받아 컬러 영상 분할을 수행하여 얼굴 영역을 추출하는 제 1 단계; 및 추출된 얼굴 영역을 타원체 모델에 근사시켜 얼굴 영역을 결정한 후에, 모션 파라미터를 추출하는 제 2 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체이 제공된다.

도면에서, 도 1은 본 발명의 일실시예에 따른 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법의 흐름도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법은, 단계 S1에서 연속적인 영상을 입력받고, 단계 S2에서 컬러 영상 분할을 수행한 후에, 단계 S3에서 각 영역에 대해 특징을 추출하여 잡음을 제거한다.

이 때, 각 영역에 대한 특징들로서는 영상의 크기, 무게중심, 최소인접사각형 등이 있으며, 이들 특징 중 영상의 크기를 이용하여 일정크기 이하의 영역들은 잡음으로 간주하여 제거한다.

여기에서 잡음을 제거하는 이유는 다음 단계에서 분할된 전 영역에 대한 타원체(ellipsoid) 모델 근사를 수행하게 되는데, 이 때에 모델에 근사시키는 속도를 향상시키기 위함이다.

한편, 단계 S4에서 타원 근사를 수행하여 얼굴 영역을 결정하고, 단계 S5에서 모션 파라미터를 추출한다. 여기에서 추출하는 이동(translation) 파라미터는 3차원 이동 파라미터인 x, y, z이다.

이하에서는 각 단계에 대하여 상세히 설명하도록 한다.

(1)컬러 영상 분할(color segmentation)

입력으로 들어오는 영상은 YCrCb 의 형식을 가진다. 여기에서는 영상의 밝기 성분은 Y로 표현되며, 컬러성분은 Cr과 Cb로 표현된다.

이 컬러 형식을 사용함으로써 얻는 장점은 첫째, 컬러성분이 밝기에 의존적이기 않기 때문에 밝기 성분의 영향을 거의 받지 않는다.

따라서, 컬러 정보를 효과적으로 사용할 수 있다.

둘째로는 이 형식은 일반적인 비디오나 카메라의 입력형식이므로 컬러영상분할 시 형식 변환을 위한 추가의 계산이 필요하지 않다는 장점이 있다.

컬러 영상 분할은 컬러 정보를 이용하여 영역을 분할하는 것을 의미한다.

픽셀들의 집합에서 피부컬러와 피부가 아닌 컬러를 분류하기 위해서 참조 맵이라는 것을 이용한다.

보통 피부컬러의 영역은 YCrCb의 형식에서 Cr과 Cb의 분포에 의해 결정되는데. 피부 컬러에 해당하는 Cr과 Cb의 범위를 각각 RCr, RCb라고 정의하면, 이 RCr과 RCb가 참조 맵이 된다.

여기에서 RCr과 RCb는 학습에 의해 결정된다.

이 참조 맵에는 Y성분이 포함되지 않으므로 조명의 변화에 강인한 특징을 보인다.

참조 맵을 이용하여 컬러 영상 분할이 수행되는데, 이는 다음 (수학식 1)로 표현된다.

상기 (수학식 1)에서 영상의 크기를 M×N이라 하면, x=0, …, M을 의미하고, y=0, …, N을 의미한다.

픽셀 (x, y)의 결과는 피부컬러영역일 경우 Cr과 Cb의 값이 각각 RCr, RCb의 범위에 존재하면 1로, 피부가 아닌 영역은 0으로 표현된다.

이것을 도면으로 나타내면 도 2와 같다.

(2) 특징 추출 및 잡음 제거(feature extraction and noise removal)

도 2에서 보는 바와 같이 컬러 영역 분할된 영상은 많은 영역들로 이루어져 있다.

여기에서 얼굴 영역을 얻기 위해서는 CCL(connected component labeling)을 수행하여 각 영역을 레이블링 한 후에 각 영역을 분석하여 영상의 크기, 무게 중심. 최소인접사각형 등의 특징을 추출하여 얼굴로 추정되지 않는 영역(크기가 매우 작은 영역)을 노이즈로 설정하고 이를 제거한다.

(3) 타원 근사(ellipsoid approximation)

잡음을 제거한 영상을 가지고 실제 얼굴의 영역을 추출하기 위해서는 얼굴의 영역을 타원으로 모델링 하도록 한다.

타원으로 모델링 할 때의 장점은 사람의 얼굴모양이 타원의 형태를 띠기 때문에 근사시키기에 적당하고, 타원을 표현하는 파라미터가 얼굴의 움직임을 기술하기에 편리하기 때문이다.

보통 타원은 각 영역의 2차 모멘트로 정의되며, 다음 (수학식 2)로 표현된다.

상기 (수학식 2)에서 A는 영역의 크기를 나타내고, R은 영역의 범위를 나타낸다.

그리고, 상기 (수학식 2)에서 2차 모멘트를 이용하여 타원의 중요 파라미터인 장축(major axis)의 길이와 단축(minor axis)의 길이는 다음 (수학식 3)으로 표현된다.

마지막으로 타원의 장축의 방향(orientation)은 다음 (수학식 4)와 (수학식 5)로 정의된다.

그리고, 도 3은 도 2의 컬러 영역 분할된 영상을 타원 모델에 근사키겨 얻은 도면이다.

(4) 모션 파라미터 추출(motion parameter extraction)

보통 3차원 상에서의 모션 파라미터는 이동 파라미터인 x, y, z 과 회전 파라이터인 α,β,γ로 정의된다.

본 발명에서는 실시간 제한 조건과 완전한 자동화 제한 조건하에서의 응용을 고려해서 이동 파라미터인 x, y, z만을 추출하였다.

회전 파라미터 α,β,γ를 추출하기 위해서는 더 세밀한 연산을 필요로 하는 것이 보통이다.

x, y는 타원의 중점의 좌표로서 추출이 가능하고, z는 타원의 크기로서 표현이 된다.

도면에서 도 4는 추출된 x, y, z을 얼굴 애니메이션의 제어 입력으로 사용한 예를 도시한 도면이다.

앞서 상세히 설명한 바와 같이 본 발명의 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체는 얼굴 움직임의 특징과 실시간 처리 및 온라인 제한 조건을 고려하여, 얼굴의 컬러모델을 이용한 얼굴의 영역을 분할한 뒤 타원체 모델에 근사시켜 잡음에 강인하고, 신뢰성 있는 얼굴 움직임을 추적할 수 있도록 하는 효과가 있다.

이상에서 본 발명의 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (6)

1. 연속적인 영상을 입력받아 컬러 영상 분할을 수행하여 얼굴 영역을 추출하는 제 1 단계; 및

   추출된 얼굴 영역을 타원체 모델에 근사시켜 얼굴 영역을 결정한 후에, 모션 파라미터를 추출하는 제 2 단계를 포함하여 이루어진 얼굴 추적 방법.
2. 제 1 항에 있어서,

   상기 제 1 단계에서 추출된 얼굴 영역에서 특징을 추출하여 얼굴로 추정되지 않는 영역을 잡음으로 간주하여 제거하는 제 3 단계를 더 포함하여 이루어진 얼굴 추적 방법.
3. 제 1 항에 있어서,

   CCL(Connected component labaling)을 수행하여 각 영역을 레이블링하는 제 3 단계;

   각 영역을 분석하여 영상의 크기, 무게중심. 최소인접 사각형의 특징을 추출하는 데 4 단계; 및

   얼굴로 추정되지 않는 영역을 노이즈로 설정하여 제거하는 제 5 단계를 더 포함하여 이루어진 얼굴 추적 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 제 1 단계는,

   YCrCb형식을 가지는 영상을 입력받는 제 6 단계; 및

   Cr과 Cb에 분포에 의해 결정된 피부 컬러 영역 참조맵을 사용하여 피부 컬러 영역을 추출하는 제 7 단계를 포함하여 이루어진 얼굴 추적 방법.
5. 제 4 항에 있어서,

   상기 제 2 단계의 추출된 모션 파라미터는,

   이동 파라미터인 것을 특징으로 하는 얼굴 추적 방법.
6. 컴퓨터에,

   연속적인 영상을 입력받아 컬러 영상 분할을 수행하여 얼굴 영역을 추출하는 제 1 단계; 및

   추출된 얼굴 영역을 타원체 모델에 근사시켜 얼굴 영역을 결정한 후에, 모션 파라미터를 추출하는 제 2 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.