KR20080095680A - 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법 - Google Patents

Abstract

본 발명에 의한 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법은, 입력 영상으로부터 얼굴 영역을 검출하고 특징점을 추출하여 3차원 실린더 헤드 모델을 자동으로 초기화하는 단계; 상기 3차원 실린더 헤드 모델을 이용하여 입력 영상의 이미지를 등록하고 템플릿과의 피팅이 양호하지 않은 경우 이미지를 재등록하는 과정을 통하여 3차원 포즈 파라미터를 출력하는 머리 추적 단계; 및 HMM 인식부에서 상기 3차원 포즈 파라미터를 유입하여 얼굴 제스처에 의한 예/아니오를 판단하는 단계;를 포함함을 특징으로 한다.

본 발명은 이미지 재등록 과정을 거쳐 조명 변화와 빠른 움직임 및 포즈변화에 강인한 얼굴 제스처 인식 방법을 제공함으로써 인간의 안정적인 의사 전달 인터페이스로서 응용 가치가 높고 여러 산업에 걸쳐 넓은 범위에서 응용이 가능하므로 적용된 분야의 부가가치를 향상시킬 수 있다.

Description

3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법{Method for recognizing face gesture using 3-dimensional cylinder head model}

도 1은 본 발명에 따른 얼굴 제스처 인식 방법이 적용된 시스템의 전체 구성도이다.

도 2는 본 발명에 따른 얼굴 제스처 인식 방법에 대한 흐름도이다.

도 3은 도 2의 머리 추적 방법을 보다 상세히 설명하기 위한 흐름도이다.

도 4는 본 발명에 적용되는 조명 기저 영상의 일예를 도시한 도면이다.

도 5a 및 도 5b는 본 발명에 따른 눈 깜박임 인식을 위한 AAM 피팅을 설명하기 도면이다.

<도면의 주요부분에 대한 부호의 설명>

101 : 영상 입력부 102 : 얼굴영역 검출 및 특징점 추출부

103 : 머리 추적부 104 : HMM 인식부

105 : AAM 피팅 및 눈깜박임 인식부

본 발명은 얼굴 제스처 인식 방법에 관한 것으로서, 보다 상세하게는 급격하 게 취한 포즈와 머리 움직임 및 조명 변화 등에 강인한 3차원 포즈 파라미터와 HMM(Hidden Markov Model)인식기, AAM(Active Appearance Model) 피팅을 적용하여 얼굴 제스처를 인식하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법에 관한 것이다.

일반적으로 얼굴 제스처 인식 기술은 제스처를 인식하고자 하는 대상을 촬상하여 얻은 영상신호로부터 머리의 움직임을 추적하는 추적 기술과 추적된 결과로부터 얼굴 제스처를 판단하는 인식 기술로 나누어진다.

또한 입력된 영상에서 얼굴영상을 추출하는 방식에는 얼굴의 각 부위 중 일부 또는 전체를 하나 또는 복수개의 템플릿으로 생성하여 데이터베이스에 저장한 후에, 입력된 영상에서 사전에 설정된 템플릿과 유사한 부위를 매칭시켜 가며 얼굴을 추출하는 방법을 적용하였다.

이러한 추출한 영상을 이용하는 종래의 추적 기술은 급격한 조명 변화나 빠른 움직임 및 포즈가 변하는 환경하에 있어서는 민감하게 작용하기 때문에 인식 성능이 크게 저하되는 문제점이 있었다.

따라서, 다양한 환경, 조명 상황에서도 머리의 움직임의 추적과 얼굴 제스처를 판단할 수 있는 강인한 얼굴 인식 제스처 인식 방법이 요구되어 왔다.

본 발명이 이루고자 하는 기술적 과제는 조명 변화와 빠른 움직임 및 포즈변화에 강인한 3차원 포즈 파라미터의 포즈 정보와 HMM 인식기를 이용하여 예/아니오 인식 및 AAM 피팅을 통한 눈 깜박임 인식 정보를 제공하는 3차원 실린더 헤드 모델 을 이용한 얼굴 제스처 인식 방법을 제공하는 데 있다.

상기와 같은 기술적 과제를 달성하기 위한 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법은,

입력 영상으로부터 얼굴 영역을 검출하고 특징점을 추출하여 3차원 실린더 헤드 모델을 자동으로 초기화하는 단계; 상기 3차원 실린더 헤드 모델을 이용하여 입력 영상의 이미지를 등록하고 템플릿과의 피팅이 양호하지 않은 경우 이미지를 재등록하는 과정을 통하여 3차원 포즈 파라미터를 출력하는 머리 추적 단계; 및 HMM 인식부에서 상기 3차원 포즈 파라미터를 유입하여 얼굴 제스처에 의한 예/아니오를 판단하는 단계;를 포함함을 특징으로 한다.

또한, 상기 입력 영상에서 특징점을 추출하는 단계는 AAM 피팅을 통하여 특징점을 추출함을 특징으로 한다.

또한, 상기 머리를 추적하는 단계에서 정면 포즈인 경우에는 AAA 피팅을 통하여 눈깜박임을 인식하는 단계를 더 포함함을 특징으로 한다.

또한, 상기 눈깜박임을 인식하는 단계는 AAM 피팅 결과로 얻어진 눈 주위의 특징점들로부터 획득한 눈의 장축 및 단축의 크기를 비교 함수에 적용하여 눈의 감김과 뜸 상태를 판단함을 특징으로 한다.

또한, 상기 머리를 추적하는 단계는 학습된 조명 기저들의 선형 조합모델을 적용하여 피팅을 수행함을 특징으로 한다.

또한, 상기 머리를 추적하는 단계에서 조명 변화가 있는 경우에는 선택된 템 플릿을 재등록 피팅 결과와 현재 입력 영상으로 업데이트함을 특징으로 한다.

상기 머리를 추적하는 단계에서 조명 변화가 있다고 판단된 경우에는 선택된 템플릿을 재등록 피팅 결과와 현재 입력 영상으로 업데이트함을 특징으로 한다.

도 1은 본 발명에 따른 얼굴 제스처 인식 시스템의 대략적인 블록도이다.

도 1에서 인식 시스템은 영상을 입력하는 영상 입력부(101)와, 입력된 영상에서 얼굴 영역을 검출하고 검출된 얼굴 영역에서 눈 위치 정보를 검출하는 얼굴영역 검출 및 특징점 추출부(102)와, 입력 영상과 템플릿 영상의 차이를 최소화하는 3차원 포즈 파라미터를 획득하기 위하여 피팅하는 과정으로 3차원 실린더 헤드 모델을 이용하여 입력 영상으로부터 템플릿 영상과 매치될 영상 부분을 획득한 후 두 영상의 차이를 최소화하는 머리 추적부(103)와, 머리 추적부(103)에서 출력된 3차원 포즈 파라미터의 값을 유입하여 예/아니오의 판단을 수행하는 HMM 인식부(104)와, 영상이 얼굴 정면을 나타내는 경우 눈의 움직임을 추적할 수 있는 AAM을 정의하여 AAM 피팅을 수행한 후 그 결과로 얻어지는 눈 주위의 특징점들로부터 눈의 장축, 단축의 크기를 획득한 후 다음의 비교 함수를 사용하여 눈의 감김과 뜸 상태를 판단하는 AAM 피팅 및 눈깜박임 인식부(105)를 구비한다.

도 2는 본 발명에 따른 얼굴 제스처 인식 방법에 대한 일실시예의 흐름도로서, 본 발명에서 실린더 헤드 모델을 자동으로 초기화하는 과정(201 내지 203 단계)은 다음과 같다.

영상 입력부(101)에서 영상을 입력하여(201 단계), 얼굴영역 검출 및 특징점 추출부(102)로 전송하면 얼굴영역 검출 및 특징점 추출부(102)에서는 입력된 영상 에서 얼굴 영역을 검출하고 검출된 얼굴 영역에서 눈 위치 정보를 검출한 후, 획득한 눈 위치 정보로부터 AAM을 초기화한 후 특징점 추출을 위한 AAM 파라미터를 획득하는 모델 피팅을 수행한다(202 단계). 획득된 특징점들을 바탕으로 정확한 얼굴의 크기를 계산한 후 해당 얼굴 영상에 대한 3차원 실린더 헤드 모델을 초기화 한다(203 단계).

도 3은 도 2의 머리추적 단계(204)를 보다 상세히 설명하기 위한 흐름도이며, 동적 템플릿과 3차원 실린더 헤드 모델 및 학습된 조명 기저를 적용한 머리 추적 과정이 상세히 도시되어 있다.

본 발명에 의한 머리 추적 방법은 입력 영상과 사전에 저장된 템플릿 영상의 차이를 최소화하는 3차원 포즈 파라미터를 획득하기 위한 피팅 과정으로서, 3차원 실린더 헤드 모델을 이용하여 입력 영상으로부터 템플릿 영상과 매치될 영상 부분을 획득한 후, 두 영상의 차이를 최소화하는 것으로 수학식 1로 나타낼 수 있다.

여기서, T(x)는 템플릿 영상을 나타내고, I(x)는 입력 영상을 나타내며, 함수 W(x;p)는 3차원 포즈 파라미터 p에 의해서 결정되는 이동 함수를 나타낸다. 좌표 x의 집합은 실린더 헤드 모델의 표면에 존재하는 3차원 좌표들의 집합이다. 상기 최소화 방법을 통하여 3차원 포즈 파라미터를 획득하는 기술을 이미지 등록 기 술이라 칭한다.

한편, 본 발명은 상기의 이미지 등록 과정에 있어서 동적 템플릿 수단 및 조명 기저를 이용하여 조명 환경의 변화 및 빠른 움직임과 포즈 변화에 강인한 방법을 제공한다. 이를 위해 수학식 1에 조명 기저들의 선형 조합을 추가함으로써 입력 영상과 템플릿 영상 사이에 조명의 변화에 해당하는 조명 영상 이미지를 추가로 고려한 수학식 2로 나타낼 수 있다.

여기서, 조명 B _i는 조명 기저를 나타내며 p는 3차원 포즈 파라미터, q는 조명 기저 파라미터, t는 이미지가 획득된 시간을 나타내는 변수로 이미지가 연속으로 입력되는 경우 t와 t+1 시간의 이미지는 연속된 두 장의 이미지를 의미한다. 도 4는 본 발명의 조명 기저 영상의 일예를 도시한 도면이다.

또한, 본 발명은 이미지 재등록(re-registration) 방법과 레퍼런스(reference) 데이터 베이스(DB)를 이용하여 오랜 시간 동안 안정적으로 머리 추적을 수행 할 수 있는 방법을 제공한다. 이미지 재등록 방법은 이전에 수행된 피팅 결과와 입력 영상들을 레퍼런스 DB에 포즈별로 저장한 후, 이후에 수행되는 이미지 등록 결과가 좋지 못하면 레퍼런스 DB로부터 해당 포즈의 reference 템플릿 영상과 이미지 재등록을 수행함으로써 추적 성능을 향상시킨다.

도 3은 도 2에 도시된 머리 추적 단계를 상세히 설명하기 위한 흐름도이다.

우선, 301 단계에서 이전 프레임의 입력 영상으로부터 현재 템플릿을 업데이트하고, 302 단계에서 현재 입력 영상과 템플릿 영상과의 이미지 등록을 수행한다.

303 단계에서 피팅 결과가 양호하지 않은 경우에는 머리 추적 실패로 판단하고, 피팅 결과가 양호하여 성공한 것으로 판단된 경우에는, 304 단계로 진행하여 현재 피팅 결과로서 추정된 포즈가 레퍼런스 DB에 존재하는지를 판단한다.

레퍼런스 DB에 추정된 포즈가 존재하지 않을 경우 현재 피팅 결과와 입력 영상을 레퍼런스 DB에 저장하며(305 단계), 레퍼런스 DB에 추정된 포즈가 존재할 경우 피팅의 정확도를 판단하여(306 단계), 피팅의 정확도가 기준치에 이하인 경우에는 선택된 레퍼런스 템플릿과 이미지 재등록을 수행한다(307 단계).

이어서, 이미지 등록과 재등록의 피팅 결과를 비교하여(308 단계), 등록과 재등록의 비교 결과 중에서 등록 결과가 더 양호한 경우 등록 결과를 선택하며(309 단계), 재등록 결과가 더 양호한 경우 재등록 결과를 선택한다(310 단계).

310 단계에서, 재등록 결과를 선택한 후 311 단계로 진행하여, 현재 입력 영상과 reference 템플릿 영상 사이의 조명에 변화가 있다고 판단된 경우 선택된 reference 템플릿을 재등록 피팅한 결과와 현재 입력 영상으로 업데이트한다(312 단계).

한편, 얼굴 제스처 인식은 도 3에 흐름도에 도시된 머리 추적 과정이 완료되면 추적 결과로부터 얼굴이 정면인 상태로 판단되는 경우와 아닌 경우를 판단한다(206 단계).

얼굴이 정면인 상태가 아닌 경우에는 추정된 3차원 포즈 파라미터의 값을 HMM 인식부(104)에서 유입하여 얼굴 제스처에 따른 '예/아니오'의 판단을 출력하여 얼굴 제스처 인식을 수행한다(207 단계). 얼굴이 정면일 경우 AAM 피팅 및 눈깜박임 인식부(105)에서 눈의 움직임을 추적할 수 있는 AAM을 정의하여 AAM 피팅을 수행한 후 그 결과로 얻어지는 눈 주위의 특징점들로부터 눈의 장축, 단축의 크기를 획득한 후 다음의 수학식 3의 비교 함수를 적용하여 눈의 감김, 뜸 상태를 판단한다.

If then eye is open,

else eye is close.

여기서,

는 오픈된 눈의 세로 폭(단축),

는 눈의 가로 폭(장축)을 나타내며,

는 임계값을 나타낸다.

도 5a 및 도 5b는 본 발명에 따른 눈 깜박임 인식을 위한 AAM 피팅을 설명하기 도면으로서, 도 5a는 눈이 뜬 상태일 경우 AAM 피팅 결과이고 도 5b는 눈이 감긴 상태의 AAM 피팅 결과를 나타낸다. 눈이 뜬 상태에서 감김 상태로 변할 때 그 경우를 눈 깜박임으로 인식한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다 는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

상술한 바와 같이, 본 발명은 이미지 재등록 과정을 거쳐 조명 변화와 빠른 움직임 및 포즈변화에 강인한 얼굴 제스처 인식 방법을 제공함으로써 인간의 안정적인 의사 전달 인터페이스로서 응용 가치가 높고 여러 산업에 걸쳐 넓은 범위에서 응용이 가능하므로 적용된 분야의 부가가치를 향상시킬 수 있다.

Claims (6)

1. 입력 영상으로부터 얼굴 영역을 검출하고 특징점을 추출하여 3차원 실린더 헤드 모델을 자동으로 초기화하는 단계;

   상기 3차원 실린더 헤드 모델을 이용하여 입력 영상의 이미지를 등록하고 템플릿과의 피팅이 양호하지 않은 경우 이미지를 재등록하는 과정을 통하여 3차원 포즈 파라미터를 출력하는 머리 추적 단계; 및

   HMM(Hidden Markov Model) 인식부에서 상기 3차원 포즈 파라미터를 유입하여 얼굴 제스처에 의한 예/아니오를 판단하는 단계;를 포함함을 특징으로 하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법.
2. 제 1항에 있어서,

   상기 입력 영상에서 특징점을 추출하는 단계는 AAM(Active Appearance Model) 피팅을 통하여 특징점을 추출함을 특징으로 하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법.
3. 제 1항에 있어서, 상기 머리를 추적하는 단계에서 정면 포즈인 경우에는 AAA 피팅을 통하여 눈깜박임을 인식하는 단계를 더 포함함을 특징으로 하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법.
4. 제 3항에 있어서, 상기 눈깜박임을 인식하는 단계는 AAM 피팅 결과로 얻어진 눈 주위의 특징점들로부터 획득한 눈의 장축 및 단축의 크기를 비교 함수에 적용하여 눈의 감김과 뜸 상태를 판단함을 특징으로 하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법.
5. 제 1항에 있어서, 상기 머리를 추적하는 단계는 학습된 조명 기저들의 선형 조합모델을 적용하여 피팅을 수행함을 특징으로 하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법.
6. 제 5항에 있어서, 상기 머리를 추적하는 단계에서 조명 변화가 있는 경우에는 선택된 템플릿을 재등록 피팅 결과와 현재 입력 영상으로 업데이트함을 특징으로 하는 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법.

Images