KR100407319B1 - 확장 정합 함수를 이용한 블록 매칭 기반 얼굴 특징 추적방법 - Google Patents

Abstract

본 발명은 영상분석을 기반으로 하는 시스템에 관한 것으로 특히, 카메라를 통해 피사체의 얼굴 무표정에서부터 목적표정까지의 영상집합을 디지털 데이터로 입력받아 확장 블록 정합 함수를 통해 피사체 얼굴의 구성요소 검출하고 이를 추정하는 제 1과정과; 상기 제 1과정을 통해 추정되어진 얼굴의 구성요소들에 대한 데이터를 입력받아 노이즈 등을 제거하는 제 2과정과; 상기 제 2과정을 통해 노이즈 등이 제거되어진 데이터를 입력받아 표정인식에 따른 특징 벡터의 유효 공간 정의와 양자화를 수행하여 은닉 마르코프 모델을 기준으로 표정을 인식하는 제 3과정을 포함하는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법을 제공하면 블록 정합에 기반한 방법으로 확장된 결정함수를 사용하여 추적의 정확도를 높이고 탐색 방향이 제한된 2차원 로그 탐색 방법을 사용하여 보다 신속하고 정확하게 피사체를 추적할 수 있으며 저장공간을 작게 차지하므로 입력영상에서부터 움직이는 피사체의 특징으로 추적하는 기존 방법에서 해소하지 못하였던 문제점을 해소하는 효과가 있다.

Description

확장 정합 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법{FACE FEATURE TRACKING METHOD USING BLOCK-MATCHING ALGORITHM BASED ON EXTENDED COST FUNCTION}

본 발명은 영상분석을 기반으로 하는 시스템에 관한 것으로 특히, 확장된 결정함수를 사용하여 추적하고자 하는 얼굴의 특징 추적의 정확도를 높이고 탐색 방향이 제한된 2차원 로그 탐색방법을 사용함으로써 탐색공간에서의 비교 연산수를적게하여 처리속도의 향상을 기함과 아울러 처리시 필요로 하는 정보 저장 공간의 효율을 높일 수 있는 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법에 관한 것이다.

일반적으로 입력영상에서부터 움직이는 피사체의 특징으로 추적하는 방법에는 다음과 같은 방법들이 있다.

첫 번째로, 연속 영상간의 픽셀 변화량을 모델링하여 벡터로 나타내는 광류(optical flow) 방법으로써, 광류 방법은 영상의 양자화과정에서 발생하는 오차나 잡음의 영향에 의해, 혹은, 영상내의 에지 부분이나 텍스쳐가 없는 부분, 또는 조명이 심하게 변하는 곳에서 촬영된 영상의 경우에 여러 신뢰할 수 없는 광류를 포함하게 되므로, 이러한 신뢰할 수 없는 광류를 효율적으로 제거하는 것이 중요하다.

신뢰할 수 없는 광류를 제거하기 위해서, 종래에는 각 광류의 신뢰도를 측정하거나, 통계적인 방법을 이용하여 광류의 분포에 대한 평균값과 최대값을 구하여 영상내 물체를 파악하였다. 그러나, 상술한 신뢰도 측정방법은 신뢰성을 국부적으로만 파악하여 영상내의 물체와 그에 따른 조면, 운동 등의 데이터 성격을 전체적으로 고려하지 않는 단점이 있으며, 통계적 방법은 실시간 구현이 어렵다.

두 번째로 능동 윤곽선(active contour)을 사용하는 방식으로써, 능동방식은 적외선 혹은 초음파를 피사체를 향해 조사하고 그 반사파를 카메라에 설치된 센서에서 수신하여 피사체까지의 거리를 측정하고 이에 따라 렌즈의 포커스기구를 구동하는 방식으로서, 근거리에서도 초점조절이 가능하고 고성능이라는 장점이 있는 대신에 별도의 측거기구가 필요하다는 단점이 있다.

수동 방식중의 이미지검출방식은 두 개의 고정된 반사거울에 의해 형성되는 2개의 상들로부터 피사체까지의 거리를 산출하여 포커스기구를 구동한다.

이에 반해 화상검출방식에서는 영상신호중의 고주파성분을 추출하여 피사체의 해상도를 산출하고, 피사체의 해상도가 최대로 형성되도록 포커스기구를 구동한다. 즉 초점이 맞는 상태는 피사체의 해상도가 최대인 상태이며 이는 영상신호의 고주파성분이 최대인 상태인 것을 이용하는 방식이다. 이러한 화상검출방식은 수동방식에서와 같이 별도의 측거기구를 필요로 하지 않으며 또한 이미지 검출방식에서와 같이 기구적인 장치를 필요로 하지 않으므로 최근에 많이 채용되고 있다.

그러나, 상기의 화상검출방식에 의한 수동방식에서는 피사체의 조도가 낮거나 윤곽선이 부드러운 피상체나 배경이 있을 경우에는 고주파성분이 급격히 저하되어 정상적인 초점조절이 어렵다는 문제점이 있다.

또한, 상기의 화상검출방식에 의한 수동방식에서는 화면의 전체적인 해상도가 개선되도록 초점을 맞추게 되므로 화면중의임의의 지점에 초점을 맞추는 것이 불가능하다는 단점이 있다.

세 번째로 차 영상을 이용하는 방법으로써, 2장 이상의 연속하는 프레임간의 차를 구함으로써 움직임을 추정할 수 있다. 이러한 경우 카메라는 고정되어 있어야하며 조명은 일정해야 한다는 조건이 수반된다. 차 영상에 의한 움직임 분석으로 구해진 물체의 궤적으로는 물체가 어느 방향으로 움직였는지에 관한 정보는 얻을 수 없다. 이를 알려면 누적 차 영상을 이용하여야 한다.

마지막으로 블록 정합(block matching) 방법이 있는데, 물체의 이동량을 측정하는 방법으로서, 하드웨어를 고려한 실시간 동영상 전송시스템에서는 블록정합 알고리즘(BlockMatching Algorithm)이 사용된다.

블록정합 알고리즘에는 전역탐색(Full search)방식 및, 고속 알고리즘을 이용한 3단계 탐색(3 step search)방식과 단계별 방향전환 탐색(one at a time search)방식 및, 계층적인 방법을 이용한 계층적 블록 정합 알고리즘(hierarchical BMA)방식 등이 있다. 이 중에서 전역탐색방식은 규칙적인 데이터 흐름을 갖는 특성으로 인해 다른 방식들에 비해 하드웨어 구현이 용이하고, 좋은 예측성능을 나타내지만, 계산량이 많은 단점이 있다.

따라서, 상술한 선행기술 들은 그 각각이 장점과 단점을 내포하고 있지만 결정적으로 피사체의 얼굴내의 특징을 추적하는 데는 만족할만한 기대치를 얻기가 어렵다는 기술적 한계성을 갖고 있으며 이것이 문제점으로 제시되었다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 확장된 결정함수를 사용하여 얼굴 특징 추적의 정확도를 높이고 탐색 방향이 제한된 2차원 로그 탐색방법을 사용함으로써 탐색공간에서의 비교 연산수를 작게하여 처리속도의 향상을 기함과 아울러 처리시 필요로 하는 정보 저장 공간의 효율을 높일 수 있는 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법을 제공하는 데 있다.

도 1은 본 발명에서 사용하는 확장 결정함수를 설명하기 위해 2차원 로그 탐색 알고리즘 기반의 예시도

도 2는 본 발명이 적용되는 전체 시스템의 개념 예시도

도 3은 본 발명에 따른 신호처리 시스템의 구성 예시도

도 4는 본 발명에 따른 신호처리 시스템의 동작 순서 예시도

도 5와 도 6은 본 발명에 따른 확장 결정함수를 통한 블록 정합 과정을 설명하기 위한 예시도

도 7은 방향성 결정을 위한 알고리즘 예시도

상기 목적을 달성하기 위한 본 발명에 따른 확장 정합 함수를 이용한 블록매칭 얼굴 추적 방법의 특징은, 카메라를 통해 피사체의 얼굴 무표정에서부터 목적표정까지의 영상집합을 디지털 데이터로 입력받아 확장 블록 정합 함수를 통해 피사체 얼굴의 구성요소 검출하고 이를 추정하는 제 1과정과; 상기 제 1과정을 통해 추정되어진 얼굴의 구성요소들에 대한 데이터를 입력받아 노이즈 등을 제거하는 제 2과정; 및 상기 제 2과정을 통해 노이즈 등이 제거되어진 데이터를 입력받아 표정인식에 따른 특징 벡터의 유효 공간 정의와 양자화를 수행하여 은닉 마르코프 모델을 기준으로 표정을 인식하는 제 3과정을 포함하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법의 부가적인 특징으로 상기 제 1과정은, 카메라를 통해 피사체의 얼굴 영상이 디지털 데이터로 입력되면 해당 얼굴 데이터에서 얼굴의 구성요소를 검출하는 제 1단계와; 상기 제 1단계에서 검출되어진 얼굴의 구성 요소의 위치정보를 검출하고 검출되어진 위치정보를 정규화 시키는 제 2단계; 및 상기 제 2단계를 통해 정규화 되어진 얼굴의 구성 요소의 위치정보를 상관관계, MAD, 유사성의 합으로 이루어지는를 통해 특징 벡터 궤적을 산출하는 제 3단계를 포함하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법의 부가적인 다른 특징으로, 상기 제 3단계에서 b_o은 목적 블록을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교 블록을 나타내는 경우 목적 블록과 비교 블록의 상관관계는 수학식으로 표현되며, 수학식에서 바(bar)표시된 b_o와 b_i는 b_o, b_i의 평균을 나타내고, 구해진 상관계수는 값이 크면 클수록 b_o와 b_i가 유사함을 의미하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법의 부가적인 또 다른 특징으로, 상기 제 3단계에서 b_o은 목적 블록을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교 블록을 나타내는 경우 목적 블록과 비교 블록의 MAD는 수학식으로 나타내며, 수학식에서 m, n은 각 블록의 행과 열을 나타내고 있으며, 상기 블록의 기하학적 위치에 1:1로 대응되는 픽셀 차의 총합을 산출하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법의 부가적인 또 다른 특징으로, 상기 제 3단계에서 b_o은 목적 블록을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교 블록을 나타내는 경우 목적 블록과 비교 블록의 통계적 특성의 합으로 구성된 유사성 S(b_o,b_i)는 표준편차 s, 평균 m, 분산 v로 구성되며 아래의 수학식으로 정의되는데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 확장 정합 함수를 이용한 블록 매칭 얼굴 추적 방법의 부가적인 또 다른 특징으로, 상기 제 3과정은 제 2과정을 통해 전처리과정이 수행되어진 데이터를 입력받아 얼굴 표정을 인식하는 제 1단계와; 상기 제 1단계를 통해 얼굴 표정이 인식되는 경우 특징 벡터의 유효 공간을 정의하는 제 2단계와; 상기 제 2단계를 통해 정의되어진 특징 벡터를 양자화하는 제 3단계; 및 상기 제 3단계를 통해 양자화되어진 데이터를 은닉 마르코프 모델을 기준으로 표정을 인식하는 제 4단계를 포함하는 데 있다.

본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 후술되는 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 확장 정합 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법을 살펴보기로 한다.

첨부한 도 1은 본 발명에서 사용하는 확장 결정함수를 설명하기 위한 것으로, 2차원 로그 탐색 알고리즘을 기반으로 설명하기 위한 예시도로서, 격자판으로 형성되는 영역상에서 숫자로 표시되는 순서에 입각하여 탐색을 수행하기 위한 것으로 상술한 로그 탐색 알고리즘을 적용하는 경우 탐색시 각 탐색 위치에서 값을 결정하는 것이 바로 확장 결정함수(Extended Cost Function: ECF)이다.

즉, 임의의 위치(0,0)에서 (4,0), (-4,0), (0.4), (0, -4)라는 네군데의 위치에서 각각 아래의 수학식 1로 나타나는 확장 결정함수에 의해 연산하고 이를 기준으로 가장 최소한의 값을 만족시키는 블록을 설정하게 된다.

이때, 상기 수학식 1에 따른 연산치가 가장 최소가 되는 값을 만족하는 블록을 정합 블록이라 판단하고, 이러한 연상을 통해 얻어진 값이 (4,0)이라고 가정하면, 상기 포인트 (4,0)을 기준으로 재차 상기 수학식 1을 이용한 과정을 반복하여 어떠한 블록으로 재차 수렴해가는 것이다.

따라서, 상기 수학식 1에서 b_o은 상술한 바와 같이 반복적으로 수행되어질대 최종적으로 수렴하는 목적블럭을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교블럭을 나타내게 된다.

상기 확장 결정 함수는 -R(b_o,b_i)과 MAD(Mean Absolute Difference) M(b_o,b_i) 그리고 S(b_o,b_i)의 합으로 정의되며, R(b_o,b_i)은 블록 b_o와 b_i사이의 선형관계를 나타내고, 값이 클수록 관계강도가 강하므로 그 역을 위한다.

이때, 상기 상관관계 R(b_o,b_i)은 아래의 수학식 2와 같이 정의할 수 있다.

상기 수학식 2에서 바(bar)표시된 b_o와 b_i는 b_o, b_i의 평균을 나타내고, 구해진 상관계수는 값이 크면 클수록 b_o와 b_i가 유사함을 의미하게 된다.

한편, 상기 수학식 1에서 사용되는 MAD M(b_o,b_i)은 아래의 수학식 3과 같이 정의하게 된다.

상기 수학식 3에서 m,n은 각 블록의 행과 열을 나타내고 있으며, 상기 수학식 3은 블록의 기하학적 위치에 1:1로 대응되는 픽셀차의 총합을 산출하는 식을 나타낸 것이다.

블록의 통계적 특성의 합으로 구성된 S(b_o,b_i)는 표준편차 s, 평균 m, 분산 v로 구성되며 아래의 수학식 4와 같이 정의되어 진다.

본 발명의 실시 예에서는 수학식 2내지 4로 정의되는 함수들을 이용하여 수학식 1을 통해 목적 블록 b_o와 비교 블록 b_i(i=k)에 대해 확장 결정함수가 최소값을 만족하는 블록 b_i를 정합 블록으로 판단하는 것이다.

이러한, 확장 결정 함수를 이용하는 본 발명에 따른 시스템의 개략적인 개념을 첨부한 도 2를 참조하여 살펴보면, 컴퓨터와 연결된 카메라에서 얼굴에 해당하는 부분을 입력받아 그 부분이 얼굴인지 아닌지에 해당하는 탐색부분이 선행된 뒤얼굴임을 확인하면 얼굴 구성요소 검출부분으로 넘어간다.

이하, 첨부한 도 3을 참조하여 본 발명이 적용되는 시스템의 동작을 살펴보면, 본 발명이 적용되는 시스템은 크게 얼굴 구성요소 검출 및 추정 부분(100)과, 전처리 과정부(200), 및 표정 인식부(300)로 구성되어진다.

첨부한 도 2에서와 같이 본 시스템은 카메라를 통해 무표정에서부터 목적표정까지의 영상집합을 디지털화하여 얼굴 구성요소 검출부(110)로 입력시킨다. 상기 얼굴 구성요소 검출부(110)는 입력된 첫 번째 영상에서 얼굴과 눈, 입의 위치 정보를 검출하고, 검출되어진 얼굴 구성 요소의 위치정보는 얼굴 구성 요소 정규화 모듈(120)로 전달되어진다.

상기 보는 얼굴 구성 요소 정규화 모듈(120)은 각 위치정보를 표준값에 의해 정규화하고 이를 얼굴 특징 추정부(130)로 전달하는데, 상기 얼굴 특징 추정부(130)에서는 블록정합과정(131)과, 상관관계(132), MAD(133), 유사성(134)으로 이루어지는 확장 블록 정합 함수를 통해 특징 벡터 궤적을 산출하게 된다.

상기 과정을 통해 산출되어진 벡터 궤적은 전처리과정(200)을 통해 노이즈 및 불필요한 신호를 제거하게 되는데, 이를 위해 본 발명에서는 참조번호 210으로 지칭되는 저역 통과 필터를 사용하게 된다.

상기 전처리과정이 수행되어진 데이터는 표정인식 모듈(300)을 통해 표정이 인식되어지는데, 이를 위해 특징 벡터의 유효 공간을 정의(310)하고, 해당 벡터를 양자화(320)하며, 양자화되어진 데이터를 은닉 마르코프 모델을 기준으로 표정을 인식하게 된다.

이후, 참조번호 340으로 지칭되는 베이스 정리 기반의 검증을 수행하게 된다.

이와 같은 과정을 카메라 화상 입력에서부터 표정인식까지의 동작과정을 순서도로 표현하면 첨부한 도 4에 도시되어 있는 바와 같다.

상기 도 3과 도 4의 설명 중 세부사항에 대한 설명은 확장 결정 함수를 이용한 전처리 이전까지의 설명과 그 이후 표정인식까지의 설명으로 크게 나눌 수 있는데, 상기 수학식 1내지 수학식 4까지의 과정설명으로 확장 결정 함수를 이용한 전처리 이전까지의 설명을 대신하며, 이하에서는 전처리 과정이후 표정인식까지의 세부 설명을 하도록 한다.

이때, 목적 블록과 비교 블록의 비교시에 이전단계에서 선택된 블록이 최적 블록임에도 불구하고 다시 정합을 수행하는 경우가 있으므로, 본 발명에서는 이전 단계에서 선택된 블록과 현재 단계에서 선택된 블록에 대해 확장 결정함수를 적용하여 이러한 문제점을 해소하였다.

한편 첨부한 도 1에 도시되어 있는 바와 같은 2차원 로그 탐색 알고리즘을 기반으로 얼굴에서의 표정 변화를 추적하기 위하여 얼굴의 구성요소는 첨부한 도 5에 도시한 바와 같이 제한된 방향성을 가진 2차원 벡터로 특정화된다.여기서, 얼굴구성요소중 얼굴의 표정변화를 확연하게 표현할 수 있는 구성요소는 크게 눈썹, 눈, 입등으로 여러 연구에서 언급하고 있다. 얼굴에서의 표정 변화를 추적하기 위해서는, 통상적으로 얼굴 근육들을 응용하여 첨부한 도면 8과 같이 얼굴 표면을 폴리곤이라는 다각형으로 표현한다. 각 폴리곤은 근육의 움직임과 유사하게 폴리곤의 방향에 따라서 얼굴 구성요소의 각 모양들을 변화시킴으로써, 가상적인 얼굴 표정들을 표현할 수 있다.이때, 얼굴을 구성하는 근육모델의 운동 방향을 이용하여 폴리곤의 움직임으로 사용하게 된다. 근육모델의 운동방향에 대한 설정은 얼굴을 인체해부학적으로 접근하는 일반적인 응용을 따르고 있다. 따라서, 얼굴의 각 구성요소들을 관찰하는 관점을 2차원적인 관점에서 본다면, 가로, 세로에 해당하는 움직임만이 있게 되며, 이때 만들어지는 좌표는 2차원 벡터형태로 사용할 수 있다. 제한된 방향성 또한 근육의 움직임을 이용하는 것으로써, 눈썹은 상,하,좌,우 방향으로 움직이며, 눈꺼풀의 움직임은 상,하로 입은 좌,우, 상,하의 방향성을 갖는것을 의미한다.

이와 같이 방향성을 제한하는 이유는 통계적 특성에 기반한 확장 결정 함수를 통한 블록 정합 과정에서 나타날 수 있는 오류 때문이다.

확장 결정함수를 통한 블록 정합 과정에서 나타날 수 있는 예를 들면, 왼쪽과 오른쪽 눈썹 각각의 가운데 특징을 나타내는 포인트(첨부한 도 5에서 참조번호5, 6) 그리고 윗입술 특징을 나타내는 포인트(첨부한 도 5에서 참조번호 17)등은 첨부한 도 5에 나타낸 것과 같이 주변영역의 포인트(상기 포인트를 제외한 이외의 포인트를 칭함)의 통계적 특성이 특징 점으로 구성된 목적 블록과 유사함을 알 수 있다.

만약, 일반적인 블록 탐색 알고리즘을 사용한다면 유사판단 오류로 인해 추정된 특징 점은 잘못된 곳일 가능성이 매우 높다. 따라서, 본 발명에서는 이러한 오류를 방지하기 위해 방향성 제한 2차원 로그 탐색 알고리즘을 통해 정확한 얼굴 특징 점 추적을 수행한다.본 발명에서의 각 특징 점의 탐색방향은 해부학적인 얼굴 근육 운동 방향에 기반하여 정의된다. 이와 같은 이유로 얼굴내의 특징 점 방향성은 첨부한 도 6에 도시되어 있는 바와 같이 미리 정의된다. 얼굴의 구성요소중 본 발명에서 사용하는 눈썹, 눈, 입 주변의 폴리곤의 방향을 따라서 상기 도 6에서 사용하는 방향성의 위치는 일 예로써, 첨부한 도면 9의 화살표방향과 같이 나타날 수 있다.

따라서, 이와 같은 방향성에 기반하여 방향 제한 2차원 로그 탐색 알고리즘을 구성하기 위해 다음을 정의한다.

벡터(i,j)를 특징 점의 2차원 벡터라고 하고 s를 단계 값이라고 정의할 때 방향정의 함수 D와 갱신된 특징 벡터(i',j')와의 관계는 아래의 수학식 5와 같이 정의할 수 있다. 여기서, 특징 벡터라 함은 현재 사용되는 이미지의 형태가 2차원상에서 사용되므로, 특징점을 2차원 좌표상에서 표시하여 (가로, 세로)좌표를 형성할 수 있는 부분을 의미한다.

상기 수학식 5에서 d는 방향성이며, d={0,1,2,...,7}일 때, D(i,j,s,d)를 아래의 수학식 6과 7로 정의한다.

이고,

이다.

상기 <수학식 7>에서 S_k는 도 7에 도시된 바와 같이, 비교블록의 집합을 의미한다.이러한 정의에 기반하여 2차원 로그 탐색 알고리즘에서의 탐색방향 설정은 첨부한 도 7에 도시되어 있는 바와 같은 결정방식에 따른다.

따라서, 상술한 2차원 로그 탐색 알고리즘에서의 방향설정 알고리즘을 기반으로 얼굴 구성요소의 특징 점을 추적하게 되는 것이다.단순한 예로써, 상기 도 5의 왼쪽 눈썹(5)의 특징점의 2차원 벡터를 (1,1)가정하면, 눈썹부위의 방향성이 2인 경우, 상기 <수학식 6>, <수학식 7>에 의해 갱신된 특징벡터는 (1+s,1)이되고, 비교블록의 집합은 S₂가 된다.따라서, 상술한 2차원 로그 탐색 알고리즘에서의 방향설정 알고리즘을 기반으로 특징벡터의 추적을 통해 얼굴 구성요소의 특징 점을 추적하고, 얼굴에서의 표정변화를 추적하게 되는 것이다.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

이상 설명한 바와 같이 본 발명에 따르면, 블록 정합에 기반한 방법으로 확장된 결정함수를 사용하여 추적의 정확도를 높이고 탐색 방향이 제한된 2차원 로그 탐색 방법을 사용하여 보다 신속하고 정확하게 피사체를 추적할 수 있으며 저장공간을 작게 차지하므로 입력영상에서부터 움직이는 피사체의 특징으로 추적하는 기존 방법에서 해소하지 못하였던 문제점을 해소하는 효과가 있다.

Claims (6)

1. 카메라를 통해 피사체의 얼굴 무표정에서부터 목적표정까지의 영상집합을 디지털 데이터로 입력받아 확장 블록 정합 함수를 통해 피사체 얼굴의 구성요소 검출하고 이를 추정하는 제 1과정과;

   상기 제 1과정을 통해 추정되어진 얼굴의 구성요소들에 대한 데이터를 입력받아 노이즈 등을 제거하는 제 2과정; 및

   상기 제 2과정을 통해 노이즈 등이 제거되어진 데이터를 입력받아 표정인식에 따른 특징 벡터의 유효 공간 정의와 양자화를 수행하여 은닉 마르코프 모델을 기준으로 표정을 인식하는 제 3과정을 포함하는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법.
2. 제 1항에 있어서,

   상기 제 1과정은 카메라를 통해 피사체의 얼굴 영상이 디지털 데이터로 입력되면 해당 얼굴 데이터에서 얼굴의 구성요소를 검출하는 제 1단계와;

   상기 제 1단계에서 검출되어진 얼굴의 구성 요소의 위치정보를 검출하고 검출되어진 위치정보를 정규화 시키는 제 2단계; 및

   상기 제 2단계를 통해 정규화 되어진 얼굴의 구성 요소의 위치정보를 상관관계, MAD, 유사성의 합으로 이루어지는

   를 통해 특징 벡터 궤적을 산출하는 제 3단계를 포함하는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법.
3. 제 2항에 있어서,

   상기 제 3단계에서 b_o은 목적 블록을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교 블록을 나타내는 경우 목적 블록과 비교 블록의 상관관계는 수학식

   으로 표현되며, 수학식에서 바(bar)표시된 b_o와 b_i는 b_o, b_i의 평균을 나타내고, 구해진 상관계수는 값이 크면 클수록 b_o와 b_i가 유사함을 의미하는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법.
4. 제 2항에 있어서,

   상기 제 3단계에서 b_o은 목적 블록을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교 블록을 나타내는 경우 목적 블록과 비교 블록의 MAD는 수학식

   으로 나타내며, 수학식에서 m, n은 각블록의 행과 열을 나타내고 있으며, 상기 블록의 기하학적 위치에 1:1로 대응되는 픽셀 차의 총합을 산출하는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법.
5. 제 2항에 있어서,

   상기 제 3단계에서 b_o은 목적 블록을 칭하고, b_i(i=1,2,...,k)는 목적 블록을 찾아가는 과정에서 얻어지는 블록들로서 비교 블록을 나타내는 경우 목적 블록과 비교 블록의 통계적 특성의 합으로 구성된 유사성 S(b_o,b_i)는 표준편차 s, 평균 m, 분산 v로 구성되며 아래의 수학식

   으로 정의되는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법.
6. 제 1항에 있어서,

   상기 제 3과정은 제 2과정을 통해 전처리과정이 수행되어진 데이터를 입력받아 얼굴 표정을 인식하는 제 1단계와;

   상기 제 1단계를 통해 얼굴 표정이 인식되는 경우 특징 벡터의 유효 공간을 정의하는 제 2단계와;

   상기 제 2단계를 통해 정의되어진 특징 벡터를 양자화하는 제 3단계; 및

   상기 제 3단계를 통해 양자화되어진 데이터를 은닉 마르코프 모델을 기준으로 표정을 인식하는 제 4단계를 포함하는 것을 특징으로 하는 확장 결정 함수를 이용한 블록 매칭 기반 얼굴 특징 추적 방법.