KR100940862B1 - 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법 - Google Patents

Abstract

본 발명은 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법에 관한 것이다. 즉, 본 발명에서는 한 대의 비디오 카메라로 획득된 영상으로부터 3차원 모델의 헤드 모션을 추적하기 위하여 얼굴 모델을 변형하는 얼굴 애니메이션 시스템을 구성하고 헤드 모션 추적 시스템을 통해서 획득된 모션 파라미터를 얼굴 애니메이션 시스템에 적용시킴으로써 영상에 맞는 자연스러운 얼굴 헤드 모션 애니메이션을 수행하는 것이다.

3차원, 애니메이션, 헤드 모션, 텍스쳐, 보정

Description

3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법{HEAD MOTION TRACKING METHOD FOR 3D FACIAL MODEL ANIMATION FROM A VIDEO STREAM}

본 발명은 얼굴의 헤드모션(head motion) 추적(tracing)방법에 관한 것으로, 한 대의 비디오 카메라로 획득된 영상으로부터 3차원 모델의 헤드 모션을 추적하기 위하여, 얼굴 모델을 변형하는 얼굴 애니메이션(animation) 시스템을 구성하고 헤드 모션 추적 시스템을 통해서 획득된 모션 파라미터(Motion parameter)를 얼굴 애니메이션 시스템에 적용시킴으로써 영상에 맞는 자연스러운 얼굴 헤드 모션 애니메이션을 수행하는 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법에 관한 것이다.

기존의 많은 헤드 모션을 추적하는 방법으로는 특징점을 이용하는 방법과 텍스쳐(texture)를 이용하는 방법이 있다.

특징점을 이용하여 삼차원 헤드 모델을 찾는 방법에는 얼굴 영상의 좌우 눈끝 두 점과 코의 한 점, 이러한 세 점 혹은 입끝 두 점을 합쳐서 5점을 특징점으로 하는 이차원 모델을 생성하고 이 2차원 모델을 기반한 3차원 모델을 생성한 후 두 영상간의 2차원 변화량을 이용하여 3차원의 이동과 회전의 값으로 계산함으로써 헤드 모션을 찾는 방법들이 제시되었다. 이러한 방법은 변화된 3차원 모델을 영상으로 투영하게 되면 영상에서 맺힌 부분은 비슷해 보이지만 변화된 삼차원 모델의 정밀도는 떨어진다. 이러한 이유는 3차원 공간상에서 영상으로 투영을 하게 되면 3차원 공간에서는 다른 모델일지라도 투영된 영상에서는 비슷하게 보이는 단점이 있기 때문이다. 그러므로 이러한 방법은 정밀한 모션을 찾는데 문제를 가지고 있다.

텍스쳐를 이용한 3차원 헤드 모델을 찾는 방법에는 영상의 얼굴 텍스쳐를 획득하여 그 텍스쳐의 템플릿을 생성한 후 템플릿 매칭을 통해서 헤드 모션을 추적하는 방법이다. 이러한 템플릿 기반 텍스쳐를 이용한 방법은 3점 혹은 5점의 특징점을 이용한 것보다 정밀하게 모션 추적을 할 수 있다는 장점을 가지고 있다. 하지만 많은 메모리를 사용하기 때문에 정밀한 모션을 찾는 대신 많은 시간을 요하게 되고 급격하게 일어나는 모션에서는 취약한 점을 가지고 있다.

따라서 본 발명은 한 대의 비디오 카메라로 획득된 영상으로부터 3차원 모델의 헤드 모션을 추적하기 위하여 얼굴 모델을 변형하는 얼굴 애니메이션 시스템을 구성하고 헤드 모션 추적 시스템을 통해서 획득된 모션 파라미터를 얼굴 애니메이션 시스템에 적용시킴으로써 영상에 맞는 자연스러운 얼굴 헤드 모션 애니메이션을 수행하는 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법을 제공하고자 한다.

상술한 목적을 달성하기 위한 본 발명은 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법으로서, (a)하나의 비디오 카메라로부터 입력되는 얼굴 영상에 대해 3차원 모델을 상기 얼굴 영상에 맞추기 위한 상기 3차원 모델의 초기의 조인트 파라미터를 획득하는 단계와, (b)상기 조인트 파라미터를 이용하여 상기 3차원 모델의 실루엣을 생성하고, 상기 실루엣을 상기 얼굴 영상에 투영하는 단계와, (c)상기 3차원 모델의 실루엣의 투영으로 생성된 2차원 실루엣과 상기 얼굴 영상의 특징점으로 이루어진 2차원 실루엣이 일치되는 모션 파라미터를 추적하는 단계와, (d)상기 모션 파라미터를 이용하여 상기 얼굴 영상에 대한 3차원 헤드 모션을 생성하는 단계를 포함한다.

본 발명에서는 한 대의 비디오 카메라의 영상으로부터 실사를 기반한 자연스러운 3차원 얼굴 모델 애니메이션을 수작업 없이 자동으로 수행함으로써 시간과 비 용의 절감의 효과를 가져올 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 구체적인 핵심 기술요지를 살펴보면, 한 대의 비디오 카메라로부터 생성된 영상으로부터 얼굴 헤드 모션을 추적하기 하기 위해서 영상에서 획득된 특징점과 삼차원 모델의 특징점을 이용하여 초기 모션 파라미터를 획득하고 텍스쳐 보정을 통해서 정밀한 모션 파라미터를 획득함으로써, 빠르고 정밀한 모션 파라미터 획득이 가능하도록 하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.

도 1은 본 발명의 실시 예에 따른 한 대의 비디오 카메라로부터 생성된 영상으로부터 얼굴 헤드 모션을 추적하는 기능을 수행하는 응용 프로그램이 탑재되는 컴퓨터와 카메라의 연결 구성을 도시한 것이다.

카메라(100)는 피촬영되는 얼굴의 영상을 연결된 컴퓨터(106)로 전송시킨다. 인터페이스부(interface)(108)는 카메라(100)와 연결되어 하나의 비디오 카메라로부터 촬영된 사람의 얼굴 영상 데이터를 제어부(112)로 인가시킨다. 키입력부(116)는 다수의 숫자키 및 기능키를 구비하여 사용자에 의한 키입력시 해당 키데이터(key data)를 발생하여 제어부(112)로 인가시킨다.

메모리부(110)는 컴퓨터(106)의 전반적인 동작 제어를 위한 제어부(112)에 의해 수행될 동작 제어 프로그램을 저장하며, 본 발명에 따라 하나의 비디오 카메라로부터 생성된 영상으로부터 얼굴 모델의 헤드 모션 추적을 위한 응용 프로그램(application program)을 탑재한다. 표시부(114)는 제어부(112)의 제어에 따라 얼굴 애니메이션과 헤드모션 추적이 수행된 3차원 얼굴을 디스플레이시킨다.

제어부(112)는 메모리부(110)에 저장된 동작 제어 프로그램에 따라 컴퓨터(106)의 전반적인 동작을 제어한다. 또한 본 발명의 실시 예에 따른 하나의 비디오 카메라로부터 생성된 얼굴 영상에 대해 얼굴 애니메이션과 헤드 모션 추적을 수행하여 3차원 얼굴 모델을 생성한다.

도 2는 본 발명의 실시 예에 따라 모션 파라미터가 되는 회전과 이동의 값을 가지는 조인트로 이루어진 스켈레톤 구조를 이용하여 3차원 얼굴 모델 애니메이션 처리 흐름을 도시한 것이다.

이하, 동작을 살펴보면, 3차원 얼굴 모델의 변형을 위하여 얼굴 전체의 헤드 모션을 관장하는 조인트에 회전과 이동의 값 적용함으로써 이를 수행한다(S200). 헤드 모션 조인트의 파라미터에 새로운 값이 적용이 되면 스켈레톤 구조가 변형이 되는데 이러한 변형은 스켈레톤 구조가 계층적인 구조로 표현이 되어 있기 때문이다. 계층적인 구조에서는 상위의 조인트가 변형이 일어나게 되면 그 하부 조인트가 상위 조인트의 영향을 받아 새로운 값이 설정되어 적용이 된다. 변형이 된 각 조인트들은 얼굴의 일부분에 영향을 주어서 변형을 주게 된다. 이러한 작업은 얼굴 애니메이션 엔진을 통해서 자동으로 이루어지게 된다(S202). 이렇게 얼굴 애니메이션 엔진이 적용된 최종적인 결과물로는 자연스러운 변형된 얼굴 모델을 얻을 수 있다(S204).

도 3은 본 발명의 실시 예에 따라 한 대의 비디오 카메라로부터 생성된 얼굴 영상에 대해 헤드 모션 추적을 수행하는 처리 흐름을 도시한 것으로, 헤드 모션 추적을 통해 최종 목표인 헤드 모션에 관련된 조인트의 회전과 이동의 정보를 찾게 된다.

이하, 동작을 살펴보면, 그 첫 번째 단계로 3차원 모델과 영상의 특징점을 이용하여 3차원 모델이 영상에 올려놓는 초기의 모델의 조인트 파라미터를 찾는다(S300). 그 후, 도 5에서 보여지는 바와 같은 3차원 모델의 실루엣을 획득하여 영상에 투영하여 얻어지는 2차원 실루엣(S302)과, 통계적 특징점 모델을 입력된 비디오 시퀀스의 표정 변화를 추적하여 얻어진 특징점으로 이루어진 2차원 실루엣(S303)을 획득하고, 이 두 실루엣을 이용하여 도 6에서 보여지는 바와 같이 모션 파라미터를 추적하게 된다.

이렇게 3차원 모델에서 획득된 2차원 실루엣(S302)과 2차원 실루엣(S303)에 대한 일치 여부를 따지게 된다(S304). 만약에 일치하게 되면 찾고자 하는 헤드 모션 파라미터를 획득(S307)하게 되는 것이고 일치하지 않는다면 새로운 모션 파라미터를 찾아야 한다.

이러한 모션 보정 작업을 위해서 영상에서의 텍스쳐(texture)가 사용되어진다(S305). 이하 텍스쳐 모션 보정 작업을 간략히 설명하기로 한다.

먼저, 텍스쳐 모션 보정 작업을 위해서 영상에 있는 얼굴 영역의 텍스쳐 맵을 획득하기 위해서 실린더 모델이라는 새로운 모델을 생성한다. 이러한 모델은 CG 모델의 텍스쳐 맵에서 흔히 사용되는 실린더 텍스쳐 맵이라고 생각하면 된다. 생성된 실린더에 영상의 얼굴 영역의 텍스쳐를 입히게 되면 첫 번째 영상의 텍스쳐 맵이 생성되게 된다. 이러한 텍스쳐 맵을 이용하여 작은 모션(회전과 이동)을 수행함으로써 템플릿을 생성한다. 이러한 템플릿과 다음 영상의 텍스쳐 맵을 이용하여 다음 영상의 모션 파라미터를 찾는 방법이다.

찾아진 모션 파라미터는 최종 모션이 아니기 때문에 그것에 대한 확인 작업이 필요하다. 우선 구해진 모션 파라미터를 모델 애니메이션 시스템에 적용(S306)을 시켜서 변형을 시킨 후, 다시 3차원 모델의 실루엣을 찾고 영상에 투영을 시킨다. 이러한 작업은 실루엣이 일치할 때까지 반복적으로 수행을 하고 각 프레임에 대한 모션 파라미터를 찾고 후에 랜더링을 해 주게 되면 도 7에서와 같은 자연스러운 헤드 모션 애니메이션이 생성이 된다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

도 1은 본 발명의 실시 예에 따른 3차원 얼굴 애니메이션을 위한 헤드 모션 추적이 가능한 컴퓨터와 카메라의 연결 구성도,

도 2는 본 발명의 실시 예에 따른 얼굴 애니메이션 처리 흐름도,

도 3은 본 발명의 실시 예에 따른 헤드 모션 추적 처리 흐름도,

도 4는 본 발명의 실시 예에 따른 스켈레톤 구조의 모델을 영상에 맞춘 결과 예시도,

도 5는 본 발명의 실시 예에 따른 3차원 모델 실루엣 예시도,

도 6은 본 발명의 실시 예에 따른 3차원 모델 실루엣 투영 및 통계적 방법 특징점 추적 실루엣 예시도,

도 7은 본 발명의 실시 예에 따른 헤드 모델 추적 결과 예시도.

Claims (6)

1. 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법으로서,

   (a)하나의 비디오 카메라로부터 입력되는 얼굴 영상에 대해 3차원 모델을 상기 얼굴 영상에 맞추기 위한 상기 3차원 모델의 초기의 조인트 파라미터를 획득하는 단계와,

   (b)상기 조인트 파라미터를 이용하여 상기 3차원 모델의 실루엣을 생성하고, 상기 실루엣을 상기 얼굴 영상에 투영하는 단계와,

   (c)상기 3차원 모델의 실루엣의 투영으로 생성된 2차원 실루엣과 상기 얼굴 영상의 특징점으로 이루어진 2차원 실루엣이 일치되는 모션 파라미터를 추적하는 단계와,

   (d)상기 모션 파라미터를 이용하여 상기 얼굴 영상에 대한 3차원 헤드 모션을 생성하는 단계

   를 포함하는 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법.
2. 제 1 항에 있어서,

   상기 (c)단계에서 두 개의 상기 2차원 실루엣이 일치되지 않는 경우, (e)상기 2차원 실루엣간 텍스쳐 모션 보정을 반복적으로 수행하여 상기 2차원 실루엣이 일치되는 모션 파라미터를 추적하는 단계를 더 포함하는 것을 특징으로 하는 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법.
3. 제 1 항에 있어서,

   상기 (a)단계에서, 상기 3차원 모델과 상기 얼굴 영상의 특징점을 이용하여 상기 3차원 모델을 상기 얼굴 영상에 맞추기 위한 상기 3차원 모델의 초기의 조인트 파라미터를 획득하는 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법.
4. 삭제
5. 제 1 항에 있어서,

   상기 (c)단계에서, 상기 얼굴 영상의 특징점은, 통계적 특징점 모델을 이용하여 상기 얼굴 영상의 표정 변화를 추적하여 얻는 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법.
6. 제 2 항에 있어서,

   상기 (e)단계에서, 상기 텍스쳐를 이용한 모션 보정은, 상기 얼굴 영상의 텍스쳐 맵을 생성하고, 상기 텍스쳐 맵을 이용하여 상기 얼굴 영상의 회전과 이동을 수행한 템플릿을 생성한 후, 상기 템플릿과 다음 입력되는 얼굴 영상의 텍스쳐 맵을 이용하여 상기 얼굴 영상간 모션 파라미터를 산출하는 것인 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법.

Images