KR100827749B1 - 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정구현시스템 및 구현 방법 - Google Patents

Abstract

본 발명은 PDA를 이용한 맞춤형 3D 얼굴 생성/표정 구현 시스템 및 구현 방법에 관한 것이다.

더욱 상세하게는 PDA를 이용하여 캐릭터를 생성하는 시스템에 있어서, 상기 PDA는 PDA 카메라를 이용하여 사용자의 정면 및 측면사진을 촬영하고, 촬영된 정면 및 측면사진의 제어점을 추출하여 정규화된 모델을 적용하여 표정변화가 가능한 맞춤형 3D 얼굴을 생성하여 화면으로 표시하는 전반적인 기능을 제어하는 제어부와, PDA 카메라를 이용하여 촬영된 사용자의 정면 및 측면사진을 디지털 이미지로 변환하여 캐릭터생성부로 전달하는 촬영부와, 상기 촬영부에 의해 전달된 정면 및 측면사진을 정규화된 모델에 적용하여 맞춤형 3D 얼굴을 생성하는 캐릭터생성부와, 상기 캐릭터생성부에 의해 생성된 맞춤형 3D 얼굴에 정규화된 근육의 수축값을 적용하여 얼굴 표정을 구현하는 표정생성부와, 얼굴의 정면 및 측면에 대한 정규화된 모델정보를 저장하고, 얼굴의 정면 및 측면 근육에 대한 정규화된 근육의 수축값을 저장하고 제공하는 메모리 및 상기 생성된 맞춤형 3D 얼굴을 화면으로 표시하는 디스플레이부를 포함하여 이루어지는 피디에이를 이용한 맞춤형 얼굴 생성/표정 구현 시스템이 제공되고,

PDA를 이용하여 캐릭터를 생성하는 방법에 있어서, (a) 사용자 얼굴의 정면 및 측면영상을 촬영하여 디지털 이미지로 변환하는 단계와, (b) 상기 변환된 얼굴의 정면 및 측면사진의 크기를 정규화된 모델의 크기에 비율을 일치시키는 단계와, (c) 상기 정규화된 모델의 크기와 일치된 얼굴의 정면 및 측면사진에서 제어점을 추출하여 표시하고 사용자에 의해 재설정된 제어점이 입력되면, 상기 재설정된 제어점에 3D 워핑(warping) 기법을 적용하여 맞춤형 3D 얼굴을 생성하는 단계 및 (d) 상기 생성된 맞춤형 3D 얼굴에 얼굴 근육의 수축값을 적용하여 다양한 표정을 구현하여 디스플레이하는 단계를 포함하여 이루어진 것을 특징으로 하는 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구현 방법이 제공된다.

피디에이, 쓰리디 캐릭터, 정규화 모델, 비례식, 3D 워핑(warping) 기법, 3D 얼굴

Description

피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구현시스템 및 구현 방법{3D face creation/expression system and method}

도 1은 종래 기술의 일 실시예에 따른 정면 및 측면사진에 제어점을 추출하여 도시한 도면이다.

도 2는 종래 기술의 일 실시예에 따른 정면 및 측면에 대한 정규화된 3D 캐릭터 모델의 제어점과 인덱스 번호를 나타내는 도면이다.

도 3은 본 발명의 바람직한 일 실시예에 따른 피디에이를 이용한 3D 얼굴 생성/표정 구현시스템의 전체적인 블럭 구성을 나타내는 도면이다.

도 4는 본 발명의 다른 바람직한 일 실시예에 따른 피디에이를 이용한 3D 얼굴 생성/표정 구현방법을 나타내는 순서도이다.

도 5는 본 발명의 일 실시예에 따른 정면사진에 3D 워핑(warping) 기술이 적용된 것을 나타내는 도면이다.

도 6은 본 발명의 일 실시예에 따른 정면 및 측면사진에 정규화된 3D 캐릭터 모델을 적용하여 맞춤형 3D 얼굴을 생성한 결과를 나타내는 도면이다.

도 7은 본 발명의 일 실시예에 따른 기본 표정을 생성하기 위한 선형근육과 괄약근에 대한 정규화된 3D 캐릭터 모델을 나타내는 도면이다.

도 8은 본 발명의 일 실시예에 따른 선형근육에 대한 정규화된 3D 캐릭터 모델을 적용하는 것을 나타내는 도면이다.

도 9는 본 발명의 일 실시예에 따른 괄약근에 대한 정규화된 3D 캐릭터 모델을 적용하는 것을 나타내는 도면이다.

도 10은 본 발명의 일 실시예에 따른 맞춤형 3D 얼굴을 생성하고 기본 표정을 적용한 결과를 나타내는 도면이다.

도 11은 본 발명의 일 실시예에 따른 맞춤형 3D 얼굴에 다양한 헤어스타일을 적용하여 화면으로 표시한 것을 나타내는 도면이다.

*** 도면의 주요 부분에 대한 부호의 설명 ***

110 : 제어부 120 : 촬영부

130 : 캐릭터생성부 131 : 3D 워핑모듈

133 : 제어모듈 140 : 표정생성부

150 : 디스플레이부 160 : 메모리

본 발명은 PDA를 이용한 맞춤형 3D 얼굴 생성/표정 구현시스템 및 구현 방법에 관한 것이다.

더욱 상세하게는, 피디에이(PDA) 카메라로부터 사용자의 정면,측면사진을 획득한 후 자신에 맞는 맞춤형 3D 얼굴을 생성하고, 생성된 맞춤형 3D 얼굴에 기본 표정을 제공할 수 있는 PDA를 이용한 맞춤형 3D 얼굴 생성/표정 구현시스템 및 구현 방법에 관한 것이다.

일반적으로 PDA(personal digital assistant)란 휴대용 컴퓨터의 일종으로, 집이나 사무실에 있는 컴퓨터로 작성한 문서 파일을 집어넣으면 이동하면서도 계속 작업이 가능하고, 전자수첩과 마찬가지로 개인 정보 관리나 일정 관리가 가능한 휴대용 개인정보 단말기를 말하나, 초기에는 계산이나 일정 관리 등 제한된 용도로만 사용되다가 정보통신 기술이 급속도로 발전하면서 '포스트 PC'의 대표적인 정보통신 수단으로 각광받고 있다.

한편, 인간의 얼굴을 컴퓨터를 이용하여 모델링하는 과정에 있어서 현실적으로 존재하기 어려운 자연스럽지 못한 얼굴을 생성하지 않기 위해서는 고도의 전문성과 많은 시간을 투자한 수작업이 요구되는 바, 자동적인 얼굴 합성기술과 얼굴의 애니메이션 처리방식에서의 어려운 점은 많은 얼굴모델 중에서 서로 대응되는 특징 지점을 찾아서 규정화시키는 문제와 현실 세계에서 존재가 가능한 얼굴 모습과 존재하기 어려운 얼굴 모습을 구분해내는 것이다.

즉, 얼굴모델의 생성 및 모핑 처리에 있어서 각 얼굴모델 간의 제어점의 대응은 매우 중요하게 대두되는 바, 각 얼굴 모델 사이의 동일한 지점에 대한 대응 관계를 찾기 위해서는 통상적으로 얼굴의 코끝이나 눈끝과 같은 지점에 제어점을 표시하고, 그 제어점을 대응시키는 경우에 약 50~300개 정도의 범위 내에서 제어점 이 잡히게 되지만, 보다 정확한 제어점을 추출하기 위해서는 장시간에 걸친 수작업이 선행되어야 한다.

또한, 정확한 얼굴 모델의 생성과 모핑이 가능하도록 하기 위해서는 모든 제어점들이 정확하게 정렬됨과 동시에 각각의 대응관계가 정의되어야 하고, 이를 위해서는 작업자의 경험적 지식에 의존할 수 밖에 없으며 엄청난 양의 수작업이 요구될 수 밖에 없다. 즉, 현재의 얼굴모델 생성의 기술에서는 눈끝점이나 입술 끝점 등과 같이 시각적으로 뚜렷이 구별되는 제어점에 대한 자동 매칭 기술만이 구현되어 있고, 나머지의 과정에 대해서는 다수의 수작업이 필요하게 되는 것이다.

또한, 얼굴 모델의 생성에 있어서 다른 문제점은 현실 세계에 존재하는 자연스러운 얼굴 모습과 자연스럽지 못한 얼굴 모습을 구분하는 것인데, 이를 해결하기 위해서는 작업자의 경험적인 지식이 절대적으로 작용하게 되지만, 3차원적인 얼굴 모델을 이용하여 얼굴의 각종 특징들을 조작하고 시각적으로 자연스러운 효과를 창출하기 위해서는 작업은 많은 시간투자가 요구되고, 작업자의 상당한 미적 감각이 요구되는 문제점이 있었고,

특히 상기 PDA와 같은 휴대용단말기를 이용하여 자신의 얼굴과 비슷한 3차원적인 얼굴을 생성하는 데는 많은 기술적 어려움이 있었다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, PDA 카메라로부터 사용자의 정면,측면사진을 획득한 후 자신에 맞는 맞춤형 3D 얼굴을 생성하고, 생성된 맞춤형 3D 얼굴에 기본표정을 제공할 수 있는 PDA를 이용한 맞춤형 3D 얼굴 생성/표정 구현시스템 및 구현 방법을 제공하는 데 그 목적이 있다.

상술한 바와 같은 목적은, PDA를 이용하여 캐릭터를 생성하는 시스템에 있어서, 상기 PDA는 PDA 카메라를 이용하여 사용자의 정면 및 측면사진을 촬영하고, 촬영된 정면 및 측면사진의 제어점을 추출하여 정규화된 모델을 적용하여 표정변화가 가능한 맞춤형 3D 얼굴을 생성하여 화면으로 표시하는 전반적인 기능을 제어하는 제어부와, PDA 카메라를 이용하여 촬영된 사용자의 정면 및 측면사진을 디지털 이미지로 변환하여 캐릭터생성부로 전달하는 촬영부와, 상기 촬영부에 의해 전달된 정면 및 측면사진을 정규화된 모델에 적용하여 맞춤형 3D 얼굴을 생성하는 캐릭터생성부와, 상기 캐릭터생성부에 의해 생성된 맞춤형 3D 얼굴에 정규화된 근육의 수축값을 적용하여 얼굴 표정을 구현하는 표정생성부와, 얼굴의 정면 및 측면에 대한 정규화된 모델정보를 저장하고, 얼굴의 정면 및 측면 근육에 대한 정규화된 근육의 수축값을 저장하고 제공하는 메모리 및 상기 생성된 맞춤형 3D 얼굴을 화면으로 표시하는 디스플레이부를 포함하여 이루어지는 피디에이를 이용한 맞춤형 얼굴 생성/표정 구현 시스템을 제공하고,

PDA를 이용하여 캐릭터를 생성하는 방법에 있어서, (a) 사용자 얼굴의 정면 및 측면영상을 촬영하여 디지털 이미지로 변환하는 단계와, (b) 상기 변환된 얼굴의 정면 및 측면사진의 크기를 정규화된 모델의 크기에 비율을 일치시키는 단계와, (c) 상기 정규화된 모델의 크기와 일치된 얼굴의 정면 및 측면사진에서 제어점을 추출하여 표시하고 사용자에 의해 재설정된 제어점이 입력되면, 상기 재설정된 제어점에 3D 워핑(warping) 기법을 적용하여 맞춤형 3D 얼굴을 생성하는 단계 및 (d) 상기 생성된 맞춤형 3D 얼굴에 얼굴 근육의 수축값을 적용하여 다양한 표정을 구현하여 디스플레이하는 단계를 포함하여 이루어진 것을 특징으로 하는 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구현 방법을 제공함으로써 달성된다.

특히, 최종적인 결과로 생성된 맞춤형 3D 얼굴은 다른 어플리케이션 프로그램에서 다양하게 활용할 수 있는 ASE 또는 WRL 화일로 생성하여 출력할 수 있는 것이 특징이다.

이하 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른 PDA를 이용한 3D 얼굴 생성/표정 구현시스템 및 구현방법을 더욱 구체적으로 설명한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 PDA를 이용한 3D 얼굴 생성/표정 구현시스템의 전체적인 블럭 구성을 나타내는 도면이다.

도 3을 참조하여 더욱 구체적으로 설명하면,

본 발명인 상기 PDA는 제어부(110), 촬영부(120), 캐릭터생성부(130), 표정생성부(140), 디스플레이부(150) 및 메모리(160)를 포함하여 구성된다.

상기 제어부(110)는 PDA 카메라를 이용하여 사용자의 정면 및 측면사진을 촬 영하고, 촬영된 정면 및 측면사진의 제어점을 추출하여 정규화된 모델을 적용하여 표정변화가 가능한 맞춤형 3D 얼굴을 생성하여 화면으로 표시하는 전반적인 기능을 제어한다.

상기 촬영부(120)는 PDA 카메라를 이용하여 촬영된 사용자의 정면 및 측면사진을 디지털 이미지로 변환하여 상기 캐릭터생성부(130)로 전달하는 역할을 수행한다.

상기 캐릭터생성부(130)는 상기 촬영부(120)에 의해 전달된 정면 및 측면사진의 제어점을 추출하고 정규화된 모델을 적용하여 맞춤형 3D 얼굴을 생성하는 역할을 수행한다.

특히, 상기 캐릭터생성부(130)는 제어모듈(133)과 3D 워핑(warping)모듈(131)을 더 포함하여 구성되는데, 상기 제어모듈(133)은 상기 촬영부(120)에 의해 전달된 정면 및 측면사진에서 제어점을 추출하고 고무줄 방식의 제어점을 입력하게 되고, 상기 3D 워핑(warping)모듈(131)은 상기 정면 및 측면사진의 비율과 정규화된 모델간의 비율을 고려하여 제어점을 재설정하고 3D 워핑(warping)을 적용하여 맞춤형 3D 얼굴을 생성하는 역할을 수행한다.

상기 표정생성부(140)는 상기 캐릭터생성부(130)에 의해 생성된 맞춤형 3D 얼굴에 정규화된 근육의 수축값을 적용하여 표정을 생성하는 역할을 수행한다.

특히, 얼굴의 선형근육과 괄약근을 이용한 근육의 수축값을 적용하여 기쁨, 화남, 놀람, 슬픔, 공포 및 역겨움 등 6가지 이상의 표정을 생성하는 것을 특징으로 하고 있다.

상기 디스플레이부(150)는 상기 생성된 맞춤형 3D 얼굴을 화면으로 표시하는 역할을 수행한다.

상기 메모리(160)는 얼굴의 정면 및 측면에 대한 정규화된 모델정보를 저장하고, 얼굴의 정면 및 측면 근육에 대한 정규화된 근육의 수축값을 저장하고 제공하는 역할을 수행한다.

이하, 상술한 바와 같이 구성된 본 발명인 피디에이를 이용한 3D 얼굴 생성/표정 구현시스템을 이용하여 3D 얼굴을 생성하고 표정을 구현하는 방법을 더욱 구체적으로 설명한다.

도 1은 종래기술의 일 실시예에 따른 정면 및 측면사진에 제어점을 추출하여 도시한 도면이다. 도 2는 종래기술의 일 실시예에 따른 정면 및 측면에 대한 정규화된 3D 캐릭터 모델의 제어점과 인덱스 번호를 나타내는 도면이다.

도 1과 도 2를 참조하여 종래 기술의 3D 얼굴 생성 방법을 살펴보면,

카메라로부터 획득한 사용자 얼굴의 정면 및 측면사진을 이용하여 도 1에 도시된 바와 같이 사용자 얼굴의 정면 및 측면사진의 제어점을 추출하여 화면에 표시하게 되는데, 상기 제어점은 고무줄 방식으로 사용자에 의해 상하좌우로 옮겨지게 된다.

도 1에 도시된 바와 같이 사용자 얼굴의 정면 및 측면 사진을 이용하여, 3D 얼굴을 생성하는데 필요한 정면 36개, 측면 14개의 제어점을 추출하여 획득하게 되 고, 상기 제어점의 이동은 고무줄 방식을 이용하게 되는데, 입력을 시작할 때, 정규화된 3D 캐릭터 모델의 수치에 맞춘 모형이 나타나게 되고 사용자는 모형의 제어점들을 끌어다 옮기는 방식으로 자신의 얼굴에 맞게 제어점의 위치를 변경하게 된다.

상기 사용자 얼굴의 정면 및 측면사진의 제어점을 도 2에 도시된 바와 같이 정규화된 3D 캐릭터 모델의 제어점 위치에 적용할 때, 같은 제어점이라도 2D와 3D의 수치가 다르고, 얼굴의 가로와 세로에 폭이 다르다. 따라서, 각각의 동일한 제어점에 대해 상기 사용자 얼굴의 정면 및 측면사진의 좌표값과 정규화된 3D 캐릭터 모델의 좌표값의 비율을 맞추어주어 좌표값이 동일한 비율에 위치하도록 하게 된다.

즉, 도 1과 도 2에 도시된 것을 참조하면, 상기 사용자 얼굴의 정면 및 측면사진의 가로, 세로 및 너비의 폭을 각각 W, H, D라 하고 정규화된 3D 캐릭터 모델의 가로, 세로 및 너비의 폭을 W', H', D'이라 하고, 사용자 얼굴의 정면 및 측면사진의 임의의 제어점을

, 정규화된 3D 캐릭터 모델의 임의의 제어점을

이라고 한다면,

이때, 제어점의 이동에 사용될 정면 비율

이며, 측면 비율

이며, 이용할 공식은 <수식1>의

와 같다.

<수식1>

이 수식

을 사용하면, 사진과 모델의 가로, 너비의 비

를 정규화된 3D 캐릭터 모델의 임의의 제어점에

값에 반영하게 되는데, 정면과 측면의 경우 모두에서 임의의 제어점의 Y축에 값

를 움직이지 않고 고정시킴으로써, 가로와 세로, 너비와 세로의 비율을 조절하게 된다.

또한, 상기 종래의 3D 얼굴을 제작할 때, 사용자의 피부색이 저마다 다른 것도 고려해야 하는데, 서로 다른 피부색은 정면 얼굴의 제어점 중에서 눈, 코, 입, 눈썹을 구성하는 내부에 24개의 제어점을 이용하게 된다. 피부색을 구하는 수식은 다음의 <수식2>와 같으며, 24개 제어점이 가지는 평균값으로 개인에 맞는 피부색을 찾아내게 된다.

<수식2>

이 수식에서

은 평균 피부색으로, 맞춤형 3D 캐릭터에 적용할 색이며,

는 내부에 24개의 제어점

의 피부색 값을 모두 더한 값이고,

는 내부에 24개의 제어점 중 임의의 제어점이다.

상술한 바와 같이 얼굴 제어점들을 이용하여 얼굴의 구간을 나누고, 전체 얼굴과 각 구간의 비율을 이용한 비례식을 이용하여 정규화된 3D 캐릭터 모델을 바탕으로 맞춤형 3D 얼굴을 생성하는 종래기술은 간단한 비례식만으로도 맞춤형에 가까운 얼굴을 만들어 낼 수 있는 장점이 있지만, 실체와 가까운 모델을 만들기 위해서는 더욱 더 많은 구간이 필요하며, 구간이 늘어날수록 연산이 복잡해진다는 단점이 있다.

이하에서 상기 종래기술의 단점들을 보완하여, 실체와 가까운 맞춤형 3D 얼굴을 만들기 위해 3D 워핑(warping) 기법이 적용된 본 발명의 맞춤형 3D 얼굴 생성/표정 구현방법을 더욱 구체적으로 설명한다.

도 4는 본 발명의 다른 바람직한 일 실시예에 따른 피디에이를 이용한 맞춤형 3D 캐릭터 얼굴생성/표정 구현 방법을 나타내는 순서도이다. 도 5는 본 발명의 일 실시예에 따른 정면사진에 3D 워핑(warping) 기술이 적용된 것을 나타내는 도면이다. 도 6은 본 발명의 일 실시예에 따른 정면 및 측면사진을 이용하여 정규화된 3D 캐릭터 모델과 합성하여 맞춤형 3D 얼굴을 생성한 결과를 나타내는 도면이다. 도 7은 본 발명의 일 실시예에 따른 기본 표정을 생성하기 위한 선형근육과 괄약근 에 대한 정규화된 3D 캐릭터 모델을 나타내는 도면이다. 도 8은 본 발명의 일 실시예에 따른 선형근육에 대한 정규화된 3D 캐릭터 모델을 적용하는 것을 나타내는 도면이다. 도 9는 본 발명의 일 실시예에 따른 괄약근에 대한 정규화된 3D 캐릭터 모델을 적용하는 것을 나타내는 도면이다. 도 10은 본 발명의 일 실시예에 따른 맞춤형 3D 얼굴을 생성하고 기본 표정을 적용한 결과를 나타내는 도면이다. 도 11은 본 발명의 일 실시예에 따른 맞춤형 3D 얼굴에 다양한 헤어스타일을 적용하여 화면으로 표시한 것을 나타내는 도면이다.

도 4 내지 도 11을 참조하여 3D 얼굴 생성/표정 구현방법을 더욱 구체적으로 설명하면,

사용자가 PDA에 부착된 카메라를 이용하여 사용자 얼굴의 정면사진과 측면사진을 촬영하게 되면, 상기 촬영부(120)는 촬영된 얼굴의 정면 및 측면사진을 작업이 가능한 디지털 이미지로 변환하여 캐릭터생성부(130)로 전달하게 된다.(S202).

상기 캐릭터생성부(130)는 상기 PDA 카메라로부터 획득한 사용자 얼굴의 정면 및 측면사진을 이용하여 정규화된 3D 캐릭터 모델과 일치되게 이미지의 크기를 비율에 맞추어 조절하게 된다.(S204).

상기에서 이미지 크기 조절의 과정이 완료되면, 상기 PDA 카메라로부터 획득한 사용자 얼굴의 정면 및 측면사진에 제어점을 추출하여 화면으로 도시하게 되고, 사용자에 의해 제어점이 재설정되면, 상기 제어점을 이용하여 즉, 제어점과 제어점을 연결하는 제어선에 본 발명의 3D 워핑(warping) 기법을 적용하여 맞춤형 3D 얼굴을 생성하게 된다(S206).

본 발명의 3D 워핑(warping) 기법을 더욱 구체적으로 설명하면,

도 5에 도시된 바와 같이 여성의 눈, 코, 입에 3D 워핑(warping) 기법을 적용하여, 변형시킨 그림이다. 이와 같이 3D 워핑(warping) 기법을 이용하면 기존의 얼굴에서 형태와 눈, 코, 입 등을 변형시킬 수 있는데, 3D 워핑(warping) 기법은 각 점들에 대해, 모든 제어선들이 주는 가중치를 계산하여 변형시키는 알고리즘이다.

수식과 도표를 통하여 구체적으로 설명하면,

아래의 그림에서

는 변형 전의 임의의 좌표이고,

는 변형 후의 해당 좌표를 나타낸다. 임의의 제어선

을 기준으로

와의 수직교차점을 u이라 하고, 수직변위를 h라고 한다.

<3D 워핑(warping) 적용 전> <3D 워핑(warping) 적용 후>

3D 워핑(warping) 기법은 모든 제어선에 관하여 연산하기 때문에, 임의의 점

는 제어선

의 시작점 S와 끝점 E와 수직하지 않고, 영역 밖에 있을 수도 있다.

이러한 경우, 수직교차점과의 거리인 u는 다음의 <수식3>을 통해 구하게 되며

를 1로 보고, u의 값이 0보다 작으면 S와

의 직선거리를, u의 값이 0보다 크거나 같고 1보다 작거나 같으면 <수식4>를 이용하여 h값을, u의 값이 1보다 크면 E와

의 직선거리를,

과

의 거리값

로 <수식5>를 사용하게 된다.

<수식3>

<수식4>

<수식5>

위의 공식을 통해, 하나의 제어선이 변화할 때, 임의의 점이 변화하는 좌표를 얻어 낼 수 있다. 이를 바탕으로 제어선이 여러 개일 경우, 임의의 점

에

개의 제어점

가 미치는 가중치를 계산하여 변화하는 점에 반영하게 된다.

아래 <수식6>은 가중치를 반영하여 변화한 점

을 구하는 수식이 다. SW는 임의의 제어점

이 임의의 점

에게 작용하는 가중치

의 합이다.

는 아래 <수식8>을 이용하여 구하게 되고,

는 임의의 제어점

에 영향을 받아 임의의 점

이

로 변할 때, 각 제어점에 대한 변위들의 총합을 나타내는 것으로 <수식7>을 이용하여 구하게 된다.

<수식6>

<수식7>

<수식8>

아래에 도시된 도표<비례식과 3D 워핑(warping) 기법의 차이>에서 나타나듯이 상기와 같은 수식들을 이용한 3D 워핑(warping) 기법을 사용함으로써, 기존의 비율을 이용한 제작방법보다 적은 제어점으로 더욱 실체에 가까운 맞춤형 3D 얼굴을 제작할 수 있게 되는 것이다(비율 방법의 제어점 : 44, 3D 워핑(warping) 방법의 제어점 : 32).

특히, 얼굴 형태를 조정하는 부분에 있어서 더 좋은 효과를 나타낼 수 있는데, 참고도 1에 도시된 바를 보면 비율 방법은 한 구간에 대해 전체적인 비율이 적용되지 만, 3D 워핑(warping) 기법의 경우, 한 구간에서 기울기와 비율이 적용되어 조정되는 것을 알 수 있다. 비율을 이용한 방법은 얼굴의 전체 폭에 대한 각 구간(예, 이마, 턱)에 대한 비율을 이용하기 때문에 정규화 모델의 형태에 크게 영향을 받아, 효과적인 얼굴 형태를 얻어내기 힘들었지만, 3D 워핑(warping) 기법을 이용하면, 각 구간별로 비율의 영향을 주는 것이 아니라, 제어선의 기울기에 영향을 받기 때문에 효과적인 맞춤형 3D 얼굴형을 만들어 낼 수 있는 것이다.

<비례식과 3D 워핑(warping) 기법의 차이>

도 6을 살펴보면, 상기 사용자 얼굴의 정면 및 측면사진을 이용하여 본 발명의 3D 워핑(warping) 기법을 적용하여 맞춤형 3D 얼굴을 생성한 결과를 잘 보여주고 있으며,

아래에 도시된 도표<성능측정>은 두 가지 PDA 기기( HP iPAQ-2210 (530Mhz)와 HP iPAQ hx2790 (624Mhz))를 가지고 테스트한 결과를 바탕으로 성능을 평가한 도표로써, 자체 평가한 유사도의 평균값은 10점 만점에 7점으로 양호한 결과를 보 였으며, 출력 속도는 기기의 성능에 따라 크게 영향을 받는 것으로 나타났다.

일반적인 PC의 성능(3Ghz)의 1/6 수준인 기기에서 평균적인 출력속도는 20초 이내 였으므로, PC로 이식할 경우, 3초 내외의 빠른 속도를 기대할 수 있을 것이며, 본 발명의 맞춤형 3D 얼굴 생성/표정 구현시스템의 가장 큰 장점은 고무줄 방식의 사용자 인터렉션을 통한 제어점 입력을 통해, 획득 이미지의 크기, 조도, 명도 등에 별다른 영향없이 제어점을 효과적으로 추출할 수 있다는데 있다.

<성능 측정>

상기와 같은 과정이 거쳐 3D 워핑(warping) 기법이 적용되어 맞춤형 3D 얼굴 이 생성되게 되면, 얼굴 근육의 수축값을 적용하여 기쁨, 화남, 놀람, 슬픔, 공포 및 역겨움 등 6가지 이상의 기본적인 표정을 생성하게 된다(S208).

일반적으로 얼굴의 근육은 선형근육(Linear Muscle), 괄약근(Sphincter Muscle), 판근육(Sheet Muscle)등 3가지로 크게 나뉘는데,

본 발명에서는 해부학적 사실을 근거로 눈주변과 입주변에는 괄약근(Sphincter Muscle)을, 그 외의 제어점에는 선형근육(Linear Muscle)을 사용함으로써 사실감 있는 표정을 생성하였다.

먼저, 도 7a에 도시된 바와 같이 선형근육(Linear Muscle)을 살펴보면, 선형근육은 대부분의 표정에 사용되는 일반적인 근육으로 기본적인 표정을 구현함에 있어 가장 중요한 근육으로 자리 잡고 있다. 얼굴 근육의 움직임은 골격 구조와 독립적으로 나타나며, 뼈에 붙어 있어서 움직일 수 없는 뼈와 피부에 부착된 메쉬 상의 정점들을 벡터로 정의하고 제어점 사이의 거리를 이용하여 표정을 나타내게 된다.

<선형근육 모델>

상기 도표<선형근육 모델>에 나타나듯이 선형근육(Linear Muscle)은 근육의 영향을 받는 각과 거리의 점 사이의 관계에 의하여 늘어나고 줄어들게 되면서 표정을 형성하게 된다. 제어점의 거리와 근육벡터 사이의 각도의 영향에 의하여 근육의 영향을 받는 인접한 조직이 늘어나거나 좁혀지면서 표정을 형성하게 되는 것이다.

상기와 같은 선형근육에 대한 근육의 수축값을 아래 <수식9> 내지 <수식12>로 구현하여 본 발명에 적용함으로써 표정을 생성할 수 있게 된 것이다.

<수식9>

<수식10>

<수식11>

<수식12>

위의 <수식9> 내지 <수식12>를 바탕으로 도 8에 도시된 바와 같이 선형근육(Linear Muscle)을 구현하여 지정한 부채꼴의 각도 안에서 <수식9>내지 <수식12>의 변화에 따라 상기 생성된 맞춤형 3D 얼굴의 모습도 변화하며, 입력 수축값에 따라 다른 수축 정도를 보임으로서 표정이 생성되게 되는 것이다.

다음, 도 7b에 도시된 바와 같이 괄약근(Sphincter Muscle)을 살펴보면,

괄약근(Sphincter Muscle)은 타원의 원리를 이용하여 기존의 선형근육(Linear Muscle)으로 표현할 수 없었던 눈감기와 입의 움직임에 사용될 수 있는 근육으로써 다음에 기술하는 타원의 움직임과 타원을 형성하는 좌표(인덱스)의 이동을 모두 고려하여 맞춤형 3D 얼굴에 적용하게 된다.

특히, 눈감기에서의 타원의 형태라는 것을 고려하여, 장축을 고정시키고 단축을 움직임으로써 눈의 깜빡임을 표현하기 위해 순수한 타원의 형태를 눈의 움직임에 알맞도록 새롭게 정의하였는데, 다음 수식들을 통하여 원리를 설명하도록 한다.

괄약근(Sphincter Muscle)은 기본 타원의 틀을 형성하는 <수식 13>과 타원의 내부의 점들을 이동시킬 때 생기는 가중치를 이용하는 <수식 14> <수식 15>를 적용하여 완성하게 된다.

<수식13>

<수식14>

<수식15>

상기 <수식 13>을 통하여 생성된 타원이 괄약근(Sphincter Muscle)과 같이 근육운동을 하게 되면, 그 안의 모든 점들은 새로운 위치로 이동을 하면서 각각의 새로운 위치 좌표와 각을 형성하게 된다.

이 때 모든 좌표상의 점들은 가중치의 영향을 받으면서 <수식 14>를 통해 타원을 형성하는 곳으로 이동을 하게 된다. 수식에서 가중치의 영향은 아래 도표<k=0.07인 경우 a->a', b->b'의 변환>와 같이 이동하는 점의 위치가 결정된다.

<k=0.07인 경우 a->a', b->b'의 변환>

<a, b, c가 이동한 결과>

<표 1>은 괄약근(Sphincter Muscle) 상의 임의의 점 a, b, c를 각각 이동을 하지 않았을 때와+0.07의 수축(Contraction)을 받고 이동한 것을 나타낸 것으로, 각각의 점들은 이동하는 각인

값에 의해 이동할 위치에 따른 가중치인

를 갖게 되고 <수식15>에 의해 벡터 M값인 최종 좌표로 움직이게 된다.

Px는 벡터 값을 지닌 임의의 점a, b, c의 이동전 좌표를 나타내고, P'x의 좌표는 최종적인 벡터 값을 지닌 임의의 점 a, b, c 가 최종 Contraction +0.07을 받고 이동한 a', b', c'의 좌표이다.

상기와 같은 과정을 거쳐 완성된 괄약근(Sphincter Muscle)을 각각의 수축(Contraction)을 통하여 움직이는 모습을 도 9에 도시된 바와 같이 확인할 수 있다.

도 9에 도시된 바와 같이 (b)는 모든 점이 원점에 있는 디폴트(default)의 상태이고 (c),(d)는 각각 근육이 이완되는 상태를 나타내며 (e),(f)는 수축 되는 상태를 보여주는 도면으로, 도면 위의 점 f1, f2는 타원을 형성하는 초점을 나타내며 임의의 점 Px가 P'x로 이동하면서 근육이 이완 및 수축되는 모습을 나타내는 것이다.

상술한 바와 같이 선형근육과 괄약근에 대한 근육의 수축값이 적용하면, 도 10에 도시된 바와 같이 6가지의 표정변화가 가능한 맞춤형 3D 얼굴을 생성하게 된다.

상기와 같이 생성된 맞춤형 3D 얼굴은 도 11에 도시된 바와 같은 사용자의 취향에 맞는 헤어스타일을 선택한 후 PDA의 디스플레이에 표시되게 된다(S210).

상기와 같은 과정을 거쳐 생성된 맞춤형 3D 얼굴은 범용적으로 사용되는 다양한 어플리케이션 프로그램에서 사용될 수 있도록 ASE 파일, 웹환경의 표준 기술인 VRML을 이용하는 WRL 파일 형식 등으로 출력하여 사용할 수가 있다.

여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.

상술한 바와 같이 본 발명인 PDA를 이용한 맞춤형 3D 얼굴 생성/표정 구현시스템 및 구현방법은, 게임, 애니메이션, 메신저, 메일 서비스 등에 개인 가상 캐릭터(Virtual Character)를 손쉽게 생성하여 사용할 수는 효과가 있고,

다른 효과로는, 정규화된 3D 캐릭터 모델을 한국형 모델을 기반으로 제작함으로써, 국내 시장에서 현실적인 모델을 만들 수 있는 모바일 솔루션으로 응용될 수 있고, 차세대 성장 동력 분야에서 상당 부분 공통적으로 활용될 수 있으며, 이러한 맞춤형 3D 얼굴을 상용화하여 다양한 감성 전달과 정보를 전달하여 더욱 흥미를 유발할 수 있는 효과가 있고,

또 다른 효과로는, 맞춤형 3D 얼굴은 현금지급기, 자판기 등의 무인화 설비장치에 설치되어 사용자에게 친숙하게 다가갈 수 있고, 3D게임, 핸드폰의 맞춤형 3D 캐릭터 기능, 모바일 3D 게임, 대화식 심리치료, 모바일 3D 어학기 등 다양한 응용 콘텐츠에서 활용될 수 있는 효과가 있고,

또 다른 효과로는, 앞으로의 고령화 사회에서 사용 설명을 글자나, 단순 음성이 아닌 맞춤형 3D 캐릭터와 사용자가 대화하는 방식으로 쉬운 이해를 이룰 수 있고, 성형외과에서 피대상자의 얼굴을 맞춤형 3D 얼굴로 모델링하여 시술 전후의 변화를 알 수 있고, 특히, 한국형 얼굴을 모델로 하기 때문에, 국내 이용자에게 보다 사실적인 결과를 제공할 수는 효과가 있고,

또 다른 효과로는, 기존의 화상 회의에서는 안정적으로 방대한 양의 비디오 정보가 전송되어야 하지만, 맞춤형 3D 얼굴을 이용하면, 음성 정보만을 가지고 화자의 얼굴을 시뮬레이션시켜서 가상의 화상 회의를 할 수 있는 효과가 있다.

Claims (8)

1. PDA를 이용하여 캐릭터를 생성하는 시스템에 있어서, 상기 PDA는

   PDA 카메라를 이용하여 사용자의 정면 및 측면사진을 촬영하고, 촬영된 정면 및 측면사진의 제어점을 추출하여 정규화된 모델을 적용하여 표정변화가 가능한 맞춤형 3D 얼굴을 생성하여 화면으로 표시하는 전반적인 기능을 제어하는 제어부;

   PDA 카메라를 이용하여 촬영된 사용자의 정면 및 측면사진을 디지털 이미지로 변환하여 캐릭터생성부로 전달하는 촬영부;

   상기 촬영부에 의해 전달된 정면 및 측면사진을 정규화된 모델에 적용하여 맞춤형 3D 얼굴을 생성하는 캐릭터생성부;

   상기 캐릭터생성부에 의해 생성된 맞춤형 3D 얼굴에 정규화된 근육의 수축값을 적용하여 얼굴 표정을 구현하는 표정생성부;

   얼굴의 정면 및 측면에 대한 정규화된 모델정보를 저장하고, 얼굴의 정면 및 측면 근육에 대한 정규화된 근육의 수축값을 저장하고 제공하는 메모리; 및

   상기 생성된 맞춤형 3D 얼굴을 화면으로 표시하는 디스플레이부를 포함하되,

   상기 캐릭터생성부는,

   상기 촬영부에 의해 전달된 정면 및 측면사진의 크기를 정규화된 모델의 크기에 맞추어 조절하고 제어점을 추출하는 제어모듈; 및

   상기 정면 및 측면사진에 추출된 제어점에 3D 워핑(warping) 기법을 적용하여 맞춤형 3D 얼굴을 생성하는 3D 워핑모듈을 포함하는 것을 특징으로 하는 피디에이를 이용한 맞춤형 얼굴 생성/표정 구현 시스템.
2. 삭제
3. 제 1 항에 있어서, 상기 표정생성부는

   얼굴의 선형근육과 괄약근을 이용한 근육의 수축값을 적용하여 6가지 이상의 표정을 생성하는 것을 특징으로 하는 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구현 시스템.
4. PDA를 이용하여 캐릭터를 생성하는 방법에 있어서,

   (a) 사용자 얼굴의 정면 및 측면영상을 촬영하여 디지털 이미지로 변환하는 단계;

   (b) 상기 변환된 얼굴의 정면 및 측면사진의 크기를 정규화된 모델의 크기에 비율을 일치시키는 단계;

   (c) 상기 정규화된 모델의 크기와 일치된 얼굴의 정면 및 측면사진에서 제어점을 추출하여 표시하고 사용자에 의해 재설정된 제어점이 입력되면, 상기 재설정된 제어점에 3D 워핑(warping) 기법을 적용하여 맞춤형 3D 얼굴을 생성하는 단계; 및

   (d) 상기 생성된 맞춤형 3D 얼굴에 얼굴 근육의 수축값을 적용하여 다양한 표정을 구현하여 디스플레이하는 단계; 를 포함하되,

   상기 (c)단계의 3D 워핑(warping) 기법은 상기 제어점과 제어점을 연결하는 모든 제어선들이 주는 가중치를 계산하여 맞춤형 3D 얼굴을 생성하는 것을 특징으로 하는 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구현 방법.
5. 삭제
6. 삭제
7. 제 4 항에 있어서, 상기 (d)단계는

   얼굴의 선형근육과 괄약근의 정규화된 근육의 수축값을 이용하여 표정변화를 생성하는 것을 특징으로 하는 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구 현 방법.
8. 제 4 항에 있어서, 상기 (d)단계는

   최종적인 상기 맞춤형 3D 얼굴을 다른 어플리케이션 프로그램에서 사용할 수 있는 ASE 또는 WRL 화일로 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정 구현 방법.

Images