KR20000050109A - 네트워크상에서의 얼굴 및 동적 애니메이션 제작방법 - Google Patents

Abstract

본 발명의 3차원 동화상 애니메이션 제작방법에서는 인터넷을 통해 실시간으로 애니메이션을 제작한다. 인터넷을 통해 서버에 접속되는 모아레촬영장치에서 촬영된 모아레무늬는 서버로 전송되어 단순한 형태의 얼굴형상 데이터로 변환되며 이 변환된 얼굴데이터에 표준모델 데이터베이스와 피팅하여 얼굴형상을 추출한다. 생성된 얼굴형상은 변형 데이터베이스에 저장된 각 부위별 혹은 표정별 데이터와 대치되어 원하는 형태의 동화상 애니메이션으로 변환된다.

Description

네트워크상에서의 얼굴 및 동적 애니메이션 제작방법{A METHOD FOR PRODUCING FACIAL ACTIVE ANIMATION ON A NETWORK}

본 발명은 네트워크상에서의 2차원 또는 3차원 동화상 애니메이션 제작방법에 관한 것으로, 특히 촬영된 사용자 데이터를 인터넷을 통해 서버에 전송하여 2차원 또는 3차원 애니메이션을 형성한 후 데이터베이스에 저장된 정보를 기초로하여 사용자의 3차원 얼굴 애니메이션을 원하는 형태로 변형하여 컨텐츠로서 제공할 수 있는 네트워크상에서의 2차원 또는 3차원 동화상 애니메이션 제작방법에 관한 것이다.

근래, 컴퓨터기술이 발달함에 따라 애니메이션 제작기술은 순수한 애니메이션의 제작에만 한정되는 것이 아니라 그 응용범위가 대단히 넓어지고 있다. 이러한 응용범위로는 영화산업 뿐만 아니라 의학이나 오락, 3차원 몽타쥬를 이용한 경찰의 수사방법이나 미아찾기와 같은 분야에도 미치고 있다. 특히, 인터넷이 발달함에 따라 네트워크를 통한 실시간의 채팅이나 게임산업이 발달됨에 따라 이러한 3차원 동화상의 응용범위는 더욱 넓어지고 있는 실정이다. 예를 들면, 채팅의 경우 통상적으로는 실시간으로 문자데이터만이 전송되기 때문에 상대방의 얼굴을 알 수가 없는 반면에 캐릭터가 적용된 채팅의 경웅는 채팅중에 상대방의 얼굴을 전송받아 이를 보면서 채팅하므로 사용자의 흥미를 더욱 유발시킬 수 있다. 또한, 게임산업의 경우도 온라인상의 개인별 캐릭터 게임 등이 개발되어 사용자의 얼굴을 동화상으로 처리한 기술이 점점 더 필요하게 되고 있는 실정이다.

일반적으로 3차원 동화상 애니메이션 제작방법은 3차원 형상측정기술을 이용한다. 이러한 3차원 형상측정기술의 대표적인 것은 모아레무늬를 이용한 3차원 형상측정기술이다.

모아레무늬는 2개 이상의 주기적인 패턴이 겹쳐질 때 발생되는 상대적으로 기준패턴에 비해 저주파를 갖는 일종의 간섭무늬로 정의되는데, 맥놀이 현상으로 설명되는 고유한 저주파의 모아레무늬는 2차원의 변위 뿐만 아니라 3차원의 형상측정에 이르기까지 넓은 응용범위를 갖는다.

일반적으로 모아레방법은 모아레무늬를 형성하는 방법에 따라 그림자식 모라레(shadow moire)와 영사식 모아레(projection moire)의 두가지로 구분될 수 있다. 영사식 모아레는 단색광 또는 백색광 프로젝터를 이용하여 측정대상물에 격자패턴을 주사하고 물체의 형상에 따라 변형된 격자의 이미지를 주사한 격자와 동일한 피치를 갖는 기준격자에 겹치게 함으로써 모아레무늬를 얻는 방법으로서 비교적 큰 물체의 3차원 영상측정에 사용된다.

이러한 영사식 모아레는 대상물체의 크기가 제한받지 않고 작은 높이 단차를 갖는 미세한 물체의 측정시 격자를 물체 가까이에 위치시킬 필요가 없다는 장점이 있기 때문에 현재 많이 사용되고 있다.

일반적으로 3차원 캐릭터 동화상 애니메이션을 제작하기 위해서는 모아레방법에 의해 형성된 형상에 변형을 주어 동화상으로 만들어야만 한다. 특히 얼굴형상의 변화는 미세한 변화만이 필요하기 때문에 근육운동 데이터를 이용한 얼굴표면의 변형에 대한 연구가 주를 이루고 있는 실정이다. 근육운동 데이터는 통상 모든 근육의 움직임에 대한 데이터가 포함되어야만 한다. 예를 들면, 완성된 캐릭터의 입모양을 변화시켜 동화상을 만들기 위해서는 개개의 캐릭터에 대한 입주위 근육데이터가 필요하게 되는데, 세밀한 동화상을 표현하기 위해서는 대단히 많은 근육데이터가 필요하게 되기 때문에 데이터처리가 매우 복잡하게 된다.

이러한 문제를 해결하기 위해 3차원 얼굴표정 추출카메라(facial tracker)를 이용하여 캐릭터의 얼굴등의 표정을 제어하는 기술도 현재 사용되고 있지만, 이 기술도 얼굴표면제어의 한계에 따른 얼굴표정의 비현실적인 표현으로 인해 그 사용이 제한되고 있다.

또한, 이러한 캐릭터 애니메이션의 제작은 모두 오프라인상에서 이루어진다. 따라서, 실시간에 사용자의 캐릭터 애니메이션을 작성하여 바로 온라인 상에서는 사용할 수가 없는 문제가 있었다.

본 발명은 상기한 점을 감안하여 이루어진 것으로, 인터넷을 통해 실시간으로 동화상 애니메이션을 작성하고 이를 인터넷서비스에서 컨텐츠로서 제공할 수 있는 인터넷상에서의 동화상 애니메이션 제작방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 미리 제작된 변형 데이터베이스의 부위별 혹은 표정별 데이터를 얼굴형상데이터에 대치시킴으로써 항상 사용자에게 원하는 형상의 동화상 애니메이션을 제공하는 것이다.

상기한 목적을 달성하기 위해, 본 발명에 따른 인터넷상에서의 동화상 애니메이션 제작방법은 서버에 접속하여 모아레촬영장치에 의해 촬영된 모아레무늬를 서버로 전송하는 단계와, 상기 전송된 모아레무늬를 단순화하여 얼굴형상 데이터로 변환하고 서버에 저장된 표준모델 데이터베이스의 표준얼굴 데이터를 기초로하여 얼굴형상 애니메이션을 추출하는 단계와, 추출된 얼굴형상 애니메이션의 원하는 부위를 서버에 저장된 변형 데이터베이스의 각 부위별 형상으로 대치하여 동화상 애니메이션을 생성하는 단계와, 생성된 동화상 애니메이션을 기초로하여 데이터베이스를 생성하는 단계로 구성된다.

또한, 본 발명에서 제공되는 변형 데이터베이스는 원하는 특정 인물, 예컨데 연예인과 같은 인물들을 촬영하여 각 부위별 형상 및 표정을 애니메이션으로 저장할 수 있다. 저장된 각 부위별 형상 및 표정은 동화상 애니메이션을 제작할 때 사용자의 특정부위에 대치됨으로써 원하는 동화상 애니메이션을 생성할 수 있게 된다.

본 발명에서 제작된 데이터베이스는 인터넷서비스에서 컨텐츠로서 제공될 수 있다. 채팅이나 게임, 혹은 다른 개인 캐릭터를 사용하는 인터넷서비스에서 제작된 동화상 애니메이션을 제공함으로써 사용자의 흥미를 더욱 유발할 수 있다.

도 1은 본 발명에 따른 동화상 애니메이션 제작방법에 적용되는 시스템을 개락적으로 나타내는 도면.

도 2는 본 발명에 적용되는 시스템의 서버를 나타내는 블럭도.

도 3은 본 발명에 따른 동화상 애니메이션 제작방법을 나타내는 플로우챠트.

* 도면의 주요부분에 대한 부호의 설명 *

1 : 사용자 3 : 모아레조명

5 : 디지털카메라 9 : 인터넷

11 : 서버 20 : 모아레무늬 데이터추출부

22 : 얼굴형상 데이터생성부 24 : 표준모델 데이터베이스

26 : 얼굴형상 추출부 27 : 변형 데이터베이스

28 : 동화상 생성부

본 발명에서는 2차원 또는 3차원 동화상 애니메이션을 인터넷을 통해 실시간으로 제작한다. 즉, 사용자가 인터넷을 통해 데이터를 제공하면 사용자가 연결된 서버에서는 이 데이터를 처리하여 원하는 동화상 애니메이션을 작성한다. 또한, 본 발명에서는 인터넷서비스에 응용할 수 있는 동화상 애니메이션 데이터베이스를 제공한다. 이러한 데이터베이스는 인터넷상에서 실시간에 제작될 뿐만 아니라 실시간에 컨텐츠로서 사용자에게 제공된다.

본 발명에서는 얼굴형상에 대한 표준모델 데이터베이스를 기초로하여 모아레기법에 의해 생성된 얼굴형상 데이터에 변화를 주어 캐릭터 애니메이션의 다양한 표정 및 시간에 따른 변화를 부여한다. 또한, 변동량 가감법에 의해 2차원 또는 3차원 동화상 애니메이션의 데이터베이스를 작성하여 이를 인터넷을 통해 제공한다. 이러한 동화상 애니메이션 데이터베이스에 의해 동적 캐릭터를 인터넷상에서 컨텐츠로서 제공할 수 있게 된다.

게임이나 채팅과 같은 인터넷서비스에서 사용자 자신의 동적캐릭터의 제공은 게임과 채팅을 더욱 즐겁게 할 수 있다. 또한 본 발명에서의 동적 캐릭터는 성형수술시에도 적용하여 피시술자가 원하는 얼굴형을 선택한 후 이 얼굴형이 자신과 잘 어울리는지를 미리 파악할 수도 있으며 3차원 몽타쥬를 작성하여 범인수사나 미아찾기에도 이용할 수 있다.

도 1은 본 발명에 따른 인터넷상에서의 동화상 애니메이션 제작장치를 나타내는 도면으로서, 도 1(a)는 그 개념을 나타내는 블럭도이고 도 1(b)는 모아레조명에 의해 나타난 모아레무늬를 촬영하는 도면을 나타내는 도면이다. 도면에 도시된 바와 같이, 본 발명의 동화상 애니메이션 제작장치에서는 디지털카메라(5)가 클라이언트 컴퓨터(7)에 연결되어 있으며 상기 클라이언트 컴퓨터(7)는 인터넷(9)을 통해 웹서버(11)에 접속되어 있기 때문에, 디지털카메라(5)에 의해 촬영된 영상이 서버(11)로 전송된다. 도면에는 도시된 바와 같이, 종래에는 서로 다른 방향으로 장착된 복수의 디지털카메라로 사람을 촬영하는 것에 비해 본 발명에서는 하나의 디지털카메라(5)로 사람을 측정한다. 즉, 디지털카메라(5)에 회전구동장치를 설치하여 사용자의 얼굴을 좌측 45°, 좌측 15°, 우측 15° 및 우측 45°각도로 촬영하여 모아레조명(3)에 의해 나타나는 얼굴의 모아레무늬(12)를 3차원의 기하학적 선데이터로 추출한다. 또한, 사용자의 정면을 촬영하여 3차원 얼굴데이터의 질감(texture)로서 사용한다.

상기와 같이 인터넷을 통해 서버에 접속되는 모아레장치는 일반적인 디지털카메라를 이용하여 누구나 사용할 수 있지만 정확한 촬영에 의한 정밀한 데이터를 얻기 위해서는 별도로 설치된 모아레장치를 사용하는 것이 바람직할 것이다.

도 2는 본 발명에 적용되는 3차원 동화상 추출시스템을 나타내는 블럭도이고 도3은 인터넷상에서의 3차원 동화상을 추출하는 방법을 나타내는 도면으로, 이를 참조하여 본 발명을 설명하면 다음과 같다.

도면에 도시된 바와 같이, 사용자가 서버에 접속한 후 디지털카메라를 이용하여 자신의 얼굴을 촬영하면(S100), 촬영된 모아레무늬는 인터넷(9)을 통해 서버(11)로 전송된다(S110). 서버(11)에서는 전송되는 모아레무늬를 검사하여 얼굴형태를 확인할 수 있는 데이터형태이면 이를 정확한 데이터로서 수신하고 확인할 수 없는 경우에는 수신을 거부하여 재촬영을 요구한다.

서버(11)로 전송된 모아레무늬는 모아레무늬 데이터추출부(20)에 의해 모아레무늬 데이터가 추출되며, 얼굴형상 데이터생성부(22)에 의해 상기 추출된 모아레무늬의 3차원 기하학적 선데이터가 표준화되고 단순화되어 컴퓨터가 인식할 수 있는 얼굴형상 데이터로 변한다.

이때, 일반적으로 모아레무늬의 얼굴형상 데이터로의 변환은 서버에서 일어나지만 도 1에 도시된 클라이언트 컴퓨터에 일어날 수도 있다. 즉, 클라이언트 컴퓨터에서 모아레무늬가 얼굴형상 데이터로 변환된 후 이 변환된 얼굴형상 데이터가 서버로 전송된다.

일반적으로 모아레촬영에 의해 추출된 얼굴형상 데이터는 3차원의 점, 선, 면과 같은 표면데이터로서 촬영조건에 따라 규격화되지 않은 불안정한 데이터이다. 얼굴형상 추출부(26)에서는 이러한 불안정한 데이터로 이루어진 얼굴형상 데이터에 이미 제작된 표준모델 데이터베이스(24)의 표준얼굴데이터를 피팅(fitting)시킴으로써 기본형 데이터인 얼굴형상을 추출한다(S130).

상기 얼굴형상의 추출도 역시 도 1에 도시된 클라이언트 컴퓨터에서 실행될 수 있다. 클라이언트 컴퓨터에 얼굴형상의 추출을 위한 프로그램이 실장된 경우 촬영된 모아레무늬를 클라이어트 컴퓨터에서 처리하여 얼굴형상을 추출한 후 이 추출된 얼굴형상을 서버로 전송한다.

상기 얼굴형상 추출부(26)에서 추출된 얼굴형상은 동화상생성부(28)에서 동화상 애니메이션으로 생성된다(S140). 즉, 눈, 코, 입, 귀, 이마, 턱 등과 같은 각 얼굴의 부분별로 다양한 표정을 제공하는 변형 데이터베이스로부터 원하는 부위의 데이터를 가져와 이를 얼굴형상 애니메이션에 적용시킨다. 예를 들면, 말하는 형상의 캐릭터의 경우 '아', '어', '오', '우', '으', '이' 등과 같은 모음절의 입모양을 '아' 50％, '오' 50％의 형태로 변동하면 모든 대화시의 캐릭터의 입모양을 나타낼 수 있다.

변형 데이터베이스에는 또한 다른 종류의 데이터가 포함할 수도 있다. 예를 들면, 인기 연예인의 눈모양이나 웃음모습, 머리모양 등이 저장되면, 인기연예인을 따라하기 좋아하는 어린 십대들이 자신의 얼굴 애니메이션에 좋아하는 연예인의 특정부위를 대치시켜 원하는 애니메이션 캐릭터를 창출할 수도 있다. 이러한, 변형 데이터베이스는 위에서 설명한 방법에 의해 제작될 수도 있다. 즉, 인터넷을 통해 연예인과 같은 특정 인물을 촬영한 후 애니메이션을 창출한 후 얼굴의 각 부위나 표정등을 별로도 분리하여 변형 데이터베이스로 작성할 수 있다.

또한, 변형 데이터베이스에는 몰핑(morphing) 데이터를 포함할 수도 있다. 몰핑은 이미 잘 알려진 바와 같이 변형(metamophosis)에서 유래한 말로 영상을 전혀 다른 영상으로 변화시키는 것으로서, 이러한 몰핑에 의해 자신의 얼굴을 전혀 다른 모습, 예를 들면 동물이나 만화의 인물과 같은 재미있는 모습으로 변형시켜 캐릭터로서 사용할 수도 있다.

상기와 같이 생성된 정지화상 또는 동화상을 재생하여 제대로 재생이 이루어지는 경우에는(S150), 동화상 생성부(28)에서 생성된 동화상 애니메이션 캐릭터는 데이터베이스 생성부(30)에서 데이터베이스로 작성된다(S160). 상기와 같은 데이터베이스는 인터넷에서 컨텐츠형태에 따라 재구성된 데이터베이스로서 인터넷서비스에 따라 각각 다른 형태로 제작되어 인터넷서비스에 제공된다(S170).

상기한 바와 같이, 본 발명의 동화상 애니메이션 제작방법은 인터넷상에서 이루어진다. 즉, 사용자가 자신을 촬영한 후 이를 서버로 전송하고 원하는 형태로 자신의 얼굴형태로 변화시킴으로써 실시간에 동화상 애니메이션을 얻을 수 있으며, 이 제작된 동화상 애니메이션은 데이터베이스로 저장된다.

본 발명은 특정한 인터넷서비스에 한정되지 않으며, 동화상 애니메이션을 이용한 모든 인터넷서비스에 적용될 수 있다. 예를 들면, 채팅이나 게임과 같은 인터넷서비스의 경우 사용자가 회원으로 등록시 자신의 동화상 애니메이션을 제작하면 이를 채팅이나 게임시에 언제든지 불러 사용할 수 있다. 또한, 변형된 애니메이션 역시 언제나 제작될 수 있다. 즉, 사용자가 서버에 접속하여 자신의 동화상 애니메이션을 불러오고 다시 변형 데이터베이스에서 원하는 필드를 선정함으로써 항상 원하는 동화상 애니메이션을 만들 수 있다.

본 발명에 따라 제작된 동화상 캐릭터는 또한 IMT-2000과 같은 초고속무선 전화기에도 감정이 섞인 캐릭터로서 이용될 수 있으며, 3차원 영상스티커 촬영기로도 사용될 수 있다.

본 발명은 상술한 바와 같이, 모아레촬영장치에 의해 촬영된 영상을 인터넷을 통해 서버로 전송함으로써 실시간으로 사용자의 동화상 애니메이션을 제작할 수 있게 되며, 제작된 동화상 애니메이션을 인터넷컨텐츠로서 제공한다.

또한, 본 발명에서는 변형 데이터베이스를 제작하여 제공함으로써 인터넷에 접속한 사용자가 자신의 동화상 애니메이션을 원하는 형상으로 마음대로 조작할 수 있게 된다.

Claims (7)

1. 인터넷을 통해 서버에 접속하여 모아레촬영장치에 의해 촬영된 모아레무늬를 서버로 전송하는 단계;

   상기 전송된 모아레무늬를 단순화하여 얼굴형상 데이터로 변환하고 서버에 저장된 표준모델 데이터베이스의 표준얼굴 데이터를 기초로하여 얼굴형상을 추출하는 단계;

   추출된 얼굴형상의 원하는 부위를 서버에 저장된 변형 데이터베이스의 각 부위별 형상으로 대치하여 동화상 애니메이션을 생성하는 단계; 및

   생성된 동화상 애니메이션을 기초로하여 데이터베이스를 생성하는 단계로 구성된 인터넷상에서의 동화상 애니메이션 제작방법.
2. 제1항에 있어서, 상기 변형 데이터베이스에는 특정 인물의 부위 및 표정을 포함하는 것을 특징으로 하는 방법.
3. 제1항에 있어서, 상기 변형 데이터베이스는 자동으로 몰핑시키는 몰핑데이터를 포함하는 것을 특징으로 하는 방법.
4. 제1항에 있어서, 상기 변형 데이터베이스는 인터넷을 통해 복수의 특정 인물을 촬영함으로써 작성된 것을 특징으로 하는 방법.
5. 제1항에 있어서, 상기 모아레무늬는 회전구동장치가 설치된 디지털카메라를 회전시키면서 촬영하는 것에 의해 생성되는 것을 특징으로 하는 방법.
6. 제1항에 있어서, 생성된 데이터베이스를 인터넷서비스의 컨텐츠로서 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
7. 서버에 접속된 클라이언트 컴퓨터에 연결된 모아레촬영장치에 의해 촬영된 모아레무늬를 찰영하는 단계;

   상기 촬여된 모아레무늬를 단순화하여 얼굴형상 데이터로 변환하고 서버에 저장된 표준모델 데이터베이스의 표준얼굴 데이터를 기초로하여 얼굴형상을 추출하는 단계;

   추출된 얼굴형상의 원하는 부위를 서버에 전송하여 상기 서버에 저장된 변형 데이터베이스의 각 부위별 형상으로 대치하여 동화상 애니메이션을 생성하는 단계; 및

   생성된 동화상 애니메이션을 기초로하여 데이터베이스를 생성하는 단계로 구성된 인터넷상에서의 동화상 애니메이션 제작방법.