KR20050009504A

KR20050009504A - 사용자 애니메이션 캐릭터 제작 방법 및 사용자애니메이션 캐릭터 제공 서비스 시스템

Info

Publication number: KR20050009504A
Application number: KR1020030048837A
Authority: KR
Inventors: 최창석; 유건수; 박상운; 신승철; 조은규
Original assignee: 정보통신연구진흥원; 주식회사 미래디지털; 최창석
Priority date: 2003-07-16
Filing date: 2003-07-16
Publication date: 2005-01-25

Abstract

본 발명은 사용자 영상이미지에서 얼굴이미지를 추출한 후 변형하고, 이를 배경애니메이션과 합성함으로써 사용자 애니메이션 캐릭터를 제작하는 방법 및 온라인 상에서 사용자가 자신의 애니메이션 캐릭터를 제작하고 배포할 수 있도록 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템을 제공하는 것을 그 목적으로 하며,

상술한 목적을 달성하기 위한 본원 발명의 사용자 애니메이션 캐릭터 제작방법은, 사용자의 영상이미지 중 얼굴영역에 얼굴형상모델을 정합하여 얼굴이미지를 추출하는 단계; 상기 얼굴형상모델을 이용하여 추출된 상기 얼굴이미지를 변형한 후 텍스쳐매핑에 의하여 변형된 얼굴이미지를 생성하는 단계; 상기 변형된 얼굴이미지를 배경애니메이션과 합성하여 사용자 애니메이션 캐릭터를 생성하는 단계;로 이루어져, 온라인 상에서, 사용자가 직접 자신의 애니메이션 캐릭터를 제작하고 배포할 수 있도록 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템에 이용될 수 있도록 하는 것을 특징으로 한다.

Description

사용자 애니메이션 캐릭터 제작 방법 및 사용자 애니메이션 캐릭터 제공 서비스 시스템{Animation character creation method and an online animation character creation service system}

본 발명은 온라인 상에서 사용자의 애니메이션 캐릭터를 제공하여 주는 것에 관한 것으로서, 더욱 상세하게는, 입력된 사용자 영상이미지에서 사용자의 얼굴이미지를 추출하여 사용자가 원하는 모양으로 변형한 후, 이를 애니메이션 캐릭터로 제작할 수 있도록 하고, 제작된 애니메이션 캐릭터를 온라인을 통해 배포할 수 있도록 하는, 애니메이션 캐릭터 제작 방법 및 상기 애니메이션 캐릭터 제공 서비스 시스템에 관한 것이다.

현재, IMT-2000 등의 모바일 통신 서비스의 시작으로 멀티미디어 기능을 가지는 핸드폰 등의 모바일 통신수단의 사용이 급증하고 있으며, 이러한 모바일수단의 화면은 자연색을 그대로 표시할 수 있을 정도로 발전되어 있다. 이러한 과정에서, 모바일 바탕화면 또는 통화요청신호 등의 화면으로서 다양화되고, 개인화된 애니메이션 이미지 제공서비스가 널리 발전하게 되었으며, 이러한, 애니메이션 서비스를 위한 애니메이션 캐릭터의 전송요청수가 급증하고 있는 추세이다.

그러나, 기존의 GIF 애니메이션 등의 애니메이션 캐릭터는 디자이너가 미리 제작한 것을 사용하게 되어, 사용자의 선택의 폭은 디자이너의 창의성에 의해 결정되며, 사용자 자신이 직접 참여하여 자신의 취향에 맞는 애니메이션 캐릭터를 제공받을 수 있는 길은 거의 전무한 실정이라고 할 수 있다.

이렇게, 종래의 모바일 수단의 바탕화면, 이메일 등에 포함되는 사용자의 애니메이션 캐릭터가 개인화가 이루어지지 않아, 사용자는 미리 제작되어 있는 애니메이션을 다운받아야 하기 때문에 캐릭터로 제공되는 애니메이션의 수가 한정되어 있는 경우, 사용자는 단기에 캐릭터에 대한 흥미를 잃게 된다. 이에 대응하기 위하여, 해당 서비스 업체는 사용자의 관심유발을 위하여 애니메이션 캐릭터의 종류를 늘리고 있지만, 이러한 캐릭터는 디자이너에 의해 그 변형에 한계가 있게 되며, 사용자의 능동적 참여가 불가능하여, 사용자의 관심을 유발시키기에는 역부족인 면이 있다.

또한, 이렇게 사용자의 관심을 모으기 위해 사용자의 흥미가 줄어든 이미지를 가지는 캐릭터 대신 새로운 이미지를 가지는 캐릭터를 제작해야 하므로, 기 제작된 이미지의 사용 효율이 떨어지게 되며, 이로 인한 서비스 업체의 수익성의 악화를 유발시킬 수 있는 문제점을 가진다.

즉, 현재는 모바일 등에 제공되는 캐릭터 서비스에 있어서도 개인화서비스를 필요로 하는 시점인데도 불구하고, 아직까지 사용자가 직접 가상의 캐릭터 이미지, 또는, 자신의 얼굴이미지를 이용한 캐릭터를 제작하고, 제작된 얼굴 캐릭터를 배경이 되는 배경애니메이션 속에 합성시켜 자신의 취향에 맞는 애니메이션 캐릭터를제작할 수 있도록 하는 서비스를 제공하지 못하고 있는 것이 현실이다.

따라서, 본 발명은 상술한 문제점을 극복하기 위한 것으로서, 사용자가 영상이미지로부터 직접 얼굴이미지를 추출한 후, 추출된 얼굴이미지를 사용자 자신이 변형할 수 있도록 하고, 변형된 얼굴이미지를 배경애니메션과 합성함으로써 자신의 취향에 맞는 사용자 애니메이션 캐릭터를 제작할 수 있도록 하는, 사용자 애니메이션 캐릭터 제작 방법을 제공하는 것을 그 목적으로 한다.

본원 발명은 또한, 상기 사용자 애니메이션 캐릭터를 온라인 상에서 생성하고 배포할 수 있도록 하는 사용자 애니메이션 캐릭터 제작 방법을 이용한 사용자 애니메이션 캐릭터 서비스 제공 시스템을 제공하는 것을 그 또 다른 목적으로 한다.

도1은, 본원 발명의 서비스 제공을 위한 서버시스템의 구성을 나타내는 도면이다.

도2는, 사용자 얼굴이미지의 추출 및 추출된 얼굴이미지에 대한 변형 등의 영상처리를 위한 3차원 또는 2차원 얼굴형상모델을 나타내는 도면이다.

도3은, 얼굴형상모델을 영상이미지의 얼굴영역에 정합하여 얼굴이미지를 추출하며, 추출된 얼굴이미지의 영상처리를 위한 사용자 인터페이스의 일 예를 나타내는 도면이다.

도4는, 도3의 사용자 인터페이스에 의한 얼굴형상모델을 영상이미지의 얼굴영역에 수동으로 정합하는 수동정합과정을 나타낸다.

도5는, 얼굴이미지 변형방법 중 모양변화를 위한 상술한 얼굴형상모델의 계층구조를 나타내는 도면이다.

도6은, 도5의 성형객체들이 얼굴형상모델에 정의되는 영역을 나타낸다.

도7은, 상기 성형객체들을 변형시키기 위해 얼굴형상모델에 정의되는 특징점들의 실시 예를 나타낸다.

도8은, 상기 성형객체의 제어를 위한 성형객체정보테이블의 구조를 나타낸다.

도9는, 표정변화를 위하여 MPEG-4의 FAP표준을 이용한 액션유니트의 일람을 나타내며, 도10은, 상기 FAP표준에 의해 지정된 액션유니트에 의해 표정이 변화된 얼굴이미지를 나타낸다.

도11은, FAP표준을 이용한 입모양 변화를 위한 액션유니트의 일람을 나타내며, 도12는, 도11의 액션유니트에 의해 입모양이 변형된 얼굴이미지의 예를 나타내는 도면이다.

도13은, 얼굴이미지의 배경이 투명 처리된 GIF 포맷을 가지는 이미지 파일의 데이터 포맷을 나타내는 도면이다.

도14는 본원 발명의 사용자 애니메이션 캐릭터 제작방법의 처리과정을 나타내는 도면이다.

도15는, 본원 발명의 사용자 애니메이션 캐릭터 제공 서비스 시스템의 동작과정의 일 예를 나타내는 순서도이다.

도16은, 사용자 단말기 상에 위치되는 클라이언트 프로그램에 의하여 애니메이션 캐릭터가 편집, 생성될 수 있도록 구성되는 사용자 애니메이션 캐릭터 제공 서비스 시스템의 또 다른 동작과정을 나타내는 순서도이다.

*도면의 주요 부호에 대한 설명*

100 : 서버 110 : 애니메이션캐릭터생성부

120 : 데이터베이스 130 : 서버엔진

상기 목적을 달성하기 위한 본원 발명의 사용자 애니메이션 캐릭터 제작방법은,

사용자의 영상이미지 중 얼굴영역에 얼굴형상모델을 정합하여 얼굴이미지를 추출하는 단계; 상기 얼굴형상모델을 이용하여 추출된 상기 얼굴이미지를 변형한 후, 텍스쳐매핑에 의하여 변형된 얼굴이미지를 생성하는 단계; 상기 변형된 얼굴이미지를 배경애니메이션과 합성하여 사용자 애니메이션 캐릭터를 생성하는 단계;로이루어지는 것을 특징으로 한다.

본원 발명에 따르는 얼굴이미지를 이용한 유무선 통합 애니메이션 캐릭터 제공 서비스 방법은,

통신망을 통해 서비스 제공 서버에 접속하는 단계;와, 상기 접속된 서버에서 제공하는 인터페이스 페이지를 출력하는 단계;와, 상기 출력된 인터페이스 페이지를 이용하여, 사용자의 영상이미지 중 얼굴영역에 얼굴형상모델을 정합하여 얼굴이미지를 추출하는 단계; 상기 얼굴형상모델을 이용하여 추출된 상기 얼굴이미지를 변형한 후, 텍스쳐매핑에 의하여 변형된 얼굴이미지를 생성하는 단계; 상기 변형된 얼굴이미지를 배경애니메이션과 합성하여 사용자 애니메이션 캐릭터를 생성하는 단계; 및, 생성된 상기 애니메이션 캐릭터를 사용자 요청서비스에 따라 유무선 통신망을 통해 배포하는 단계;로 이루어지는 것을 특징으로 한다.

상기 사용자 애니메이션 캐릭터를 생성하는 단계는, 상기 변형된 얼굴이미지의 컬러수를 줄이는 단계; 상기 얼굴이미지 이외의 부분은 투명 처리하여 투명배경을 삽입하는 단계; 상기 투명 배경을 가지는 얼굴이미지와 사용자가 선택한 배경애니메이션을 합성하여 사용자 애니메이션 캐릭터를 생성하는 단계;로 이루어 질 수 있다.

상기 애니메이션 캐릭터를 배포하는 단계에서, 상기 애니메이션 캐릭터가 인터넷을 포함하는 유무선 통신망을 통해 배포되는 경우에는 이메일, 및, 상기 서버로부터 실시간 다운로드에 의하여 전송 요청자 단말기(사용자 단말기)로 전송되는 것을 특징으로 한다.

상기 애니메이션 캐릭터를 배포하는 단계는, 상기 애니메이션 캐릭터가 모바일 환경에서 휴대폰 등의 이동단말기로 배포되는 경우에는, 상기 다운로드 단계이전에, 상기 애니메이션 캐릭터를 모바일 전송 파일 포맷으로 변환하는 단계;를 더 포함하여 이루어질 수 있다.

상술한 본원 발명은 또한, 상기 얼굴이미지 추출 이후에 상기 얼굴이미지 변형을 위하여 상기 추출된 얼굴이미지에 대한 정규화, 블러링, 샤프닝, 및, 감마컬렉션을 순차적으로 또는 선택적으로 적용하는 보정단계를 더 포함하여 이루어 질 수 있다.

본원 발명의 사용자 애니메이션 캐릭터 제공 서비스 시스템은, 웹 및/또는 왑 서비스를 제공한기 위한 서버에 있어서, 상기 서버가,

유무선 통신망을 통해 웹 및/또는 왑서비스를 제공하기 위한 인터넷 서비스용 서버엔진과, 사용자 영상이미지로부터 얼굴이미지를 추출한 후 변형하고, 상기 사용자가 선택한 배경애니메이션에 상기 얼굴이미지를 합성하여 사용자 애니메이션 캐릭터를 제작하는 애니메이션캐릭터생성부;와, 상기 얼굴형상모델을 이용하여 얼굴이미지를 추출할 수 있도록 하며, 상기 얼굴형상모델의 변형에 따라 추출된 상기얼굴이미지를 변형시킬 수 있도록 상기 얼굴형상모델의 구조, 변형방법, 변형데이터를 저장하는 얼굴형상모델DB와, 상기 얼굴이미지의 배경으로 합성될 배경애니메이션을 저장하는 배경애니메이션DB와, 기 생성된 사용자 애니메이션 캐릭터를 저장하는 캐릭터DB, 및, 상기 웹 및/또는 왑서비스를 위한 응용프로그램과 사용자 인터페이스 등의 컨텐츠를 저장하는 컨텐츠DB를 포함하는 데이터베이스;를 가지고 구성되어,

온라인 상에서 사용자의 애내메이션 캐릭터 제작 서비스, 상기 애니메이션 캐릭터 배포 서비스를 제공하는 것을 특징으로 한다.

상기 얼굴형상모델DB에는 변형된 가상 얼굴이미지를 생성하기 위한 얼굴형상, 및 얼굴 부위별 데이터가 저장될 수도 있다.

상기 본원 발명의 시스템은, 상기 사용자 애니메이션 캐릭터를 이메일로 전송할 수 있도록 하는 이메일전송부를 더 포함하여 구성될 수 있다.

상기 본원 발명의 시스템은, 또한, 상기 사용자 애니메이션 캐릭터를 모바일 전송을 위한 데이터 파일 모맷으로 변환하기 위한 데이터포맷변환부를 더 포함하여 구성될 수 있다.

이하, 본원 발명의 바람직한 일 실시 예를 나타내는 첨부도면을 참조하여, 본원 발명을 더욱 상세히 설명한다.

도1에 도시된 바와 같이, 본원발명의 서비스를 위한 서버(100)는, 유무선 통신망을 통해 웹 및/또는 왑서비스를 제공하기 위한 웹 및/또는 왑 서버엔진으로 구성되는 인터넷 서비스용 서버엔진(130)과, 얼굴형상모델을 이용하여 사용자 영상이미지로부터 얼굴이미지를 추출한 후 변형하고, 사용자가 선택한 배경애니메이션에 얼굴이미지를 합성하여 사용자 애니메이션 캐릭터를 제작하는 애니메이션캐릭터생성부(110);와, 얼굴형상모델을 이용하여 얼굴이미지를 추출할 수 있도록 하며, 얼굴형상모델의 변형에 따라 추출된 얼굴이미지를 변형시킬 수 있도록 얼굴형상모델의 구조, 구조데이터, 변형방법, 및 변형데이터를 저장하는 얼굴형상모델DB(123);와, 추출된 얼굴이미지의 배경으로 합성될 배경애니메이션을 저장하는 배경애니메이션DB(121)와, 기 생성된 사용자 애니메이션 캐릭터를 저장하는 캐릭터DB(122), 및, 상기 웹 및/또는 왑서비스를 위한 응용프로그램과 사용자 인터페이스 등의 컨텐츠를 저장하는 컨텐츠DB(124)를 포함하는 데이터베이스(120);를 가지고 통신망에 연결되도록 구성되어, 온라인 상에서 사용자의 애내메이션 캐릭터 제작 서비스, 제작된 애니메이션 캐릭터를 배포할 수 있도록 하는 서비스를 제공하는 것을 특징으로 한다.

상술한 인터넷 서비스용 서버엔진(130)은 유선 통신망을 통해 접속한 사용자의 데스크탑 노트북 등의 단말기가 접속되는 경우 웹서비스를 제공하며, 무선통신망을 통해 PDA, 휴대폰 등의 사용자 무선 휴대용 단말기의 접속이 있는 경우 왑서비스를 제공한다. 상술한 인터넷 서비스용 서버엔진은 서로 독립적인 서버로 구성될 수도 있다.

상술한 애니메이션캐릭터생성부(110)는 입력된 사용자 영상이미지의 얼굴영역에 얼굴형상모델을 정합한 후, 얼굴 이미지를 추출하는 얼굴이미지추출부(111)와, 상기 얼굴형상모델과 정합된 얼굴이미지에 대한 보정, 변형 등을 수행하는 얼굴이미지처리부(112)와 얼굴이미지처리부(112)에 의해서 변형된 얼굴이미지와 배경애니메이션을 합성하는 애니메이션합성부(113)를 포함하여 구성되어, 사용자가 선택하거나 입력한 영상이미지 중 얼굴영역에 얼굴형상모델을 정합하여, 상기 영상이미지로부터 얼굴이미지를 추출하고, 상기 얼굴형상모델 및 얼굴형상모델DB(123)에 저장된 얼굴형상모델의 변형방법 등의 데이터를 이용하여 추출된 얼굴이미지에 대한 변형을 수행한 후, 변형된 얼굴이미지를, 상기 서버(100)에서 제공하는 배경애니메이션과 합성하여 사용자 애니메이션 캐릭터를 제작하도록 동작되는 것을 특징으로 한다.

상기 얼굴형상모델을 이용하여 얼굴이미지추출부(111)가 추출하는 얼굴이미지는 얼굴형상모델 중, 턱, 코, 눈으로 지정된 특징점 중 적어도 하나 이상의 특징점의 좌표 값을 배경애니메이션과 합성될 위치를 정하기 위한 상기 얼굴이미지의 기준 좌표 값으로 가지게 된다. 상술한 기준 좌표 값은 선택적으로 하기의 얼굴이미지처리부에 의해 지정될 수도 있다.

상술한 얼굴이미지추출부(111)는 또한, 얼굴형상모델과 얼굴형상모델DB(123)에 저장된 얼굴형상모델의 구조, 변형방법 등의 데이터를 이용하여 사용자가 원하는 얼굴형상을 가지는 가상의 얼굴이미지를 생성하도록 구성될 수도 있다. 이 과정에서, 상기 가상의 얼굴이미지는 사용자가 얼굴이미지처리부(112)를 이용하여 가상의 얼굴이미지를 생성하고 변형할 수도 있다.

상술한 얼굴이미지추출부(111)는, 얼굴형상모델을 영상이미지에 정합한 후, 얼굴이미지를 추출하는 것으로서, 얼굴형상모델을 영상이미지에 정합하는 과정, 얼굴형상모델이 정합된 영상이미지로부터 얼굴이미지를 추출하는 과정은 하기에서 더욱 상세히 설명된다.

상술한 얼굴이미지처리부(112)는 얼굴형상모델과 정합되어 있는 상태로 추출된 얼굴이미지에 대한 정규화, 블러링, 샤프닝, 감마콜렉션 등의 보정과, 얼굴형상모델의 변형에 따라, 상기 얼굴이미지를 변형한 후, 텍스쳐매핑에 의해 변형된 얼굴이미지를 생성하는 얼굴이미지의 변형을 수행한다. 또한, 이 과정에서 상술한 바와 같이 얼굴이미지의 기준 좌표 값이 설정될 수 있다.

상술한 애니메이션합성부(113)는 얼굴이미지처리부(112)에 의해 생성된 변형된 얼굴이미지에서 배경을 없애고 컬러수를 줄인 후에, 사용자가 배경애니메이션DB(121)에서 선택한 배경애니메이션과 얼굴이미지추출부 또는 얼굴이미지처리부에 의해 지정된 기준 좌표 값을 이용하여 합성함으로써, 사용자 애니메이션 캐릭터를 생성한다.

본원 발명에서 상기 애니메이션 캐릭터의 이미지 파일모맷은 포터블 네트웍 그래픽(Portable Network Graphics, PNG) 포맷, GIF 포맷 등으로 다양하게 실시될 수 있으나, 본원 발명의 바람직한 일 실시예에서 상기 애니메이션 캐릭터는 GIF 파일 포맷으로 생성됨을 가정하였다. 이 경우, 상기 애니메이션합성부(113)는, 변형된 얼굴이미지를 GIF 파일 포맷으로 변형한다. 그리고, 변형된 얼굴이미지를 제외한 배경 영역을 투명 처리하고, 컬러수를 줄여 얼굴이미지의 데이터크기를 축소시킨다. 이 후, 사용자가 배경애니메이션DB(121)에서 선택한 배경애니메이션에 데이터크기가 축소된 얼굴이미지를 합성하여 사용자 애니메이션 캐릭터를 제작한다.

이상과 같이, 애니메이션 캐릭터 제작부에서 생성된 사용자 애니메이션 캐릭터는 서버상에 저장되거나, 이메일 또는 모바일 서비스로 제공될 수 있게 된다.

상술한 애니메이션 캐릭터가 모바일 서비스로 제공되는 경우, 상기 애니메이션 캐릭터는 SIS 등의 모바일 전송용 데이터포맷으로 변환되어야 하며, 따라서, 상기 사용자 애니메이션 캐릭터를 모바일 서비스에 적용하기 위해서는, 상기 서버는 사용자 애니메이션 캐릭터의 포맷을 모바일 데이터포맷으로 변환하는 데이터포맷변환부를 더 포함하여 구성되어야 한다.

도2는 본원 발명의 3차원 또는 2차원 얼굴형상모델 구조를 나낸다.

도2에 도시된 얼굴형상모델은 다수의 폴리곤이 얼굴형상을 가지도록 결합된 구조의 모델로서, 수동 또는 자동정합과정에 의해, 상기 얼굴형상모델이 정합된 3차원 및/또는 2차원 영상이미지에서 얼굴이미지를 추출할 수 있도록 하며, 얼굴형상모델의 폴리곤을 이루는 꼭지점 중 제어를 위해 지정된 특징점, 또는, 기 지정된 얼굴형상모델의 변화방법에 의하여 추출된 얼굴이미지의 얼굴모양, 눈, 코, 입 등의 크기, 위치 등을 변형시키고, 색을 변화시킬 수 있도록 함으로써, 사용자가 얼굴이미지를 사용자의 취향에 맞게 변형할 수 있도록 한다. 즉, 상술한 얼굴형상모델은 얼굴이미지추출부에서 얼굴이미지를 추출할 수 있도록 하며, 얼굴이미지처리부에서는 추출된 얼굴이미지의 모양변화, 표정변화, 입모양변화, 화장에 의한 색변화 등의 얼굴이미지처리를 수행할 수 있도록 구성된다.

상술한 얼굴형상모델의 구조, 모양변화, 표정변화, 입모양변화, 화장 등을 위한 데이터가 얼굴형상모델DB(123)에 저장된다.

도3은 상술한 얼굴형상모델을 이용하여 얼굴이미지의 추출 및 얼굴이미지의 변형을 위한 사용자 인터페이스의 일 예를 나타낸다.

도 3을 참조하면, 화면상의 왼쪽 프레임에는 대상인물의 정면상에 얼굴형상모델과 영상이미지가 겹쳐지도록 표시된다. 또한, 화면상의 우상단에 좌측 화면 영역의 백점(??)과 대응을 이루는 얼굴부위를 흑점(??)으로 표시하는 프레임이 구성되어, 특징점의 정위치를 확인할 수 있도록 구성된다. 화면의 우하단에는 왼쪽 프레임에서 선택한 영역을 확대하여 표시하도록 구성된다.

상술한 구성에서, 사용자는 화면 우상단의 프레임내에 표시되는 흑점을 참조하여 좌측의 프레임내에 보여지는 백점을 이동하여 얼굴형상모델을 대략적으로 얼굴이미지와 겹쳐지도록 조정한다. 이러한 과정을 반복하여 얼굴형상모델과 얼굴영역의 외곽선을 결합시킨 후, 우하단의 프레임내에 보여지는 확대화면을 이용하여 얼굴영역내의 세부 구조에 대한 정합을 수행함으로서 얼굴형상모델을 영상이미지의 얼굴영역에 정합할 수 있게 한다.

그리고, 도면에는 도시되어 있지 않으나, 상술한 사용자 인터페이스는, 얼굴형상모델과 정합된 얼굴영역을 얼굴이미지로 추출하는 얼굴이미지추출버튼, 추출된 얼굴이미지에 대한 보정방법선택버튼, 모양변화제어를 위한 모양변화, 표정변화, 입모양변화, 색변화 등을 위한 변형인터페이스, 애니메이션합성인터페이스 등 사용자 애니메이션 캐릭터 제작을 위한 다양한 제어수단이 구비될 수 있다.

상술한 얼굴이미지추출부(111)는 얼굴영상이미지에 수동(사용자에 의해) 또는 자동(얼굴이미지추출부 자체에 의해) 과정에 의해서, 얼굴형상모델을 정합한 후 얼굴이미지를 추출한다.

도4는 상술한 사용자 인터페이스에 의한 수동정합과정을 나타내는 도면이다.

얼굴형상모델의 수동 정합과정은, 도2의 얼굴형상모델을 사용자 영상이미지의 얼굴에 덮어 쒸운 후에 특징점이 기 지정된 얼굴의 기준점과 일치하도록 조정하는 어파인 변환(Affine Transform)을 수행한 후, 다시 특징점들을 이용하여 얼굴의 윤곽을 일치시킨다. 이 후, 눈, 코, 입 등이 얼굴의 상세 부분에 대한 미세 조정을수행하게 되면, 얼굴형상모델이 사용자 영상이미지 중 얼굴영역에 정합되게 된다.

이러한 얼굴형상모데의 수동정합과정이 도4에 도시되어 있다. 도4의 정합과정에서 a그림은 특징점(??)이 일치하도록 3차원 어파인 변환(Affine Transform)을 수행한 후를 나타낸다. a그림의 어파인 변환에서는 눈 안쪽의 특징점 2개의 중점을 이용하고 있기 때문에, 실제로는 4점을 어파인 변환을 위한 기준점으로 이용하고 있는 셈이다. 어파인 변환에서 사용되는 4개의 얼굴형상의 특징점 깊이는 얼굴이미지로부터 얻을 수 없기 때문에, 얼굴형상을 나타내는 수식에 의하여 자동으로 조절되도록 한다. 그리고, b그림은 어파인 변환 후에 얼굴형상 모델 중 외곽선에 위치되는 특징점들을 이용하여 얼굴형상모델을 조정하여 얼굴의 윤곽을 정합한 것을 나타낸다. c그림은 미세 조정과정으로서, 눈썹을, d그림은 눈을, e그림은 코를, f그림은 입술을, f그림은 귀를 미세 조정에 의해 정합한 것을 나타낸다. 이러한 과정이 끝나면 얼굴형상모델이 사용자의 영상이미지 중 얼굴영역에 정합되게 된다.

상술한 방법 이외에, 얼굴의 색 정보를 이용하여 얼굴 후보 영역을 선택하고, 귀의 위치, 목의 위치 등을 이용하여 윤곽을 설정함으로써 얼굴 영역을 설정한 후, 외곽선을 얼굴형상모델의 외곽선과 정합하고, 얼굴영역 내에서는 눈, 코, 입 등의 후보영역을 산출한 후, 각각의 위치를 지정하고, 지정된 각각의 위치값을 이용하여 얼굴형상모델을 미세 조정함으로써, 얼굴형상모델이 영상이미지의 얼굴영역에 자동으로 정합되도록 할 수도 있다.

상술한 바와 같이, 수동 또는 자동정합 과정에 의해 사용자 영상이미지의 얼굴영역에 얼굴형상모델이 정합된 후, 정합된 얼굴형상모델의 외형을 따라 얼굴을 추출하면 얼굴이미지가 추출되게 된다.

상술한 자동 및 수동에 의한 얼굴형상모델의 정합방법은 본원 발명의 출원인에 의한 공개특허공보 특2002-14844호에 상세 기재되어 있으므로 그 상세한 설명은 생략한다.

상술한 처리과정에 의해 추출된 얼굴이미지는 얼굴이미지처리부에 의해서 보정, 모양변화, 표정변화, 입모양변화, 색변화 등이 수행되며, 이 과정에서도 얼굴형상모델이 사용된다.

이하에서 상기 얼굴형상모델에 의한 얼굴이미지처리부의 얼굴이미지처리의 일 예를 설명한다.

보정

보정은 선택적인 단계로서, 얼굴이미지의 형상변화 등의 영상처리작업을 수행하기 위한 기초 과정이 된다. 즉, 이후의 작업을 용이하게 할 수 있도록, 추출된 얼굴이미지에 대한 정규화, 블러링(blurring), 샤프닝(sharpening) , 감마컬렉션(gamma collection) 등의 보정이 순차적으로 또는 선택적으로 수행된다.

모양변화

먼저, 모양변화의 일 예를 설명한다.

상술한 모양변화는, 얼굴형상모델의 폴리곤을 이루는 꼭지점 중 특정 꼭지점이 선택되어 지정된 특징점 또는, 기 지정된 얼굴형상모델의 모양변화방법에 의하여 얼굴이미지의 얼굴모양, 눈, 코, 입 등의 크기, 위치 등을 변형시킴으로써 얼굴이미지를 사용자의 취향에 맞게 변형하는 것이다.

이러한 모양변화방법의 일 예로는, 얼굴영역을 계층적으로 변화시키는 방법이 있다. 이를 위하여, 상기 얼굴형상모델은 얼굴전체, 상안, 중안, 하안, 각각의 영역에 구성되는 얼굴의 구성부위 및 폴리곤들의 꼭지점들로 이루어지며, 일정한 특징에 따라 계층적 구조로 분류되는 성형객체들 및 각각의 성형객체들에 의한 변화방법으로서의 성형종류를 가지며, 상기 성형객체, 성형객체의 계층구조정보 및 성형객체들의 성형종류에 대한 데이터들이 얼굴형상모델DB(123)에 저장된다.

상술한 얼굴형상모델의 모양변화를 위한 성형객체들의 계층구조가 도5에 도시되어 있으며, 상기 계층구조에 따라 얼굴이미지 변화를 위하여 성형객체들이 선택된 얼굴형상모델의 예가 도6에, 그리고, 상술한 특징점의 예가 도7 도시되어 있다. 그리고, 도8은 성형객체들의 제어를 위해 성형객체 정보를 저장하는 성형객체정보 테이블이 도시되어 있다.

도5에 도시된 바와 같이, 모양변화를 위하여 얼굴형상모델에 정의되는 성형객체들은, 얼굴전체가 영역이되는 얼굴성형객체(300), 얼굴의 두정부에서 미간까지의 영역을 성형객체로 하는 상안성형객체(310), 미간에서 코밑까지의 영역을 성형객체로 하는 중안성형객체(311), 코밑에서 턱끝까지의 영역을 성형객체로 하는 하안성형객체(312), 얼굴의 턱의 영역을 성형객체로 하는 턱성형객체(320), 턱 중 아래, 위의 영역을 각각의 성형객체로 하는 아래턱성형객체(320)와 좌우 윗턱성형객체(321), 광대뼈의 좌우 광대뼈를 영역으로 하는 좌우 광대뼈성형객체(322), 좌우의 눈, 눈썹 및 입술과 코가 각각 성형객체로 되는 눈성형객체(323)와 눈썹성형객체(324), 입술성형객체(325), 코성형객체(330), 상기 입술 중, 이 경우, 상하좌우로 분리되는 입술(325)은 상하로 분리하여 다시 좌우로 나누어진 영역을 성형객체로 하며, 얼굴영역모델을 구성하는 폴리곤의 꼭지점 하나 하나를 점성형객체로 하여 총 19개가 얼굴형상모델의 영역에 할당되게 된다.

그리고 상술한 성형객체들은 총 5개의 계층으로 분류되는데, 제1계층(200)은 얼굴성형객체를 가진다. 제2계층(210)은 상안성형객체, 중안성형객체, 하안성형객체를 가진다. 제3계층(220)은 턱을 윗턱과 아래턱, 좌우턱 영역으로 분할하고, 광대뼈를 좌 우 광대뼈 영역으로 분할하여, 분할된 각각의 턱과 광대뼈의 영역을 성형객체로 하는 좌우 윗턱성형객체, 아래턱성형객체 및 좌우 광대뼈성형객체를 가진다. 제4계층(230)은 눈의 좌우영역, 눈썹의 좌우영역, 코, 및 입술을 상하좌우로 나눈 각각의 영역이 각각의 이름을 가지고 지정되는 성형객체를 가진다. 제5계층(240)은 얼굴형상모델의 폴리곤을 이루는 꼭지점들이 성형객체로 되는 점성형객체를 가진다.

도6은 상술한 성형객체들이 얼굴형상모델 상에서 정의되는 영역을 나타내는 도면이다.

도7은 상기 성형객체들을 변형시킬 수 있도록 하는 특징점들의 실시예를 나타내는 도면이다.

상기 특징점은 성형객체에 포함된 정점(꼭지점)들의 이동에 필요한 변위값을 적용하기 위하여, 객체별로 설정되는 것이 바람직하다. 또한, 특징점의 설정시, 성형객체에 따른 변화방법별로 필요한 최소한의 특징점만을 설정하는 것이 바람직하다. 일 예로 코(330)의 경우를 들어 설명한다. 도6에 도시된 바와 같이 코(330)의 변화는 크기변화, 위치이동, 코끝의 각도 변화를 생각할 수 있다. 코(330)의 길이와 넓이를 변화시키는 크기변화를 위해서는 콧날개의 양쪽에 2개의 특징점을, 위치이동과 코끝의 각도변화를 위해서는 코끝과 코밑에 각각 1개의 특징점을 설정한다. 이 들 4개의 특징점으로 코(330)의 모든 변화가 가능하게 된다.

도8은 상술한 성형객체정보테이블의 구조를 나타낸다.

상기 성형객체정보테이블은 성형객체에 속하는 꼭지점의 번호 및 성형객체명 등의 정보를 일정방식에 의하여 분류 저장하는 것으로서, 도8에 도시된 바와 같이 성형객체테이블, 성형객체의 꼭지점테이블, 꼭지점의 좌표테이블, 성형객체변형정보테이블 및 특징점테이블을 가지도록 정의된다.

구체적으로, 성형객체 테이블은 성형객체에 번호를 부여하고, 성형객체명을 나열한 것이다. 성형객체의 꼭지점 테이블은 얼굴영역모델의 얼굴표면을 근사하기 위해 연결하는 다각형을 성형객체별로 그룹핑하여, 각 다각형의 꼭지점 번호를 나열하고 있다. 꼭지점의 좌표 테이블은 성형객체의 꼭지점 위치를 3차원 벡터로 나타낸다. 성형객체변형정보테이블은 선택된 성형객체, 성형종류, 변위값을 나타낸다. 성형객체를 일정한 방식으로 변화시키는 성형종류는 위치변화방법, 각도변화방법, 크기변화방법 중 적어도 하나 이상의 방법을 가지며, 변위값은 X, Y, Z 축에 대해서 독립적으로 부여될 수 있다. 특징점 테이블은 성형객체별로 특징점의 꼭지점 번호를 나열한다.

상술한 성형객체정보테이블은 얼굴이미지의 변형을 위한 얼굴형상모델의 변화에 대한 제어를 용이하게 하고, 얼굴이미지의 변형을 위한 시스템의 처리속도를 향상시킬 수 있게 한다.

상술한 도5 내지 도8에서와 같이 구성되는 계층적 구조로 분류되는 성형객체를 가지는 얼굴형상모델은 얼굴 영역 중 넓은 부위에서 점차로 좁은 부위로, 큰 영역에서 작은 영역으로, 얼굴의 상부에서 하부로 또는 중앙에서 외부로 등의 크기순, 위치순, 그리고 눈, 코, 입 등에 따라 계층적으로 성형객체를 선택하고, 성형객체마다 각각 위치변화, 크기변화, 각도변화 등의 성형종류를 선택하여 얼굴이미지를 변화시킬 수 있도록 한다. 상술한 성형종류로서의 위치변화방법은 평행이동 등의 위치이동방법을 말하며, 크기변화방법에는 포물선변화, 사다리꼴변화, 세로, 가로, 등의 점진적 변화 등이 있고, 각도변화에는 점, 선, 평면을 중심으로 하는 회전이동 변화, 변형영역의 증가에 따라 서로 다른 기울기를 가지도록 하는 점진적각도변화 등이 있다.

상술한 계층적 구조를 가지는 얼굴형상모델을 이용한 각각의 변형방법들 즉, 위치변화, 크기변화, 각도변화 방법들은 본원 출원인에 의하여 출원된 출원번호 특허2003-33913호의 "계층적 가상 성형시뮬레이션 방법"에 상세히 기재되어 있는 것으로서 그 상세한 설명은 생략하였다.

표정변화

이하, 표정변화를 설명한다.

상술한 표정변화는 생성된 애니메이션 캐릭터의 얼굴이미지의 표정이 변화되도록 얼굴이미지처리부에서 얼굴이미지를 변화시키는 것이다.

이러한 표정변화방법은 상술한 얼굴형상모델에 MPEG-4 표준화안의 FAP(Fatial Animation Prameter)를 이용하여 얼굴형상모델을 표정별로 변화시킬 수 있도록 하는 68개의 액션유니트를 설정함으로써, 액션유니트의 지정만으로 얼굴형상모델이 변화되어 얼굴표정을 변화시키는 방법일 수 있다. 즉, 사용자는 사용자 인터페이스 등에서 각각의 액션유니트(Action Unit: AU)를 지정함으로써, 얼굴이미지의 표정을 용이하게 변형시킬 수 있게 된다.

도9는 상술한 FAP를 이용하여 지정된 표정변화에 따른 액션유니트의 일람을 나타내며, 도10은 표정변화를 위한 액션유니트에 따라 표정이 변형된 얼굴이미지의 예를 나타낸다.

상술한 표정변화는, 서로 다른 얼굴표정을 가지는 얼굴이미지를 순차적으로 생성하여 배경애니메이션에 각 프레임별로 순차적으로 합성함으로서, 사용자의 애니메이션 캐릭터의 얼굴 표정이 순차적으로 변화되도록 할 수 있게 한다. 상술한 표정변화는 또한, 상술한 모양변화에 의해서도 수행될 수 있으나, FAP를 이용한 액션유니트를 적용하는 것이 얼굴의 골격구조와 근육의 움직임을 반영했을 뿐 아니라, 상세 조정 과정 없이 한번에 표정변화가 수행될 수 있기 때문에, 표정변화만을 위한 경우 자연스러운 표정변화가 가능하고, 작업속도 또한 빨라 질 수 있게 하는 장점을 가진다.

입모양변화

이하, 입모양변화에 대하여 설명한다.

상술한 입모양변화는, 출력되는 음성 또는 문장에 따라 사용자 애니메이션 캐릭터의 입모양이 변화될 수 있도록 얼굴이미지를 변화시키는 것이다.

이러한 입모양변화는 얼굴형상모델에 MPEG-4 표준화안의 FAP(Fatial Animation Prameter)를 이용하여 얼굴형상모델을 말소리의 입모양별로 변화시킬 수 있도록 하는 액션유니트를 설정함으로써, 사용자는 소리별로 정의되는 액션유니트를 지정하는 것 만으로 소리 또는 문장에 대응되는 입모양을 가지는 얼굴이미지를 생성할 수 있게 된다. 즉, 사용자는 애니메이션 캐릭터에 문장이나 음성이 출력되도록 하고자 하는 경우, 각각의 입모양에 지정된 액션유니트(Action Unit: AU)에 의하여, 얼굴이미지의 입모양을 문장 또는 음성에 따라 변화됨으로써 애니메이션캐릭터가 말하는 것과 같은 애니메이션 캐릭터를 생성할 수 있게 된다.

도11은 상술한 FAP를 이용하여 지정된 모음 또는 자음에 따라 지정된 입모양 액션유니트의 일람을 나타내며, 도12는 도11의 액션유니트에 따라 소리 또는 글자에 따라 입모양이 변형된 얼굴이미지의 예를 나타낸다.

상술한 입모양은, 출력되는 음성 또는 문장에 따라 서로 다른 입모양을 가지는 얼굴이미지를 순차적으로 생성하여, 배경애니메이션에 각 프레임별로 순차적으로 합성됨으로써, 사용자의 애니메이션 캐릭터의 입모양이 출력음성 또는 문장에 따라 순차적으로 변화되도록 할 수 있게 한다. 상술한 입모양변화 또한, 상술한 모양변화에 의해서도 수행될 수 있으나, FAP를 이용한 액션유니트를 적용하는 것이 정확한 입의 모양변화가 가능하고, 입모양 변화를 위하여 단지 액션유니트를 지정하면 되므로 작업속도 또한 빨라 질 수 있게 된다.

색변화(화장)

이하, 얼굴이미지의 색변화(화장)을 설명한다.

얼굴이미지의 색변화(화장)을 위해서는 먼저, 변화될 색정보를 가지는 색상데이터베이스와, 얼굴형상모델에 대응되는 색변화영역 즉, 볼, 눈 주위, 턱, 이마 등을 지정하는 패턴유니트 및, 패턴유니트내에 채워질 색깔, 각 색깔의 농도, 휘도 등의 색변화 정보를 가지는 색변화패턴유니트를 가지는 색변화패턴을 구비한다.

이 후, 패턴유니트, 색변화패턴유니트를 지정함으로써, 얼굴형상모델이 정합된 얼굴이미지의 눈 주위, 눈섭, 볼, 입술 등의 영역에 색을 입힘으로써 화장된 얼굴이미지를 얻을 수 있도록 하는 것이다.

상술한 바와 같이, 얼굴이미지처리부에서 얼굴형상모델에 의하여 변화된 얼굴이미지는 애니메이션합성부(113)에 의하여 배경애니메이션과 합성될 수 있도록 텍스쳐매핑 처리된다. 상술한 텍스쳐매핑은 본원 발명의 출원인에 의한 고속 텍스쳐매핑 방법(출원번호 10-1998-0056142, 공개번호 특2000-0040483)이나, OpenGL 등의 방법으로 사용자 얼굴의 텍스쳐를 생성하여 최종적으로 변형된 얼굴이미지를 생성하는 것을 말한다.

상술한 텍스쳐매핑은 어떤 형상의 텍스쳐를 다른 또 하나의 형상에 매핑하는 기술로서, 본원 발명에서는 삼각형에 대한 선형매핑을 이용하는 것으로 하였다. 얼굴형상모델은 다각형으로 이루어져 있으나, 궁극적으로는 삼각형으로 나우어 텍스쳐매핑이 이루어지기 때문이다. 텍스쳐매핑을 사용한 얼굴부위의 수정에서 필요한 3차원 텍스쳐매핑은 화소의 대응 위치의 산출, z-버퍼링, 및 휘도치 보간 과정으로 이루어진다.

또한, 표정변화, 입모양변화 등의 경우에는 각각의 표정에 따라 여러화면의 텍스쳐가 생성되어야 하므로, 각각의 표정마다 텍스쳐매핑이 수행되어야 한다.

상술한 바와 같이, 얼굴이미지처리부(112)에서 생성된 얼굴이미지는 도 1에서 설명된 애니메이션합성부(113)에 의해 얼굴이미지 이외의 영역이 투명 처리된다. 도13은 상술한 애니메이션합성부(113)에 의하여 얼굴이미지를 투명 처리하기 위하여 8 Bit Bitmap에서 투명 처리가 된 이미지 파일의 데이터포맷 구조가 도시되어 있다. 상기 투명처리과정에 의하여 변환된 이미지 파일의 데이터 포맷은, 이미지 파일의 데이터 포맷 정보를 가지는 헤더와, 이미지 데이터의 색정보를 가지는 색상표가 저장되어 있는 팔레트와, 이미지의 화소에 각각, 상기 팔레트에 지정된 색값을 대응시키도록 화소별 색 데이터를 가지는 인덱스로 구성되는 기존의 비트맵 이미지의 데이터 포맷에, 상기 3D 얼굴 형상 모델에 의하여 선택된 얼굴 이외의 배경이 투명값을 가지도록 하는 투명팔레트가 추가되어 구성된다. 이러한 처리과정에 의하여, 인덱스 중 얼굴이외의 배경 부분은 상기 투명팔레트의 색 값을 참조하게되고, 참조된 데이터에 의하여 배경이미지가 투명 처리된다.

상술한 바와 같이, 배경이 투명 처리된 얼굴이미지는 배경애니메이션과 합성된다. 그리고, 이 과정에서 표정변화, 입모양변화 등에서와 같이 다수의 변형된 얼굴이미지가 합성되어야 하는 경우에는 배경에니메이션의 대응되는 프레임마다 각각의 변화가 반영된 얼굴이미지를 합성함으로써, 사용자 애니메이션 캐릭터가 생성되게 된다.

이하, 상술한 본원 발명의 시스템에 의한 사용자 애니메이션 캐릭터 서비스 시스템의 처리과정 및, 본원 발명의 방법의 단계별 상세 처리과정을 설명한다.

도14는 GIF형태의 사용자 애니메이션 캐릭터 제작방법의 전체 처리과정을 나타내는 순서도이다.

본원 발명의 GIF형태의 사용자 애니메이션 캐릭터 제작방법은, 사용자 영상이미지의 얼굴영역에 얼굴형상모델을 정합한 후, 얼굴이미지를 추출하는 단계(S1);와, 추출된 얼굴이미지에 대한 모양, 표정, 입모양, 색 등을 순차적으로 또는 선택적으로 변화시킨 후, 변형된 얼굴이미지를 생성하는 단계(S2); 24 Bit 컬러를 8 Bit 컬러로 변환하고, 얼굴영상의 배경을 투명 처리하는 단계(S3 내지 S4);와, 얼굴영상과 배경애니메이션을 합성하는 단계(S5); 및, GIF 애니메이션 캐릭터를 생성하는 단계(S6);로 이루어진다.

먼저, 상기 S1 단계에서 사용자 선택 영상이미지의 얼굴영역에 얼굴형상모델을 정합하는 단계는, 입력된 사진에서 얼굴영상만을 추출하기 위한 단계이다. 얼굴이미지를 추출하기 위하여 사용자는 미리 준비된 얼굴형상모델을 사용자 선택 영상이미지에 적용하기 위하여 호출한다. 다음으로, 상술한 얼굴이미지처리부(111)에서 설명된 바와 같은 얼굴형상모델 정합과정에 의해서, 얼굴영역에 얼굴형상모델을 정합한다. 얼굴형상모델이 얼굴영역에 정합된 후에는 얼굴형상모델의 외곽선을 기준으로 하여 얼굴이미지를 추출한다.

상술한 사용자 영상이미지는 서버에서 제공하는 얼굴형상모델과 얼굴형상모델DB(123)에 저장된 얼굴형상 및 얼굴 부위별 데이터를 이용하여 가상의 얼굴이미지를 생성할 수 있는데(도면에 미도시), 본원 발명의 또 다른 일 실시예로서, 얼굴이미지를 생성하는 방법은, 서버에 저장되어 제공되는 얼굴형상모델DB(123)에 저장된 얼굴형상 및 얼굴 부위별 데이터 중 사용자 선택 얼굴형상 및 얼굴 부위별 데이터를 얼굴형상모델을 이용하여 합성함으로써, 가상얼굴 이미지를 생성한다.

이후, 상술한 S1 단계에 의해 추출된 얼굴이미지 및/또는, 본원 발명의 또 다른 일 실시예(도면에 미도시)에 따른 얼굴형상모델DB(123)의 얼굴형상 데이터를 이용하여 생성된 가상얼굴이미지에 대한 변형이 수행된다. 상술한 얼굴이미지에 대한 변형은, 상술한 얼굴이미지처리부(112)에서와 같이, 모양변화, 표정변화, 입모양변화, 색변화를 수행하는 것이다. 이 후, 변형이 완료되었으면 텍스쳐매핑 처리를 수행하여 변형된 얼굴이미지를 생성함으로써, 얼굴이미지의 변형단계가 종료된다.

상술한 S2 단계에서 생성된 얼굴이미지는 이미지의 데이터크기를 줄이기 위한 데이터 포맷 변환처리가 적용된다(S3). 상기 S3 단계의 데이터 포맷 변환처리는, 컬러수를 줄여 이미지 데이터의 bit 수를 줄이는 처리과정으로서, 웹 및/또는 왑 상에서 이미지 파일의 전송이 용이하게 하도록 하기 위한 것이다. 일반적으로 컬러수를 낮추는 방법은 Median-cut Color Quantization을 많이 사용하나, 이 방법은 변환 시에 메모리를 많이 사용하고 변환 속도가 느리기 때문에, 웹과 모바일 환경에서 부적절하다. 따라서, 본 발명에서는 Gervautz-Purgathofer Octree Color Quantization Algorithm을 사용하였으며, 상기 알고리듬은 Bit 수를 줄이기 위하여 M > N, N <= 255인 조건하에서 M개의 컬러를 Optimal N개의 컬러로 변환함으로써, 컬러이미지를 트루 칼라인 24 Bit 컬러에서 8 Bit 컬러로 이미지의 컬러데이터를 변환한다.

다음으로, 상기 S3 단계의 처리과정에 의하여 컬러가 낮추어진 이미지파일에서, 추출한 얼굴 이외의 부분은 투명 처리된다(S4). 투명처리의 이유는, 얼굴 부분만 배경애니메이션의 신체 그림과 합성이 되며, 합성에 이용되지 않는 부분은 투명하게 처리하는 것이 전송 및 이미지 합성의 처리과정에 유리하기 때문이다.

도 13은 입력한 영상을 투명 처리하기 위하여 8 Bit Bitmap에서 투명 처리가 된 이미지 파일의 데이터포맷 구조가 도시되어 있다.

상기 S4 단계에 의하여 컬러데이터 크기가 축소되고, 배경이 투명하게 되도록 변환된 얼굴이미지는, 상기 서버시스템에서 제공하는 배경애니메이션 내의 신체그림과 합성(S5)되어 움직이는 GIF 등의 애니메이션 캐릭터로 생성된다(S6).

상기 얼굴이미지를 배경애니메이션에 합성하는 방법은, 상기 S2 단계에서 지정된 얼굴이미지의 기준 좌표 값을 사용자가 선택한 배경애니메이션의 각각의 이미지 파일에, 기 지정된 좌표 값과 대응되도록 위치시킴으로써 합성된다. 이 과정에서 기준 값을 이용하여 얼굴이미지를 다수의 배경애니메이션의 기 지정된 좌표 값에 위치시키는 처리과정은 시스템 내에서 자동으로 처리된다.

본원 발명의 실시 예에서, 얼굴이미지의 기준 좌표 값은 3차원 또는, 2차원 얼굴형상모델을 사용하여 얼굴이미지를 추출하는 과정 또는 얼굴이미지처리부에서 변형된 얼굴이미지의 텍스쳐매핑 과정에서 얼굴형상모델 부분 중 코, 턱, 눈 등에 지정된 특징점의 좌표 값을 기준 값으로 설정함은 상술한 바와 같다.

본원 발명의 실시예에서 상술한 처리 과정에 의하여 생성되는 애니메이션 캐릭터는 움직이는 GIF로 생성되며(S6), 이하 GIF 애니메이션 캐릭터 생성 처리과정을 설명한다. 애니메이션 캐릭터를 제작하기 위하여, 스토리를 가진 연속 된 BMP형태의 신체그림(배경애니메이션)에 얼굴을 각각 합성한다. 좀더 상세히 설명을 하면, 한 장의 BMP 파일 형식으로 된 몇 개의 이미지들을 GIF 애니메이션으로 만드는 방법은 먼저, 하나의 스토리를 구성하는 영상들을 얼굴과 결합 후, 각각의 Bitmap 파일들을 GIF87a 형식으로 변형을 시키고, 이렇게 변형이 된 영상들을 한 장의 애니메이션 캐릭터로 제작하기 위해서 GIF89a로 변형을 시켜주면 애니메이션파일이 생성되게 되는 것이다. 여기서 GIF87a 와 GIF89a는 비트맵 이미지 파일 형식으로서, GIF89a는 애니메이션의 기능을 가지고 있는 파일 형식이다.

도15는 상술한 본원 발명에 의해 생성된 사용자 애니메이션 캐릭터를 유무선 통신망을 통해 사용자 단말기로 제공하여 배경화면 등으로 사용할 수 있도록 하는 유무선 통합 애니메이션 캐릭터 제공 서비스 방법의 처리과정을 나타내는 순서도이다.

도15에 도시된 바와 같이 본원 발명에 따르는 유무선 통합 애니메이션 캐릭터 제공 서비스 방법은, 사용자가 유무선 통신망을 통해 사용자 단말기의 웹브라우저를 이용하여 웹 및/또는 왑 서버에 서비스를 제공받기 위하여 접속한다(S100). 상기 웹 및/또는 왑서버는 접속된 사용자 단말기의 웹브라우저로 인터페이스 페이지를 전송하여 출력하도록 한다(S101). 다음으로 사용자는 사용자 영상이미지가 있는 지를 판단(S102)하여 사용자의 영상이미지가 없는 경우에는 본원 발명의 시스템에 구성된 데이터베이스에서 제공하는 캐릭터 이미지를 선택한다(S103). 상기 S102 단계의 판단 결과 사용자 영상이미지가 있으면, 사용자 영상이미지를 인터페이스페이지를 이용하여 사용자 단말기에서 선택하게 되고, 선택된 영상이미지는 웹 또는 왑 브라우저를 통해 웹 및/또는 왑 서버로 전송(S104)된다. 다음으로, 서버로 사용자 영상 이미지가 전송된 후, 상기 인터페이스 페이지에서 제공되는 3차원 얼굴 형상 모델을 이용하여 얼굴의 위치 값을 파라미터 값으로 추출하고, 추출된 파라미터 값을 서버로 전송하면, 서버에 구성된 얼굴이미지추출부(111)가 사용자 단말기로부터 전송된 얼굴형상모델의 파라미터 값을 이용하거나 또는 자동으로 얼굴이미지를 추출하고(S05), 추출된 얼굴이미지는 얼굴이미지처리부(112)에 의해 변형된다(S106). 다음으로, 얼굴이미지처리부(112)에 의해 변형된 얼굴이미지는 애니메이션합성부(113)에 의하여 컬러수의 축소, 배경의 투명처리에 의해 데이터크기가 작아진다. 데이터가 작아진, 상기 얼굴이미지는 이후, 사용자가 선택한 배경애니메이션과 합성되어짐으로써 사용자 애니메이션 캐릭터로 생성된다(S107).

상기 S107 단계에서 생성된 애니메이션 캐릭터는 유선 또는 무선 통신망에 따라 다른 처리과정을 수행하는데(S108), 먼저, 유선 통신망을 통해 전송되는 경우에는 이메일을 통해 또는, 사용자가 상기 웹서버에 접속하여 유선통신망을 통해 다운받음으로써 사용자에게 전송된다(S109).

이와는 달리 무선 통신망을 이용하는 모바일 환경에서 사용자가 PDA, 휴대폰 등을 이용하여 전송 받는 경우, 상기 애니메이션 캐릭터는 모바일 통신망에서 다운로드될 수 있는 데이터 포맷으로 변환된(S110) 후, 사용자는 PDA, 휴대폰 등의 모바일(mobile)용 단말기를 통해 본원 발명의 왑 서버에 접속하여 애니메이션캐릭터를 다운 받게된다(S111).

상술한 모바일 전송용 데이터 포맷으로의 변환은 우리나라의 각 무선통신 서비스 제공사 마다 전송 가능한 파일의 형식이 틀림으로 그 통신사에 맞추어 형식을 변환해야 하기 때문이다. 본원 발명에서는 SK 텔레콤 주식회사의 형식에 맞춘 형태로서 SIS 파일 형식을 사용한다. 그러나 SK텔레콤을 제외한 다른 통신사에 적용을 시키는 결과 애니메이션 영상의 크기만 변형시키면 다른 통신사에도 사용 가능한 형태로 변형이 된다.

상술한 모바일 전송용 데이터 포맷(무선통신망 전송용 데이터 포맷)은 SIS 파일 형식에 의하여 한정됨이 없이 다양하게 변경, 수정, 치환 실시될 수 있음은 자명하다.

도15에서는 상술한 바와 같이, 얼굴이미지의 추출 및 애니메이션의 합성 처리과정이 서버에서 수행되도록 하였으나, 상술한 얼굴이미지 추출 및 애니메이션 합성 처리과정을 수행하는 클라이언트 프로그램을 사용자 단말기에 설치하도록 함으로써, 얼굴이미지의 추출 및 애니메이션 합성의 처리과정이 사용자 단말기 상에서 이루어지도록 하고, 웹 및/또는 왑 서버에 등록하거나, 사용자 단말기 상에 직접 저장할 수 있도록 구현될 수 있다.

본원 발명의 시스템의 또 다른 동작 과정 및 또 다른 서비스 방법의 처리 과정이 도16에 도시된다.

도16에 도시된 바와 같이, 상술한 사용자 단말기 상에서 클라이언트 프로그램에 의하여 제공되는 본원 발명의 또 다른 서비스 방법은,

통신망을 통해 서비스 제공 서버에 접속하여(S200), 상기 서버에서 제공하는 인터페이스 페이지를 출력한다(S201). 이후, 사용자 단말기에 클라이언트 프로그램이 설치되어 있지 않은 경우, 출력된 인터페이스 페이지를 통해 클라이언트 프로그램을 다운받아 설치한다(S202,S203). 클라이언트 프로그램이 기 설치되어 있거나, 설치가 완료되면, 웹브라우저 또는 사용자 제어 명령에 의하여 클라이언트 프로그램이 사용자 단말기 상에서 구동되어 사용자가 애니메이션 캐릭터를 제작할 수 있는 준비 과정을 완료한다(S204). 클라언트 프로그램이 구동되면, 사용자 영상이미지를 이용하여 애니메이션 캐릭터를 제작할 지, 또는, 상기 서버에서 제공하는 캐릭터DB(122)의 이미지, 또는, 얼굴형상모델DB(123)의 데이터를 이용하여 합성된 가상의 얼굴이미지를 이용할 것인지를 판단한다(S205). 판단결과, 서버 제공 영상이미지를 이용하는 경우, 캐릭터DB(112)에 기 저장된 사용자 애니메이션 캐릭터를 선택하거나, 또는, 얼굴형상모델과 얼굴형상모델DB(113)에 저장된 얼굴형상모델의 구조, 변형방법 등의 데이터를 이용하여 가상의 얼굴이미지를 생성한 후, 사용자 단말기로 다운받는다(S206). 사용자 영상이미지를 사용하는 경우에는 사용자 단말기의 저장부에 저장된 영상이미지 또는, 카메라, 데이터 입력장치 등의 입력장치에 의하여 입력된 사용자 영상이미지를 선택하여 호출한다(S207). 영상이미지가 생성, 또는 호출되면, 사용자 인터페이스 페이지에서 제공되는 3차원 또는 2차원 얼굴형상모델을 영상이미지의 얼굴부분에 적용하여 얼굴이미지를 추출하는 얼굴이미지 추출단계를 수행한다(S208).

다음으로 추출된 얼굴이미지에 대한 변형과정을 수행한다(S209). 이후, 사용자는 서버에서 제공하는 배경애니메이션을 선택하면, 배경애니메이션이 사용자 단말기로 다운되고, 사용자 단말기 상의 클라이언트 프로그램에 의하여 얼굴이미지가 배경애니메이션에 합성됨으로서, 애니메이션파일 즉, 사용자 애니메이션 캐릭터가 생성된다(S210).

상술한 클라이언트 프로그램은, 상기 도1에 도시된 서버의 애니메이션캐릭터생성부(110)와 동일하게 얼굴이미지추출부, 얼굴이미지처리부, 애니메이션합성부 및, 도3에 도시된 것과 같은 사용자 인터페이스로 구성되어 사용자 단말기 상에서 구동되는 소프트웨어이다.

상기 S210 단계에서 생성된 사용자 애니메이션 캐릭터는 사용자 단말기에 저장되거나, 서버로 전송되어 등록된다(S211). 이후, 사용자가 유무선 통신망을 통해 서버에 접속하여 사용자 생성 애니메이션 캐릭터를 다운 받아 자신의 컴퓨터, 휴대용 단말기의 배경화면 등으로 사용할 수 있는데, 상술한 다운 과정은 유선과 무선통신망에 따라 각각 다른 처리과정을 수행하므로, 다운을 위한 전송과정이 유선통신망을 통해 이루어지는지 또는, 무선 통신망을 통해 이루어지는 지를 판단한다(S212). 판단 결과 유선 통신망인 경우에는 별도의 처리과정 없이, 이메일 또는 네트워크 상에서 메일서버, 웹서버, 또는, 파일서버 등의 애니메이션 캐릭터가 저장된 서버로부터 직접 애니메이션을 전송 받게된다(S213). 이와는 달리, 무선통신망 즉 모바일(mobile) 환경에서 사용자가 PDA, 휴대폰 등의 무선 단말기를 이용하여 다운 받을 수 있도록 전송이 이루어지는 경우, 애니메이션 캐릭터를 모바일전송용 데이터 포맷으로 변환한다(S214). 모바일 전송용 데이터 포맷으로 변환된 애니메이션 캐릭터는 모바일 통신 서비스 제공자 서버를 통해, 상기 사용자 단말기로 전송됨으로서, 사용자는 자신의 얼굴이미지가 삽입된 독특한 배경화면을 가질 수 있게 된다(S215).

상술한 모바일 전송용 데이터 포맷의 일 실시 예로는, 도15에서 설명된 바와 같이 SK 텔레콤에서 사용하는 SIS 포맷일 수 있으며, 이에 한정되지 않고 다양하게 변형 실시될 수 있다.

이상에서 본원 발명의 바람직한 일 실시 예를 참조하여 본원 발명을 설명하였으나, 본 발명은 첨부된 도면과 명세서의 상세한 설명에 기재된 내용에 의하여 한정되지 않으며, 또한, 해당 기술분야의 당업자에 의하여, 본원 발명의 특허청구범위의 기술적 사상의 범위 내에서 본원 발명이 다양하게 변경, 치환, 수정되어 실시될 수 있음은 자명하다.

본원 발명은 사용자가 직접 자신의 얼굴이미지를 변형하여 자신의 취향에 맞는 애니메이션 캐릭터를 제작하고 배포할 수 있도록 한다. 즉, 사용자는 인터넷 사업자에 의해 제공되는 애니메이션 캐릭터의 종류에 한정됨이 없이, 자신의 창의성에 따라 다양한 캐릭터를 제작하고 배포할 수 있게 된다.

또한, 인터넷 사업자 측에서는 캐릭터의 개발 및 제작에 따른 막대한 비용의지출 없이도, 지속적으로 사용자들의 흥미를 유발시킬 수 있게 하는 효과를 가진다.

Claims

(A)사용자의 영상이미지 중 얼굴영역에 얼굴형상모델을 정합하여 얼굴이미지를 추출하는 단계;

(B)상기 얼굴형상모델을 변형한 후, 텍스쳐매핑에 의하여 변형된 얼굴이미지를 생성하는 단계;

(C)상기 변형된 얼굴이미지를 배경애니메이션과 합성하는 단계;로 이루어지는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작방법.
제1항에 있어서, 상기 제B단계는,

상기 텍스쳐매핑에 의해 변형된 얼굴이미지의 턱, 눈, 코, 입에 지정된 특징점 중 적어도 하나의 특징점의 좌표 값을 상기 얼굴이미지의 기준 좌표 값으로 지정하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작방법.
제1항에 있어서, 상기 C 단계가,

(C-1)상기 변형된 얼굴이미지에서 배경을 없애고 컬러수를 줄여 데이터크기를 작게하는 단계;

(C-2)데이터크기가 작아진 상기 얼굴이미지를 사용자 선택 배경애니메이션과 합성하는 단계;로 이루어지는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작 방법.
제1항에 있어서, 상기 B단계의 상기 얼굴이미지 변형이;

상기 얼굴형상모델이 계층적구조를 가지는 성형객체를 포함하여 구성되어, 상기 성형객체들을 변형함으로써 계층적으로 모양이 변화되는 모양변화인 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작 방법.
제1항에 있어서, 상기 B단계의 상기 얼굴이미지 변형이,

상기 얼굴형상모델이 FAP표준에 의해 지정된 사용자 표정을 위한 액션유니트를 포함하여 구성되어, 상기 액션유니트의 지정에 따라 상기 얼굴형상모델이 변화되어 상기 얼굴이미지의 표정을 변화시키는 표정변화인 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작방법.
제1항에 있어서, 상기 B단계의 상기 얼굴이미지 변형이, 상기 얼굴형상모델이 FAP표준에 의해 지정된 말소리에 따른 입모양 변화를 위한 액션유니트를 포함하여 구성되어, 상기 액션유니트의 지정에 따라 상기 얼굴형상모델이 변화되어 상기 얼굴이미지의 입모양을 변화시키는 것을 특징으로 하는 입모양변화인 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작방법.
제1항에 있어서, 상기 B단계의 상기 얼굴이미지의 변형이, 상기 얼굴이미지의 영역별로 색을 변경하는 색변화인 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작방법.
제3항에 있어서, 상기 C-1단계가,

(C1-1-1)상기 B단계에서 변형된 상기 얼굴이미지의 컬러색상정보가 8비트 색상정보 체계보다 큰 경우, 상기 컬러 색상정보를 8 비트 비트맵 컬러 정보로 변환하여 데이터 크기를 작게하는 단계; 및,

(C1-1-2)데이터크기가 작아진 상기 얼굴이미지 이외의 부분을 비트맵 상에서 투명하게 처리되도록 투명 팔레트 값을, 상기 이미지 파일의 데이터 포맷에 첨가하는 단계;로 이루어져,

상기 애니메이션 캐릭터를 GIF파일 포맷으로 생성하는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작 방법.
제3항에 있어서,상기 C-2 단계가,

(C2-1)상기 제2항의 B단계에서 지정된 변형된 상기 얼굴이미지의 기준 좌표 값이, 상기 배경애니메이션 각각의 지정된 좌표 값과 일치하도록 하여 상기 배경애니메이션과 합성하는 단계; 및,

(C2)상기 얼굴이미지가 합성된 상기 배경애니메이션을 GIF89A 포맷으로 변환하는 단계;로 이루어지는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제작 방법.
제8항에 있어서, 상기 투명 배경을 가지는 얼굴이미지의 데이터 포맷이,

상기 이미지 파일의 포맷을 나타내는 헤더;

상기 이미지 파일의 색상정보를 나타내는 팔레트;

상기 이미지 파일의 배경이미지의 투명값을 가지는 투명팔레트; 및,

상기 이미지의 색을 나타내도록, 상기 팔레트 및 상기 투명팔레트의 색 값에 대응되는 화소값을 가지는 인덱스;를 포함하여 구성되는 GIF 87A 포맷을 가지는 비트맵 이미지인 것을 특징으로 하는 얼굴 이미지를 이용한 애니메이션 캐릭터 제작방법.
통신망을 통해 접속된 사용자 단말기에 의한 캐릭터 생성 서비스, 및, 상기 사용자 요청에 따라 생성된 캐릭터에 대한 배포 서비스를 위한 서버에 있어서, 상기 서버가,

유무선 통신망을 통해 웹 및/또는 왑서비스를 제공하기 위한 인터넷 서비스용 서버엔진;과,

사용자 영상이미지로부터 얼굴이미지를 추출한 후 변형하고, 상기 사용자가 선택한 배경애니메이션에 상기 얼굴이미지를 합성하여 사용자 애니메이션 캐릭터를 제작하는 애니메이션캐릭터생성부;와,

상기 얼굴형상모델을 이용하여 얼굴이미지를 추출할 수 있도록 하며, 상기 얼굴형상모델의 변형에 따라 추출된 상기 얼굴이미지를 변형시킬 수 있도록, 상기 얼굴형상모델의 구조, 변형방법, 변형데이터를 저장하는 얼굴형상모델DB와, 상기 얼굴이미지의 배경으로 합성될 배경애니메이션을 저장하는 배경애니메이션DB 및, 상기 웹 및/또는 왑서비스를 위한 응용프로그램과 사용자 인터페이스 등의 컨텐츠를 저장하는 컨텐츠DB를 포함하는 데이터베이스;를 가지고 구성되어,

온라인 상에서 사용자의 애니메이션 캐릭터 제작 서비스, 상기 사용자에 의해 제작된 상기 사용자 애니메이션 캐릭터 배포 서비스를 제공하는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 애니메이션캐릭터생성부가,

상기 사용자 영상이미지에 상기 얼굴형상모델을 정합하여 얼굴이미지를 추출하는 얼굴이미지추출부;와,

상기 얼굴이미지에 대한 모양변화, 표정변화, 입모양변화, 색변화를 선택적으로 수행한 후, 텍스쳐매핑에 의하여 변형된 얼굴이미지를 생성하는 얼굴이미지처리부;와,

상기 변형된 얼굴이미지를 상기 사용자 선택 배경애니메이션에 합성하는 애니메이션합성부;로 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 얼굴형상모델이,

다수의 폴리곤으로 이루어지는 얼굴형상을 가지며, 얼굴전체, 상안, 중안, 하안, 각각의 영역에 구성되는 얼굴의 구성부위 및 폴리곤들의 꼭지점들로 분류되는 계층적 구조의 성형객체들 및, 상기 각각의 성형객체들에 의한 변화방법으로서의 성형종류를 가지고 구성되어, 상기 성형객체들의 제어에 의하여 상기 얼굴이미지를 변형할 수 있도록 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 얼굴형상모델이,

다수의 폴리곤으로 이루어지는 얼굴형상을 가지며, FAP표준에 의해 표정변화를 수행하도록 지정된 액션유니트에 의해 변화되어, 상기 얼굴이미지의 표정을 변화시킬 수 있도록 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 얼굴형상모델이,

다수의 폴리곤으로 이루어지는 얼굴형상을 가지며, FAP표준에 의해 말소리에 의한 입모양변화를 수행하도록 지정된 액션유니트에 의해 변화되어, 상기 애니메이션 캐릭터와 함께 출력되는 음성 또는 문장에 따라 상기 얼굴이미지의 입모양을 변화시킬 수 있도록 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 얼굴형상모델이,

다수의 폴리곤으로 이루어지는 얼굴형상을 가지며, 기 지정된 패턴 및 각각의 패턴에 따라, 기 지정된 색상에 의하여 상기 얼굴이미지의 각 영역별 색변화를 수행할 수 있도록 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 얼굴형상모델이,

다수의 폴리곤으로 이루어지는 얼굴형상을 가지며, 상기 얼굴이미지에 대한 정규화, 블러링, 샤프닝, 감마콜렉션을 순차적 또는 선택적으로 적용하여, 상기 얼굴이미지에 대한 보정을 수행할 수 있도록 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 데이터베이스가,

사용자가 미리 생성한 사용자 애니메이션 캐릭터를 저장하는 캐릭터DB를 더 포함하여 구성된 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제11항에 있어서, 상기 서버가, 상기 애니메이션 생성부에서 생성된 사용자 애니메이션 캐릭터의 데이터포맷을 모바일 데이터 전송용 데이터포맷으로 변환하는 데이터포맷변환부;를 더 포함하여 구성되는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제12항에 있어서, 상기 얼굴이미지처리부가, 상기 변형된 얼굴이미지의 텍스쳐매핑 과정에서, 상기 얼굴이미지의 눈썹, 눈, 귀, 코, 입, 턱을 지정하는 특징점 중 적어도 하나 이상의 좌표 값을 상기 얼굴이미지의 기준 좌표 값으로 지정하는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.
제12항에 있어서, 상기 애니메이션합성부가,

상기 얼굴이미지처리부에서 텍스쳐매핑에 의해 생성된 상기 변형된 얼굴이미지를,

파일의 포맷을 나타내는 헤더;, 상기 얼굴이미지 파일의 색상정보를 나타내는 팔레트; 상기 얼굴이미지 파일의 배경이미지의 투명값을 가지는 투명팔레트; 및 상기 이미지의 색을 나타내도록 상기 팔레트 및 상기 투명팔레트의 색 값에 대응되는 화소값을 가지는 인덱스;를 포함하여 구성되는 GIF 87A 포맷을 가지는 비트맵 이미지로 변환한 후, 상기 배경애니메이션과 합성하여 GIF89a 포맷으로 변환하는 것을 특징으로 하는 사용자 애니메이션 캐릭터 제공 서비스 시스템.