KR101165017B1

KR101165017B1 - ３차원 아바타 생성 시스템 및 방법

Info

Publication number: KR101165017B1
Application number: KR1020110111765A
Authority: KR
Inventors: 김용경
Original assignee: (주) 어펙트로닉스; 김용국
Priority date: 2011-10-31
Filing date: 2011-10-31
Publication date: 2012-07-13

Abstract

본 발명은 3차원 아바타 생성 시스템 및 방법에 관한 것으로서, 본 발명의 3차원 아바타 생성 방법은, 입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계; 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계; 상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계; 상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 단계; 및 사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계를 포함한다. 이에 의해, 스마트폰 등의 휴대형 단말 상에서 실사 이미지로부터 사용자의 얼굴을 인식하여 모델링하고, 모델링된 얼굴 영상에 대해 사용자가 직접 얼굴의 형태와 세부 구성 및 색상 등을 조절하여 사용자의 얼굴과 유사성이 높은 아바타를 빠르고 용이하게 생성할 수 있다.

Description

３차원 아바타 생성 시스템 및 방법{3D AVATAR CREATING SYSTEM AND METHOD OF CONTROLLING THE SAME}

본 발명은 3차원 아바타 생성 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 스마트폰 등의 휴대형 단말 상에서 실사 이미지로부터 사용자의 얼굴을 인식하여 모델링하고, 모델링된 얼굴 영상에 대해 사용자가 직접 얼굴의 형태와 세부 구성 및 색상 등을 조절하여 아바타를 완성할 수 있도록 함으로써, 사용자의 얼굴과 유사성이 높은 아바타를 빠르고 용이하게 생성할 수 있고 사용자의 만족도를 향상시키고 사용상의 흥미를 유발할 수 있는 3차원 아바타 생성 시스템 및 방법에 관한 것이다.

아바타는 가상 공간인 인터넷이나 이동 통신 환경에 존재하는 또 다른 자아를 나타내는 것으로서, 사람의 형상뿐만 아니라 동물이나 식물 등 표현할 수 있는 모든 형태로의 변형이 가능한 존재이다. 이러한 아바타의 제작 및 이용은 사용자로 하여금 자신의 모습과 유사하며, 자신의 특징을 나타낼 수 있는 표현 도구로서, 사용자의 호기심이나 대리만족, 개인이 요구하는 이상적인 인물 등의 의미를 내포할 수 있다. 그에 따라, 사용자는 개인을 나타내는 아바타의 제작 및 이용에 많은 관심을 가지게 되었다.

일반적으로, 개인의 형상을 나타내기 위한 수단으로서 사진이나 동영상 정보가 있을 수 있지만, 이들 데이터는 방대한 크기로 이루어져 있어서 인터넷이나 이동 통신 단말기에서 전송 및 처리하기가 어렵다. 또한, 사용자가 이미지 데이터 또는 동영상 데이터를 편집 또는 제어할 수 없기 때문에, 다른 사용자에게 쉽게 호감을 줄 수 없고, 사용자의 개성을 제대로 나타낼 수 없다. 따라서, 개인의 개성을 잘 나타낼 수 있는 형태로 2차원 또는 3차원의 아바타를 구성하고, 네트워크상에 사용자 사이에 아바타를 주고받거나 아바타를 이용한 데이터 교환이 보다 활발하게 이루어지고 있다.

이에 따라, 다양한 형태의 아바타 생성 방법이 제안되고 있으며, 이에 대한 개발이 활발히 이루어지고 있다.

아바타를 생성하는 방법은 대표적으로 디자이너가 직접 사용자 또는 사용자의 사진을 보며 아바타를 그리는 방법과, 미리 주어진 아바타 중에서 사용자가 원하는 아바타를 선택하는 방법, 데이터베이스(Database)에 저장된 각 항목을 조합하여 아바타를 구성하는 방법으로 구분할 수 있다.

미리 주어진 아바타 중에서 사용자가 원하는 아바타를 선택하는 방법과, 데이터베이스(Database)에 저장된 각 항목을 조합하여 아바타를 구성하는 방법의 경우, 간단한 조작으로 사용자가 자신의 아바타를 생성할 수 있다. 그런데, 이러한 방법으로 생성된 아바타는 사용자가 원하는 형태의 개성이 강조되도록 제작할 수는 있지만, 사용자의 실재 모습과 유사한 형태로 제작하는 것은 불가능하다.

사용자의 유사한 형태의 아바타를 제작하는 방법으로는 아바타를 제작하는 디자이너가 사용자의 이미지를 바탕으로 직접 아바타를 생성하는 방법이 있다. 이러한 종래의 아바타 생성 방법은 사용자가 자신의 얼굴이나 전체 모습을 촬영한 사진을 아바타 서비스 업체로 전송하여, 서비스 업체에서 아바타를 제작하는 디자이너가 사용자로부터 제공받은 이러한 이미지에 따라 적절한 아바타를 디자인한다.

이와 같이, 사용자가 제공한 이미지를 이용하여 디자이너가 아바타를 제작하면, 사용자의 모습에 가까운 아바타를 제작할 수 있을 것이다. 하지만, 디자이너에 의하여 아바타가 제작되는 경우에 제작 시간이 많이 소요되고, 아바타 제작에 투입되는 디자이너의 인적 자원 및 노력이 많이 소모된다는 문제점이 있다.

한국공개특허 제2006-0082738호 제목: 이동 통신 단말기의 개인 캐릭터 서비스 방법 및 그 이동통신 단말기

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 스마트폰 등의 휴대형 단말 상에서 실사 이미지로부터 사용자의 얼굴을 인식하여 모델링하고, 모델링된 얼굴 영상에 대해 사용자가 직접 얼굴의 형태와 세부 구성 및 색상 등을 조절하여 아바타를 완성시킬 수 있도록 함으로써, 사용자의 얼굴과 유사성이 높은 아바타를 빠르고 용이하게 생성할 수 있고 사용자의 만족도를 향상시키고 사용상의 흥미를 유발할 수 있는 3차원 아바타 생성 시스템 및 방법을 제공하는데 그 기술적 과제가 있다.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계; 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계; 상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계; 상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 단계; 및 사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계를 포함하는 3차원 아바타 생성 방법이 제공된다.

여기서, 상기 입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계는, 사용자로부터 상기 2차원 영상에서의 얼굴영역을 선택 입력받아 얼굴을 인식하는 단계를 포함할 수 있다.

그리고, 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계는, 상기 AAM이 적용된 얼굴에서 얼굴 부분별 비율을 산출하는 단계; 기 저장된 기본 3차원 아바타의 얼굴 부분별 비율과, 상기 입력된 얼굴에서 산출된 얼굴 부분별 비율을 상호 비교하는 단계; 및 상기 비율의 차이를 상기 기본 3차원 아바타에 가감하여 얼굴의 형상(shape)을 모델링하는 단계를 포함할 수 있다.

한편, 상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계는, 상기 얼굴 인식된 영상에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 설정하는 단계; 사용자로부터 아바타 합성에 사용할 좌측 얼굴영역 또는 우측 얼굴영역을 선택받는 단계; 상시 사용자가 선택한 얼굴 영역의 텍스쳐를 생성하는 단계; 상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계; 상기 얼굴영역과 상기 얼굴 영역 이외의 영역을 결합하는 단계; 및 상기 결합된 영상을 좌우대칭 형식으로 복사하여 합성하는 단계를 포함할 수 있다.

여기서, 상기 얼굴영역과 상기 얼굴 영역 이외의 영역이 합성된 영상에서 경계면 부분에 Mean 필터를 사용하여 경계면을 제거하는 단계를 더 포함할 수 있다.

그리고, 상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계는, 상기 얼굴 영역의 이미지 중 일부를 추출한 후 확대하여 상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계를 포함할 수 있다.

또한, 상기 합성이 완료된 텍스처 영상에 대해, 사용자 선택에 따라 RGB 색상을 조절하는 단계를 더 포함할 수 있다.

한편, 상기 사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계는, 상기 3차원 아바타 영상의 머리, 턱, 코, 입, 눈, 입 중에서 적어도 어느 하나의 비율을 조절하여 상기 아바타 영상을 수정하는 단계를 포함하는 단계를 포함할 수 있다.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 휴대용 단말에서 구동될 때, 입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계; 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계; 상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계; 상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 단계; 및 사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계를 포함하는 3차원 아바타 생성 방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장매체가 제공된다.

상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 사용자 얼굴을 촬영하여 2차원 영상을 생성하는 카메라; 상기 2차원 영상에서 얼굴을 인식하고, 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)과 텍스쳐(texture)를 생성하는 AAM 모델링부; 상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 아바타 합성부; 및 상기 3차원 아바타 영상을 표시하는 디스플레이부를 포함하는 3차원 아바타 생성 시스템이 제공된다.

여기서, 사용자 입력부를 더 포함하고, 상기 아바타 합성부는 상기 사용자 입력부를 통한 사용자의 선택에 따라 3차원 아바타 영상을 수정하여 재합성된 3차원 아바타 영상을 재합성할 수 있다.

그리고, 상기 AAM 모델링부는, 상기 AAM이 적용된 얼굴에서 얼굴 부분별 비율을 산출하고, 기 저장된 기본 3차원 아바타의 얼굴 부분별 비율과, 상기 입력된 얼굴에서 산출된 얼굴 부분별 비율을 상호 비교하여 상기 비율의 차이를 상기 기본 3차원 아바타에 가감하여 얼굴의 형상(shape)을 모델링할 수 있다.

또한, 상기 AAM 모델링부는, 상기 얼굴 인식된 영상에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 설정하고, 사용자로부터 아바타 합성에 사용할 좌측 얼굴영역 또는 우측 얼굴영역을 선택받아 해당 얼굴 영역의 텍스쳐와 상기 얼굴 이외의 영역의 텍스쳐를 생성하여 결합하고, 상기 얼굴 영역과 얼굴 이외의 영역의 텍스쳐가 결합된 영상을 좌우대칭 형식으로 복사하여 합성하는 단계를 포함할 수 있다.

또한, 상기 AAM 모델링부는, 상기 얼굴영역과 상기 얼굴 영역 이외의 영역이 합성된 영상에서 경계면 부분에 Mean 필터를 더 포함할 수 있다.

그리고, 상기 사용자 입력부는, 상기 합성이 완료된 텍스처 영상에 대해, RGB 색상을 조절하는 사용자선택을 입력받아 상기 AAM 모델링부에 전달할 수 있다.

또한, 상기 사용자 입력부는, 상기 합성된 3차원 아바타 영상에 대해, 머리, 턱, 코, 입, 눈, 입 중에서 적어도 어느 하나의 비율을 조절하는 사용자선택을 입력받아 상기 AAM 모델링부에 전달할 수 있다.

상술한 바와 같이 본 발명의 3차원 아바타 생성 시스템 및 방법은, 스마트폰 등의 휴대형 단말 상에서 실사 이미지로부터 사용자의 얼굴을 인식하여 모델링하고, 모델링된 얼굴 영상에 대해 사용자가 직접 얼굴의 형태와 세부 구성 및 색상 등을 조절하여 아바타를 완성할 수 있도록 함으로써, 사용자의 얼굴과 유사성이 높은 아바타를 빠르고 용이하게 생성할 수 있고 사용자의 만족도와 사용상의 흥미를 유발할 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 아바타 생성 개념도,
도 2는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 제어블럭도,
도 3은 본 발명의 실시예에 따른 3차원 아바타 생성 흐름도,
도 4는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 텍스쳐 생성 흐름도,
도 5는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 텍스쳐 합성 상태도,
도 6은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 텍스쳐 수정 화면,
도 7은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 얼굴형태 생성 흐름도,
도 8은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템에서 얼굴의 형상을 합성하기 위해 사용하는 AAM의 형상과 비율계산의 정점의 표시도,
도 9는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템에서 얼굴의 형상을 합성하기 위해 사용하는 기본 아바타의 저장 상태도,
도 10은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 얼굴형태 수정 화면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 3차원 아바타 생성 개념도이다.

본 발명의 실시예에 따른 3차원 아바타를 생성 방법은 크게 2단계로 진행된다. 첫 번째에서는 입력으로 들어온 얼굴이미지에 AAM(Active Appearance Model)을 적용한다. AAM이 적용되면 입력된 얼굴이미지에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지게 되고 각 영역의 피부를 가지고 사용자 아바타의 얼굴 피부 텍스쳐(texture)를 만들게 된다. 두 번째는 이전 단계에서 생성한 텍스쳐를 입힌 아바타의 얼굴 형태를 합성하는 작업을 한다. 아바타의 얼굴 합성 시에는, 미리 생성해둔 아바타의 형태를 기준으로 AAM이 적용된 얼굴의 비율과 비교하여 얼굴 형태를 합성하게 된다.

도 1에 도시된 바와 같이, 사용자는 자신의 얼굴이 촬영된 사진(A)을 3차원 아바타 생성 시스템에 입력한다(S110). 본 실시예에서 3차원 아바타 생성 시스템은 스마트폰에 탑재된 경우를 예시하기로 한다.

3차원 아바타 생성 시스템은 얼굴이 촬영된 사진(A)에 대해 얼굴 영역을 인식하여 얼굴 인식 영상(B)을 생성한다(S112).

얼굴 인식 영상(B)에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 한다(S114).

AAM이 적용된 영상에 대해, 아바타의 형상(shape)을 처리하는 과정과 외형(appearance)을 처리하는 과정을 각각 진행한다.

먼저, 형상(shape)을 처리하는 과정을 살펴보면, AAM이 적용된 영상에서 얼굴의 비율을 계산하여(S120), 아바타의 형태를 합성한다(122).

아바타의 외형(appearance)을 처리하는 과정은, 먼저 AAM이 적용된 영상에서 대칭영역을 결정한다(S130). 여기서, 사용자는 얼굴의 우반면 또는 좌반면 중 하나를 대칭영역으로 결정할 수 있다.

대칭영역이 결정되면 얼굴 영역과 얼굴 영역 이외의 영역을 생성한다(S132, 134).

얼굴 영역과 얼굴 영역 이외의 영역이 생성되면 각 영역의 피부를 이용하여 텍스쳐를 합성하고(S140), 이를 보완한다(S142). 텍스쳐의 보안과정은 사용자가 직접 수행할 수 있다.

이 후, 형상(shape)을 처리하는 과정에서 합성된 아바타 형태와, 외형(appearance)을 처리하는 과정에서 합성된 텍스쳐를 이용하여 아바타를 합성한다(S144).

합성된 모델을 랜더링하여 3차원 아바타(D)를 사용자에게 표시한다(S146).

도 2는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 제어블럭도이다.

도 2에 도시된 바와 같이, 3차원 아바타 생성 시스템은, 카메라(210), 영상전처리부(212), AAM 모델링부(214), 사용자 입력부(216), 디스플레이부(218) 및 아바타 합성부(210)를 포함한다.

카메라(210)는 객체, 예컨대, 특정 사람의 얼굴의 영상을 촬영하여 2차원 영상을 생성한다.

영상전처리부(212)는 카메라(210)로부터 제공되는 2차원 영상에서 얼굴 영역을 인식하여 AAM 모델링부(214)에 제공한다.

AAM 모델링부(214)는 얼굴 영역이 인식된 2차원 영상에서 외형(appearance)과 형상(shape)의 파라미터를 추출하고, 추출한 얼굴특징 요소를 토대로 입력된 얼굴이미지에서 눈, 코, 입의 영역을 AAM의 형상에 맞도록 모델링하고, 각 영역의 피부를 가지고 사용자 아바타의 얼굴피부 텍스쳐를 합성한다.

아바타 합성부(210)는 미리 생성해둔 아바타의 형태를 기준으로 AAM이 적용된 얼굴의 비율과 비교하여 얼굴 형태에 텍스쳐를 입혀 3차원 아바타의 얼굴 형태를 합성한다.

디스플레이부(218)는 합성된 3차원 아바타의 얼굴을 표시하는 한편, 사용자가 얼굴 각 부 영역의 크기를 조절하고 텍스쳐 색상을 조절할 수 있도록 사용자 인터페이스를 표시한다.

사용자 입력부(216)는 사용자가 아바타의 각부 영역이나 색상을 조절하기 위한 입력 인터페이스를 제공한다. 예컨대, 사용자 입력부(216)가 터치패널로 제공된 경우, 사용자는 터치신호, 핀치신호, 드래그 앤 드랍 신호 등을 입력함으로써, 3차원 아바타의 얼굴 각 부 영역의 크기를 조절하거나 텍스쳐 색상을 조절할 수 있다.

도 3은 본 발명의 실시예에 따른 3차원 아바타 생성 흐름도이다.

사용자는 3차원 아바타 생성 시스템에서 카메라(210)로 자신의 얼굴을 촬영하여 얼굴영상을 입력한다(S310). 여기서, 사용자는 외부로부터 얼굴 영상을 수신 혹은 입력 받거나, 혹은, 기 저장된 얼굴영상을 이용하는 것도 가능하다.

입력된 얼굴 영상에서 얼굴 영역을 인식하고(S312), 얼굴이 인식된 영상에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 한다(S314).

AAM이 적용된 영상을 이용하여 아바타 얼굴의 외관을 생성하고(S316), 또한, 각 영역의 피부를 이용하여 텍스쳐를 합성한다(S318).

이 후, 아바타 얼굴의 외관과 텍스쳐를 이용하여 3차원 아바타를 합성하고, 합성 결과를 사용자에게 표시한다(S320).

이에, 사용자가 얼굴 각부의 사이즈를 조절하거나 피부 텍스처를 변경하면 이에 따라 아바타를 수정하고(S322), 수정이 완료된 아바타를 표시한다(S324).

도 4는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 텍스쳐 생성 흐름도이다.

3D 아바타 얼굴 생성에서 첫 번째 단계로 진행되는 것이 얼굴 텍스쳐를 합성하는 것이다. 얼굴 텍스쳐는 합성된 아바타가 사용자임을 인식할 수 있도록 하는 중요한 부분으로써, 텍스쳐가 잘못 만들어지면 생성된 아바타와 사용자 간의 유사도가 떨어지게 된다. 이에, 본 발명에서는 다음과 같은 방법으로 3차원 아바타의 텍스쳐를 생성한다.

3차원 아바타로 생성하고자 하는 사용자의 얼굴 영상을 카메라(210)로 촬영하거나, 혹은 사진첩(Photo Library)에서 얼굴을 포함하는 영상을 선택하여 입력한다(S410).

얼굴 영상이 입력되면 이미지에서 얼굴 영역을 분류한다(S412). 먼저, 입력된 영상에서 얼굴의 위치를 인식한 후, 찾은 얼굴영역에 AAM의 평균 형상(shape)을 올리고 AAM 피팅 작업을 시작한다. AAM의 피팅 작업으로 얼굴을 영역을 분리하였다면 합성 전 합성에 필요한 데이터를 얻을 수 있다. 여기서, AAM의 피팅이 모든 사람에게 정확하게 맞는 것이 아니기 때문에 AAM의 적용과 얼굴 영역 분리를 사용자가 직접 처리할 수 있는 사용자 인터페이스를 제공하는 것도 가능하다.

사용자가 선택한 얼굴 영역으로부터 피부를 추출하고(S414), 얼굴영역 텍스쳐를 생성한다(S416). AAM으로 얼굴 영역 분리가 된 후 시스템에서는 입력 얼굴의 좌측과 우측 중 어느 부분을 대칭으로 하여 아바타를 제작할 것 인지를 사용자가 결정해주어야 한다. 사람의 얼굴은 굴곡과 높이가 다르고 빛의 반사가 심하기 때문에 얼굴의 좌측과 우측 중 어느 한 편을 선택하여 대칭 시키는 방법으로 아바타를 생성하도록 한다. 대칭 영역을 좌측과 우측 중 선택을 완료하게 되면 현재 AAM의 형상(Shape)을 가지고 텍스쳐 이미지에 대칭되는 영역으로 Piecewise affine warping을 사용하여 현재의 이미지를 덮는다. 생성할 텍스쳐의 이미지는 기본으로 지정해둔 기반 아바타의 텍스쳐 이미지와 같은 텍스쳐 UV Map을 가지고 있어야 한다. 기반 텍스쳐 이미지에 AAM의 영역 분리와 같도록 영역을 분리하는 작업을 미리 해두어 입력된 이미지에서 분리된 얼굴 영역의 피부를 생성할 텍스쳐의 UV Map에 미리 지정해둔 영역으로 덮는 것으로 아바타의 텍스쳐 이미지를 생성한다. 이에, 아바타의 렌더링을 실행할 때에 얼굴 아바타의 모습이 나타날 수 있다.

얼굴영역을 생성하였다면 얼굴영역 외부의 부분을 생성한다(S418). 얼굴 외부의 부분은 입력된 얼굴의 피부와 가장 적합해야만 생성되는 아바타를 확인했을 때에 보는 사람으로 하여금 거부반응이 없게 된다. 이에, S416단계에서 추출한 얼굴 영역의 이미지 중 일부를 추출하여 확대하는 방법으로 아바타의 얼굴영역 외에 피부를 생성하였다. 이와 같이, 입력된 얼굴의 일부분을 사용하면 각각의 상황과 조명에 맞는 색상이 되어서 입력된 얼굴과 가장 잘 어울리는 피부 텍스쳐를 생성할 수 있게 된다. 예컨대, 피부생성에 필요한 얼굴영역은 볼의 부분으로 하여 고른 피부를 추출할 수 있었다.

이 후, 생성된 얼굴 영역과 얼굴 외부 피부영역의 이미지를 합성한다(S420). 먼저 외부 피부영역에서 얼굴영역을 삭제하고 피부영역에서 중요한 귀를 생성하여 두 피부를 결합할 준비를 한다. 두 이미지가 준비되었으면 이미지를 결합하여 하나의 얼굴과 피부영역의 이미지를 생성한다. 여기서, 얼굴영역과 피부영역 경계면이 매끄럽지 못하고 비어있는 현상이 발생할 수 있다. 이에, 경계면 부분에 Mean 필터를 사용하여 경계면을 제거함으로써 좀 더 부드러운 경계면을 갖도록 할 수 있다. Mean 필터는 인접 픽셀들의 값을 합쳐서 평균을 산출함으로써 이미지의 스무딩(Smoothing) 효과로 잡음을 줄일 수 있다.

다음의 [수학식 1]은 3X3의 사각형 Mean 필터의의 형태를 예시한 것이다.

[수학식 1]

이러한 과정을 통해 생성된 텍스쳐를 사용자가 수정한다(S422). 사용자 수정 과정을 통해, 세추레이션이 발생되어 어색한 부분이나, 점이나 흉터 등의 결점을 사용자가 직접 수정할 수 있다.

도 5는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 텍스쳐 합성 상태도이다.

도 5에 도시된 바와 같이, 사용자가 자신의 오른쪽 얼굴을 이용하여 아바타를 생성하고자 하는 경우, 오른쪽 얼굴영역에 대해 AAM의 형상(Shape)을 가지고 텍스쳐 이미지에 대칭되는 영역으로 Piecewise affine warping을 사용하여 현재의 이미지를 덮은 후, 입력된 이미지에서 분리된 얼굴 영역의 피부를 생성할 텍스쳐의 UV Map에 미리 지정해둔 영역으로 덮는 것으로 아바타의 텍스쳐 이미지를 생성할 수 있다.

그리고, 생성된 얼굴 영역의 일부분을 사용하여 얼굴 외부 영역의 텍스처를 생성한 후, 얼굴영역과 얼굴 외부 영역을 결합(combine)한다. 결합된 영상의 경계면에는 비어 있는 공간과 색상 변화가 발생할 수 있다.

이에, 5X5 Mean 필터를 사용하여 경계면의 공간과 얼굴영역의 Piecewise affine warping을 통한 경계면의 색상 변화를 제거한다.

이 후 필터처리를 완료한 이미지를 복사하고 미러 효과를 적용하여 반대쪽의 이미지를 생성한 후 결합 시킴으로써, 입력된 얼굴 이미지로 얼굴 영역만 생성된 텍스쳐 이미지를 합성할 수 있다.

위에 설명하였듯이 아바타의 얼굴은 좌우 대칭으로 되어있기 때문에 텍스쳐 또한 본래의 텍스쳐 사이즈에서 폭의 사이즈를 반으로 하여 얼굴영역 합성할 시기에 사용되는 메모리를 줄였으면 속도 또한 향상시킬 수 있다.

도 6은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 텍스쳐 수정 화면을 도시한 것으로서, 스마트폰 상에서 수정 툴을 구현한 경우를 예시한 것이다.

본 실시예에서는 생성된 텍스쳐 이미지를 그림판의 기능을 하는 컨트롤러로 불러들여 텍스쳐 위에 그림판과 흡사하게 터치를 활용하여 펜 툴로 텍스쳐의 색상을 변경가능 하도록 하였다. 이러한 수정 툴을 이용하여 사용자는 텍스쳐 이미지 상에서 세추레이션이 발생한 부분이나 점, 흉터 등의 결점을 수정할 수 있다.

텍스쳐 이미지의 사이즈가 색상을 칠하기에 너무 작은 화면이 되는 경우, 이미지 뷰(UIImage View)를 스크롤 뷰(UIScroll View)에 추가하여 터치를 이용한 확대와 이동이 가능하도록 하고 본 이미지의 사이즈를 확대할 수 있도록 하여 좀 더 자세한 수정이 가능하도록 할 수 있다.

스마트폰에서 수정 툴을 구현한 경우 터치를 이용하여 작은 화면에서 작업을 하는 구조여서 기본적으로 직전 작업을 취소할 수 있는 실행취소(undo)기능과 현재 텍스쳐 이미지에서 색상을 추출할 수 있는 기능 또한 포함할 수 있다.

이러한 툴을 이용하여 텍스쳐 변경 후 적용을 선택하면 방금 작업한 텍스쳐로 이루어진 아바타를 바로 볼 수 있어 작은 스마트폰 환경의 컨트롤러로써의 역할을 충분히 수행할 수 있다.

도 7은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 얼굴 형상(shape) 생성 흐름도이다. 본 발명의 실시예에서는 입력된 얼굴 이미지에 AAM을 적용하여 부분 영역을 인식하고, 각 영역에서 얼굴의 비율을 계산할 수 있는 몇몇 정점을 가지고 얼굴의 비율을 계산하여 그 비율에 맞춰 아바타의 형태를 합성할 수 있다.

이를 위해, 먼저, 입력 얼굴 이미지의 비율을 계산한다(S710). 입력된 얼굴 이미지에 AAM을 적용하면 AAM의 형상(Shape)의 정점들이 얼굴의 각 영역의 올바른 위치에 맞춰서 형상(Shape)이 위치하게 된다.

도 8은 AAM 형상(shape)과 비율계산의 정점을 도시한 도면이다. 도 8에 도시된 정점들의 비율을 이용하여 입력된 얼굴 이미지의 비율을 계산할 수 있다. 얼굴의 비율은 여러 부분이 설정될 수 있으나, 아바타를 사람이 보았을 때 가장 인지가 되는 총 6개의 영역을 분리하여 각 영역별로 비율을 계산할 수 있다. 중심 비율의 포인트는 입력 얼굴이 달라도 얼굴에서 크게 변하지 않는 부분을 지정하는 것이 바람직하며, 본 실시예에서는 1번과 2번의 인덱스를 가지는 점을 폭을 지정하는 중심점으로 지정하는 경우를 설명하기로 한다.

1번과 2번의 인덱스 윗입술의 중심과 코 아래 중심부분의 거리 즉 인중 사이의 거리는 얼굴 이미지가 변하더라도 모든 얼굴의 거리가 가장 크게 변하지 않는 부위이기 때문에 중심점으로 사용하기 좋다. 또한 높이의 비율을 계산할 때 사용되는 중심 포인트는 이미지의 14번 15번의 인덱스를 중심으로 높이의 비율을 계산한다. 아래의 [표 1]은 본 논문에서 비율을 측정하기 위한 영역별 포인트 인덱스를 보여준다.

[표 1]

위의 비율계산에 사용하는 인덱스는 AAM의 지정된 형상(shape)의 형태에 따라 변경되어야 한다. 위의 계산의 인덱스를 구축 후 비율의 계산은 다음의 [수학식 2]를 사용하여 폭과 높이에 맞는 식으로 비율계산을 한다.

[수학식 2]

여기서 C()는 비율을 계산할 때 기준이 되는 점을 의미한다.

위에서 계산된 비율을 이용하여 생성될 아바타의 형태를 합성한다(S712). 아바타 형태를 합성할 때에는, 기 저장된 아바타 얼굴의 비율과 입력된 얼굴 이미지에서 구한 비율을 비교하여 비율의 차이를 아바타 형태 중심에 가감하여 아바타 얼굴의 형태를 합성할 수 있다. 시스템 내에는 미리 생성해둔 기본 아바타가 렌더링 되었을 때 아바타 얼굴의 비율이 저장되어 있다. 그리고 아바타의 형태의 중심 또한 생성해둔 기본 아바타에 맞추고 비율이 변경된 아바타를 미리 제작하여 기본 아바타의 비율을 50%로 지정하고 0%에서 100% 비율에 맞는 아바타의 형태를 미리 저장해둘 수 있다.

도 9는 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 비율별 기본 아바타의 저장 상태도이다.

도 9에 도시된 바와 같이, 아바타를 미리 제작하여 기본 아바타(Median)의 비율을 50%로 지정하고 0%에서 100% 비율에 맞는 아바타의 형태를 미리 저장하여 사용한다.

이에 따라, 입력된 얼굴 이미지에서 구한 비율을 아바타 AAM shape의 비율과 비교하여 비율의 차이를 아바타 형태 중심에 가감하여 아바타 얼굴의 형태를 합성할 수 있다.

아바타의 얼굴이 합성되면 사용자가 직접 아바타의 얼굴 형태를 수정한다(S714). 사용자는 합성된 아바타의 머리, 턱, 코, 입, 눈, 입 등의 두께, 폭, 크기 등을 조절하여 자신의 실재 얼굴에 가깝게 수정할 수 있다.

도 10은 본 발명의 실시예에 따른 3차원 아바타 생성 시스템의 얼굴형태 수정 화면이다.

스마트폰에 본 시스템을 적용하는 경우, 도 10에 도시된 바와 같이, 합성된 아바타의 머리, 턱, 코, 입, 눈, 입의 두께와 폭을 조절할 수 있는 비율 슬라이더가 제공될 수 있다.

사용자는 터치 앤 드래그 방식으로 비율 슬라이더를 이동시켜 머리, 턱, 코, 입, 눈, 입 등을 지정한 비율로 조절할 수 있다. 사용자의 조절에 따라 아바타의 형태는 재합성되어 표시되며, 조절이 완료된 아바타를 사용자 아바타로 저장할 수 있다.

이상 설명한 바와 같이, 본 발명은 스마트폰 등의 휴대형 단말 상에서 실사 이미지에 AAM(Active Appearance Model)을 적용하여 얼굴 이미지의 형상(Shape)과 텍스쳐(texture)를 생성하고, 이를 이용하여 모델링된 3차원 아바타에 대해 사용자가 직접 얼굴의 형태와 세부 구성 및 색상 등을 조절하여 아바타를 완성시킬 수 있도록 한다. 이에 의해, 사용자의 얼굴과 유사성이 높은 아바타를 빠르고 용이하게 생성할 수 있다

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 스마트폰 등의 휴대형 단말 상에서 실사 이미지로부터 사용자의 얼굴을 인식하여 모델링하고, 모델링된 얼굴 영상에 대해 사용자가 직접 얼굴의 형태와 세부 구성 및 색상 등을 조절하여 아바타를 완성할 수 있도록 함으로써, 사용자의 얼굴과 유사성이 높은 아바타를 빠르고 용이하게 생성할 수 있고 사용자의 만족도를 향상시키고 사용상의 흥미를 유발할 수 있는 3차원 아바타 생성 시스템 및 방법에 이용할 수 있다.

210 : 카메라 212 : 영상전처리부
214 : AAM 모델링부 216 : 사용자 입력부
218 : 디스플레이부 220 : 아바타 합성부

Claims

입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계;
상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계;
상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계;
상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 단계; 및
사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계를 포함하고,
상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계는,
상기 얼굴 인식된 영상에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 설정하는 단계;
사용자로부터 아바타 합성에 사용할 좌측 얼굴영역 또는 우측 얼굴영역을 선택받는 단계;
상시 사용자가 선택한 얼굴 영역의 텍스쳐를 생성하는 단계;
상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계;
상기 얼굴영역과 상기 얼굴 영역 이외의 영역을 결합하는 단계; 및
상기 결합된 영상을 좌우대칭 형식으로 복사하여 합성하는 단계를 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
제1항에 있어서,
상기 입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계는,
사용자로부터 상기 2차원 영상에서의 얼굴영역을 선택 입력받아 얼굴을 인식하는 단계를 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
제1항에 있어서,
상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계는,
상기 AAM이 적용된 얼굴에서 얼굴 부분별 비율을 산출하는 단계;
기 저장된 기본 3차원 아바타의 얼굴 부분별 비율과, 상기 입력된 얼굴에서 산출된 얼굴 부분별 비율을 상호 비교하는 단계; 및
상기 비율의 차이를 상기 기본 3차원 아바타에 가감하여 얼굴의 형상(shape)을 모델링하는 단계를 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
삭제
제1항에 있어서,
상기 얼굴영역과 상기 얼굴 영역 이외의 영역이 합성된 영상에서 경계면 부분에 Mean 필터를 사용하여 경계면을 제거하는 단계를 더 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
제1항에 있어서,
상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계는,
상기 얼굴 영역의 이미지 중 일부를 추출한 후 확대하여 상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
제1항에 있어서,
상기 합성이 완료된 텍스처 영상에 대해, 사용자 선택에 따라 RGB 색상을 조절하는 단계를 더 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
제1항에 있어서,
상기 사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계는,
상기 3차원 아바타 영상의 머리, 턱, 코, 입, 눈, 입 중에서 적어도 어느 하나의 비율을 조절하여 상기 아바타 영상을 수정하는 단계를 포함하는 단계를 포함하는 것을 특징으로 하는 3차원 아바타 생성 방법.
휴대용 단말에서 구동될 때,
입력된 사용자의 2차원 영상에서 얼굴을 인식하는 단계; 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)을 모델링하는 단계; 상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계; 상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 단계; 및 사용자의 선택에 따라 상기 합성된 3차원 아바타 영상을 수정하여 3차원 아바타 영상을 재합성하는 단계를 포함하고,
상기 AAM을 적용하여 텍스쳐(texture)를 합성하는 단계는,
상기 얼굴 인식된 영상에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 설정하는 단계;
사용자로부터 아바타 합성에 사용할 좌측 얼굴영역 또는 우측 얼굴영역을 선택받는 단계;
상시 사용자가 선택한 얼굴 영역의 텍스쳐를 생성하는 단계;
상기 얼굴 이외의 영역의 텍스쳐를 생성하는 단계;
상기 얼굴영역과 상기 얼굴 영역 이외의 영역을 결합하는 단계; 및
상기 결합된 영상을 좌우대칭 형식으로 복사하여 합성하는 단계를 포함하여
3차원 아바타 생성 방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장매체.
사용자 얼굴을 촬영하여 2차원 영상을 생성하는 카메라;
상기 2차원 영상에서 얼굴을 인식하고, 상기 얼굴 인식된 영역에 AAM을 적용하여 얼굴의 형상(shape)과 텍스쳐(texture)를 생성하되, 상기 AAM을 적용하여 텍스쳐(texture)를 합성할 시에는, 상기 얼굴 인식된 영상에 대해 AAM을 적용하여 얼굴 영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 설정하고, 사용자로부터 아바타 합성에 사용할 좌측 얼굴영역 또는 우측 얼굴영역을 선택받아, 상기 사용자가 선택한 얼굴 영역의 텍스쳐를 생성하고, 상기 얼굴 이외의 영역의 텍스쳐를 생성하고, 상기 얼굴영역과 상기 얼굴 영역 이외의 영역을 결합하여, 상기 결합된 영상을 좌우대칭 형식으로 복사하여 합성하는 AAM 모델링부;
상기 모델링된 형상(shape)과 텍스쳐(texture)를 합성하여 3차원 아바타 영상을 합성하는 아바타 합성부; 및
상기 3차원 아바타 영상을 표시하는 디스플레이부를 포함하는 3차원 아바타 생성 시스템.
제10항에 있어서,
사용자 입력부를 더 포함하고,
상기 아바타 합성부는 상기 사용자 입력부를 통한 사용자의 선택에 따라 3차원 아바타 영상을 수정하여 재합성된 3차원 아바타 영상을 재합성하는 것을 특징으로 하는 3차원 아바타 생성 시스템.
제10항에 있어서,
상기 AAM 모델링부는,
상기 AAM이 적용된 얼굴에서 얼굴 부분별 비율을 산출하고, 기 저장된 기본 3차원 아바타의 얼굴 부분별 비율과, 상기 AAM이 적용된 얼굴에서 산출된 얼굴 부분별 비율을 상호 비교하여 상기 비율의 차이를 상기 기본 3차원 아바타에 가감하여 얼굴의 형상(shape)을 모델링하는 것을 특징으로 하는 3차원 아바타 생성 시스템.
삭제
제10항에 있어서,
상기 AAM 모델링부는,
상기 얼굴영역과 상기 얼굴 영역 이외의 영역이 합성된 영상에서 경계면 부분에 Mean 필터를 더 포함하는 것을 특징으로 하는 3차원 아바타 생성 시스템.
제11항에 있어서,
상기 사용자 입력부는,
상기 합성이 완료된 텍스처 영상에 대해, RGB 색상을 조절하는 사용자선택을 입력받아 상기 AAM 모델링부에 전달하는 것을 특징으로 하는 3차원 아바타 생성 시스템.
제11항에 있어서,
상기 사용자 입력부는,
상기 합성된 3차원 아바타 영상에 대해, 머리, 턱, 코, 입, 눈, 입 중에서 적어도 어느 하나의 비율을 조절하는 사용자선택을 입력받아 상기 AAM 모델링부에 전달하는 것을 특징으로 하는 3차원 아바타 생성 시스템.