KR100473593B1 - 3차원 캐리커쳐 생성 장치 및 방법 - Google Patents

Abstract

본 발명은 3차원 캐리커쳐 생성 장치 및 방법에 관한 것으로서, 얼굴에 맞게 특화된 ASM 기법을 이용하여 얼굴 구성요소들의 특징점 정보를 정확하게 추출하고 이 특징점 정보를 기초로 3차원 폴리곤 얼굴 기본 모델을 변형시킴으로써 사용자의 얼굴과 유사성이 높은 3차원 캐리커쳐를 생성하는 것을 주목적으로 하며, 상기 목적은 입력된 얼굴영상을 정규화하는 전처리를 수행하고 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 초기위치를 검출한 다음, 검출된 초기위치에 대응하도록 전처리된 얼굴영상에 ASM을 로딩하여 특징점들을 추출한 후, 추출된 특징점들의 좌표값에 따라 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성함으로써 달성되는 것을 특징으로 한다.

Description

3차원 캐리커쳐 생성 장치 및 방법{APPARATUS AND METHOD FOR PRODUCING THREE-DIMENSIONAL CARICATURE}

본 발명은 3차원 캐리커쳐 생성 방법 및 장치에 관한 것으로서, 특히 얼굴에 맞게 특화된 ASM(Active Shape Model) 기법을 이용하여 얼굴 구성요소에 대한 특징점 정보를 정확하게 추출하고 이 특징점 정보를 기초로 3차원 폴리곤 얼굴 기본 모델을 변형시킴으로써 사용자의 얼굴과 유사성이 높은 3차원 캐리커쳐를 생성하는 장치 및 방법에 관한 것이다.

일반적으로, 캐리커쳐는 인물 또는 의인화된 동식물을 소재로 익살, 유머, 풍자 등의 효과를 노려서 그린 그림으로, 사용자의 호기심이나 대리 만족, 개인이 요구하는 이상적인 인물 등의 의미를 내포하며, 주로 연예인이나 스포츠 선수들이 홍보수단으로 활용하여 왔으나, 요즘에는 일반인들에게도 널리 이용되고 있는 실정이다.

전통적인 방식으로 캐리커쳐는 전문 캐리커쳐 디자이너의 수작업을 통해 완성되어 왔지만, 일반인의 관심도 증가에 따라 전문가의 손을 빌리지않고도 캐리커쳐 생성이 가능한 기술들이 개발되고 있다.

일례로, 사용자가 클립아트 데이터베이스로부터 눈,코,입 등의 얼굴 윤곽선을 형성하는데 필요한 클립아트들을 선택하여 조합하고 각종 악세서리 또는 옷 등을 입혀 최종 캐리커쳐를 완성하는 것을 들 수 있다. 그러나, 이러한 방법은 사용자가 자신의 얼굴 특징과 가장 가까운 클립아트를 선택하기가 매우 어렵다는 문제점 때문에 유사성 부족으로 인한 불만이 많이 제기되고 있다.

국내 공개특허 제2000-63391호(캐리커쳐 제작 방법)에는 사진에 담긴 얼굴에서 먼저 전체적인 얼굴형태를 완성하고, 상기 얼굴 형태에 적용될 얼굴 각 요소의 위치, 비율, 종류를 계산하고, 최종적으로 다양한 크기와 사이즈를 갖는 미리 구축된 얼굴 각 요소에 대한 데이터베이스로부터 얼굴 각 요소에 대한 모델을 추출한후 합성함으로써 캐리커쳐를 제작하는 방법이 개시되어 있다. 그러나, 단순히 얼굴 크기 대비 얼굴 각 요소의 위치 정보만을 이용하기 때문에 얼굴 각 요소에 대한 정확한 특징점 추출은 거의 불가능하며, 따라서 자신의 얼굴특징과 가까운 캐리커쳐의 생성은 어렵게 된다.

또한, 국내 공개특허 제2000-49421호(캐리커쳐 제작 시스템 및 시스템을 이용한 캐리커쳐 제작방법)에는 소프트웨어를 통해 편집된 사진의 각 구성부분과 얼굴의 각 부위별 캐리커쳐가 저장되어 있는 각 부위별 캐리커쳐를 비교하여 필요한 얼굴의 각 부위를 데이터베이스에 있는 데이터로 교체하여 캐리커쳐로 변환하는 방법이 개시되어 있다. 그러나, 이러한 방법은 색조변환에 의해 천연색으로 구성된 원본 데이터가 흑백으로 분리되는 사진편집과정을 요구하기 때문에 실질적으로 칼라를 가지는 캐리커쳐 생성은 불가능하다는 한계를 드러낸다.

이밖에, 국내 공개특허 제2000-64110호(얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법)는 입력된 얼굴 영상과 참조 영상의 대응점 정보를 사용하여 얼굴의 형태정보를 추출하고 이를 기반으로 얼굴영상을 재합성하여 보다 자연스럽고 정교한 캐리커쳐 영상을 얻는 방법을 개시하고 있다. 그러나, 이 방법은 상기 국내 공개특허 제2000-63391호와 같이 미리 준비된 참조 영상을 얼굴 영상과 합성하는 단순한 방식을 취하고 있으며, 특히 얼굴 영상으로부터의 얼굴 특징점 추출에 대해 구체적으로 제시하지 못하고 있다.

한편, 전술한 특허들은 모두 2차원 캐리커쳐 생성에 관한 것이지만, 최근들면서 얼굴 모델링 기법을 이용한 3차원 캐리커쳐 생성에 대한 연구가 활발히 진행되고 있다.

이와 같은 3차원 캐리커쳐 생성 기술들중 하나로서, '디지털화된 초상 형성 장치 및 방법System and Method for Creating a Digitized Likeness of Persons' 란 제목으로 허여된 미국특허제5,960,099호에 개시된 바와 같이, 정면과 측면의 2장의 얼굴 영상을 이용하여 얼굴의 특징, 즉 얼굴의 각 부위의 위치를 통계적 자료를 통하여 추정하고, 이에 따라 표정이 변화된 초상화를 생성하는 기술이 있다. 그러나, 이러한 기술은 정면과 측면의 얼굴 영상을 이용하여 표정이 변화된 초상화를 만들어줄 때 통계적 자료를 통하여 얼굴 특징을 추정하기 때문에 원본 영상의 얼굴 특징을 정확히 찾아낼 수 없는 문제점을 갖는다.

또다른 3차원 캐리커쳐 생성 기술로서, 국내 공개특허 제2001-69820호(2차원 영상으로부터 3차원 얼굴영상의 획득 방법 및 시스템)에는 정면 및 측면사진으로부터 눈, 코, 입, 귀, 눈썹 그리고 얼굴 외곽선, 콧등을 지나는 외곽선 모형, 머리카락의 특징 등을 추출한 후, 3차원 얼굴형상 데이터베이스(많은 실제 사람얼굴들이 축적되어 있음)로부터 상기 추출된 얼굴특징과 유사한 다수의 3차원 얼굴형상을 선정하여 사용자로 하여금 자신의 얼굴사진과 가장 유사한 3차원 얼굴형상을 선정하는 기술이 개시되어 있다. 그러나, 여전히 미리 구축되어 있는 얼굴형상 데이터베이스와의 단순한 비교를 통해 가장 유사한 3차원 얼굴형상을 얻고 있으며, 보다 섬세한 부분의 수정을 위해서는 수정 전문가에 의한 별도의 수작업 공정을 필요로 한다는 단점을 가진다.

본 발명이 이루고자 하는 기술적 과제는, 얼굴에 맞게 특화된 ASM 기법을 이용하여 얼굴 구성요소에 대한 특징점 정보를 정확하게 추출하고, 이 특징점 정보를 기초로 하여 3차원 폴리곤 얼굴 기본 모델을 변형시킴으로써 사용자의 얼굴과 유사성이 높은 3차원 캐리커쳐를 생성하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 3차원 캐리커쳐 생성 장치는, 3차원 캐리커쳐 생성에 필요한 ASM과 3차원 폴리곤 얼굴 기본 모델이 저장된 메모리부, 입력된 얼굴영상을 정규화하는 전처리부, 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 초기위치를 검출하는 얼굴 구성요소 초기위치 검출부, 검출된 초기위치에 대응하도록 메모리부에 저장된 ASM을 전처리된 얼굴영상에 로딩하는 ASM 로딩부, 로딩된 ASM을 적응화시켜 얼굴 구성요소에 대한 특징점들을 추출하는 ASM 적응부; 및 메모리부로부터 3차원 폴리곤 얼굴 기본 모델을 로딩한 후 ASM 적응부를 통하여 추출된 특징점들의 좌표값에 따라 로딩된 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 캐리커쳐 생성부를 포함하는 것을 특징으로 한다.

본 발명의 다른 바람직한 실시예에 있어서, 3차원 폴리곤 얼굴 캐리커쳐를 2차원으로 투영시켜 2차원 얼굴 캐리커쳐를 획득하는 투영부를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 바람직한 실시예에 있어서, 3차원 폴리곤 얼굴 캐리커쳐에서 특징점들의 좌표값 및 메모리 참조값을 추출하여 전송하는 캐리커쳐 송수신부를 더 포함하는 것을 특징으로 한다.

이하, 본 발명에 따른 3차원 캐리커쳐 생성 장치의 구성과 동작에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 3차원 캐리커쳐 생성 장치(100)의 개략적인 블럭도로서, 메모리부(10), 영상처리부(30), 투영부(40), 캐리커쳐 저장부(50), 캐리커쳐 송수신부(70)로 구성된다.

메모리부(10)에는 3차원 캐리커쳐 생성에 필요한 학습 데이터, 2차원 얼굴 텍스쳐, 3차원 폴리곤 얼굴 기본 모델, 3차원 신체 모델 등이 데이터베이스(Data Base, 이하 DB라 함) 형태로 저장되어 있는데, 이하 이들 학습 데이터 DB(11), 2차원 얼굴 텍스쳐 DB(13), 3차원 폴리곤 얼굴 기본 모델 DB(15), 3차원 신체 모델 DB(17)에 대하여 간략하게 설명한다.

학습 데이터 DB(11)에는 다양한 형태의 눈썹, 눈, 코, 입, 얼굴윤곽선을 학습 패턴으로 사용하여 얻어진 정면/측면 ASM들과, 이 ASM들의 평균 위치 좌표 및 ASM의 형태적 변화 특징 데이터들이 저장되며, 2차원 얼굴 텍스쳐 DB(13)에는 3차원 폴리곤 얼굴 기본 모델에 텍스처링하기 위한 2차원 얼굴 텍스쳐들이 저장된다. 여기에서, 2차원 얼굴 텍스쳐들은 3차원 얼굴 캐리커쳐에 다양한 색상정보를 반영할 수 있도록 변화될 수 있는데, 예를 들어 화장한 경우의 입술색, 조명으로 인한 피부색의 밝기 변화 등을 3차원 얼굴 캐리커쳐에 반영함으로써 보다 자연스럽고 정교한 캐리커쳐를 생성할 수 있도록 구성되어 있다.

또한, 3차원 폴리곤 얼굴 기본 모델 DB(15)에는 여러 유형의 3차원 폴리곤 얼굴 기본 모델들이 저장되어 있는데, 이들 3차원 폴리곤 얼굴 기본 모델은 인종적/국가적 특징이 반영된 인류학적 표준 데이터를 기초로 구성되어 있으며, 3차원 신체 모델 DB(27)에는 헤어, 몸, 안경, 액세서리, 옷, 신발 등의 신체 구성요소를 캐리커쳐로 처리하기 위한 3차원의 신체 모델들이 저장되어 있다.

메모리부(10)는 학습 데이터, 2차원 얼굴 텍스쳐, 3차원 폴리곤 얼굴 기본 모델, 3차원 신체 모델 외에 다른 데이터들을 포함할 수도 있다.

영상처리부(30)는 ASM 기법을 이용하여 얻어진 얼굴의 각 부위에 대한 특징 정보를 기초로 3차원 얼굴 기본 모델을 변형시킴으로써 사용자의 얼굴특징이 반영된 3차원 캐리커쳐를 생성하는 역할을 하는 것으로서, 전처리부(31), 얼굴 구성요소 초기위치 검출부(33), ASM 로딩부(35), ASM 적응부(37), 캐리커쳐 생성부(39)로 구성된다.

전처리부(31)는 가버 필터 응답(Gabor Filter Response)을 이용하여 입력된 영상에서 얼굴영역을 찾아낸 다음, 두눈의 중심점을 검출하여 이를 기초로 얼굴영역의 크기를 3차원 폴리곤 얼굴 기본 모델 DB(15)에 저장된 3차원 얼굴 기본 모델과 1:1 매핑될 수 있는 크기로 정규화한다.

상기에서, 가버 필터를 이용한 얼굴영역 검출 방법은 입력된 얼굴영상에 다양한 방향성과 주파수를 갖는 가버 필터들의 집합을 적용시키고 그 반응값에 따라 얼굴영역을 검출하는 것으로서, 영상처리 분야에서 일반적으로 사용되는 전처리 방법의 일종이므로 이에 대한 자세한 설명은 생략한다.

전처리부(31)를 통하여 얼굴영상을 정규화하는 일예가 도 4(a)~도 4(d)에 도시되어 있다. 우선 도 4(a)와 같은 얼굴영상이 입력되면, 전처리부(31)는 도 4(b)에 도시된 바와 같이 원래의 얼굴영상에 가버 필터를 적용하여 얼굴과 유사한 특징들이 포함된 사각형의 얼굴영역을 검출한 다음, 도 4(c)에 도시된 바와 같이 검출된 얼굴영역에서 원형의 모양을 가지면서 얼굴영역의 상부에 위치하고 흰색 가운데에 검은색을 띄는 부위, 즉 두눈의 중심점을 검출한다. 그 다음, 도 4(d)에 도시된 바와 같이 검출된 얼굴영역과 두눈의 중심점을 기초로 하여 얼굴영역의 크기를 정규화하고, 얼굴영상이 회전된 경우 이를 정상각도로 보정한다.

한편, 일반적인 ASM 기법을 이용하여 얼굴의 각 부위에 대한 특징점들을 추출하면, 특징점 추출시 눈썹을 눈으로 잘못 인식하거나 얼굴 구성요소가 각자 이상한 방향으로 이동하는 현상이 발생될 수도 있다.

이러한 현상을 방지하기 위하여, 본 발명에서는 얼굴 구성요소 초기위치 검출부(33)를 통하여 눈썹, 눈, 코, 입, 얼굴 윤곽선의 대략적인 위치를 미리 설정해 놓고 ASM 적응화를 수행하는데, 이하 얼굴 구성요소의 초기위치 설정에 대하여 더 자세히 설명한다.

입력된 얼굴영상에서 특징점을 추출할 때, 각 얼굴 구성요소의 ASM이 얼굴영상의 어디에 놓여진 상태에서 ASM 적응화가 이루어지는지가 아주 중요하다. 즉, ASM이 로딩되는 초기위치가 이후에 수행되는 ASM 적응화 성능에 아주 많은 영향을 미치게 되는데, 예를 들어 ASM이 로딩되는 초기위치를 잘 설정하면 적은 횟수의 적응화 과정만으로도 특징점을 정확하게 추출할 수 있지만, 초기위치를 잘못 설정하면 특징점 추출이 제대로 이루어지지 않을 수도 있다.

얼굴 구성요소 초기위치 검출부(33)는 도 4(e)에 도시된 바와 같이 전처리된 얼굴영상을 흑백 이미지로 변환한 후 캐니 필터(canny filter)를 적용하여 각 얼굴 구성요소들의 초기위치를 설정하는데, 여기에서 캐니 필터는 가우시안 마스크(Gaussian masks)를 사용하여 에지를 검출함으로써 ASM이 로딩될 초기위치를 검출한다.

한편, 각 얼굴 구성요소의 ASM간에도 일정한 관계를 유지하도록 하는 것도 특징점을 정확히 추출하는데 도움이 되는데, 예를 들면 오른쪽 눈 ASM은 아무리 적응화가 진행되어도 그 중점이 왼쪽 눈 ASM과 동일한 가로축 상에 존재해야 하며, 오른쪽 눈 ASM은 오른쪽 눈썹 ASM보다 언제나 아래에 위치해야 한다는 관계를 설정하면 ASM 적응화 성능이 향상된다.

얼굴 구성요소의 초기위치 검출과 각 ASM간의 관계에 의한 제한조건을 가함으로써 ASM 적응화 성능이 향상된 일예가 도 5에 도시되어 있다. 도 5(a)에 도시된 바와 같이, 단지 검출된 눈의 위치만을 기초로 하여 입력된 얼굴영상에 각기 관련성을 부여받지 못한 ASM을 로딩하면 ASM 적응화가 진행될수록 입력된 얼굴영상에서 특징점들이 잘못 추출될 수 있다. 그러나, 도 5(b)에 도시된 바와 같이, 얼굴 구성요소 초기위치 검출부(33)를 통하여 얼굴 구성요소의 초기위치를 설정한 후, 설정된 초기위치를 기초로 하여 서로간에 관련성을 가진 ASM을 얼굴영상에 로딩하면 적은 횟수의 적응화 과정만으로도 특징점들이 정확하게 추출되는 것을 알 수 있다.

얼굴 구성요소 초기위치 검출부(33)를 통하여 각 얼굴 구성요소의 초기위치가 검출되면, ASM 로딩부(31)는 검출된 초기위치에 대응하도록 전처리된 얼굴영상에 학습 데이터 DB(21)로부터 ASM을 로딩하며, ASM 적응부(37)는 사전에 얻어진 ASM의 형태적 변화 특징 데이터를 이용하여 로딩된 ASM을 적응화시켜 입력된 얼굴 구성요소에 대한 특징점들을 추출하여 추출된 특징점들의 X, Y 좌표값을 캐리커쳐 생성부(39)로 출력한다.

특히, 본 발명에 있어서 학습 데이터 DB(11)에는 다양한 해상도 변화에 대응할 수 있도록 여러 해상도로 학습된 ASM들이 저장되어 있으므로, 선명한 얼굴영상을 촬상할 수 있는 사용자 인터페이스를 제공하기 어려운 환경, 예를 들면 소형 카메라가 달린 휴대폰으로부터 해상도가 낮은 얼굴영상이 입력된다 하더라도, 눈썹, 눈, 코, 입, 얼굴 윤곽선에 대한 특징점들을 정확하게 추출할 수 있다.

한편, ASM 적응화는 얼굴영상에 로딩된 ASM의 특징점들을 직선으로 연결하고 그 중점에서 직선에 대한 법선방향의 픽셀들에 대하여 탐색을 실시하여, 그 탐색영역에서 기본의 학습치와 최대 상관이 일어나는 픽셀을 새로운 중점으로 변경하고 변경된 중점에 맞게 특징점들의 위치를 변경시켜 나가는 과정을 반복함으로써 눈썹, 눈, 코, 입, 얼굴 윤곽선에 대한 특징점들을 찾아내는 것이다.

그러나, 지금까지 ASM 적응화에 있어서 탐색영역을 어떻게 설정하는지에 대한 기준이 없었으며, 이로 인하여 탐색영역이 지나치게 넓을 경우 찾아야할 영역을 크게 벗어나 엉뚱한 곳에 있는 특징점들을 추출하거나, 탐색영역이 너무 작은 경우 ASM 적응화에 너무 많은 시간이 소비될 우려가 있었다.

또한, 대부분의 특징점들이 원하는 영역내에서 추출되었다 하더라도 한 두개의 특징점이 엉뚱한 곳에서 추출되면 특징점들 전체의 모양이 완전히 흐트러질 우려도 있었다. 예를 들면, 콧방울이 있는 부분과 윗입술 중앙의 오목하게 들어간 부분은 그 형태와 위치가 서로 비슷한데, 이 때 입술선을 찾는 특징점들의 탐색영역이 지나치게 크면 콧방울이 있는 부분을 입술 윗선으로 착각할 수도 있다. 다시 말해, ASM의 적응화 단계에서 한 두개의 특징점을 잘못 추출하면, 이로 인해 다른 특징점들도 잘못 추출될 가능성이 높아진다.

따라서, 가능한 ASM 적응화 단계에서 특징점이 잘못 추출되지 않도록 탐색영역을 제한할 필요가 있으며, 이를 위하여 본 발명에서는 다음과 같이 각 얼굴 구성요소에 대한 특징점 추출의 탐색영역을 미리 제한한 상태에서 ASM 적응화를 수행한다.

예를 들어, 눈의 경우 눈의 윗쪽 특징점들의 탐색영역은 눈썹과의 거리의 1/2 이하가 되도록 제한하고, 눈의 아래쪽 특징점들의 탐색영역은 눈 상하폭의 1/2 이하가 되도록 제한한다. 또한, 코의 경우 콧구멍 및 콧방울에 해당되는 특징점들의 탐색영역은 윗입술과의 거리의 1/2 이하가 되도록 제한하며, 입술의 경우 입술 윗쪽 특징점들의 탐색영역은 콧방울과의 거리의 1/2 이하가 되도록 제한하고, 입술 아랫쪽 특징점들의 탐색영역은 입술 상하폭의 1/3 이하가 되도록 제한한다.

상기 탐색영역의 제한치는 여러번의 실험을 통하여 얻어진 특징점 추출 오류를 최소화할 수 있는 값이며, 이러한 탐색영역의 제한에 의하여 특징점 추출의 신뢰성을 높일 수 있다.

캐리커쳐 생성부(39)는 3차원 얼굴 캐리커쳐를 생성하는 얼굴 캐리커쳐 생성부(39a) 및 3차원 신체 캐리커쳐를 생성하는 신체 캐리커쳐 생성부(39b)로 구성되어 있는데, 이에 대하여는 도 2에 관한 설명에서 자세히 서술하기로 하고 이하 약술한다.

얼굴 캐리커쳐 생성부(39a)는 ASM 적응화를 통하여 추출된 얼굴 특징점 정보를 이용하여 3차원 폴리곤 얼굴 기본 모델을 변형시킴으로써 사용자의 얼굴특징이 반영된 3차원 얼굴 캐리커쳐를 생성하며, 신체 캐리커쳐 생성부(39b)는 3차원 신체 모델 DB(15)에 저장된 헤어, 몸, 안경, 액세서리, 옷, 신발 등의 신체 구성요소 등의 3차원 신체 모델을 기초로 하여 3차원 신체 캐리커쳐를 생성한다.

투영부(40)는 2차원 캐리커쳐가 필요한 경우 캐리커쳐 생성부(39)를 통하여 생성된 3차원 캐리커쳐를 2차원으로 투영시켜 2차원 캐리커쳐를 생성할 수 있도록 구성되어 있다.

캐리커쳐 저장부(50)는 캐리커쳐 생성부(39)를 통하여 생성된 3차원 캐리커쳐를 저장하며, 캐리커쳐 송수신부(70)는 3차원 캐리커쳐에서 특징점들의 좌표값 및 메모리 참조값을 추출하여 전송하는데, 이렇게 전송된 3차원 캐리커쳐를 복원하는 방법에 대하여는 도 3에 관한 설명에서 자세히 서술하기로 한다.

참고로, 전술한 본 발명의 구성 요소들은 하드웨어로 구현될 경우 당업자에 의해 다양한 변형 및 균등한 실시예가 가능하다. 예를 들면, 본 발명에서 학습 데이터, 2차원 얼굴 텍스쳐, 3차원 폴리곤 얼굴 기본 모델, 3차원 신체 모델 외에 다른 데이터들이 저장되는 메모리부(10)는 ASM 로딩부(35), ASM 적응부(37) 또는 캐리커쳐 생성부(39) 등이 별도의 메모리를 포함할 경우 다수의 메모리로 분할하여 구성될 수 있으며, ASM 로딩부(35), ASM 적응부(37) 또는 캐리커쳐 생성부(39) 등의 구성 요소들은 마이크로 프로세스에서 구동되는 소프트웨어등으로 구현될 수 있다.

한편, 본 발명에 따른 3차원 캐리커쳐 생성 방법은, 입력된 얼굴영상을 정규화하는 전처리 단계, 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 초기위치를 검출하는 단계, 검출된 초기위치에 대응하도록 ASM을 전처리된 얼굴영상에 로딩한 후 로딩된 ASM을 적응화시켜 특징점들을 추출하는 단계, 및 3차원 폴리곤 얼굴 기본 모델을 로딩한 후 ASM 적응화를 통하여 추출된 특징점들의 좌표값에 따라 로딩된 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 바람직한 실시예에 있어서, 3차원 폴리곤 얼굴 캐리커쳐를 2차원으로 투영시켜 2차원 얼굴 캐리커쳐를 획득하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 바람직한 실시예에 있어서, 3차원 폴리곤 얼굴 캐리커쳐에서 특징점들의 좌표값 및 메모리 참조값을 추출하여 전송하는 단계를 더 포함하는 것을 특징으로 한다.

이하, 본 발명에 따른 3차원 캐리커쳐 생성 방법에 대하여 첨부된 도면들을 참조하여 상세히 설명한다.

도 2는 본 발명에 따른 3차원 캐리커쳐 생성 방법의 흐름도이다.

우선, 얼굴영상이 입력되면 전처리부(31)가 가버 필터 응답을 이용하여 입력된 얼굴영상에서 얼굴영역을 검출하고, 얼굴영역 크기를 메모리부(10)에 저장된 3차원 폴리곤 얼굴 기본 모델과 1:1 매핑될 수 있는 크기로 정규화하는 전처리를 수행한다(S10)(도 4(a) ~ 도 4(d) 참조).

그 다음, 얼굴 구성요소 초기위치 검출부(33)가 전처리된 얼굴영상을 흑백 이미지로 변환한 후 캐니 필터를 적용하여 각 얼굴 구성요소에 대한 초기위치를 검출하면(S30), ASM 로딩부(31)는 검출된 초기위치에 대응하도록 전처리된 얼굴영상에 ASM을 로딩한다(S50).

그 다음, ASM 적응부(37)는 학습 데이터 DB(11)에 저장된 ASM의 형태적 변화 특징 데이터를 이용하여 로딩된 ASM을 적응화시켜 전처리된 얼굴영상으로부터 눈썹, 눈, 코, 입술, 얼굴 윤곽선에 대한 특징점들을 추출한다(S70).

상기 특징점 추출시 각 얼굴 구성요소에 대한 특징점 추출의 탐색영역을 미리 제한한 상태에서 ASM 적응화를 수행하는데, 탐색영역의 제한에 대하여는 도 1에 서 상세히 설명하였으므로 이에 대한 자세한 설명은 생략한다.

그 다음, 얼굴 캐리커쳐 생성부(39a)는 3차원 폴리곤 얼굴 기본 모델 DB(15) 및 2차원 얼굴 텍스쳐 DB(13)로부터 3차원 얼굴 기본 모델 및 2차원 얼굴 텍스쳐를 로딩하고(S90), 로딩된 2차원 얼굴 텍스쳐를 3차원 얼굴 기본 모델에 매핑한 후(110), 추출된 특징점들의 좌표값에 따라 3차원 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성한다(S130).

여기에서, 2차원 얼굴 텍스쳐는 도 6(a)에 도시된 바와 같이 피부색, 눈썹색, 입술색 등을 3차원 얼굴 기본 모델에 적용하기 위한 것으로, 도 6(b)에 도시된 바와 같이 2차원 얼굴 텍스쳐를 3차원 얼굴 기본 모델에 매핑하면 보다 자연스럽고 정교한 3차원 얼굴 캐리커쳐가 생성되는 것을 알 수 있다.

추출된 특징점들의 좌표값에 따라 3차원 얼굴 기본 모델을 변형하는 것에 대해 개략적으로 설명하면 다음과 같다. ASM 적응부(37)를 통하여 추출된 특징점들은 XY 좌표값을 가지는데, 이들 XY 좌표값을 기초로 특징점들을 3차원 얼굴 기본 모델에 적용하면, 3차원 얼굴 기본 모델상의 폴리곤 성분들이 변위되어 결과적으로 사용자의 얼굴과 유사하게 3차원 얼굴 기본 모델이 변형되게 된다.

도 7은 3차원 폴리곤 얼굴 기본 모델을 변형하는 것을 설명하기 위한 도면으로서, 도 7에 도시된 바와 같이 3차원 얼굴 기본 모델상의 기본 특징점들을 A, B, C 라 하고, A, B C 세점이 이루는 삼각형 안에 있는 소정의 폴리곤을 D 라고 하고, △ABC의 넓이를 Area, △DBC의 넓이를 A1, △DAC의 넓이를 A2, △DAB의 넓이를 A3라고 가정한다.

ASM 적응화를 통해 추출된 특징점 A′, B′, C′를 3차원 얼굴 기본 모델상에 적용하면, 얼굴 기본 모델상의 기본 특징점들은 각각 A → A′, B → B′, C → C′ 로 이동되며, 이에 따라 3차원 얼굴 기본 모델상의 폴리곤들도 변위되는데, 이 때 폴리곤 D의 변위는 하기의 수학식 1과 같이 주어진다.

상기 수학식 1에 있어서, w1, w2, w3는 각각 A1을 Area로 나눈 값, A2를 Area로 나눈 값, A3를 Area로 나눈 값: 이다.

특징점 적용에 따라 폴리곤 D가 변위되면 폴리곤 D 주변의 폴리곤들 또한 동일한 방식으로 변위되며, 이로 인하여 3차원 얼굴 기본 모델이 전체적으로 사용자의 얼굴과 유사하게 변형된다.

상기에서 추출된 특징점들을 3차원 얼굴 기본 모델상에 적용할 때 XY 좌표값 이외의 정보, 예를 들면 Z축 방향의 좌표값은 3차원 얼굴 기본 모델이 갖고 있는 인류학적 표준 데이터를 그대로 활용하는데, 예를 들어, ASM 적응화를 통하여 추출된 특징점의 X, Y좌표가 (170, 210) 인 경우, 이를 3차원 얼굴 기본 모델상에 적용하면 특징점의 X, Y, Z 좌표는 (170, 210, 35)가 되는데, 여기에서 Z축 방향의 좌표값 35는 3차원 얼굴 기본 모델이 갖고 있는 인류학적 표준 데이터 값이다.

한편, 상기와 같이 3차원 얼굴 기본 모델이 갖고 있는 인류학적 표준 데이터를 그대로 활용하는 방법 외에, 후술하는 바와 같이 측면 얼굴영상을 이용하여 사용자와 더욱 유사한 3차원 캐리커쳐를 생성할 수도 있다.

우선, 측면 얼굴영상이 입력된 경우 전처리부(31)는 입력된 측면 얼굴영상에서 코의 끝점과 눈썹을 검출하여 이를 기초로 측면 얼굴영상을 정규화하며, 얼굴 구성요소 초기위치 검출부(33)는 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 측면 초기위치를 검출한다. 그 다음, ASM 로딩부(35)는 검출된 측면 초기위치에 대응하도록 메모리부(10)에 저장된 측면 ASM을 전처리된 측면 얼굴영상에 로딩하고, ASM 적응부(37)는 로딩된 측면 ASM을 적응화시켜 전처리된 측면 얼굴영상으로부터 눈썹, 눈, 코, 입술, 얼굴 윤곽선에 대한 특징점들의 YZ 좌표값을 추출한다. 그 다음, 얼굴 캐리커쳐 생성부(39)는 ASM 적응부(37)를 통하여 추출된 특징점들의 XY, YZ좌표값에 따라 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성한다.

또한, 사용자와 유사하면서도 희화성이나 과장성이 강조된 3차원 캐리커쳐를 생성하기 위하여 스네이크(Snake) 알고리즘을 이용하여 얼굴 기본 모델을 변형할 수도 있는데, 이하 스네이크 알고리즘을 사용하여 3차원 얼굴 기본 모델을 변형하는 방법에 대하여 간략하게 설명한다.

스네이크 알고리즘은 영상 힘(imgae forces)과 같은 에너지 최소화를 반복 수행하여 영상내에서 라인, 에지, 윤곽선 등을 추출하는 방법으로, 본 발명에서는 스네이크 알고리즘을 적용하여 특징점들간의 상호 위치 및 특징점들이 이루는 형상을 가능한 유지하면서 XY 위치변환을 수행하고, 나머지 주변점들은 기본 모델상의 좌표값을 기초로 XYZ 변환함으로써, 사용자의 얼굴과 유사하면서도 희화성이나 과장성이 강조된 캐리커쳐를 생성한다.

과장성이 강조된 캐리커쳐의 일예가 도 8에 도시되어 있다. 도 8에 도시된 바와 같이, 과장된 3차원 얼굴 기본 모델을 사용하고 사용자의 얼굴 구성요소에서 중요 특징들만을 3차원 얼굴 기본 모델에 적용함으로써 사용자의 얼굴과 유사한 각종 3차원 캐릭터들을 생성할 수 있다.

그 다음, 신체 캐리커쳐 생성부(39b)가 3차원 신체 모델 DB(17)에 저장된 3차원 신체 모델을 기초로 하여 3차원 신체 캐리커쳐를 생성한 후(S150), 이를 3차원 폴리곤 얼굴 캐리커쳐와 합성하여 3차원 캐리커쳐를 완성한다(S170).

한편, 2차원 캐리커쳐가 필요한 경우 투영부(40)를 통하여 3차원 캐리커쳐를 2차원으로 투영시켜 2차원 캐리커쳐를 생성하며(S190~S210), 3차원 캐리커쳐의 전송이 필요한 경우 3차원 캐리커쳐에서 특징점들의 좌표값 및 메모리 참조값을 추출하여 전송한다(S230~250).

도 3은 도 2에 있어서 전송된 3차원 캐리커쳐를 복원하는 방법의 흐름도이다.

우선, 얼굴 캐리커쳐 생성부(39a)는 수신된 메모리 참조값에 대응하는 3차원 얼굴 기본 모델 및 2차원 얼굴 텍스쳐를 3차원 폴리곤 얼굴 기본 모델 DB(15) 및 2차원 얼굴 텍스쳐 DB(13)로부터 로딩한다(S310).

그 다음, 2차원 얼굴 텍스쳐를 3차원 얼굴 기본 모델에 매핑한 후, 수신된 특징점들의 좌표값에 따라 3차원 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 복원한다(S330~S350).

그 다음, 신체 캐리커쳐 생성부(39b)가 수신된 메모리 참조값에 대응하는 3차원 신체 모델을 3차원 신체 모델 DB(17)로부터 로딩하여 3차원 신체 캐리커쳐를 복원한 후, 이를 3차원 폴리곤 얼굴 캐리커쳐와 합성하여 3차원 캐리커쳐를 복원한다(S370~S390).

상술한 바와 같은 3차원 캐리커쳐 전송 및 복원 방법은, 3차원 캐리커쳐 생성 장치들간(100, 100) 뿐만 아니라, 3차원 캐리커쳐를 복원할 수 있는 데이터베이스만 구비될 수 있다면, 캐리커쳐 스티커 자판기, 컴퓨터, 휴대폰, PDA 등의 통신단말기, 아바타를 이용한 게임, 채팅 인터넷 서비스 등 다양한 분야에 적용될 수 있는데, 예를 들면 캐리커쳐 스티커 자판기로부터 전송된 3차원 캐리커쳐를 인터넷 아바타 사이트에서 복원하거나, 컴퓨터로부터 전송된 3차원 캐리커쳐를 휴대폰에서 복원할 수 있다.

본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명의 3차원 캐리커쳐 생성 장치 및 방법에 따르면, 얼굴에 맞게 특화된 ASM 기법을 이용하여 얼굴을 특징짓는 요소들의 특징점 정보를 정확하게 추출할 수 있으므로 사용자의 얼굴과 유사성이 높은 3차원 캐리커쳐를 생성할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 2차원 캐리커쳐가 필요한 경우 3차원 캐리커쳐를 투영에 의하여 2차원 캐리커쳐로 쉽게 변환할 수 있으며, 3차원 캐리커쳐 전송시 얼굴의 특징 정보와 3차원 캐리커쳐에 사용된 메모리 참조값만을 전송하므로 시스템 부담을 최소화시킬 수 있는 효과도 있다.

게다가, 본 발명에 따르면, 캐리커쳐 스티커 자판기, 컴퓨터, 휴대폰, PDA 등의 통신단말기, 인터넷상에서 3차원 캐리커쳐를 간단하게 복원하여 사용할 수 있는 효과도 있다.

도 1은 본 발명에 따른 3차원 캐리커쳐 생성 장치의 개략적인 블럭도이다.

도 2는 본 발명에 따른 3차원 캐리커쳐 생성 방법의 흐름도이다.

도 3은 도 2에 있어서 전송된 3차원 캐리커쳐를 복원하는 방법의 흐름도이다.

도 4는 얼굴에 맞게 특화된 ASM 기법을 이용하여 입력된 얼굴영상에서 특징점을 추출하는 것을 설명하기 위한 도면이다.

도 5는 얼굴 구성요소의 초기위치 검출에 의하여 ASM 적응화 성능이 향상된 일예를 도시한 도면이다.

도 6은 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 것을 설명하기 위한 도면이다.

도 7은 3차원 폴리곤 얼굴 기본 모델을 변형하는 것을 설명하기 위한 도면이다.

도 8은 과장성이 강조된 캐리커쳐의 일예를 도시한 도면이다.

* 도면의 주요부분에 대한 부호의 설명 *

10...메모리부 11...학습 데이터 DB

13...2차원 얼굴 텍스쳐 DB 15...3차원 폴리곤 얼굴 기본 모델 DB

17...3차원 신체 모델 DB 30...영상처리부

31...전처리부 33...얼굴 구성요소 초기위치 검출부

35...ASM 로딩부 37...ASM 적응부

39...캐리커쳐 생성부 39a...얼굴 캐리커쳐 생성부

39b...신체 캐리커쳐 생성부 40...투영부

50...캐리커쳐 저장부 70...캐리커쳐 송수신부

Claims (22)

1. 사용자의 얼굴영상을 기초로 하여 캐리커처를 생성하는 장치에 있어서,

   3차원 캐리커쳐 생성에 필요한 ASM과, 3차원 폴리곤 얼굴 기본 모델이 저장된 메모리부;

   입력된 얼굴영상으로부터 얼굴영역을 검출하고 얼굴영역 크기를 상기 3차원 폴리곤 얼굴 기본 모델에 매핑될 수 있는 크기로 정규화하는 전처리부;

   상기 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 초기위치를 검출하는 얼굴 구성요소 초기위치 검출부;

   상기 검출된 초기위치에 대응하도록 상기 메모리부에 저장된 ASM을 상기 전처리된 얼굴영상에 로딩하는 ASM 로딩부;

   상기 초기 위치가 검출된 얼굴 구성요소에 대하여 미리 제한된 탐색영역에서 상기 로딩된 ASM을 적응화시켜 상기 얼굴 구성요소에 대한 특징점들을 추출하는 ASM 적응부; 및

   상기 메모리부로부터 3차원 폴리곤 얼굴 기본 모델을 로딩한 후 상기 ASM 적응부를 통하여 추출된 특징점들의 좌표값에 따라 상기 로딩된 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 캐리커쳐 생성부를 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
2. 제 1항에 있어서, 상기 전처리부는, 가버 필터 응답을 이용하여 상기 입력된 얼굴영상에서 얼굴영역을 검출하고, 얼굴영역 크기를 상기 메모리부에 저장된 3차원 폴리곤 얼굴 기본 모델과 1:1 매핑될 수 있는 크기로 정규화하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
3. 제 1항에 있어서, 상기 얼굴 구성요소 초기위치 검출부는, 상기 전처리된 얼굴영상을 흑백 이미지로 변환한 후 캐니 필터를 적용하여 얼굴 구성요소에 대한 각각의 초기위치를 검출하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
4. 제 1항에 있어서, 상기 메모리부는 ASM의 형태적 변화 특징 데이터를 더 포함하며, 상기 ASM 적응부는 상기 메모리부에 저장된 ASM의 형태적 변화 특징 데이터를 이용하여 상기 전처리된 얼굴영상으로부터 눈썹, 눈, 코, 입술, 얼굴 윤곽선에 대한 특징점들을 추출하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
5. 제 1항 또는 제 4항에 있어서, 상기 ASM 적응부는 특징점 추출시 얼굴 구성요소에 대한 특징점 추출의 탐색영역을 미리 제한하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
6. 제 1항에 있어서, 상기 메모리부는 상기 3차원 폴리곤 얼굴 기본 모델을 텍스처링하기 위한 2차원 얼굴 텍스쳐를 더 포함하며, 상기 캐리커쳐 생성부는 상기 메모리부에 저장된 2차원 얼굴 텍스쳐를 상기 3차원 폴리곤 얼굴 기본 모델에 매핑하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
7. 제 1항에 있어서, 상기 메모리부는 3차원 신체 캐리커쳐 생성에 필요한 3차원 신체 모델을 더 포함하며, 상기 캐리커쳐 생성부는 상기 메모리부에 저장된 3차원 신체 모델을 기초로 하여 3차원 신체 캐리커쳐를 생성하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
8. 제 1항에 있어서, 측면 얼굴영상이 입력된 경우,

   상기 전처리부는 상기 입력된 측면 얼굴영상에서 코의 끝점과 눈썹을 검출하여 이를 기초로 측면 얼굴영상을 정규화하며,

   상기 얼굴 구성요소 초기위치 검출부는 상기 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 측면 초기위치를 검출하며,

   상기 ASM 로딩부는 상기 검출된 측면 초기위치에 대응하도록 상기 메모리부에 저장된 측면 ASM을 상기 전처리된 측면 얼굴영상에 로딩하며,

   상기 ASM 적응부는 상기 로딩된 측면 ASM을 적응화시켜 상기 전처리된 측면 얼굴영상으로부터 얼굴 구성요소에 대한 특징점들의 좌표값을 추출하며, 그리고

   상기 캐리커쳐 생성부는 상기 ASM 적응부를 통하여 추출된 특징점들의 좌표값에 따라 상기 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
9. 제 1항에 있어서, 상기 캐리커쳐 생성부를 통하여 생성된 3차원 폴리곤 얼굴 캐리커쳐를 2차원으로 투영시켜 2차원 얼굴 캐리커쳐를 획득하는 투영부를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
10. 제 1항에 있어서, 상기 캐리커쳐 생성부를 통하여 생성된 3차원 폴리곤 얼굴 캐리커쳐에서 특징점들의 좌표값 및 메모리 참조값을 추출하여 전송하는 캐리커쳐 송수신부를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
11. 제 10항에 있어서, 상기 캐리커쳐 송수신부로부터 상기 3차원 폴리곤 얼굴 캐리커쳐의 특징점들의 좌표값 및 메모리 참조값이 수신된 경우,

    상기 캐리커쳐 생성부는,

    상기 메모리부로부터 상기 수신된 메모리 참조값에 대응하는 3차원 폴리곤 얼굴 기본 모델 및 2차원 얼굴 텍스쳐를 로딩한 후, 상기 2차원 얼굴 텍스쳐를 3차원 폴리곤 얼굴 기본 모델에 매핑하고, 상기 수신된 특징점들의 좌표값에 따라 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 복원하는 것을 특징으로 하는 3차원 캐리커쳐 생성 장치.
12. 사용자의 얼굴영상을 기초로 하여 캐리커처를 생성하는 방법에 있어서,

    입력된 얼굴영상으로부터 얼굴영역을 검출하고 얼굴영역 크기를 상기 3차원 폴리곤 얼굴 기본 모델에 매핑될 수 있는 크기로 정규화하는 전처리 단계;

    상기 전처리된 얼굴영상에서 상기 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 초기위치를 검출하는 단계;

    상기 검출된 초기위치에 대응하도록 ASM을 상기 전처리된 얼굴영상에 로딩한 후 상기 상기 초기치가 검출된 얼굴 구성요소에 대하여 미리 제한된 탐색영역에서 상기 로딩된 ASM을 적응화시켜 특징점들을 추출하는 단계; 및

    3차원 폴리곤 얼굴 기본 모델을 로딩한 후 상기 ASM 적응화를 통하여 추출된 특징점들의 좌표값에 따라 상기 로딩된 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
13. 제 12항에 있어서, 상기 전처리 단계는,

    가버 필터 응답을 이용하여 상기 입력된 얼굴영상에서 얼굴영역을 검출하고, 얼굴영역 크기를 상기 3차원 폴리곤 얼굴 기본 모델과 1:1 매핑될 수 있는 크기로 정규화하는 단계를 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
14. 제 12항에 있어서, 상기 얼굴 구성요소의 초기위치 검출 단계는, 상기 전처리된 얼굴영상을 흑백 이미지로 변환한 후 캐니 필터를 적용하여 각 얼굴 구성요소들의 초기위치를 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
15. 제 12항에 있어서, 상기 특징점을 추출하는 단계는, ASM의 형태적 변화 특징 데이터를 이용하여 상기 전처리된 얼굴영상으로부터 눈썹, 눈, 코, 입술, 얼굴 윤곽선에 대한 특징점들을 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
16. 제 12항 또는 제 15항에 있어서, 상기 얼굴 구성요소에 대한 특징점 추출시 특징점 추출의 탐색영역을 미리 제한하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
17. 제 12항에 있어서, 상기 3차원 폴리곤 얼굴 기본 모델에 2차원 얼굴 텍스쳐를 매핑하는 단계를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
18. 제 12항에 있어서, 3차원 신체 모델을 기초로 하여 3차원 신체 캐리커쳐를 생성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
19. 제 12항에 있어서, 측면 얼굴영상이 입력된 경우,

    상기 입력된 측면 얼굴영상에서 코의 끝점과 눈썹을 검출하여 이를 기초로 측면 얼굴영상을 정규화하는 단계;

    상기 전처리된 얼굴영상에서 얼굴 구성요소에 대한 각각의 측면 초기위치를 검출하는 단계;

    상기 검출된 측면 초기위치에 대응하도록 측면 ASM을 상기 전처리된 측면 얼굴영상에 로딩하는 단계;

    상기 로딩된 측면 ASM을 적응화시켜 상기 전처리된 측면 얼굴영상으로부터 얼굴 구성요소에 대한 특징점들의 좌표값을 추출하는 단계; 및

    상기 ASM 적응화를 통하여 추출된 특징점들의 좌표값에 따라 상기 로딩된 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 생성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
20. 제 12항에 있어서, 상기 3차원 폴리곤 얼굴 캐리커쳐를 2차원으로 투영시켜 2차원 얼굴 캐리커쳐를 획득하는 단계를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
21. 제 12항에 있어서, 상기 3차원 폴리곤 얼굴 캐리커쳐에서 특징점들의 좌표값 및 메모리 참조값을 추출하여 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.
22. 제 21항에 있어서, 상기 3차원 폴리곤 얼굴 캐리커쳐의 특징점들의 좌표값 및 메모리 참조값이 수신된 경우,

    상기 수신된 메모리 참조값에 대응하는 3차원 폴리곤 얼굴 기본 모델 및 2차원 얼굴 텍스쳐를 로딩하는 단계;

    상기 2차원 얼굴 텍스쳐를 3차원 폴리곤 얼굴 기본 모델에 매핑하는 단계; 및

    상기 수신된 특징점들의 좌표값에 따라 3차원 폴리곤 얼굴 기본 모델을 변형하여 3차원 폴리곤 얼굴 캐리커쳐를 복원하는 단계를 더 포함하는 것을 특징으로 하는 3차원 캐리커쳐 생성 방법.