KR20140090353A - 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법 - Google Patents

얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20140090353A
KR20140090353A KR1020130001902A KR20130001902A KR20140090353A KR 20140090353 A KR20140090353 A KR 20140090353A KR 1020130001902 A KR1020130001902 A KR 1020130001902A KR 20130001902 A KR20130001902 A KR 20130001902A KR 20140090353 A KR20140090353 A KR 20140090353A
Authority
KR
South Korea
Prior art keywords
face
dimensional
caricature
texture
shape
Prior art date
Application number
KR1020130001902A
Other languages
English (en)
Inventor
황본우
김갑기
임성재
윤승욱
전혜령
구본기
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130001902A priority Critical patent/KR20140090353A/ko
Priority to US14/147,773 priority patent/US20140192045A1/en
Publication of KR20140090353A publication Critical patent/KR20140090353A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F15/00—Flooring
    • E04F15/18—Separately-laid insulating layers; Other additional insulating measures; Floating floors
    • E04F15/20—Separately-laid insulating layers; Other additional insulating measures; Floating floors for sound insulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F2290/00—Specially adapted covering, lining or flooring elements not otherwise provided for
    • E04F2290/04—Specially adapted covering, lining or flooring elements not otherwise provided for for insulation or surface protection, e.g. against noise, impact or fire
    • E04F2290/041—Specially adapted covering, lining or flooring elements not otherwise provided for for insulation or surface protection, e.g. against noise, impact or fire against noise

Abstract

본 발명은 3차원 캐리커처 생성 장치 및 그 방법을 개시한다. 3차원 캐리커처 생성 장치는 사용자의 얼굴의 형태 및 질감에 대응하여 상기 사용자의 3차원 얼굴 데이터를 생성하는 3차원 얼굴 데이터 생성부; 상기 3차원 얼굴 데이터와 참조 얼굴을 기초하여 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성하는 3차원 고유얼굴 모델 생성부; 및 상기 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성하는 3차원 캐리커처 생성부를 포함한다.

Description

얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법{METHOD AND DEVICE FOR PRODUCING THREE-DIMENSIONAL CARICATURE USING SHAPE AND TEXTURE OF FACE}
본 발명은 3차원 캐리커처 생성 장치 및 그 방법에 관한 것이다. 보다 구체적으로 얼굴의 형태 및 질감을 이용하여 사용자의 3차원 캐리커처를 생성하고, 사용자가 원하는 의도에 따라 3차원 캐리커처를 제공하는 3차원 캐리커처 생성 장치에 관한 것이다.
일반적으로 캐리커처 자동 생성 시스템은 얼굴 사진 영상으로부터 얼굴의 특정 부위의 형태를 2차원적으로 과장하거나 왜곡하고, 질감 정보를 변형함으로써, 캐리커처 영상을 생성한다. 최근의 캐리커처 자동 생성 시스템은 얼굴 모델링 기법을 사용하여 3차원 캐리커처를 생성하는 형태로 발전하고 있다. 여기서, 얼굴 모델링 기법은 정면과 측면의 얼굴 영상을 이용하여 통계적 분석을 통해 얼굴 특징 정보를 추출할 수 있다. 또한, 얼굴 모델링 기법은 Active Shape Model 방법을 사용하여 얼굴 특징점 정보를 추출하고, 추출된 특징점 정보를 기초하여 3차원 얼굴 기본 모델을 변형시킴으로써 사용자의 얼굴과 유사한 3차원 얼굴 모델을 생성한다.
그러나, 얼굴 모델링 기법을 이용한 방법은 얼굴의 과장이나 의도적인 왜곡을 수행하지 않아 캐리커처의 특징 부분을 반영하지 못한다. 다시 말해, 기존의 방법은 캐리커처의 예술적이고, 독창적인 면을 반영하지 못하고 얼굴의 3차원 형태 정보를 그대로 반영하는데 그치고 있다.
또한, 캐리커처 자동 생성 시스템은 캐리커처 생성을 위한 입력 얼굴이 주어지면, 참조 얼굴 템플릿과의 형태적인 차이를 과장함으로써 캐리커처가 갖는 고유 특성을 반영하여 3차원 캐리커처를 제작하려는 연구가 진행되었다. 하지만, 이러한 방법은 단순히 참조 얼굴과의 형태적인 차이를 강조하는 데 그치므로 전문 모델러의 감각적인 수작업을 통해 발현되는 예술적인 스타일을 반영하지 못한다.
본 발명은 사용자의 얼굴에 대해 전문 모델러의 스타일을 반영한 3차원 캐리커처를 생성함으로써, 예술적이고, 독창적인 캐리커처의 고유 특성을 효과적으로 반영하여 다양한 스타일의 3차원 캐리커처를 생성하는 3차원 캐리커처 생성 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 3차원 캐리커처 생성 장치는 사용자의 얼굴의 형태 및 질감에 대응하여 상기 사용자의 3차원 얼굴 데이터를 생성하는 3차원 얼굴 데이터 생성부; 상기 3차원 얼굴 데이터와 참조 얼굴을 기초하여 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성하는 3차원 고유얼굴 모델 생성부; 및 상기 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성하는 3차원 캐리커처 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 데이터 생성부는 구조광이 투영된 상기 얼굴의 위상 변화를 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고, 구조광이 투영되지 않은 확산(Diffuse) 조명에서 촬영된 얼굴 영상을 이용하여 상기 얼굴의 질감을 생성할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 데이터 생성부는 적어도 하나 이상의 상기 얼굴의 대응 관계로부터 삼각법(Triangulation)을 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고, 적어도 하나 이상의 상기 얼굴 중 특정 얼굴을 기준으로 상기 얼굴의 질감을 생성할 수 있다.
본 발명의 일실시예에 따른 참조 얼굴은 얼굴 구성 요소의 형태 정보를 표현할 수 있는 3차원 점의 위치 정보와 상기 3차원 점을 연결하는 에지 정보로 구성된 참조 얼굴의 형태 정보를 포함하고, 상기 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소로 구성된 참조 얼굴의 질감 정보를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 고유얼굴 모델 생성부는 상기 3차원 얼굴 데이터의 얼굴의 형태와 상기 참조 얼굴의 형태 간의 대응 관계에 따라 상기 참조 얼굴의 형태를 3차원 등록 기법(Registration)을 통해 변형하여 고유얼굴의 형태를 생성할 수 있다.
본 발명의 일실시예에 따른 3차원 고유얼굴 모델 생성부는 상기 3차원 얼굴 데이터의 얼굴의 질감과 상기 참조 얼굴의 질감 간의 대응 관계에 따라 상기 3차원 얼굴 데이터의 질감을 왜곡(Warping)을 통해 변형하여 고유얼굴의 질감을 생성할 수 있다.
본 발명의 일실시예에 따른 캐리커처 기저 얼굴 모델은 기 생성된 적어도 하나 이상의 3차원 고유얼굴 모델과 전문 모델러가 생성한 3차원 캐리커처에 대응하는 3차원 캐리커처 기저 얼굴 모델의 형태 및 질감을 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 캐리커처 생성부는 상기 고유얼굴의 형태를 상기 캐리커처 기저 얼굴 모델의 형태의 고유 얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 최적화 기법을 통해 산출한 경우, 상기 고유얼굴의 형태에서 산출된 형태 가중 벡터와 상기 형태의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 형태를 생성할 수 있다.
본 발명의 일실시예에 따른 3차원 캐리커처 생성부는 상기 고유얼굴의 질감을 상기 캐리커처 기저 얼굴 모델의 질감의 고유 얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 질감 가중 벡터를 최적화 기법을 통해 산출한 경우, 상기 고유얼굴의 질감에서 산출된 질감 가중 벡터와 상기 질감의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 질감을 생성할 수 있다.
본 발명의 일실시예에 따른 3차원 캐리커처 생성 장치는 상기 생성된 3차원 캐리커처를 캐리커처 저장, 캐리커처 재생, 캐리커처 출력 중 적어도 하나를 상기 사용자의 원하는 시점에 따라 제공하는 3차원 캐리커처 제공부를 더 포함할 수 있다.
본 발명의 일실시예에 따라 3차원 캐리커처 생성 방법은 사용자의 얼굴의 형태 및 질감에 대응하여 상기 사용자의 3차원 얼굴 데이터를 생성하는 단계; 상기 3차원 얼굴 데이터와 참조 얼굴을 기초하여 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성하는 단계; 및 상기 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따라 3차원 얼굴 데이터를 생성하는 단계는 구조광이 투영된 상기 얼굴의 위상 변화를 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고, 구조광이 투영되지 않은 확산 조명에서 촬영된 얼굴 영상을 이용하여 상기 얼굴을 이용하여 상기 얼굴의 질감을 생성할 수 있다.
본 발명의 일실시예에 따라 3차원 얼굴 데이터를 생성하는 단계는 적어도 하나 이상의 상기 얼굴의 대응 관계로부터 삼각법(Triangulation)을 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고, 적어도 하나 이상의 상기 얼굴 중 특정 얼굴을 기준으로 상기 얼굴의 질감을 생성할 수 있다.
본 발명의 일실시예에 따라 참조 얼굴은 얼굴 구성 요소의 형태 정보를 표현할 수 있는 3차원 점의 위치 정보와 상기 3차원 점을 연결하는 에지 정보로 구성된 참조 얼굴의 형태 정보를 포함하고, 상기 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소로 구성된 참조 얼굴의 질감 정보를 포함할 수 있다.
본 발명의 일실시예에 따라 3차원 고유얼굴 모델을 생성하는 단계는 상기 3차원 얼굴 데이터의 얼굴의 형태와 상기 참조 얼굴의 형태 간의 대응 관계에 따라 상기 참조 얼굴의 형태를 3차원 등록 기법(Registration)을 통해 변형하여 고유얼굴의 형태를 생성할 수 있다.
본 발명의 일실시예에 따라 3차원 고유얼굴 모델을 생성하는 단계는 상기 3차원 얼굴 데이터의 얼굴의 질감과 상기 참조 얼굴의 질감 간의 대응 관계에 따라 상기 3차원 얼굴 데이터의 질감을 왜곡(Warping)을 통해 변형하여 고유얼굴의 질감을 생성할 수 있다.
본 발명의 일실시예에 따라 캐리커처 기저 얼굴 모델은 기 생성된 적어도 하나 이상의 3차원 고유얼굴 모델과 전문 모델러가 생성한 3차원 캐리커처에 대응하는 3차원 캐리커처 기저 얼굴 모델의 형태 및 질감을 포함할 수 있다.
본 발명의 일실시예에 따라 3차원 캐리커처를 생성하는 단계는 상기 고유얼굴의 형태를 상기 캐리커처 기저 얼굴 모델의 형태의 고유얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 최적화 기법을 통해 산출한 경우, 상기 고유얼굴의 형태에서 산출된 형태 가중 벡터와 상기 형태의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 형태를 생성할 수 있다.
본 발명의 일실시예에 따라 3차원 캐리커처를 생성하는 단계는 상기 고유얼굴의 질감을 상기 캐리커처 기저 얼굴 모델의 질감의 고유얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 최적화 기법을 통해 산출한 경우, 상기 고유얼굴의 질감에서 산출된 질감 가중 벡터와 상기 질감의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 질감을 생성할 수 있다.
본 발명의 일실시예에 따라 3차원 캐리커처 생성 방법은 상기 생성된 3차원 캐리커처를 캐리커처 저장, 캐리커처 재생, 캐리커처 출력 중 적어도 하나를 상기 사용자의 원하는 시점에 따라 제공하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 캐리커처 생성 장치는 사용자의 얼굴에 대해 전문 모델러의 스타일을 반영한 3차원 캐리커처를 생성함으로써, 예술적이고, 독창적인 캐리커처의 고유 특성을 효과적으로 반영하여 다양한 스타일의 3차원 캐리커처를 생성할 수 있다.
도 1은 일실시예에 따른 3차원 캐리커처 생성 장치를 도시한 도면이다.
도 2는 일실시예에 따른 3차원 캐리커처 생성 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 3차원 캐리커처 생성 장치를 구현한 도면이다.
도 4는 일실시예에 따른 3차원 캐리커처 생성 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 3차원 캐리커처 생성 장치를 도시한 도면이다.
도 1을 참조하면, 3차원 캐리커처 생성 장치(101)는 사용자의 얼굴을 수신할 수 있다. 그리고, 3차원 캐리커처 생성 장치(101)는 수신한 사용자의 얼굴에 대응하여 얼굴의 형태 및 질감에 따른 사용자의 3차원 얼굴 데이터를 생성할 수 있다. 구체적으로 3차원 캐리커처 생성 장치(101)는 구조광을 이용하여 얼굴의 형태와 확산 조명에서 촬영된 영상으로부터 질감을 생성할 수 있다. 또한, 3차원 캐리커처 생성 장치(101)는 적어도 하나 이상의 얼굴을 통해 얼굴의 형태 및 질감을 생성할 수 있다.
그리고, 3차원 캐리커처 생성 장치(101)는 생성된 3차원 얼굴 데이터와 참조 얼굴을 기초하여 3차원 고유얼굴 모델을 생성할 수 있다. 다시 말해, 3차원 캐리커처 생성 장치(101)는 3차원 얼굴 데이터와 참조 얼굴을 기초한 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성할 수 있다. 이 때, 참조 얼굴은 얼굴 구성 요소의 형태 정보를 표현할 수 있는 3차원 점의 위치 정보와 상기 3차원 점을 연결하는 에지 정보 및 상기 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소를 포함할 수 있다.
또한, 3차원 캐리커처 생성 장치(101)는 3차원 고유 얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성할 수 있다. 여기서, 캐리커처 기저 얼굴 모델은 기 생성된 적어도 하나 이상의 3차원 고유얼굴 모델과 전문 모델러가 생성한 3차원 캐리커처에 대응하는 3차원 캐리커처 기저 얼굴 모델의 형태 및 질감을 포함할 수 있다.
3차원 캐리커처 생성 장치(101)는 생성된 3차원 캐리커처를 사용자의 원하는 시점에 따라 제공할 수 있다. 다시 말해, 3차원 캐리커처 생성 장치(101)는 3차원 캐리커처를 캐리커처 저장(102), 캐리커처 재생(103), 캐리커처 출력(104) 중 적어도 하나를 사용자의 원하는 시점에 따라 제공할 수 있다. 사용자의 원하는 시점은 도 3을 통해 자세히 설명한다.
일실시예에 따른 3차원 캐리커처 생성 장치는 사용자의 얼굴에 대해 전문 모델러의 스타일을 반영한 3차원 캐리커처를 생성함으로써, 예술적이고, 독창적인 캐리커처의 고유 특성을 효과적으로 반영하여 다양한 스타일의 3차원 캐리커처를 생성할 수 있다.
도 2는 일실시예에 따른 3차원 캐리커처 생성 장치의 세부 구성을 도시한 도면이다.
도 2를 참조하면, 3차원 캐리커처 생성 장치(201)는 3차원 얼굴 데이터 생성부(202), 3차원 고유얼굴 모델 생성부(203), 3차원 캐리커처 생성부(204), 3차원 캐리커처 제공부(205)를 포함할 수 있다.
3차원 얼굴 데이터 생성부(202)는 사용자의 얼굴의 형태 및 질감에 대응하여 사용자의 3차원 얼굴 데이터를 생성할 수 있다. 구체적으로 3차원 얼굴 데이터 생성부(202)는 구조광을 이용하여 얼굴의 형태와 확산 조명에서 촬영된 영상으로부터 질감을 생성할 수 있다. 다시 말해, 3차원 얼굴 데이터 생성부(202)는 구조광이 투영된 얼굴의 위상 변화를 이용하여 얼굴의 3차원 위치에 따른 얼굴의 형태를 생성할 수 있다. 그리고, 3차원 얼굴 데이터 생성부(202)는 구조광이 투영되지 않은 확산 조명에서 촬영된 얼굴 영상을 이용하여 얼굴의 질감을 생성할 수 있다.
또한, 3차원 얼굴 데이터 생성부(202)는 적어도 하나 이상의 얼굴을 통해 얼굴의 형태 및 질감을 생성할 수 있다. 이 때, 얼굴은 적어도 하나 이상의 영상에 포함된 얼굴일 수 있다. 그리고, 영상은 스테레오 방식을 통해 획득될 수 있다. 3차원 얼굴 데이터 생성부(202)는 적어도 하나 이상의 얼굴 간의 대응 관계로부터 삼각법을 이용하여 얼굴의 3차원 위치에 따른 얼굴의 형태를 생성할 수 있다. 여기서, 대응 관계는 스테레오 방식을 통해 획득된 좌, 우의 영상 또는 상, 하의 영상으로 이루어진 쌍 간의 대응 관계일 수 있다. 그리고, 3차원 얼굴 데이터 생성부(202)는 얼굴의 형태를 생성하는데 기준이 되는 영상으로부터 얼굴의 질감을 생성할 수 있다.
따라서, 3차원 얼굴 데이터 생성부(202)는 구조광과 확산 조명을 이용하거나 또는 적어도 하나 이상의 얼굴을 이용하여 얼굴의 형태 및 질감을 생성할 수 있다. 그리고, 3차원 얼굴 데이터 생성부(202)는 생성된 얼굴의 형태 및 질감에 대응하여 사용자의 3차원 얼굴 데이터를 생성할 수 있다.
3차원 고유얼굴 모델 생성부(203)는 생성된 3차원 얼굴 데이터와 참조 얼굴을 기초하여 3차원 고유얼굴 모델을 생성할 수 있다. 이 때, 참조 얼굴은 얼굴 구성 요소의 형태 정보를 표현할 수 있는 3차원 점의 위치 정보와 3차원 점을 연결하는 에지 정보로 구성된 참조 얼굴의 형태를 포함할 수 있다. 그리고, 참조 얼굴은 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소로 구성된 참조 얼굴의 질감을 포함할 수 있다. 이 때, 얼굴 구성 요소는 얼굴의 눈, 코, 입, 얼굴형 및 두상 등을 포함할 수 있다.
3차원 고유얼굴 모델 생성부(203)는 3차원 얼굴 데이터의 얼굴의 형태와 참조 얼굴의 형태 간의 대응 관계를 이용할 수 있다. 3차원 고유얼굴 모델 생성부(203)는 3차원 얼굴 데이터의 얼굴의 형태와 참조 얼굴의 형태 간의 대응 관계를 통해 참조 얼굴의 형태를 3차원 등록기법(registration)을 통해 변형할 수 있다. 그리고, 3차원 고유얼굴 모델 생성부(203)는 참조 얼굴의 형태를 변형함으로써 고유얼굴의 형태를 생성할 수 있다.
또한, 3차원 고유얼굴 모델 생성부(203)는 3차원 얼굴 데이터의 얼굴의 질감과 참조 얼굴의 질감 간의 대응 관계를 이용할 수 있다. 3차원 고유얼굴 모델 생성부(203)는 3차원 얼굴 데이터의 얼굴의 질감과 참조 얼굴의 질감 간의 대응 관계를 통해 3차원 얼굴 데이터의 얼굴의 질감을 왜곡(warping)을 통해 변형할 수 있다. 그리고, 3차원 고유얼굴 모델 생성부(203)는 3차원 얼굴 데이터의 얼굴의 질감을 변형함으로써, 고유얼굴의 질감을 생성할 수 있다.
따라서, 3차원 고유얼굴 모델 생성부(203)는 3차원 얼굴 데이터의 얼굴의 형태 및 질감과 참조 얼굴의 형태 및 질감 간의 대응 관계에 따라 고유얼굴의 형태 및 질감을 생성할 수 있다. 그리고, 3차원 고유얼굴 모델 생성부(203)는 생성된 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성할 수 있다.
3차원 캐리커처 생성부(204)는 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성할 수 있다. 구체적으로 3차원 캐리커처 생성부(204)는 최소 제곱 오차의 해를 계산하는 선형 예측법(Linear Estimation) 또는 2차 계획법(Quadratic Programming) 등의 최적화 기법을 통해 3차원 고유얼굴 모델의 고유얼굴의 형태를 캐리커처 기저 얼굴 모델의 형태의 고유모델 부 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 산출할 수 있다. 그리고, 3차원 캐리커처 생성부(204)는 산출된 형태 가중 벡터와 캐리커처 기저 얼굴 모델의 형태의 캐리커처 부 기저를 선형 중첩하여 3차원 캐리커처의 형태를 생성할 수 있다. 여기서, 캐리커처 기저 얼굴 모델은 기 생성된 적어도 하나 이상의 3차원 고유얼굴 모델과 전문 모델러가 생성한 3차원 캐리커처에 대응하는 3차원 캐리커처 기저 얼굴 모델의 형태 및 질감을 포함할 수 있다.
또한, 3차원 캐리커처 생성부(204)는 최소 제곱 오차의 해를 계산하는 선형 예측법 또는 2차 계획법 등의 최적화 기법을 통해 3차원 고유얼굴 모델의 고유얼굴의 질감을 캐리커처 기저 얼굴 모델의 질감의 고유모델 부 기저의 선형 중첩으로 표현하는 데 필요한 질감 가중 벡터를 산출할 수 있다. 3차원 캐리커처 생성부(204)는 산출된 질감 가중 벡터와 캐리커처 기저 얼굴 모델의 질감의 캐리커처 부 기저를 선형 중첩하여 3차원 캐리커처의 질감을 생성할 수 있다.
다시 말해, 3차원 캐리커처 생성부(204)는 고유얼굴의 형태 및 질감을 캐리커처 기저 얼굴 모델의 형태의 고유 모델 부 기저, 질감의 고유모델 부 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터와 질감 가중 벡터를 최적화 기법을 통해 산출할 수 있다. 그리고, 3차원 캐리커처 생성부(204)는 산출된 형태 가중 벡터 및 질감 가중 벡터와 형태의 캐리커처 부 기저 및 질감의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 형태와 질감을 생성할 수 있다.
3차원 캐리커처 제공부(205)는 사용자의 원하는 시점에 따라 생성된 3차원 캐리커처를 제공할 수 있다. 다시 말해, 3차원 캐리커처 제공부(205)는 캐리커처 저장, 캐리커처 재생, 캐리커처 출력 중 적어도 하나를 상기 사용자의 원하는 시점에 따라 생성된 3차원 캐리커처를 제공할 수 있다.
캐리커처 저장은 생성된 3차원 캐리커처를 구성하는 3차원 캐리커처의 형태와 3차원 캐리커처의 질감을 저장 매체에 저장할 수 있다. 일례로, 3차원 캐리커처 제공부(205)는 3차원 캐리커처의 형태와 캐리커처의 질감을 하드디스크 등의 저장 매체에 저장할 수 있다.
캐리커처 재생은 3차원 캐리커처를 생성하는 과정 또는 3차원 캐리커처를 저장하는 과정에서 3차원 캐리커처의 형태 및 질감을 렌더링하여 시각 표시 장치 등을 통해 재생할 수 있다. 일례로, 3차원 캐리커처 제공부(205)는 3차원 캐리커처의 형태와 캐리커처의 질감을 렌더링하여 모니터 등의 시각 표시 장치를 통해 재생할 수 있다.
캐리커처 출력은 캐리커처를 생성하는 과정 또는 3차원 캐리커처를 저장하는 과정에서 3차원 캐리커처의 형태 및 질감을 출력에 맞는 포맷으로 변환하여 출력 장치를 통해 출력할 수 있다. 일례로, 3차원 캐리커처 제공부(205)는 출력 포맷에 따라 변환된 3차원 캐리커처의 형태 및 질감을 흑백/컬러 프린터, 입체 시를 이용한 홀로그램 프린터 또는 3차원 프린터 등의 출력 장치를 통해 출력할 수 있다.
도 3은 일실시예에 따른 3차원 캐리커처 생성 장치를 구현한 도면이다.
도 3을 참고하면, 3차원 캐리커처 생성 장치는 3차원 얼굴 데이터 생성부(301), 3차원 고유얼굴 모델 생성부(304), 3차원 캐리커처 생성부(310), 참조 얼굴 DB(307), 캐리커처 기저 얼굴 모델 DB(313), 캐리커처 저장부(316), 캐리커처 재생부(317), 캐리커처 출력부(318)를 포함할 수 있다.
3차원 얼굴 데이터 생성부(301)는 사용자의 얼굴의 형태 및 질감에 대응하여 사용자의 3차원 얼굴 데이터를 생성할 수 있다. 3차원 얼굴 데이터 생성부(301)는 얼굴 형태 생성부(302)와 얼굴 질감 생성부(303)를 포함할 수 있다.
얼굴 형태 생성부(302)는 구조광이 투영된 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치 추정에 따른 얼굴의 형태를 생성할 수 있다. 이 때, 영상은 사용자의 얼굴을 포함할 수 있다. 또한, 얼굴 형태 생성부(302)는 스테레오 방식을 통해 획득된 적어도 하나 이상의 얼굴 간의 대응 관계로부터 삼각법을 이용하여 얼굴의 3차원 위치에 따른 얼굴의 형태를 생성할 수 있다.
얼굴 질감 생성부(303)는 구조광이 투영되지 않은 확산 조명에서 촬영된 얼굴 영상을 이용하여 얼굴의 질감을 생성할 수 있다. 그리고, 얼굴 질감 생성부(303)는 삼각법을 이용하여 생성된 얼굴의 형태의 기준이 되는 영상으로부터 얼굴의 질감을 생성할 수 있다.
3차원 얼굴 데이터 생성부(301)는 얼굴 형태 생성부(302)에서 생성된 얼굴의 형태와 얼굴 질감 생성부(303)에서 생성된 얼굴의 질감에 대응하여 사용자의 3차원 얼굴 데이터를 생성할 수 있다.
3차원 고유얼굴 모델 생성부(304)는 3차원 얼굴 데이터와 참조 얼굴 DB(307)를 기초하여 3차원 고유얼굴 모델을 생성할 수 있다. 여기서, 참조 얼굴 DB(307)는 참조 얼굴 형태부(308)와 참조 얼굴 질감부(309)을 포함할 수 있다.
참조 얼굴 형태부(308)는 3차원 점의 위치 정보와 3차원 점을 연결하는 에지 정보로 구성된 참조 얼굴의 형태를 포함할 수 있다. 여기서 3차원 점의 위치 정보는 얼굴 구성 요소의 형태 정보를 표현할 수 있는 점일 수 있다. 그리고, 얼굴 구성 요소는 얼굴의 눈, 코, 입, 얼굴형 및 두상 등을 포함할 수 있다.
참조 얼굴 질감부(309)는 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소로 구성된 참조 얼굴의 질감을 포함할 수 있다.
또한, 3차원 고유얼굴 모델 생성부(304)는 고유얼굴 모델 형태 생성부(305)와 고유얼굴 모델 질감 생성부(306)를 포함할 수 있다.
고유얼굴 모델 형태 생성부(305)는 3차원 얼굴 데이터의 얼굴의 형태와 참조 얼굴 형태부(308)의 참조 얼굴의 형태 간의 대응 관계를 통해 참조 얼굴의 형태를 3차원 등록기법을 통해 변형할 수 있다. 다시 말해, 고유얼굴 모델 형태 생성부(305)는 대응 관계에 따른 참조 얼굴의 형태를 3차원 등록기법으로 변형함으로써, 고유얼굴의 형태를 생성할 수 있다.
고유얼굴 모델 질감 생성부(306)는 3차원 얼굴 데이터의 얼굴의 질감과 참조 얼굴 질감부(309)의 참조 얼굴의 질감 간의 대응 관계를 통해 3차원 얼굴 데이터의 얼굴의 질감을 왜곡을 통해 변형할 수 있다. 다시 말해, 고유얼굴 모델 질감 생성부(306)는 대응 관계에 따른 얼굴의 질감을 왜곡함으로써, 고유얼굴의 질감을 생성할 수 있다.
그리고, 3차원 고유얼굴 모델 생성부(304)는 고유얼굴 모델 형태 생성부(305)에서 생성된 고유얼굴의 형태와 고유얼굴 모델 질감 생성부(306)에서 생성된 고유얼굴의 질감을 이용하여 3차원 고유얼굴 모델을 생성할 수 있다.
3차원 캐리커처 생성부(310)는 3차원 고유얼굴 모델(310)과 캐리커처 기저 얼굴 모델 DB(313)를 사용하여 3차원 캐리커처를 생성할 수 있다. 이 때, 캐리커처 기저 얼굴 모델 DB(313)는 형태 기저 DB(314)와 질감 기저 DB(315)를 포함할 수 있다. 캐리커처 기저 얼굴 모델 DB(313)는 사전에 촬영된 다수의 사용자의 고유 얼굴로 구성된 고유 얼굴 부 기저와 이에 대응하는 전문 모델러가 생성한 3차원 캐리커처로 구성된 캐리커처 부 기저를 포함할 수 있다. 그리고, 캐리커처 기저 얼굴 모델 DB(313)는 전문 모델러가 생성한 3차원 캐리커처로부터 주성분 분석(Principal Component Analysis) 과정을 통해 형태 기저 DB(314)와 질감 기저 DB(315)를 포함할 수 있다.
캐리커처 기저 얼굴 모델 DB(313)는 전문 모델러의 다양한 캐리커처 제작 스타일에 따라 1개에서 N개까지 복수 개로 존재할 수 있다. 그리고, 캐리커처 기저 얼굴 모델 DB(313)는 캐리커처 기저 얼굴 모델 DB(313)의 개수에 따라 다양한 스타일의 3차원 캐리커처를 생성할 수 있다.
또한, 3차원 캐리커처 생성부(310)는 캐리커처 형태 생성부(311)와 캐리커처 질감 생성부(312)를 포함할 수 있다.
캐리커처 형태 생성부(311)는 최소 제곱 오차의 해를 계산하는 선형 예측법 또는 2차 계획법 등의 최적화 기법을 통해 고유얼굴의 형태를 캐리커처 기저 얼굴 모델의 형태의 고유모델 부 기저의 선형 중첩으로 표현하는데 필요한 형태 가중 벡터를 산출할 수 있다. 그리고, 캐리커처 형태 생성부(311)는 산출된 형태 가중 벡터와 캐리커처 기저 얼굴 모델의 형태의 캐리커처 부 기저를 선형 중첩하여 3차원 캐리커처의 형태를 생성할 수 있다.
그리고, 캐리커처 질감 생성부(312)는 최소 제곱 오차의 해를 계산하는 선형 예측법 또는 2차 계획법 등의 최적화 기법을 통해 고유얼굴의 질감을 캐리커처 기저 얼굴 모델의 질감의 고유모델 부 기저의 선형 중첩으로 표현하는 데 필요한 질감 가중 벡터를 산출할 수 있다. 캐리커처 질감 생성부(312)는 산출된 질감 가중 벡터와 캐리커처 기저 얼굴 모델의 질감의 캐리커처 부 기저를 선형 중첩하여 3차원 캐리커처의 질감을 생성할 수 있다.
그리고, 3차원 캐리커처 생성부(310)는 캐리커처 형태 생성부(311)에서 생성한 3차원 캐리커처의 형태와 캐리커처 질감 생성부(312)에서 생성한 3차원 캐리커처의 질감을 이용하여 3차원 캐리커처를 생성할 수 있다.
캐리커처 저장부(316)는 생성된 3차원 캐리커처를 구성하는 3차원 캐리커처의 형태 및 질감을 저장 매체에 저장할 수 있다.
캐리커처 재생부(317)는 3차원 캐리커처를 생성하는 과정 또는 3차원 캐리커처를 저장하는 과정에서 3차원 캐리커처의 형태 및 질감을 렌더링하여 시각 표시 장치 등을 통해 재생할 수 있다.
캐리커처 출력부(318)는 캐리커처를 생성하는 과정 또는 3차원 캐리커처를 저장하는 과정에서 3차원 캐리커처의 형태 및 질감을 출력에 맞는 포맷으로 변환하여 출력 장치를 통해 출력할 수 있다.
사용자는 사용자가 원하는 시점에 따라 캐리커처 저장부(316), 캐리커처 재생부(317), 캐리커처 출력부(318) 중 적어도 하나를 통해 생성된 3차원 캐리커처를 제공받을 수 있다.
도 4는 일실시예에 따른 3차원 캐리커처 생성 방법을 도시한 도면이다.
단계(401)에서 3차원 캐리커처 생성 장치는 구조광을 이용하여 얼굴의 형태와 확산 조명에서 촬영된 영상으로부터 질감을 생성할 수 있다. 그리고, 3차원 캐리커처 생성 장치는 생성된 얼굴의 형태 및 질감에 대응하여 사용자의 3차원 얼굴 데이터를 생성할 수 있다. 구체적으로 3차원 캐리커처 생성 장치는 구조광이 투영된 얼굴의 위상 변화를 이용하여 얼굴의 3차원 위치에 따른 얼굴의 형태를 생성할 수 있다. 그리고, 3차원 캐리커처 생성 장치는 구조광이 투영되지 않은 확산 조명에서 촬영된 얼굴 영상을 이용하여 얼굴의 질감을 생성할 수 있다.
또한, 3차원 캐리커처 생성 장치는 적어도 하나 이상의 얼굴을 통해 얼굴의 형태 및 질감을 생성할 수 있다. 그리고, 3차원 캐리커처 생성 장치는 생성한 얼굴의 형태 및 질감에 대응하여 사용자의 3차원 얼굴 데이터를 생성할 수 있다. 다시 말해, 3차원 캐리커처 생성 장치는 적어도 하나 이상의 얼굴 간의 대응 관계로부터 삼각법을 이용하여 얼굴의 3차원 위치에 따른 얼굴의 형태를 생성할 수 있다. 그리고, 3차원 캐리커처 생성 장치는 얼굴의 형태를 생성하는데 기준이 되는 영상으로부터 얼굴의 질감을 생성할 수 있다.
따라서, 3차원 캐리커처 생성 장치는 생성한 얼굴의 형태와 질감에 대응하는 3차원 얼굴 데이터를 생성할 수 있다.
단계(402)에서 3차원 캐리커처 생성 장치는 생성된 3차원 얼굴 데이터와 참조 얼굴을 기초하여 3차원 고유얼굴 모델을 생성할 수 있다. 3차원 캐리커처 생성 장치는 얼굴의 형태와 참조 얼굴의 형태 간의 대응 관계를 통해 참조 얼굴의 형태를 3차원 등록기법으로 변형하여 고유얼굴의 형태를 생성할 수 있다. 그리고, 3차원 캐리커처 생성 장치는 얼굴의 질감과 참조 얼굴의 질감 간의 대응 관계를 통해 3차원 얼굴 데이터의 얼굴의 질감을 왜곡으로 변형하여 고유얼굴의 질감을 생성할 수 있다. 따라서, 3차원 캐리커처 생성 장치는 생성한 고유얼굴의 형태 및 질감을 기초하여 3차원 고유얼굴 모델을 생성할 수 있다. 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 산출하고,
단계(403)에서 3차원 캐리커처 생성 장치는 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성할 수 있다. 3차원 캐리커처 생성 장치는 고유얼굴의 형태 및 질감을 캐리커처 기저 얼굴 모델의 형태의 부 기저, 질감의 고유모델 부 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터와 질감 가중 벡터를 산출할 수 있다. 그리고, 3차원 캐리커처 생성부(204)는 산출된 형태 가중 벡터 및 질감 가중 벡터와 형태의 부 기저 및 질감의 부 기저를 선형 중합하여 3차원 캐리커처 생성할 수 있다.
단계(404)에서 3차원 캐리커처 생성 장치는 캐리커처 저장, 캐리커처 재생, 캐리커처 출력 중 적어도 하나를 상기 사용자의 원하는 시점에 따라 생성된 3차원 캐리커처를 제공할 수 있다.
단계(405)에서 3차원 캐리커처 생성 장치는 생성된 3차원 캐리커처를 구성하는 3차원 캐리커처의 형태와 3차원 캐리커처의 질감을 저장 매체에 저장할 수 있다.
단계(406)에서 3차원 캐리커처 생성 장치는 3차원 캐리커처를 생성하는 과정 또는 3차원 캐리커처를 저장하는 과정에서 3차원 캐리커처의 형태 및 질감을 렌더링하여 시각 표시 장치 등을 통해 재생할 수 있다.
단계(407)에서 3차원 캐리커처 생성 장치는 캐리커처를 생성하는 과정 또는 3차원 캐리커처를 저장하는 과정에서 3차원 캐리커처의 형태 및 질감을 출력에 맞는 포맷으로 변환하여 출력 장치를 통해 출력할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 3차원 캐리커처 생성 장치
102: 캐리커처 저장
103: 캐리커처 재생
104: 캐리커처 출력

Claims (20)

  1. 사용자의 얼굴의 형태 및 질감에 대응하여 상기 사용자의 3차원 얼굴 데이터를 생성하는 3차원 얼굴 데이터 생성부;
    상기 3차원 얼굴 데이터와 참조 얼굴을 기초하여 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성하는 3차원 고유얼굴 모델 생성부; 및
    상기 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성하는 3차원 캐리커처 생성부
    를 포함하는 3차원 캐리커처 생성 장치.
  2. 제1항에 있어서,
    상기 3차원 얼굴 데이터 생성부는,
    구조광이 투영된 상기 얼굴의 위상 변화를 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고,
    구조광이 투영되지 않은 확산 조명에서 촬영된 상기 얼굴의 영상을 이용하여 상기 얼굴의 질감을 생성하는 3차원 캐리커처 생성 장치.
  3. 제1항에 있어서,
    상기 3차원 얼굴 데이터 생성부는,
    적어도 하나 이상의 상기 얼굴의 대응 관계로부터 삼각법(Triangulation)을 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고,
    적어도 하나 이상의 상기 얼굴 중 특정 얼굴을 기준으로 상기 얼굴의 질감을 생성하는 3차원 캐리커처 생성 장치.
  4. 제1항에 있어서,
    상기 참조 얼굴은
    얼굴 구성 요소의 형태 정보를 표현할 수 있는 3차원 점의 위치 정보와 상기 3차원 점을 연결하는 에지 정보로 구성된 참조 얼굴의 형태 정보를 포함하고,
    상기 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소로 구성된 참조 얼굴의 질감 정보를 포함하는 3차원 캐리커처 생성 장치.
  5. 제1항에 있어서,
    상기 3차원 고유얼굴 모델 생성부는,
    상기 3차원 얼굴 데이터의 얼굴의 형태와 상기 참조 얼굴의 형태 간의 대응 관계에 따라 상기 참조 얼굴의 형태를 3차원 등록 기법(Registration)을 통해 변형하여 고유얼굴의 형태를 생성하는 3차원 캐리커처 생성장치.
  6. 제1항에 있어서,
    상기 3차원 고유얼굴 모델 생성부는,
    상기 3차원 얼굴 데이터의 얼굴의 질감과 상기 참조 얼굴의 질감 간의 대응 관계에 따라 상기 3차원 얼굴 데이터의 질감을 왜곡(Warping)을 통해 변형하여 고유얼굴의 질감을 생성하는 3차원 캐리커처 생성 장치.
  7. 제1항에 있어서,
    상기 캐리커처 기저 얼굴 모델은,
    기 생성된 적어도 하나 이상의 3차원 고유얼굴 모델과 전문 모델러가 생성한 3차원 캐리커처에 대응하는 3차원 캐리커처 기저 얼굴 모델의 형태 및 질감을 포함하는 3차원 캐리커처 생성 장치.
  8. 제1항에 있어서,
    상기 3차원 캐리커처 생성부는, 상기 고유얼굴의 형태를 상기 캐리커처 기저 얼굴 모델의 형태의 고유 얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 최적화 기법을 통해 산출한 경우,
    상기 고유얼굴의 형태에서 산출된 형태 가중 벡터와 상기 형태의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 형태를 생성하는 3차원 캐리커처 생성 장치.
  9. 제1항에 있어서,
    상기 3차원 캐리커처 생성부는,
    상기 고유얼굴의 질감을 상기 캐리커처 기저 얼굴 모델의 질감의 고유 얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 질감 가중 벡터를 최적화 기법을 통해 산출한 경우,
    상기 고유얼굴의 질감에서 산출된 질감 가중 벡터와 상기 질감의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 질감을 생성하는 3차원 캐리커처 생성 장치.
  10. 제1항에 있어서,
    상기 생성된 3차원 캐리커처를 캐리커처 저장, 캐리커처 재생, 캐리커처 출력 중 적어도 하나를 상기 사용자의 원하는 시점에 따라 제공하는 3차원 캐리커처 제공부를 더 포함하는 3차원 캐리커처 생성 장치.
  11. 사용자의 얼굴의 형태 및 질감에 대응하여 상기 사용자의 3차원 얼굴 데이터를 생성하는 단계;
    상기 3차원 얼굴 데이터와 참조 얼굴을 기초하여 고유얼굴의 형태 및 질감에 따른 3차원 고유얼굴 모델을 생성하는 단계; 및
    상기 3차원 고유얼굴 모델과 캐리커처 기저 얼굴 모델을 사용하여 3차원 캐리커처를 생성하는 단계
    를 포함하는 3차원 캐리커처 생성 방법.
  12. 제11항에 있어서,
    상기 3차원 얼굴 데이터를 생성하는 단계는,
    구조광이 투영된 상기 얼굴의 위상 변화를 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고,
    구조광이 투영되지 않은 확산 조명에서 촬영된 상기 얼굴의 영상을 이용하여 상기 얼굴의 질감을 생성하는 3차원 캐리커처 생성 방법.
  13. 제11항에 있어서,
    상기 3차원 얼굴 데이터를 생성하는 단계는,
    적어도 하나 이상의 상기 얼굴의 대응 관계로부터 삼각법(Triangulation)을 이용하여 상기 얼굴의 3차원 위치에 따른 상기 얼굴의 형태를 생성하고,
    적어도 하나 이상의 상기 얼굴 중 특정 얼굴을 기준으로 상기 얼굴의 질감을 생성하는 3차원 캐리커처 생성 방법.
  14. 제11항에 있어서,
    상기 참조 얼굴은
    얼굴 구성 요소의 형태 정보를 표현할 수 있는 3차원 점의 위치 정보와 상기 3차원 점을 연결하는 에지 정보로 구성된 참조 얼굴의 형태 정보를 포함하고,
    상기 얼굴 구성 요소와 피부를 표현할 수 있는 영상 화소로 구성된 참조 얼굴의 질감 정보를 포함하는 3차원 캐리커처 생성 방법.
  15. 제11항에 있어서,
    상기 3차원 고유얼굴 모델을 생성하는 단계는,
    상기 3차원 얼굴 데이터의 얼굴의 형태와 상기 참조 얼굴의 형태 간의 대응 관계에 따라 상기 참조 얼굴의 형태를 3차원 등록 기법(Registration)을 통해 변형하여 고유얼굴의 형태를 생성하는 3차원 캐리커처 생성방법.
  16. 제11항에 있어서,
    상기 3차원 고유얼굴 모델을 생성하는 단계는,
    상기 3차원 얼굴 데이터의 얼굴의 질감과 상기 참조 얼굴의 질감 간의 대응 관계에 따라 상기 3차원 얼굴 데이터의 질감을 왜곡(Warping)을 통해 변형하여 고유얼굴의 질감을 생성하는 3차원 캐리커처 생성 방법.
  17. 제11항에 있어서,
    상기 캐리커처 기저 얼굴 모델은,
    기 생성된 적어도 하나 이상의 3차원 고유얼굴 모델과 전문 모델러가 생성한 3차원 캐리커처에 대응하는 3차원 캐리커처 기저 얼굴 모델의 형태 및 질감을 포함하는 3차원 캐리커처 생성 방법.
  18. 제11항에 있어서,
    상기 3차원 캐리커처를 생성하는 단계는,
    상기 고유얼굴의 형태를 상기 캐리커처 기저 얼굴 모델의 형태의 고유 얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 형태 가중 벡터를 최적화 기법을 통해 산출한 경우,
    상기 고유얼굴의 형태에서 산출된 형태 가중 벡터와 상기 형태의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 형태를 생성하는 3차원 캐리커처 생성 방법.
  19. 제11항에 있어서,
    상기 3차원 캐리커처를 생성하는 단계는,
    상기 고유얼굴의 질감을 상기 캐리커처 기저 얼굴 모델의 질감의 고유 얼굴 부(sub) 기저의 선형 중첩으로 표현하는 데 필요한 질감 가중 벡터를 최적화 기법을 통해 산출한 경우,
    상기 고유얼굴의 질감에서 산출된 질감 가중 벡터와 상기 질감의 캐리커처 부 기저를 선형 중합하여 3차원 캐리커처의 질감을 생성하는 3차원 캐리커처 생성 방법.
  20. 제11항에 있어서,
    상기 생성된 3차원 캐리커처를 캐리커처 저장, 캐리커처 재생, 캐리커처 출력 중 적어도 하나를 상기 사용자의 원하는 시점에 따라 제공하는 단계를 더 포함하는 3차원 캐리커처 생성 방법.
KR1020130001902A 2013-01-08 2013-01-08 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법 KR20140090353A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130001902A KR20140090353A (ko) 2013-01-08 2013-01-08 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법
US14/147,773 US20140192045A1 (en) 2013-01-08 2014-01-06 Method and apparatus for generating three-dimensional caricature using shape and texture of face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001902A KR20140090353A (ko) 2013-01-08 2013-01-08 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140090353A true KR20140090353A (ko) 2014-07-17

Family

ID=51060618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001902A KR20140090353A (ko) 2013-01-08 2013-01-08 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20140192045A1 (ko)
KR (1) KR20140090353A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
US9864819B2 (en) 2014-10-10 2018-01-09 Electronics And Telecommunications Research Institute Three-dimensional (3D) model file, and apparatus and method for providing 3D model file
US10559116B2 (en) * 2018-03-05 2020-02-11 Adobe Inc. Interactive caricature generation from a digital image
CN109919876B (zh) * 2019-03-11 2020-09-01 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69934478T2 (de) * 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US7483553B2 (en) * 2004-03-29 2009-01-27 Microsoft Corporation Caricature exaggeration
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image

Also Published As

Publication number Publication date
US20140192045A1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
CN101156175B (zh) 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备
US8537155B2 (en) Image processing apparatus and method
KR101339900B1 (ko) 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
JP2020071851A (ja) アバタによる生放送方法及び装置
CN104008569B (zh) 一种基于深度视频的3d场景生成方法
US20130127827A1 (en) Multiview Face Content Creation
JP2008513882A (ja) ビデオイメージ処理システム及びビデオイメージ処理方法
JP2014517961A (ja) メッシュ・ファイルを採用したクライアント・アプリケーションでのトランジションのアニメーション
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
Dellepiane et al. Reconstructing head models from photographs for individualized 3D‐audio processing
KR20140090353A (ko) 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법
CN116310045B (zh) 一种三维人脸纹理创建方法、装置及设备
KR20150068895A (ko) 삼차원 출력 데이터 생성 장치 및 방법
US20040004615A1 (en) Method and apparatus for generating pseudo-three-dimensional images
US20230260215A1 (en) Data stream, devices and methods for volumetric video data
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
KR20100036683A (ko) 영상 출력 방법 및 장치
WO2018154279A1 (en) Method and apparatus for tracking features
KR102318111B1 (ko) 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치
Li et al. Visual saliency‐based bas‐relief generation with symmetry composition rule
Vanakittistien et al. Game‐ready 3D hair model from a small set of images
WO2020166352A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2005092782A (ja) ３次元モデルの生成方法および装置並びにコンピュータプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid