KR20090088675A - 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 - Google Patents

비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 Download PDF

Info

Publication number
KR20090088675A
KR20090088675A KR1020080014092A KR20080014092A KR20090088675A KR 20090088675 A KR20090088675 A KR 20090088675A KR 1020080014092 A KR1020080014092 A KR 1020080014092A KR 20080014092 A KR20080014092 A KR 20080014092A KR 20090088675 A KR20090088675 A KR 20090088675A
Authority
KR
South Korea
Prior art keywords
skin color
face
color change
image
input image
Prior art date
Application number
KR1020080014092A
Other languages
English (en)
Other versions
KR100974165B1 (ko
Inventor
이정호
문영식
김형진
이종민
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020080014092A priority Critical patent/KR100974165B1/ko
Publication of KR20090088675A publication Critical patent/KR20090088675A/ko
Application granted granted Critical
Publication of KR100974165B1 publication Critical patent/KR100974165B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법이 개시된다. 얼굴 표정 합성 시스템은 얼굴 학습 영상에 따른 동적 외양 모델을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 얼굴 영상 변형부, 비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성하는 피부색 변화 모델 생성부, 상기 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 얼굴 마스크 생성부 및 합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 영상 합성부를 포함한다.
비선형, 회귀 분석, 피부색 변화 모델, 얼굴 영상, 유클리디 거리 변환

Description

비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법{SYSTEM AND METHOD FOR SYNTHESIS OF FACE EXPRESSION USING NONLINEAR REGRESSION ANALYSIS}
본 발명은 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법에 관한 것으로, 보다 자세하게는 비선형 회귀 분석을 통해 조명 조건에 따른 피부색 변화의 관계를 정의한 비선형 피부색 변화 모델을 이용하여 얼굴 표정을 합성하는 얼굴 표정 합성 시스템 및 방법에 관한 것이다.
최근 인터넷 보급이 확산되고, 사용자들의 다양한 욕구를 충족시킬 수 있는 수많은 멀티미디어 컨텐츠 들이 나타나면서 영상 데이터가 많이 이용되고 있다. 디지털 카메라, PC 카메라, 카메라 폰과 같은 영상 획득 기기들은 점차 소형화되고 저렴한 가격으로 되면서 자신을 표현하려는 사람들의 욕구가 증가하고 있다. 이러한 욕구를 만족하기 위해 영상 합성 기술에 대한 연구가 활발히 일어나고 있다.
종래에는 자신의 사진을 좀더 개성있는 모습으로 연출하기 위해 영상을 필터링 하거나 꾸미기 효과들을 이용하는 방법이 이용되고 있다. 그러나 자신의 감정을 나타낼 수 있는 표정 변형 방법이 최근 본격적으로 일어나고 있다. 얼굴의 변화는 얼굴의 구성 요소와 같은 기하학적 정보와 조명이나 얼굴의 주름과 같은 세 부적인 정보들로 표현된다. 사용자가 원하는 표정을 생성하기 위해서는 이러한 얼굴 정보들을 적절하게 이용하여 변형해야 한다. 종래의 방법 중에는 얼굴 변형에 기반한 방법과 텍스처(texture) 변형에 기반한 방법이 있으나 변형 후의 부자연스러운 영상 때문에 널리 사용되지 않고 있다.
따라서, 자신이 원하는 표정으로 손쉽게 변형이 가능하며 변형 후에 자연스러운 표정이 생성될 수 있는 방법이 요구되고 있다.
본 발명은 비선형 회귀 분석을 통한 비선형 피부색 변화 모델을 이용하여 얼굴 표정을 합성함으로써 다양한 조명 조건에서도 자연스럽고 실감적인 얼굴 표정을 합성할 수 있는 얼굴 표정 합성 시스템 및 방법을 제공한다.
본 발명은 조명 각도와 얼굴 굴곡에 따른 RGB 성분별 비표준화 계수를 통해 비선형 피부색 변화 모델을 생성함으로써 비선형적인 얼굴 영상의 특징을 반영하여 자연스러운 얼굴 표정 합성을 할 수 있는 얼굴 표정 합성 시스템 및 방법을 제공한다.
본 발명은 비선형 피부색 변환 모델을 통해 직접 피부색 변화를 예측함으로써 더욱 정확한 피부색의 변화를 적용할 수 있는 얼굴 표정 합성 시스템 및 방법을 제공한다.
본 발명은 비선형 피부색 변환 모델을 통해 얼굴 영상의 특정 위치에서 동일한 각도 변화에 따른 다른 피부색 변화를 적용하여 얼굴 표정을 합성함으로써 더욱 정확한 피부색의 변화를 적용할 수 있는 얼굴 표정 합성 시스템 및 방법을 제공한다.
본 발명은 거리 변환을 이용한 혼합 비율을 이용하여 얼굴 마스크를 합성함으로써 더욱 부드럽고 자연스러운 합성 결과를 도출할 수 있는 얼굴 표정 합성 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 얼굴 표정 합성 시스템은 얼굴 학습 영상에 따른 동적 외양 모델을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 얼굴 영상 변형부, 비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성하는 피부색 변화 모델 생성부, 상기 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 얼굴 마스크 생성부 및 합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 영상 합성부를 포함할 수 있다.
이 때, 상기 피부색 변화 모델 생성부는 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 RGB 데이터 추출부 및 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 비표준화 계수 계산부를 포함할 수 있다.
이 때, 상기 피부색 변화 모델 생성부는 상기 계산된 RGB 성분별 비표준화 계수를 이용하여 조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성할 수 있다.
본 발명의 일실시예에 따른 피부색 변화 모델 생성 시스템은 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 RGB 데이터 추출부, 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 비표준화 계수 계 산부 및 상기 계산된 RGB 성분별 비표준화 계수를 이용하여 비선형 피부색 변화 모델을 생성하는 피부색 변화 모델 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 얼굴 학습 영상에 따른 동적 외양 모델을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 단계, 비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성하는 단계, 상기 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 단계 및 합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 단계를 포함할 수 있다.
이 때, 비선형 피부색 변화 모델을 생성하는 상기 단계는 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 단계 및 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 피부색 변화 모델 생성 방법은 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 단계, 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 단계 및 상기 계산된 RGB 성분별 비표준화 계수를 이용하여 비선형 피부색 변화 모델을 생성하는 단계를 포함할 수 있다.
본 발명에 따르면, 비선형 회귀 분석을 통한 비선형 피부색 변화 모델을 이용하여 얼굴 표정을 합성함으로써 다양한 조명 조건에서도 자연스럽고 실감적인 얼굴 표정을 합성할 수 있는 얼굴 표정 합성 시스템 및 방법이 제공된다.
본 발명에 따르면, 조명 각도와 얼굴 굴곡에 따른 RGB 성분별 비표준화 계수를 통해 비선형 피부색 변화 모델을 생성함으로써 비선형적인 얼굴 영상의 특징을 반영하여 자연스러운 얼굴 표정 합성을 할 수 있는 얼굴 표정 합성 시스템 및 방법이 제공된다.
본 발명에 따르면, 비선형 피부색 변환 모델을 통해 직접 피부색 변화를 예측함으로써 더욱 정확한 피부색의 변화를 적용할 수 있는 얼굴 표정 합성 시스템 및 방법이 제공된다.
본 발명에 따르면, 비선형 피부색 변환 모델을 통해 얼굴 영상의 특정 위치에서 동일한 각도 변화에 따른 다른 피부색 변화를 적용하여 얼굴 표정을 합성함으로써 더욱 정확한 피부색의 변화를 적용할 수 있는 얼굴 표정 합성 시스템 및 방법이 제공된다.
본 발명에 따르면, 거리 변환을 이용한 혼합 비율을 이용하여 얼굴 마스크를 합성함으로써 더욱 부드럽고 자연스러운 합성 결과를 도출할 수 있는 얼굴 표정 합성 시스템 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것 은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 얼굴 표정 합성 시스템에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템의 전체 구성을 도시한 블록 다이어그램이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템(100)은 얼굴 영상 변형부(101), 피부색 변화 모델 생성부(102), 얼굴 마스크 생성부(103), 영상 합성부(104)를 포함할 수 있다.
얼굴 영상 변형부(101)는 얼굴 학습 영상에 따른 동적 외양 모델을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형할 수 있다. 일례로, 얼굴 영상 변형부(101)는 자유 형태 변형에 기초한 기하학적 변형 모델을 이용하여 상기 얼굴 입력 영상을 얼굴 표정 영상으로 변형할 수 있다.
여기서, 얼굴 표정 영상은 적어도 하나의 사람의 감정을 나타내는 얼굴 표정을 포함할 수 있다. 예를 들어, 얼굴 표정 영상은 무표정(neutral), 웃는 표정(laugh), 슬픈 표정(sad), 놀란 표정(surprise), 화난 표정(angry) 등을 나타내는 영상을 의미할 수 있다.
본 발명의 일실시예에 따르면, 얼굴 영상 변형부(101)는 동적 외양 모델 생성부와 얼굴 특징 정보 추출부를 포함할 수 있다. (도 1에서 동적 외양 모델과 얼굴 특징 정보 추출부는 도시되지 않았다.)
동적 외양 모델 생성부는 평균 얼굴 형태로 정렬된 얼굴 학습 영상과 상기 얼굴 학습 영상 각각의 얼굴 형태 모형을 이용하여 동적 외양 모델을 생성할 수 있다. 이 때, 동적 외양 모델(Active Appearance Model: AAM)은 얼굴 학습 영상을 통해 생성될 수 있다. 얼굴 학습 영상들은 적어도 하나일 수 있으며, 얼굴 학습 영상 각각은 적어도 하나의 얼굴 특징점을 포함하는 얼굴 형태 모형으로 구성될 수 있다. 구체적으로, 평균 얼굴 형태는 사람마다 다른 형태를 나타내는 얼굴 학습 영상을 평균적인 얼굴 형태로 정렬된 것을 의미할 수 있다.
얼굴 특징 정보 추출부는 상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭하여 상기 얼굴 입력 영상의 얼굴 특징 정보를 추출할 수 있다. 일례로, 얼굴 특징 정보 추출부는 단계에 따라 상기 얼굴 입력 영상의 해상도를 변경하여 상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭할 수 있다.
얼굴 영상을 변형하는 과정은 도 2 내지 도 4에서 구체적으로 설명된다.
피부색 변화 모델 생성부(102)는 비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성할 수 있다. 현존하는 색상 모델들은 조명 요소와 피부색의 색상 요소가 서로 독립적이지 않기 때문에 영상의 강도 변화가 색상 요소에 영향을 주어 입력 영상의 조명 조건에 맞지 않은 결과가 생성될 수 있다. 또한 얼굴에 영향을 주는 광원의 수와 광원과 표면 법선 벡터가 이루는 각도를 정확하게 예측하기 어렵다.
따라서 실감적인 표정을 생성하기 위해서 본 발명의 일실시예에 따른 피부색 변화 모델 생성부(102)는 영상 강도의 변화가 아닌 조명 각도의 변화에 따른 피부색 변화를 이용할 수 있다. 다만, 사람의 피부는 사람의 얼굴 표면 구조는 울퉁 불퉁한 곡면의 형태를 나타내기 때문에 조명 방향에 따른 피부색 변화는 비선형적인 특성을 나타낸다. 이 때, 피부색 변화 모델 생성부(102)는 비선형 회귀분석을 통해 각각 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 획득하여 비선형 피부색 변화 모델을 생성할 수 있다.
본 발명의 일실시예에 따르면, 피부색 변화 모델 생성부(102)는 RGB 데이터 추출부 및 비표준화 계수 계산부를 포함할 수 있다. (도 1에서 RGB 데이터 추출부 및 비표준화 계수 계산부는 도시되지 않았다.)
RGB 데이터 추출부는 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출할 수 있다. 비표준화 계수 계산부는 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산할 수 있다.
결국, 피부색 변화 모델 생성부(102)는 상기 계산된 RGB 성분별 비표준화 계수를 이용하여 조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성할 수 있다. 이 때, 생성된 비선형 피부색 변화 모델은 상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타낼 수 있다. 또한, 생성된 비선형 피부색 변화 모델은 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측할 수 있다. 피부색 변화 모델 생성부(102)에 대한 설명은 도 5에서 구체적으로 설명된다.
얼굴 마스크 생성부(103)는 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성할 수 있다. 본 발명의 일실시예 에 따른 얼굴 마스크 생성부(103)는 영상 정렬부 및 각도차 결정부를 포함할 수 있다 (도 1에서 영상 정렬부 및 각도차 결정부는 도시되지 않았다.)
영상 정렬부는 얼굴 표정 영상으로 변형된 상기 얼굴 입력 영상을 미리 설정한 서로 다른 얼굴 표정 영상을 정렬할 수 있다. 또한, 각도차 결정부는 비선형 피부색 변화 모델을 통해 상기 정렬된 얼굴 입력 영상들 간의 각도차를 RGB 성분에 대하여 결정할 수 있다. 이 때, 얼굴 마스크 생성부(103)는 상기 결정된 각도차를 변형된 상기 얼굴 입력 영상에 적용하여 얼굴 마스크를 생성할 수 있다. 얼굴 마스크를 생성하는 과정은 도 6에서 구체적으로 설명된다.
영상 합성부(104)는 합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성할 수 있다. 이 때, 생성된 얼굴 마스크는 얼굴 입력 영상과 완전히 매칭되지 않는 경우가 있으므로, 얼굴 입력 영상과 얼굴 마스크를 매칭시킬 필요가 있다.
이 때, 영상 합성부(104)는 상기 얼굴 마스크의 합성 영역과 상기 변형된 얼굴 입력 영상의 배경까지의 거리를 이용하여 혼합 비율을 결정할 수 있다. 일례로, 영상 합성부(104)는 유클리디안 거리 변환(Euclidean distance transform)을 이용하여 혼합 비율을 결정할 수 있다. 영상 합성부(104)에 대해서는 도 7에서 구체적으로 설명된다.
도 2는 본 발명의 일실시예에 따른 얼굴 특징 정보 추출하는 과정을 설명하기 위한 일례를 도시한 도면이다. 동적 외양 모델 생성부는 얼굴 학습 영상(201)과 평균 얼굴 형태(202)를 이용하여 동적 외양 모델(203)을 생성할 수 있다. 일례 로, 얼굴 학습 영상은 수집한 얼굴 영상을 회전, 스케일링, 번역 과정 등을 통해 정규화한 영상을 의미할 수 있다. 이 때, 얼굴 형태 모형은 상기 얼굴 학습 영상에 대한 적어도 하나의 얼굴 특징점을 포함할 수 있다. 얼굴 특징점은 얼굴 영상의 구조를 나타내는 정보일 수 있다.
도 2에서 볼 수 있듯이, 얼굴 학습 영상(201)과 평균 얼굴 형태(202)는 각각 다수의 얼굴 특징점을 포함하는 얼굴 형태 모형으로 구성될 수 있다. 또한, 얼굴 학습 영상(201)의 얼굴 모양이 각각 다르기 때문에 평균 얼굴 형태(202)는 얼굴 학습 영상(201)을 평균적인 얼굴 모양으로 정렬한 것을 의미할 수 있다. 도 2에 도시된 얼굴 학습 영상(201) 및 평균 얼굴 형태(202)는 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다.
구체적으로, 동적 외양 모델 생성부는 얼굴 학습 영상(201)과 얼굴 학습 영상(201)에 대응하는 얼굴 형태 모형을 포함하는 학습 데이터 및 평균 얼굴 형태(202)와 평균 얼굴 형태(202)에 대응하는 얼굴 형태 모형을 포함하는 평균 데이터 간의 관계를 학습하여 동적 외양 모델(203)을 생성할 수 있다. 일례로, 동적 외양 모델 생성부는 얼굴 학습 영상(201)과 평균 얼굴 형태(202)를 이용하여 Jacobian Learning Scheme으로서 학습하여 동적 외양 모델(203)을 생성할 수 있다.
얼굴 특징 정보 추출부는 얼굴 입력 영상(204)과 동적 외양 모델(203)을 매칭하여 상기 얼굴 입력 영상의 얼굴 특징 정보를 추출할 수 있다. 일례로, 얼굴 특징 정보 추출부는 레벨 스케일 피라미드 방식으로 학습된 멀티 동적 외양 모델(Multi-level Active appearance model)과 얼굴 입력 영상(204)을 매칭할 수 있 다. 구체적으로, 얼굴 특징 정보 추출부는 단계별로 해상도가 50% 축소되도록 학습된 멀티 동적 외양 모델(203)과 해당 단계에 따라 해상도가 축소된 얼굴 입력 영상(204) 사이의 매칭되는지를 판단할 수 있다.
도 2를 참고하면, 얼굴 특징 정보 추출부는 레벨 0의 경우 얼굴 입력 영상 그대로, 레벨 1의 경우 50%축소된 크기의 얼굴 입력 영상, 레벨 2의 경우 75%축소된 크기의 얼굴 입력 영상을 학습 데이터와 평균 데이터간의 관계를 나타내는 멀티 동적 외양 모델(203)과 매칭시킬 수 있다.
즉, 얼굴 영상 변형부는 얼굴 구조 정보를 이용하여 얼굴 표정 영상의 매칭 과정을 제공함으로써 변형과 합성을 위한 대응점(Correspondence Point)들의 오차를 최소화시킬 수 있다. 또한, 얼굴 영상 변형부는 단계에 따라 해상도를 변경하여 얼굴 입력 영상과 동적 외양 모델을 매칭함으로써 얼굴 표정 합성 시스템(100)의 전체 효율과 검색 과정에서의 반복 횟수를 줄일 수 있다.
도 3은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템을 통해 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 과정의 일례를 도시한 도면이다.
도 3을 참고하면, 얼굴 입력 영상(301)과 얼굴 특징 정보가 추출된 얼굴 입력 영상(302)이 도시되어 있다. 도 2 에서 이미 언급했듯이, 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템은 얼굴 입력 영상(301)을 미리 생성한 동적 외양 모델과 매칭시켜 얼굴 입력 영상(301)으로부터 얼굴 특징 정보를 추출할 수 있다. 일례로, 얼굴 표정 합성 시스템은 얼굴 입력 영상(301)을 단계적으로 해상도를 축소하여 동적 외양 모델과 매칭시킴으로써 얼굴 특징 정보를 추출할 수 있다.
일례로, 얼굴 특징 정보는 얼굴의 특징점을 의미할 수 있다. 얼굴의 특징점은 얼굴 입력 영상(401)의 각 부분(입, 코, 눈, 눈썹, 얼굴 외형 등)의 경계를 나타낼 수 있다.
도 4는 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템을 통해 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 과정의 일례를 도시한 도면이다.
도 4를 참고하면, 무표정의 얼굴 표정 영상(401)과 웃는 표정의 얼굴 표정 영상(402)이 도시되어 있다. 앞에서 이미 언급했듯이, 얼굴 표정 영상(401, 402)은 사람의 감정을 나타내는 표정을 의미할 수 있다. 예를 들어, 얼굴 표정 영상은 무표정(neutral), 웃는 표정(laugh), 슬픈 표정(sad), 놀란 표정(surprise), 화난 표정(angry) 등을 나타내는 영상을 의미할 수 있다. 발명의 일실시예에 따른 얼굴 표정 영상은 도 4에 도시된 예에 한정되지 않으며, 시스템의 구성에 따라 달라질 수 있다. 얼굴 표정 영상은 사람의 감정을 분명하게 파악할 수 있는 표정으로 구성될 수 있다.
본 발명의 일실시예에 따라, 얼굴 영상 변형부(101)는 얼굴 입력 영상을 얼굴 표정 영상(401, 402)에 대해 기하학적 변형과 텍스처 변형을 수행하여 얼굴 표정을 변형할 수 있다. 도 4 얼굴 입력 영상(403)을 웃는 표정의 얼굴 표정 영상(402)에 대해 변형한 결과 영상(404)을 도시하고 있다.
일례로, 얼굴 영상 변형부(101)는 자유 형태 변형에 기초한 기하학적 변형 모델을 이용하여 상기 얼굴 입력 영상을 얼굴 표정 영상으로 변형할 수 있다. 구체적으로 보면, 얼굴 영상 변형부(101)는 자유 형태 변형(Free-Form Deformation: FFD)을 기반으로 격자(lattice cell)들의 변형 정도를 Inverse Multiquadric Radical Basic Function(RBF)을 이용하여 계산할 수 있다. 그리고, 얼굴 영상 변형부(101)는 메쉬 스플라인 와핑(Mesh Spline Warping)을 통해 상기 얼굴 입력 영상을 자유 형태로 변형할 수 있다.
이 때, 얼굴 영상 변형부(101)는 표정 변형의 정확성을 위해 변형 오차는 기준곡선 정점들의 목표 위치와 실제 변형된 위치 사이에 발생한 변형 오차는 오차제곱합으로 나타날 수 있다. 얼굴 영상 변형부(101)는 오차 제곱합을 Singular Value Decomposition(SVD)에 의해 반복적으로 RBF 매핑 함수의 계수들을 통해 보정할 수 있다.
도 5는 본 발명의 일실시예에 따라 RGB 성분별 비선형 피부색 변화 모델의 일례를 도시한 도면이다.
피부색 변화 모델 생성부(102)는 비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성할 수 있다. 피부색 변화 모델 생성부(102)의 RGB 데이터 추출부는 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출할 수 있다.
그리고, 피부색 변화 모델 생성부(102)의 비표준화 계수 계산부는 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산할 수 있다.
도 5에서 볼 수 있듯이, 추출된 RGB 성분별 데이터는 코사인 함수 형태를 나타낸다. 다시 말해서, 얼굴 형태는 동일한 곡률을 나타내지는 않지만, 전체적으로 평면이 아닌 곡면의 형태를 나타낸다. 즉, 피부색 변화는 선형적으로 이루어지지 않고 조명 방향과 피부의 표면 법선 벡터가 이루는 각도(θ)를 통해 표현될 수 있다. 여기서, 조명 방향과 피부의 표면 법선 벡터가 이루는 각도(θ)는 조명 각도를 의미할 수 있다.
따라서, 조명 방향에 따른 피부색의 변화는 θ 값의 변화에 따라 결정될 수 있다. 본 발명의 일실시예에 따른 피부색 변화 모델 생성부(102)는 조명 방향과 피부색과의 관계를 RGB 성분별로 표현할 수 있다. 일례로, 피부색 변화 모델 생성부(102)는 하기 수학식 1에 따라 조명 방향과 피부색과의 관계를 나타낼 수 있다.
Figure 112008011597487-PAT00001
여기서, 상수는 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다. 수학식 1은 θ값을 2차 함수로 나타내고 있으며, 수학식 1은 도 5의 그래프로 도시될 수 있다. BR, BG, BB는 각각 RGB 성분별 θ값에 따른 피부색(value)을 나타낸다.
일례로, 피부색 변화 모델 생성부(102)는 코사인 함수를 1만큼 이동되어 음수값이 발생되지 않게 할 수 있다(최대값이 2, 최소값이 0). 그리고, 피부색 변화 모델 생성부(102)는 그래프(803)에서 볼 수 있듯이, 0~2범위의 y축 값을 0~255(8비트 영상의 색상값 범위를 의미함)로 샘플링하여 비선형 피부색 변화 모델을 생성할 수 있다. 도 5의 비선형 피부색 변화 모델에서 θ값에 따른 피부색(value)은 R(red)(501), G(green)(502) 및 B(blue)(503)으로 표시되고 있다. 결국, 피부색 변화 모델 생성부(102)는 계산된 RGB 성분별 비표준화 계수를 이용하여 조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성할 수 있다.
이 때, 비선형 피부색 변화 모델은 상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타낼 수 있다. 예를 들면, 각도 변화가 20~70도인 경우와 10~60도인 경우, 각도 변화량은 50도로 동일하지만, 해당 각도 변화에 대응하는 value값의 차이(피부색 변화량)는 다른 것을 알 수 있다.
또한, 비선형 피부색 변화 모델은 상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측할 수 있다. 얼굴 표면에 영향을 주는 광원의 수와 광원과 표면 법선 벡터가 이루는 각도를 정확하게 예측하기 힘들고, 색상마다 조명 효과에 따른 변화가 다르기 때문에 비선형 피부색 변화 모델은 직접 피부색 변화를 예측 가능하게 해준다.
도 6은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템의 얼굴 마스크 생성부의 동작을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 얼굴 마스크 생성부(103)는 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성할 수 있다.
이 때, 얼굴 마스크 생성부(103)의 영상 정렬부는 상기 얼굴 표정 영상으로 변형된 상기 얼굴 입력 영상을 미리 설정한 서로 다른 얼굴 표정 영상을 정렬할 수 있다.
예를 들어, 영상 정렬부는 변형된 얼굴 입력 영상(이하, 영상 Bwarp)(601)에 웃는 표정의 얼굴 표정 영상과 무표정의 얼굴 표정 영상으로 표현할 수 있다. 즉, 무표정의 변형된 얼굴 입력 영상(이하, 영상 A)과 웃는 표정의 변형된 얼굴 입력 영상(이하, 영상 A')이 생성될 수 있다. 결국, 변형된 얼굴 입력 영상(601)이 무표정과 웃는 표정으로 정렬될 수 있다는 의미이다.
또한, 얼굴 마스크 생성부(103)의 각도차 결정부는 상기 비선형 피부색 변화 모델을 통해 상기 정렬된 얼굴 입력 영상들 간의 각도차를 RGB 성분에 대하여 결정할 수 있다.
일례로, 얼굴 마스크 생성부(103)의 각도차 결정부는 하기 수학식 2에 따라 상기 정렬된 얼굴 입력 영상들 간의 각도차를 결정할 수 있다.
Figure 112008011597487-PAT00002
여기서,
Figure 112008011597487-PAT00003
는 상기 정렬된 얼굴 입력 영상들 간의 각도차를 의미한다.
도 7은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템의 영상 합성부의 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 얼굴 마스크가 적용된 얼굴 입력 영상(701)과 최종 합성 영상(702)이 도시되어 있다. 얼굴 입력 영상(701)에서 볼 수 있듯이, 생성된 마스크는 기존의 얼굴 입력 영상과 색상의 불일치가 발생할 수 있다. 그리고, 생성된 마스크는 기존의 얼굴 입력 영상과 영역의 차이가 발생할 수 있다.
이 때, 영상 합성부(104)는 생성된 표정의 변형 오차에 따른 잡음을 줄이기 위해 얼굴 마스크 영역 내에서만 표정 생성 작업이 일어나도록 처리할 수 있다. 그리고 효과적인 합성 방법을 통하여 생성된 표정 마스크와 원 영상과의 합성을 부드럽게 처리함으로써 좀더 자연스럽고 실감적인 결과를 보인다.
이 때, 영역의 차이가 발생하는 경우, 영상 합성부(104)는 합성 영역에 따른 거리 변환을 이용하여 변형된 얼굴 입력 영상과 얼굴 마스크를 합성할 수 있다.
이 때, 영상 합성부(104)는 얼굴 마스크의 합성 영역과 변형된 얼굴 입력 영상의 배경까지의 거리를 이용하여 혼합 비율을 결정할 수 있다. 일례로, 영상 합성부(104)는 유클리디안 거리 변환(Euclidean distance transform)을 이용하여 혼합 비율을 결정할 수 있다. 유클리디안 거리 변환을 적용하는 경우, 합성될 얼굴 마스크의 영역과 변형된 얼굴 입력 영상의 배경과 가장 가까운 거리를 구할 수 있다.
일례로, 유클리디안 거리 변환과 혼합 비율은 하기 수학식 3을 통해 결정될 수 있다.
Figure 112008011597487-PAT00004
Figure 112008011597487-PAT00005
Figure 112008011597487-PAT00006
여기서,
Figure 112008011597487-PAT00007
는 합성될 얼굴 마스크의 영역과 변형된 얼굴 입력 영상의 배경과 가장 가까운 거리를 의미하고,
Figure 112008011597487-PAT00008
는 얼굴 마스크 영역에 대한 혼합 비율을 의미한다. 그리고,
Figure 112008011597487-PAT00009
와
Figure 112008011597487-PAT00010
는 각각 최종 합성 영상(702)과 변형된 얼굴 입력 영상(901)을 의미한다. 또한,
Figure 112008011597487-PAT00011
는 혼합 비율이 0~255값을 갖도록 하는 비율값이고,
Figure 112008011597487-PAT00012
는 생성된 얼굴 마스크를 의미한다.
결국, 영상 합성부(104)는 얼굴 입력 영상(701)에서 텍스처의 왜곡을 최소화하여 최종 합성 영상(702)을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 피부색 변화 모델 생성 시스템의 전체 구성을 도시한 블록 다이어그램이다.
본 발명의 일실시예에 따른 피부색 변화 모델 생성부(800)은 RGB 데이터 추출부(801), 비표준화 계수 계산부(802) 및 피부색 변화 모델 생성부(803)를 포함한 다. RGB 데이터 추출부(801)는 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출할 수 있다.
또한, 비표준화 계수 계산부(802) 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산할 수 있다.
또한, 피부색 변화 모델 생성부(803)는 상기 계산된 RGB 성분별 비표준화 계수를 이용하여 비선형 피부색 변화 모델을 생성할 수 있다.
이 때, 피부색 변화 모델 생성부(803)는 조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성할 수 있다. 여기서, 비선형 피부색 변화 모델은 상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타낼 수 있다. 또한, 비선형 피부색 변화 모델은 상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측할 수 있다.
도 9는 본 발명의 일실시예에 따른 얼굴 표정 합성 방법의 전체 과정을 도시한 플로우차트이다.
본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 얼굴 학습 영상에 따른 동적 외양 모델을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형할 수 있다(S901).
얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 단계(S901)는 평균 얼굴 형태로 정렬된 얼굴 학습 영상과 상기 얼굴 학습 영상 각각의 얼굴 형태 모형을 이용하여 동적 외양 모델을 생성하는 단계를 포함할 수 있다.
얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 단계(S901)는 상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭하여 상기 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 단계를 포함할 수 있다.
이 때, 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 상기 단계는 단계에 따라 상기 얼굴 입력 영상의 해상도를 변경하여 상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭할 수 있다.
얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 단계(S901)는 자유 형태 변형에 기초한 기하학적 변형 모델을 이용하여 상기 얼굴 입력 영상을 얼굴 표정 영상으로 변형할 수 있다.
본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성할 수 있다(S902).
비선형 피부색 변화 모델을 생성하는 단계(S902)는 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 단계를 포함할 수 있다.
비선형 피부색 변화 모델을 생성하는 단계(S902)는 비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 단계를 포함할 수 있다.
비선형 피부색 변화 모델을 생성하는 단계(S902)는 상기 계산된 RGB 성분별 비표준화 계수를 이용하여 조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성할 수 있다.
이 때, 비선형 피부색 변화 모델은 상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타낼 수 있다. 또한, 비선형 피부색 변화 모델은 상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측할 수 있다.
본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 상기 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성할 수 있다(S903).
얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 단계(S903)는 상기 얼굴 표정 영상으로 변형된 상기 얼굴 입력 영상을 미리 설정한 서로 다른 얼굴 표정 영상을 정렬하는 단계를 포함할 수 있다.
얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 단계(S903)는 상기 비선형 피부색 변화 모델을 통해 상기 정렬된 얼굴 입력 영상들 간의 각도차를 RGB 성분에 대하여 결정하는 단계를 포함할 수 있다.
얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 단계(S903)는 상기 결정된 각도차를 변형된 상기 얼굴 입력 영상에 적용하여 얼굴 마스크를 생성할 수 있다.
본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성할 수 있다(S904).
이 때, 얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 단계(S904)는 상기 얼굴 마스크의 합성 영역과 상기 변형된 얼굴 입력 영상의 배경까지의 거리를 이용 하여 혼합 비율을 결정할 수 있다.
얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 단계(S904)는 유클리디안 거리 변환(Euclidean distance transform)을 이용하여 혼합 비율을 결정할 수 있다.
도 9에서 설명되지 않은 부분은 도 1 내지 도 8을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 얼굴 표정 합성 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에 서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템의 전체 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 얼굴 영상 변형부의 얼굴 특징 정보 추출하는 과정을 설명하기 위한 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템을 통해 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 과정의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템을 통해 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 과정의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따라 RGB 성분별 비선형 피부색 변화 모델의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템의 얼굴 마스크 생성부의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 얼굴 표정 합성 시스템의 영상 합성부의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 피부색 변화 모델 생성 시스템의 전체 구성을 도시한 블록 다이어그램이다.
도 9는 본 발명의 일실시예에 따른 얼굴 표정 합성 방법의 전체 과정을 도시한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
<도면의 주요 부분에 대한 부호의 설명>
100: 얼굴 표정 합성 시스템
101: 얼굴 영상 변형부
102: 피부색 변화 모델 생성부
103: 얼굴 마스크 생성부
104: 영상 합성부

Claims (33)

  1. 얼굴 학습 영상에 따른 동적 외양 모델(active appearance model)을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 얼굴 영상 변형부;
    비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성하는 피부색 변화 모델 생성부;
    상기 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 얼굴 마스크 생성부; 및
    합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 영상 합성부
    를 포함하는 얼굴 표정 합성 시스템.
  2. 제1항에 있어서,
    상기 얼굴 영상 변형부는,
    평균 얼굴 형태로 정렬된 얼굴 학습 영상과 상기 얼굴 학습 영상 각각의 얼굴 형태 모형을 이용하여 동적 외양 모델을 생성하는 동적 외양 모델 생성부; 및
    상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭하여 상기 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출부
    를 포함하는 얼굴 표정 합성 시스템.
  3. 제2항에 있어서,
    상기 얼굴 특징 정보 추출부는,
    단계에 따라 상기 얼굴 입력 영상의 해상도를 변경하여 상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  4. 제1항에 있어서,
    상기 얼굴 영상 변형부는,
    자유 형태 변형에 기초한 기하학적 변형 모델을 이용하여 상기 얼굴 입력 영상을 얼굴 표정 영상으로 변형하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  5. 제1항에 있어서,
    상기 피부색 변화 모델 생성부는,
    적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 RGB 데이터 추출부; 및
    비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 비표준화 계수 계산부
    를 포함하는 얼굴 표정 합성 시스템.
  6. 제5항에 있어서,
    상기 피부색 변화 모델 생성부는,
    상기 계산된 RGB 성분별 비표준화 계수를 이용하여 조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  7. 제5항에 있어서,
    상기 비선형 피부색 변화 모델은,
    상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타내는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  8. 제5항에 있어서,
    상기 비선형 피부색 변화 모델은,
    상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  9. 제1항에 있어서,
    상기 얼굴 마스크 생성부는,
    상기 얼굴 표정 영상으로 변형된 상기 얼굴 입력 영상을 미리 설정한 서로 다른 얼굴 표정 영상을 정렬하는 영상 정렬부; 및
    상기 비선형 피부색 변화 모델을 통해 상기 정렬된 얼굴 입력 영상들 간의 각도차를 RGB 성분에 대하여 결정하는 각도차 결정부
    를 포함하는 얼굴 표정 합성 시스템.
  10. 제9항에 있어서,
    상기 얼굴 마스크 생성부는,
    상기 결정된 각도차를 변형된 상기 얼굴 입력 영상에 적용하여 얼굴 마스크를 생성하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  11. 제1항에 있어서,
    상기 영상 합성부는,
    상기 얼굴 마스크의 합성 영역과 상기 변형된 얼굴 입력 영상의 배경까지의 거리를 이용하여 혼합 비율을 결정하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  12. 제11항에 있어서,
    상기 영상 합성부는,
    유클리디안 거리 변환(Euclidean distance transform)을 이용하여 혼합 비율을 결정하는 것을 특징으로 하는 얼굴 표정 합성 시스템.
  13. 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 RGB 데이터 추출부;
    비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 비표준화 계수 계산부; 및
    상기 계산된 RGB 성분별 비표준화 계수를 이용하여 비선형 피부색 변화 모델을 생성하는 피부색 변화 모델 생성부
    를 포함하는 피부색 변화 모델 생성 시스템.
  14. 제13항에 있어서,
    상기 피부색 변화 모델 생성부는,
    조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성하는 것을 특징으로 하는 피부색 변화 모델 생성 시스템.
  15. 제14항에 있어서,
    상기 비선형 피부색 변화 모델은,
    상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타내는 것을 특징으로 하는 피부색 변화 모델 생성 시스템.
  16. 제14항에 있어서,
    상기 비선형 피부색 변화 모델은,
    상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측하는 것을 특징으로 하는 피부색 변화 모델 생성 시스템.
  17. 얼굴 학습 영상에 따른 동적 외양 모델을 이용하여 얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 단계;
    비선형 회귀 분석을 통해 조명 방향에 따른 피부색 변화를 계산하여 비선형 피부색 변화 모델을 생성하는 단계;
    상기 생성된 비선형 피부색 변화 모델을 이용하여 상기 얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 단계; 및
    합성 영역에 따른 거리 변환을 이용하여 상기 얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 단계
    를 포함하는 얼굴 표정 합성 방법.
  18. 제17항에 있어서,
    얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 상기 단계는,
    평균 얼굴 형태로 정렬된 얼굴 학습 영상과 상기 얼굴 학습 영상 각각의 얼굴 형태 모형을 이용하여 동적 외양 모델을 생성하는 단계; 및
    상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭하여 상기 얼굴 입력 영상의 얼굴 특징 정보를 추출하는 단계
    를 포함하는 얼굴 표정 합성 방법.
  19. 제18항에 있어서,
    얼굴 입력 영상의 얼굴 특징 정보를 추출하는 상기 단계는,
    단계에 따라 상기 얼굴 입력 영상의 해상도를 변경하여 상기 얼굴 입력 영상과 상기 동적 외양 모델을 매칭하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  20. 제17항에 있어서,
    얼굴 입력 영상을 미리 설정한 얼굴 표정 영상으로 변형하는 상기 단계는,
    자유 형태 변형에 기초한 기하학적 변형 모델을 이용하여 상기 얼굴 입력 영상을 얼굴 표정 영상으로 변형하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  21. 제17항에 있어서,
    비선형 피부색 변화 모델을 생성하는 상기 단계는,
    적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 단계; 및
    비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 단계
    를 포함하는 얼굴 표정 합성 방법.
  22. 제21항에 있어서,
    비선형 피부색 변화 모델을 생성하는 상기 단계는,
    상기 계산된 RGB 성분별 비표준화 계수를 이용하여 조명 방향에 따른 피부 색 관계를 나타내는 비선형 피부색 변화 모델을 생성하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  23. 제22항에 있어서,
    상기 비선형 피부색 변화 모델은,
    상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타내는 것을 특징으로 하는 얼굴 표정 합성 방법.
  24. 제22항에 있어서,
    상기 피부색 변화 모델은,
    상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  25. 제17항에 있어서,
    얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 상기 단계는,
    상기 얼굴 표정 영상으로 변형된 상기 얼굴 입력 영상을 미리 설정한 서로 다른 얼굴 표정 영상을 정렬하는 단계; 및
    상기 비선형 피부색 변화 모델을 통해 상기 정렬된 얼굴 입력 영상들 간의 각도차를 RGB 성분에 대하여 결정하는 단계
    를 포함하는 얼굴 표정 합성 방법.
  26. 제25항에 있어서,
    얼굴 입력 영상에 합성할 얼굴 마스크를 생성하는 상기 단계는,
    상기 결정된 각도차를 변형된 상기 얼굴 입력 영상에 적용하여 얼굴 마스크를 생성하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  27. 제17항에 있어서,
    얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 상기 단계는,
    상기 얼굴 마스크의 합성 영역과 상기 변형된 얼굴 입력 영상의 배경까지의 거리를 이용하여 혼합 비율을 결정하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  28. 제27항에 있어서,
    얼굴 입력 영상과 상기 얼굴 마스크를 합성하는 상기 단계는,
    유클리디안 거리 변환(Euclidean distance transform)을 이용하여 혼합 비율을 결정하는 것을 특징으로 하는 얼굴 표정 합성 방법.
  29. 적어도 하나의 피부색 표본을 이용하여 각 표본에 대한 얼굴 굴곡과 조명 각도에 따른 RGB 성분별 데이터를 추출하는 단계;
    비선형 회귀 분석을 통해 상기 추출된 RGB 성분별 데이터를 분석하여 RGB 성분별 비표준화 계수를 계산하는 단계; 및
    상기 계산된 RGB 성분별 비표준화 계수를 이용하여 비선형 피부색 변화 모델을 생성하는 단계
    를 포함하는 피부색 변화 모델 생성 방법.
  30. 제29항에 있어서,
    비선형 피부색 변화 모델을 생성하는 상기 단계는,
    조명 방향에 따른 피부색 관계를 나타내는 비선형 피부색 변화 모델을 생성하는 것을 특징으로 하는 피부색 변화 모델 생성 방법.
  31. 제30항에 있어서,
    상기 피부색 변화 모델은,
    상기 조명 방향의 동일한 각도 변화에 대해 다른 피부색 변화를 나타내는 것을 특징으로 하는 피부색 변화 모델 생성 방법.
  32. 제30항에 있어서,
    상기 피부색 변화 모델은,
    상기 조명 방향의 각도 변화에 따라 직접 피부색 변화를 예측하는 것을 특징으로 하는 피부색 변화 모델 생성 방법.
  33. 제17항 내지 제32항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기 록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020080014092A 2008-02-15 2008-02-15 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 KR100974165B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080014092A KR100974165B1 (ko) 2008-02-15 2008-02-15 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080014092A KR100974165B1 (ko) 2008-02-15 2008-02-15 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090088675A true KR20090088675A (ko) 2009-08-20
KR100974165B1 KR100974165B1 (ko) 2010-08-04

Family

ID=41207235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080014092A KR100974165B1 (ko) 2008-02-15 2008-02-15 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100974165B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230239A (zh) * 2017-12-25 2018-06-29 中国科学院自动化研究所 人脸表情图像合成装置
CN112001872A (zh) * 2020-08-26 2020-11-27 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
KR102400609B1 (ko) * 2021-06-07 2022-05-20 주식회사 클레온 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110303B (zh) * 2011-03-10 2012-07-04 西安电子科技大学 基于支撑向量回归的人脸伪照片合成方法
KR102437039B1 (ko) * 2020-07-02 2022-08-26 주식회사 딥브레인에이아이 영상 생성을 위한 학습 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3920889B2 (ja) * 2004-12-28 2007-05-30 沖電気工業株式会社 画像合成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230239A (zh) * 2017-12-25 2018-06-29 中国科学院自动化研究所 人脸表情图像合成装置
CN112001872A (zh) * 2020-08-26 2020-11-27 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
US11922721B2 (en) 2020-08-26 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Information display method, device and storage medium for superimposing material on image
KR102400609B1 (ko) * 2021-06-07 2022-05-20 주식회사 클레온 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치

Also Published As

Publication number Publication date
KR100974165B1 (ko) 2010-08-04

Similar Documents

Publication Publication Date Title
Li et al. Learning a model of facial shape and expression from 4D scans.
CN107358648B (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
Shi et al. Automatic acquisition of high-fidelity facial performances using monocular videos
CA2715259C (en) Facial performance synthesis using deformation driven polynomial displacement maps
US7200281B2 (en) System and method for image-based surface detail transfer
US6504546B1 (en) Method of modeling objects to synthesize three-dimensional, photo-realistic animations
Freifeld et al. Contour people: A parameterized model of 2D articulated human shape
CN112887698A (zh) 基于神经辐射场的高质量人脸语音驱动方法
EP4229594A1 (en) Methods and systems for constructing facial position map
KR100974165B1 (ko) 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법
EP4217974A1 (en) Methods and systems for personalized 3d head model deformation
Zhu et al. Champ: Controllable and consistent human image animation with 3d parametric guidance
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
KR101116838B1 (ko) 개인성향을 반영한 과장표정 생성방법
EP4214685A1 (en) Methods and systems for forming personalized 3d head and facial models
WO2022197429A1 (en) Methods and systems for extracting color from facial image
US11354844B2 (en) Digital character blending and generation system and method
Song et al. A generic framework for efficient 2-D and 3-D facial expression analogy
CN113076918B (zh) 基于视频的人脸表情克隆方法
Liu et al. Data-driven 3d neck modeling and animation
Gowda et al. From pixels to portraits: A comprehensive survey of talking head generation techniques and applications
Asthana et al. Facial performance transfer via deformable models and parametric correspondence
He et al. Data-driven 3D human head reconstruction
Yu et al. A framework for automatic and perceptually valid facial expression generation
Kawai et al. Data-driven speech animation synthesis focusing on realistic inside of the mouth

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee