KR20110006030A - 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치 - Google Patents

모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치 Download PDF

Info

Publication number
KR20110006030A
KR20110006030A KR1020090063464A KR20090063464A KR20110006030A KR 20110006030 A KR20110006030 A KR 20110006030A KR 1020090063464 A KR1020090063464 A KR 1020090063464A KR 20090063464 A KR20090063464 A KR 20090063464A KR 20110006030 A KR20110006030 A KR 20110006030A
Authority
KR
South Korea
Prior art keywords
texture
input image
component
map
real
Prior art date
Application number
KR1020090063464A
Other languages
English (en)
Inventor
심현정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090063464A priority Critical patent/KR20110006030A/ko
Publication of KR20110006030A publication Critical patent/KR20110006030A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치를 개시한다.
본 발명의 실시 예들은 모델 학습에 기초하여, 입력 영상으로부터 형상 정보 및 질감 정보를 추출할 수 있는 실시간 영상 모델링 방법 및 그 장치를 제공한다. 또한, 본 발명의 실시 예들은, 입력 영상에 대한 스케터링(scattering) 및 스펙큘러(specular) 성분을 고려하여 입력 영상을 효과적으로 모델링할 수 있는 실시간 영상 모델링 방법 및 그 장치를 제공한다.
Figure P1020090063464
피부 모델링, 질감, scattering, specular

Description

모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치{METHOD AND APPARATUS FOR REAL-TIME MODELING BASED ON MODEL TRAINING}
본 발명의 실시 예들은, 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치에 관한 것으로서, 한 장의 입력 영상으로부터 물체(대표 예: 얼굴)의 질감을 추출하고 표현하는 기술에 관한 것이다.
최근 3차원 게임, 영화, 콘텐츠 제작등 다양한 응용분야에서 사람을 실감나게 제작하는 기술에 대한 수요가 꾸준히 증가하고 있다. 특히, 사람의 피부를 실감나게 표현하는 기술은 가상 인물의 실감도를 결정짓는 핵심적인 요소로서, 다각도에서 활발히 연구가 진행되고 있다.
한 장의 입력 영상으로부터 여러 성분을 분리해내는 기술은 쉽지 않다. 따라서, 한자의 입력 영상으로부터 얼굴의 질감을 추출하고 표현하는 기술은, 다양한 시도에도 불구하고 아직 명확한 해결책이 제시되지 못하고 있다.
입력 영상으로부터 얼굴의 질감 성분을 추출하여 표현하는 방식은, 일반적으로 3가지 방식이 있다.
첫 번째는 형상 모델(shape model) 기반 방식이다. 형상 모델 기반 방식에서, 영상은 형상, 질감 및 빛의 함수로 정의된다. 형상 모델 기반 방식은 얼굴이 촬영된 위치나 포즈, 빛 조건에 무관하게 일정한 성능을 갖는다. 그러나, 형상 모델 기반 방식은 형상을 생성하는 과정에서 많은 계산량이 요구되고, 형상 정밀도 및 질감 실감도가 떨어진다.
두 번째는 Ratio 영상 기반 방식이다. Ratio 영상 기반 방식에서, 영상은 빛 성분과 빛에 무관한 성분의 곱으로 정의될 수 있다. Ratio 영상 기반 방식은, 계산과 표현이 용이하지만, 영상을 단순이 빛 성분과 빛에 무관한 성분으로 구분하기 때문에 성능에 한계가 있다.
세 번째는 Illumination 모델 방식이다. Illumination 모델 방식에서, 영상을 구성하는 각각의 화소는 빛이 들어오는 모든 방향에 대해 반응하는 질감 성분의 밝기를 합친 것으로 정의된다. 즉, Illumination 모델 방식에서, 영상은 수학식 1과 같이 정의될 수 있다.
[수학식 1]
Figure 112009042394061-PAT00001
,
여기서, I는 영상, R은 질감 성분, L은 빛 성분, (x, y)는 화소 위치, (
Figure 112009042394061-PAT00002
,
Figure 112009042394061-PAT00003
)는 공간 위치를 나타낸다. Illumination 모델 방식은 얼굴의 질감을 각 화소단위로 2차원 함수로 표현할 수 있다. 따라서, Illumination 모델 방식은 실감 나는 질감을 표현하는데 적합하다.
그러나, 한 장의 입력 영상으로부터 질감을 효과적으로 표현하고, 입력 영상을 모델링하기 위해서는 보다 효율적인 방법이 요구된다.
본 발명의 실시 예들은 모델 학습에 기초하여, 입력 영상으로부터 형상 정보 및 질감 정보를 추출할 수 있는 실시간 영상 모델링 방법 및 그 장치를 제공한다.
또한, 본 발명의 실시 예들은, 입력 영상에 대한 스케터링(scattering) 및 스펙큘러(specular) 질감 성분들을 고려하여 입력 영상을 효과적으로 모델링할 수 있는 실시간 영상 모델링 방법 및 그 장치를 제공한다.
또한, 본 발명의 실시 예들은 질감 정보로부터 형상 정보를 계산할 수 있는 실시간 영상 모델링 방법 및 그 장치를 제공한다.
또한, 본 발명의 실시 예들은 형상 모델을 입력 영상에 직접 적용하지 않기 때문에, 실시간 연산이 가능한 실시간 영상 모델링 방법 및 그 장치를 제공한다.
본 발명의 실시 예들에 따르면, 입력 영상으로부터 형상 정보 및 질감 정보를 추출할 수 있다. 따라서, 물리적으로 보다 정확한 3차원 영상을 생성할 수 있다.
또한, 본 발명의 실시 예들에 따르면, 입력 영상에 대한 스케터링(scattering) 및 스펙큘러(specular)를 고려하여 입력 영상을 효과적으로 모델링 할 수 있다. 또한, 본 발명의 실시 예들에 따르면, 형상 모델을 입력 영상에 직접 적용하지 않기 때문에, 실시간 연산이 가능하다.
그리고, 본 발명의 실시 예들에 따르면, 얼굴 영상에 대한 빛 조건을 교정함으로써, 얼굴 인식 성능향상에도 도움을 줄 수 있다. 이러한, 얼굴 영상에 대한 빛 조건의 교정은, 디지털 카메라에 적용되는 영상 후처리 기술에도 적용될 수 있다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 일 실시 예에 따른 실시간 모델링은, 기 촬영된 여러 명의 얼굴영상으로부터 피부 질감의 모델을 구축하고, 구축된 피부 질감 모델을 기반으로 하여 입력 영상으로부터 피부와 형성 정보를 복원한 후, 임의의 빛 조건 혹은 시선에서 입력 영상을 랜더링하는 것을 포함한다.
도 1은 본 발명의 일 실시 예에 따른 실시간 영상 모델링 장치의 구성을 나타낸다.
도 1을 참조하면, 실시간 영상 모델링 장치(100)는, 영상 수신부(110), 영역(region) 매칭부(120), 질감 성분 및 형상 성분 추출부(130) 및 랜더링 수행부(140)를 포함한다.
영상 수신부(110)는 실시간 영상 모델링의 대상이 되는 입력 영상을 수신한다. 이때, 입력 영상은 예를 들어, 사람의 얼굴 영상일 수 있다. 즉, 실시간 영상 모델링 장치(100)는 사람의 얼굴 영상에 대하여 얼굴 피부를 실감나게 표현하는 실시간 모델링에 적용될 수 있다.
영역 매칭부(120)는 얼굴 모델 데이터베이스에 저장된 얼굴 모델과 입력 영상을 영역 단위로 매칭한다. 이때, 얼굴 모델과 입력 영상의 매칭은 기 설정된 영역 단위로 수행된다. 여기서, 기 설정된 영역은 사람의 얼굴에서 질감 특성이 유사한 영역일 수 있다. 즉, 기 설정된 영역은, 예를 들어, 사람 얼굴의 이마 부분, 코부분, 볼 부분 등 질감 특성이 유사한 부분일 수 있다.
질감 성분 및 형상 성분 추출부(130)는 입력 영상에 대한 질감 성분 및 형상 성분을 얼굴 모델 데이터베이스(200)로부터 추출한다. 이때, 입력 영상에 대한 texture, normal 성분 및 형상 성분 추출은 기 설정된 영역 단위로 수행된다. 각 설정 영역마다 얼굴 모델 데이터베이스(200)의 텍스처 맵 저장부(210)와 노멀 맵 저장부(220)에서 제공되는 확률 모델을 기반으로 입력 영상에 대한 normal 및 texture을 계산한다. 계산된 normal로부터 형상을 복원할 수 있다. 또한, 질감 성분 및 형상 성분 추출부(130)는, 얼굴 모델 데이터베이스(200)의 텍스처 맵 저장부(210)와 노멀 맵 저장부(220)에서 제공되는 스펙큘러 및 스케터링 모델을 이용하여 입력 영상에 대한 스펙큘러 상수 맵 및 스케터링 맵을 추출할 수 있다. 이때, 질감 성분 및 형상 성분 추출부(130)는 입력 영상의 화소값 및 상기 영역 단위로 계산된 확률 모델에 기초하여 입력 영상에 대한 텍스처 변수와 노멀 변수를 구한다. 상기 입력 영상에 대한 여타 질감 변수 (specular 및 scattering 성분)는 얼굴 모델 데이터베이스(200)의 텍스처 맵 저장부(210)와 노멀 맵 저장부(220)에서 제공되는 일반적인 질감 변수 모델을 입력 영상의 형상에 알맞게 변형하여 적용한다. 이 후, 계산된 입력 영상에 대한 텍스처 변수와 노멀 변수를 이용하여, 빛 조건을 구할 수 있다.
랜더링 수행부(140)는 입력 영상에 대한 질감 성분 및 형상 성분을 이용하여 상기 입력 영상을 랜더링한다. 이때, 랜더링 수행부(140)는 입력 영상에 대한 디퓨즈(diffuse), 스케터링 효과, 스펙큘러 효과를 고려하여 랜더링을 수행할 수 있다. 또한, 랜더링 수행부(140)는 다양한 각도와 빛 조건을 적용하여 얼굴 영상을 재구성할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 얼굴 모델 데이터베이스의 구성을 나타낸다. 얼굴 모델 데이터베이스(200)는 얼굴의 특정 영역 단위로 질감 성분 및 형상 성분을 제공한다.
도 2를 참조하면, 얼굴 모델 데이터베이스(200)는 텍스처 맵이 저장된 텍스처 맵 저장부(210), 노멀 맵이 저장된 노멀 맵 저장부(220), 스케터링 맵이 저장된 스케터링 맵 저장부(230) 및 스펙큘러 상수 맵이 저장된 스펙큘러 상수 맵 저장부(240)을 포함한다. 이때, 얼굴 모델 데이터베이스(200)는 후술하는 모델학습 과정에 의하여 구축될 수 있다. 여기서, 모델 학습 과정은 디퓨즈(diffuse) 성분, 스케터링(scattering) 성분 및 스펙큘러(specular) 성분으로 정의되는 질감 함수에 기초하여 수행될 수 있다.
또한, 얼굴 모델 데이터베이스(200)는 확률 모델에 기초하여 계산된, 영역별 Texture 및 Normal의 확률 모델(250), 일반적인 스케터링 맵 모델(260) 및 일반 적인 스펙큘러 상수 모델(270)을 더 포함하여 구성할 수 있다.
이하, 본 발명의 실시 예들에 적용될 수 있는 모델 학습 과정, 모델 fitting 및 렌더링(Rendering) 과정을 구체적으로 살펴본다.
1. <모델 학습>
아래의 모델 학습 과정은, 도 2의 얼굴 모델 데이터베이스 구축에 적용될 수 있다.
임의의 빛과 질감에 대한 효과는, 8차원 질감함수에 의하여 정확하게 표현될 수 있다. 이때, 8차원은, bidirectional subsurface scattering reflectance distribution function (BSSRDF)이다. BSSRDF는 한 장의 입력 영상으로부터 질감 함수를 유추하는 방식에는 적합하지 않다. 관련 기술에 따른 Illumination 모델 방식은 8차원 질감함수를 4차원 질감함수로 표현한다. 그러나, 4차원 질감함수를 이용하면, 피부 내층으로부터 발생하는 스케터링 효과를 유추할 수 없다. 스케터링 효과를 유추하기 위하여, 수학식 2 내지 수학식 5가 참조된다.
[수학식 2]
Figure 112009042394061-PAT00004
[수학식 3]
Figure 112009042394061-PAT00005
[수학식 4]
Figure 112009042394061-PAT00006
[수학식 5]
Figure 112009042394061-PAT00007
수학식 2 내지 수학식 5에서, R은 질감 성분, L은 빛 성분, (x, y)는 화소 위치, (
Figure 112009042394061-PAT00008
,
Figure 112009042394061-PAT00009
)는 공간 위치를 나타낸다. 그리고, 인덱스 'o' 는 유출(outgoing)을 나타내고, 인덱스 'i'는 입사(incident)를 나타낸다. 수학식 2는 일반적인 BSSRDF 를 나타낸다. 수학식 3은 일반적인 BSSRDF를 직접 반사 성분과 간접 반사 성분으로 나누어 표현한 것이다. 이때, 피부 질감의 특성에 따라 간접 반사 성분은 관찰 각도에 영향을 받지 않는다고 가정할 수 있다. 따라서, 수학식 4로부터 수학식 5가 유도될 수 있다.
수학식 5에 기초하여, 복수의 사람 피부 질감을 포함하는 얼굴 모델 데이터베이스를 구축할 수 있다. 이때, 얼굴 모델 데이터베이스는 질감 특성이 유사한 영역을 구분하여 구축될 수 있다. 도 3은, 얼굴에서 질감 특성이 유사한 영역의 예(310, 320)를 나타낸다.
얼굴에 대한 영역이 정의되면, 얼굴 모델 데이터베이스는 노멀과 텍스처의 확률 모델을 구축할 수 있다. 텍스처 및 노멀의 확률모델은 영역내의 질감 변수 R과 영역 내의 화소 값 I에 의하여 결정될 수 있다. 이때, 확률 분포 함수는, 관련 기술에 따른 non-parametric 함수 또는 parametric 함수 등을 선택할 수 있다. 얼굴 모델 데이터베이스에 총 M개의 사람 얼굴 모델이 존재한다고 가정하면, M개의 R에 관한 샘플 및 확률 분포 P(R|I)를 구함으로써, 텍스처 및 노멀 맵의 모델 학습이 완성된다.
스펙큘러 상수 및 스케터링 맵 모델은, 확률 모델을 사용하지 않고, 일반적인 스펙큘러 맵과 스케터링 맵을 모델로 구한다. 일반적인 모델은 여러 사람들의 성분(스펙큘러, 스케터링) 맵을 각기 평균 낸 것을 사용할 수 있다. 혹은, 여러 사람의 성분 맵을 몇 개의 그룹으로 분화시키고, 각 그룹을 대표하는 성분 맵을 구하여 이를 해당 그룹의 모델로 사용하는 방법도 있다. 이 경우, 여러 개의 성분 모델 맵을 갖게 되며, 입력 영상에 알맞은 성분 맵을 구하기 위해서 여러 성분 맵 중 하나를 선택, 혹은 선형의 합을 구하는 방식 등 다양한 세부 접근 법을 사용할 수 있다.
스펙큘러 상수 및 스케터링 상수 맵 모델을 구할 때, 확률 모델을 사용하지 않는 이유는 다음과 같다. 텍스처와 노멀의 경우, 얼굴의 아이덴티티(identity)에 큰 영향을 주는 요소이기 때문에, 정확하게 추출하는 것이 필요하다. 그러나, 스펙큘러 성분과 스케터링 성분은 실감도에는 중요한 요소이나, 얼굴의 identity를 좌우하는 요소가 아니다. 따라서, 스펙큘러 상수 및 스케터링 맵 모델은, 일반적인 맵을 형상에 맞게 변형하여 사용하는 것이 효율적이다.
2. <모델 적용(Model Fitting)>
아래의 모델 적용 과정은, 도 1의 영역 매칭부(120) 및 질감 성분 및 형상 성분 추출부(130)에 의하여 수행 될 수 있다.
학습된 모델을 알맞게 적용하기 위해서는 입력 영상의 각 영역에 해당되는 모델을 사용하는 것이 중요하다. 관련 기술에 따른 영상 모델링은, 학습된 모델을 입력 영상에 적용하기 위하여, 3D 모델을 2D 영상으로 투영하고, 3D 모델과 2D 영상을 비교하는 연산을 계속적으로 실행한다. 따라서, 관련 기술에 따른 영상 모델링은 상당한 연산량과 시간을 요구한다. 그러나, 본 발명의 일 실시 예에 따른 영상 모델링은, 간단한 영상 레벨에서의 매칭만을 이용하여 연산량을 최소화할 수 있다. 본 발명의 일 실시 예에 따른 영상 모델링은, 3D 형상 정보 없이 영역 별로 학 습된 모델을 적용하기 때문이다. 영상 단위에서의 매칭은 관련 기술에 따른 image warping, active shape model 등 다양한 알고리즘을 사용할 수 있다.
각 영역별로 확률 함수 P(R|I)와 입력 화소 값 I가 주어지면, 영역내 normal과 texture 변수는 수학식 6에 의하여 구할 수 있다.
[수학식 6]
Figure 112009042394061-PAT00010
본 발명의 일 실시 예에 따르면, 수학식 6을 만족하는 normal과 texture 변수를 모든 영역에 대해 구하고, 수학식 5에서 R과 I 값을 고정하고 빛 조건 L을 계산할 수 있다. 이를 반복적으로 적용하면, R과 L값을 더 정확하게 유도할 수 있다.
이때, P(R|I)를 두 개의 마지널(marginal) 함수의 곱으로 나타내고, 각 marginal 함수가 가우시안(Gaussian) 분포를 가진다고 가정하면, 노멀과 텍스처 변수 R은 수학식 7과 같이 유도할 수 있다.
[수학식 7]
Figure 112009042394061-PAT00011
,
여기서, L은 빛을 벡터로 표현한 변수이고, C는 지역의 질감 변수에 관한 covariance matrix,
Figure 112009042394061-PAT00012
는 mean vector를 의미한다.
본 발명의 일 실시 예에 따른 실시간 모델링 장치는, 수학식 6을 만족시키는 텍스처와 노멀을 구한 후, 일반적인 스펙큘러 및 스케터링 맵을 입력 영상에 맞게 적용한다. 이때, 일반적인 스펙큘러 및 스케터링 맵을 입력 영상에 적용하는 것은, 입력 영상과 얼굴 모델 데이터베이스의 매칭 정보를 이용할 수 있다.
본 발명의 일 실시 예에 따른 실시간 모델링 장치는, 노멀과 텍스처 성분으로부터 형상을 복원한다. 이때, 형상 복원은 관련 기술에 따른 일반적인 형상 복원 방식을 이용할 수 있다. 도 4는 본 발명의 일 실시 예에 따른 형상 복원 예를 나타낸다. 도 4에 도시된 바와 같이, 형상(420)은, 노멀(410) 방향을 고려하여, 복원될 수 있다.
3. <랜더링>
아래의 랜더링 과정은 도 1의 랜더링 수행부(140)에 의하여 수행될 수 있 다.
본 발명의 일 실시 예에 따른 실시간 모델링 장치는, 입력 영상에 대한 질감 성분과 형상 정보에 기초하여, 다양한 각도와 빛 조건에 따라서 얼굴을 재구성할 수 있다. 이때, 원하는 빛 조건을 수학식 1에 적용하면, 얼굴 표면과 빛 효과는 다양하게 생성할 수 있다. 도 5는 본 발명의 일 실시 예에 따른, 다양한 빛 조건에서 수행된 랜더링 예를 나타내고, 도 6은 본 발명의 일 실시 예에 따른, 다양한 각도에서 수행된 랜더링 예를 나타낸다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시 예에 따른 실시간 영상 모델링 장치의 구성을 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 얼굴 모델 데이터베이스의 구성을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른, 얼굴에서 질감 특성이 유사한 영역의 예를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 형상 복원 예를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른, 다양한 빛 조건에서 수행된 랜더링 예를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른, 다양한 각도에서 수행된 랜더링 예를 나타낸다.

Claims (12)

  1. 입력 영상을 수신하는 단계;
    얼굴 모델 데이터베이스에 저장된 얼굴 모델과 상기 입력 영상을 영역 단위-여기서, 상기 영역은 유사한 질감 특성을 갖는 기 설정된 영역임-로 매칭하는 단계;
    상기 영역 단위로, 상기 입력 영상에 대한 질감 성분 및 형상 성분을 상기 얼굴 모델 데이터베이스로부터 추출하는 단계; 및
    상기 입력 영상에 대한 질감 성분 및 형상 성분을 이용하여 상기 입력 영상을 랜더링하는 단계를 포함하는 실시간 영상 모델링 방법.
  2. 제1항에 있어서, 상기 얼굴 모델 데이터베이스는,
    디퓨즈(diffuse) 성분, 스케터링(scattering) 성분 및 스펙큘러(specular) 성분으로 정의되는 질감 함수에 기초하여 구축된, 실시간 영상 모델링 방법.
  3. 제1항에 있어서, 상기 얼굴 모델 데이터베이스는,
    복수의 얼굴 영상 각각에 대한, 텍스처 맵(texture map), 노멀 맵(normal map), 스케터링(scattering) 맵 및 스펙큘러(specular) 상수 맵 중 적어도 어느 하 나를 포함하는 실시간 영상 모델링 방법.
  4. 제3항에 있어서, 상기 텍스처 맵 및 노멀 맵은,
    상기 영역 단위로 계산된 확률 모델에 기초하여 생성되는, 실시간 영상 모델링 방법.
  5. 제1항에 있어서,
    상기 입력 영상에 대한 질감 성분 및 형상 성분을 상기 얼굴 모델 데이터베이스로부터 추출하는 단계는,
    상기 입력 영상의 화소값 및 상기 영역 단위로 계산된 확률 모델에 기초하여 상기 입력 영상에 대한 텍스처 변수와 노멀 변수를 구하는 단계; 및
    상기 입력 영상에 대한 텍스처 변수와 노멀 변수를 이용하여 상기 입력 영상에 대한 질감 변수 및 빛 조건을 구하는 단계를 포함하는, 실시간 영상 모델링 방법.
  6. 제1항에 있어서,
    상기 입력 영상을 랜더링하는 단계는,
    상기 입력 영상에 대한 스펙큘러 효과 및 스케터링 효과를 고려하여 수행되는, 실시간 영상 모델링 방법.
  7. 입력 영상을 수신하는 영상 수신부;
    얼굴 모델 데이터베이스에 저장된 얼굴 모델과 상기 입력 영상을 영역 단위-여기서, 상기 영역은 유사한 질감 특성을 갖는 기 설정된 영역임-로 매칭하는 영역 매칭부;
    상기 영역 단위로, 상기 입력 영상에 대한 질감 성분 및 형상 성분을 상기 얼굴 모델 데이터베이스로부터 추출하는 질감 성분 및 형상 성분 추출부; 및
    상기 입력 영상에 대한 질감 성분 및 형상 성분을 이용하여 상기 입력 영상을 랜더링하는 랜더링 수행부를 포함하는 실시간 영상 모델링 장치.
  8. 제7항에 있어서, 상기 얼굴 모델 데이터베이스는,
    디퓨즈(diffuse) 성분, 스케터링(scattering) 성분 및 스펙큘러(specular) 성분으로 정의되는 질감 함수에 기초하여 구축된, 실시간 영상 모델링 장치.
  9. 제7항에 있어서, 상기 얼굴 모델 데이터베이스는,
    복수의 얼굴 영상 각각에 대한, 텍스처 맵이 저장된 텍스처 맵(texture map) 저장부, 노멀 맵이 저장된 노멀 맵(normal map) 저장부, 스케터링 맵이 저장된 스케터링(scattering) 맵 저장부 및 스펙큘러 상수 맵이 저장된 스펙큘러(specular) 상수 맵 저장부 중 적어도 어느 하나를 포함하는 실시간 영상 모델링 장치.
  10. 제9항에 있어서, 상기 텍스처 맵 및 노멀 맵은,
    상기 영역 단위로 계산된 확률 모델에 기초하여 생성되는, 실시간 영상 모델링 장치.
  11. 제7항에 있어서, 상기 질감 성분 및 형상 성분 추출부는,
    상기 입력 영상의 화소값 및 상기 영역 단위로 계산된 확률 모델에 기초하여 상기 입력 영상에 대한 텍스처 변수와 노멀 변수를 구하고,
    상기 입력 영상에 대한 텍스처 변수와 노멀 변수를 이용하여 상기 입력 영상에 대한 질감 변수 및 빛 조건을 구하는, 실시간 영상 모델링 장치.
  12. 제7항에 있어서, 상기 랜더링 수행부는,
    상기 입력 영상에 대한 스펙큘러 효과 및 스케터링 효과를 고려하여 랜더링 을 수행하는, 실시간 영상 모델링 장치.
KR1020090063464A 2009-07-13 2009-07-13 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치 KR20110006030A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090063464A KR20110006030A (ko) 2009-07-13 2009-07-13 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090063464A KR20110006030A (ko) 2009-07-13 2009-07-13 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20110006030A true KR20110006030A (ko) 2011-01-20

Family

ID=43612911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090063464A KR20110006030A (ko) 2009-07-13 2009-07-13 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20110006030A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527545B1 (ko) * 2014-02-27 2015-06-11 성결대학교 산학협력단 휴대 단말기용 게임을 위한 서브 서피스 스캐터링 렌더링 방법
US9773159B2 (en) 2014-09-16 2017-09-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting image feature

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527545B1 (ko) * 2014-02-27 2015-06-11 성결대학교 산학협력단 휴대 단말기용 게임을 위한 서브 서피스 스캐터링 렌더링 방법
US9773159B2 (en) 2014-09-16 2017-09-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting image feature

Similar Documents

Publication Publication Date Title
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
Ichim et al. Dynamic 3D avatar creation from hand-held video input
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
WO2022001236A1 (zh) 三维模型生成方法、装置、计算机设备及存储介质
JP4950787B2 (ja) 画像処理装置及びその方法
CN111598998A (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
Lee et al. Accurate and robust face recognition from RGB-D images with a deep learning approach.
CN110111418A (zh) 创建脸部模型的方法、装置及电子设备
CN108875524A (zh) 视线估计方法、装置、系统和存储介质
CN106575450A (zh) 通过反照率模型、系统和方法的增强现实内容渲染
CN109859305A (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN111950430B (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN113269862A (zh) 场景自适应的精细三维人脸重建方法、系统、电子设备
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN108564619B (zh) 一种基于两张照片的真实感三维人脸重建方法
WO2012078006A2 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
US20230154101A1 (en) Techniques for multi-view neural object modeling
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN113808277A (zh) 一种图像处理方法及相关装置
CN110458924A (zh) 一种三维脸部模型建立方法、装置和电子设备
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
GB2612881A (en) Techniques for re-aging faces in images and video frames

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination