KR100601989B1

KR100601989B1 - 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을저장한 컴퓨터로 읽을 수 있는 기록매체

Info

Publication number: KR100601989B1
Application number: KR1020050011411A
Authority: KR
Inventors: 손경아; 렌하이빙; 기석철
Original assignee: 삼성전자주식회사
Priority date: 2005-02-07
Filing date: 2005-02-07
Publication date: 2006-07-18
Also published as: US20060176301A1

Abstract

3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체가 개시된다. 그 장치는, 사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 인자값 설정부, 상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 에러값 산출부, 상기 산출된 에러값을 사전에 설정된 기준치와 비교하고, 상기 비교 결과에 따라 소정의 제어신호를 생성하는 제어부 및 상기 제어신호에 따라 타겟가중치를 상기 저장된 모델에 가중하고, 상기 타겟가중치가 가중된 모델들을 합산함으로써, 주어진 2차원 이미지의 3차원 형상을 생성하는 매핑부를 포함함을 특징으로 한다. 그러므로, 본 발명은 단 하나의 2차원 이미지를 이용하여 그 이미지의 3차원 형상을 정확히 예측하는 효과를 갖는다.

Description

3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체{Apparatus and method for estimating 3D face shape from 2D image and computer readable media for storing computer program}

도 1은 2차원 이미지와 3차원 형상간의 관계를 설명하기 위한 참고도들이다.

도 2는 본 발명에 의한 3차원 형상 생성 장치를 설명하기 위한 일 실시예의 블록도이다.

도 3은 2차원 이미지에서 검출된 특징점의 일 례를 나타내는 참고도이다.

도 4는 도 2에 도시된 인자값 설정부가 인자값을 설정하는 원리를 설명하기 위한 바람직한 실시예의 참고도들이다.

도 5 내지 도 12는 본 발명의 효과를 설명하기 위한 참고도들이다.

도 13은 본 발명에 의한 3차원 형상 생성 방법을 설명하기 위한 일 실시예의 플로우챠트이다.

< 도면의 주요 부분에 대한 부호의 설명 >

210 : 얼굴형상 예측부 212 : 인자값 설정부

214 : 제어부 216 : 사용자 인터페이스부

218 : 에러값 산출부 220 : 기본모델 저장부

222 : 매핑부 250 : 얼굴질감 예측부

본 발명은 직관적 투사모델에 의하여 예측된 3차원 형상과 저장된 3차원 모델들의 소정의 조합에 의하여 산출된 3차원 형상의 차이나는 정도 및 소정 모델로부터 상기 산출된 형상의 벗어난 정도를 최소로 하는 상기 조합을 결정함으로써 3차원 형상을 예측하는 3차원 형상 생성 장치와 방법에 관한 것이다.

임의의 주어진 2차원 이미지의 3차원 형상을 예측하는 기술은 영상 처리와 해석에 있어 중요한 기술이다. 일반적으로, 그 이미지는 사람 얼굴의 이미지이며 그 3차원 형상은 사람 얼굴의 형상이다.

이러한 3차원 형상 예측 기술은 3차원 얼굴형상 모델링, 얼굴 인식 및 영상 처리 등의 영역에 사용된다. 일반적으로, 주어진 2차원 얼굴이미지의 3차원 얼굴을 예측하는 알고리즘은 이미지 캡쳐 과정, 얼굴영역 검출 과정, 얼굴형상 모델링 과정 및 얼굴질감 매핑 과정으로 이루어진다.

여기서, 이미지 캡쳐란 촬상을 통하여 이미지를 얻음을 의미하고, 얼굴영역 검출이란 캡쳐된 이미지 중 얼굴영역 부분을 검출함을 의미한다. 얼굴형상 모델링이란 그 검출된 얼굴이미지를 계산된 얼굴형상에 매핑시킴을 의미하며, 얼굴질감 매핑이란 그 모델링된 얼굴형상에 계산된 질감을 형성함을 의미한다.

종래의 3차원 형상 예측 장치로서, 미국특허등록번호 제6,556,196호에 개시된"method and apparatus for the processing of images"가 있다. 이 장치는, 주어 진 2차원 이미지가 많을수록 정확한 3차원 형상을 생성하는 기술을 제안하므로, 2차원 이미지가 단 하나 주어지는 경우 정확한 3차원 형상을 예측할 수 없는 문제점을 갖는다. 더욱이, 이 장치는 3차원 형상을 예측하는 데에 많은 시간을 소요한다는 문제점도 지닌다.

이러한 문제점을 해결하고자, 종래의 3차원 형상 예측 장치로서, 미국특허등록번호 제6,492,986호에 개시된"method for human face shape and motion estimation based on integrating optical flow and deformable models"가 있다. 이 장치는, 2차원 이미지가 단 하나 주어지는 경우에도 3차원 형상을 예측할 수 있으나, 전술한 시간지연의 문제점을 여전히 해결하지 못한다.

한편, 종래의 3차원 형상 예측 장치는, 1996년도에 미국의 Rockefeller 대학의 'Joseph J.Atick'에 의해 "statistical approach to shape from shading : reconstriction of 3D face surfaces from single 2D images"라는 제목으로 출간된 논문에도 알려져 있다. 그러나, 이와 같은 종래의 장치 역시, 미국특허등록번호 제6,492,986호에 개시된 종래의 장치가 지니는 문제점을 해결하지 못한다.

또한, 전술한 모든 종래의 3차원 형상 예측 장치들은, 주어진 2차원 이미지의 ASM 특징점이 정확히 검출되지 않는 경우 그 이미지의 3차원 형상을 정확히 예측할 수 없다는 문제점을 갖는다.

본 발명이 이루고자 하는 기술적 과제는, 직관적 투사모델에 의하여 예측된 3차원 형상과 저장된 3차원 모델들의 소정의 조합에 의하여 산출된 3차원 형상의 차 이나는 정도 및 소정 모델로부터 상기 산출된 형상의 벗어난 정도를 최소로 하는 상기 조합을 결정함으로써 3차원 형상을 예측하는 3차원 형상 생성 장치를 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 직관적 투사모델에 의하여 예측된 3차원 형상과 저장된 3차원 모델들의 소정의 조합에 의하여 산출된 3차원 형상의 차이나는 정도 및 소정 모델로부터 상기 산출된 형상의 벗어난 정도를 최소로 하는 상기 조합을 결정함으로써 3차원 형상을 예측하는 3차원 형상 생성 방법을 제공하는 것이다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 직관적 투사모델에 의하여 예측된 3차원 형상과 저장된 3차원 모델들의 소정의 조합에 의하여 산출된 3차원 형상의 차이나는 정도 및 소정 모델로부터 상기 산출된 형상의 벗어난 정도를 최소로 하는 상기 조합을 결정함으로써 3차원 형상을 예측하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것이다.

상기 과제를 이루기 위해, 본 발명에 의한 3차원 형상 생성 장치는, 사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 인자값 설정부, 상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 에러값 산출부, 상기 산출된 에러값을 사전에 설정된 기준치와 비교하고, 상기 비교된 결과를 제어신호로서 출력하는 제어부 및 상기 제어신호에 따라 타겟 가중치를 상기 저장된 모델에 가중하고, 상기 타겟가중치가 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 매핑부를 포함하며, 상기 매핑인자는 2차원 변수를 3차원 변수에 매핑시키는 인자이며, 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상이고, 상기 제2 추측형상은 상기 주어진 2차원 이미지가 상기 매핑인자에 의해 매핑된 형상이며, 상기 타겟가중치는 상기 설정된 가중치 중 상기 산출된 에러값이 상기 기준치 이하로 되는 가중치인 것을 특징으로 한다.

본 발명의 상기 에러값은 상기 제1 추측형상이 소정 모델로부터 벗어난 정도를 수치화한 값을 더 포함함이 바람직하다.

본 발명의 상기 에러값은 상기 제1 추측형상이 상기 저장된 모델의 평균 형상으로부터 벗어난 정도를 수치화한 값을 더 포함함이 바람직하다.

본 발명의 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상과 상기 저장된 모델의 평균 형상이 합산되어 생성되며, 상기 에러값은 상기 설정된 가중치의 총합에 비례하는 수치를 더 포함하며, 상기 매핑부는, 상기 제어신호에 따라 타겟가중치를 상기 저장된 모델에 가중하고, 상기 타겟가중치가 가중된 모델들 및 상기 저장된 모델의 평균 형상을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 것이 바람직하다.

본 발명의 상기 제어부는, 상기 산출된 에러값이 상기 기준치보다 크다면 상기 인자값 설정부의 재동작을 지시하는 상기 제어신호를 생성함이 바람직하다.

본 발명의 상기 인자값 설정부는, 직전에 설정한 인자값보다 제1 소정치 큰 인자값을 현재 설정함으로써 상기 인자값을 설정하며, 상기 제어부로부터 자신의 재동작을 지시받으면 상기 직전에 설정한 인자값보다 제2 소정치 큰 인자값을 설정하고, 상기 제1 소정치는 상기 제2 소정치보다 큰 것이 바람직하다.

본 발명은 복수의 3차원 모델을 저장하는 기본모델 저장부를 더 포함함이 바람직하다.

본 발명은 상기 인자값을 입력가능한 인터페이스를 외부에 제공하며 상기 입력받은 인자값을 상기 인자값 설정부에 전달하는 사용자 인터페이스부를 더 포함함이 바람직하다.

본 발명의 상기 주어진 2차원 이미지는 촬상되어 생성되며, 상기 제2 추측형상은 다음의 수학식들을 이용하여 산출됨이 바람직하다.

이 때, o는 제2 추측형상을 의미하며, x 및 y는 상기 주어진 2차원 이미지를 이루는 각 부분의 2차원상의 위치정보를 의미하고, i는 상기 2차원상의 위치정보를 갖는 각 부분의 고유번호를 의미할 수도 있고, 상기 제2 추측형상 중 상기 2차원상의 위치정보를 갖는 각 부분에 매핑된 각 부분의 고유번호를 의미할 수도 있으며, X, Y및 Z는 상기 제2 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하 고,

,

및

는 상기 매핑인자의 하나로서 가변가능한 상수이며,

및

는 상기 주어진 2차원 이미지의 위치정보를 변경하는 인자를 의미하고, f는 상기 매핑인자의 하나로서 상기 주어진 2차원 이미지를 촬상한 촬상장치의 초점거리를 의미하는 인자이며, t는 상기 인자에 표시되는 경우 상기 인자값 설정부가 t번째 설정한 인자임을 의미하고 상기 3차원상의 위치정보에 표시되는 경우 상기 t번째 설정된 인자값을 이용하여 생성된 제2 추측형상임을 의미한다.

본 발명의 상기 3차원 모델은 n개 저장되며, 상기 제1 추측형상은 다음의 수학식들을 이용하여 산출됨이 바람직하다.

이 때,e는 제1 추측형상을 의미하며, X, Y및 Z는 상기 제1 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하고,

,

및

는 상기 저장된 n개 모델의 평균적인 형상을 이루는 각 부분의 위치정보를 의미하며, t는 상기 인자값 설정부가 t번째 설정한 가중치를 이용하여 생성된 제1 추측형상을 의미 하고, j는 상기 저장된 모델 각각의 고유번호를 의미하며,

는 상기 가중치를 의미하고,

,

및

는 상기 저장된 모델을 이루는 각 부분의 3차원상의 위치정보를 의미하며,

는 상기 저장된 모델마다 설정되며 가변가능한 상수를 의미한다.

본 발명의 상기 에러값은 다음의 수학식들을 이용하여 산출됨이 바람직하다.

이 때, F는 상기 에러값 산출부가 산출하는 에러값을 의미하고, Eo는 상기 제1 추측형상과 상기 제2 추측형상의 차이나는 정도를 수치화한 값을 의미하며, Ec는 상기 제1 추측형상이 상기 저장된 모델의 평균 형상으로부터 벗어난 정도를 수치화한 값을 의미하고, e는 제1 추측형상을 의미하며, o는 제2 추측형상을 의미하고,oi 는 상기 제2 추측형상 중 상기 주어진 2차원 이미지를 이루는 각 부분에 매핑된 각 부분이 갖는 고유번호를 의미하고, ei는 상기 oi를 갖는 제2 추측형상의 부분이 지니는 상기 제2 추측형상에서의 상대적인 위치정보와 동일한 상대적인 위치정보를 갖는 상기 제1 추측형상의 부분이 갖는 고유번호를 의미하며, m은 i가 총 m개 존재함을 의미하고, j는 상기 저장된 모델 각각이 갖는 고유번호를 의미하며, n은 j가 총 n개 존재함을 의미하고,

,

및

는 상기 제2 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하며,

,

및

각각은 상기

,

및

각각의 위치정보에 상응하며 상기 제1 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하고, s는 스케일 인자를 의미하며,

는 소정의 면에 투사된 상기 제2 추측형상의 이미지가 갖는 크기를 의미하고,

는 상기 소정의 면에 투사된 상기 저장된 모델의 평균 형상의 이미지가 갖는 크기를 의미하며,

는 상기 가중치를 의미하고,

는 사전에 설정된 비례상수를 의미한다.

상기 다른 과제를 이루기 위해, 본 발명에 의한 3차원 형상 생성 방법은, 사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 단계, 상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하 는 단계, 상기 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계 및 상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 상기 설정된 가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계를 포함하며, 상기 매핑인자는 2차원 변수를 3차원 변수에 매핑시키는 인자이며, 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상이고, 상기 제2 추측형상은 상기 주어진 2차원 이미지가 상기 매핑인자에 의해 매핑된 형상인 것을 특징으로 한다.

본 발명은 상기 설정된 인자값을 사전에 설정된 초기설정값으로 변경하여 초기화하는 단계를 더 포함함이 바람직하다.

본 발명의 상기 산출하는 단계는, 상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 단계,상기 산출이 최초의 산출인지 판단하는 단계 및 상기 판단 결과, 상기 산출이 최초의 산출이면 상기 설정하는 단계로 진행하는 단계를 포함함이 바람직하다.

본 발명의 상기 비교하는 단계는, 현재 산출된 상기 에러값과 직전에 산출된 상기 에러값을 비교하는 단계 및 상기 비교 결과, 상기 현재 산출된 에러값이 상기 직전에 산출된 에러값보다 작다면 상기 현재 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계를 포함하며, 상기 생성하는 단계는, 상기 비교 결과, 상기 산 출된 에러값이 상기 기준치보다 작다면 타겟가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계이며, 상기 타겟가중치는 상기 설정된 가중치 중 상기 산출된 에러값이 상기 기준치 이하로 되는 가중치임이 바람직하다.

본 발명의 상기 비교하는 단계는, 상기 판단 결과, 상기 산출이 최초의 산출이 아니면 현재 산출된 상기 에러값과 직전에 산출된 상기 에러값을 비교하는 단계 및 상기 비교 결과, 상기 현재 산출된 에러값이 상기 직전에 산출된 에러값보다 작다면 상기 현재 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계를 포함하며, 상기 생성하는 단계는, 상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 타겟가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진2차원 이미지의 3차원 형상을 생성하는 단계이며, 상기 타겟가중치는 상기 설정된 가중치 중 상기 산출된 에러값이 상기 기준치 이하로 되는 가중치임이 바람직하다.

본 발명의 상기 비교하는 단계는, 현재 산출된 상기 에러값과 직전에 산출된 상기 에러값을 비교하는 단계 및 상기 비교 결과, 상기 현재 산출된 에러값이 상기 직전에 산출된 에러값보다 크다면 상기 설정하는 단계로 진행하는 단계를 포함함이 바람직하다.

본 발명은 상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 크다면 상기 설정하는 단계로 진행하는 단계를 더 포함함이 바람직하다.

상기 또 다른 과제를 이루기 위해, 본 발명에 의한 컴퓨터 프로그램을 저장하 는 컴퓨터로 읽을 수 있는 기록매체는, 사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 단계, 상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 단계, 상기 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계 및 상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 상기 설정된 가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계를 포함하며, 상기 매핑인자는 2차원 변수를 3차원 변수에 매핑시키는 인자이며, 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상이고, 상기 제2 추측형상은 상기 주어진 2차원 이미지가 상기 매핑인자에 의해 매핑된 형상인 것을 특징으로 한다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체의 일 실시예에 대해 상세히 설명한다. 다만, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 당해 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 2차원 이미지와 3차원 형상간의 관계를 설명하기 위한 참고도들이다. 도 1(a)에 도시된 바에 따르면, 소정의 3차원 물체(110)가 존재한다. 이 때, 카메라와 같은 영상촬상장치(미도시)가 Z축상에 존재하며, 그 영상촬상장치는 그 3차원 물체(110)를 촬영함이 바람직하다.

도 1(b)에 도시된 바에 따르면, 그 영상촬상장치(미도시)는 3차원 물체(110)를 촬상하여 2차원 이미지(130)를 얻는다. 본 발명에 의한 주어진 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체는, 이러한 2차원 이미지(130)가 주어지면 그 2차원 이미지(130)의 3차원 형상을 생성하는 기술을 제시한다. 도 1의 경우, 3차원 형상이란 3차원 물체(110)가 갖는 형상을 의미한다. 결국, 본 발명은 참조번호 132 및 134와 같은 2차원 위치정보를 참조번호 112 및 114와 같은 3차원 위치정보에 매핑시키는 기술을 제시한다.

도 2는 본 발명에 의한 3차원 형상 생성 장치(이하 "본 장치"라 함)를 설명하기 위한 일 실시예의 블록도로서, 본 장치(210)는 인자값 설정부(212), 제어부(214), 사용자 인터페이스부(216), 에러값 산출부(218), 기본모델 저장부(220), 매핑부(222)를 포함한다. 본 장치(210)를 얼굴형상 예측부(210)라 명명할 수도 있다.

인자값 설정부(212)는 사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정한다. 여기서, 복수의 3차원 모델은 기본모델 저장부(220)에 저장됨이 바람직하다.

인자값 설정부(212)의 동작은 인자값 설정부(212)와 연결된 제어부(214)의 지시에 의해 이루어짐이 바람직하다. 인자값 설정부(212)가 설정하는 인자에는 가중치, 매핑인자 및 초점거리 등이 있다. 본 장치는 사전에 저장된 모델마다 적절한 가중치를 가중하고, 그 가중된 모델들을 합산함으로써 3차원 형상을 생성한다. 여기서, 가중한다 함은 곱함을 의미함이 바람직하다. 많은 가중치가 가중된 모델의 형상일수록 생성된 3차원 형상에 가장 많이 나타나게 된다.

결국, 정확한 3차원 형상을 생성하기 위해서는 인자값 설정부(212)가 설정한 가중치가 소정의 조건을 만족해야 한다. 이러한 소정의 조건을 만족하는 가중치를 이하 타겟가중치라 명명함이 바람직하다. 한편, 소정의 조건이란 에러값 산출부(218) 및 제어부(214)의 동작에 대한 설명과 함께 후술하도록 한다.

한편, 인자값 설정부(212)는 인자값을 설정함에 있어 가중치 및 매핑인자를 동시에 설정함이 바람직하다.

이 때, 매핑인자는 (x, y)와 같은 2차원 변수를 (X, Y, Z)와 같은 3차원 변수에 매핑시키는 인자이다. 예컨대, 매핑인자는 Tx, Ty, Tz로 이루어진다고 가정할 수 있다. 이 경우, (x, y) 와 같은 2차원 상의 위치정보는 Tx, Ty, Tz 를 매개변수로 하여 (X, Y, Z)와 같은 3차원 상의 위치정보에 매핑(mapping)된다. Tx, Ty, Tz는 설정된 상수이며, 가변가능함이 바람직하다.

한편, 매핑인자에는 전술한 Tx, Ty, Tz 뿐만 아니라 f도 포함될 수 있다.

인가값 설정부(212)가 설정하는 인자 중 하나인 'f'는 주어진 2차원 이미지가 영상촬상장치(미도시)에 의해 촬상되어 생성된 경우 그 영상촬상장치에 설정된 초점거리(focus length)를 의미한다.

인자값 설정부(212)는 무작위로 인자값을 설정할 수도 있고, 소정의 규칙에 의하여 인자값을 설정할 수도 있으며, 사용자 인터페이스부(216)로부터 입력받은 수치를 바이패스(bypass)시킴으로써 인자값을 설정할 수도 있다. IN2는 사용자 인터페이스부(216)가 입력받은 수치를 의미한다.

제어부(214)는 2차원 이미지가 주어지는 경우 인자값 설정부(212)의 동작을 지시함이 바람직하다. IN 1은 주어지는 2차원 이미지를 의미한다.

사용자 인터페이스부(216)는 소정의 인터페이스(미도시)를 제공한다. 보다 구체적으로, 인자값 설정부(212)가 사용자 인터페이스부(216)로부터 입력받은 수치를 바이패스시킴으로써 인자값을 설정하는 경우 인자값 설정부(212)는 사용자 인터페이스부(216)가 소정의 인터페이스를 제공하도록 지시한다. 여기서, 소정의 인터페이스란 사용자가 그 수치를 입력할 수 있는 인터페이스를 의미한다. OUT 1은 사용자 인터페이스부(216)가 제공하는 인터페이스를 의미한다.

에러값 산출부(218)는 인자값 설정부(212)로부터 인자값을 전달받고, 그 전달받은 인자값에 따라 소정의 에러값을 산출한다. 에러값 산출부(218)가 산출하는 에러값은 이하 F라 명명될 수 있다.

한편, F는 인자값의 함수이며 다음과 같이 표현될 수 있다.

F = Eo +Ec

이 때, Eo는 관측 에너지(observation energy)를 말하며, Ec는 형상제약 에너지(shape constraint energy)를 말한다. 관측 에너지는 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 의미한다.

제1 추측형상이란 인자값 설정부(212)에 의해 설정된 가중치가 가중된 모델들이 합산되어 생성된 형상을 말하고, 제2 추측형상이란 본 장치에 주어진 2차원 이미지가 매핑인자에 의해 매핑된 형상을 말한다. 결국, 제1 추측형상과 제2 추측형상 모두 3차원 형상이다.

한편, Eo는 다음과 같은 수식에 의해 산출될 수 있다.

이 때, Ed는 주어진 2차원 이미지 IN1 상의 각 부분에 대응되는 "제1 추측형상의 각 부분"의 3차원 상의 위치정보와 "제2 추측형상의 각 부분"의 3차원 상의 위치정보간의 차이를 나타낸다. 즉, 제1 추측형상과 제2 추측형상의 차이나는 정도를 비교함에 있어, 동일한 위상을 갖는 부분의 3차원상의 위치정보를 서로 비교함이 바람직하다.

여기서, 제1 추측형상의 일 부분이 갖는 위상과 제2 추측형상의 타 부분이 갖는 위상이 동일하다 함은 그 일 부분과 타 부분이 "주어진 2차원 이미지" 상에서 동일한 부분에 상응함을 의미한다.

예컨대, 주어진 2차원 이미지 상의 눈동자에 상응하는 제1 추측형상의 일 부분은 제1 추측형상 중 눈동자 부분이며, 이와 같은 논리로, 제2 추측형상의 타 부분도 제2 추측형상 중 눈동자 부분이다.

주어진 2차원 이미지 상의 각 부분은 특징적인 부분임이 바람직하다. 주어진 2차원 이미지가 사람얼굴의 이미지라면, 그 각 부분은 눈 부분일 수도 있고, 코 부분일 수도 있으며, 눈썹 부분일 수도 있고, 입술 부분일 수도 있다. 도 3은 주어진 2차원 이미지에서 검출된 특징점(feature points)의 일 례를 나타내는 참고도이다. 도시된 바에 따르면, 주어진 2차원 이미지(310) 상에서소정의 부분들이 점(320)으 로 표현되어 있다.

이러한 점을 특징점이라 명명할 수 있다. 이러한 특징점은 눈, 코, 입과 같은 얼굴 각 부분을 정확히 표현함이 바람직하다. 이를 위해, 얼굴인식 분야에서 이미 널리 알려진 기술인 ASM(Active Shape Model) 알고리즘(algorithm)을 이용하여 특징점을 찾음을 찾음이 바람직하다. 결국, 주어진 2차원 이미지 상의 각 부분은 ASM 알고리즘에 의해 검색된 특징점임이 바람직하다.

이 때, 정교한 ASM 알고리즘이 사용된다면 검색된 특징점이 정확히 눈, 코, 입과 같은 영역을 정확히 표현하지만, 덜 정교한 ASM 알고리즘이 사용된다면 얼굴 각 영역을 정확히 표현하지 못할 수도 있다. 그러나, 본 발명은 주어진 2차원 이미지 상에서 ASM 알고리즘에 의해 검출되는 특징점이 갖는 위치에 관계없이 정확한 3차원 형상을 생성하는 기술을 제안한다. 이하 설명한다.

전술한 바와 같이, Ed는 주어진 2차원 이미지 IN1 상의 각 부분에 대응되는 "제1 추측형상의 각 부분"의 3차원 상의 위치정보와 "제2 추측형상의 각 부분"의 3차원 상의 위치정보간의 차이를 나타낸다. 이하, "주어진 2차원 이미지 상의 각 부분"은 주어진 2차원 이미지에 m개 존재한다고 가정한다. 이 m개의 각 부분은 전술한 특징점(320)일 수 도 있고, 아닐 수도 있다.

그러한 "주어진 2차원 이미지 상의 각 부분(이하 "선택부분"이라 함)에 상응하는 제2 추측형상의 각 부분(이하 "제2 비교부분"이라 함)"이 갖는 3차원 상의 위치정보는 선택부분이 매핑인자에 의해 매핑된 위치정보를 의미한다. 이 때, 매핑인자는 인자값 설정부(212)에 의해 설정된 매핑인자를 말한다.

예컨대, 제2 비교부분의 위치정보 (Xo, Yo, Zo)는 (x, y)라는 위치정보를 갖는 선택부분이 Tx, Ty, Tz, f에 의해 매핑된 위치정보를 말한다. 여기서, o는 제2 추측형상을 의미한다. 보다 구체적으로, 다음과 같은 수식들에 의해 제2 비교부분의 위치정보가 산출될 수 있다. 이하, 이 수식들을 직관적 투사모델(perspective projection model)에 의한 수식들이라 명명한다.

이 때, o는 제2 추측형상을 의미하며, x 및 y는 선택부분의 위치정보를 의미하고, i는 두 가지 의미로 사용될 수 있다. 즉, i가 x 또는 y의 첨자로 사용된 경우 i는 그 선택부분의 고유번호를 의미하며, i가 Xo, Yo, Zo의 첨자로 사용된 경우 i는 제2 추측형상 중 (

,

)가 매핑인자에 의해 매핑된 부분을 의미할 수도 있다.

한편, Xo, Yo 및 Zo는 "제2 추측형상을 이루는 각 부분"의 3차원상의 위치정보를 의미하며, 보다 구체적으로, Xo, Yo 및 Zo는 "제2 비교부분"의 위치정보를 의미함이 바람직하다.

,

및

는 매핑인자의 하나이며, 가변가능한 상수이다.

및

는 주어진 2차원 이미지의 위치정보를 변경하는 인자이다. 또한, f는 매핑인자의 하나로서 주어진 2차원 이미지를 촬상한 촬상장치의 초점거리를 의미한다. 즉, 이 경우, 인자값 설정부(212)가 설정하는 인자는 Tx, Ty, Tz, f,

및

이다.

t는 인자에 표시되는 경우 인자값 설정부(212)가 t번째 설정한 인자임을 의미하고 3차원상의 위치정보(X, Y, Z)에 표시되는 경우 t번째 설정된 인자값을 이용하여 생성된 제2 추측형상임을 의미한다.

전술한 수학식 3 내지 5는 다음과 같이 간략화될 수도 있다.

여기서, k1, k2, k3는 임의의 상수이며, 가변가능하다. 수학식 6 내지 8은 간략화한 직관적 투사모델(weak perspective projection model)에 의한 수식이라 명명할 수 있다.

한편, 선택부분에 상응하는 제1 추측형상의 각 부분(이하 "제1 비교부분"이라 함)"이 갖는 3차원 상의 위치정보는, 제1 비교부분이 제1 추측형상에서 갖는 상대적인 위치정보가 제2 비교부분이 제2 추측형상에서 갖는 상대적인 위치정보와 동일하도록 생성된다.

예컨대, 제2 추측형상은 얼굴형상이고 제2 비교부분은 제2 추측형상에서 인중 부분이었다고 가정하자. 이 경우, 제2 비교부분은 "제2 추측형상의 최하단부에서부터 두 번째로 돌출된 부분과 세 번째로 돌출된 부분 사이에 존재하며, 주변보다 움푹 패인 부분으로 가장 최하위의 부분"이라고 가정하자. 여기서, 제2 추측형상의 최하단부란 턱 부분을 말하며, 두 번째로 돌출된 부분이란 윗입술 부분을 말하고, 세 번째로 돌출된 부분이란 코 끝 부분을 말한다. 결국, 제2 비교부분은 인중 부분에서도 윗 입술과 만나는 부분이 된다고 가정하자. 이 때, 제1 비교부분은 제1 추측형상에서 "제1 추측형상의 최하단부에서부터 두 번째로 돌출된 부분과 세 번째로 돌출된 부분 사이에 존재하며, 주변보다 움푹 패인 부분으로 가장 최하위의 부분"을 말한다.

제1 추측형상은 PCA(Principal Component Analysis) 기법을 적용하여 예측됨이 바람직하다. PCA 기법이란 기본이 되는 n개의 3차원 모델 각각마다 소정의 가중치를 가중하고, 그 가중된 n개의 모델들을 합산함으로써, 소정의 3차원 형상을 생성하는 기법을 말한다. 이 때, n개의 기본 모델들은 사전에 저장됨이 바람직하다. 결국, 제1 추측형상을 생성하는 수식들은 다음과 같이 표현될 수 있다.

이 때,e는 제1 추측형상을 의미하며, Xe, Ye및 Ze는 "제1 추측형상을 이루는 각 부분"의 3차원상의 위치정보를 의미한다. 여기서, "제1 추측형상을 이루는 각 부분"은 전술한 "제1 비교부분"임이 바람직하다.

한편,

,

및

는 그 저장된 n개 모델의 평균적인 형상을 이루는 각 부분의 위치정보를 의미한다. 보다 구체적으로,

,

및

는 "n개 모델 각각의 가중치를 모두 동일하게 했을 때"의 제1 비교부분의 위치정보를 의미함이 바람직하다.

t는 인자값 설정부(212)가 t번째 설정한 가중치를 이용하여 생성된 제1 추측형상을 의미하고, j는 그 저장된 모델 각각의 고유번호를 의미하며,

는 가중치를 의미한다.

,

및

는 j번째 저장된 모델에서 제1 추측형상의 "제1 비교부분"에 상응하는 부분의 위치정보를 의미한다.

는 가변가능한 상수이며, 그 저장된 모델마다 설정된다.

Eo = Ed/(s^2)임은 이미 전술한 바이다. Ed는 제1 비교부분의 위치정보와 제2 비교부분의 위치정보간의 차이나는 정도를 의미한다. 이는 다음과 같이 산출됨이 바람직하다.

여기서, oi는 제2 비교부분마다 갖는 고유번호를 의미하며, i는 m개 존재한다고 가정했으므로 oi 역시 m개 존재함이 바람직하다. 같은 논리로, ei는 제1 비교부분마다 갖는 고유번호를 의미하며, i가 m개 존재하므로 ei 역시 m개 존재함이 바람직하다.

한편, Eo는 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 의미하므로, 제1 추측형상 또는 제2 추측형상 자체의 크기에 영향을 받지 않는 것이 바람직하다. 즉, Eo는 제1 추측형상이 갖는 "형상"과 제2 추측형상이 갖는 "형상"을 비교하여 산출되며, 제1 추측형상이 갖는 "크기" 또는 제2 추측형상이 갖는 "크기"는 고려대상이 되지 않음이 바람직하다.

이를 위해, Eo는 s라는 요소(factor)를 포함함이 바람직하다. s는 스케일 인 자라 명명하며, 다음과 같이 산출됨이 바람직하다.

여기서, Po는 소정의 면에 투사된 제2 추측형상의 이미지가 갖는 크기를 의미하고,

는 그 소정의 면에 투사된 "저장된 n개 모델의 평균 형상"의 이미지가 갖는 크기를 의미한다. 소정의 면은 제한되지 않는다.

전술한 바와 같이, 에러값 산출부(218)가 산출하는 에러값 F는 Eo 뿐만 아니라 Ec도 포함함이 바람직하다. 이 때, Ec는 "제1 추측형상"이 소정 모델로부터 벗어난 정도를 수치화한 값임이 바람직하다. 여기서, 소정 모델은 "저장된 n개 모델의 평균 형상"을 의미할 수도 있고, 아닐 수도 있다. Ec는 다음과 같이 산출될 수 있다. 수학식 14는 소정 모델이 "저장된 n개의 평균 형상"인 경우를 의미함이 바람직하다.

여기서,

는 사전에 설정된 비례상수를 의미한다. 보다 구체적으로, 는 F에서 Eo와 Ec 각각이 차지하는 중요도의 비중을 결정하기 위해 사용자에 의해 설정되는 상수이다. 만일, 본 발명의 사용자가 Eo보다 Ec를 더 중요하게 취급하고자 한다면, 값을 높게 설정하면 된다.

모든 값(j= 1 ~ n)이 0이라면, 수학식 9 내지 11에 의해 제1 추측형상의 위치정보(Xe, Ye, Ze)는 (Xavg, Yavg, Zavg)가 된다. 일반적으로, 사전에 저장된 n개의 기본 모델들은 모두 일반적인 사람얼굴의 형상을 가지므로, (Xavg, Yavg, Zavg)라는 위치정보를 갖는 모델은 일반적인 사람얼굴의 형상을 가진다. 따라서, 모든 값이 0이라면 제1 추측형상은 "사전에 저장된 n개의 기본모델의 평균 형상"과 일치할 수 있다.

결국, Ec값이 작을수록 F 값도 작아지며, 그러한 값에 의해 예측된 제1 추측형상이 사람얼굴의 형상에 보다 가까움을 보장할 수 있다.

기본모델 저장부(220)는 전술한 n개의 기본 모델들을 저장한다. 이 저장은 사전에 이루어짐이 바람직하다. 에러값 산출부(218)가 에러값 F를 산출한 경우 제어부(214)는 그 산출된 에러값을 사전에 설정된 기준치와 비교하고, 그 비교 결과에 따라 소정의 제어신호를 생성한다. 그 기준치는 가변가능하다.

구체적으로, 제어부(214)는 산출된 에러값이 기준치보다 크다면 인자값 설정부(212)의 재동작을 지시하는 제어신호를 생성한다. 이 경우, 에러값 산출부(218)도 재동작하며, 제어부(214)는 재설정된 인자값에 따라 재산출된 에러값을 그 기준치와 비교한다.

반면, 제어부(214)는 산출된 에러값이 기준치보다 작다면 매핑부(222)의 동작을 지시한다. 매핑부(222)는 제어부(214)가 생성한 제어신호에 따라, n개의 타겟가중치를 n개의 저장된 모델 각각에 가중하고, 그 타겟가중치가 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성한다.

여기서, 타겟가중치는 설정된 가중치 중 산출된 에러값이 전술한 기준치 이하로 되는 가중치를 말한다. 설명의 편의상, 타겟가중치는 설정된 가중치 중 t번째 설정된 가중치라 정의할 수도 있다. 한편, 제1 추측형상이 수학식 9 내지 11에 의해 정의되고, Ec가 수학식 11에 의해 정의된다면, 매핑부(222)는 타겟가중치를 저장된 모델들에 가중하고, 그 타겟가중치가 가중된 모델들 및 그 저장된 모델의 평균 형상을 합산함으로써 3차원 형상을 생성할 수 있다.

만일, 산출된 에러값이 기준치와 같다면, 제어부(214)는 인자값 설정부(212)의 재동작을 지시하는 제어신호를 생성할 수도 있고, 매핑부(222)의 동작을 지시할 수도 있다. OUT 2는 생성된 3차원 형상을 의미한다.

이로써, 본 발명에 의한 3차원 형상 생성원리를 모두 설명하였다. 부언하면, 얼굴질감 예측부(250)는 매핑부(222)에 의해 생성된 3차원 형상에 소정의 질감을 형성시킨다. OUT 3은 질감까지 입혀진 3차원 얼굴형상을 의미한다.

도 4는 도 2에 도시된 인자값 설정부(212)가 인자값을 설정하는 원리를 설명하기 위한 바람직한 실시예의 참고도들이다. 본 발명에 의해 3차원 형상을 보다 신속하게 생성하기 위해서는, 인자값 설정부(212)가 인자값을 보다 신속히 설정해야 함이 바람직하다.

인자값 설정부(212)는 산출되는 에러값을 점점 줄여나가도록 인자값을 설정함이 바람직하다. 즉, 인자값 설정부(212)는 직전에 설정한 인자값보다 제1 소정치 큰 인자값을 현재 설정함으로써 인자값을 설정하며, 이 때 현재 설정되는 인자값에 따라 산출되는 에러값은 직전에 설정된 인자값에 따라 산출된 에러값보다 작음이 바람직하다. 이를 위해, 인자값 설정부(212)는 뉴톤 알고리즘(Newton algorithm)에 의해 인자값을 설정함이 바람직하다. 뉴톤 알고리즘은 다음과 같이 표현될 수 있다.

도 4에 도시된 바에 따르면, 가로축은 모두 를 의미하고, 세로축은 모두 F를 의미한다. 이 때, 가로축은 일 수도 있고, T일 수도 있으며, f일 수도 있다. t는 t번째 설정된 인자값임을 의미하며, t-1은 t-1번째 설정된 인자값임을 의미한다.

수학식 15 내지 17들을 기하학적으로 설명하면 다음과 같다.

도 4a에 도시된 바에 따르면, 인자값 설정부(212)가 에러값 그래프(410) 상에 위치하는 임의의 점(412)에 해당하는 인자값 를 최초로 설정하였다고 가정한다. 이 때, 인자값 설정부(212)는 그 다음 인자값 로서 참조번호 414에 해당하는 값을 설정함이 바람직하다. 즉, 인자값 설정부(212)는 뉴톤 알고리즘에 의해, 최초의 점(412)상에서 그래프(410) 상에 생성한 접선이 축과 만나는 점(414)의 값을 새로운 값으로 설정함이 바람직하다. 새로운 값(414)은 그래프 상에서 참조번호 416에 해 당한다. 참조번호 416의 F값이 참조번호 412의 F값보다 작으므로, 참조번호 412의 값을 참조번호 416의 값으로 변경한 인자값 설정부(212)는 바람직한 방향으로 값을 설정한 것이다.

다만, 뉴톤 알고리즘에 의할지라도, 에러값 F가 증가하는 방향으로 인자값이 설정될 수 있다. 도 4b에 도시된 바에 따르면, 참조번호 432가 처음 설정된 인자값이라 가정할 때 두 번째 설정된 인자값은 참조번호 434이고, 그 두 번째 설정된 인자값에 의한 에러값은 참조번호 436의 F값이다. 결국, 두 번째 산출된 에러값은 처음 산출된 에러값보다 작다. 그러나, 참조번호 440의 F값이 참조번호 436의 F값보다 크므로, 세 번째 산출된 에러값은 두 번째 산출된 에러값보다 오히려 크다. 결국, 뉴톤 알고리즘에 의할지라도 에러값 F가 증가하는 방향으로 인자값이 설정될 수 있다.

이를 해결하기 위해, 제어부(214)로부터 인자값 설정부(212)의 재동작을 지시받으면, 즉, 현재 설정된 인자값에 따라 산출된 에러값이 직전에 설정된 인자값에 따라 산출된 에러값보다 크다면, 인자값 설정부(212)는 그 직전에 설정한 인자값보다 제2 소정치 큰 인자값을 설정함이 바람직하다. 여기서, 제2 소정치는 제1 소정치보다 작은 상수이다. 만일, 그 직전에 설정한 인자값보다 제2 소정치 큰 인자값에 따라 산출된 에러값이 여전히 그 직전에 설정한 인자값에 따라 산출된 에러값보다 크다면, 인자값 설정부(212)는 그 직전에 설정한 인자값보다 제3 소정치 큰 인자값을 설정함이 바람직하다. 이 때, 제3 소정치는 제2 소정치보다 작은 상수이다.

도 5a는 주어진 2차원 이미지(510)의 일 례이며, 도 5b는 그 주어진 2차원 이미지(510)에서 ASM 알고리즘에 의해 검출될 수 있는 바람직한 특징점(512)의 일 례이다. 도 5c는 실제로 검출된 특징점(514)의 일 례이다. 도시된 바에 따르면, 실제로 검출된 특징점(514)과 바람직한 특징점(512) 사이에 큰 차이가 나지 않는다. 즉, 도 5c는 정교한 ASM 알고리즘에 의해 특징점이 검출된 경우를 나타낸다.

도 5d는 본 발명에 의해 생성된 3차원 형상의 정면(520)을 나타내면, 도 5e는 본 발명에 의해 생성된 3차원 형상의 옆면(521)을 나타낸다. 도 5d 및 도 5e에 도시된 얼굴형상은 도 5a에 주어진 2차원 이미지(510)와 매우 유사하다.

도 6a는 도 5a에 도시된 2차원 이미지(510)와 동일한 2차원 이미지(610)를 나타낸다. 도 6b 및 도 6c는 에러값 산출부(218)가 산출하는 에러값 F에 Ec 가 존재하지 않을 때, 본 발명에 의해 생성된 3차원 형상을 나타낸다. 도 6b는 생성된 3차원 형상의 정면(620)을 나타내고, 도 6c는 생성된 3차원 형상의 옆면(621)을 나타낸다. 도 6b 및 도 6c에 도시된 얼굴형상은 도 6a에 주어진 2차원 이미지(610)와 조금 상이하다.

도 7a는 도 5a에 도시된 2차원 이미지(510)와 동일한 2차원 이미지(710)를 나타낸다. 도 7b 및 도 7c는 제2 추측형상을 수학식 3 내지 5에 의해 예측하지 않고 수학식 6 내지 8에 의해 예측할 때, 본 발명에 의해 생성된 3차원 형상을 나타낸다. 도 7b는 생성된 3차원 형상의 정면(720)을 나타내고, 도 7c는 생성된 3차원 형상의 옆면(721)을 나타낸다. 도 7b 및 도 7c에 도시된 얼굴형상은 도 7a에 주어진 2차원 이미지(710)보다 갸름한 얼굴형상을 가지므로, 도 7b 및 도 7c에 도시된 얼 굴형상은 도 7a에 주어진 2차원 이미지(710)와 상이하다.

도 8a는 주어진 2차원 이미지(810)의 일 례이며, 도 8b는 그 주어진 2차원 이미지(810)에서 ASM 알고리즘에 의해 검출될 수 있는 바람직한 특징점(812)의 일 례이다. 도 8c는 실제로 검출된 특징점(814)의 일 례이다. 도시된 바에 따르면, 실제로 검출된 특징점(814)과 바람직한 특징점(812) 사이에 큰 차이가 난다. 즉, 도 8c는 덜 정교한 ASM 알고리즘에 의해 특징점이 검출된 경우를 나타낸다.

도 8d는 본 발명에 의해 생성된 3차원 형상의 정면(820)을 나타내면, 도 8e는 본 발명에 의해 생성된 3차원 형상의 옆면(821)을 나타낸다. 도 8d 및 도 8e에 도시된 얼굴형상은 도 8a에 주어진 2차원 이미지(810)와 매우 유사하다. 결국, 실제로 검출된 ASM 특징점(814)이 바람직하지 않다고 하더라도, 본 발명은 주어진 2차원 이미지(810)와 매우 유사한 3차원 형상(820 및 821)을 생성한다.

도 9a는 도 8a에 도시된 2차원 이미지(810)와 동일한 2차원 이미지(910)를 나타낸다. 도 9b 및 도 9c는 에러값 산출부(218)가 산출하는 에러값 F에 Ec 가 존재하지 않을 때, 본 발명에 의해 생성된 3차원 형상을 나타낸다. 도 9b는 생성된 3차원 형상의 정면(920)을 나타내고, 도 9c는 생성된 3차원 형상의 옆면(921)을 나타낸다. 도 9b 및 도 9c에 도시된 얼굴형상은 도 9a에 주어진 2차원 이미지(910)와 매우 상이하다. 특히, 도 9b에 도시된 얼굴형상 중 귀 부분은 매우 일그러져 사람의 귀라 보기 어려울 정도이다.

도 10a는 도 8a에 도시된 2차원 이미지(810)와 동일한 2차원 이미지(1010)를 나타낸다. 도 10b 및 도 10c는 제2 추측형상을 수학식 3 내지 5에 의해 예측하지 않고 수학식 6 내지 8에 의해 예측할 때, 본 발명에 의해 생성된 3차원 형상을 나타낸다. 도 10b는 생성된 3차원 형상의 정면(1020)을 나타내고, 도 10c는 생성된 3차원 형상의 옆면(1021)을 나타낸다. 도 10b 및 도 10c에 도시된 얼굴형상은 도 10a에 주어진 2차원 이미지(1010)보다 갸름한 얼굴형상을 가지므로, 도 10b 및 도 10c에 도시된 얼굴형상은 도 10a에 주어진 2차원 이미지(1010)와 상이하다.

결국, 본 발명은 "직관적 투사모델"에 의하여 예측된 3차원 형상과 저장된 3차원 모델들의 소정의 조합에 의하여 산출된 3차원 형상의 차이나는 정도 및 "소정 모델로부터 상기 산출된 형상의 벗어난 정도"를 최소로 하는 상기 조합을 결정함으로써 3차원 형상을 정확히 예측한다.

도 11 및 도 12는 기타 실험 결과를 나타낸다. 도 11에 도시된 바에 따르면, 본 발명이 생성한 3차원 형상(1120 및 1121)은 주어진 2차원 이미지(1110)와 매우 유사하다. 도 12에 도시된 바에 따라도, 본 발명이 생성한 3차원 형상(1220 및 1221)은 주어진 2차원 이미지(1210)와 매우 유사하다.

도 13은 본 발명에 의한 3차원 형상 생성 방법을 설명하기 위한 일 실시예의 플로우챠트로서, 인자값을 설정하고 에러값을 산출하는 단계(제1310 ~ 1330 단계들), 산출된 에러값에 따라 매핑여부를 결정하는 단계(제1340 ~ 1360 단계들) 및 매핑하는 단계(제1370 단계)로 이루어진다.

제어부(214)는 모든 인자값을 초기화한다(제1310 단계). 제1310 단계 후에, 제어부(214)는 인자값 설정부(212)의 동작을 지시하며, 그 지시를 받은 인자값 설정부(212)는 인자값을 설정한다(제1320 단계).

제1320 단계 후에, 에러값 산출부(218)는 에러값 F를 산출하고(제1330 단계), 산출된 에러값을 제어부(214)에 전달한다. 에러값을 전달받은 제어부(214)는 에러값 산출부(218)의 총 산출횟수가 2이상인지 판단한다(제1340 단계).

제1340 단계의 판단 결과, 총 산출횟수가 1이라면, 제1310 단계로 진행한다. 그에 반해, 총 산출횟수가 2이상이라면, 제어부(214)는 에러값 산출부(218)가 현재 산출한 에러값과 직전에 산출한 에러값을 비교한다(제1350 단계).

제1350 단계의 비교 결과, 현재 산출된 에러값이 직전에 산출된 에러값보다 크다면, 제1310 단계로 진행한다. 그에 반해, 현재 산출된 에러값이 직전에 산출된 에러값보다 작다면, 제어부(214)는 에러값 산출부(218)가 현재 산출한 에러값이 기준치보다 작은지 판단한다(제1360 단계).

제1360 단계의 판단 결과, 현재 산출된 에러값이 기준치보다 크다면, 제1310 단계로 진행한다. 그에 반해, 현재 산출된 에러값이 기준치보다 작다면, 매핑부(222)는 주어진 2차원 이미지의 3차원 형상을 생성한다(제1370 단계).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서 설명한 것은 본 발명에 따른 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체는, 단 하나의 주어진 2차원 이미지를 이용하여 그 이미지의 3차원 형상을 정확히 예측하는 효과를 갖는다.

또한, 본 발명에 의한 주어진 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체는, 주어진 2차원 이미지의 ASM 특징점이 정확히 검출되지 않은 경우에도 그 이미지의 3차원 형상을 정확히 예측하여 언제나 사람 얼굴로서 인식될 수 있는 3차원 형상을 생성하는 효과를 갖는다.

나아가, 본 발명에 의한 주어진 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체는, 주어진 2차원 이미지의 3차원 형상을 신속하게 생성하는 효과를 갖는다.

Claims

사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 인자값 설정부;

상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 에러값 산출부;

상기 산출된 에러값을 사전에 설정된 기준치와 비교하고, 상기 비교된 결과를 제어신호로서 출력하는 제어부; 및

상기 제어신호에 따라 타겟가중치를 상기 저장된 모델에 가중하고, 상기 타겟가중치가 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 매핑부를 포함하며,

상기 매핑인자는 2차원 변수를 3차원 변수에 매핑시키는 인자이며, 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상이고, 상기 제2 추측형상은 상기 주어진 2차원 이미지가 상기 매핑인자에 의해 매핑된 형상이며, 상기 타겟가중치는 상기 설정된 가중치 중 상기 산출된 에러값이 상기 기준치 이하로 되는 가중치인 것을 특징으로 하는 3차원 형상 생성 장치.
제1 항에 있어서,

상기 에러값은 상기 제1 추측형상이 소정의 3차원 모델로부터 벗어난 정도를 수치화한 값을 더 포함함을 특징으로 하는 3차원 형상 생성 장치.
제1 항에 있어서,

상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상과 상기 저장된 모델의 평균 형상이 합산되어 생성되며, 상기 에러값은 상기 설정된 가중치의 총합에 비례하는 수치를 더 포함하며,

상기 매핑부는, 상기 제어신호에 따라 타겟가중치를 상기 저장된 모델에 가중하고, 상기 타겟가중치가 가중된 모델들 및 상기 저장된 모델의 평균 형상을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 것을 특징으로 하는 3차원 형상 생성 장치.
제1 항에 있어서, 상기 제어부는,

상기 산출된 에러값이 상기 기준치보다 크다면 상기 인자값 설정부의 재동작을 지시하는 상기 제어신호를 생성함을 특징으로 하는 3차원 형상 생성 장치.
제4 항에 있어서, 상기 인자값 설정부는,

직전에 설정한 인자값보다 제1 소정치 큰 인자값을 현재 설정함으로써 상기 인자값을 설정하며, 상기 제어부로부터 자신의 재동작을 지시받으면 상기 직전에 설정한 인자값보다 제2 소정치 큰 인자값을 설정하고, 상기 제1 소정치는 상기 제2 소정치보다 큰 것을 특징으로 하는 3차원 형상 생성 장치.
제1 항에 있어서, 상기 3차원 형상 생성 장치는,

복수의 상기 3차원 모델을 저장하는 기본모델 저장부를 더 포함함을 특징으로 하는 3차원 형상 생성 장치.
제1 항에 있어서, 상기 3차원 형상 생성 장치는,

상기 인자값을 입력가능한 인터페이스를 외부에 제공하며 상기 입력받은 인자값을 상기 인자값 설정부에 전달하는 사용자 인터페이스부를 더 포함함을 특징으로 하는 3차원 형상 생성 장치.
제1 항에 있어서,

상기 주어진 2차원 이미지는 촬상되어 생성되며, 상기 제2 추측형상은 다음의 수학식들을 이용하여 산출되는 것을 특징으로 하는 3차원 형상 생성 장치.

[수학식 1]

[수학식 2]

[수학식 3]

( 여기서, o는 제2 추측형상을 의미하며, x 및 y는 상기 주어진 2차원 이미지를 이루는 각 부분의 2차원상의 위치정보를 의미하고, i는 상기 2차원상의 위치정보를 갖는 각 부분의 고유번호를 의미할 수도 있고, 상기 제2 추측형상 중 상기 2차원상의 위치정보를 갖는 각 부분에 매핑된 각 부분의 고유번호를 의미할 수도 있으며, X, Y및 Z는 상기 제2 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하고,
,
및
는 상기 매핑인자의 하나로서 가변가능한 상수이며,
및 는 상기 주어진 2차원 이미지의 위치정보를 변경하는 인자를 의미하고, f는 상기 매핑인자의 하나로서 상기 주어진 2차원 이미지를 촬상한 촬상장치의 초점거리를 의미하는 인자이며, t는 상기 인자에 표시되는 경우 상기 인자값 설정부가 t번째 설정한 인자임을 의미하고 상기 3차원상의 위치정보에 표시되는 경우 상기 t번째 설정된 인자값을 이용하여 생성된 제2 추측형상임을 의미한다.)
제1 항에 있어서,

상기 3차원 모델은 n개 저장되며, 상기 제1 추측형상은 다음의 수학식들을 이용하여 산출되는 것을 특징으로 하는 3차원 형상 생성 장치.

[수학식 4]

[수학식 5]

[수학식 6]

( 여기서,e는 제1 추측형상을 의미하며, X, Y및 Z는 상기 제1 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하고,
,
및
는 상기 저장된 n개 모델의 평균적인 형상을 이루는 각 부분의 위치정보를 의미하며, t는 상기 인자값 설정부가 t번째 설정한 가중치를 이용하여 생성된 제1 추측형상을 의미하고, j는 상기 저장된 모델 각각의 고유번호를 의미하며,
는 상기 가중치를 의미하고,
,
및
는 상기 저장된 모델을 이루는 각 부분의 3차원상의 위치정보를 의미하며,
는 상기 저장된 모델마다 설정되며 가변가능한 상수를 의미한다.)
제1 항에 있어서,

상기 에러값은 다음의 수학식들을 이용하여 산출되는 것을 특징으로 하는 3차원 형상 생성 장치.

[수학식 7]

[수학식 8]

[수학식 9]

[수학식 10]

[수학식 11]

( 여기서, F는 상기 에러값 산출부가 산출하는 에러값을 의미하고, Eo는 상기 제1 추측형상과 상기 제2 추측형상의 차이나는 정도를 수치화한 값을 의미하며, Ec는 상기 제1 추측형상이 상기 저장된 모델의 평균 형상으로부터 벗어난 정도를 수치화한 값을 의미하고, e는 상기 제1 추측형상을 의미하며, o는 상기 제2 추측형상을 의미하고, oi는 상기 제2 추측형상 중 상기 주어진 2차원 이미지를 이루는 각 부분에 매핑된 각 부분이 갖는 고유번호를 의미하고, ei는 상기 oi를 갖는 제2 추측형상의 부분이 지니는 상기 제2 추측형상에서의 상대적인 위치정보와 동일한 상대적인 위치정보를 갖는 상기 제1 추측형상의 부분이 갖는 고유번호를 의미하며, m은 i가 총 m개 존재함을 의미하고, j는 상기 저장된 모델 각각이 갖는 고유번호를 의미하며, n은 j가 총 n개 존재함을 의미하고,
상기 제1 추측형상의 부분이 갖는 고유번호를 의미하며, m은 i가 총 m개 존재함을 의미하고, j는 상기 저장된 모델 각각이 갖는 고유번호를 의미하며, n은 j가 총 n개 존재함을 의미하고,
,
및
는 상기 제2 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하며,
,
및
각각은 상기
,
및
각각의 위치정보에 상응하며 상기 제1 추측형상을 이루는 각 부분의 3차원상의 위치정보를 의미하고, s는 스케일 인자를 의미하며,
는 소정의 면에 투사된 상기 제2 추측형상의 이미지가 갖는 크기를 의미하고,
는 상기 소정의 면에 투사된 상기 저장된 모델의 평균 형상의 이미지가 갖는 크기를 의미하며,
는 상기 가중치를 의미하고,
는 사전에 설정된 비례상수를 의미한다.)
사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 단계;

상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 단계;

상기 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계; 및

상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 상기 설정된 가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계를 포함하며,

상기 매핑인자는 2차원 변수를 3차원 변수에 매핑시키는 인자이며, 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상이고, 상기 제2 추측형상은 상기 주어진 2차원 이미지가 상기 매핑인자에 의해 매핑된 형상인 것을 특징으로 하는 3차원 형상 생성 방법.
제11 항에 있어서, 상기 에러값은 상기 제1 추측형상이 소정 모델로부터 벗어난 정도를 수치화한 값을 더 포함함을 특징으로 하는 3차원 형상 생성 방법.
제11 항에 있어서, 상기 3차원 형상 생성 방법은,

상기 설정된 인자값을 사전에 설정된 초기설정값으로 변경하여 초기화하는 단계를 더 포함함을 특징으로 하는 3차원 형상 생성 방법.
제11 항에 있어서, 상기 산출하는 단계는,

상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 단계;

상기 산출이 최초의 산출인지 판단하는 단계; 및

상기 판단 결과, 상기 산출이 최초의 산출이면 상기 설정하는 단계로 진행하는 단계를 포함함을 특징으로 하는 3차원 형상 생성 방법.
제11 항에 있어서, 상기 비교하는 단계는,

현재 산출된 상기 에러값과 직전에 산출된 상기 에러값을 비교하는 단계; 및

상기 비교 결과, 상기 현재 산출된 에러값이 상기 직전에 산출된 에러값보다 작다면 상기 현재 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계를 포함하며,

상기 생성하는 단계는,

상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 타겟가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계이며,

상기 타겟가중치는 상기 설정된 가중치 중 상기 산출된 에러값이 상기 기준치 이하로 되는 가중치인 것을 특징으로 하는 3차원 형상 생성 방법.
제14 항에 있어서, 상기 비교하는 단계는,

상기 판단 결과, 상기 산출이 최초의 산출이 아니면 현재 산출된 상기 에러값과 직전에 산출된 상기 에러값을 비교하는 단계; 및

상기 비교 결과, 상기 현재 산출된 에러값이 상기 직전에 산출된 에러값보다 작다면 상기 현재 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계를 포함하며,

상기 생성하는 단계는,

상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 타겟가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계이며,

상기 타겟가중치는 상기 설정된 가중치 중 상기 산출된 에러값이 상기 기준치 이하로 되는 가중치인 것을 특징으로 하는 3차원 형상 생성 방법.
제11 항에 있어서, 상기 비교하는 단계는,

현재 산출된 상기 에러값과 직전에 산출된 상기 에러값을 비교하는 단계; 및

상기 비교 결과, 상기 현재 산출된 에러값이 상기 직전에 산출된 에러값보다 크다면 상기 설정하는 단계로 진행하는 단계를 포함함을 특징으로 하는 3차원 형상 생성 방법.
제11 항에 있어서, 상기 3차원 형상 생성 방법은,

상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 크다면 상기 설정하는 단계로 진행하는 단계를 더 포함함을 특징으로 하는 3차원 형상 생성 방법.
사전에 저장된 복수의 3차원 모델마다 가중치 및 매핑인자치를 포함한 소정의 인자값을 설정하는 단계;

상기 설정된 인자값에 따라, 상기 인자값의 함수이며 제1 추측형상과 제2 추측형상의 차이나는 정도를 수치화한 값을 포함하는 에러값을 산출하는 단계;

상기 산출된 에러값을 사전에 설정된 기준치와 비교하는 단계; 및

상기 비교 결과, 상기 산출된 에러값이 상기 기준치보다 작다면 상기 설정된 가중치를 상기 저장된 모델에 가중하고, 상기 가중된 모델들을 합산하여, 주어진 2차원 이미지의 3차원 형상을 생성하는 단계를 포함하며,

상기 매핑인자는 2차원 변수를 3차원 변수에 매핑시키는 인자이며, 상기 제1 추측형상은 상기 설정된 가중치가 가중된 상기 저장된 모델들이 합산되어 생성된 형상이고, 상기 제2 추측형상은 상기 주어진 2차원 이미지가 상기 매핑인자에 의해 매핑된 형상인 것을 특징으로 하는 3차원 형상 생성 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.