KR20050022306A - 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 - Google Patents

영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 Download PDF

Info

Publication number
KR20050022306A
KR20050022306A KR1020040064323A KR20040064323A KR20050022306A KR 20050022306 A KR20050022306 A KR 20050022306A KR 1020040064323 A KR1020040064323 A KR 1020040064323A KR 20040064323 A KR20040064323 A KR 20040064323A KR 20050022306 A KR20050022306 A KR 20050022306A
Authority
KR
South Korea
Prior art keywords
face
image
outline
eye
points
Prior art date
Application number
KR1020040064323A
Other languages
English (en)
Other versions
KR100682889B1 (ko
Inventor
박인규
조희근
베즈네베츠블라디미르
장휘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP04255190A priority Critical patent/EP1510973A3/en
Priority to US10/927,241 priority patent/US7835568B2/en
Priority to RU2004126185/09A priority patent/RU2358319C2/ru
Priority to JP2004251160A priority patent/JP4723834B2/ja
Priority to CNB2004100981954A priority patent/CN100345165C/zh
Publication of KR20050022306A publication Critical patent/KR20050022306A/ko
Application granted granted Critical
Publication of KR100682889B1 publication Critical patent/KR100682889B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

본 발명은 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치에 관한 것으로서, 그 방법은 묘사된(textured) 다각형 메쉬 모델에 의하여 표현되는 3차원의 사실감 있는 얼굴모델 생성 방법에 있어서, 입력 영상의 정면 및 측면 얼굴 영상 내의 얼굴 특징들을 검출하는 단계; 특정 얼굴의 3차원 형상을 결정하기 위해, 검출된 얼굴 특징들을 이용하여 초기 모델을 변형시켜 3차원 얼굴모델을 생성하는 단계; 입력 영상으로부터 사실감 있는 텍스쳐를 생성하는 단계; 및 상기 텍스쳐를 상기 3차원 모델 상에 매핑하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 디지털 카메라와 같이 상대적으로 고가가 아닌 장치를 이용하여 데이터를 획득하고 가능한 한 자동화를 구현하여, 완전하지 않은 입력 데이터로부터 바람직한 결과를 생성할 수 있는 견실한 방법을 제공한다. 즉 얼굴 특징(facial feature)을 자동으로 추출해내고, "실제 인간과 같은(human-quality)" 얼굴의 모델링 방법을 제공한다.

Description

영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치{Method and Apparatus for image-based photorealistic 3D face modeling}
본 발명은 영상처리에 관한 것으로서, 특히 영상으로부터 사실감 있는 3차원 얼굴 모델링을 수행하기 위한, 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치에 관한 것이다.
사실감 있는 3차원 인간 얼굴모델의 자동적인 생성 기술은 오랫동안 컴퓨터 그래픽 분야의 매우 중요한 과제로 남아있었다. 가상 현실 공간, 컴퓨터 게임, 화상 회의 및 애니메이션 제작과 같은 다양한 응용분야가 사실감있는 인간 얼굴모델로부터 힘입어 개발될 수 있다.
비록 복잡한 피사체로부터 정밀한 3차원 형상을 촬영할 수 있는 레이저 스캐너 및 패턴광을 이용한 거리 측정기들과 같은 장치들이 존재하지만, 그 비용이 매우 높으며 사용하기 어렵다. 반면에, 인간얼굴의 컴퓨터를 이용한 모델링 기술은 매우 많은 노력 및 전문성을 요구한다. 그렇기 때문에, 일반적인 PC 사용자로 하여금 더 용이하게 사실감 있는 인간얼굴 모델을 생성하도록 하기 위하여 이 분야에 수많은 노력이 경주되어 왔다. 이것을 달리 표현하면, 그다지 고가가 아닌 장치(디지털 카메라와 같은 장치들)를 이용하여 데이터를 획득하고 사용자가 생성작업 전반을 제어하기는 하지만 이와 더불어 가능한 한 자동화를 구현하여, 완전하지 않은 입력 데이터로부터 바람직한 결과를 생성할 수 있는 견실한 방법(알고리즘)을 개발하는 것이 관건이다.
자동적으로 얼굴모델을 복원하는 시스템은 3차원 얼굴형상 데이터의 사용된 소스를 기준으로 크게 몇 개의 그룹으로 분류될 수 있다. 어떤 개발자들은 레이저 스캐너 또는 광학장치들을 이용하여 데이터를 획득할 수 있는 기술을 개발하였다. 이 방법의 문제점은, 일반적으로 장비가 고가이며 사용하기 어렵다는 점이다.
또한, 정면 및 측면 영상으로부터 얼굴모델을 생성하기 위한 많은 노력이 경주되어 왔다. 그러나, 두 영상간의 정확한 직교관계(orthogonal relation)는 특수한 보조기구를 사용하지 않은 일반적인 휴대용 카메라를 이용할 경우 획득하기가 힘들다. 따라서 상이한 각도로부터 직접 획득된 형상정보는 서로 상충되는 부분이 있으며, 이 부분에 대한 해결책이 아직 제시되지 않고 있다.
어떠한 시스템들은 수 개의 영상 내의, 사용자에 의하여 지정된 특징점(user-specified feature points)에 의지하는데, 이 과정은 많은 시간과 노력을 필요로 한다.
다른 해법들 중, 광류(optical flow) 및 스테레오 방법을 이용하는 방법들이 완전한 자동 복원 과정을 향한 가장 진보된 방법으로 보인다. 그러나 이 장치들의 결과모델들은 대부분 심각한 잡음을 포함하며 얼굴표면의 부자연스러운 변형을 보이기도 한다.
얼굴모델의 바람직하지 않은 결과를 방지하고 결과의 견실성을 증가시키기 위하여, 어떤 사람들은 모핑될 수 있는 얼굴모델(morphable face model)을 사용한다. 상기 얼굴모델은 한정된 수의 특징점만을 허용하여 상기 얼굴모델을 복원된 3차원 점들, 소스 영상들에 정합시키거나, 상기 얼굴모델의 형상복원을 위하여 모델에 기반한 번들조정(bundle adjustment) 기법을 사용한다. 이러한 접근법들은 특징점의 집합의 조밀도에 크게 의존한다.
스테레오 복원을 이용한 정확한 모델을 획득하기 위한 다른 방법은 부가된 제한요소들에 합치되는 변형될 수 있는 모델로 형상복원을 제한하며, 이것은 모델의 정밀도를 열화시킬 수 있다.
어떤 사람들은 깊이 정보(depth information)에 대한 종래 기술들에 힘입어 오직 정면얼굴 영상으로부터 모델을 구성하려 하지만, 그 결과적인 모델의 품질은 사실적인 것과는 거리가 멀다.
얼굴 모델링의 중요한 논점 중 하나는 얼굴 특징(facial feature)을 자동으로 추출해내는 것이다. 외모에 기반한 얼굴 특징의 모델링, 인간 육안에 기반한 알고리즘, 특정 에지 및 낮은 밝기화소 패턴의 검색, 형태론적인 연산자(morphological operator) 등과 같은 기법들을 이용한 다양한 얼굴 특징 검출 방법들이 제안되어 왔다. 이러한 기술 분야가 명백히 발전되어 온 것은 사실이지만, "실제 인간과 같은(human-quality)" 얼굴 분석 알고리즘을 생성하기 위하여 정밀도 및 견실성을 향상시키기 위하여는 아직 많은 연구가 이루어져야 한다.
본 발명은 두 개의 영상들(정면 및 측면 영상) 또는 세 개의 영상들(정면, 정면인접, 측면 영상)로부터 3차원 인간얼굴모델 복원을 수행하기 위한, 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한, 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법은, 묘사된(textured) 다각형 메쉬 모델에 의하여 표현되는 3차원의 사실감 있는 얼굴모델 생성 방법에 있어서, (a) 입력 영상의 정면 및 측면 얼굴 영상 내의 얼굴 특징들을 검출하는 단계; (b) 특정 얼굴의 3차원 형상을 결정하기 위해, 상기 검출된 얼굴 특징들을 이용하여 초기 모델을 변형시켜 3차원 얼굴모델을 생성하는 단계; (c) 입력 영상으로부터 사실감 있는 텍스쳐를 생성하는 단계; 및 (d) 상기 텍스쳐를 상기 3차원 모델 상에 매핑하는 단계를 포함하는 것을 특징으로 한다.
상기 (a)단계는 입력 영상의 정면 및 측면 얼굴 영상 내의 얼굴 특징들을 검출함이 바람직하다. 상기 (b)단계는 정면 및 정면인접 영상으로부터 얼굴깊이 정보를 추출하는 단계를 더 구비하고, 특정 얼굴의 3차원 형상을 결정하기 위해, 상기 얼굴 특징들을 이용하여 초기 모델을 변형시키고, 상기 얼굴 깊이 정보를 이용하여 상기 변형된 3차원 얼굴모델을 정합시킴이 바람직하다.
상기 (a) 단계의 정면 얼굴 특징 검출은 피부영역을 검출하는 단계; 얼굴 영역을 검출하는 단계; 눈 경계 박스(eye bounding boxes)를 검출하는 단계; 눈동자를 검출하는 단계; 및 정면얼굴 영상을 정규화하는 단계를 포함함이 바람직하다.
상기 정면얼굴 영상 정규화 단계는, 눈동자 중심 간의 선이 수평이 되도록 회전하고 소정의 영상 해상도로 정규화함이 바람직하다.
상기 (a)단계의 측면얼굴 특징 검출은, 얼굴 영역을 검출하는 단계; 측면 곡선(profile curve)을 검출하는 단계; 기준점(fiducial points)을 검출하는 단계; 및 귀 외곽선을 검출하는 단계를 포함함이 바람직하다.
상기 정면 및 정면인접 영상(frontal and near-frontal image)으로부터 깊이 정보(depth information)를 추출하는 단계는 정면 영상 내의 영상 특징점들을 결정하는 단계; 특징점들에 대하여 모델에 기반한 Lucas-Kanade 추적(Lucas-Kanade tracking)을 수행하여 상기 정면인접 영상 내의 상응하는 점들을 찾아내는 단계; 정합된 일치점(matched correspondence)을 이용하여 데이터 보간을 수행하여 밀집한 디스패리티(디스패리티) 지도(dense 디스패리티 map)를 획득하는 단계; 및 상기 디스패리티(디스패리티) 지도를 깊이 정보로 변환하는 단계를 포함함이 바람직하다.
상기 디스패리티 지도를 깊이 정보로 변환하는 단계는, 최대 디스패리티 값으로부터 최소 디스패리티 값을 제한 차이값(difference value)으로 획득하는 단계; 상기 차이값을 얼굴 너비(head width)로 나누고 소정 상수치를 승산함으로써 계수를 결정하는 단계; 및 상기 계수 및 측정된 디스패리티 값에서 최소 디스패리티 값을 뺀 값을 승산함으로써 주어진 화소의 심도값을 획득하는 단계를 포함함이 바람직하다.
상기 (b)단계의 초기 모델변형은, 3차원 초기 얼굴모델의 얼굴 특징곡선 상의 특징점들의 길이 비를 이용하여, 영상에서 검출된 특징곡선들을 초기 얼굴(3D generic head) 내에서 정의되는 특징들에 상응하는 2차원 점들로 변환하는 단계; 및 상기 영상 특징 및 상기 초기 3차원 메쉬 모델 특징점들 간의 일치성을 이용하여, 3단계 RBF 기반의 모핑 작업(RBF-based morphing procedure)을 수행하여 상기 3차원 얼굴 메쉬 모델을 변형하는 단계를 포함함이 바람직하다.
상기 (c)단계는 입력 영상 상에 색 보정을 수행하여 상이한 조명 조건 또는 카메라 색 밸런스 변이를 보상하는 단계; 사진 상의 3차원 모델 극점들 및 사상된 2차원 점들 간의 정합에 기반하여 공통 UV 평면(public UV plane) 상에 정면 및 측면 영상을 사상하여, 정면 및 측면 텍스쳐를 생성하는 단계; 및 다중해상도의 스플라인 알고리즘(multi-resolution spline algorithm)을 이용하여 정면, 측면 및 인공 텍스쳐들을 혼합하여 텍스쳐를 완성하는 단계를 포함함이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한, 영상에 기반한 사실감 있는 3차원 얼굴 모델링 장치는, 묘사된(textured) 다각형 메쉬 모델에 의하여 표현되는 3차원의 사실감 있는 얼굴모델 생성장치에 있어서, 입력 영상의 정면 및 측면 얼굴 영상의 얼굴 특징들을 검출하는 얼굴 특징검출부; 상기 검출된 얼굴 특징들을 이용하여 소정의 초기 모델을 변형시켜 3차원 얼굴모델을 생성하는 얼굴모델변형부; 입력 영상으로부터 사실감 있는 텍스쳐를 생성하는 텍스쳐생성부; 및 상기 텍스쳐를 상기 얼굴모델 변형부에서 생성된 3차원 얼굴모델에 매핑하는 매핑부를 포함하는 것을 특징으로 한다.
상기 얼굴모델 변형부는 정면 및 정면인접 영상으로부터 얼굴깊이 정보를 추출하는 깊이 정보생성부를 더 구비하고, 상기 얼굴 특징검출부에서 검출된 얼굴 특징들과 상기 깊이 정보 생성부에서 생성된 얼굴깊이 정보를 이용하여 소정의 초기 모델을 변형시켜 3차원 얼굴모델을 생성함이 바람직하다.
상기 얼굴 특징 검출부는 정면얼굴의 특징을 검출하는 정면얼굴 특징 검출부; 및 측면얼굴의 특징을 검출하는 측면얼굴 특징 검출부를 포함함이 바람직하다. 상기 정면얼굴 특징 검출부는 피부영역을 검출하는 피부영역검출부; 얼굴 영역을 검출하는 얼굴 영역검출부; 눈 경계 박스(eye bounding boxes)를 검출하는 눈경계박스 검출부; 눈동자를 검출하는 눈동자검출부; 및 정면얼굴 영상을 정규화하는 정면얼굴정규화부를 포함함이 바람직하다.
상기 정면얼굴 특징 검출부는 눈 외곽선을 검출하는 눈외곽선검출부;
눈썹을 검출하는 눈썹검출부; 입술 외곽선을 검출하는 입술외곽선검출부; 코 외곽선을 검출하는 코 외곽선검출부; 및 턱 및 볼 외곽선을 검출하는 턱/볼 외곽선검출부 중 적어도 하나를 더 구비함이 바람직하다.
상기 측면얼굴 특징 검출부는 측면얼굴 영역을 검출하는 측면얼굴 영역검출부; 측면 곡선(profile curve)을 검출하는 측면 곡선검출부; 기준점(fiducial points)을 검출하는 기준점검출부; 및 귀 외곽선을 검출하는 귀외곽선검출부를 포함함이 바람직하다.
깊이 정보 생성부는 정면 영상 내의 영상 특징점들을 결정하여 상기 정면인접 영상 내에서 상기 특징점들에 상응하는 점들을 찾아내는 특징점 검출부; 정합된 일치점(matched correspondence)을 이용하여 데이터 보간을 수행하여 밀집한 디스패리티(디스패리티) 지도(dense 디스패리티 map)를 획득지도획득부; 및 상기 디스패리티(디스패리티) 지도를 깊이 정보로 변환하는 깊이 정보변환부를 포함함이 바람직하다.
상기 얼굴모델변형부는 3차원 초기 얼굴모델의 얼굴 특징곡선 상의 특징점들의 길이 비를 이용하여, 영상에서 검출된 특징곡선들을 초기 얼굴(3D generic head) 내에서 정의되는 특징들에 상응하는 2차원 점들로 변환하는 2차원점변환부; 및 상기 영상 특징 및 상기 초기 3차원 메쉬 모델 특징점들 간의 일치성을 이용하여, 3단계 RBF 기반의 모핑 작업(RBF-based morphing procedure)을 수행하여 상기 3차원 얼굴 메쉬 모델을 변형하는 얼굴메쉬모델변형부를 포함함이 바람직하다.
상기 텍스쳐생성부는 입력 영상 상에 색 보정을 수행하여 상이한 조명 조건 또는 카메라 색 밸런스 변이를 보상하는 입력 영상보상부; 사진 상의 3차원 모델 극점들 및 사상된 2차원 점들 간의 정합에 기반하여 공통 UV 평면(public UV plane) 상에 정면 및 측면 영상을 사상하여, 정면 및 측면 텍스쳐를 생성하는 정면/측면 텍스쳐생성부; 및 다중-해상도의 스플라인 알고리즘(multi-resolution spline algorithm)을 이용하여 정면, 측면 및 인공 텍스쳐들을 혼합하여 텍스쳐를 완성하는 텍스쳐완성부를 포함함이 바람직하다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다. 먼저, 본 발명에 따른 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치의 전체적인 개요를 설명하고, 상기 본 발명의 세부 내용에 해당하는 얼굴 특징 검출, 얼굴모델 변형, 텍스쳐생성 및 스테레오 영상 쌍을 이용한 3차원 복원을 설명하기로 한다.
본 발명에 의한 시스템은 2개 또는 3개의 얼굴 사진들을 이용한다. 즉, 두 개의 얼굴사진을 이용할 때는 정면사진 및 측면사진을 이용하고, 세 개의 얼굴사진을 이용할 때는 정면사진, 정면인접(near frontal)사진 및 측면사진을 이용하여 사실감 있는 3차원 다항식 얼굴 모델을 생성한다.
영상획득 조건은 단순하다. 즉, 영상밝기의 양호한 대비(contrast) 및 샤프니스(sharpness) 및 얼굴 영역의 충분한 조도(illumination)이면 족하다.
도 1은 본 발명에 의한 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법을 흐름도로 도시한 것이다. 그리고 도 2는 모델생성 작업을 보다 구체적으로 사진과 함께 도시한 것이다.
도 1 및 도 2에 도시된 바와 같이, 모델생성 작업은 다음과 같은 단계들을 포함한다. 첫째로, 자동 정면얼굴 특징 검출 및 반자동 측면얼굴 특징 검출이 수행된다.(100단계) 둘째로, 초기 3차원 얼굴모델이 변형되어 정면얼굴 특징과 정합된다.(120단계) 그 이후에, 자동으로 모델-기반 스테레오 정합이 수행되어 정면사진의 깊이지도(depth map)를 획득하면, 모델은 다시 변형되어 측면특징 및 예측된 스테레오 깊이 지도 모두와 정합된다.(140단계) 최종적으로, 모델 텍스쳐가 정면 및 측면 사진들로부터 생성되는데, 이 때 몇몇 지점에는 인공피부가 생성된다.(160단계) 그리고 나서 상기 생성된 텍스쳐는 상기 정합된 얼굴모델에 매핑되어 3차원 얼굴모델이 생성된다.(180단계)
모델 변형을 하기 위하여 깊이지도 및 측면특징 모두를 사용하는 것은 유사한 작업의 반복인 것으로 보일 수 있다. 그러나 깊이지도는 기하학적 정보에 대한 방대하고 자세한 정보를 제공하며, 이것은 최종 모델이 더욱 사실적으로 보이게 한다.
만일 정면인접 영상이 제공되지 않는다면, 본 발명에 의한 3차원 얼굴 모델링 방법은 단순히 상기 정면인접 영상에 관련된 단계들을 생략하고 진행할 수 있으며, 이 경우에도 정확한 결과들을 생성할 수 있다.
본 발명에 의한 3차원 얼굴모델링 방법에서, 새로운 모델들은 초기 모델의 변형에 의해 생성된다. 즉, 초기 모델을 피험자의 입력 데이터에 합치시킴으로써 특정 얼굴을 생성한다. 초기 모델(도 2에서는 "일반 메쉬(generic mesh")라고 함)은 인간 얼굴들에 대한 보편적인 지식이라고 생각될 수 있는데, 이 정보가 얼굴 모델링 방법의 자동화 공정 및 견실성을 용이하게 돕는다. 도 3에 도시된 바와 같은 초기 모델은 눈동자 및 얼굴 부분을 제외하고도 7,138개의 꼭지점(vertices) 및 14,096개의 삼각형들을 포함한다.
초기 모델(generic model)은 표준 정면 방향으로 배치된다. 즉, X축은 우측에서 좌측 방향이며, Z 축은 눈의 주시 방향이며, Y축은 하부에서 상부 방향을 가리키므로, 오른손 방향의 좌표 프레임을 형성한다. 이러한 축 방향들은 특별한 설명이 없으면 본 명세서에서 공통적으로 사용될 것이다. 도 4는 전형적인 정면, 정면인접 및 측면 입력 영상들을 도시한 것이다.
도 5는 본 발명에 의한 영상에 기반한 사실감 있는 3차원 얼굴 모델링 장치의 구성을 블록도로 도시한 것으로서, 얼굴 특징검출부(500), 얼굴모델변형부(510), 텍스쳐생성부(520) 및 매핑부(530)를 포함하여 이루어지며, 깊이 정보 생성부(540)를 더 구비함이 바람직하다.
상기 얼굴 특징검출부(500)는 두 개의 영상을 이용할 때는 입력 영상의 정면 및 측면 얼굴 영상의 얼굴 특징들을 검출하며, 세 개의 영상을 이용할 때는 입력 영상의 정면, 정면인접 및 측면 얼굴 영상의 얼굴 특징들을 검출한다. 상기 얼굴모델변형부(510)는 상기 검출된 얼굴 특징들을 이용하여 소정의 초기 모델을 변형시켜 3차원 얼굴모델을 생성한다. 또한 상기 얼굴모델변형부(510)는 상기 깊이 정보생성부(540)를 더 구비할 경우에는, 상기 얼굴 특징검출부(500)에서 검출된 얼굴 특징들과 상기 깊이 정보 생성부(540)에서 생성된 얼굴깊이 정보를 이용하여 소정의 초기 모델을 변형시켜 3차원 얼굴모델을 생성한다.
상기 텍스쳐생성부(520)는 입력 영상으로부터 사실감 있는 텍스쳐를 생성한다. 상기 텍스쳐는 필요에 따라 인공텍스쳐일 수도 있다. 상기 매핑부(530)는 상기 텍스쳐를 상기 얼굴모델 변형부(510)에서 생성된 3차원 얼굴모델에 매핑한다. 상기 깊이 정보생성부(540)는 정면 및 정면인접 영상으로부터 얼굴깊이 정보를 추출한다.
1. 얼굴 특징 검출(Facial Feature Detection)
도 6에 도시된 바와 같이 상기 얼굴 특징 검출부(500)는 정면얼굴의 특징을 검출하는 정면얼굴 특징 검출부(600) 및 측면얼굴의 특징을 검출하는 측면얼굴 특징 검출부(650)를 포함하여 이루어진다.
1.1 정면 영상으로부터 얼굴 특징 추출
정면얼굴 특징 검출부(600)는 도 7에 도시된 바와 같이, 피부영역을 검출하는 피부영역검출부(700), 얼굴 영역을 검출하는 얼굴 영역검출부(705), 눈 경계 박스(eye bounding boxes)를 검출하는 눈경계박스 검출부(710), 눈동자를 검출하는 눈동자검출부(715) 및 정면얼굴 영상을 정규화하는 정면얼굴정규화부(720)를 포함하여 이루어진다.
또한 상기 정면얼굴 특징 검출부(600)는 필요에 따라 눈 외곽선을 검출하는 눈외곽선검출부(725), 눈썹을 검출하는 눈썹검출부(730), 입술 외곽선을 검출하는 입술외곽선검출부(735), 코 외곽선을 검출하는 코 외곽선검출부(740) 및 턱 및 볼 외곽선을 검출하는 턱/볼 외곽선검출부(745) 중 적어도 하나를 더 구비함이 바람직하다.
먼저, 정면특징 추출에 대해 설명하기로 한다. 도 8 및 도 9는 정면얼굴 특징 검출을 보다 상세히 흐름도로 도시한 것으로서, 피부영역 검출(800단계), 얼굴 영역 검출(810단계), 눈 경계 박스(eye bounding boxes)들 및 눈동자 검출(820단계), 눈동자(홍채) 검출(830단계), 정면얼굴 영상 정규화(840단계), 눈 외곽선 검출(900단계), 눈썹 검출(910단계), 입(입술) 외곽선 검출(920단계), 코 외곽선 검출(930단계), 얼굴 윤곽(턱 및 볼) 외곽선 검출(940단계) 단계로 구분된다.
처음 4 개의 단계, 즉 피부검출, 얼굴 영역 검출, 눈 경계 박스(eye bounding boxes)들 및 눈동자 검출, 눈동자(홍채) 검출을 하고 난 후, 정면 영상은 정규화되어 고정 크기로 정해지며 얼굴은 눈동자 위치에 따라 엄격히 수직으로 배열된다.
각 단계는 이전 단계들이 성공적으로 수행되었다는 것을 가정하며, 이전에 검출된 특징들의 적당한 정밀도를 요구한다. 이러한 목적을 위하여, 특징검출이 부정확하면 사용자는 각 단계를 수행한 이후 특징검출의 부정확성을 수작업으로 보정하는 것이 가능하다.
1.1.1 피부 검출
정규화된 r-g 색차(chrominance) 색 공간 내의 사전 학습된 최대 확률 베이시안 분류기(Maximum Likelihood Bayesian classifier)가 피부색 모델링 및 검출을 위해 사용된다. 정규화된 r-g 색공간이 선택되는 이유는 이것이 RGB 공간으로부터 고속으로 용이하게 변환되고, Bayesian ML 분류기[23]을 이용한 피부색 모델링의 언급된 바와 같은 결과들 때문이다.
학습은 두 통계치 및 을 수집함에 의하여 수행되며, 학습 영상들(training images)의 얼굴 및 비-얼굴 영역들로부터 구한 피부 및 비-피부 히스토그램으로부터 계산된다. 피부 확률 영상은 입력 프레임의 각 화소들에 대하여 이러한 측정을 수행함으로써 구성된다.
priori 피부 및 비-피부 확률이 동일하다고 가정할 경우, 이것은 Bayesian 최대 확률 기준을 만족한다. 결과적으로 얻어지는 피부 확률 영상(도 10, 도 11)이 얼굴 영역 추적에 사용된다.
1.1.2 얼굴 영역 검출
도 12는 얼굴 영역 검출을 흐름도로 도시한 것이다. 얼굴 영역은 적절한 타원으로 검출되고 본 발명에서는 변형 가능한 타원모델(deformable ellipse model)에 기반한 기법이 사용된다. 도 13에 도시된 바와 같이 초기 타원모델은 적당한 얼굴위치에서 초기화된다.(1200단계) 상기 얼굴위치는 피부색으로 연결된 최대 성분, 또는 가장 큰 두 개의 성분이 거의 동일한 크기를 가질 경우에는 둘 중에 더욱 영상 중심부에 가까운 성분이 될 수 있다.
상기 초기화된 얼굴 영역에 기반하여 타원의 경계 점들(boundary points)을 타원이 안정화될 때 까지 이동시켜 타원을 초기화 및 회전시킨다.(1210단계) 이를 보다 구체적으로 설명하면 다음과 같다.
타원경계에 위치된 다수 개의 사각형 프루브들이 타원경계 상에서의 피부색 화소의 분산을 측정하고 모델의 변형을 제어한다. 각 프루브의 이동(displacement)은 다음의 규칙을 적용하여 결정된다.
우선, 다음의 두 값을 계산한다.
여기서, Ninside는 프루브 및 타원 모두의 내부에 위치되는 피부 화소들의 개수이며, Noutside 는 프루브 내 및 타원 외부에 위치되는 피부 화소들의 개수이며, S는 프루브의 면적(probe area) 이다. 이 때, 프루브가 얼굴 내부에존재한다면 Pin 과 Pout은 큰 값을 가지고, 얼굴 외부에 존재하면 작은 값을 가진다. 타원이 얼굴 영역의 경계에 위치하게 되면 Pin은 큰 값을, Pout은 작은 값을 보이게 된다.
만일, Pin<Tin이라면(Tin은 문턱치), 프루브는 속도 Vin 을 가지고 내부로 이동한다. 또한 Pout>Tout(Tout은 문턱치)이라면, 프루브는 속도 V out을 가지고 외부로 이동한다. 즉, 만일 프루브 내부 인접영역에 거의 피부화소가 존재하지 않는다면, 프루브는 얼굴 바깥에 존재하므로 현 위치에서 내부로 이동하며, 만일 프루브 내부 및 외부에 존재하는 피부 화소들의 개수가 충분하다면, 프루브는 피부상에 존재하므로 현 위치에서 외부로 이동한다.
모델 변형의 한 단계는, 모든 프루브의 이격을 계산하고 재배치된 프루브의 중심에 타원을 재근사하는 과정을 포함한다. 타원은 고정된 방향(수직 장축)을 가지도록 한정된다. 이렇게 하여 상기 안정화된 타원의 경계 사각형을 얼굴 영역으로 결정한다.(1220단계)
도 10 및 도 11은 얼굴 영역 검출의 몇 가지 결과를 예시하는데, 여기서 작은 타원이 초기영역이며, 큰 타원이 검출된 결과이다.
1.1.3 눈 경계 박스(eye bounding box) 검출
도 14는 눈 경계 박스 검출을 흐름도로 도시한 것이다.
저역통과 필터링을 통해 흐린 영상(blurred image)을 생성한다.(1400단계) 원 영상에서 상기 흐린 영상을 뺀 영상을 획득한다.(1410단계) 상기 획득된 영상의 각 화소에서 자기 자신과 주변 화소 값들의 평균치를 구하여 새로운 영상을 생성하고, 소정 문턱치를 이용하여 상기 새로운 영상을 이진화한다.(1420단계) 연결된 세그먼트들을 눈 후보로서 찾아낸다.(1340단계) 형상, 크기 및 상대적 위치 기준으로 상기 후보를 평가하여 눈 경계 박스들을 결정한다.(1440단계)
이를 보다 세부적으로 설명하면 다음과 같다. 본 발명에 의한 눈 경계 박스(eye bounding box) 및 눈동자 검출은 수 개의 스케일에서 얼굴 영상의 적색채널 내의 눈 형상(eye-shaped)과 유사한 영역의 검출 및 눈 크기의 변이(eye-sized variation)를 검출하는데 기반한다. 적색채널이 선택되는 이유는, 눈동자, 심지어는 밝은 눈(청색, 녹색)의 경우에 있어서도 적색 성분은 낮은 값을 보이는 데 반해, 눈동자 및 주위 피부는 상대적으로 높은 적색 성분을 보이기 때문이다. 또한, 실험 결과 적색채널을 이용하는 것이 계조영상(gray level image)에 기반한 방법들을 이용하는 것에 비해서 양호한 결과를 제공한다는 것이 밝혀졌다.
우선, 원 적색채널이 전처리되어 전술된 단계에서 검출된 타원의 경계 사각형에 따르는 얼굴 부분만을 보존하고, 고정된 너비를 가지도록 스케일링된다. 적색채널 밝기값 역시 이 단계에서 최대 범위로 확장된다.
둘째로, 변이영상(variation image) 이 수학식 3을 이용하여 계산되는데, 여기서 변이영상은 각 지점이 눈에 해당될 확률을 나타낸다.
여기서, p, r은 화소 위치이며, I는 전처리(pre-processing) 이후의 적색채널 영상이며, Rn,x,y는 (x,y) 지점에 중심을 둔 (x n 5) 크기를 가지는 사각형이고, Pn,r은 r에 중심을 둔 (n x n/2) 크기를 가지는 타원이며, 는 스케일링 계수이다.
변이영상은 4개의 'n' 및 의 조합을 위하여 계산되어 얼굴 검출 단계에서 발생될 수 있는 오류를 감소시키고, 눈 모양의 다양한 변화에 대처할 수 있도록 한다. 도 15 및 도 16은 상이한 계수의 조합으로부터 구해진 결과를 참조하기 위한 것이다. 조합은 다음과 같다.
셋째로, 문턱치에 해당하는 변이영상 내의 연결된 성분들은 형상, 크기 및 상대위치 기준을 만족하는지 테스트되어 최적으로 정합되는 눈 경계 박스들을 획득한다. 상이한 변이영상으로부터 구해진 결과들은 다음과 같은 전략으로 병합된다.
1) 최소 스케일에서부터 시작한다(전술된 바와 같은 4개의 계수 구성과 동일한 순서로 진행)
2) 만일 눈 후보가 현재 검색 영역 내에 존재한다면,
a) 만일 이전 스케일에 아무런 후보도 검출되지 않았다면, 눈들을 현재 후보로 설정하고 단계 3)으로 진행한다.
b) 만일 후보들이 이미 발견되었다면, 현재 스케일 후보들을 이전 후보들과 테스트한다. 만일 그들의 크기 및 위치가 급격히 변화되지 않는다면, 눈들을 현재 스케일의 후보들로 갱신한다.
3) 다음 스케일(더 큰 스케일)을 선택하고 단계 2)로 진행한다.
검출 결과는 도 17에 도시된 바와 같은 눈의 경계 박스들이다.
1.1.4 눈동자 검출
눈동자 검출은 적색채널 영상 내의 눈 경계박스 내부에서 눈동자를 검출한다. 도 18은 상기 눈동자의 중심 및 반경 검출을 흐름도로 도시한 것이다. 상기 눈 경계 박스 내의 적색 채널 영상의 최대 밝기 값을 가지는 화소들의 개수를 문턱치와 비교함으로써 하이라이트의 존재를 평가한다.(1800단계) 하이라이트가 발견되지 않는다면, 가장 어두운 화소들의 질량 중심점을 눈동자 중심으로 초기화한다.(1820단계) 하이라이트가 존재할 경우, 하이라이트 주위의 고대비 영역(high contrast region)의 중심점을 눈동자 중심으로 초기화한다.(1810단계)
눈동자 중심에 위치된 초기 원을 확장하고 원 상의 화소들의 경사도(gradient)의 크기를 측정한다.(1830단계) 상기 초기 눈동자 중심 주위의 인접 화소들에 대하여 측정 작업을 반복한다.(1840단계) 최대 측정치를 가지는 눈동자 중심 및 눈동자 반경의 위치를 최종 결과로서 선택한다.(1850단계)
이를 보다 상세히 설명한다. 우선 눈동자 중심이 대략적으로 예측된 후, 눈동자 반경 검출 단계에서 정밀하게 정제된다.
눈동자 중심 예측 단계에서, 만일 눈 경계 박스 내에 아무 하이라이트도 존재하지 않는다면, 눈동자 중심은 가장 어두운 화소의 질량 중심으로서 초기화된다. 반면에, 하이라이트가 존재하는 경우에는, 눈동자 중심은 하이라이트 주위의 고대비 영역의 중심으로서 초기화된다. 눈 중심 검출은 전술된 단계에서 사전-처리된 적색채널 영상에서 수행되는데, 다음의 단계들을 거친다.
1) 3x3 중간값 필터(median filter)를 이용하여 눈 영역을 필터링하여 잡음을 제거한다.
2) 눈 경계 박스 내의 최대 휘도치(maximum brightness value)를 가지는 화소의 개수를 소정 문턱치와 비교함으로써 하이라이트의 존재 여부를 판단한다.
3) 눈동자 중심을 검출한다(눈에 하이라이트가 존재하느냐 존재하지 않느냐에 따라 상이한 방법이 사용된다).
a) 눈동자 내에 강한 하이라이트가 발견되면, 눈 경계 박스의 중심 영역은 템플릿 정합 방법을 이용하여 스캐닝된다. 고정 반경을 가지는 원형 템플릿이 검색 영역 내로 순차적으로 이동하고, 각 위치에서 다음과 같은 조건 목록이 점검되어 눈동자 중심을 검출한다.
i) 검색 윈도우 내부의 국지적 최소값(dLocalMinVal)은 검색 윈도우 내부의 국지적 최대값(dLocalMaxVal)과 너무 비슷하면 안된다(어두운 화소들 및 하이라이트 모두 검색윈도우 내에 존재하는 것을 확실시함).
ii) dLocalMinVal 은 충분히 어두워야 한다.
iii) dLocalMaxVal 은 충분히 밝아야 한다.
이러한 조건이 만족되는 모든 지점은 평균화되어 원하는 눈 중심을 결정한다.
4) 강한 하이라이트가 발견되지 않을 때:
a) 5x5 최소 함수(minimum function)가 눈 영역에 적용되어 약한 하이라이트(weak highlight)를 제거한다.
b) 눈 영역은 수학식 4와 함께 콘볼류션(convolution)된다.
그러므로 콘볼루션이 수행되는 동안에 처리된 블록의 중심 부분에는 큰 가중치가 할당되는데, 경계 부분에는 음수의 가중치가 할당된다. 파라미터 c는 양의 가중치가 할당된 영역의 반경을 제어한다.
c) 가장 어두운 점(소정 문턱치와 비교되어)들이 평균화되어 눈 중심을 검출한다.
이제 눈동자 중심 (xc, yc)가 초기화되고 다음의 단계를 거쳐 눈동자 중심 주위의 각 화소 위치(x, y)에 대하여 정밀하게 보정된 눈동자 중심을 찾는다(눈동자 반경 R 역시 이 과정에서 검출된다).
1) (xc, yc) 근방의 모든 (x, y)에 대하여 다음의 계산을 수행한다.
a) R=MinR 내지 R=MaxR 에 대하여
i) 중심(x, y)에 위치되고 반경 R-l을 가지는 원의 좌경계(left boundary) 및 우경계에 위치되는 화소들의 강도의 합을 계산한다. 상단 부분 및 하단 부분은 눈꺼풀에 의하여 가려지기 쉬우므로 사용되지 않는다. ii) 중심(x, y)에 위치되고 반경 R을 가지는 원의 좌경계 및 우경계에 위치되는 화소들의 강도의 합을 계산한다. iii) 두 합의 차(D(R, x, y))를 계산한다.
b) D(R, x, y)의 최대값을 선택하고, 이에 상응하는 R을 Rmax(x, y)로서 기록한다.
2) 모든 (x, y) 가운데 D(Rmax(x, y), x, y)의 최대값을 선택하고, 이에 상응하는 (x, y)를 눈동자 중심으로, Rmax(x, y)를 눈동자 반경으로 선택한다. 도 19는 눈동자 검출의 몇 가지 결과를 나타낸다.
1.1.5 얼굴 영상 정규화(Face image normalization)
눈동자 검출이 수행된 후, 얼굴 영상은 눈동자 중심 간의 선분이 엄격히 수평이 되도록 회전된다. 얼굴경계 박스 역시 얼굴크기 및 두 눈동자 중심 간의 거리 간 비율에 대한 사전 지식을 이용하여 조절된다. 그러면 입력 영상은 절단되어(cropped) 얼굴 영역 만을 포함하게 되며, 갱신된 얼굴경계 박스에 따라 특정 너비를 가지도록 스케일링된다.
1.1.6 눈 외곽선 검출
눈 외곽선은 상부 눈 외곽선 및 하부 눈 외곽선 각각을 위한 두 개의 다항식 곡선에 의하여 근사화된다. 도 20은 눈 외곽선 검출에서 근사화를 흐름도로 도시한 것이다. 눈동자 중심 및 반경에 따라 검색 영역을 미리 결정한다.(2000단계) 상기 검색 영역 내부의 적색채널 영상 내의 수직 위치의 각 수평 스캔 라인에 대하여, 국지적 최소값 또는 휘도가 급격히 변하는 화소들로서 좌측 및 우측 눈꺼풀 점을 선택한다.(2010단계) 잔류하는 점들 중에서, 가장 좌측 및 우측에 위치된 점을 눈 코너(eye corner)로 선택한다.(2020단계) 상기 눈 코너들을 연결하는 선분 상에 있는 점들을 이용하여 최소제곱 방법을 이용하여 상부 눈 외곽선 곡선을 추정한다.(2030단계) 검출된 눈 코너들 및 눈동자의 하부 점을 이용하여 하부 눈 외곽선 곡선을 추정한다.(2040단계)
이를 보다 상세히 설명한다. 눈의 외곽선 모델은 두 개의 다항식으로 되어 있는데 이는 상부 눈꺼풀(x 및 y 모두에 대해 3차식) 및 하부 눈꺼풀(x 및 y 모두에 대해 2차식)을 위한 다항식들이다. 눈동자 중심 및 반경이 예측된 이후에, 상부 눈꺼풀이 저강도 화소들(low intensity pixels)의 영역(눈의 흰자위 및 피부 간의 경계)으로 근사된다. 하부 눈꺼풀은 더 이상 검출될 필요가 없고 직접적으로 눈동자의 하부 점 및 눈 코너로써 근사화된다.
우선, 상부 눈꺼풀을 검출하기 이전에, 적색채널 눈 영상이 중간값 필터링되고 가우시안 평탄화(Gaussian smoothed)되어 잡음 수준을 억제한다. 눈꺼풀 점들을 위한 검색 영역 역시 눈동자 중심 및 반경에 따라 사전 정의된다
둘째로, 상부 눈꺼풀 점들을 검출하기 위하여 다음과 같은 알고리즘이 사용된다.
1) 검색 영역 내의 각 수직 지점에 대하여,
2) 만일 현재 수직 지점에서 눈동자가 피부로 덮여 있다면(이 선분에서의 평균 강도가 문턱치보다 크다면), 단계 1로 진행되어 다음 수직 지점에 대해 다시 테스트를 수행한다.
3) 좌측 눈동자 경계로부터 좌측 눈 경계 박스 경계까지, 현재 선분 내의 화소 강도를 스캔하여 국지적 최소값 또는 휘도가 급격히 증가되는 영역(도 21 참조)을 찾아낸다. 이 지점들이 상부 눈꺼풀의 좌측 위치에 상응한다.
4) 우측에 대해서도 동일한 처리를 행한다. 즉, 우측 눈동자 경계로부터 우측 눈 경계 박스 경계까지, 현재 선분 내의 화소 강도를 스캔하여 국지적 최소값 또는 휘도가 급격히 증가되는 영역(도 21 참조)을 찾아낸다. 이 지점들이 상부 눈꺼풀의 우측 위치에 상응한다.
설명된 바와 같은 알고리즘은 상부 눈꺼풀 상에 위치되는 것으로 추정되는 점들의 집합을 제공한다. 오류에 의하여 검출되는 점들을 배제하기 위하여 다음과 같은 과정이 눈 경계 박스의 좌측 및 우측 절반에 대해서 적용된다.
1) Hough 변환(Hough transform)을 이용하여 점들을 선분으로 근사화한다. 2) 바람직한 방향을 가지며 자신에 근접하는 점들의 수가 최대가 되는 선분을 선택한다. 3) 예측된 선분으로부터 너무 이격된 점들을 제거한다.
남는 점들 중에서, 좌측 말단 및 우측 말단에 위치되는 점들이 눈 코너로 선택되고, 눈 코너를 연결하는 선분 상에 위치되는 점들은 상부 눈꺼풀 곡선을 예측하기 위하여 사용된다(도 22 참조).
1.1.7 눈썹 검출
수직 눈썹 위치는 이마 영역(forehead area)의 화소(H(y))를 수학식2.3에 의해 정의되는 인티그랄 투영(normalized horizontal integral projection)한 결과 중의 최소값을 출력하는 위치로 추정된다. (도 23 참조)
여기서 Face(y)는 (x, y)가 얼굴 타원 내에 존재하는 조건을 만족하는 x의 집합, Wdt(y)는 y 지점에서의 얼굴 타원의 너비, gray(x, y)는 영상 위치(x, y)에서의 계조값(gray value)의 강도이다.
만일 발견된 수직 눈썹 위치가 눈으로부터 너무 멀리 이격되어 있다면, 이것은 얼굴 크기 및 눈동자 중심 위치에 따라 소정 값으로 설정된다. 그러면, 눈썹의 경계 박스도 눈썹 위치에 대한 통계적 정보로부터 결정된다(도 24 참조).
그 후, 3차 다항식이 근사화되어 눈썹을 표시한다. 우선, 눈썹 사각형 내의 각 수직 세그먼트를 따라, 계조값이 소정의 값보다 큰 지점들을 눈썹 점으로서 수집한다. 그러면 눈썹 곡선이 이 평균지점들을 이용하여 계산된다(도 25 참조).
1.1.8 입술 외곽선 검출
상기 입술 외곽선 검출은 상부 및 하부 입술 검출로 이루어진다. 도 26은 상부 및 하부 입술 검출을 흐름도로 도시한 것이다.
상기 상부 및 하부 입술검출은 다음과 같은 과정을 통해 이루어진다. 먼저, 입 사각형을 초기화한다.(2600단계) 비-피부 색 화소들의 모멘트(moment)를 분석함으로써 초기 사각형을 더 정밀한 경계박스로 축소시킨다.(2610단계) 입술 함수 영상을 구성하여, 정제된(refined) 경계 박스 내의 화소들을 이용하여 화소가 입술 또는 피부에 속할 확률을 측정한다.(2620단계) 높은 입술 함수값을 가지는 화소들의 2차 중심 모멘트(central moments)를 측정함으로써 타원을 가지고 입술 외곽선을 초기화한다.92630단계) 외력 및 내력에 의하여 입술 외곽선을 동적으로 이동시킨다.(2640단계) 상기 이동 결과 점들에 다항식을 근사시켜 곡선 표현식을 생성한다.(2650단계)
상기 외력은, 입술과 피부의 경계 지점으로 경계점을 이동하도록 하는 힘이고, 상기 내력은 내부형상력 및 내부평탄력으로 이루어진다. 상기 내부 형상력(internal shape force)은 외곽선 형상을 타원에 가깝도록 하는 힘이고, 상기 내부 평탄력(internal smooth force)은 상기 경계 외부로 너무 벗어나는 단일점들을 억제하는 힘을 포함하는 소정의 인자에 의하여 결정된다.
이를 보다 상세히 설명한다. 입술 외곽선 검출의 최초 단계는 적당히 정확한 경계 사각형을 추정하는 것이다. 이 과정은 다음 단계들을 통하여 수행된다. 1) 사람에 고유한 피부색 히스토그램이 피부 검출 단계에서 생성된다. 2) 원하는 입 위치에 중심을 둔 사각형으로서 초기 경계 사각형이 설정된다. 3) 현재 사각형 내부의 사람에 고유한 피부색 히스토그램 값 중 낮은 값을 가지는 화소들의 질량 중심(mass center) 및 2차 모멘트를 반복적으로 계산하여, 입술 박스를 정밀하게 보정한다.(도 27 참조)
정밀 수정 작업은 수 차례 반복되는데(예를 들어 약 6번 반복), 일반적으로 적당한 정밀도의 입술 경계 박스 계산에는 충분하다.
다음 단계에서, 입술 함수 영상(lip function image)을 생성하여 화소 색이 입술 또는 피부색에 속할 확률을 측정한다. 위의 두 색 범주들은 모두 2차원 가우시안 확률 밀도 함수에 의하여 (r=R/G, b=B/G) 공간 내에서 표현된다. 입술 경계 박스 내의 피부 히스토그램의 적은 값들이 입술 색 범주(color class)를 계산하는데 사용된다. 두 범주의 색들이 계산된 이후에, 입술 함수 영상이 수학식 6을 이용하여 구성된다.
여기서 은 화소위치 (x, y)에서의 입술색 범주의 확률 밀도값이고, 은 피부색을 위한 확률밀도 값이며, 은 두 개의 계수들이다. 그러므로, 은 입술 범주에 속하는 화소의 확률 및 피부 범주에 속하는 화소의 확률 간의 차이를 나타낸다.
3번째 단계는 높은 입술 함수 값들을 가진 화소들의 2차 중심 모멘트를 계산함으로써 타원을 이용한 입술 외곽선 근사화를 수행하는 것이다.
그러면 제4단계에서 입술함수 영상 상에 반복적 알고리즘을 이용하여 정밀한 입술 외곽선을 생성할 수 있다. 이러한 입술 외곽선은 타원 경계 상에 동일한 간격으로 이격된 각도를 가지고 샘플링된 점들을 포함하는 폐곡선 다각형으로서 초기화될 수 있다(입술 함수 영상 및 초기화된 입술 외곽선 점들에 대해서는 도 28을 참조한다). 각 반복 단계에서, 외곽선 점 pi은 단순 규칙의 집합에 따라서 이동된다. 이동을 결정하는 힘의 방향은 본 실시예에서는 vc이고(도 29 참조), 그 크기 Fi는 수학식 7과 같이 세 개의 힘들의 합산으로써 결정된다.
여기서,
이고,
이며(vsum = vp + vn),
을 만족한다.
또한, pi-1, pi, pi+1은 세 개의 시계 방향으로 연속적인 외곽선 점들이다. 모든 k*는 양의 소정 계수이다. 특별한 경우는 ksm의 경우인데, 이것은 외곽선 점들의 위치 및 이동 방향에 따라 상이하다(다른 계수들은 상수이다).
사실은, 상기 알고리즘이 코너에도 정합될 수 있도록 하기 위해, (타원 제한(elliptical constraint)으로서, 후술됨)은 입술 코너점들에 대해서는 Fi에 덜 기여하여야 한다.
그러므로 이 경우 ksm는 사전 반복 단계에서 발견된 타원 코너들 근처의 점들에 대해서는 더 작은 값을 가진다. 입술 외곽선의 더 낮은 부분은 상부 부분에 비하여 더 평탄하며, 이것 또한 ksm 계산에 적용된다.
여기서, f는 이 지점(pi)에서의 입술 함수 영상 내의 값이고, T는 소정 문턱치이고, vp, vn은 현재 지점 pi로부터 이전 및 후속 외곽선 점들로 향하는 벡터들이며(도 29 참조), vc는 타원 중심으로부터 pi로 향한 정규화된 방향이고, 는 vp를 시계방향으로 만큼 회전시켜서 생성된다.
요약하면, 는 외곽선의 생장 또는 축소를 제어하여 pi에서의 실제 데이터와 합치되도록 하는 힘이다.
는 외곽선의 형상이 타원과 유사하게 되도록 힘을 가한다. 이러한 힘이 광역 외곽선 형상에 영향을 미치도록 하기 위하여, vn 및 vp가 다음(이전) 점들 수 개의 평균으로부터 취해진다.
는 한 점도 과도하게 외부에 위치되지 않도록 함으로써 외곽선의 평탄도를 제어한다.
상기 알고리즘은 대략 30회 반복된 후 종결된다. 입술 외곽선 갱신의 한 단계가 도 30에 나타난다. 이 이후, 다항식(상부 및 하부 입술 모두 4차)이 반복 결과점들을 근사하여 곡선 표현식을 생성한다.
1.1.9 코 외곽선 검출
코 외곽선 검출단계는 코 측면 검출을 포함한다. 도 31은 코 외곽선 검출 단계에서의 코 측면 검출을 흐름도로 도시한 것이다. 상기 코 측면검출은 다음과 같이 이루어진다. 먼저, 소정 검색 영역 내의 에지 영상(edge image) 상에서 소정 형상의 템플릿(template)을 정합한다.(3100단계) 큰 정합치를 가지는 검출된 후보들 중에서 대칭 조건을 만족하는 쌍을 선택하여 코 익면 위치(wing position)로서 결정한다.(3110단계) 각 코 측면을 다항식 곡선에 의하여 표현하되, 상기 곡선은 검출된 코 익면 템플릿 및 소정 계수로써 코 익면 및 눈 코너 간에 보간된(interpolated) 3점에 합치된다.(3120단계)
이를 보다 상세히 설명한다. 영상 조건 및 조명 조건에 무관하게 범용으로 코 검출 기법을 개발하는 것은 매우 난해하다. 그러나 정면에서 조명이 비추고 영상의 샤프니스(sharpness)가 양호할 경우, 이러한 과정은 큰 문제점이 되지 않는다. 그 이유는 코 영역이 큰 식별 가능한 에지 패턴(edge pattern)을 가지기 때문이다. 그러나, 어떤 경우에는(사진이 흐리거나 조명이 방향성이 없는 경우) 코 에지 영역이 잡음이 많고 패턴들을 식별하기가 어렵게 된다. 이 경우, 방향을 가진 에지지도(directional edge-map) 템플릿을 이용하여 코 측면을 검출하면 상이한 범주의 영상에도 양호한 견실성을 제공한다. 이러한 알고리즘은 다음 단계들을 수행하여 구현될 수 있다.
1) 코 영역 영상(수평으로 눈동자 중심 사이, 수직으로 눈 하단부로부터 입 경계 박스의 상단부까지)은 절단되고(cropped) 고정 해상도로 스케일링된다. 2) 중간값 필터가 적용되어 잡음 제거 및 에지 정보 보호를 동시에 행한다. 3) 에지 경사도(edge gradient) 영상이 프리위트 에지 검출기(Prewitt edge detector)를 이용하여 계산된다. 4) 코 익면(nose wing)의 방향 템플릿(directional template)들이 코 영역에 정합되어 코 측면을 검출한다.
코 익면 템플릿은 고정된 크기의 전형적인 코 측면 형상을 표현한다(도 32 참조). 정합 적합도는 코 익면 템플릿에 속하는 화소들의 에지 크기(edge magnitudes)의 합산으로서 측정되는데, 합산시 템플릿 접선 방향과 에지 방향(edge direction)의 코사인의 절대값으로 가중치 합을 구한다(같은 방향일 때 최대의 가중치를 부여). 최대 10%의 정합 적합도 위치들로 코 후보들을 형성하고 후보 집합의 쌍들(좌측 및 우측 익면 후보들)이 서로에 대해서 테스트되어 가장 바람직한 코 위치를 결정한다(도 33 참조). 이 때, 3가지 조건들이 테스트된다.
첫째, 중첩 조건(Overlapping condition) : 유사한 높이를 가져야 한다. 둘째, 분리 조건(Separate condition) : x 방향에서 너무 근접하지 않아야 한다. 셋째, x 방향으로의 대칭성 : x 방향으로부터 얼굴 중심까지의 차이가 너무 크지 않아야 한다.
이러한 과정을 거친 후, 4차 다항식이 검출된 템플릿들 및 눈 사각형 사이에 소정의 위치에 놓인 몇 개의 점들로 합치된다(도 34 참조).
전술된 바와 같은 방법은 화질 및 조명 조건이 현격히 다른 영상들로부터 매우 양호한 견실성 및 정밀도의 결과를 얻을 수 있다. 검출의 실시예는 도 35에 도시된다.
1.1.10 턱 및 볼 외곽선 검출
도 36은 턱 및 볼 외곽선 검출을 흐름도로 도시한 것으로서, 상기 턱 및 볼 외곽선 검출은 다음과 같이 이루어진다.
먼저, 적색 채널 영상 상의 경사도 벡터장(gradient vector field)을 계산한다.(3600단계) 턱 하부점에서 연결되는 2개의 다항식 곡선으로 구성된 얼굴 영역 내에 초기 외곽선 템플릿을 위치시킨다.(3610단계) 곡선의 접선 방향을 가진 강한 에지(strong edges)를 만날 때까지 턱 및 볼 외곽선을 외부로 확장한다.(3620단계) 상기 턱 및 볼 외곽선이 중요 밝기 밸리(significant brightness valleys)에 도달하면 상기 턱 및 볼 외곽선 확장을 중지한다.(3630단계)
이를 보다 상세히 설명한다. 턱 및 볼 외곽선은 서로 바닥점에서 연결되어 연속된 곡선을 형성하는 2개의 4차 다항식으로 표현된다. 또한 그들은 상부 말단부에서 고정된 Y 좌표를 가진다. 이 곡선은 다수 개의 "섹션들"로 분할된다(도 37 참조). 검출 과정은 다음의 단계들로 이루어진다.
1) 에지 영상 및 턱 곡선이 다음과 같이 초기화된다.
a) 수평 및 수직 에지 이미지들이 다음을 이용하여 생성된다.
i) 원 적색채널 영상이 OPTIMAL_FACE_WIDTH에 맞도록 스케일링되고, 가우시안 평탄화(Gaussian smoothing)를 거친 후, 중간값 필터를 거친다. ii) 소벨 에지 검출기(Sobel edge detector)를 적용한다.
b) 하단점(bottom point), 좌상단점(left upper point) 및 우상단점(right upper point)의 세 개의 점들로부터 좌측 및 우측 곡선들은 동일한 대칭 형상으로 초기화된다. 이러한 세 개의 점들은 검출된 눈 및 입술 위치에 대한 기존 지식을 이용하여 결정된다.
2) 곡선은 반복 과정을 거쳐 정밀하게 보정된다. 매 반복 단계마다의 과정은 다음과 같다.
a) 각 섹션 i에 대하여(1 내지 N까지, 여기서 N은 총 섹션 수)
i) 정합 적합도는 0으로 설정된다. ii) 섹션 i 내의 각 샘플링 점(x, y)에 대하여: 만일 (x, y)에서의 곡선 접선 및 영상 에지 방향 간의 각도가 60도보다 작고 (x, y)에서의 에지 크기가 소정 문턱치보다 작지 않다면, 정합 적합도를 증가시킨다. iii) 만일, 정합 적합도가 주어진 또다른 문턱치보다 작다면, 곡선 섹션이 곡선 법선 벡터(curve normal vector)를 따라 "외부로(outwards)"로 이동되고, 그렇지 않을 경우, 그 섹션은 "내부로(inwards)" 약간 이동된다.
b) 곡선을 모든 섹션들에 재근사시킨다.
이것은 곡선 섹션들이 큰 휘도의 에지를 만날 때까지 곡선의 접선 방향과 나란하게 외부로 확장된다는 것을 의미한다(턱 합치 과정의 중간 단계에 대해서 도 38 참조). 그러나, 곡선의 하부의 섹션들도 그들이 매우 큰 휘도 밸리(brightness valleys)에 도달할 때에는 외부로 이동하는 것을 정지하여야 하는데, 이는 하부 턱 영역에서 에지는 일반적으로 매우 약하기(weak) 때문이다. 그러므로 다음과 같은 결정 규칙을 하부에 적용하는 것도 가능하다.
c) 하부 곡선 부분 i의 각 섹션에 대하여 다음과 같이 수행된다. i) 정합 적합도는 0으로 설정된다. ii) 섹션 i의 화소 (x, y)의 평균 밝기를 계산한다(CurBrt(i)). iii) 이 섹션을 곡선의 법선과 나란하게 외부로 이동시키고 다시 평균 휘도값을 계산한다(MovedBrt(i)). iv) 만일 MovedBrt(i) < CurBrt(i) 이라면, 이 섹션은 "외부"로 이동되고, 그렇지 않다면 이것은 "내부"로 조금 이동되어 음영 영역(shadow area) 내에 존재하도록 한다.
정면 영상의 모든 검출된 특징들이 도 39에 표시된다. 알고리즘은 상이한 종류의 영상 및 조명 조건에 대해서도 자동으로 동작하며 견실하다.
1.2 측면 영상(profile image)으로부터 얼굴 특징 추출
도 40은 상기 측면얼굴 특징 검출부(650)는 측면얼굴 영역을 검출하는 측면얼굴 영역검출부(4000), 측면 곡선(profile curve)을 검출하는 측면 곡선검출부(4020), 기준점(fiducial points)을 검출하는 기준점검출부(4040) 및 귀 외곽선을 검출하는 귀외곽선검출부(4060)를 포함하여 이루어진다.
상기 측면얼굴 영역 검출부(4000)는 화소들을 피부 및 비-피부 화소들로 분류하고, 최대 피부색의 연결 성분을 측면얼굴 영역으로 선택한다.
상기 측면 곡선 검출부(4020)는 정면 영상으로부터 유추된 특정된 경계 박스(user-specified bounding box) 내의 최우측 얼굴 영역의 경계 외곽선을 측면 곡선으로 검출한다.
상기 귀 외곽선 검출부(4060)는 곡선 템플릿을 측면 영상과 정합하여 귀 위치를 초기화한 후, 초기화된 귀 템플릿을 외곽선 추적 알고리즘(contour following algorithm)으로 변형시켜 정확한 귀 경계를 찾아낸다.
도 41은 측면얼굴 특징 검출을 흐름도로 도시한 것이다. 측면특징 검출은 일반적으로 다음과 같은 단계로 구성된다. 측면얼굴 영역의 검출한다.(4100단계) 측면 곡선(profile curve)의 검출한다.(4110단계) 그리고 나서 측면 기준점을 검출한다.(4120단계) 특징점(fiducial points)의 검출(이마, 코, 입술, 턱, 목 등)을 통해 측면 곡선은 그들에 의하여 세그먼트화되는 의미있는 섹션들로 분리될 수 있다. 마지막으로 귀 외곽선을 검출한다.(4130단계)
이러한 과정이 수행되는 동안, 후속 단계들은 선행 단계의 결과들을 검토한다. 그리고 중간 결과가 후속 처리 과정에서 오류를 가지고 있는 것으로 발견되면, 본 알고리즘은 자동으로 이전 단계로 돌아가 더 많은 영상 정보를 가지고 오류를 정정한다.
현재, 측면특징 검출을 위하여 사용자 상호작용이 다소 요구된다. 우선, 사용자는 얼굴이 충분히 크지 않고 배경이 복잡하여 피부색의 물체를 포함하고 있다면 얼굴경계 사각형을 원 영상 내에 정의할 필요가 있다. 그러나, 이것은 일반적인 경우는 아니다.
거의 모든 테스트 영상에서 얼굴 영역은 완전 자동으로 검출될 수 있다. 둘째로, 얼굴 상단, 얼굴 배면, 눈 점들 및 입술 점들은 통계적 지식에 의하여 초기 위치가 설정되고, 사용자의 상호 작용에 의해 보정이 요구될 수 있다.
1.2.1 얼굴 영역의 검출
얼굴 영역 검출은 화소들을 피부 및 피-피부 화소들로 분류한다. 그리고 나서 최대 피부색의 연결성분으로서 상기 얼굴 영역을 선택한다. 가장 큰 두 개의 성분들이 유사한 크기를 가졌을 경우, 영상 중심에 더 가까운 것을 상기 얼굴 영역으로 선택하다.
이를 보다 상세히 설명한다. 정면 영상 처리와 유사하게, 여기서도 우리는 정규화된 r-g 색공간 및 학습된 피부색 모델을 사용하여 피부 및 비-피부 화소들을 판단한다. 피부색의 가장 큰 연결 성분 또는 가장 큰 두 개의 성분들이 유사한 크기를 가질 경우에 좀더 영상 중심에 가까운 성분을 얼굴 영역으로 선택한다.
어떤 경우에는, 코 영역이 얼굴 영역과 연결되지 않는 경우도 있다(도 42 참조). 우리는 이러한 실패 상황을 인접한 피부색 연결 성분들을 검토함으로써 검출할 수 있다. 코 및 얼굴 영역들은 서로 병합되어 하나의 연결된 성분을 구성한다. 다른 두 개의 실패 상황들은 조명이 너무 강할 경우(도 43 참조)와, 또한 조명이 너무 어둡거나 턱수염이 있을 경우에 턱 영역을 완전하게 검출하지 못하는 경우이다(도 44 참조). 첫 번째 실패는 코 끝(nose tip)이 검출된 후 코 브리지 추적(nose bridge tracking) 과정을 수행함으로써 식별될 수 있다. 두 번째 실패는 턱 및 목 점들이 검출된 이후에 판단될 수 있다. 더 상세한 설명에 대해서는 특징점 검출을 참조한다.
피부 검출이 실패된 것으로 식별된 후, 우리는 피라미드에 기반한 영역 세그멘트화 알고리즘(pyramid-based area segmentation algorithm)에 의존하여 얼굴 영역을 검출한다. 이러한 세그멘트화 알고리즘의 입력 영상은 원 영상의 HSV 내의 한 채널이다. 이 채널은 코 브리지 근처에서 피부를 배경과 구분하는 성능에 기반하여 선택된다.
2.2.2 측면 곡선(profile curve)의 검출
정면 영상으로부터 유추된 특정된 경계박스(user-specified bounding box) 내의 최우측 얼굴 영역의 경계 왹곽선을 측면 곡선으로 검출한다.
얼굴 영역이 피부검출을 통하여 검출되면, 측면 곡선이 얼굴의 사용자에 의하여 특정된 경계박스 내의 최우측 얼굴 영역 화소로서 검출된다. 이러한 과정은 다음과 같다.
1) 입력은 피부검출의 2진 결과(1은 화소가 피부에 속한다는 것을 의미하고 0은 반대이다), 및 검출된 얼굴 영역(연결된 성분)이다. 2) 사용자는 수동으로 얼굴 경계 박스를 지정한다(거의 모든 경우 필요치 않다). 3) 측면 외곽선의 대략적 근사치를 찾는다. 본 알고리즘은 "측면 함수(profile function)" x=x(y)를 구성하는데, 여기서 y는 수직 방향으로 변화하고, x는 얼굴 경계 박스 내의 y 행 내의 외곽선의 x좌표에 대응된다. 이 행 내에 피부화소가 존재하지 않는 경우 x(y)는 0으로 설정된다. 4) 측면함수는 1차원 가우시안 필터를 이용하여 평탄화되어 무작위 잡음(random noise)을 제거한다(측면 함수의 일 예를 보려면 도 45를 참조).
본 영상은 절단되어 측면함수만을 포함하고, 후속되는 처리를 용이하게 하기 위하여 고정된 높이로 스케일링된다.
2.2.3 특징점의 검출
측면 곡선의 중심점은 측면 함수의 형상을 분석함으로써 검출된다.
1) 코 끝(nose tip)은 측면함수의 전역 최대값이다.
코 끝이 검출된 이후, 우리는 코 브리지의 일부를 직선선분으로서 근사하는데, 이 때 코 끝보다 상부의 강한 에지 화소들을 이용한다. 그리고 코 브리지를 따라서 피부를 배경과 분리하는 작업이 원 영상의 HSV 내의 상이한 채널에 대해서 검토된다. 더 나아가, 만일 코 브리지 선분이 측면 곡선과 너무 이격된다면, 피부검출의 제1실패 사례로서 인식되고, 본 알고리즘은 영역 세그멘트화 알고리즘을 이용하여 얼굴 영역을 검출하기 위하여 되돌아간다.
2) 이마 상부 점(upper point of forehead)(앞으로는 "이마 상단(forehead top)"으로 불린다)이 최상단 피부화소다.
3) 측면 함수 x=x(y)의 상부(이마 상단부터 코 끝까지)를 7차 다항식을 이용하여 근사화한다(도 46 참조). 그러면, 다항식에 대해서 하단부터 상단까지 스캔하여 다항식의 제1미분치가 고정된 문턱치보다 작은 지점을 찾는다. 이 점이 코 브리지 상단(nose bridge top)이다.
4) 부분별 선형 근사화(piecewise linear approximation)를 측면 함수의 하부(코 끝보다 낮은 부분)에 수행한다.
a) 선분 세그먼트의 방향이 함수의 최초 3개의 점들로부터 계산된다. b) 연속적인 점으로부터 현재 세그먼트까지의 거리를 계산한다. c) 만일 계산된 거리가 너무 크다면(고정된 문턱치보다 크다면), 새로운 세그먼트를 시작하고 단계 (a)로 진행한다. d) 단계 (a)로 진행한다.
5) 어떤 선결정된 영역 내에서, 선분 세그먼트들의 교차점들 중에서, 인접 세그먼트들 간의 각도가 매우 큰(약 90도) 점을 찾는다. 이 점이 "하부 코 점(under nose point)"이다(역시 도 46 참조).
6) "하부 코 점"보다 낮은 점들에 대하여, 우리는 적응형 직선 근사 알고리즘으로부터 계산된 선분 세그먼트들을 가지고 측면 함수를 근사화한다. 이 알고리즘의 각 단계는 다음과 같이 수행된다.
턱 및 목 점들은 적응형 폴리라인 합치 알고리즘 결과들로부터 검출된다(도 47에 표시된 3 점들을 보라). 만일 턱이 코 끝과 너무 가깝다면 우리는 피부검출이 실패하였다고 생각하고(전술된 두 번째 경우), 본 알고리즘은 다시 돌아가 얼굴 영역을 재검출한다.
7) 상부 및 하부 입술 중심점들은 신뢰성 있게 찾기가 매우 힘든데, 특히 영상 촬영 조건에 많은 변화가 있을 경우에는 더욱 그러하다. 그러므로 우리는 평균적인 얼굴 크기(overall face size)로부터 판단하여 중심점의 합리적인 근사화를 제공한다(도 48 참조). 도면에서의 몇몇 세그먼트들은 후술된다.
a) l은 "하부 코 점"으로부터 목 시작 지점까지의 수직거리이다.
b) a=0.225*l
c) b=0.125*l
d) c=0.125*l
중심점이 발견된 후, 그들 간의 측면 곡선 세그먼트들이 다항식을 이용하여 근사화된다. 얼굴의 배면 및 상단면은, 눈과 더불어 검출되지 않고 인간 얼굴의 합리적인 비율로부터 예측된다. 이런 모든 특징들의 결과들이 도 49에 도시되어 있다.
1.2.4 귀 외곽선 검출
도 50은 귀 외곽선 검출을 흐름도로 도시한 것이다. 귀 외곽선 검출을 위해서는, 먼저 곡선 템플릿을 측면 영상과 정합하여 귀 위치를 초기화한다.(5000단계) 그리고 나서 상기 초기화된 귀 템플릿을 외곽선 추적 알고리즘으로 변형시켜 정확한 귀 경계를 찾아낸다.(5020단계)
도 51은 상기 귀 초기화를 흐름도로 도시한 것이다. 도 51을 참조하여 귀초기화를 설명한다.
귀 템플릿의 변환 벡터(translation vector)를 결정하며, 원 영상을 회전시켜 코 브리지 상단으로부터 턱점까지의 선분이 엄격히 수직이 되도록 하고, 상기 선분 세그먼트의 길이가 소정치가 되도록 스케일링한다.(5100단계) 귀를 위한 검색 영역을 정의한다.(5110단계) 검색 영역 내의 얼굴 영역과 머리카락 영역 경계를 곡선 템플릿과 정합하여, 2개의 곡선으로부터 유사한 형상을 가지는 세그먼트를 찾아낸다.(5120단계) 만일 정합된 세그먼트의 길이가 소정 문턱치보다 작을 경우, 에지 검출기(edge detector)로써 검출한 에지와 귀 템플릿을 정합하여 유사한 형상을 가지는 세그먼트를 검출한다.(5130단계) 템플릿 세그먼트로부터 정합된 영상 점들로의 변환벡터를 최소 자승 알고리즘을 이용하여 계산한다.(5140단계)
이를 보다 구체적으로 설명한다. 귀 검출은 크게 보아 두 단계로 나뉜다. 첫 번째 단계에서, 곡선 템플릿(도 52)을 색 또는 에지 정보와 정합하고, 그 템플릿을 변형하여 국지적 영상정보와 합치되도록 한다. 상세한 설명은 다음과 같다.
귀 초기화 단계에서, 우리는 우선 원 영상의 방향 및 스케일을 정규화한다. 코 브리지 상단 및 턱 점의 2개의 기준 점(calibration points)이 선택되어 정규화를 수행한다. 원 영상은 회전되어 이 두 점들을 연결하는 세그먼트가 수직이도록 만들고, 그 이후에 스케일링되어 그들 간의 거리가 고정된 값을 갖도록 한다. priori 사각형이 귀를 위한 검색 영역으로서 정규화된 영상 내에 배치된다. 정규화된 영상, 보정 점 및 검색 영역을 위하여 도 53을 참조한다.
이제 우리는 귀 템플릿을 바람직한 초기화 위치에 배치하기 위한 변환 벡터(translation vector)를 발견하고자 한다. 첫째, 우리는 피부 검출 결과를 이용한다. 일반적으로, 피부 영역의 경계는 일부 지점에 있어서 귀 경계와 일치된다(몇 가지 예를 보려면 도 54 참조). 우리는 곡선 경사도 정보의 유사성에 기반하여 템플릿 및 피부영역 경계 사이에서 단순한 곡선 정합 알고리즘(curve matching algorithm)을 수행하여 이러한 2개의 곡선들 상의 세그먼트들 중 잘 정합되는 세그먼트들을 발견한다. 그러면, 변환 벡터가 최소 자승 방법을 이용하여 정합된 세그먼트들과 함께 예측된다. 도 55을 참조하여 색 정보를 이용한 귀 초기화 결과들을 살펴본다. 피부영역 경계 내의 템플릿과 정합되는 세그먼트는 도면에서 붉은 색으로 표시된다.
어떤 경우에는, 피부영역 경계가 귀 경계와 만나지 않을 수도 있다(일반적으로 머리길이가 너무 짧거나, 조명이 너무 강한 경우인데, 예시를 위해서 도 56을 참조한다). 우리의 알고리즘은 정합된 세그먼트들의 측정된 길이 및 검색 영역 내의 변환된 귀 템플릿의 위치를 측정하여 자동적으로 이러한 실패들을 곡선 정합 단계에서 검출한다. 그러면, 우리는 지역 에지 정보를 이용하여 귀를 초기화할 수 있다.
우선, Nevatia-Babu 에지 검출기[29]가 사용되어 계조 영상으로부터의 에지정보를 추출하는데 쓰인다. 긴 에지 세그먼트들은 테스트되어 그중 최적의 하나만이 정확히 귀 템플릿과 정합되는 것으로 판단된다. 이 경우, 얼굴 영역 정보를 이용하는데 사용된 것과 동일한 곡선 정합 알고리즘이 사용된다. 다음과 같은 상대적 인자들이 서로 결합되어 정합에 대한 평가에 사용된다. 즉, 상기 상대적 인자들은 에지 세그먼트 내의 정합된 길이 및 세그먼트에 기반한, 검색 영역 내의 귀 템플릿의 위치이다.
실험에서, 얼굴 영역에 기반한 알고리즘과 비교할 때 에지에 기반한 귀 초기화가 더 견실하나, 귀 경계 상의 초기 세그먼트들을 검색하는데 있어서 충분히 정확하지 않다. 그래서 이 방법은 얼굴 영역에 기반한 방법에 대한 보충적인 방법으로서만 사용되고, 전체 알고리즘의 견실성을 향상시킨다. 에지에 기반한 귀 초기화의 예시도 도 53에 도시되어 있다.
제2단계는 귀 경계와 정합되도록 변환된 템플릿을 변형하는 것이다. 우리는 이미 초기화 단계에서 몇 개의 귀 경계 점들을 획득하였으므로(얼굴 영역 경계 또는 Nevatia-Babu 에지로부터의 세그먼트), 우리는 단순한 외곽선 추적 기법(contour following scheme)을 적용하여 템플릿을 귀에 합치시킨다. 상세한 과정은 다음과 같다.
1) 이미 영상 귀 경계와 정합된 귀 템플릿상의 점으로부터 시작하여; 이 점을 Contn 으로서 저장하는데, 여기서 Cont 는 귀 템플릿(샘플링 된 2차원 점 리스트(point list))이고 n은 이 목록 내의 점의 인덱스이다.
2) 그러면, 다음과 같은 제한 조건을 만족하는 첫 번째 점을 찾는다: Contn 및 Contnext 간의 어떤 템플릿 점들은 점 집합
에 최소 자승치 방법으로 합치된 선분으로부터 충분히 이격된다; next 는 최소한 n+5 이어야한다; 만일 next 가 템플릿의 끝 점에 도달하면 외곽선 추적이 종결된다
3) Contn 에 중심을 두고, Contn 이후의 세그먼트들을 회전시켜, Cont n 부터 Contnext 까지의 세그먼트를 영상 에지 정보와 정합시켜 최대 정합치를 제공하는 "최적" 각도를 구한다; 만일 그 각도 범위에서 정확한 정합이 일어나지 않는다면, 본 알고리즘은 오류 보고를 하고 종결한다.
4) 발견된 최적 각도를 이용하여 Contn 이후에 모든 템플릿 점들을 회전하고, n=next 로 설정하고 단계 1로 진행한다.
세그먼트 및 영상 간의 정합 평가는 두 종류의 정보를 조합함으로써 계산된다. 정보 중 하나는 국지적 에지 강도(edge strength)로서, 세그먼트에 따른 강도차(intensity difference)의 합산으로 계산된다; 다른 정보는 세그먼트 유사성(segment similarity)으로서, 특정 세그먼트 화소들의 강도값들의 합산이 이전 세그먼트에 대하여 계산된 값들과 너무 차이가 많이 나면 안된다는 것이다. 이러한 두 가지 인자에 따라 판단할 때 만일 평가치가 너무 "열악하면", 우리는 이 정합이 잘못된 것으로 판단한다.
이러한 외곽선 추적 알고리즘은 귀 상단과 하단부터 두 번 실행된다. 본 알고리즘이 오류 보고와 함께 종결되면, 초기화 결과가 직접적으로 사용된다(이것은 일반적으로 귀가 머리카락에 의하여 가려지기 때문에 발생되는데, 이는 도 57에 도시된 바와 같다).
귀 하단을 위해서는, 템플릿 길이가 귀 경계와 정합되기에 충분치 않을 수 있기 때문에, 우리는 템플릿의 "꼬리(tail)"를 긴 세그먼트로 교체한다. 귀의 실질 하단 위치는 정합된 템플릿을 따라서 에지 강도를 연구해 봄으로써 구해진다. 어떤 영상에서, 귀 경계는 하단 위치에 도달한 후 상단을 향해 진행한다. 이러한 경우도 역시 논리적 에지 정보를 이용하여 검출되는데, 결과로 제공되는 귀 경계에는 도 57에서 도시된 바와 같은 상단을 향한 꼬리를 포함할 수 있다.
어떤 경우, 외곽선 추적 알고리즘은 머리카락 및 피부 간의 경계에 의하여 영향 받는다. 이러한 경우는 추적된 점으로부터 초기 템플릿까지의 거리를 조사함으로써 검출된다. 그러면, 수평 방향으로 현재 추적 결과에 충분히 가까이 위치한 템플릿 점들로서 새로운 시작점이 구해진다. 따라서, 외곽선 추적 방법은 새로운 시작 지점으로부터 다시 시작될 수 있다. 그리고, 두 시작점들 간의 차이는 템플릿으로 채워진다.
측면 영상 내에서 귀 검출이 수행된 수 개의 예시들이 도 53에 도시된다. 실험 결과, 이 알고리즘은 총 24개의 모든 테스트 영상들에 대해서 성공적으로 동작했다.
2. 얼굴 모델 변형
이 시점에서, 정면 및 측면 사진들(도 58 참조) 및/또는 3차원 스테레오 깊이지도(depth map)로부터 추출된 완벽한 구성의 얼굴 특징을 가진다. 상기 스테레오 깊이추출은 후술하기로 한다.
도 59은 도 5의 얼굴모델 변형부(510)의 구성을 블록도로 도시한 것으로서, 2차원 점 변환부(5900) 및 얼굴메쉬 모델 변형부(5950)를 구비한다. 도 60은 상기 얼굴모델 변형부(510)에서의 초기 모델 변형을 흐름도로 도시한 것이다.
먼저, 2차원 점 변환부(5900)을 통해, 3차원 초기 얼굴모델의 얼굴 특징곡선 상의 특징점들의 길이 비를 이용하여, 영상에서 검출된 특징곡선들을 초기 얼굴(3D generic head) 내에서 정의되는 특징들에 상응하는 2차원 점들로 변환한다.(6000단계) 그리고 나서 얼굴메쉬모델 변형부(5950)를 통해, 상기 영상 특징 및 상기 초기 3차원 메쉬 모델 특징점들 간의 일치성을 이용하여, 3단계 RBF 기반의 모핑 작업(RBF-based morphing procedure)을 수행하여 상기 3차원 얼굴 메쉬 모델을 변형한다.(6050단계)
상기 3단계 RBF 기반의 모핑 작업은 다음과 같이 이루어진다. 먼저 이격된 모델 특징점들의 X와 Y 좌표들을 그것들의 상응하는 이미지 특징점들로 설정하고 Z 좌표는 초기 메쉬(generic mesh) 내에서와 동일하게 남겨둠으로써 정면 특징의 RBF 보간을 적용한다. 그리고 나서 정면 특징들이 그것들의 지점에 남도록 제한하면서 측면 특징들의 Y 좌표를 고려하여 측면 영상의 스케일을 조절한다. 마지막으로 턱 및 볼 곡선들 상의 검출된 특징점들이 그것들의 지점에 남도록 제한하면서 측면특징들의 Z 좌표를 이용하여 측면특징의 RBF 보간을 적용한다.
깊이 정보 복구 과정에서 획득된 3차원 점들은, 초기 모델의 정점들이 깊이 정보로부터 취득된 그것들의 3차원 지점으로 이동하도록 RBF에 기반한 모핑을 수행함이 바람직하다.
이를 보다 상세히 설명한다. 검출된 얼굴 특징들은 초기 모델을 변형하는데 사용된다. 상기 변형된 모델이 입력 영상에 합치되도록 한다. 상기 작업을 수행하기 위하여, 일단 특징검출 단계에서 획득된 얼굴 특징들을 초기 모델 내의 미리 지정된 특징에 상응하는 점들의 변위(displacement)로 변환하고, 데이터 보간 알고리즘을 이용하여 그 모델 내의 정점들(vertices)을 이동시켜서 초기 모델 변형을 수행한다. 검출된 특징들(곡선 및 점들) 및 모델정점들 간의 대응관계(correspondence)는 사전에 수동으로 설정되어야 한다. 상기 대응관계는 한 번만 수행하면 특정 초기 모델을 위하여 고정된 채로 유지되므로 사용자가 개입할 필요가 없다.
다음으로 하나의 특징곡선을 위한 일치도를 설정하기 위한 과정이 후술된다. 우선 모델 상의 "중요" 정점들 및 얼굴 특징 곡선들을 따라서 분산된 위치들이 도 61에 도시된다. 입력 영상에서 검출된 얼굴 특징 곡선에 해당되는 초기 모델상의 얼굴 특징이 도시되어 있으며, 양 곡선 상에서 같은 길이의 비율로 특징점들이 샘플링된다. 측면특징에 대하여 이 과정이 반복되어, 모델상의 특징 점들의 2차원 변위의 두 집합들을 생성한다.
다음으로, 상응하는 영상 특징점들에 따르는 "중요" 정점들의 3차원 변위를 결정한다. 가장 쉬운 방법은 단순히 x 및 y 변위를 정면 특징으로부터 추출하고, 측면특징으로부터 z 변위를 추출하는 것이다. 그러나, 이 방법은 만족스러운 결과를 제공하지 못한다. 그 이유는 몇몇 정면 특징들(턱 하부, 상단부 및 뒷 얼굴 부분 등) y 위치 정보가 결여되고 정면 및 측면 특징 위치들이 서로 상충하기 때문이다. 데이터 충돌은 얼굴의 방향이 변화되거나 얼굴 표정이 변화하기 때문에(비록 작은 표정의 변화라도 피할 수 없는 것이다) 발생되는데, 이러한 경우는 입력 영상들이 동시에 촬영되지 않을 경우에 발생된다. 심지어 정면 및 측면 영상이 동시에 촬영된 것이라 할지라도, 그것들은 일반적으로 "표준" 정면 및 측면 영상이 아니다. 예를 들어, 두 카메라의 광축이 정확히 상호 수직이 되도록 하는 것은 매우 어렵다.
이러한 문제점들을 해결하기 위하여, 3단계 모핑 과정(three-step morphing procedure)이 이용되며, 이 과정은 방사형 기반 함수(RBF, Radial Based Functions) 접근법에 기반한다.
2.1. RBF 데이터 보간
우선, 데이터 보간 기법을 간략히 소개한다. 작업을 수행하기 위하여, 방사형 기반 함수(RBF, Radial Based Functions) 접근법[30]을 이용한다. 초기 입력으로, 2개의 대응되는 데이터 집합
및을 가지고 있으면, 다음과 같은 를 전체 3차원 공간의 변형 함수로서 결정할 수 있다. 이때 2개의 집합은 각각 변형 과정 수행 이전 및 이후의 3차원 샘플링을 표현한다.
여기서, 은 모든 3차원 벡터이며, 는 를 위한 RBF이고, 실시예에서는 이 사용되는데, 여기서 Ki는 의 변위 영향(displacement influence)의 감쇄(falloff)를 정의하는 소정 계수이다.
및 은 계수들인데(모두 3차원 점들이다), 이것들은 다음 수학식에 의하여 결정된다.
이러한 데이터 보간 기법을 이용하여, 우리는 초기 모델 및 특정 사람 간의 특징점들 간의 3차원 좌표의 대응관계를 획득할 수 있으면 함수 를 결정할 수 있으며, 그리하여 모든 초기 모델 정점들을 에 대입함으로써 완벽한 고유 모델을 생성할 수 있다.
2.2 3 단계 변형 과정
모델 변형 방법의 상세한 단계들은 다음과 같다.
1) 우선, RBF 보간법을 정면얼굴 특징에 적용한다. 이동될 모델 특징점들의 X 및 Y 좌표들이 상응하는 영상 특징 위치들로 대응되고, Z 좌표는 초기 모델에서와 동일하게 유지된다. 이 단계에서, 모델과 영상 간 얼굴 특징의 정합이 정확히 이루어지는데, 이 과정은 정밀한 텍스쳐 매핑에 필요하다.
2) 그러면, 측면특징의 Y 좌표를 고려하여, 정면특징들을 한정하여 그들의 위치에 남도록 한다. 코 끝, 코 브리지 상단 및 입술에서 발생될 수 있는 정면 및 측면 특징들 간의 불일치 문제는 측면 특징 곡선을 스케일링하고 변환하여 Y 좌표가 상응하는 변형된 모델 점들과 정합하도록 만듦으로써 해결된다.
3) 최종적으로, 측면 특징의 Z 좌표가 사용되고, 정면 영상 내의 턱 및 볼 곡선 상에서 검출된 특징점들을 그 위치에 남도록 한다. 이제, 정면인접 영상이 사용 가능하다면, RBF 보간을 다시 수행하여, 스테레오 정보로부터 재구성된 3차원 점들을 입력으로 취할 수도 있다. 생성된 모델들에 대한 몇 가지 예시들이 도 62에 도시되어 있다.
3. 텍스쳐 생성
얼굴모델을 위한 고품질 텍스쳐를 생성하는 것은 모델 합치보다 더 중요하다. 그 이유는 텍스쳐가 형상 자체보다 모델의 시각적 인식에 더 큰 영향을 미치기 때문이다. 정면과 측면얼굴 텍스쳐는 모델에 매핑되는데, 다중 해상도를 가지는 스플라인 텍스쳐 조합 기법이 사용되어 상이한 사진들을 결합한다. 또한, 턱 또는 턱뼈에 의하여 가려진 목부분 및 귀의 뒷부분과 같이 사진에서 가려진 부분들을 위하여 합성 텍스쳐를 생성한다.
도 63은 도 5의 텍스쳐 생성부(520)의 구성을 블록도로 도시한 것으로서, 입력 영상 보상부(6300), 정면/측면 텍스쳐 생성부(6320) 및 텍스쳐 완성부(6340)을 포함하여 이루어진다. 도 64는 텍스쳐 생성을 흐름도로 도시한 것이다. 도 63과 도 64을 참조하여 텍스쳐 생성을 설명하기로 한다.
먼저, 입력 영상 보상부(6300)을 통해, 입력 영상 상에 색 보정을 수행하여 상이한 조명 조건 또는 카메라 색 밸런스 변이를 보상한다.(6400단계) 다음으로 정면/측면 텍스쳐 생성부(6320)에서 사진 상의 3차원 모델 극점들 및 사상된 2차원 점들 간의 정합에 기반하여 공통 UV 평면(public UV plane) 상에 정면 및 측면 영상을 사상하여, 정면 및 측면 텍스쳐를 생성한다.(6420단계) 그리고 나서 텍스쳐 완성부(6040)을 통해, 다중-해상도의 스플라인 알고리즘(multi-resolution spline algorithm)을 이용하여 정면, 측면 및 인공 텍스쳐들을 혼합하여 텍스쳐를 완성한다.(6440단계) 이를 보다 상세히 설명하면 다음과 같다.
3.1 텍스쳐 좌표 매핑 및 텍스쳐 생성
상이한 각도로부터 생성된 텍스쳐를 결합하기 위하여, 모델 정점들의 텍스쳐 좌표들을 포함하는 공통 UV 평면(public UV plane)을 생성할 필요가 있다. 이 평면은 각 점들이 3차원 모델 위치들과 대응되는 2차원 평면이다. 평면은 을 가지는 정규화된 좌표 공간이다.
텍스쳐 좌표 공간 상에 모델 정점들이 고르게 분포되도록 하기 위하여 UV 평면은 구형매핑을 이용하여 생성되는데, 그 이유는 인간의 얼굴이 구형과 유사한 형상을 가지기 때문이다. 직접 생성된 공간은 추후에 수작업에 의하여 보완되어 UV 평면 상의 중첩 문제(overlap problem)를 해결한다(귀 영역 등에서 발생될 수 있다). UV 평면은 개별적인 모델에 대해 불변이므로 초기 대응 관계가 설정되면 더 이상 사용자가 개입할 필요가 없다.
텍스쳐된 모델을 생성하기 위하여, 얼굴 영상을 UV 평면 상에 매핑할 필요가 있다. 모델은 영상 특징들에 합치되기 때문에, 모델 정점들 및 영상 위치들 간의 일치도(correspondence)를 구할 수 있다. 그러므로 영상 좌표들을 UV 평면 내의 텍스쳐 좌표들에 쉽게 매핑할 수 있는데, 그 이유는 모델 변형 과정에서 이 두 관계가 이미 정합되었기 때문이다.
결과적으로 UV 평면 상에서 얻어지는 텍스쳐는 각각 정면 및 측면 영상으로서 도 65 및 도 66에 도시된다. 텍스쳐 좌표들도 그림 상에 중첩되어 도시된다.
3.3 텍스쳐 혼합(Texture blending)
이 단계에서, UV 평면 내의 정면 및 측면 텍스쳐 영상들은 귀를 위한 인공피부 텍스쳐와 함께 혼합되어 단일 영상을 생성한다. 상기 영상은 3차원 모델 표면으로 렌더링될 것이다. UV 평면 내의 각 점 에서, 수학식 10과 같이 혼합된 영상 내에서의 그 점의 색을 계산할 수 있다.
여기서, 는 정면, 측면 및 인공 피부 텍스쳐 각각을 위한 점 p의 색이다.
은 상이한 텍스쳐들을 위한 가중치들이며 모든 p에 대하여 이 만족되도록 정규화된다.
텍스쳐 혼합의 가중치들은 다중-해상도 스플라인 알고리즘[33]을 이용하여 생성된다. 가우시안 피라미드 분해(Gaussian pyramid decomposition)에 기반하여, 공지된 영상 혼합 알고리즘은 번짐 또는 영상의 열화 없이 영상 간의 부드러운 변화를 가능하게 한다. 또한, 모든 형상의 혼합 경계(blending boundary)를 이용할 수도 있다.
3.4 인공 피부 텍스쳐
측면 영상 내의 인접 영역의 색 통계에 기반하여 턱 및 목 영역을 채워넣기 위하여 인공 텍스쳐를 생성한다. 자주 등장하지 않는 색들은 버려지고, 이러한 영역 내의 각 화소에 대하여 클리핑된 색 통계를 고려하여 그 색이 선택된다. 이러한 과정이 수행된 이후에, 가우시안 평탄화 기법이 적용되어 불규칙한 얼룩을 제거한다.
최종 텍스쳐가 도 67에 도시된다. 또한 수 개의 텍스쳐된 모델들이 도 55에 도시된다. 귀의 후면이 중첩된 텍스쳐에 매핑되지 않는다는 점에 주의한다(도 68의 최후 2개의 그림들은 각각 인공 귀 텍스쳐를 사용 및 사용하지 않은 경우의 귀 부분을 도시한다).
4. 스테레오 영상 쌍을 이용한 3차원 복원
거의 모든 경우에, 정면 영상 또는 추가적인 측면 영상 만을 이용하여 3차원 복원을 수행하면 바람직한 결과를 생성할 수 있다. 입력 모델이 초기 얼굴 모델과 현저히 차이가 나는 얼굴 형상인 경우, 이러한 알고리즘은 제대로 동작하지 못한다.
이러한 경우를 위하여 얼굴모델을 정밀하게 보정하기 위하여, 스테레오 분석에 기반한 모듈이 시스템에 통합된다. 다소 상이한 각도에서 획득된 2개 또는 그 이상의 얼굴 영상들이 특수한 스테레오 복원 알고리즘을 이용하여 분석되어 얼굴의 가시부분에 정밀한 3차원 정보를 생성할 수 있다. 이러한 목적으로 획득된 스테레오 쌍의 예시는 도 69에 도시되어 있다.
도 70은 도 5의 깊이 정보생성부(540)의 구성을 블록도로 도시한 것으로서, 특징점검출부(7000), 지도획득부(7020) 및 깊이 정보 변환부(7040)을 포함하여 이루어진다. 도 71은 정면 및 정면인접 영상으로부터 깊이 정보를 추출하는 과정을 흐름도로 도시한 것이다. 도 70 및 도 71을 참조하여 깊이 정보 생성을 설명하기로 한다.
먼저, 특징점 검출부(7000)을 통해, 정면 영상 내의 영상 특징점들을 결정하고(7100단계), 상기 특징점들에 대하여 모델에 기반한 Lucas-Kanade 추적(Lucas-Kanade tracking)을 수행하여 상기 정면인접 영상 내의 상응하는 점들을 찾아낸다.(7110단계)
그리고 나서 디스패리티 획득부(7020)을 통해, 정합된 일치점(matched correspondence)을 이용하여 데이터 보간을 수행하여 밀집한 디스패리티(디스패리티) 지도(dense 디스패리티 map)를 획득한다.(7120단계) 마지막으로 깊이 정보변환부(7040)을 통해, 상기 디스패리티(디스패리티) 지도를 깊이 정보로 변환한다.(7130단계)
상기 디스패리티 지도를 깊이 정보로의 변환은, 최대 디스패리티 값으로부터 최소 디스패리티 값을 제한 차이값(difference value)으로 획득한다. 그리고 나서, 상기 차이값을 얼굴 너비(head width)로 나누고 소정 상수치를 승산함으로써 계수를 결정한다. 그 후, 상기 계수 및 측정된 디스패리티 값에서 최소 디스패리티 값을 뺀 값을 승산함으로써 주어진 화소의 심도값을 획득한다. 이를 보다 구체적으로 설명하면 다음과 같다.
4.1 스테레오 영상 쌍으로부터의 디스패리티 예측
특징 추적을 이용한 스테레오 정합을 설명하기로 한다. 3차원 객체 복원의 주요 개념은 "스테레오 정합(stereo matching)"이다. 즉, 스테레오 영상에 존재하는 "동일한(same)" 점들을 찾아나가는 과정이다. 이 과정이 수행된 이후에 3차원 위치들이 복원될 수 있다[34].
기본 아이디어의 단순성에도 불구하고, 일반적으로 스테레오 정합은 매우 복잡한 과정이다. 서로 많이 상이한 영상들에 대하여 스테레오 매칭을 수행하는 과정에서 많은 문제점들이 대두된다. 게다가, 스테레오 정합은 계산량에 있어서도 매우 복잡한 과정인데, 그 이유는 완전한 정합을 수행하기 위하여는 스테레오 영상들을 통하여 모든 가능한 일치점들을 탐색해 나가는 과정을 수행하여야 하기 때문이다.
그러나, 얼굴 모델링의 특정 응용 예에서, 다음의 아이디어를 적용하여 정합 결과들을 획득할 수 있다. 스테레오 쌍들(정면 및 근접 정면)의 시야각이 그다지 상이하지 않기 때문에, 스테레오 정합 과정을 그들 간의 객체 추적 작업인 것처럼 처리할 수 있으므로, 특징 추적 알고리즘(feature-tracking algorithm)이 이용될 수 있다.
거의 모든 특징 추적 알고리즘은 제1영상 상에서 선택된 개별 점들의 집합에 대하여 동작한다. 그들의 목적은 연속적인 영상에서 이러한 점들의 위치를 추적하는 것이다. 이 경우에, 추적 및 정합 과정은 동일한 과정이다. 완전한 점대점의 에피폴라(epipolar) 정합과 비교할 때, 특징 추적 알고리즘에 부정합(mismatch)이 발생될 수 있으나 직교화 과정(rectification stage)을 거칠 필요가 없어진다. 모든 점들은 서로 독립적으로 처리되며 모든 에피폴라 구성에 적용될 수 있다(그러므로 보정되지 않은 카메라에도 적용된다).
이러한 이유 때문에, 실시예에서 특징추적을 이용해 스테레오 정합 과정을 수행한다. 사용되는 추적 알고리즘은 다음에 설명된다.
A(x, y) 및 B(x, y)를 2개의 2차원 계조 영상(grayscale images)이라고 한다. 제 1영상의 한 점 A(px, py)를 고려한다. 특징 추적의 목적은 A(px, py) 및 B(px+vx, py+vy)가 "유사하도록" 하는 제2 영상의 점 B(px+vx, py+vy)를 찾아내는 것이다. 벡터 v=[vx vy] 는 영상 속도이며, 점 [px, py]에서의 광류(optical flow)라고도 불린다. 영상 속도 v를 점 [px, py] 근방
의 잔류 함수(residual function)를 최소화하는 벡터로서 정의한다.
상기와 같은 잔류 함수를 최소화하는 속도(vopt라고 저장)가 다음과 같은 표준 Lucas-Kanade 방정식을 이용하여 구해질 수 있다.
여기서, 다음 수학식들이 만족된다.
3차원 복원 작업을 수행한 이후에, 우리는 전술된 바와 같은 모델 정합 알고리즘을 적용하여 초기 모델을 변형시킨다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 프로브 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치에 의하면, 디지털 카메라와 같은 상대적으로 고가가 아닌 장치를 이용하여 데이터를 획득하고 가능한 한 자동화를 구현하여, 완전하지 않은 입력 데이터로부터 바람직한 결과를 생성할 수 있는 견실한 방법을 제공한다. 즉 얼굴 특징(facial feature)을 자동으로 추출해내고, "실제 인간과 같은(human-quality)" 얼굴 분석 방법을 제공한다.
도 1은 본 발명에 의한 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법을 흐름도로 도시한 것이다.
도 2는 모델생성 작업을 보다 구체적으로 사진과 함께 도시한 것이다.
도 3은 초기 얼굴 모델의 정면도 및 측면도를 나타내는 도면이다.
도 4는 전형적인 입력 영상들을 나타내는 정면 영상, 정면인접영상 및 측면 영상이다.
도 5는 본 발명에 의한 영상에 기반한 사실감 있는 3차원 얼굴 모델링 장치의 구성을 블록도로 도시한 것이다.
도 6은 얼굴 특징 검출부의 세부구성을 도시한 것이다.
도 7은 정면얼굴 특징 검출부의 세부구성을 도시한 것이다.
도 8 및 도 9는 정면얼굴 특징 검출을 보다 상세히 흐름도로 도시한 것이다.
도 10은 피부영역 영상 및 얼굴 영역 검출의 예시이다(더 작은 타원이 초기 영역이며, 더 큰 타원이 검출된 결과이다).
도 11은 피부영역 영상 및 얼굴 영역 검출의 다른 예시를 나타내는 도면이다.
도 12는 얼굴 영역 검출을 흐름도로 도시한 것이다.
도 13은 얼굴 영역 검출법의 타원 모델을 나타내는 도면이다.
도 14는 눈 경계 박스 검출을 흐름도로 도시한 것이다.
도 15는 눈 변이 영상(eye variation image)의 예시를 나타내는 도면이다.
도 16은 눈 변이 영상의 다른 예시를 나타내는 도면이다.
도 17은 눈 사각형 검출(eye rectangle detection)의 결과를 나타내는 도면이다.
도 18은 눈동자의 중심 및 반경 검출을 흐름도로 도시한 것이다.
도 19는 검출된 눈동자의 예시를 나타내는 도면이다.
도 20은 눈 외곽선 검출에서 근사화를 흐름도로 도시한 것이다.
도 21은 눈 영역(eye area)의 수평 방향으로의 적색 채널 강도치를 나타내는 도면이다(눈 외곽선 검출을 위해 사용된다).
도 22는 눈 외곽선 검출을 위해 검출된 점들 및 근사된 눈 외곽선을 나타내는 도면이다.
도 23은 수직 눈썹 위치(vertical eyebrows position)의 검출을 나타내는 도면이다.
도 24는 눈썹 경계 박스들(eyebrow bounding boxes)을 나타내는 도면이다.
도 25는 검출된 눈썹들을 나타내는 도면이다.
도 26은 상부 및 하부 입술 검출을 흐름도로 도시한 것이다.
도 27은 입술 사각형을 반복적으로 정교하게 다듬는 과정(iterative refinement)을 나타내는 도면이다.
도 28은 초기화된 입술 점을 입술 함수 영상(lip function image) 상에서 표시한 도면이다.
도 29는 입술 외곽선 점(lip contour point)에 적용되는 힘(forces)을 나타내는 도면이다.
도 30은 입술 외곽선 변형(deformation)의 일 단계를 나타내는 도면이다.
도 31은 코 외곽선 검출 단계에서의 코 측면 검출을 흐름도로 도시한 것이다.
도 32는 코 측면 템플릿(nose wing template)을 나타내는 도면이다.
도 33은 영상에서 검출된 코 측면 후보(candidate)를 나타내는 도면이다.
도 34는 코 곡선의 주요 특징점들의 배치를 나타내는 도면이다.
도 35는 검출된 코 곡선들을 나타내는 도면이다.
도 36은 턱 및 볼 외곽선 검출을 흐름도로 도시한 것이다.
도 37은 턱/볼 변형 모델(chin/cheeks deformable model)을 나타내는 도면이다.
도 38은 턱 모델 근사 과정을 나타내는 도면이다.
도 39는 정면 영상에서의 모든 검출된 특징들을 나타내는 도면이다.
도 40은 측면얼굴 특징 검출부의 보다 상세한 구성을 블록도로 도시한 것이다.
도 41은 측면얼굴 특징 검출을 흐름도로 도시한 것이다.
도 42는 측면얼굴 영역 검출이 실패된 경우를 나타내는 도면이다(피부 및 코의 분리).
도 43은 측면얼굴 영역 검출이 실패된 경우를 나타내는 또다른 도면이다(코 영역이 불완전함).
도 44는 측면얼굴 영역 검출이 실패된 경우를 나타내는 또다른 도면이다(피부 영역이 불완전함).
도 45는 전형적인 측면 함수(profile function)를 나타내는 도면이다.
도 46은 코 브리지 상단(nose bridge top) 및 "코 하부(under nose)"의 검출을 나타내는 도면이다.
도 47은 턱 및 목 기준점(fiducial points)을 검출하는 것을 나타내는 도면이다.
도 48은 입술 기준점들을 예측하는 것을 나타내는 도면이다.
도 49는 자동적으로 검출된 측면 특징들의 결과(귀를 포함하지 않음)를 나타내는 도면이다.
도 50은 귀 외곽선 검출을 흐름도로 도시한 것이다.
도 51은 귀 초기화를 흐름도로 도시한 것이다.
도 52는 측면 귀 검출을 위한 곡선 템플릿을 나타내는 도면이다.
도 53은 귀 검출의 초기화(정규화된 영상, 교정 점(calibration points) 및 검색 영역)를 나타내는 도면이다.
도 54는 귀 영역 근처의 얼굴 영역에서 피부와 머리카락 영역의 경계를 나타내는 도면이다.
도 55는 색 정보를 이용한 귀 초기화 결과를 나타내는 도면이다(적색 세그먼트들이 귀 템플릿과 정합된다).
도 56은 색 정보만을 이용하여 측면 귀 검출에 실패한 경우 귀의 에지 정보를 이용한 귀 초기화 결과를 나타내는 도면이다.
도 57은 측면 귀 검출 결과를 나타내는 도면이다.
도 58은 모델 변형을 위한 입력 얼굴 특징 곡선들을 나타내는 도면이다.
도 59는 도 5의 얼굴모델 변형부의 구성을 블록도로 도시한 것이다.
도 60은 얼굴모델 변형부에서의 초기 모델 변형을 흐름도로 도시한 것이다.
도 61은 정면 얼굴 특징 곡선들에서 추출된 주요(key) 점들을 나타내는 도면이다.
도 62는 초기 (상부 행) 및 변형된(하부 행) 얼굴 모델들을 나타내는 도면이다.
도 63은 도 5의 텍스쳐 생성부의 구성을 블록도로 도시한 것이다.
도 64는 텍스쳐 생성을 흐름도로 도시한 것이다.
도 65는 UV 평면 상의 정면 텍스쳐 영상을 나타내는 도면이다.
도 66은 UV 평면 상의 측면 텍스쳐 영상을 나타내는 도면이다.
도 67은 입력 영상과 합성 텍스쳐로부터 얻어진 최종 텍스쳐를 나타내는 도면이다.
도 68은 텍스쳐된 모델(textured model)과 합성 귀 텍스쳐를 이용하여 향상된 결과를 나타내는 도면이다.
도 69는 얼굴 영상의 스테레오 쌍의 예시를 나타내는 도면이다.
도 70은 도 5의 깊이 정보생성부의 구성을 블록도로 도시한 것이다.
도 71은 정면 및 정면인접 영상으로부터 깊이 정보를 추출하는 과정을 흐름도로 도시한 것이다.

Claims (56)

  1. 다각형 메쉬 모델에 의하여 표현되는 3차원의 사실감 있는 얼굴모델 생성 방법에 있어서,
    (a) 입력 영상의 정면 및 측면 얼굴 영상 내의 얼굴 특징들을 검출하는 단계;
    (b) 특정 얼굴의 3차원 형상을 결정하기 위해, 상기 검출된 얼굴 특징들을 이용하여 초기 모델을 변형시켜 3차원 얼굴모델을 생성하는 단계;
    (c) 입력 영상으로부터 사실감 있는 텍스쳐를 생성하는 단계; 및
    (d) 상기 텍스쳐를 상기 3차원 모델 상에 매핑하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  2. 제1항에 있어서, 상기 (b)단계는
    정면 및 정면인접 영상으로부터 얼굴깊이 정보를 추출하는 단계를 더 구비하고,
    특정 얼굴의 3차원 형상을 결정하기 위해, 상기 얼굴 특징들을 이용하여 초기 모델을 변형시키고, 상기 얼굴 깊이 정보를 이용하여 상기 변형된 3원 얼굴모델을 정합시킴을 특징으로 하는 3차원 얼굴모델 생성 방법.
  3. 제1항에 있어서, 상기 (c)단계의 텍스쳐는
    인공 텍스쳐를 함께 사용하는 단계를 더 구비함을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  4. 제1항에 있어서, 상기 (a) 단계의 정면 얼굴 특징 검출은
    피부영역을 검출하는 단계;
    얼굴 영역을 검출하는 단계;
    눈 경계 박스를 검출하는 단계;
    눈동자를 검출하는 단계; 및
    정면얼굴 영상을 정규화하는 단계를 포함함을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  5. 제1항에 있어서, 상기 (a) 단계의 정면얼굴 특징 검출은
    눈 외곽선을 검출하는 단계;
    눈썹을 검출하는 단계;
    입술 외곽선을 검출하는 단계;
    코 외곽선을 검출하는 단계; 및
    턱 및 볼 외곽선을 검출하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  6. 제4항에 있어서, 상기 피부영역 검출은,
    영상 화소들을 R-G 색 공간 내의 피부 또는 비피부 화소들로 분류하는 사전 훈련된 최대 확률 베이시안 분류기에 의하여 수행되는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  7. 제4항에 있어서, 상기 얼굴 영역 검출은,
    (1) 피부색을 띤 연결 구성요소 중 최대 요소를 얼굴 영역으로 초기화하는 단계;
    (2) 상기 초기화된 얼굴 영역에 기반하여 타원의 경계 점들을 타원이 안정화될 때까지 이동시켜 타원을 초기화 및 변형시키는 단계; 및
    (3) 상기 안정화된 타원의 경계 4각형을 얼굴 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  8. 제7항에 있어서, 상기 (1)단계는
    2개의 최대 구성 요소들이 유사한 크기를 가질 경우 영상 중심에 더 가까운 것을 선택하는 단계임을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  9. 제7항에 있어서, 상기 (2)단계는
    상기 초기화된 얼굴 영역에 기반하여 타원 경계점의 중심에 위치한 사각형 프루브를 정의하는 단계;
    프루브 및 타원 내부에 위치하는 피부화소의 개수를 계산하는 단계;
    상기 계산치가 소정 문턱치보다 작으면 상기 경계점을 소정 거리만큼 내부로 이동시키는 단계;
    그렇지 않으면, 프루브의 내부 및 타원의 외부에 위치한 피부 화소의 개수를 계산하는 단계; 및
    계산치가 소정 문턱치보다 크면 상기 경계점을 소정 거리만큼 외부로 이동시켜 타원을 초기화 및 변형시키는 단계를 포함함을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  10. 제4항에 있어서, 상기 눈 경계 박스 검출은,
    저역통과 필터링을 통해 흐린 영상을 생성하는 단계;
    원 영상에서 상기 흐린 영상을 뺀 영상을 획득하는 단계;
    상기 획득된 영상의 각 화소에서 자기 자신과 주변 화소 값들의 평균치를 구하여 새로운 영상을 생성하고, 소정 문턱치를 이용하여 상기 새로운 영상을 이진화하는 단계;
    연결된 세그먼트들을 눈 후보로서 찾아내는 단계; 및
    형상, 크기 및 상대적 위치 기준으로 상기 후보를 평가하여 눈 경계 박스들을 결정하는 단계를 포함함을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  11. 제4항에 있어서, 상기 눈동자 검출단계의 눈동자 검출은
    적색채널 영상 내의 눈 경계박스 내부에서 눈동자를 검출함을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  12. 제11항에 있어서, 상기 눈동자의 중심 및 반경 검출은
    상기 눈 경계 박스 내의 적색 채널 영상의 최대 밝기 값을 가지는 화소들의 개수를 문턱치와 비교함으로써 하이라이트의 존재를 평가하는 단계;
    하이라이트가 발견되지 않는다면, 가장 어두운 화소들의 질량 중심점을 눈동자 중심으로 초기화하는 단계;
    하이라이트가 존재할 경우, 하이라이트 주위의 고대비 영역의 중심점을 눈동자 중심으로 초기화하는 단계;
    눈동자 중심에 위치된 초기 원을 확장하고 원 상의 화소들의 경사도의 크기를 측정하는 단계;
    상기 초기 눈동자 원을 확장하고 원 상의 화소들의 경사도의 크기를 측정하는 작업을 반복하는 단계; 및
    최대 측정치를 가지는 눈동자 중심 및 눈동자 반경의 위치를 최종 결과로서 선택하는 단계를 포함함을 특징으로 하는 3차원 얼굴모델 생성 방법.
  13. 제4항에 있어서, 상기 정면얼굴 영상 정규화 단계는,
    눈동자 중심 간의 선이 수평이 되도록 회전하고 소정의 영상 해상도로 변환하여 정규화하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  14. 제5항에 있어서, 눈 외곽선 검출 단계는
    눈 외곽선은 상부 눈 외곽선 및 하부 눈 외곽선 각각을 위한 두 다항식 곡선에 의하여 근사화되며, 상기 근사화는
    눈동자 중심 및 반경에 따라 검색 영역을 미리 결정하는 단계;
    상기 검색 영역 내부의 적색채널 영상 내의 수직 위치의 각 수평 스캔 라인에 대하여, 국지적 최소값 또는 휘도가 급격히 변하는 화소들로서 좌측 및 우측 눈꺼풀 점을 선택하는 단계;
    검출된 눈꺼풀 점들 중에서, 가장 좌측 및 우측에 위치된 점을 눈 코너로 선택하는 단계;
    상기 눈 코너들을 연결하는 선분의 상부에 있는 점들을 이용하여 최소제곱 방법을 이용하여 상부 눈 외곽선 곡선을 추정하는 단계; 및
    검출된 눈 코너들 및 눈동자의 하부 점을 이용하여 하부 눈 외곽선 곡선을 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  15. 제5항에 있어서, 상기 눈썹 검출 단계는
    다항식 곡선에 의하여 근사시켜 눈썹을 검출하고,
    상기 다항식 곡선은 상기 눈 경계 박스 상부의 소정 영역 내에서 적응적 이진화를 수행한 이후에 어두운 화소들을 근사화하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  16. 제5항에 있어서, 상기 입술 외곽선 검출 단계는
    상부 및 하부 입술 검출로 이루어지고,
    상기 상부 및 하부 입술검출은
    입 사각형을 초기화하는 단계;
    비-피부 색 화소들의 1차 및 2차 모멘트를 이용하여 초기 사각형을 더 정밀한 경계박스로 축소시키는 단계;
    입술 함수 영상을 구성하여, 정제된 경계 박스 내의 화소들을 이용하여 화소가 입술 또는 피부에 속할 확률을 측정하는 단계;
    높은 입술 함수값을 가지는 화소들의 2차 중심 모멘트를 측정함으로써 타원을 가지고 입술 외곽선을 초기화하는 단계;
    외력 및 내력에 의하여 입술 외곽선을 동적으로 이동시키는 단계; 및
    상기 이동 결과 점들에 다항식을 근사시켜 곡선 표현식을 생성하는 단계를 수행하여 이루어지는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  17. 제16항에 있어서, 상기 외력은,
    입술과 피부의 경계 지점으로 경계점을 이동하도록 하는 힘이고,
    상기 내력은 내부형상력 및 내부평탄력으로 이루어지고,
    상기 내부 형상력은 외곽선 형상을 타원에 가깝도록 하는 힘이고,
    상기 내부 평탄력은 상기 경계 외부로 너무 벗어나는 단일점들을 억제하는 힘을 포함하는 소정의 인자에 의하여 결정되는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  18. 제5항에 있어서, 상기 코 외곽선 검출 단계는
    코 측면 검출을 포함하고, 상기 코 측면검출은
    소정 검색 영역 내의 에지 영상 상에서 소정 형상의 템플릿을 정합하는 단계;
    큰 정합치를 가지는 검출된 후보들 중에서 대칭 조건을 만족하는 쌍을 선택하여 코 익면 위치로서 결정하는 단계; 및
    각 코 측면을 다항식 곡선에 의하여 표현하되, 상기 곡선은 검출된 코 익면 템플릿 및 소정 계수로써 코 익면 및 눈 코너 간에 보간된 3점에 합치되는 단계를 수행하여 이루어지는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  19. 제5항에 있어서, 턱 및 볼 외곽선의 검출 단계는,
    적색 채널 영상 상의 경사도 벡터장을 계산하는 단계;
    턱 하부점에서 연결되는 2개의 다항식 곡선으로 구성된 얼굴 영역 내에 초기 외곽선 템플릿을 위치시키는 단계;
    곡선의 접선 방향에 합치하는 강한 에지를 만날 때까지 턱 및 볼 외곽선을 외부로 확장하는 단계; 및
    상기 턱 및 볼 외곽선이 접선 방향에 합치하는 강한 에지를 만나게 되면 상기 턱 및 볼 외곽선 확장을 중지하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  20. 제1항에 있어서, 상기 (a)단계의 측면얼굴 특징 검출은,
    얼굴 영역을 검출하는 단계;
    측면 곡선을 검출하는 단계;
    기준점을 검출하는 단계; 및
    귀 외곽선을 검출하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  21. 제20항에 있어서, 상기 얼굴 영역 검출 단계는,
    화소들을 피부 및 비-피부 화소들로 분류하는 단계; 및
    최대 피부색의 연결 성분으로서 상기 얼굴 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  22. 제21항에 있어서, 상기 얼굴 영역 선택 단계는
    가장 큰 두 개의 성분들이 유사한 크기를 가졌을 경우, 영상 중심에 더 가까운 것을 상기 얼굴 영역으로 선택하는 단계임을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  23. 제20항에 있어서, 상기 측면 곡선 검출단계는,
    정면 영상으로부터 유추된 특정된 경계 박스 내의 최우측 얼굴 영역의 경계 외곽선을 측면 곡선으로 검출하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  24. 제20항에 있어서, 상기 귀 외곽선 검출은,
    곡선 템플릿을 측면 영상과 정합하여 귀 위치를 초기화하는 단계; 및
    초기화된 귀 템플릿을 외곽선 추적 알고리즘으로 변형시켜 정확한 귀 경계를 찾아내는 단계를 포함함을 특징으로 하는 3차원 얼굴모델 생성 방법.
  25. 제24항에 있어서, 상기 귀 초기화는
    원 영상을 회전시켜 코 브리지 상단으로부터 턱점까지의 선분이 엄격히 수직이 되도록 하고, 상기 선분 세그먼트의 길이가 소정치가 되도록 스케일링하는 단계;
    귀를 위한 검색 영역을 정의하는 단계;
    검색 영역 내의 얼굴 영역과 머리카락 영역 경계를 곡선 템플릿과 정합하여, 2개의 곡선이 합치되는 부분 곡선으로 정의되는 세그먼트를 찾아내는 단계;
    만일 정합된 세그먼트의 길이가 소정 문턱치보다 작을 경우, 에지 검출기로써 검출한 에지와 귀 템플릿을 정합하여 유사한 형상을 가지는 세그먼트를 검출하는 단계; 및
    템플릿 세그먼트로부터 정합된 영상 점들로의 변환벡터를 최소 자승 알고리즘을 이용하여 계산하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  26. 제2항에 있어서, 상기 정면 및 정면인접 영상으로부터 깊이 정보를 추출하는 단계는
    정면 영상 내의 영상 특징점들을 결정하는 단계;
    특징점들에 대하여 모델에 기반한 Lucas-Kanade 추적을 수행하여 상기 정면인접 영상 내의 상응하는 점들을 찾아내는 단계;
    정합된 일치점을 이용하여 데이터 보간을 수행하여 조밀한 디스패리티 지도를 획득하는 단계; 및
    상기 디스패리티 지도를 깊이 정보로 변환하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  27. 제26항에 있어서, 상기 디스패리티 지도를 깊이 정보로 변환하는 단계는,
    최대 디스패리티 값으로부터 최소 디스패리티 값을 제한 차이값으로 획득하는 단계;
    상기 차이값을 얼굴 너비로 나누고 소정 상수치를 승산함으로써 계수를 결정하는 단계; 및
    상기 계수 및 측정된 디스패리티 값에서 최소 디스패리티 값을 뺀 값을 승산함으로써 주어진 화소의 심도값을 획득하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  28. 제1항에 있어서, 상기 (b)단계의 초기 모델변형은,
    3차원 초기 얼굴모델의 얼굴 특징곡선 상의 특징점들의 길이 비를 이용하여, 영상에서 검출된 특징곡선들을 초기 얼굴(3D generic head) 내에서 정의되는 특징들에 상응하는 2차원 점들로 변환하는 단계; 및
    상기 영상 특징 및 상기 초기 3차원 메쉬 모델 특징점들 간의 일치성을 이용하여, 3단계 RBF 기반의 모핑 작업을 수행하여 상기 3차원 얼굴 메쉬 모델을 변형하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  29. 제28항에 있어서, 상기 3단계 RBF 기반의 모핑 작업은,
    모델 특징점들의 X와 Y 좌표들을 그것들의 상응하는 이미지 특징점들로 설정하고 Z 좌표는 초기 메쉬(generic mesh) 내에서와 동일하게 남겨둠으로써 정면 특징의 RBF 보간을 적용하는 단계;
    정면 특징들이 그것들의 지점에 남도록 제한하면서 측면 특징들의 Y 좌표를 고려하여 측면 영상의 스케일을 조절하는 단계; 및
    턱 및 볼 곡선들 상의 검출된 특징점들이 그것들의 지점에 남도록 제한하면서 측면특징들의 Z 좌표를 이용하여 측면특징의 RBF 보간을 적용하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  30. 제29항에 있어서, 깊이 정보 복구 과정에서 획득된 3차원 점들은,
    초기 모델의 정점들이 깊이 정보로부터 취득된 그것들의 3차원 지점으로 이동하도록 RBF에 기반한 모핑을 수행하는 것을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  31. 제1항에 있어서, 상기 (c)단계는
    입력 영상에 색 보정을 수행하여 상이한 조명 조건 또는 카메라 색 밸런스 변이를 보상하는 단계;
    사진 상의 3차원 모델 극점들 및 사상된 2차원 점들 간의 정합에 기반하여 공통 UV 평면 상에 정면 및 측면 영상을 사상하여, 정면 및 측면 텍스쳐를 생성하는 단계; 및
    다중-해상도의 스플라인 알고리즘을 이용하여 정면, 측면 및 인공 텍스쳐들을 혼합하여 텍스쳐를 완성하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 방법.
  32. 묘사된(textured) 다각형 메쉬 모델에 의하여 표현되는 3차원의 사실감 있는 얼굴모델 생성장치에 있어서,
    입력 영상의 정면 및 측면 얼굴 영상의 얼굴 특징들을 검출하는 얼굴 특징검출부;
    상기 검출된 얼굴 특징들을 이용하여 소정의 초기 모델을 변형시켜 3차원 얼굴모델을 생성하는 얼굴모델변형부;
    입력 영상으로부터 사실감 있는 텍스쳐를 생성하는 텍스쳐생성부; 및
    상기 텍스쳐를 상기 얼굴모델 변형부에서 생성된 3차원 얼굴모델에 매핑하는 매핑부를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 장치.
  33. 제32항에 있어서, 상기 얼굴모델 변형부는
    정면 및 정면인접 영상으로부터 얼굴깊이 정보를 추출하는 깊이 정보생성부를 더 구비하고,
    상기 얼굴 특징검출부에서 검출된 얼굴 특징들과 상기 깊이 정보 생성부에서 생성된 얼굴깊이 정보를 이용하여 소정의 초기 모델을 변형시켜 3차원 얼굴모델을 생성함을 특징으로 하는 3차원 얼굴모델 생성 장치.
  34. 제32항에 있어서, 상기 텍스쳐생성부의 텍스쳐는
    인공 텍스쳐를 함께 사용하는 단계를 더 구비함을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  35. 제32항에 있어서, 상기 얼굴 특징 검출부는
    정면얼굴의 특징을 검출하는 정면얼굴 특징 검출부; 및
    측면얼굴의 특징을 검출하는 측면얼굴 특징 검출부를 포함함을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  36. 제35항에 있어서, 상기 정면얼굴 특징 검출부는
    피부영역을 검출하는 피부영역검출부;
    얼굴 영역을 검출하는 얼굴 영역검출부;
    눈 경계 박스를 검출하는 눈경계박스 검출부;
    눈동자를 검출하는 눈동자검출부; 및
    정면얼굴 영상을 정규화하는 정면얼굴정규화부를 포함함을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  37. 제36항에 있어서, 상기 피부영역 검출부는
    영상 화소들을 R-G 색 공간 내의 피부 또는 비피부 화소들로 분류하는 사전 훈련된 최대 확률 베이시안 분류기에 의하여 수행되는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  38. 제36항에 있어서, 상기 얼굴 영역 검출부는,
    피부색을 띤 연결 구성요소 중 최대 요소를 얼굴 영역으로 초기화하는 얼굴 영역초기화부;
    상기 초기화된 얼굴 영역에 기반하여 타원의 경계 점들을 타원이 안정화될 때까지 이동시켜 타원을 초기화 및 변형시키는 타원안정화부; 및
    상기 안정화된 타원의 경계 4각형을 얼굴 영역으로 결정하는 얼굴 영역결정부를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  39. 제36항에 있어서, 상기 눈 경계 박스 검출부는
    저역통과 필터링을 통해 흐린 영상을 생성하는 흐린영상생성부;
    원 영상에서 상기 흐린 영상을 뺀 영상의 각 화소에서 자기 자신과 주변 화소 값들의 평균치를 구하여 새로운 영상을 생성하고, 소정 문턱치를 이용하여 상기 새로운 영상을 이진화하는 영상이진화부;
    상기 영상이진화부에서 이진화된 영상에서 연결된 세그먼트들을 눈 후보로서 찾아내는 눈후보검색부; 및
    상기 눈후보검색부에서 찾아낸 눈 후보들을 형상, 크기 및 상대적 위치 기준으로 평가하여 눈 경계 박스들을 결정하는 눈경계박스결정부를 포함함을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  40. 제36항에 있어서, 상기 눈동자 검출부의 눈동자 검출은
    적색채널 영상 내의 눈 경계박스 내부에서 눈동자를 검출함을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  41. 제40항에 있어서, 상기 눈동자검출부는
    상기 눈 경계 박스 내의 적색 채널 영상의 최대 밝기 값을 가지는 화소들의 개수를 문턱치와 비교함으로써 하이라이트의 존재를 평가하는 하이라이트탐색부;
    하이라이트가 존재하지 않으면 가장 어두운 화소들의 질량 중심점을 눈동자 중심으로 초기화하고, 하이라이트가 존재하면 하이라이트 주위의 고대비 영역의 중심점을 눈동자 중심으로 초기화하는 눈동자초기화부;
    눈동자 중심에 위치된 초기 원을 확장하면서 원 상의 화소들의 경사도의 크기를 측정하되. 상기 초기 눈동자 중심 주위의 인접 화소들에 대하여 측정 작업을 반복하는 눈동자 중심/반경 측정부; 및
    최대 측정치를 가지는 눈동자 중심 및 반경을 눈동자 중심 및 눈동자 반경으로 결정하는 눈동자 결정부를 구비함을 특징으로 하는 3차원 얼굴모델 생성 장치.
  42. 제36항에 있어서, 상기 정면얼굴 영상 정규화부는,
    눈동자 중심 간의 선이 수평이 되도록 회전하고 소정의 영상 해상도로 변환하여 정규화하는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  43. 제35항에 있어서, 상기 정면얼굴 특징 검출부는
    눈 외곽선을 검출하는 눈외곽선검출부;
    눈썹을 검출하는 눈썹검출부;
    입술 외곽선을 검출하는 입술외곽선검출부;
    코 외곽선을 검출하는 코 외곽선검출부; 및
    턱 및 볼 외곽선을 검출하는 턱/볼 외곽선검출부 중 적어도 하나를 더 구비함을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  44. 제43항에 있어서, 눈 외곽선 검출부는
    눈 외곽선은 상부 눈 외곽선 및 하부 눈 외곽선 각각을 위한 두 다항식 곡선에 의하여 근사화됨을 특징으로 하고,
    상기 근사화는
    눈동자 중심 및 반경에 따라 검색 영역을 미리 결정하는 단계;
    상기 검색 영역 내부의 적색채널 영상 내의 수직 위치의 각 수평 스캔 라인에 대하여, 국지적 최소값 또는 휘도가 급격히 변하는 화소들로서 좌측 및 우측 눈꺼풀 점을 선택하는 단계;
    검출된 눈꺼풀 점들 중에서, 가장 좌측 및 우측에 위치된 점을 눈 코너로 선택하는 단계;
    상기 눈 코너들을 연결하는 선분의 상부에 있는 점들을 이용하여 최소제곱 방법을 이용하여 상부 눈 외곽선 곡선을 추정하는 단계; 및
    검출된 눈 코너들 및 눈동자의 하부 점을 이용하여 하부 눈 외곽선 곡선을 추정하는 단계를 포함하는, 3차원 얼굴 모델 생성 장치.
  45. 제43항에 있어서, 상기 눈썹 검출부는
    다항식 곡선에 의하여 근사시켜 눈썹을 검출하고,
    상기 다항식 곡선은 상기 눈 경계 박스 상부의 소정 영역 내에서 적응적 이진화를 수행한 이후에 어두운 화소들을 근사화하는 것을 특징으로 하는 3차원 얼굴모델 생성 장치.
  46. 제43항에 있어서, 상기 입술 외곽선 검출부는
    상부 및 하부 입술을 검출하고, 상기 상부 및 하부 입술검출은
    입 사각형을 초기화하는 단계;
    비-피부 색 화소들의 1차 및 2차 모멘트를 이용하여 초기 사각형을 더 정밀한 경계박스로 축소시키는 단계;
    입술 함수 영상을 구성하여, 정제된 경계 박스 내의 화소들을 이용하여 화소가 입술 또는 피부에 속할 확률을 측정하는 단계;
    높은 입술 함수값을 가지는 화소들의 2차 중심 모멘트를 측정함으로써 타원을 가지고 입술 외곽선을 초기화하는 단계;
    외력 및 내력에 의하여 입술 외곽선을 동적으로 이동시키는 단계; 및
    상기 이동 결과 점들에 다항식을 근사시켜 곡선 표현식을 생성하는 단계를 수행하여 이루어지는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  47. 제43항에 있어서, 상기 코 외곽선 검출부는
    코 측면 검출을 포함하고, 상기 코 측면검출은
    소정 검색 영역 내의 에지 영상 상에서 소정 형상의 템플릿을 정합하는 단계;
    큰 정합치를 가지는 검출된 후보들 중에서 대칭 조건을 만족하는 쌍을 선택하여 코 익면 위치로서 결정하는 단계; 및
    각 코 측면을 다항식 곡선에 의하여 표현하되, 상기 곡선은 검출된 코 익면 템플릿 및 소정 계수로써 코 익면 및 눈 코너 간에 보간된 3점에 합치되는 단계를 수행하여 이루어지는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  48. 제43항에 있어서, 턱/볼 외곽선 검출부는,
    적색 채널 영상 상의 경사도 벡터장을 계산하는 경사도계산부;
    턱 하부점에서 연결되는 2개의 다항식 곡선으로 구성된 얼굴 영역 내에 초기 외곽선 템플릿을 위치시키고, 곡선의 접선에 합치하는 강한 에지를 만날 때까지 턱 및 볼 외곽선을 외부로 확장하는 턱/볼 외곽선확장부; 및
    상기 턱 및 볼 외곽선이 접선 방향에 합치하는 강한 에지를 만나게 되면 상기 턱 및 볼 외곽선 확장을 중지하여 그 결과를 턱/볼 외곽선으로 결정하는 턱/볼 외곽선 결정부를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 장치.
  49. 제35항에 있어서, 상기 측면얼굴 특징 검출부는
    측면얼굴 영역을 검출하는 측면얼굴 영역검출부;
    측면 곡선을 검출하는 측면 곡선검출부;
    기준점을 검출하는 기준점검출부; 및
    귀 외곽선을 검출하는 귀외곽선검출부를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  50. 제49항에 있어서, 상기 측면얼굴 영역 검출부는
    화소들을 피부 및 비-피부 화소들로 분류하는 피부화소분류부; 및
    최대 피부색의 연결 성분을 측면얼굴 영역으로 선택하는 측면얼굴 영역 선택부를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  51. 제49항에 있어서, 상기 측면 곡선 검출부는
    정면 영상으로부터 유추된 특정된 경계 박스 내의 최우측 얼굴 영역의 경계 외곽선을 측면 곡선으로 검출함을 특징으로 하는 3차원 얼굴모델 생성 장치.
  52. 제49항에 있어서, 상기 귀 외곽선 검출부는
    곡선 템플릿을 측면 영상과 정합하여 귀 위치를 초기화하는 귀위치초기화부; 및
    초기화된 귀 템플릿을 외곽선 추적 알고리즘으로 변형시켜 정확한 귀 경계를 찾아내는 귀경계검출부를 포함함을 특징으로 하는 3차원 얼굴모델 생성 장치.
  53. 제33항에 있어서, 깊이 정보 생성부는
    정면 영상 내의 영상 특징점들을 결정하여 상기 정면인접 영상 내에서 상기 특징점들에 상응하는 점들을 찾아내는 특징점 검출부;
    정합된 일치점을 이용하여 데이터 보간을 수행하여 조밀한 디스패리티 지도를 획득지도획득부; 및
    상기 디스패리티 지도를 깊이 정보로 변환하는 깊이 정보변환부를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 장치.
  54. 제32항에 있어서, 상기 얼굴모델변형부는
    3차원 초기 얼굴모델의 얼굴 특징곡선 상의 특징점들의 길이 비를 이용하여, 영상에서 검출된 특징곡선들을 초기 얼굴(3D generic head) 내에서 정의되는 특징들에 상응하는 2차원 점들로 변환하는 2차원점변환부; 및
    상기 영상 특징 및 상기 초기 3차원 메쉬 모델 특징점들 간의 일치성을 이용하여, 3단계 RBF 기반의 모핑 작업(RBF-based morphing procedure)을 수행하여 상기 3차원 얼굴 메쉬 모델을 변형하는 얼굴메쉬모델변형부를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 생성 장치.
  55. 제32항에 있어서, 상기 텍스쳐생성부는
    입력 영상 상에 색 보정을 수행하여 상이한 조명 조건 또는 카메라 색 밸런스 변이를 보상하는 입력 영상보상부;
    사진 상의 3차원 모델 극점들 및 사상된 2차원 점들 간의 정합에 기반하여 공통 UV 평면 상에 정면 및 측면 영상을 사상하여, 정면 및 측면 텍스쳐를 생성하는 정면/측면 텍스쳐생성부; 및
    다중-해상도의 스플라인 알고리즘을 이용하여 정면, 측면 및 인공 텍스쳐들을 혼합하여 텍스쳐를 완성하는 텍스쳐완성부를 포함하는 것을 특징으로 하는 3차원 얼굴모델 생성 장치.
  56. 제1항 내지 제31항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040064323A 2003-08-29 2004-08-16 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 KR100682889B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP04255190A EP1510973A3 (en) 2003-08-29 2004-08-27 Method and apparatus for image-based photorealistic 3D face modeling
US10/927,241 US7835568B2 (en) 2003-08-29 2004-08-27 Method and apparatus for image-based photorealistic 3D face modeling
RU2004126185/09A RU2358319C2 (ru) 2003-08-29 2004-08-27 Способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения
JP2004251160A JP4723834B2 (ja) 2003-08-29 2004-08-30 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
CNB2004100981954A CN100345165C (zh) 2003-08-29 2004-08-30 基于图像的超现实主义三维脸部建模的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US49869503P 2003-08-29 2003-08-29
US60/498,695 2003-08-29

Publications (2)

Publication Number Publication Date
KR20050022306A true KR20050022306A (ko) 2005-03-07
KR100682889B1 KR100682889B1 (ko) 2007-02-15

Family

ID=37230238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040064323A KR100682889B1 (ko) 2003-08-29 2004-08-16 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치

Country Status (2)

Country Link
US (1) US7835568B2 (ko)
KR (1) KR100682889B1 (ko)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669625B1 (ko) * 2005-03-25 2007-01-15 엘지전자 주식회사 형태론적 연산처리를 이용한 안구위치 추정시스템 및 그방법
KR100827749B1 (ko) * 2006-08-25 2008-05-08 성결대학교 산학협력단 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정구현시스템 및 구현 방법
KR100930994B1 (ko) * 2007-12-18 2009-12-10 주식회사 케이티 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
WO2009151755A2 (en) * 2008-05-16 2009-12-17 Microsoft Corporation Video processing
KR20110020720A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 3차원 얼굴 캡쳐링 장치 및 방법
KR101129386B1 (ko) * 2005-06-20 2012-03-28 삼성전자주식회사 영상의 음영(ｓｈａｄｉｎｇ)제거 방법 및 장치
KR101220098B1 (ko) * 2011-05-12 2013-01-11 한국항공대학교산학협력단 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법
KR101451792B1 (ko) * 2013-05-30 2014-10-16 한국과학기술연구원 영상 렌더링 장치 및 그 방법
KR101453713B1 (ko) * 2014-02-03 2014-10-22 연세대학교 산학협력단 객체 인식 방법 및 그 장치
KR101479838B1 (ko) * 2013-04-10 2015-01-09 한국과학기술원 3d 얼굴 영상 생성 방법 및 장치
KR101533494B1 (ko) * 2013-04-05 2015-07-02 한국과학기술원 템플릿 모델 기반의 3d 영상 생성 방법 및 장치
KR20160018099A (ko) * 2014-08-08 2016-02-17 삼성전자주식회사 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
US9443343B2 (en) 2010-11-24 2016-09-13 Samsung Electronics Co., Ltd. Method and apparatus for realistically reproducing eyeball
KR20170006219A (ko) * 2015-07-07 2017-01-17 주식회사 케이티 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
KR20170008638A (ko) * 2015-07-14 2017-01-24 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR20170076894A (ko) * 2015-12-24 2017-07-05 주식회사 씽크풀 디지털 이미지 판단시스템 및 그 방법, 이를 위한 애플리케이션 시스템
KR20170101759A (ko) * 2016-02-29 2017-09-06 한국전자통신연구원 3차원 부조 모델 생성 장치 및 방법
KR20180081557A (ko) * 2016-03-10 2018-07-16 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 눈 이미지를 생성하는 방법 및 디바이스
KR20180093699A (ko) * 2017-02-14 2018-08-22 한국표준과학연구원 개인 맞춤형 최적 두상 구현 시스템
KR101942370B1 (ko) * 2017-10-19 2019-01-25 인천대학교 산학협력단 자유 정점의 이동 순서 할당에 기초하여 메쉬 품질의 향상을 지원하는 그래픽 처리 장치 및 방법
CN110021064A (zh) * 2019-03-07 2019-07-16 李辉 一种唯美人脸系统及其方法
CN110503714A (zh) * 2019-07-23 2019-11-26 杭州美戴科技有限公司 一种个性化镜腿的自动设计方法
US10540540B2 (en) 2014-11-07 2020-01-21 Samsung Electronics Co., Ltd. Method and device to determine landmark from region of interest of image
KR20200100020A (ko) * 2020-08-13 2020-08-25 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
KR102157793B1 (ko) * 2019-05-31 2020-09-18 주식회사 모르페우스 3차원 모델을 재구성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20210147626A (ko) * 2020-05-29 2021-12-07 연세대학교 산학협력단 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
WO2023182755A1 (ko) * 2022-03-22 2023-09-28 주식회사 레이 3차원 얼굴 스캔 데이터의 생성 방법
CN117577140A (zh) * 2024-01-16 2024-02-20 北京岷德生物科技有限公司 面向脑瘫儿童的语音和面部表情数据处理方法及系统

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100568105B1 (ko) * 2003-10-02 2006-04-05 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법
EP1766552A2 (en) * 2004-06-23 2007-03-28 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
SE528068C2 (sv) * 2004-08-19 2006-08-22 Jan Erik Solem Med Jsolutions Igenkänning av 3D föremål
CA2485887A1 (en) * 2004-10-25 2006-04-25 Athentech Technologies Inc. Adjustment of multiple data channels using relative strength histograms
WO2006095017A2 (en) * 2005-03-10 2006-09-14 Bracco Imaging S.P.A. System and method to optimize volumetric rendering of a region of interest
US20060274962A1 (en) * 2005-06-03 2006-12-07 Yi-Jen Chiu Systems and methods for improved Gaussian noise filtering
US7929775B2 (en) * 2005-06-16 2011-04-19 Strider Labs, Inc. System and method for recognition in 2D images using 3D class models
EP1952199B1 (en) * 2005-11-17 2012-10-03 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4414401B2 (ja) * 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
US8824548B2 (en) * 2006-03-21 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Object detecting with 1D range sensors
JP2007264828A (ja) * 2006-03-27 2007-10-11 Fujifilm Corp 画像処理方法及び装置並びにプリンタ
US7535472B2 (en) * 2006-04-05 2009-05-19 Seoul National University Industry Foundation Method for generating intuitive quasi-eigen faces
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8446410B2 (en) * 2006-05-11 2013-05-21 Anatomage Inc. Apparatus for generating volumetric image and matching color textured external surface
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100810326B1 (ko) * 2006-10-10 2008-03-04 삼성전자주식회사 다해상도 3차원 모델 생성 방법
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP2010517427A (ja) * 2007-01-23 2010-05-20 ユークリッド・ディスカバリーズ・エルエルシー 個人向けのビデオサービスを提供するシステムおよび方法
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
CN101271514B (zh) * 2007-03-21 2012-10-10 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
WO2008129360A1 (en) * 2007-04-19 2008-10-30 Damvig Develop Future Aps A method for the manufacturing of a reproduction of an encapsulated three-dimensional physical object and objects obtained by the method
US8059917B2 (en) * 2007-04-30 2011-11-15 Texas Instruments Incorporated 3-D modeling
US8773423B2 (en) 2007-05-07 2014-07-08 Microsoft Corporation Creating optimized gradient mesh of a vector-based image from a raster-based image
EP2031423B1 (en) * 2007-08-31 2013-05-15 Services Pétroliers Schlumberger Identifying geological features in an image of an underground formation surrounding a borehole
KR100912421B1 (ko) 2007-09-11 2009-08-14 한국전자통신연구원 칼라 영상을 기반으로 한 얼굴 인식을 위한 특징 추출 장치및 방법
US7978191B2 (en) * 2007-09-24 2011-07-12 Dolphin Imaging Systems, Llc System and method for locating anatomies of interest in a 3D volume
US8020997B2 (en) * 2007-10-09 2011-09-20 Hewlett-Packard Development Company, L.P. Defining a bounding box for projected images
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
KR100940862B1 (ko) * 2007-12-17 2010-02-09 한국전자통신연구원 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법
US8532344B2 (en) * 2008-01-09 2013-09-10 International Business Machines Corporation Methods and apparatus for generation of cancelable face template
KR100919826B1 (ko) * 2008-03-13 2009-10-01 한국전자통신연구원 스윕을 이용한 국소 부위 형상 변형 장치 및 방법
US20110227923A1 (en) * 2008-04-14 2011-09-22 Xid Technologies Pte Ltd Image synthesis method
US9131141B2 (en) 2008-05-12 2015-09-08 Sri International Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
US8487927B2 (en) * 2008-05-19 2013-07-16 Microsoft Corporation Validating user generated three-dimensional models
EP2286385A4 (en) * 2008-06-06 2013-01-16 Reald Inc TRUNKING GAIN STEREOSCOPIC IMAGES
GB0818277D0 (en) * 2008-10-06 2008-11-12 Advanced Risc Mach Ltd Graphics processing system
GB0818278D0 (en) * 2008-10-06 2008-11-12 Advanced Risc Mach Ltd Graphics processing systems
GB0818279D0 (en) * 2008-10-06 2008-11-12 Advanced Risc Mach Ltd Graphics processing systems
JP4752918B2 (ja) * 2009-01-16 2011-08-17 カシオ計算機株式会社 画像処理装置、画像照合方法、および、プログラム
WO2010088840A1 (en) 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
JP5208810B2 (ja) * 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
WO2010131371A1 (en) * 2009-05-12 2010-11-18 Toyota Jidosha Kabushiki Kaisha Object recognition method, object recognition apparatus, and autonomous mobile robot
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US8531526B1 (en) * 2009-08-25 2013-09-10 Clinton A. Spence Wearable video recorder and monitor system and associated method
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
KR20110026214A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 얼굴 검출 장치 및 방법
KR101092820B1 (ko) * 2009-09-22 2011-12-12 현대자동차주식회사 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템
US8300929B2 (en) * 2009-10-07 2012-10-30 Seiko Epson Corporation Automatic red-eye object classification in digital photographic images
EP2333692A1 (en) * 2009-12-11 2011-06-15 Alcatel Lucent Method and arrangement for improved image matching
JP5538909B2 (ja) * 2010-01-05 2014-07-02 キヤノン株式会社 検出装置およびその方法
JP5751679B2 (ja) * 2010-01-15 2015-07-22 マーベル ワールド トレード リミテッド 圧縮アーチファクトをマスクするためのフィルムグレインの利用
US9317970B2 (en) * 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
JP2012042720A (ja) * 2010-08-19 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
US8447098B1 (en) 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
KR101251793B1 (ko) * 2010-11-26 2013-04-08 현대자동차주식회사 차량내 운전자 실제 얼굴 인증 방법
US8884916B2 (en) * 2010-12-09 2014-11-11 Synaptics Incorporated System and method for determining user input using polygons
WO2012115293A1 (ko) * 2011-02-24 2012-08-30 (주)스튜디오 로프트 2d 이미지를 3d 입체 이미지로 전환시키는 방법
US9390317B2 (en) 2011-03-21 2016-07-12 Hewlett-Packard Development Company, L.P. Lip activity detection
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム
US8891876B2 (en) * 2011-04-25 2014-11-18 Hewlett-Packard Development Company, L.P. Mouth corner candidates
CN102184401B (zh) * 2011-04-29 2013-01-16 苏州两江科技有限公司 一种人脸特征提取方法
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US8837813B2 (en) 2011-07-01 2014-09-16 Sharp Laboratories Of America, Inc. Mobile three dimensional imaging system
TW201308253A (zh) * 2011-08-04 2013-02-16 Univ Nat Taiwan 運動量分析方法及採用此方法之運動量分析裝置
EP2754130A4 (en) * 2011-08-09 2016-01-06 Intel Corp 3D MULTIVUE-BASED 3D FACES GENERATION
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
EP2781086B1 (en) * 2011-12-13 2020-03-11 Halliburton Energy Services Inc. Down hole cuttings analysis
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
US8989455B2 (en) * 2012-02-05 2015-03-24 Apple Inc. Enhanced face detection using depth information
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
US9558575B2 (en) 2012-02-28 2017-01-31 Blackberry Limited Methods and devices for selecting objects in images
CN102663354B (zh) 2012-03-26 2014-02-19 腾讯科技（深圳）有限公司 人脸标定方法和系统
US9275467B2 (en) 2012-03-29 2016-03-01 Analog Devices, Inc. Incremental contour-extraction scheme for binary image segments
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
WO2014023641A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Refinement of a disparity or motion map based on user interaction
US9208606B2 (en) * 2012-08-22 2015-12-08 Nvidia Corporation System, method, and computer program product for extruding a model through a two-dimensional scene
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
US20140063199A1 (en) * 2012-09-05 2014-03-06 Samsung Electro-Mechanics Co., Ltd. Electronic device and depth calculating method of stereo camera image using the same
CN102945569B (zh) * 2012-10-23 2015-04-29 西北工业大学 一种基于热核信号的三维模型对称性分析方法
CN102970510B (zh) * 2012-11-23 2015-04-15 清华大学 人脸视频传输方法
US9552668B2 (en) 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
US9411445B2 (en) 2013-06-27 2016-08-09 Synaptics Incorporated Input object classification
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
KR102135770B1 (ko) * 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
US9760935B2 (en) * 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN107155341B (zh) * 2014-07-31 2020-01-10 惠普发展公司，有限责任合伙企业 三维扫描系统和框架
CN104200236B (zh) * 2014-08-22 2018-10-26 浙江生辉照明有限公司 基于dpm的快速目标检测方法
WO2016043774A1 (en) * 2014-09-19 2016-03-24 A2Zlogix, Inc. System and method for restoration of dynamic range of images and video
MX2017003776A (es) 2014-09-24 2018-03-23 Princeton Identity Inc Control de la capacidad de un dispositivo de comunicacion inalambrica en un dispositivo movil con una llave biometrica.
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
US9767620B2 (en) * 2014-11-26 2017-09-19 Restoration Robotics, Inc. Gesture-based editing of 3D models for hair transplantation applications
CA2969331A1 (en) 2014-12-03 2016-06-09 Princeton Identity, Inc. System and method for mobile device biometric add-on
US10275677B2 (en) * 2014-12-26 2019-04-30 Nec Solution Innovators, Ltd. Image processing apparatus, image processing method and program
JP2016126510A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10326972B2 (en) 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US9804717B2 (en) 2015-03-11 2017-10-31 Synaptics Incorporated Input sensing and exclusion
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
CN106156692B (zh) * 2015-03-25 2019-12-13 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置
KR101818007B1 (ko) * 2015-06-12 2018-02-21 서울대학교산학협력단 귀 재건 및 재건의 필요성을 위한 장치 및 방법
CN105118022B (zh) * 2015-08-27 2019-02-12 厦门唯尔酷信息技术有限公司 一种2维到3维的人脸生成和变形方法及其系统
KR101644426B1 (ko) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 변형3d모델에 대응되는 원본3d모델 인식방법
US10091490B2 (en) * 2015-10-08 2018-10-02 Hewlett-Packard Development Company, L.P. Scan recommendations
US9773302B2 (en) * 2015-10-08 2017-09-26 Hewlett-Packard Development Company, L.P. Three-dimensional object model tagging
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
US9898674B2 (en) * 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
CN106887024B (zh) * 2015-12-16 2019-09-17 腾讯科技（深圳）有限公司 照片的处理方法及处理系统
JP2019506694A (ja) 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
US10373008B2 (en) 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
US10366296B2 (en) 2016-03-31 2019-07-30 Princeton Identity, Inc. Biometric enrollment systems and methods
CN106355612B (zh) * 2016-09-21 2019-01-29 河南理工大学 基于视觉技术的手镯圈口自动测量方法
US10950275B2 (en) * 2016-11-18 2021-03-16 Facebook, Inc. Methods and systems for tracking media effects in a media effect index
US10303928B2 (en) 2016-11-29 2019-05-28 Facebook, Inc. Face detection for video calls
US10554908B2 (en) 2016-12-05 2020-02-04 Facebook, Inc. Media effect application
KR20180071589A (ko) * 2016-12-20 2018-06-28 삼성전자주식회사 홍채 인식 기능 운용 방법 및 이를 지원하는 전자 장치
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
WO2018187337A1 (en) 2017-04-04 2018-10-11 Princeton Identity, Inc. Z-dimension user feedback biometric system
JP2020529073A (ja) 2017-07-26 2020-10-01 プリンストン・アイデンティティー・インコーポレーテッド 生体セキュリティシステムおよび方法
KR102080694B1 (ko) * 2017-09-07 2020-02-24 동의대학교 산학협력단 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
WO2019060023A1 (en) * 2017-09-22 2019-03-28 Visa International Service Association METHOD FOR FACIAL ANTI-USURPATION USING DIFFERENCES IN IMAGE PROPERTIES
CN107749084A (zh) * 2017-10-24 2018-03-02 广州增强信息科技有限公司 一种基于图像三维重建技术的虚拟试戴方法和系统
CN108198245B (zh) * 2018-01-31 2021-02-12 哈尔滨学院 基于双灰度因素的三维阈值立体图形形成方法
GB2583843B (en) 2018-02-05 2022-05-25 Halliburton Energy Services Inc Volume, size, and shape analysis of downhole particles
CN108665530B (zh) * 2018-04-25 2021-12-14 厦门大学 基于单张图片的三维建模实现方法
CN108765529A (zh) * 2018-05-04 2018-11-06 北京比特智学科技有限公司 视频生成方法和装置
CN110767288A (zh) * 2018-07-26 2020-02-07 王东 一种虚拟面部轮廓调整方法
CN109389665B (zh) * 2018-08-24 2021-10-22 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN110866864A (zh) 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN110335360B (zh) * 2019-05-24 2020-12-25 深圳大学 三维元素布局可视化方法和装置
CN110176079B (zh) * 2019-05-26 2023-03-24 中北大学 一种基于准共形映射的三维模型变形算法
CN112233212A (zh) * 2019-06-28 2021-01-15 微软技术许可有限责任公司 人像编辑与合成
KR102413517B1 (ko) * 2019-08-23 2022-06-28 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
CN110672620B (zh) * 2019-10-08 2022-08-26 英特尔产品（成都）有限公司 芯片缺陷检测方法及系统
CN110930355B (zh) * 2019-10-10 2022-02-11 江苏科技大学 一种基于图像处理的微米级河鲀表皮体刺轮廓建模方法
CN111028343B (zh) * 2019-12-16 2020-12-11 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN111081375B (zh) * 2019-12-27 2023-04-18 北京深测科技有限公司 健康监测的预警方法及系统
DE102020104536A1 (de) 2020-02-20 2021-08-26 Carl Zeiss Vision International Gmbh Verfahren und Vorrichtungen zur dreidimensionalen Augenrekonstruktion
CN111553286B (zh) * 2020-04-29 2024-01-26 北京攸乐科技有限公司 用于捕捉耳朵动画特征的方法、电子设备
CN111881838B (zh) * 2020-07-29 2023-09-26 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
US11417061B1 (en) * 2021-01-27 2022-08-16 Amazon Technologies, Inc. Three-dimensional mesh generation
CN113366491B (zh) * 2021-04-26 2022-07-22 华为技术有限公司 眼球追踪方法、装置及存储介质
US20220385721A1 (en) * 2021-05-28 2022-12-01 Streem, Llc 3d mesh generation on a server
CN113536210A (zh) * 2021-06-04 2021-10-22 黄淮学院 基于向量遍历线结构光条纹中心坐标的计算方法
CN113486768A (zh) * 2021-07-01 2021-10-08 成都九章丽欣科技有限公司 一种肤质的图像识别方法
US11727639B2 (en) * 2021-08-23 2023-08-15 Sony Group Corporation Shape refinement of three-dimensional (3D) mesh reconstructed from images
CN113808272B (zh) * 2021-08-25 2024-04-12 西北工业大学 三维虚拟人头脸建模中的纹理映射方法
US11783542B1 (en) * 2021-09-29 2023-10-10 Amazon Technologies, Inc. Multi-view three-dimensional mesh generation
CN114267066B (zh) * 2021-12-24 2022-11-01 合肥的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN114267068B (zh) * 2021-12-24 2022-11-01 合肥的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质
US20230230331A1 (en) * 2022-01-03 2023-07-20 Qualcomm Incorporated Prior based generation of three-dimensional models

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2256567B (en) * 1991-06-05 1995-01-11 Sony Broadcast & Communication Modelling system for imaging three-dimensional models
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
JP3657769B2 (ja) * 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
KR100281965B1 (ko) * 1998-04-24 2001-02-15 전주범 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법
KR100317138B1 (ko) * 1999-01-19 2001-12-22 윤덕용 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
KR20000064110A (ko) 2000-08-22 2000-11-06 이성환 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
US6895103B2 (en) * 2001-06-19 2005-05-17 Eastman Kodak Company Method for automatically locating eyes in an image
DE10139708A1 (de) * 2001-08-11 2003-02-20 Philips Corp Intellectual Pty Vorrichtung und Verfahren zur Verarbeitung von Digitalbildern
WO2003081536A1 (en) * 2002-03-26 2003-10-02 So-Woon Kim System and method for 3-dimension simulation of glasses
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
KR100515085B1 (ko) * 2002-06-18 2005-09-14 정욱진 2차원 얼굴사진으로부터 3차원 얼굴형상 획득 시스템 및방법
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669625B1 (ko) * 2005-03-25 2007-01-15 엘지전자 주식회사 형태론적 연산처리를 이용한 안구위치 추정시스템 및 그방법
KR101129386B1 (ko) * 2005-06-20 2012-03-28 삼성전자주식회사 영상의 음영(ｓｈａｄｉｎｇ)제거 방법 및 장치
KR100827749B1 (ko) * 2006-08-25 2008-05-08 성결대학교 산학협력단 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정구현시스템 및 구현 방법
KR100930994B1 (ko) * 2007-12-18 2009-12-10 주식회사 케이티 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
US8824801B2 (en) 2008-05-16 2014-09-02 Microsoft Corporation Video processing
WO2009151755A3 (en) * 2008-05-16 2010-02-25 Microsoft Corporation Video processing
WO2009151755A2 (en) * 2008-05-16 2009-12-17 Microsoft Corporation Video processing
KR20110020720A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 3차원 얼굴 캡쳐링 장치 및 방법
US9443343B2 (en) 2010-11-24 2016-09-13 Samsung Electronics Co., Ltd. Method and apparatus for realistically reproducing eyeball
KR101220098B1 (ko) * 2011-05-12 2013-01-11 한국항공대학교산학협력단 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법
KR101533494B1 (ko) * 2013-04-05 2015-07-02 한국과학기술원 템플릿 모델 기반의 3d 영상 생성 방법 및 장치
KR101479838B1 (ko) * 2013-04-10 2015-01-09 한국과학기술원 3d 얼굴 영상 생성 방법 및 장치
KR101451792B1 (ko) * 2013-05-30 2014-10-16 한국과학기술연구원 영상 렌더링 장치 및 그 방법
KR101453713B1 (ko) * 2014-02-03 2014-10-22 연세대학교 산학협력단 객체 인식 방법 및 그 장치
KR20160018099A (ko) * 2014-08-08 2016-02-17 삼성전자주식회사 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
US10540540B2 (en) 2014-11-07 2020-01-21 Samsung Electronics Co., Ltd. Method and device to determine landmark from region of interest of image
KR20170006219A (ko) * 2015-07-07 2017-01-17 주식회사 케이티 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
KR20170008638A (ko) * 2015-07-14 2017-01-24 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US11010967B2 (en) 2015-07-14 2021-05-18 Samsung Electronics Co., Ltd. Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR20170076894A (ko) * 2015-12-24 2017-07-05 주식회사 씽크풀 디지털 이미지 판단시스템 및 그 방법, 이를 위한 애플리케이션 시스템
KR20170101759A (ko) * 2016-02-29 2017-09-06 한국전자통신연구원 3차원 부조 모델 생성 장치 및 방법
KR20180081557A (ko) * 2016-03-10 2018-07-16 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 눈 이미지를 생성하는 방법 및 디바이스
CN110536635A (zh) * 2017-02-14 2019-12-03 韩国标准科学研究院 个性化的最佳头部形状实现系统
KR20180093699A (ko) * 2017-02-14 2018-08-22 한국표준과학연구원 개인 맞춤형 최적 두상 구현 시스템
KR101942370B1 (ko) * 2017-10-19 2019-01-25 인천대학교 산학협력단 자유 정점의 이동 순서 할당에 기초하여 메쉬 품질의 향상을 지원하는 그래픽 처리 장치 및 방법
CN110021064A (zh) * 2019-03-07 2019-07-16 李辉 一种唯美人脸系统及其方法
KR102157793B1 (ko) * 2019-05-31 2020-09-18 주식회사 모르페우스 3차원 모델을 재구성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN110503714A (zh) * 2019-07-23 2019-11-26 杭州美戴科技有限公司 一种个性化镜腿的自动设计方法
KR20210147626A (ko) * 2020-05-29 2021-12-07 연세대학교 산학협력단 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
KR20200100020A (ko) * 2020-08-13 2020-08-25 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
WO2023182755A1 (ko) * 2022-03-22 2023-09-28 주식회사 레이 3차원 얼굴 스캔 데이터의 생성 방법
CN117577140A (zh) * 2024-01-16 2024-02-20 北京岷德生物科技有限公司 面向脑瘫儿童的语音和面部表情数据处理方法及系统
CN117577140B (zh) * 2024-01-16 2024-03-19 北京岷德生物科技有限公司 面向脑瘫儿童的语音和面部表情数据处理方法及系统

Also Published As

Publication number Publication date
US20050063582A1 (en) 2005-03-24
KR100682889B1 (ko) 2007-02-15
US7835568B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4723834B2 (ja) 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
US7035461B2 (en) Method for detecting objects in digital images
US9569890B2 (en) Method and device for generating a simplified model of a real pair of spectacles
US8218862B2 (en) Automatic mask design and registration and feature detection for computer-aided skin analysis
KR0158038B1 (ko) 개인식별장치
US7860340B2 (en) Three-dimensional shape estimation system and image generation system
KR101007276B1 (ko) 3차원 안면 인식
US20080309662A1 (en) Example Based 3D Reconstruction
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
WO2006087581A1 (en) Method for facial features detection
KR20200100020A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US11908150B2 (en) System and method for mobile 3D scanning and measurement
JP2000311248A (ja) 画像処理装置
KR100815209B1 (ko) 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
Parikh et al. Effective approach for iris localization in nonideal imaging conditions
Park et al. Image-based 3D face modeling system
Vezhnevets et al. Automatic extraction of frontal facial features
KR101785661B1 (ko) 회색 값 분산을 이용한 얼굴 윤곽 인식방법 및 그 장치
Mariani Subpixellic eyes detection
Li et al. Automatic landmark extraction from three-dimensional head scan data
Xiao et al. Face Boundary Extraction.
Kuo et al. Improved facial feature extraction for model-based multimedia
Wu et al. An automatic approach to facial feature extraction for 3-D face modeling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160118

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 14