KR20090072263A - 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체 - Google Patents

계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체 Download PDF

Info

Publication number
KR20090072263A
KR20090072263A KR1020070140324A KR20070140324A KR20090072263A KR 20090072263 A KR20090072263 A KR 20090072263A KR 1020070140324 A KR1020070140324 A KR 1020070140324A KR 20070140324 A KR20070140324 A KR 20070140324A KR 20090072263 A KR20090072263 A KR 20090072263A
Authority
KR
South Korea
Prior art keywords
image
model
model parameter
texture
input image
Prior art date
Application number
KR1020070140324A
Other languages
English (en)
Other versions
KR100930722B1 (ko
Inventor
조선영
최인호
강봉남
김대진
정석주
Original Assignee
주식회사 케이티
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티, 포항공과대학교 산학협력단 filed Critical 주식회사 케이티
Priority to KR1020070140324A priority Critical patent/KR100930722B1/ko
Publication of KR20090072263A publication Critical patent/KR20090072263A/ko
Application granted granted Critical
Publication of KR100930722B1 publication Critical patent/KR100930722B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성 방법 및 장치, 이를 이용한 영상 인식 방법 및 특징점 추출 방법, 그리고 상기 방법들을 수행하는 프로그램이 기록된 기록매체를 개시한다. 본 발명의 3차원 영상 생성 방법은 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계; 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅(fitting)시키기 위한 제1 모델 파라미터를 결정하는 단계; 제1 모델 파라미터를 이용하여 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키기 위한 제2 모델 파라미터를 결정하는 단계; 및 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 단계를 포함한다. 본 발명에 따르면, 고해상도 레벨의 피팅에 소요되는 연산량과 프로세싱 시간을 효과적으로 줄일 수 있고, 세밀한 3차원 영상 생성이 가능하다. 또한, 본 발명의 피팅의 결과를 이용하면 특징점 추출을 용이하게 할 수 있고, 회전과 조명등의 변화에 강인하며 영상 인식 결과를 얻을 수 있다.
3차원 얼굴 생성/합성, 얼굴 인식, 특징점 추출, 3차원 얼굴 모델

Description

계층적인 구조의 영상 모델을 이용한 3차원 영상 생성 방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출 방법 그리고 상기 방법들을 수행하는 프로그램이 기록된 기록매체{3D image generation method and apparatus using hierarchical 3D image model, image recognition and feature points extraction method using the same, and recording medium storing program for performing the method thereof}
본 발명은 2차원 입력 영상으로부터 3차원 영상을 생성하는 방법, 이를 이용한 영상 인식 방법 및 특징점 추출 방법에 관한 것으로서, 특히 계층적인 피팅을 통해 2차원 얼굴 영상으로부터 3차원적인 특징을 반영할 수 있는 3차원 얼굴 영상을 생성하고, 이러한 피팅 결과를 얼굴 특징점 추출과 얼굴 인식에 활용하는 방법 및 장치에 관한 것이다. 본 발명은 3차원 얼굴 합성 시스템, 얼굴 특징점 추출 시스템, 개인의 신원을 인식하고 검증하는 생체 인식 시스템, 얼굴 인식 시스템에 활용될 수 있다.
2차원 얼굴 영상으로부터 3차원 얼굴 영상을 생성하는 방법으로는 특정인의 얼굴에 대한 3차원 스캐닝을 통해 3차원 스캔 얼굴 영상을 생성하는 방법, 특정인 의 얼굴을 여러 각도에서 촬용하고 촬영된 결과를 이용하여 미리 만들어진 3차원 얼굴 모델을 변형하여 3차원 얼굴 영상을 생성하는 방법이 있다. 2차원 얼굴 영상이란 일반적으로 사진으로 접하는 얼굴 사진을 의미하며, 3차원 얼굴이란 PC나 기타 단말장치의 디스플레이를 통하여 크기 변환, 회전 변환, 이동 변환 등을 통하여 3차원 공간상의 어느 방향에서든 볼 수 있는 얼굴을 말한다.
일반적인 영상 획득 장치로부터 획득된 2차원 얼굴 영상을 다양한 방법을 통하여 새로운 얼굴 영상으로 조작하는 것은 매우 힘들다. 왜냐하면, 2차원이기 때문에 3차원 형태의 변화 등을 줄 수 없으며, 조명 환경의 변화 및 국부적인 형태의 변화가 매우 힘들기 때문이다. 이를 위해서 3차원 얼굴을 만들어 낼 수 있다면 다양한 3차원 변화 및 조명 환경 변화 등을 통하여 입력 얼굴 영상에 대한 다양한 변형, 조작 및 얼굴 인증 등의 기타 서비스들이 가능하다.
관련 특허 문헌으로서, 대한민국 등록 특허 제372811호 ‘2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법’에서는 2차원 정면 영상을 입력 받아 영상에 제어점을 설정해주어 이를 통해 미리 만들어져있는 3차원 얼굴 모델에 제어점을 일치시킴으로서 3차원 모델에 2차원 영상의 텍스쳐(texture)를 매핑하고, 3차원 얼굴을 생성하는 방법을 개시하고 있다. 그러나, 상기 방법은 정면 영상이라는 한계점이 존재하고, 입력된 얼굴 영상에 수동으로 제어점을 설정해야 하며, 그리고 단순히 텍스쳐(texture)의 매핑만을 통한 3차원 얼굴 생성이기 때문에 형상(shape)은 전혀 고려하지 않았다는 문제점이 있다.
대한민국 등록 특허 제474352호‘2차원 영상으로부터 3차원 얼굴형상의 획득 시스템 및 방법’에서는 데이터베이스에 존재하는 각 특징 정보들을 입력 영상과 비교 검색하는 방법으로 가장 닮은 3차원 얼굴을 자동으로 제작할 수 있는 방법을 개시하고 있다. 그러나, 상기 방법의 경우 각 특징 정보들을 검색하여 비슷한 특징들을 찾아내는 단계가 필요하므로 데이터베이스가 방대해지면 특징 정보들을 찾는데 문제점이 생길 뿐만 아니라 새로운 특징을 표현할 수 없고 데이터베이스에 존재하는 특징들만 표현할 수 있다는 한계가 있다.
대한민국 등록 특허 제360487호 ‘2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법 및 그 장치’에서는 입력 2차원 얼굴 영상에서 3차원 얼굴 모델로 텍스쳐를 매핑하기 위하여, 3차원 얼굴 모델에서 미리 정의된 제어점들을 이용하여 2차원 얼굴에 가장 근접하도록 조정하고 이를 통하여 3차원 얼굴을 얻는 방법을 개시하고 있다. 상기 방법 역시 미리 정의된 제어점을 사용하므로 보다 세밀한 얼굴의 묘사가 힘들다는 한계가 있다.
상기 종래 기술의 문제점을 고려하여, 본 발명은 3차원 영상 모델을 해상도에 따라 계층적으로 구분하고 이전 단계에서의 피팅 결과를 이후 단계에서의 피팅에 활용함으로써, 고해상도 레벨의 피팅에 소요되는 연산량과 프로세싱 시간을 효과적으로 줄이고, 고해상도 레벨의 피팅도 효과적으로 수행할 수 있기 때문에 세밀한 3차원 영상 생성을 생성할 수 있는 3차원 영상 생성 방법 및 장치를 제공하는 것을 목적으로 한다. 또한, 본 발명은 회전과 조명등의 변화에 강인한 영상 인식 방법과 영상 특징점 추출 방법을 제공하는 것을 목적으로 한다.
상기 목적 달성을 위한 본 발명에 따른 3차원 영상 생성 방법은 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계; 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅(fitting)시키는 제1 모델 파라미터를 결정하는 단계; 상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제2 모델 파라미터를 결정하는 단계; 및 상기 결정된 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 단계를 포함한다.
상기 또 다른 목적 달성을 위한 본 발명에 따른 3차원 영상 생성 장치는 2차원 또는 3차원의 입력 영상을 수신하는 수신부; 상기 수신된 입력 영상에서 목적 영역을 검출하는 검출부; 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제1 모델 파라미터를 결정하는 제1 피팅부; 상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제2 모델 파라미터를 결정하는 제2 피팅부; 및 상기 결정된 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 영상 합성부를 포함한다.
상기 또 다른 목적 달성을 위한 본 발명에 따른 영상 인식 방법은 인식하고자 하는 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계; 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제1 모델 파라미터를 결정하는 단계; 상기 결정된 제1 모델 파 라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제2 모델 파라미터를 결정하는 단계; 및 트레이닝 영상들을 통해 미리 결정된 모델 파라미터들 중에서 상기 결정된 제2 모델 파라미터와 소정 기준값 이상의 유사도를 갖는 모델 파라미터를 탐색하고, 상기 탐색 결과를 산출하는 단계를 포함한다.
상기 또 다른 목적 달성을 위한 본 발명에 따른 영상 특징점 추출 방법은 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계; 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키기 위한 제1 모델 파라미터를 결정하는 단계; 상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키기 위한 제2 모델 파라미터를 결정하는 단계; 상기 결정된 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 단계; 및 상기 생성된 3차원 영상을 이용하여 상기 입력 영상의 특징점을 추출하는 단계를 포함한다.
또한, 본 발명은 상기 3차원 영상 생성 방법을 컴퓨터 상에서 수행하기 위한 프로그램이 기록된 기록 매체를 제공한다.
본 발명에 따르면, 저해상도 3차원 영상 모델을 입력 영상에 피팅시키기 위해 계산된 제1 모델 파라미터를 고해상도 3차원 영상 모델의 피팅을 위한 제2 모델 파라미터의 계산에 활용함으로써, 고해상도 레벨의 피팅에 소요되는 연산량과 프로세싱 시간을 효과적으로 줄일 수 있고, 입력 영상의 모든 픽셀들을 제어점으로하는 고해상도 레벨의 피팅도 효과적으로 수행할 수 있으며, 세밀한 3차원 영상 생성이 가능한 잇점이 있다. 또한, 본 발명에 따르면 피팅의 결과로서 생성된 3차원 영상을 이용하여 입력 영상의 특징점을 용이하게 추출할 수 있으며, 2차원 영상으로부터 예측되는 3차원 영상과 관련된 모델 파라미터를 영상 인식에 활용할 경우 회전과 조명등의 변화에 대한 강인성과 영상 인식의 정확성을 향상시킬 수 있다.
이하 도면을 참조하여 본 발명의 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성 방법과 장치, 이를 이용한 영상 인식 방법과 영상 특징점 추출 방법, 그리고 상기 방법들을 수행하는 프로그램이 기록된 기록매체에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치를 나타내는 블록도이다. 도 1에 도시된 3차원 영상 생성 장치(1)는 수신부(10), 검출부(20), 저해상도 3차원 영상 모델 저장부(30), 제1 피팅부(40), 고해상도 3차원 영상 모델 저장부(50), 제2 피팅부(60) 및 영상 합성부(70)를 포함한다.
수신부(10)는 2차원 또는 3차원 입력 영상을 수신한다. 영상 정보 획득을 위한 영상 획득 장치는 예를 들어 디지털 카메라나 스캐너 등이 있다. 수신부는 3차원 영상 생성 장치의 내부 또는 외부에 장착될 수 있다. 얼굴 영상의 경우 입력 받을 수 있는 2차원 얼굴 영상은 하나의 얼굴이 포함되어 있는 일반적인 사진이며, 상, 하, 좌, 우 15° 이내의 변화가 있는 극단적이지 않은 표정을 지난 얼굴을 포함하는 것이 바람직하다.
검출부(20)는 수신된 입력 영상에서 배경 영역을 제거함으로써 목적 영역을 검출한다. 예를 들어, 3차원 얼굴 영상 생성할 경우에는 얼굴 영역이 목적 영역이 된다. 도 2는 2차원의 입력 영상에서 얼굴 영역을 검출하는 예를 나타내는 도면이다. 도 2의 우측 그림의 사각형 블록은 검출된 얼굴 영역을 나타내며, 얼굴 영역을 검출하는 방법에는 특별한 제한이 없다.
저해상도 3차원 영상 모델 저장부(30)는 모델 파라미터 조절을 통해 임의의 3차원 영상을 생성할 수 있는 3차원 영상 모델을 저장한다. 본 발명에서 계층적인 구조의 영상 모델이라 함은 해상도를 달리하는 영상 모델을 의미한다. 본 실시예에서는 해상도 레벨을 2단으로 조절하고 저해상도 3차원 얼굴 모델과 고해상도 3차원 얼굴 모델을 이용하고 있다. 물론, 해상도의 레벨을 3단이상으로 조정하는 것도 가능하다.
3차원 영상 모델은 3차원 스캔 영상들을 이용한 사전적인 학습을 통해 생성된 것으로서, 3차원 영상 모델을 생성하는 방법에 특별한 제한은 없으나, 예를 들어 2차원 상에서의 어파인 변환을 이용하여 3차원 영상 모델을 생성하는 방법이 바람직하다. 예를 들어, 3차원 스캔 영상에서 소수의 특징점들을 선택하고, 소수의 특징점이 선택된 3차원 스캔 영상들을 2차원 실린더 공간에 투영시킨 다음, 투영된 영상들 중에서 선택되는 하나의 영상을 기준으로 나머지 영상들에 대한 어파인 변환을 통해 소수의 특징점은 물론 모든 특징점들(픽셀들)을 서로 대응시킴으로써, 모든 특징점들 간의 대응 관계에 대한 정보를 획득할 수 있다. 대응 관계에 대한 정보를 갖고 있는 투영된 영상들을 다시 3차원 영상들로 복원하고, 복원된 영상들 에 대한 학습을 수행하면, 원래의 영상들의 특성을 대표할 수 있는 3차원 영상 모델을 생성할 수 있다. 특히, 본 실시예에서는 모든 특징점들의 대응 관계에 대한 정보를 2차원 상에서 수행되는 어파인 변환을 통해 획득하기 때문에 연산량이 적고, 탬플릿 매칭 방식에 따른 매칭 오류의 문제를 완화시킬 수 있다.
제1 피팅부(fitting unit, 40)는 저해상도 3차원 영상 모델을 목적 영상이 검출된 입력 영상에 피팅시키기 위한 제1 모델 파라미터를 결정한다. 본 실시예에서 제1 피팅부(40)는 제1 투영부(42)와 제1 모델 파라미터 결정부(44)를 구비한다.
예를 들어, 본 실시예의 저해상도 또는 고해상도 3차원 얼굴 영상 모델은 3차원 얼굴을 표현할 수 있는 형상(shape) 기저와 텍스쳐(texture) 기저로 되며 수학식 1로 표현될 수 있다.
[수학식 1]
Figure 112007094535445-PAT00001
여기에서, S는 임의의 3차원 영상의 형상이고, S0는 3차원 영상의 평균 형상이며, Si는 형상 기저(shape basis)이고, αi는 형상 기저 각각의 계수이며, T는 임의의 3차원 영상의 텍스쳐이고, T0는 3차원 영상의 평균 텍스쳐이며, Ti는 텍스쳐 기저(texture basis)이고, βi는 텍스쳐 기저 각각의 계수이며, n은 3차원 영상 좌표의 형상 기저의 개수이고, m은 3차원 영상 좌표가 가지는 텍스쳐 기저의 개수이 다.
수학식1로 표현되는 3차원 선형 영상 모델에 의하면, 모델 파라미터 즉 형상 기저와 텍스쳐 기저의 계수 αi, βi 를 조절함으로 임의의 2차원 얼굴 영상으로 부터 예측되는 3차원 얼굴을 생성할 수 있다. 도 5의 결과 영상은 형상 기저 계수(-1.27, 16, -37,...)와 텍스쳐 기저 계수(-492.7, -1138, 935...)를 통해 입력 영상과 매치되는 3차원 영상을 생성하는 예를 보여준다. 2차원 입력 영상을 가장 잘 표현할 수 있는 형태와 관련된 파라미터 αi와 텍스쳐와 관련된 파라미터 βi를 찾는 과정을 피팅(fitting)이라 한다.
제1 투영부(42)는 저해상도 3차원 영상 모델을 2차원 공간에 투영시킨다. 도 3은 3차원 영상 모델과 2차원 입력 영상을 비교를 위해 3차원 얼굴 영상 모델을 2차원 공간 좌표계로 투영하는 과정 및 투영된 얼굴 영상 모델과 2차원 입력 얼굴 영상을 비교하는 개념을 나타내는 개념도이다. 2차원 공간으로 3차원 얼굴 영상 모델의 투영은 예를 들어 수학식 2와 같이 원근 투영법(perspective projection)을 이용하여 투영을 할 수 있다.
[수학식 2]
Figure 112007094535445-PAT00002
여기에서 [x, y, z]T는 3차원 얼굴 영상 모델이 나타내는 형상에 따른 특징점들의 좌표이고, R 은 회전 행렬(rotation matrix)이며, f는 초점거리이고, [tx, ty]T는 변환위치 벡터(translation vector)이고, [x', y']T는 2차원 공간 상에 투영된 3차원 얼굴 영상 모델의 2차원 좌표이다. 2차원 공간 상에 투영됨으로써 얻어지는 2차원의 얼굴 영상 모델은 R, f, t에 의존적인데, 제1 투영부(42)는 3차원 영상 모델을 2차원 입력 영상에 매칭시키기 위해 R, f, t값을 다양하게 조절함으로써 2차원 공간에 투영된 영상 모델을 생성한다. 예를 들어, 2차원 입력 얼굴 영상에서 검출한 얼굴의 크기를 기반으로 3차원 얼굴 모델의 초점 거리, 변환 위치 벡터를 지정할 수 있으며, 검출한 얼굴의 방향을 기반으로 3차원 얼굴 모델의 회전 행렬을 초기화할 수 있다.
제1 투영부(42)를 통해 2차원 공간에 투영된 3차원 영상 모델은 2차원 입력 영상과 좌표 공간이 서로 다를 경우 공통의 참조 공간으로 매핑시키기 위한 참조 공간 매핑부(미도시)를 더 포함하는 것이 바람직하다. 예를 들어, 3차원 얼굴 모델은 극좌표계를 사용하고 2차원 얼굴 영상은 데카르트 좌표계를 사용할 경우, 모델 영상과 입력 영상 간의 비교를 위해서는 공통의 참조 좌표 공간으로 매핑해야한다.
도 3의 예는 참조 공간으로 매핑을 위한 매핑 파라미터
Figure 112007094535445-PAT00003
와
Figure 112007094535445-PAT00004
에 따라 영상을 변형(warping)시키는 예를 보여준다. 도 3에서 (a)는 3차원 얼굴 영상 모델을 나타내고, (b)는 투영된 얼굴 영상 모델을 나타내며, (c)는 텍스쳐간 차이값을 최소로 하는 모델 파라미터에 따라 얼굴 모델 영상을 변형시킴으로써 얻어지는 2차원 얼굴 영상을 나타내고, (c)는 다시 3차원 공간상으로 역투영시킨 얼굴 영상을 나타낸다.
제1 모델 파라미터 결정부(44)는 모델 파라미터들 중에서 제1 투영부(42)를 통해 투영된 영상 모델의 텍스쳐와 입력 영상의 텍스쳐 간의 차이값을 최소로하는 모델 파라미터를 결정한다. 제1 피팅부(40)는 제1 투영부를 통해 투영된 영상 모델의 모델 파라미터를 변수로하며, 투영된 영상 모델의 텍스쳐와 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성하는 제1 함수 생성부(미도시)를 더 포함할 수 있다. 이 경우 제1 모델 파라미터 결정부(44)는 제1 함수 생성부에서 생성된 함수에 복수개의 모델 파라미터를 순차적으로 대입하고, 함수값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정할 수 있다.
제1 모델 파라미터 결정부(44)는 공통의 참조 공간상으로 맵핑된 3차원 영상 모델과 2차원 영상 간의 텍스쳐 값 차이가 최소화가 되는 형태 파라미터 와 텍스쳐 파라미터 를 결정한다. 상기 파라미터를 찾는 과정은 수학식 3과 같은 텍스쳐의 차이값에 대한 함수 즉 에러 함수를 통해 구할 수 있는데, 에러 함수를 최소화 하는 파라미터를 제1 모델 파라미터로 결정할 수 있다.
[수학식 3]
Figure 112007094535445-PAT00005
여기에서, (u, v)는 공통의 참조 공간상에서의 좌표이고,
Figure 112007094535445-PAT00006
인 벡터 파라미터이며,
Figure 112007094535445-PAT00007
는 원근법 투영과 관련된 각각의 파라미터 를 하나의 벡터로 만든 파라미터이고,
Figure 112007094535445-PAT00008
는 형태 파라미터와 텍스쳐 파라미터의 변이량을 나타내고,
Figure 112007094535445-PAT00009
는 영상 모델을 공통의 참조 공간상으로 매핑하기 위한 매핑 파라미터이다.
Figure 112007094535445-PAT00010
는 현재의 형태 파라미터와 텍스쳐 파라미터이다. I 는 2차원 입력 영상이며, I(x, y)는 입력 영상의 (x, y) 좌표에 따른 텍스쳐 값을 나타내며,
Figure 112007094535445-PAT00011
는 수학식 1에 의해서 텍스쳐 파라미터의 미소 변이(
Figure 112007094535445-PAT00012
)에 의한 텍스쳐 합성을 나타내고, P함수는 수학식 2에 따른 원근 투영을 나타내는 함수이다.
수학식 3에서 우변의 첫 번째 항은 투영된 영상 모델이 현재의 파라미터들로 표현되는 텍스쳐를 나타내며, 우변의 두 번째 항은 2차원 입력 영상이 공통의 참조 공간상에서 표현되는 텍스쳐를 나타내며,
C는 상술한 파라미터들
Figure 112007094535445-PAT00013
에 의하여 특정되는 텍스쳐 간의 차이값을 나타내는 함수(에러 함수)를 나타낸다.
따라서, 수학식 3에서 두 텍스쳐 차가 최소화 시키는 모델 파라미터들 αi, βi와 투영과 관련된 파라미터 ρ를 구하면, 2차원 얼굴 영상과 매칭되는 3차원 영상을 획득할 수 있다. 투영된 3차원 얼굴 모델과 2차원 얼굴의 텍스쳐 픽셀 차이를 최소화 하는 모델 파라미터(αi, βi)가 결정되면 수학식 1과 같은 선형 조합을 통해 2차원 입력 영상과 매칭되는 2차원 공간에 투영된 영상(도 3의 (c)영상)을 생성할 수 있고, 투영과 관련된 파라미터 ρ에 따라 역투영을 수행하면 3차원 영상을 생성할 수 있다. 갱신할 파라미터를 구하기 위해서는 모든 파라미터를 0으로 초기화하고
Figure 112007094535445-PAT00014
에 대해서 다음과 같이 미분을 한다.
[수학식 4]
Figure 112007094535445-PAT00015
수학식 4의 미분 방정식 우변의 첫 번째 항은 다음과 같이 바꾸어 쓸 수 있으며, 이는 형태 자코비안(shape Jacobian) 행렬을 나타낸다.
[수학식 5]
Figure 112007094535445-PAT00016
수학식 5에 따른 형태 자코비안과 유사하게 텍스쳐 자코비안 행렬 또한 수학식6에 따라 계산할 수 있다.
[수학식6]
Figure 112007094535445-PAT00017
수학식6의 미분 방정식에서 우항의 첫 번째 항은 하기 수학식7과 같이 표현할 수 있다.
[수학식 7]
Figure 112007094535445-PAT00018
즉, 각 텍스쳐 기저를 벡터화한 후 접합을 하면 텍스쳐 자코비안 행렬이 된다. 형태 자코비안과 텍스쳐 자코비안은
Figure 112007094535445-PAT00019
과 같이 나타낼 수 있다.
[수학식 8]
Figure 112007094535445-PAT00020
상기 수학식 8에서 H는 헤시안 행렬(Hessian matrix)이고, JT는 자코비안(Jacobian) 행렬이며, e는 2차원 공간에 투영된 얼굴 모델과 2차원 얼굴 영상 간의 텍스쳐 차를 나타낸다. H 헤시안 행렬은 H = JTJ으로 가우스-뉴턴(Gauss-Newtown) 미분 값 기반으로 근사화 할 수 있다.
Figure 112007094535445-PAT00021
는 각각 수학식 8을 통해 계산되어진 파라미터의 변이량을 나타낸다. 상기 파라미터 변이량은 현재의 추정된 파라미터에 업데이트를 함으로써 다음 피팅 단계에서 파라미터로 사용되는데, 파라미터 변이량이 0에 근사한 값을 가질 경우 모델 파라미터(α, β)와 원근 투영 파라미터(ρ)의 수렴값을 구할 수 있다. 이를 통해 구해진 모델 파라미터는 3차원 영상 모델을 입력 영상에 최적으로 피팅시키는 파라미터가 된다.
상기 방식에 따라 제1 피팅부(fitting unit, 40)는 상기와 같은 방식에 따라 모델 파라미터 α와 β를 결정할 수 있다. 제1 피팅부에 따라 결정된 모델 파라미터와 수학식1로 특정되는 선형 모델을 이용하면 입력 영상과 매칭되는 3차원 영상을 생성할 수 있다. 그러나, 본 실시예에서 제1 피팅부는 저해상도의 3차원 영상 모델을 이용하여 모델 파라미터를 결정한 것이므로, 후술하는 제2 피팅 과정을 수행한 후 3차원 영상을 생성하는 것이 바람직하다.
고해상도 3차원 영상 모델 저장부(50)는 모델 파라미터 조절을 통해 임의의 3차원 영상을 생성할 수 있는 고해상도의 3차원 영상 모델을 저장한다. 여기에서 고해상도의 개념은 상술한 저해상도 보다 높은 해상도를 갖는 것을 의미하며, 해상도값에 특별한 제한이 있는 것이 아니다.
제2 피팅부(60)는 제1 모델 파라미터를 이용하여 고해상도의 3차원 영상 모델을 입력 영상에 피팅하기 위한 제2 모델 파라미터를 결정한다. 본 실시예에서 제2 피팅부(60)는 제2 투영부(62)와 제2 모델 파라미터 결정부(64)를 구비한다.
본 실시예의 경우 저해상도 레벨에서의 영상 피팅의 정확도는 상대적으로 고해상도 레벨에 비하여 떨어지므로 고해상도 레벨에서의 영상 피킹을 수행하는 것이 필요하다. 저해상도 레벨에서의 피팅은 해상도가 낮다는 점에서 연산량과 프로세싱 시간을 단축할 수 있지만, 수학식1에서 모델 파라미터 α와 β가 각각 0으로 초기화된다는 측면에서 최적의 α와 β 값을 구하는데 비효율성도 함께 내포하고 있다. 이러한 문제는 영상 피팅을 고해상도 레벨에서 수행할 경우 더 큰 문제가 되는데, 본 발명은 고해상도 레벨의 피팅에서 저해상도 레벨의 피팅 결과를 활용함으로써 이러한 문제를 해결한다.
고해상도 3차원 영상 모델을 2차원 공간에 투영시키는 방법과, 투영된 영상과 입력 영상의 텍스쳐간 차이를 최소화시키는 모델 파라미터를 제2 모델 파라미터로 결정하는 방법은 저해상도 레벨의 피팅 과정과 동일하므로 공통된 설명은 생략한다. 저해상도 레벨에서 모델 파라미터를 구하는 방법과의 차이점은 고해상도 레벨의 피팅은 제2 모델 파라미터 α와 β의 초기값이 0이 아닌, 제1 모델 파라미터 로 대체된다는 것이다. 저해상도 레벨에서 구한 모델 파라미터는 입력 영상과의 오차가 상대적으로 고해상도 레벨에서 최종적으로 구한 모델 파라미터 보다 클 가능성이 높지만, 저해상도에서 구한 모델 파라미터를 초기값으로 설정할 경우 최종적인 모델 파라미터를 구하는데 필요한 연산량을 효과적으로 줄일 수 있다.
영상 합성부(70)는 제2 피팅부(60)를 통해 결정된 제2 모델 파라미터와 수학식1을 이용하여 입력 영상에 매칭되는 3차원 영상을 생성한다.
도 4는 본 발명의 일 실시예에 따른 3차원 영상 생성 방법을 나타내는 흐름도이다. 도 4에 도시된 3차원 영상 생성 방법은 3차원 영상 생성 장치(1)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
110단계에서 수신부(10)는 2차원 입력 영상을 수신하고, 검출부(20)는 수신된 2차원 입력 영상으로부터 얼굴 영역을 검출한다. 입력 영상이 3차원 영상인 경우, 본 단계는 3차원 입력 영상을 2차원 공간에 투영시키는 단계를 더 포함할 수 있다.
120단계에서 제1 투영부(30)는 저해상도의 3차원 영상 모델을 2차원 공간에 투영시킨다. 특히, 2차원 공간에 투영된 영상 모델과 2차원 입력 영상의 좌표 공간이 서로 다를 경우, 각각을 공통의 참조 공간으로 매핑시키는 단계를 더 포함할 수 있다.
130단계에서 제1 피팅부(40)는 입력 영상의 텍스쳐와 투영된 영상의 텍스쳐의 차이값을 최소로하는 모델 파라미터를 제1 모델 파라미터로 결정한다. 특히, 본 단계는 120단계에서 투영된 영상 모델의 모델 파라미터를 변수로 하며, 투영된 영 상 모델의 텍스쳐와 입력 영상이 텍스쳐 간의 차이값에 대한 함수를 생성하고, 상기 생성된 함수에 복수개이 모델 파라미터 값들을 대입하여 함수값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 단계이다. 특히, 얼굴 영상의 경우 피팅은 입력 영상의 모든 픽셀에 대하여 수행할 수도 있지만, 얼굴의 특징을 잘 나타내는 눈, 눈썹, 코, 입, 턱선 등에 대한 소정 개수의 제어점을 정의하고, 입력 얼굴 영상에서 제어점을 선택한 후, 선택된 제어점에 대한 피팅을 수행함으로써 연산량을 줄일 수 있다.
140단계에서 제2 투영부(50)는 고해상도의 3차원 영상 모델을 2차원 공간에 투영시킨다. 이 경우에도 2차원 공간에 투영된 영상 모델과 2차원 입력 영상 각각을 공통의 참조 공간으로 매핑시키는 단계를 더 포함할 수 있다.
150단계에서 제2 피팅부(60)는 상기 결정된 제1 모델 파라미터를 이용하여, 입력 영상의 텍스쳐와 투영된 영상의 텍스쳐의 차이값을 최소로 하는 모델 파라미터를 제2 모델 파라미터로 결정한다. 특히, 본 단계는 고해상도의 3차원 영상 모델을 2차원 공간에 투영시키고, 투영된 영상 모델의 텍스쳐와 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성시킨 후, 제1 모델 파라미터를 초기값으로 하여 상기 생성된 함수의 값을 최소로 하는 모델 파라미터를 제2 모델 파라미터로 결정한다.
본 단계의 피팅은 영상의 특징을 잘 나타내는 소정 개수의 특징점에 대하여 수행할 수도 있지만, 입력 영상의 모든 픽셀에 대하여 수행할 수도 있다. 후자의 경우 저해상도 레벨을 통해 모델 파라미터의 값을 예측할 수 있기 때문에, 최종적인 모델 파라미터를 찾는데 소요되는 연산량과 시간을 줄일 수 있기 때문에, 모든 픽셀에 대하여도 피팅을 수행할 수 있는 것이다. 소정 개수의 특징점에 대하여만 피팅을 수행할 경우 피팅의 정확도 향상을 위해서 저해상도 레벨의 피팅에서 선택된 제어점의 개수 보다 고해상도 레벨의 피팅에서 선택되는 제어점의 수가 많은 것이 바람직하다.
본 단계는 고해상도 3차원 영상 모델을 이용한 제2 피팅의 초기 파라미터 정보로서 이전 단계의 저해상도 3차원 영상 모델을 사용한 형상의 피팅과 관련된 모델 파라미터와 텍스쳐 피팅과 관련된 모델 파라미터를 활용하는 것에 일 특징이 있다. 다수의 실험을 통하여 제1 피팅에 따른 형상 모델 파라미터와 제2 피팅에 따른 형상 모델 파라미터의 상관관계(correlation)는 대략 1에 가깝고, 텍스쳐 모델 파라미터의 상관관계가 약 0.85에 가까운 것을 확인 할 수 있었다. 이는 제1 모델 파라미터와 제2 모델 파라미터의 상관관계가 매우 높음을 의미하며, 이러한 상관관계를 이용하면 제1 모델 파라미터를 제2 모델 파라미터의 초기값 또는 예측값으로 활용할 경우, 제2 모델 파라미터를 결정하는데 소요되는 연산량와 프로세싱 시간을 효과적으로 줄일 수 있다.
160단계에서 영상 합성부(70)는 제2 모델 파라미터를 이용하여 3차원 영상을 생성한다. 제2 모델 파라미터를 이용하여 생성한 3차원 영상은 제1 모델 파라미터를 이용하여 생성한 3차원 영상에 비하여 보다 더 세밀하고 정교한 표현이 가능하다.
도 5는 도 4에서 제 1 차 피팅 단계, 제 2 차 피팅 단계 및 결과 영상을 생성하는 단계를 나타내는 참고도이다. 도 5의 위에 위치한 좌측 영상은 저해상도의 3차원 영상 모델을 2차원 공간에 투영시킨 영상이고, 우측 영상은 입력 영상을 나타낸다. 도 5의 중간에 위치한 좌측 영상은 고해상도의 3차원 영상 모델을 2차원 공간에 투영시킨 영상이고, 우측 영상은 입력 영상을 나타낸다. 도 5의 아래에 위치하는 결과 영상은 형상 기저 벡터와 형상 모델 파라미터(-1.27, 16, -37...), 그리고 텍스쳐 기저 벡터와 텍스쳐 모델 파라미터(-492.7, -1138, 935...)에 의하여 생성되는 2차원 영상을 나타낸다. 생성된 2차원 영상에 역투영을 적용하면 입력 영상에 대응되는 3차원 영상을 생성할 수 있다.
160단계를 통해 생성된 3차원 영상은 입력 영상의 특징점을 추출하는데 유용하게 사용할 수 있다. 3차원 영상 모델에 미리 특징점에 대한 좌표를 미리 설정하였을 경우 제2 모델 파라미터에 따라 생성되는 3차원 영상의 특징점 좌표도 알 수 있으므로, 본 발명의 영상 생성 방법에 의할 경우 피팅의 결과를 이용하면 특징점 좌표를 효과적으로 추출할 수 있다.
160단계를 통해 생성된 3차원 영상은 미리 만들어진 고해상도의 3차원 영상 모델에 제2 모델 파라미터를 적용하여 생성한 것으로서, 160단계를 통해 생성된 3차원 영상은 입력 영상과 유사한 형상 및 텍스쳐를 갖기 때문에 3차원 영상으로부터 입력 영상에 대한 특징점 좌표를 직접적으로 추출할 수 있다. 또한, 생성된 3차원 영상과 입력 영상과의 유클리디안 거리를 최소로 하는 점은 특징점으로 결정할 수도 있다. 특징점을 추출하기 위해서는 특징점의 좌표 변화가 중요하므로, 형상의 변화와 관련된 파라미터인 α만을 이용하여 3차원 영상을 생성한 후, 유클리디안 거리를 최소로 하는 점을 특징점으로 추출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 인식 장치를 나타내는 블록도이다. 도 6에 도시된 영상 인식 장치(200)는 수신부(210), 검출부(220), 저해상도 3차원 영상 모델 저장부(230), 제1 피팅부(240), 고해상도 3차원 영상 모델 저장부(250), 제2 피팅부(260), 트레이닝 영상의 모델 파라미터 저장부(270) 및 산출부(280)을 포함한다.
도 6에 도시된 영상 인식 장치(200)는 트레이닝 영상의 모델 파라미터 저장부(270)와 산출부(280)를 제외하고는 각각의 구성요소들이 도 1에 도시된 영상 생성 장치에 대응되므로 공통된 설명은 생략한다.
영상 인식이 대상이 되는 2차원 입력 영상은 수신부(210)를 통해 입력되고, 제2 피팅부(260)를 통해 제2 모델 파라미터가 최종적으로 결정된다. 또한, 수신부(210)는 2차원 입력 영상과 함께 사용자의 ID 정보를 더욱 입력 받을 수 있다.
트레이닝 영상의 모델 파라미터 저장부(270)는 트레이닝 영상에 대하여 제1 차 피팅 및 제2 차 피팅을 사전적으로 수행시킨 결과 즉 각각의 트레이닝 영상에 따른 모델 파라미터를 저장한다. 여기에서 트레이닝 영상은 예를 들어, 어떤 회사 내의 구성원 각각에 대한 2차원 영상이다.
산출부(280)는 트레이닝 영상의 모델 파라미터 저장부(270)에 저장된 모델 파라미터들과 입력 영상으로부터 추출된 제2 모델 파라미터를 비교하고, 소정의 유사도 이상의 유사 특성을 갖는 모델 파라미터가 있는지 여부를 판단한다. 유사한 모델 파라미터가 탐색된 경우, 모델 파라미터에 따른 ID를 인증 결과로서 산출한다. 만약, 유사한 모델 파라미터가 탐색되지 않은 경우 인증 실패의 메시지를 인증 결과로서 산출한다.
본 실시예에서 제2 모델 파라미터 결정부(264)에서 얻어지는 제2 모델 파라미터는 영상의 변화 즉 기울임, 조명 및 형상 변화에 비교적 강인한 모델 파라미터이기 때문에, 인식하고자 하는 입력 영상이 소정의 각도로 기울어진 경우라 하더라도 입력 영상에서 추출된 모델 파라미터와 이미 데이터베이스 상에 저장된 모델 파라미터를 비교하거나 또는 유사도를 계산함으로써 얼굴 인식 또는 인증을 효과적으로 수행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 인식 방법을 나타내는 흐름도이다. 도 6에 도시된 영상 인식 방법은 영상 인식 장치(200)에서 시계열적으로 수행되는 하기 단계들을 포함한다.
310단계에서 수신부(210)는 영상 인식 또는 영상 인증을 수행하고자 하는 2차원 입력 영상을 수신하고, 검출부(220)는 수신된 입력 영상으로부터 목적 영역인 얼굴 영역을 검출한다. 320단계에서 제1 투영부(242)는 저해상도의 3차원 영상 모델을 2차원 공간에 투영한다. 330단계에서 제1 모델 파라미터 결정부(244)는 입력 영상과 투영된 영상의 텍스쳐 차이값을 최소로하는 제1 모델 파라미터를 결정한다. 340단계에서 제2 투영부(262)는 고해상도의 3차원 영상 모델을 2차원 공간에 투영한다. 350단계에서 제2 모델 파라미터 결정부(264)는 제1 모델 파라미터를 이용하여 입력 영상의 텍스쳐와 340단계에서 투영된 영상 모델의 텍스쳐 간의 차이값을 최소로하는 제2 모델 파라미터를 결정한다. 360단계에서 산출부(380)는 트레이닝 영상의 모델 파라미터 저장부(370)에 저장된 모델 파라미터값들과 350단계에서 결 정된 제2 모델 파라미터를 비교하고, 유사한 모델 파라미터가 있는지 여부를 탐색한다. 370단계에서 산출부(380)는 비교 결과 탐색된 모델 파라미터가 있는 경우 탐색된 모델 파라미터에 따른 ID 정보를 인식 결과로서 산출하고, 인증 성공의 메시지를 출력한다. 만약, 탐색된 모델 파라미터가 없는 경우 인증 실패에 따른 메시지를 산출한다.
한편 본 발명의 3차원 영상 생성 방법, 영상 특징점 추출 방법 및 영상 인식 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에 서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명의 3차원 영상 생성 방법 및 장치는 고해상도 레벨의 피팅에 소요되는 연산량과 프로세싱 시간을 효과적으로 줄일 수 있고, 입력 영상의 모든 픽셀들을 제어점으로 하는 고해상도 레벨의 피팅도 효과적으로 수행할 수 있기 때문에 세밀한 3차원 영상 생성이 가능하므로 각종 3차원 영상 합성 및 생성 시스템에 활용될 수 있다. 또한, 본 발명은 3차원 얼굴 변형 및 합성 시스템 분야 뿐만 아니라 얼굴 특징점 추출, 얼굴 분석 및 인증 시스템에도 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치를 나타내는 블록도이다.
도 2는 2차원의 입력 영상에서 얼굴 영역을 검출하는 예를 나타내는 참고도이다.
도 3은 참조 공간으로 매핑을 위한 매핑 파라미터에 따른 영상 변형을 나타내는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 영상 생성 방법을 나타내는 흐름도이다.
도 5는 도 4에서 제 1 차 피팅 단계, 제 2 차 피팅 단계 및 결과 영상을 생성하는 단계를 나타내는 참고도이다.
도 6은 본 발명의 일 실시예에 따른 영상 인식 장치를 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 영상 인식 방법을 나타내는 흐름도이다.

Claims (15)

  1. a) 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계;
    b) 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅(fitting)시키기 위한 제1 모델 파라미터를 결정하는 단계;
    c) 상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키기 위한 제2 모델 파라미터를 결정하는 단계; 및
    d) 상기 결정된 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  2. 제 1 항에 있어서, 상기 b)단계는
    b1) 미리 마련된 저해상도의 3차원 영상 모델을 2차원 공간에 투영시키는 단계; 및
    b2) 상기 b1)단계에서 투영된 영상 모델의 모델 파라미터들 중에서 상기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  3. 제 1 항에 있어서, 상기 b2)단계는
    b21) 상기 b1)단계에서 투영된 영상 모델의 모델 파라미터를 변수로 하며 상기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성하는 단계; 및
    b22) 상기 b21)단계에서 생성된 함수에 복수개의 모델 파라미터 값들을 대입하여 차이값을 계산하고, 상기 차이값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  4. 제 2 항에 있어서,
    상기 b1) 단계에서 투영된 영상 모델을 참조 공간에 워핑시키는 단계와
    상기 입력 영상을 상기 참조 공간에 매핑시키는 단계를 더 포함하며,
    상기 b2)단계는 상기 영상 모델의 모델 파라미터들 중에서 상기 참조 공간에 워핑된 영상 모델의 텍스쳐와 상기 참조 공간에 워핑된 입력 영상의 텍스쳐 간의 차이값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  5. 제 1 항에 있어서, 상기 c)단계는
    c1) 미리 마련된 고해상도의 3차원 영상 모델을 2차원 공간에 투영시키는 단계;
    c2) 상기 c1)단계에서 투영된 영상 모델의 모델 파라미터를 변수로 하며 상 기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성하는 단계; 및
    c3) 상기 b)단계에서 결정된 제1 모델 파라미터를 초기값으로하여 상기 c2)단계에서 생성된 함수에 복수개의 모델 파라미터 값들을 대입하고, 상기 차이값을 최소로 하는 모델 파라미터를 제2 모델 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  6. 제 1 항에 있어서,
    상기 제1 또는 제2 모델 파라미터는 하기 수학식으로 표현되는 것을 특징으로 하는 3차원 영상 생성 방법.
    수학식
    Figure 112007094535445-PAT00022
    여기에서, S는 임의의 3차원 영상의 형상이고, S0는 3차원 영상의 평균 형상이며, Si는 형상 기저(shape basis)이고, αi는 형상 기저 각각의 계수이며, T는 임의의 3차원 영상의 텍스쳐이고, T0는 3차원 영상의 평균 텍스쳐이며, Ti는 텍스쳐 기저(texture basis)이고, βi는 텍스쳐 기저 각각의 계수이다.
  7. 제 1 항 내지 제 6 항 중 어느 한 항의 3차원 영상 생성 방법을 컴퓨터 상에 서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  8. 2차원 또는 3차원의 입력 영상을 수신하는 수신부;
    상기 수신된 입력 영상에서 목적 영역을 검출하는 검출부;
    미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제1 모델 파라미터를 결정하는 제1 피팅부;
    상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제2 모델 파라미터를 결정하는 제2 피팅부; 및
    상기 결정된 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 영상 합성부를 포함하는 것을 특징으로 하는 3차원 영상 생성 장치.
  9. 제 8 항에 있어서, 상기 제1 피팅부는
    미리 마련된 저해상도의 3차원 영상 모델을 2차원 공간에 투영시키는 제1 투영부; 및
    상기 제1 투영부를 통해 투영된 영상 모델의 모델 파라미터들 중에서 상기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 제1 모델 파라미터 결정부를 포함하는 것을 특징으로 하는 3차원 영상 생성 장치.
  10. 제 8 항에 있어서, 상기 제1 피팅부는
    상기 제1 투영부를 통해 투영된 영상 모델의 모델 파라미터를 변수로 하며 상기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성하는 제1 함수 생성부를 더 포함하며,
    상기 제1 모델 파라미터 결정부는 제1 함수 생성부에서 생성된 함수에 복수개의 모델 파라미터 값들을 대입하고, 상기 차이값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 것을 특징으로 하는 3차원 영상 생성 장치.
  11. a) 인식하고자 하는 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계;
    b) 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제1 모델 파라미터를 결정하는 단계;
    c) 상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키는 제2 모델 파라미터를 결정하는 단계; 및
    d) 트레이닝 영상들을 통해 미리 결정된 모델 파라미터들 중에서 상기 결정된 제2 모델 파라미터와 소정 기준값 이상의 유사도를 갖는 모델 파라미터를 탐색하고, 상기 탐색 결과를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.
  12. 제 11 항에 있어서, 상기 b2)단계는
    b21) 상기 b1)단계에서 투영된 영상 모델의 모델 파라미터를 변수로 하며 상기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성하는 단계; 및
    b22) 상기 b21)단계에서 생성된 함수에 복수개의 모델 파라미터 값들을 대입하고, 상기 차이값을 최소로 하는 모델 파라미터를 제1 모델 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.
  13. 제 11 항에 있어서, 상기 c)단계는
    c1) 미리 마련된 저해상도의 3차원 영상 모델을 2차원 공간에 투영시키는 단계;
    c2) 상기 c1)단계에서 투영된 영상 모델의 모델 파라미터를 변수로 하며 상기 투영된 영상 모델의 텍스쳐와 상기 입력 영상의 텍스쳐 간의 차이값에 대한 함수를 생성하는 단계; 및
    c3) 상기 b)단계에서 결정된 제1 모델 파라미터를 초기값으로하여 상기 c2)단계에서 생성된 함수에 복수개의 모델 파라미터 값들을 대입하고, 상기 차이값을 최소로 하는 모델 파라미터를 제2 모델 파라미터로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.
  14. a) 2차원 또는 3차원의 입력 영상을 수신하고, 상기 수신된 입력 영상에서 목적 영역을 검출하는 단계;
    b) 미리 마련된 저해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키기 위한 제1 모델 파라미터를 결정하는 단계;
    c) 상기 결정된 제1 모델 파라미터를 이용하여 미리 마련된 고해상도의 3차원 영상 모델을 상기 입력 영상에 피팅시키기 위한 제2 모델 파라미터를 결정하는 단계;
    d) 상기 결정된 제2 모델 파라미터를 이용하여 3차원 영상을 생성하는 단계; 및
    e) 상기 생성된 3차원 영상을 이용하여 상기 입력 영상의 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 특징점 추출 방법.
  15. 제 14 항에 있어서,
    상기 고해상도 3차원 영상 모델은 추출하고자 하는 영상 특징점의 좌표가 특정된 것이고, 상기 e)단계는 상기 d)단계에서 생성된 3차원 영상에 따른 영상 특징점의 좌표를 이용하여 입력 영상의 특징점을 추출하는 것을 특징으로 하는 영상 특징점 추출 방법.
KR1020070140324A 2007-12-28 2007-12-28 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체 KR100930722B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070140324A KR100930722B1 (ko) 2007-12-28 2007-12-28 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070140324A KR100930722B1 (ko) 2007-12-28 2007-12-28 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체

Publications (2)

Publication Number Publication Date
KR20090072263A true KR20090072263A (ko) 2009-07-02
KR100930722B1 KR100930722B1 (ko) 2009-12-09

Family

ID=41329507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070140324A KR100930722B1 (ko) 2007-12-28 2007-12-28 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체

Country Status (1)

Country Link
KR (1) KR100930722B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110030869A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
KR101138969B1 (ko) * 2011-09-05 2012-04-25 주식회사 쓰리디산업영상 고속 구동을 위한 3차원 투과 영상데이터의 액세스 방법 및 이를 위한 사용자 인터페이스 장치
KR20150077039A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 표면 모델 정합 장치 및 방법
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
CN112041887A (zh) * 2018-04-24 2020-12-04 斯纳普公司 高效的并行光流算法和gpu实现
CN112908451A (zh) * 2021-04-16 2021-06-04 千乘镜像(北京)科技有限公司 图像处理方法、装置和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292380B1 (ko) * 1999-03-17 2001-06-01 윤종용 Ｔ형 탐색 영역을 이용한 얼굴 및 눈 위치 검출 장치 및 그 방법
JP4597391B2 (ja) 2001-01-22 2010-12-15 本田技研工業株式会社 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
KR100815209B1 (ko) * 2001-05-09 2008-03-19 주식회사 씨알이에스 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110030869A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
US8675952B2 (en) 2009-09-18 2014-03-18 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
US9483860B2 (en) 2009-09-18 2016-11-01 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
KR101138969B1 (ko) * 2011-09-05 2012-04-25 주식회사 쓰리디산업영상 고속 구동을 위한 3차원 투과 영상데이터의 액세스 방법 및 이를 위한 사용자 인터페이스 장치
KR20150077039A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 표면 모델 정합 장치 및 방법
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
CN112041887A (zh) * 2018-04-24 2020-12-04 斯纳普公司 高效的并行光流算法和gpu实现
CN112908451A (zh) * 2021-04-16 2021-06-04 千乘镜像(北京)科技有限公司 图像处理方法、装置和存储介质
CN112908451B (zh) * 2021-04-16 2023-12-26 千乘镜像(北京)科技有限公司 图像处理方法、装置和存储介质

Also Published As

Publication number Publication date
KR100930722B1 (ko) 2009-12-09

Similar Documents

Publication Publication Date Title
Dai et al. A 3d morphable model of craniofacial shape and texture variation
Lu et al. Matching 2.5 D face scans to 3D models
Shi et al. Automatic acquisition of high-fidelity facial performances using monocular videos
KR100930994B1 (ko) 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
US7925060B2 (en) Authentication system and registration system related to facial feature information
US6556196B1 (en) Method and apparatus for the processing of images
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
JP5830546B2 (ja) 対象物のモデル変換に基づくモデルパラメータの決定
US8467596B2 (en) Method and apparatus for object pose estimation
Blanz et al. Fitting a morphable model to 3D scans of faces
WO2020165557A1 (en) 3d face reconstruction system and method
US20070185946A1 (en) Method and apparatus for matching portions of input images
JP2004086891A (ja) デジタル画像におけるオブジェクト検出方法
JP4466951B2 (ja) 立体結合顔形状の位置合わせ
CN110998659A (zh) 图像处理系统、图像处理方法、及程序
JP2006520055A (ja) ２次元画像からの３次元オブジェクトの不変視点検出および識別
KR100930722B1 (ko) 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체
JP2003323622A (ja) 画像認識システム及びその認識方法並びにプログラム
US7848544B2 (en) Robust face registration via multiple face prototypes synthesis
CA2479223C (en) Comparing patterns
JP4952267B2 (ja) ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム
JP2008251039A (ja) 画像認識システム及びその認識方法並びにプログラム
De Smet et al. A generalized EM approach for 3D model based face recognition under occlusions
JP3577908B2 (ja) 顔画像認識システム
Bowden Learning non-linear Models of Shape and Motion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 6