KR101339900B1 - 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법 - Google Patents

2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법 Download PDF

Info

Publication number
KR101339900B1
KR101339900B1 KR1020120024556A KR20120024556A KR101339900B1 KR 101339900 B1 KR101339900 B1 KR 101339900B1 KR 1020120024556 A KR1020120024556 A KR 1020120024556A KR 20120024556 A KR20120024556 A KR 20120024556A KR 101339900 B1 KR101339900 B1 KR 101339900B1
Authority
KR
South Korea
Prior art keywords
dimensional
face image
depth
montage
model
Prior art date
Application number
KR1020120024556A
Other languages
English (en)
Other versions
KR20130103150A (ko
Inventor
김익재
홍유진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120024556A priority Critical patent/KR101339900B1/ko
Priority to US13/790,122 priority patent/US9519998B2/en
Publication of KR20130103150A publication Critical patent/KR20130103150A/ko
Application granted granted Critical
Publication of KR101339900B1 publication Critical patent/KR101339900B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 2차원 단일 영상 기반 3차원 몽타주 생성 시스템은 2차원 얼굴 영상을 입력받는 입력부와, 상기 입력부에 입력된 상기 2차원 얼굴 영상의 특징점을 추출하는 특징점 추출부와, 미리 구축된 3차원 얼굴 형상 정보를 저장하는 표준 데이터베이스와, 상기 표준 데이터베이스에 저장된 상기 3차원 얼굴 형상 정보로부터 얼굴 부위별 상관관계를 획득하고, 상기 획득된 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상을 부위별 깊이를 추정하는 깊이 추정부와, 상기 2차원 얼굴 영상을 미리 마련된 3차원 템플릿 모델에 투영하고, 상기 2차원 얼굴 영상의 특징점 및 상기 깊이 추정부에서 추정된 상기 2차원 얼굴 영상의 부위별 깊이 정보를 기초로 상기 3차원 템플릿 모델을 변형하는 모델 변형부와, 상기 모델 변형부에서 변형된 상기 3차원 템플릿 모델에 상기 2차원 얼굴 영상을 렌더링하여 3차원 몽타주를 생성하는 몽타주 생성부를 포함한다.

Description

2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법{THREE DIMENSIONAL MONTAGE GENERATION SYSTEM AND METHOD BASED ON TWO DIMENSINAL SINGLE IMAGE}
본 발명은 3차원 몽타주 생성 시스템 및 방법에 관한 것이다.
몽타주는 범인의 검거를 돕기 위해 작성된다. 전문가와 목격자의 진술을 바탕으로 직접 손으로 그리거나, 혹은 컴퓨터 프로그램을 이용하여 가장 용의자와 비슷한 부분(즉, 얼굴형, 눈, 코, 입 등)을 조합하는 방식으로 만들어진다. 우리나라의 경우 서울지방경찰청 등지에서 2000년 국산 몽타주 소프트웨어를 도입하여 몽타주를 작성하고 있으며, 이는 실제 경찰의 용의자 수사와 검거에 중요한 단서를 제공하고 있다.
몽타주는 빠른 시간 내에 범인은 검거하여 피해자들을 위로하고 더 이상 다른 피해가 가지 않도록 하며, 배포 뒤 용의자의 심리를 위축시키기도 하는 만큼 그 작성과 배포는 국민 치안과 사회 질서 유지에 있어서 중요한 역할을 한다고 할 수 있다. 그러나, 이렇게 만들어진 몽타주는 정면의 얼굴이기에 다양한 시선으로 바라본 용의자의 모습을 제공하지 않는다. 예를 들어, 얼굴 옆면의 상처 등 정면으로 표현하기 어려운 특징에 대해서는 주로 글로 보충 설명을 덧붙이게 되며, 목격자가 상황의 급박성으로 인해 매우 짧은 시간의 찰나를 목격하는 일이 많아 용의자의 정면을 볼 수 없는 경우가 빈번하게 일어난다. 정확한 몽타주 작성을 위해서는 단순 2차원 몽타주가 아니라 용의자를 다양한 뷰에서 바라볼 수 있는 3차원 몽타주 모델이 필요하다. 더욱 정확하게 묘사된 몽타주는 범인의 신속한 검거를 도울 수 있다.
기존 몽타주 소프트웨어들 역시 3차원의 얼굴을 제공하지만, 이는 제한된 각도에서 바라본 모습만 제공하고 있으며, 단순히 워핑(warping) 기술로 제작된 것이기 때문에 부자연스러운 부분이 있는 것이 사실이다. 기술의 발달로 정면 사진과 측면 사진을 근사하여 비교적 자연스러운 3차원 개인 모델을 얻는 방법이 등장하게 되었는데, 이런 기술들은 2차원 데이터를 3차원 데이터에 매핑하고 얼굴의 생김새를 서로 근사시키면서 에러를 줄이는 최적화 알고리즘을 적용하여 보통 두세 시간의 시간이 소요되기 때문에 실제 소프트웨어에 적용시키기에는 효용성이 떨어질 수 있다.
1990년대 컴퓨터 그래픽스 기술의 비약적인 발전으로 현재 3차원 얼굴 모델링 기술은 영화 산업이나 애니메이션, 게임 등지에서 광범위하게 쓰이고 있다. 게임이나 애니메이션을 위한 얼굴 모델링은 가상을 인물을 창조하거나, 본인의 모습과 비슷하게 만드는 아바타 제작에 머물기 때문에 모델의 정확성이나 신뢰도 보다는 외향적인 만족도나 친숙함 등 개인적인 취향이나 선호도가 모델의 제작에 있어서 가장 큰 영향을 미치게 된다. 이 경우 사용자의 선택을 위하여 데이터 제공자는 다양한 모델 데이터를 보유해야 하며, 이는 애니메이터들이 고급 툴을 이용하여 손으로 만들어내는 세심한 노력이 들어가야 하는 만큼 많은 시간과 비용이 소요된다.
이와는 달리, 범인을 검거하기 위한 몽타주 모델링은 정확성과 실제성을 필요로 한다. 여기서 말하는 정확성과 실제성이란 목격자의 진술을 바탕으로 제작된 2차원 몽타주가 실제 범인의 얼굴과 얼마나 비슷한가를 의미하는 것이 아니라 이미 제작된 몽타주와 생성된 3차원 모델 간의 유사성을 의미한다.
한국공개특허 제10-2004-0009460호는 몽타주 제작에 있어서 용의자와 가장 유사한 얼굴 부분들을 선택하여 조합, 합성하는 가장 대중적인 방법을 개시하고 있으며 특히, 단순히 2차원 부분 그림이 아니라 각 부분을 3차원 데이터 형식으로 가지고 있어서 몽타주 합성과 그 결과가 3차원 상에서 도출되는 방법을 개시하고 있다. 이 방법은 3차원 DB의 크기를 고려하여 레인지 데이터(Range Data) 형식으로 보관하고 있는 것이 특징이다. 3차원 DB 검색은 2차원 영상의 특징 정보를 이용하며, 합성 방법 역시 2차원 얼굴 부위의 좌표로 3차원 부위 DB 데이터를 투영하여 합성 위치를 결정하는데 3차원 모델의 완성도가 높지 않다는 단점이 있다.
한국공개특허 제10-2001-0084670호에서는 3차원 개인 모델을 2차원 사진 데이터에서 얻고 있지만, 정면 사진 한 장으로는 모델의 코의 높이나 입의 돌출 부분을 나타내기 어려우므로, 측면의 사진을 한 장 더 써서 개인화된 모델을 얻는 방법을 개시하고 있다.
한국공개특허 제10-2003-0086063호에서는 전반적인 2차원 사진으로부터 3차원 캐리커처 모델을 만드는 방법을 설명하고 있다. 변형할 템플릿 3차원 모델이 존재하고, 템플릿 3차원 모델을 2차원으로 투영 후, 이를 2차원 사진의 특징점과의 매핑을 통해 변형 매트릭스(Transformation Matrix)를 구해 반복적으로 매핑 에러를 줄이는 일반적인 방법을 개시하고 있다.
하지만, 이러한 종래의 기술은 2차원 정면 사진 뿐만 아니라 측면 사진을 필요로 하며, 각 얼굴 부위별 깊이 정보를 반영한 3차원 모델을 생성할 수 없다는 점에서 한계를 가진다.
한국공개특허 제10-2004-0009460호 한국공개특허 제10-2001-0084670호 한국공개특허 제10-2003-0086063호
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 2차원 정면 얼굴 영상 데이터로 3차원 몽타주를 쉽고 빠르면서도 정확하게 생성하고, 미리 구축된 얼굴 데이터베이스를 통해 사진 한 장으로 복원이 불가능한 얼굴의 부분들을 통계적인 방법으로 추정할 수 있는 3차원 몽타주 생성 시스템 및 방법을 제공하는데 그 목적이 있다.
이를 위해 본 발명의 일실시예에 따른 2차원 단일 영상 기반 3차원 몽타주 생성 시스템은 2차원 얼굴 영상을 입력받는 입력부와, 상기 입력부에 입력된 상기 2차원 얼굴 영상의 특징점을 추출하는 특징점 추출부와, 미리 구축된 3차원 얼굴 형상 정보를 저장하는 표준 데이터베이스와, 상기 표준 데이터베이스에 저장된 상기 3차원 얼굴 형상 정보로부터 얼굴 부위별 상관관계를 획득하고, 상기 획득된 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상을 부위별 깊이를 추정하는 깊이 추정부와, 상기 2차원 얼굴 영상을 미리 마련된 3차원 템플릿 모델에 투영하고, 상기 2차원 얼굴 영상의 특징점 및 상기 깊이 추정부에서 추정된 상기 2차원 얼굴 영상의 부위별 깊이 정보를 기초로 상기 3차원 템플릿 모델을 변형하는 모델 변형부와, 상기 모델 변형부에서 변형된 상기 3차원 템플릿 모델에 상기 2차원 얼굴 영상을 렌더링하여 3차원 몽타주를 생성하는 몽타주 생성부를 포함한다.
상기 모델 변형부는 상기 2차원 얼굴 영상 및 상기 3차원 템플릿 모델의 위치(Translation), 회전(Rotation) 및 스케일(Scale)을 계산하고, 상기 2차원 얼굴 형성과 상기 3차원 템플릿 모델간의 에러가 미리 설정된 임계값보다 작아질 때까지 상기 투영 및 상기 계산을 반복할 수 있다.
상기 모델 변형부는 블렌드쉐입(Blendshape) 방법을 이용하여 상기 3차원 템플릿 모델의 얼굴형을 변형할 수 있다.
상기 깊이 추정부는 KNN 알고리즘을 이용하여 상기 2차원 얼굴 영상의 부위별 깊이를 추정할 수 있다.
상기 몽타주 생성부는 상기 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상 중 누락된 부위를 추정하여 3차원 몽타주를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 2차원 단일 영상 기반 3차원 몽타주 생성 방법은 2차원 얼굴 영상을 입력받는 단계와, 상기 2차원 얼굴 영상의 특징점을 추출하는 단계와, 미리 구축된 표준 데이터베이스에 저장된 3차원 얼굴 영상 정보로부터 얼굴 부위별 상관관계를 획득하는 단계와, 상기 획득된 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 단계와, 상기 2차원 얼굴 영상의 특징점 및 상기 2차원 얼굴 영상의 부위별 깊이 정보를 이용하여 미리 마련된 3차원 템플릿 모델을 변형하는 단계와, 상기 변형된 3차원 템플릿 모델에 상기 2차원 얼굴 영상을 렌더링하여 3차원 몽타주를 생성하는 단계를 포함한다.
상기 3차원 템플릿 모델을 변형하는 단계는, 상기 2차원 얼굴 영상을 상기 3차원 템플릿 모델에 투영하는 단계와, 상기 2차원 얼굴 영상 및 상기 3차원 템플릿 모델의 위치(Translation), 회전(Rotation) 및 스케일(Scale)을 계산하는 단계와, 상기 2차원 얼굴 형상과 상기 3차원 템플릿 모델간의 에러가 미리 설정된 임계값보다 작아질 때까지 상기 투영 및 상기 계산을 반복하는 단계를 포함할 수 있다.
상기 3차원 템플릿 모델을 변형하는 단계는, 블렌드쉐입(Blendshape) 방법을 이용하여 상기 3차원 템플릿 모델의 얼굴형을 변형하는 단계를 포함할 수 있다.
상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 단계는 KNN 알고리즘을 이용하여 수행될 수 있다.
상기 3차원 몽타주를 생성하는 단계는, 상기 부위별 상관관계를 기초로 상기 2차원 얼굴 영상 중 누락된 부위를 추정하는 단계와, 상기 추정된 정보를 기초로 3차원 몽타주를 생성하는 단계를 포함할 수 있다.
본 발명에 따른 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법에 의하면, 2차원 정면 사진 한장으로부터 3차원 개인 모델을 생성할 수 있으며, 코의 높이나 입의 돌출, 눈의 도출 등의 깊이 정보를 데이터의 통계적 분포와 상관관계에 의하여 효과적으로 추정할 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 3차원 몽타주 생성 방법을 설명하는 순서도이다.
도 3은 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템에 입력된 2차원 정면 영상의 예이다.
도 4는 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템에서 생성된 3차원 몽타주의 예이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 아래의 내용에 의해 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템의 개략 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템(1)은 입력부(10)와 특징점 추출부(20)와, 모델 변형부(30)와, 깊이 추정부(40)와, 표준 데이터베이스(50)와, 몽타주 생성부(60)와, 표시부를 포함하여 구성된다.
입렵부(10)는 사용자로부터 2차원 얼굴 영상을 입력받는 역할을 한다. 2차원 얼굴 형상은 범죄 용의자의 2차원 정면 사진이 될 수 있다.
특징점 추출부(20)는 입력부(10)에 입력된 2차원 정면 영상의 눈, 코, 입 등의 각 신체 부위별 특징점을 추출하는 역할을 한다.
표준 데이터베이스(50)는 미리 구축된 3차원 얼굴 형상 정보를 저장하는 역할을 한다. 구체적으로 표준 데이터베이스(50)는 미리 설정된 집단의 다양한 사람들의 3차원 얼굴 스캔 정보를 저장할 수 있다.
깊이 추정부(40)는 표준 데이터베이스(50)에 저장된 3차원 얼굴 영상 정보로부터 얼굴 부위별 상관관계를 획득하고, 획득된 얼굴 부위별 상관관계를 기초로 2차원 얼굴 영상의 부위별 깊이를 추정하는 역할을 한다. 즉, 표준 데이터베이스(50)에는 한국인 등과 같은 군집의 다양한 3차원 얼굴 형상 정보가 저장되어 있는데, 깊이 추정부(40)는 이러한 3차원 얼굴 형상 정보로부터 평균적인 얼굴형, 얼굴 부위별 깊이 정보를 계산하여, 입력된 2차원 얼굴 영상의 특징점과 계산된 상기 정보를 비교하여 2차원 얼굴 영상의 각 신체 부위별 깊이 정보를 추정할 수 있다.
모델 변형부(30)는 2차원 얼굴 영상을 미리 마련된 3차원 템플릿 모델이 투영하고, 2차원 얼굴 영상의 특징점 및 깊이 추정부에서 추정된 2차원 얼굴 영상의 부위별 깊이 정보를 기초로 3차원 템플릿 모델을 변형하는 역할을 한다.
몽타주 생성부(60)는 모델 변형부(30)에서 최종적으로 변형된 3차원 템플릿 모델에 2차원 얼굴 영상을 렌더링하여 3차원 몽타주를 생성하는 역할을 한다.
본 발명에 따른 3차원 몽타주 생성 시스템(1)은 이와 같은 방법으로 표준 데이터베이스를 이용하여 얼굴의 각 부위별 깊이 정보를 추정하여 3차원 몽타주를 생성할 수 있다. 이하 도 2를 참조하여 본 발명에 따른 3차원 몽타주 생성 시스템(1)이 3차원 몽타주 생성 방법을 구체적으로 설명한다.
도 2는 본 발명의 일실시예에 따른 3차원 몽타주 생성 방법을 설명하는 순서도이다.
먼저, 3차원 몽타주 생성 시스템(1)의 입력부(10)에 정면 2차원 영상을 입력받는다(100). 특정점 추출부(20)는 입력된 상기 정면 2차원 영상으로부터 특징점을 추출한다(102). 이때, 3차원 몽타주 생성 시스템(1)에는 3차원 평균 템플릿 모델이 미리 구축되어 있다.
모델 변형부(30)는 위치(Translation), 회전(Rotation) 및 스케일(Scale)을 계산하고, 3차원 템을릿 모델을 변형한다(104).
구체적으로 모델 변형부(30)는 2차원 정명 영상의 얼굴 특징점의 좌표를 로드하고, 투영 매트릭스를 통해 3차원 템플릿 모델에 투영한다. 이후, 2차원 영상의 특징점과 3차원 템플릿 모델의 특징점을 비교하면서, 두 특징점의 에러가 미리 설정된 임계값보다 작아질때까지 최적의 위치(Translation) 및 회전(Rotation)을 계산하여 투영과 계산을 반복하여 업데이트한다.
다시, 2차원 영상의 얼굴 특징점의 좌표를 로드하여 앞에서 얻는 위치(Translation) 및 회전(Rotation)을 이용하여 스케일(Scale)을 추가한다. 다음 3차원 템플릿 모델의 가로축 중심을 정하고, 웨이트(weight)를 정한다. 마찬가지로, 3차원 템플릿 모델의 세로푹 중심을 정하고, 웨이트(weight)를 정한다.
다음, 미리 계산해 둔 가로축 및 세로축 데이터를 이용하여 3차원 모델의 버텍스(vertex)를 변형하고, 2차원 입력 영상의 특징점과 3차원 템플릿 모델의 특징점 사이의 에러가 미리 설정된 임계값보다 작아질 때까지 위치(Translation), 회전(Rotation) 및 스케일(Scale)을 계산하고 투영과 업데이트를 반복한다.
이렇게 3차원 템플릿 모델이 변형되면, 모델 변형부(30)는 다시 블렌드쉐입(Blendshape)을 이용하여 3차원 템플릿 모델의 얼굴형을 변형한다(106).
구체적으로, 모델 변형부(30)는 2차원 얼굴 영상의 특징점의 좌표를 로드하고, 앞에서 획득한 위치(Translation), 회전(Rotation) 및 스케일(Scale)을 시작으로 항 블렌드쉐입(Blendshape) 웨이트(weight)를 추가한다.
또한, 앞에서 획득한 위치(Translation), 회전(Rotation) 및 스케일(Scale) 값을 이용해 3차원 템플릿 모델에 투영한 좌표를 계산하고, 상기 특징점들 간의 에러가 미리 설정된 임계값보다 작아지도록 최적의 웨이트(weight)를 계산하고 투영과 업데이트를 반복한다. 다음 베이시스(basis)와 웨이트(weight)를 바탕으로 버텍스들의 변환을 수행하여 얼굴형이 변화된 3차원 템플릿 모델을 획득한다.
또한, 모델 변형부(30)는 깊이 추정부(40)에서 추정된 각 부위별 깊이 정보를 이용하여 3차원 템플릿 모델의 눈, 코, 입 부분의 형태를 변형한다(108).
구체적으로, 2차원 얼굴 영상의 특정점 좌표를 로드하고, 왼쪽 눈 영역, 오른쪽 눈 영역, 코 영역, 입 영역 등의 각 얼굴 부위별 중심 위치와 버텍스 영역, 웨이트(weight)를 구하여 저장한다. 다음 위치(Translation), 회전(Rotation) 및 스케일(Scale)을 초기화하고, 눈, 코, 입 등의 영역의 버텍스 변환을 실행하고, 2차원 영상을 3차원 템플릿 모델에 투영한다. 다시, 각 특징점들 간의 에러가 미리 설정된 값보다 작아질때까지 최적의 이동(Translation), 회전(Rotation) 및 스케일(Scale)을 계산하고 투영과 업데이트를 반복한다.
또한, 모델 변형부(30)는 표준 데이터베이스(50)에 저장된 3차원 얼굴 형상 정보를 이용하여 각 부위별 깊이를 추정하고 이를 기초로 3차원 템플릿 모델을 변형한다(110).
구체적으로, 모델 변형부(30)는 미리 설정된 집단의 3차원 얼굴 스캔 정보로부터 획득된 각 얼굴 부위별 상관관계를 이용하여 2차원 사진에서 복원할 수 없는 깊이나 얼굴 정보가 없는 부분(즉, 기억이 나지 않거나 목격하지 못한 부분) 정보를 유추한 뒤, 완성된 3차원 버텍스를 변형한다.
이를 위해서, 본 발명의 3차원 몽타주 생성 시스템(1)은 연령별 및 성별 다양한 3차원 얼굴 스캔 데이터(예를 들어, 500개 이상)을 표준 데이터베이스(50)에 구축하고, 선택된 얼굴 특징점들 간의 2차원 좌표를 고려하여, KNN(K-Nearest Neighbor) 알고리즘을 적용하여, 가장 가까운 N개의 스캔 데이터를 추출한 후, 이들 데이터로부터 평균적인 3차원 데이터를 얻어오는 방식으로 깊이 값을 추정한다.
이렇게 최종적으로 3차원 템플릿 모델의 변형이 완료되면, 몽타주 생성부(60)는 3차원 템플릿 모델에 2차원 영상을 텍스쳐(Texture) 렌더링하여 3차원 몽타주를 생성한다(112).
구체적으로 몽타주 생성부(60)는 머리 부위와, 귀 부위의 3차원 버텍스 좌표를 미리 찾아 저장한 다음, 최종 계산된 투영 매트릭스(Projection Matrix)를 이용하여 투영하고, 입력된 2차원 영상의 텍스쳐를 최종 변형된 모델에 렌더링한다.
도 3은 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템에 입력된 2차원 정면 영상의 예이고, 도 4는 도 3의 입력된 영을 기초로 생성된 3차원 몽타주의 예이다. 각 얼굴 부위의 깊이 정보가 미리 구축된 데이터베이스를 기초로 자연스럽게 반영된 3차원 몽타주가 생성되었음을 확인할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 3차원 몽타주 생성 시스템(1)은 입력 2차원 사진의 형태를 근사시키고, 텍스쳐를 그대로 이용하기 때문에 결과 모델의 완성도가 높고 이질감이 없고, 사용방법이 간단하고 빠른 연산을 통해 신속하게 몽타주를 얻을 수 있다는 장점이 있다. 또한, 3차원 얼굴 스캔 데이터베이스를 구축하고, 한 장의 사진으로부터 얻기 힘든 3차원 얼굴의 굴곡짐을 통계적 예측을 통해 추정할 수 있도록 하여, 미처 목격자가 목격하지 못하거나, 기억이 나지 않는 얼굴 부분들을 추정하여 좀 더 정확한 몽타주 제작을 할 수 있도록 한다.
1: 3차원 몽타주 생성 시스템 10: 입력부
20: 특징점 추출부 30: 모델 변형부
40: 깊이 추정부 50: 표준 데이터베이스
60: 몽타주 생성부 70: 표시부

Claims (12)

  1. 2차원 얼굴 영상을 입력받는 입력부;
    상기 입력부에 입력된 상기 2차원 얼굴 영상의 특징점을 추출하는 특징점 추출부;
    미리 구축된 3차원 얼굴 영상 정보를 저장하는 표준 데이터베이스;
    상기 표준 데이터베이스에 저장된 상기 3차원 얼굴 영상 정보로부터 얼굴 부위별 상관관계를 획득하고, 상기 3차원 얼굴 영상 정보에 포함된 3차원 얼굴 영상 깊이값과 상기 획득된 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 깊이 추정부;
    상기 2차원 얼굴 영상을 미리 마련된 3차원 템플릿 모델에 투영하고, 상기 2차원 얼굴 영상의 특징점 및 상기 깊이 추정부에서 추정된 상기 2차원 얼굴 영상의 부위별 깊이 정보를 기초로 상기 3차원 템플릿 모델을 변형하는 모델 변형부; 및
    상기 모델 변형부에서 변형된 상기 3차원 템플릿 모델에 상기 2차원 얼굴 영상을 렌더링하여 3차원 몽타주를 생성하는 몽타주 생성부를 포함하는 2차원 단일 영상 기반 3차원 몽타주 생성 시스템.
  2. 제1항에 있어서,
    상기 모델 변형부는 상기 2차원 얼굴 영상 및 상기 3차원 템플릿 모델에 대한 상기 특징점의 위치(Translation), 회전(Rotation) 정도 및 스케일(Scale) 정도를 계산하고, 상기 2차원 얼굴 영상과 상기 3차원 템플릿 모델간의 에러가 미리 설정된 임계값보다 작아질 때까지 상기 투영 및 상기 계산을 반복하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 시스템.
  3. 제2항에 있어서,
    상기 모델 변형부는 블렌드쉐입(Blendshape) 방법을 이용하여 상기 3차원 템플릿 모델의 얼굴형을 변형하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 시스템.
  4. 제1항에 있어서,
    상기 깊이 추정부는 KNN 알고리즘을 이용하여 상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 시스템.
  5. 제1항에 있어서,
    상기 몽타주 생성부는 상기 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상 중 누락된 부위를 추정하여 3차원 몽타주를 생성하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 시스템.
  6. 2차원 얼굴 영상을 입력 받는 단계;
    상기 2차원 얼굴 영상의 특징점을 추출하는 단계;
    미리 구축된 표준 데이터베이스에 저장된 3차원 얼굴 영상 정보로부터 얼굴 부위별 상관관계를 획득하는 단계;
    상기 3차원 얼굴 영상 정보에 포함된 3차원 얼굴 영상 깊이값과 상기 획득된 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 단계;
    상기 2차원 얼굴 영상의 특징점 및 상기 2차원 얼굴 영상의 부위별 깊이 정보를 이용하여 미리 마련된 3차원 템플릿 모델을 변형하는 단계: 및
    상기 변형된 3차원 템플릿 모델에 상기 2차원 얼굴 영상을 렌더링하여 3차원 몽타주를 생성하는 단계를 포함하는 2차원 단일 영상 기반 3차원 몽타주 생성 방법.
  7. 제6항에 있어서,
    상기 3차원 템플릿 모델을 변형하는 단계는,
    상기 2차원 얼굴 영상을 상기 3차원 템플릿 모델에 투영하는 단계;
    상기 2차원 얼굴 영상 및 상기 3차원 템플릿 모델에 대한 상기 특징점의 위치, 회전 정도 및 스케일 정도를 계산하는 단계; 및
    상기 2차원 얼굴 영상과 상기 3차원 템플릿 모델간의 에러가 미리 설정된 임계값보다 작아질 때까지 상기 투영 및 상기 계산을 반복하는 단계를 포함하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 방법.
  8. 제6항에 있어서,
    상기 3차원 템플릿 모델을 변형하는 단계는,
    블렌드쉐입(Blendshape) 방법을 이용하여 상기 3차원 템플릿 모델의 얼굴형을 변형하는 단계를 포함하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 방법.
  9. 제6항에 있어서,
    상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 단계는 KNN 알고리즘을 이용하여 수행되는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 방법.
  10. 제6항에 있어서,
    상기 3차원 몽타주를 생성하는 단계는,
    상기 얼굴 부위별 상관관계를 기초로 상기 2차원 얼굴 영상 중 누락된 부위를 추정하는 단계; 및
    상기 누락된 부위를 추정한 정보를 기초로 3차원 몽타주를 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 방법.
  11. 제 4 항에 있어서,
    상기 깊이 추정부는 상기 획득된 얼굴 부위별 상관관계를 통해 상기 표준 데이터베이스로부터 상기 3차원 얼굴 영상 정보를 선별하여 상기 2차원 얼굴 영상의 부위별 깊이를 추정하며,
    상기 선별된 3차원 얼굴 영상 정보의 특징점은 상기 입력된 2차원 얼굴 영상의 특징점과 기설정된 범위 내의 차이값을 갖는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 시스템.
  12. 제 9 항에 있어서,
    상기 2차원 얼굴 영상의 부위별 깊이를 추정하는 단계는, 상기 획득된 얼굴 부위별 상관관계를 통해 상기 표준 데이터베이스로부터 상기 3차원 얼굴 영상 정보를 선별하여 상기 2차원 얼굴 영상의 부위별 깊이를 추정하며,
    상기 선별된 3차원 얼굴 영상 정보의 특징점은 상기 입력된 2차원 얼굴 영상의 특징점과 기설정된 범위 내의 차이값을 갖는 것을 특징으로 하는 2차원 단일 영상 기반 3차원 몽타주 생성 방법.
KR1020120024556A 2012-03-09 2012-03-09 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법 KR101339900B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120024556A KR101339900B1 (ko) 2012-03-09 2012-03-09 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
US13/790,122 US9519998B2 (en) 2012-03-09 2013-03-08 Three dimensional montage generation system and method based on two dimensional single image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024556A KR101339900B1 (ko) 2012-03-09 2012-03-09 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130103150A KR20130103150A (ko) 2013-09-23
KR101339900B1 true KR101339900B1 (ko) 2014-01-08

Family

ID=49113696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024556A KR101339900B1 (ko) 2012-03-09 2012-03-09 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법

Country Status (2)

Country Link
US (1) US9519998B2 (ko)
KR (1) KR101339900B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160041570A (ko) 2014-10-08 2016-04-18 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3090542B1 (en) 2014-01-03 2020-09-30 Intel Corporation Real-time 3d reconstruction with a depth camera
US9305345B2 (en) * 2014-04-24 2016-04-05 General Electric Company System and method for image based inspection of an object
KR102264111B1 (ko) * 2014-05-15 2021-06-10 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법
US10521649B2 (en) * 2015-02-16 2019-12-31 University Of Surrey Three dimensional modelling
EP3220357A3 (de) * 2016-03-15 2018-01-10 Siemens Healthcare GmbH Modellhaftes erzeugen und darstellen von dreidimensionalen objekten
CN106067190B (zh) * 2016-05-27 2019-04-30 俞怡斐 一种基于单幅图像的快速人脸三维模型生成和变换方法
CN106529502B (zh) * 2016-08-01 2019-09-24 深圳奥比中光科技有限公司 唇语识别方法以及装置
CN107045385A (zh) * 2016-08-01 2017-08-15 深圳奥比中光科技有限公司 基于深度图像的唇语交互方法以及唇语交互装置
CN112270299A (zh) 2018-04-25 2021-01-26 北京嘀嘀无限科技发展有限公司 一种识别头部运动的系统和方法
TWI694384B (zh) * 2018-06-07 2020-05-21 鴻海精密工業股份有限公司 人臉圖像處理方法、電子裝置和存儲介質
CN108830892B (zh) * 2018-06-13 2020-03-06 北京微播视界科技有限公司 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN109118569B (zh) * 2018-08-16 2023-03-10 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
CN109190528B (zh) * 2018-08-21 2021-11-30 厦门美图之家科技有限公司 活体检测方法及装置
SG10201902889VA (en) * 2019-03-29 2020-10-29 Nec Corp System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image
CN111857111B (zh) * 2019-04-09 2024-07-19 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
GB2591994B (en) 2020-01-31 2024-05-22 Fuel 3D Tech Limited A method for generating a 3D model
CN112487922B (zh) * 2020-11-25 2024-05-07 奥比中光科技集团股份有限公司 一种多模态人脸活体检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060064553A (ko) * 2004-12-08 2006-06-13 소니 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2008225970A (ja) * 2007-03-14 2008-09-25 Matsushita Electric Ind Co Ltd 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100360487B1 (ko) 2000-02-28 2002-11-13 삼성전자 주식회사 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
KR100473593B1 (ko) 2002-05-03 2005-03-08 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법
KR20040009460A (ko) 2002-07-23 2004-01-31 주식회사 페이스쓰리디 3차원얼굴 몽타주 획득 시스템 및 방법
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US7283140B2 (en) * 2005-06-21 2007-10-16 Microsoft Corporation Texture montage
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
US9495583B2 (en) * 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060064553A (ko) * 2004-12-08 2006-06-13 소니 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2008225970A (ja) * 2007-03-14 2008-09-25 Matsushita Electric Ind Co Ltd 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160041570A (ko) 2014-10-08 2016-04-18 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR101635730B1 (ko) * 2014-10-08 2016-07-20 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
US9734613B2 (en) 2014-10-08 2017-08-15 Korea Institute Of Science And Technology Apparatus and method for generating facial composite image, recording medium for performing the method

Also Published As

Publication number Publication date
US20130235033A1 (en) 2013-09-12
KR20130103150A (ko) 2013-09-23
US9519998B2 (en) 2016-12-13

Similar Documents

Publication Publication Date Title
KR101339900B1 (ko) 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
US8624901B2 (en) Apparatus and method for generating facial animation
US8537155B2 (en) Image processing apparatus and method
CN113272870A (zh) 用于逼真的实时人像动画的系统和方法
US20130127827A1 (en) Multiview Face Content Creation
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
KR101794731B1 (ko) 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치
KR20110070056A (ko) 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
WO2022205762A1 (zh) 三维人体重建方法、装置、设备及存储介质
KR20060107899A (ko) 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
CN108564619B (zh) 一种基于两张照片的真实感三维人脸重建方法
JP4842242B2 (ja) キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置
WO2022083389A1 (zh) 虚拟图像的生成方法和装置
Ahmed et al. Automatic generation of personalized human avatars from multi-view video
WO2017054652A1 (zh) 一种对图像进行关键点定位的方法和装置
KR101696007B1 (ko) 3d 몽타주 생성 장치 및 방법
JP2016152586A (ja) プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
US20140192045A1 (en) Method and apparatus for generating three-dimensional caricature using shape and texture of face
CN112868052A (zh) 用于提供具有六个自由度的至少部分内容的方法和系统
JP2002015338A (ja) モデルの変形方法およびモデリング装置
Agianpuye et al. 3d facial expression synthesis: a survey
Vanakittistien et al. 3D hair model from small set of images
TWI728037B (zh) 對圖像進行關鍵點定位的方法和裝置
CN115023742A (zh) 具有详细褶皱的面部网格变形
Lee et al. Photorealistic 3D face modeling on a smartphone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 7