KR101308946B1 - 3차원 얼굴 형상 재구성 방법 - Google Patents

3차원 얼굴 형상 재구성 방법 Download PDF

Info

Publication number
KR101308946B1
KR101308946B1 KR1020120010847A KR20120010847A KR101308946B1 KR 101308946 B1 KR101308946 B1 KR 101308946B1 KR 1020120010847 A KR1020120010847 A KR 1020120010847A KR 20120010847 A KR20120010847 A KR 20120010847A KR 101308946 B1 KR101308946 B1 KR 101308946B1
Authority
KR
South Korea
Prior art keywords
face
target frame
frames
region
enlarged
Prior art date
Application number
KR1020120010847A
Other languages
English (en)
Other versions
KR20130089464A (ko
Inventor
김익재
김재완
안상철
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120010847A priority Critical patent/KR101308946B1/ko
Priority to US13/757,057 priority patent/US8903139B2/en
Publication of KR20130089464A publication Critical patent/KR20130089464A/ko
Application granted granted Critical
Publication of KR101308946B1 publication Critical patent/KR101308946B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

본 발명은, 3차원 얼굴 형상 재구성 방법에 관한 것으로서, 얼굴 정면 영상을 포함하는 복수의 프레임들 중 대상 프레임과 대상 프레임을 제외한 나머지 프레임들 간의 단위 패치별 유사도를 가중치로 적용하여 고해상도 얼굴 영상을 획득함으로써, 이를 기초로 3차원 얼굴 형상을 재구성함으로써, 얼굴 정면 영상이 담긴 짧은 분량의 동영상으로부터도 3차원 얼굴 형상을 고해상도로 복원할 수 있게 된다.

Description

3차원 얼굴 형상 재구성 방법{Method for reconstructing three dimensional facial shape}
본 발명은, 3차원 얼굴 형상 재구성 방법에 관한 것으로서, 촬영된 동영상의 일부 프레임 속의 얼굴 영상으로부터 촬영된 인물의 3차원 얼굴 형상을 재구성하는 3차원 얼굴 형상 재구성 방법에 관한 것이다.
최근, 출입 통제기, ATM (Automated Teller Machine), CCTV(Closed Circuit TV) 감시장치 등 다양한 분야에서, 외부에 설치된 카메라를 통해 촬영된 영상을 이용하여 용의자 수사에 활용하려는 시도가 있다.
이러한 용의자 수사 등에 활용하기 위해, 촬영된 영상 또는 동영상의 일부 프레임으로부터 3차원 얼굴 형상을 자동으로 생성해내는 기술이 개발되고 있으나, 이러한 기술들은 대부분 해당 영상 또는 동영상 프레임의 해상도에 의해 3차원 얼굴 형상의 복원 결과가 크게 좌우된다. 따라서, 영상 또는 동영상 프레임의 해상도가 낮을 경우에는 3차원 얼굴 형상의 복원 결과가 매우 저해상도로 도출되어 얼굴 인증 또는 용의자 수사 등에 활용하기 어렵고, 촬영된 영상 또는 동영상 프레임 상에서 인물의 얼굴만이 클로즈업되어 고해상도로 촬영된 경우에 한해 얼굴 인증 또는 용의자 수사 등에 활용할 수 있는 수준의 3차원 얼굴 형상을 확보할 수 있어서 그 활용범위가 매우 제한적이다.
일반적으로 출입 통제기, ATM 및 CCTV 감시 장치 등에 설치된 카메라의 경우, 고화질의 영상을 획득하기 어렵고, 일반적인 상황에서 촬영되는 영상 또는 동영상 프레임에서 인물의 얼굴이 전체 영상에서 차지하는 비율이 크지 않으므로 얼굴 영역은 저해상도로 표현되는 경우가 많기 때문에, 촬영된 영상을 통해 용의자 수사 등에 활용하는 데에 어려움이 있었다.
이처럼 종래의 3차원 얼굴 형상 복원 기술은 특수한 촬상 조건, 즉, 인물의 얼굴이 클로즈업 되어 촬영된 영상에만 용의자 수사에 효과적으로 활용될 수 있으며, 일반적인 상황에서 촬영되는 영상은 활용하기 어렵다라는 한계를 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 얼굴 정면 영상을 포함하는 동영상으로부터 해당 동영상 내의 얼굴 정면 영상보다 높은 해상도의 고해상도 얼굴 영상을 획득하여, 이를 기초로 3차원 얼굴 형상을 재구성할 수 있는 병렬 처리 장치 및 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 얼굴 형상 재구성 방법은 얼굴 정면 영상을 포함하는 복수의 프레임들 중 3차원 복원에 이용할 대상 프레임을 지정받는 단계; 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식하는 단계; 복수의 프레임들 중에서 지정받은 대상 프레임 외의 나머지 프레임들의 얼굴 영역 및 특징 부분 영역과 대상 프레임의 얼굴 영역과 특징 부분 영역이 서로 일치하도록 나머지 프레임들을 워핑(warping)하는 워핑 단계; 대상 프레임 및 워핑된 나머지 프레임들의 얼굴 영역들을 얼굴 정면 영상보다 높은 고해상도에 대응되는 크기로 확대하는 확대 단계; 확대된 대상 프레임 및 나머지 프레임들의 얼굴 영역들을 각각 복수의 단위 패치들로 분할하는 단계; 및 대상 프레임의 단위 패치와 나머지 프레임들의 단위 패치들 간의 유사도를 기초로 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 3차원 얼굴 형상 재구성을 위한 고해상도 얼굴 영상을 획득하는 고해상도 영상 획득 단계를 포함한다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 얼굴 형상 재구성 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체는, 얼굴 정면 영상을 포함하는 복수의 프레임들 중 3차원 복원에 이용할 대상 프레임을 지정받는 기능; 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식하는 기능; 복수의 프레임들 중에서 지정받은 대상 프레임 외의 나머지 프레임들의 얼굴 영역 및 특징 부분 영역과 대상 프레임의 얼굴 영역과 특징 부분 영역이 서로 일치하도록 나머지 프레임들을 워핑(warping)하는 기능; 대상 프레임 및 워핑된 나머지 프레임들의 얼굴 영역들을 얼굴 정면 영상보다 높은 고해상도에 대응되는 크기로 확대하는 기능; 확대된 대상 프레임 및 나머지 프레임들의 얼굴 영역들을 각각 복수의 단위 패치들로 분할하는 기능; 및 대상 프레임의 단위 패치와 나머지 프레임들의 단위 패치들 간의 유사도를 기초로 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 3차원 얼굴 형상 재구성을 위한 고해상도 얼굴 영상을 획득하는 기능을 포함하는 프로그램을 수록한다.
본 발명에 따르면, 인물의 정면 얼굴 영상이 담긴 짧은 분량의 동영상으로부터 인물 얼굴의 삼차원 형상을 고해상도로 복원할 수 있게 된다.
더불어, 방범용 CCTV 감시 서비스에 있어서, CCTV 카메라에 촬영된 용의자의 얼굴을 3차원 형상으로 자동 생성하는 서비스를 제공할 수 있다.
나아가, 일반 사용자들의 동영상으로부터 특정 인물의 삼차원 얼굴을 기반으로 하는 고화질의 디지털 아바타를 자동으로 생성하어 여러가지 IT/스마트폰 관련 어플리케이션들(가상현실, 증강현실, 게임, 애니메이션 제작)등에 활용할 수 있을 것이다.
도 1는 본 발명의 바람직한 일 실시예에 따른 데이터베이스 관리 시스템의 이중화된 구성을 도시한 블록도이다.
도 2a 내지 2b는 본 발명의 바람직한 일 실시예에 따른 데이터베이스 관리 시스템에서 동기적 이중화를 위한 병렬 처리 과정을 예시한 흐름도들이다
도 3a 내지 3c는 본 발명의 바람직한 일 실시예에 따라 동기적 이중화된 데이터베이스 관리 시스템에서 교착 상태에 빠질 수 있는 상황을 예시하고, 이러한 상황에서 교착 상태를 해결하기 위한 처리 과정을 예시한 도면들이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1a는 본 발명의 바람직한 일 실시예에 따른 3차원 얼굴 형상 재구성 방법을 도시한 흐름도이며, 도 1b 내지 1c들은 각각 도 1a에 도시된 3차원 얼굴 형상 재구성 방법에서 사용되는 종래의 알고리즘을 예시한다.
도 1a을 참조하면, 얼굴 정면 영상을 포함하는 복수의 프레임들을 입력받아(S101), 입력받은 복수의 프레임들 중에서 3차원 복원에 이용할 대상 프레임(target frame)을 사용자 등으로부터 지정받거나(S102), 종래의 얼굴 인식 알고리즘을 통해 자동으로 추출할 수 있다. 이때의 복수의 프레임들은 도 2a에 도시된 예와 같이, 얼굴 정면 영상을 포함하는 동영상의 일부분을 구성하는 연속하는 프레임들이 이에 해당될 수 있다.
그리고, S101 단계에서 입력받은 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식한다(S103). 이때에 얼굴 영역 내의 특징 부분 영역은 얼굴 내의 눈, 코, 입, 귀, 눈썹, 수염 등과 같이 얼굴 형상을 결정하는 주요 기하학적 특징 부분을 가리키며, 이러한 얼굴 영역과 특징 부분 영역의 인식은 Stasm 방법 등 종래의 특징점 추출 연산 또는 기타 얼굴 인식 알고리즘을 통해 구현할 수 있다.
도 1b는 S103 단계의 얼굴 영역 및 특징 부분 영역을 인식한 예를 보여주기 위해, 동영상 중 얼굴 정면 영상을 포함하는 연속하는 일부 프레임들에 대하여 Stasm 방법을 통해 얼굴 영역 및 특징 부분 영역을 추출한 결과를 예시한다.
본 실시예에서는 복수의 프레임들 각각의 얼굴 영역 및 얼굴 영역 내의 특징 부분 영역을 인식한 예로 Stasm 방법 및 도 1b를 예시하고 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명은 이에 한정되지 않는다고 할 것이다.
S103 단계에서 추출된 각 프레임별 얼굴 영역 및 특징 부분 영역을 기초로 복수의 프레임들 중 대상 프레임을 제외한 나머지 프레임들을 대상 프레임에 맞게 워핑(warping)한다(S104). 여기에서 워핑(warping)이란, 영상 전체에 대해 비균일하도록 영상 내의 특정 부분 영역의 상대적인 위치가 변하도록 뒤틀거나 해당 특정 부분 영역의 크기를 조절하는 기하학적 영상 처리를 의미하며, 본 실시예에서는, 나머지 프레임들 각각의 얼굴 영역 및 특징 부분 영역의 상대적인 위치가 대상 프레임의 얼굴 영역 및 특징 부분 영역의 상대적인 위치와 일치하도록 나머지 프레임들 각각을 변형하는 것을 의미한다.
S102 단계에서 지정된 대상 프레임 및 S104 단계에서 워핑된 나머지 프레임들의 얼굴 영역을 사용자가 원하는 해상도 즉, S101 단계에서 입력된 얼굴 정면 영상보다 높은 고해상도에 대응되는 크기로 확대한다(S105). 이때 얼굴 영역의 확대 방법으로는, 일반 영상처리방법에 해당하는 최근린 내삽(Nearest Neighbor) 보간법, 이중 선형(Bilinear) 보간법 또는 고등차수(Bicubic) 보간법 등의 보간법을 사용해 확대한다.
S105 단계에서 확대된 대상 프레임 및 나머지 프레임들의 얼굴 영역을 각각 복수의 단위 패치들로 분할한다(S106).
S106 단계에서 분할된 단위 패치 단위로, 대상 프레임과 나머지 프레임들 간의 유사도를 계산한다(S107). 즉, 대상 프레임의 단위 패치 각각에 대하여, 대상 프레임의 단위 패치와 이러한 대상 프레임의 단위 패치에 대응하는 나머지 프레임들의 단위 패치들 간의 유사도를 계산한다.
S107 단계에서 계산된 유사도를 기초로 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 고해상도의 얼굴 영상을 획득한다(S108). 이 과정을 통해 S105 단계에서 단순보간법에 의해 흐릿하게 확대된 대상 프레임의 얼굴 영역을 사용자가 원하는 해상도에 맞도록 선명하게 변환할 수 있다.
이때에, 유사도를 이용하여 대상 프레임의 얼굴 영역의 화소들을 변환하는 방법으로는 유사도를 가중치로 적용하여 대상 프레임의 얼굴 영역의 화소값들을 조정할 수 있다. 구체적인 조정방법은, 시뮬레이션 결과에 따라, 유사도를 가중치로 적용했을 때, 보다 정확하게 조정된 화소값이 도출될 수 있는 연산들이 적용될 수 있으며, 본 발명은 이러한 조정 방법 자체를 한정하는 것은 아니며, 다양한 이미지 처리 연산이 조정 방법으로 적용될 수 있을 것이다.
본 실시예에서는 S107 단계에서 단위 패치 단위로 유사도를 계산하고 있으므로, S108 단계에서 대상 프레임의 얼굴 영역의 화소값을 조정함에 있어서, 단위 패치 단위로 동일한 가중치가 적용될 수 있으며, 이러한 각 화소별 화소값 조정 과정을 대상 프레임의 얼굴 영역을 구성하는 모든 화소들에 대하여 반복수행하여, 고해상도의 얼굴 영상을 획득할 수 있다.
마지막으로, S108 단계에서 획득된 고해상도 얼굴 영상을 기초로 3차원 얼굴 형상을 재구성한다(S109).
도 1c는 S109 단계의 3차원 얼굴 형상 재구성 과정을 예시한 도면이다.
도 1c를 참조하면, S108 단계에서 획득된 고해상도 얼굴 영상을 2차원 입력 영상으로 하여(S110), 2차원 입력 영상 내에서 특징점을 지정받아(S111), 3차원 얼굴 형상의 기본 모델들이 내장된 Face deformer(112)를 통해 2차원 입력 영상과 3차원 기본 모델의 특징점 정합 및 선형 조합으로 3차원 얼굴 형상(113)을 생성할 수 있다.
본 실시예에서는 고해상도 얼굴 영상을 기초로 3차원 얼굴 형상을 재구성하는 예로 도 1c에 도시된 알고리즘을 예시하고 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명은 이에 한정되지 않는다고 할 것이다.
도 2a 내지 2c는 본 발명의 바람직한 일 실시예에 따라 3차원 얼굴 형상을 재구성하는 과정을 설명하기 위한 도면들이다.
도 2a는 동영상 중 얼굴의 정면 영상을 포함하는 일부분(약 5초 분량)의 연속하는 약 30개의 프레임들 중 일부(12개)를 예시한 것으로, 이들은 모두 3차원 복원에 적합하지 않은 낮은 해상도(예컨대, 117*80)를 가지며, 사용자는 이들 프레임 중에서 하나를 선택하여 3차원 복원에 이용할 대상 프레임(target frame)으로 지정할 수 있으며, 임의로 또는 소정의 알고리즘에 따라 대상 프레임이 선택되도록 구현될 수도 있을 것이며, 본 발명은 이를 한정하지 않는다.
도 2b는 도 2a에 도시된 복수의 프레임들을 기초로 고해상도의 얼굴 영상을 획득하는 과정의 흐름을 예시한 도면으로, 이하의 실시예에서, 설명의 편의를 위해, 복수의 프레임들 중 대상 프레임(target frame) 외의 나머지 프레임들은 "데이터베이스 프레임(database frame)"으로 칭한다.
먼저, 대상 프레임(target frame)과 데이터베이스 프레임(database frame)내의 얼굴 영역 및 특징 부분 영역을 소정의 알고리즘을 통해 인식하고(S201), 데이터베이스 프레임 내의 얼굴 영역 및 특징 부분 영역을 대상 프레임의 얼굴 영역 및 특징 부분 영역과 일치하도록 워핑(warping) 처리한다(S202).
그리고, 대상 프레임(target frame)과 데이터베이스 프레임(database frame)의 얼굴 영역들을 사용자가 원하는 해상도에 대응하는 크기로 단순 보간법을 이용하여 확대한다(S203).
S203 단계에서 확대된 대상 프레임(target frame)과 데이터베이스 프레임(database frame)의 얼굴 영역들을 일정 패치 단위로 분할한다(S204).
대상 프레임(target frame)과 데이터베이스 프레임(database frame)의 동일 위치의 패치들 간의 유사도(Sn)을 계산한다(S205).
본 실시예에 따른 3차원 얼굴 형상 재구성 방법의 기본 가정은 대상 프레임(target frame)의 고해상도 화소 정보가 데이터베이스 프레임(database frame)들에 내재되어 있다는 것이다. 이때, 어떤 데이터베이스 프레임이 혹은 데이터베이스 프레임의 어떤 화소가 대상 프레임의 화소를 고해상도로 복원하는데에 얼마만큼의 기여도를 갖는지 평가하기가 어렵다는 점이 문제된다. 본 실시예에서는 이하에서 기술된 바와 같이, 대상 프레임(target frame)과 데이터베이스 프레임(database frame)간의 패치 유사도를 구하고 유사도가 높을수록 대상 프레임(target frame)에서 필요한 고해상도 화소정보를 많이 포함하고 있다고 간주하여, 이러한 유사도를 고해상도 복원을 위한 처리 연산의 가중치(weighting factor)로 활용한다.
여기에서 Sn은 대상 프레임의 패치(P1)과 이에 대응되는 n번째 데이터 프레임의 패치(Pn)간의 유사도를 나타내며, Sn은 수학식 1에 의해 계산될 수 있다.
Figure 112012008874914-pat00001
Figure 112013034600067-pat00013
는 대상 프레임의 패치 내의 k번째 화소값을 의미하고,
Figure 112013034600067-pat00014
는 n번째 데이터 프레임의 패치 내의 k번째 화소값을 의미하고, m은 패치 내의 전체 화소 개수를 의미하고,
Figure 112013034600067-pat00015
는 패치 내의 화소값들의 표준편차를 의미한다.
S205 단계에서 계산된 유사도(Sn)로부터 수학식 2에 따라 가중치(weighting factor, Wn)을 계산하고, 계산된 가중치를 이용하여 이하의 수학식 3에 따라 대상 프레임의 패치에 속한 픽셀(pixel)를 고해상도로 복원한 픽셀밝기값(Is)로 조정하고, 이러한 픽셀밝기값 조정 과정을 대상 프레임의 얼굴 영역에 포함되는 모든 픽셀에 대하여 반복하여 수행함으로써, 대상 프레임의 2차원 고해상도 (Super resolution) 영상을 획득한다(S206).
Figure 112012008874914-pat00002
Figure 112012008874914-pat00003
상기 Ip0은 상기 확대된 대상 프레임의 화소값, 상기 Ipj는 상기 확대된 나머지 프레임 중 j번째 프레임의 화소값, 상기 Wj는 상기 확대된 대상 프레임의 단위 패치와 상기 j번째 프레임의 단위 패치 간의 유사도, 상기 n은 상기 확대된 나머지 프레임의 개수, 상기 1은 상수를 의미한다.
이처럼 유사도에 따라 가중치를 결정하는 경우에, 결과적으로 유사도가 높은 데이터베이스 프레임(database frame)의 패치의 픽셀들은 대상 프레임(target frame)의 패치의 고해상도 화소값(픽셀밝기값, Is)에 대해 높은 기여율을 갖게 된다, 이러한 패치 연산을 대상 프레임(target frame)의 얼굴 영상을 구성하는 전체 화소에 대해 수행하게 되면, 고해상도의 얼굴 영상을 복원할 수 있게 된다.
도 2c는 도 2a에 도시된 복수의 프레임들을 기초로 대상 프레임과 데이터베이스 프레임 간의 유사도를 계산하고, 이를 기초로 고해상도의 얼굴 영상을 획득하는 구체적인 과정을 예시한 도면으로, 본 실시예에서, P0는 대상 프레임의 패치이며, P1~Pn은 대상 프레임을 제외한 나머지 프레임들 중 1~n번째 나머지 프레임인 데이터베이스 프레임의 패치를 가리킨다.
도 2d는 도 2b 내지 2c에 도시된 연산과정을 통해 획득된 고해상도(super resolution, 예컨대, 329*218)의 2차원 얼굴 영상을 예시하고, 도 2e는 이러한 고해상도의 2차원 얼굴 영상을 기초로 복원한 3차원 얼굴 형상을 복수의 각도에서 조명한 결과를 예시한다.
이처럼, 본 실시예에 따른 3차원 얼굴 형상 재구성 방법에 따르면, 얼굴 정면 영상을 포함하는 복수의 연속하는 프레임들 중 대상 프레임과 대상 프레임을 제외한 나머지 프레임들 간의 단위 패치별 유사도를 가중치로 적용하여 고해상도 얼굴 영상을 획득하고, 이를 기초로 3차원 얼굴 형상을 재구성함으로써, 얼굴 정면 영상이 담긴 짧은 분량의 동영상으로부터도 3차원 얼굴 형상을 고해상도로 복원할 수 있게 된다. 이는 특히, 감시용 CCTV 동영상에 적용할 경우에 범죄 용의자의 얼굴을 3차원적으로 선명하게 재구성할 수 있어 용의자 검거에 유용하게 활용할 수 있다.
본 발명에 따른 3차원 얼굴 형상 재구성 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (6)

  1. 얼굴 정면 영상을 포함하는 복수의 프레임들 중 3차원 복원에 이용할 대상 프레임을 지정받는 단계;
    상기 복수의 프레임들 각각의 얼굴 영역 및 상기 얼굴 영역 내의 적어도 하나 이상의 특징 부분 영역을 인식하는 단계;
    상기 복수의 프레임들 중에서 상기 지정받은 대상 프레임 외의 나머지 프레임들의 얼굴 영역 및 특징 부분 영역과 상기 대상 프레임의 얼굴 영역과 특징 부분 영역이 서로 일치하도록 상기 나머지 프레임들을 워핑(warping)하는 워핑 단계;
    상기 대상 프레임 및 상기 워핑된 나머지 프레임들의 얼굴 영역들을 상기 얼굴 정면 영상의 해상도보다 높은 해상도를 갖는 크기로 확대하는 확대 단계;
    상기 확대된 대상 프레임 및 상기 확대된 나머지 프레임들의 얼굴 영역들을 각각 복수의 단위 패치들로 분할하는 단계; 및
    상기 확대된 대상 프레임의 단위 패치와 상기 확대된 나머지 프레임들의 단위 패치들 간의 유사도를 기초로 상기 확대된 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 변환하여, 상기 얼굴 정면 영상의 해상도보다 높은 해상도를 갖는 3차원 얼굴 형상을 재구성하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 형상 재구성 방법.
  2. 제1항에 있어서,
    상기 확대 단계는 일반 영상처리방법에 해당하는 최근린 내삽 보간법, 이중 선형 보간법 및 고등차수 보간법 중 어느 하나의 보간법을 사용해 확대하는 것을 특징으로 하는 3 차원 얼굴 형상 재구성 방법.
  3. 제1항에 있어서,
    상기 워핑 단계는 상기 나머지 프레임들 각각의 얼굴 영역 및 특징 부분 영역의 상대적인 위치가 확대 전의 상기 대상 프레임의 얼굴 영역 및 특징 부분 영역의 상대적인 위치와 일치하도록 상기 나머지 프레임들 각각을 변형하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 형상 재구성 방법.
  4. 제1항에 있어서,
    상기 3차원 얼굴 형상을 재구성하는 단계는 상기 유사도를 상기 확대된 대상 프레임의 단위 패치의 화소값에 대한 가중치로 적용하여, 상기 확대된 대상 프레임의 단위 패치에 속하는 화소값을 조정하는 과정을 상기 확대된 대상 프레임의 얼굴 영역을 구성하는 모든 화소들에 대하여 반복수행하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 형상 재구성 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 3차원 얼굴 형상을 재구성하는 단계는 상기 확대된 대상 프레임의 얼굴 영역을 구성하는 모든 화소들을 수학식에 따라 계산된 화소값(Is) 로 변환하고,
    상기 수학식은,
    Figure 112013034600067-pat00004
    이고,
    상기 Ip0은 상기 확대된 대상 프레임의 화소값, 상기 Ipj는 상기 확대된 나머지 프레임들 중 j번째 프레임의 화소값, 상기 Wj는 상기 확대된 대상 프레임의 단위 패치와 상기 j번째 프레임의 단위 패치 간의 유사도, 상기 n은 상기 확대된 나머지 프레임들의 개수, 상기 1은 상수인 것을 특징으로 하는 3차원 얼굴 형상 재구성 방법.
KR1020120010847A 2012-02-02 2012-02-02 3차원 얼굴 형상 재구성 방법 KR101308946B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120010847A KR101308946B1 (ko) 2012-02-02 2012-02-02 3차원 얼굴 형상 재구성 방법
US13/757,057 US8903139B2 (en) 2012-02-02 2013-02-01 Method of reconstructing three-dimensional facial shape

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120010847A KR101308946B1 (ko) 2012-02-02 2012-02-02 3차원 얼굴 형상 재구성 방법

Publications (2)

Publication Number Publication Date
KR20130089464A KR20130089464A (ko) 2013-08-12
KR101308946B1 true KR101308946B1 (ko) 2013-09-24

Family

ID=48902921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120010847A KR101308946B1 (ko) 2012-02-02 2012-02-02 3차원 얼굴 형상 재구성 방법

Country Status (2)

Country Link
US (1) US8903139B2 (ko)
KR (1) KR101308946B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384386B2 (en) 2014-08-29 2016-07-05 Motorola Solutions, Inc. Methods and systems for increasing facial recognition working rang through adaptive super-resolution
US9367897B1 (en) * 2014-12-11 2016-06-14 Sharp Laboratories Of America, Inc. System for video super resolution using semantic components
CN106204430B (zh) * 2016-07-25 2019-05-31 浙江工业大学 基于人脸简单模型的特征点插值与图像变形方法
US10297059B2 (en) 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
CN108537754B (zh) * 2018-04-12 2021-06-22 哈尔滨工业大学 基于形变引导图的人脸图像复原系统
CN108921212B (zh) * 2018-06-27 2021-11-19 努比亚技术有限公司 一种图像匹配方法、移动终端及计算机可读存储介质
CN110189255B (zh) * 2019-05-29 2023-01-17 电子科技大学 基于两级检测的人脸检测方法
CN110363858B (zh) * 2019-06-18 2022-07-01 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN110956126B (zh) * 2019-11-27 2023-09-15 云南电网有限责任公司电力科学研究院 一种联合超分辨率重建的小目标检测方法
CN111639553B (zh) * 2020-05-14 2023-04-18 青岛联合创智科技有限公司 一种基于视觉三维重建的定制面膜装置的制备方法
CN112529825B (zh) * 2020-12-11 2022-05-31 平安科技（深圳）有限公司 人脸图像分辨率重建方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032741A (ja) 2000-07-13 2002-01-31 Sony Corp ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
JP2011022805A (ja) 2009-07-16 2011-02-03 Nippon Signal Co Ltd:The 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996003717A1 (en) * 1994-07-22 1996-02-08 Apple Computer, Inc. Method and system for the placement of texture on three-dimensional objects
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US7653204B2 (en) * 2004-06-14 2010-01-26 Broadcom Corporation Method and system for codec with polyringer
CA2654960A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
JP5483012B2 (ja) * 2010-03-25 2014-05-07 ソニー株式会社 テレビ電話機能付きテレビジョン

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032741A (ja) 2000-07-13 2002-01-31 Sony Corp ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
JP2011022805A (ja) 2009-07-16 2011-02-03 Nippon Signal Co Ltd:The 画像処理装置

Also Published As

Publication number Publication date
US8903139B2 (en) 2014-12-02
US20130202162A1 (en) 2013-08-08
KR20130089464A (ko) 2013-08-12

Similar Documents

Publication Publication Date Title
KR101308946B1 (ko) 3차원 얼굴 형상 재구성 방법
EP3525165B1 (en) Method and apparatus with image fusion
CN106778867B (zh) 目标检测方法和装置、神经网络训练方法和装置
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
JP4642128B2 (ja) 画像処理方法、画像処理装置及びシステム
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
WO2020146911A2 (en) Multi-stage multi-reference bootstrapping for video super-resolution
KR20180059233A (ko) 멀티 렌즈 기반의 촬영 장치 및 방법
CN105611275A (zh) 执行电子装置的多照相机捕捉控制的方法及其设备
JP2008152530A (ja) 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム
JP5087037B2 (ja) 画像処理装置、方法及びプログラム
CN113269722A (zh) 生成对抗网络的训练方法、及高分辨率图像重建方法
CN112580434B (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
US8284292B2 (en) Probability distribution constructing method, probability distribution constructing apparatus, storage medium of probability distribution constructing program, subject detecting method, subject detecting apparatus, and storage medium of subject detecting program
KR101575857B1 (ko) 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동패턴 인식방법
JP2018195084A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
CN110910512A (zh) 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN115035580A (zh) 一种人物数字孪生构建方法及系统
KR20190078890A (ko) 그리드 기반의 평면 추정 방법 및 장치
Chahine et al. Deep portrait quality assessment. a NTIRE 2024 challenge survey

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 5

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 7