KR20150093972A - 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 - Google Patents

스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 Download PDF

Info

Publication number
KR20150093972A
KR20150093972A KR1020140014664A KR20140014664A KR20150093972A KR 20150093972 A KR20150093972 A KR 20150093972A KR 1020140014664 A KR1020140014664 A KR 1020140014664A KR 20140014664 A KR20140014664 A KR 20140014664A KR 20150093972 A KR20150093972 A KR 20150093972A
Authority
KR
South Korea
Prior art keywords
face
image
stereo camera
dimensional
stereo
Prior art date
Application number
KR1020140014664A
Other languages
English (en)
Other versions
KR102135770B1 (ko
Inventor
김갑기
윤승욱
황본우
임성재
전혜령
최진성
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140014664A priority Critical patent/KR102135770B1/ko
Priority to US14/609,887 priority patent/US10043278B2/en
Publication of KR20150093972A publication Critical patent/KR20150093972A/ko
Application granted granted Critical
Publication of KR102135770B1 publication Critical patent/KR102135770B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 방법은, 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득하는 단계와, 상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 단계, 및 상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 단계를 포함한다.

Description

스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치{METHOD AND APPARATUS FOR RECONSTRUCTING 3D FACE WITH STEREO CAMERA}
본 발명은 의료 서비스 등에 적용되는 스테레오 카메라 기반의 고정밀 얼굴 복원 기술에 관한 것이다.
종래 의료 서비스 분야에서 피촬영자에 대한 영상을 촬상하는 다양한 방식이 사용되고 있다.
즉, 종래의 일실시예에서는, 능동형 센서(예, 3D 스캐너, 구조광 등)를 기반으로 피촬영자에 대한 영상을 촬상 함으로써, 고정밀도 결과를 생성할 수 있었다.
하지만, 능동형 센서를 이용한 방식의 경우, 비교적 정확도가 높은 결과를 얻을 수 있지만, 피촬영자가 촬영 시간 동안 부동의 자세를 유지해야 할 뿐만 아니라, 능동형 센서의 종류에 따라서는 피촬영자의 눈에 피로감을 증가시킬 수 있다는 문제점을 가지고 있다. 대개 피촬영자는 환자인 경우가 많으므로 움직임 없이 눈부심을 참고 촬영하는 것은 상당한 부담일 수 있다.
한편, 수동형 센서를 기반으로 한 촬상의 경우, 능동형 센서에 비해 정확도는 떨어질 수 있지만, 적절한 조명 하에서 비교적 짧은 시간 안에 피촬영자에 대한 촬상이 이루어지므로, 피촬영자의 움직임과 눈에 대한 피로감을 줄일 수 있게 된다.
이에 따라, 종래의 다른 일실시예에서는, 수동형 센서를 기반으로 한 단일 카메라를 이용하여 피촬영자를 여러 번 촬상하는 방식을 제안하고 있으나, 이 역시 피촬영자는 여러 번 촬영하는 동안 부동의 자세를 유지해야 하므로, 촬영에 대한 부담감을 느낄 수 있다는 문제점을 가지고 있다.
따라서, 능동형 센서를 기반으로 하는 고정밀도 얼굴 복원과 유사한 성능을 가지면서, 수동형 센서와 같이 피촬영자의 촬상에 대한 부담을 줄여 보다 수월하게 촬상을 수행할 수 있는 장치의 개발이 요구되고 있다.
본 발명의 실시예는 복수의 스테레오 카메라를 통해 피촬영자에 대한 영상을 촬상하고, 촬상된 각 영상으로부터 추출한 얼굴 영역을 이용하여 시점별 얼굴 영상을 복원 함으로써, 피촬영자의 피로감을 경감시키면서 능동형 센서와 유사한 성능으로 고정밀 3차원 얼굴을 복원할 수 있는 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치를 제공하는 것을 목적으로 한다.
또한 본 발명의 실시예는 수동형 센서를 기반으로 한 복수의 스테레오 카메라를 통해 피촬영자에 대한 영상을 동시 촬영 함으로써, 피촬영자에게 스캔을 하는 동안 움직임과, 눈부심 등과 같은 촬영에 대한 부담을 덜어 주고, 더불어 능동형 센서 못지 않은 고정밀 복원 성능을 가지는 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 방법은, 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득하는 단계와, 상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 단계, 및 상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 장치는, 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득하는 획득부와, 상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 추출부, 및 상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 복원부를 포함한다.
본 발명의 일실시예에 따르면, 복수의 스테레오 카메라를 통해 피촬영자에 대한 영상을 촬상하고, 촬상된 각 영상으로부터 추출한 얼굴 영역을 이용하여 시점별 얼굴 영상을 복원 함으로써, 피촬영자의 피로감을 경감시키면서 능동형 센서와 유사한 성능으로 고정밀 3차원 얼굴을 복원할 수 있다.
또한 본 발명의 일실시예에 따르면, 수동형 센서를 기반으로 한 복수의 스테레오 카메라를 통해 피촬영자에 대한 영상을 동시 촬영 함으로써, 피촬영자에게 스캔을 하는 동안 움직임과, 눈부심 등과 같은 촬영에 대한 부담을 덜어 주고, 더불어 능동형 센서 못지 않은 고정밀 복원 성능을 가질 수 있다.
또한 본 발명의 일실시예에 따르면, 치아 교정, 수술 후 자신의 모습을 예측하는 성형 등 의료 서비스 분야에 용이하게 적용 가능한 고정밀 3차원 얼굴 복원이 가능하게 된다.
도 1은 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 장치의 내부 구성을 도시한 도면이다.
도 2는 피촬영자에 대한 동기 영상을 획득하는 과정을 도시한 도면이다.
도 3은 얼굴 영역을 추출하는 과정을 도시한 도면이다.
도 4는 시점별 얼굴 영상을 복원하는 과정을 도시한 도면이다.
도 5는 오류 추정 정점을 제거하는 과정을 도시한 도면이다.
도 6은 시점별 얼굴 영상을 정합 처리하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 방법의 순서를 도시한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른 응용프로그램 업데이트 장치 및 방법에 대해 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명은 피촬영자에 대한 영상을 동시 촬영할 수 있도록 하기 위해, 수동형 센서를 기반으로 하는 복수의 스테레오 카메라를 구비하고, 또한, 각 스테레오 카메라는 복수의 디지털 일안반사식(digital single-lens reflex, DSLR) 카메라를 포함하여 구성될 수 있다.
예를 들어, 본 발명은 3대의 스테레오 카메라(즉, 6대의 DSLR)를 제어하여 피촬영자에 대한 영상을 동시에 획득할 수 있다.
또한, 각 스테레오 카메라에 대한 영상 해상도는, 예를 들면, 최소 10만 화소 내외일 수 있다. 또한, 동기 영상 획득을 위한 각 스테레오 카메라의 신호에 반응 속도는, 예를 들면, 1/24 초보다 빠르도록 정의될 수 있다.
도 1은 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 장치의 내부 구성을 도시한 도면이다.
도 1을 참조하면, 스테레오 카메라 기반의 3차원 얼굴 복원 장치(100)는 획득부(110), 추출부(120) 및 복원부(130)를 포함하여 구성할 수 있다. 또한, 실시예에 따라, 3차원 얼굴 복원 장치(100)는 정합부(140) 및 메모리(150)를 각각 추가하여 구성할 수 있다.
획득부(110)는 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득한다.
여기서, 상기 영상 획득 요청은 유무선 장비를 이용한 하드웨어 방식 또는 PC 화면 상에서 버튼 클릭을 통한 소프트웨어 방식으로 발생될 수 있다.
획득부(110)는 상기 복수의 스테레오 카메라 각각의 종류 별로 동기 신호를 발생시켜, 상기 복수의 스테레오 카메라에서 상기 피촬영자에 대한 영상을 동시 촬상하도록 제어하고, 상기 동시 촬상에 따라 식별정보에 대응하여 메모리(150)에 보관 유지되는 상기 각 영상을 리드하여 획득할 수 있다.
예를 들어, 획득부(110)는 유무선 장비에 의해 발생되는 하드웨어(H/W) 신호, 또는 PC 화면 상에서 사용자의 버튼 클릭에 따라 발생되는 소프트웨어(S/W) 신호를, 사용자 획득 신호로서 검출할 수 있다.
이후, 획득부(110)는 상기 사용자 획득 신호로서 하드웨어 신호 또는 소프트웨어 신호를 검출하면, 복수의 스테레오 카메라로부터 동기 영상을 획득하기 위한 하드웨어 신호를 재발생할 수 있다.
즉, 획득부(110)는 연결된 각 스테레오 카메라의 종류에 상응하는 동기 신호를 발생시켜, 각 스테레오 카메라가 피촬영자에 대한 영상을 동시 촬상하도록 할 수 있다.
이어서, 획득부(110)는 각 스테레오 카메라에 의해 동시 촬상된 각 영상을, 식별정보(예를 들면, 이름 또는 번호 등)에 연관시켜 메모리(150)에 다운로드하여 보관 유지할 수 있다.
추출부(120)는 상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출한다.
일례로, 추출부(120)는 상기 각 스테레오 카메라 별 가이드 라인을 기준으로, 상기 영상에 포함된 배경 영역을 모델링하고, 상기 모델링을 통해 획득된 영역으로부터 제1 배경 부분을 제거하여, 상기 얼굴 영역을 추출할 수 있다.
복수의 스테레오 카메라로부터 획득한 각 영상은 배경 영역과 배경 및 전경이 혼재하는 영역을 포함할 수 있다. 추출부(120)는 각 영상에 대해, 가이드 라인을 기준으로 배경을 모델링하여, 각 영상으로부터, 얼굴 촬영을 위한 가이드 라인 밖에 해당하는 배경 영역을 제거할 수 있다.
여기서, 상기 가이드 라인은 하나의 스테레오 카메라에서만 표시될 수 있으며, 추출부(120)는 보정 인자를 이용하여 각 스테레오 카메라에서의 가이드 라인을 추정하여, 상기 각 영상으로부터 확실한 배경 영역을 제거할 수 있다.
또한, 추출부(120)는 상기 배경 영역을 제거하여 획득한 영역(즉, 배경 및 전경이 혼재하는 영역)으로부터, 상기 배경 영역과 화소가 유사한 제1 배경 부분을 제거할 수 있다.
이어서, 추출부(120)는 상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 제1 배경 부분을 제거한 나머지 영역에 포함되는 제2 배경 부분을 더 제거하거나, 또는 상기 제거된 제1 배경 부분에 포함되는 얼굴 부분을, 상기 나머지 영역에 추가하여, 상기 얼굴 영역을 추출할 수 있다.
제1 배경 부분이 제거된 나머지 영역에는, 얼굴 영역 이외의 부분이 전경으로 분류되어 포함될 수 있다. 이 경우, 추출부(120)는 사전에 입력된 피촬영자의 얼굴 크기 및 골격에 관한 얼굴 형태 정보를 이용하여, 상기 나머지 영역으로부터 제2 배경 부분을 더 제거하여, 얼굴 영역을 추출할 수 있다. 또는, 얼굴의 일부분이 상기 제1 배경 부분으로서 제거된 경우, 추출부(120)는 상기 얼굴 형태 정보를 이용하여, 제거된 얼굴의 일부분을 채워 얼굴 영역을 추출할 수 있다.
이후, 추출부(120)는 상기 얼굴 영역의 추출이 완료 됨에 따라, 상기 추출된 얼굴 영역에 해당하는 마스크 이미지를 생성할 수 있다.
복원부(130)는 상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원한다.
일례로, 복원부(130)는 상기 영상의 획득이 이루어진 스테레오 카메라에 관한 변위 맵(disparity map)을 생성하고, 상기 변위 맵을 이용하여, 상기 시점별 얼굴 영상에서 상기 얼굴 영역이 위치하는 3차원 좌표 값을 생성할 수 있다.
즉, 복원부(130)는 보정 인자를 이용하여, 각 스테레오 카메라로부터 획득한 각 영상의 에피폴라 라인(epipolar line)을 조정하고, 조정된 상기 각 영상 내 대응점에 대한 영상 간의 차이(disparity)를 2차원 지도(즉, 변위 맵)로 도시하고, 상기 대응점에서의 변위 값 및 주변 변위 값들과의 불일치 오차를 최소화하기 위해 정확하지 않은 변위 값을 제거할 수 있다. 이후, 복원부(130)는 변위 맵과 보정 인자를 이용하여, 상기 영상 내 임의의 점에 대한 3차원 좌표 값을 생성하고, 상기 3차원 좌표 값에 따라 3D 그래픽 다각형을 형성하고, 각 3D 그래픽 다각형 간의 위치 오차를 최소화할 수 있다.
정합부(140)는 상기 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거하고, 상기 오류 추정 정점이 제거된 상기 시점별 얼굴 영상을 정합 처리한다.
우선, 정합부(140)는 제1 얼굴 영상과 시점이 상이한 제2 얼굴 영상으로부터, 상기 제1 얼굴 영상 내 임의의 지점에 대한 대응점 및 상기 대응점에서의 변위 값을 구하고, 상기 변위 값을, 상기 제2 얼굴 영상으로부터 식별되는 주변 대응점에서의 변위 값과 비교할 수 있다. 상기 변위 값 및 상기 주변 대응점에서의 각 변위 값의 차가, 설정된 오차 범위를 초과하는 경우, 정합부(140)는 상기 제2 얼굴 영상으로부터 상기 대응점을 제거 함으로써, 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거할 수 있다.
이때, 정합부(140)는 상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 시점별 얼굴 영상으로부터 설정된 오차 범위를 초과하는 변위 값 또는 3차원 좌표 값을 갖는 지점을 식별하고, 상기 시점별 얼굴 영상으로부터 상기 식별된 지점을 제거할 수 있다.
예를 들어, 정합부(140)는 하나의 얼굴 영상을 기준으로 다른 하나의 얼굴 영상에서 대응점을 찾아 변위 값을 구하여, 대응점 간 변위 값을 비교하고, 대응점 간 변위 값이 특정 오차 이내인지를 판별하여, 상기 오류 추정 정점을 찾을 수 있다. 또는, 정합부(140)는 사전에 입력된 피촬영자의 얼굴 형태 정보(예컨대, 크기, 골격 등)를 이용하여, 복원된 시점별 얼굴 영상으로부터, 비정상적인 변위 값 또는 3차원 좌표 값을 찾아 오류 추정 정점으로 간주할 수 있다. 이후, 정합부(140)는 상기 오류 추정 정점을 시점별 얼굴 영상으로부터 제거할 수 있다.
즉, 정합부(140)는 각 시점별 얼굴 영상에 대한 오류 추정 정점의 제거를 통해 오류를 최소화한 뒤 정합 처리를 수행하여 최종 복원을 함으로써, 오류 값이 전파되는 것을 방지하고, 능동형 센서와 유사한 성능(예를 들어, 평균 오차 0.5mm)을 나타내는 고정밀도 얼굴 복원을 가능하게 할 수 있다.
이어서, 정합부(140)는 상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합하고, 상기 복수의 스테레오 카메라가 갖는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성하고, 상기 생성된 질감 지도에 대해, 전체 톤을 일치하도록 처리할 수 있다.
이때, 정합부(140)는 상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합 시, 병합되는 각 시점별 얼굴 영상 간 겹치는 영역을, 평균 값으로 병합할 수 있다.
또한, 정합부(140)는 각 스테레오 카메라가 가지는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성할 수 있다.
이때, 상기 질감 지도는 서로 다른 스테레오 카메라에서의 시야 부분 및 비시야 부분을 이용하여 획득되므로, 정합부(140)는 조명과 카메라의 상태 등에 따라 불일치한 질감을 일치시킬 수 있다.
따라서, 본 발명의 일실시예에 따르면, 복수의 스테레오 카메라를 통해 피촬영자에 대한 영상을 촬상하고, 촬상된 각 영상으로부터 추출한 얼굴 영역을 이용하여 시점별 얼굴 영상을 복원 함으로써, 피촬영자의 피로감을 경감시키면서 능동형 센서와 유사한 성능으로 고정밀 3차원 얼굴을 복원할 수 있다.
또한 본 발명의 일실시예에 따르면, 수동형 센서를 기반으로 한 복수의 스테레오 카메라를 통해 피촬영자에 대한 영상을 동시 촬영 함으로써, 피촬영자에게 스캔을 하는 동안 움직임과, 눈부심 등과 같은 촬영에 대한 부담을 덜어 주고, 더불어 능동형 센서 못지 않은 고정밀 복원 성능을 가질 수 있다.
또한 본 발명의 일실시예에 따르면, 치아 교정, 수술 후 자신의 모습을 예측하는 성형 등 의료 서비스 분야에 용이하게 적용 가능한 고정밀 3차원 얼굴 복원이 가능하게 된다.
도 2는 피촬영자에 대한 동기 영상을 획득하는 과정을 도시한 도면이다.
도 2를 참조하면, 3차원 얼굴 복원 장치는 촬영자의 영상 획득 요청에 따라 발생되는 사용자 획득 신호를 검출할 수 있다(사용자 획득 신호 검출, User Capture Signal Receiving).
예를 들어, 3차원 얼굴 복원 장치는 유무선 장비에 의해 발생되는 하드웨어(H/W) 신호, 또는 PC 화면 상에서 사용자의 버튼 클릭에 따라 발생되는 소프트웨어(S/W) 신호를, 상기 사용자 획득 신호로서 검출할 수 있다.
이어서, 3차원 얼굴 복원 장치는 상기 사용자 획득 신호로서 하드웨어 신호 또는 소프트웨어 신호를 검출하면, 복수의 스테레오 카메라로부터 동기 영상을 획득하기 위해 하드웨어 신호를 재발생할 수 있다(하드웨어 신호 재발생, H/W Signal Re-Generating).
다시 말해, 3차원 얼굴 복원 장치는 연결된 각 스테레오 카메라의 종류에 상응하는 동기 신호를 발생시켜, 각 스테레오 카메라가 피촬영자에 대한 영상을 동시 촬상하도록 할 수 있다.
이어서, 3차원 얼굴 복원 장치는 각 스테레오 카메라에 의해 동시 촬상된 각 영상을, 식별정보(예를 들면, 이름 또는 번호 등)에 연관시켜 메모리(예컨대, 하드디스크)에 다운로드하여 보관 유지할 수 있다(영상 다운로딩, Image Downloading).
도 3은 얼굴 영역을 추출하는 과정을 도시한 도면이다.
도 3을 참조하면, 3차원 얼굴 복원 장치는 각 스테레오 카메라에서 촬상된 영상 각각에서 배경을 제거하여 전경(즉, 얼굴 영역)을 추출하고, 전경에 해당하지 않는 부분은 다시 제거할 수 있다.
일례로, 복수의 스테레오 카메라로부터 획득한 각 영상은 배경 영역과 배경 및 전경이 혼재하는 영역을 포함할 수 있다. 3차원 얼굴 복원 장치는 각 영상에 대해, 가이드 라인을 기준으로 배경 모델링을 수행할 수 있다. 다시 말해, 3차원 얼굴 복원 장치는 각 영상으로부터, 얼굴 촬영을 위한 가이드 라인 밖에 해당하는 배경 영역을 제거할 수 있다(배경 영역 모델링, Background Region Modeling).
여기서, 상기 가이드 라인은 하나의 스테레오 카메라에서만 표시될 수 있으며, 3차원 얼굴 복원 장치는 보정 인자를 이용하여 각 스테레오 카메라에서의 가이드 라인을 추정하여, 상기 각 영상으로부터 확실한 배경 영역을 제거할 수 있다.
이어서, 3차원 얼굴 복원 장치는 상기 배경 영역을 제거하여 획득한 영역(즉, 배경 및 전경이 혼재하는 영역)으로부터, 상기 배경 영역과 화소가 유사한 제1 배경 부분을 제거할 수 있다(배경 제거, Background Removal).
또한, 제1 배경 부분이 제거된 나머지 영역에는, 얼굴 영역 이외의 부분이 전경으로 분류되어 포함될 수 있다. 이 경우, 3차원 얼굴 복원 장치는 사전에 입력된 피촬영자의 얼굴 크기 및 골격에 관한 얼굴 형태 정보를 이용하여, 상기 나머지 영역으로부터 제2 배경 부분을 더 제거하여, 얼굴 영역을 추출할 수 있다. 또는, 얼굴의 일부분이 상기 제1 배경 부분으로서 제거된 경우, 3차원 얼굴 복원 장치는 상기 얼굴 형태 정보를 이용하여, 제거된 얼굴의 일부분을 채워 얼굴 영역을 추출할 수 있다(후 처리, Post-Processing).
이어서, 3차원 얼굴 복원 장치는 상기 얼굴 영역의 추출이 완료 됨에 따라, 상기 얼굴 영역에 해당하는 마스크 이미지를 생성할 수 있다.
도 4는 시점별 얼굴 영상을 복원하는 과정을 도시한 도면이다.
도 4를 참조하면, 3차원 얼굴 복원 장치는 보정 인자를 이용하여, 각 스테레오 카메라로부터 획득한 두 개 영상의 에피폴라 라인을 조정할 수 있다(영상 조정, Image Warping).
이어서, 3차원 얼굴 복원 장치는 보정 인자를 이용하여 조정된 상기 각 영상 내 대응점에 대한 영상 간의 차이(disparity)를 2차원 지도(변위 맵)로 도시하고, 상기 대응점에서의 변위 값 및 주변 변위 값들과의 불일치 오차를 최소화하기 위해 정확하지 않은 변위 값을 제거할 수 있다(스테레오 정합, Stereo Matching).
이어서, 3차원 얼굴 복원 장치는 변위 맵과 보정 인자를 이용하여, 상기 영상 내 임의의 점에 대한 3차원 좌표 값을 생성하고, 상기 3차원 좌표 값에 따라 3D 그래픽 다각형을 형성하고, 각 3D 그래픽 다각형 간의 위치 오차를 최소화할 수 있다(3차원 얼굴 복원, 3D Face Reconstruction).
도 5는 오류 추정 정점을 제거하는 과정을 도시한 도면이다.
도 5를 참조하면, 3차원 얼굴 복원 장치는 각 스테레오 카메라를 통해 획득한 영상으로부터 추출한 얼굴 영역을 이용하여, 도 5의 (ⅰ)과 같이 시점 별로 얼굴 영상을 복원할 수 있다.
이때, 3차원 얼굴 복원 장치는 시점별 얼굴 영상을, 해당 시점에 설치된 스테레오 카메라에 의해 촬상된 영상을 이용하여 복원하게 되므로, 해당 시점에서 정확하게 촬영되지 않은 영역(예를 들면, 도 5의 (ⅰ)에서 마크된 부분)에 대해서는 복원 시 정확도가 떨어질 수 있다.
이에 따라, 3차원 얼굴 복원 장치는 각 시점별 얼굴 영상에서 정확하게 촬영되지 않은 영역, 즉 오류 추정 정점을 찾아 각 시점별 얼굴 영상으로부터 제거할 수 있다(도 5의 (ⅱ) 참조).
예를 들어, 3차원 얼굴 복원 장치는 하나의 얼굴 영상을 기준으로 다른 하나의 얼굴 영상에서 대응점을 찾아 변위 값을 구하여, 대응점 간 변위 값을 비교하고, 대응점 간 변위 값이 특정 오차 이내인지를 판별하여, 상기 오류 추정 정점을 찾을 수 있다. 또는, 3차원 얼굴 복원 장치는 사전에 입력된 피촬영자의 얼굴 형태 정보(예컨대, 크기, 골격 등)를 이용하여, 복원된 시점별 얼굴 영상으로부터, 비정상적인 변위 값 또는 3차원 좌표 값을 찾아 오류 추정 정점으로 간주할 수 있다. 이후, 3차원 얼굴 복원 장치는 상기 오류 추정 정점을 시점별 얼굴 영상으로부터 제거할 수 있다
또한, 3차원 얼굴 복원 장치는 오류 추정 정점이 제거된 각 시점별 얼굴 영상을, 도 5의 (ⅲ)과 같이 정합 처리 함으로써, 피촬영자의 얼굴 복원 시 오류를 최소화하여 정확도를 높일 수 있다.
즉, 3차원 얼굴 복원 장치는 각 시점별 얼굴 영상에 대한 오류 추정 정점의 제거를 통해 오류를 최소화한 뒤 정합 처리를 수행하여 최종 복원을 함으로써, 오류 값이 전파되는 것을 방지하고, 능동형 센서와 유사한 성능(예를 들어, 평균 오차 0.5mm)을 나타내는 고정밀도 얼굴 복원을 가능하게 할 수 있다.
도 6은 시점별 얼굴 영상을 정합 처리하는 과정을 도시한 도면이다.
도 6을 참조하면, 스테레오 카메라 기반의 3차원 얼굴 복원 장치는 스테레오 카메라 별로 복원된 각 시점별 얼굴 영상을 보정 인자를 이용하여 하나의 얼굴 영상이 되도록 병합할 수 있다. 상기 병합 과정이며 겹치는 영역에 대해서는 평균 값에 따라 병합될 수 있다(외형 통합, Shape Merging).
이어서, 3차원 얼굴 복원 장치는 각 스테레오 카메라가 가지는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성할 수 있다(얼굴 질감 지도 생성, Face Texture Map Generation).
한편, 상기 질감 지도는 서로 다른 스테레오 카메라에서의 시야 부분 및 비시야 부분을 이용하여 획득되므로, 조명과 카메라의 상태에 따라 상이한 톤의 질감 지도가 생성될 수 있다. 이에 따라, 3차원 얼굴 복원 장치는 불일치한 질감을 일치시키는 기능을 수행할 수 있다(톤 일치된 얼굴 질감 지도 생성, Tone Matched Face Texture Map Generation).
이하, 도 7에서는 본 발명의 실시예들에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 장치(100)의 작업 흐름을 상세히 설명한다.
도 7은 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 방법의 순서를 도시한 흐름도이다.
본 실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 방법은 상술한 3차원 얼굴 복원 장치(100)에 의해 수행될 수 있다.
도 7을 참조하면, 단계(710)에서 3차원 얼굴 복원 장치(100)는 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득한다.
예를 들어, 3차원 얼굴 복원 장치(100)는 유무선 장비에 의해 발생되는 하드웨어(H/W) 신호, 또는 PC 화면 상에서 사용자의 버튼 클릭에 따라 발생되는 소프트웨어(S/W) 신호를, 사용자 획득 신호로서 검출할 수 있다.
3차원 얼굴 복원 장치(100)는 상기 사용자 획득 신호의 검출에 따라 영상 획득 요청을 감지하고, 이에 따라, 상기 복수의 스테레오 카메라 각각의 종류 별로 동기 신호를 발생시켜, 상기 복수의 스테레오 카메라에서 상기 피촬영자에 대한 영상을 동시 촬상하도록 제어하고, 상기 동시 촬상에 따라 식별정보에 대응하여 메모리에 보관 유지되는 상기 각 영상을 리드하여 획득할 수 있다.
단계(720)에서 3차원 얼굴 복원 장치(100)는 상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출한다.
즉, 복수의 스테레오 카메라로부터 획득한 각 영상은 배경 영역과 배경 및 전경이 혼재하는 영역을 포함할 수 있다. 3차원 얼굴 복원 장치(100)는 각 영상에 대해, 가이드 라인을 기준으로 배경을 모델링하여, 각 영상으로부터, 얼굴 촬영을 위한 가이드 라인 밖에 해당하는 배경 영역을 제거할 수 있다.
또한, 3차원 얼굴 복원 장치(100)는 상기 배경 영역을 제거하여 획득한 영역(즉, 배경 및 전경이 혼재하는 영역)으로부터, 상기 배경 영역과 화소가 유사한 제1 배경 부분을 제거할 수 있다.
제1 배경 부분이 제거된 나머지 영역에는, 얼굴 영역 이외의 부분이 전경으로 분류되어 포함될 수 있다. 이 경우, 3차원 얼굴 복원 장치(100)는 사전에 입력된 피촬영자의 얼굴 크기 및 골격에 관한 얼굴 형태 정보를 이용하여, 상기 나머지 영역으로부터 제2 배경 부분을 더 제거하여, 얼굴 영역을 추출할 수 있다. 또는, 얼굴의 일부분이 상기 제1 배경 부분으로서 제거된 경우, 3차원 얼굴 복원 장치(100)는 상기 얼굴 형태 정보를 이용하여, 제거된 얼굴의 일부분을 채워 얼굴 영역을 추출할 수 있다.
단계(730)에서 3차원 얼굴 복원 장치(100)는 상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원한다.
즉, 3차원 얼굴 복원 장치(100)는 상기 영상의 획득이 이루어진 스테레오 카메라에 관한 변위 맵을 생성하고, 상기 변위 맵을 이용하여, 상기 시점별 얼굴 영상에서 상기 얼굴 영역이 위치하는 3차원 좌표 값을 생성할 수 있다.
단계(740)에서 3차원 얼굴 복원 장치(100)는 상기 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거한다.
우선, 3차원 얼굴 복원 장치(100)는 제1 얼굴 영상과 시점이 상이한 제2 얼굴 영상으로부터, 상기 제1 얼굴 영상 내 임의의 지점에 대한 대응점 및 상기 대응점에서의 변위 값을 구하고, 상기 변위 값을, 상기 제2 얼굴 영상으로부터 식별되는 주변 대응점에서의 변위 값과 비교할 수 있다. 상기 변위 값 및 상기 주변 대응점에서의 각 변위 값의 차가, 설정된 오차 범위를 초과하는 경우, 3차원 얼굴 복원 장치(100)는 상기 제2 얼굴 영상으로부터 상기 대응점을 제거 함으로써, 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거할 수 있다.
즉, 3차원 얼굴 복원 장치(100)는 각 시점별 얼굴 영상에 대한 오류 추정 정점의 제거를 통해 오류를 최소화한 뒤 정합 처리를 수행하여 최종 복원을 함으로써, 오류 값이 전파되는 것을 방지하고, 능동형 센서와 유사한 성능(예를 들어, 평균 오차 0.5mm)을 나타내는 고정밀도 얼굴 복원을 가능하게 할 수 있다.
단계(750)에서 3차원 얼굴 복원 장치(100)는 상기 오류 추정 정점이 제거된 상기 시점별 얼굴 영상을 정합 처리한다.
즉, 3차원 얼굴 복원 장치(100)는 상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합하고, 상기 복수의 스테레오 카메라가 갖는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성하고, 상기 생성된 질감 지도에 대해, 전체 톤을 일치하도록 처리할 수 있다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 3차원 얼굴 복원 장치
110: 획득부
120: 추출부
130: 복원부
140: 정합부
150: 메모리

Claims (20)

  1. 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득하는 단계;
    상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 단계; 및
    상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  2. 제1항에 있어서,
    상기 시점별 얼굴 영상을 복원하는 단계는,
    상기 영상의 획득이 이루어진 스테레오 카메라에 관한 변위 맵(disparity map)을 생성하는 단계; 및
    상기 변위 맵을 이용하여, 상기 시점별 얼굴 영상에서 상기 얼굴 영역이 위치하는 3차원 좌표 값을 생성하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  3. 제1항에 있어서,
    상기 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거하는 단계; 및
    상기 오류 추정 정점이 제거된 상기 시점별 얼굴 영상을 정합 처리하는 단계
    를 더 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  4. 제3항에 있어서,
    상기 오류 추정 정점을 제거하는 단계는,
    제1 얼굴 영상과 시점이 상이한 제2 얼굴 영상으로부터, 상기 제1 얼굴 영상 내 임의의 지점에 대한 대응점 및 상기 대응점에서의 변위 값을 구하는 단계;
    상기 변위 값을, 상기 제2 얼굴 영상으로부터 식별되는 주변 대응점에서의 변위 값과 비교하는 단계; 및
    상기 변위 값 및 상기 주변 대응점에서의 각 변위 값의 차가, 설정된 오차 범위를 초과하는 경우, 상기 제2 얼굴 영상으로부터 상기 대응점을 제거하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  5. 제3항에 있어서,
    상기 오류 추정 정점을 제거하는 단계는,
    상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 시점별 얼굴 영상으로부터 설정된 오차 범위를 초과하는 변위 값 또는 3차원 좌표 값을 갖는 지점을 식별하는 단계; 및
    상기 시점별 얼굴 영상으로부터 상기 식별된 지점을 제거하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  6. 제3항에 있어서,
    상기 정합 처리하는 단계는,
    상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합하는 단계;
    상기 복수의 스테레오 카메라가 갖는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성하는 단계; 및
    상기 생성된 질감 지도에 대해, 전체 톤을 일치하도록 처리하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  7. 제6항에 있어서,
    상기 하나의 얼굴 영상이 되도록 병합하는 단계는,
    상기 병합되는 각 시점별 얼굴 영상 간 겹치는 영역을, 평균 값으로 병합하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  8. 제1항에 있어서,
    상기 피촬영자에 대한 영상을 획득하는 단계는,
    상기 복수의 스테레오 카메라 각각의 종류 별로 동기 신호를 발생시켜, 상기 복수의 스테레오 카메라에서 상기 피촬영자에 대한 영상을 동시 촬상하도록 제어하는 단계; 및
    상기 스테레오 카메라 별로 동시 촬상된 각 영상을, 식별정보와 연관시켜 메모리에 보관 유지하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  9. 제1항에 있어서,
    상기 영상 획득 요청은,
    유무선 장비를 이용한 하드웨어 방식 또는 PC 화면 상에서 버튼 클릭을 통한 소프트웨어 방식으로 발생되는
    스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  10. 제1항에 있어서,
    상기 영상으로부터, 상기 얼굴 영역을 추출하는 단계는,
    상기 각 스테레오 카메라 별 가이드 라인을 기준으로, 상기 영상에 포함된 배경 영역을 모델링하는 단계; 및
    상기 모델링을 통해 획득된 영역으로부터 제1 배경 부분을 제거하여, 상기 얼굴 영역을 추출하는 단계
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  11. 제10항에 있어서,
    상기 얼굴 영역을 추출하는 단계는,
    상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 제1 배경 부분을 제거한 나머지 영역에 포함되는 제2 배경 부분을 더 제거하는 단계; 또는
    상기 제거된 제1 배경 부분에 포함되는 얼굴 부분을, 상기 나머지 영역에 추가하여, 상기 얼굴 영역을 추출하는 단계
    를 더 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  12. 제1항에 있어서,
    상기 추출된 얼굴 영역에 대해, 마스크 이미지를 생성하는 단계
    를 더 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  13. 제1항에 있어서,
    상기 각 스테레오 카메라는,
    복수의 디지털 일안반사식(digital single-lens reflex, DSLR) 카메라를 포함하여 구성되는
    스테레오 카메라 기반의 3차원 얼굴 복원 방법.
  14. 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득하는 획득부;
    상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 추출부; 및
    상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 복원부
    를 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 장치.
  15. 제14항에 있어서,
    상기 복원부는,
    상기 영상의 획득이 이루어진 스테레오 카메라에 관한 변위 맵(disparity map)을 생성하고, 상기 변위 맵을 이용하여, 상기 시점별 얼굴 영상에서 상기 얼굴 영역이 위치하는 3차원 좌표 값을 생성하는
    스테레오 카메라 기반의 3차원 얼굴 복원 장치.
  16. 제14항에 있어서,
    상기 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거하고, 상기 오류 추정 정점이 제거된 상기 시점별 얼굴 영상을 정합 처리하는 정합부
    를 더 포함하는 스테레오 카메라 기반의 3차원 얼굴 복원 장치.
  17. 제16항에 있어서,
    상기 정합부는,
    제1 얼굴 영상과 시점이 상이한 제2 얼굴 영상으로부터, 상기 제1 얼굴 영상 내 임의의 지점에 대한 대응점 및 상기 대응점에서의 변위 값을 구하고,
    상기 변위 값을, 상기 제2 얼굴 영상으로부터 식별되는 주변 대응점에서의 변위 값과 비교하고,
    상기 변위 값 및 상기 주변 대응점에서의 각 변위 값의 차가, 설정된 오차 범위를 초과하는 경우, 상기 제2 얼굴 영상으로부터 상기 대응점을 제거하는
    스테레오 카메라 기반의 3차원 얼굴 복원 장치.
  18. 제16항에 있어서,
    상기 정합부는,
    상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 시점별 얼굴 영상으로부터 설정된 오차 범위를 초과하는 변위 값 또는 3차원 좌표 값을 갖는 지점을 식별하고, 상기 시점별 얼굴 영상으로부터 상기 식별된 지점을 제거하는
    스테레오 카메라 기반의 3차원 얼굴 복원 장치.
  19. 제16항에 있어서,
    상기 정합부는,
    상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합하고, 상기 복수의 스테레오 카메라가 갖는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성하고, 상기 생성된 질감 지도에 대해, 전체 톤을 일치하도록 처리하는
    스테레오 카메라 기반의 3차원 얼굴 복원 장치.
  20. 제14항에 있어서,
    상기 획득부는,
    상기 복수의 스테레오 카메라 각각의 종류 별로 동기 신호를 발생시켜, 상기 복수의 스테레오 카메라에서 상기 피촬영자에 대한 영상을 동시 촬상하도록 제어하고, 상기 스테레오 카메라 별로 동시 촬상된 각 영상을, 식별정보와 연관시켜 메모리에 보관 유지하는
    스테레오 카메라 기반의 3차원 얼굴 복원 장치.
KR1020140014664A 2014-02-10 2014-02-10 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 KR102135770B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140014664A KR102135770B1 (ko) 2014-02-10 2014-02-10 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US14/609,887 US10043278B2 (en) 2014-02-10 2015-01-30 Method and apparatus for reconstructing 3D face with stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140014664A KR102135770B1 (ko) 2014-02-10 2014-02-10 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150093972A true KR20150093972A (ko) 2015-08-19
KR102135770B1 KR102135770B1 (ko) 2020-07-20

Family

ID=53775360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140014664A KR102135770B1 (ko) 2014-02-10 2014-02-10 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치

Country Status (2)

Country Link
US (1) US10043278B2 (ko)
KR (1) KR102135770B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926510B1 (ko) * 2018-03-14 2019-03-07 주식회사 월드씨엔에스 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
CN110070608A (zh) * 2019-04-11 2019-07-30 浙江工业大学 一种自动删除基于图像的三维重建冗余点的方法
KR102292064B1 (ko) * 2020-08-11 2021-08-20 오승택 얼굴의 스테레오 복원에서 에러 영역 마스킹을 위한 딥러닝 트레이닝 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981078B (zh) * 2017-04-14 2019-12-31 广州视源电子科技股份有限公司 视线校正方法、装置、智能会议终端及存储介质
US10643383B2 (en) 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
CN112236737A (zh) * 2018-05-04 2021-01-15 谷歌有限责任公司 自动化助理的视觉提示的选择性检测
CN111508012B (zh) * 2019-01-31 2024-04-19 先临三维科技股份有限公司 线条纹误配检测和三维重建的方法、装置
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
DE112020005932T5 (de) 2019-11-30 2023-01-05 Boston Polarimetrics, Inc. Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR20240030109A (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 사용자 얼굴에 기초한 아바타를 제공하는 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100724889B1 (ko) * 2006-02-21 2007-06-04 삼성전자주식회사 이동통신 단말기에서 스테레오 영상을 이용한 거리 및3차원 영상 제공 장치 및 방법
US7925077B2 (en) * 1997-04-15 2011-04-12 Tyzx, Inc. Generation of a disparity result with low latency
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US8509561B2 (en) * 2007-02-28 2013-08-13 DigitalOptics Corporation Europe Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
KR20130112311A (ko) * 2012-04-03 2013-10-14 삼성테크윈 주식회사 고밀도 삼차원 영상 재구성 장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US7379559B2 (en) * 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
WO2006106522A2 (en) * 2005-04-07 2006-10-12 Visionsense Ltd. Method for reconstructing a three- dimensional surface of an object
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US20090153552A1 (en) * 2007-11-20 2009-06-18 Big Stage Entertainment, Inc. Systems and methods for generating individualized 3d head models
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
EP2328126A1 (en) * 2009-11-27 2011-06-01 Technical University of Denmark Genome-wide association study identifying determinants of facial characteristics for facial image generation
US8768044B2 (en) * 2010-09-14 2014-07-01 Texas Instruments Incorporated Automatic convergence of stereoscopic images based on disparity maps
WO2012078126A1 (en) * 2010-12-08 2012-06-14 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor
KR101818005B1 (ko) 2011-09-06 2018-01-16 한국전자통신연구원 얼굴 데이터 관리 시스템 및 그 방법
US20130272609A1 (en) * 2011-12-12 2013-10-17 Intel Corporation Scene segmentation using pre-capture image motion
KR101926577B1 (ko) 2012-02-23 2018-12-11 한국전자통신연구원 확장형 3차원 입체영상 디스플레이 시스템
KR20130115697A (ko) 2012-04-13 2013-10-22 주식회사 엔에프솔루션 치아 복원 시스템
KR102009292B1 (ko) * 2012-05-11 2019-08-12 한국전자통신연구원 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925077B2 (en) * 1997-04-15 2011-04-12 Tyzx, Inc. Generation of a disparity result with low latency
KR100724889B1 (ko) * 2006-02-21 2007-06-04 삼성전자주식회사 이동통신 단말기에서 스테레오 영상을 이용한 거리 및3차원 영상 제공 장치 및 방법
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US8509561B2 (en) * 2007-02-28 2013-08-13 DigitalOptics Corporation Europe Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
KR20130112311A (ko) * 2012-04-03 2013-10-14 삼성테크윈 주식회사 고밀도 삼차원 영상 재구성 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926510B1 (ko) * 2018-03-14 2019-03-07 주식회사 월드씨엔에스 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
CN110070608A (zh) * 2019-04-11 2019-07-30 浙江工业大学 一种自动删除基于图像的三维重建冗余点的方法
CN110070608B (zh) * 2019-04-11 2023-03-31 浙江工业大学 一种自动删除基于图像的三维重建冗余点的方法
KR102292064B1 (ko) * 2020-08-11 2021-08-20 오승택 얼굴의 스테레오 복원에서 에러 영역 마스킹을 위한 딥러닝 트레이닝 방법

Also Published As

Publication number Publication date
KR102135770B1 (ko) 2020-07-20
US10043278B2 (en) 2018-08-07
US20150228081A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
KR20150093972A (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US20180218507A1 (en) 3d reconstruction of a human ear from a point cloud
JP6587421B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
EP3447730B9 (en) Three-dimensional reconstruction method
CN109788215B (zh) 图像处理装置、计算机可读存储介质以及图像处理方法
KR102009292B1 (ko) 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
WO2013190862A1 (ja) 画像処理装置及び画像処理方法
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
KR102455468B1 (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
KR101593316B1 (ko) 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
CN105809664B (zh) 生成三维图像的方法和装置
JP2020053774A (ja) 撮像装置および画像記録方法
CN103500471A (zh) 实现高分辨率增强现实系统的方法
WO2014177604A1 (en) Method and system for generating a 3d model
KR20190055632A (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
KR20190129433A (ko) 파노라마 영상 생성 방법 및 그 장치
CN110288707B (zh) 一种三维动态建模的方法及其系统
JP2015005220A (ja) 情報表示装置及び情報表示方法
KR20230013851A (ko) 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치
JP2021149513A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant