KR102422822B1 - 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법 - Google Patents

Abstract

본 발명은 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지를 인가받아 미리 학습된 패턴 추정 방식에 따라 2D 얼굴 이미지의 패턴으로부터 매칭 파라미터를 추출하여 기지정된 3D 얼굴 모델을 2D 얼굴 이미지에 정렬시켜 UV 맵을 획득하는 얼굴 모델 정렬부; 및 미리 학습된 패턴 추정 방식에 따라 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 UV 맵에 발생된 홀 영역을 얼굴의 수평 대칭성에 기반하여 추정하여 채워 보상 UV 맵을 획득하고, 보상 UV 맵의 미세 특징을 추출하여, 미세 특징이 반영된 UV 맵을 복원함으로써 UV 완성 맵을 획득하는 UV 맵 완성부를 포함하고, 생성 손실과 판별 손실이 저감되도록 얼굴 모델 정렬부와 UV 맵 완성부를 경쟁 학습 방식으로 학습시켜, 전체 얼굴에 대해 캡쳐된 2D 얼굴 이미지가 제공되지 않더라도 완성된 UV 맵의 에너지에 기반하여 학습되어 캡쳐되지 않은 폐색 영역까지 세밀하고 정확하게 복원할 수 있는 3차원 얼굴 이미지 합성 장치 및 방법을 제공할 수 있다.

Description

경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법{APPARATUS AND METHOD FOR SYNTHESIZING 3D FACE IMAGE USING COMPETITIVE LEARNING}

본 발명은 3차원 얼굴 이미지 합성 장치 및 방법에 관한 것으로, 얼굴 정렬 및 색상 완성 사이의 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법에 관한 것이다.

얼굴 모델은 얼굴 합성, 3D 애니메이션 및 이미지 편집과 같은 다양한 응용 분야에서 사용되고 있다. 이에 인간과 같은 3D 얼굴을 구축하는 것은 컴퓨터 비전 및 컴퓨터 그래픽에서 중요한 이슈이다.

3D 얼굴 및 질감의 통계 모델인 3DMM(3D Morphable Model)은 2D 얼굴 이미지의 대상에서 3D 얼굴 이미지를 얻는 데 가장 널리 사용되는 모델이다. 스테레오 카메라와 같은 3D 센서의 출현으로 정확하고 많은 수의 3D 얼굴 데이터 세트를 수집할 수 있기 때문에, 3DMM은 자연스러운 다양한 얼굴 모양을 표현할 수 있는 강력한 기능을 가지고 있다.

그러나 2D 얼굴 이미지는 제한된 환경에서 캡쳐되므로, 3D 얼굴 모델을 이미지에 정확하게 정렬시키기 어렵다. 그리고 3D 얼굴 모델은 메쉬 타입으로 얼굴을 표현하므로, 3DMM 얼굴 모델 이미지에 정렬시키더라도 2D 얼굴 이미지에서 캡쳐되지 않은 영역에 대해서는 표현하기 어렵다는 한계가 있다. 뿐만 아니라, 3DMM의 표현 방식은 수염이나, 주름 및 점과 같은 얼굴 질감을 세밀하게 표현하기에는 불충분하다.

따라서 3D 얼굴 모델을 얼굴 이미지에 정확하게 정렬시킬 수 있고, 얼굴 이미지에서 캡쳐되지 않은 영역에 대해서도 자연스럽게 복원할 수 있을 뿐만 아니라, 세밀한 질감 표현이 가능한 3D 얼굴 이미지 합성 기법이 요구되고 있다.

한국 공개 특허 제10-2018-0082170호 (2018.07.18 공개)

본 발명의 목적은 얼굴 모델을 얼굴 이미지에 정확하게 정렬시켜 UV 맵을 획득하고, 획득된 UV 맵을 이용하여 2D 얼굴 이미지에서 캡쳐되지 않은 영역까지 세밀하게 표현할 수 있는 3차원 얼굴 이미지 합성 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 3D 얼굴 모델을 2D 얼굴 이미지에 정렬시키기 위해 2D 얼굴 이미지에 랜드마크나 특징점과 같은 조건을 설정할 필요가 없으며, 모든 얼굴 영역에 대해 캡쳐된 2D 얼굴 이미지가 학습을 위해 제공되지 않더라도, 용이하게 학습되어 얼굴 질감을 복원할 수 있는 3차원 얼굴 이미지 합성 장치 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3차원 얼굴 이미지 합성 장치는 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지를 인가받아 미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 패턴으로부터 매칭 파라미터를 추출하여 기지정된 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시켜 UV 맵을 획득하는 얼굴 모델 정렬부; 및 미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 상기 UV 맵에 발생된 홀 영역을 얼굴의 수평 대칭성에 기반하여 추정하여 채워 보상 UV 맵을 획득하고, 보상 UV 맵의 미세 특징을 추출하여, 미세 특징이 반영된 UV 맵을 복원함으로써 UV 완성 맵을 획득하는 UV 맵 완성부를 포함한다.

상기 얼굴 모델 정렬부는 패턴 추정 방식이 미리 학습된 인공 신경망으로 구현되어, 상기 2D 얼굴 이미지의 패턴으로부터 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시키기 위해 요구되는 형상 변화와 위치 및 지향 방향을 나타내는 상기 매칭 파라미터를 획득하는 UV 인코더; 상기 매칭 파라미터에 따라 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시키고, 상기 2D 얼굴 이미지를 상기 3D 얼굴 모델에 맵핑한 후, 맵핑된 3D 얼굴 모델을 기지정된 2차원의 UV 공간 상에 전개하여 상기 UV 맵을 획득하는 UV 맵핑부; 및 상기 UV 맵에서 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 발생되는 홀 영역을 검출하여 홀 영역에 대응하는 마스크를 생성하는 마스크 획득부를 포함할 수 있다.

상기 UV 맵 완성부는 상기 UV 맵과 상기 마스크를 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 UV 맵의 패턴으로부터 얼굴의 수평 대칭성에 기반하는 반사 계수를 추정하여 상기 UV 맵에 발생된 홀 영역의 색상을 채우고, 마스크가 결합된 UV 맵의 패턴으로부터 상기 홀 영역을 포함하는 상기 UV 맵의 조명에 따른 명암을 추출하여 채워 상기 보상 UV 맵을 획득하는 UV 맵 개략 추정부; 및 상기 보상 UV 맵과 상기 마스크를 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 보상 UV 맵의 미세 특징을 추출 및 복원함으로써 상기 UV 완성 맵을 획득하는 UV 맵 세부 추정부를 포함할 수 있다.

상기 UV 맵 완성부는 학습용 2D 얼굴 이미지와 상기 학습용 2D 얼굴 이미지에 대응하도록 미리 생성된 UV 맵인 기준 UV 맵이 매칭되어 포함된 학습 데이터를 이용하여, 상기 얼굴 모델 정렬부가 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정확하게 정렬시켰는지 여부를 상기 학습용 2D 얼굴 이미지로부터 획득된 UV 완성 맵인 학습 UV 완성 맵에 대해 기지정된 방식으로 계산되는 에너지로부터 생성 손실로 획득하고, 상기 UV 맵 완성부가 상기 학습 UV 완성 맵의 홀 영역을 정상적으로 채웠는지 여부를 마진이 고려된 상기 UV 완성 맵과 학습 UV 완성 맵 사이의 차로 계산하여 판별 손실을 획득하여, 상기 생성 손실과 상기 판별 손실이 저감되도록 상기 얼굴 모델 정렬부와 상기 UV 맵 완성부를 경쟁 학습 방식으로 학습시키는 에너지 판정부를 더 포함할 수 있다.

상기 UV 맵 개략 추정부는 상기 UV 맵과 상기 마스크를 기지정된 방식으로 결합하여 출력하는 제1 마스크 결합부; 인공 신경망으로 구현되는 인코더와 디코더를 포함하는 오토 인코더로 구현되어 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 UV 맵의 패턴으로부터 얼굴의 수평 대칭성에 기반하는 반사 계수를 추정하여 홀 영역을 포함한 전 영역의 색상이 추정된 UV 맵인 알베도 맵을 획득하는 반사 추정부; 상기 반사 추정부의 인코더와 디코더 각각의 서로 대응하는 레이어에서 출력되는 특징맵을 인가받고, 인코더와 디코더 각각에서 인가된 특징맵을 기반으로 미리 학습된 패턴 추정 방식에 따라 상기 UV 맵의 조명 계수를 추정하여 홀 영역을 포함한 전 영역의 색상이 추정된 UV 맵인 조명 맵을 획득하는 조명 추정부; 및 상기 알베도 맵과 상기 조명 맵을 원소 곱하여 상기 보상 UV 맵을 획득하는 보상 UV 맵 획득부를 포함할 수 있다.

상기 UV 맵 세부 추정부는 상기 보상 UV 맵과 상기 마스크를 기지정된 방식으로 결합하여 출력하는 제2 마스크 결합부; 및 인공 신경망으로 구현되는 인코더와 디코더를 포함하는 오토 인코더로 구현되어 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 보상 UV 맵의 패턴으로부터 미세 특징을 추출 및 복원하여 상기 UV 완성 맵을 획득하는 미세 추정부를 포함할 수 있다.

상기 에너지 판정부는 UV 맵(T)에서 마스크(M)에 의해 지정되는 홀 영역을 제외한 유효 영역에서의 픽셀 단위의 이미지 손실을 나타내는 UV 맵 이미지 에너지(E_uv(T,M))를 수학식

(여기서 Tc와 Tf는 각각 보상 UV 맵과 UV 완성 맵을 나타내며, ⊙는 원소 곱 연산자이다.)에 따라 계산하고, 상기 알베도 맵(A)이 얼굴의 수평 대칭성에 따라 홀 영역을 정상적으로 채워졌는지 여부를 나타내는 UV 맵 대칭 에너지(E_f(T,M))를 수학식

(여기서 flip()는 좌우 반전 함수이며,

이진 논리합(binary OR) 연산자이다.)에 따라 계산하며, 상기 UV 완성 맵의 세밀도를 나타내는 UV 맵 지각 에너지(E_p(T,M))를 수학식

(여기서 F는 n번째 선택된 레이어의 사전 훈련된 VGG(Visual Geometry Group) 얼굴 식별자이다.)에 따라 계산하여, 총 UV 에너지를

(여기서 λ_uv, λ_p 및 λ_f 는 에너지 가중치이다.)로 계산할 수 있다.

상기 에너지 판정부는 상기 얼굴 모델 정렬부가 상기 학습용 2D 얼굴 이미지로부터 3D 얼굴 모델을 정렬하여 획득한 UV 맵과 마스크인 학습 UV 맵(T_e)과 학습 마스크(M_e)에 대해 계산되는 총 학습 UV 에너지E(T_e, M_e)를 상기 생성 손실(L_G)로서 수학식

과 같이 획득하고, 상기 기준 UV 맵(T_ref)과 상기 기준 UV 맵(T_ref)에 대응하는 기준 마스크(M_ref)에 대해 계산되는 총 기준 UV 에너지E(T_ref, M_ref)와 총 학습 UV 에너지E(T_e, M_e) 및 마진을 이용하여 상기 판별 손실(L_D)을 수학식

과 같이 획득할 수 있다.

상기 에너지 판정부는 상기 생성 손실(L_G)과 상기 판별 손실(L_D) 각각 또는 상기 생성 손실(L_G)과 상기 판별 손실(L_D)의 합이 기지정된 기준 손실 이하가 되도록 반복하여 역전파하거나, 기지정된 횟수로 반복하여 역전파하여 학습을 수행할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 3차원 얼굴 이미지 합성 방법은 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지를 인가받아 미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 패턴으로부터 매칭 파라미터를 추출하여 기지정된 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시켜 UV 맵을 획득하는 단계; 및 미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 상기 UV 맵에 발생된 홀 영역을 얼굴의 수평 대칭성에 기반하여 추정하여 채워 보상 UV 맵을 획득하고, 보상 UV 맵의 미세 특징을 추출하여, 미세 특징이 반영된 UV 맵을 복원함으로써 UV 완성 맵을 획득하는 단계를 포함한다.

따라서, 본 발명의 실시예에 따른 3차원 얼굴 이미지 합성 장치 및 방법은 랜드마크나 특징점과 같은 제한조건 없이 3D 얼굴 모델을 2D 얼굴 이미지에 정확하게 정렬시켜 UV 맵을 획득할 수 있고, 전체 얼굴에 대해 캡쳐된 2D 얼굴 이미지가 제공되지 않더라도 완성된 UV 맵의 에너지에 기반하여 학습되어 캡쳐되지 않은 폐색 영역까지 세밀하고 정확하게 복원할 수 있다.

도 1은 본 발명의 일 실시예에 따른 3D 얼굴 이미지 합성 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 3D 얼굴 이미지 합성 장치의 동작을 설명하기 위한 도면이다.
도 3은 인공신경망을 이용한 도 1의 UV 맵 완성부의 구현 예를 나타낸다.
도 4는 도 1의 얼굴 모델 정렬부와 UV 맵 완성부의 경쟁 학습에 의한 성능을 비교하여 나타낸 도면이다.
도 5는 도 1의 3D 얼굴 이미지 합성 장치에 입력되는 2D 얼굴 이미지가 3D 얼굴 이미지로 합성되면서 변화되는 과정의 일 예를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 3D 얼굴 이미지 합성 방법을 나타낸다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 3D 얼굴 이미지 합성 장치의 개략적 구조를 나타내고, 도 2는 도 1의 3D 얼굴 이미지 합성 장치의 동작을 설명하기 위한 도면이며, 도 3은 인공신경망을 이용한 도 1의 UV 맵 완성부의 구현 예를 나타낸다.

도 1을 참조하면, 본 실시예에 따른 3D 얼굴 이미지 합성 장치는 얼굴 이미지 획득부(100), 얼굴 모델 정렬부(200), UV 맵 완성부(300) 및 3D 영상 합성부(400)를 포함할 수 있다.

얼굴 이미지 획득부(100)는 3D 얼굴 이미지를 생성하기 위한 2D 얼굴 이미지(I)를 획득한다. 즉 얼굴 이미지 획득부(100)는 3D 얼굴 이미지로 변환될 2D 얼굴 이미지(I)를 획득하기 위한 구성으로, 일 예로 카메라와 같은 비디오 영상 촬영 장치로 구현되거나, 미리 획득된 비디오 영상이 저장된 저장 장치 또는 네트워크를 통해 다른 기기로부터 비디오 영상을 인가받는 통신부 등으로 구현될 수 있다.

얼굴 모델 정렬부(200)는 미리 학습된 패턴 추정 방식에 따라 얼굴 이미지 획득부(100)가 획득한 2D 얼굴 이미지(I)에 대해 3D 얼굴 모델을 정렬시켜 맵핑하여 3D 얼굴 이미지를 획득하고, 획득된 3D 얼굴 이미지를 2차원의 UV 공간 상에 투사하여 UV 맵을 획득한다. 3D 여기서 3D 얼굴 모델은 3DMM에 기반하여 획득될 수 있다.

얼굴 이미지 획득부(100)에서 획득된 2D 얼굴 이미지(I)는 카메라 등을 이용하여 특정 방향 및 위치에서 대상자의 얼굴을 캡쳐한 이미지이다. 그리고 대상자의 얼굴 형상 또한 개개인에 따라 서로 상이하다.

이에 얼굴 모델 정렬부(200)는 2D 얼굴 이미지(I)를 3D 얼굴 모델에 맵핑하여 3D 얼굴 이미지로 변환하기 위해서는 우선 3D 얼굴 모델을 대상자의 얼굴 형상에 대응하는 형상으로 변형하고, 변형된 3D 얼굴 모델을 2D 얼굴 이미지가 캡쳐된 방향 및 위치에 대응하도록 회전 및 이동시켜 3D 얼굴 모델이 2D 얼굴 이미지(I)에 대응하여 정렬될 수 있도록 한다.

얼굴 모델 정렬부(200)는 UV 인코더(210)와 UV 맵핑부(220)를 포함할 수 있다. UV 인코더(210)는 인공 신경망으로 구현되어 3D 얼굴 모델과 2D 얼굴 이미지(I)를 정렬시키기 위한 매칭 파라미터를 추출한다.

일 예로 UV 인코더(210)는 미리 학습된 패턴 추정 방식에 따라 2D 얼굴 이미지(I)를 인코딩하여 3D 얼굴 모델의 형상을 변형하기 위한 형상 파라미터(f_s)와 3D 얼굴 모델 방향 및 위치를 조절하기 위한 위치 파라미터(f_c)를 매칭 파라미터로 추출할 수 있다. 여기서 형상 파라미터(f_s)는 3D 얼굴 모델의 형상이 2D 얼굴 이미지(I)에 포함된 대상자의 얼굴 형상에 대응하도록 변형하기 위한 파라미터이다. 그리고 위치 파라미터(f_c)는 2D 얼굴 이미지(I)를 획득하기 위해 적용된 카메라 파라미터인 카메라의 회전(R), 평행 이동(t) 및 초점 길이(f)등에 대응하여, 3D 얼굴 모델의 위치 및 지향 방향을 조절하기 위한 파라미터이다.

UV 맵핑부(220)는 UV 인코더(210)에서 획득된 매칭 파라미터 중 형상 파라미터(f_s)에 따라 3D 얼굴 모델의 외형을 변형하고, 위치 파라미터(f_c)에 따라 3D 얼굴 모델을 이동시켜 3D 얼굴 모델을 2D 얼굴 이미지(I)에 정렬시키고, 정렬된 2D 얼굴 이미지를 3D 얼굴 모델에 맵핑하여 2D 얼굴 이미지를 3D 얼굴 이미지로 변환한다.

그리고 변환된 3D 얼굴 이미지를 2차원의 UV 공간 상에 전개(unwrap)하여, 3D 얼굴 이미지에 대한 2차원의 UV 맵(T)을 획득한다. 이때 UV 맵(T)은 3D 얼굴 모델의 3차원 좌표를 기반으로 3D 얼굴 이미지를 2차원의 UV 공간에 전개하여 획득된다.

여기서 UV 맵(T)은 구형 전개(spherical unwrap)를 적용하여 메쉬 구조의 3D 얼굴 모델에서 각 꼭지점(F)의 3차원 좌표(X, Y, Z)를 수학식 1에 따라 UV 좌표계(v_uv = (u, v))의 좌표로 변환하여 획득될 수 있다.

여기서 r은 구형 전개 시에 구의 반지름으로

이다.

다만 상기한 바와 같이, 2D 얼굴 이미지(I)에서는 2D 이미지의 특성상 캡쳐된 영역만이 표현될 뿐, 대상자의 얼굴의 모든 영역이 표현되어 있지 않다. 따라서 캡쳐한 방향에 따라 대상자의 얼굴에서 캡쳐되지 않은 영역이 존재하며, 이러한 캡쳐되지 않은 폐색 영역은 2D 얼굴 이미지(I)를 3D 얼굴 모델에 맵핑하더라도 3D 얼굴 모델에 맵핑되지 않게 된다. 따라서 변환된 3D 얼굴 이미지로부터 UV 맵(T)을 획득하는 경우, 폐색 영역은 홀 영역으로 나타나게 된다.

이에 마스크 획득부(230)는 UV 맵(T)에서 2D 얼굴 이미지(I)의 각 화소에 대한 얼굴 가시성(facial visibility)을 샘플링하여 홀 영역을 나타내는 마스크(M)를 생성할 수 있으며, 얼굴 가시성은 래스터화(rasterization)를 통해 3D 얼굴 모델을 이미지 평면에 투영함으로써 판별될 수 있다. 마스크(M)는 이진 마스크로서 일 예로 홀 영역이 0으로 채워지고 나머지 영역은 1로 채워지도록 생성될 수 있다.

여기서 마스크 획득부(230)가 마스크(M)를 생성하는 것은 UV 맵 완성부(300)가 UV 맵의 홀 영역을 2D 얼굴 이미지(I)에 대응하는 질감(texture)으로 채울 때, 홀 영역에 의한 영향을 받지 않도록 하기 위함이다.

도 2를 참조하여 얼굴 모델 정렬부(200)의 동작을 살펴보면, 도 2에서는 이해의 편의를 위하여, 3D 얼굴 모델이 2D 얼굴 이미지(I)에 정확하게 정렬되는 경우와 잘못 정렬되는 경우를 (a)와 (b)로 구분하여 표현하였다.

이에 UV 인코더(210)가 정상적으로 학습되어 2D 얼굴 이미지(I)의 패턴을 정확하게 추정한 경우, UV 인코더(210)에서 추출한 매칭 파라미터(f_s, f_c)에 따라 3D 얼굴 모델을 변형하면, (a)에 도시된 바와 같이, 3D 얼굴 모델이 2D 얼굴 이미지(I)에서 나타난 대상자의 얼굴 형상과 지향 방향에 정확하게 정렬될 수 있다. 반면, UV 인코더(210)가 비정상적으로 학습된 경우, 매칭 파라미터(f_s, f_c)에 따라 3D 얼굴 모델을 변형하면, (b)에 도시된 바와 같이, 3D 얼굴 모델의 얼굴 형상이나 지향 방향이 2D 얼굴 이미지(I)의 대상자와 상이하게 정렬되게 된다.

그리고 (a)와 정상적으로 정렬된 UV 맵(T)에서는 얼굴 형태와 홀 영역이 정확한 위치에 표시되어 있는 반면, (b)와 비정상적으로 정렬된 UV 맵(T)에서는 2D 얼굴 이미지가 3D 얼굴 모델에서 잘못된 위치에 맵핑됨에 따라 UV 맵(T)에서 얼굴 형태가 비정상적으로 표현되었을 뿐만 아니라 홀 영역의 위치 또한 정상 정렬된 경우와 상이하게 나타나게 됨을 알 수 있다.

인공 신경망으로 구현되는 UV 인코더(210)를 포함하여 3D 얼굴 모델과 2D 얼굴 이미지(I)를 정렬시켜 UV 맵(T)을 획득하는 얼굴 모델 정렬부(200)는 정렬 네트워크(Alignment Network)라고도 할 수 있다.

UV 맵 완성부(300)는 얼굴 모델 정렬부(200)에서 획득된 UV 맵(T)을 인가받고, 미리 학습된 패턴 추정 방식에 따라 UV 맵(T)의 패턴을 추정하여 홀 영역에 질감을 채워 UV 맵을 완성한다.

UV 맵 완성부(300)는 UV 맵 개략 추정부(310) 및 UV 맵 세부 추정부(320)를 포함할 수 있다. UV 맵 개략 추정부(310)는 얼굴 모델 정렬부(200)에서 획득된 UV 맵(T)을 인가받아, 인가된 UV 맵(T)의 패턴으로부터 홀 영역에 대한 반사 계수(albedo)와 조명 계수(lighting coefficient)를 추정하여 UV 맵(T)에서 홀 영역의 색상 및 질감을 개략적으로 채움으로써 보상 UV 맵(T_c)을 획득한다.

UV 맵 개략 추정부(310)는 제1 마스크 결합부(311), 반사 추정부(312), 조명 추정부(313) 및 보상 UV 맵 획득부(314)를 포함할 수 있다.

제1 마스크 결합부(311)는 UV 맵핑부(22)에서 획득된 UV 맵(T)과 마스크 획득부(230)에서 획득된 마스크(M)를 결합하여 반사 추정부(312)로 전달한다. 이때 제1 마스크 결합부(311)는 UV 맵(T)과 마스크(M)를 단순 결합(concatenate)하거나 UV 맵(T)과 마스크(M)를 원소 곱 연산하여 반사 추정부(312)로 전달할 수 있다.

반사 추정부(312)는 패턴 추정 방식이 미리 학습된 인공 신경망으로 구현되어, 제1 마스크 결합부(311)에서 마스크(M)와 결합되어 인가되는 UV 맵(T)의 패턴을 추정하여, UV 맵(T)의 홀 영역의 반사 계수를 추정하여 채움으로써, 알베도 맵(A)을 획득한다.

반사 추정부(312)는 도 3에 도시된 바와 같이, 서로 대칭되는 구조의 다수의 레이어를 포함하는 인코더(en1)와 디코더(de1)가 조합된 오토 인코더(auto-encoder) 구조로 구성될 수 있다. 인코더(en1)는 마스크(M)에 의해 지정되는 홀 영역을 제외한 나머지 영역에서의 특징을 추출하여 특징맵을 획득하고, 디코더(de1)는 인코더(en1)에서 획득된 특징맵으로부터 업샘플링하여 홀 영역을 채워 알베도 맵(A)을 획득한다. 여기서 알베도 맵(A)은 3D 얼굴 모델을 고려하여 UV 맵의 각 위치에 따른 반사율을 추정하여 홀 영역을 채운 2D 이미지로서, 조명에 의한 영향을 제거한 이미지로 추출될 수 있다. 여기서 반사 추정부(312)는 UV 맵(T)에서 사람 얼굴의 수평 대칭성에 따라 홀 영역을 추정하도록 학습될 수 있다. 즉 사람의 얼굴은 기본적으로 수평 대칭을 이루므로, 스캔되지 않은 얼굴 영역인 홀 영역은 스캔된 얼굴 영역으로부터 대칭적으로 추정되어 채워질 수 있다.

이때, 인코더(en1)의 다수의 레이어는 게이트 콘볼루션 레이어(gated convolution layer)로 구성될 수 있으며, 디코더(de1)는 인코더(en1)에 대칭되는 구조로 구성될 수 있다.

한편, 조명 추정부(313)는 반사 추정부(312)의 인코더(en1)와 디코더(de1)의 다수의 레이어 중 미리 지정된 서로 대응하는 가운데 레이어들로부터 특징맵을 인가받고, 인가된 특징맵 사이의 패턴 차이를 기반으로 UV 맵의 조명 특징을 추출함으로써, 조명 맵(S)을 획득한다.

조명 추정부(313)가 반사 추정부(312)와 별도로 UV 맵(T)에서 조명에 의한 특징을 추출하여 조명 맵(S)을 생성함에 따라 조명 맵(S)은 조명으로 인한 특징 차이를 더욱 강조하여 UV 맵(T)의 홀 영역이 채워지도록 할 수 있을 뿐만 아니라, 반사 추정부(312)가 알베도에 집중된 특징을 추출하여 UV 맵(T)의 홀 영역을 채울 수 있도록 할 수 있다.

여기서 알베도 맵(A)은 UV 맵(T)의 홀 영역에 대한 색상을 채운 이미지로 볼 수 있으며, 조명 맵(S)은 UV 맵(T)의 홀 영역에 대한 명암을 채운 이미지로 볼 수 있다.

보상 UV 맵 획득부(314)는 반사 추정부(312)에서 추정된 알베도 맵(A)과 조명 추정부(313)에서 추정된 조명 맵(S)을 결합하여 보상 UV 맵(T_c)을 획득한다. 보상 UV 맵 획득부(314)는 일 예로 수학식 2와 같이, 알베도 맵(A)과 조명 맵(S)의 픽셀간 원소 곱에 의해 보상 UV 맵(T_c)을 획득할 수 있다.

여기서 ⊙는 원소 곱 연산자를 나타낸다.

일반적으로 사람의 얼굴 질감은 알베도와 조명에 의한 명암에 의해 표현될 수 있으며, 명암은 조명과 얼굴 표면 형상의 법선에 의해 결정될 수 있다. 따라서 UV 맵(T)에서 홀 영역의 각 픽셀 위치에 알베도와 명암을 적용하면, 홀 영역에 대한 질감이 개략적(coarse)으로 채워진 보상 UV 맵(T_c)을 획득할 수 있다.

인공 신경망으로 구현되는 반사 추정부(312), 조명 추정부(313)를 포함하여, 홀 영역에 대한 질감이 개략적으로 채워진 보상 UV 맵(T_c)을 획득하는 UV 맵 개략 추정부(310)를 개략적 네트워크(coarse network)라고 할 수 있다.

UV 맵 세부 추정부(320)는 UV 맵 개략 추정부(310)에서 개략적으로 채워진 보상 UV 맵(T_c)을 인가받고, 미리 학습된 패턴 추정 방식에 따라 보상 UV 맵(T_c)의 미세 특징을 추출하고, 추출된 미세 특징을 복원함으로써, 보상 UV 맵(T_c)보다 정밀한 질감을 갖는 UV 완성 맵(T_f)을 획득한다.

도 3에 도시된 바와 같이, UV 맵 세부 추정부(320)는 제2 마스크 결합부(321)와 미세 추정부(322)를 포함할 수 있다.

제2 마스크 결합부(321)는 보상 UV 맵(T_c)과 마스크(M)를 인가받아 결합한다. 이때 제2 마스크 결합부(321)는 보상 UV 맵(T_c)과 마스크(M)를 단순 결합하거나 UV 맵(T)과 마스크(M)를 원소 곱 연산하여 결합할 수 있다.

미세 추정부(322)는 UV 맵 개략 추정부(310)의 반사 추정부(312)와 유사하게 서로 대칭되는 구조의 다수의 레이어를 포함하는 인코더(en2)와 디코더(de2)가 조합된 오토 인코더로 구성될 수 있으나, UV 맵 개략 추정부(310)에 비해 더 정밀한 특징을 추출하고 복원할 수 있도록 더 많은 레이어를 포함하도록 구성될 수 있다. 그리고 인코더(en2)의 다수의 레이어도 게이트 콘볼루션 레이어로 구성될 수 있으며, 디코더(de2)는 인코더(en2)에 대칭되는 구조로 구성될 수 있다. 다만, 서로 대칭되는 구조의 인코더(en2)와 디코더(de2)의 조합으로 구성되는 UV 맵 세부 추정부(320)에서 가운데 위치하는 기지정된 개수의 레이어는 팽창된 게이트 콘볼루션 레이어(Dilated Gated Convolution)로 구성되어, 얼굴 표현의 정밀도를 개선하기 위한 다양한 수용 영역의 특징들을 추출할 수 있도록 한다.

상기한 바와 같이, UV 맵 완성부(300)가 UV 맵의 홀 영역에 대한 질감을 개략적으로 보완하여 UV 맵 개략 추정부(310)와 세밀한 질감으로 보상하는 UV 맵 세부 추정부(320)를 구분하여 구비함으로써, 본 실시예에 따른 3D 얼굴 이미지 합성 장치는 고품질로 완성되는 UV 맵을 획득할 수 있다.

한편 에너지 판정부(330)는 3D 얼굴 이미지 합성 장치에서 인공 신경망으로 구성되는 얼굴 모델 정렬부(200)의 UV 인코더(210)와, UV 맵 완성부(300)의 반사 추정부(312), 조명 추정부(313) 및 미세 추정부(322)를 학습시키기 위한 구성이다.

인공 신경망으로 구성되는 UV 인코더(210)와 반사 추정부(312), 조명 추정부(313) 및 미세 추정부(322)는 패턴 추정 방식이 미리 학습되어야 한다. UV 인코더(210)의 경우, 수학적 연산을 통해 3D 얼굴 모델을 2D 얼굴 이미지에 정렬하는 기존의 3D 얼굴 정렬 기법에 따라 대량의 학습 데이터를 획득할 수 있다. 비록 수학적 연산 방식으로 3D 얼굴을 2D 얼굴 이미지에 정렬하는 기법은 복잡한 연산 방식을 이용하므로 학습 데이터를 획득하는 것이 용이하지는 않지만, UV 인코더(210)를 학습시키기 위해 요구되는 개수의 학습 데이터를 획득할 수는 있다.

그리고 학습 데이터를 이용하여 UV 인코더(210)를 학습시키고자 하는 경우, UV 인코더(210)에 의한 UV 맵(T)의 손실(L_uv)은 수학식 3과 같이 계산될 수 있다.

여기서 T_ref 는 학습 데이터에 대해 수학적 연산 방식으로 획득된 학습 UV 맵을 나타내고, T_e 는 학습 데이터에 대해 얼굴 모델 정렬부(200)에서 출력되는 UV 맵을 나타내며, M_ref 는 학습 데이터에서 홀 영역을 나타내는 마스크를 의미한다. 그리고 ⊙는 원소 곱 연산자를 나타낸다.

수학식 3에 따르면, UV 인코더(210)는 마스크(M_ref)에 의해 지정되는 홀 영역을 제외한 나머지 영역에서 학습 UV 맵(T_ref)과 UV 맵(T_e) 사이의 차이로 계산되는 손실(L_uv)이 최소가 되도록 학습이 수행될 수 있다.

그러나 UV 맵(T)의 홀 영역은 2D 얼굴 이미지(I)에서 캡쳐되지 않아 질감 정보가 획득되지 않는 영역이다. 따라서 UV 맵 완성부(300)의 반사 추정부(312), 조명 추정부(313) 및 미세 추정부(322)를 학습시키기 위한 대상자의 얼굴의 모든 영역이 캡쳐된 2D 얼굴 이미지가 학습 데이터로 이용되어야 하므로, 학습 데이터를 획득하기가 용이하지 않다. 즉 UV 맵 완성부(300)를 학습시키기 위한 대량의 학습 데이터를 획득하기 어렵다.

이에 본 실시예에서는 에너지 판정부(330)를 포함하여, 얼굴 모델 정렬부(200)와 UV 맵 완성부(300)를 UV 에너지에 기반하는 생성적 적대 신경망(Generative Adversarial Network: 이하 GAN) 구조로 인식하여 얼굴 모델 정렬부(200)와 UV 맵 완성부(300) 사이에 경쟁적 학습이 수행되도록 한다.

이는 얼굴 모델 정렬부(200)가 3D 얼굴 모델을 2D 얼굴 이미지(I)에 정확하게 정렬하면, UV 맵 완성부(300)가 더욱 고품질의 UV 맵을 완성하게 된다는 개념을 이용한 것이다.

이를 위해서는 우선 UV 맵 완성부(300)의 손실을 정의할 필요가 있다. 이에 UV 맵 완성부(300)에서 반사 추정부(312), 조명 추정부(313) 및 미세 추정부(322)에 의한 손실을 에너지로서 계산하며, 먼저 인가되는 UV 맵(T)에서 마스크(M)에 의해 지정되는 홀 영역을 제외한 유효 영역에서의 픽셀 단위의 이미지 손실(E_uv(T,M))을 고려할 수 있다. UV 맵(T)에서 마스크(M)에 의한 홀 영역을 제외한 나머지 영역은 2D 얼굴 이미지로부터 획득된 질감이므로, 2D 얼굴 이미지의 질감이 최대한 유지되어야 하므로, UV 맵 이미지 에너지(E_uv(T,M))는 수학식 4에 따라 정의할 수 있다.

그리고 반사 추정부(312)가 사람 얼굴의 수평 대칭성에 따라 홀 영역을 정상적으로 채워 알배도 맵(A)을 획득하였는지 여부를 나타내는 UV 맵 대칭 에너지(E_f(T,M))를 수학식 5에 따라 정의할 수 있다.

여기서 flip()는 좌우 반전 함수이며,

이진 논리합(binary OR) 연산자이다.

한편, 미세 추정부(322)가 UV 맵을 세밀하게 완성하였는지 여부를 나타내는 UV 맵 지각 에너지(E_p(T,M))가 수학식 5에 따라 정의될 수 있다.

여기서 F는 n번째 선택된 레이어의 사전 훈련된 VGG(Visual Geometry Group) 얼굴 식별자이다.

따라서 UV 맵 완성부(300)의 총 UV 에너지는 수학식 4 내지 6에서 계산된 에너지들을 결합하여, 수학식 7로 획득될 수 있다.

여기서 λ_uv, λ_p 및 λ_f 는 에너지 가중치이다.

얼굴 모델 정렬부(200)와 UV 맵 완성부(300)를 GAN 구조로 인식하여, 경쟁적 학습이 수행되도록 하는 경우, 얼굴 모델 정렬부(200)를 생성기(generator)로 가정하고, 에너지 판정부(330)를 포함하는 UV 맵 완성부(300)를 판별기(discriminator)로 고려하여 생성 손실(L_G)과 판별 손실(L_D)을 수학식 7에 기반하여 수학식 8 및 9와 같이 획득할 수 있다.

여기서 [·]₊ = max(0, ·)로서 0과 · 중 큰 값을 선택하는 함수이고, m은 양의 마진값을 나타낸다. 그리고 얼굴 모델 정렬부(200)의 초기 생성 손실(L_G')은 수학식 3의 UV 맵(T)의 손실(L_uv)과 수학식 9의 판별 손실(L_D)로부터 수학식 10으로 정의될 수 있다.

여기서 λ_D 는 판별 손실 가중치이다.

에너지 판정부(330)는 수학식 8 내지 10에 따라 손실을 계산하고, 계산된 손실을 역전파하여 얼굴 모델 정렬부(200)와 UV 맵 완성부(300)를 경쟁 학습시킨다. 이때 에너지 판정부(330)는 기지정된 횟수 또는 계산된 손실이 기지정된 기준값 이하가 될 때까지 반복적으로 손실을 계산하여 역전파하여 얼굴 모델 정렬부(200)와 UV 맵 완성부(300)를 학습시킬 수 있다.

본 실시예에 따른 3D 얼굴 이미지 합성 장치는 얼굴 모델 정렬부(200)는 3D 얼굴 모델에 따른 UV 맵을 생성하는 생성기로 볼 수 있으며, UV 맵 완성부(300)는 3D 얼굴 모델이 2D 얼굴 이미지에 정확하게 정렬되어 UV 맵이 정상적으로 생성되었는지를 판별하기 위해 UV 맵의 홀 영역을 채워 손실을 확인하는 판별기로 볼 수 있으며, 이는 GAN에 대응하는 구조로서 생성기와 판별기가 경쟁 학습을 수행하는 것으로 볼 수 있다.

여기서 에너지 판정부(330)는 학습이 완료된 이후에는 제거될 수도 있다.

3D 이미지 합성부(400)는 UV 맵 완성부(300)에서 출력되는 UV 완성 맵(T_f)을 얼굴 모델 정렬부(200)에서 형상 파라미터(f_s)에 따라 형상 변형된 3D 얼굴 모델에 맵핑하여, 3D 얼굴 이미지를 합성한다. 여기서 UV 완성 맵(T_f)은 얼굴 전체에 대한 이미지가 포함되고, 3D 얼굴 모델의 3차원 좌표에 대응하는 UV 좌표계 상의 좌표값을 가지므로, 3D 얼굴 모델에 맵핑하는 경우, 홀 영역이 없는 완전한 3D 얼굴 이미지로 합성될 수 있다. 따라서 홀 영역이 없는 합성된 3D 얼굴 이미지는 사용자의 요청에 따라 도 2의 우측에 도시된 바와 같이, 2D 얼굴 이미지에서 대상자의 지향 방향에 무관하게 자유롭게 지향 방향을 조절할 수 있다.

일반적으로 3D 얼굴 이미지를 합성하기 위해 요구되는 정보는 UV 완성 맵(T_f)이고, UV 완성 맵(T_f)으로부터 실제 합성된 3D 얼굴 이미지를 획득하는 것은 실제 응용에서 요구되는 사항이므로, 3D 이미지 합성부(400)는 3D 얼굴 이미지 합성 장치에서 생략될 수도 있다.

도 4는 도 1의 얼굴 모델 정렬부와 UV 맵 완성부의 경쟁 학습에 의한 성능을 비교하여 나타낸 도면이다.

도 4에서 (a)는 입력되는 2D 얼굴 이미지를 나타내고, (b)는 얼굴 모델 정렬부(200)에서 출력되는 UV 맵(T)을 나타내며, (c)는 경쟁 학습 방식을 수행하지 않고 오토 인코더(auto-encoder)를 이용하여 UV 맵(T)을 보완한 결과를 나타내며, (d)는 본 실시예에 따라 경쟁 학습을 수행한 UV 맵 완성부(300)가 UV 맵(T)을 보완한 UV 완성 맵(T_f)을 나타낸다.

도 4에서 (c)와 (d)를 비교하면, (c)에서는 홀 영역이 대상자의 얼굴과 무관한 질감으로 채워진 반면, 본 실시예에 따라 경쟁 학습이 수행된 UV 맵 완성부(300)에서 출력되는 UV 완성 맵(T_f)의 경우, 대상자의 얼굴 형상에 따른 자연스러운 질감으로 홀 영역이 채워졌음을 알 수 있다.

도 5는 도 1의 3D 얼굴 이미지 합성 장치에 입력되는 2D 얼굴 이미지가 3D 얼굴 이미지로 합성되면서 변화되는 과정의 일 예를 나타낸다.

도 5에서 (a)는 입력되는 2D 얼굴 이미지이고, (b)는 얼굴 모델 정렬부(200)에서 출력되는 UV 맵(T_e)을 나타내고, (c)는 조명 추정부(313)에서 추정된 조명 맵(S)을 나타내며, (d)는 반사 추정부(312)에서 추정된 알베도 맵(A)을 나타낸다. 그리고 (e)는 보상 UV 맵 획득부(314)에서 획득된 보상 UV 맵(T_c)을 나타내고, (f)는 UV 맵 세부 추정부(320)에서 추정된 UV 완성 맵(T_f)을 나타낸다.

(g)와 (h)는 각각 조명 맵(S)과 UV 완성 맵(T_f)을 3D 얼굴 모델에 맵핑하여 획득된 3D 얼굴 이미지를 나타낸다.

(h)에 도시된 바와 같이, 본 실시예에 따라 합성된 3D 얼굴 이미지는 남성 또는 여성과 같이 서로 상이한 2D 얼굴 이미지에 대해서도 고품질의 3D 얼굴 이미지를 합성할 수 있을 뿐만 아니라, 흑백 이미지에 대해서도 3D 얼굴 이미지를 합성할 수 있음을 알 수 있다.

도 6은 본 발명의 일 실시예에 따른 3D 얼굴 이미지 합성 방법을 나타낸다.

도 1 내지 도 3을 참조하여, 도 6의 3D 얼굴 이미지 합성 방법을 설명하면, 3D 얼굴 이미지 합성 장치에 포함된 인공 신경망을 학습시키기 위한 학습 단계(S10)를 수행한다. 학습 단계에서는 먼저 학습용 2D 얼굴 이미지와 학습용 2D 얼굴 이미지에 대응하는 기준 UV 맵(T_ref)을 포함하는 학습 데이터를 획득한다(S11). 여기서 기준 UV 맵(T_ref)은 수학적 연산을 통해 2D 얼굴 이미지에 대해 정렬된 3D 얼굴 모델에 학습용 2D 얼굴 이미지를 맵핑하여 2차원의 UV 공간 좌표 상에 전개하여 획득된 UV 맵이다.

학습 데이터가 획득되면, 학습용 2D 얼굴 이미지를 인가받아 학습되는 패턴 추정 방식에 따라 학습용 2D 얼굴 이미지의 패턴을 추정하여, 매칭 파라미터(f_s, f_c)를 추출하고, 추출된 매칭 파라미터(f_s, f_c)에 따라 기지정된 3D 얼굴 모델의 형상과 위치 및 지향 방향을 조절하고, 조절된 3D 얼굴 모델에 학습용 2D 얼굴 이미지를 맵핑하여 학습 UV 맵(T_e)을 획득한다(S12). 이때, 학습용 2D 얼굴 이미지의 얼굴 가시성을 샘플링하여 대상자의 얼굴에서 스캔되지 않은 홀 영역을 나타내는 학습 마스크(M_e)를 함께 획득할 수 있다.

그리고 학습 UV 맵(T_e)과 학습 마스크(M_e)를 이용하여 학습되는 패턴 추정 방식에 따라 얼굴의 대칭성에 기반하여 반사 계수에 따른 홀 영역이 추정된 알베도 맵(A)과 조명 계수에 따라 추정되는 조명 맵(S)을 추정하여 학습 UV 맵(T_e)을 개략적으로 보완한 보상 UV 맵(T_ec)을 획득하고, 보상 UV 맵(T_ec)에 대해 다시 학습되는 패턴 추정 방식에 따라 정밀한 질감을 갖도록 보완하여 학습 UV 완성 맵(T_ef)을 획득한다(S13).

이후 학습 UV 완성 맵(T_ef)의 UV 맵 이미지 에너지(E_uv(T_e,M_e)), UV 맵 대칭 에너지(E_f(T_e,M_e)) 및 UV 맵 지각 에너지(E_p(T_e,M_e))에 기반하여 학습 UV 완성 맵(T_ef)의 총 UV 에너지(E(T_e,M_e))를 생성 손실(L_G)로 획득하고, 학습 UV 완성 맵(T_ef)의 총 UV 에너지(E(T_e,M_e))와 기준 UV 맵(T_ref)에 대한 총 UV 에너지(E(T_ref,M_ref)) 사이의 관계에 따라 마진(m)을 포함하는 판별 손실(L_D)을 계산하여 역전파하여 인공 신경망을 학습시킨다(S14). 이때, 생성 손실(L_G)은 학습 UV 맵(T_e)의 생성 시에 학습용 2D 얼굴 이미지에 대해 학습에 의해 수행된 3D 얼굴 모델의 정렬 오차에 따른 손실을 반영하는 것으로 볼 수 있고, 판별 손실(L_D)은 학습 UV 맵(T_e)의 정렬 오차를 판별하기 위해 학습 UV 맵(T_e)을 학습 UV 완성 맵(T_ef)으로 보완하고 판정하는 과정에서 발생된 오차로 볼 수 있다. 따라서 학습 UV 맵(T_e)의 생성과 학습 UV 맵(T_e)을 보완하고 판정하는 판별 단계의 경쟁 학습을 수행하는 것으로 볼 수 있다.

그리고 학습 종료 여부를 판별한다(S15). 이때 학습은 생성 손실(L_G)과 판별 손실(L_D) 각각 또는 생성 손실(L_G)과 판별 손실(L_D)의 합이 기지정된 기준 손실 이하가 될 때까지 반복한 후 종료되도록 설정될 수 있다. 또는 기지정된 횟수로 반복되어 수행된 후 종료되도록 설정될 수 있다.

만일 학습이 설정된 조건을 만족하여 종료된 것으로 판별되면, 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지(I)를 획득한다(S20).

그리고 미리 학습된 패턴 추정 방식에 따라 2D 얼굴 이미지(I)의 패턴을 추정하여, 기지정된 3D 얼굴 모델이 학습용 2D 얼굴 이미지에 정렬되도록 형상 변화와 위치 및 지향 방향을 조절하는 매칭 파라미터(f_s, f_c)를 추출한다(S21). 또한 추출된 맵칭 파라미터(f_s, f_c)에 따라 3D 얼굴 모델을 변형 및 이동시켜 3D 얼굴 모델을 2D 얼굴 이미지(I)에 정렬시키고, 정렬된 3D 얼굴 모델에 2D 얼굴 이미지를 맵핑하여 획득되는 3D 얼굴 이미지를 2차원 UV 좌표계에 전개하여 UV 맵(T)을 획득한다(S22). 이때, 2D 얼굴 이미지(I)에서 마스크(M)를 함께 획득할 수 있다. 마스크(M)는 2D 얼굴 이미지(I)의 대상자의 얼굴에서 스캔되지 않은 홀 영역을 분석하여 획득할 수 있다.

2D 얼굴 이미지(I)에 대응하는 UV 맵(T)과 마스크(M)가 획득되면, UV 맵(T)과 마스크(M)를 기지정된 방식으로 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크(M)가 결합된 UV 맵(T)의 패턴을 추정하여, 마스크(M)에 의해 지정된 홀 영역이 채워진 알베도 맵(A)과 조명 맵(S)을 추출하여 획득한다(S41). 여기서 알베도 맵(A)은 인코더와 디코더를 포함하는 오토 인코더로 구성된 인공 신경망을 이용하여 사람 얼굴의 수평 대칭성에 기반하여 반사 계수를 추정함으로써, 홀 영역이 채워진 UV 맵(T)의 색상을 표현하는 맵이다. 그리고 조명 맵(S)은 오토 인코더에서 인코더와 디코더의 대응하는 레이어에서 출력되는 특징맵을 인가받고, 인가된 특징맵 사이의 패턴 차이를 기반으로 UV 맵의 조명 특징을 추출하여 획득되는 맵이다.

알베도 맵(A)과 조명 맵(S)이 획득되면, 알베도 맵(A)과 조명 맵(S)을 원소 곱하여 홀 영역이 개략적으로 보상된 보상 UV 맵(T_c)을 획득한다(S42).

보상 UV 맵(T_c)이 획득되면, 보상 UV 맵(T_c)과 마스크(M)를 기지정된 방식으로 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크(M)가 결합된 보상 UV 맵(T_c)의 패턴을 추정하여 미세 특징을 추출하고, 추출된 미세 특징에 기반하여 UV 맵(T_c)의 세부 영역을 보완하여 정밀한 질감을 갖는 UV 완성 맵(T_f)을 획득한다(S50).

추가적으로 사용자 명령에 응답하여, 획득된 UV 완성 맵(T_f)을 대응하는 3D 얼굴 모델에 맵핑하여 3D 얼굴 이미지를 합성할 수 있다(S60).

본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 얼굴 이미지 획득부 200: 얼굴 모델 정렬부
210: UV 인코더 220: UV 맵핑부
230: 마스크 획득부 300: UV 맵 완성부
310: UV 맵 개략 추정부 311: 제1 마스크 결합부
312: 반사 추정부 313: 조명 추정부
314: 보상 UV 맵 획득부 320: UV 맵 세부 추정부
321: 제2 마스크 결합부 322: 미세 추정부
330: 에너지 판정부 400: 3D 영상 합성부

Claims (18)

1. 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지를 인가받아 미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 패턴으로부터 매칭 파라미터를 추출하여 기지정된 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시켜 UV 맵을 획득하는 얼굴 모델 정렬부; 및
   미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 상기 UV 맵에 발생된 홀 영역을 얼굴의 수평 대칭성에 기반하여 추정하여 채워 보상 UV 맵을 획득하고, 보상 UV 맵의 미세 특징을 추출하여, 미세 특징이 반영된 UV 맵을 복원함으로써 UV 완성 맵을 획득하는 UV 맵 완성부를 포함하되,
   상기 얼굴 모델 정렬부는
   상기 UV 맵에서 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 발생되는 홀 영역을 검출하여 홀 영역에 대응하는 마스크를 생성하는 마스크 획득부를 포함하고,
   상기 UV 맵 완성부는
   상기 UV 맵과 상기 마스크를 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 UV 맵의 패턴으로부터 얼굴의 수평 대칭성에 기반하는 반사 계수를 추정하여 상기 UV 맵에 발생된 홀 영역의 색상을 채우고, 마스크가 결합된 UV 맵의 패턴으로부터 상기 홀 영역을 포함하는 상기 UV 맵의 조명에 따른 명암을 추출하여 채워 상기 보상 UV 맵을 획득하는 UV 맵 개략 추정부; 및
   상기 보상 UV 맵과 상기 마스크를 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 보상 UV 맵의 미세 특징을 추출 및 복원함으로써 상기 UV 완성 맵을 획득하는 UV 맵 세부 추정부를 포함하는 3D 얼굴 이미지 합성 장치.
   
2. 제1항에 있어서, 상기 얼굴 모델 정렬부는
   패턴 추정 방식이 미리 학습된 인공 신경망으로 구현되어, 상기 2D 얼굴 이미지의 패턴으로부터 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시키기 위해 요구되는 형상 변화와 위치 및 지향 방향을 나타내는 상기 매칭 파라미터를 획득하는 UV 인코더; 및
   상기 매칭 파라미터에 따라 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시키고, 상기 2D 얼굴 이미지를 상기 3D 얼굴 모델에 맵핑한 후, 맵핑된 3D 얼굴 모델을 기지정된 2차원의 UV 공간 상에 전개하여 상기 UV 맵을 획득하는 UV 맵핑부를 더 포함하는 3D 얼굴 이미지 합성 장치.
3. 삭제
4. 제1항에 있어서, 상기 UV 맵 완성부는
   학습용 2D 얼굴 이미지와 상기 학습용 2D 얼굴 이미지에 대응하도록 미리 생성된 UV 맵인 기준 UV 맵이 매칭되어 포함된 학습 데이터를 이용하여, 상기 얼굴 모델 정렬부가 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정확하게 정렬시켰는지 여부를 상기 학습용 2D 얼굴 이미지로부터 획득된 UV 완성 맵인 학습 UV 완성 맵에 대해 기지정된 방식으로 계산되는 에너지로부터 생성 손실로 획득하고,
   상기 UV 맵 완성부가 상기 학습 UV 완성 맵의 홀 영역을 정상적으로 채웠는지 여부를 마진이 고려된 상기 UV 완성 맵과 학습 UV 완성 맵 사이의 차로 계산하여 판별 손실을 획득하여,
   상기 생성 손실과 상기 판별 손실이 저감되도록 상기 얼굴 모델 정렬부와 상기 UV 맵 완성부를 경쟁 학습 방식으로 학습시키는 에너지 판정부를 더 포함하는 3D 얼굴 이미지 합성 장치.
5. 제4항에 있어서, 상기 UV 맵 개략 추정부는
   상기 UV 맵과 상기 마스크를 기지정된 방식으로 결합하여 출력하는 제1 마스크 결합부;
   인공 신경망으로 구현되는 인코더와 디코더를 포함하는 오토 인코더로 구현되어 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 UV 맵의 패턴으로부터 얼굴의 수평 대칭성에 기반하는 반사 계수를 추정하여 홀 영역을 포함한 전 영역의 색상이 추정된 UV 맵인 알베도 맵을 획득하는 반사 추정부;
   상기 반사 추정부의 인코더와 디코더 각각의 서로 대응하는 레이어에서 출력되는 특징맵을 인가받고, 인코더와 디코더 각각에서 인가된 특징맵을 기반으로 미리 학습된 패턴 추정 방식에 따라 상기 UV 맵의 조명 계수를 추정하여 홀 영역을 포함한 전 영역의 색상이 추정된 UV 맵인 조명 맵을 획득하는 조명 추정부; 및
   상기 알베도 맵과 상기 조명 맵을 원소 곱하여 상기 보상 UV 맵을 획득하는 보상 UV 맵 획득부를 포함하는 3D 얼굴 이미지 합성 장치.
6. 제5항에 있어서, 상기 UV 맵 세부 추정부는
   상기 보상 UV 맵과 상기 마스크를 기지정된 방식으로 결합하여 출력하는 제2 마스크 결합부; 및
   인공 신경망으로 구현되는 인코더와 디코더를 포함하는 오토 인코더로 구현되어 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 보상 UV 맵의 패턴으로부터 미세 특징을 추출 및 복원하여 상기 UV 완성 맵을 획득하는 미세 추정부를 포함하는 3D 얼굴 이미지 합성 장치.
7. 제6항에 있어서, 상기 에너지 판정부는
   UV 맵(T)에서 마스크(M)에 의해 지정되는 홀 영역을 제외한 유효 영역에서의 픽셀 단위의 이미지 손실을 나타내는 UV 맵 이미지 에너지(E_uv(T,M))를 수학식
   

   

   
   (여기서 Tc와 Tf는 각각 보상 UV 맵과 UV 완성 맵을 나타내며, ⊙는 원소 곱 연산자이다.)에 따라 계산하고,
   상기 알베도 맵(A)이 얼굴의 수평 대칭성에 따라 홀 영역을 정상적으로 채워졌는지 여부를 나타내는 UV 맵 대칭 에너지(E_f(T,M))를 수학식
   

   

   
   (여기서 flip()는 좌우 반전 함수이며,

   

   이진 논리합(binary OR) 연산자이다.)에 따라 계산하며,
   상기 UV 완성 맵의 세밀도를 나타내는 UV 맵 지각 에너지(E_p(T,M))를 수학식
   

   

   
   (여기서 F는 n번째 선택된 레이어의 사전 훈련된 VGG(Visual Geometry Group) 얼굴 식별자이다.)에 따라 계산하여,
   총 UV 에너지를
   

   

   
   (여기서 λ_uv, λ_p 및 λ_f 는 에너지 가중치이다.)
   로 계산하는 3D 얼굴 이미지 합성 장치.
8. 제7항에 있어서, 상기 에너지 판정부는
   상기 얼굴 모델 정렬부가 상기 학습용 2D 얼굴 이미지로부터 3D 얼굴 모델을 정렬하여 획득한 UV 맵과 마스크인 학습 UV 맵(T_e)과 학습 마스크(M_e)에 대해 계산되는 총 학습 UV 에너지E(T_e, M_e)를 상기 생성 손실(L_G)로서 수학식
   

   

   
   과 같이 획득하고,
   상기 기준 UV 맵(T_ref)과 상기 기준 UV 맵(T_ref)에 대응하는 기준 마스크(M_ref)에 대해 계산되는 총 기준 UV 에너지E(T_ref, M_ref)와 총 학습 UV 에너지E(T_e, M_e) 및 마진을 이용하여 상기 판별 손실(L_D)을 수학식
   

   

   
   과 같이 획득하는 3D 얼굴 이미지 합성 장치.
9. 제8항에 있어서, 상기 에너지 판정부는
   상기 생성 손실(L_G)과 상기 판별 손실(L_D) 각각 또는 상기 생성 손실(L_G)과 상기 판별 손실(L_D)의 합이 기지정된 기준 손실 이하가 되도록 반복하여 역전파하거나, 기지정된 횟수로 반복하여 역전파하여 학습을 수행하는 3D 얼굴 이미지 합성 장치.
10. 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지를 인가받아 미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 패턴으로부터 매칭 파라미터를 추출하여 기지정된 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시켜 UV 맵을 획득하는 단계; 및
    미리 학습된 패턴 추정 방식에 따라 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 상기 UV 맵에 발생된 홀 영역을 얼굴의 수평 대칭성에 기반하여 추정하여 채워 보상 UV 맵을 획득하고, 보상 UV 맵의 미세 특징을 추출하여, 미세 특징이 반영된 UV 맵을 복원함으로써 UV 완성 맵을 획득하는 단계를 포함하되,
    상기 UV 완성 맵을 획득하는 단계는
    상기 UV 맵에서 상기 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 발생되는 홀 영역을 검출하여 홀 영역에 대응하는 마스크를 생성하는 단계;
    상기 UV 맵과 상기 마스크를 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 UV 맵의 패턴으로부터 얼굴의 수평 대칭성에 기반하는 반사 계수를 추정하여 상기 UV 맵에 발생된 홀 영역의 색상을 채우고, 마스크가 결합된 UV 맵의 패턴으로부터 상기 홀 영역을 포함하는 상기 UV 맵의 조명에 따른 명암을 추출하여 채워 상기 보상 UV 맵을 획득하는 단계; 및
    상기 보상 UV 맵과 상기 마스크를 결합하고, 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 보상 UV 맵의 미세 특징을 추출 및 복원함으로써 상기 UV 완성 맵을 출력하는 단계를 포함하는 3D 얼굴 이미지 합성 방법.
    
11. 제10항에 있어서, 상기 UV 맵을 획득하는 단계는
    패턴 추정 방식이 미리 학습된 인공 신경망으로 구현되어, 상기 2D 얼굴 이미지의 패턴으로부터 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시키기 위해 요구되는 형상 변화와 위치 및 지향 방향을 나타내는 상기 매칭 파라미터를 획득하는 단계; 및
    상기 매칭 파라미터에 따라 상기 3D 얼굴 모델을 상기 2D 얼굴 이미지에 정렬시키고, 상기 2D 얼굴 이미지를 상기 3D 얼굴 모델에 맵핑한 후, 맵핑된 3D 얼굴 모델을 기지정된 2차원의 UV 공간 상에 전개하여 상기 UV 맵을 획득하는 단계를 더 포함하는 3D 얼굴 이미지 합성 방법.
    
12. 삭제
13. 제10항에 있어서, 상기 UV 완성 맵을 획득하는 단계는
    학습용 2D 얼굴 이미지와 상기 학습용 2D 얼굴 이미지에 대응하도록 미리 생성된 UV 맵인 기준 UV 맵이 매칭되어 포함된 학습 데이터를 이용하여, 상기 3D 얼굴 모델이 상기 2D 얼굴 이미지에 정확하게 정렬되었는지 여부를 상기 학습용 2D 얼굴 이미지로부터 획득된 UV 완성 맵인 학습 UV 완성 맵에 대해 기지정된 방식으로 계산되는 에너지로부터 생성 손실로 획득하고,
    상기 학습 UV 완성 맵의 홀 영역을 정상적으로 채웠는지 여부를 마진이 고려된 상기 UV 완성 맵과 학습 UV 완성 맵 사이의 차로 계산하여 판별 손실을 획득하여,
    상기 생성 손실과 상기 판별 손실이 저감되도록 경쟁 학습 방식으로 학습시키는 단계를 더 포함하는 3D 얼굴 이미지 합성 방법.
14. 제13항에 있어서, 상기 보상 UV 맵을 획득하는 단계는
    상기 UV 맵과 상기 마스크를 기지정된 방식으로 결합하여 출력하는 단계;
    인공 신경망으로 구현되는 인코더와 디코더를 포함하는 오토 인코더로 구현되어 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 UV 맵의 패턴으로부터 얼굴의 수평 대칭성에 기반하는 반사 계수를 추정하여 홀 영역을 포함한 전 영역의 색상이 추정된 UV 맵인 알베도 맵을 획득하는 단계;
    상기 오토 인코더의 인코더와 디코더 각각의 서로 대응하는 레이어에서 출력되는 특징맵을 인가받고, 인코더와 디코더 각각에서 인가된 특징맵을 기반으로 미리 학습된 패턴 추정 방식에 따라 상기 UV 맵의 조명 계수를 추정하여 홀 영역을 포함한 전 영역의 색상이 추정된 UV 맵인 조명 맵을 획득하는 단계; 및
    상기 알베도 맵과 상기 조명 맵을 원소 곱하여 상기 보상 UV 맵을 획득하는 단계를 포함하는 3D 얼굴 이미지 합성 방법.
15. 제14항에 있어서, 상기 UV 완성 맵을 출력하는 단계는
    상기 보상 UV 맵과 상기 마스크를 기지정된 방식으로 결합하여 출력하는 단계; 및
    인공 신경망으로 구현되는 인코더와 디코더를 포함하는 오토 인코더로 구현되어 미리 학습된 패턴 추정 방식에 따라 마스크가 결합된 보상 UV 맵의 패턴으로부터 미세 특징을 추출 및 복원하여 상기 UV 완성 맵을 획득하는 단계를 포함하는 3D 얼굴 이미지 합성 방법.
16. 제15항에 있어서, 상기 학습시키는 단계는
    UV 맵(T)에서 마스크(M)에 의해 지정되는 홀 영역을 제외한 유효 영역에서의 픽셀 단위의 이미지 손실을 나타내는 UV 맵 이미지 에너지(E_uv(T,M))를 수학식
    

    

    
    (여기서 Tc와 Tf는 각각 보상 UV 맵과 UV 완성 맵을 나타내며, ⊙는 원소 곱 연산자이다.)에 따라 계산하고,
    상기 알베도 맵(A)이 얼굴의 수평 대칭성에 따라 홀 영역을 정상적으로 채워졌는지 여부를 나타내는 UV 맵 대칭 에너지(E_f(T,M))를 수학식
    

    

    
    (여기서 flip()는 좌우 반전 함수이며,

    

    이진 논리합(binary OR) 연산자이다.)에 따라 계산하며,
    상기 UV 완성 맵의 세밀도를 나타내는 UV 맵 지각 에너지(E_p(T,M))를 수학식
    

    

    
    (여기서 F는 n번째 선택된 레이어의 사전 훈련된 VGG(Visual Geometry Group) 얼굴 식별자이다.)에 따라 계산하여,
    총 UV 에너지를
    

    

    
    (여기서 λ_uv, λ_p 및 λ_f 는 에너지 가중치이다.)
    로 계산하는 3D 얼굴 이미지 합성 방법.
17. 제16항에 있어서, 상기 학습시키는 단계는 얼굴 모델 정렬부가 상기 학습용 2D 얼굴 이미지로부터 3D 얼굴 모델을 정렬하여 획득한 UV 맵과 마스크인 학습 UV 맵(T_e)과 학습 마스크(M_e)에 대해 계산되는 총 학습 UV 에너지E(T_e, M_e)를 수학식
    

    

    
    상기 생성 손실(L_G)로서 획득하는 단계;
    상기 기준 UV 맵(T_ref)과 상기 기준 UV 맵(T_ref)에 대응하는 기준 마스크(M_ref)에 대해 계산되는 총 기준 UV 에너지E(T_ref, M_ref)와 총 학습 UV 에너지E(T_e, M_e) 및 마진을 이용하여 수학식
    

    

    
    에 따라 상기 판별 손실(L_D)을 획득하는 단계를 포함하는 3D 얼굴 이미지 합성 방법.
18. 제17항에 있어서, 상기 학습시키는 단계는
    상기 생성 손실(L_G)과 상기 판별 손실(L_D) 각각 또는 상기 생성 손실(L_G)과 상기 판별 손실(L_D)의 합이 기지정된 기준 손실 이하가 되도록 반복하여 역전파하거나, 기지정된 횟수로 반복하여 역전파하여 학습을 수행하는 3D 얼굴 이미지 합성 방법.

Images