KR102358854B1 - 얼굴 이미지 색상 합성 장치 및 방법 - Google Patents

얼굴 이미지 색상 합성 장치 및 방법 Download PDF

Info

Publication number
KR102358854B1
KR102358854B1 KR1020200065193A KR20200065193A KR102358854B1 KR 102358854 B1 KR102358854 B1 KR 102358854B1 KR 1020200065193 A KR1020200065193 A KR 1020200065193A KR 20200065193 A KR20200065193 A KR 20200065193A KR 102358854 B1 KR102358854 B1 KR 102358854B1
Authority
KR
South Korea
Prior art keywords
map
image
mask
loss
input
Prior art date
Application number
KR1020200065193A
Other languages
English (en)
Other versions
KR20210147647A (ko
Inventor
이상훈
강지우
이성민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200065193A priority Critical patent/KR102358854B1/ko
Publication of KR20210147647A publication Critical patent/KR20210147647A/ko
Application granted granted Critical
Publication of KR102358854B1 publication Critical patent/KR102358854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2D 얼굴 이미지로부터 기지정된 방식으로 획득된 UV 맵을 인가받고, 인가된 UV 맵의 홀 영역과 나머지 영역을 구분한 마스크와 UV 맵이 좌우 반전된 플립 UV 맵을 UV 맵에 결합하여 입력 UV 맵을 획득하는 입력 전처리부, 인공 신경망으로 구현되어 입력 UV 맵을 인가받고 미리 학습된 패턴 추정 방식에 따라 인가된 입력 UV 맵의 패턴으로부터 UV 맵의 홀 영역의 색상이 채워진 완성 UV 맵을 생성하는 UV 맵 완성부 및 학습시에 구비되어, 완성 UV 맵과 마스크를 인가받아 각각 좌우 2분할하고, 학습되는 패턴 추정 방식에 따라 분할된 2개의 완성 UV 맵 중 리얼 이미지와 페이크 이미지를 추정하는 한편, 분할된 2개의 마스크를 기반으로 실제 리얼 이미지와 페이크 이미지를 판별하여 생성된 완성 UV 맵에 대한 생성 손실을 계산 및 역전파하는 UV 맵 판정부를 포함하여, 사람 얼굴의 대칭성에 기반하여 2D 이미지에서 획득된 영역을 학습 데이터로 이용하여 자기 판별 기반 경쟁 학습을 수행함으로써, 학습을 위해 별도로 2D 얼굴 이미지를 획득하거나 완성된 UV 맵 없이도 2D 얼굴 이미지에서 캡쳐되지 않은 폐색 영역의 색상을 자연스럽게 합성하여 UV 맵을 완성할 수 있는 얼굴 이미지 색상 합성 장치 및 방법을 제공할 수 있다.

Description

얼굴 이미지 색상 합성 장치 및 방법{Apparatus and method for color synthesis of face images}
본 발명은 얼굴 이미지 색상 합성 장치 및 방법에 관한 것으로, 자기 판별 기반 학습이 수행되는 3차원 얼굴 모델을 위한 얼굴 이미지 색상 합성 장치 및 방법에 관한 것이다.
3D 얼굴 모델은 얼굴 합성, 3D 애니메이션 및 이미지 편집과 같은 다양한 응용 분야에서 사용되고 있다. 이에 인간과 같은 3D 얼굴을 구축하는 것은 컴퓨터 비전 및 컴퓨터 그래픽에서 중요한 이슈이다.
3D 얼굴 및 질감의 통계 모델인 3DMM(3D Morphable Model)은 2D 얼굴 이미지의 대상에서 3D 얼굴 이미지를 얻는 데 가장 널리 사용되는 모델이다. 스테레오 카메라와 같은 3D 센서의 출현으로 정확하고 많은 수의 3D 얼굴 데이터 세트를 수집할 수 있기 때문에, 3DMM은 자연스러운 다양한 얼굴 모양을 표현할 수 있는 강력한 기능을 가지고 있다.
3DMM과 같은 3D 얼굴 모델을 이용하여 3D 얼굴 이미지를 생성하고자 하는 경우에 2D 얼굴 이미지를 3D 얼굴 모델에 정렬하여 맵핑한 후, 2D 이미지가 맵핑된 3D 얼굴 모델을 지정된 2차원의 UV 공간 좌표 상에 전개(unwrap)한 UV 맵이 일반적으로 이용된다. 그러나 2D 얼굴 이미지는 제한된 환경에서 캡쳐되므로, 2D 얼굴 이미지에 표현된 대상자의 얼굴 전체 형상이나 색상을 획득하기가 매우 어렵다. 경우에 따라서는 3D 스캔 장치 또는 멀티 뷰 캡쳐 시스템 등을 이용하여 대상자의 얼굴의 전체 형상과 색상 정보를 획득할 수도 있으나, 이는 고가의 장비를 요구할 뿐만 아니라 한정된 공간에서만 촬영할 수 있다는 제약으로 인해 다양한 3D 얼굴 모델을 획득하기 어렵게 하는 요인이 된다.
따라서 최근에는 사진과 같이 제한된 환경에서 용이하게 캡쳐되어 획득된 2D 얼굴 이미지를 기반으로 3D 얼굴 모델을 생성하기 위한 연구가 활발하게 수행되고 있다. 그러나 상기한 바와 같이, 제한된 환경에서 캡쳐된 2D 얼굴 이미지에는 대상자의 얼굴에서 캡쳐되지 않아 표현되지 않은 폐색 영역이 존재하므로, 폐색 영역을 자연스럽게 복원할 수 있는 기술이 요구되고 있다. 특히 자연스러운 얼굴 질감을 복원하기 위해서는 폐색 영역의 얼굴 색상을 정확하게 합성할 수 있는 기술이 요구된다.
한국 공개 특허 제2017-0019779호 (2017.02.22 공개)
본 발명의 목적은 2D 얼굴 이미지에서 캡쳐되지 않은 폐색 영역의 색상을 자연스럽게 합성하여 UV 맵을 완성할 수 있는 얼굴 이미지 색상 합성 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 학습을 위한 3D 스캔 장치 또는 멀티 뷰 캡쳐 시스템 등을 이용하여 획득된 2D 얼굴 이미지나 완성된 UV 맵 없이도 용이하게 자기 판별 학습되어 UV 맵을 완성할 수 있는 얼굴 이미지 색상 합성 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 얼굴 이미지 색상 합성 장치는 2D 얼굴 이미지로부터 기지정된 방식으로 획득된 UV 맵을 인가받고, 인가된 UV 맵의 홀 영역과 나머지 영역을 구분한 마스크와 상기 UV 맵이 좌우 반전된 플립 UV 맵을 상기 UV 맵에 결합하여 입력 UV 맵을 획득하는 입력 전처리부; 인공 신경망으로 구현되어 입력 UV 맵을 인가받고 미리 학습된 패턴 추정 방식에 따라 인가된 입력 UV 맵의 패턴으로부터 상기 UV 맵의 홀 영역의 색상이 채워진 완성 UV 맵을 생성하는 UV 맵 완성부; 및 학습시에 구비되어, 상기 완성 UV 맵과 상기 마스크를 인가받아 각각 좌우 2분할하고, 학습되는 패턴 추정 방식에 따라 분할된 2개의 완성 UV 맵 중 리얼 이미지와 페이크 이미지를 추정하는 한편, 분할된 2개의 마스크를 기반으로 실제 리얼 이미지와 페이크 이미지를 판별하여 생성된 완성 UV 맵에 대한 생성 손실을 계산 및 역전파하는 UV 맵 판정부를 포함한다.
상기 입력 전처리부는 상기 UV 맵을 분석하여 홀 영역과 나머지 영역을 구분하고, 구분된 홀 영역과 나머지 영역의 각 픽셀에 서로 다른 비트값을 할당하여 2진 비트값으로 구성되는 상기 마스크를 생성하는 마스크 획득부; 상기 UV 맵을 좌우 반전하여 상기 플립 UV 맵을 획득하는 UV 맵 플립부; 및 상기 UV 맵과 상기 마스크 및 상기 플립 UV 맵을 기지정된 방식으로 결합하여 상기 입력 UV 맵을 획득하는 UV 맵 결합부를 포함할 수 있다.
상기 UV 맵 완성부는 다수의 레이어로 구성되어 미리 학습된 패턴 추정 방식에 따라 입력 UV 맵의 특징을 단계적으로 추출하여 특징맵을 획득하는 인코더; 및 상기 인코더의 다수의 레이어에 대응하는 개수의 레이어로 구성되어, 상기 특징맵을 단계적으로 업샘플링하여 상기 완성 UV 맵을 획득하는 디코더를 포함할 수 있다.
상기 디코더는 다수의 레이어 각각이 상기 인코더의 다수의 레이어 중 대응하는 레이어와 스킵 커넥션을 통해 연결될 수 있다.
상기 UV 맵 판정부는 상기 완성 UV 맵을 인가받아 좌우 2분할하여 좌측 이미지와 우측 이미지를 획득하는 UV 맵 분할부; 인공 신경망으로 구현되어 상기 좌측 이미지와 상기 우측 이미지 중 상기 UV 맵에서 홀 영역의 크기가 작은 부분에 대응하는 리얼 이미지와 나머지 부분에 대응하는 페이크 이미지를 추정하는 경쟁적 판정부; 및 상기 경쟁적 판정부의 추정 결과를 기반으로 상기 생성 손실을 계산하고, 계산된 생성 손실을 역전파하는 손실 역전파부를 포함할 수 있다.
상기 UV 맵 판정부는 상기 마스크를 인가받아 좌우 2분할하여 좌측 마스크와 우측 마스크를 획득하는 마스크 분할부; 상기 좌측 마스크와 상기 우측 마스크 각각의 픽셀값의 합을 기반으로 상기 UV 맵의 실제 리얼 이미지와 페이크 이미지를 판별하여 상기 손실 역전파부로 통지하는 유효 이미지 판별부를 더 포함할 수 있다.
상기 손실 역전파부는 상기 입력 UV 맵(Iin)을 인가받아 상기 완성 UV 맵(Iout)을 획득하는 UV 맵 재구성 과정에서의 재구성 손실(LGrec)과 상기 좌측 이미지와 상기 우측 이미지에 대해 리얼 이미지와 페이크 이미지를 추정한 판정 손실(LD)에 기반한 적대적 손실(LGadv)의 합으로 상기 생성 손실(LG)을 계산하여 역전파할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 얼굴 이미지 색상 합성 방법은 2D 얼굴 이미지로부터 기지정된 방식으로 획득된 UV 맵을 인가받고, 인가된 UV 맵의 홀 영역과 나머지 영역을 구분한 마스크와 상기 UV 맵이 좌우 반전된 플립 UV 맵을 상기 UV 맵에 결합하여 입력 UV 맵을 획득하는 단계; 인공 신경망을 이용하여 입력 UV 맵을 인가받고 미리 학습된 패턴 추정 방식에 따라 인가된 입력 UV 맵의 패턴으로부터 상기 UV 맵의 홀 영역의 색상이 채워진 완성 UV 맵을 생성하는 단계; 및 학습 상태에서, 상기 완성 UV 맵과 상기 마스크를 인가받아 각각 좌우 2분할하고, 학습되는 패턴 추정 방식에 따라 분할된 2개의 완성 UV 맵 중 리얼 이미지와 페이크 이미지를 추정하는 한편, 분할된 2개의 마스크를 기반으로 실제 리얼 이미지와 페이크 이미지를 판별하여 생성된 완성 UV 맵에 대한 생성 손실을 계산 및 역전파하여 학습을 수행하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 얼굴 이미지 색상 합성 장치 및 방법은 사람 얼굴의 대칭성에 기반하여 2D 이미지에서 획득된 영역을 학습 데이터로 이용하여 자기 판별 기반 경쟁 학습을 수행함으로써, 학습을 위해 별도로 2D 얼굴 이미지를 획득하거나 완성된 UV 맵 없이도 2D 얼굴 이미지에서 캡쳐되지 않은 폐색 영역의 색상을 자연스럽게 합성하여 UV 맵을 완성할 수 있다.
도 1은 3D 얼굴 이미지 합성 기법을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 이미지 색상 합성 장치의 개략적 구조를 나타낸다.
도 3은 도 1의 UV 맵 완성부와 UV 맵 판정부의 인공신경망을 이용한 구현 예를 나타낸다.
도 4는 본 실시예에 따른 얼굴 이미지 색상 합성 장치에 의해 완성된 UV 맵을 이용한 3D 얼굴 이미지의 일예를 나타낸다.
도 5는 본 실시예에 따른 얼굴 이미지 색상 합성 장치에서 완성된 UV 맵을 기존의 UV 맵과 비교한 결과를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 얼굴 이미지 색상 합성 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 3D 얼굴 이미지 합성 기법을 개략적으로 설명하기 위한 도면이다.
도 1을 참조하여, 3D 얼굴 이미지 합성 기법을 설명하면, 우선 (a)와 같이, 2D 얼굴 이미지를 인가받고, 인가된 2D 얼굴 이미지에 포함된 대상자의 얼굴 위치, 크기 및 캡쳐 방향을 분석하여, 미리 설정된 3D 얼굴 모델을 기지정된 방식으로 정렬시킨다.
그리고 (b)와 같이 2D 얼굴 이미지를 정렬된 3D 얼굴 모델에 맵핑하여 3D 얼굴 이미지로 변환하고, 변환된 3D 얼굴 이미지를 2차원의 UV 공간 상에 전개(unwrap)하여 UV 맵(Iref)을 획득한다. 이때 2D 얼굴 이미지에는 캡쳐되지 않은 영역이 존재하므로 (b)의 상단에 도시된 바와 같이 UV 맵(Iref)에서는 대상자의 얼굴 질감이 표현되지 않은 홀 영역이 나타난다. 홀 영역은 (b)의 하단 이미지와 같이 홀 영역과 홀 영역을 제외한 나머지 영역을 구분한 마스크의 형태로 추출될 수 있다. (b)와 같이 획득된 UV 맵(Iref)은 포함된 홀 영역으로 인해 3D 얼굴 이미지를 합성하기에 적합하지 않다. 3D 얼굴 이미지 합성은 다양한 위치, 크기 및 캡쳐 방향에서 자연스러운 3D 얼굴 이미지를 획득할 수 있어야 하지만, 홀 영역이 존재하는 경우, 홀 영역이 표현되지 않도록 캡쳐 방향이 고정될 수밖에 없기 때문이다. 즉 2D 얼굴 이미지의 방향과 동일한 방향으로만 3D 얼굴 이미지를 합성할 수 있다.
따라서 (b)의 홀 영역이 포함된 UV 맵(Iref)에서 홀 영역에 (c)와 같이 대상자의 얼굴 색상과 같은 질감을 보완하여 UV 맵을 완성한 후, 3D 얼굴 모델에 랩핑(wrapping)해야만 (d)와 같이 다양한 3D 얼굴 이미지 합성이 가능하다.
이에 본 발명에서는 (b)의 홀 영역이 포함된 UV 맵(Iref)에 대해 사람 얼굴의 좌우 대칭성을 반영하여 홀 영역의 색상을 추정하여 보완함으로써, 자연스럽게 완성된 완성 UV 맵(Iout)을 획득할 수 있도록 한다. 또한 사람 얼굴의 좌우 대칭성에 기반하여 완성 UV 맵(Iout) 중 2D 얼굴 이미지에서 획득된 영역을 학습 데이터로 이용하여 홀 영역이 정상적으로 채워졌는지 여부를 판별하는 경쟁 학습 기법을 기반으로 학습을 수행하도록 한다. 즉 자기 자신을 학습 데이터로 이용하는 자기 판별 기반 경쟁 학습을 수행하도록 하여, 별도의 학습 데이터를 요구하지 않고도 용이하게 학습되도록 한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 이미지 색상 합성 장치의 개략적 구조를 나타내고, 도 3은 도 1의 UV 맵 완성부와 UV 맵 판정부의 인공신경망을 이용한 구현 예를 나타낸다.
도 2를 참조하면, 본 실시예에 따른 얼굴 이미지 색상 합성 장치는 얼굴 이미지 획득부(100), UV 맵 획득부(200), 입력 전처리부(300), UV 맵 완성부(400) 및 UV 맵 판정부(500)를 포함할 수 있다.
얼굴 이미지 획득부(100)는 3D 얼굴 이미지를 생성하기 위한 2D 얼굴 이미지를 획득한다. 즉 얼굴 이미지 획득부(100)는 3D 얼굴 이미지로 변환될 2D 얼굴 이미지를 획득하기 위한 구성으로, 일 예로 카메라와 같은 비디오 영상 촬영 장치로 구현되거나, 미리 획득된 비디오 영상이 저장된 저장 장치 또는 네트워크를 통해 다른 기기로부터 비디오 영상을 인가받는 통신부 등으로 구현될 수 있다.
UV 맵 획득부(200)는 얼굴 이미지 획득부(100)가 획득한 2D 얼굴 이미지에 대해 기지정된 3D 얼굴 모델을 정렬시켜 맵핑하여 3D 얼굴 이미지를 획득하고, 획득된 3D 얼굴 이미지를 2차원의 UV 공간 상에 투사하여 UV 맵(Iref)을 획득한다. 3D 여기서 3D 얼굴 모델은 3DMM에 기반하여 획득될 수 있다.
얼굴 이미지 획득부(100)에서 획득된 2D 얼굴 이미지는 카메라 등을 이용하여 특정 방향 및 위치에서 대상자의 얼굴을 캡쳐한 이미지이고, 대상자의 얼굴 형상 또한 개개인에 따라 서로 상이하다. 따라서 우선 3D 얼굴 모델을 2D 얼굴 이미지의 얼굴 형상에 대응하는 형상으로 변형하고, 변형된 3D 얼굴 모델을 2D 얼굴 이미지가 캡쳐된 방향 및 위치에 대응하도록 회전 및 이동시켜 3D 얼굴 모델이 2D 얼굴 이미지에 대응하여 정렬될 수 있도록 해야 한다. 이에 도 1의 (a)에 도시된 바와 같이, 2D 얼굴 이미지에서 랜드마크나 특징점 등을 설정하고, 설정된 랜드마크나 특징점을 기준으로 3D 얼굴 모델을 정렬하여 2D 얼굴 이미지와 3D 얼굴 모델을 매칭시킬 수 있다.
UV 맵 획득부(200)는 2D 얼굴 이미지와 3D 얼굴 모델이 정렬되면, 2D 얼굴 이미지를 3D 얼굴 모델에 맵핑하여 2D 얼굴 이미지를 3D 얼굴 이미지로 변환한다.
3D 얼굴 모델은 메쉬 구조를 가지므로, UV 맵 획득부(200)는 변환된 3D 얼굴 이미지의 각 꼭지점의 3차원 위치 좌표(vI = (x, y, z))를 수학식 1에 따라 구형 전개(spherical unwrap)하여 2차원의 UV 좌표계의 위치 좌표(vU = (u, v))로 변환함으로써, 도 2의 (b)와 같이 홀이 포함된 UV 맵(Iref)을 획득할 수 있다.
Figure 112020055001186-pat00001
여기서 r은 구형 전개 시에 구의 반지름으로
Figure 112020055001186-pat00002
이고, αu, βu 및 αv, βv 는 이미지의 경계에서 랩핑되지 않은 영역을 찾기 위한 배율 및 변환 상수이다.
2D 얼굴 이미지로부터 UV 맵(Iref)을 획득하는 기법은 상기한 기법 이외에도 다양하게 공개되어 있으므로, UV 맵 획득부(200)는 다른 기법으로 UV 맵(Iref)을 획득할 수도 있다. 이는 공지된 기술이므로 여기서는 상세하게 설명하지 않는다.
입력 전처리부(300)는 UV 맵 획득부(200)에서 획득된 홀이 포함된 UV 맵(Iref)을 인가받고, 인가된 UV 맵(Iref)에서 홀 영역을 나타내는 마스크(M)와 홀이 포함된 UV 맵(Iref)을 좌우 반전한 플립 UV 맵(Iflip)을 획득하고, 인가된 UV 맵(Iref)과 결합하여 입력 UV 맵(Iin)을 획득한다.
입력 전처리부(300)는 마스크 획득부(310)와 UV 맵 플립부(320) 및 UV 맵 결합부(330)를 포함할 수 있다.
마스크 획득부(310)는 UV 맵 획득부(200)에서 인가되는 UV 맵(Iref)에서 홀 영역을 분석하여, 홀 영역과 홀 영역 이외의 영역을 2진 비트값으로 구분한 마스크(M)를 획득한다. 마스크 획득부(310)는 다양한 방식으로 홀 영역을 식별할 수 있으나, 일 예로 UV 맵(Iref)에서 2D 얼굴 이미지의 각 화소에 대한 얼굴 가시성(facial visibility)을 샘플링하여 홀 영역을 나타내는 마스크(M)를 생성할 수 있다. 여기서 얼굴 가시성은 래스터화(rasterization)를 통해 3D 얼굴 모델을 이미지 평면에 투영함으로써 판별될 수 있다. 마스크(M)는 이진 마스크로서 일 예로 홀 영역이 0으로 채워지고 나머지 영역은 1로 채워지도록 생성될 수 있다.
마스크 획득부(310)는 UV 맵 완성부(400)가 입력 UV 맵(Iin)을 기반으로 완성 UV 맵(Iout)을 생성할 때, 원본 2D 얼굴 이미지의 색상이 존재하는 영역은 가능한 유지하면서, 홀 영역에 대한 색상을 채울 수 있도록 하기 위함이다.
한편 UV 맵 플립부(320)는 UV 맵 획득부(200)에서 인가되는 UV 맵(Iref)을 좌우 반전하여 플립 UV 맵(Iflip)을 획득한다. 일반적으로 사람의 얼굴 형상이나 질감은 좌우 대칭성을 갖는다. 따라서 2D 얼굴 이미지로부터 대상자의 얼굴에서 정면을 기준으로 좌측 또는 우측의 절반에 대한 이미지가 존재하면, 나머지 절반에 해한 색상을 용이하게 추정할 수 있다. 이에 UV 맵 플립부(320)는 UV 맵(Iref)이 좌우 반전된 플립 UV 맵(Iflip)을 획득하여, UV 맵 완성부(400)가 입력 UV 맵(Iin)을 기반으로 완성 UV 맵(Iout)을 생성할 때, 마스크(M)에 의해 지정된 홀 영역을 매우 정확하게 추정할 수 있도록 한다.
UV 맵 결합부(330)는 UV 맵 획득부(200)에서 인가되는 UV 맵(Iref)과 마스크 획득부(310)에서 획득된 마스크(M) 및 UV 맵 플립부(320)에서 획득된 플립 UV 맵(Iflip)을 기지정된 방식으로 결합하여 입력 UV 맵(Iin)을 획득하고, 획득된 입력 UV 맵(Iin)을 UV 맵 완성부(400)로 전달한다.
UV 맵 결합부(330)는 일 예로UV 맵(Iref)과 마스크(M) 및 플립 UV 맵(Iflip)을 단순 결합(concatenate)하거나 UV 맵(Iref)과 마스크(M)를 원소 곱 연산한 후, 플립 UV 맵(Iflip)을 결합하여 입력 UV 맵(Iin)을 획득할 수 있으며, 이외에도 기지정된 다른 방식으로 결합하여 입력 UV 맵(Iin)을 획득할 수도 있다.
UV 맵 완성부(400)는 입력 UV 맵(Iin)을 인가받고, 인가된 입력 UV 맵(Iin)의 패턴으로부터 UV 맵(Iref)의 홀 영역의 색상을 추정하여 채움으로써 완성 UV 맵(Iout)을 획득한다. 여기서 UV 맵 완성부(400)는 인공 신경망으로 구현되어 미리 학습된 패턴 추정 방식에 따라 입력 UV 맵(Iin)의 패턴으로부터 입력 UV 맵(Iin)의 홀 영역의 색상을 추정할 수 있다.
도 3에서 인공 신경망으로 구현되는 UV 맵 완성부(400)는 얼굴 UV 생성 네트워크(G)로 표현되어 있다. 그리고 얼굴 UV 생성 네트워크(G)는 도 3에 도시된 바와 같이, 서로 대칭되는 구조의 다수의 레이어를 포함하는 인코더(en)와 디코더(de)를 포함하는 오토 인코더(auto-encoder) 구조로 구성될 수 있다. 인코더(en)의 다수의 레이어 각각은 입력 UV 맵(Iin)의 특징을 단계적으로 추출하여 특징맵을 획득한다. 여기서 인코더(en)에 포함되는 레이어의 개수는 다양하게 설정될 수 있다. 그리고 디코더(de)의 다수의 레이어 각각은 인코더(en)에서 획득된 특징맵을 단계적으로 업샘플링하여 완성 UV 맵(Iout)을 획득한다. 여기서 디코더(de)의 다수의 레이어 각각은 업샘플링 과정에서 UV 맵(Iref)이 좌우 반전된 플립 UV 맵(Iflip)과 인접 영역을 참조하여 점차적으로 홀 영역에 색상을 채움으로써, 채워진 홀 영역의 색상이 사람 얼굴의 대칭성이 반영되고 인접 영역으로부터 자연스럽게 변화하는 완성 UV 맵(Iout)을 획득할 수 있다.
이때, 인코더(en)와 디코더(de)의 다수의 레이어 중 서로 대응하는 레이어는 도 3에 도시된 바와 같이, 스킵 커넥션(skip connection)을 통해 연결되어 UV 맵(Iref)의 원 스케일의 이미지 정보를 보존할 수 있도록 하여 완성 UV 맵(Iout)이 고품질의 이미지로 획득될 수 있도록 한다.
UV 맵 완성부(400)가 입력 UV 맵(Iin)을 인가받아 완성 UV 맵(Iout)을 획득하는 UV 맵 재구성 과정에서의 재구성 손실(LGrec)을 UV 맵 획득부(200)에서 획득된 UV 맵(Iref)에서 마스크(M)에 의해 홀 영역이 제외된 2차원 이미지에서 획득된 유효 영역의 픽셀 단위의 L1-norm 손실로 정의될 수 있으며, 수학식 2에 따라 계산될 수 있다.
Figure 112020055001186-pat00003
여기서 ⊙ 는 원소 별 곱셈을 나타내고, NIref 는 UV 맵(Iref)의 원소 개수로서, UV 맵(Iref)의 높이(H), 폭(W) 및 채널(C) 크기의 곱을 나타낸다.
UV 맵 판정부(500)는 UV 맵 완성부(400)에서 획득한 완성 UV 맵(Iout)을 인가받고, 인가된 완성 UV 맵(Iout)을 수직 방향으로 분할하고, 미리 학습된 패턴 추정 방식에 따라 분할된 완성 UV 맵이 2D 얼굴 이미지로부터 획득된 리얼 이미지인지 UV 맵 완성부(400)가 보완한 페이크 이미지인지 판별한다. 이와 함께 UV 맵 판정부(500)는 마스크 획득부(310)에서 획득된 마스크(M)를 인가받아 완성 UV 맵(Iout)과 마찬가지로 수직 방향으로 분할하고, 분할된 마스크를 이용하여 분할된 완성 UV 맵에서 실질적인 리얼 이미지와 페이크 이미지를 구분하여, 분할된 완성 UV 맵에 대한 리얼 이미지와 페이크 이미지 판별 결과가 정확한지 여부를 판정할 수 있도록 한다.
UV 맵 판정부(500)는 UV 맵 분할부(510), 마스크 분할부(520), 유효 이미지 판별부(530), 경쟁적 판정부(540) 및 손실 역전파부(550)를 포함할 수 있다.
UV 맵 분할부(510)는 UV 맵 완성부(400)로부터 완성 UV 맵(Iout)을 인가받아 좌우 2분할하여 좌측 이미지(Ileft)와 우측 이미지(Iright)으로 구분하여 출력한다. 마스크 분할부(520)는 마스크 획득부(310)에서 획득된 마스크(M)를 인가받아 좌우 2분할하여 좌측 마스크(Mleft)와 우측 마스크(Mright)로 구분하여 출력한다.
유효 이미지 판별부(530)는 마스크 분할부(520)에서 인가되는 좌측 마스크(Mleft)와 우측 마스크(Mright)를 분석하여, 좌측 이미지(Ileft)와 우측 이미지(Iright) 중 실제 얼굴 이미지 획득부(100)가 획득한 2D 얼굴 이미지에 기반하여 생성된 UV 맵에 대응하는 실제 이미지를 판별한다. 유효 이미지 판별부(530)는 일 예로 좌측 마스크(Mleft)와 우측 마스크(Mright) 각각의 픽셀값의 합을 계산하고, 계산된 픽셀값의 합에 따라 실제 리얼 이미지를 판별할 수 있다. 여기서는 마스크 획득부(310)가 홀 영역의 픽셀값을 0으로 채우고 나머지 영역의 픽셀값은 1로 채워 마스크(M)를 생성하는 것으로 가정하였으므로, 좌측 마스크(Mleft)와 우측 마스크(Mright) 중 픽셀값의 합이 큰 쪽이 실제 이미지를 나타내는 것으로 볼 수 있다. 이에 유효 이미지 판별부(530)는 UV 맵 분할부(510)에서 분할되어 경쟁적 판정부(540)로 전달된 좌측 이미지(Ileft)와 우측 이미지(Iright) 중 어느 이미지가 리얼 이미지인지를 손실 역전파부(550)로 통지할 수 있다.
경쟁적 판정부(540)는 도 3에 도시된 바와 같이, 인공 신경망으로 구현되어 UV 맵 완성부(400)와 함께 패턴 추정 방식이 경쟁 학습이 수행되어, 좌측 이미지(Ileft)와 우측 이미지(Iright) 중 어느 이미지가 리얼 이미지인지 추정한다.
그리고 손실 역전파부(550)는 경쟁적 판정부(540)에서 리얼 이미지를 추정한 결과와 유효 이미지 판별부(530)에서 통지되는 리얼 이미지를 비교하여 생성 손실(LG)을 계산하고, 계산된 생성 손실(LG)을 역전파하여, UV 맵 완성부(400)를 학습시킨다. 이때, 경쟁적 판정부(540) 또한 UV 맵 완성부(400)와 함께 학습이 수행된다.
여기서 인공 신경망으로 구현되는 경쟁적 판정부(540)에 의한 판정 손실(LD)은 수학식 3과 같이 계산될 수 있다.
Figure 112020055001186-pat00004
여기서
Figure 112020055001186-pat00005
는 오차 함수(Error function)이고, xuv 는 좌측 이미지(Ileft)와 우측 이미지(Iright) 중 유효 이미지 판별부(530)에서 리얼 이미지를 나타내고, xz 는 UV 맵 완성부(400)에서 추정 보완된 페이크 이미지이며, D(xuv)와 D(xz) 는 각각 리얼 이미지(xuv)와 페이크 이미지(xz)에 대해 경쟁적 판정부(540)가 추정한 판정 결과를 나타낸다.
그리고 UV 맵 완성부(400)와 경쟁적 판정부(540)의 경쟁 학습에 따른 적대적 손실을 수학식 4로 계산될 수 있다.
Figure 112020055001186-pat00006
UV 맵(Iref)으로부터 완성 UV 맵(Iout)을 생성하는데 발생된 생성 손실(LG)은 수학식 2의 재구성 손실(LGrec)과 수학식 4의 적대적 손실(LGadv)의 합으로 수학식 5와 같이 정의될 수 있다.
Figure 112020055001186-pat00007
여기서 λG 는 재구성 손실(LGrec)과 적대적 손실(LGadv) 사이의 균형을 유지하기 위한 가중치로서, 일 예로 0.001로 설정될 수 있다.
적대적 손실(LGadv)은 UV 맵 완성부(400)의 인코더(en)를 학습시킴으로써, UV 맵 완성부(400)가 홀 영역이 크게 존재하는 페이크 이미지(xz)뿐만 아니라 리얼 이미지(xuv)에서도 보다 고품질의 UV 맵을 획득할 수 있도록 한다.
표 1은 UV 맵 판정부(500)가 완성 UV 맵(Iout)을 좌우 2분할하여 좌측 이미지(Ileft)와 우측 이미지(Iright)으로 구분하고, 마스크(M)를 좌우 2분할하여 좌측 마스크(Mleft)와 우측 마스크(Mright)로 구분하여, 리얼 이미지(xuv)와 페이크 이미지(xz)를 구분하는 알고리즘의 일 예를 나타낸다.
Figure 112020055001186-pat00008
상기한 UV 맵 판정부(500)는 UV 맵 완성부(400)와 생성적 적대 네트워크(Generative Adversarial Network)를 구성하여 UV 맵 완성부(400)와 함께 경쟁 학습 방식으로 학습되도록 하기 위한 구성으로, 학습 시에만 구비되고, 얼굴 이미지 색상 합성 장치가 학습 완료된 이후에는 제거될 수 있다.
도 4는 본 실시예에 따른 얼굴 이미지 색상 합성 장치에 의해 완성된 UV 맵을 이용한 3D 얼굴 이미지의 일예를 나타내고, 도 5는 본 실시예에 따른 얼굴 이미지 색상 합성 장치에서 완성된 UV 맵을 기존의 UV 맵과 비교한 결과를 나타낸다.
도 4에서 (a)는 2D 이미지 획득부(100)가 획득한 2D 얼굴 이미지를 나타내고, (b)는 UV 맵 획득부(200)에서 획득된 UV 맵(Iref)을 나타내고, (c)는 본 실시예의 얼굴 이미지 색상 합성 장치에 의해 합성된 완성 UV 맵(Iout)을 나타내며, (d) 내지 (h)는 완성 UV 맵(Iout)을 이용하여 3D 얼굴 모델에 합성되어 재구성된 3D 얼굴 이미지를 여러 각도 방향에서 캡쳐한 이미지를 나타낸다.
그리고 도 5에서 (a)는 입력되는 UV 맵(Iref)을 나타내고, (b)는 별도로 획득된 진리(Ground Truth) UV 맵을 나타내며, (c)는 좌우 대칭 재구성 손실만을 반영하여 학습된 경우의 완성 UV 맵을 나타낸다. 그리고 (d)는 UV 맵 완성부(400)에서 획득된 완성 UV 맵(Iout)이 아닌 UV 맵(Iref)의 유효 영역을 이용하여 학습된 경우를 나타내며, (e)는 본 실시예에 따라 학습된 완성 UV 맵(Iout)을 나타낸다.
도 4 및 도 5에 도시된 바와 같이, 본 실시예에 따른 얼굴 이미지 색상 합성 장치는 사람 얼굴의 좌우 대칭성에 기반하여 UV 맵(Iref)의 홀 영역을 추정하여 완성 UV 맵(Iout)을 생성하고, 완성 UV 맵(Iout)을 좌우로 분할하여 자기 판별 기반 경쟁 학습을 수행함으로써, 학습을 위해 별도로 획득되는 2D 이미지나 UV 맵 없이도 자연스러운 얼굴 질감을 갖는 UV 맵을 완성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 얼굴 이미지 색상 합성 방법을 나타낸다.
도 1 내지 도 3을 참조하여, 도 6의 얼굴 이미지 색상 합성 방법을 설명하면, 우선 UV 맵(Iref)을 획득한다(S10). 여기서 UV 맵(Iref)은 사진이나 동영상 등으로부터 획득된 2D 얼굴 이미지로부터 기지정된 방식으로 획득되는 홀 영역이 포함된 UV 맵으로서, 2D 얼굴 이미지에 3D 얼굴 모델을 정렬하고, 2D 얼굴 이미지를 정렬된 3D 얼굴 모델에 맵핑하고 전개하여 획득될 수 있다. 사진이나 동영상 등으로부터 획득된 2D 얼굴 이미지로부터 홀이 포함된 UV 맵(Iref)을 획득하는 방법은 다양하게 공개되어 있으며, 여기서는 공개된 기법 중 하나를 이용하는 것으로 가정한다.
UV 맵(Iref)이 획득되면, 획득된 UV 맵(Iref)을 좌우 반전하여 플립 UV 맵(Iflip)을 획득하고, UV 맵(Iref)에서 홀 영역과 이외의 영역을 구분하여 마스크(M)를 획득한다(S20). 여기서 마스크(M)는 홀 영역인지 여부에 따라 0 또는 1의 픽셀값으로 채워지는 2진 마스크이다.
플립 UV 맵(Iflip)과 마스크(M)가 획득되면, 획득된 플립 UV 맵(Iflip)과 마스크(M)를 기지정된 방식으로 UV 맵(Iref)과 결합하여 입력 UV 맵(Iin)을 생성한다(S30).
그리고 미리 학습된 패턴 추정 방식에 따라 입력 UV 맵(Iin)의 패턴을 추정하여, UV 맵(Iref)의 홀 영역에 대한 색상을 추정하여 채우고, 홀 영역 이외의 영역에 대해서도 자연스러운 질감 변화가 발생되도록 보완하여 완성 UV 맵(Iout)을 추정한다(S40). 입력 UV 맵(Iin)이 UV 맵(Iref)뿐만 아니라 플립 UV 맵(Iflip)과 마스크(M)가 결합되어 생성되므로, 완성 UV 맵(Iout)은 사람 얼굴의 좌우 대칭성에 따른 패턴으로 홀 영역을 추정하여 채울 수 있으며, 추정된 홀 영역과의 변화가 자연스럽게 이루어지도록 홀 영역 이외의 영역에 대해서도 질감을 보완하여 완성 UV 맵(Iout)을 획득할 수 있다.
한편, 완성 UV 맵(Iout)이 획득되면, 현재 상태가 학습 상태인지 판별한다(S50). 만일 학습 상태인 것으로 판별되면, 완성 UV 맵(Iout)과 마스크(M)를 각각 좌우 2분할하여, 좌측 이미지(Ileft)와 우측 이미지(Iright) 및 좌측 마스크(Mleft)와 우측 마스크(Mright)를 획득한다(S60).
그리고 학습되는 패턴 추정 방식에 따라 획득된 좌측 이미지(Ileft)와 우측 이미지(Iright)에 대해 리얼 이미지와 페이크 이미지를 추정하고, 이와 함께 좌측 마스크(Mleft)와 우측 마스크(Mright)의 픽셀값을 기반으로 실제 리얼 이미지와 페이크 이미지를 판별한다(S70). 이후 추정된 리얼 이미지와 페이크 이미지를 판별된 리얼 이미지와 페이크 이미지와 비교하여 생성 손실(LG)을 계산하고, 계산된 생성 손실(LG)을 역전파하여 학습을 수행한다(S80).
여기서 생성 손실(LG)은 UV 맵(Iref)으로부터 완성 UV 맵(Iout)을 추정하는 과정에서 발생되는 재구성 손실(LGrec)과 리얼 이미지와 페이크 이미지를 추정하는 과정에서 발생되는 적대적 손실(LGadv)의 합으로 계산될 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 얼굴 이미지 획득부 200: UV 맵 획득부
300: 입력 전처리부 310: 마스크 획득부
320: UV 맵 플립부 330: UV 맵 결합부
400: UV 맵 완성부 500: UV 맵 판정부
510: UV 맵 분할부 520: 마스크 분할부
530: 유효 이미지 판별부 540: 경쟁적 판정부
550: 손실 역전파부

Claims (17)

  1. 2D 얼굴 이미지로부터 기지정된 방식으로 획득된 UV 맵을 인가받고, 인가된 UV 맵의 홀 영역과 나머지 영역을 구분한 마스크와 상기 UV 맵이 좌우 반전된 플립 UV 맵을 상기 UV 맵에 결합하여 입력 UV 맵을 획득하는 입력 전처리부;
    인공 신경망으로 구현되어 입력 UV 맵을 인가받고 미리 학습된 패턴 추정 방식에 따라 인가된 입력 UV 맵의 패턴으로부터 상기 UV 맵의 홀 영역의 색상이 채워진 완성 UV 맵을 생성하는 UV 맵 완성부; 및
    학습시에 구비되어, 상기 완성 UV 맵과 상기 마스크를 인가받아 각각 좌우 2분할하고, 학습되는 패턴 추정 방식에 따라 분할된 2개의 완성 UV 맵 중 리얼 이미지와 페이크 이미지를 추정하는 한편, 분할된 2개의 마스크를 기반으로 실제 리얼 이미지와 페이크 이미지를 판별하여 생성된 완성 UV 맵에 대한 생성 손실을 계산 및 역전파하는 UV 맵 판정부를 포함하되,
    상기 입력 전처리부는
    상기 UV 맵을 분석하여 홀 영역과 나머지 영역을 구분하고, 구분된 홀 영역과 나머지 영역의 각 픽셀에 서로 다른 비트값을 할당하여 2진 비트값으로 구성되는 상기 마스크를 생성하는 마스크 획득부;
    상기 UV 맵을 좌우 반전하여 상기 플립 UV 맵을 획득하는 UV 맵 플립부; 및
    상기 UV 맵과 상기 마스크 및 상기 플립 UV 맵을 기지정된 방식으로 결합하여 상기 입력 UV 맵을 획득하는 UV 맵 결합부를 포함하는 얼굴 이미지 색상 합성 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 UV 맵 완성부는
    다수의 레이어로 구성되어 미리 학습된 패턴 추정 방식에 따라 입력 UV 맵의 특징을 단계적으로 추출하여 특징맵을 획득하는 인코더; 및
    상기 인코더의 다수의 레이어에 대응하는 개수의 레이어로 구성되어, 상기 특징맵을 단계적으로 업샘플링하여 상기 완성 UV 맵을 획득하는 디코더를 포함하는 얼굴 이미지 색상 합성 장치.
  4. 제3항에 있어서, 상기 디코더는
    다수의 레이어 각각이 상기 인코더의 다수의 레이어 중 대응하는 레이어와 스킵 커넥션을 통해 연결되는 얼굴 이미지 색상 합성 장치.
  5. 제3항에 있어서, 상기 UV 맵 판정부는
    상기 완성 UV 맵을 인가받아 좌우 2분할하여 좌측 이미지와 우측 이미지를 획득하는 UV 맵 분할부;
    인공 신경망으로 구현되어 상기 좌측 이미지와 상기 우측 이미지 중 상기 UV 맵에서 홀 영역의 크기가 작은 부분에 대응하는 리얼 이미지와 나머지 부분에 대응하는 페이크 이미지를 추정하는 경쟁적 판정부; 및
    상기 경쟁적 판정부의 추정 결과를 기반으로 상기 생성 손실을 계산하고, 계산된 생성 손실을 역전파하는 손실 역전파부를 포함하는 얼굴 이미지 색상 합성 장치.
  6. 제5항에 있어서, 상기 UV 맵 판정부는
    상기 마스크를 인가받아 좌우 2분할하여 좌측 마스크와 우측 마스크를 획득하는 마스크 분할부;
    상기 좌측 마스크와 상기 우측 마스크 각각의 픽셀값의 합을 기반으로 상기 UV 맵의 실제 리얼 이미지와 페이크 이미지를 판별하여 상기 손실 역전파부로 통지하는 유효 이미지 판별부를 더 포함하는 얼굴 이미지 색상 합성 장치.
  7. 제6항에 있어서, 상기 손실 역전파부는
    상기 입력 UV 맵(Iin)을 인가받아 상기 완성 UV 맵(Iout)을 획득하는 UV 맵 재구성 과정에서의 재구성 손실(LGrec)과 상기 좌측 이미지와 상기 우측 이미지에 대해 리얼 이미지와 페이크 이미지를 추정한 판정 손실(LD)에 기반한 적대적 손실(LGadv)의 합으로 상기 생성 손실(LG)을 계산하여 역전파하는 얼굴 이미지 색상 합성 장치.
  8. 제7항에 있어서, 상기 손실 역전파부는
    상기 재구성 손실(LGrec)을 수학식
    Figure 112020055001186-pat00009

    (여기서 ⊙ 는 원소 별 곱셈을 나타내고, NIref 는 UV 맵(Iref)의 원소 개수로서, UV 맵(Iref)의 높이(H), 폭(W) 및 채널(C) 크기의 곱을 나타낸다.)
    에 따라 계산하고, 적대적 손실(LGadv)을 수학식
    Figure 112020055001186-pat00010

    (여기서
    Figure 112020055001186-pat00011
    는 오차 함수(Error function)이고, xz 는 좌측 마스크와 우측 마스크를 이용하여 판별된 페이크 이미지이며, D는 추정된 판정 결과를 나타낸다.)
    에 따라 계산하며, 상기 생성 손실(LG)을 수학식
    Figure 112020055001186-pat00012

    (여기서 λG 는 재구성 손실(LGrec)과 적대적 손실(LGadv) 사이의 균형을 유지하기 위한 가중치이다.)
    에 따라 계산하는 얼굴 이미지 색상 합성 장치.
  9. 2D 얼굴 이미지로부터 기지정된 방식으로 획득된 UV 맵을 인가받고, 인가된 UV 맵의 홀 영역과 나머지 영역을 구분한 마스크와 상기 UV 맵이 좌우 반전된 플립 UV 맵을 상기 UV 맵에 결합하여 입력 UV 맵을 획득하는 단계;
    인공 신경망을 이용하여 입력 UV 맵을 인가받고 미리 학습된 패턴 추정 방식에 따라 인가된 입력 UV 맵의 패턴으로부터 상기 UV 맵의 홀 영역의 색상이 채워진 완성 UV 맵을 생성하는 단계; 및
    학습 상태에서, 상기 완성 UV 맵과 상기 마스크를 인가받아 각각 좌우 2분할하고, 학습되는 패턴 추정 방식에 따라 분할된 2개의 완성 UV 맵 중 리얼 이미지와 페이크 이미지를 추정하는 한편, 분할된 2개의 마스크를 기반으로 실제 리얼 이미지와 페이크 이미지를 판별하여 생성된 완성 UV 맵에 대한 생성 손실을 계산 및 역전파하여 학습을 수행하는 단계를 포함하되,
    상기 입력 UV 맵을 획득하는 단계는
    상기 UV 맵을 분석하여 홀 영역과 나머지 영역을 구분하고, 구분된 홀 영역과 나머지 영역의 각 픽셀에 서로 다른 비트값을 할당하여 2진 비트값으로 구성되는 상기 마스크를 생성하는 단계;
    상기 UV 맵을 좌우 반전하여 상기 플립 UV 맵을 획득하는 단계; 및
    상기 입력 UV 맵을 획득하기 위해 상기 UV 맵과 상기 마스크 및 상기 플립 UV 맵을 기지정된 방식으로 결합하는 단계를 포함하는 얼굴 이미지 색상 합성 방법.

  10. 삭제
  11. 제9항에 있어서, 상기 완성 UV 맵을 생성하는 단계는
    다수의 레이어로 구성되고 패턴 추정 방식이 학습된 인코더를 이용하여 입력 UV 맵의 특징을 단계적으로 추출하여 특징맵을 획득하는 인코더; 및
    상기 인코더의 다수의 레이어에 대응하는 개수의 레이어로 구성된 디코더를 이용하여 상기 특징맵을 단계적으로 업샘플링하는 단계를 포함하는 얼굴 이미지 색상 합성 방법.
  12. 제11항에 있어서, 상기 업샘플링하는 단계는
    상기 디코더의 다수의 레이어 중 이전 레이어에서 업샘플링된 특징맵과 함께 상기 인코더의 다수의 레이어 중 대응하는 레이어에 연결된 스킵 커넥션을 통해 대응하는 레이어에서 출력되는 특징맵을 인가받는 얼굴 이미지 색상 합성 방법.
  13. 제12항에 있어서, 상기 학습을 수행하는 단계는
    상기 완성 UV 맵을 인가받아 좌우 2분할하여 좌측 이미지와 우측 이미지를 획득하는 단계;
    인공 신경망을 이용하여 상기 좌측 이미지와 상기 우측 이미지 중 상기 UV 맵에서 홀 영역의 크기가 작은 부분에 대응하는 리얼 이미지와 나머지 부분에 대응하는 페이크 이미지를 추정하는 단계; 및
    추정 결과를 기반으로 상기 생성 손실을 계산하고, 계산된 생성 손실을 역전파하는 단계를 포함하는 얼굴 이미지 색상 합성 방법.
  14. 제13항에 있어서, 상기 학습을 수행하는 단계는
    상기 마스크를 인가받아 좌우 2분할하여 좌측 마스크와 우측 마스크를 획득하는 단계;
    상기 좌측 마스크와 상기 우측 마스크 각각의 픽셀값의 합을 기반으로 상기 UV 맵의 실제 리얼 이미지와 페이크 이미지를 판별하는 단계를 더 포함하는 얼굴 이미지 색상 합성 방법.
  15. 제14항에 있어서, 상기 생성 손실을 역전파하는 단계는
    상기 입력 UV 맵(Iin)을 인가받아 상기 완성 UV 맵(Iout)을 획득하는 UV 맵 재구성 과정에서의 재구성 손실(LGrec)과 상기 좌측 이미지와 상기 우측 이미지에 대해 리얼 이미지와 페이크 이미지를 추정한 판정 손실(LD)에 기반한 적대적 손실(LGadv)의 합으로 상기 생성 손실(LG)을 계산하는 얼굴 이미지 색상 합성 방법.
  16. 제15항에 있어서, 상기 생성 손실을 역전파하는 단계는
    상기 재구성 손실(LGrec)을 수학식
    Figure 112020055001186-pat00013

    (여기서 ⊙ 는 원소 별 곱셈을 나타내고, NIref 는 UV 맵(Iref)의 원소 개수로서, UV 맵(Iref)의 높이(H), 폭(W) 및 채널(C) 크기의 곱을 나타낸다.)
    에 따라 계산하는 단계;
    상기 적대적 손실(LGadv)을 수학식
    Figure 112020055001186-pat00014

    (여기서
    Figure 112020055001186-pat00015
    는 오차 함수(Error function)이고, xz 는 좌측 마스크와 우측 마스크를 이용하여 판별된 페이크 이미지이며, D는 추정된 판정 결과를 나타낸다.)
    에 따라 계산하는 단계; 및
    상기 생성 손실(LG)을 수학식
    Figure 112020055001186-pat00016

    (여기서 λG 는 재구성 손실(LGrec)과 적대적 손실(LGadv) 사이의 균형을 유지하기 위한 가중치이다.)
    에 따라 계산하는 단계를 포함하는 얼굴 이미지 색상 합성 방법.
  17. 제9항에 따른 얼굴 이미지 색상 합성 방법을 수행하기 위한 프로그램 명령어가 기록된 기록 매체.
KR1020200065193A 2020-05-29 2020-05-29 얼굴 이미지 색상 합성 장치 및 방법 KR102358854B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200065193A KR102358854B1 (ko) 2020-05-29 2020-05-29 얼굴 이미지 색상 합성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065193A KR102358854B1 (ko) 2020-05-29 2020-05-29 얼굴 이미지 색상 합성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210147647A KR20210147647A (ko) 2021-12-07
KR102358854B1 true KR102358854B1 (ko) 2022-02-04

Family

ID=78868483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065193A KR102358854B1 (ko) 2020-05-29 2020-05-29 얼굴 이미지 색상 합성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102358854B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439610B (zh) * 2022-09-14 2024-04-26 中国电信股份有限公司 模型的训练方法、训练装置、电子设备和可读存储介质
CN117953165B (zh) * 2024-03-26 2024-06-18 合肥工业大学 基于神经辐射场的人脸新视图合成方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
KR101556992B1 (ko) * 2014-03-13 2015-10-05 손우람 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
KR20170092533A (ko) * 2014-09-23 2017-08-11 키레몬 에스에이 얼굴 포즈 교정 방법 및 장치
KR101759188B1 (ko) * 2015-06-09 2017-07-31 오인환 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
KR20170019779A (ko) 2015-08-12 2017-02-22 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deng et al. UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition, CVPR, 2018, pp. 1-10. 1부.*

Also Published As

Publication number Publication date
KR20210147647A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
US7760932B2 (en) Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
JP7105246B2 (ja) 再構成方法および再構成装置
US8217931B2 (en) System and method for processing video images
US5710875A (en) Method and apparatus for processing 3-D multiple view images formed of a group of images obtained by viewing a 3-D object from a plurality of positions
US8624901B2 (en) Apparatus and method for generating facial animation
US20160342861A1 (en) Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
JP4880091B2 (ja) ３ｄテクスチャの超解像のための画像生成装置及び方法
US20120032948A1 (en) System and method for processing video images for camera recreation
CN110555434A (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN111325693B (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
JP2013038775A (ja) 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
KR102358854B1 (ko) 얼굴 이미지 색상 합성 장치 및 방법
KR102422822B1 (ko) 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
KR20180056124A (ko) 전자 장치 및 그 이미지 처리 방법
JP2023172882A (ja) 三次元表現方法及び表現装置
KR101575284B1 (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
CN114627240A (zh) 一种抽沙船在河道数字孪生模型中三维重建与定位的方法
JP2019016230A (ja) 学習装置、画像合成装置、学習方法、画像合成方法、及びプログラム
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP6901885B2 (ja) 前景抽出装置及びプログラム
CN111275804B (zh) 图像光照去除方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant