KR102507776B1 - 딥러닝 기술을 이용한 실시간 얼굴 변환 장치 및 방법 - Google Patents

Abstract

딥러닝 기술을 이용한 실시간 얼굴 변환 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 실시간 얼굴 변환 장치 장치는 적어도 하나의 프로세서(500) 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 실행 메모리(400)를 포함하여 구성되어, 상기 적어도 하나의 프로그램은 제1 입력 데이터를 입력받고, 상기 입력된 제1 입력 데이터에 대한 전처리를 수행하고, 제2 입력 데이터를 입력받고, 상기 입력된 제2 입력 데이터에 대한 전처리를 수행하고, 상기 전처리 된 제1 및 제2 입력 데이터에 대한 화소 분석을 수행하고, 상기 화소 분석 결과에 따라 학습 기법을 선택하여 수행하고, 상기 학습된 결과에 따라 영상 혹은 이미지 변환을 진행하는 것으로써 입력되는 데이터의 화소를 사전 분석하여 적절한 딥러닝 학습 기법을 선택하여 적용하고 추가적으로 데이터 샘플링을 통한 데이터 압축을 구현함으로써 응답 지연시간이 500ms 이하로 구현된 실시간 변환을 구현할 수 있다.

Description

딥러닝 기술을 이용한 실시간 얼굴 변환 장치 및 방법{A method and apparatus for real-time face conversion using deep learning technology}

본 발명은 얼굴 변환 장치 및 방법에 관한 것으로 보다 상세하게는 딥러닝(Deep learning) 기술을 이용하여 실시간으로 얼굴 영상 혹은 이미지를 변환하는 장치 및 방법에 관한 것이다.

얼굴 이미지 및 영상 변환 기술은 최근에 소프트웨어의 기술의 획기적인 발전으로 인해 다양하게 진보되어 왔다. 카메라나 사진으로부터 획득한 이미지를 합성하여 새로운 이미지를 생성하는 예로서 종래에는 컴퓨터 그래픽 기술에 의존한 이미지 모자이크(mosaic) 기법이나 이미지 와핑(warpping) 기법 등이 존재하여 왔다. 상기 이미지 모자이크 기법은 전체 이미지에 두 개 또는 그 이상의 이미지를 결합하여 변형된 이미지를 얻는 기법이고, 상기 이미지 와핑 기법은 왜곡 필터(distortion filter) 등에 수학식을 적용하여 이미지를 왜곡시킴으로써 이미지의 픽셀 등이 새로운 위치 값을 갖도록 변형시키는 기법이다.

하지만 이러한 이미지 모자이크 기법이나 와핑 기법을 통해서 생성된 가상 얼굴은 생성된 얼굴 부위가 전체 얼굴 영상의 크기와 명암에 있어서 조화가 이루어지지 않기 때문에 별도의 수작업이 필요하고, 가상의 얼굴 영상을 실시간으로 확인하기 어려운 문제점이 있었다.

또한, 종래에는 사용자가 직접 이미지 보정 소프트웨어를 이용하여 얼굴 이미지를 보정하는 작업을 수행함으로써 사용자의 숙련도에 따라 보정 후의 이미지의 품질이 표준화되지 않는 문제점이 존재하였다.

최근에는 이러한 문제점을 해결하기 위하여 인공지능의 한 분야인 딥러닝 기술을 이용하여 수많은 데이터 학습을 통해 모델링된 딥러닝(deep learning) 네트워크를 이용함으로써 보다 일관성이 있고 자연스러운 얼굴 영상 혹은 이미지의 변환이 가능하게 되었다.

상기와 같은 종래기술의 예로써 대한민국 등록 특허 10-2188991호가 개시된다. 상기 기술에서는 딥러닝 학습을 이용하여 제1 대상자 얼굴 이미지를 제2 대상자 얼굴 이미지로 변환하는 장치 및 방법을 제공하며, 제1 대상자 이미지 및 제2 대상자 이미지 각각의 이미지를 입수하고, 상기 입수된 각각의 이미지에 대한 테이터 세트를 생성하고 상기 생성된 데이터 세트에 포함되어 있는 영상 데이터를 딥러닝 기술을 이용하여 학습하여 얼굴 부위의 위치 및 크기 등에 대한 변환 데이터를 생성하고, 상기 생성된 각각의 변환 데이터에 대해서 각 이미지에 대한 패턴 유사도를 산출하는 제1 변환 데이터와 화소값 유사도를 산출하는 제2 변환 데이터를 추가로 산출하여 상기 제1 및 2 변환 데이터를 이용하여 얼굴 이미지를 변환하는 기술을 개시하고 있으나, 이러한 다수의 추가적인 변환 데이터를 발생시키고 이용하는 과정에서 많은 자원의 낭비와 시간의 낭비를 초래하는 문제점이 있었다.

또 다른 딥러닝 기법을 이용한 종래기술의 예로써 대한민국 등록 특허 10-2409988호가 개시된다. 상기 종래기술은 딥러닝 네트워크를 이용한 얼굴변환 방법으로서 목표 얼굴 이미지 및 유도 얼굴 이미지를 입력받는 단계, 목표 얼굴 이미지 내 목표 얼굴의 정면 여부를 판단하는 단계, 정면의 목표 얼굴 이미지 및 유도 얼굴 이미지에 대하여 이미지 전처리를 수행하는 단계 및 정면의 목표 얼굴 이미지에 대하여 다대다 얼굴변환을 수행하여 정면의 목표 얼굴 이미지의 생김새 독립 정보를 유도 얼굴 이미지의 생김새 독립 정보로 변환하는 단계를 포함하여 구성되나, 상기 기술은 정면 얼굴 판단 데이터를 이용해서 다대다 얼굴변환을 수행하는 기술에 대하여 개시한 발명으로써 일대일 얼굴변환의 품질을 높이고 이에 따른 시간지연을 최소화한 본 발명의 구성 및 효과와는 상이한 발명으로서 일대일 얼굴변환의 효율성을 추구하지는 못하는 문제점을 가지고 있다.

상술한 바와 같은 문제점을 해결하기 위해 본 발명이 해결하고자 자는 첫 번째 과제는 딥러닝 기술을 이용하여 실시간 얼굴 영상 혹은 이미지를 변환하는 장치 및 방법을 제공하는 데에 있다.

본 발명의 또 다른 과제는 상기 실시간 얼굴 영상 혹은 이미지 변환 시에 변환 알고리즘을 선택적으로 적용하는 실시간 얼굴 영상 혹은 이미지를 변환하는 장치 및 방법을 제공하는 데에 있다.

본 발명의 또 다른 과제는 상기 실시간 얼굴 영상 혹은 이미지 변환시에 추가적인 샘플링 작업을 통하여 변환 과정을 최소화하는 실시간 얼굴 영상 혹은 이미지를 변환하는 장치 및 방법을 제공하는 데에 있다.

본 발명이 해결하고자 하는 과제들은 상기 언급한 과제로 한정되지 않으며, 언급하지 않은 또 다른 과제들은 아래 설명되는 내용으로부터 당업자들에게 명확히 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴 변환 장치는 적어도 하나의 프로세서(500) 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 실행 메모리(400)를 포함하고, 상기 적어도 하나의 프로그램은 제1 입력 데이터를 입력받고, 상기 입력된 제1 입력 데이터에 대한 전처리 과정을 수행하고, 제2 입력 데이터를 입력받고, 상기 입력된 제2 입력 데이터에 대한 전처리 과정을 수행하고, 상기 전처리 된 제1 및 제2 입력 데이터에 대한 화소 분석을 수행하고, 상기 수행된 분석에 따라 실행해야 할 딥러닝 학습 기법을 선정하고, 상기 선정된 딥러닝 기법에 따라 학습을 수행하고, 상기 학습된 결과에 따라 상기 제2 입력 데이터의 얼굴 영상 혹은 이미지를 상기 제1 입력 데이터로부터 추출한 제1 얼굴 영상 혹은 이미지로 변환한다.

이때, 상기 전처리는 입력 영상을 이미지로 변환하는 것일 수 있으며, 학습 효과를 높이기 위해 데이터의 정보량을 최적화하는 것일 수 있다.

상기 화소 분석의 수행 후에 실시간 데이터 변환을 위한 데이터 최적화를 위해 추가적인 데이터 샘플링 작업을 더 수행할 수도 있다.

이때, 상기 학습 단계는 딥러닝(Deep Learning) 기법을 이용하여 수행될 수 있으며, 상기 딥러닝 기법은 디에프(DF) 기법 및 엘아이에이이(LIAE) 기법을 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 얼굴 합성을 통한 가상 얼굴 생성 방법은 제1 입력 데이터를 입력받는 단계와 상기 입력된 제1 입력 데이터에 대한 전처리 과정을 수행하는 단계와 제2 입력 데이터를 입력받는 단계와 상기 입력된 제2 입력 데이터에 대한 전처리 과정을 수행하는 단계와 상기 전처리 된 제1 및 제2 입력 데이터에 대한 화소 분석을 수행하는 단계와 상기 수행된 분석에 따라 실행해야 할 딥러닝 학습 기법을 선정하는 단계와 상기 선정된 딥러닝 기법에 따라 학습을 수행하는 단계와 상기 학습된 결과에 따라 상기 제2 입력 데이터의 얼굴 영상 혹은 이미지를 상기 제1 입력 데이터로부터 추출한 제1 얼굴 영상 혹은 이미지로 변환하는 단계를 포함하여 구성된다.

이때, 상기 전처리는 입력 영상을 이미지로 변환하는 것일 수 있으며, 학습 효과를 높이기 위해 데이터의 정보량을 최적화하는 것일 수 있다.

상기 화소 분석의 수행 후에 실시간 데이터 변환을 위한 데이터 최적화를 위해 추가적인 데이터 샘플링 작업을 더 수행할 수도 있다.

이때, 상기 학습 단계는 딥러닝(Deep Learning) 기법을 이용하여 수행될 수 있으며, 상기 딥러닝 기법은 디에프(이하 DF) 기법 및 엘아이에이이(이하 LIAE) 기법을 포함할 수 있다.

본 발명에 따르는 얼굴 변환 장치 및 방법은 실시간 변환을 구현하기 위해 입력되는 데이터의 화소를 사전 분석하여 적절한 딥러닝 학습 기법을 선택하여 적용하고 추가적으로 데이터 샘플링을 통한 데이터 압축을 구현함으로써 응답 지연시간이 500ms 이하로 구현된 실시간 변환을 구현할 수 있다.

도 1은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴 변환 장치의 구성도의 일예를 도시한 블록도 이다.
도 2는 본 발명의 일실시예에 따른 얼굴 탐지 모델의 구조도를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 얼굴 특징 추출 결과를 나타낸 도면이다.
도 4는 상기 DF 기법에 따른 딥러닝 학습 기법을 도시한 도면이다.
도 5는 상기 LIAE 기법에 따른 딥러닝 학습 기법을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴 변환 장치가 적어도 하나의 프로세서(500) 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 실행 메모리(400)를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴변환 방법을 나타낸 동작 흐름도이다.

본 발명을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다, 여기서 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시 형태는 당 업계에서 평균적인 지식을 갖춘 당업자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴 변환 장치의 구성도의 일예를 도시한 블록도 이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 가상 얼굴 생성 장치는 입력부(110), 전처리부(120), 화소 분석부(130), DF 학습부(140), LIAE 학습부(141) 및 영상 및 이미지 변환부(150)를 포함하여 구성될 수 있다. 화소 분석부(130)의 화소 분석 수행 후에 실시간 데이터 변환을 위한 데이터 최적화를 위해 추가적인 데이터 샘플링 작업을 더 수행하는 데이터 샘플링부(131)를 더 포함하여 구성될 수도 있다.

입력부(110)는 얼굴 영상이나 이미지를 포함하는 제1 입력 데이터나 제2 입력 데이터를 입력받을 수 있고, 사진 및 디지털 이미지 등 이미 생성된 기록매체를 이용하여 입력받을 수 있다. 제1 입력 데이터는 얼굴 변화의 대상이 되는 제1 대상자 데이터를 나타내며 이로 인해 소스(Source)데이터 혹은 타겟(Target) 데이터로 칭해지고, 제2 입력 데이터는 제1 입력 데이터 즉, 제1 대상자 데이터로부터 얼굴 변화가 이루어지는 제2 대상자 데이터를 나타내며 이로 인해 목적(Destination) 데이터로 칭해진다.

전처리부(120)는 학습을 위해서는 입력 데이터가 이미지여야 하기 때문에 입력되는 데이터가 영상이라면, 먼저 입력 영상을 이미지로 변환할 수 있다. 영상의 프레임에 따라 생성 이미지 수는 다르며 30FPS 기준 1분의 영상에서는 1,800장의 이미지가 추출된다. 입력되는 영상이 이미 이러한 처리가 완료된 디지털 이미지일 경우에는 상기 이미지 변환 단계는 생략될 수 있다.

전처리부(120)는 또한 학습 효과를 높이기 위해 데이터의 정보량을 최적화할 수도 있다. 따라서 학습에 들어가는 직접적 데이터는 전체 이미지에서 얼굴 부분만 사용되는 것이 바람직하다. 이러한 단계에서 이미지에서의 얼굴의 위치, 얼굴의 랜드마크 정보 등 특징점이 이미지 내에 입력된다.

입력 데이터로부터 소스 혹은 타켓 얼굴 영상을 찾는 과정을 위해서 즉, 얼굴 탐지를 위해서 얼굴 탐지 모델 S3FD(Single Shot Scale-invariant Face Detector)를 기반으로 한 네트워크를 사용한다. 상기 S3FD 모델의 네트워크 구조는 도 2에 도시된다.

이러한 얼굴 탐지 모델은 사전 학습되어 있는 모델을 사용하며 구현된다.

상기 S3FD 모델을 통해서 탐지된 얼굴 모델에 대해서 특징점 모델을 추출한다.

즉, 상기 얼굴 영역에서 사전에 저장된 얼굴 특징점 모델을 이용하여 얼굴 특징점 위치 값을 산출할 수 있다. 이때, 상기 얼굴 특징점 모델은 상기 얼굴 영역에서 눈, 코, 입 및 턱 중 적어도 하나를 포함하는 복수의 특징점의 위치 값을 학습한 것일 수 있다.

이때, 실시간 측정된 각각의 얼굴 윤곽 및 내부 특징점 위치 값을 얼굴 특징점 위치 값으로 제공할 수 있다.

이러한 얼굴 특징점을 찾는 과정은 2디에프에이엔(이하 2DFAN) 모델을 사용할 수 있으며, 다른 어떠한 모델을 사용하더라도 특징점을 추출할 수 있으면 무방하다.

학습부(130)는 전처리 된 이미지들을 입력 데이터로 하여 학습을 진행한다. 학습은 AI에 기반한 딥러닝(Deep Learning) 기법을 이용하여 진행되며, 상기 딥러닝 기법은 디에프(이하 DF) 기법 및 엘아이에이이(이하 LIAE) 기법을 사용하여 진행할 수 있다.

도 4는 상기 DF 기법에 따른 딥러닝 학습 기법을 도시한 도면이다. DF 구조는 인코더(Encoder)와 소스 데이터와 목적 데이터 사이에 공유된 가중치를 가진 인터(Inter), 소스 데이터와 목적 데이터에 별도로 속하는 두 개의 디코더(Decoder)로 구성된다. 공유된 인코더와 인터를 통해 소스 데이터와 목적 데이터의 일반화가 진행되며, 이는 상기 두 데이터 사이의 페어링 되지 않은 문제를 쉽게 해결한다.

상기 인코더는 입력 데이터 이미지(얼굴)의 특징을 추출하고 그것을 잠재화 하는 작업을 진행한다. 예로써 인코더는 어떠한 이미지를 입력받으면 다문 입, 감은 눈 등의 정보를 축약하는 역할을 한다.

상기 인터는 잠재화 된 코드들을 분류 혹은 군집화하는 역할을 진행하며, 상기 디코더는 군집화된 벡터들 정보를 기반으로 그 정보에 맞는 얼굴을 생성한다.

상기 DF 기법에서는 소스 데이터의 얼굴 정체성은 잘 유지되나 다양한 목적 데이터에 유연히 반응하지 못한다. 이는 상기 DF 구조가 조명과 같은 충분한 정보를 목적 데이터로부터 상속할 수 없기 때문이다.

상기 DF 모델은 공용 인코더, 공용 인터 네트워크를 사용하나 디코더는 상기 개시한 바와 같이 소스 데이터와 목적 데이터에 모두 독립적인 개별 디코더를 사용한다. 따라서 소스 데이터와 목적 데이터의 얼굴 생성부분이 공유되지 않기 때문에 합성 과정에서 소스 데이터의 정체성이 잘 보존될 수 있다.

도 5는 상기 LIAE 기법에 따른 딥러닝 학습 기법을 도시한 도면이다. 도면에 도시된 LIAE 기법은 DF 모델이 갖는 조명 즉 빛에 대한 일관성 문제를 강화한다. 인터 AB는 소스 데이터와 목적 데이터의 잠재 코드(Latent code)를 만들고 인터 B는 목적 데이터의 잠재 코드만을 만든다.

인터 AB에서 나온 소스에 대한 잠재 코드 두 개를 연결(Concatenate)하고 인터 AB에서 나온 목적 데이터에 대한 잠재 코드와 인터 B에서 나온 목적 데이터에 대한 잠재 코드를 연결한다.

인터 AB를 통해 잘 정렬된 결과의 데이터를 목적 데이터로 방향을 바꾸기 위해 두 레이어에서 추출된 목적 데이터에 대한 잠재 코드를 연결한다. 이후에 디코드에 상기 연결된 잠재 코드가 들어가고 마스크와 함께 예측된(Predicted) 소스 혹은 목적 데이터를 얻는다.

LIAE 구조는 인코더와 디코더를 소스 데이터 및 목적 데이터에서 공용으로 사용한다. 다만 인터에서 소스 데이터와 목적 데이터가 공유되는 인터 AB 네트워크와 목적 데이터에서만 사용되는 인터 B 네트워크가 존재한다.

상기 전처리부(120)에서 전처리가 끝난 후의 데이터를 학습부에 진입시키기 전에 화소 분석부(130)에서 조명 즉 빛과 관련된 데이터의 존재를 찾아내는 분석을 수행한다.

상기 DF 구조와 LIAE 구조에서는 상기 개시된 바와 같이 인코더는 공용으로 사용할 수 있고 상기 인코더 상으로 소스 데이터와 목적 데이터의 전처리 된 데이터가 입력된다.

상기 화소 분석부는 상기 인코더에서 출력되는 데이터를 분석하여 빛 데이터의 가중값을 추출할 수 있다. 상기 빛 데이터의 가중값 분석은 입력되는 각 화소의 밝기 값을 분석해서 도출할 수 있다.

상기 전처리부의 얼굴 탐지 영역 데이터의 밝기 값을 평균값으로 구하고, 상기 얼굴 탐지 영역 외의 영역 데이터의 밝기 값의 평균값을 구한다.

상기 얼굴 탐지 영역 데이터의 밝기 값의 평균값을 FA라 하고 상기 얼굴 탐지 영역 외의 영역 데이터의 밝기 값의 평균값을 FB라 칭한다.

상기 FA 값이 FB 값보다 같거나 크게 되면 빛 데이터가 영향을 주지 않는 것으로 판단하여 DF 구조를 이용한 딥러닝 학습을 수행한다. 이러한 경우 DF 구조를 이용한 기법은 조명 즉 빛 데이터의 충분한 정보를 목적 데이터로부터 상속할 수 없으나 상기 빛 데이터의 값이 얼굴 탐지 영역의 밝기 값보다 작으므로 정보를 상속하지 않더라도 학습 과정에는 별다른 영향을 끼치지 않게 된다.

이와 반대로 상기 FA 값이 FB 값보다 작게 되면, 얼굴 영역을 제외한 주위의 밝기 값이 크게 되어 빛 데이터가 영향을 주는 것으로 판단하여 LIAE 구조를 이용한 딥러닝 학습을 수행한다. LIAE 구조는 빛에 대한 일관성 있는 학습을 추구하므로 상기 빛 데이터가 충분히 큰 값이 들어오더라도 학습 과정에 별다른 영향을 끼치지 않게 된다.

상기 인코더 과정에서 딥러닝 기법에 관한 판단이 이루어진 후에는 추가적인 데이터 샘플링 과정을 통해 인코딩된 데이터를 한층 더 압축하는 과정을 수행할 수 있다. 이러한 데이터 샘플링 과정은 도 1에 도시된 데이터 샘플링부(131)에 의해서 수행된다. 상기 데이터 샘플링 부에서는 얼굴 탐지 영역 외의 영역 데이터에 대해서 추가적인 샘플링 과정을 수행하여 학습부에 입력되는 데이터의 양을 더욱 감소시켜 학습 시간을 더욱 감소시킬 수 있게 된다.

상기 데이터 샘플링은 Packed Decimal 기법, Relative Encoding 기법, Character Suppression 기법, Huffman 기법 등 기존에 사용되는 어떠한 데이터 압축 기법을 사용해도 무방하다.

영상 및 이미지 변환부(150)는 소스 데이터를 목적 데이터로 변환하여 출력을 수행한다. 먼저 목적 디코더를 통해 소스 데이터의 원래 위치로 생성된 얼굴로 변환한다. 합성 단계는 추론 단계로 칭하기도 하며 상기 언급한 바와 같이 목적 데이터만 이용된다. 목적 데이터를 입력 데이터로 사용하고 네트워크에 통과시키면 제2 대상자의 표정, 입 모양 및 눈짓을 따라 하는 변환 이미지가 생성된다. 합성된 이미지는 합성 단계를 거쳐 제2 대상자의 이미지로 붙여진다. 얼굴이 탐지된 정렬 얼굴 이미지에 저장된 위치정보를 바탕으로 생성된 이미지를 위치기반으로 하여 붙이는 과정이다. 다음에 외부 윤곽을 따라 대상 이미지와 매끄럽게 맞도록 재연하는 블렌딩(Blending) 과정을 수행한다. 안정된 안색을 유지하기 위해 5개의 색상 전달 알고리즘을 추가로 제공한다. 블렌딩 과정은 특히 재연된 얼굴과 구분된 영역 및 대상 얼굴 사이의 교차점에서 다양한 피부톤,얼굴 모양 및 조명 조건을 고려해서 수행하며, 일반적인 포이즌 블렌딩(Poisson blending)을 통해 구현하지만 다른 어떠한 블렌딩 기법을 적용해도 무방하다.

도 6은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴 변환 장치는 적어도 하나의 프로세서(500) 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 실행 메모리(400)를 도시한 도면이다.

본 발명을 실행하는 프로그램은 상기 실행 메모리에 저장되어 있고 상기 실행 메모리에 저장된 프로세서(500)의 명령에 따라 단계적으로 본 발명을 수행하게 된다.

이러한 본 발명에 따르는 얼굴 변환 장치는 실시간 변환을 구현하기 위해 입력되는 데이터의 화소를 사전 분석하여 적절한 딥러닝 학습 기법을 선택하여 적용하고 추가적으로 데이터 샘플링을 통한 데이터 압축을 구현함으로써 응답 지연시간이 500ms 이하로 구현된 실시간 변환을 구현할 수 있다.

도 7은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 실시간 얼굴변환 방법을 나타낸 동작 흐름도이다.

얼굴 영상이나 이미지를 포함하는 제1 입력 데이터나 제2 입력 데이터를 입력받을 수 있고(S110, S210), 사진 및 디지털 이미지 등 이미 생성된 기록매체를 이용하여 입력받을 수 있다. 제1 입력 데이터는 얼굴 변화의 대상이 되는 제1 대상자 데이터를 나타내며 이로 인해 소스(Source) 데이터 혹은 타겟(Target) 데이터로 칭해지고, 제2 입력 데이터는 제1 입력 데이터, 즉, 제1 대상자 데이터에 의해 변화가 이루어지는 제2 대상자 데이터를 나타내며 이로 인해 목적(Destination) 데이터로 칭해진다.

다음으로 전처리 단계가 수행된다(S120, S220). 상기 전처리 단계는 입력 영상을 이미지로 변환하는 단계를 포함한다. 학습을 위해서는 입력 데이터가 이미지여야 하기 때문에 입력되는 데이터가 영상이라면, 먼저 입력 영상을 이미지로 변환할 수 있다. 영상의 프레임에 따라 생성 이미지 수는 다르며 30FPS 기준 1분의 영상에서는 1,800장의 이미지가 추출된다. 입력되는 영상이 이미 이러한 처리가 완료된 디지털 이미지일 경우에는 상기 이미지 변환 단계는 생략될 수 있다.

전처리 단계는 또한 학습 효과를 높이기 위해 데이터의 정보량을 최적화할 수도 있다. 따라서 학습에 들어가는 직접적 데이터는 전체 이미지에서 얼굴 부분만 사용되는 것이 바람직하다. 이러한 단계에서 이미지에서의 얼굴의 위치, 얼굴의 랜드마크 정보 등 특징점이 이미지 내에 입력된다.

입력 데이터로부터 타켓 얼굴 영상을 찾는 과정을 위해서 즉, 얼굴 탐지를 위해서 얼굴 탐지 모델 S3FD(Single Shot Scale-invariant Face Detector)를 기반으로 한 네트워크를 사용한다. 상기 S3FD 모델의 네트워크 구조는 도 2에 도시된다.

이러한 얼굴 탐지 모델은 사전 학습되어 있는 모델을 사용하며 구현된다.

상기 S3FD 모델을 통해서 탐지된 얼굴 모델에 대해서 특징점 모델을 추출한다.

즉, 상기 얼굴 영역에서 사전에 저장된 얼굴 특징점 모델을 이용하여 얼굴 특징점 위치 값을 산출할 수 있다. 이때, 상기 얼굴 특징점 모델은 상기 얼굴 영역에서 눈, 코, 입 및 턱 중 적어도 하나를 포함하는 복수의 특징점의 위치 값을 학습한 것일 수 있다.

이때, 실시간 측정된 각각의 얼굴 윤곽 및 내부 특징점 위치 값을 얼굴 특징점 위치 값으로 제공할 수 있다.

이러한 얼굴 특징점을 찾는 과정은 2디에프에이엔(이하 2DFAN) 모델을 사용할 수 있으며, 다른 어떠한 모델을 사용하더라도 특징점을 추출할 수 있으면 무방하다.

다음으로 화소 분석 단계가 진행된다(S130). 상기 화소 분석 단계는 상기 DF 기법 구조와 LIAE 기법 구조에서 공통으로 사용되는 인코더에서 출력되는 데이터를 분석하여 빛 데이터의 가중값을 추출할 수 있다. 상기 빛 데이터의 가중값 분석은 입력되는 각 화소의 밝기 값을 분석해서 도출할 수 있다.

상기 전처리 단계에서의 얼굴 탐지 영역 데이터의 밝기 값을 평균값으로 구하고, 상기 얼굴 탐지 영역 외의 영역 데이터의 밝기 값의 평균값을 구한다.

상기 얼굴 탐지 영역 데이터의 밝기 값의 평균값을 FA라 하고 상기 얼굴 탐지 영역 외의 영역 데이터의 밝기 값의 평균값을 FB라 칭한다.

상기 FA 값이 FB 값보다 같거나 크게 되면 빛 데이터가 영향을 주지 않는 것으로 판단하여 DF 구조를 이용한 딥러닝 학습을 수행한다. 이러한 경우 DF 구조를 이용한 기법은 조명 즉 빛 데이터의 충분한 정보를 목적 데이터로부터 상속할 수 없으나 상기 빛 데이터의 값이 얼굴 탐지 영역의 밝기 값보다 작으므로 정보를 상속하지 않더라도 학습 과정에는 별다른 영향을 끼치지 않게 된다.

이와 반대로 상기 FA 값이 FB 값보다 작게 되면, 얼굴 영역을 제외한 주위의 밝기 값이 크게 되어 빛 데이터가 영향을 주는 것으로 판단하여 LIAE 구조를 이용한 딥러닝 학습을 수행한다. LIAE 구조는 빛에 대한 일관성 있는 학습을 추구하므로 상기 빛 데이터가 충분히 큰 값이 들어오더라도 학습 과정에 별다른 영향을 끼치지 않게 된다.

상기 인코더 과정에서 딥러닝 기법에 관한 판단이 이루어진 후에는 추가적인 데이터 샘플링 과정을 통해 인코딩된 데이터를 한층 더 압축하는 과정을 수행할 수 있다. 이러한 데이터 샘플링 과정은 도 1에 도시된 데이터 샘플링부(131)에 의해서 수행된다. 상기 데이터 샘플링 부에서는 얼굴 탐지 영역 외의 영역 데이터에 대해서 추가적인 샘플링 과정을 수행하여 학습부에 입력되는 데이터의 양을 더욱 감소시켜 학습 시간을 더욱 감소시킬 수 있게 된다.

상기 데이터 샘플링은 Packed Decimal 기법, Relative Encoding 기법, Character Suppression 기법, Huffman 기법 등 기존에 사용되는 어떠한 데이터 압축 기법을 사용해도 무방하다.

상기 인코더 과정에서 선택된 딥러닝 기법에 따라, 전처리 된 이미지들을 입력 데이터로 하여 딥러닝 학습이 진행된다. 상기 학습은 AI에 기반한 딥러닝(Deep Learning) 기법을 이용하여 진행되며, 상기 딥러닝 기법은 디에프(이하 DF) 기법 및 엘아이에이이(이하 LIAE) 기법을 사용하여 진행할 수 있다.

도 4는 상기 DF 기법에 따른 딥러닝 학습 기법을 도시한 도면이다. DF 구조는 인코더(Encoder)와 소스 데이터와 목적 데이터 사이에 공유된 가중치를 가진 인터(Inter), 소스 데이터와 목적 데이터에 별도로 속하는 두 개의 디코더(Decoder)로 구성된다. 공유된 인코더와 인터를 통해 소스 데이터와 목적 데이터의 일반화가 진행되며, 이는 상기 두 데이터 사이의 페어링 되지 않은 문제를 쉽게 해결한다.

상기 인코더는 입력 데이터 이미지(얼굴)의 특징을 추출하고 그것을 잠재화 하는 작업을 진행한다. 예로써 인코더는 어떠한 이미지를 입력받으면 다문 입, 감은 눈 등의 정보를 축약하는 역할을 한다.

상기 인터는 잠재화 된 코드들을 분류 혹은 군집화하는 역할을 진행하며, 상기 디코더는 군집화된 벡터들 정보를 기반으로 그 정보에 맞는 얼굴을 생성한다.

상기 DF 기법에서는 소스 데이터의 얼굴 정체성은 잘 유지되나 다양한 목적 데이터에 유연히 반응하지 못한다. 이는 상기 DF 구조가 조명과 같은 충분한 정보를 목적 데이터로부터 상속할 수 없기 때문이다.

상기 DF 모델은 공용 인코더, 공용 인터 네트워크를 사용하나 디코더는 상기 개시한 바와 같이 소스 데이터와 목적 데이터에 모두 독립적인 개별 디코더를 사용한다. 따라서 소스 데이터와 목적 데이터의 얼굴 생성부분이 공유되지 않기 때문에 합성 과정에서 소스 데이터의 정체성이 잘 보존될 수 있다.

도 5는 상기 LIAE 기법에 따른 딥러닝 학습 기법을 도시한 도면이다. 도면에 도시된 LIAE 기법은 DF 모델이 갖는 조명 즉 빛에 대한 일관성 문제를 강화한다. 인터 AB는 소스 데이터와 목적 데이터의 잠재 코드(Latent code)를 만들고 인터 B는 목적 데이터의 잠재 코드만을 만든다.

인터 AB에서 나온 소스에 대한 잠재 코드 두 개를 연결(Concatenate)하고 인터 AB에서 나온 목적 데이터에 대한 잠재 코드와 인터 B에서 나온 목적 데이터에 대한 잠재 코드를 연결한다.

인터 AB를 통해 잘 정렬된 결과의 데이터를 목적 데이터로 방향을 바꾸기 위해 두 레이어에서 추출된 목적 데이터에 대한 잠재 코드를 연결한다. 이후에 디코드에 상기 연결된 잠재 코드가 들어가고 마스크와 함께 예측된(Predicted) 소스 혹은 목적 데이터를 얻는다.

LIAE 구조는 인코더와 디코더를 소스 데이터 및 목적 데이터에서 공용으로 사용한다. 다만 인터에서 소스 데이터와 목적 데이터가 공유되는 인터 AB 네트워크와 목적 데이터에서만 사용되는 인터 B 네트워크가 존재한다.

상기 전처리 단계(S120, S220)에서 전처리가 끝난 후의 데이터를 학습부에 진입시키기 전에 화소 분석 단계(S130)에서 조명 즉 빛과 관련된 데이터의 존재를 찾아내는 분석을 수행한다.

상기 DF 구조와 LIAE 구조에서는 상기 개시된 바와 같이 인코더는 공용으로 사용할 수 있고 상기 인코더 상으로 소스 데이터와 목적 데이터의 전처리 된 데이터가 입력된다.

다음으로 영상 및 이미지 변환 단계가 수행된다(S320). 상기 단계에서는 소스 데이터를 목적 데이터로 변환하여 출력을 수행한다. 먼저 목적 디코더를 통해 소스 데이터의 원래 위치로 생성된 얼굴로 변환한다. 합성 단계는 추론 단계로 칭하기도 하며 상기 언급한 바와 같이 목적 데이터만 이용된다. 목적 데이터를 입력 데이터로 사용하고 네트워크에 통과시키면 제2 대상자의 표정, 입 모양 및 눈짓을 따라 하는 변환 이미지가 생성된다. 합성된 이미지는 합성 단계를 거쳐 제2 대상자의 이미지로 붙여진다. 얼굴이 탐지된 정렬 얼굴 이미지에 저장된 위치정보를 바탕으로 생성된 이미지를 위치기반으로 하여 붙이는 과정이다. 다음에 외부 윤곽을 따라 대상 이미지와 매끄럽게 맞도록 재연하는 블렌딩(Blending) 과정을 수행한다. 안정된 안색을 유지하기 위해 5개의 색상 전달 알고리즘을 추가로 제공한다. 블렌딩 과정은 특히 재연된 얼굴과 구분된 영역 및 대상 얼굴 사이의 교차점에서 다양한 피부톤,얼굴 모양 및 조명 조건을 고려해서 수행하며, 일반적인 포이즌 블렌딩(Poisson blending)을 통해 구현하지만 다른 어떠한 블렌딩 기법을 적용해도 무방하다.

이러한 본 발명에 따르는 얼굴변환 방법은 실시간 변환을 구현하기 위해 입력되는 데이터의 화소를 사전 분석하여 적절한 딥러닝 학습 기법을 선택하여 적용하고 추가적으로 데이터 샘플링을 통한 데이터 압축을 구현함으로써 응답 지연시간이 500ms 이하로 구현된 실시간 변환을 구현할 수 있다.

110 : 입력부 120 : 전처리부
130 : 화소 분석부 131 : 데이터 샘플링부
140 : DF 딥러닝 학습부
141 : LIAE 딥러닝 합성부
150 : 영상 및 이미지 변환부
400 : 메모리 500 : 프로세서

Claims (5)

1. 적어도 하나의 프로세서(500); 및
   상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 실행 메모리(400); 를 포함하고,
   상기 적어도 하나의 프로그램은
   제1 입력 데이터를 입력받고,
   상기 입력된 제1 입력 데이터에 대한 전처리를 수행하고,
   제2 입력 데이터를 입력받고,
   상기 입력된 제2 입력 데이터에 대한 전처리를 수행하고,
   상기 전처리 된 제1 및 제2 입력 데이터에 대한 화소 분석을 수행하고,
   상기 화소 분석 결과에 따라 학습 기법을 선택하여 수행하고,
   상기 학습된 결과에 따라 상기 제2 입력 데이터의 얼굴 영상 혹은 이미지를 상기 제1 입력 데이터로부터 추출한 제1 얼굴 영상 혹은 이미지로 변환하는 것이며,
   상기 학습 기법을 선택하여 수행하는 것은, 상기 화소 분석을 수행할 때 얼굴 탐지 영역 데이터의 밝기 값의 평균값을 나타내는 FA값이 상기 얼굴 탐지 영역 외의 영역 데이터의 밝기 값의 평균값을 나타내는 FB값보다 같거나 크게 되면 DF 구조를 이용한 딥러닝 학습을 수행하는 것이고, 상기 FA 값이 상기 FB 값보다 작게 되면 LIAE 구조를 이용한 딥러닝 학습을 수행하는 것이며, 상기 화소 분석 수행 후 딥러닝 기법에 관한 판단이 이루어진 후에 추가적인 데이터 샘플링 과정을 통해 인코딩된 데이터를 한층 더 압축하는 과정을 더 포함할 수 있는 것을 특징으로 하는 딥러닝 기술을 이용한 실시간 얼굴 변환 장치.
   
2. 제1항에 있어서,
   상기 전처리는 입력된 데이터 중에서 얼굴 영상 혹은 이미지를 탐색하는 것으로, 입력 영상을 이미지로 변환하는 작업을 수행하거나 및/혹은 학습 효과를 높이기 위해 데이터의 정보량을 최적화하는 것이고, 상기 학습 기법은 디에프(이하 DF) 기법 및 엘아이에이이(이하 LIAE) 기법을 사용하여 수행되는 것을 특징으로 하는 딥러닝 기술을 이용한 실시간 얼굴 변환 장치.
   
3. 삭제
4. 제1 입력 데이터를 입력받는 단계;
   상기 입력된 제1 입력 데이터에 대한 전처리를 수행하는 단계;
   제2 입력 데이터를 입력받는 단계;
   상기 입력된 제2 입력 데이터에 대한 전처리를 수행하는 단계;
   상기 전처리 된 제1 및 제2 입력 데이터에 대한 화소 분석을 수행하는 단계;
   상기 화소 분석 결과에 따라 학습 기법을 선택하여 수행하는 단계;
   상기 학습된 결과에 따라 상기 제2 입력 데이터의 얼굴 영상 혹은 이미지를 상기 제1 입력 데이터로부터 추출한 제1 얼굴 영상 혹은 이미지로 변환하는 단계;
   를 포함하여 구성되며,
   상기 학습 기법을 선택하여 수행하는 단계는, 상기 화소 분석을 수행할 때 얼굴 탐지 영역 데이터의 밝기 값의 평균값을 나타내는 FA값이 상기 얼굴 탐지 영역 외의 영역 데이터의 밝기 값의 평균값을 나타내는 FB값보다 같거나 크게 되면 DF 구조를 이용한 딥러닝 학습을 수행하고, 상기 FA 값이 상기 FB 값보다 작게 되면 LIAE 구조를 이용한 딥러닝 학습을 수행하는 것이며, 상기 화소 분석 단계 후 딥러닝 기법에 관한 판단이 이루어진 후에 추가적인 데이터 샘플링 과정을 통해 인코딩된 데이터를 한층 더 압축하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 기술을 이용한 실시간 얼굴변환 방법.
   
5. 제4항에 있어서,
   상기 전처리 단계는 입력된 데이터 중에서 얼굴 영상 혹은 이미지를 탐색하는 단계로써 입력 영상을 이미지로 변환하는 작업을 수행하는 단계 및/혹은 학습 효과를 높이기 위해 데이터의 정보량을 최적화하는 단계를 포함하고, 상기 학습 기법은 디에프(이하 DF) 기법 및 엘아이에이이(이하 LIAE) 기법을 사용하여 수행되는 것을 특징으로 하는 딥러닝 기술을 이용한 실시간 얼굴변환 방법.

Images