KR102555166B1 - 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템 - Google Patents

Abstract

매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템이 제시된다. 본 발명에서 제안하는 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법은 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 단계, 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계 및 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계를 포함한다.

Description

매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템{Method and System for Facial Texture Synthesis with Skin Microelement Structure}

본 발명은 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템에 관한 것이다.

얼굴의 랜드마크 감지, 얼굴 감지 및 식별, 표정 분석과 같은 다양한 분야에서 얼굴과 관련된 연구가 이루어지고 있다. 그 중에서 2차원 얼굴 영상으로부터의 3D 얼굴 복원은 주로 3D 아바타를 만드는 데 활용된다. 최근 비대면 활동들이 증가함에 따라 플랫폼에서 본인을 나타내는 캐릭터를 만들어 회의와 수업에 활용하고 있다. 정형화된 얼굴 모델에서 특징들을 변경하여 본인과 비슷한 캐릭터를 만들거나 기존 캐릭터에서 표정을 변경한다. 또한 AR/VR 등의 3D 콘텐츠 시장에 사용되어 볼 수 없는 사람을 복원하여 주목을 받기도 했다. 3D 얼굴 복원 과정에서 얼굴 텍스처 생성 기법으로 다양한 방법들이 연구되었다. 특정 대상을 고밀도 복원을 하기 위하여 3D 스캐닝 기술을 사용해 고차원 형태와 고해상도 텍스처를 생성한다. 이러한 스캐닝 방식은 얼굴 복원 성능 면에서 뛰어나지만 특수 장비를 사용해 데이터를 취득해야 하기 때문에 큰 비용이 요구된다. 또한 많은 카메라와 조명으로 구성된 라이트 스테이지(light stage)에서 취득한 여러 장의 영상을 이용하는 연구도 있다. 이러한 연구들도 특정한 환경이 필요하며 한 대상에 대해 여러 영상이 필요하다는 단점이 존재한다. 이에 대응하여 한 장의 얼굴 영상으로부터 3D 얼굴을 복원하는 연구도 존재한다. 얼굴 정보가 부족하기 때문에 정형화된 3DMM(3D Morphable Model)의 텍스처 파라미터와 조명 파라미터를 이용해 텍스처를 표현한다. 이는 얼굴의 기본 색을 표현하는 한 장의 텍스처를 생성하기 때문에 렌더링 결과의 품질이 떨어진다. 조명이 있는 환경 에서 렌더링하였을 때 피부 표면에서의 빛 반사와 투과를 표현하지 못하여 렌더링 결과가 사실적이지 않다.

[1] O. Ronneberger, P. Fischer, and T. Brox. U-Net: Convolutional networks for biomedical image segmentation. In Proc. of International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 234-241, October 2015. [2] J. Long, E. Shelhamer, and T. Darrell. Fully convolutional networks for semantic segmentation. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 3431-3440, June 2015. [3] L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam. Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587, 2017.

본 발명이 이루고자 하는 기술적 과제는 기본 얼굴 색상을 나타내는 난반사 텍스처와 빛의 반사와 투과와 관련된 캐비티 맵과 법선 맵을 이용해 렌더링하고, 언리얼 엔진에서 지원하는 디지털 휴먼 모델 메타휴먼(MetaHuman)을 활용하여 얼굴 영상에서 랜드마크 추출 방법을 통해 얻어진 2D 랜드마크 좌표를 활용하여 난반사 텍스처를 생성하는 방법 및 시스템을 제공하는데 있다. 또한, CNN(Convolutional Neural Network) 기반 변위 맵 생성 네트워크를 통해 생성된 변위 맵을 이용해 기존 메타휴먼과 비교하여 가장 유사한 얼굴의 캐비티 맵과 법선 맵을 선택하고, 얼굴 랜드마크 위치를 통해 눈의 색을 추출하여 메타휴먼에서 사용되는 홍채 색 팔레트에서 가장 비슷한 색을 선택해 안구 색을 설정하며, 생성된 텍스처와 눈을 이용해 언리얼 엔진에서의 렌더링을 자동화하고자 한다.

일 측면에 있어서, 본 발명에서 제안하는 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법은 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 단계, 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계 및 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계를 포함한다.

상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계는 주름, 모공, 홍조를 포함하는 피부 요소의 분할 클래스에 대한 분할 네트워크 학습 전 화소 수준의 분할을 영역 수준의 분할로 변환하고, 피부 요소 화소를 확장하여 피부 요소 분할 맵을 생성하며, 상기 피부 요소 화소의 확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하고, 상기 생성된 피부 요소 분할 맵이 분할 네트워크에 입력되어 학습된다.

상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계는 얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)단계, 상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계 및 상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성하는 단계를 포함한다.

상기 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계는 얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집하며, 피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고, 피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시킨다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 시스템은 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 데이터 수집부, 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 피부 요소 분할부 및 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 얼굴 영상 합성부를 포함한다.

본 발명의 실시예들에 따른 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템을 통해 기본 얼굴 색상을 나타내는 난반사 텍스처와 빛의 반사와 투과와 관련된 캐비티 맵과 법선 맵을 이용해 렌더링하고, 언리얼 엔진에서 지원하는 디지털 휴먼 모델 메타휴먼(MetaHuman)을 활용하여 얼굴 영상에서 랜드마크 추출 방법을 통해 얻어진 2D 랜드마크 좌표를 활용하여 난반사 텍스처를 생성할 수 있다. 또한, CNN(Convolutional Neural Network) 기반 변위 맵 생성 네트워크를 통해 생성된 변위 맵을 이용해 기존 메타휴먼과 비교하여 가장 유사한 얼굴의 캐비티 맵과 법선 맵을 선택하고, 얼굴 랜드마크 위치를 통해 눈의 색을 추출하여 메타휴먼에서 사용되는 홍채 색 팔레트에서 가장 비슷한 색을 선택해 안구 색을 설정하며, 생성된 텍스처와 눈을 이용해 언리얼 엔진에서의 렌더링을 자동화할 수 있다

도 1은 본 발명의 일 실시예에 따른 얼굴 텍스처 생성 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 취득된 데이터 예시를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 참가자에 대한 피부 유형 및 연령별 분포 그래프를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 텍스처 생성 시스템의 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 피부 요소 영역 조절 기법을 설명하기 위한 도면이다.

얼굴 영상 합성 분야에서 헤어 스타일 및 색, 배경, 표정과 같은 큰 요소를 변경하거나 나이 변환을 위한 큰 주름을 추가하는 수준에서의 연구가 진행되었다. 이러한 기존 연구들은 아직까지 화소 수준에서의 변환을 하지 못하며 스타일 코드를 조절하며 영상을 생성한다. 본 발명에서는 미세 수준을 화소 단위의 피부 요소로 정의하고 피부 요소 분할 맵을 이용하여 텍스처를 생성하는 기법을 제안한다. 이를 통해 피부 요소의 종류와 영역을 조절하여 원하는 피부 타입을 가진 피부 영상을 생성할 수 있다.

본 발명에서는 얼굴 영상에 대한 피부 요소 데이터셋 취득 과정을 제안하고 이를 이용해 피부 요소 추출을 위한 영상 분할의 기존 모델을 비교한다. 또한, 화소 단위의 피부 요소 분할 맵의 특성의 어려움을 극복하기 위해 개선 모듈을 제안하여 성능을 개선하였다. 마지막으로 미세 요소 수준의 합성을 가능하게 하는 라벨 영상 기법과 조절 기법을 통해 다양한 얼굴 영상을 합성할 수 있다. 위 과정을 통해 합성된 얼굴 영상으로부터 마이크로 수준의 얼굴 텍스처를 생성한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 얼굴 텍스처 생성 방법을 설명하기 위한 흐름도이다.

제안하는 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 단계(110), 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계(120) 및 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계(130)를 포함한다.

단계(110)에서, 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득한다.

얼굴 RGB 영상에 대한 피부 요소의 영역 및 위치를 얻기 위해서는 피부과 관련 전문가가 필요하며 이를 생성하기 위해 시간과 인적 자원 측면에서 많은 비용이 소요된다. 또한 공개 데이터셋이 존재하지 않아 이에 대한 연구도 매우 드물다. 이를 해결하기 위해 피에스아이플러스(주)의 Mark-Vu 피부 분석기를 이용하여 얼굴 영상과 피부 요소 영상을 취득한다. 피부 분석기는 CANON 100D DSLR 카메라와 일반광, 편광, 자외선광, 광택광 조명으로 이루어져 있다.

본 발명의 실시예에 따른 데이터셋 취득 과정은 모든 참가자가 민낯인 상태에서 머리카락을 고정하여 전체 얼굴을 취득할 수 있게 한다. 피부 분석기 내부의 이마와 턱 받침대에 얼굴을 고정하고 피부 분석기의 커튼을 통해 외부 빛을 차단한다. 눈을 감은 상태에서 4가지 광 아래 정면 영상을 취득하고 그에 따라 피부 요소의 위치와 크기가 표시된 영상이 자동으로 추출된다. 일반광 영상으로부터 주름과 모공이 추출되며 편광 영상으로부터 홍조가 추출된다.

도 2는 본 발명의 일 실시예에 따른 취득된 데이터 예시를 나타내는 도면이다.

도 2는 본 발명의 실시예에 따른 얼굴 정면 영상과 그에 대응하는 주름, 모공, 홍조 영상이며 피부 요소 영상의 흰 화소는 피부 요소를 의미한다. 도 2(a)는 얼굴 정면 영상, 도 2(b)는 주름 영상, 도 2(c)는 모공 영상, 도 2(d)는 홍조 영상을 나타낸다.

도 3은 본 발명의 일 실시예에 따른 참가자에 대한 피부 유형 및 연령별 분포 그래프를 나타내는 도면이다.

본 발명의 실시예에 따른 참가자는 남자 91명과 여자 93명으로 이루어져 있으며, 피부 유형으로는 지성, 복합성, 건성, 중성 순으로 많다. 나이 통계로는 평균 24.89세, 최소 20세, 최대 57 세이다. 세부 통계는 도 3에 나타내었다.

다시 도 1을 참조하면, 단계(120)에서 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할한다.

본 발명에서는 얼굴 RGB 영상에 따른 피부 요소를 분할하기 위해 기존 모델에 적용 가능한 개선 모듈을 제안한다. 분할 클래스인 피부 요소는 주름, 모공, 홍조 이며 기존 모델인 U-Net, FCN, DeepLabv3를 훈련하였다. 세 모델을 선택한 이유는 영상 분할 네트워크 중에서도 각기 다른 학습 네트워크를 갖고 있기 때문이다. U-Net은 인코더-디코더 기반의 네트워크로 구성되어 있으며, FCN은 컨 볼루션 레이어로만 구성된 네트워크로 구성되어 있다. 마지막으로 DeepLabv3는 ResNet구조와 아트로스 컴볼루션(atrous convolution)으로 구성되어 있다. 각 피부 요소에 대해 네트워크를 훈련하고 모델의 실험 결과를 비교하였다. 피부 요소 분할은 일반 영상에서의 분할과는 다르게 화소 단위로 이루어져야 하며 어려운 작업이다. 그렇기 때문에 기존 모델을 그대로 학습하고 이를 통해 피부 요소를 분할하여 맵을 생성하는 방법은 분할 정확성이 부족하다. 이를 해결하고자 본 발명에서는 네트워크 학습 전 개선 모듈을 추가하여 화소 수준의 분할을 영역 수준의 분할로 변환하여 학습에 도움을 준다.

개선 모듈은 식(1)을 이용하여 기존 피부 요소 분할 맵의 피부 요소 화소를 확장하여 피부 요소 분할 맵을 만든다(121). RGB 34 영상에서 (x, y)에 위치하는 화소의 라벨 l이 피부 요소 라벨 s라고 할 때 아래와 같이 표현할 수 있다:

(1)

확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하는 방법이다. 얼굴 RGB 영상과 개선 모듈을 통해 생성된 피부 요소 분할 맵이 분할 네트워크의 입력으로 들어가 학습된다. 개선 모듈은 학습 시에만 사용되며 평가 시에는 사용되지 않는다.

단계(130)에서, 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성한다.

단계(130)는 얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)단계, 상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계 및 상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성하는 단계를 포함한다.

얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)단계에서 먼저 고해상도 얼굴 영상을 합성하기 위해 영상과 영상 간의 변환 모델인 Pix2PixHD를 이용한다. 라벨 영상을 입력으로 하여 얼굴 RGB 영상을 합성 하기 위해서는 먼저 얼굴 RGB 영상과 피부 요소 분할 영상으로부터 라벨 영상을 생성한다.

이후, 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계에서, 얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집한다. 이때, 피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고, 피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시킨다.

마지막으로, 얼굴 합성 단계에서는 위 과정으로 생성된 라벨 영상으로부터 Pix2PixHD 모델을 통해 얼굴 RGB 영상을 생성한다.

도 4는 본 발명의 일 실시예에 따른 얼굴 텍스처 생성 시스템의 구성을 나타내는 도면이다.

본 실시예에 따른 얼굴 텍스처 생성 시스템(400)은 프로세서(410), 버스(420), 네트워크 인터페이스(430), 메모리(440) 및 데이터베이스(450)를 포함할 수 있다. 메모리(440)는 운영체제(441) 및 얼굴 텍스처 생성 루틴(442)을 포함할 수 있다. 프로세서(410)는 데이터 수집부(411), 피부 요소 분할부(412) 및 얼굴 영상 합성부(413)를 포함할 수 있다. 다른 실시예들에서 얼굴 텍스처 생성 시스템(400)은 도 4의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 얼굴 텍스처 생성 시스템(400)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.

메모리(440)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(440)에는 운영체제(441)와 얼굴 텍스처 생성 루틴(442)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(440)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(430)를 통해 메모리(440)에 로딩될 수도 있다.

버스(420)는 얼굴 텍스처 생성 시스템(400)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(420)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.

네트워크 인터페이스(430)는 얼굴 텍스처 생성 시스템(400)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(430)는 얼굴 텍스처 생성 시스템(400)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.

데이터베이스(450)는 얼굴 텍스처 생성을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 4에서는 얼굴 텍스처 생성 시스템(400)의 내부에 데이터베이스(450)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.

프로세서(410)는 기본적인 산술, 로직 및 얼굴 텍스처 생성 시스템(400)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(440) 또는 네트워크 인터페이스(430)에 의해, 그리고 버스(420)를 통해 프로세서(410)로 제공될 수 있다. 프로세서(410)는 데이터 수집부(411), 피부 요소 분할부(412)및 얼굴 영상 합성부(413)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(440)와 같은 기록 장치에 저장될 수 있다.

데이터 수집부(411), 피부 요소 분할부(412) 및 얼굴 영상 합성부(413)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.

얼굴 텍스처 생성 시스템(400)은 데이터 수집부(411), 피부 요소 분할부(412) 및 얼굴 영상 합성부(413)를 포함할 수 있다.

데이터 수집부(411)는 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득한다.

피부 요소 분할부(412)는 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할한다.

피부 요소 분할부(412)는 주름, 모공, 홍조를 포함하는 피부 요소의 분할 클래스에 대한 분할 네트워크 학습 전 화소 수준의 분할을 영역 수준의 분할로 변환하고, 피부 요소 화소를 확장하여 피부 요소 분할 맵을 생성한다.

상기 피부 요소 화소의 확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하고, 상기 생성된 피부 요소 분할 맵이 분할 네트워크에 입력되어 학습된다.

얼굴 영상 합성부(413)는 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성한다.

얼굴 영상 합성부(413)는 얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)을 수행한다.

이후, 얼굴 영상 합성부(413)는 상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절을 수행하고, 상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성한다.

얼굴 영상 합성부(413)는 얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집한다.

피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고, 피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시킨다.

본 발명의 실시예에 따른 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 과정은 크게 얼굴의 영역을 찾는 얼굴 파싱(face parsing), 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절, 얼굴 합성 단계로 나누어진다. 먼저 고해상도 얼굴 영상을 합성하기 위해 영상과 영상 간의 변환 모델인 Pix2PixHD를 이용한다. 라벨 영상을 입력으로 하여 얼굴 RGB 영상을 합성 하기 위해서는 먼저 얼굴 RGB 영상과 피부 요소 분할 영상으로부터 라벨 영상을 생성하는 것이 필요하다. 그 과정에서 얼굴의 영역을 라벨 종류로 포함하기 위해 얼굴 파싱 기법과 FAN 알고리즘을 이용한다. CelebMask-HQ 데이터셋으로 훈련된 BiSeNet 기반의 얼굴 파싱 모델을 이용하여 얼굴 RGB 영상으로부터 눈썹, 코, 윗입술, 아랫입술, 피부 영역을 분할한다. 또한 학습 데이터가 눈을 감고 있는 영상이라는 특성이 있기 때문에 얼굴 파싱 기법으로 찾지 못한 눈 영역은 FAN 알고리즘을 이용해 추출된 눈의 위치를 사용해 지정한다. 이러한 얼굴 영역 라벨은 영상 합성 시 얼굴 형태를 유지하는 데 도와준다. 피부 요소 분할 영상에 대해 전처리 과정을 거쳐 얼굴 외부와 얼굴 내부의 눈썹과 입술 영역에 추출된 피부 요소를 제거한다. 이 과정을 위해 얼굴 파싱 방법으로부터 얻어진 피부, 눈썹, 입술의 위치를 이용한다. 눈썹은 털로 이루어져 있어 피부 요소가 있을 경우 사실적인 합성에 방해가 되기 때문에 눈썹 영역에 있는 피부 요소를 제거하였다. 또한 입술을 홍조라고 판단하는 오류를 줄이기 위해 입술 영역 안 피부 요소를 제거하였다. 그 후 얼굴 파싱 기법을 통해 분할된 얼굴 영역 영상과 피부 요소 분할 영상을 합쳐 최종 라벨 영상을 생성한다. 라벨의 종류는 총 12가지이며 배경, 피부, 눈썹, 왼쪽 눈, 오른쪽 눈, 코, 윗입술, 아랫입술, 주름, 모공, 홍조, 주름 및 모공이다. 주름 및 모공 라벨은 한 화소에 주름과 모공이 동시에 있는 경우를 포함하기 위해 추가하였다.

도 5는 본 발명의 일 실시예에 따른 피부 요소 영역 조절 기법을 설명하기 위한 도면이다.

본 발명의 실시예에 따르면, 한 장의 라벨 영상에서 피부 요소 영역을 조절하여 라벨 영상을 다양하게 생성하는 라벨 편집 기법을 제안한다. 라벨의 종류 중 얼굴 파싱 기법과 FAN 알고리즘으로 얻은 얼굴 영역 라벨은 유지하며 피부 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 편집한다. 라벨 편집 기법은 도 5와 같이 피부 요소 증가(a)와 피부 요소 감소(b)로 나눌 수 있다. 피부 요소 변화 추이는 기존 위치를 기준으로 변하는 경향을 보인다. 이 점을 이용해 피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시킨다. 확률을 기반으로 피부 요소가 존재하지 않을 시 0 값을, 존재할 시 1 값을 갖게 한다. 피부 요소를 감소시킬 시 기존 피부 요소가 존재했던 화소의 라벨을 변화시킨다. 증가 과정과 똑같은 방법으로 확률을 기반으로 0 또는 1 값을 갖게 한다. 확률을 조절하여 원하는 정도의 피부 요소가 포함된 라벨 영상과 피부 요소 단계별 라벨 영상을 생성할 수 있다.

본 발명의 실시예에 따른 얼굴 합성 단계에서는 위 과정으로 생성된 라벨 영상으로부터 Pix2PixHD 모델을 통해 얼굴 RGB 영상을 생성한다. 네트워크는 글로벌 생성자와 2개의 판별자로 이루어져 있다. 생성자와 판별자가 적대적으로 학습하는 GAN 손실 함수만 사용 하였을 때 학습이 불안정하다는 단점이 있다. 이를 극복하기 위해서 판별자의 여러 레이어에서 특징을 추출하고 실제 영상과 합성 영상을 비교하는 특징 매칭 손실 함수를 사용한다. 따라서 특징 매칭 손실함수는 다음과 같이 나타낼 수 있다.

(2)

전체적인 손실 함수는 식(3)과 같이 기존 GAN 손실 함수와 특징 매칭 손실 함수를 합친 형태이다.

(3)

앞서 설명된 바와 같이, 한 장의 얼굴 RGB 영상으로부터 텍스처를 생성하는 것은 얼굴의 기본 색상만을 나타낼 수 있는 한 장의 텍스처만을 생성하기 때문에 렌더링의 질이 떨어진다는 문제점이 있다. 본 발명에서는 이를 극복하기 위해 한 장의 입력 영상으로부터 3D 휴먼 모델링을 위한 멀티모달 얼굴 텍스처를 생성하는 기법을 제안한다. 에픽게임즈의 디지털 휴먼 모델 메타휴먼을 기반으로 하며 얼굴 RGB 영상으로부터 다양한 역할을 하는 텍스처를 생성하는 것을 목표로 한다. 매크로 수준의 멀티모달 얼굴 텍스처를 생성하는 기법과 마이크로 수준의 합성을 통해 빛의 반사와 굴곡, 피부 요소를 표현할 수 있어 사실적인 렌더링이 가능하다. 먼저 매크로 수준의 텍스처 생성 기법에서는 얼굴의 기본 색상을 결정하는 난 반사 텍스처와 피부 표면에서의 빛 반사와 거칠기를 나타낼 수 있는 캐비티 맵과 법선 맵을 생성 또는 선택한다. 난반사 텍스처 생성 과정에서 얼굴 2D 랜드마크 추출 알고리즘을 통해 얻어진 2D 랜드마크 위치를 이용해 UV 매핑을 하여 얼굴 내부 텍스처를 생성한다. 얼굴 내부의 평균 RGB 색상과 대표 메타휴먼 텍스처의 RGB 색상과 비교하여 가장 차이가 적은 텍스처를 선택 후 색상 변환 과정을 통해 얼굴 외부와 내부를 자연스럽게 연결한다. 또한 변위 맵 생성 네트워크를 통해 변위 맵을 생성하고 얼굴 내부의 영역만 고려하기 위해 마스킹 과정을 거친다. 그 후 소벨 필터(Sobel filter) 수치를 계산하고 기존 메타휴먼 모델의 수치와 비교하여 가장 비슷한 메타휴먼 모델의 캐비티 맵과 법선 맵을 선택한다. 언리얼 엔진의 메타휴먼 쉐이더에서 법선 맵을 이용해 거칠기 맵을 생성함으로써 최종적으로 한 장의 얼굴 영상으로부터 4가지 얼굴 텍스처가 생성된다. 한 장의 텍스처를 이용한 렌더링 결과와 비교하였을 때 피부 표면의 주름, 모공, 거칠기를 표현할 수 있어 더욱 사실적인 렌더링이 가능하다. 다음으로 마이크로 수준의 얼굴 텍스처 생성 기법을 제안한다. 얼굴 RGB 영 상에 대한 피부 요소 영상을 수집하기 위해 Mark-Vu 피부 분석기를 이용해 184 명에 대한 데이터셋을 취득하였다. 이를 이용해 얼굴 RGB 영상을 입력으로 피부 요소를 추출하고 얼굴 영역 분할 과정을 거쳐 라벨 영상을 생성한 후 합성 모델을 이용해 얼굴 RGB 영상을 합성한다. 피부 요소 분할을 위해 기존 모델에 적용할 수 있는 개선 모듈을 제안하고 기존 모델에 대해 개선 모듈 적용 전 후의 성능을 비교하였다. 모델 구조에 따라 증가 추이가 다르며 이에 대해 분석하였다. 또한 피부 요소 합성 과정에서는 얼굴 RGB 영상으로부터 생성된 얼굴 영역 분할 영상과 피부 요소 분할 영상으로부터 라벨 영상을 생성한다. 라벨 영상으로부터 합성 모델인 Pix2PixHD 네트워크를 거쳐 얼굴 RGB 영상을 생성한다. 또한, 라벨 영상 생성 시 피부 요소의 영역을 확장 또는 축소하는 조절 기법을 제안함으로써 다양한 라벨 영상을 생성한다. 이 기법을 이용해 다양한 유형의 얼굴 영상을 생성할 수 있음을 보인다. 라벨 종류를 달리하여 피부 요소를 포함하지 않은 라벨 영상으로 학습된 모델과 피부 요소로만 이루어진 라벨 영상으로 학습된 모델과 비교하여 성능을 평 가하였다. 피부 요소 합성은 피부과와 성형외과와 같이 피부를 다루는 산업체에서 유용하게 활용될 수 있을 것이라 기대된다. 화장품 사용 전후 또는 시술 전후의 얼굴 영상을 합성하여 가시적으로 보여줄 수 있다. 또한 카메라 애플리케이션에서 자동 보정 효과를 위해 사용될 수 있다. 매크로 수준과 마이크로 수준의 멀티모달 얼굴 텍스처 생성 기법을 통해 얼굴의 기본 색상과 주름, 거칠기, 모공, 홍조를 표현할 수 있다. 이로 인해 3D 얼굴 모델링 과정에서 실제 사람과 같은 피부를 표현하는 데 도움을 줄 수 있다. 본 발명에서 제안하는 멀티모달 텍스처 생성 기법은 메타휴먼 이외에도 다른 종류의 얼굴 모델에 적용할 수 있다. 또한 피부 요소 합성 기법에서 피부 분석기에서 취득한 영상이 아닌 일반 영상으로 확장한다면 얼굴 편집 연구에서 다루지 않았던 피부의 미세 요소를 조절할 수 있을 것이라고 기대된다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

1. 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 단계;
   상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계; 및
   상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계
   를 포함하고,
   상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계는,
   주름, 모공, 홍조를 포함하는 피부 요소의 분할 클래스에 대한 분할 네트워크 학습 전 화소 수준의 분할을 영역 수준의 분할로 변환하고, 피부 요소 화소를 확장하여 피부 요소 분할 맵을 생성하며,
   상기 피부 요소 화소의 확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하고,
   3D 휴먼 모델링을 위한 멀티모달 얼굴 텍스처를 생성하기 위해 빛의 반사와 굴곡, 피부 요소를 표현하도록 얼굴의 색상을 결정하는 난반사 텍스처와 피부 표면에서의 빛 반사와 거칠기를 나타내는 캐비티 맵 및 법선 맵을 생성하고,
   상기 난반사 텍스처와 캐비티 맵 및 법선 맵을 포함하는 상기 피부 요소 분할 맵이 분할 네트워크에 입력되어 학습되는
   얼굴 텍스처 생성 방법.
2. 삭제
3. 제1항에 있어서,
   상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계는,
   얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)단계;
   상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계; 및
   상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성하는 단계
   를 포함하는 얼굴 텍스처 생성 방법.
4. 제3항에 있어서,
   상기 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계는,
   얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집하며,
   피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고,
   피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시키는
   얼굴 텍스처 생성 방법.
5. 얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 데이터 수집부;
   상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 피부 요소 분할부; 및
   상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 얼굴 영상 합성부
   를 포함하고,
   상기 피부 요소 분할부는,
   주름, 모공, 홍조를 포함하는 피부 요소의 분할 클래스에 대한 분할 네트워크 학습 전 화소 수준의 분할을 영역 수준의 분할로 변환하고, 피부 요소 화소를 확장하여 피부 요소 분할 맵을 생성하며,
   상기 피부 요소 화소의 확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하고,
   3D 휴먼 모델링을 위한 멀티모달 얼굴 텍스처를 생성하기 위해 빛의 반사와 굴곡, 피부 요소를 표현하도록 얼굴의 색상을 결정하는 난반사 텍스처와 피부 표면에서의 빛 반사와 거칠기를 나타내는 캐비티 맵 및 법선 맵을 생성하고,
   상기 난반사 텍스처와 캐비티 맵 및 법선 맵을 포함하는 상기 피부 요소 분할 맵이 분할 네트워크에 입력되어 학습되는
   얼굴 텍스처 생성 시스템.
6. 삭제
7. 제5항에 있어서,
   상기 얼굴 영상 합성부는,
   얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)을 수행하고,
   상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절을 수행하며,
   상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성하는
   얼굴 텍스처 생성 시스템.
8. 제7항에 있어서,
   상기 얼굴 영상 합성부는,
   얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집하며,
   피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고,
   피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시키는
   얼굴 텍스처 생성 시스템.

Images