KR102567266B1 - 인공지능 가상 화장을 위한 서비스 제공 장치 및 그의 동작 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 서비스 제공 장치의 서비스 제공 방법은, 소스 이미지를 수집하여, 벤치마크 이미지에 기초한 워핑 이미지로 변환하는 페이스 워핑을 처리하는 단계; 상기 페이스 워핑 처리된 소스 이미지를 이용하여, 상기 소스 이미지의 스타일 정보가 매핑된 스타일 데이터베이스를 구축하는 단계; 및 상기 스타일 데이터베이스를 이용한 스타일 트랜스퍼 기반의 스타일 추천 서비스를 제공하는 단계를 포함하고, 상기 페이스 워핑을 처리하는 단계는, 상기 벤치마크 이미지를 결정하는 단계; 상기 벤치마크 이미지의 랜드마크 지점들을 식별하는 단계; 상기 랜드마크 지점들에 대응하는 삼각화를 수행하는 단계; 및 상기 삼각화 수행에 따라 결정된 하나 이상의 삼각형 정보를 저장하는 단계를 포함하며, 상기 페이스 워핑을 처리하는 단계는, 상기 소스 이미지로부터, 상기 벤치마크 이미지의 제1 삼각형 정보에 대응하는 부분 영역 이미지를 추출하는 단계; 및 상기 부분 영역 이미지에서 추출된 삼각형 정보를 상기 제1 삼각형 정보로 변환하는 변환 행렬을 산출하는 단계를 포함한다.

Description

인공지능 가상 화장을 위한 서비스 제공 장치 및 그의 동작 방법{Service providing device and method for artificial intelligence virtual makeup}

본 발명은 서비스 제공 장치 및 그 방법에 관한 것이다. 보다 구체적으로, 본 발명은 다각도 이미지 인식 처리 기술을 활용한 인공지능 가상 화장 방법 및 장치에 관한 것이다.

뷰티 산업(beauty industry)의 발전에 따라, 사용자의 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있다. 이에 따라, 사용자의 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. 예를 들어, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업 스타일에 대한 선택의 어려움을 가질 수 있다. 또한, 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.

이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지 개인이 판단해야 하는 한계가 있다. 즉, 현재 제공되는 뷰티 서비스의 경우에는 메이크업 전문가의 협업이 포함되지 않거나, 메이크업 전문가의 협업이 있다고 하더라도 한정적인 데이터에 기초하고 있다. 따라서, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.

이러한 어려움을 해결하기 위해 최근에는 기계 학습 및 딥러닝 기술을 이용하여 패턴화된 이미지 분석을 처리하는 기술을 적용한 메이크업 평가 기술 등이 제안되며, 이는 맞춤형 서비스를 위하여 사용자들의 평가에 따라 점수화된 기준을 메이크업에 적용하여 자신의 메이크업 결과를 평가받는 서비스로서 제안되고 있다.

그러나, 현재까지 알려진 기술들은 자신의 메이크업 결과를 단순히 평가받거나, 자신과 유사한 얼굴 스타일 등을 직접 찾아볼 수만 있을 뿐, 현재 자신의 얼굴에 어울리는 스타일을 부분별로 구체적으로 파악해 주거나, 파악된 분석 정보와의 비교에 기초한 다양한 스타일 추천 서비스를 제공받지는 못하고 있는 실정이다.

또한, 얼굴에 스타일을 입히는 메이크업 스타일 트랜스퍼 기술로 스타일을 합성해주는 어플리케이션 등도 제안되고는 있으나, 상용화된 스타일 추천 서비스로서 이용하기에는 그 성능 및 효율이 높지만은 않은 실정이다. 통상적으로 GAN (Generative Adversarial Network) 기반의 메이크업 스타일 트랜스퍼 기술 등이 알려져 있으나, 대상 얼굴과 입력 이미지간의 차이에 따라 상당한 오류가 발생되고 있는 실정이다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 소스 이미지를 기반으로 페이스 워핑 처리된 이미지를 활용하여, 스타일 정보를 추출 및 매핑한 데이터베이스를 구성하고, 이를 이용한 가상 스타일 합성 및 분석에 따른 스타일 비교 처리에 따라, 개인화된 스타일 추천 서비스를 제공하여 사용자 편의성을 향상시키고, 정확도가 높아 만족도가 높은 서비스를 제공할 수 있는 서비스 제공 장치 및 그 동작 방법을 제공하는 데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 서비스 제공 장치의 동작 방법에 있어서, 소스 이미지를 수집하여, 벤치마크 이미지에 기초한 워핑 이미지로 변환하는 페이스 워핑을 처리하는 단계; 상기 페이스 워핑 처리된 소스 이미지를 이용하여, 상기 소스 이미지의 스타일 정보가 매핑된 스타일 데이터베이스를 구축하는 단계; 및 상기 스타일 데이터베이스를 이용한 스타일 트랜스퍼 기반의 스타일 추천 서비스를 제공하는 단계를 포함하고, 상기 페이스 워핑을 처리하는 단계는, 상기 벤치마크 이미지를 결정하는 단계; 상기 벤치마크 이미지의 랜드마크 지점들을 식별하는 단계; 상기 랜드마크 지점들에 대응하는 삼각화를 수행하는 단계; 및 상기 삼각화 수행에 따라 결정된 하나 이상의 삼각형 정보를 저장하는 단계를 포함하며, 상기 페이스 워핑을 처리하는 단계는, 상기 소스 이미지로부터, 상기 벤치마크 이미지의 제1 삼각형 정보에 대응하는 부분 영역 이미지를 추출하는 단계; 및 상기 부분 영역 이미지에서 추출된 삼각형 정보를 상기 제1 삼각형 정보로 변환하는 변환 행렬을 산출하는 단계를 포함한다.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 서비스 제공 장치는, 소스 이미지를 수집하여, 벤치마크 이미지에 기초한 워핑 이미지로 변환하는 페이스 워핑을 처리하는 페이스 워핑 처리부; 상기 페이스 워핑 처리된 소스 이미지를 이용하여, 상기 소스 이미지의 스타일 정보가 매핑된 스타일 데이터베이스를 구축하는 스타일 데이터베이스; 및 상기 스타일 데이터베이스를 이용한 스타일 트랜스퍼 기반의 스타일 추천 서비스를 제공하는 서비스 제공부를 포함하고, 상기 페이스 워핑 처리부는, 상기 벤치마크 이미지를 결정하고, 상기 벤치마크 이미지의 랜드마크 지점들을 식별하며, 상기 랜드마크 지점들에 대응하는 삼각화를 수행하고, 상기 삼각화 수행에 따라 결정된 하나 이상의 삼각형 정보를 저장하며, 상기 소스 이미지로부터, 상기 벤치마크 이미지의 제1 삼각형 정보에 대응하는 부분 영역 이미지를 추출하고, 상기 부분 영역 이미지에서 추출된 삼각형 정보를 상기 제1 삼각형 정보로 변환하는 변환 행렬을 산출한다.

한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램 및 그 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로 구현될 수 있다.

본 발명의 실시 예에 따르면, 소스 이미지를 기반으로 페이스 워핑 처리된 이미지를 활용하여, 스타일 정보를 추출 및 매핑한 데이터베이스를 구성하고, 이를 이용한 가상 스타일 합성 및 분석에 따른 스타일 비교 처리에 따라, 개인화된 스타일 추천 서비스를 제공하여 사용자 편의성을 향상시키고, 정확도가 높아 만족도가 높은 서비스를 제공할 수 있는 서비스 제공 장치 및 그 동작 방법을 제공할 수 있다.

또한, 본 발명의 실시 예에 따르면, 사용자가 자신의 얼굴 이미지만 입력하면 페이스 워핑 및 트랜스퍼 강도 조절된 가상 스타일 합성 및 얼굴 분석에 기초하여, 적절한 소스 이미지와의 이미지 트랜스퍼에 따른 합성 이미지들을 추천받고, 관련 화장 스타일 정보를 제공받을 수 있게 됨으로써 사용자가 편리하게 화장 스타일들을 취사 선택할 수 있다.

도 1 은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 페이스 워핑 처리부를 보다 구체적으로 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 트랜스퍼 강도 조절부를 보다 구체적으로 도시한 블록도이다.
도 6은 본 발명의 실시 예에 따른 얼굴 분석부를 보다 구체적으로 도시한 블록도이다.
도 7은 본 발명의 실시 예에 따른 얼굴 부분 나이 예측 모델 및 시각화 과정을 설명하기 위한 도면이다.
도 8 내지 도 12는 본 발명의 실시 예에 따른 사용자 단말에서의 스타일 인터페이스 출력 정보를 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

본 발명의 일 실시 예에 따른 광고 제공을 위한 전체 시스템은 사용자 단말(10) 및 서비스 제공 장치(1000)를 포함할 수 있다.

특히, 서비스 제공 장치(1000)는 본 발명의 실시 예에 따른 화장 스타일 추천 서비스 제공을 위해, 단말(10)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.

여기서 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

그리고, 사용자 단말(10)은 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 서비스 제공 장치(1000)로 사용자 정보를 제공하고, 서비스 제공 장치(1000)로부터 처리된 정보를 수신하여 출력할 수 있다.

이와 같은 시스템 구성에 있어서, 서비스 제공 장치(1000)는, 스타일 데이터베이스 구성을 위한 소스 이미지를 수집하고 , 수집된 소스 이미지로부터 벤치마크 이미지에 기초한 워핑 이미지로 변환하는 페이스 워핑을 처리 하며, 상기 페이스 워핑 처리된 소스 이미지를 이용하여, 상기 소스 이미지의 스타일 정보 가 매핑된 스타일 데이터베이스를 구축할 수 있다.

본 발명의 실시 예에 따른 스타일 정보는, 사용자 이미지의 콘텐츠에 대응하여, 상기 콘텐츠는 유지하면서도 전체적인 이미지의 시각적 스타일은 변경하도록 하는 시각적 스타일 변경 정보를 포함할 수 있다. 이러한 스타일 정보는 상기 소스 이미지에 대응하는 딥러닝 알고리즘에 의해 추출되는 상기 시각적 스타일 변경 정보로서, 예를 들어 스타일 벡터를 포함할 수 있다. 여기서, 스타일 벡터는 상기 시각적 스타일 변경을 위한 하나 이상의 부분 위치에 대응하는 이미지 속성 변경 함수의 적용 여부를 나타내는 벡터 정보를 포함할 수 있고, 이미지 속성 변경 함수는 이미지의 질감, 색상, 선명도, 조도 또는 기타 다양한 시각적 요소 함수들을 복합적으로 적용하는 시각적 경험 기반의 함수들을 포함할 수 있다.

특히 본 발명의 실시 예에 따른 스타일 정보는, 바람직하게는 사전 설정된 분류 기준에 의한 메이크업 스타일에 대응하여 분류될 수 있으며, 이를 위한 소스 이미지는 메이크업이 완료된 얼굴 이미지들을 포함할 수 있다. 이에 따라, 스타일 정보는 사용자 이미지에, 원하는 메이크업 스타일을 적용하여 사용자 이미지의 콘텐츠는 유지하면서도 상기 메이크업 스타일에 따른 시각적 요소들의 시각적 스타일만 변경할 수 있는 시각적 스타일 변경 정보를 포함할 수 있으며, 이러한 시각적 스타일 변경 정보는 하나 이상의 이미지 속성 변경 함수 처리를 나타내는 스타일 벡터 정보를 포함할 수 있다.

여기서, 소스 이미지에 대응하는 이미지 정보는 네트워크를 통해 수집되거나, 별도 장치로부터 입력되는 다양한 영상 및 이미지로부터 획득될 수 있으며, 뷰티 관련 영상 또는 이미지로부터 획득되는 이미지 정보를 포함할 수 있다. 상기 소스 이미지에 대응하는 이미지 정보는 메이크업 스타일에 대응하는 스타일 정보를 추출할 수 있는 영역 이미지 정보를 포함할 수 있다. 메이크업 스타일에 대응하는 영역 이미지 정보는 메이크업된 얼굴의 전체 영역 이미지 정보이거나, 메이크업된 부분 영역 이미지이거나, 이들의 조합 중 적어도 하나를 포함할 수 있다.

예를 들어, 뷰티 관련 영상 또는 이미지 정보는 구독자수 또는 팔로워가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 또는 이미지 정보일 수 있으며, 이는 인스타그램, 틱톡, 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 또는 이미지 정보를 포함할 수 있다.

그리고, 서비스 제공 장치(1000)는 수집된 영상 또는 이미지 정보에 대응하는 소스 이미지들을 획득할 수 있으며, 소스 이미지는 예를 들어, 화장 스타일 예시 이미지, 특정 인플루언서의 화장 전 이미지, 특정 인플루언서의 화장 후 이미지 등을 포함할 수 있다.

이에 따라, 서비스 제공 장치(1000)는 소스 이미지에 기초한 스타일 정보를 결정할 수 있는 바, 이를 위해 미리 학습된 스타일 신경망 모델에 기초한 이미지 분석 기술이 이용될 수 있다. 여기서, 이미지 분석 기술은 예를 들어, 이미지를 학습 모델에 적용하여 스타일 특징 정보를 벡터화하는 기술이 예시될 수 있다.

그리고, 서비스 제공 장치(1000)는 결정된 스타일 정보에 대응하는 소스 이미지 및 소스 이미지 식별 정보를 매핑 등록하여, 스타일 데이터베이스를 구축할 수 있다.

한편, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 사용자 정보를 수신하여 등록하고, 사용자 입력 정보로서 사용자 이미지 및 기타 조건 설정 정보를 획득하여, 사용자 이미지에 대응하여 적합한 스타일을 추천하기 위한 추천 정보를 사용자 단말(10)로 제공할 수 있다. 여기서, 사용자 이미지는 사용자가 입력 또는 업로드한 이미지 정보로서, 스타일 트랜스퍼를 수행할 원본 이미지일 수 있다. 이러한 사용자 이미지는, 사용자의 얼굴 이미지, 사용자의 전신 이미지, 사용자의 인테리어 이미지, 사용자의 건물 이미지 등 사용자가 스타일 트랜스퍼를 처리하고자 입력하는 다양한 이미지 중 적어도 하나를 포함할 수 있다.

이를 위해, 서비스 제공 장치(1000)는 사용자 이미지에 대응한 가상 스타일 합성 처리, 얼굴 분석 및 스타일 비교 분석 처리를 수행할 수 있으며, 비교 분석 결과에 따른 하나 또는 그 이상의 스타일 정보, 가상합성 결과 정보 또는 얼굴 분석 정보를 사용자 단말(10)로 제공할 수 있다.

특히, 가상 스타일 합성 처리에는 사용자 이미지와 소스 이미지를 합성할 수 있는 스타일 트랜스퍼 기반의 이미지 합성 기술이 이용될 수 있다. 여기서, 본 발명에서 처리되는 스타일 트랜스퍼 기술은 현재 알려진 BeautyGAN(Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network) 기술이나, PairedCycleGAN( Asymmetric Style Transfer for Applying and Removing Makeup) 기술을 그대로 이용하거나, 또는 본 발명의 실시 예에 따라 상기 BeautyGAN 및 PairedCycleGAN 기술을 조합하는 복합적 GAN 학습 모델이 이용될 수도 있다.

본 발명의 실시 예에 따른 복합적 GAN 학습 모델은, 메이크업 스타일 트랜스퍼에 대응하는 학습 프로세스 자체는 PariedCycleGAN 모델의 프로세스를 이용하고, 로스 함수 부분만 BeautyGAN에서 정의되는 함수로 대체하여, 전체적인 합성 성능 및 주관적 화질 효과를 향상시킬 수 있는 복합적 GAN 학습 모델일 수 있으며, 이는 비메이크업 이미지로 메이크업 이미지의 스타일을 트랜스퍼함에 있어서의 성능을 향상시킬 수 있으며, 특히 본 발명의 실시 예에 따른 페이스 워핑 프로세스에 의해, 워핑된 이미지 기반의 트랜스퍼에 있어서의 자연스러움을 높일 수 있는 효과가 있다.

한편, 사용자 단말(10)은 서비스 제공 장치(1000)로 사용자 이미지를 포함하는 사용자 정보를 전송함에 따라, 상기 서비스 제공 장치(1000)로부터의 응답으로 수신되는 스타일 추천 서비스 정보에 기초한 스타일 추천 인터페이스를 출력하여, 스타일 추천 서비스 정보를 사용자에게 제공할 수 있다.

특히, 사용자 단말(10)에서는 화장 스타일 추천 서비스 어플리케이션 등을 통해 상기 서비스 제공 장치(1000)로부터 스타일 정보, 가상합성 결과 정보 또는 얼굴 분석 정보를 포함하는 추천 서비스 정보를 수신하여 인터페이스를 통해 출력할 수 있다.

예를 들어, 사용자 단말(10)은 입력된 실제 사용자의 맨 얼굴 이미지에 인플루언서 등의 스타일이 합성된 가상합성 이미지 중, 얼굴 분석에 따라 노화된 부분의 예측 나이가 개선되는 이미지들이나, 얼굴형 및 주름 특징이 유사한 이미지들이나, 사용자가 트랜스퍼 강도 조절을 입력한 특정 스타일의 이미지들을 추천할 수 있으며, 이 중 사용자 선택된 이미지에 대응하는 화장 스타일 정보로서, 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 링크 정보 중 적어도 하나를 출력할 수 있다.

이에 따라, 본 발명의 실시 예에 따르면 추천 서비스를 통해 사용자가 편리하게 유명 인플루언서들의 화장 스타일들을 취사 선택할 수 있으며, 신규 수요를 창출할 수 있고 서비스 접근성과 편의성을 크게 향상시킬 수 있다.

특히, 이러한 서비스 제공을 위하여, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는 가상 스타일 합성 및 분석에 있어서, 최종적으로 사용자 얼굴에 최적인 스타일을 추천하기 위한 가상 스타일합성 신경망 기반 스타일 데이터베이스 구축과 트랜스퍼의 강도 조절 및 얼굴 분석 처리를 순환적용 처리할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.

도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는, 가상 스타일 합성부(100), 얼굴 분석부(200), 사용자 정보 관리부(300), 입력 정보 획득부(350), 페이스 워핑 처리부(500), 소스 이미지 수집부(501), 트랜스퍼 강도 조절부(700), 스타일 데이터베이스(600), 스타일 비교 처리부(400) 및 추천 서비스 제공부(900)를 포함한다.

먼저, 페이스 워핑 처리부(500)는, 소스 이미지 수집부(501)로부터 수집되는 다양한 영상 및 이미지 정보로부터 스타일 데이터베이스(600) 구성을 위한 소스 이미지에 대응하는 이미지 정보를 수집한다.

앞서 설명한 바와 같이, 소스 이미지에 대응하는 이미지 정보는 다양한 경로로부터 획득될 수 있으며, 예를 들어, 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보 등으로부터 획득될 수 있다. 소스 이미지에 대응하는 이미지 정보는 예를 들어, 인스타그램, 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 및 이미지 정보를 포함할 수 있다.

예를 들어, 영상 정보 수집을 위해, 소스 이미지 수집부(501)는 소스 인물 이미지(화장전후가 등장하는 인터넷 뷰티 동영상에서의 화장 후 영상)와 소스 인물 화장전 이미지를 각각 크롤링 캡처할 수 있으며, 스타일 데이터베이스(600)는 캡쳐된 이미지들에 대한 페이스 워핑 처리부(500)의 페이스 워핑 처리된 이미지들을 이용한 신경망 학습에 따라 구축될 수 있다.

이에 따라, 스타일 데이터베이스(600)는 소스 이미지의 페이스 워핑 처리된 이미지로부터 구축된 데이터베이스를 저장 및 관리할 수 있으며, 가상 스타일 합성부(100)의 요청에 따른 스타일 정보 및 소스 이미지를 제공할 수 있다.

한편, 사용자 정보 관리부(300)는, 사용자 단말(10)로부터 입력되는 입력 정보에 따라 사용자 등록 정보의 등록 처리를 수행하고, 상기 등록된 사용자 정보에 대응하여, 스타일 추천 서비스의 사용에 따른 사용자의 사용 이력 정보, 상기 사용자 등록 정보가 유사한 사용자 그룹의 사용 이력 정보 및 상기 스타일 추천 서비스에서 추천된 스타일에 대한 사용자 선호 정보 등을 매핑하여 저장 및 관리할 수 있다.

또한, 사용자 정보 관리부(300)는 얼굴 사진을 활용한 프로파일링(특징 분석), 뷰티스코어 평가 및 피드백을 통한 사용자 유형 분류, 유사 사용자 군집을 통한 프로파일링(협업필터링) 및 서비스 사용 패턴을 통한 프로파일링 등을 처리함으로써, 추천 서비스를 위한 데이터를 구축할 수 있다.

그리고, 입력 정보 획득부(350)는 사용자 정보 관리부(300)에서 관리되는 사용자 등록 정보와, 사용자 단말(10)로부터 입력된 사용자 스타일 입력 정보에 따라, 추천할 스타일 합성 이미지를 선별하기 위한 스타일 합성 입력 정보를 획득할 수 있다.

예를 들어, 사용자 단말(10)은 사용자의 얼굴 이미지(화장 전 또는 화장 후)와, 나이 정보, 키워드 정보(검색, 필터링, 추천), 트랜스퍼 강도 설정 정보 등 을 포함하는 사용자 스타일 입력 정보를 서비스 제공 장치(1000)로 전송할 수 있으며, 서비스 제공 장치(1000)는 수신된 사용자 스타일 입력 정보와 사용자 정보 관리부(300)에서 관리된 사용자 등록 정보에 기초한 스타일 합성 입력 정보를 결정하고, 결정된 입력 정보는 가상 스타일 합성부(100) , 트랜스퍼 강도 조절부(700) 또는 얼굴 분석부(200)로 전달될 수 있다.

그리고, 가상 스타일 합성부(100)는 사용자 이미지와 상기 스타일 합성 입력 정보에 따라 사전 설정된 조건 정보에 기초하여 결정된 스타일 정보에 따라, 상기 데이터베이스(600)에서 획득된 소스 이미지와 상기 사용자 이미지에 대한 하나 또는 그 이상의 가상합성 처리를 수행한다.

이를 위해, 가상 스타일 합성부(100)는 인공 신경망 학습 처리를 통해, 화장 스타일별 소스 이미지와 사용자 이미지간의 이미지 합성 처리를 수행할 수 있으며, 이를 위해, 상기 소스 이미지에서 화장 스타일 적용 부분을 추출하여 상기 사용자 이미지에 적용하는 프로세스를 수행할 수 있다.

특히, 이러한 신경망 구축을 위해 쌍 순환 경쟁적 생성 네트워크 방식(PairedCycleGAN)의 비지도 학습 방식이 이용될 수 있으며, 특히 메이크업 트랜스퍼에 특화된 GAN을 적용하는 BeautyGAN 방식이 병행될 수 있다. GAN(Generative Adversarial Network) 방식은 딥러닝을 이용하여, 이미지를 생성하는 네트워크로서 서로 다른 두 개의 깊은 신경망 D(Discriminator)와 G(Generator)를 학습시켜, 좋은 성능의 감별사 네트워크와 그것을 속이는 생성자 네트워크를 경쟁시킴으로써, 학습 효과를 극대화할 수 있게 하는 방식을 의미할 수 있다.

또한, PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup(Huiwen Chang, Jingwan Lu, Fisher Yu, Adam Finkelstein; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 40-48) 논문의 방식은 이를 가상 화장 합성에 적용하여 Makeup Transfer 또는 Style Transfer 를 처리하게 하는 방식으로 제안된 것으로서, 가상 메이크업(가상 화장 합성) 네트워크와 화장을 지우는 네트워크의 쌍을 경쟁적으로 학습시켜, 그 성능을 서로 보완하게 함으로써 자연스러운 가상 화장 합성 효과를 얻을 수 있다.

나아가, BeautyGAN(BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network(Tingting Li, Ruihe Qian, Chao Dong, Si Liu, Qiong Yan, Wenwu Zhu, Liang Lin, MM '18: Proceedings of the 26th ACM international conference on MultimediaOctober 2018 Pages 645-653) 논문을 통해 알려진 방식은, 알려진 ResNet 아키텍처를 이용한 정규화를 수행하며, 오버래핑된 이미지의 지역적인 페이크 분류를 수행하는 패치 GAN들을 적용하여 성능을 향상시킨 GAN 기반의 메이크업 트랜스퍼를 처리한다.

그리고, 본 발명의 실시 예에 따르면 가상 스타일 합성부(100)는 보다 자연스러우면서도 신속한 합성을 위하여, 상기 PairedCycleGAN 방식을 기본적인 모델 구축 프로세스로 적용하되, 로스 함수에 대하여만 BeautyGAN 모델의 로스 함수를 이용하는 복합적 GAN 모델을 구축하고, 이에 기초한 이미지들의 스타일 트랜스퍼 학습 프로세스를 수행할 수 있다.

특히, 본 발명의 실시 예에 따른 스타일 트랜스퍼 학습 프로세스는, 페이스 워핑 처리부(500)에서 워핑 처리된 이미지에 대응하여 수행될 수 있으며, 이는 GAN 모델들에서 발생되는 오류를 사전에 방지하고 자연스러운 이미지 합성을 가능하게 한다. 페이스 워핑은 사용자 이미지와 소스 이미지 간 얼굴의 특징 부분 영역들에 대응하는 위치들이 서로 일치하지 않을 때 발생되는 문제점을 해결하고자 안출된 것이며, 가상 스타일 합성부(100)는 페이스 워핑 처리부(500)의 페이스 워핑 프로세스 적용 여부를 확인하고, 적용 여부가 확인된 페이스 워핑 프로세스에 따라 얼굴의 부분 영역들이 일치되도록 그 위치가 조정된 후에 스타일 트랜스퍼를 수행함으로써, 자연스러운 합성이 이루어지도록 한다.

또한, 페이스 워핑 처리부(500)는 가상 스타일 합성부(100)에서 스타일 트랜스퍼된 가상 합성 이미지에 대응하는 페이스 역워핑 처리를 수행할 수 있는 바, 기존의 사용자 이미지의 얼굴 방향 및 위치가 복원되며, 이에 따라 가상 스타일 합성부(100)는 보다 자연스러운 가상 합성 이미지 결과 데이터를 상기 역워핑된 이미지로서 출력할 수 있다. 보다 구체적인 페이스 워핑 프로세스에 대하여는 도 4를 참조하여 설명하도록 한다.

한편, 얼굴 분석부(200)는, 사용자 이미지 또는 가상 합성 이미지에 대응하는 얼굴 분석을 수행하여 얼굴 분석 정보를 출력할 수 있다. 얼굴 분석 정보는 추천 서비스 제공부(900)를 통해 사용자 단말(10)로 직접 제공되거나 스타일 비교 처리부(400)로 전달될 수 있다.

여기서, 얼굴 분석 정보는, 상기 사용자 이미지에 대응하는 얼굴 부분 영역 이미지를, 사전 학습된 하나 이상의 인공신경망 학습 모델에 적용한 나이 예측 정보를 포함할 수 있다. 이 경우 추천 서비스 제공부(900)는 상기 나이 예측 정보에 기초한 얼굴 부분 영역별 나이 분석 정보를 포함하는 스타일 추천 서비스 정보를 사용자 단말(10)로 제공할 수 있다.

또한, 얼굴 분석 정보는 상기 사용자 이미지에 대응하는 얼굴 부분 영역 이미지를 사전 학습된 하나 이상의 인공신경망 학습 모델에 적용하여 획득된 주름 특성 정보를 포함할 수 있다. 이 경우 추천 서비스 제공부(900)는 상기 주름 특성 정보에 기초한 얼굴 부분 영역별 주름 분석 정보를 포함하는 스타일 추천 서비스 정보를 사용자 단말(10)로 제공할 수 있다.

또한, 스타일 비교 처리부(400)는 사용자 이미지의 얼굴 분석 정보에 대응하는 가상합성된 하나 또는 복수개의 합성 이미지들에 대한 얼굴 분석 수행 결과를 비교하여, 추천 서비스 제공부(900)에서 제공될 가상 합성 이미지들을 선별할 수 있다.

예를 들어, 스타일 비교 처리부(400)는, 상기 나이 분석 정보에 따라 사용자 입력된 나이보다 제1 임계치 이상 높은 얼굴 부분 영역을 식별하고, 상기 하나 이상의 합성 이미지 중 상기 식별된 얼굴 부분 영역의 나이 예측 정보가 가장 낮은 합성 이미지를 획득하며, 상기 나이 예측 정보가 가장 낮은 합성 이미지에 기초하여, 추천 서비스 제공부(900)에서 사용자 단말(10)로 제공될 스타일 추천 서비스 정보를 구성할 수 있다.

그리고, 추천 서비스 제공부(900)는 가상 스타일 합성부(100)의 합성 이미지와, 얼굴 분석부(200)의 얼굴 분석 정보 및 스타일 비교 처리부(400)의 비교 정보 중 적어도 하나에 기초하여, 상기 스타일 추천 서비스 정보를 구성하고, 사용자 단말(10)로 제공할 수 있다.

또한, 추천 서비스 제공부(900)는 사용자 프로파일링 기반 사용자 유형별 예측 추천 서비스와, 뷰티스코어 기반 뷰티스코어를 극대화하는 추천 서비스 등 다양한 부가 서비스를 제공할 수 있다. 여기서, 뷰티스코어는 스타일 합성된 이미지에 대응하는 평가 점수를 나타낼 수 있으며, 예를 들어 메이크업 후에 메이크업이 잘 된 것인지 또는 보완이 필요한지 등을 얼굴 전체 또는 부분 영역별로 나타낼 수 있는 스코어 정보를 포함할 수 있다. 이러한 뷰티스코어는 메이크업된 전체적인 얼굴 또는 메이크업된 얼굴 부위의 비율 및 위치 등에 따라 뷰티 전문가나 사용자들이 판단한 정보의 학습데이터에 근거하여 산출될 수 있다.

또한, 추천 서비스 제공부(900)는 추천 서비스에 의해 연계되는 인플루언서 영상 정보와, 화장품 추천 및 구매 연동 프로세스를 제공할 수 있다.

그리고, 추천 서비스 제공부(900)는 얼굴 분석 정보에 기초하여, 사용자의 얼굴을 얼굴 부분 영역별로 개선할 수 있는 스타일을 갖는 인물 등을 색인할 수 있는 바, 특정 인플루언서를 색인하여, 그 인플루언서의 메이크업을 사용자에게 어울리는 메이크업 스타일로서 자동 추천하는 서비스를 제공할 수도 있다.

한편, 추천 서비스 제공부(900)는 이미지와 화장품을 매칭하기 위한 매칭 데이터베이스를 딥 러닝 방식으로 구축하고, 기초하여 입력된 사진이 사용한 화장품 정보를 식별하여 출력하는 화장품 추천 서비스를 제공할 수도 있다. 예를 들어, 추천 서비스 제공부(900)는 사진 이미지로부터 추출되는 화장품의 톤과 실제 화장품 톤을 매칭하는 딥 러닝 학습 프로세스를 수행하여, 사용자로부터 입력된 사진에 대응하는 화장품 정보를 식별하여 사용자 단말(10)로 제공하는 추천 서비스를 제공할 수도 있다.

한편, 트랜스퍼 강도 조절부(700)는, 추천 서비스 제공부(900)를 통해 제공된 가상 합성 이미지에 대응하는 사용자 입력에 따라, 스타일 트랜스퍼의 트랜스퍼 강도를 이미지의 부분 영역별로 조절하는 조절 처리를 수행할 수 있다.

여기서, 트랜스퍼 강도는 스타일 트랜스퍼가 적용되는 정도를 나타내는 것으로, 사용자 이미지의 영역별로 메이크업 스타일을 어느 정도로 적용할지를 나타내는 강도일 수 있다. 트랜스퍼 강도는 사용자 입장에서 원하는 이미지의 부분 영역별 메이크업 스타일 강도를 설정할 수 있게 하기 위한 수치적 정보일 수 있다. 사용자는 트랜스퍼 강도 설정에 따라, 자신이 원하는 부분에 대한 메이크업 수준, 예를 들어 눈 화장의 메이크업 합성을 짙게 또는 옅게 반영한다거나, 입 화장의 메이크업 합성을 짙게 또는 옅게 반영한다거나, 얼굴 전체의 베이스 화장의 메이크업 합성을 짙게 또는 옅게 반영하는 등의 서비스를 제공받을 수 있으며, 이는 개인화된 다양한 스타일 합성 기반의 추천 서비스를 제공함에 있어서 편의성, 선택의 다변화 및 서비스 이용 만족도를 향상시킬 수 있게 한다.

이를 위해, 트랜스퍼 강도 조절부(700)는, 사용자 입력에 대응하는 얼굴 부분별 트랜스퍼 강도 변수와 소스 이미지를 결정할 수 있는 바, 이에 따라 결정된 얼굴 부분별 트랜스퍼 강도 변수와 소스 이미지 식별 정보는 가상 스타일 합성부(100)로 전달될 수 있다. 가상 스타일 합성부(100)는, 상기 사용자 이미지와 상기 소스 이미지가 상기 얼굴 부분별 상기 트랜스퍼 강도 변수에 따라 재 합성된 스타일 트랜스퍼 이미지를 생성하여, 추천 서비스 제공부(900)를 통해 상기 사용자 단말(10)로 제공할 수 있다.

이러한 상기 얼굴 부분별 트랜스퍼 강도 변수는, 얼굴 부분 정보 및 대상 소스 이미지에 대응하는 이미지 정보, 트랜스퍼 가중치 정보 중 적어도 하나를 포함할 수 있고, 이에 대응하는 사용자 설정 인터페이스가 사용자 단말(10)을 통해 출력될 수 있는 바, 구체적인 프로세스에 대하여는 후술하도록 한다.

도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는 먼저 소스 이미지를 수집하여 페이스 워핑 처리하고(S1001), 수집된 이미지와, 상기 이미지로부터 인공 신경망 기반으로 추출되는 스타일 정보를 매핑 처리하여 데이터베이스(600)를 구축한다(S1003).

이를 위해, 서비스 제공 장치(1000)는 소스 이미지 수집부(501)를 통해 네트워크상의 다양한 뷰티 영상 또는 이미지로부터 스타일 이미지들을 크롤링 캡쳐 처리할 수 있다.

그리고, 서비스 제공 장치(1000)는 처리된 이미지에 페이스 워핑 처리부(500)의 페이스 워핑을 처리할 수 있다.

이에 따라, 서비스 제공 장치(1000)는 페이스 워핑된 소스 이미지에 스타일 정보를 매핑 처리하기 위한 인공 신경망 학습 프로세스를 수행하여, 상기 스타일 데이터베이스(600)를 구축할 수 있다.

예를 들어, 서비스 제공 장치(1000)는 페이스 워핑 처리된 소스 이미지에 기초한 스타일 정보를 결정할 수 있는 바, 이를 위해 미리 학습된 스타일 신경망에 기초한 이미지 분석 기술을 이용할 수 있다. 예를 들어 스타일 정보는 소스 이미지를 이미지 스타일 신경망에 적용하여 추출되는 스타일 특징 벡터를 포함할 수 있다.

그리고, 서비스 제공 장치(1000)는 결정된 스타일 특징 벡터에 대응하는 소스 이미지 식별 정보를 매핑 저장 등록하여, 스타일 데이터베이스를 구축할 수 있다.

그리고, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 수신되는 사용자 정보를 사용자 정보 관리부(300)를 통해 등록할 수 있으며, 사용자 단말(10)로부터의 요청에 따른 입력 정보를 획득할 수 있다(S1005).

이후, 서비스 제공 장치(1000)는 사용자 정보 및 사용자 이미지에 기초하여, 얼굴 분석 정보를 획득할 수 있으며(S1007), 획득된 얼굴 분석 정보에 기초하여, 스타일 비교 처리를 수행하고(S1009), 비교 처리 결과에 따라, 데이터베이스(600)로부터 추출된 스타일 정보에 대응하는 가상 스타일 이미지 합성 및 선별 처리를 수행한다(S1011).

여기서 얼굴 분석 정보는, 사용자 이미지의 스타일 정보와, 얼굴 부분별 나이 예측 정보 및 주름 특징 정보중 적어도 하나를 포함할 수 있다.

또한, 예를 들어, 스타일 비교 처리는, 사용자 이미지에서 추출되는 화장스타일 특징 벡터와, 하나 이상의 소스 이미지에서 획득되는 화장 스타일 특징 벡터와의 비교 처리를 포함할 수 있다. 여기서 화장 스타일 특징 벡터는, 이미지에 적용된 하나 이상의 메이크업 방법을 나타내는 벡터 정보를 포함할 수 있다. 예를 들어, 화장 스타일 특징 벡터는 아이섀도, 볼터치, 아이라이너, 마스카라, 립스틱, 컨투어링 등에 대응하는 각각의 부분별 스타일을 나타낼 수 있으며, 또한 유명 연예인 등에 대응하여 이미 알려진 화장 스타일 세트를 나타낼 수도 있다.

또한, 스타일 비교 처리는 상기 사용자 이미지의 얼굴 부분별 나이 예측 정보와, 하나 이상의 소스 이미지와의 합성 이미지에서 분석되는 얼굴 부분별 나이 예측 정보 간의 비교 처리를 포함하거나, 상기 사용자 이미지의 주름 특징 정보와, 하나 이상의 소스 이미지와의 합성 이미지에서 분석되는 주름 특징 정보와의 비교 처리를 포함할 수 있다.

이를 위해, 서비스 제공 장치(1000)에서는 분석을 위한 복수의 얼굴 분석 모델 학습 처리를 수행할 수 있으며, 학습된 모델 적용 결과를 비교하여, 합성 이미지 중 사용자 단말(10)로 제공될 합성 이미지와의 선별 처리를 수행할 수 있다.

이후, 서비스 제공 장치(1000)는 얼굴 분석 정보와, 선별된 합성 이미지들을 이용하여 추천 서비스 제공부(900)를 통해, 얼굴 분석 결과 및 이에 따른 따른 합성 이미지 기반의 스타일 추천 서비스를 사용자 단말(10)로 제공할 수 있다(S1013).

한편, 서비스 제공 장치(1000)는 사용자 입력에 따라 추천된 합성 이미지에 대응하는 얼굴 부분별 트랜스퍼 대상 및 강도 조절 처리를 수행할 수 있는 바(S1015), 이는 트랜스퍼 강도 조절부(700)에서 처리될 수 있다.

도 4는 본 발명의 실시 예에 따른 페이스 워핑 처리부를 보다 구체적으로 도시한 블록도이다.

도 4를 참조하면, 본 발명의 실시 예에 따른 페이스 워핑 처리부(500)는, 벤치마크 이미지 설정부(510), 삼각화 처리부(520), 이미지 입력부(530), 랜드마크 식별부(540), 변환 행렬 산출부(550) 및 워핑 이미지 구성부(560)를 포함한다.

전술한 바와 같이, 기존의 GAN 모델을 기반으로 한 메이크업 스타일 트랜스퍼 방법은 스타일 트랜스퍼를 하고자 하는 사용자 이미지와, 원하는 메이크업 스타일을 가진 소스 이미지의 특정 부분 (눈, 코, 입 등) 위치가 서로 일치하지 않으면 메이크업 트랜스퍼가 잘 이루어지지 않거나, 혹은 이상한 위치에 메이크업이 이동하는 문제를 내포하고 있다.

이를 해결하기 위해, 본 발명의 실시 예에 따른 페이스 워핑 처리부(500)는, 사용자 이미지 및 소스 이미지의 얼굴 위치를 일치시키는 페이스 워핑 처리를 수행하여 가상 스타일 합성부(100)의 메이크업 스타일 트랜스퍼 합성 처리가 오류 없이 잘 수행되도록 하고, 수행된 합성 이미지의 역 워핑 처리를 수행하여, 가상 스타일 합성부(100)에서 자연스러운 합성 결과가 출력되도록 한다.

또한, 페이스 워핑 처리부(500)는, 신경망 학습 이미지의 페이스 워핑 처리를 수행함으로써, 정렬된 얼굴 이미지를 벤치마크 이미지로 활용한 학습을 통해 메이크업 트랜스퍼 모델의 학습이 더 수월하게 이루어지도록 처리할 수 있으며, 이는 사용자 이미지의 얼굴이 제대로 정렬되지 않은 경우에도 메이크업 트랜스퍼가 잘 진행되도록 하는 학습 모델을 구축할 수 있도록 한다.

이를 위해 먼저, 벤치마크 이미지 설정부(510)는, 사전에 미리 설정된 벤치마크 이미지를 설정할 수 있다. 벤치마크 이미지는 얼굴의 랜드마크 위치가 고르게 잘 정렬된 이미지일 수 있으며, 이는 관리자 입력에 따라 미리 입력될 수 있으며, 삼각화 처리 이후에는 삭제 처리될 수 있다. 여기서, 랜드마크는 이미지상에서 특징점을 나타내기 위한 기준 좌표 정보로서, 이미지의 속성에 따라 다르게 결정되는 기준 위치 정보를 포함할 수 있다. 통상적으로 얼굴 이미지의 경우 랜드마크는 동공, 눈썹, 코, 턱선에 대응하는 사전 설정된 68개의 기준 위치 정보로 구성될 수 있으며, 랜드마크는 이미지에서 식별되는 68개의 기준 위치 정보에 대응하는 좌표 정보를 포함할 수 있다.

그리고, 삼각화 처리부(520)는 벤치마크 이미지에 대응하는 랜드마크 지점들을 식별하고, 이에 대응하는 삼각화 처리를 수행하여 상기 삼각화 수행에 따라 결정된 하나 이상의 삼각형 정보를 저장한다. 보다 구체적으로, 전술한 얼굴 이미지의 경우 동공, 눈썹, 코, 턱선에 대응하는 68개의 기준 위치 정보가 식별될 수 있으며 68개의 기준 위치 정보에 대응하는 좌표 정보들을 복수 개의 삼각형으 데이터로 구성하는 삼각화 처리를 수행할 수 있다.

예를 들어, 삼각화 처리부(520)는, 벤치마크 얼굴 이미지에서 사전 설정된 일정 위치의 68개의 랜드마크 점들을 추출할 수 있으며, 랜드마크 점들을 연결하는 삼각형들을 식별하는 삼각화를 수행할 수 있다.

여기서, 삼각화 처리는, 랜드마크 점들을 삼각형으로 연결하여 공간을 분할하는 방법이며, 삼각형들의 내각의 최소값이 최대가 되도록 하는 분할을 처리하는 들로네 삼각분할(Delaunay triangulation)이 바람직할 수 있다. 들로네 삼각분할의 경우 어떤 삼각형의 외접원도 그 삼각형의 세 꼭지점을 제외한 다른 어떤 점도 포함하지 않도록 형성될 수 있다. 이러한 삼각화 처리는 데이터 분포에서의 유의미한 클러스터를 추출하는 데 있어서 유용하게 활용될 수 있으며, 얼굴인식, 도로망 구축 등에서 활용되는 기법이다.

이러한 삼각화 처리에 따라 적어도 하나 이상의 랜드마크 점들을 공유하는 다수의 삼각형들이 형성될 수 있다.

그리고, 삼각화 처리부(520)는 삼각화 결과 얻어진 점들과 삼각형들에 대한 위치 정보를 저장할 수 있다.

이후, 이미지 입력부(530)는 페이스 워핑할 페이스 워핑 대상 이미지를 입력받을 수 있다. 페이스 워핑 대상 이미지는 사용자 이미지이거나, 소스 이미지이거나, 또는 학습에 이용되는 트레이닝 이미지를 포함할 수 있다.

그리고, 랜드마크 식별부(540)는 입력 이미지에 대응하는 랜드마크 지점 영역들을 추출한다. 랜드마크 지점 영역들은 상기 벤치마크 얼굴 이미지에서 추출되는 지점 영역에 대응할 수 있다.

그리고, 변환 행렬 산출부는, 상기 페이스 워핑 대상 이미지로부터, 상기 벤치마크 이미지의 랜드마크 지점 삼각화 처리에 따라 획득되는 삼각형들 중 제1 삼각형에 대응하는 제1 삼각형 정보와, 상기 제1 삼각형 정보에 대응하는 상기 입력 이미지의 부분 영역 이미지를 추출하고, 상기 부분 영역 이미지에서 추출된 특정 삼각형 정보를 상기 제1 삼각형 정보의 배치 좌표로 변환하는 변환 행렬을 산출한다.

여기서 삼각형 간 변환 행렬은, 영상을 구성하는 픽셀의 배치 구조를 변경함으로써, 평행 이동, 확대 및 축소, 회전 등 전체 영상의 모양을 바꾸는 기하학적 변환 행렬일 수 있으며, 알려진 어파인(affine) 변환 방식에 의한 변환 행렬이 예시될 수 있다. 어파인 변환은 입력 영상의 좌표 (x, y)가 결과 영상의 좌표 (x', y')로 이동할때 총 여섯 개(a, b, c, d, e, f)의 파리미터를 이용한 수식으로 정의할 수 될 수 있다.

(수학식 1)

x' = f(x, y) = ax + by + c

y' = f(x, y) = dx + ey + f

이러한 어파인 변환과 같은 방식으로 산출되는 삼각형 간 변환 행렬은 과 같은 변환식을 구성하는 중간의 2x3 크기의 행렬로 나타낼 수 있으며, 이를 산출하기 위하여는 제1 삼각형 정보의 3개 위치 좌표를 (x, y)로 하고, 상기 특정 삼각형 정보의 3개 위치 좌표를 (x', y')로 하는 각각의 점 3개에 대응하는 연립방정식이 주어지며, 이에 따른 계수 a, b, c, d, e, f가 산출되면 상기 2x3 크기의 행렬 이 전술한 변환 행렬로서 산출될 수 있다. 이러한 변환 함수는 이미지의 픽셀 배치 구조를 제1 삼각형에서 상기 특정 삼각형으로 변환하기 위해 평행 이동, 확대 및 축소, 회전등의 기하학적 형태로서 변환시키는 행렬 함수일 수 있으며, 형태가 다른 기하학적 영역들에 모두 적용될 수 있는 2차원 변환 행렬일 수 있다.

여기서, 상기 부분 영역 이미지는 상기 페이스 워핑 대상 이미지에 대응하는 랜드마크 지점 영역들 중, 상기 제1 삼각형 정보에 대응하는 특정 삼각형 영역을 포함하는 사각형 영역을 포함할 수 있다.

그리고, 워핑 이미지 구성부(560)는, 페이스 워핑 출력 이미지를 생성하고, 상기 부분 영역 이미지 전체에 대응하는 상기 변환 행렬을 적용하여 상기 페이스 워핑 출력 이미지를 워핑된 상태로 기하학적 변환 처리한다.

상기 부분 영역 이미지에 상기 변환 행렬을 적용하기 위해, 워핑 이미지 구성부(560)는 상기 제1 삼각형 정보에 대응하는 특정 삼각형 영역을 포함하는 사각형 영역으로 구성된 사각형 이미지를 상기 부분 영역 이미지에서 추출하고, 추출된 사각형 이미지에 상기 변환 행렬을 적용하여 기하학적 변환 처리를 수행할 수 있다.

그리고, 워핑 이미지 구성부(560)는 상기 변환 처리된 부분 영역 이미지에서, 상기 제1 삼각형 정보에 대응하는 영역 이외의 부분을 제거하고, 상기 제1 삼각형 정보에 대응하는 영역 이외의 부분이 제거된 부분 영역 이미지를 상기 출력 이미지에 결합한다. 이에 따라 가상 스타일 합성을 보다 원활하게 수행하기 위한 랜드마크 기반 기하 변환된 픽셀 데이터가 상기 상기 페이스 워핑 출력 이미지로 구성될 수 있다.

그리고, 각 벤치마크 이미지의 모든 삼각형들에 대응하여, 상기한 바와 같은 입력된 사용자 이미지의 랜드마크 식별, 변환 행렬 산출 및 워핑 이미지 구성 프로세스가 반복적으로 수행되며, 결과적으로 벤치마크 이미지의 랜드마크 부분과 상기 페이스 워핑 대상 이미지에 대응하여 구성된 변환 행렬에 따라 상기 페이스 워핑 출력 이미지가 구성되어 출력될 수 있다.

한편, 페이스 워핑 처리부(500)는 전술한 바와 같은 각 처리부들을 역으로 구동시켜, 페이스 역 워핑 처리를 수행할 수 있다.

이에 따른 가상 스타일 합성부(100)의 합성 프로세스는 아래와 같이 수행될 수 있다.

먼저, 가상 스타일 합성부(100)는, 사용자 이미지와, 소스 이미지에 대응하는 얼굴 영역 이미지를 추출한다.

그리고, 가상 스타일 합성부(100)는 추출된 얼굴 영역 이미지에 대응하는 얼굴 각도 조정을 통해, 사용자 이미지와 소스 이미지의 눈의 높이가 동일하도록 정렬 처리할 수 있다.

이후, 가상 스타일 합성부(100)는 정렬 처리된 사용자 이미지와 소스 이미지를 각각 페이스 워핑 처리부(500)에 전달하여, 벤치마크 이미지 기반의 페이스 워핑이 수행되도록 한다.

그리고, 가상 스타일 합성부(100)는 페이스 워핑 처리된 사용자 이미지와 소스 이미지를 이용하여, 스타일 트랜스퍼를 수행함으로써, 메이크업 스타일이 합성된 합성 이미지를 획득한다.

이후, 가상 스타일 합성부(100)는, 합성 이미지에 대응하는 역 워핑 처리를 페이스 워핑 처리부(500)에 요청하고, 페이스 워핑 처리부(500)로부터 역 워핑 처리된 합성 이미지를 획득한다.

그리고, 가상 스타일 합성부(100)는, 상기 얼굴 각도 조정에 따른 얼굴 각도를 역으로 재조정하는 처리를 통해, 사용자 이미지의 각도와 맞는 위치로 역 조정 처리한다.

그리고, 가상 스타일 합성부(100)는 역 조정 처리된 합성 이미지와, 사용자 이미지를, 알려진 푸아송 블렌딩 방식과 같은 이미지 합성 처리하여, 사용자 이미지에 대한 메이크업 스타일 트랜스퍼가 자연스럽게 수행된 가상 스타일 합성 이미지를 획득 및 출력할 수 있다.

도 5는 본 발명의 실시 예에 따른 트랜스퍼 강도 조절부를 보다 구체적으로 도시한 블록도이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 트랜스퍼 강도 조절부(700)는 사용자 입력에 따라, 스타일 트랜스퍼된 가상 합성 이미지의 트랜스퍼 강도 및 영역과 그 대상을 자유롭게 설정 및 조정하게 할 수 있는 바, 이는 GAN 기반의 메이크업 트랜스퍼 모델을 응용하여 처리될 수 있다.

이를 위해, 트랜스퍼 강도 조절부(700)는, GAN 기반 모델을 이용하여 입력이 되는 두개의 이미지에서 바로 메이크업 스타일 트랜스퍼된 이미지를 출력하는 것이 아니라, 입력 이미지 각각을 잠재 공간(Latent space)으로 보내는 인코더를 구축하고, 잠재 공간에서 메이크업 스타일 트랜스퍼 정보를 추출하는 메이크업 스타일 트랜스퍼 변환 행렬 W를 설정하며, 그리고 잠재 공간의 메이크업 스타일 트랜스퍼 벡터를 다시 원래의 이미지로 복원하는 디코더를 구축하여 트랜스퍼 강도 조절 처리를 수행할 수 있다.

이를 구현하기 위해, 트랜스퍼 강도 조절부(700)는, 부분별 강도 변수 설정부(710), 부분별 잠재 공간 이미지 인코딩부(720), 잠재 공간 이미지의 스타일 트랜스퍼 처리부(730), 부분별 이미지 디코딩부(740), 합성 출력부(750) 및 변경 처리부(760)를 포함한다.

부분별 강도 변수 설정부(710)는, 사용자 입력에 따른 얼굴 부분 영역별 트랜스퍼 강도 변수와, 트랜스퍼 대상 소스 이미지를 각각 설정할 수 있다. 예를 들어, 트랜스퍼 강도 변수는 0 내지 5 사이의 특정 변수일 수 있으며, 이는 메이크업 스타일 트랜스퍼 연산에 대한 가중치 값으로 변환될 수 있다.

그리고, 부분별 잠재 공간 이미지 인코딩부(720)는, 사용자 이미지 및 소스 이미지 각각을 얼굴 부분별로 잠재 공간으로 변환하는 인코딩 처리를 수행한다. 잠재 공간은, 머신 러닝을 위해 직접 관찰하거나 측정이 어려운 변수를 벡터 등으로 변환하는 특징 공간일 수 있다.

잠재 공간 이미지 스타일 트랜스퍼 처리부(730)는 인코딩된 얼굴 부분별 사용자 이미지와 소스 이미지를 각각 스타일 트랜스퍼 모델의 입력 이미지로 인가하여, 잠재 공간 이미지의 스타일 트랜스퍼가 처리되도록 한다. 여기서, 상기 트랜스퍼 강도 변수가 각각의 얼굴 부분별 가중치 값으로 인가될 수 있다.

예를 들어, 잠재 공간 내에서 메이크업을 하고자 하는 사용자 이미지 얼굴 부분과, 타겟이 되는 소스 이미지의 얼굴 부분에 대응되어 인코딩된 벡터가 각각 v1, v2이고, 스타일 트랜스퍼 모델 행렬이 W이고 단위 행렬이 I이며, 트랜스퍼 강도 가중치가 t(0<=t<=1)인 경우, (I-W)*v1 + t*W*v2 와 같은 수학식 수행을 통해 획득되는 잠재 공간 벡터가 잠재 공간 이미지 스타일 트랜스퍼 처리부(730)의 출력일 수 있다.

그리고, 부분별 이미지 디코딩부(740)는, 상기 잠재 공간 벡터를 역 연산하여 부분별 이미지 정보로 디코딩하는 연산을 수행할 수 있다.

또한, 합성 출력부(750)는 상기 디코딩된 부분별 이미지 정보를 합성하여, 트랜스퍼 강도 설정에 따라 재구성된 합성 이미지를 가상 스타일 합성부(100)로 전달할 수 있다.

그리고, 변경 처리부(760)는, 상기 재구성된 합성 이미지에 대응하는 사용자 변경 설정 입력에 따라, 전술한 트랜스퍼 강도 정보 및 소스 정보의 변경 처리를 재수행할 수 있다.

이와 같은, 트랜스퍼 강도 조절부(700)의 동작은 서로 다른 각각의 얼굴 영역(눈, 입, 피부 등)에 대해 세분화되어 적용될 수 있으며, 각 영역은 상기 사용자 변경 설정 입력에 따라 중첩될 수도 있다. 또한, 각 부분 스타일에 대응하는 서로 다른 인물의 메이크업 스타일을 개별 적용할 수 있는 바, 앞서 설명한 바와 같이 얼굴의 부분 나이 등을 개선할 수 있도록 복합적인 서로 다른 소스 이미지들이 각 부분별로 적용될 수도 있다.

예를 들어, 트랜스퍼 강도 조절부(700)는 메이크업 스타일 변환 행렬 W_eye, W_lip, W_skin을 각각 설정하고, 이에 대응하는 각 부분 화장에 대한 서로 다른 소스 이미지를 설정하며, 각각의 트랜스퍼 강도가 조절되도록 구성할 수 있다. 이 경우, 사용자 이미지의 인코딩된 v1 벡터와, 소스 이미지의 인코딩된 v2 벡터 및 가중치 t는 eye, lip, skin 부분별로 세분화 처리되어 이하와 같은 연산이 처리될 수 있다.

v1_out = (I - W_eye - W_lip - W_skin)*v1 + t_eye*W_eye*v2_eye + t_lip*W_lip *v2_lip + t_skin*W_skin*v2_skin 혹은

v1_out = (I - W_skin)*( (I - W_lip)*( (I - W_eye)*v1 + t_eye*W_eye*v2_eye) + t_lip*W_lip*v2_lip) + t_skin*W_skin*v2_skin

도 6은 본 발명의 실시 예에 따른 얼굴 분석부를 보다 구체적으로 도시한 블록도이며, 도 7은 본 발명의 실시 예에 따른 얼굴 부분 나이 예측 모델 및 시각화 과정을 설명하기 위한 도면이다.

도 6을 참조하면, 본 발명의 실시 예에 따른 얼굴 분석부(200)는, 사용자 이미지 또는 합성 이미지에 대응하는 얼굴 부분 영역별 분석 정보를 추출할 수 있으며, 이러한 얼굴 부분 영역별 분석 정보는 스타일 비교를 용이하게 하며, 스타일 추천 서비스 정보를 보다 효과적으로 구성하는 데 이용될 수 있다.

보다 구체적으로 얼굴 분석부(200)는, 부분 나이 예측부(210), 부분 주름 분석부(220), 시각화 처리부(240) 및 분석 정보 출력부(250)를 포함한다.

부분 나이 예측부(210)는, 사용자 이미지 또는 가상 스타일 합성부(100)의 합성 이미지에 대응하는 얼굴 부분 영역 이미지를 추출하고, 상기 얼굴 부분 영역 이미지를, 사전 학습된 하나 이상의 인공신경망 학습 모델에 적용하여 나이 예측 정보를 획득할 수 있다. 이에 따라, 상기 스타일 추천 서비스 정보는, 상기 나이 예측 정보에 기초한 얼굴 부분 영역별 나이 분석 정보를 포함할 수 있다.

이러한 나이 분석 정보는 사용자 등록 정보에 대응하는 국가별 또는 지역별로 상이하게 구축된 학습 모델로부터 개별적으로 획득될 수 있다. 예를 들어, 미국, 한국, 동양, 서양 등과 같이 사전 설정된 국가별 또는 지역별 이미지 학습에 따른 얼굴 부분 영역별 나이 분석 정보가 서로 다른 학습 모델로부터 추출될 수 있다. 이는 국가 또는 인종 등에 따라 나이를 잘 구분하지 못하는 문제점 등을 고려하여 안출된 것으로, 본 발명의 실시 예에 따른 얼굴 분석부(200)는, 얼굴 부분 영역별 나이 분석 정보를 획득하기 위해, 국가 또는 지역 분류에 따라 상이한 데이터로 학습된 학습 모델들을 개별적으로 구축하고, 사용자 등록 정보에 따라 식별된 국가 또는 지역에 대응하는 학습 모델을 사용하여 상기 나이 분석 정보를 획득할 수 있다.

보다 구체적으로, 얼굴 부분 영역별 나이 분석 정보 추출을 위하여, 상기 인공신경망 학습 모델은 얼굴 부분 이미지 입력에 대응하여 나이 정보를 출력하는 학습 모델로 구축될 수 있다. 예를 들어, ResNet, DenseNet, MobileNet과 같은 인공신경망 학습 모델들을 기초로, 각 얼굴 랜드마크에 대응하는 얼굴 부분별 나이 정보가 예측되는 학습 모델이 개별적으로 구축될 수 있다.

이에 따라, 추천 서비스 제공부(900)는, 상기 스타일 추천 서비스 정보를 제공함에 있어서, 상기 나이 분석 정보에 따라 사용자 입력된 나이보다 제1 임계치 이상 높은 얼굴 부분 영역을 식별하고, 상기 하나 이상의 합성 이미지 중 상기 식별된 얼굴 부분 영역의 나이 예측 정보가 가장 낮은 합성 이미지를 가상 스타일 합성부(100)로부터 획득할 수 있으며, 상기 나이 예측 정보가 가장 낮은 합성 이미지에 기초하여, 상기 스타일 추천 서비스 정보를 구성할 수 있다.

예를 들어, 사용자가 입력한 생물학적 나이보다 일정 수치 이상 높게 예측되는 이마 부분에 대응하여, 가상 스타일 합성 이미지 중 가장 이마가 ◎게 예측되는 소스 이미지의 인물 정보, 스타일 정보 또는 스타일 합성 이미지가 상기 스타일 추천 서비스 정보에 포함될 수 있을 것이다.

이에 대하여, 도 7은 본 발명의 실시 예에 따른 얼굴 부분 나이 예측 모델 및 시각화 과정을 나타내고 있으며, 좌측 눈에 대응하는 제1 학습 모델, 우측 눈에 대응하는 제2 학습 모델, 피부에 대응하는 제3 학습 모델, 코에 대응하는 제4 학습 모델 및 입에 대응하는 제5 학습 모델 등과 같은 각각의 영역에 대응하는 나이 예측 모델이 개별적으로 구비될 수 있으며, 예측 결과는 시각화 처리되어 각각의 부분별 나이가 그래프 형태로 연결 표시되는 형태의 이미지로 사용자 단말(10)에서 출력될 수 있다.

또한, 부분 주름 분석부(220)는, 사용자 이미지 또는 가상 스타일 합성부(100)의 합성 이미지에 대응하는 얼굴 부분 영역 이미지를 추출하고, 상기 얼굴 부분 영역 이미지를, 사전 학습된 하나 이상의 인공신경망 학습 모델에 적용하여 주름 특성 정보를 획득할 수 있다. 이에 따라, 상기 스타일 추천 서비스 정보는, 상기 주름 특성 정보에 기초한 얼굴 부분 영역별 주름 분석 정보를 포함할 수 있다.

보다 구체적으로, 얼굴 부분 영역별 주름 분석 정보 추출을 위하여, 상기 인공신경망 학습 모델은 얼굴 부분 이미지 입력에 대응하여 주름 특성 정보로 변환하는 변환 모델과, 유사 주름 특성 정보를 갖는 이미지들을 색인하는 학습 모델로 구축될 수 있다. 예를 들어, 주름 특성 정보를 변환함에 있어서는, 이미지를 푸리에 변환시킨 주파수 정보를 1차 필터링하며, 잘 알려진 하이브리드 헤시안(Hybrid Hessian) 필터를 적용한 특징 데이터와 결합하고, 임계치 이상의 특징 정보가 추출되는 영역을 주름 데이터로 출력하는 변환 방식이 예시될 수 있다. 또한, 주름 특성 정보의 유사성을 확인하기 위하여는 모바일 페이스넷과 같은 알려진 학습 모델이 이용될 수 있다.

이에 따라, 추천 서비스 제공부(900)는, 상기 스타일 추천 서비스 정보를 제공함에 있어서, 상기 주름 분석 정보에 따라 주름 분석 정보가 가장 유사한 합성 이미지를 가상 스타일 합성부(100)로부터 획득할 수 있으며, 상기 합성 이미지에 기초하여, 상기 스타일 추천 서비스 정보를 구성할 수 있다.

한편, 시각화 처리부(240)는 얼굴 분석 정보를 종합하여 시각화 처리할 수 있으며, 분석 정보 출력부(250)는 시각화 처리된 얼굴 분석 정보를 추천 서비스 제공부(900)로 출력할 수 있다. 추천 서비스 제공부(900)는 시각화 처리된 얼굴 분석 정보를 기반으로 하는 스타일 인터페이스가 사용자 단말(10)에서 출력되도록 하는 서비스 데이터를 사용자 단말(10)제공 할 수 있는 바, 이에 대하여는 도 8 내지 도 12를 참조하여 예시적으로 설명하도록 한다.

도 8 내지 도 12는 본 발명의 실시 예에 따른 사용자 단말에서의 스타일 인터페이스 출력 정보를 설명하기 위한 도면이다.

도 8을 참조하면, 먼저 본 발명의 실시 예에 따른 사용자 단말(10)에서는 자신의 얼굴에 대한 화장 스타일을 추천받을 수 있는 초기 인터페이스가 출력될 수 있다. 사용자는 초기 인터페이스를 통해, 얼굴 분석을 위한 자신의 나이 정보를 입력할 수 있으며, 입력 이미지가 화장 전인지 화장 후인지에 대한 정보와, 자신의 얼굴 이미지를 입력할 수 있다.

도 9는 본 발명의 실시 예에 따른 스타일 인터페이스의 얼굴 부분 나이 분석 결과 화면을 도시한 것으로, 사용자가 입력한 나이(20)는 적색 선으로 표시되고, 이에 대응하는 볼, 눈, 코, 입 각각에 대응하는 예측 나이 값이, 그래프의 중심으로부터 멀어질수록 증가된 지점에 위치되어 표시되도록 하는 다각형 그래프 형태로 출력될 수 있다.

또한, 도 10은 본 발명의 실시 예에 따른 스타일 인터페이스의 얼굴 부분 주름 분석 결과 화면을 도시한 것으로, 사용자 입력한 얼굴 이미지에 대응하는 주름 형태가 입가 주름, 코 주변, 눈가 주름과 같은 각각의 영역별로 표시될 수 있다.

그리고, 도 11은 본 발명의 실시 예에 따른 얼굴 분석 기반의 화장 스타일 추천 인터페이스를 도시한다. 도 11에 도시된 바와 같이, 화장 전 또는 화장 후 사진에 대응하여 얼굴 특성이 가장 유사하거나, 얼굴 나이를 개선할 수 있는 소스 이미지의 인물 정보가 추천 서비스 제공부(900)를 통해 식별되어 사용자 단말(10)로 제공될 수 있다.

예를 들어, 도 11에 도시된 바와 같이, 얼굴 주름 등의 특징 유사도에 따라 가장 유사한 뷰티유투버 정보 및 링크 정보가 제공될 수 있으며, 해당 인터페이스를 통해 사용자 이미지와, 합성 이미지 및 소스 이미지를 함께 제공하여, 사용자가 자신의 얼굴이 소스 이미지의 스타일에 따라 어떻게 변화될 수 있는지를 확인할 수 있다.

또한, 도 12를 참조하면, 본 발명의 실시 예에 따른 스타일 인터페이스는, 각각의 얼굴 부분별 스타일 트랜스퍼 대상 및 강도를 세분화하여 설정할 수 있는 트랜스퍼 강도 및 대상 설정 인터페이스를 제공할 수 있다.

도 12에 도시된 바와 같이, 트랜스퍼 강도는 각각의 식별 번호가 할당된 얼굴 부분 영역별로 0 내지 5와 같은 값이 결정될 수 있으며, 소스 이미지 또한 A, B, C 등의 다양한 이미지로 변경 설정될 수 있다. 이에 따라, 사용자는 자신이 원하는 소스 이미지와 강도를 조절하여, 원하는 스타일의 화장을 보다 자유롭게 테스트해볼 수 있으며, 최종 적용된 트랜스퍼 강도 및 대상 설정 정보에 기초하여, 보다 자신에게 적합하다고 생각되는 화장 스타일 정보 및 참고할만한 인물 정보와 화장품 정보 등을 제공받을 수 있게 된다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (9)

1. 서비스 제공 장치의 동작 방법에 있어서,
   소스 이미지를 수집하여, 벤치마크 이미지에 기초한 워핑 이미지로 변환하는 페이스 워핑을 처리하는 단계;
   상기 페이스 워핑 처리된 소스 이미지를 이용하여, 상기 소스 이미지의 스타일 정보가 매핑된 스타일 데이터베이스를 구축하는 단계; 및
   상기 스타일 데이터베이스를 이용한 스타일 트랜스퍼 기반의 스타일 추천 서비스를 제공하는 단계를 포함하고,
   상기 페이스 워핑을 처리하는 단계는,
   상기 벤치마크 이미지를 결정하는 단계;
   상기 벤치마크 이미지의 랜드마크 지점들을 식별하는 단계;
   상기 랜드마크 지점들에 대응하는 삼각화를 수행하는 단계; 및
   상기 삼각화 수행에 따라 결정된 하나 이상의 삼각형 정보를 저장하는 단계를 포함하며,
   상기 페이스 워핑을 처리하는 단계는,
   상기 소스 이미지로부터, 상기 벤치마크 이미지의 제1 삼각형 정보에 대응하는 부분 영역 이미지를 추출하는 단계; 및
   상기 부분 영역 이미지에서 추출된 삼각형 정보를 상기 제1 삼각형 정보로 변환하는 변환 행렬을 산출하는 단계를 포함하는
   서비스 제공 장치의 동작 방법.
2. 제1항에 있어서,
   상기 페이스 워핑을 처리하는 단계는,
   상기 부분 영역 이미지 전체를 상기 변환 행렬을 이용하여 변환 처리하는 단계;
   상기 변환 처리된 부분 영역 이미지에서 제1 삼각형 정보에 대응하는 영역 이외의 부분을 제거하는 단계; 및
   상기 제거된 부분 영역 이미지를 페이스 워핑될 이미지에 결합하는 단계를 포함하는
   서비스 제공 장치의 동작 방법.
3. 제1항에 있어서,
   상기 서비스를 제공하는 단계는,
   사용자 이미지와 소스 이미지 간 스타일 트랜스퍼에 기초한 가상 스타일 합성을 수행하는 단계; 및
   상기 가상 스타일 합성 수행된 이미지에 기초한 스타일 추천 서비스를 제공하는 단계;를 포함하고,
   상기 합성을 수행하는 단계는,
   상기 스타일 트랜스퍼의 트랜스퍼 강도를 이미지의 부분 영역별로 조절하는 단계를 포함하는
   서비스 제공 장치의 동작 방법.
4. 제1항에 있어서,
   상기 서비스를 제공하는 단계는,
   사용자 이미지와 소스 이미지 간 스타일 트랜스퍼에 기초한 가상 스타일 합성을 수행하는 단계; 및
   상기 가상 스타일 합성 수행된 하나 이상의 합성 이미지에 기초한 스타일 추천 서비스를 제공하는 단계;를 포함하고,
   상기 추천 서비스를 제공하는 단계는,
   상기 사용자 이미지에 대응하는 부분 영역별 분석 정보를 추출하는 단계; 및
   상기 하나 이상의 합성 이미지와 상기 부분 영역별 분석 정보에 기초한 스타일 비교 처리에 따라, 스타일 추천 서비스 정보를 제공하는 단계를 포함하는
   서비스 제공 장치의 동작 방법.
5. 서비스 제공 장치에 있어서,
   소스 이미지를 수집하여, 벤치마크 이미지에 기초한 워핑 이미지로 변환하는 페이스 워핑을 처리하는 페이스 워핑 처리부;
   상기 페이스 워핑 처리된 소스 이미지를 이용하여, 상기 소스 이미지의 스타일 정보가 매핑된 스타일 데이터베이스를 구축하는 스타일 데이터베이스; 및
   상기 스타일 데이터베이스를 이용한 스타일 트랜스퍼 기반의 스타일 추천 서비스를 제공하는 서비스 제공부를 포함하고,
   상기 페이스 워핑 처리부는,
   상기 벤치마크 이미지를 결정하고, 상기 벤치마크 이미지의 랜드마크 지점들을 식별하며, 상기 랜드마크 지점들에 대응하는 삼각화를 수행하고, 상기 삼각화 수행에 따라 결정된 하나 이상의 삼각형 정보를 저장하며, 상기 소스 이미지로부터, 상기 벤치마크 이미지의 제1 삼각형 정보에 대응하는 부분 영역 이미지를 추출하고, 상기 부분 영역 이미지에서 추출된 삼각형 정보를 상기 제1 삼각형 정보로 변환하는 변환 행렬을 산출하는
   서비스 제공 장치.
6. 제5항에 있어서,
   상기 페이스 워핑 처리부는,
   상기 부분 영역 이미지 전체를 상기 변환 행렬을 이용하여 변환 처리하고, 상기 변환 처리된 부분 영역 이미지에서 제1 삼각형 정보에 대응하는 영역 이외의 부분을 제거하며, 상기 제거된 부분 영역 이미지를 페이스 워핑될 이미지에 결합하는
   서비스 제공 장치.
7. 제5항에 있어서,
   상기 서비스 제공부는,
   사용자 이미지와 소스 이미지 간 스타일 트랜스퍼에 기초한 가상 스타일 합성을 수행하는 가상 스타일 합성부; 및
   상기 가상 스타일 합성 수행된 이미지에 기초한 스타일 추천 서비스를 제공하는 추천 서비스 제공부를 포함하고,
   상기 가상 스타일 합성부에서 수행되는 상기 스타일 트랜스퍼의 트랜스퍼 강도를 이미지의 부분 영역별로 조절하는 트랜스퍼 강도 조절부를 더 포함하는
   서비스 제공 장치.
8. 제7항에 있어서,
   상기 서비스 제공부는,
   사용자 이미지와 소스 이미지 간 스타일 트랜스퍼에 기초한 가상 스타일 합성을 수행하는 가상 스타일 합성부; 및
   상기 가상 스타일 합성 수행된 하나 이상의 합성 이미지에 기초한 스타일 추천 서비스를 제공하는 추천 서비스 제공부를 포함하고,
   상기 추천 서비스 제공부는, 상기 사용자 이미지에 대응하는 부분 영역별 분석 정보를 추출하고, 상기 하나 이상의 합성 이미지와 상기 부분 영역별 분석 정보에 기초한 스타일 비교 처리에 따라, 스타일 추천 서비스 정보를 제공하는
   서비스 제공 장치.
9. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 판독 가능한 매체에 저장되는 컴퓨터프로그램.