KR102624995B1 - 딥러닝 기반의 복수의 의류 가상착용 방법 및 그 시스템 - Google Patents

Abstract

실시예에 따른 딥러닝 기반의 복수 의류 가상착용 방법은, 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의하여 실행되는 가상착용 애플리케이션이 딥러닝 기반의 의류 가상착용 프로세스를 수행하는 방법으로서, 제 1 옷 객체를 포함하는 제 1 옷 이미지, 제 2 옷 객체를 포함하는 제 2 옷 이미지 및 모델 객체를 포함하는 모델 이미지를 결정하는 단계; 상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계; 상기 제 2 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 2 변형 옷 이미지를 생성하는 단계; 상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하는 단계를 포함한다.

Description

딥러닝 기반의 복수의 의류 가상착용 방법 및 그 시스템{METHOD AND SYSTEM FOR CLOTHING VIRTUAL TRY-ON SERVICE BASED ON DEEP LEARNING}

본 발명은 딥러닝 기반의 의류 가상착용 방법 및 그 시스템에 관한 것이다. 보다 상세하게는, 딥러닝 뉴럴 네트워크를 이용하여 복수의 옷을 모델에 가상으로 착용한 모습을 제공하는 방법 및 그 시스템에 관한 것이다.

현대 사회에서는, 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 노트북 등과 같은 사용자 단말의 이용이 대중화되고 정보 처리 기술이 발달함에 따라서 사용자 단말을 이용하여 이미지 또는 동영상을 촬영하고, 촬영한 영상을 사용자의 요구에 맞게 편집하는 영상 편집 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.

특히, 이러한 이미지 편집을 상업적으로 이용하는 분야 중 하나는 온라인 쇼핑몰에 진열된 옷을 가상으로 입어보는 의류 가상착용 서비스 분야이다.

자세히, 옷을 사기 위해 오프라인 쇼핑을 할 때 옷을 입어 보는 것은 해당하는 옷이 자신에게 어울리는지 파악하는 필수 절차 중에 하나이다.

그러나 온라인 쇼핑 사이트에서는, 모델이 착용한 옷 이미지만을 보고 해당 옷이 자신에게 어울리는지 판단해야 한다.

만약에 온라인 쇼핑몰에 올라온 옷 이미지를 기초로 해당하는 옷을 입어 볼 수 있는 기술을 제공한다면, 패션 업계에 획기적인 새로운 응용 프로그램을 공급함과 동시에 사용자에게 보다 현실적인 경험을 선사할 수 있다.

그리하여 최근에는, 위와 같은 보다 현실적인 경험을 제공하는 의류 가상착용 시스템에 대한 관심이 자연스럽게 증가하고 있다.

더하여, 이미지 투 이미지 네트워크(image-to-image networks)와 생산적 적대 네트워크(GANs)가 널리 보급됨에 따라 가상착용 시스템에 대한 연구도 증가하고 있다. 최근에 개발된 가장 성공적인 아키텍처 중 하나는 CP-VTON이다.

그러나 CP-VTON에 의해 생성된 최종 가상착용 이미지는 흐릿하고 왜곡되며 인위적인 결과물로 생성되어 의류 품목의 구매력이 떨어지는 문제가 있다.

또한, 종래의 가상착용 시스템은, 하나의 옷을 착용하는데 초점이 맞추어 지고 있어, 복수의 옷의 어울림을 보기 위한 사용자 니즈를 만족시키지 못하는 문제가 있다.

선행특허들 중 상의와 하의를 동시에 가상착용시켜 준다는 기술이 개시되어 있긴하나, 이를 조화롭게 가상착용시키기 위한 기술을 제시하지 못하고 단순히 아이디어 단계에서 착용 가능하다는 개념만 제시하고 있을 뿐이다.

KR 10-2020-0049746 A KR 10-1586010 B1

본 발명은, 상술된 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 딥러닝 뉴럴 네트워크를 이용하여 복수의 옷을 모델 객체에 자연스럽게 가상으로 착용한 모습을 제공하는 딥러닝 기반의 의류 가상착용 방법 및 그 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은, 복수의 옷을 자연스럽게 착용한 모델의 가상 이미지를 제공하는 딥러닝 기반의 의류 가상착용 방법 및 그 시스템을 제공하는데 그 목적이 있다.

실시예에 따른 딥러닝 기반의 복수 의류 가상착용 방법은, 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의하여 실행되는 가상착용 애플리케이션이 딥러닝 기반의 의류 가상착용 프로세스를 수행하는 방법으로서, 제 1 옷 객체를 포함하는 제 1 옷 이미지, 제 2 옷 객체를 포함하는 제 2 옷 이미지 및 모델 객체를 포함하는 모델 이미지를 결정하는 단계; 상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계; 상기 제 2 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 2 변형 옷 이미지를 생성하는 단계; 상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하는 단계를 포함한다.

또한, 실시예에 따른 딥러닝 기반의 복수 의류 가상착용 시스템은, 가상 착용 이미지를 출력하는 디스플레이; 적어도 하나 이상의 프로세서; 및 적어도 하나 이상의 메모리; 를 포함하고, 상기 메모리에 저장되고 상기 적어도 하나 이상의 프로세서에 의해 실행되어 딥러닝 기반의 복수 의류 가상 착용 프로세스를 수행하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 제 1 옷 객체를 포함하는 제 1 옷 이미지, 제 2 옷 객체를 포함하는 제 2 옷 이미지 및 모델 객체를 포함하는 모델 이미지를 결정하고, 상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하며, 상기 제 2 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 2 변형 옷 이미지를 생성하고, 상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고, 상기 디스플레이를 제어하여 상기 가상 착용 이미지를 출력한다.

본 발명의 실시예에 따른 딥러닝 기반의 의류 가상착용 방법 및 그 시스템은, 딥러닝 뉴럴 네트워크를 이용하여 옷 이미지를 모델 객체에게 가상으로 착용한 모습을 제공함으로써, 온라인 쇼핑 시에도 사용자가 원하는 옷을 가상으로 착용해보며 해당하는 옷이 자신에게 어울리는지 쉽고 합리적으로 파악하게 할 수 있고, 이를 통해 의류 쇼핑에 소요되는 시간이나 비용을 절약하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝 기반의 의류 가상착용 방법 및 그 시스템은, 단순한 패턴 및/또는 색상 등을 가지는 실내를 배경으로 촬영된 모델 이미지들에 기반한 트레이닝 데이터 셋(Training data set)을 기초로 학습된 딥러닝 뉴럴 네트워크를 이용하더라도, 다양한 패턴 및/또는 색상 등을 가지는 실외를 배경으로 하는 모델 이미지 내 모델에게 소정의 옷 이미지를 왜곡없이 가상 피팅(Virtual fitting)함으로써, 한정적인 트레이닝 데이터를 가지고도 높은 성능의 가상착용 결과를 출력하는 딥러닝 뉴럴 네트워크를 구축할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝 기반의 의류 가상착용 방법 및 그 시스템은, 위와 같이 실외를 배경으로 하는 모델 이미지 내 모델에게 소정의 옷 이미지를 왜곡없이 가상착용함으로써, 옷 이미지를 착용시키고자 하는 모델의 배경이 어떠한 특성을 가지든지 무관하게 정확하고 손실없는 가상착용을 수행할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반의 복수 의류 가상착용 시스템의 개념도이다.
도 2a는 본 발명의 실시예에 따른 가상착용 애플리케이션이 설치된 컴퓨팅 디바이스의 내부 블록도이다.
도 2b은 본 발명의 실시예에 따른 가상착용 애플리케이션이 복수의 의류를 모델 객체에 가상착용시키는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 모델 객체의 영역분류맵을 생성하는 과정을 나타낸다.
도 4a는 본 발명의 실시예에 따른 영역분류맵 생성기에 대한 제 1 학습 전략을 나타낸다.
도 4b는 본 발명의 실시예에 따른 영역분류맵 생성기에 대한 제 2 학습 전략을 나타낸다.
도 4c는 본 발명의 실시예에 따라 학습된 영역분류맵 생성기를 통해 생성된 샘플들을 나타낸다.
도 5a는 본 발명의 실시예에 따른 복수의 옷을 각각 모델 객체에 매칭시키는 과정을 나타낸다.
도 5b는 본 발명의 실시예에 따른 옷을 모델 객체에 매칭시키는 기하학 매칭 모듈(10)의 세부적인 구조를 나타낸다.
도 6은 본 발명의 실시예에 따른 기하학 매칭 모듈이 옷을 원근적으로 변형한 모습과 세부적으로 변형한 모습을 나타낸 실험예이다.
도 7은 본 발명의 실시예에 따른 기하학 매칭 모듈이 그리드 간격 일관성 손실을 적용하지 않은 변형 결과 모습과 적용한 변형 결과 모습을 나타낸 실험예이다.
도 8은 본 발명의 실시예에 따른 기하학 매칭 모듈이 오클루전 처리를 적용하지 않은 변형 결과 모습과 오클루전 처리를 적용한 변형 결과 모습을 나타낸 실험예이다.
도 9는 본 발명의 실시예에 따른 기하학 매칭 모듈의 제 1-1 딥러닝 모델과 제 1-2 딥러닝 모델의 순차적으로 옷을 변형함에 따른 효과를 나타내기 위한 실험예이다.
도 10은 본 발명의 실시예에 따른 기하학 매칭 모듈에서 그리드 간격 일관성 손실 적용에 따른 효과를 나타내기 위한 일 실험예이다.
도 11은 본 발명의 실시예에 따른 기하학 매칭 모듈에서 오클루전 처리에 따른 효과를 나타내기 위한 실험예이다.
도 12는 본 발명의 실시예에 따른 기하학 매칭 모듈의 제 1 판별모듈에 의한 효과를 나타내기 위한 실험예이다.
도 13은 본 발명의 실시예에 따른 가상착용 모듈이 복수의 옷을 모델 객체에 가상착용시키는 과정을 나타낸다.
도 14는 본 발명의 실시예에 따른 복수의 옷을 모델 객체에 가상착용시키는 가상착용 모듈의 세부적인 구조를 나타낸다.
도 15는 본 발명의 실시예에 따른 가상착용 애플리케이션을 통해 복수의 옷이 가상착용된 모델을 나타내는 일례들이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반의 복수의 의류 가상착용 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반의 복수 의류 가상착용 시스템(이하, 가상착용 시스템)은, 딥러닝 뉴럴 네트워크를 이용하여 복수의 옷을 모델 객체에게 가상으로 착용한 모습을 제공하는 가상착용 서비스를 제공할 수 있다.

실시예에서, 이러한 가상착용 시스템은, 컴퓨팅 디바이스(100) 및 가상착용 서비스 제공서버(200)를 포함할 수 있다.

이때, 상기 컴퓨팅 디바이스(100) 및 가상착용 서비스 제공서버(200)는, 네트워크(Network)를 기반으로 연결될 수 있다.

여기서, 상기 네트워크는, 컴퓨팅 디바이스(100) 및/또는 가상착용 서비스 제공서버(200) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

<컴퓨팅 디바이스(Computing Device: 100)>

본 발명의 실시예에 따른 컴퓨팅 디바이스(100)는, 가상착용 서비스를 제공하는 가상착용 애플리케이션(101)이 설치된 소정의 컴퓨팅 장치일 수 있다.

실시예에서, 가상착용 애플리케이션(101)은 옷을 모델에 가상착용시켜주는 기능을 수행하는 별도의 프로그램일 수 있고, 가상착용 서비스 제공서버(200)의 가상착용 서비스를 제공하는 웹 사이트에 접속하기 위한 웹 브라우저 프로그램일 수 있다.

그리고 하드웨어적 관점에서 컴퓨팅 디바이스(100)는, 가상착용 애플리케이션(101)이 설치된 모바일 타입 컴퓨팅 디바이스(100-1) 및/또는 데스크탑 타입 컴퓨팅 디바이스(100-2) 등을 포함할 수 있다.

여기서, 모바일 타입 컴퓨팅 디바이스(100-1)는, 가상착용 애플리케이션(101)이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.

예를 들어, 모바일 타입 컴퓨팅 디바이스(100-1)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.

또한, 데스크탑 타입 컴퓨팅 디바이스(100-2)는, 가상착용 애플리케이션(101)이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 가상착용 서비스를 실행하기 위한 프로그램이 설치된 장치 등을 포함할 수 있다.

한편, 기능적 관점에서 컴퓨팅 디바이스(100)는, 외부의 장치(예컨대, 가상착용 서비스 제공서버(200) 등)와의 데이터 교환을 위한 적어도 하나 이상의 통신모듈과, 가상착용 서비스 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리(102)들과, 데이터 처리를 위한 적어도 하나 이상의 프로세서(103)들을 포함할 수 있다.

여기서, 상기 메모리((Memory: 102)는, 가상착용 서비스를 제공하기 위한 운영체제(OS), 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

또한, 상기 메모리(102)는, 프로그램 영역과 데이터 영역을 포함할 수 있다.

여기서, 실시예에 따른 프로그램 영역은, 컴퓨팅 디바이스(100)를 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 컴퓨팅 디바이스(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.

실시예에서, 메모리(102)는, 가상착용 애플리케이션을 저장하고, 프로세서(103)가 저장된 가상착용 애플리케이션을 독출하여 복수의 옷을 모델에 가상착용시키는 과정을 수행할 수 있다.

실시예에서, 이러한 메모리(102)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(102)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다. 또한, 메모리(102)는, 컴퓨팅 디바이스(100) 상에 탈착 가능한 형태의 기록매체일 수 있다.

한편, 상기 프로세서(Processor: 103)는, 가상착용 서비스를 구현하기 위하여 전술한 각 유닛(unit)의 전반적인 동작을 컨트롤할 수 있다.

이러한 프로세서(103)는, 적어도 하나 이상의 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 컴퓨팅 디바이스(100)에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 컴퓨팅 디바이스(100)에 탑재된 각 구성요소들을 제어할 수 있다.

또한, 프로세서(103)는, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.

또한, 프로세서(103)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

도 2a는 본 발명의 실시예에 따른 가상착용 애플리케이션이 설치된 컴퓨팅 디바이스의 내부 블록도이다.

한편, 도 2a를 참조하면, 실시예에서 상술된 바와 같은 컴퓨팅 디바이스(100)에 설치된 가상착용 애플리케이션(101)은, 딥러닝에 기반하는 적어도 하나 이상의 모듈을 포함하여 구현될 수 있다.

실시예에 따른 가상착용 애플리케이션(101)은, 복수의 옷을 모델 객체에 가상으로 착용시키는 가상착용 서비스를 제공할 수 있다.

예를 들어, 가상착용 애플리케이션(101)에 제 1 옷을 나타내는 제 1 옷 이미지와, 제 2 옷을 나타내는 제 2 옷 이미지와, 모델 객체를 나타내는 모델 이미지를 입력하면, 제 1 옷과 제 2 옷을 착용한 모델 객체를 나타내는 가상착용 이미지를 제공할 수 있다.

사용자가 입력시스템(104)을 통해 선택한 제 1 옷 이미지와, 제 2 옷 이미지, 모델 이미지를 가상착용 애플리케이션(101)에 입력하면, 가상착용 애플리케이션이 제 1 옷과 제 2 옷을 착용한 모델을 나타내는 가상착용 이미지를 생성하고, 생성된 가상착용 이미지가 디스플레이(105)를 통해 출력될 수 있다.

컴퓨팅 디바이스(100)가 모바일 타입 컴퓨팅 디바이스라면, 입력시스템(104)과 디스플레이(105)는 터치기반 입출력 인터페이스를 제공하는 터치스크린일 수 있다.

이하, 제 1 옷은 상의로, 제 2 옷은 하의를 기준으로 설명하나, 옷에는 모자, 양말, 겉옷, 속옷, 목도리, 장갑, 가방 및 액세서리 등 다양한 종류의 의류에도 적용 가능할 것이다.

실시예에 따른 가상착용 애플리케이션(101)은, 기하학 매칭 모듈(10), 가상착용 모듈(20) 및 영역분류맵 생성기(30)를 포함할 수 있다.

먼저, 영역분류맵 생성기(30)는, 모델 이미지(PR)의 모델 객체에 대한 영역분류맵을 생성하는 모듈이다.

자세히, 영역분류맵 생성기(30)는 적어도 하나 이상의 딥러닝 모델을 포함하여 상의 이미지와 하의 이미지와 모델 이미지(PR)를 입력하면, 모델 객체를 복수의 영역으로 분류한 영역분류맵(Clothing Guide Map, CGMap)을 생성할 수 있다.

실시예에서 영역분류맵(CGMap)은, 착용할 옷의 영역과, 모델 객체의 각각의 신체부위별 영역을 분류(semantation)한 모델 객체의 시맨틱 맵(semantic map)일 수 있다.

이러한 영역분류맵(CGMap)은, 복수의 옷을 동시에 자연스럽게 가상착용시키는데 필수적인 요소일 수 있다.

그리고 기하학 매칭 모듈(10)은, 적어도 하나 이상의 딥러닝 모델을 포함하여 입력된 옷 이미지의 옷을 모델 객체에 매칭되도록 기하학적 변형을 수행하여 변형 옷 이미지를 생성할 수 있다. 실시예에서, 기하학 매칭 모듈(10)은, 상의 이미지, 하의 이미지, 모델 이미지(PR) 및 영역분류맵(CGMap)을 입력하면, 상의를 모델 객체에 매칭되도록 변형하여 워핑된 상의 이미지를 출력하는 제 1 기하학 매칭 모듈(10-1)과, 하의를 모델 객체에 매칭되도록 변형하여 워핑된 하의 이미지를 출력하는 제 2 기하학 매칭 모듈(10-2)을 포함할 수 있다.

즉, 기하학 매칭 모듈(10)은, 서로 다른 종류의 의류 별로 각각 학습된 복수의 기하학 매칭 모듈(10)을 포함하여, 입력된 옷 이미지의 옷 종류에 따라서 선택된 기하학 매칭 모듈(10)이 옷을 변형할 수 있다.

또한, 가상착용 모듈(20)은, 복수의 옷을 모델 객체에 가상착용시킬 수 있다.

<가상착용 서비스 제공서버(Virtual Try-On Service Providing Server: 200)>

한편, 본 발명의 실시예에서 가상착용 서비스 제공서버(200)는, 사용자의 컴퓨팅 디바이스(100)의 가상착용 애플리케이션을 통해 가상착용 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

자세히, 실시예에서 가상착용 서비스 제공서버(200)는, 컴퓨팅 디바이스(100)와 같은 외부의 장치에서 가상착용 프로세스가 구동되게 하기 위해 필요한 데이터를, 상기 외부의 장치와 교환함으로써 가상착용 서비스를 제공할 수 있다.

보다 상세히, 실시예에서 가상착용 서비스 제공서버(200)는, 외부의 장치(실시예에서, 모바일 타입 컴퓨팅 디바이스(100-1) 및/또는 데스크탑 타입 컴퓨팅 디바이스(100-2) 등)에서 가상착용 서비스가 동작할 수 있는 환경을 제공할 수 있다.

이를 위해, 가상착용 서비스 제공서버(200)는, 가상착용 서비스를 구현하기 위한 응용 프로그램인 가상착용 프로그램에 대한 데이터 및/또는 명령어 등을 포함할 수 있다.

또한, 실시예에서 가상착용 서비스 제공서버(200)는, 가상착용 서비스에 사용되는 딥러닝 모델(Deep-learning neural network)를 구현하기 위한 알고리즘을 제공할 수 있다.

여기서, 상기 딥러닝 모델은, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network, 예컨대, 유-넷 컨볼루션 뉴럴 네트워크(U-net Convolution Neural Network))와 같은 딥러닝 뉴럴 네트워크를 포함할 수 있으며, 본 발명의 실시예에서는 딥러닝 뉴럴 네트워크 토폴로지 자체를 한정하거나 제한하지는 않는다.

이때, 실시예에서 상기 딥러닝 모델은, 소정의 트레이닝 데이터 셋(Training Data Set)에 기초하여 학습될 수 있다.

또한, 실시예에서 가상착용 서비스 제공서버(200)는, 가상착용 서비스에서 사용되는 딥러닝 모델을 트레이닝 데이터 셋(Training data set)으로 학습할 수 있다.

이때, 트레이닝 데이터 셋은, 각각 학습시키기 위한 딥러닝 모델 별로 생성될 수 있으며, 예컨대, 입력 이미지와 출력 이미지 세트, 트리플렛 이미지 셋트, 입력 이미지에 매칭된 세그맨틱 맵 세트 등을 포함할 수 있다.

또한, 실시예에 따른 가상착용 서비스 제공서버(200)는, 가상착용 애플리케이션(101)에서 수행하는 과정 중 적어도 일부를 수행할 수 있다.

즉, 실시예에 따라서 가상착용 애플리케이션(10)이 수행하는 영역분류맵(CGMap) 생성, 옷을 모델에 매칭하여 변형하는 기하학 매칭 및 워핑 옷의 모델 가상착용 이미지 생성 중 적어도 일부의 프로세스는 가상착용 서비스 제공서버(200)에서 수행되고, 나머지 프로세스는 컴퓨팅 디바이스(100)에서 수행될 수 있다.

실시예에서는, 가상착용 서비스 제공서버(200)가 기 학습된 딥러닝 모델을 컴퓨팅 디바이스(100)에 제공하고, 컴퓨팅 디바이스(100)가 제공받은 딥러닝 모델을 통해 가상착용 애플리케이션(101)을 구동하여 가상착용 프로세스를 수행하는 것을 기준으로 설명한다.

위와 같은 가상착용 서비스 제공서버(200)는, 외부의 장치와의 데이터 교환을 위한 적어도 하나 이상의 통신 프로세서와, 가상착용 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리(Memory)와, 데이터 처리를 위한 적어도 하나 이상의 프로세서(Processor)를 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.

<딥러닝 기반의 복수 의류 가상착용 방법>

이하, 컴퓨팅 디바이스(100)의 적어도 하나 이상의 프로세서에 의하여 실행되는 가상착용 애플리케이션(101)이 딥러닝에 기반한 복수의 의류를 가상착용하는 서비스를 제공하는 방법을 첨부된 도 2 내지 도 15를 참조하여 상세히 설명한다.

본 발명의 실시예에서 컴퓨팅 디바이스(100)의 적어도 하나 이상의 프로세서(103)는, 적어도 하나 이상의 메모리(102)에 저장된 적어도 하나 이상의 가상착용 애플리케이션(101)을 실행하거나 백그라운드 상태로 동작하여 가상착용 서비스를 제공할 수 있다.

도 2b은 본 발명의 실시예에 따른 가상착용 애플리케이션이 복수의 의류를 모델 객체에 가상착용시키는 방법을 설명하기 위한 흐름도이다.

도 2b을 참조하면, 실시예에서 컴퓨팅 디바이스(100)의 적어도 하나 이상의 프로세서(103)에서 실행된 가상착용 애플리케이션(101)은, 복수의 옷과 모델 객체를 입력할 수 있다. (S101)

예를 들어, 사용자는 가상착용 애플리케이션(101)을 실행한 후 입력시스템(104)을 통해 상의 이미지(C1), 하의 이미지(C2) 및 모델 이미지(PR)를 선택입력하여, 착용시키고자하는 상의, 하의 및 착용대상의 모델 객체를 결정할 수 있다.

1. 영역분류맵(CGMap) 생성기(30)(CGMap generator)

상의 이미지(C1)와 하의 이미지(C2), 모델 이미지(PR)를 입력받은 가상착용 애플리케이션(101)은, 영역분류맵(CGMap) 생성기(30)를 통해 영역분류맵(CGMap)을 생성할 수 있다.

여기서, 영역분류맵(CGMap) 생성기(30)는, 모델 이미지(PR)의 모델 객체를 라벨 별 복수의 영역으로 분류한 영역분류맵(CGMap)을 생성하는 모듈일 수 있다.

자세히, 영역분류맵(CGMap) 생성기(30)는 적어도 하나 이상의 딥러닝 모델을 포함하여 상의 이미지와 하의 이미지와 모델 이미지(PR)를 입력하면, 모델 객체를 복수의 영역으로 분류한 영역분류맵 (Clothing Guide Map, CGMap)을 생성할 수 있다.

실시예에서 영역분류맵(CGMap)은, 모델 객체에서 착용될 옷에 대응되는 착용영역, 모델 객체의 신체부위별 적어도 하나 이상의 신체영역이 분류(semantation)된 모델 객체의 시맨틱 맵(semantic map)일 수 있다.

예를들어, 영역분류맵(CGMap)은 모델 객체에서 분류된 영역 별로 서로 다른 색으로 나타내고, 각 영역이 나타내는 의미에 대한 라벨 정보를 포함할 수 있다.

예를 들어, 영역분류맵(CGMap)의 착용영역은 입력된 상의가 착용될 상의영역, 입력된 하의가 착용될 하의영역을 포함할 수 있다.

상기 상의영역은, 입력된 상의가 모델 객체에 착용되었을 때의 착용형태를 나타낼 수 있다. 따라서, 상의영역은, 모델 객체에서 착용되는 영역(예컨대, 상체)에 대응되도록 상의의 외형을 변형하였을 때의 착용영역을 의미할 수 있다.

또한, 하의영역은, 입력된 하의가 모델 객체에 착용되었을 때 착용형태를 나타낼 수 있다. 따라서, 하의 영역은, 모델 객체에서 착용되는 영역(예컨대, 하체)에 대응되도록 입력된 하의의 외형을 변형하였을 때의 착용영역을 의미할 수 있다.

또한, 영역분류맵(CGMap)의 신체영역은, 모델 이미지(PR)의 모델 객체의 주요 신체부위를 나타내는 영역 내 픽셀들의 좌표에 대한 정보일 수 있다.

예를 들어, 영역분류맵(CGMap)의 신체영역은 얼굴 영역, 키포인트 포즈 영역으로 대분류되고, 얼굴 영역(head region map)은 눈 영역, 코 영역, 귀 영역, 헤어 영역 및/또는 목 영역 포함할 수 있고, 키포인트 포즈 맵(keypoint pose map)은 어깨 영역, 팔꿈치 영역, 손목 영역, 힙(hip) 영역, 무릎 영역 및/또는 발목 영역 등을 포함할 수 있다.

또한, 영역분류맵(CGMap)은, 관절별로 관절을 나타내는 좌표들의 집합을 지역화한 덴스포즈 맵(dense pose map)을 더 포함할 수 있다.

그리고 영역분류맵(CGMap)은, 착용영역과 신체영역 사이의 중복되는 영역을 둘 중 하나의 영역으로 결정하여 나타낼 수 있다.

즉, 영역분류맵(CGMap) 생성기(30)는, 착용영역과 신체영역이 중복되었을 때, 우선순위에 따라 상기 중복된 영역의 라벨을 결정할 수 있다.

예를 들어, 영역분류맵(CGMap) 생성기(30)는, 상의영역과 상체 포즈영역이 중복될 때는 중복영역을 상의영역으로 결정하고, 상의영역과 헤어 영역이 중복될 때는 중복 영역을 헤어 영역으로 결정할 수 있다.

이러한 영역분류맵(CGMap)은, 기하학 매칭 모듈(10) 또는/및 가상착용 모듈(20)의 프로세싱 가이드로 활용되어, 복수의 의류가 자연스럽게 모델 객체에 가상착용되기 위한 기초자료로 활용될 수 있다.

<영역분류맵(CGMap) 딥러닝 모델 학습방법>

영역분류맵(CGMap) 생성기(30)는 적어도 하나 이상의 딥러닝 모델을 포함하며, 가상착용 서비스 제공서버에서 학습되어 가상착용 애플리케이션에 제공될 수 있다.

가상착용 서비스 제공서버는, 입력 이미지(상의 이미지, 하의 이미지, 모델 이미지(PR))와 모델 객체에 대해 복수의 착용영역과 신체영역을 분류한 영역분류맵(CGMap)을 매칭한 트리플렛 데이터(triplet data)를 트레이닝 데이터 셋(training data set)으로 딥러닝 모델을 학습시킬 수 있다. 트리플렛 데이터는 도 4c에서 표시된 (a) 내지 (d)를 의미한다.

이러한 트리플렛 데이터를 구하거나 생성하기 쉽지 않음으로, 부족한 트레이닝 데이터 셋의 수를 극복하기 위해 실시예에서 가상착용 서비스 제공서버는 2가지 전략을 통해 허구 트레이닝 데이터 셋을 생성하여 영역분류맵(CGMap) 생성기(30)의 딥러닝 모델을 자기주도 학습시킬 수 있다.

도 4a는 본 발명의 실시예에 따른 영역분류맵(CGMap) 생성기(30)에 대한 제 1 학습 전략을 나타내고, 도 4b는 본 발명의 실시예에 따른 영역분류맵(CGMap) 생성기(30)에 대한 제 2 학습 전략을 나타낸다.

가상착용 서비스 제공서버는, 쇼핑몰에서 상의관련 판매페이지에서 상의 제품에 대한 상의 이미지와, 모델 이미지(PR), 모델 이미지(PR)에 대한 전체 바디 파싱 맵(whole body parsing map)을 획득할 수 잇다.

여기서, 전체 바디 파싱 맵은, 기 학습된 휴먼 파싱맵 딥러닝 모델에 모델 이미지(PR)를 입력하여 생성될 수 있다.

그리고 도 4a를 참조하면, 학습 전략으로 가상착용 서비스 제공서버는, 모델 이미지(PR)에서 모델이 착용한 하의를 추출하고 추출된 하의 이미지를 무작위로 아핀변환(randomly affine transformed)하여, 아핀변환된 하의 이미지, 모델 이미지(PR) 및 상의 이미지를 포함하는 허구 트리플렛 데이터(pseudo-triplet data)를 생성하고, 영역분류맵(CGMap) 판멸모듈(CGMap discriminator)이 전체 바디 파싱 맵과 허구 트리플렛 데이터를 기초로 딥러닝 모델을 학습시킬 수 있다.

이때, 하의관련 판매페이지에서 하의 제품에 대한 하의 이미지를 획득할 경우, 상의에 대해 상기와 같은 과정이 반대로 진행되어 허구 트리플렛 데이터를 획득하여 딥러닝 모델이 학습될 수 있다.

하기의 수학식 1은, 영역분류맵(CGMap) 판멸모듈(CGMap discriminator)가 학습 전략을 통해 허구 트리플렛 데이터를 통해 딥러닝 모델을 학습시키는 방법이다.

(수학식 1)

여기서, Lc1는 학습 전략의 제 1 손실함수이고, Lc2는 학습 전략의 제 2 손실함수이고, Lcc1은 전체 바디 분석맵에 대한 교차 엔트로피 손실이고, Lcc2는 모델과 쌍을 이룬 입력 의류와 관련된 레이블을 비교하는 부분 교차 엔트로피 손실이다.

예를 들어, 비교되는 라벨은 상의의 경우 팔, 상체, 상의 영역 라벨이고, 하의의 경우 하체와 바지 영역 라벨이며, 얼굴과 머리 라벨은 둘 다 공통이다. Lcg1 및 Lcg2는 예측에 대한 GAN 손실이다.

이와 같이 학습된 딥러닝 모델을 포함하는 영역분류맵(CGMap) 생성기(30)는 가상착용 애플리케이션에 포함되어, 트리플렛 데이터가 입력되면 모델 객체에 대한 영역분류맵(CGMap)을 생성할 수 있다.

2. 모델 객체 매칭 의류 변형방법

도 5a는 본 발명의 실시예에 따른 복수의 옷을 각각 모델 객체에 매칭시키는 과정을 나타내고, 도 5b는 본 발명의 실시예에 따른 옷을 모델 객체에 매칭시키는 기하학 매칭 모듈(10)의 세부적인 구조를 나타낸다. 도 6은 본 발명의 실시예에 따른 기하학 매칭 모듈(10)이 옷을 원근적으로 변형한 모습과 세부적으로 변형한 모습을 나타낸 실험예이고, 도 7은 본 발명의 실시예에 따른 기하학 매칭 모듈(10)이 그리드 간격 일관성 손실을 적용하지 않은 변형 결과 모습과 적용한 변형 결과 모습을 나타낸 실험예이다. 도 8은 본 발명의 실시예에 따른 기하학 매칭 모듈(10)이 오클루전 처리를 적용하지 않은 변형 결과 모습과 오클루전 처리를 적용한 변형 결과 모습을 나타낸 실험예이고, 도 9는 본 발명의 실시예에 따른 기하학 매칭 모듈(10)의 제 1-1 딥러닝 모델과 제 1-2 딥러닝 모델의 순차적으로 옷을 변형함에 따른 효과를 나타내기 위한 실험예이다. 도 10은 본 발명의 실시예에 따른 기하학 매칭 모듈(10)에서 그리드 간격 일관성 손실 적용에 따른 효과를 나타내기 위한 일 실험예이고, 도 11은 본 발명의 실시예에 따른 기하학 매칭 모듈(10)에서 오클루전 처리에 따른 효과를 나타내기 위한 실험예이고, 도 12는 본 발명의 실시예에 따른 기하학 매칭 모듈(10)의 제 1 판별모듈에 의한 효과를 나타내기 위한 실험예이다.

도 5 내지 도 12를 참조하면, 본 발명의 실시예에 따른 기하학 매칭 모듈(10)은, 제1 딥러닝 모델(11), 제2 딥러닝 모델(12), 제1 판별모듈(13) 및 오클루전 처리모듈(14)를 포함할 수 있다.

이러한 기하학 매칭 모듈(10)은, 옷의 종류에 따라 매칭된 모델 이미지(PR)의 모델 객체의 적어도 하나 이상의 영역을 결정하고, 결정된 영역에 형태 따라서 옷 이미지(C)의 옷 객체를 기하학 변형하여, 변형된 옷 객체에 대한 이미지를 생성할 수 있다.

예를 들어, 기하학 매칭 모듈(10)은, 상의 이미지에서 상의를 모델 이미지(PR)의 모델 객체의 상체영역에 기하학 매칭되도록 변형할 수 있으며(S103), 하의 이미지에서 하의를 모델 객체의 하체영역에 기하학 매칭되도록 변형할 수 있다. (S104)

다른 실시예에서, 기하학 매칭 모듈(10)은, 옷의 종류를 결정하고, 옷의 종류에 매칭된 모델 객체의 영역분류맵(CGMap)에서의 적어도 하나 이상의 분류영역을 결정하고, 결정된 분류영역에 기하학 매칭되도록 옷 객체의 형태를 변형할 수 있다.

예를 들어, 기하학 매칭 모듈(10)은, 상의인 경우, 모델 객체의 영역분류맵(CGMap)에서 상의영역과, 상의영역에 중첩되는 제 2 영역 및 상의영역에 접하는 제 3 영역을 결정하고, 상의영역과 제 2 내지 제 3 영역에 따라서 상의의 형태를 변형할 수 있다.

이하에서는, 상체를 기준으로 기하학 매칭 모듈(10)이 상의를 기하학 변형하는 과정을 상세히 설명한다.

<제1 딥러닝 모델(11)의 원근적 변형>

제1 딥러닝 모델(11)은 모델 이미지(PR)와 옷 이미지(C)에 기초하여 옷 이미지(C)의 옷 객체(상의)를 모델 객체의 상체영역의 방향에 따라서 원근적으로 변형(Perspective Transformation)하여 제1-1 변형 옷 객체 이미지()를 생성할 수 있다.

즉, 제1 딥러닝 모델(11)은 옷 객체를 모델 객체의 신체의 방향에 맞게 뒤튼 후 정렬시킬 수 있다.

일 예로, 도 6을 참조하면, 모델 이미지 (Target Person)와 옷 객체 이미지(In-shop clothes)와 옷 객체 이미지의 입력 그리드(Input grid)가 있다. 제1 딥러닝 모델(11)은 모델 이미지(Target Person)에 방향에 맞게 옷 객체 이미지(In-shop clothes)와 옷 객체 이미지의 입력 그리드(Input grid)를 원근적으로 변형(Perspective Transformation) 할 수 있다.

일 예로, 제1 딥러닝 모델(11)은 심층 신경망으로 구성되어 제1-1 특징 추출부와 제1-1 변형 파라미터 추정부를 포함할 수 있다.

이때, 제1-1 특징 추출부는 2 스트라이드와 4 커널 사이즈의 4개의 다운 샘플링 컨볼루션 레이어 및 1 스트라이드와 3 커널 사이즈의 2개의 컨볼루션 레이어를 포함할 수 잇다. 제1-1 변형 파라미터 추정부는 2 스트라이드와 4 커널 사이즈의 2개의 다운 샘플링 컨볼루션 레이어, 1 스트라이드와 3 커널 사이즈의 2개의 컨볼루션 레이어 및 하나의 풀리 커넥티드 레이어를 포함할 수 있다. 제1-1 변형 파라미터 추정부는 그리드 사이즈(Gsize)가 5일 때, 총 9개의 매개 변수를 원근적 변형에 대해 추정할 수 있다.

<제2 딥러닝 모델(12)의 세부적 변형>

제2 딥러닝 모델(12)은 제1-1 변형 옷 객체 이미지() 및 모델 객체에 기초하여 제1-1 변형 옷 객체 이미지()의 원근적으로 변형된 옷 객체를 모델의 신체의 세부적인 형태에 맞게 세부적으로 변형(Thin-Plate-Spline)하여 제1-2 변형 옷 객체 이미지()를 생성할 수 있다.

즉, 제2 딥러닝 모델(12)은 모델의 신체의 방향에 맞게 뒤틀고 정렬된 옷 객체를 모델 객체(PR)의 신체영역(또는, 착용영역)의 세부적인 형태에 맞게 세부적으로 뒤틀고 정렬시킬 수 있다.

일 예로, 도 6을 참조하면, 제2 딥러닝 모델(12)은 원근적으로 변형된 옷 객체와 입력 그리드를 세부적으로 변형(TPS Transformation)할 수 있다.

일 예로, 제2 딥러닝 모델(12)은 심층 신경망으로 구성되어 제1-2 특징 추출부와 제1-2 변형 파라미터 추정부를 포함할 수 있다. 제1-2 특징 추출부는 2 스트라이드와 4 커널 사이즈의 4개의 다운 샘플링 컨볼루션 레이어 및 1 스트라이드와 3 커널 사이즈의 2개의 컨볼루션 레이어를 포함할 수 잇다. 제1-2 변형 파라미터 추정부는 2 스트라이드와 4 커널 사이즈의 2개의 다운 샘플링 컨볼루션 레이어, 1 스트라이드와 3 커널 사이즈의 2개의 컨볼루션 레이어 및 하나의 풀리 커넥티드 레이어를 포함할 수 있다. 제1-2 변형 파라미터 추정부는 그리드 사이즈(Gsize)가 5일 때, 총 2*Gsize^2개인 50개의 매개 변수를 세부적 변형에 대해 추정할 수 있다.

이와 같이 생성된 제1-2 변형 옷 객체는 모델 객체의 상체영역 및 상체영역에 대응되는 외각선에 대응되는 외각선을 가지도록 변형될 수 있다.

또한, 제1-2 변형 옷 객체는 모델 객체의 상체영역에 인접하거나 중첩된 신체영역에 따라서 변형될 수 있다. 예를 들어, 제1-2 변형 옷 객체는, 상체영역에 중첩된 헤어영역과 중첩되는 영역이 제거될 수 있다.

또한, 제1-2 변형 옷 객체는, 상체영역에 인접한 팔 영역에 외각선에 대응되도록 옷 객체의 일부의 외각선이 변형될 수 있다.

즉, 실시예에서, 상의에 대응되는 제1-2 변형 옷 객체 이미지는, 제 1 변형 옷 이미지(C)일 수 있다.

또한, 하의에 대응되는 제1-2 변형 옷 객체 이미지는, 제 2 변형 옷 이미지(C)일 수 있다.

<기하학 매칭 모듈(10)의 트레이닝>

가상착용 서비스 제공서버는, 제1 딥러닝 모델(11)을 별도로 트레이닝 할 수 있다. 제1 딥러닝 모델(11)은 트레이닝시 제1-1 모델 손실()을 이용할 수 있다. 제1-1 모델 손실()은 제1 딥러닝 모델(11)이 출력한 제1-1 변형 가상 옷 이미지()와 트레이닝 데이터 셋의 변형 옷 정답 이미지()를 서로 비교하여 옷 객체의 원근적 변형이 정답에 가깝게 하도록 하는 손실이다. 제1-1 모델 손실()은 수학식 2와 같다.

(수학식 2)

가상착용 서비스 제공서버는, 트레이닝시 제1-2 모델 손실()을 이용할 수 있다. 이 때, 제1-1 모델 손실()와 비교하여 제1-1 모델 손실()는 제1 딥러닝 모델(11)의 트레이닝에 사용되는 손실이나 제1-2 모델 손실()은 가상착용 서비스 제공서버의 전체 신경망을 트레이닝할 때 사용되는 기준 손실이다.

제1-2 모델 손실()은 제2 딥러닝 모델(12)이 출력한 제1-2 변형 가상 옷 이미지()와 트레이닝 데이터 셋의 변형 옷 정답 이미지()를 서로 비교하여 옷 객체의 모델의 신체의 세부적인 형태에 맞게 세부적으로 변형이 정답에 가깝게 하도록 하는 손실이다. 제1-2 모델 손실()은 수학식 3과 같다.

(수학식 3)

또한, 가상착용 서비스 제공서버는 트레이닝시 그리드 간격 일관성 손실()을 이용할 수 있다. 옷은 다양한 형태로 변형 가능한 물체이지만 인체의 변형은 제한 적이다. 사람이 옷을 착용하면 옷의 특성이 사람이 몸통에서 유지되는 경향이 있다. 제2 딥러닝 모델에 의한 세부적인 변형(TPS Transformation)은 일반적으로 우수한 성능을 보여주지만 높은 유연성으로 종종 옷의 패턴과 인쇄물의 왜곡을 발생시킨다. 이러한 왜곡을 방지하여 옷의 특성을 유지하기 위해 그리드 간격 일관성 손실()을 이용한다. 그리드 간격 일관성 손실()은 옷 객체 이미지의 픽셀 별 이웃한 a와 b 사이의 거리 DT(a, b)에 기초한다. 이에 착안하여, 그리드 간격 일관성 손실()은 수학식 4와 같다.

(수학식 4)

수학식 4에서, 는 매핑할 그리드의 x좌표이다. 는 매핑할 그리드의 y좌표이다. 는 그리드의 높이이다. 는 그리드의 넓이이다. 그리드 간격 일관성 손실()에 의해 옷의 패턴 및 프린트 인쇄 이외에도 간격의 일관성을 유지하여 옷의 변형 후에도 모양 특성이 유지될 수 있다.

일 예로, 도 7을 참조하면, 단색 또는 반복적인 패턴 인쇄 특성을 가진 옷 객체 이미지(In-shop clothes)와 옷 객체 이미지의 입력 그리드(Input grid)가 있다. 기하학 매칭 모듈(10)은 제1-2 모델 손실()만을 고려하여 트레이닝 할 경우 제1-2 변형 옷 객체 이미지와 그리드(Warping w/o GIC loss)에서 소용돌이 패턴이 생성되어 옷의 특성이 왜곡되는 것을 알 수 있다.

기하학 매칭 모듈(10)은, 제1-2 모델 손실()에 그리드 간격 일관성 손실()를 고려하여 트레이닝된 제2 딥러닝 모델(12)를 사용할 경우 제1-2 변형 옷 객체 이미지와 그리드(Warping w/o GIC loss)에서 옷의 특성이 유지 된체 모델의 신체에 맞게 변형시킨 것을 알 수 있다.

또한, 기하학 매칭 모듈(10)은, 상기와 같이 트레이닝된 오클루전 처리모듈(14)를 이용하여 제1-2 모델 손실()에 대한 폐색된 영역을 제외한 변형 옷 객체를 생성할 수 있도록 한다. 폐색된 영역은 옷 객체를 사람의 머리카락이나 신체 등으로 가린 부분을 지칭할 수 있다.

일반적으로 사람이 옷을 착용하면 옷이 머리카락이나 팔 등의 신체로 가려질 수 있다. 이 경우, 신경망은 옷 객체를 신체로 가려지지 않은 옷 영역으로 맞추려고 하기 때문에 가상 착용시 옷 객체의 변형이 발생할 수 있다.

이를 해결하기 위해, 오클루전 처리모듈(14)은, 폐색된 영역을 제1-2 모델 손실() 계산에서 제외할 수 있다.

일 예로, 도 8을 참조하면, 옷 객체 이미지(In-shop clothes), 옷 객체를 착용한 모델 이미지 (Target Person)가 있다. 오클루전 처리모듈(14)는 옷 객체를 착용한 모델 이미지(Target Person), 즉 변형 옷 정답 이미지()에서 옷을 영역화(Clothes Segmentation)하고 옷이 폐색된 부분을 제거한 폐색된 옷 이미지(Occluded Clothes)를 생성할 수 있다.

가상착용 서비스 제공서버는, 폐색된 옷 이미지(Occluded Clothes)를 이용하여 제1-2 모델 손실()을 트레이닝 할 수 있다. 폐색 처리하지 않고 변형된 옷은 가상 착용할 사람에 신체에 맞지 않게 변형되었다(Warping w/o Occlusion Handling). 폐색 처리하여 변형된 옷은 가상 착용할 사람의 신체에 맞게 변형되었다(Warping w/o Occlusion Handling).

또한, 가상착용 서비스 제공서버는, 트레이닝시 제1 적대 손실()을 이용할 수 있다. 즉, 가상착용 서비스 제공서버는, 트레이닝시 GAN 개념을 사용하여 기하학적 일치 성능을 향상시킬 수 있다.

제1-2 모델 손실()과 같이 강도 차이 기반 손실의 한계는 유사한 색상의 전경과 배경을 구별하기 어렵다는 것이다. 이러한 예로 하약색의 옷이 하약색 배경에 있는 이미지일 수 있다.

이를 해결하기 위해, 기하학 매칭 모듈(10)은 제1 판별모듈(13)를 이용할 수 있다. 제1 판별모듈(13)은 GAN 손실 및 힌지 손실을 기반으로 훈련될 수 있다. 또한, 제1 판별모듈(13)은 제1-2 변형 가상 옷 이미지()에 기초하여 제1 판별 이미지()을 생성할 수 있다. 제1 적대 손실()은 수학식 5와 같다.

(수학식 5)

일 예로, 제1 판별모듈(13)은 2 스트라이드와 3 커널 사이즈의 4개의 다운 샘플링 컨볼루션 레이어, 1 스트라이드 및 3 커널 사이즈의 1개의 컨볼루션 레이어 및 1개의 풀리 커넥티드 레이어로 구성될 수 있다. 또한, 스펙트럼 정규화가 제1 판별모듈의 레이어에 적용될 수 있다.

또한, 기하학 매칭 모듈(10)은 상술한 손실을 선형적으로 결합한 제1 딥러닝 모델 손실()을 이용하여 옷 객체의 특성을 유지하면서 모델의 신체에 맞게 옷 객체를 변형하도록 트레이닝 될 수 있다. 제1 딥러닝 모델 손실()은 수학식 6과 같다.

(수학식 6)

수학식 6에서, 는 하이퍼 파라미터들이다. 모델은 하이퍼 파라미터를 조절하여 각 손실의 상대적인 중요도를 조절할 수 있다. 일 예로, 는 1, 1 및 0.1로 각각 설정될 수 있다.

<트레이닝된 기하학 매칭 모듈(10)의 효과>

기하학 매칭 모듈(10)은 원근적 변형 후 세부적 변형을 하면 세부적 변형을 한 경우보다 성능이 더 좋다. 일 예로, 도 9를 참조하면, 기하학 매칭 모듈(10)은 모델 이미지(PR)와 옷 객체 이미지를 입력(Input)으로 할 수 있다.

제2 딥러닝 모델(12)에 의한 세부적인 변형만 한 가상 착용 이미지(TPS only) 모습이 있다. 제1 딥러닝 모델(11)에 의한 원근적 변형 후 제2 딥러닝 모델(12)에 의한 세부적인 변형을 한 가상 착용 이미지(Perspective + TPS)의 모습이 있다. 후자의 가상 착용 이미지가 옷의 특성을 유지하고 더 실제적인 착용 모습을 보임을 알 수 있다.

또한, 기하학 매칭 모듈(10)은 그리드 간격 일관성 손실에 의해 옷 객체를 신체에 맞게 변형할 경우 옷의 패턴과 프린트 인쇄 등을 왜곡없이 보존할 수 있다.

일 예로, 도 10을 참조하면, 기하학 매칭 모듈(10)은 모델 이미지(PR)와 옷 객체 이미지를 입력(Input)으로 할 수 있다. 그리드 간격 일관성 손실을 고려하지 않은 변형된 옷 객체 이미지(w/o GIC loss)는 옷의 패턴 등의 고유 특성이 왜곡되지만, 그리드 간격 일관성 손실을 고려한 변형된 옷 객체 이미지(w/GIC loss)는 옷의 패턴 등의 고유 특성을 유지함을 알 수 있다.

또한, 기하학 매칭 모듈(10)은 오클루전 처리모듈(14)에 의한 폐색 처리로 변형된 옷 객체가 모델의 신체에 보다 정확하게 착용할 수 있다. 일 예로, 도 11을 참조하면, 기하학 매칭 모듈(10)은 모델 이미지(PR)와 옷 객체 이미지를 입력(Input)으로 할 수 있다. 폐색 처리 없이 학습되고 변형된 옷 객체 이미지(w/o Occlusion Handling)는 모델의 신체에 맞지 않게 변형되었다. 폐색 처리와 함께 학습되고 변형된 옷 객체 이미지(w/o Occlusion Handling)는 모델의 신체에 맞게 변형되었다.

또한, 기하학 매칭 모듈(10)은 제1 판별모듈에 의해 제1-2 모델 손실()와 같은 강도 기반 손실 함수의 한계를 보상한다. 제1 판별모듈에 의한 제1 적대 손실()은 제1,2 딥러닝 모델에 의한 잘못된 변형 결과에 불이익을 주기 때문에 변형 성능을 향상시킨다.

일 예로, 도 12를 참조하면, 기하학 매칭 모듈(10)은 모델 이미지(PR)와 옷 이미지를 입력(Input)으로 할 수 있다. 제1 판별모듈 없이 학습되고 변형된 옷 객체 이미지(w/o Discriminator)는 모델의 신체에 맞지 않게 변형되었다. 제1 판별모듈과 함께 학습되고 변형된 옷 객체 이미지(w/o Discriminator)는 모델의 신체에 맞게 변형되었다.

실시예에서, 기하학 매칭 모듈(10)은, 상의 이미지에서 상의를 변형하여 생성한 제 1 변형 옷 이미지(C)와, 하의 이미지에서 하의를 변형하여 생성한 제 2 변형 옷 이미지(C)를 생성할 수 있다.

이를 위해, 기하학 매칭 모듈(10)은, 제 1 옷 이미지(C)의 옷 종류를 변형시키기 위한 제 1 기하학 매칭 모듈(10-1)과, 제 2 옷 이미지(C)의 옷 종류를 변형시키기 위한 제 2 기하학 매칭 모듈(10-2)을 포함할 수 있다. 즉, 기하학 매칭 모듈(10)은, 각 옷(의류) 종류에 따라 각기 다르게 학습된 복수의 기하학 매칭 모듈(10)을 포함하고, 입력된 옷 이미지(C)의 옷 객체의 종류에 따라서 학습된 기하학 매칭 모듈(10)을 결정하고, 결정된 기하학 매칭 모듈(10)을 통해 변형 옷 이미지(C)를 생성할 수 있다.

예를 들어, 제 1 기하학 매칭 모듈(10-1)은, 상의를 변형시키도록 학습된 딥러닝 모델을 포함하고, 제 2 기하학 매칭 모듈(10-2)은, 하의를 변형시키도록 학습된 딥러닝 모델을 ?마할 수 있다.

그리고 기하학 매칭 모듈(10)은, 제 1 변형 옷 이미지(C)와 제 2 변형 옷 이미지(C)를 모델 객체에 매칭되도록 정렬하여 변형 옷 객체를 생성할 수 있다.

예를 들어, 기하학 매칭 모듈(10)은, 제 1 변형 옷을 모델 객체의 영역분류맵(CGMap)의 상의영역에 매칭되도록 정렬하고, 제 2 변형 옷을 모델 객체의 영역분류맵(CGMap)의 하의영역에 매칭되도록 정렬하여, 변형 옷 객체를 생성할 수 있다.

3. 변형 옷 가상 착용 방법

도 13은 본 발명의 실시예에 따른 가상착용 모듈(20)이 복수의 옷을 모델 객체에 가상착용시키는 과정을 나타내고, 도 14는 본 발명의 실시예에 따른 복수의 옷을 모델 객체에 가상착용시키는 가상착용 모듈(20)의 세부적인 구조를 나타내며, 도 15는 본 발명의 실시예에 따른 가상착용 애플리케이션을 통해 복수의 옷이 가상착용된 모델을 나타내는 일례들이다.

도 13 내지 도 14를 참조하면, 가상착용 모듈(20)은, 사용자의 신체에 맞게 변형된 변형 옷 객체를 모델 이미지(PR)에 매칭되도록 정렬하여 가상으로 착용시켜 가상 착용 이미지를 생성하고 출력할 수 있다. (S105, S106)

자세히, 가상착용 모듈(20)은, 변형 옷 객체, 모델 이미지(PR) 및 영역분류맵(CGMap)을 기초로 복수의 옷 객체를 가상 착용할 모델 객체에 자연스럽게 합성할 수 있다.

특히, 가상착용 모듈(20)은 변형 옷 객체를 모델 객체의 신체에 어디에 옷을 올릴지에 가이드할 합성 마스크 이미지와 변형 옷 객체의 길이에 따른 모델 객체의 팔 또는 손을 자연스럽게 생성한 중간 모델 이미지를 이용하여 변형 옷 객체가 모델 객체의 신체에 맞게 착용될 수 있도록 한다.

또한, 가상착용 모듈(20)은 정제 레이어(refinement layer)인 제4 딥러닝 모델(22)을 통해 화질 개선 및 부자연스러움을 개선 할 수 있다.

도 14를 참조하면, 본 발명의 실시예에 따른 가상착용 모듈(20)은 제3 딥러닝 모델(21), 합성모듈(23), 제4 딥러닝 모델(22) 및 제2 판별모듈(24)를 포함할 수 있다.

<제3 딥러닝 모델(21)의 합성 마스크와 중간 사람 생성>

도 13을 참조하면, 제3 딥러닝 모델(21)은 모델 이미지(PR)와 변형 옷 객체 이미지()에 기초하여 합성 마스크 이미지(M)와 중간 모델 이미지()를 생성할 수 있다.

합성 마스크 이미지(M)는 모델 이미지(PR)에서 변형 옷 객체가 배치될 위치가 영역화될 수 있다. 중간 모델 이미지()는 변형 옷 객체의 기장에 맞게 모델 객체의 신체인 팔, 다리, 발 및/또는 손을 생성한 이미지 일 수 있다.

일 예로, 가상 작용 옷의 기장이 모델 이미지(PR)에서 모델 객체가 착용한 옷의 기장보다 짧은 경우, 변형 옷 객체를 모델 객체에게 정렬시켜 착용하면 모델 객체의 신체가 노출되어야 하는 부분이 변형 옷 객체 전에 착용한 옷으로 보일 가능 성이 있다.

이 경우, 제3 딥러닝 모델(21)은 변형 옷 객체를 모델 객체에게 착용시 노출 되어야 하는 팔 및/또는 손을 생성한 중간 모델 이미지()를 생성할 수 있다.

일 예로, 제3 딥러닝 모델(21)은 2 스트라이드의 2개의 컨볼루션 레이어, 각기 다른 확장률(dilation rate)을 갖는 4개의 확장된 컨볼루션(dilated convolution) 레이어 및 2개의 업 샘플링 레이어를 포함할 수 있다. 또한, 제3 딥러닝 모델(21)은 GAN 성능 향상을 위해 스펙트럼 정규화 레이어가 적용될 수 있다.

<합성모듈(23)의 변형 옷 객체 합성>

합성모듈(23)는 합성 마스크 이미지(M)와 중간 모델 이미지() 및 변형 옷 객체 이미지()을 합성하여 변형 옷 객체 이미지()를 모델 객체가 가상 착용한 제1 가상 착용 모델 이미지 ()를 생성합니다. 합성모듈(23)는 수학식 6에 따라 합성할 수 있다.

(수학식 7)

수학식 7에서 는 요소별 행렬 곱셈이다.

<제4 딥러닝 모델(22)의 화질 개선>

제4 딥러닝 모델(22)은 모델 이미지(PR) 및 제1 가상 착용 모델 이미지()에 기초하여 제1 가상 착용 모델 이미지 ()의 화질 품질을 향상시키고 가상 착용의 인위적인 요소를 제거하고 자연 스러운 가상 착용을 한 제2 가상 착용 모델 이미지 ()를 생성할 수 있다. 즉, 제4 딥러닝 모델(22)은 제3 딥러닝 모델(21)과 합성모듈(23)에 의해 생성된 제1 가상 착용 모델 이미지 ()의 품질을 더욱 향상시킬 수 있다. 또한, 제4 딥러닝 모델(22)은 최초 입력된 모델 이미지(PR)를 이용하여 모델 객체에 대한 원래의 특징을 보존하도록 할 수 있다.

일 예로, 제4 딥러닝 모델(22)은 입력 이미지의 세부 사항을 보존하면서 고해상도 특징을 유지 하기 위해 복수의 확장된 콘볼루션(dilated convolutions)를 사용할 수 있다. 또한, 제4 딥러닝 모델(22)은 GAN 성능 향상을 위해 스펙트럼 정규화 레이어가 적용될 수 있다.

<가상착용 모듈(20)의 트레이닝>

가상착용 모듈(20)은 트레이닝시 제2 모델 손실()을 이용할 수 있다. 제2 모델 손실()은 제4 딥러닝 모델(22)이 출력한 제2 가상 착용 모델 이미지 ()와 트레이닝 데이터 셋의 정답 레이블()를 서로 비교하여 변형된 변형 옷 객체의 모델 객체의 신체에 착용이 정답에 가깝게 하도록 하는 손실이다. 제2 모델 손실()은 수학식 8과 같다.

(수학식 8)

또한, 가상착용 모듈(20)은 트레이닝시 지각적 손실()을 이용할 수 있다. 지각적 손실()은 사전에 훈련된 널리 알려진 VGG-19 신경망(미도시)을 이용하여 제2 가상 착용 모델 이미지 ()가 특징 공간에서 최적화 되도록하여 제2 가상 착용 모델 이미지 ()의 화질을 더 좋게 할 수 있다. 지각적 손실()은 수학식 9를 따를 수 있다.

(수학식 9)

수학식 9에서, 은 제2 가상 착용 모델 이미지 ()에 대한 VGG-19 신경망의 i번째 레이어 특징 맵이다. 은 트레이닝 데이터 셋의 정답 레이블()에 대한 VGG-19 신경망의 i번째 레이어 특징 맵이다.

또한, 가상착용 모듈(20)은 트레이닝시 제2 적대 손실( )을 이용할 수 있다. 이 때, 가상착용 모듈(20)은 트레이닝시 SNGAN(Spectral-Normalization GAN)을 사용할 수 있다. SNGAN은 생성된 제2 가상 착용 모델 이미지 ()의 품질을 향상시킬 수 있다. 가상착용 모듈(20)은 제4 딥러닝 모델(22)과 제2 판별모듈(24) 사이에 적대 방식으로 트레이닝 할 수 있다. 즉, 가상착용 모듈(20)은 제2 판별모듈(24)가 수학식 10의 판별 기댓값()은 최대화하는 동안 제4 딥러닝 모델(22)은 수학식 11의 생성 기댓값()은 최소화한다. 또한, 가상착용 모듈(20)은 SNGAN을 적용할 때 더욱 안정화시키기 위해 힌지 손실을 적용할 수 있다.

(수학식 10)

(수학식 11)

제2 적대 손실()은 수학식 12와 같다.

(수학식 12)

또한, 가상착용 모듈(20)은 상술한 손실을 선형적으로 결합한 제2 딥러닝 모델 손실()을 이용하여 모델 객체의 신체에 맞게 변형된 변형 옷 객체를 모델 객체에게 신체에 맞도록 정렬하여 가상으로 착용할 수 있다. 제2 딥러닝 모델 손실()은 수학식 13과 같다.

(수학식 13)

수학식 13에서, 는 하이퍼 파라미터들이다. 모델 객체는 하이퍼 파라미터를 조절하여 각 손실의 상대적인 중요도를 조절할 수 있다. 일 예로, 는 0.01, 1.0, 1.0 및 1.0로 각각 설정될 수 있다. 또한, 수학식 13에서, 합성 마스크 이미지(M)에 대한 패널티 항은 변형된 변형 옷 객체의 픽셀을 최대한 보존하기 위해 추가된 것이다.

<트레이닝된 가상착용 모듈(20)의 효과>

가상착용 모듈(20)은 변형된 변형 옷 객체를 모델 객체에게 자연스럽게 착용하고 고품질의 이미지를 생성할 수 있다.

도 15를 참조하면, 본 발명의 실시예에 따른 가상착용 모듈(20)에 의한 변형된 변형 옷 객체 착용 이미지 생성 결과를 비교한다. 먼저, 변형 옷 객체(In-shop Clothes)을 모델 객체(Target Person)의 신체에 맞게 기하학 매칭 모듈(10)로 변형한 변형 옷 객체(GMM Aligned)를 공통적으로 이용한다.

변형 옷 객체(GMM Aligned)을 단순히 모델 객체(Target Person)에 가상 착용한 제 1 결과와 가상착용 모듈(20)이 가상 착용시킨 제 2 결과를 비교해보면, 가상착용 모듈(20)이 단순히 변형 옷을 착용시킨 것 보다 선명한 색상과 인위적인요소가 적은 고품질의 이미지로 보여주며 변형 옷 객체의 패턴과 프린트 인쇄의 고유특성을 더 잘 보존하는 것을 알 수 있다.

그리고 60명의 사람을 대상 2100건에 대한 제 1 결과와 제 2 결과에 대한 선호도 테스트를 진행한 결과, 약 83.8 %가 제 2 결과를 선호한 것을 확인할 수 있었다.

이와 같이 가상착용 애플리케이션(101)은, 복수의 옷을 모델에 자연스럽게 융합한 이미지인 가상착용 이미지를 생성할 수 있다.

이상, 본 발명의 실시예에 따른 딥러닝 기반의 의류 가상착용 방법 및 그 시스템은, 딥러닝 뉴럴 네트워크를 이용하여 복수의 옷 이미지(C)을 모델 객체에게 가상으로 착용한 모습을 제공함으로써, 온라인 쇼핑 시에도 모델이 원하는 옷을 가상으로 착용해보며 해당하는 옷이 자신에게 어울리는지 쉽고 합리적으로 파악하게 할 수 있고, 이를 통해 의류 쇼핑에 소요되는 시간이나 비용을 절약하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝 기반의 의류 가상착용 방법 및 그 시스템은, 단순한 패턴 및/또는 색상 등을 가지는 실내를 배경으로 촬영된 모델(12) 이미지들에 기반한 트레이닝 데이터 셋(Training data set)을 기초로 학습된 딥러닝 뉴럴 네트워크를 이용하더라도, 다양한 패턴 및/또는 색상 등을 가지는 실외를 모델에게 복수의 옷 객체의 왜곡없이 가상착용(Virtual fitting)함으로써, 한정적인 트레이닝 데이터를 가지고도 높은 성능의 가상착용 결과를 출력하는 딥러닝 뉴럴 네트워크를 구축할 수 있는 효과가 있다.

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (16)

1. 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의하여 실행되는 가상착용 애플리케이션이 딥러닝 기반의 의류 가상착용 프로세스를 수행하는 방법으로서,
   제 1 옷 객체를 포함하는 제 1 옷 이미지, 제 2 옷 객체를 포함하는 제 2 옷 이미지 및 모델 객체를 포함하는 모델 이미지를 결정하는 단계;
   상기 제 1 옷 이미지를 상기 제 1 옷 객체에 대응되는 제 1 옷 종류를 기초로 학습되고 제 1 딥러닝 모델 및 제 2 딥러닝 모델을 포함하는 제 1 기하학 매칭 모듈에 입력하는 단계;
   상기 제 1 옷 이미지를 입력받은 제 1 기하학 매칭 모듈을 기초로 상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계;
   상기 제 2 옷 이미지를 상기 제 2 옷 객체에 대응되는 제 2 옷 종류를 기초로 학습되고 상기 제 1 딥러닝 모델 및 제 2 딥러닝 모델을 포함하는 제 2 기하학 매칭 모듈에 입력하는 단계;
   상기 제 2 옷 이미지를 입력받은 제 2 기하학 매칭 모듈을 기초로 상기 제 2 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 2 변형 옷 이미지를 생성하는 단계;
   상기 제 1 변형 옷 이미지 및 상기 제 2 변형 옷 이미지를 제 3 및 제 4 딥러닝 모델을 포함하는 가상착용 모듈에 입력하는 단계;
   상기 제 1 변형 옷 이미지 및 상기 제 2 변형 옷 이미지를 입력받은 가상착용 모듈을 기초로 상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하는 단계를 포함하고,
   상기 제 1 딥러닝 모델은, 상기 제 1 옷 이미지 또는 상기 제 2 옷 이미지를 기초로 원근 변형(Perspective Transformation)을 실행하여 1차 변형 옷 객체 이미지를 생성하는 제 1 딥러닝 뉴럴 네트워크를 포함하고,
   상기 제 1 딥러닝 뉴럴 네트워크는, 소정의 옷 이미지 및 상기 옷 이미지의 입력 그리드(input grid)를 상기 모델 이미지 내 신체방향에 따라서 뒤틀고 정렬하는 원근 변형 알고리즘을 포함하며,
   상기 제 2 딥러닝 모델은, 상기 1차 변형 옷 객체 이미지를 기초로 세부 변형(Thin-Plate-Spline)을 실행하여 상기 제 1 변형 옷 이미지 또는 상기 제 2 변형 옷 이미지를 생성하는 제 2 딥러닝 뉴럴 네트워크를 포함하고,
   상기 제 2 딥러닝 뉴럴 네트워크는, 소정의 1차 변형 옷 이미지 및 상기 1차 변형 옷 이미지의 입력 그리드를 상기 모델 이미지 내 신체영역에 따라서 뒤틀고 정렬하는 세부 변형 알고리즘을 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

   제 1 항에 있어서,
   상기 모델 이미지를 기초로 상기 모델 객체를 복수의 영역으로 분류하고, 영역 별로 라벨 정보를 결정한 영역분류맵(CGMap)을 생성하는 단계를 더 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

   제 2 항에 있어서,
   상기 모델 이미지를 기초로 상기 모델 객체를 복수의 영역으로 분류하고, 영역 별로 라벨 정보를 결정한 영역분류맵(CGMap)을 생성하는 단계는,
   상기 모델 이미지와, 제 1 옷 이미지의 제 1 옷 객체를 기초로 상기 제 1 옷 객체에 대한 제 1 착용영역을 분류하는 단계와, 상기 제 2 옷 이미지의 제 2 옷 객체를 기초로 상기 제 2 옷 객체에 대한 제 2 착용영역을 분류하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈

   제 3 항에 있어서,
   상기 모델 이미지를 기초로 상기 모델 객체를 복수의 영역으로 분류하고, 영역 별로 라벨 정보를 결정한 영역분류맵(CGMap)을 생성하는 단계는,
   상기 모델 객체의 신체부위 별로 신체영역을 분류하는 단계와,
   소정의 신체영역과, 상기 모델 객체의 착용영역이 중첩되는 중첩영역을 상기 소정의 신체영역 또는 상기 착용영역 중 적어도 하나로 결정하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈

   제 3 항에 있어서,
   상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계는,
   상기 제 1 옷 객체에 매칭되는 상기 영역분류맵(CGMap)의 분류영역을 결정하고, 상기 결정된 분류영역에 기하학 매칭되도록 상기 제 1 옷 객체를 뒤틀고 정렬하여 변형하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
6. 제 1 항에 있어서,
   상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계는,
   상기 제 1 옷 객체가 상의인 경우, 상의를 변형하는 상기 제 1 기하학 매칭 모듈을 결정하는 단계와,
   상기 결정된 제 1 기하학 매칭 모듈이 상기 모델 객체의 상체영역에 방향에 매칭되도록 상기 제 1 옷 객체의 방향을 뒤틀어 정렬하여 제1-1 변형 옷 객체 이미지를 생성하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
7. 제 6 항에 있어서,
   상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계는,
   상기 제 1 기하학 매칭 모듈이 상기 모델 객체의 신체영역 중 상기 상체영역과 중첩된 중첩영역과, 상기 상체영역에 인접한 인접영역을 결정하는 단계와, 상기 중첩영역과 상기 인접영역에 따라서 상기 제1-1 변형 옷 객체 이미지를 변형하여 제 1 변형 옷 이미지를 생성하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
8. 제 7 항에 있어서,
   상기 제 2 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 2 변형 옷 이미지를 생성하는 단계는,
   상기 2 옷 객체가 하의인 경우, 하의를 변형하는 상기 제 2 기하학 매칭 모듈을 결정하는 단계와,
   상기 결정된 제 2 기하학 매칭 모듈이 상기 모델 객체의 하체영역에 방향에 매칭되도록 상기 제 2 옷 객체의 방향을 뒤틀어 정렬하여 제2-1 변형 옷 객체 이미지를 생성하는 단계와,
   상기 제 2 기하학 매칭 모듈이 상기 모델 객체의 신체영역 중 상기 하체영역과 중첩된 중첩영역과, 상기 하체영역에 인접한 인접영역을 결정하는 단계와, 상기 중첩영역과 상기 인접영역에 따라서 상기 제2-1 변형 옷 객체 이미지를 변형하여 제 2 변형 옷 이미지를 생성하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
9. 제 8 항에 있어서,
   상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하는 단계는,
   상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 매칭되도록 정렬한 변형 옷 객체를 생성하는 단계와,
   상기 변형 옷 객체를 상기 모델 객체에 가상 착용시킨 상기 가상 착용 이미지를 생성하는 단계를 포함하는
   딥러닝 기반의 복수 의류 가상착용 방법.
10. 제 1 항에 있어서,
    상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계는,
    상기 제 1 옷 객체의 외형을, 상기 모델 객체의 제 1 신체영역의 외형에 대응되도록 1차 변형하는 단계를 포함하는
    딥러닝 기반의 복수 의류 가상착용 방법.
11. 제 1 항에 있어서,
    상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하는 단계는,
    1차 변형된 제 1 옷 객체의 내부 형태를 변형 전 상기 제 1 옷 객체의 내부 형태에 따라서 보정하는 단계를 더 포함하는
    딥러닝 기반의 복수 의류 가상착용 방법.
12. 제 1 항에 있어서,
    상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하는 단계는,
    상기 변형 옷 객체 및 상기 모델 이미지에 기초하여 중간 모델 이미지를 생성하는 단계를 더 포함하는
    딥러닝 기반의 복수 의류 가상착용 방법.
13. 제 12 항에 있어서,
    상기 변형 옷 객체 및 상기 모델 이미지에 기초하여 중간 모델 이미지를 생성하는 단계는,
    상기 모델 이미지의 모델 객체 상에 대응되는 변형 옷 객체에 따라서 상기 모델 객체의 일부의 신체를 가상으로 생성하여 상기 중간 모델 이미지를 생성하는 단계를 포함하는
    딥러닝 기반의 복수 의류 가상착용 방법.
14. 제 13 항에 있어서,
    상기 모델 이미지의 모델 객체 상에 대응되는 변형 옷 객체에 따라서 상기 모델 객체의 일부의 신체를 가상으로 추가하여 상기 중간 모델 이미지를 생성하는 단계는,
    상기 제 1 옷 이미지의 제 1 변형 옷 객체에 대응되는 제 1 신체를 가상으로 생성하는 단계와, 상기 제 2 옷 이미지의 제 2 변형 옷 객체에 대응되는 제 2 신체를 가상으로 생성하는 단계를 포함하는
    딥러닝 기반의 복수 의류 가상착용 방법.
15. 제 14 항에 있어서,
    상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하는 단계는,
    상기 중간 모델 이미지와 상기 변형 옷 객체와 영역분류맵(CGMap)을 기초로 상기 가상 착용 이미지를 생성하는 단계를 포함하는
    딥러닝 기반의 복수 의류 가상착용 방법.
16. 가상 착용 이미지를 출력하는 디스플레이;
    적어도 하나 이상의 프로세서; 및
    적어도 하나 이상의 메모리; 를 포함하고,
    상기 메모리에 저장되고 상기 적어도 하나 이상의 프로세서에 의해 실행되어 딥러닝 기반의 복수 의류 가상 착용 프로세스를 수행하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은,
    제 1 옷 객체를 포함하는 제 1 옷 이미지, 제 2 옷 객체를 포함하는 제 2 옷 이미지 및 모델 객체를 포함하는 모델 이미지를 결정하고,
    상기 제 1 옷 이미지를 상기 제 1 옷 객체에 대응되는 제 1 옷 종류를 기초로 학습되고 제 1 딥러닝 모델 및 제 2 딥러닝 모델을 포함하는 제 1 기하학 매칭 모듈에 입력하고,
    상기 제 1 옷 이미지를 입력받은 제 1 기하학 매칭 모듈을 기초로 상기 제 1 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 1 변형 옷 이미지를 생성하고,
    상기 제 2 옷 이미지를 상기 제 2 옷 객체에 대응되는 제 2 옷 종류를 기초로 학습되고 상기 제 1 딥러닝 모델 및 제 2 딥러닝 모델을 포함하는 제 2 기하학 매칭 모듈에 입력하고,
    상기 제 2 옷 이미지를 입력받은 제 2 기하학 매칭 모듈을 기초로 상기 제 2 옷 객체를 상기 모델 객체에 대응되도록 형태를 변형하여 제 2 변형 옷 이미지를 생성하고,
    상기 제 1 변형 옷 이미지 및 상기 제 2 변형 옷 이미지를 제 3 및 제 4 딥러닝 모델을 포함하는 가상착용 모듈에 입력하고,
    상기 제 1 변형 옷 이미지 및 상기 제 2 변형 옷 이미지를 입력받은 가상착용 모듈을 기초로 상기 제 1 변형 옷 이미지와 상기 제 2 변형 옷 이미지를 상기 모델 객체에 가상 착용하도록 합성한 가상 착용 이미지를 생성하고 출력하며,
    상기 제 1 딥러닝 모델은, 상기 제 1 옷 이미지 또는 상기 제 2 옷 이미지를 기초로 원근 변형(Perspective Transformation)을 실행하여 1차 변형 옷 객체 이미지를 생성하는 제 1 딥러닝 뉴럴 네트워크를 포함하고,
    상기 제 1 딥러닝 뉴럴 네트워크는, 소정의 옷 이미지 및 상기 옷 이미지의 입력 그리드(input grid)를 상기 모델 이미지 내 신체방향에 따라서 뒤틀고 정렬하는 원근 변형 알고리즘을 포함하며,
    상기 제 2 딥러닝 모델은, 상기 1차 변형 옷 객체 이미지를 기초로 세부 변형(Thin-Plate-Spline)을 실행하여 상기 제 1 변형 옷 이미지 또는 상기 제 2 변형 옷 이미지를 생성하는 제 2 딥러닝 뉴럴 네트워크를 포함하고,
    상기 제 2 딥러닝 뉴럴 네트워크는, 소정의 1차 변형 옷 이미지 및 상기 1차 변형 옷 이미지의 입력 그리드를 상기 모델 이미지 내 신체영역에 따라서 뒤틀고 정렬하는 세부 변형 알고리즘을 포함하는
    딥러닝 기반의 복수 의류 가상착용 시스템.