KR102326902B1 - 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 - Google Patents

멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 Download PDF

Info

Publication number
KR102326902B1
KR102326902B1 KR1020200003773A KR20200003773A KR102326902B1 KR 102326902 B1 KR102326902 B1 KR 102326902B1 KR 1020200003773 A KR1020200003773 A KR 1020200003773A KR 20200003773 A KR20200003773 A KR 20200003773A KR 102326902 B1 KR102326902 B1 KR 102326902B1
Authority
KR
South Korea
Prior art keywords
image
clothes
unit
virtual fitting
person
Prior art date
Application number
KR1020200003773A
Other languages
English (en)
Other versions
KR20210090456A (ko
Inventor
이용균
주재걸
최승환
박성현
Original Assignee
(주)내스타일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)내스타일 filed Critical (주)내스타일
Priority to KR1020200003773A priority Critical patent/KR102326902B1/ko
Publication of KR20210090456A publication Critical patent/KR20210090456A/ko
Application granted granted Critical
Publication of KR102326902B1 publication Critical patent/KR102326902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템에 관한 것으로, 더욱 상세하게는, 기존의 가상피팅 시스템이 다양한 자세의 이미지에 대해서 결과 이미지를 원활하게 생성하지 못하는 문제에 대해서 인물이 팔로 옷을 가리는 자세 등의 다양한 자세에 대해서도 옷 이미지의 형태를 실제로 옷을 착용할 때의 형태로 정확하게 변형하여 자연스러운 가상피팅 결과물을 제공하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템에 관한 것이다.

Description

멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템{Image-based Posture Preservation Virtual Fitting System Supporting Multi-Poses}
본 발명은 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템에 관한 것으로, 더욱 상세하게는, 기존의 가상피팅 시스템이 다양한 자세의 이미지에 대해서 결과 이미지를 원활하게 생성하지 못하는 문제에 대해서 인물이 팔로 옷을 가리는 자세 등의 다양한 자세에 대해서도 옷 이미지의 형태를 실제로 옷을 착용할 때의 형태로 정확하게 변형하여 자연스러운 가상피팅 결과물을 제공하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템에 관한 것이다.
대부분의 소비자들은 오프라인 매장에서 옷을 구매할 때, 디스플레이 되어 있는 여러 옷들 가운데 마음에 드는 옷을 골라 피팅 룸에 들어가 입어 보고, 자신이 고른 옷이 실제 몸에 착용했을 때 얼마나 잘 어울리는 지를 살펴 구매 여부를 결정하게 된다.
하지만, 다량의 옷이 전시되어 있는 매장에서 자신이 원하는 옷을 찾는 것부터가 용이치 않으며, 설사 마음에 드는 옷을 찾았더라도, 해당 옷이 자신의 몸에 어울리지는 살피기 위해서는 피팅룸 앞에 길게 늘어선 대기줄에 서서 자신의 차례가 될 때까지 기다릴 수 밖에 없고, 그렇게 해서 들어간 피팅룸 안에서는 착용하고 있던 옷을 벗고, 피팅하기 위해 가져온 옷을 입어야 하며, 피팅 후에는 다시 자신이 입었던 옷으로 갈아 입어야 하는바, 이 과정에서 많은 시간이 소모됨은 물론이거니와, 소비자에게 많은 체력 소모를 유발해 급격한 피로감을 유발한다.
또한, 화장을 한 여성이 상의를 피팅하고자 할 때에는 피팅과정에서 상의에 화장품이 묻는 상황을 염려하여, 피팅자의 얼굴에 커버를 씌우고 옷을 착용하게 하는 경우도 있고, 심지어는 상의의 피팅 자체를 불허하는 경우도 있다.
최근에는 온라인과 모바일 쇼핑몰이 많아짐에 따라 소비자들의 의류 소비 패턴은 오프라인 매장에서 쇼핑을 하는 형태에서 온라인 쇼핑몰을 통해 원하는 의류를 구매하는 형태로 변화하고 있는데, 온라인 쇼핑의 경우는 임대료, 급여 등의 비용 지출을 획기적으로 줄일 수 있어 동일한 상품임에도 오프라인 매장에 비해 훨씬 저렴한 가격으로 구매가 가능한 이점이 있으나, 피팅 자체가 불가능하다는 단점이 존재한다.
이에 일부의 소비자들은 오프라인 매장에서 옷을 입어 본 뒤, 마음에 드는 제품을 온라인 상에서 최저가 검색을 통해 구매하고 있어, 소비자 입장에서도 불편이 따르고, 오프라인 판매자 입장에서는 큰 손해가 발생할 수밖에 없는 구조가 생겨나고 있다.
이러한 전술한 문제를 해결하기 위해, 패션 업계에서는 의류를 직접 착용해 보지 않더라도 옷을 입어보는 경험을 얻을 수 있는 가상 피팅(Virtual Fitting)에 주목하고 있다.
즉, 상기 가상 피팅이란, 사용자가 카메라를 통해 자신의 신체를 촬영하면, 촬영된 신체 영상에 자신이 선택한 옷이 적용되어 디스플레이되도록 함으로써, 화면을 통해 간접적으로 특정 옷을 착용한 자신의 모습을 확인할 수 있도록 하는 기술을 말한다.
딥러닝 모델들이 컴퓨터 비전 분야의 이미지 분류, 영상 분할, 이미지 생성 등 다양한 작업에서 Convolution Neural Network(CNN)를 이용하여 좋은 성능을 보여주고 있으며, 최근에는 VITON, CP-VTON 같이 가상 피팅에도 딥러닝 모델을 이용하여 원하는 옷을 착용한 이미지를 만들어내는 연구가 나오고 있다.
그러나, 패션 업계가 가상 피팅에 주목한지 오래되었음에도 가상 피팅의 기술력을 아직 상용화 단계에 도달하지 못하고 있다. 기존의 가상 피팅 모델들은 특정 인물 이미지에 대해서는 가상 피팅을 잘 해내지만, 아직 다양한 자세의 이미지에 대해서는 결과물을 생성해 내지 못하는 단점이 있다.
도 1을 보면, CP-VTON 모델이 팔로 옷을 가리는 자세 등에서 이미지를 자연스럽게 생성하지 못하는 것을 확인할 수 있다.
따라서 관련 업계에서는 다양한 자세의 이미지에 대해서도 자연스럽게 옷을 입힐 수 있는 기술의 도입을 요구하고 있는 실정이다.
한국공개특허공보 제10-2017-0016578호(2017.02.14.)
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로,
본 발명의 목적은, 외부로부터 이미지를 입력받는 이미지수신부와, 상기 이미지수신부에서 입력받은 이미지로부터 기계학습을 수행하여 여러 포즈에 대한 이미지를 생성하는 가상피팅부 및 가상피팅 이미지인 결과이미지를 표시하는 결과처리부를 포함하여 인물의 자세정보를 유지하고 자세정보에 맞는 이미지를 제공하는 것이다.
본 발명의 목적은, 상기 가상피팅부는 학습에 사용되는 학습데이터를 수집하는 학습데이터 수집부와 기계학습을 통해 옷 이미지의 기하학적 변형 연산에 대한 파라미터를 추출하는 학습부를 포함하여 가상피팅 이미지에 사용되는 옷 이미지의 변형을 도출하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명의 목적은, 상기 학습부는 신경망을 통해 학습하며, 옷의 정보를 제거한 이미지와 임의의 옷 이미지를 조합하여 페이크 이미지를 생성하는 생성자 네트워크와, 자세정보를 통해 페이크 이미지와 인물 이미지를 판별하는 판별자 네트워크를 포함하여 생성적 적대 신경망(GAN)을 통해 가상피팅 이미지에서 옷의 기하학적 변형을 최적화하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명의 목적은, 상기 생성자 네트워크는 옷 이미지와 인물 이미지에 대한 정보를 입력받는 정보입력부, 상기 정보입력부로부터 입력받은 이미지로부터 특징을 추출하여 옷의 기하학적 변형을 연산하는 매칭부 및 상기 매칭부에서 도출된 매개변수를 적용하여 가상피팅 이미지인 결과이미지를 생성하는 이미지생성부를 포함하여 판별자 네트워크가 학습에 사용하는 이미지를 생성하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명의 목적은, 상기 정보입력부는 수신받은 이미지로부터 옷 이미지와 인물 이미지를 분리하며, 옷 이미지를 입력하는 타겟이미지 입력모듈과 인물 이미지를 입력하는 인물이미지 입력모듈 및 인물 이미지에서 옷의 정보를 제거한 이미지를 추출하고, 인물 이미지의 자세정보를 추출하여 학습에 사용하도록 하는 전처리모듈을 포함하여 옷 이미지와 인물 이미지를 통해 가상피팅 이미지를 학습하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명의 목적은, 상기 매칭부는 옷 이미지로부터 제1특징을 추출하는 제1특징추출부와, 인물 이미지로부터 제2특징을 추출하는 제2특징추출부와, 회기 신경망을 통해 기하학적 변형 연산에 대한 파라미터를 도출하는 회기 신경망 학습부 및 상기 파라미터를 이용하여 옷 이미지의 기하학적 변형을 연산하는 변형 연산부를 포함하여 가상피팅 이미지에 사용되는 옷 이미지의 변형을 매칭하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명의 목적은, 상기 이미지생성부는 상기 옷 이미지로부터 제3특징을 추출하는 제1인코더와, 상기 인물 이미지로부터 제4특징을 추출하는 제2인코더 및 상기 제1인코더와 제2인코더로부터 전송된 특징을 기반으로 결과이미지를 생성하는 디코더를 포함하여 인물의 자세정보에 적합한 결과이미지를 생성하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명의 목적은, 상기 판별자 네트워크는 목적함수를 가지며, 상기 목적함수는 상기 판별자 네트워크의 정확성을 위해 적대적 손실함수를 포함하여 상기 판별자 네트워크가 생성자 네트워크가 생성한 페이크 이미지와 자세정보를 기반으로 판별하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템을 제공하는 것이다.
본 발명은 앞서 본 목적을 달성하기 위해서 다음과 같은 구성을 가진 실시예에 의해서 구현된다.
본 발명의 일 실시예에 따르면, 본 발명은, 외부로부터 이미지를 입력받는 이미지수신부와, 상기 이미지수신부에서 입력받은 이미지로부터 기계학습을 수행하여 여러 포즈에 대한 이미지를 생성하는 가상피팅부 및 가상피팅 이미지인 결과이미지를 표시하는 결과처리부를 포함하여 인물의 자세정보를 유지하고 자세정보에 맞는 이미지를 제공하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 가상피팅부는 학습에 사용되는 학습데이터를 수집하는 학습데이터 수집부와 기계학습을 통해 옷 이미지의 기하학적 변형 연산에 대한 파라미터를 추출하는 학습부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 학습부는 신경망을 통해 학습하며, 옷의 정보를 제거한 이미지와 임의의 옷 이미지를 조합하여 페이크 이미지를 생성하는 생성자 네트워크와, 자세정보를 통해 페이크 이미지와 인물 이미지를 판별하는 판별자 네트워크를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 생성자 네트워크는 옷 이미지와 인물 이미지에 대한 정보를 입력받는 정보입력부, 상기 정보입력부로부터 입력받은 이미지로부터 특징을 추출하여 옷의 기하학적 변형을 연산하는 매칭부 및 상기 매칭부에서 도출된 매개변수를 적용하여 가상피팅 이미지인 결과이미지를 생성하는 이미지생성부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 정보입력부는 수신받은 이미지로부터 옷 이미지와 인물 이미지를 분리하며, 옷 이미지를 입력하는 타겟이미지 입력모듈과 인물 이미지를 입력하는 인물이미지 입력모듈을 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 정보입력부는 인물 이미지에서 옷의 정보를 제거한 이미지를 추출하고, 인물 이미지의 자세정보를 추출하여 학습에 사용하도록 하는 전처리모듈을 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 매칭부는 옷 이미지로부터 제1특징을 추출하는 제1특징추출부와, 인물 이미지로부터 제2특징을 추출하는 제2특징추출부와, 회기 신경망을 통해 기하학적 변형 연산에 대한 파라미터를 도출하는 회기 신경망 학습부 및 상기 파라미터를 이용하여 옷 이미지의 기하학적 변형을 연산하는 변형 연산부를 포함하여 가상피팅 이미지에 사용되는 옷 이미지의 변형을 매칭하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 이미지생성부는 상기 옷 이미지로부터 제3특징을 추출하는 제1인코더와, 상기 인물 이미지로부터 제4특징을 추출하는 제2인코더 및 상기 제1인코더와 제2인코더로부터 전송된 특징을 기반으로 결과이미지를 생성하는 디코더를 포함하고, 상기 매칭부로부터 파라미터를 전달받아 상기 제3특징의 기하학적 변형을 수행하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 판별자 네트워크는 목적함수를 가지며, 상기 목적함수는 상기 판별자 네트워크의 정확성을 위해 적대적 손실함수를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 적대적 손실함수는 상기 판별자 네트워크가 생성자 네트워크가 생성한 페이크 이미지와 자세정보를 기반으로 판별하는 확률에 대한 함수인 것을 특징으로 한다.
본 발명은 앞서 본 실시예와 하기에 설명할 구성과 결합, 사용관계에 의해 다음과 같은 효과를 얻을 수 있다.
본 발명은, 외부로부터 이미지를 입력받는 이미지수신부와, 상기 이미지수신부에서 입력받은 이미지로부터 기계학습을 수행하여 여러 포즈에 대한 이미지를 생성하는 가상피팅부 및 가상피팅 이미지인 결과이미지를 표시하는 결과처리부를 포함하여 인물의 자세정보를 유지하고 자세정보에 맞는 이미지를 제공하는 효과를 가진다.
본 발명은, 상기 가상피팅부는 학습에 사용되는 학습데이터를 수집하는 학습데이터 수집부와 기계학습을 통해 옷 이미지의 기하학적 변형 연산에 대한 파라미터를 추출하는 학습부를 포함하여 가상피팅 이미지에 사용되는 옷 이미지의 변형을 도출하는 효과가 있다.
본 발명은, 상기 학습부는 신경망을 통해 학습하며, 옷의 정보를 제거한 이미지와 임의의 옷 이미지를 조합하여 페이크 이미지를 생성하는 생성자 네트워크와, 자세정보를 통해 페이크 이미지와 인물 이미지를 판별하는 판별자 네트워크를 포함하여 생성적 적대 신경망(GAN)을 통해 가상피팅 이미지에서 옷의 기하학적 변형을 최적화하는 효과를 수반한다.
본 발명은, 상기 생성자 네트워크는 옷 이미지와 인물 이미지에 대한 정보를 입력받는 정보입력부, 상기 정보입력부로부터 입력받은 이미지로부터 특징을 추출하여 옷의 기하학적 변형을 연산하는 매칭부 및 상기 매칭부에서 도출된 매개변수를 적용하여 가상피팅 이미지인 결과이미지를 생성하는 이미지생성부를 포함하여 판별자 네트워크가 학습에 사용하는 이미지를 생성하는 효과를 제공한다.
본 발명은, 상기 정보입력부는 수신받은 이미지로부터 옷 이미지와 인물 이미지를 분리하며, 옷 이미지를 입력하는 타겟이미지 입력모듈과 인물 이미지를 입력하는 인물이미지 입력모듈 및 인물 이미지에서 옷의 정보를 제거한 이미지를 추출하고, 인물 이미지의 자세정보를 추출하여 학습에 사용하도록 하는 전처리모듈을 포함하여 옷 이미지와 인물 이미지를 통해 가상피팅 이미지를 학습하는 효과를 가진다.
본 발명은, 상기 매칭부는 옷 이미지로부터 제1특징을 추출하는 제1특징추출부와, 인물 이미지로부터 제2특징을 추출하는 제2특징추출부와, 회기 신경망을 통해 기하학적 변형 연산에 대한 파라미터를 도출하는 회기 신경망 학습부 및 상기 파라미터를 이용하여 옷 이미지의 기하학적 변형을 연산하는 변형 연산부를 포함하여 가상피팅 이미지에 사용되는 옷 이미지의 변형을 매칭하는 효과를 도출한다.
본 발명은, 상기 이미지생성부는 상기 옷 이미지로부터 제3특징을 추출하는 제1인코더와, 상기 인물 이미지로부터 제4특징을 추출하는 제2인코더 및 상기 제1인코더와 제2인코더로부터 전송된 특징을 기반으로 결과이미지를 생성하는 디코더를 포함하여 인물의 자세정보에 적합한 결과이미지를 생성한다.
본 발명은, 상기 판별자 네트워크는 목적함수를 가지며, 상기 목적함수는 상기 판별자 네트워크의 정확성을 위해 적대적 손실함수를 포함하여 상기 판별자 네트워크가 생성자 네트워크가 생성한 페이크 이미지와 자세정보를 기반으로 판별하는 효과를 가진다.
도 1은 CP-VTON 모델이 팔로 옷을 가리는 자세 등에서 이미지를 자연스럽게 생성하지 못하는 것을 도시한 도면
도 2는 본 발명의 바람직한 일 실시예에 따른 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템(1)의 블록도
도 3은 본 발명의 바람직한 일 실시예에 따른 가상피팅부(20)의 블록도
도 4는 본 발명의 일 실시예에 따른 학습부(23)의 블록도
도 5는 본 발명의 바람직한 일 실시예에 다른 생성자 네트워크(231)의 블록도
도 6은 생성자 네트워크와 판별자 네트워크의 학습 프로세스를 도시한 도면
도 7은 본 발명에 따른 정보입력부(2311)의 블록도
도 8은 본 발명에 따른 매칭부(2313)의 블록도
도 9는 회기 신경망의 구조를 도시한 도면
도 10은 본 발명의 일 실시예에 따른 이미지생성부(2315)의 블록도
도 11은 본 발명의 바람직한 일 실시예에 따른 생성자 네트워크(231)에서 페이크 이미지를 생성하는 단계(S)의 순서도
도 12는 각 단계에서의 데이터 또는 이미지에 대한 정보의 흐름을 도시한 도면
도 13은 상기 매칭단계(S20)에서 기계학습에 따른 기하학적 변형(Tθ) 연산에 대한 파라미터(θ)를 통해 옷 이미지의 기하학적 변형을 연산하는 과정
도 14는 본 발명에 따른 이미지 생성단계(S30)에서 결과이미지(~Ii)가 생성되는 과정을 도시한 도면
도 15는 본 발명의 일 실시예에 따른 판별자 네트워크(233)가 데이터를 학습하는 것을 도시한 도면
이하에서는 본 발명에 따른 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템의 바람직한 실시 예들을 첨부된 도면을 참고하여 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 공지의 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하도록 한다. 특별한 정의가 없는 한 본 명세서의 모든 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진 기술자가 이해하는 당해 용어의 일반적 의미와 동일하고 만약 본 명세서에서 사용된 용어의 의미와 충돌하는 경우에는 본 명세서에서 사용된 정의에 따른다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니고, 다른 구성요소 또한 더 포함할 수 있는 것을 의미하며, 명세서에 기재된 "~부","~모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하고, 이는 하드웨어나 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템(1)의 블록도이다. 도 2를 참고하면, 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템(1)은 기존의 가상피팅 시스템이 다양한 자세의 이미지에 대해서 결과 이미지를 원활하게 생성하지 못하는 문제에 대해서 인물이 팔로 옷을 가리는 자세 등의 다양한 자세에 대해서도 옷 이미지의 형태를 실제로 옷을 착용할 때의 형태로 정확하게 변형하여 자연스러운 가상피팅 결과물을 제공하는 것을 특징으로 한다. 상기 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템(1)은 이미지수신부(10), 가상피팅부(20), 결과처리부(30)를 포함하고, 외부 사용자와의 상호작용을 위하여 사용자 인터페이스(UI,40)을 더 포함할 수 있다.
상기 이미지수신부(10)는 카메라 모듈이나 데이터베이스 등을 통해 옷과 인물의 모습을 수신하여 이미지로 저장하고 후술하는 가상피팅부(20)로 전송할 수 있다. 또한, 인물이 현재 가지고 있지 않은 옷에 대해서 가상으로 피팅해 볼 수도 있는데, 후술하는 UI(40)에서 선택되는 옷 이미지가 입력될 수도 있다.
도 3은 본 발명의 바람직한 일 실시예에 따른 가상피팅부(20)의 블록도이다. 도 3을 참고하면, 상기 가상피팅부(20)는 이미지수신부(10)로부터 입력받은 이미지로부터 기계학습을 수행하여 여러 포즈에 대한 이미지를 생성하도록 구비될 수 있다. 이미지로부터 특징을 추출하여 옷의 기하학적 변형을 연산하고, 기계학습을 통해 가상피팅 이미지를 생성하고 이를 판별하여 사용자가 취하고 있는 자세에 맞는 결과이미지를 생성하게 된다. 상기 가상피팅부(20)는 학습데이터 수집부(21), 학습부(23)를 포함하고, 평가부(25)를 추가로 포함할 수 있다.
상기 학습데이터 수집부(21)는 옷 이미지(ci)와 인물 이미지(Ii)로부터 학습에 사용되는 학습데이터를 수집하도록 구비된다. 여기서, 인물 이미지(Ii)는 옷(ci)을 착용한 상태에서의 인물의 이미지에 해당한다.
도 4는 본 발명의 일 실시예에 따른 학습부(23)의 블록도이다. 상기 학습부(23)는 기계학습을 통해 옷 이미지의 기하학적 변형 연산에 대한 파라미터(θ)를 추출하도록 구비된다. 학습대상이 되는 데이터를 통해 학습부(23)가 스스로 학습하며, 이미지를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있으며, 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 상기 학습부(23)는 학습을 위하여 생성자 네트워크(231)와 판별자 네트워크(233)를 포함할 수 있다.
도 5는 본 발명의 바람직한 일 실시예에 다른 생성자 네트워크(231)의 블록도이고, 도 6은 생성자 네트워크와 판별자 네트워크의 학습 프로세스를 도시한 도면이다. 도 5 및 도 6을 참고하면, 상기 생성자 네트워크(231)는 판별자 네트워크(233)와 함께 생성적 적대 신경망(GAN)을 구성할 수 있으며, 페이크 이미지를 생성하여 후술하는 판별자 네트워크(233)에서 학습을 진행하도록 한다. 도 5를 참고하면, 생성자 네트워크에서 랜덤 노이즈를 통해 학습데이터와 유사한 페이크 이미지를 생성하고, 판별자 네트워크는 제시된 이미지가 학습데이터에 존재하는 데이터인지 확률을 연산한다. 상기 생성자 네트워크(231)는 정보입력부(2311), 매칭부(2313) 및 이미지생성부(2315)를 포함한다.
도 7은 본 발명에 따른 정보입력부(2311)의 블록도이다. 도 7을 참고하면, 상기 정보입력부(2311)는 옷 이미지(ci)와 인물 이미지(Ii)에 대한 정보를 입력받도록 구비된다. 상기 정보입력부(2311)는 수신받은 이미지로부터 옷 이미지와 인물 이미지를 분리하여 이미지수신부(10)로부터 전달되는 이미지가 상기 정보입력부(2311)에 옷 이미지(ci)와 인물 이미지(Ii)로써 입력되며, 상기 정보입력부(2311)는 타겟이미지 입력모듈(23111)과 인물이미지 입력모듈(23113) 및 전처리모듈(23115)을 포함한다.
상기 타겟이미지 입력모듈(23111)은 옷 이미지(ci)를 입력받도록 구비될 수 있다. 타겟이미지 입력모듈(23111)은 이미지수신부(10)로부터 전달받은 이미지에서 옷에 대한 정보를 기계학습을 통해 인식하여 옷 이미지(ci)를 입력받거나, UI(40)에서 선택되는 옷에 대한 정보를 옷 이미지(ci)로 입력받을 수 있다.
상기 인물이미지 입력모듈(23113)은 인물 이미지(Ii)를 입력받도록 구비될 수 있다. 상기 인물 이미지(Ii)는 이미지수신부(10)로부터 전달받은 이미지에서 사용자의 자세를 기계학습을 통해 이미지로 입력받거나, 샘플로 존재하는 자세를 바탕으로 입력될 수도 있다.
상기 전처리모듈(23115)은 입력된 학습데이터 또는 옷 이미지(ci)와 인물 이미지(Ii)를 전처리하도록 구비된다. 후술하는 회기 신경망 학습부(23135)가 신경망을 구축함에 따라 이미지를 구분 또는 분류하도록 학습하는데, 전처리모듈(23115)에서는 수집한 데이터를 학습에 적합한 데이터로 가공한다. 본 발명의 바람직한 일 실시예에서는 전처리모듈(23115)이 인물 이미지(Ii)에서 옷의 정보를 제거한 이미지(Iia)를 추출하고, 인물 이미지(Ii)의 자세정보(Posei)를 추출하여 학습에 사용하도록 한다.
도 8은 본 발명에 따른 매칭부(2313)의 블록도이다. 도 8을 참고하면, 상기 매칭부(2313)는 상기 정보입력부(2311)에서 입력받은 이미지로부터 특징을 추출하여 옷의 기하학적 변형을 연산하도록 구비된다. 이미지와 관련된 기계학습에 있어서, 특징이란 밝기 변화나 기하 변화 등과 같이 이미지 비교에 있어서 주요 요소가 될 수 있는 것으로 정의되며, 특징 추출에는 에지 검출, 지역특징 검출과 같은 알고리즘이 사용될 수 있다. 본 발명에 있어서 특징은 옷 이미지(ci)로부터 옷의 형상이나 옷의 종류를 특정할 수 있도록 하고, 인물 이미지(Ii)로부터 인물의 자세정보(Posei)를 특정하거나 추출할 수 있도록 한다. 상기 매칭부(2313)는 제1특징추출부(23131), 제2특징추출부(23133), 회기 신경망 학습부(23135) 및 변형 연산부(23137)를 포함할 수 있다.
상기 제1특징추출부(23131)는 옷 이미지(ci)로부터 제1특징(F1(ci))을 추출하도록 구비될 수 있다. 상술한 바에 따라 옷의 형상과 종류를 특정할 수 있도록 특징을 추출할 수 있는데, 예시적으로는 옷 이미지(ci)로부터 엣지, 굴곡을 특징점으로 잡아 카라, 소매나 무늬 등 옷의 구성요소를 특정할 수 있다. 그러나, 상기 제1특징추출부(21)는 예시에 한정되지 않고 옷의 형상과 종류 및 무늬를 특정지을 수 있는 방법으로 옷 이미지(ci)로부터 제1특징을 추출할 수 있다.
상기 제2특징추출부(23133)는 인물 이미지(Ii)로부터 제2특징을 추출하도록 구비될 수 있다. 인물 이미지(Ii)로부터 인물의 자세정보(Posei)를 특정하거나 추출할 수 있도록 구비되는데, 바람직하게는 인물 이미지(Ii)로부터 옷의 정보를 제거한 이미지(Iia)를 가공한 후, 제2특징(F2(Iia))을 추출하여 인물의 자세정보(Posei)를 특정하거나 추출할 수 있도록 구비될 수 있다. 제2특징(F2(Iia))으로는 옷의 정보를 제거한 영역에서 목에 해당하는 부분, 어깨에 해당하는 부분, 손끝에 해당하는 부분 등이 에지 추출 알고리즘 등을 통해 추출될 수 있으나, 상기 예시에 한정되지 않고 인물의 자세정보(Posei)를 추출할 수 있다면 무방하다.
도 9는 회기 신경망의 구조를 도시한 도면이다. 도 9를 참고하면, 상기 회기 신경망 학습부(23135)는 기계학습을 통해 기하학적 변형(Tθ) 연산에 대한 파라미터(θ)를 도출하도록 구비된다. 상기 회기 신경망 학습부(23135)는 신경망을 통해 학습하게 되는데 상기 신경망은 노드(뉴런)라고 지칭될 수 있는 상호연결된 계산 단위들의 집합으로 구성될 수 있고, 하나 이상의 링크에 의해 상호연결되며, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 이들 중 일부는 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있고, 신경망은 입력 레이어(Input layer), 출력 레이어(Output layer) 외에 복수의 히든 레이어(Hidden layer)를 통해 DNN(Deep neural network)를 구성하여 신경망 학습을 통해 기하학적 변형(Tθ) 연산에 대한 파라미터(θ)를 도출할 수 있다.
다시 도 8을 참고하면, 상기 변형 연산부(23137)는 상기 회기 신경망 학습부(23135)에서 도출된 파라미터를 이용하여 옷 이미지의 기하학적 변형을 연산하도록 구비된다. 이에 따라, 파라미터(θ)에 의한 옷의 기하학적 변형(Tθ)가 연산되어 인물 이미지(Ii)가 취하는 자세정보(Posei)에 따라 옷의 형태가 변형된다.
다시 도 6을 참고하면, 상기 이미지생성부(2315)는 상기 매칭부(2313)에서의 기계학습에 따라 도출된 매개변수(θ)를 적용하여 가상피팅 이미지인 결과이미지(~Ii)를 생성하도록 구비된다. 상기 이미지생성부(2315)는 두 이미지를 입력받고 결과이미지를 출력하도록 구비되는데, 부분적으로 가중치를 공유하는 둘 이상의 신경망을 포함하도록 구비될 수 있으며, 바람직하게는 샴(Siamese) U-네트워크 구조를 형성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지생성부(2315)의 블록도이다. 도 10을 참고하면, (Siamese) U-네트워크 구조를 형성하는 상기 이미지생성부(2315)에는 2개의 이미지가 입력될 수 있으며, 상기 두 이미지의 유사도를 판단하여 결과이미지(~Ii)를 출력하게 된다. 상기 이미지생성부(2315)는 제1인코더(23151), 제2인코더(23153) 및 디코더(23155)를 포함한다.
상기 제1인코더(23151)는 옷 이미지(ci)로부터 제3특징(E1(ci))을 추출하도록 구비된다. 옷의 결과이미지(~Ii) 생성 시 옷의 외형, 무늬 등을 특정할 수 있도록 특징을 추출하는데, 상기 제3특징(E1(ci))은 제1특징(F1(ci))과 같은 것을 권리범위에서 배제하지 않는다.
상기 제2인코더(23153)는 인물 이미지(Ii)로부터 제4특징(E2(Iia))을 추출하도록 구비될 수 있다. 인물의 자세정보(Posei)를 특정하거나 추출할 수 있도록 구비되는데, 바람직하게는 인물 이미지에서 옷의 정보를 제거한 이미지(Iia)로부터 제4특징(E2(Iia))을 추출한다. 상기 제4특징(E2(Iia))은 제2특징(F2(Iia))과 같은 것을 권리범위에서 배제하지는 않는다.
상기 디코더(23155)는 상기 제1인코더(23151)와 제2인코더(23153)로부터 전송된 특징(E1(ci),E2(Iia))을 기반으로 결과이미지(~Ii)를 생성하도록 구비된다. 상기 디코더(33)는 두 특징의 유사도를 계산하고 결과이미지(~Ii)를 생성하는데, 이때 상기 매칭부로부터 파라미터를 전달받아 상기 제3특징(E1(ci))에 기하학적 변형(Tθ)이 적용되고, 결과적으로 변형된 제3특징과 제4특징을 기반으로 하여 결과이미지(~Ii)를 생성하게 된다. 이러한 방법으로 기하학적 변형(Tθ)을 옷의 이미지에 직접 적용하는 종래 기술보다 자연스럽고 실제 인물이 취하는 자세에 적합한 가상피팅 이미지를 도출할 수 있게 된다.
도 11 내지 도 14를 참고하여 본 발명의 일 실시예에 따른 생성자 네트워크(231)에서 페이크 이미지를 생성하는 것을 자세히 설명하도록 한다. 도 11은 본 발명의 바람직한 일 실시예에 따른 생성자 네트워크(231)에서 페이크 이미지를 생성하는 단계(S)의 순서도이며, 도 12는 각 단계에서의 데이터 또는 이미지에 대한 정보의 흐름을 도시한 도면이다. 도 11 및 도 12를 참고하면, 생성자 네트워크(231)에서 페이크 이미지를 생성하는 단계(S)는 입력받은 옷 이미지(ci)와 인물 이미지(Ii)로부터 특징을 추출하여 신경망에 따른 학습에 따라 자연스러운 결과이미지(~Ii)를 제공하는 것을 특징으로 하며, 정보입력단계(S10), 매칭단계(S20), 이미지 생성단계(S30)을 포함한다.
상기 정보입력단계(S10)는 옷 이미지(ci)와 인물 이미지(Ii)에 대한 정보를 입력받는 단계로, 카메라 모듈이나 데이터베이스 등을 통해 옷과 인물의 모습을 수신할 수 있는데, 바람직하게는 이미지로 저장된다. 정보입력단계(S10)은 타겟이미지 입력단계(S11)와 인물이미지 입력단계(S13)를 포함한다.
상기 타겟이미지 입력단계(S11)는 옷 이미지(ci)를 입력받도록 구비될 수 있다. 외부에서 사용자가 가진 옷을 카메라 모듈 등으로 인식하여 옷 이미지(ci)를 입력받거나, UI(40)에서 선택되는 옷에 대한 정보를 옷 이미지(ci)로 입력받을 수 있다.
상기 인물이미지 입력단계(S13)는 인물 이미지(Ii)를 입력받도록 구비될 수 있다. 상기 인물 이미지(Ii)는 카메라 모듈 등으로 인식되는 사용자의 자세를 이미지로 입력받거나, 샘플로 존재하는 자세를 바탕으로 입력될 수도 있다.
상기 매칭단계(S20)는 상기 정보입력단계(S10)에서 입력받은 이미지로부터 특징을 추출하여 옷의 기하학적 변형(Tθ)을 연산할 수 있다. 상기 매칭단계(S20)는 특징추출단계(S21), 학습단계(S23) 및 변형 연산단계(S25)를 포함할 수 있다.
상기 특징추출단계(S21)는 옷 이미지(ci)와 인물 이미지(Ii)로부터 제1특징(F1(ci))과 제2특징(F2(Iia))을 추출하도록 구비될 수 있다. 제1특징추출부(23131)와 제2특징추출부(23133)에서 옷의 형상과 종류 및/또는 인물의 자세정보(Posei)를 특정하도록 특징을 추출하는데, 제1특징(F1(ci))의 경우 옷 이미지(ci)로부터 엣지, 굴곡을 특징점으로 잡아 카라, 소매나 무늬 등 옷의 구성요소를 특정할 수 있으며, 인물 이미지(Ii)로부터 옷의 정보를 제거한 이미지(Iia)를 가공한 후, 제2특징(F2(Iia))을 추출하여 인물의 자세정보(Posei)를 특정하거나 추출하도록 구비될 수 있다. 상기 특징추출단계(S21)는 예시적 방법에 한정되지 않고 옷의 형상과 종류 및 무늬와 인물의 자세정보를 특정지을 수 있는 방법으로 옷 이미지(ci)와 인물 이미지(Ii)로부터 제1특징 및 제2특징을 추출할 수 있다.
상기 학습단계(S23)에서는 회기 신경망 학습부(23135)가 기계학습을 통해 옷 이미지의 기하학적 변형 연산에 대한 파라미터(θ)를 추출한다. 학습대상이 되는 데이터를 통해 상술한 바와 같이 회기 신경망 학습부(23135)가 스스로 학습하며, 이미지를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있으며, 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다.
상기 변형 연산단계(S25)는 상기 학습단계(S23)에서 도출된 파라미터를 이용하여 옷 이미지의 기하학적 변형을 연산하도록 구비된다. 변형 연산부(23137)에서 수행되는 상기 변형 연산단계(S25)에서는, 파라미터(θ)에 의한 옷의 기하학적 변형(Tθ)이 연산되어 인물 이미지(Ii)가 취하는 자세정보(Posei)에 따라 옷의 형태가 변형된다.
도 13은 상기 매칭단계(S20)에서 기계학습에 따른 기하학적 변형(Tθ) 연산에 대한 파라미터(θ)를 통해 옷 이미지의 기하학적 변형을 연산하는 과정을 나타낸 도면이다. 도 13을 참고하면 옷 이미지(ci)와 인물 이미지(Ii) 또는 옷의 정보를 제거한 이미지(Iia)를 입력(Input)받고, 특징(F1(ci),F2(Iia))을 추출한다(S21), 이후 회기 신경망 학습부에서 통해 학습을 실시하여(S23) 기하학적 변형(Tθ)에 대한 파라미터(θ)를 도출하고, 이를 옷 이미지에 적용하여 기하학적 변형을 도출한다(S25).
도 14는 본 발명에 따른 이미지 생성단계(S30)에서 결과이미지(~Ii)가 생성되는 과정을 도시한 도면이다. 도 14를 참고하면, 상기 이미지생성단계(S30)는 상기 매칭단계(S20)에서의 기계학습에 따라 도출된 매개변수(θ)를 적용하여 가상피팅 이미지인 결과이미지(~Ii)를 생성한다. 상기 이미지생성단계(S30)는 두 이미지를 입력받고 결과이미지를 출력하도록 구비되는데, 부분적으로 가중치를 공유하는 둘 이상의 신경망을 포함하도록 구비될 수 있으며, 바람직하게는 샴(Siamese) U-네트워크 구조를 통해 결과이미지(~Ii)를 생성할 수 있다. 상기 이미지생성단계(30)는 인코딩단계(S31) 및 디코딩단계(S33)를 포함한다.
상기 인코딩단계(S31)는 옷 이미지(ci)와 인물 이미지(Ii), 바람직하게는 제1인코더(23151)와 제2인코더(23153)가 인물 이미지에서 옷의 정보를 제거한 이미지(Iia)로부터 제3특징(E1(ci))과 제4특징(E2(Iia))을 추출할 수 있다. 결과이미지(~Ii) 생성 시 옷의 외형, 무늬 등을 특정할 수 있도록 옷의 특징을 추출하고, 옷 이미지(ci)가 기하학적으로 변형될 때의 기준에 해당하는 자세정보(Posei)를 특정하기 위해 인물이미지의 특징을 추출하는데, 상기 제3특징(E1(ci))은 제1특징(F1(ci))과 같은 것을 권리범위에서 배제하지 않으며, 제4특징(E2(Iia))은 제2특징(F2(Iia))과 같은 것을 권리범위에서 배제하지는 않는다.
상기 디코딩단계(S33)는 상기 인코딩단계(S31)에서 특정된 특징(E1(ci),E2(Iia))을 기반으로 결과이미지(~Ii)를 생성한다. 디코더(23155)에서 수행되는 상기 디코딩단계(S33)는 두 특징의 유사도를 계산하고 결과이미지(~Ii)를 생성하는데, 이때 제3특징(E1(ci))에 기하학적 변형(Tθ)이 적용되고, 결과적으로 변형된 제3특징과 제4특징을 기반으로 하여 결과이미지(~Ii)를 생성하게 된다. 이러한 방법으로 기하학적 변형(Tθ)을 옷의 이미지에 직접 적용하는 종래 기술보다 자연스럽고 실제 인물이 취하는 자세에 적합한 가상피팅 이미지를 도출할 수 있게 된다.
도 15는 본 발명의 일 실시예에 따른 판별자 네트워크(233)가 데이터를 학습하는 것을 도시한 도면이다. 도 15를 참고하면, 본 발명의 생성자 네트워크(231)에 의해 생성된 페이크 이미지(Ik)와 학습데이터에 해당하는 인물이미지(Ii)를 판별자 네트워크(233)가 판별하는 것을 볼 수 있다. 생성자 네트워크(231)는 인물 이미지에서 옷의 정보를 제거한 이미지(Iia)와 임의의 옷 이미지(ck)를 조합하여 페이크 이미지(Ik)를 생성하여 학습에 사용한다. 페이크 이미지(Ik)와 인물의 자세정보(Posei)가 판별자 네트워크(233)에 주어지고, 판별자 네트워크(233)는 인물의 자세정보(Posei)를 기반으로 하여 제시된 이미지가 학습데이터에 존재하는지 판별하여 학습을 수행한다.
기계학습의 오차를 줄여 학습모델이 자세정보(Posei)를 잘 유지하고, 현실적인 이미지를 생성하기 위해서는 목적함수가 사용된다. 옷 이미지(ci)와 인물 이미지에서 옷의 정보를 제거한 이미지(Iia)의 조합을 통해 실제 결과 이미지(~Ii)를 구현하는 것에 최적화된 파라미터(θ)를 도출하게 되는데, 학습모델에 따른 실제값과의 오차를 손실이라 한다.
본 발명에서 발생하는 손실은 옷 이미지의 기하학적 변형(Tθ(ci))과 인물 이미지(Ii)에서 옷의 영역(Iic)의 L1손실인 Lwarp, 결과 이미지(~Ii)와 인물 이미지(Ii) 사이에서의 L1 손실인 L1, 결과 이미지(~Ii)와 인물 이미지(Ii) 사이의 지각적 손실인 Lperc가 존재하고, 생성자 네트워크와 판별자 네트워크에 따른 적대적 손실 Ladv가 목적함수에 포함된다. 이에 따라, 최종 목적함수는 하기의 수학식 2와 같다.
(수학식 2)
Figure 112020003091054-pat00001
모델이 자세정보(Posei)를 잘 유지하고 현실적인 이미지를 생성하는 것에 주요 요소인 적대적 손실인 Ladv는 하기의 수학식 1과 같다.
(수학식 1)
Figure 112020003091054-pat00002
이때, Ladv는 적대적 손실함수, ck는 임의의 옷 이미지, Iia는 옷을 착용한 인물 이미지 Ii에서 옷의 정보를 제거한 이미지, Posei는 추출된 인물의 자세정보, D는 판별자 네트워크가 판별할 확률, G는 생성자 네트워크가 생성한 페이크 이미지임
상기 목적함수에 따라 상기 판별자 네트워크(233)가 입력된 데이터가 학습데이터에 포함된 것일 확률을 구하여 학습을 진행하게 된다.
다시 도 3을 참고하면, 상기 평가부(25)는 상기 학습부(23)로부터 생성된 모델인 파라미터(θ) 및 상기 파라미터(θ)를 통해 도출된 결과이미지(~Ii)를 평가하여 상기 파라미터가 새로운 데이터에 대해서 얼마나 일반화 가능한지 측정한다. 정확도, 손실 등을 포함한 척도로 얼마나 예측 정확도가 높은지에 대해서 평가할 수 있으며, 기계학습에 사용된 데이터셋에만 최적화된 것은 아닌지 등을 평가할 수 있다. 평가방법은 기계학습에 대한 공지된 또는 공지될 평가방법을 포함할 수 있다.
다시 도 2를 참고하면, 상기 결과처리부(30)는 상기 가상피팅부(20)로부터 도출된 결과이미지(~Ii)를 받아들이고, 사용자 인터페이스(UI, 40)에 표시하도록 구비된다. 이에 따라 기계학습에 의해 구현된 인물과 옷의 이미지가 외부로 표출될 수 있다.
상기 사용자 인터페이스(UI, 40)는 이미지수신부(10)와 연결되어 사용자 인터페이스(40) 상에 표시되는 옷 이미지(ci) 및/또는 인물 이미지(Ii)를 입력할 수 있으며, 결과처리부(30)와 연결되어 결과이미지(~Ii)를 화면에 나타내어 사용자가 이를 볼 수 있도록 할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
1: 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
10: 이미지수신부
20: 가상피팅부 21: 학습데이터 수집부
23: 학습부 231: 생성자 네트워크
2311: 정보입력부 23111: 타겟 이미지 입력모듈
23113: 인물 이미지 입력모듈 23115: 전처리모듈
2313: 매칭부 23131: 제1특징 추출부
23133: 제2특징 추출부 23135: 회기 신경망 학습부
23137: 변형연산부
2315: 이미지생성부 23151: 제1인코더
23153: 제2인코더 23155: 디코더
233: 판별자 네트워크 25: 평가부
30: 결과처리부 40: 사용자 인터페이스, UI
ci: 옷 이미지 Ii: 인물 이미지
F1(ci): 제1특징 F2(Iia): 제2특징
E1(ci): 제3특징 E2(Iia): 제4특징
Iia : 인물 이미지에서 옷의 정보를 제거한 이미지
Posei :인물 이미지(Ii)의 자세정보 ck: 임의의 옷 이미지
Ik:페이크 이미지 Tθ: 기하학적 변형
~Ii: 결과 이미지 Ladv: 적대적 손실함수

Claims (11)

  1. 외부로부터 이미지를 입력받는 이미지수신부, 상기 이미지수신부에서 입력받은 이미지로부터 기계학습을 통해 옷 이미지의 기하학적 변형 연산에 대한 파라미터를 추출하는 학습부를 가져 여러 포즈에 대한 이미지를 생성하는 가상피팅부 및 가상피팅 이미지인 결과이미지를 표시하는 결과처리부를 포함하되,
    상기 학습부는 옷의 정보를 제거한 이미지와 임의의 옷 이미지를 조합하여 페이크 이미지를 생성하는 생성자 네트워크, 자세정보를 통해 페이크 이미지와 인물 이미지를 판별하는 판별자 네트워크를 포함하여 생성적 적대신경망을 통해 학습하며,
    상기 생성자 네트워크는 옷 이미지와 인물 이미지에 대한 정보를 입력받는 정보입력부를 포함하되,
    상기 정보입력부는 옷 이미지를 입력하는 타겟이미지 입력모듈, 인물 이미지를 입력하는 인물이미지 입력모듈 및 상기 인물 이미지에서 옷의 정보를 제거한 이미지를 가공하고, 인물 이미지의 자세정보를 추출하여 학습에 사용하도록 하는 전처리모듈을 포함하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  2. 제1항에 있어서, 상기 가상피팅부는 옷 이미지와 옷을 착용한 상태에서의 인물의 이미지로부터 학습에 사용되는 학습데이터를 수집하는 학습데이터 수집부를 더 포함하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  3. 삭제
  4. 제1항에 있어서, 상기 생성자 네트워크는 상기 정보입력부로부터 입력받은 이미지로부터 특징을 추출하여 옷의 기하학적 변형을 연산하는 매칭부 및 상기 매칭부에서 도출된 매개변수를 적용하여 가상피팅 이미지인 결과이미지를 생성하는 이미지생성부를 더 포함하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  5. 삭제
  6. 제4항에 있어서, 상기 매칭부는 옷 이미지로부터 제1특징을 추출하는 제1특징추출부와, 인물 이미지로부터 제2특징을 추출하는 제2특징추출부와, 회기 신경망을 통해 기하학적 변형 연산에 대한 파라미터를 도출하는 회기 신경망 학습부 및 상기 파라미터를 이용하여 옷 이미지의 기하학적 변형을 연산하는 변형 연산부를 포함하여 가상피팅 이미지에 사용되는 옷 이미지의 변형을 매칭하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  7. 제6항에 있어서, 상기 제2특징추출부는 인물 이미지로부터 옷의 정보를 제거한 이미지를 가공한 후, 제2특징을 추출하여 인물의 자세정보를 추출하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  8. 제4항에 있어서, 상기 이미지생성부는 상기 옷 이미지로부터 제3특징을 추출하는 제1인코더와, 상기 인물 이미지로부터 제4특징을 추출하는 제2인코더 및 상기 제1인코더와 제2인코더로부터 전송된 특징을 기반으로 결과이미지를 생성하는 디코더를 포함하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  9. 제8항에 있어서, 상기 이미지생성부는 샴(Siamese) U-네트워크 구조를 형성하며, 상기 디코더는 상기 제1인코더로부터 전송되는 옷 이미지의 제3특징에 기하학적 변형을 적용하여 옷 이미지의 형태를 실제 착용하는 옷의 형태로 변형하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  10. 제1항에 있어서, 상기 판별자 네트워크는 목적함수를 가지며, 상기 목적함수는 상기 판별자 네트워크의 정확성을 위해 적대적 손실함수를 포함하는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
  11. 제10항에 있어서, 상기 적대적 손실함수는 상기 판별자 네트워크가 생성자 네트워크가 생성한 페이크 이미지와 자세정보를 기반으로 판별하는 확률에 대한 함수이며, 하기의 수학식 1로 나타내어지는 것을 특징으로 하는 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템.
    (수학식 1)
    Figure 112020003091054-pat00003

    이때, Ladv는 적대적 손실함수, ck는 임의의 옷 이미지, Iia는 옷을 착용한 인물 이미지 Ii에서 옷의 정보를 제거한 이미지, Posei는 추출된 인물의 자세정보, D는 판별자 네트워크가 판별할 확률, G는 생성자 네트워크가 생성한 페이크 이미지임





KR1020200003773A 2020-01-10 2020-01-10 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 KR102326902B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003773A KR102326902B1 (ko) 2020-01-10 2020-01-10 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003773A KR102326902B1 (ko) 2020-01-10 2020-01-10 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템

Publications (2)

Publication Number Publication Date
KR20210090456A KR20210090456A (ko) 2021-07-20
KR102326902B1 true KR102326902B1 (ko) 2021-11-17

Family

ID=77127420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003773A KR102326902B1 (ko) 2020-01-10 2020-01-10 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템

Country Status (1)

Country Link
KR (1) KR102326902B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240037753A (ko) 2022-09-15 2024-03-22 서울대학교산학협력단 다양한 포즈와 체형을 지원하며 의상의 상세 특성을 정확하게 반영하는 가상 의상 시착 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822175B (zh) * 2021-09-03 2023-09-01 西安工程大学 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法
KR102423989B1 (ko) 2022-05-02 2022-07-22 주식회사 패션에이드 블록체인 기반의 디지털 의상 재조합 시스템 및 방법
KR102652199B1 (ko) * 2023-10-11 2024-03-29 주식회사 패션에이드 포즈추정 기반의 영상 컨텐츠 생성 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144890A (ja) * 2018-02-21 2019-08-29 株式会社東芝 仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311339B2 (en) * 2008-11-05 2012-11-13 Palo Alto Research Center Incorporated Method to robustly match images with similar body and head pose from image sequence
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
KR102580009B1 (ko) 2015-08-04 2023-09-18 주식회사 엘지유플러스 의류 피팅 시스템 및 의류 피팅 시스템의 동작 방법
KR102134476B1 (ko) * 2018-03-30 2020-08-26 경일대학교산학협력단 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144890A (ja) * 2018-02-21 2019-08-29 株式会社東芝 仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240037753A (ko) 2022-09-15 2024-03-22 서울대학교산학협력단 다양한 포즈와 체형을 지원하며 의상의 상세 특성을 정확하게 반영하는 가상 의상 시착 방법 및 장치

Also Published As

Publication number Publication date
KR20210090456A (ko) 2021-07-20

Similar Documents

Publication Publication Date Title
KR102326902B1 (ko) 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
JP7200139B2 (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
Lassner et al. A generative model of people in clothing
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CA2734143C (en) Method and apparatus for estimating body shape
CN109840825A (zh) 基于用户的物理特征的推荐系统
CN108921123A (zh) 一种基于双重数据增强的人脸识别方法
CN108090408A (zh) 用于执行脸部表情识别和训练的方法和设备
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
Do et al. Real-time and robust multiple-view gender classification using gait features in video surveillance
Liang et al. Resolving ambiguous hand pose predictions by exploiting part correlations
CN116091667B (zh) 一种基于aigc技术的人物艺术形象生成系统
CN117475258A (zh) 虚拟试衣模型的训练方法、虚拟试衣方法及电子设备
Shadrach et al. Smart virtual trial room for apparel industry
Makarov et al. Real-time 3d model reconstruction and mapping for fashion
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
Mosayyebi et al. Gender recognition in masked facial images using EfficientNet and transfer learning approach
Sharma et al. Multimodal biometric for person identification using deep learning approach
CN113902989A (zh) 直播场景检测方法、存储介质及电子设备
CN109159129A (zh) 一种基于人脸表情识别的智能陪伴机器人
Hasan et al. Gesture feature extraction for static gesture recognition
Liu et al. Design and implementation of hair recommendation system based on face recognition
Benavent-Lledo et al. Predicting human-object interactions in egocentric videos
Saha et al. Identification of Odissi dance video using Kinect sensor

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant