KR20230128764A - Apparatus for generating virtual wearing image robust to lighting change and method using the same - Google Patents

Apparatus for generating virtual wearing image robust to lighting change and method using the same Download PDF

Info

Publication number
KR20230128764A
KR20230128764A KR1020220026052A KR20220026052A KR20230128764A KR 20230128764 A KR20230128764 A KR 20230128764A KR 1020220026052 A KR1020220026052 A KR 1020220026052A KR 20220026052 A KR20220026052 A KR 20220026052A KR 20230128764 A KR20230128764 A KR 20230128764A
Authority
KR
South Korea
Prior art keywords
image
lighting
clothing
user
warping
Prior art date
Application number
KR1020220026052A
Other languages
Korean (ko)
Inventor
김영희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220026052A priority Critical patent/KR20230128764A/en
Publication of KR20230128764A publication Critical patent/KR20230128764A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

조명 변화에 강인한 가상 착용 이미지 생성 장치 및 이를 이용한 방법이 개시된다. 본 발명의 일실시예에 따른 가상 착용 이미지 생성 방법은 사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리하는 단계; 사용자 데이터를 기반으로 조명값이 분리된 타겟 의상 이미지를 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성하는 단계; 와핑 파라미터를 기반으로 타겟 의상 이미지에서 분리된 조명값을 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성하는 단계; 및 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지, 와핑 조명 이미지 및 조명값을 이용하여 가상 착용 이미지를 생성하는 단계를 포함한다.Disclosed are a device for generating a virtual wearing image that is robust to changes in lighting and a method using the same. A method for generating a virtual wearing image according to an embodiment of the present invention includes the steps of separating a lighting value from a user clothing image and a target clothing image to be virtually worn; Generating a warped clothing image by warping a target clothing image from which lighting values are separated based on user data to correspond to a user clothing image; Generating a warped lighting image by warping the lighting values separated from the target clothing image to correspond to the user clothing image based on the warping parameter; and generating a virtual wearing image using the user data, the user's clothing image, the warping clothing image, the warping lighting image, and the lighting value.

Description

조명 변화에 강인한 가상 착용 이미지 생성 장치 및 이를 이용한 방법 {APPARATUS FOR GENERATING VIRTUAL WEARING IMAGE ROBUST TO LIGHTING CHANGE AND METHOD USING THE SAME}Apparatus for generating a virtual wearing image robust to lighting changes and method using the same

본 발명은 조명 변화에 강인한 가상 착용 이미지 생성 기술에 관한 것으로, 특히 영상을 이용하여 의상을 착용한 영상을 가상으로 생성할 경우에 입력되는 영상의 조명 환경에 영향을 받지 않고 일관된 성능을 보여주는 착용 영상을 생성하는 머신러닝 기술에 관한 것이다.The present invention relates to a technology for generating a virtual wearing image that is robust to lighting changes, and in particular, when an image of wearing a costume is virtually generated using an image, the wearing image showing consistent performance without being affected by the lighting environment of the input image. It is about a machine learning technique that generates.

의류나 패션 아이템 등을 가상으로 착용해보는 서비스는 온/오프라인 패션 시장에서 확대되고 있다. 가상 착용 영상 생성 기술은 3차원 인체 모델과 3차원 의류 데이터를 사용하여 착용 영상을 생성하는 경우가 대부분이다. 이 경우, 사람의 체형을 반영하여 정확한 착용 영상을 생성할 수 있지만, 3차원 데이터를 획득하기 쉽지 않아서 널리 사용되기에는 제한적이다. Virtually trying on clothes or fashion items is expanding in the online/offline fashion market. In most cases, virtual wearing image generation technology generates a wearing image using a 3D human body model and 3D clothing data. In this case, it is possible to generate an accurate wearing image by reflecting a person's body shape, but it is not easy to obtain 3D data, so its wide use is limited.

최근 딥러닝 기술을 기반으로 사람 모델 이미지와 의류 이미지를 입력으로 사용하여 착용 영상을 생성하는 연구가 활발히 진행되고 있으며, 좋은 성능을 보여주고 있다. 이미지를 기반으로 착용 영상을 생성하는 기술은, 복잡한 3차원 정보를 필요로 하지 않고 쉽게 이미지를 획득할 수 있어서 큰 관심을 받고 있다.Recently, based on deep learning technology, research on generating wearing images using human model images and clothing images as inputs has been actively conducted, showing good performance. A technology for generating a wearing image based on an image is attracting great attention because it does not require complicated 3D information and can easily acquire an image.

이 때, 이미지를 기반으로 착용 영상을 생성하는 과정에서는 조명이나 빛의 환경에 따라 의상의 컬러가 변화할 수 있고, 이는 최종적으로 착용 영상을 생성할 때 성능에 큰 영향을 줄 수 있다. 그러나 딥러닝 기반의 착용 영상 생성 방법에서 사용되는 학습 데이터가 모든 조명 환경을 포함하기는 어렵고, 오히려 특정 조명 환경에서 획득된 이미지만을 사용하는 경우가 많다. 이러한 현상은 학습 데이터나 테스트 데이터가 아닌 다양한 실제 데이터를 학습 모델에 적용했을 때, 학습 데이터에서 보였던 좋은 결과를 생성하지 못하는 문제를 발생시킬 수 있다.At this time, in the process of generating the wearing image based on the image, the color of the clothes may change according to the lighting or light environment, which may have a great effect on performance when the wearing image is finally generated. However, it is difficult for the learning data used in the deep learning-based wearing image generation method to include all lighting environments, and rather, in many cases, only images obtained in a specific lighting environment are used. This phenomenon may cause a problem in that good results shown in the training data are not generated when various actual data other than training data or test data are applied to the learning model.

한국 공개 특허 제10-2021-0056595호, 2021년 5월 20일 공개(명칭: 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치)Korean Patent Publication No. 10-2021-0056595, published on May 20, 2021 (Title: Image-based virtual costume wearing method using subject's posture estimation and change, recording medium and device for performing this)

본 발명의 목적은 조명 환경에 크게 영향을 받지 않고 일관된 성능을 보이는 착용 이미지 생성 기술을 제공하는 것이다.An object of the present invention is to provide a wearing image generation technology that shows consistent performance without being greatly affected by the lighting environment.

또한, 본 발명의 목적은 조명 값이 제거된 의상 이미지로 와핑 모듈을 학습시킴으로써 조명 환경에 따라 의상의 색이 변하는 현상으로 인한 와핑 오류를 감소시키는 것이다.Another object of the present invention is to reduce a warping error due to a phenomenon in which the color of clothing changes according to a lighting environment by learning a warping module with a clothing image from which lighting values are removed.

또한, 본 발명의 목적은 조명 변화에 강인한 와핑 모듈로 의상의 와핑을 정확하게 수행하고, 의상에서 추출된 조명값 또한 정확하게 와핑을 수행하여 보다 자연스러운 가상 착용 영상을 생성하는 것이다.In addition, an object of the present invention is to accurately perform warping of clothing with a warping module that is robust to lighting changes, and to generate a more natural virtual wearing image by accurately performing warping on lighting values extracted from clothing.

상기한 목적을 달성하기 위한 본 발명에 따른 가상 착용 이미지 생성 방법은 사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리하는 단계; 사용자 데이터를 기반으로 상기 조명값이 분리된 타겟 의상 이미지를 상기 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성하는 단계; 와핑 파라미터를 기반으로 상기 타겟 의상 이미지에서 분리된 조명값을 상기 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성하는 단계; 및 상기 사용자 데이터, 상기 사용자 의상 이미지, 상기 와핑 의상 이미지, 상기 와핑 조명 이미지 및 상기 조명값을 이용하여 가상 착용 이미지를 생성하는 단계를 포함한다.To achieve the above object, a method for generating a virtual wearing image according to the present invention includes the steps of separating a lighting value from a user clothing image and a target clothing image to be virtually worn; generating a warped clothing image by warping the target clothing image from which the lighting values are separated to correspond to the user clothing image based on user data; generating a warped lighting image by warping the lighting values separated from the target clothing image to correspond to the user clothing image based on a warping parameter; and generating a virtual wearing image using the user data, the user's clothing image, the warping clothing image, the warping lighting image, and the illumination value.

이 때, 가상 착용 이미지를 생성하는 단계는 상기 와핑 조명 이미지에 상기 사용자 의상 이미지에서 분리된 조명값을 합성하여 상기 와핑 의상 이미지에 상응하는 조명값을 생성하는 단계; 및 딥러닝 기반의 영상 생성 알고리즘으로 상기 사용자 데이터, 상기 사용자 의상 이미지, 상기 와핑 의상 이미지 및 상기 와핑 의상 이미지에 상응하는 조명값을 입력하는 단계를 포함할 수 있다.At this time, the generating of the virtual wearing image may include generating a lighting value corresponding to the warping clothing image by synthesizing the lighting value separated from the user clothing image with the warping lighting image; and inputting the user data, the user's clothing image, the warping clothing image, and lighting values corresponding to the warping clothing image to a deep learning-based image generation algorithm.

이 때, 와핑 파라미터는 학습이 완료된 딥러닝 기반의 와핑 알고리즘을 통해 획득될 수 있다.At this time, the warping parameter may be obtained through a deep learning-based warping algorithm that has been learned.

이 때, 와핑 알고리즘은 이미지에서 조명값이 분리된 학습 데이터를 이용하여 학습될 수 있다.In this case, the warping algorithm may be learned using learning data from which lighting values are separated from the image.

이 때, 사용자 데이터는 사용자 이미지, 사용자 이미지에서 의상 영역 정보, 관절 정보, 자세 정보, 실루엣 및 사용자 이미지에서 사람 영역에 대한 세그멘테이션 중 적어도 하나를 포함할 수 있다.In this case, the user data may include at least one of a user image, clothing region information in the user image, joint information, posture information, a silhouette, and segmentation of a human region in the user image.

또한, 본 발명의 일실시예에 따른 가상 착용 이미지 생성 장치는 사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리하고, 사용자 데이터를 기반으로 상기 조명값이 분리된 타겟 의상 이미지를 상기 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성하고, 와핑 파라미터를 기반으로 상기 타겟 의상 이미지에서 분리된 조명값을 상기 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성하고, 상기 사용자 데이터, 상기 사용자 의상 이미지, 상기 와핑 의상 이미지, 상기 와핑 조명 이미지 및 상기 조명값을 이용하여 가상 착용 이미지를 생성하는 프로세서; 및 상기 사용자 의상 이미지 및 상기 타겟 의상 이미지를 저장하는 메모리를 포함한다.In addition, the apparatus for generating a virtual wearing image according to an embodiment of the present invention separates lighting values from a user clothing image and a target clothing image to be virtually worn, and displays the target clothing image from which the lighting values are separated based on user data. Generating a warped clothing image that is warped to correspond to a user clothing image, and based on a warping parameter, a lighting value separated from the target clothing image is warped to correspond to the user clothing image to generate a warped lighting image, the a processor generating a virtual wearing image using user data, the user clothing image, the warping clothing image, the warping lighting image, and the illumination value; and a memory for storing the user clothing image and the target clothing image.

이 때, 프로세서는 상기 와핑 조명 이미지에 상기 사용자 의상 이미지에서 분리된 조명값을 합성하여 상기 와핑 의상 이미지에 상응하는 조명값을 생성하고, 딥러닝 기반의 영상 생성 알고리즘으로 상기 사용자 데이터, 상기 사용자 의상 이미지, 상기 와핑 의상 이미지 및 상기 와핑 의상 이미지에 상응하는 조명값을 입력할 수 있다.At this time, the processor synthesizes the lighting values separated from the user clothing image with the warping lighting image to generate lighting values corresponding to the warping clothing image, and uses a deep learning-based image generation algorithm to generate the user data and the user clothing An image, the warping clothes image, and a lighting value corresponding to the warping clothes image may be input.

이 때, 와핑 파라미터는 학습이 완료된 딥러닝 기반의 와핑 알고리즘을 통해 획득될 수 있다.At this time, the warping parameter may be obtained through a deep learning-based warping algorithm that has been learned.

이 때, 와핑 알고리즘은 이미지에서 조명값이 분리된 학습 데이터를 이용하여 학습될 수 있다.In this case, the warping algorithm may be learned using learning data from which lighting values are separated from the image.

이 때, 사용자 데이터는 사용자 이미지, 사용자 이미지에서 의상 영역 정보, 관절 정보, 자세 정보, 실루엣 및 사용자 이미지에서 사람 영역에 대한 세그멘테이션 중 적어도 하나를 포함할 수 있다.In this case, the user data may include at least one of a user image, clothing region information in the user image, joint information, posture information, a silhouette, and segmentation of a human region in the user image.

본 발명에 따르면, 조명 환경에 크게 영향을 받지 않고 일관된 성능을 보이는 착용 이미지 생성 기술을 제공할 수 있다.According to the present invention, it is possible to provide a wearing image generation technology that shows consistent performance without being greatly affected by the lighting environment.

또한, 본 발명은 조명 값이 제거된 의상 이미지로 와핑 모듈을 학습시킴으로써 조명 환경에 따라 의상의 색이 변하는 현상으로 인한 와핑 오류를 감소시킬 수 있다.In addition, the present invention can reduce a warping error due to a phenomenon in which the color of clothing changes according to the lighting environment by learning the warping module with the clothing image from which the lighting value is removed.

또한, 본 발명은 조명 변화에 강인한 와핑 모듈로 의상의 와핑을 정확하게 수행하고, 의상에서 추출된 조명값 또한 정확하게 와핑을 수행하여 보다 자연스러운 가상 착용 영상을 생성할 수 있다.In addition, the present invention can generate a more natural virtual wearing image by accurately performing warping of clothing with a warping module that is robust against changes in lighting and accurately performing warping of lighting values extracted from clothing.

도 1은 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 5는 본 발명에 따른 가상 착용 이미지 생성 과정 중 와핑된 의상 이미지를 생성하는 상세한 과정의 일 예를 나타낸 도면이다.
도 6 내지 도 8은 본 발명에 따른 가상 착용 이미지 생성 과정 중 와핑된 이미지들을 이용하여 가상 착용 이미지를 생성하는 상세한 과정의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 장치를 나타낸 블록도이다.1 is a diagram illustrating a system for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention.
2 is an operation flowchart illustrating a method of generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention.
3 to 5 are diagrams illustrating an example of a detailed process of generating a warped clothing image during a process of generating a virtual wearing image according to the present invention.
6 to 8 are diagrams illustrating an example of a detailed process of generating a virtual worn image using warped images during the process of generating a virtual worn image according to the present invention.
9 is a block diagram illustrating an apparatus for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 시스템을 나타낸 도면이다.1 is a diagram illustrating a system for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 시스템은 가상 착용 이미지 생성 장치(110), 사용자 단말장치(120) 및 네트워크(130)를 포함한다. Referring to FIG. 1 , a system for generating a virtual worn image that is robust to changes in lighting according to an embodiment of the present invention includes a virtual worn image generating device 110 , a user terminal device 120 and a network 130 .

가상 착용 이미지 생성 장치(110)는 사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리한다.The virtual wearing image generating device 110 separates lighting values from a user's clothing image and a target clothing image to be virtually worn.

또한, 가상 착용 이미지 생성 장치(110)는 사용자 데이터를 기반으로 조명값이 분리된 타겟 의상 이미지를 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성한다. In addition, the virtual wearing image generating device 110 generates a warped clothing image obtained by warping the target clothing image from which lighting values are separated based on user data to correspond to the user's clothing image.

또한, 가상 착용 이미지 생성 장치(110)는 와핑 파라미터를 기반으로 타겟 의상 이미지에서 분리된 조명값을 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성한다. In addition, the virtual wearing image generating apparatus 110 generates a warping lighting image by warping the lighting values separated from the target clothing image to correspond to the user clothing image based on the warping parameter.

이 때, 와핑 파라미터는 학습이 완료된 딥러닝 기반의 와핑 알고리즘을 통해 획득될 수 있다. At this time, the warping parameter may be obtained through a deep learning-based warping algorithm that has been learned.

이 때, 와핑 알고리즘은 이미지에서 조명값이 분리된 학습 데이터를 이용하여 학습될 수 있다. In this case, the warping algorithm may be learned using learning data from which lighting values are separated from the image.

또한, 가상 착용 이미지 생성 장치(110)는 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지, 와핑 조명 이미지 및 조명값을 이용하여 가상 착용 이미지를 생성한다. Also, the virtual wearing image generating device 110 generates a virtual wearing image using user data, a user's clothing image, a warping clothing image, a warping lighting image, and lighting values.

이 때, 와핑 조명 이미지에 사용자 의상 이미지에서 분리된 조명값을 합성하여 와핑 의상 이미지에 상응하는 조명값을 생성하고, 딥러닝 기반의 영상 생성 알고리즘으로 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지 및 와핑 의상 이미지에 상응하는 조명값을 입력할 수 있다. At this time, a lighting value corresponding to the warping clothing image is created by synthesizing the lighting value separated from the user clothing image with the warping lighting image, and the user data, the user clothing image, the warping clothing image and the warping You can input the lighting value corresponding to the clothing image.

이 때, 사용자 데이터는 사용자 이미지, 사용자 이미지에서 의상 영역 정보, 관절 정보, 자세 정보, 실루엣 및 사용자 이미지에서 사람 영역에 대한 세그멘테이션 중 적어도 하나를 포함할 수 있다. In this case, the user data may include at least one of a user image, clothing region information in the user image, joint information, posture information, a silhouette, and segmentation of a human region in the user image.

사용자 단말장치(120)는 네트워크(130)를 통해 가상 착용 이미지 생성 장치(110)로 접속하여 서비스를 제공받을 수 있다. The user terminal device 120 may access the virtual wearing image generating device 110 through the network 130 and receive a service.

예를 들어, 사용자가 사용자 단말장치(120)를 통해 일반적인 의상을 입고있는 자신의 사진과 가상으로 착용해보고 싶은 타겟 의상의 이미지를 가상 착용 이미지 생성 장치(110)로 입력하면, 가상 착용 이미지 생성 장치(110)로부터 자신이 타겟 의상을 착용한 상태의 가상 착용 이미지를 제공받을 수 있다. For example, when a user inputs a picture of himself wearing a general costume and an image of a target costume he wants to virtually wear to the virtual wearing image generating device 110 through the user terminal device 120, the virtual wearing image generating device A virtual wearing image of the wearer himself/herself wearing the target garment may be provided from (110).

네트워크(130)는 가상 착용 이미지 생성 장치(110)와 사용자 단말장치(120) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.The network 130 provides a path through which data is transmitted between the virtual wearing image generating device 110 and the user terminal device 120, and is a concept encompassing both existing networks and networks that can be developed in the future. For example, the network includes a wired and wireless local area network that provides communication between various information devices within a limited area, a mobile communication network that provides communication between mobile bodies and between mobile bodies and the outside of the mobile body, and a satellite that provides communication between earth stations and earth stations. It may be a satellite communication network or any one of wired and wireless communication networks, or a combination of two or more. Meanwhile, the transmission method standards of the network are not limited to existing transmission method standards, and may include all transmission method standards to be developed in the future.

딥러닝 기반의 학습 과정에서, 학습 데이터가 다양한 조명 환경을 학습시킬만큼 조명 환경의 데이터를 충분히 포함하는 것은 어려운 일이다. 특히, 조명은 사람이 착용하고 있는 의상 이미지와 가상으로 착용시킬 의상 이미지 간의 상관관계를 학습하는 와핑 과정에 영향을 준다. In the deep learning-based learning process, it is difficult to include sufficient lighting environment data to allow training data to learn various lighting environments. In particular, lighting influences a warping process in which a correlation between an image of clothes worn by a person and an image of clothes to be virtually worn is learned.

이와 같은 문제를 해결하기 위해, 본 발명에서는 딥러닝 기반의 알고리즘으로 입력되는 사용자 의상 이미지와 타겟 의상 이미지에서 각각 조명값을 제거하여 와핑 모듈의 입력으로 사용함으로써 다양한 조명 환경에서도 강인한 가상 착용 이미지 생성 기술을 제안하고자 한다. In order to solve this problem, in the present invention, the lighting value is removed from each of the user clothing image and the target clothing image input by a deep learning-based algorithm and used as an input of the warping module. Virtual wearing image generation technology that is robust in various lighting environments would like to propose

도 2는 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 방법을 나타낸 동작 흐름도이다.2 is an operation flowchart illustrating a method of generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 방법은 사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리한다(S210).Referring to FIG. 2 , in the method for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention, lighting values are separated from a user clothing image and a target clothing image to be virtually worn (S210).

이 때, 사용자 의상 이미지는 사용자를 촬영한 이미지에서 사용자가 착용하고 있는 의상 영역만 추출한 이미지에 해당할 수 있다. In this case, the user's clothing image may correspond to an image obtained by extracting only the clothing region worn by the user from a photographed image of the user.

예를 들어, 도 4를 참조하면, 사용자 이미지(400)에서 의상 영역만 추출하여 사용자 의상 이미지(401)를 획득할 수 있다. For example, referring to FIG. 4 , a user clothing image 401 may be obtained by extracting only a clothing area from a user image 400 .

이 때, 타겟 의상 이미지는 사용자에게 가상으로 착용시켜볼 의상에 대한 이미지에 해당할 수 있다. In this case, the target clothing image may correspond to an image of clothing to be virtually worn by the user.

이 때, 사용자 이미지를 획득하기 위해 사용자를 촬영할 때의 조명 환경과 타겟 의상 이미지를 획득하기 위해 타겟 의상을 촬영할 때의 조명 환경이 완전히 동일하기 어렵기 때문에 각각의 이미지에서 분리된 사용자 의상 이미지의 조명값과 타겟 의상 이미지의 조명값은 상이할 수 있다. At this time, since the lighting environment for photographing the user to obtain the user image and the lighting environment for photographing the target clothing to obtain the target clothing image are difficult to be completely identical, the lighting of the user's clothing image separated from each image. The value and the lighting value of the target clothing image may be different.

또한, 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 방법은 사용자 데이터를 기반으로 조명값이 분리된 타겟 의상 이미지를 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성한다(S220).In addition, the method for generating a virtual wearing image that is robust to lighting changes according to an embodiment of the present invention generates a warping clothing image by warping a target clothing image from which lighting values are separated based on user data to correspond to a user clothing image Do (S220).

예를 들어, 도 3을 참조하면, 별도의 조명값 분리 모듈(P1)로 사용자 의상 이미지와 타겟 의상 이미지를 입력하여 조명값 제거된 사용자 의상 이미지(R1), 조명값 제거된 타겟 의상 이미지(R2), 사용자 의상의 조명 이미지(=사용자 의상의 조명값)(R3) 및 타겟 의상의 조명 이미지(=타겟 의상의 조명값)(R4)을 각각 생성할 수 있다. For example, referring to FIG. 3 , a user clothing image and a target clothing image are input to a separate lighting value separation module P1 to obtain a user clothing image R1 from which lighting values have been removed and a target clothing image R2 from which lighting values have been removed. ), a lighting image of the user's clothing (= lighting value of the user's clothing) (R3) and a lighting image of the target clothing (= lighting value of the target clothing) (R4) may be generated.

즉, 도 4에 도시된 것처럼, 사용자 이미지(400)에서 추출된 사용자 의상 이미지(401)와 타겟 의상 이미지(402)를 조명값 분리 모듈(P1)로 입력할 수 있다. 조명값 분리 모듈(P1)에서는 사용자 의상 이미지(401)에서 조명값을 분리하여 조명값 제거된 사용자 의상 이미지(R1)(410)와 사용자 의상의 조명 이미지(R3)(430)을 생성할 수 있고, 타겟 의상 이미지(402)에서 조명값을 분리하여 조명값 제거된 타겟 의상 이미지(R2)(420)와 타겟 의상의 조명 이미지(R4)(440)를 생성할 수 있다. That is, as shown in FIG. 4 , the user clothing image 401 extracted from the user image 400 and the target clothing image 402 may be input to the lighting value separation module P1. The lighting value separation module P1 separates the lighting value from the user clothing image 401 to generate a user clothing image R1 410 from which the lighting value has been removed and a lighting image R3 430 of the user clothing. , It is possible to generate a target clothing image (R2) 420 from which the lighting value has been removed and a lighting image (R4) 440 of the target clothing by separating the lighting values from the target clothing image 402.

이 때, 각각의 이미지들에서 분리된 조명값인 사용자 의상의 조명 이미지(R3)(430)와 타겟 의상의 조명 이미지(R4)(440)는 원본 이미지와 동일한 크기의 음영 영상에 해당할 수 있다. At this time, the lighting image (R3) 430 of the user's clothing and the lighting image (R4) 440 of the target clothing, which are separate lighting values from the respective images, may correspond to a shadow image having the same size as the original image. .

다시 도 3으로 돌아가서, 와핑 모듈(P2)로 사용자 데이터, 조명값 제거된 사용자 의상 이미지(R1), 조명값 제거된 타겟 의상 이미지(R2)를 입력하여 와핑된 의상 이미지(R5)를 생성할 수 있다. Returning to FIG. 3 again, the warped clothing image R5 can be generated by inputting user data, the user clothing image R1 from which lighting values have been removed, and the target clothing image R2 from which lighting values have been removed to the warping module P2. there is.

즉, 도 5에 도시된 것처럼, 사용자 데이터, 조명값 제거된 사용자 의상 이미지(R1)(410) 및 조명값 제거된 타겟 의상 이미지(R2)를 와핑 모듈(P2)로 입력하여 와핑된 의상 이미지(R5)(500)를 생성할 수 있다.That is, as shown in FIG. 5, a warped clothing image ( R5) (500) can be created.

이 때, 와핑된 의상 이미지(R5)(500)는 조명값 제거된 타겟 의상 이미지(R2)를 조명값 제거된 사용자 의상 이미지(R1)(410)에 맞게 기하변환, 즉 와핑하여 생성된 이미지에 해당할 수 있다.At this time, the warped clothing image (R5) 500 is an image generated by geometric transformation, that is, warping, to fit the target clothing image R2 from which the lighting value has been removed to the user clothing image R1 410 from which the lighting value has been removed. may apply.

이 때, 와핑 모듈(P2)은 조명값이 분리된 의상 이미지들 간의 상관관계를 학습한 딥러닝 기반의 와핑 알고리즘에 상응하게 구동하는 모듈로, CP-VTON(Toward Characteristic-Preserving Image-based Virtual Try-On Network) 또는 Parser-Free Virtual Try-on via Distilling Appearance Flows와 같은 네트워크에 상응하게 동작할 수 있다. At this time, the warping module (P2) is a module that operates in accordance with the deep learning-based warping algorithm that has learned the correlation between clothing images from which lighting values are separated, CP-VTON (Toward Characteristic-Preserving Image-based Virtual Try) -On Network) or Parser-Free Virtual Try-on via Distilling Appearance Flows.

또한, 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 방법은 와핑 파라미터를 기반으로 타겟 의상 이미지에서 분리된 조명값을 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성한다(S230).In addition, the method for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention generates a warping lighting image by warping lighting values separated from a target clothing image to correspond to a user clothing image based on a warping parameter (S230 ).

이 때, 와핑 파라미터는 학습이 완료된 딥러닝 기반의 와핑 알고리즘을 통해 획득될 수 있다. At this time, the warping parameter may be obtained through a deep learning-based warping algorithm that has been learned.

이 때, 와핑 알고리즘은 이미지에서 조명값이 분리된 학습 데이터를 이용하여 학습될 수 있다. 즉, 와핑 알고리즘은 조명값이 제거된 사용자 의상 이미지와 조명값이 제거된 타겟 의상 이미지를 이용하여 학습되되, 조명값이 제거된 타겟 의상 이미지를 조명값이 제거된 사용자 의상 이미지의 형태로 기하변형하는 학습을 수행할 수 있다.In this case, the warping algorithm may be learned using learning data from which lighting values are separated from the image. That is, the warping algorithm is learned using the user clothing image from which lighting values have been removed and the target clothing image from which lighting values have been removed, and the target clothing image from which lighting values have been removed is geometrically transformed into the user clothing image from which lighting values have been removed. learning can be performed.

예를 들어, 도 6에 도시된 와핑 파라미터(P3)는 도 3에 도시된 와핑 모듈(P2)의 학습이 완료되어 생성된 파라미터에 상응할 수 있다. 따라서, 타겟 의상의 조명 이미지(R4)에 와핑 파라미터를 적용시켜 와핑 조명 이미지(R6)를 생성할 수 있다. For example, the warping parameter P3 shown in FIG. 6 may correspond to a parameter generated by completing learning of the warping module P2 shown in FIG. 3 . Accordingly, a warping lighting image R6 may be generated by applying a warping parameter to the lighting image R4 of the target garment.

즉, 7에 도시된 것처럼, 타겟 의상의 조명 이미지(R4)(440)에 와핑 파라미터(P3)를 적용시켜서 타겟 의상의 조명 이미지(R4)(440)의 형태를 도 5에 도시된 사용자 의상 이미지(R1)(410)에 맞게 기하변환한 와핑 조명 이미지(R6)(700)를 생성할 수 있다. That is, as shown in 7, the shape of the target clothing lighting image R4 440 is changed to the user clothing image shown in FIG. 5 by applying the warping parameter P3 to the lighting image R4 440 of the target clothing. A warping illumination image (R6) 700 obtained by geometric transformation according to (R1) 410 may be generated.

또한, 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 방법은 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지, 와핑 조명 이미지 및 조명값을 이용하여 가상 착용 이미지를 생성한다(S240).In addition, the method for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention generates a virtual wearing image using user data, a user's clothing image, a warping clothing image, a warping lighting image, and lighting values (S240).

이 때, 와핑 조명 이미지에 사용자 의상 이미지에서 분리된 조명값을 합성하여 와핑 의상 이미지에 상응하는 조명값을 생성할 수 있다. In this case, lighting values corresponding to the warping clothing image may be generated by synthesizing lighting values separated from the user's clothing image with the warping lighting image.

이 때, 딥러닝 기반의 영상 생성 알고리즘으로 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지 및 와핑 의상 이미지에 상응하는 조명값을 입력할 수 있다. At this time, user data, a user's clothing image, a warping clothing image, and lighting values corresponding to the warping clothing image may be input to the deep learning-based image generation algorithm.

예를 들어, 도 6을 참조하면, 와핑 파라미터가 적용되어 생성된 와핑 조명 이미지(R6)는 딥러닝 기반의 영상 생성 모듈(P4)로 입력되기 전에 사용자 의상의 조명 이미지(R3)와 합성되어 와핑된 의상 이미지(R5)에 상응하는 조명 이미지로 변형될 수 있다. 이렇게 생성된 와핑된 의상 이미지(R5)에 상응하는 조명 이미지는 사용자 데이터, 사용자 의상 이미지, 와핑된 의상 이미지(R5)와 함께 영상 생성 모듈(P4)로 입력되어 가상 착용 이미지(R7)를 생성하는데 사용될 수 있다. For example, referring to FIG. 6, the warped lighting image R6 generated by applying the warping parameter is synthesized with the lighting image R3 of the user's clothing before being input to the deep learning-based image generation module P4, and warping It can be transformed into a lighting image corresponding to the clothing image R5. The lighting image corresponding to the warped clothing image R5 generated in this way is input to the image generation module P4 together with user data, the user clothing image, and the warped clothing image R5 to generate a virtual wearing image R7. can be used

즉, 도 8에 도시된 것처럼, 와핑 조명 이미지(R6)(700)와 사용자 의상의 조명 이미지(R3)(430)를 합성하여 생성된 조명 이미지를 사용자 데이터, 사용자 의상 이미지(401), 와핑된 의상 이미지(R5)(500)와 함께 영상 생성 모듈(P4)로 입력하여 가상 착용 이미지(R7)(800)를 생성할 수 있다. That is, as shown in FIG. 8, the lighting image generated by synthesizing the warped lighting image (R6) 700 and the lighting image (R3) 430 of the user's clothing is user data, the user's clothing image 401, and the warped A virtual wearing image (R7) 800 may be generated by inputting the clothing image R5 500 to the image generating module P4.

따라서, 가상 착용 이미지는 최종적으로 조명이 반영된 실사와 같은 이미지에 상응하게 생성될 수 있다. Accordingly, the virtual wearing image may be finally generated corresponding to a real-life image in which lighting is reflected.

이 때, 도 6 및 도 8에 도시된 영상 생성 모듈(P4)은 착용할 사용자의 데이터와 와핑 모듈에서 생성한 조명값이 제거된 의상 이미지와 와핑처리된 조명 효과를 사용하여 최종적으로 가상 착용 이미지를 생성하는 딥러닝 알고리즘 기반의 모듈에 해당할 수 있다. At this time, the image generating module P4 shown in FIGS. 6 and 8 uses the clothing image from which the user's data to be worn and the lighting values generated by the warping module are removed and the warped lighting effect to finally create a virtual wearing image. It may correspond to a module based on a deep learning algorithm that generates

이 때, 영상 생성 모듈(P4)도 도 3 및 도 5에서 설명한 와핑 모듈(P2)과 유사하게 CP-VTON(Toward Characteristic-Preserving Image-based Virtual Try-On Network) 또는 Parser-Free Virtual Try-on via Distilling Appearance Flows와 같은 네트워크에 상응하게 동작할 수 있다. At this time, similar to the warping module P2 described with reference to FIGS. 3 and 5, the image generating module P4 is CP-VTON (Toward Characteristic-Preserving Image-based Virtual Try-On Network) or Parser-Free Virtual Try-on. It can operate correspondingly to networks such as via Distilling Appearance Flows.

이 때, 사용자 데이터는 사용자 이미지, 사용자 이미지에서 의상 영역 정보, 관절 정보, 자세 정보, 실루엣 및 사용자 이미지에서 사람 영역에 대한 세그멘테이션 중 적어도 하나를 포함할 수 있다. In this case, the user data may include at least one of a user image, clothing region information in the user image, joint information, posture information, a silhouette, and segmentation of a human region in the user image.

이와 같은 조명 변화에 강인한 가상 착용 이미지 생성 방법을 통해 조명 환경에 크게 영향을 받지 않고 일관된 성능을 보이는 착용 이미지 생성 기술을 제공할 수 있다. Through such a method for generating a virtual wearing image that is robust to changes in lighting, it is possible to provide a technology for generating a wearing image that shows consistent performance without being greatly affected by a lighting environment.

또한, 조명 값이 제거된 의상 이미지로 와핑 모듈을 학습시킴으로써 조명 환경에 따라 의상의 색이 변하는 현상으로 인한 와핑 오류를 감소시킬 수 있다. In addition, by learning the warping module with the clothing image from which the lighting value has been removed, warping errors due to a phenomenon in which the color of the clothing changes according to the lighting environment can be reduced.

또한, 조명 변화에 강인한 와핑 모듈로 의상의 와핑을 정확하게 수행하고, 의상에서 추출된 조명값 또한 정확하게 와핑을 수행하여 보다 자연스러운 가상 착용 영상을 생성할 수 있다.In addition, a more natural virtual wearing image may be generated by accurately performing warping of clothing with a warping module that is robust against changes in lighting and accurately performing warping of lighting values extracted from the clothing.

도 9는 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 장치를 나타낸 블록도이다.9 is a block diagram illustrating an apparatus for generating a virtual wearing image robust to lighting changes according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일실시예에 따른 조명 변화에 강인한 가상 착용 이미지 생성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(900)은 버스(920)를 통하여 서로 통신하는 하나 이상의 프로세서(910), 메모리(930), 사용자 입력 장치(940), 사용자 출력 장치(950) 및 스토리지(960)를 포함할 수 있다. 또한, 컴퓨터 시스템(900)은 네트워크(980)에 연결되는 네트워크 인터페이스(970)를 더 포함할 수 있다. 프로세서(910)는 중앙 처리 장치 또는 메모리(930)나 스토리지(960)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(930) 및 스토리지(960)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(931)이나 RAM(932)을 포함할 수 있다.Referring to FIG. 9 , an apparatus for generating a virtual worn image that is robust to lighting changes according to an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 9 , computer system 900 includes one or more processors 910, memory 930, user input devices 940, user output devices 950, and storage that communicate with each other via a bus 920. (960). In addition, computer system 900 may further include a network interface 970 coupled to network 980 . The processor 910 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 930 or the storage 960 . Memory 930 and storage 960 may be various types of volatile or non-volatile storage media. For example, the memory may include ROM 931 or RAM 932 .

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Accordingly, embodiments of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable by the computer are recorded. When executed by a processor, the computer readable instructions may perform a method according to at least one aspect of the present invention.

프로세서(910)는 사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리한다.The processor 910 separates lighting values from a user's clothing image and a target clothing image to be virtually worn.

또한, 프로세서(910)는 사용자 데이터를 기반으로 조명값이 분리된 타겟 의상 이미지를 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성한다.In addition, the processor 910 generates a warped clothing image obtained by warping the target clothing image from which lighting values are separated based on user data to correspond to the user clothing image.

또한, 프로세서(910)는 와핑 파라미터를 기반으로 타겟 의상 이미지에서 분리된 조명값을 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성한다.In addition, the processor 910 generates a warping lighting image obtained by warping the lighting values separated from the target clothing image to correspond to the user clothing image based on the warping parameter.

이 때, 와핑 파라미터는 학습이 완료된 딥러닝 기반의 와핑 알고리즘을 통해 획득될 수 있다. At this time, the warping parameter may be obtained through a deep learning-based warping algorithm that has been learned.

이 때, 와핑 알고리즘은 이미지에서 조명값이 분리된 학습 데이터를 이용하여 학습될 수 있다.In this case, the warping algorithm may be learned using learning data from which lighting values are separated from the image.

또한, 프로세서(910)는 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지, 와핑 조명 이미지 및 조명값을 이용하여 가상 착용 이미지를 생성한다.Also, the processor 910 generates a virtual wearing image using user data, a user's clothing image, a warping clothing image, a warping lighting image, and lighting values.

이 때, 와핑 조명 이미지에 사용자 의상 이미지에서 분리된 조명값을 합성하여 와핑 의상 이미지에 상응하는 조명값을 생성할 수 있다. In this case, lighting values corresponding to the warping clothing image may be generated by synthesizing lighting values separated from the user's clothing image with the warping lighting image.

이 때, 딥러닝 기반의 영상 생성 알고리즘으로 사용자 데이터, 사용자 의상 이미지, 와핑 의상 이미지 및 와핑 의상 이미지에 상응하는 조명값을 입력할 수 있다. At this time, user data, a user's clothing image, a warping clothing image, and lighting values corresponding to the warping clothing image may be input to the deep learning-based image generation algorithm.

이 때, 사용자 데이터는 사용자 이미지, 사용자 이미지에서 의상 영역 정보, 관절 정보, 자세 정보, 실루엣 및 사용자 이미지에서 사람 영역에 대한 세그멘테이션 중 적어도 하나를 포함한다. In this case, the user data includes at least one of a user image, clothing region information in the user image, joint information, posture information, a silhouette, and segmentation of a human region in the user image.

메모리(930)는 사용자 의상 이미지 및 타겟 의상 이미지를 저장한다.The memory 930 stores a user clothing image and a target clothing image.

이와 같은 조명 변화에 강인한 가상 착용 이미지 생성 장치를 이용함으로써 조명 환경에 크게 영향을 받지 않고 일관된 성능을 보이는 착용 이미지 생성 기술을 제공할 수 있다. By using such a virtual wearing image generating device that is robust to lighting changes, it is possible to provide a wearing image generating technology that shows consistent performance without being greatly affected by the lighting environment.

또한, 조명 값이 제거된 의상 이미지로 와핑 모듈을 학습시킴으로써 조명 환경에 따라 의상의 색이 변하는 현상으로 인한 와핑 오류를 감소시킬 수 있다. In addition, by learning the warping module with the clothing image from which the lighting value has been removed, warping errors due to a phenomenon in which the color of the clothing changes according to the lighting environment can be reduced.

또한, 조명 변화에 강인한 와핑 모듈로 의상의 와핑을 정확하게 수행하고, 의상에서 추출된 조명값 또한 정확하게 와핑을 수행하여 보다 자연스러운 가상 착용 영상을 생성할 수 있다.In addition, a more natural virtual wearing image may be generated by accurately performing warping of clothing with a warping module that is robust against changes in lighting and accurately performing warping of lighting values extracted from the clothing.

이상에서와 같이 본 발명에 따른 조명 변화에 강인한 가상 착용 이미지 생성 장치 및 이를 이용한 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the configuration and method of the embodiments described above are not limited to the apparatus for generating a virtual worn image that is robust to changes in illumination and the method using the same according to the present invention, but the embodiments are variously modified. All or part of each embodiment may be selectively combined to achieve this.

110: 가상 착용 이미지 생성 장치 120: 사용자 단말장치
130: 네트워크 400: 사용자 이미지
401: 사용자 의상 이미지 402: 타겟 의상 이미지
410: 조명값 제거된 사용자 의상 이미지
420: 조명값 제거된 타겟 의상 이미지
430: 사용자 의상의 조명 이미지 440: 타겟 의상의 조명 이미지
500: 와핑된 의상 이미지 700: 와핑 조명 이미지
800: 가상 착용 이미지 900: 컴퓨터 시스템
910: 프로세서 920: 버스
930: 메모리 931: 롬
932: 램 940: 사용자 입력 장치
950: 사용자 출력 장치 960: 스토리지
970: 네트워크 인터페이스 980: 네트워크110: virtual wearing image generating device 120: user terminal device
130: network 400: user image
401: user costume image 402: target costume image
410: User costume image with lighting value removed
420: target garment image with lighting values removed
430: lighting image of user's clothing 440: lighting image of target's clothing
500: warped costume image 700: warped light image
800: virtual wearing image 900: computer system
910: processor 920: bus
930: memory 931: ROM
932: RAM 940: User input device
950: user output device 960: storage
970: network interface 980: network

Claims (1)

사용자 의상 이미지와 가상으로 착용시킬 타겟 의상 이미지에서 조명값을 분리하는 단계;
사용자 데이터를 기반으로 상기 조명값이 분리된 타겟 의상 이미지를 상기 사용자 의상 이미지에 상응하게 와핑(WARPING)시킨 와핑 의상 이미지를 생성하는 단계;
와핑 파라미터를 기반으로 상기 타겟 의상 이미지에서 분리된 조명값을 상기 사용자 의상 이미지에 상응하게 와핑시킨 와핑 조명 이미지를 생성하는 단계; 및
상기 사용자 데이터, 상기 사용자 의상 이미지, 상기 와핑 의상 이미지, 상기 와핑 조명 이미지 및 상기 조명값을 이용하여 가상 착용 이미지를 생성하는 단계
를 포함하는 것을 특징으로 하는 가상 착용 이미지 생성 방법.Separating lighting values from a user's clothing image and a target clothing image to be virtually worn;
generating a warped clothing image by warping the target clothing image from which the lighting values are separated to correspond to the user clothing image based on user data;
generating a warped lighting image by warping the lighting values separated from the target clothing image to correspond to the user clothing image based on a warping parameter; and
Generating a virtual wearing image using the user data, the user clothing image, the warping clothing image, the warping lighting image, and the lighting value
A method for generating a virtual wearing image comprising a.
KR1020220026052A 2022-02-28 2022-02-28 Apparatus for generating virtual wearing image robust to lighting change and method using the same KR20230128764A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220026052A KR20230128764A (en) 2022-02-28 2022-02-28 Apparatus for generating virtual wearing image robust to lighting change and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220026052A KR20230128764A (en) 2022-02-28 2022-02-28 Apparatus for generating virtual wearing image robust to lighting change and method using the same

Publications (1)

Publication Number Publication Date
KR20230128764A true KR20230128764A (en) 2023-09-05

Family

ID=87973468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220026052A KR20230128764A (en) 2022-02-28 2022-02-28 Apparatus for generating virtual wearing image robust to lighting change and method using the same

Country Status (1)

Country Link
KR (1) KR20230128764A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056595A (en) 2019-11-11 2021-05-20 서울과학기술대학교 산학협력단 Method for virtual try-on system using human pose estimation and re-posing, recording medium and device for performing the method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056595A (en) 2019-11-11 2021-05-20 서울과학기술대학교 산학협력단 Method for virtual try-on system using human pose estimation and re-posing, recording medium and device for performing the method

Similar Documents

Publication Publication Date Title
US11915352B2 (en) Processing user selectable product images and facilitating visualization-assisted virtual dressing
EP3370208B1 (en) Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data
US10846836B2 (en) View synthesis using deep convolutional neural networks
US20210090209A1 (en) Virtual presentations without transformation-induced distortion of shape-sensitive areas
WO2018029670A1 (en) System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision
CN111787242B (en) Method and apparatus for virtual fitting
CN110264509A (en) Determine the method, apparatus and its storage medium of the pose of image-capturing apparatus
KR20200055841A (en) Learning data set generating apparatus and method for machine learning
CN113838176B (en) Model training method, three-dimensional face image generation method and three-dimensional face image generation equipment
CN111339918A (en) Image processing method, image processing device, computer equipment and storage medium
CN108876936B (en) Virtual display method and device, electronic equipment and computer readable storage medium
JP2016085579A (en) Image processing apparatus and method for interactive device, and the interactive device
CN115239861A (en) Face data enhancement method and device, computer equipment and storage medium
US10885708B2 (en) Automated costume augmentation using shape estimation
CN115100707A (en) Model training method, video information generation method, device and storage medium
CN113516755B (en) Image processing method, image processing apparatus, electronic device, and storage medium
KR20230128764A (en) Apparatus for generating virtual wearing image robust to lighting change and method using the same
JP2007102478A (en) Image processor, image processing method, and semiconductor integrated circuit
WO2024009721A1 (en) Image processing device, and image processing method
KR102652199B1 (en) System and method for generating video content based on pose estimation
CN117710581A (en) Virtual human clothing generation method, device, equipment and medium
CN117078827A (en) Method, device and equipment for generating texture map
KR20230083347A (en) The Apparatus and method for generating the Back side image
KR20230157039A (en) System and method for resizing clothes image
Jafarian Learning Geometric Representation of Dressed Humans