KR101508161B1 - Virtual fitting apparatus and method using digital surrogate - Google Patents

Virtual fitting apparatus and method using digital surrogate Download PDF

Info

Publication number
KR101508161B1
KR101508161B1 KR20130043345A KR20130043345A KR101508161B1 KR 101508161 B1 KR101508161 B1 KR 101508161B1 KR 20130043345 A KR20130043345 A KR 20130043345A KR 20130043345 A KR20130043345 A KR 20130043345A KR 101508161 B1 KR101508161 B1 KR 101508161B1
Authority
KR
South Korea
Prior art keywords
model
dimensional
clothes
generating
user
Prior art date
Application number
KR20130043345A
Other languages
Korean (ko)
Other versions
KR20140125507A (en
Inventor
정상학
Original Assignee
주식회사 버추어패브릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버추어패브릭스 filed Critical 주식회사 버추어패브릭스
Priority to KR20130043345A priority Critical patent/KR101508161B1/en
Publication of KR20140125507A publication Critical patent/KR20140125507A/en
Application granted granted Critical
Publication of KR101508161B1 publication Critical patent/KR101508161B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

디지털 서로게이트를 이용한 가상 피팅 장치 및 방법이 개시된다. 본 발명에 따른 디지털 서로게이트를 이용한 가상 피팅 장치는, 사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성하는 디지털 서로게이트 생성부; 상기 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성하는 3차원 객체 모델 생성부; 및 상기 디지털 서로게이트에 상기 3차원 객체 모델을 적용하고, 상기 디지털 서로게이트에 대응하여 상기 3차원 객체 모델을 변형하는 가상 피팅부를 포함한다.A virtual fitting apparatus and method using a digital surrogate are disclosed. A virtual fitting apparatus using a digital interrogator according to the present invention includes a digital interrogator generating a digital interrogator corresponding to a user by reflecting a user's physical condition; A three-dimensional object model generation unit for generating a three-dimensional object model from a two-dimensional image of an object applicable to the user; And a virtual fitting unit for applying the 3D object model to the digital interrogator and transforming the 3D object model corresponding to the digital interrogator.

Figure R1020130043345
Figure R1020130043345

Description

디지털 서로게이트를 이용한 가상 피팅 장치 및 방법{Virtual fitting apparatus and method using digital surrogate}Technical Field [0001] The present invention relates to a virtual fitting apparatus and method using a digital surrogate,

본 발명은 디지털 서로게이트를 이용한 가상 피팅 장치 및 방법에 관한 것으로서, 사용자의 신체 조건을 반영하여 생성된 디지털 서로게이트에 객체의 2차원 이미지로부터 생성된 3차원 객체 모델을 적용하고 디지털 서로게이트에 대응하여 3차원 객체 모델을 변형하여 가상 피팅을 수행함으로써, 사용자가 온라인 공간에서 현실 세계에서와 같은 시각적 현실감을 가지고 가상 피팅과 같은 물리적 활동을 수행할 수 있어서 사용자가 실제로 옷 매장에 가서 옷을 입어볼 필요 없이 자신에게 잘 맞고 어울리는 옷을 선택할 수 있도록 하는 디지털 서로게이트를 이용한 가상 피팅 장치 및 방법에 관한 것이다.The present invention relates to a virtual fitting apparatus and method using a digital surrogate, which applies a three-dimensional object model generated from a two-dimensional image of an object to a digital surrogate generated by reflecting a physical condition of a user, The user can perform physical activities such as virtual fittings with the same visual reality as in the real world in the online space by performing the virtual fitting by modifying the three-dimensional object model so that the user can actually go to the clothes store and try on the clothes And more particularly, to a virtual fitting apparatus and method using a digital surrogate that allows a wearer to select clothing that suits him / herself without any need.

비디오 게임과 같은 그래픽 연구 기술을 통해 가상 아바타 및 3차원(3-Dimensional; 3D) 가상 객체를 만드는 방법론들이 다수 개발되었다. 이러한 종래의 방법들은 시각적으로 사실적인 가상 객체의 렌더링을 제공하지만, 제작 단계에서 고도의 노동 집약적 과정과 이를 처리하기 위한 큰 데이터 용량뿐만 아니라 가상화를 만들기 위한 강력한 컴퓨팅 리소스(resource)가 요구된다. 이는 이러한 오프라인의 그래픽 집약적인 기술을 온라인 또는 모바일 기술에 적용시키는 것을 어렵게 만들었다.A number of methodologies have been developed for creating virtual avatars and 3-dimensional (3D) virtual objects through graphical research techniques such as video games. These conventional methods provide rendering of visually realistic virtual objects, but require powerful computing resources to create virtualization as well as high data-intensive processes for processing and labor-intensive processes at the production stage. This made it difficult to apply these off-line graphically intensive technologies to online or mobile technologies.

따라서, 이러한 방법들을 온라인 또는 모바일 기술에 적용시키기 위하여, 절충안으로서, 보통 3차원 객체 가상화 대신에 2차원 객체 가상화와 같은 간략화된 그래픽 렌더링을 채용하여 상기와 같은 어려운 점들을 회피하였다. 이러한 방법을 이용하여 사용자의 2차원 이미지에 2차원의 가상 헤어 및 메이크업을 입혀서 가상으로 스타일링을 시뮬레이션해 보는 소프트웨어 또는 모바일 어플리케이션이 개발되어 이용되었다. 하지만 2차원 객체 가상화의 경우에는 3차원 상호작용(interaction)이 포함되지 않은 한정된 기능에만 적용 가능할 경우만 아니라, 3차원 객체 가상화보다 시각 품질이 떨어져서, 온라인에서의 시각적으로 사실적인 결과물을 도출할 수 없다는 문제점이 있었다.Therefore, in order to apply these methods to on-line or mobile technologies, the above difficulties are avoided by employing simplified graphic rendering such as two-dimensional object virtualization instead of usually three-dimensional object virtualization as a compromise. Using this method, a software or a mobile application for simulating styling by virtually applying two-dimensional virtual hair and makeup to a user's two-dimensional image was developed and used. However, in the case of 2D object virtualization, not only is it applicable to limited functions that do not involve 3D interaction, but visual quality is lower than 3D object virtualization, There was no problem.

본 발명의 목적은, 사용자의 신체 조건을 반영하여 생성된 디지털 서로게이트에 객체의 2차원 이미지로부터 생성된 3차원 객체 모델을 적용하고 디지털 서로게이트에 대응하여 3차원 객체 모델을 변형하여 가상 피팅을 수행함으로써, 사용자가 온라인 공간에서 현실 세계에서와 같은 시각적 현실감을 가지고 가상 피팅과 같은 물리적 활동을 수행할 수 있어서 사용자가 실제로 옷 매장에 가서 옷을 입어볼 필요 없이 자신에게 잘 맞고 어울리는 옷을 선택할 수 있도록 하는 디지털 서로게이트를 이용한 가상 피팅 장치 및 방법을 제공하는 것이다.The object of the present invention is to apply a three-dimensional object model generated from a two-dimensional image of an object to a digital surrogate generated by reflecting a physical condition of a user, transform a three-dimensional object model corresponding to a digital surrogate, By doing so, users can perform physical activities such as virtual fittings with the same visual realism as in the real world in the online space, so that the user can actually choose clothes that fit and fit well without having to go to the clothes store and try on the clothes And to provide a virtual fitting apparatus and method using a digital surrogate.

본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치는, 사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성하는 디지털 서로게이트 생성부; 상기 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성하는 3차원 객체 모델 생성부; 및 상기 디지털 서로게이트에 상기 3차원 객체 모델을 적용하고, 상기 디지털 서로게이트에 대응하여 상기 3차원 객체 모델을 변형하는 가상 피팅부를 포함하여 구성된다.A virtual fitting apparatus using a digital interrogator according to an embodiment of the present invention includes a digital interrogator generating a digital interrogator corresponding to a user by reflecting a physical condition of a user; A three-dimensional object model generation unit for generating a three-dimensional object model from a two-dimensional image of an object applicable to the user; And a virtual fitting unit for applying the 3D object model to the digital interrogator and transforming the 3D object model corresponding to the digital interrogator.

상기 디지털 서로게이트는, 상기 사용자의 신체 부위에 대응하는 제어 가능한 매개 변수 모델을 포함하여 구성될 수 있다.The digital surrogate may comprise a controllable parameter model corresponding to a body part of the user.

상기 디지털 서로게이트 생성부는, 상기 사용자의 2차원 신체 이미지로부터 상기 디지털 서로게이트의 일부를 구성하는 3차원 신체 모델을 생성하는 신체 모델 생성부; 및 상기 사용자의 2차원 얼굴 이미지로부터 상기 디지털 서로게이트의 다른 일부를 구성하는 3차원 머리 모델을 생성하는 머리 모델 생성부를 포함할 수 있다.Wherein the digital surrogate generation unit comprises: a body model generation unit for generating a three-dimensional body model constituting a part of the digital interrogator from the two-dimensional body image of the user; And a head model generating unit for generating a three-dimensional head model constituting another part of the digital interrogator from the two-dimensional face image of the user.

상기 신체 모델 생성부는, 상기 사용자의 신체 사이즈를 입력받아 초기 신체 모델을 생성하는 초기 신체 모델 생성부; 상기 사용자의 2차원 신체 이미지와 상기 초기 신체 모델을 정렬하는 신체 모델 정렬부; 및 상기 초기 신체 모델을 상기 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정하여 상기 3차원 신체 모델을 생성하는 신체 모델 수정부를 포함할 수 있다.The body model generation unit may include an initial body model generation unit that receives the body size of the user and generates an initial body model; A body model arrangement unit for aligning the two-dimensional body image of the user with the initial body model; And a body model modifying unit for modifying the initial body model to match the boundary of the user's two-dimensional body image to generate the three-dimensional body model.

상기 신체 모델 생성부는, 상기 3차원 신체 모델의 하나 이상의 신체 부위의 사이즈 또는 형상을 조정하는 신체 부위 조정부를 더 포함할 수 있다.The body model generation unit may further include a body part adjustment unit that adjusts a size or shape of the one or more body parts of the three-dimensional body model.

상기 머리 모델 생성부는, 사용자의 2차원 얼굴 이미지로부터 특징점을 검출하는 특징점 검출부; 상기 특징점의 위치에 대응하여 소정의 모양의 얼굴 윤곽을 생성하는 얼굴 윤곽 생성부; 생성된 상기 얼굴 윤곽의 크기 또는 위치를 조정하는 얼굴 윤곽 조정부; 상기 2차원 얼굴 이미지 및 조정된 상기 얼굴 윤곽에 대응하여 초기 얼굴 모델을 생성하는 초기 얼굴 모델 생성부; 및 상기 초기 얼굴 모델의 상기 특징점의 3차원 위치를 조정하여 상기 3차원 머리 모델을 생성하는 얼굴 모델 수정부를 포함할 수 있다.The hair model generation unit may include a feature point detection unit for detecting a feature point from a two-dimensional face image of a user; A face contour generation unit for generating a contour of a predetermined shape corresponding to the position of the minutiae; A face contour adjustment unit for adjusting a size or position of the generated face contour; An initial face model generation unit for generating an initial face model corresponding to the two-dimensional face image and the adjusted face contour; And a face model modifying unit for modifying the three-dimensional positions of the minutiae of the initial face model to generate the three-dimensional hair model.

상기 3차원 객체 모델 생성부는, 3차원 옷 모델, 3차원 메이크업 모델, 3차원 헤어 스타일 모델 및 3차원 액세서리 모델 중 하나 이상을 생성할 수 있다.The three-dimensional object model generation unit may generate at least one of a three-dimensional clothes model, a three-dimensional makeup model, a three-dimensional hair style model, and a three-dimensional accessory model.

상기 3차원 객체 모델 생성부는, 옷의 타입을 설정하고 설정된 상기 옷의 타입에 대응하여 옷 커널 모델을 생성하는 옷 커널 모델 생성부; 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 매핑을 수행하여 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 산출하는 매핑 수행부; 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 이용하여 상기 3차원 옷 모델의 3차원 데이터를 추정하는 3차원 데이터 추정부; 및 상기 3차원 데이터를 이용하여 상기 3차원 옷 모델을 생성하는 3차원 옷 모델 생성부를 포함할 수 있다.The three-dimensional object model generation unit may include a clothes kernel model generation unit configured to set a clothes type and generate a clothes kernel model corresponding to the set clothes type; A mapping unit for performing a mapping between the two-dimensional image of the clothes and the clothes kernel model to calculate a relation between the two-dimensional image of the clothes and the clothes kernel model; A three-dimensional data estimator for estimating three-dimensional data of the three-dimensional clothes model using a relation between the two-dimensional image of the clothes and the clothes kernel model; And a three-dimensional clothes model generating unit for generating the three-dimensional clothes model using the three-dimensional data.

상기 가상 피팅부는, 상기 디지털 서로게이트 및 상기 3차원 객체 모델을 서로 대응되는 부위에 맞추어 정렬하는 피팅 정렬부; 및 상기 3차원 객체 모델의 각 부위를 대응되는 디지털 서로게이트의 신체 부위의 사이즈 또는 형상에 따라 변형하여 상기 3차원 객체 모델을 변형하는 3차원 객체 모델 변형부를 포함할 수 있다.Wherein the virtual fitting unit includes: a fitting arrangement unit for aligning the digital surrogate and the three-dimensional object model in correspondence with each other; And a three-dimensional object model transforming unit for transforming the three-dimensional object model by modifying each part of the three-dimensional object model according to the size or shape of the body part of the corresponding digital surrogate.

상기 3차원 객체 모델 변형부는, 상기 3차원 객체의 타입, 소재 및 사이즈를 반영하여 상기 3차원 객체 모델을 변형할 수 있다.The 3D object model transformation unit may transform the 3D object model by reflecting the type, material, and size of the 3D object.

본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법은, 사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성하는 단계; 상기 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성하는 단계; 및 상기 디지털 서로게이트에 상기 3차원 객체 모델을 적용하고, 상기 디지털 서로게이트에 대응하여 상기 3차원 객체 모델을 변형함으로써, 가상 피팅을 수행하는 단계를 포함하여 구성된다.According to another aspect of the present invention, there is provided a virtual fitting method using a digital surrogate, comprising: generating a digital surrogate corresponding to a user by reflecting a physical condition of a user; Creating a three-dimensional object model from a two-dimensional image of an object applicable to the user; And performing virtual fitting by applying the 3D object model to the digital interrogator and modifying the 3D object model corresponding to the digital interrogator.

상기 디지털 서로게이트는, 상기 사용자의 신체 부위에 대응하는 제어 가능한 매개 변수 모델을 포함하여 구성될 수 있다.The digital surrogate may comprise a controllable parameter model corresponding to a body part of the user.

상기 디지털 서로게이트를 생성하는 단계는, 상기 사용자의 2차원 신체 이미지로부터 상기 디지털 서로게이트의 신체 부분을 구성하는 3차원 신체 모델을 생성하는 단계; 및 상기 사용자의 2차원 얼굴 이미지로부터 상기 디지털 서로게이트의 얼굴 부분을 구성하는 3차원 머리 모델을 생성하는 단계를 포함할 수 있다.Wherein generating the digital surrogate comprises: generating a three-dimensional body model comprising the body part of the digital surrogate from the two-dimensional body image of the user; And generating a three-dimensional head model constituting a face portion of the digital surrogate from the two-dimensional face image of the user.

상기 3차원 신체 모델을 생성하는 단계는, 상기 사용자의 신체 사이즈를 입력받아 초기 신체 모델을 생성하는 단계; 상기 사용자의 2차원 신체 이미지와 상기 초기 신체 모델을 정렬하는 단계; 및 상기 초기 신체 모델을 상기 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정하여 상기 3차원 신체 모델을 생성하는 단계를 포함할 수 있다.The step of generating the three-dimensional body model may include: generating an initial body model by receiving the body size of the user; Aligning the two-dimensional body image of the user with the initial body model; And modifying the initial body model to match the boundary of the user's two-dimensional body image to generate the three-dimensional body model.

상기 3차원 신체 모델을 생성하는 단계는, 상기 3차원 신체 모델의 하나 이상의 신체 부위의 사이즈 또는 형상을 조정하는 단계를 더 포함할 수 있다.The generating of the three-dimensional body model may further comprise adjusting a size or shape of the one or more body parts of the three-dimensional body model.

상기 3차원 머리 모델을 생성하는 단계는, 사용자의 2차원 얼굴 이미지로부터 특징점을 검출하는 단계; 상기 특징점의 위치에 대응하여 소정의 모양의 얼굴 윤곽을 생성하는 단계; 생성된 상기 얼굴 윤곽의 크기 또는 위치를 조정하는 단계; 상기 2차원 얼굴 이미지 및 조정된 상기 얼굴 윤곽에 대응하여 초기 얼굴 모델을 생성하는 단계; 및 상기 초기 얼굴 모델의 상기 특징점의 3차원 위치를 조정하여 상기 3차원 머리 모델을 생성하는 단계를 포함할 수 있다.The step of generating the 3D head model includes: detecting a feature point from a user's two-dimensional face image; Generating a face contour of a predetermined shape corresponding to the position of the minutiae; Adjusting a size or position of the generated facial contour; Generating an initial face model corresponding to the two-dimensional face image and the adjusted face contour; And generating the three-dimensional head model by adjusting three-dimensional positions of the minutiae points of the initial face model.

상기 3차원 객체 모델을 생성하는 단계는, 3차원 옷 모델, 3차원 메이크업 모델, 3차원 헤어 스타일 모델 및 3차원 액세서리 모델 중 하나 이상을 생성할 수 있다.The generating of the 3D object model may generate at least one of a 3D dress model, a 3D makeup model, a 3D hair style model, and a 3D accessory model.

상기 3차원 객체 모델을 생성하는 단계는, 옷의 타입을 설정하고 설정된 상기 옷의 타입에 대응하여 옷 커널 모델을 생성하는 단계; 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 매핑을 수행하여 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 산출하는 단계; 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 이용하여 상기 3차원 옷 모델의 3차원 데이터를 추정하는 단계; 및 상기 3차원 데이터를 이용하여 상기 3차원 옷 모델을 생성하는 단계를 포함할 수 있다.The step of generating the three-dimensional object model includes: setting a type of clothes and generating a clothes kernel model corresponding to the type of the clothes; Performing a mapping between the two-dimensional image of the cloth and the cloth kernel model to calculate a relationship between the two-dimensional image of the cloth and the cloth kernel model; Estimating three-dimensional data of the three-dimensional clothes model using a relation between the two-dimensional image of the clothes and the clothes kernel model; And generating the three-dimensional clothes model using the three-dimensional data.

상기 가상 피팅을 수행하는 단계는, 상기 디지털 서로게이트 및 상기 3차원 객체 모델을 서로 대응되는 부위에 맞추어 정렬하는 단계; 및 상기 3차원 객체 모델의 각 부위를 대응되는 디지털 서로게이트의 신체 부위의 사이즈 또는 형상에 따라 변형하여 상기 3차원 객체 모델을 변형하는 단계를 포함할 수 있다.The step of performing the virtual fitting may include aligning the digital interrogator and the 3D object model according to regions corresponding to each other, And modifying the 3D object model by modifying each part of the 3D object model according to the size or shape of the body part of the corresponding digital surrogate.

상기 3차원 객체 모델을 변형하는 단계는, 상기 3차원 객체의 타입, 소재 및 사이즈를 반영하여 상기 3차원 객체 모델을 변형할 수 있다.The deforming the three-dimensional object model may transform the three-dimensional object model by reflecting the type, the material, and the size of the three-dimensional object.

본 발명의 일 측면에 따르면, 사용자의 신체 조건을 반영하여 생성된 디지털 서로게이트에 객체의 2차원 이미지로부터 생성된 3차원 객체 모델을 적용하고 디지털 서로게이트에 대응하여 3차원 객체 모델을 변형하여 가상 피팅을 수행함으로써, 사용자가 온라인 공간에서 현실 세계에서와 같은 시각적 현실감을 가지고 가상 피팅과 같은 물리적 활동을 수행할 수 있어서 사용자가 실제로 옷 매장에 가서 옷을 입어볼 필요 없이 자신에게 잘 맞고 어울리는 옷을 선택할 수 있도록 하는 디지털 서로게이트를 이용한 가상 피팅 장치 및 방법을 제공할 수 있다.According to one aspect of the present invention, a three-dimensional object model generated from a two-dimensional image of an object is applied to a digital surrogate generated by reflecting a user's physical condition, and a three- By performing the fitting, the user can perform physical activities such as virtual fittings with the same visual reality as in the real world in the online space, so that the user does not have to go to the clothes store and wear clothes, It is possible to provide a virtual fitting apparatus and method using a digital surrogate which can be selected.

도 1은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법을 설명하기 위한 순서도이다.
도 3 내지 도 11은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법의 일 구현예를 설명하기 위한 도면이다.1 is a schematic view illustrating a virtual fitting apparatus using a digital interrogator according to an embodiment of the present invention.
2 is a flowchart illustrating a virtual fitting method using a digital interrogator according to an embodiment of the present invention.
FIGS. 3 to 11 are views for explaining an embodiment of a virtual fitting method using a digital interrogator according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

또한, 명세서에 기재된 "...부"의 용어는 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
Further, the term "part" in the description means a unit for processing one or more functions or operations, which may be implemented by hardware, software, or a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치를 개략적으로 도시한 도면이다.1 is a schematic view illustrating a virtual fitting apparatus using a digital interrogator according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)는 필요에 따라 각종 정보를 입력하기 위한 입력부, 각종 정보를 표시하기 위한 표시부, 각종 정보를 처리하기 위한 제어부 등을 포함한 단말의 형태로서 구현되거나, 상기 단말에 포함된 형태로 구현될 수 있다. 일 실시예에서, 단말은 개인용 컴퓨터, 휴대폰, 스마트폰, 개인용 휴대 단말기(personal digital assistants; PDA), 태블릿(tablet) 컴퓨터, 및 랩톱(laptop) 컴퓨터 중 하나 이상일 수 있다.The virtual fitting apparatus 1000 using the digital interrogator according to an embodiment of the present invention includes an input unit for inputting various information as needed, a display unit for displaying various information, a terminal for controlling various information, Or may be embodied in the form of being included in the terminal. In one embodiment, the terminal may be one or more of a personal computer, a cell phone, a smart phone, a personal digital assistant (PDA), a tablet computer, and a laptop computer.

또한, 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)는 온라인 상에서 각종 정보를 송수신하기 위한 네트워크 접속 장치를 포함할 수 있다. 이 때, 네트워크 접속 장치는 무선 통신 기능이 있는 경우에는, 이동 통신, 와이파이(Wi-Fi), 블루투스 등의 무선 통신을 통하여 무선 네트워크에 접속할 수 있고, 무선 통신 기능이 없거나 무선 통신 기능을 사용하지 않는 경우에는, USB(Universal Serial Bus) 또는 이더넷(Ethernet) 등의 유선 통신을 통하여 유선 네트워크에 접속할 수 있다.In addition, the virtual fitting apparatus 1000 using digital surrogate according to an embodiment of the present invention may include a network connection device for transmitting and receiving various information on-line. At this time, when the network access device has a wireless communication function, the network access device can access the wireless network through wireless communication such as mobile communication, Wi-Fi, Bluetooth, etc., and does not have the wireless communication function or use the wireless communication function , It is possible to connect to the wired network through wired communication such as USB (Universal Serial Bus) or Ethernet (Ethernet).

도 1을 참조하면, 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)는 디지털 서로게이트 생성부(1100), 3차원 객체 모델 생성부(1200) 및 가상 피팅부(1300)를 포함하여 구성될 수 있다. 도 1에 도시된 디지털 서로게이트를 이용한 가상 피팅 장치(1000)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.1, a virtual fitting apparatus 1000 using a digital interrogator according to an embodiment of the present invention includes a digital interrogator generating unit 1100, a three-dimensional object model generating unit 1200, and a virtual fitting unit 1300 ). ≪ / RTI > 1 is in accordance with one embodiment, and the blocks shown in FIG. 1 are not necessarily all of the blocks, while in other embodiments some of the blocks may be added, Can be deleted.

디지털 서로게이트 생성부(1100)는 사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성한다. 디지털 서로게이트는 온라인 공간에서 객체와 물리적인 상호작용을 가상으로 시뮬레이션할 수 있는 사용자의 사용자와 동일 또는 유사한 물리적 특성을 보유한 가상 디지털 클론(clone)이다. 디지털 서로게이트는 사용자의 신체 사이즈, 형상 및 외관을 본떠서 모델링(modeling)될 수 있다. 일 실시예에서, 디지털 서로게이트는 사용자의 신체 부위에 대응하는 제어 가능한 매개 변수 모델을 포함하여 구성될 수 있다. 디지털 서로게이트가 매개 변수 모델을 포함하여 구성될 경우, 디지털 서로게이트는 매개 변수를 조정함으로써 자유롭게 그 크기, 형상, 자세 등을 제어할 수 있다.The digital surrogate generation unit 1100 generates the digital surrogate corresponding to the user by reflecting the physical condition of the user. A digital surrogate is a virtual digital clone that has the same or similar physical characteristics as a user who can simulate physical interaction with an object in an online space. The digital surrogate can be modeled in accordance with the user's body size, shape, and appearance. In one embodiment, the digital surrogate may comprise a controllable parameter model corresponding to the body part of the user. When a digital surrogate is configured with a parameter model, the digital surrogate can freely control its size, shape, attitude, etc. by adjusting the parameters.

디지털 서로게이트 생성부(1100)는 사용자의 2차원 신체 이미지로부터 디지털 서로게이트의 일부를 구성하는 3차원 신체 모델을 생성하는 신체 모델 생성부(1110) 및 사용자의 2차원 얼굴 이미지로부터 디지털 서로게이트의 다른 일부를 구성하는 3차원 머리 모델을 생성하는 머리 모델 생성부(1120)를 포함하여 구성될 수 있다. 일 실시예에서, 디지털 서로게이트는 신체 모델 생성부(1110)에서 생성된 3차원 신체 모델 및 머리 모델 생성부(1120)에서 생성된 3차원 머리 모델의 조합으로 형성될 수 있다.The digital surrogate generation unit 1100 includes a body model generation unit 1110 for generating a three-dimensional body model constituting a part of a digital surrogate from a user's two-dimensional body image, And a head model generating unit 1120 for generating a three-dimensional head model constituting another part. In one embodiment, the digital surrogate may be formed by a combination of a three-dimensional body model generated by the body model generation unit 1110 and a three-dimensional head model generated by the head model generation unit 1120.

신체 모델 생성부(1110)는 초기 신체 모델 생성부(1111), 신체 모델 정렬부(1112), 신체 모델 수정부(1113) 및 신체 부위 조정부(1114)를 포함하여 구성될 수 있다. 도 1에 도시된 신체 모델 생성부(1110)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.The body model generating unit 1110 may include an initial body model generating unit 1111, a body model arranging unit 1112, a body model correcting unit 1113, and a body part adjusting unit 1114. The body model generation unit 1110 shown in FIG. 1 is according to an embodiment, and the blocks shown in FIG. 1 are not all the blocks, and in some embodiments, some blocks may be added, changed or deleted .

초기 신체 모델 생성부(1111)는 사용자의 신체 사이즈를 입력받아 초기 신체 모델을 생성한다. 일 실시예에서, 초기 신체 모델 생성부(1111)는 사용자의 입력을 통해 사용자의 신체 사이즈를 입력받을 수 있다. 이 때, 사용자의 신체 사이즈는 키, 몸무게 등을 포함할 수 있다. 그리고 초기 신체 모델 생성부(1111)에서 생성되는 초기 신체 모델은 3차원 원통형(cylindrical) 모델로서 신체 각 부위가 원통형 형상을 가지고 각 부위별로 구분되어 있을 수 있다. 예를 들어, 상반신의 경우, 몸통(torso), 팔의 상완, 하완, 손 등으로 구분되어 있을 수 있다.The initial body model generation unit 1111 receives the user's body size and generates an initial body model. In one embodiment, the initial body model generation unit 1111 may receive the user's body size through the input of the user. At this time, the user's body size may include height, weight, and the like. The initial body model generated by the initial body model generation unit 1111 may be a three-dimensional cylindrical model, and each body part may have a cylindrical shape and be divided into respective parts. For example, in the case of the upper body, it may be divided into torso, arm upper arm, lower arm, and hand.

신체 모델 정렬부(1112)는 사용자의 2차원 신체 이미지와 초기 신체 모델을 정렬한다. 신체 모델 정렬부(1112)는 초기 신체 모델 생성부(1111)에서 생성된 초기 신체 모델을 사용자의 2차원 신체 이미지에 중첩시켜 정렬한다.The body model arrangement unit 1112 arranges the initial body model with the user's two-dimensional body image. The body model arrangement unit 1112 arranges the initial body model generated by the initial body model generation unit 1111 on the two-dimensional body image of the user.

신체 모델 수정부(1113)는 초기 신체 모델을 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정하여 3차원 신체 모델을 생성한다. 즉, 신체 모델 수정부(1113)는 초기 신체 모델의 각 부위의 사이즈, 길이 등을 사용자의 2차원 신체 이미지에 맞추어 수정한다. 예를 들어, 초기 신체 모델의 키, 팔, 다리 등의 사이즈, 길이를 2차원 신체 이미지에 맞추어 수정할 수 있다.The body model corrector 1113 generates a three-dimensional body model by modifying the initial body model to match the boundary of the user's two-dimensional body image. That is, the body model correcting unit 1113 corrects the size, length, and the like of each part of the initial body model according to the user's two-dimensional body image. For example, the size, length of the keys, arms, legs, etc. of the initial body model can be modified to fit the two-dimensional body image.

신체 부위 조정부(1114)는 3차원 신체 모델의 하나 이상의 신체 부위의 사이즈 또는 형상을 조정할 수 있다. 일 실시예에서, 신체 부위 조정부(1114)는 가슴, 엉덩이, 허리 등의 사이즈 또는 형상을 여러 가지 사이즈와 형상의 예들 중에서 선택하여 조정할 수 있다. 이러한 신체 부위 조정부(1114)의 조정은 사용자의 입력을 받아 수동적으로 이루어질 수도 있다. 이를 통해, 3차원 신체 모델을 단순히 사이즈만 조정하는 것이 아니라 형상도 조정가능하므로 사용자는 자신의 몸과 가장 유사한 3차원 신체 모델을 생성할 수 있게 된다.The body part adjuster 1114 may adjust the size or shape of one or more body parts of the three-dimensional body model. In one embodiment, the body part adjuster 1114 may adjust the size or shape of the chest, buttocks, waist, etc., from among various size and shape examples. Adjustment of the body part adjusting unit 1114 may be manually performed by receiving a user's input. This allows the user to create a three-dimensional body model most similar to his / her body, since the three-dimensional body model can be adjusted not only in size but also in shape.

이상과 같이, 신체 모델 생성부(1110)의 구성에 대하여 설명하였다. 신체 모델 생성부(1110)는 정면의 2차원 신체 이미지를 통해 정면의 3차원 신체 모델을 생성할 수도 있고, 측면의 2차원 신체 이미지를 통해 측면의 3차원 신체 모델을 생성할 수도 있다.The structure of the body model generation unit 1110 has been described above. The body model generation unit 1110 may generate a frontal three-dimensional body model through a frontal two-dimensional body image or a side three-dimensional body model through a lateral two-dimensional body image.

머리 모델 생성부(1120)는 특징점 검출부(1121), 얼굴 윤곽 생성부(1122), 얼굴 윤곽 조정부(1123), 초기 얼굴 모델 생성부(1124) 및 얼굴 모델 수정부(1125)를 포함하여 구성될 수 있다. 도 1에 도시된 머리 모델 생성부(1120)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.The hair model generation unit 1120 includes a feature point detection unit 1121, a face contour generation unit 1122, a face contour adjustment unit 1123, an initial face model generation unit 1124, and a face model correction unit 1125 . The head model generation unit 1120 shown in FIG. 1 is according to one embodiment, and the blocks shown in FIG. 1 are not all blocks, and in some embodiments, some blocks may be added, changed or deleted .

특징점 검출부(1121)는 사용자의 2차원 얼굴 이미지로부터 특징점을 검출한다. 특징점은 눈, 코 및 입과 같은 얼굴에서 구별이 가능한 특징적인 부분이다. 특징점을 검출하는 방법은 종래에 다양한 방법이 존재하고 특징점 검출부(1121)는 이러한 종래의 방법들 중 어느 하나를 이용하여 특징점을 검출할 수 있다. 특징점을 검출하는 방법은 다양한 선행문헌들을 통해 공지되어 있으므로 여기서는 특징점을 검출하는 과정에 대한 상세한 설명은 생략하도록 한다.The feature point detection unit 1121 detects the feature point from the two-dimensional face image of the user. Feature points are distinctive features that can be distinguished from faces such as eyes, nose, and mouth. There are various methods for detecting feature points in the related art, and the feature point detection unit 1121 can detect feature points using any of these conventional methods. Since a method of detecting feature points is known through various prior art documents, a detailed description of the process of detecting feature points will be omitted here.

얼굴 윤곽 생성부(1122)는 특징점의 위치에 대응하여 소정의 모양의 얼굴 윤곽을 생성한다. 이 때, 소정의 모양은 상기 특징점을 포함하는 얼굴형에 가까운 모양일 수 있다. 일 실시예에서, 소정의 모양은 타원형일 수 있다.The face contour generating unit 1122 generates a face contour having a predetermined shape corresponding to the position of the minutiae point. At this time, the predetermined shape may be a shape close to the face shape including the feature point. In one embodiment, the predetermined shape may be elliptical.

얼굴 윤곽 조정부(1123)는 얼굴 윤곽 생성부(1122)에서 생성된 얼굴 윤곽의 크기 또는 위치를 조정한다. 얼굴 윤곽 생성부(1122)에서 얼굴 윤곽이 생성되고 나면, 생성된 얼굴 윤곽은 사용자의 2차원 얼굴 이미지에 중첩되어 표시되고, 얼굴 윤곽 조정부(1123)는 얼굴 윤곽을 적절한 크기 또는 위치로 조정하게 된다. 일 실시예에서, 얼굴 윤곽의 크기 또는 위치 조정은 사용자와의 상호작용을 통해 이루어질 수도 있다.The facial contour adjusting unit 1123 adjusts the size or position of the facial contour generated by the facial contour generating unit 1122. After the face contour is generated in the face contour generating unit 1122, the generated face contour is superimposed on the user's two-dimensional face image, and the face contour adjusting unit 1123 adjusts the face contour to an appropriate size or position . In one embodiment, the size or position adjustment of the facial contour may be made through interaction with the user.

초기 얼굴 모델 생성부(1124)는 사용자의 2차원 얼굴 이미지 및 얼굴 윤곽 조정부(1123)에서 조정된 얼굴 윤곽에 대응하여 초기 얼굴 모델을 생성한다. 일 실시예에서, 초기 얼굴 모델 생성부(1124)는 얼굴 윤곽 조정부(1123)에서 조정된 얼굴 윤곽에 기반하여 사용자의 2차원 얼굴 이미지를 3차원 매핑하여 3차원의 초기 얼굴 모델을 생성할 수 있다.The initial face model generation unit 1124 generates an initial face model corresponding to the two-dimensional face image of the user and the face contour adjusted by the face contour adjustment unit 1123. In one embodiment, the initial face model generation unit 1124 can generate a three-dimensional initial face model by three-dimensionally mapping the user's two-dimensional face image based on the adjusted face contour in the face contour adjustment unit 1123 .

얼굴 모델 수정부(1125)는 초기 얼굴 모델의 특징점의 3차원 위치를 조정하여 3차원 머리 모델을 생성한다. 얼굴 모델 수정부(1125)는 실제 사용자의 얼굴과 생성된 초기 얼굴 모델을 비교하여, 초기 얼굴 모델의 특징점의 3차원 위치를 적절히 조정하여 3차원 머리 모델을 완성한다.The face model modifier 1125 generates a three-dimensional head model by adjusting the three-dimensional positions of the minutiae points of the initial face model. The face model modifier 1125 compares the face of the actual user with the generated initial face model, and completes the three-dimensional hair model by appropriately adjusting the three-dimensional positions of the feature points of the initial face model.

3차원 객체 모델 생성부(1200)는 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성한다. 사용자에 적용 가능한 객체는 옷, 메이크업, 헤어 스타일, 액세서리 등을 포함할 수 있다. 이에 따라, 3차원 객체 모델 생성부(1200)는 3차원 옷 모델, 3차원 메이크업 모델, 3차원 헤어 스타일 모델 및 3차원 액세서리 모델 중 하나 이상을 생성할 수 있다.The three-dimensional object model generation unit 1200 generates a three-dimensional object model from a two-dimensional image of an object applicable to a user. Applicable objects to the user may include clothes, makeup, hairstyles, accessories, and the like. Accordingly, the three-dimensional object model generation unit 1200 can generate at least one of a three-dimensional clothes model, a three-dimensional makeup model, a three-dimensional hair style model, and a three-dimensional accessory model.

3차원 객체 모델 생성부(1200)는 옷 커널 모델 생성부(1210), 매핑 수행부(1220), 3차원 데이터 추정부(1230) 및 3차원 옷 모델 생성부(1240)를 포함하여 구성될 수 있다. 3차원 객체 모델 생성부(1200)는 3차원 옷 모델을 생성하기 위하여 일 실시예로서 구성된 것이며, 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.The 3D object model generating unit 1200 may include a clothes kernel model generating unit 1210, a mapping performing unit 1220, a 3D data estimating unit 1230 and a 3D clothes model generating unit 1240. have. The three-dimensional object model generation unit 1200 is configured as one embodiment to generate a three-dimensional clothes model, and the blocks shown in FIG. 1 are not all the essential components, and in some embodiments, Changed or deleted.

옷 커널 모델 생성부(1210)는 옷의 타입을 설정하고 설정된 상기 옷의 타입에 대응하여 옷 커널(kernel) 모델을 생성한다. 옷의 타입은 티셔츠, 청바지, 블라우스, 원피스 등 여러 가지 옷의 종류 중의 하나로 설정될 수 있고, 옷 커널 모델은 옷의 타입에 대응하여 생성되며, 해당 옷의 타입의 일반적인 형상을 가지는 3차원 모델이다. 또한, 옷 커널 모델도 신체 모델과 마찬가지로 3차원 원통형 모델로서 옷의 각 부위가 원통형 형상을 가질 수 있다.The clothes kernel model generation unit 1210 sets a type of clothes and creates a clothes kernel model corresponding to the set clothes type. The type of clothes can be set to one of various kinds of clothes such as a T-shirt, a jeans, a blouse, a dress, a clothes kernel model is generated corresponding to the type of clothes, and is a three-dimensional model having a general shape of the type of clothes . In addition, the clothes kernel model is a three-dimensional cylindrical model similar to the body model, and each part of the clothes can have a cylindrical shape.

매핑 수행부(1220)는 옷의 2차원 이미지와 옷 커널 모델 간의 매핑을 수행하여 옷의 2차원 이미지와 옷 커널 모델 간의 관련성을 산출한다. 매핑 수행부(1220)는 옷의 2차원 이미지와 옷 커널 모델 간의 위상학적으로 동등한 위치의 포인트들로부터 관련성을 산출할 수 있다. 일 실시예에서, 매핑 수행부(1220)는 아핀 매핑(affine mapping)을 이용하여 매핑을 수행할 수 있다. 아핀 매핑은 공지된 매핑 방식이므로 아핀 매핑에 대한 구체적인 설명은 생략하도록 한다. The mapping performing unit 1220 performs a mapping between the two-dimensional image of the clothes and the clothes kernel model to calculate a relation between the two-dimensional image of the clothes and the clothes kernel model. The mapping performing unit 1220 can calculate the relevance from the positions of the topologically equivalent positions between the two-dimensional image of the clothes and the clothes kernel model. In one embodiment, the mapping performing unit 1220 may perform mapping using affine mapping. Since the affine mapping is a known mapping scheme, a detailed description of the affine mapping will be omitted.

또한, 매핑 수행부(1220)는 옷의 2차원 이미지 및 옷 커널 모델을 부위별로 분할하고, 서로 대응되는 부위 간에 매핑을 수행하여 관련성을 산출할 수 있다.In addition, the mapping unit 1220 may divide the two-dimensional image of the clothes and the clothes kernel model according to the parts, and perform mapping between corresponding parts to calculate the relevance.

3차원 데이터 추정부(1230)는 옷의 2차원 이미지와 옷 커널 모델 간의 관련성을 이용하여 3차원 옷 모델의 3차원 데이터를 추정한다. 매핑 수행부(1220)는 옷의 2차원 이미지 및 옷 커널 모델 간의 매핑을 수행한 결과로 옷의 2차원 이미지와 옷 커널 모델 간의 위상학적으로 대응되는 위치를 획득할 수 있게 되고, 이를 통해 3차원 옷 모델의 3차원 데이터를 추정할 수 있게 된다.The three-dimensional data estimator 1230 estimates the three-dimensional data of the three-dimensional clothes model using the relationship between the two-dimensional image of clothes and the clothes kernel model. As a result of mapping between the two-dimensional image of the clothes and the clothes kernel model, the mapping performing unit 1220 can acquire a position corresponding to the topology between the two-dimensional image of the clothes and the clothes kernel model, The three-dimensional data of the clothes model can be estimated.

3차원 옷 모델 생성부(1240)는 3차원 데이터를 이용하여 3차원 옷 모델을 생성한다. 즉, 3차원 옷 모델 생성부(1240)는 3차원 데이터 추정부(1230)의 3차원 데이터를 이용함으로써, 옷의 2차원 이미지 및 옷 커널 모델이 결합된 형태의 3차원 옷 모델을 생성할 수 있게 된다.The three-dimensional clothes model generation unit 1240 generates a three-dimensional clothes model using the three-dimensional data. That is, by using the three-dimensional data of the three-dimensional data estimating unit 1230, the three-dimensional clothes model generating unit 1240 can generate a three-dimensional clothes model in which a two- .

이상 설명한 바와 같이, 디지털 서로게이트 생성부(1100)를 통해서 디지털 서로게이트가 생성되고, 3차원 객체 모델 생성부(1200)를 통해 3차원 객체 모델이 생성되게 된다. 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)는 생성된 디지털 서로게이트와 3차원 객체 모델을 이용하여 가상 피팅을 수행하게 되는데, 가상 피팅부(1300)가 이러한 역할을 수행하게 된다.As described above, a digital surrogate is generated through the digital surrogate generation unit 1100, and a three-dimensional object model is generated through the three-dimensional object model generation unit 1200. The virtual fitting apparatus 1000 using the digital interrogator according to an embodiment of the present invention performs virtual fitting using the generated digital interrogator and the three-dimensional object model. The virtual fitting unit 1300 performs this role .

가상 피팅부(1300)는 디지털 서로게이트에 3차원 객체 모델을 적용하고, 디지털 서로게이트에 대응하여 3차원 객체 모델을 변형한다. 가상 피팅부(1300)는 물리적 원칙에 따라 객체가 사용자에게 착용되었을 때, 객체가 변형되는 모습을 시각적으로 시뮬레이션할 수 있다. 예를 들어, 3차원 옷 모델이 디지털 서로게이트에 적용되면, 사용자의 신체 부위 사이즈 및 형상의 작용에 따라 옷이 변형되는 모습이 시각적으로 표시되게 된다.The virtual fitting unit 1300 applies a three-dimensional object model to the digital interrogator and transforms the three-dimensional object model corresponding to the digital interrogator. The virtual fitting unit 1300 can visually simulate the shape of the object when the object is worn by the user according to physical principles. For example, when a three-dimensional clothes model is applied to a digital surrogate, a deformed state of the clothes is visually displayed according to the action of the user's body size and shape.

가상 피팅부(1300)는 피팅 정렬부(1310) 및 3차원 객체 모델 변형부(1320)를 포함하여 구성될 수 있다. 도 1에 도시된 가상 피팅부(1300)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.The virtual fitting portion 1300 may include a fitting arrangement portion 1310 and a three-dimensional object model transformation portion 1320. The virtual fitting portion 1300 shown in FIG. 1 is according to one embodiment, and the blocks shown in FIG. 1 are not all the blocks, and in other embodiments, some blocks may be added, changed or deleted.

피팅 정렬부(1310)는 디지털 서로게이트 및 3차원 객체 모델을 서로 대응되는 부위에 맞추어 정렬한다.The fitting arrangement unit 1310 aligns the digital surrogate and the three-dimensional object model to correspond to each other.

3차원 객체 모델 변형부(1320)는 3차원 객체 모델의 각 부위를 대응되는 디지털 서로게이트의 신체 부위의 사이즈 또는 형상에 따라 변형하여 3차원 객체 모델을 변형할 수 있다. 또한, 일 실시예에서, 3차원 객체 모델 변형부(1320)는 상기 3차원 객체의 타입, 소재 및 사이즈를 반영하여 상기 3차원 객체 모델을 변형할 수 있다.The three-dimensional object model transformer 1320 can transform the three-dimensional object model by modifying each part of the three-dimensional object model according to the size or shape of the body part of the corresponding digital surrogate. Also, in one embodiment, the 3D object model transformer 1320 may transform the 3D object model by reflecting the type, material, and size of the 3D object.

이처럼 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)의 가상 피팅부(1300)를 통하여, 신체 사이즈 및 형상과 함께 옷 변형을 시뮬레이션함으로써, 현실 세계에서와 같이 옷 피팅 시뮬레이션을 사실적으로 반영할 수 있게 된다.
As described above, by simulating the deformation of the clothes together with the size and shape of the body through the virtual fitting portion 1300 of the virtual fitting device 1000 using the digital interrogator according to the embodiment of the present invention, It is possible to reflect it realistically.

도 2는 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a virtual fitting method using a digital interrogator according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법이 시작되면, 먼저 사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성한다(S1). 이 때, 디지털 서로게이트는 상기 사용자의 신체 부위에 대응하는 제어 가능한 매개 변수 모델을 포함하여 구성될 수 있다. 그리고 단계(S1)에서 상기 사용자의 2차원 신체 이미지로부터 상기 디지털 서로게이트의 신체 부분을 구성하는 3차원 신체 모델을 생성하고, 상기 사용자의 2차원 얼굴 이미지로부터 상기 디지털 서로게이트의 얼굴 부분을 구성하는 3차원 머리 모델을 생성할 수 있다. 단계(S1)에서 3차원 신체 모델을 생성하는 과정 및 3차원 머리 모델을 생성하는 과정은 도 1의 신체 모델 생성부(1110)가 3차원 신체 모델을 생성하는 과정 및 머리 모델 생성부(1120)가 3차원 머리 모델을 생성하는 과정과 유사하게 이루어지므로 그 설명은 생략하도록 한다.Referring to FIG. 2, when a virtual fitting method using a digital surrogate according to an embodiment of the present invention is started, a digital surrogate corresponding to the user is generated by reflecting a physical condition of a user (S1). At this time, the digital surrogate may comprise a controllable parameter model corresponding to the body part of the user. Then, in step S1, a three-dimensional body model constituting the body part of the digital surrogate is generated from the two-dimensional body image of the user, and a face part of the digital surrogate is formed from the two- You can create a 3D head model. The process of generating the three-dimensional body model in step S1 and the process of generating the three-dimensional hair model are the same as the processes of generating the three-dimensional body model by the body model generation unit 1110 of FIG. 1, Is similar to the process of generating a three-dimensional head model, the description thereof will be omitted.

그리고 상기 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성한다(S2). 이 때, 단계(S2)에서 3차원 옷 모델, 3차원 메이크업 모델, 3차원 헤어 스타일 모델 및 3차원 액세서리 모델 중 하나 이상을 생성할 수 있다. 단계(S2)에서 3차원 객체 모델을 생성하는 과정은 도 1의 3차원 객체 모델 생성부(1200)가 3차원 객체 모델을 생성하는 과정과 유사하게 이루어지므로 그 설명은 생략하도록 한다.Then, a three-dimensional object model is generated from the two-dimensional image of the object applicable to the user (S2). At this time, at step S2, at least one of a three-dimensional clothes model, a three-dimensional makeup model, a three-dimensional hair style model and a three-dimensional accessory model can be generated. The process of generating the three-dimensional object model in step S2 is similar to the process of generating the three-dimensional object model by the three-dimensional object model generation unit 1200 of FIG. 1, so that the description thereof will be omitted.

디지털 서로게이트 및 3차원 객체 모델이 생성되고 나면, 상기 디지털 서로게이트에 상기 3차원 객체 모델을 적용하고, 상기 디지털 서로게이트에 대응하여 상기 3차원 객체 모델을 변형함으로써, 가상 피팅을 수행한다(S3). 단계(S3)에서 가상 피팅을 수행하는 과정은 도 1의 가상 피팅부(1300)가 가상 피팅을 수행하는 과정과 유사하게 이루어지므로 그 설명은 생략하도록 한다.After the digital interrogation and the 3D object model are generated, the 3D object model is applied to the digital interrogator and the 3D object model is modified corresponding to the digital interrogator to perform the virtual fitting (S3 ). The process of performing virtual fitting in step S3 is similar to the process of virtual fitting performed by the virtual fitting unit 1300 of FIG. 1, so that the description thereof will be omitted.

전술한 디지털 서로게이트를 이용한 가상 피팅 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
The virtual fitting method using the digital surrogate described above has been described with reference to the flowchart shown in the drawings. While the above method has been shown and described as a series of blocks for purposes of simplicity, it is to be understood that the invention is not limited to the order of the blocks, and that some blocks may be present in different orders and in different orders from that shown and described herein And various other branches, flow paths, and sequences of blocks that achieve the same or similar results may be implemented. Also, not all illustrated blocks may be required for implementation of the methods described herein.

도 3 내지 도 11은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법의 일 구현예를 설명하기 위한 도면이다.FIGS. 3 to 11 are views for explaining an embodiment of a virtual fitting method using a digital interrogator according to an embodiment of the present invention.

도 3 내지 도 11에서는 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법이 일 구현예로서 프로그램으로 구현되었다. 이와 같이, 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법은 프로그램으로 구현되어 컴퓨터로 판독 가능한 형태로 씨디롬(CD-ROM), 램(RAM), 롬(ROM), 플로피 디스크(floppy disk), 하드 디스크(hard disk), 광자기 디스크, SD(Secure Digital) 카드, 마이크로(micro) SD 카드와 같은 기록 매체에 저장될 수 있다.3 to 11, a virtual fitting method using a digital surrogate according to an embodiment of the present invention is implemented as a program as one embodiment. As described above, the virtual fitting method using the digital interrogator according to an embodiment of the present invention is implemented as a program and can be read by a computer such as a CD-ROM, a RAM, a ROM, a floppy disk floppy disk, a hard disk, a magneto-optical disk, a Secure Digital (SD) card, or a micro SD card.

본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법은 웹 기반(web-based) 프로그램의 형태로 구현될 수도 있고, 모바일(mobile) 단말에 설치된 어플리케이션(application)의 형태로 구현될 수도 있다. 또한, 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 방법이 구현된 프로그램은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치에 설치된 형태일 수도 있다. 이 때, 도 3 내지 도 11의 화면은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치의 표시부(미도시)에 의해 표시될 수 있는 화면이다The virtual fitting method using the digital interrogator according to an embodiment of the present invention may be implemented in the form of a web-based program or an application installed in a mobile terminal have. In addition, a program implementing a virtual fitting method using a digital interrogator according to an embodiment of the present invention may be provided in a virtual fitting apparatus using a digital interrogator according to an embodiment of the present invention. 3 to 11 are screens that can be displayed by a display unit (not shown) of a virtual fitting apparatus using a digital interrogator according to an embodiment of the present invention

도 3 내지 도 7은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)의 디지털 서로게이트 생성부(1100)의 신체 모델 생성부(1110)에 의해 제공될 수 있는 신체 모델을 생성하는 화면들이다.3 through 7 illustrate a body model that can be provided by the body model generation unit 1110 of the digital surrogate generation unit 1100 of the virtual fitting apparatus 1000 using the digital interrogator according to an embodiment of the present invention. Are generated.

도 3은 신체 모델 생성부(1110)의 초기 신체 모델 생성부(1111)에 의해 제공될 수 있는 화면이다. 도 3에 도시된 화면을 통해 사용자의 신체 사이즈를 입력받아 초기 신체 모델을 생성할 수 있다. 도 3에 도시된 화면에서 사용자의 키, 몸무게 등의 신체 사이즈를 입력할 수 있거나 몸의 전체 형태를 조정할 수 있게 된다.FIG. 3 is a screen that can be provided by the initial body model generation unit 1111 of the body model generation unit 1110. The initial body model can be generated by receiving the body size of the user through the screen shown in FIG. The body size such as the user's key, weight, and the like can be input on the screen shown in FIG. 3, or the entire shape of the body can be adjusted.

도 4는 신체 모델 생성부(1110)의 신체 모델 정렬부(1112)에 의해 제공될 수 있는 화면이다. 도 4에 도시된 화면을 통해 사용자의 2차원 신체 이미지(12)와 초기 신체 모델(11)을 정렬할 수 있다. 즉, 도 4에 도시된 화면에서 초기 신체 모델 생성부(1111)에서 생성된 초기 신체 모델(11)을 사용자의 2차원 신체 이미지(12)에 중첩시켜 정렬할 수 있다. 그리고 도 4에 도시된 화면에서 초기 신체 모델을 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정할 수 있다.FIG. 4 is a screen that can be provided by the body model arrangement unit 1112 of the body model generation unit 1110. The two-dimensional body image 12 and the initial body model 11 of the user can be aligned through the screen shown in FIG. That is, the initial body model 11 generated by the initial body model generation unit 1111 can be superimposed on the two-dimensional body image 12 of the user on the screen shown in FIG. The initial body model may be modified to match the boundary of the user's two-dimensional body image on the screen shown in FIG.

도 5는 신체 모델 생성부(1110)의 신체 모델 수정부(1113)에 의해 제공될 수 있는 화면이다. 초기 신체 모델을 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정한 대로 도 5에 도시된 화면과 같이 3차원 신체 모델(13)이 생성되게 된다.5 is a screen that can be provided by the body model correcting unit 1113 of the body model generating unit 1110. FIG. As the initial body model is modified to match the boundary of the user's two-dimensional body image, a three-dimensional body model 13 is generated as shown in FIG.

도 6 및 도 7은 신체 모델 생성부(1110)의 신체 부위 조정부(1114)에 의해 제공될 수 있는 화면이다. 도 6 및 도 7에 도시된 화면을 통해 가슴, 엉덩이, 허리 등의 사이즈 또는 형상을 여러 가지 사이즈와 형상의 예들 중에서 선택하여 조정할 수 있다. 도 6은 신체 부위의 사이즈를 조정하는 화면이고, 도 7은 신체 부위의 형상을 조정하는 화면이다.
6 and 7 are screens that can be provided by the body part adjustment unit 1114 of the body model generation unit 1110. FIG. The size or shape of the chest, hips, waist, etc., can be selected and adjusted from various sizes and shapes examples through the screens shown in Figs. 6 and 7. Fig. 6 is a screen for adjusting the size of the body part, and Fig. 7 is a screen for adjusting the shape of the body part.

도 8 내지 도 11은 본 발명의 일 실시예에 따른 디지털 서로게이트를 이용한 가상 피팅 장치(1000)의 디지털 서로게이트 생성부(1100)의 머리 모델 생성부(1120)에 의해 제공될 수 있는 머리 모델을 생성하는 화면들이다.FIGS. 8 to 11 are diagrams for explaining a head model that can be provided by the head model generation unit 1120 of the digital surrogate generation unit 1100 of the virtual fitting apparatus 1000 using digital surrogates according to an embodiment of the present invention. Are generated.

도 8은 머리 모델 생성부(1120)의 특징점 검출부(1121)에 의해 제공될 수 있는 화면이다. 도 8에 도시된 화면을 통해 사용자의 2차원 얼굴 이미지로부터 특징점이 검출된다. 특징점은 눈, 코 및 입과 같은 얼굴에서 구별이 가능한 특징적인 부분이다.8 is a screen that can be provided by the feature point detection unit 1121 of the head model generation unit 1120. FIG. The feature points are detected from the two-dimensional face image of the user through the screen shown in Fig. Feature points are distinctive features that can be distinguished from faces such as eyes, nose, and mouth.

도 9는 머리 모델 생성부(1120)의 얼굴 윤곽 생성부(1122) 및 얼굴 윤곽 조정부(1123)에 의해 제공될 수 있는 화면이다. 도 9에 도시된 화면을 통해 특징점의 위치에 대응하여 타원형의 얼굴 윤곽(21)이 생성된다. 그리고 생성된 얼굴 윤곽(21)은 사용자의 2차원 얼굴 이미지(22)에 중첩되어 표시되고, 표시된 얼굴 윤곽(21)을 적절한 크기 또는 위치로 조정할 수 있다.9 is a screen that can be provided by the face contour generation unit 1122 and the face contour adjustment unit 1123 of the hair model generation unit 1120. [ An elliptical face contour 21 is generated corresponding to the position of the feature point through the screen shown in Fig. The generated facial contour 21 is displayed superimposed on the user's two-dimensional facial image 22 and can adjust the displayed facial contour 21 to an appropriate size or position.

도 10 및 도 11은 머리 모델 생성부(1120)의 초기 얼굴 모델 생성부(1124) 및 얼굴 모델 수정부(1125)에 의해 제공될 수 있는 화면이다. 도 10에 도시된 화면을 통해 사용자의 2차원 얼굴 이미지 및 조정된 얼굴 윤곽에 대응하여 초기 얼굴 모델이 생성되어 표시된다. 생성된 초기 얼굴 모델은 초기 얼굴 모델의 특징점의 3차원 위치를 조정하여 3차원 머리 모델로 완성된다. 그리고 도 11에 도시된 화면에서와 같이 헤어 스타일을 설정할 수 있다. 헤어 스타일은 사용자 본인의 헤어 스타일에서 선택하거나, 기존에 가상 피팅 장치에 저장된 다른 헤어 스타일에서 선택할 수 있다.
10 and 11 are screens that can be provided by the initial face model generation unit 1124 and the face model correction unit 1125 of the head model generation unit 1120. [ An initial face model corresponding to the user's two-dimensional face image and the adjusted face contour is generated and displayed through the screen shown in FIG. The generated initial face model is completed as a 3D head model by adjusting the three-dimensional positions of the feature points of the initial face model. The hair style can be set as shown in the screen of FIG. The hairstyle can be selected from the user's own hairstyle, or alternatively from other hairstyles stored in the virtual fitting device.

이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken as limitations. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

1100: 디지털 서로게이트 생성부 1110: 신체 모델 생성부
1111: 초기 신체 모델 생성부 1112: 신체 모델 정렬부
1113: 신체 모델 수정부 1114: 신체 부위 조정부
1120: 머리 모델 생성부 1121: 특징점 검출부
1122: 얼굴 윤곽 생성부 1123: 얼굴 윤곽 조정부
1124: 초기 얼굴 모델 생성부 1125: 얼굴 모델 수정부
1200: 3차원 객체 모델 생성부 1210: 옷 커널 모델 생성부
1220: 매핑 수행부 1230: 3차원 데이터 추정부
1240: 3차원 옷 모델 생성부 1300: 가상 피팅부
1310: 피팅 정렬부 1320: 3차원 객체 모델 변형부1100: digital surrogate generation unit 1110: body model generation unit
1111: Initial body model generation unit 1112:
1113: body model correction unit 1114: body region adjustment unit
1120: Hair model generation unit 1121:
1122: face contour generation unit 1123: face contour adjustment unit
1124: initial face model generation unit 1125: face model correction unit
1200: 3D object model generation unit 1210: Clothes kernel model generation unit
1220: mapping performing unit 1230: 3D data estimating unit
1240: Three-dimensional clothes model generation unit 1300: Virtual fitting unit
1310: fitting arrangement part 1320: 3D object model transformation part

Claims (20)

사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성하는 디지털 서로게이트 생성부;
상기 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성하는 3차원 객체 모델 생성부; 및
상기 디지털 서로게이트에 상기 3차원 객체 모델을 적용하고, 상기 디지털 서로게이트에 대응하여 상기 3차원 객체 모델을 변형하는 가상 피팅부를 포함하되,
상기 3차원 객체 모델 생성부는,
옷의 2차원 이미지와 상기 옷의 타입에 대응되는 옷 커널 모델 간의 매핑을 수행하여 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 산출하고, 상기 산출된 관련성을 이용하여 3차원 옷 모델을 생성하고,
상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성은,
상기 옷의 2차원 이미지와 상기 옷 커널 모델을 부위별로 분할하여 서로 대응되는 부위 간의 매핑을 통해 산출되는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.A digital surrogate generation unit for generating a digital surrogate corresponding to the user by reflecting a user's physical condition;
A three-dimensional object model generation unit for generating a three-dimensional object model from a two-dimensional image of an object applicable to the user; And
A virtual fitting unit that applies the 3D object model to the digital surrogate and transforms the 3D object model corresponding to the digital surrogate,
Wherein the 3D object model generation unit comprises:
Dimensional image of clothes and a clothes kernel model corresponding to the type of clothes to calculate a relation between the two-dimensional image of the clothes and the clothes kernel model, and using the calculated relation, Generate,
The relationship between the two-dimensional image of the clothes and the clothes kernel model,
Wherein the two-dimensional image of the clothes and the clothes kernel model are divided by regions and are calculated through mapping between corresponding regions. 제1항에 있어서,
상기 디지털 서로게이트는,
상기 사용자의 신체 부위에 대응하는 제어 가능한 매개 변수 모델을 포함하여 구성되는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.The method according to claim 1,
The digital surrogate may comprise:
And a controllable parameter model corresponding to the body part of the user. ≪ RTI ID = 0.0 > 11. < / RTI > 제1항에 있어서,
상기 디지털 서로게이트 생성부는,
상기 사용자의 2차원 신체 이미지로부터 상기 디지털 서로게이트의 일부를 구성하는 3차원 신체 모델을 생성하는 신체 모델 생성부; 및
상기 사용자의 2차원 얼굴 이미지로부터 상기 디지털 서로게이트의 다른 일부를 구성하는 3차원 머리 모델을 생성하는 머리 모델 생성부를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.The method according to claim 1,
Wherein the digital surrogate generation unit comprises:
A body model generating unit for generating a three-dimensional body model constituting a part of the digital interrogator from the two-dimensional body image of the user; And
And a head model generating unit for generating a three-dimensional head model constituting another part of the digital interrogator from the two-dimensional face image of the user. 제3항에 있어서,
상기 신체 모델 생성부는,
상기 사용자의 신체 사이즈를 입력받아 초기 신체 모델을 생성하는 초기 신체 모델 생성부;
상기 사용자의 2차원 신체 이미지와 상기 초기 신체 모델을 정렬하는 신체 모델 정렬부; 및
상기 초기 신체 모델을 상기 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정하여 상기 3차원 신체 모델을 생성하는 신체 모델 수정부를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.The method of claim 3,
Wherein the body model generation unit comprises:
An initial body model generating unit for receiving the body size of the user and generating an initial body model;
A body model arrangement unit for aligning the two-dimensional body image of the user with the initial body model; And
And a body model modifying unit for modifying the initial body model to match the boundary of the user's two-dimensional body image to generate the three-dimensional body model. 제4항에 있어서,
상기 신체 모델 생성부는,
상기 3차원 신체 모델의 하나 이상의 신체 부위의 사이즈 또는 형상을 조정하는 신체 부위 조정부를 더 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.5. The method of claim 4,
Wherein the body model generation unit comprises:
Further comprising a body part adjuster for adjusting the size or shape of the at least one body part of the three-dimensional body model. 제3항에 있어서,
상기 머리 모델 생성부는,
사용자의 2차원 얼굴 이미지로부터 특징점을 검출하는 특징점 검출부;
상기 특징점의 위치에 대응하여 소정의 모양의 얼굴 윤곽을 생성하는 얼굴 윤곽 생성부;
생성된 상기 얼굴 윤곽의 크기 또는 위치를 조정하는 얼굴 윤곽 조정부;
상기 2차원 얼굴 이미지 및 조정된 상기 얼굴 윤곽에 대응하여 초기 얼굴 모델을 생성하는 초기 얼굴 모델 생성부; 및
상기 초기 얼굴 모델의 상기 특징점의 3차원 위치를 조정하여 상기 3차원 머리 모델을 생성하는 얼굴 모델 수정부를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.The method of claim 3,
Wherein the head model generating unit comprises:
A feature point detector for detecting a feature point from a user's two-dimensional face image;
A face contour generation unit for generating a contour of a predetermined shape corresponding to the position of the minutiae;
A face contour adjustment unit for adjusting a size or position of the generated face contour;
An initial face model generation unit for generating an initial face model corresponding to the two-dimensional face image and the adjusted face contour; And
And a face model modifying unit for modifying a three-dimensional position of the minutiae of the initial face model to generate the three-dimensional hair model. 제1항에 있어서,
상기 3차원 객체 모델 생성부는,
상기 3차원 옷 모델, 3차원 메이크업 모델, 3차원 헤어 스타일 모델 및 3차원 액세서리 모델 중 하나 이상을 생성하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.The method according to claim 1,
Wherein the 3D object model generation unit comprises:
Dimensional model, a three-dimensional clothes model, a three-dimensional makeup model, a three-dimensional hair style model, and a three-dimensional accessory model. 제7항에 있어서,
상기 3차원 객체 모델 생성부는,
상기 옷의 타입을 설정하고 설정된 상기 옷의 타입에 대응하여 상기 옷 커널 모델을 생성하는 옷 커널 모델 생성부;
상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 매핑을 수행하여 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 산출하는 매핑 수행부;
상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 이용하여 상기 3차원 옷 모델의 3차원 데이터를 추정하는 3차원 데이터 추정부; 및
상기 3차원 데이터를 이용하여 상기 3차원 옷 모델을 생성하는 3차원 옷 모델 생성부를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.8. The method of claim 7,
Wherein the 3D object model generation unit comprises:
A clothes kernel model generation unit for setting the type of the clothes and generating the clothes kernels model corresponding to the set clothes type;
A mapping unit for performing a mapping between the two-dimensional image of the clothes and the clothes kernel model to calculate a relation between the two-dimensional image of the clothes and the clothes kernel model;
A three-dimensional data estimator for estimating three-dimensional data of the three-dimensional clothes model using a relation between the two-dimensional image of the clothes and the clothes kernel model; And
And a three-dimensional clothes model generating unit for generating the three-dimensional clothes model using the three-dimensional data. 제1항에 있어서,
상기 가상 피팅부는,
상기 디지털 서로게이트 및 상기 3차원 객체 모델을 서로 대응되는 부위에 맞추어 정렬하는 피팅 정렬부; 및
상기 3차원 객체 모델의 각 부위를 대응되는 디지털 서로게이트의 신체 부위의 사이즈 또는 형상에 따라 변형하여 상기 3차원 객체 모델을 변형하는 3차원 객체 모델 변형부를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.The method according to claim 1,
The virtual fitting portion
A fitting arrangement for aligning the digital surrogate and the three-dimensional object model to correspond to each other; And
And a three-dimensional object model modifying unit for modifying the three-dimensional object model by modifying each part of the three-dimensional object model according to a size or shape of a corresponding body part of the digital surrogate. Virtual fitting device. 제9항에 있어서,
상기 3차원 객체 모델 변형부는,
상기 3차원 객체의 타입, 소재 및 사이즈를 반영하여 상기 3차원 객체 모델을 변형하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 장치.10. The method of claim 9,
The three-dimensional object model transforming unit transforms the three-
Wherein the 3D object model is modified by reflecting the type, material, and size of the 3D object. 사용자의 신체 조건을 반영하여 상기 사용자에 대응하는 디지털 서로게이트를 생성하는 단계;
상기 사용자에 적용 가능한 객체의 2차원 이미지로부터 3차원 객체 모델을 생성하는 단계; 및
상기 디지털 서로게이트에 상기 3차원 객체 모델을 적용하고, 상기 디지털 서로게이트에 대응하여 상기 3차원 객체 모델을 변형함으로써, 가상 피팅을 수행하는 단계를 포함하되,
상기 3차원 객체 모델을 생성하는 단계는,
옷의 2차원 이미지와 상기 옷의 타입에 대응되는 옷 커널 모델 간의 매핑을 수행하여 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 산출하고, 상기 산출된 관련성을 이용하여 3차원 옷 모델을 생성하는 단계;를 포함하고,
상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성은,
상기 옷의 2차원 이미지와 상기 옷 커널 모델을 부위별로 분할하여 서로 대응되는 부위 간의 매핑을 통해 산출되는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.Generating a digital surrogate corresponding to the user by reflecting a user's physical condition;
Creating a three-dimensional object model from a two-dimensional image of an object applicable to the user; And
Performing virtual fitting by applying the 3D object model to the digital surrogate and modifying the 3D object model corresponding to the digital surrogate,
Wherein the generating the three-dimensional object model comprises:
Dimensional image of clothes and a clothes kernel model corresponding to the type of clothes to calculate a relation between the two-dimensional image of the clothes and the clothes kernel model, and using the calculated relation, The method comprising:
The relationship between the two-dimensional image of the clothes and the clothes kernel model,
Wherein the two-dimensional image of the clothes and the clothes kernel model are divided by regions and are mapped through mapping between corresponding regions. 제11항에 있어서,
상기 디지털 서로게이트는,
상기 사용자의 신체 부위에 대응하는 제어 가능한 매개 변수 모델을 포함하여 구성되는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.12. The method of claim 11,
The digital surrogate may comprise:
And a controllable parameter model corresponding to a body part of the user. 제11항에 있어서,
상기 디지털 서로게이트를 생성하는 단계는,
상기 사용자의 2차원 신체 이미지로부터 상기 디지털 서로게이트의 신체 부분을 구성하는 3차원 신체 모델을 생성하는 단계; 및
상기 사용자의 2차원 얼굴 이미지로부터 상기 디지털 서로게이트의 얼굴 부분을 구성하는 3차원 머리 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.12. The method of claim 11,
Wherein generating the digital surrogate comprises:
Generating a three-dimensional body model constituting a body part of the digital surrogate from the two-dimensional body image of the user; And
And generating a three-dimensional head model constituting a face portion of the digital surrogate from the two-dimensional face image of the user. 제13항에 있어서,
상기 3차원 신체 모델을 생성하는 단계는,
상기 사용자의 신체 사이즈를 입력받아 초기 신체 모델을 생성하는 단계;
상기 사용자의 2차원 신체 이미지와 상기 초기 신체 모델을 정렬하는 단계; 및
상기 초기 신체 모델을 상기 사용자의 2차원 신체 이미지의 경계에 매칭되도록 수정하여 상기 3차원 신체 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.14. The method of claim 13,
Wherein the generating the three-dimensional body model comprises:
Generating an initial body model by receiving the body size of the user;
Aligning the two-dimensional body image of the user with the initial body model; And
And modifying the initial body model to match the boundary of the two-dimensional body image of the user to generate the three-dimensional body model. 제14항에 있어서,
상기 3차원 신체 모델을 생성하는 단계는,
상기 3차원 신체 모델의 하나 이상의 신체 부위의 사이즈 또는 형상을 조정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.15. The method of claim 14,
Wherein the generating the three-dimensional body model comprises:
Further comprising the step of adjusting the size or shape of one or more body parts of the three-dimensional body model. 제13항에 있어서,
상기 3차원 머리 모델을 생성하는 단계는,
사용자의 2차원 얼굴 이미지로부터 특징점을 검출하는 단계;
상기 특징점의 위치에 대응하여 소정의 모양의 얼굴 윤곽을 생성하는 단계;
생성된 상기 얼굴 윤곽의 크기 또는 위치를 조정하는 단계;
상기 2차원 얼굴 이미지 및 조정된 상기 얼굴 윤곽에 대응하여 초기 얼굴 모델을 생성하는 단계; 및
상기 초기 얼굴 모델의 상기 특징점의 3차원 위치를 조정하여 상기 3차원 머리 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.14. The method of claim 13,
Wherein the generating the three-dimensional head model comprises:
Detecting feature points from a two-dimensional face image of a user;
Generating a face contour of a predetermined shape corresponding to the position of the minutiae;
Adjusting a size or position of the generated facial contour;
Generating an initial face model corresponding to the two-dimensional face image and the adjusted face contour; And
And adjusting the three-dimensional position of the minutiae of the initial face model to generate the three-dimensional hair model. 제11항에 있어서,
상기 3차원 객체 모델을 생성하는 단계는,
상기 3차원 옷 모델, 3차원 메이크업 모델, 3차원 헤어 스타일 모델 및 3차원 액세서리 모델 중 하나 이상을 생성하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.12. The method of claim 11,
Wherein the generating the three-dimensional object model comprises:
Dimensional model, a three-dimensional makeup model, a three-dimensional hair style model, and a three-dimensional accessory model. 제17항에 있어서,
상기 3차원 객체 모델을 생성하는 단계는,
상기 옷의 타입을 설정하고 설정된 상기 옷의 타입에 대응하여 옷 커널 모델을 생성하는 단계;
상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 매핑을 수행하여 상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 산출하는 단계;
상기 옷의 2차원 이미지와 상기 옷 커널 모델 간의 관련성을 이용하여 상기 3차원 옷 모델의 3차원 데이터를 추정하는 단계; 및
상기 3차원 데이터를 이용하여 상기 3차원 옷 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.18. The method of claim 17,
Wherein the generating the three-dimensional object model comprises:
Setting a type of the clothes and generating a clothes kernel model corresponding to the set clothes type;
Performing a mapping between the two-dimensional image of the cloth and the cloth kernel model to calculate a relationship between the two-dimensional image of the cloth and the cloth kernel model;
Estimating three-dimensional data of the three-dimensional clothes model using a relation between the two-dimensional image of the clothes and the clothes kernel model; And
And generating the three-dimensional clothes model using the three-dimensional data. 제11항에 있어서,
상기 가상 피팅을 수행하는 단계는,
상기 디지털 서로게이트 및 상기 3차원 객체 모델을 서로 대응되는 부위에 맞추어 정렬하는 단계; 및
상기 3차원 객체 모델의 각 부위를 대응되는 디지털 서로게이트의 신체 부위의 사이즈 또는 형상에 따라 변형하여 상기 3차원 객체 모델을 변형하는 단계를 포함하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.12. The method of claim 11,
Wherein performing the virtual fitting comprises:
Aligning the digital surrogate and the three-dimensional object model to correspond to each other; And
And deforming the three-dimensional object model by modifying each part of the three-dimensional object model according to a size or shape of a body part of the corresponding digital surrogate. 제19항에 있어서,
상기 3차원 객체 모델을 변형하는 단계는,
상기 3차원 객체의 타입, 소재 및 사이즈를 반영하여 상기 3차원 객체 모델을 변형하는 것을 특징으로 하는 디지털 서로게이트를 이용한 가상 피팅 방법.20. The method of claim 19,
Wherein transforming the three-dimensional object model comprises:
Wherein the 3D object model is modified by reflecting a type, a material, and a size of the 3D object.
KR20130043345A 2013-04-19 2013-04-19 Virtual fitting apparatus and method using digital surrogate KR101508161B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130043345A KR101508161B1 (en) 2013-04-19 2013-04-19 Virtual fitting apparatus and method using digital surrogate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130043345A KR101508161B1 (en) 2013-04-19 2013-04-19 Virtual fitting apparatus and method using digital surrogate

Publications (2)

Publication Number Publication Date
KR20140125507A KR20140125507A (en) 2014-10-29
KR101508161B1 true KR101508161B1 (en) 2015-04-07

Family

ID=51995240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130043345A KR101508161B1 (en) 2013-04-19 2013-04-19 Virtual fitting apparatus and method using digital surrogate

Country Status (1)

Country Link
KR (1) KR101508161B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767144B1 (en) * 2015-08-13 2017-08-11 (주)에프엑스기어 Apparatus, method and computer program for generating 3-dimensional model of clothes

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101974573B1 (en) * 2018-07-26 2019-05-02 심원희 Online shoping mall system
KR102065561B1 (en) * 2019-02-27 2020-01-13 심원희 Online shopping mall system
CN114663552B (en) * 2022-05-25 2022-08-16 武汉纺织大学 Virtual fitting method based on 2D image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020051667A (en) * 2000-12-23 2002-06-29 윤종용 Method and apparatus for representing virtual shape of wearing garment(s)
KR100862961B1 (en) 2007-01-16 2008-10-13 에스케이씨앤씨 주식회사 Digital homeshopping broadcasting system providing the avata image
KR101165076B1 (en) 2010-04-06 2012-07-12 박진현 Method for virtual fitting using of computer network, system and computer-readable medium recording the method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020051667A (en) * 2000-12-23 2002-06-29 윤종용 Method and apparatus for representing virtual shape of wearing garment(s)
KR100862961B1 (en) 2007-01-16 2008-10-13 에스케이씨앤씨 주식회사 Digital homeshopping broadcasting system providing the avata image
KR101165076B1 (en) 2010-04-06 2012-07-12 박진현 Method for virtual fitting using of computer network, system and computer-readable medium recording the method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767144B1 (en) * 2015-08-13 2017-08-11 (주)에프엑스기어 Apparatus, method and computer program for generating 3-dimensional model of clothes

Also Published As

Publication number Publication date
KR20140125507A (en) 2014-10-29

Similar Documents

Publication Publication Date Title
US11662829B2 (en) Modification of three-dimensional garments using gestures
US10529127B2 (en) System and method for simulating realistic clothing
CN114663199B (en) Dynamic display real-time three-dimensional virtual fitting system and method
CN105354876B (en) A kind of real-time volume fitting method based on mobile terminal
Brouet et al. Design preserving garment transfer
Guan et al. Drape: Dressing any person
US10311508B2 (en) Garment modeling simulation system and process
Robson et al. Context-aware garment modeling from sketches
US20130173226A1 (en) Garment modeling simulation system and process
US8976230B1 (en) User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
Jiang et al. Transferring and fitting fixed-sized garments onto bodies of various dimensions and postures
CN105427386A (en) Garment deformation method based on input human body posture real-time generation
Yasseen et al. Sketch-based garment design with quad meshes
US20210326955A1 (en) Generation of Improved Clothing Models
KR101508161B1 (en) Virtual fitting apparatus and method using digital surrogate
KR101158453B1 (en) Apparatus and Method for coordinating a simulated clothes with the three dimensional effect at plane using the two dimensions image data
Wolff et al. Designing personalized garments with body movement
Li et al. Computer-aided 3D human modeling for portrait-based product development using point-and curve-based deformation
Fondevilla et al. Fashion transfer: Dressing 3d characters from stylized fashion sketches
CN114581288A (en) Image generation method and device, electronic equipment and storage medium
CN116246041A (en) AR-based mobile phone virtual fitting system and method
KR20210130420A (en) System for smart three dimensional garment fitting and the method for providing garment fitting service using there of
WO2014028714A2 (en) Garment modeling simulation system and process
WO2019044333A1 (en) Simulation device, simulation method, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 5