KR20230082855A - Method and device for providing service of virtual fitting - Google Patents

Method and device for providing service of virtual fitting Download PDF

Info

Publication number
KR20230082855A
KR20230082855A KR1020210170712A KR20210170712A KR20230082855A KR 20230082855 A KR20230082855 A KR 20230082855A KR 1020210170712 A KR1020210170712 A KR 1020210170712A KR 20210170712 A KR20210170712 A KR 20210170712A KR 20230082855 A KR20230082855 A KR 20230082855A
Authority
KR
South Korea
Prior art keywords
user
clothes
image
virtual fitting
size
Prior art date
Application number
KR1020210170712A
Other languages
Korean (ko)
Inventor
최화신
Original Assignee
최화신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최화신 filed Critical 최화신
Priority to KR1020210170712A priority Critical patent/KR20230082855A/en
Publication of KR20230082855A publication Critical patent/KR20230082855A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Abstract

본 발명은 가상 피팅 서비스를 제공하는 방법 및 장치에 관한 것으로, 사용자의 이미지 정보로부터 신체 사이즈를 추정하고, 추정된 신체 사이즈와 고객이 선택한 옷을 렌더링한 가상 피팅 이미지를 생성하며, 생성된 가상 피팅 이미지를 사용자 단말로 전송하는 가상 피팅 서비스를 제공하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a virtual fitting service, estimating a body size from image information of a user, generating a virtual fitting image obtained by rendering the estimated body size and clothes selected by a customer, and generating the virtual fitting image. A method and apparatus for providing a virtual fitting service that transmits an image to a user terminal.

Description

가상 피팅 서비스를 제공하는 방법 및 장치{METHOD AND DEVICE FOR PROVIDING SERVICE OF VIRTUAL FITTING}Method and apparatus for providing virtual fitting service {METHOD AND DEVICE FOR PROVIDING SERVICE OF VIRTUAL FITTING}

본 발명은 가상 피팅 서비스를 제공하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자의 이미지 정보로부터 신체 사이즈를 추정하고, 추정된 신체 사이즈와 고객이 선택한 옷을 렌더링한 가상 피팅 이미지를 생성하며, 생성된 가상 피팅 이미지를 사용자 단말로 전송하는 가상 피팅 서비스를 제공하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a virtual fitting service, and more particularly, estimating a body size from image information of a user, generating a virtual fitting image obtained by rendering the estimated body size and clothes selected by a customer, A method and apparatus for providing a virtual fitting service that transmits a generated virtual fitting image to a user terminal.

최근 인터넷 및 전자상거래의 발전으로 온라인을 통해 상품을 판매하는 온라인 쇼핑몰이 대중화되었다. 온라인 쇼핑몰은 상품을 구매하기 위해 상점이나 백화점을 방문하는 수고를 덜어주기 때문에, 바쁜 현대인들의 이용도는 점점 더 늘어나고 있다.Recently, with the development of the Internet and electronic commerce, online shopping malls that sell products online have become popular. Online shopping malls are increasingly being used by busy modern people because they reduce the trouble of visiting stores or department stores to purchase products.

그러나 물건을 직접 보고 사는 것이 아니기 때문에, 구매한 물건이 자신이 생각한 것과는 다른 경우가 많이 있다. 자신에게 어울리지 않거나 자신의 생각과 다르기 때문에, 온라인 쇼핑몰을 통해 물건을 구매한 경우 반품률이 상당히 높다.However, there are many cases where the purchased product is different from what you thought because you do not see and buy the product in person. The return rate is quite high if you purchase an item through an online shopping mall because it does not suit you or is different from what you think.

이에 가상피팅을 제공함으로써, 구매하고자 하는 상품이 자신의 성별, 나이, 키, 몸무게, 체형 등 자신의 스타일에 어울리는지를 사용자가 영상으로 직접 확인하게 할 수 있는 온라인 쇼핑몰에 대한 요구가 커지고 있다. Accordingly, by providing virtual fitting, there is a growing demand for online shopping malls that allow users to directly check whether a product they want to purchase matches their style, such as their gender, age, height, weight, and body shape, through video.

나아가 개인의 신체적 특징과 트렌드 등을 고려한 패션 코디를 추천해주는 온라인 쇼핑몰에 대한 요구도 커지고 있다. Furthermore, there is a growing demand for online shopping malls that recommend fashion coordination considering individual physical characteristics and trends.

대한민국 공개특허 제10-2020-0084780호 (공개일: 2020년 7월 13일)Republic of Korea Patent Publication No. 10-2020-0084780 (published date: July 13, 2020)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 각 사용자에게 자신의 신체 사이즈에 적합한 가상 피팅 이미지를 제공함으로써 사용자가 오프라인에서 매장에 방문하여 옷을 직접 입어보지 않고도 자신에게 옷이 어울리는지 판단하여 구매를 선택할 수 있게 도와주는 가상 피팅 서비스를 제공하는 방법 및 장치를 제공함에 있다. Therefore, the present invention has been proposed to solve the above problems, by providing each user with a virtual fitting image suitable for his or her body size, so that the user can wear clothes to himself without visiting a store offline and trying on clothes himself. An object of the present invention is to provide a method and apparatus for providing a virtual fitting service that helps a person select a purchase by determining whether the fit is appropriate.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Objects of the present invention are not limited to those mentioned above, and other objects not mentioned above will be clearly understood by those skilled in the art from the description below.

상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 가상 피팅 서비스 서버가 가상 피팅 서비스를 제공하는 방법은, 사용자 단말로부터 사용자의 사진이나 동영상을 포함하는 사용자 이미지 정보를 입력받는 단계; 상기 사용자 이미지 정보에서 적어도 두 군데 이상의 신체 부위를 검출하고, 상기 검출된 신체 부위에 기초하여 사용자의 신체 사이즈를 추정하는 단계; 상기 사용자 단말로부터 사용자가 피팅하고자 하는 옷을 선택받는 단계; 상기 선택받은 옷에 대해 미리 구비된 여러 사이즈 중 상기 사용자의 신체 사이즈에 가장 유사 매칭되는 사이즈를 선택하는 단계; 상기 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하여 가상 피팅 이미지를 생성하는 단계; 및 상기 가상 피팅 이미지를 상기 사용자 단말에 전송하는 단계를 포함한다.To achieve the above object, a method for providing a virtual fitting service by a virtual fitting service server according to an embodiment of the present invention includes receiving user image information including a user's picture or video from a user terminal; detecting at least two or more body parts from the user image information and estimating a body size of the user based on the detected body parts; receiving, from the user terminal, clothes that the user wants to fit; selecting a size most similarly matched to the user's body size from among several pre-arranged sizes of the selected clothes; generating a virtual fitting image by virtually fitting clothes of the selected size to the user image; and transmitting the virtual fitting image to the user terminal.

또한, 본 발명에 따른 가상 피팅 서비스 제공 장치는 사용자 단말로부터 사용자의 사진이나 동영상을 포함하는 사용자 이미지 정보를 입력받는 사용자 이미지 입력부; 상기 사용자 이미지 정보에서 적어도 두 군데 이상의 신체 부위를 검출하고, 상기 검출된 신체 부위에 기초하여 사용자의 신체 사이즈를 추정하는 신체 사이즈 추정부; 상기 사용자 단말로부터 사용자가 피팅하고자 하는 옷을 선택받는 선택부; 상기 선택받은 옷에 대해 미리 구비된 여러 사이즈 중 상기 사용자의 신체 사이즈에 가장 유사 매칭되는 사이즈를 검출하는 사이즈 검출부; 및In addition, a virtual fitting service providing apparatus according to the present invention includes a user image input unit that receives user image information including a user's picture or video from a user terminal; a body size estimation unit that detects at least two or more body parts from the user image information and estimates a body size of the user based on the detected body parts; a selection unit that receives a selection of clothes that the user wants to fit from the user terminal; a size detecting unit which detects a size most similarly matched to the user's body size among several pre-prepared sizes of the selected clothes; and

상기 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하여 상기 사용자 단말에 전송하는 가상 피팅부를 포함한다.and a virtual fitting unit for virtually fitting the clothes of the selected size to the user image and transmitting the virtual fitting to the user terminal.

본 발명에 의하면, 사용자가 오프라인에서 매장을 직접 방문하지 않아도 입어보고 싶은 의상을 선택하면 자신의 이미지에 피팅한 가상 피팅 이미지를 수신받고, 자신의 신체 사이즈에 가장 매칭하는 사이즈 정보를 제공받음으로써, 온라인에서도 자신의 이미지와 의상이 어울리는지 확인하고 최적의 사이즈로 의상을 구매할 수 있게 된다.According to the present invention, when a user selects an outfit that he or she wants to try on without having to visit a store directly offline, a virtual fitting image fitted to the user's image is received and size information that best matches the user's body size is provided. Even online, you can check if the clothes match your image and buy the clothes in the optimal size.

이에, 온라인 상품몰은 상품 판매를 촉진할 수 있고, 상품의 구매 만족도를 높여줄 수 있다.Accordingly, the online product mall can promote product sales and increase product purchase satisfaction.

본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시예에 따른 가상 피팅 서비스를 제공하는 시스템의 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 서비스 서버(10)의 구체적인 구성을 도시하는 블록도이다.
도 3은 사람의 신체를 소정 영역으로 나누고, 소정 영역마다 포함된 관절을 도시하는 도면이다.
도 4는 본 발명의 실시예에 따른 가상 피팅 이미지 생성 과정의 일 예를 도시한다.
도 5는 본 발명의 실시예에 따른 가상 피팅 서비스를 제공하는 장치를 이용한 가상 피팅 서비스를 제공하는 방법을 설명하기 위한 순서도이다.1 is a network configuration diagram of a system providing a virtual fitting service according to an embodiment of the present invention.
2 is a block diagram showing a specific configuration of a service server 10 according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a human body divided into predetermined regions and joints included in each predetermined region.
4 illustrates an example of a process of generating a virtual fitting image according to an embodiment of the present invention.
5 is a flowchart illustrating a method of providing a virtual fitting service using an apparatus for providing a virtual fitting service according to an embodiment of the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.Objects and effects of the present invention, and technical configurations for achieving them will become clear with reference to embodiments to be described later in detail in conjunction with the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms described later are terms defined in consideration of the structure, role, and function in the present invention, which may vary according to the intention or custom of a user or operator.

그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.However, the present invention is not limited to the embodiments disclosed below and may be implemented in a variety of different forms. Only these embodiments are provided to complete the disclosure of the present invention and to fully inform those skilled in the art of the scope of the invention, and the present invention is described only in the claims. It is only defined by the scope of the claims. Therefore, the definition should be made based on the contents throughout this specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated.

이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in more detail.

한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.Meanwhile, in an embodiment of the present invention, each component, functional block or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component include an electronic circuit, It may be implemented with various known elements or mechanical elements such as an integrated circuit, an application specific integrated circuit (ASIC), and may be implemented separately or two or more may be integrated into one.

또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Also, combinations of each block of the accompanying block diagram and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be loaded into the processor of other programmable data processing equipment such as general-purpose computers, special-purpose computers, portable notebook computers, and network computers, the instructions executed through the processor of the computer device or other programmable data processing equipment Each block of the block diagram or each step of the flow chart described below will create a means for performing the functions described. Since these computer program instructions may be stored in computer readable memory or in memory available to a computer device that may be directed to a computer device or other programmable data processing equipment to implement functionality in a particular way, each block of a block diagram Alternatively, it is also possible to produce an article containing instruction means for performing the functions described in each step of the flow chart. Since the computer program instructions can also be loaded on a computer device or other programmable data processing equipment, a process for performing a series of operation steps on a computer device or other programmable data processing equipment is created to create each block and flow chart in the block diagram. It is also possible to provide steps for executing the functions described in each step of .

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is possible for the functions recited in blocks or steps to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order depending on their function.

본 발명은 사용자로부터 입력되는 사용자 이미지 정보를 등록하여 적어도 하나 이상의 신체 부위에 대한 신체 사이즈를 추정할 수 있도록 지원하고, 그 측정된 신체 사이즈에 맞추어 사용자가 선택한 의상에 기초하여 가상 피팅 이미지를 생성하도록 한다. 또한, 가상 피팅 이미지에 대한 사용자의 피드백 정보를 기반으로 인공지능 알고리즘을 통해 맞춤형 의상을 추천하도록 하는 것이다.The present invention registers user image information input from the user to support estimating the body size of at least one body part, and to generate a virtual fitting image based on the clothes selected by the user according to the measured body size. do. In addition, based on the user's feedback information on the virtual fitting image, a customized costume is recommended through an artificial intelligence algorithm.

이하에서는 본 발명에 따른 가상 피팅 서비스를 제공하는 방법 및 장치에 대하여 첨부된 도면을 참고하여 보다 구체적으로 설명하기로 한다.Hereinafter, a method and apparatus for providing a virtual fitting service according to the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 가상 피팅 서비스를 제공하는 시스템의 네트워크 구성도이다. 1 is a network configuration diagram of a system providing a virtual fitting service according to an embodiment of the present invention.

도 1을 참조하면, 가상 피팅 서비스 제공 시스템(1)은 서비스 서버(10), 사용자 단말(20) 및 인공지능 서버(30)를 포함하며, 여기서 서비스 서버(10)는 이하 가상 피팅 서비스 제공 장치와 혼용하여 명명할 수 있다.Referring to FIG. 1, a virtual fitting service providing system 1 includes a service server 10, a user terminal 20, and an artificial intelligence server 30, wherein the service server 10 is hereinafter referred to as a virtual fitting service providing device. Can be named in combination with.

서비스 서버(10)는 사용자 단말(20-1~20-n)로 사용자가 가상 피팅을 원하여 선택한 옷을 사용자의 신체 사이즈에 맞추어 사용자 이미지에 가상으로 피팅한 가상 피팅 이미지를 생성하고, 생성된 가상 피팅 이미지를 해당 사용자 단말(20-1~20-n)로 전송하는 역할을 수행하는 서버이다.The service server 10 generates a virtual fitting image in which the user terminals 20-1 to 20-n virtually fit the clothes selected by the user for virtual fitting to the user image according to the user's body size, It is a server that serves to transmit the virtual fitting image to the corresponding user terminals 20-1 to 20-n.

사용자 단말(20-1~20-n)은 각 사용자가 소유하는 단말기로서, 유무선 통신망 또는 인터넷망과 연결된 컴퓨터 단말기 또는 휴대용 단말기를 의미한다. 휴대용 단말기는 근거리 통신 및/또는 무선 통신을 이용하는 휴대 전화기, 스마트폰 및 태블릿 컴퓨터 중의 적어도 하나를 포함한다. 사용자 단말(20-1~20-n)은 본 발명의 가상 피팅 서비스 이용을 위해 전용 애플리케이션을 다운로드 받고 설치할 수 있다. 예를 들어, 사용자가 애플리케이션 플랫폼 상에서 검색을 통해 사용자 단말(20-1~20-n)에 애플리케이션을 직접 설치하거나, 웹 페이지에 접속 중일 때, 애플리케이션 다운로드 및 설치에 대한 안내 메시지가 표출되고 사용자 단말(20-1~20-n) 상에 설치가 자동으로 이뤄질 수도 있다. 이와 같은 애플리케이션을 통해 사용자 단말(20-1~20-n)은 서비스 서버(10)의 클라이언트로 기능할 수 있다.The user terminals 20-1 to 20-n are terminals owned by each user, and refer to computer terminals or portable terminals connected to a wired/wireless communication network or an Internet network. The portable terminal includes at least one of a mobile phone, a smart phone, and a tablet computer using short-distance communication and/or wireless communication. The user terminals 20-1 to 20-n may download and install a dedicated application to use the virtual fitting service of the present invention. For example, when a user directly installs an application on the user terminal 20-1 to 20-n through a search on an application platform or is accessing a web page, a guide message for application download and installation is displayed and the user terminal Installation on (20-1~20-n) can be done automatically. Through such an application, the user terminals 20-1 to 20-n may function as clients of the service server 10.

서비스 서버(10)에서 생성된 가상 피팅 이미지는 이메일, 휴대전화의 멀티미디어 메시지 서비스(MMS), 인터넷에서 이용되는 푸쉬 메시지, 및 전용 앱을 통한 실행 화면 중의 적어도 하나의 형식을 이용하여 사용자 단말기(20-1~20-n)로 전송될 수 있다.The virtual fitting image generated by the service server 10 uses at least one form of e-mail, multimedia message service (MMS) of a mobile phone, a push message used on the Internet, and an execution screen through a dedicated app so that the user terminal 20 -1 to 20-n).

서비스 서버(10)는 각 사용자의 사용자 이미지 정보 및 신체 사이즈 정보를 각각 저장하는 데이터베이스를 포함한다. 사용자 이미지 정보는 사용자 단말(20-1~20-n)로부터 전송된 사용자의 사진이나 동영상 정보 등의 이미지 정보를 의미한다. 신체 사이즈 정보는 사용자의 키, 다리 길이, 팔 길이 및 상하체 비율 중 적어도 하나에 대한 정보를 포함한다.The service server 10 includes a database for storing user image information and body size information of each user. The user image information refers to image information such as a user's picture or video information transmitted from the user terminals 20-1 to 20-n. The body size information includes information on at least one of the user's height, leg length, arm length, and upper/lower body ratio.

서비스 서버(10)는 사용자로부터 입력되는 사용자 이미지 정보를 등록하여 적어도 하나 이상의 신체 부위에 대한 신체 사이즈를 추정할 수 있도록 지원하고, 그 측정된 신체 사이즈에 맞추어 사용자가 선택한 의상에 기초하여 가상 피팅 이미지를 생성하도록 한다.The service server 10 registers user image information input from the user to support estimating the body size of at least one body part, and the virtual fitting image based on the clothes selected by the user according to the measured body size. to create

본 발명에서 사용자 신체 사이즈에 따라 가상 피팅 이미지를 제공하는 방식으로서 다음의 2가지 방식이 이용될 수 있다.In the present invention, as a method of providing a virtual fitting image according to the user's body size, the following two methods may be used.

첫 번째 방식은, 사용자가 피팅을 원하는 옷을 선택한 경우, 사용자의 신체 사이즈를 기준으로 옷에 대해 미리 매핑된 여러 사이즈 정보 중 가장 유사 매칭되는 사이즈의 옷을 선택하고, 선택된 사이즈의 옷을 사용자 이미지에 가상 피팅하여 사용자에게 제공하는 방식이다.In the first method, when the user selects clothes to be fitted, the clothes of the most similarly matched size are selected based on the size of the user's body, and the clothes of the selected size are displayed in the user's image. It is a method of providing the user with a virtual fitting.

두 번째 방식은, 먼저 제공된 가상 피팅 이미지에 대한 피드백 내용에 따라 사용자가 선택한 옷과 어울리는 스타일로 미리 매핑된 다른 류의 상품을 추천하거나, 인공지능 알고리즘을 통해 사용자가 원하는 조건을 기반으로 온라인 쇼핑몰들에 판매하고 있는 옷들을 분석하여 추천하는 옷을 사용자 이미지에 가상 피팅하여 사용자에게 제공하는 방식이다. The second method recommends different types of products pre-mapped in a style that matches the clothes selected by the user according to the feedback on the virtual fitting image provided first, or recommends online shopping malls based on the conditions desired by the user through artificial intelligence algorithms. It is a method of analyzing the clothes sold by and providing the recommended clothes to the user by virtually fitting them to the user's image.

도 2는 본 발명의 실시예에 따른 서비스 서버(10)의 구체적인 구성을 도시하는 블록도이다. 도 2를 참조하면, 서비스 서버(10)는 사용자 이미지 입력부(11), 신체 사이즈 추정부(12), 의상 선택부(13), 사이즈 검출부(14), 가상 피팅부(15), 피드백부(16), 결제 유도 화면 출력부(17) 및 맞춤형 의상 추천부(18)를 포함한다.2 is a block diagram showing a specific configuration of a service server 10 according to an embodiment of the present invention. Referring to FIG. 2 , the service server 10 includes a user image input unit 11, a body size estimation unit 12, a clothing selection unit 13, a size detection unit 14, a virtual fitting unit 15, and a feedback unit ( 16), a payment inducement screen output unit 17 and a customized clothing recommendation unit 18.

사용자 이미지 입력부(11)는 사용자 단말(20-1~20-n)로부터 사용자의 사진이나 동영상을 포함하는 사용자 이미지 정보를 입력 받는다. 사용자 단말(20-1~20-n)은 촬영 수단을 통해 사용자의 신체를 촬영할 수 있다.The user image input unit 11 receives user image information including a user's picture or video from the user terminals 20-1 to 20-n. The user terminals 20-1 to 20-n may photograph the user's body through the photographing unit.

신체 사이즈 추정부(12)는 상기 사용자 이미지 정보에서 적어도 두 군데 이상의 특정 신체 부위를 검출하고, 상기 검출된 특정 신체 부위에 기초하여 사용자의 신체 사이즈를 추정할 수 있다. 이때, 사용자 단말(20-1~20-n)로부터 사용자의 키에 관한 수치 정보만 더 입력 받는 것만으로도 사용자 이미지 정보 속의 사용자 신체 정보가 키에 기반한 비율 정보 등을 기반으로 산출될 수 있다.The body size estimator 12 may detect at least two or more specific body parts from the user image information, and estimate the user's body size based on the detected specific body parts. At this time, the user's body information in the user image information can be calculated based on height-based ratio information, etc. only by further inputting numerical information about the user's height from the user terminals 20-1 to 20-n.

일 실시예로, 신체 사이즈 추정부(12)는 사용자 이미지에서 사람으로 추정되는 객체를 인지하고, 인지된 객체에서 아웃라인을 인식하여 미리 저장된 사람의 아웃라인에 대한 데이터베이스(121)에 기초하여 유사도 판단을 기반으로 얼굴 부위, 목에서 어깨로 이어지는 부위, 팔 부위, 엉덩이 부위, 배 부위, 다리 부위 및 발목 부위 중 적어도 두 부위를 검출할 수 있다.In one embodiment, the body size estimator 12 recognizes an object estimated to be a person in a user image, recognizes an outline in the recognized object, and compares the similarity based on the database 121 for a pre-stored outline of a person. Based on the determination, at least two of the face, neck to shoulder, arm, hip, stomach, leg, and ankle regions may be detected.

의상 선택부(13)는 사용자 단말(20-1~20-n)로부터 사용자가 피팅하고자 하는 옷을 선택받을 수 있다. 여기서, 서비스 서버(10)는 사용자에게 제휴된 온라인 쇼핑몰의 옷들을 제공하여 선택하게 할 수 있고, 또는 사용자가 온라인 쇼핑 중 마음에 드는 옷을 선택했을 때, 사용자 단말을 통하여 해당 옷 상품을 개시하는 웹 페이지 주소를 복사하여 전용 앱에 제공하거나 링크할 수도 있다. The clothes selector 13 may receive a selection of clothes that the user wants to fit from the user terminals 20-1 to 20-n. Here, the service server 10 may provide the user with clothes from an affiliated online shopping mall to select, or when the user selects clothes he likes during online shopping, the corresponding clothes product is displayed through the user terminal. You can also copy the web page address and provide or link to a dedicated app.

사이즈 검출부(14)는 선택받은 옷에 대해 미리 구비된 여러 사이즈 중 상기 사용자의 신체 사이즈에 가장 유사 매칭되는 사이즈를 검출할 수 있다. 이때, 옷이 서비스 서버(10)에 제휴된 온라인 쇼핑몰에서 판매중인 옷인 경우 미리 저장된 상기 옷에 대한 정보를 이용할 수 있다. 이와 달리, 서비스 서버(10)에 제휴되지 않은 온라인 쇼핑몰에서 판매중인 옷인 경우, 서비스 서버(10)는 해당 옷을 판매중인 웹 페이지의 정보를 파싱하여 해당 옷의 이미지, 사이즈, 소재 등에 관한 정보를 획득하고 분석할 수 있다.The size detecting unit 14 may detect a size most similarly matched to the user's body size among several pre-prepared sizes of the selected clothes. At this time, if the clothes are on sale in an online shopping mall affiliated with the service server 10, information on the clothes stored in advance may be used. In contrast, in the case of clothes being sold in an online shopping mall that is not affiliated with the service server 10, the service server 10 parses the information of the web page where the clothes are sold and provides information about the image, size, material, etc. of the clothes. can be obtained and analyzed.

이를 위해, 제휴된 온라인 쇼핑몰에서 판매하는 의상들에 대한 정보를 저장하는 데이터베이스(141) 및 웹 페이지에 있는 의상에 대한 정보를 파싱하는 웹 페이지 파싱부(142)를 더 구비할 수 있다.To this end, a database 141 for storing information on clothes sold in affiliated online shopping malls and a web page parsing unit 142 for parsing information on clothes in web pages may be further provided.

가상 피팅부(15)는 사이즈 검출부(14)에 의해 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하여 사용자 단말에 전송할 수 있다. The virtual fitting unit 15 may virtually fit the clothes of the size selected by the size detection unit 14 to the user image and transmit the result to the user terminal.

구체적으로, 가상 피팅부(15)는 사용자 단말로부터 수신된 사용자 이미지 정보에서 사용자 신체 영역과 배경 영역을 분리하고, 상기 사용자 신체 영역에서 사용자의 신체 포즈를 검출할 수 있다. 여기서, 신체 포즈는 예를 들어 서있는 자세, 앉아있는 자세, 두 팔 벌리고 서있는 자세, 두 다리를 벌리고 서있는 자세 등일 수 있다.Specifically, the virtual fitting unit 15 may separate the user body region and the background region from the user image information received from the user terminal, and detect the user's body pose in the user body region. Here, the body pose may be, for example, a standing posture, a sitting posture, a standing posture with arms wide open, a standing posture with legs wide apart, and the like.

가상 피팅부(15)는 사용자의 신체 포즈를 검출하기 위해 먼저, 사용자 신체 영역에서 관절 부위들을 검출하고, 상기 검출된 각 관절 부위가 향하는 방향 및 각도를 산출할 수 있다. 이에, 가상 피팅부(15)는 상기 옷의 원본 이미지에서 상기 각 관절 부위에 대응하는 부위를 기준으로 상기 산출된 방향 및 각도에 따라 상기 옷의 원본 이미지를 변형시킬 방향 및 각도를 결정할 수 있다. 도 3은 사람의 신체를 소정 영역으로 나누고, 소정 영역마다 포함된 관절을 도시하는 도면이다. 일 실시예로, 가상 피팅부(15)는 사람으로 인지되는 객체의 아웃라인에 기초하여 사용자의 신체 부위를 추정하고, 도 3과 같이 분류된 관절 영역들을 상기 사용자의 신체 부위에서 검출할 수 있다.In order to detect the user's body pose, the virtual fitting unit 15 first detects joint parts in the user's body region, and calculates the direction and angle of each of the detected joint parts. Accordingly, the virtual fitting unit 15 may determine the direction and angle to transform the original image of the clothes according to the calculated direction and angle based on the parts corresponding to the respective joint parts in the original image of the clothes. FIG. 3 is a diagram illustrating a human body divided into predetermined regions and joints included in each predetermined region. As an embodiment, the virtual fitting unit 15 may estimate a user's body part based on an outline of an object recognized as a person, and may detect joint regions classified as shown in FIG. 3 from the user's body part. .

그리고, 가상 피팅부(15)는 이와 같이 산출된 사용자 포즈의 방향 및 각도 에 따라 상기 옷의 원본 이미지를 변형시키고, 상기 사용자의 신체 포즈에 따라 변형된 옷의 이미지를 상기 사용자 이미지에 렌더링(rendering)함으로써, 가상 피팅 이미지를 생성할 수 있다. 이와 같은 방법으로, 사용자의 신체 포즈를 기초로 가상 옷의 3차원 이미지를 렌더링하는 것이다. 도 4는 본 발명의 실시예에 따른 가상 피팅 이미지 생성 과정의 일 예를 도시한다. 사용자 이미지가 포함된 사진으로부터 사용자의 포즈와 포즈의 각도를 검출한다. 사진 찍을 때 각도나 포즈에 따라 사이즈가 달라질 수 있기 때문에 이를 고려하여 인간 신체의 비율에 따라 기본적인 이미지를 도출할 수 있는 도 3에 도시된 바와 같은 신체 모형도가 활용될 수 있다.Then, the virtual fitting unit 15 transforms the original image of the clothes according to the direction and angle of the user's pose calculated as described above, and renders the image of the clothes transformed according to the user's body pose to the user image. ), it is possible to generate a virtual fitting image. In this way, a 3D image of virtual clothes is rendered based on the user's body pose. 4 illustrates an example of a process of generating a virtual fitting image according to an embodiment of the present invention. The user's pose and the angle of the pose are detected from the photo including the user's image. Since the size may vary depending on the angle or pose when taking a picture, a body model diagram as shown in FIG. 3 can be used to derive a basic image according to the proportions of the human body in consideration of this.

피드백부(16)는 사용자 단말(20-1~20-n)로부터 상기 가상 피팅 이미지에 대한 사용자의 호 신호 또는 불호 신호를 입력받을 수 있다.The feedback unit 16 may receive a user's call signal or dislike signal for the virtual fitting image from the user terminals 20-1 to 20-n.

일 실시예로, 가상 피팅 이미지에 대한 호 신호를 입력받은 경우, 결제 유도 화면 출력부(17)는 해당 옷을 구매할 수 있는 결제 기능 페이지를 출력하고, 상기 옷과 어울리는 스타일로 미리 매핑된 다른 류의 상품을 추천하는 결제 유도 화면 출력부(17)를 더 포함할 수 있다.In one embodiment, when a call signal for a virtual fitting image is input, the payment induction screen output unit 17 outputs a payment function page for purchasing the corresponding clothes, and other types pre-mapped in styles matching the clothes. It may further include a payment inducement screen output unit 17 for recommending products of .

반면, 피드백부(16)에서 상기 가상 피팅 이미지에 대한 불호 신호를 입력받은 경우를 대비하여, 사용자 단말(20-1~20-n)로 불호 이유에 관한 설문 조사를 통해 사용자가 원하는 옷에 대한 조건 정보(용도, 옷을 입을 환경, 상황, 가격)를 수신하고, 인공지능 서버(30)에 의하여 상기 수신된 조건 정보와 상기 사용자의 신체 사이즈에 부합하는 옷을 추천하는 맞춤형 의상 추천부(18)를 더 포함할 수 있다.On the other hand, in preparation for the case where the feedback unit 16 receives a dislike signal for the virtual fitting image, the user terminals 20-1 to 20-n conduct a survey on the reason for disliking the clothes that the user wants. A customized clothing recommendation unit 18 that receives condition information (use, environment to wear clothes, situation, price) and recommends clothes matching the received condition information and the user's body size by the artificial intelligence server 30 ) may further include.

여기서, 사용자가 원하는 옷에 대한 조건 정보로서, 예를 들면 옷을 입을 환경 조건으로서 소개팅, 면접, 데이트, 여행, 운동, 오피스, 학교 등의 조건 파라미터가 선택 가능하게 제공될 수 있다.Here, condition parameters for blind date, interview, date, travel, exercise, office, school, etc. may be selectively provided as condition information on clothes desired by the user, for example, as environmental conditions for wearing clothes.

여기서, 맞춤형 의상 추천부(18)는 미리 수집된 불특정 다수의 의상 추천 관련 데이터와 측정 데이터를 비교하여 사용자에게 추천할 의상을 결정할 수 있다. 일 실시예에서, 맞춤형 의상 추천부(18)는 소정 알고리즘에 기초하여 추천 의상을 결정할 수 있으며, 소정 알고리즘은 예를 들어, 기계 학습 알고리즘(30)을 포함할 수 있다.Here, the customized apparel recommendation unit 18 may determine an apparel to be recommended to the user by comparing measurement data with an unspecified plurality of apparel recommendation-related data collected in advance. In one embodiment, the customized clothing recommendation unit 18 may determine recommended clothing based on a predetermined algorithm, and the predetermined algorithm may include, for example, the machine learning algorithm 30 .

구체적으로, 맞춤형 의상 추천부(18)는 불특정 다수의 신체 사이즈 및 사용자들이 입력한 옷에 대한 조건 정보들에 관련된 빅데이터를 수집하고, 상기 수집된 데이터로 기계학습 기반의 의상 추천 알고리즘을 학습시키며, 상기 학습된 의상 추천 알고리즘에 상기 사용자에 대해 추정된 신체 사이즈와 상기 설문 조사에 대한 답변으로 입력된 조건 정보를 입력하여 사용자 맞춤형 추천 의상을 결정할 수 있다.Specifically, the customized clothing recommendation unit 18 collects big data related to a number of unspecified body sizes and condition information on clothes input by users, and trains a machine learning-based clothing recommendation algorithm with the collected data. , The user-customized recommended clothing may be determined by inputting the estimated body size of the user and condition information input as an answer to the survey into the learned clothing recommendation algorithm.

도 5는 본 발명의 실시예에 따른 가상 피팅 서비스를 제공하는 장치를 이용한 가상 피팅 서비스를 제공하는 방법을 설명하기 위한 순서도이다. 가상 피팅 서비스를 제공하는 장치의 구성은 전술한 바와 같으며, 그 구성의 자세한 설명은 생략한다. 이하에서는 도 5를 참조하여 가상 피팅 서비스를 제공하는 방법을 설명한다.5 is a flowchart illustrating a method of providing a virtual fitting service using an apparatus for providing a virtual fitting service according to an embodiment of the present invention. The configuration of the device providing the virtual fitting service is as described above, and a detailed description of the configuration is omitted. Hereinafter, a method of providing a virtual fitting service will be described with reference to FIG. 5 .

먼저, 사용자 단말로부터 사용자의 사진이나 동영상을 포함하는 사용자 이미지 정보를 입력받는다(S110).First, user image information including a user's picture or video is received from the user terminal (S110).

다음으로, 사용자 이미지 정보에서 적어도 두 군데 이상의 신체 부위를 검출하고, 상기 검출된 신체 부위에 기초하여 사용자의 신체 사이즈를 추정한다(S120).Next, at least two or more body parts are detected from the user image information, and the user's body size is estimated based on the detected body parts (S120).

다음으로, 사용자 단말로부터 사용자가 피팅하고자 하는 옷을 선택받는다(S130).Next, clothes the user wants to fit are selected from the user terminal (S130).

다음으로, 상기 선택받은 옷에 대해 미리 매핑된 여러 사이즈 중 상기 사용자의 신체 사이즈에 가장 유사 매칭되는 사이즈를 선택한다(S140).Next, a size most similarly matched to the user's body size is selected from among several pre-mapped sizes of the selected clothes (S140).

다음으로, 상기 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하여 가상 피팅 이미지를 생성한다(S150). 여기서, S150 단계는 상기 사용자 이미지 정보에서 사용자 신체 영역과 배경 영역을 분리하는 단계와, 상기 사용자 신체 영역에서 사용자의 신체 포즈를 검출하는 단계와, 상기 옷의 원본 이미지를 상기 검출된 사용자의 신체 포즈에 따라 변형시키는 단계 및 상기 사용자의 신체 포즈에 따라 변형된 옷의 이미지를 상기 사용자 이미지에 렌더링(rendering)하여 출력하는 단계를 포함할 수 있다.Next, a virtual fitting image is generated by virtual fitting the clothes of the selected size to the user image (S150). Here, step S150 includes the step of separating the user body region and the background region from the user image information, the step of detecting the user's body pose in the user body region, and the detected user's body pose of the original image of the clothes. and rendering and outputting the image of clothes transformed according to the user's body pose to the user image.

여기서, 사용자의 신체 포즈를 검출하는 단계는, 상기 사용자 신체 영역에서 관절 부위들을 검출하는 단계 및 상기 검출된 각 관절 부위가 향하는 방향 및 각도를 산출하는 단계를 포함할 수 있다.Here, the detecting of the user's body pose may include detecting joint parts in the user's body region and calculating a direction and angle toward which each of the detected joint parts faces.

그리고, 상기 옷의 원본 이미지를 상기 검출된 사용자의 신체 포즈에 따라 변형시키는 단계에서 상기 옷의 원본 이미지에서 상기 각 관절 부위가 해당하는 부위를 기준으로 상기 산출된 방향 및 각도에 따라 상기 옷의 원본 이미지를 변형시킬 방향 및 각도를 결정할 수 있다.And, in the step of transforming the original image of the clothes according to the detected body pose of the user, the original image of the clothes according to the direction and angle calculated based on the corresponding part of each joint in the original image of the clothes. You can determine the direction and angle to deform the image.

다음으로, 가상 피팅 이미지를 사용자 단말에 전송한다(S160).Next, the virtual fitting image is transmitted to the user terminal (S160).

한편, 가상 피팅 이미지를 사용자 단말에 전송하는 단계(S160) 이후, 상기 사용자 단말로부터 상기 가상 피팅 이미지에 대한 호 신호 또는 불호 신호를 입력받는 단계를 더 포함할 수 있고, 상기 가상 피팅 이미지에 대한 호 신호를 입력받은 경우, 해당 옷을 구매할 수 있는 결제 기능 페이지를 출력하는 단계 및 상기 옷과 어울리는 스타일로 미리 매핑된 다른 류의 상품을 추천하는 단계를 더 포함할 수 있다.Meanwhile, after the step of transmitting the virtual fitting image to the user terminal (S160), the step of receiving a call signal or a dislike signal for the virtual fitting image from the user terminal may be further included, and the request for the virtual fitting image may be further included. When a signal is received, the method may further include outputting a payment function page where the corresponding clothes can be purchased and recommending other types of products pre-mapped in styles matching the clothes.

반면, 상기 가상 피팅 이미지에 대한 불호 신호를 입력받은 경우, 상기 사용자 단말로 불호 이유에 관한 설문 조사를 통해 사용자가 원하는 옷에 대한 조건 정보(용도, 옷을 입을 환경, 상황, 가격)를 수신하는 단계 및 인공지능 서버에 의하여 상기 수신된 조건 정보와 상기 사용자의 신체 사이즈에 부합하는 옷을 추천하는 단계를 포함할 수 있다.On the other hand, when a dislike signal for the virtual fitting image is received, condition information (use, environment to wear clothes, situation, price) about clothes desired by the user is received through a survey on the reason for dislike to the user terminal and recommending clothes matching the received condition information and the body size of the user by an artificial intelligence server.

여기서, 인공지능 알고리즘에 의하여 옷을 추천하는 단계는, 불특정 다수의 신체 사이즈 및 옷에 대한 조건 정보에 관련된 빅데이터를 수집하는 단계와, 상기 수집된 데이터로 기계학습 기반의 의상 추천 알고리즘을 학습시키는 단계 및 상기 학습된 의상 추천 알고리즘에 상기 사용자에 대해 추정된 신체 사이즈와 상기 설문 조사에 대한 답변으로 입력된 조건 정보를 입력하여 추천 의상을 도출하는 단계를 포함할 수 있다.Here, the step of recommending clothes by an artificial intelligence algorithm includes the step of collecting big data related to condition information on a number of unspecified body sizes and clothes, and learning a machine learning-based clothing recommendation algorithm with the collected data. and deriving recommended clothing by inputting the estimated body size of the user and condition information input as an answer to the survey into the learned clothing recommendation algorithm.

이와 같은 본 발명의 실시예에 의하면, 사용자가 오프라인에서 매장을 직접 방문하지 않아도 입어보고 싶은 의상을 선택하면 자신의 이미지에 피팅한 가상 피팅 이미지를 수신받고, 자신의 신체 사이즈에 가장 매칭하는 사이즈 정보를 제공받음으로써, 온라인에서도 자신의 이미지와 의상이 어울리는지 확인하고 최적의 사이즈로 의상을 구매할 수 있게 된다.According to such an embodiment of the present invention, when a user selects an outfit he wants to try on without directly visiting a store offline, he receives a virtual fitting image fitted to his own image, and receives size information that best matches his body size. By receiving the , it is possible to check whether the clothes match one's image and to purchase the clothes in the optimal size even online.

이에, 온라인 상품몰은 상품 판매를 촉진할 수 있고, 상품의 구매 만족도를 높여줄 수 있다.Accordingly, the online product mall can promote product sales and increase product purchase satisfaction.

본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.In the present specification and drawings, preferred embodiments of the present invention are disclosed, and although specific terms are used, they are only used in a general sense to easily describe the technical content of the present invention and help understanding of the present invention, It is not intended to limit the scope. It is obvious to those skilled in the art that other modifications based on the technical idea of the present invention can be implemented in addition to the embodiments disclosed herein.

1: 가상 피팅 서비스 제공 시스템 10: 서비스 서버
20: 사용자 단말 30: 인공지능 서버1: virtual fitting service providing system 10: service server
20: user terminal 30: artificial intelligence server

Claims (14)

가상 피팅 서비스 서버가 가상 피팅 서비스를 제공하는 방법에 있어서,
사용자 단말로부터 사용자의 사진이나 동영상을 포함하는 사용자 이미지 정보를 입력받는 단계;
상기 사용자 이미지 정보에서 적어도 두 군데 이상의 신체 부위를 검출하고, 상기 검출된 신체 부위에 기초하여 사용자의 신체 사이즈를 추정하는 단계;
상기 사용자 단말로부터 사용자가 피팅하고자 하는 옷을 선택받는 단계;
상기 선택받은 옷에 대해 미리 구비된 여러 사이즈 중 상기 사용자의 신체 사이즈에 가장 유사 매칭되는 사이즈를 선택하는 단계;
상기 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하여 가상 피팅 이미지를 생성하는 단계; 및
상기 가상 피팅 이미지를 상기 사용자 단말에 전송하는 단계를 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.A method in which a virtual fitting service server provides a virtual fitting service,
Receiving user image information including a user's picture or video from a user terminal;
detecting at least two or more body parts from the user image information and estimating a body size of the user based on the detected body parts;
receiving, from the user terminal, clothes that the user wants to fit;
selecting a size most similarly matched to the user's body size from among several pre-arranged sizes of the selected clothes;
generating a virtual fitting image by virtually fitting clothes of the selected size to the user image; and
The method of providing a virtual fitting service comprising transmitting the virtual fitting image to the user terminal. 제 1 항에 있어서,
상기 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하는 단계는,
상기 사용자 이미지 정보에서 사용자 신체 영역과 배경 영역을 분리하는 단계;
상기 사용자 신체 영역에서 사용자의 신체 포즈를 검출하는 단계;
상기 옷의 원본 이미지를 상기 검출된 사용자의 신체 포즈에 따라 변형시키는 단계; 및
상기 사용자의 신체 포즈에 따라 변형된 옷의 이미지를 상기 사용자 이미지에 렌더링(rendering)하여 출력하는 단계를 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.According to claim 1,
The step of virtual fitting the clothes of the selected size to the user image,
separating a user body region and a background region from the user image information;
detecting a user's body pose in the user's body region;
transforming the original image of the clothes according to the detected body pose of the user; and
and rendering an image of clothes transformed according to the body pose of the user to the user image and outputting the rendered image. 제 2 항에 있어서,
상기 신체 포즈를 검출하는 단계는,
상기 사용자 신체 영역에서 관절 부위들을 검출하는 단계; 및
상기 검출된 각 관절 부위가 향하는 방향 및 각도를 산출하는 단계를 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.According to claim 2,
The step of detecting the body pose,
detecting joint parts in the user's body region; and
The method of providing a virtual fitting service comprising the step of calculating a direction and an angle toward which each of the detected joint parts is directed. 제 3 항에 있어서,
상기 옷의 원본 이미지를 상기 검출된 사용자의 신체 포즈에 따라 변형시키는 단계는,
상기 옷의 원본 이미지에서 상기 각 관절 부위가 해당하는 부위를 기준으로 상기 산출된 방향 및 각도에 따라 상기 옷의 원본 이미지를 변형시킬 방향 및 각도를 결정하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.According to claim 3,
The step of transforming the original image of the clothes according to the detected user's body pose,
A method for providing a virtual fitting service, characterized in that determining a direction and an angle to transform the original image of the clothes according to the calculated direction and angle based on the corresponding part of each joint part in the original image of the clothes. . 제 1 항에 있어서,
상기 가상 피팅 이미지를 상기 사용자 단말에 전송하는 단계 이후,
상기 사용자 단말로부터 상기 가상 피팅 이미지에 대한 호 신호 또는 불호 신호를 입력받는 단계;
상기 가상 피팅 이미지에 대한 호 신호를 입력받은 경우, 해당 옷을 구매할 수 있는 결제 기능 페이지를 출력하는 단계; 및
상기 옷과 어울리는 스타일로 미리 매핑된 다른 류의 상품을 추천하는 단계를 더 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.According to claim 1,
After transmitting the virtual fitting image to the user terminal,
receiving a call signal or a dislike signal for the virtual fitting image from the user terminal;
displaying a payment function page through which the corresponding clothes can be purchased when a call signal for the virtual fitting image is input; and
The method of providing a virtual fitting service further comprising the step of recommending a different type of product pre-mapped in a style matching the clothes. 제 5 항에 있어서,
상기 가상 피팅 이미지에 대한 불호 신호를 입력받은 경우,
상기 사용자 단말로 불호 이유에 관한 설문 조사를 통해 사용자가 원하는 옷에 대한 조건 정보(용도, 옷을 입을 환경, 상황, 가격)를 수신하는 단계; 및
인공지능 알고리즘에 의하여 상기 수신된 조건 정보와 상기 사용자의 신체 사이즈에 부합하는 옷을 추천하는 단계를 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.According to claim 5,
When a dislike signal for the virtual fitting image is input,
Receiving condition information (use, environment to wear clothes, situation, price) of clothes desired by a user through a survey on reasons for dislike by the user terminal; and
and recommending clothes matching the received condition information and the body size of the user by an artificial intelligence algorithm. 제 6 항에 있어서,
상기 인공지능 알고리즘에 의하여 옷을 추천하는 단계는,
불특정 다수의 신체 사이즈 및 옷에 대한 조건 정보에 관련된 빅데이터를 수집하는 단계;
상기 수집된 데이터로 기계학습 기반의 의상 추천 알고리즘을 학습시키는 단계; 및
상기 학습된 의상 추천 알고리즘에 상기 사용자에 대해 추정된 신체 사이즈와 상기 설문 조사에 대한 답변으로 입력된 조건 정보를 입력하여 추천 의상을 도출하는 단계를 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 방법.According to claim 6,
The step of recommending clothes by the artificial intelligence algorithm,
Collecting big data related to condition information on a number of unspecified body sizes and clothes;
learning a machine learning-based clothing recommendation algorithm with the collected data; and
and deriving recommended clothing by inputting the estimated body size of the user and condition information input as an answer to the survey into the learned clothing recommendation algorithm. . 가상 피팅 서비스 제공 장치에 있어서,
사용자 단말로부터 사용자의 사진이나 동영상을 포함하는 사용자 이미지 정보를 입력받는 사용자 이미지 입력부;
상기 사용자 이미지 정보에서 적어도 두 군데 이상의 신체 부위를 검출하고, 상기 검출된 신체 부위에 기초하여 사용자의 신체 사이즈를 추정하는 신체 사이즈 추정부;
상기 사용자 단말로부터 사용자가 피팅하고자 하는 옷을 선택받는 의상 선택부;
상기 선택받은 옷에 대해 미리 구비된 여러 사이즈 중 상기 사용자의 신체 사이즈에 가장 유사 매칭되는 사이즈를 검출하는 사이즈 검출부; 및
상기 선택된 사이즈의 옷을 상기 사용자 이미지에 가상 피팅하여 상기 사용자 단말에 전송하는 가상 피팅부를 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.In the virtual fitting service providing device,
a user image input unit that receives user image information including a user's picture or video from a user terminal;
a body size estimation unit that detects at least two or more body parts from the user image information and estimates a body size of the user based on the detected body parts;
a clothing selection unit that receives a selection of clothes to be fitted by the user from the user terminal;
a size detecting unit which detects a size most similarly matched to the user's body size among several pre-prepared sizes of the selected clothes; and
and a virtual fitting unit configured to virtually fit clothes of the selected size to the user image and transmit the virtual fitting to the user terminal. 제 8 항에 있어서,
상기 가상 피팅부는,
상기 사용자 이미지 정보에서 사용자 신체 영역과 배경 영역을 분리하고, 상기 사용자 신체 영역에서 사용자의 신체 포즈를 검출하며, 상기 옷의 원본 이미지를 상기 검출된 사용자의 신체 포즈에 따라 변형시키고, 상기 사용자의 신체 포즈에 따라 변형된 옷의 이미지를 상기 사용자 이미지에 렌더링(rendering)하여 출력하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.According to claim 8,
The virtual fitting unit,
The user body region and the background region are separated from the user image information, the user's body pose is detected in the user body region, the original image of the clothes is transformed according to the detected user's body pose, and the user's body An apparatus for providing a virtual fitting service, characterized in that rendering an image of clothes deformed according to a pose to the user image and outputting the rendered image. 제 9 항에 있어서,
상기 가상 피팅부는,
상기 신체 포즈를 검출하기 위해, 상기 사용자 신체 영역에서 관절 부위들을 검출하고, 상기 검출된 각 관절 부위가 향하는 방향 및 각도를 산출하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.According to claim 9,
The virtual fitting unit,
In order to detect the body pose, the apparatus for providing a virtual fitting service, characterized in that for detecting joint parts in the user's body region, and calculating a direction and angle toward which each of the detected joint parts is directed. 제 10 항에 있어서,
상기 가상 피팅부는,
상기 옷의 원본 이미지를 상기 검출된 사용자의 신체 포즈에 따라 변형시키기 위해, 상기 옷의 원본 이미지에서 상기 각 관절 부위가 해당하는 부위를 기준으로 상기 산출된 방향 및 각도에 따라 상기 옷의 원본 이미지를 변형시킬 방향 및 각도를 결정하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.According to claim 10,
The virtual fitting unit,
In order to transform the original image of clothes according to the detected body pose of the user, the original image of clothes is changed according to the calculated direction and angle based on the corresponding part of each joint part in the original image of clothes. An apparatus for providing a virtual fitting service, characterized in that determining the direction and angle to be deformed. 제 8 항에 있어서,
상기 사용자 단말로부터 상기 가상 피팅 이미지에 대한 호 신호 또는 불호 신호를 입력받는 피드백부;
상기 가상 피팅 이미지에 대한 호 신호를 입력받은 경우, 해당 옷을 구매할 수 있는 결제 기능 페이지를 출력하고, 상기 옷과 어울리는 스타일로 미리 매핑된 다른 류의 상품을 추천하는 결제 유도 화면 출력부를 더 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.According to claim 8,
a feedback unit receiving a call signal or a dislike signal for the virtual fitting image from the user terminal;
When a call signal for the virtual fitting image is input, a payment induction screen output unit that outputs a payment function page for purchasing the corresponding clothes and recommends other types of products mapped in advance in a style matching the clothes Further comprising An apparatus for providing a virtual fitting service, characterized in that. 제 12 항에 있어서,
상기 피드백부에서 상기 가상 피팅 이미지에 대한 불호 신호를 입력받은 경우,
상기 사용자 단말로 불호 이유에 관한 설문 조사를 통해 사용자가 원하는 옷에 대한 용도를 포함하는 조건 정보를 수신하고, 인공지능 서버에 의하여 상기 수신된 조건 정보와 상기 사용자의 신체 사이즈에 부합하는 옷을 추천하는 맞춤형 의상 추천부를 더 포함하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.According to claim 12,
When the feedback unit receives an unfavorable signal for the virtual fitting image,
The user terminal receives condition information including the purpose of the clothes desired by the user through a survey on the reason for dislike, and recommends clothes matching the received condition information and the user's body size by the artificial intelligence server. Apparatus for providing a virtual fitting service further comprising a customized costume recommendation unit to do. 제 13 항에 있어서,
상기 맞춤형 의상 추천부는,
불특정 다수의 신체 사이즈 및 옷에 대한 조건 정보에 관련된 빅데이터를 수집하고, 상기 수집된 데이터로 기계학습 기반의 의상 추천 알고리즘을 학습시키며, 상기 학습된 의상 추천 알고리즘에 상기 사용자에 대해 추정된 신체 사이즈와 상기 설문 조사에 대한 답변으로 입력된 조건 정보를 입력하여 추천 의상을 도출하는 것을 특징으로 하는 가상 피팅 서비스를 제공하는 장치.According to claim 13,
The customized costume recommendation unit,
Collecting big data related to condition information on a number of unspecified body sizes and clothing, learning a machine learning-based clothing recommendation algorithm with the collected data, and using the learned clothing recommendation algorithm to estimate the body size of the user and inputting condition information input as an answer to the survey to derive recommended clothes.
KR1020210170712A 2021-12-02 2021-12-02 Method and device for providing service of virtual fitting KR20230082855A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210170712A KR20230082855A (en) 2021-12-02 2021-12-02 Method and device for providing service of virtual fitting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210170712A KR20230082855A (en) 2021-12-02 2021-12-02 Method and device for providing service of virtual fitting

Publications (1)

Publication Number Publication Date
KR20230082855A true KR20230082855A (en) 2023-06-09

Family

ID=86765036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170712A KR20230082855A (en) 2021-12-02 2021-12-02 Method and device for providing service of virtual fitting

Country Status (1)

Country Link
KR (1) KR20230082855A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084780A (en) 2019-01-03 2020-07-13 (주)미즈 Method, server and program of measuring body size using images and recommend clothing size

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084780A (en) 2019-01-03 2020-07-13 (주)미즈 Method, server and program of measuring body size using images and recommend clothing size

Similar Documents

Publication Publication Date Title
US11915352B2 (en) Processing user selectable product images and facilitating visualization-assisted virtual dressing
US10964078B2 (en) System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision
KR102127562B1 (en) Apparatus and method for providing coordinating service for clothing shopping mall
US20190266654A1 (en) Methods and systems for virtual fitting rooms or hybrid stores
US8655053B1 (en) Body modeling and garment fitting using an electronic device
JP2018084890A (en) Information processing unit, information processing method, and program
CN113711269A (en) Method and system for determining body metrics and providing garment size recommendations
JP5504807B2 (en) Coordinated image creation device, coordinated image creation method and program
CN106940862B (en) Network real-scene shopping and fitting customization system
KR102328072B1 (en) Server for providing virtual fitting service and method using the same
KR20210123797A (en) Method And Apparatus for Recommending Clothing by Using Body Shape Information
JP7358881B2 (en) Avatar generation device, mobile terminal, clothing matching system, avatar generation method and program
CA2861972C (en) Measurement of a body part
KR101705096B1 (en) Purchase Supporting Method on Network, and Purchase Supporting Server Used Therein
KR20230082855A (en) Method and device for providing service of virtual fitting
KR101789360B1 (en) Method for internet shopping mall management by 3d avatar
KR102382633B1 (en) Method, apparatus, and system for providing fashion information
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
KR20200071196A (en) A virtual fitting system based on face recognition
KR20200111591A (en) Clothes size recommendation considering body size and garment data
CN113935790A (en) Putting-through recommendation method and device, electronic equipment and storage medium
KR20140085630A (en) System and Method for Providing Fashion Information Using Internet Thereof
JP7418689B2 (en) Avatar generation device, mobile terminal, clothing matching system, avatar generation method and program
KR20230120700A (en) Method for providing virtual fitting using 3d avatar and interior
JP2021189752A (en) Information processing apparatus, control method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal