KR20140107734A - Virtual fitting method and system - Google Patents

Virtual fitting method and system Download PDF

Info

Publication number
KR20140107734A
KR20140107734A KR1020130020686A KR20130020686A KR20140107734A KR 20140107734 A KR20140107734 A KR 20140107734A KR 1020130020686 A KR1020130020686 A KR 1020130020686A KR 20130020686 A KR20130020686 A KR 20130020686A KR 20140107734 A KR20140107734 A KR 20140107734A
Authority
KR
South Korea
Prior art keywords
user
product
body shape
information
shape information
Prior art date
Application number
KR1020130020686A
Other languages
Korean (ko)
Inventor
이민호
람모한 말리피디
정제한
나형빈
차현희
박교율
송유미
조태현
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020130020686A priority Critical patent/KR20140107734A/en
Publication of KR20140107734A publication Critical patent/KR20140107734A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Abstract

The present invention relates to a virtual fitting method and a virtual fitting system and, more specifically, to a virtual fitting method comprising the steps of: acquiring user`s body type information and converting the user`s body type information into a 3D form by a body type information acquisition unit; outputting at least one product by a product output unit; tracking user`s eyeballs and determining whether the product corresponding to the gaze position of eyeballs is selected according to a tracking result by an eyeball tracking unit; searching a database for details about the selected product by a search unit; and fitting the product to the user`s body type converted into the 3D form using the searched details of the product and displaying the product by a fitting output unit. Through the above constitution, the virtual fitting method and the virtual fitting system of the present invention have an effect of easily checking whether the corresponding product suits a user well by allowing the user to virtually fit the product outputted through their own PC or mobile terminal to their body type without directly visiting a store.

Description

가상의 피팅 방법 및 시스템{Virtual fitting method and system}Technical Field [0001] The present invention relates to a virtual fitting method and system,

본 발명은 가상의 피팅 방법 및 시스템에 관한 것으로, 특히 사용자가 매장을 방문하여 직접 상품을 착장하지 않고도 자신에게 어울리는지 여부를 확인할 수 있는 가상의 피팅 방법 및 시스템에 관한 것이다.
The present invention relates to a virtual fitting method and system, and more particularly, to a virtual fitting method and system in which a user can confirm whether or not a user visits a store and is fit to himself without resorting to a product directly.

IT 기술이 급속도로 발전하고, 이를 토대로 하는 전자상거래 분야의 산업 또한 급격히 발달하고 있다. 따라서, 이제는 남녀노소를 불문하고, 소비자라면 누구나 백화점 또는 매장에 직접 방문하지 않더라도 언제 어디서나 쇼핑을 즐길 수 있게 되었다. IT technology is rapidly developing, and the industries of e-commerce based on this are rapidly developing. Therefore, regardless of whether they are young or old, consumers can enjoy shopping anytime, anywhere without visiting department stores or stores.

하지만 소비자가 직접 입어보거나 착용해야지만 구매가 가능한 상품 예를 들면, 의류, 신발 등을 구입하는 경우에는 직접 입어보거나, 착용하기가 어려워 구매에 실패하는 사례가 빈번히 발생하고 있어, 소비자에게 금전적, 시간적, 정신적 스트레스를 주는 문제점이 발생했다. However, in the case where a consumer purchases clothes or shoes that are required to be worn or worn by a consumer, the cases of frequent occurrence of purchasing fail due to difficulty in wearing the clothes or shoes, , Causing mental stress.

상술한 바와 같이, 본 발명의 가상의 피팅 방법 및 시스템을 살펴보면 다음과 같다. As described above, the virtual fitting method and system of the present invention will be described as follows.

선행기술 1은 한국공개특허공보 제2012-0114806호(2012.10.17)로서, 가상 옷장 제공 시스템 및 방법에 관한 것이다. Prior art 1 is Korean Patent Laid-Open Publication No. 2012-0114806 (Oct. 17, 2012), which relates to a system and method for providing a virtual closet.

이러한 선행기술 1은 사용자 촬영 영상에 기초하여 사용자 이미지를 생성하는 사용자 이미지 생성부; 상기 사용자가 보유하고 있는 물품에 대한 정보를 수신하고 저장하는 보유 물품 정보 저장부; 상기 사용자의 관심 물품에 대한 정보를 저장하는 관심 물품 정보 저장부; 상기 저장된 보유 물품 정보 및 상기 관심 물품 정보에 기초하여, 상기 사용자의 보유 물품과 상기 사용자의 관심 물품을 매칭하는 물품 매칭부 및 상기 사용자 이미지 및 상기 매칭된 물품에 기초하여 코디 이미지를 생성하는 코디 이미지 생성부;를 포함함으로써, 사용자가 직접 착용해볼 필요 없이, 간접적으로 착용해볼 수 있다. The prior art 1 includes a user image generating unit for generating a user image based on a user photographed image; A holding article information storage unit for receiving and storing information on the article held by the user; An interest goods information storage unit for storing information on the user's interest; An article matching unit for matching the user's possessed article with the user's interest based on the stored possessed article information and the interest article information and a user interface unit for generating a coordinating image based on the user image and the matched article By including the generating unit, the user can indirectly wear it without having to wear it directly.

또한, 선행기술 2는 한국공개특허공보 제2012-0009710호(2012.02.02)로서, 얼굴 인식 기반의 가상 체험 서버 및 그 서비스 방법에 관한 것이다. 이러한 선행기술 2는 사용자 단말로부터 전송된 실제 영상에서 사용자의 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에서 얼굴 특징점을 검출하는 얼굴 특징점 검출 단계; 상기 검출된 얼굴 특징점을 이용하여 상기 실제 영상에서 인식된 사용자 얼굴에 맞게 가상 체험 객체를 렌더링하는 가상 체험 객체 렌더링 단계; 상기 렌더링 된 가상 체험 객체를 상기 실제 영상에 합성하는 가상 체험 단계를 포함함으로써, 특징점 기반의 얼굴 인식을 통해 가상 체험 서비스(예컨대, 헤어 피팅, 가상 메이크업 및 네일 아트 등)를 증강현실 기반으로 제공한 후, 해당 샵과 연계하여 고객 관리 서비스(예컨대, 샵 예약, 온라인 상담, 결재 및 홍보 이벤트 등)를 제공함으로써, 사용자가 실제 영상에서 가상의 최신 스타일을 직접 체험할 수 있으면서도 매장 방문 없이 고객 관리 서비스를 제공받을 수 있는 효과가 있다.
Prior Art 2 is Korean Patent Laid-Open Publication No. 2012-0009710 (Feb. 02, 2012), which relates to a virtual experience server based on face recognition and a service method thereof. The prior art 2 includes a face feature point detection step of detecting a face region of a user in an actual image transmitted from a user terminal and detecting a face feature point in the detected face region; A virtual experience object rendering step of rendering a virtual experience object according to a user's face recognized in the actual image using the detected face feature points; And a virtual experience step of synthesizing the rendered virtual experience object with the actual image, thereby providing a virtual experience service (e.g., hair fitting, virtual makeup, nail art, etc.) on the basis of augmented reality (For example, shop reservation, online consultation, payment and promotion event) in cooperation with the shop, the user can directly experience the virtual newest style in the actual image, Is provided.

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자가 상품을 직접 착장하지 않더라도 가상으로 해당 상품을 피팅할 수 있는 가상의 피팅 방법 및 시스템을 제공하고자 한다.
In order to solve the problems of the related art as described above, the present invention provides a virtual fitting method and system that can virtually fit a product even if the user does not directly mount the product.

위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 가상의 피팅 방법은 체형정보획득부가 사용자의 체형정보를 획득하여 3D 형태로 변환하는 단계; 상품출력부가 적어도 하나의 상품을 출력하는 단계; 안구추적부가 상기 사용자의 안구를 추적하여, 추적결과에 따라 상기 안구가 응시하는 위치에 출력된 상품을 선택하였다고 판단하는 단계; 검색부가 선택된 상품에 대한 세부정보를 데이터베이스로부터 검색하는 단계; 및 피팅출력부가 검색한 상품의 세부정보를 이용하여 상기 상품을 3D 형태로 변환된 사용자의 체형에 피팅시켜 디스플레이하는 단계;를 포함한다. According to an aspect of the present invention, there is provided a virtual fitting method including: acquiring body shape information of a user and converting the body shape information into a 3D form; Outputting at least one item from the goods output unit; The eye tracking unit tracks the eyeball of the user and determines that the user has selected a product output at a position where the eyeball gazes according to the tracking result; Retrieving detailed information about the selected product from the database; And fitting the displayed goods to the body shape of the user converted into the 3D form using the detailed information of the goods searched for by the fitting output unit.

보다 바람직하게는 상기 사용자의 체형이 포함된 영상정보를 획득하는 과정; 획득한 영상정보로부터 사용자와 배경을 분리하여 상기 사용자의 체형정보를 획득하는 과정; 획득한 체형정보에 기초하여 상기 사용자에 대한 스켈레톤(skeleton) 모델을 생성하는 과정; 생성된 스켈레톤 모델에 RGB정보를 적용하여 상기 스켈레톤 모델을 컬러화하는 과정; 및 컬러화된 스켈레톤 모델을 3D 형태로 변환하는 과정; 을 포함하는 상기 체형정보획득부가 사용자의 체형정보를 3D 형태로 변환하는 단계를 포함할 수 있다. More preferably, acquiring image information including the body shape of the user; Acquiring body shape information of the user by separating the user and background from the acquired image information; Generating a skeleton model for the user based on the acquired body shape information; Applying RGB information to the generated skeleton model to colorize the skeleton model; And converting the colorized skeleton model into 3D form; And converting the body part information of the user into the 3D form.

특히, 상기 사용자의 시선방향, 동공의 크기, 출력된 상품을 응시하는 응시시간, 안구의 깜박거림의 횟수 중 적어도 하나를 이용하여 상기 사용자가 피팅하기 위해 선택한 상품을 확인하는 상기 안구추적부가 사용자의 안구를 추적하는 단계를 포함할 수 있다. Particularly, the eye tracking unit, which uses at least one of the gaze direction of the user, the pupil size, the gaze time to gaze on the output product, and the number of flicker of the eyeball, And tracking the eyeball.

보다 바람직하게는 저장부가 상기 사용자로부터 선택되었다고 판단한 상품의 세부정보를 각각의 사용자별로 나누어 저장하는 단계;를 더 포함할 수 있다. More preferably, the step of dividing the detailed information of the goods, which the storage unit has determined to be selected by the user, to be divided for each user.

보다 바람직하게는 상품추천부가 이전 사용자의 체형정보를 획득한 경우에는, 상기 저장부에 저장된 이전 선택한 상품을 상기 사용자에게 추천하는 단계;를 더 포함할 수 있다. More preferably, in the case that the product recommendation unit acquires the body shape information of the previous user, it may further include recommending the previously selected product stored in the storage unit to the user.

특히, 상기 저장부에 저장된 다수의 사용자에 대한 체형정보 중 동일한 체형정보를 갖는 다른 사용자의 체형정보를 획득한 경우, 동일한 체형정보를 갖는 이전 사용자가 선택한 상품을 상기 저장부로부터 검색하여 추천하는 상기 상품추천부가 상품을 사용자에게 추천하는 단계를 포함할 수 있다.In particular, when the body shape information of another user having the same body shape information among the body shape information for a plurality of users stored in the storage unit is obtained, the body search unit searches for a product selected by the previous user having the same body shape information from the storage unit, And recommending the product recommendation unit to the user.

특히, 상기 상품은 의류, 제화, 가방, 액세서리 중 적어도 하나일 수 있다. In particular, the product may be at least one of clothing, shoes, bags, and accessories.

위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 가상의 피팅 시스템은 사용자의 체형정보를 획득하여 3D 형태로 변환하는 체형정보획득부; 적어도 하나의 상품을 출력하는 상품출력부; 상기 사용자의 안구를 추적하여, 추적결과에 따라 상기 안구가 응시하는 위치에 출력된 상품을 선택하였다고 판단하는 안구추적부; 선택하였다고 판단한 상품에 대한 세부정보를 데이터베이스로부터 검색하는 검색부; 및 검색한 상품의 세부정보를 이용하여 상기 상품을 3D 형태로 변환된 사용자의 체형에 피팅시켜 디스플레이하는 피팅출력부;를 포함할 수 있다. According to another aspect of the present invention, there is provided a virtual fitting system including: a body shape information obtaining unit for obtaining body shape information of a user and converting the body shape information into a 3D shape; A merchandise output unit for outputting at least one merchandise; An eyeball tracking unit for tracking an eyeball of the user and determining that the user has selected a product output at a position where the eyeball gazes according to a tracking result; A search unit for searching the database for detailed information about the selected product; And a fitting output unit for fitting the displayed product to the body shape of the user who has been converted into the 3D form using the detailed information of the searched product and displaying the fitting.

보다 바람직하게는 상기 사용자의 체형이 포함된 영상정보를 획득하는 영상정보획득모듈; 획득한 영상정보로부터 사용자와 배경을 분리하여 상기 사용자의 체형정보를 획득하는 체형정보획득모듈; 획득한 체형정보에 기초하여 상기 사용자에 대한 스켈레톤(skeleton) 모델을 생성하는 스켈레톤생성모듈; 생성된 스켈레톤 모델에 RGB정보를 적용하여 상기 스켈레톤 모델을 컬러화하는 컬러변환모듈; 및 컬러화된 스켈레톤 모델을 3D 형태로 변환하는 3D변환모듈;을 포함하는 체형정보획득부를 포함할 수 있다. More preferably, the image information acquisition module acquires image information including the body shape of the user; A body information acquiring module for acquiring body shape information of the user by separating a user and a background from the acquired image information; A skeleton generation module that generates a skeleton model for the user based on the acquired body shape information; A color conversion module for applying the RGB information to the generated skeleton model to colorize the skeleton model; And a 3D conversion module for converting the colorized skeleton model into 3D form.

특히, 상기 사용자의 시선방향, 동공의 크기, 출력된 상품을 응시하는 응시시간, 안구의 깜박거림의 횟수 중 적어도 하나를 이용하여 상기 사용자가 피팅하기 위해 선택한 상품을 확인하는 안구추적부를 포함할 수 있다. In particular, an eye tracking unit may be used to confirm the product selected by the user using at least one of the gaze direction of the user, the pupil size, the gaze time to gaze on the output product, and the number of blinks of the eyeball have.

보다 바람직하게는 상기 사용자로부터 선택되었다고 판단한 상품의 세부정보를 각각의 사용자별로 나누어 저장하는 저장부;를 더 포함할 수 있다. More preferably, the storage unit may store the detailed information of the goods selected by the user for each user.

보다 바람직하게는 이전 사용자의 체형정보를 획득한 경우에는, 상기 저장부에 저장된 이전 선택한 상품을 상기 사용자에게 추천하는 상품추천부;를 더 포함할 수 있다.More preferably, when the body shape information of the previous user is acquired, the product recommendation unit may recommend the previously selected product stored in the storage unit to the user.

특히, 상기 저장부에 저장된 다수의 사용자에 대한 체형정보 중 동일한 체형정보를 갖는 다른 사용자의 체형정보를 획득한 경우, 동일한 체형정보를 갖는 이전 사용자가 선택한 상품을 상기 저장부로부터 검색하여 추천하는 상품추천부를 포함할 수 있다. Particularly, when the body shape information of another user having the same body shape information among the body shape information for a plurality of users stored in the storage unit is acquired, Recommendation section may be included.

특히, 상기 상품은 의류, 제화, 가방, 액세서리 중 적어도 하나일 수 있다.
In particular, the product may be at least one of clothing, shoes, bags, and accessories.

본 발명의 가상의 피팅 방법 및 시스템은 사용자가 직접 매장에 방문하지 않더라도 자신의 PC 또는 모바일 단말기를 통해 출력된 상품을 자신의 체형에 가상으로 피팅할 수 있어, 해당 상품이 사용자에게 잘 어울리는지 여부를 용이하게 확인할 수 있는 효과가 있다. The virtual fitting method and system of the present invention can virtually fit a product output through a PC or a mobile terminal to a body shape of the user even if the user does not visit the store directly, Can be easily confirmed.

또한 본 발명의 가상의 피팅 방법 및 시스템은 사용자가 자신의 PC 또는 모바일 단말기를 통해 출력된 상품을 응시하는 안구의 상태를 추적하여 상품을 선택함으로써, 사용자로부터 관심있는 상품에 대한 별도의 입력없이도 선택할 수 있는 효과가 있다. In addition, the virtual fitting method and system of the present invention allows a user to select a product by tracking the state of an eyeball gazing at a product output through his or her PC or mobile terminal, There is an effect that can be.

더불어, 본 발명의 가상의 피팅 방법 및 시스템은 각 사용자별 피팅을 수행한 상품의 세부정보를 각 사용자별로 나누어 저장하여, 동일한 사용자의 다음 번 사용 시 기저장된 피팅 상품을 상기 사용자에게 다시 추천함으로써, 사용자의 선호 스타일을 용이하게 파악할 수 있는 효과가 있다. In addition, the virtual fitting method and system according to the present invention can store detailed information of a product that has performed fitting for each user separately for each user, and recommend the stored fitting product to the user again the next time the same user uses it, The user's preference style can be easily grasped.

이와 더불어, 본 발명의 가상의 피팅 방법 및 시스템은 이전 사용자들이 피팅했던 상품의 세부정보를 저장하여, 이전 사용자들의 체형정보와 동일한 체형정보를 갖는 신규 사용자들에게 이전 사용자들의 피팅 상품을 추천함으로써, 신규 사용자들에게 자신에게 어울리는 스타일을 새롭게 추천할 수 있는 효과가 있다.
In addition, the virtual fitting method and system of the present invention stores detailed information of a product that has been fitted by previous users, and recommends fitting products of previous users to new users having the same body shape information as previous user's body shape information, It is possible to newly recommend a style suitable for a new user.

도 1은 본 발명의 일 실시 예에 따른 가상의 피팅 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 가상의 피팅 방법의 순서도이다.
도 3은 사용자의 체형을 스켈레톤 모델로 나타낸 도면이다.
도 4는 다수의 상품을 출력한 화면을 나타낸 도면이다.
도 5는 본 발명의 가상의 피팅 시스템을 실제로 구현한 모습을 나타낸 도면이다.
도 6은 상품의 세부정보를 구별하여 저장하는 과정을 나타낸 도면이다.1 is a block diagram of a virtual fitting system according to an embodiment of the invention.
2 is a flowchart of a virtual fitting method according to another embodiment of the present invention.
3 is a view showing a body shape of a user in a skeleton model.
4 is a view showing a screen in which a plurality of goods are output.
FIG. 5 is a view illustrating a virtual fitting system according to the present invention.
6 is a diagram illustrating a process of distinguishing and storing detailed information of goods.

이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, the present invention will be described in detail with reference to preferred embodiments and accompanying drawings, which will be easily understood by those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

이하, 도 1을 참조하여 본 발명의 가상의 피팅 시스템에 대하여 자세히 살펴보도록 한다. Hereinafter, the virtual fitting system of the present invention will be described in detail with reference to FIG.

도 1은 본 발명의 일 실시 예에 따른 가상의 피팅 시스템의 블록도이다. 1 is a block diagram of a virtual fitting system according to an embodiment of the invention.

도 1에 도시된 바와 같이, 본 발명의 가상의 피팅 시스템(100)은 체형정보획득부(110), 상품출력부(120), 안구추적부(130), 검색부(140), 피팅출력부(150), 저장부(160) 및 상품출력부(170)를 포함한다. 1, the virtual fitting system 100 of the present invention includes a body shape information obtaining unit 110, a goods output unit 120, an eyeball tracking unit 130, a search unit 140, A storage unit 160, and a merchandise output unit 170.

체형정보획득부(110)는 상품을 가상으로 피팅하고자 하는 사용자의 체형정보를 획득하여 3D 형태로 변환하며, 영상정보획득모듈, 체형정보획득모듈, 스켈레톤생성모듈, 컬러변환모듈 및 3D 변환모듈을 포함한다.The body shape information obtaining unit 110 obtains body shape information of a user who wants to virtually fit a product and converts the body shape information into a 3D shape, and obtains an image information obtaining module, a body shape information obtaining module, a skeleton generating module, .

영상정보획득모듈은 카메라 등을 통하여 상기 사용자의 체형이 포함된 영상정보를 획득한다. The image information acquisition module acquires image information including the body shape of the user through a camera or the like.

체형정보획득모듈은 획득한 영상정보로부터 사용자의 몸체와 배경을 분리하여 상기 사용자의 체형정보를 획득한다. 이러한 체형정보는 사용자의 키, 각 부위별 두께, 둘레, 길이 정보를 나타낼 수 있다. The body shape information acquisition module acquires the body shape information of the user by separating the body and background of the user from the acquired image information. Such body information can represent the user's key, thickness, circumference, and length information for each part.

스켈레톤생성모듈은 획득한 체형정보에 기초하여 상기 사용자에 대한 스켈레톤(skeleton) 모델을 생성한다. 이때, 생성되는 스켈레톤 모델이란, 사람의 신체 비례정보 즉, 체형정보를 통해 막대형태의 특징점을 추출하는 방식을 말한다. The skeleton generation module generates a skeleton model for the user based on the acquired body shape information. At this time, the generated skeleton model refers to a method of extracting feature points of a bar shape through human body proportion information, that is, body shape information.

컬러변환모듈은 앞서 생성된 스켈레톤 모델에 RGB정보를 적용하여 상기 스켈레톤 모델을 컬러화한다. The color conversion module colorizes the skeleton model by applying RGB information to the skeleton model generated in advance.

3D 변환모듈은 컬러화된 스켈레톤 모델을 3D 형태로 변환한다. The 3D conversion module converts the colorized skeleton model into 3D form.

상품출력부(120)는 사용자가 볼 수 있도록 적어도 하나의 상품을 출력한다. 이때, 출력되는 상품이란, 의류, 제화, 가방, 액세사리 중 적어도 하나를 나타내며, 출력된 상품의 세부정보 예를 들면, 치수, 색상, 디자인, 피팅 상황 등의 정보가 저장부에 저장된다. The merchandise output unit 120 outputs at least one merchandise so that the merchandise can be viewed by the user. At this time, the output goods refers to at least one of clothing, shoes, bags, and accessories, and details of the output goods, for example, information such as dimensions, color, design, fitting situation,

안구추적부(130)는 상기 사용자의 안구를 추적하여, 추적결과에 따라 사용자의 안구가 응시하는 위치에 해당하는 상품을 선택하였다고 판단한다. 이러한 안구추적부(130)는 상기 사용자의 시선방향, 동공의 크기, 출력된 상품을 응시하는 응시시간 및 안구의 깜박거림 횟수 중 적어도 하나를 이용하여 상기 사용자가 피팅하기 위해 선택한 상품을 확인한다. The eyeball tracking unit 130 tracks the eyeball of the user and determines that the user has selected a product corresponding to a position where the eyeball of the user gazes according to the tracking result. The eyeball tracking unit 130 identifies a product selected by the user using at least one of the gaze direction of the user, the size of the pupil, the time of gazing at the output product, and the number of flicker of the eyeball.

검색부(140)는 사용자가 안구를 통해 선택하였다고 판단한 상품에 대한 세부정보를 저장부로부터 검색한다. The search unit 140 searches the storage unit for detailed information about a product that the user has selected through the eyeball.

피팅출력부(150)는 검색된 상품의 세부정보를 이용하여 상기 상품을 3D 형태로 변환된 사용자의 체형에 피팅시켜 외부로 디스플레이한다. The fitting output unit 150 uses the detailed information of the searched product to fit the product to the body shape of the user who has been converted into the 3D form and displays the fitted product on the outside.

저장부(160)는 상기 사용자로부터 선택되었다고 판단한 상품 즉, 피팅 상품의 세부정보를 각각의 사용자별로 나누어 저장한다. The storage unit 160 stores detailed information of a product determined to have been selected by the user, that is, a fitting product, for each user.

상품추천부(170)는 동일한 사용자의 체형정보를 다시 획득한 경우에는, 상기 저장부(160)에 저장된 이전 선택한 상품을 상기 사용자에게 추천한다. 뿐만 아니라, 상기 상품추천부(170)는 상기 저장부(160)에 저장된 다수의 사용자에 대한 체형정보 중 동일한 체형정보를 갖는 다른 사용자의 체형정보를 획득한 경우, 동일한 체형정보를 갖는 이전 사용자가 선택한 상품을 상기 저장부(160)로부터 검색하여 추천한다. 또한, 상기 상품추천부(170)는 진화 알고리즘(Genetic Algorithm)을 이용하여 사용자에게 상품을 추천할 수 있다. The product recommendation unit 170 recommends the previously selected product stored in the storage unit 160 to the user when the body shape information of the same user is acquired again. In addition, when the product recommendation unit 170 acquires the body shape information of another user having the same body shape information among the body shape information for a plurality of users stored in the storage unit 160, the previous user having the same body shape information The selected product is retrieved from the storage unit 160 and recommended. In addition, the product recommendation unit 170 may recommend a product to a user using an evolutionary algorithm (Genetic Algorithm).

이하, 도 2를 참조하여, 본 발명의 가상의 피팅 방법에 대하여 자세히 살펴보도록 한다. Hereinafter, the virtual fitting method of the present invention will be described in detail with reference to FIG.

도 2는 본 발명의 다른 실시 예에 따른 가상의 피팅 방법의 순서도이다.2 is a flowchart of a virtual fitting method according to another embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 가상의 피팅 방법은 체형정보획득부(110)가 사용자의 체형정보를 획득하여 3D 형태로 변환한다(S210). 이러한, 사용자의 체형정보를 3D 형태로 변환하는 과정을 보다 자세히 살펴보면, 먼저, 카메라를 통해 상기 사용자의 체형이 포함된 영상정보를 획득한다. As shown in FIG. 2, in the virtual fitting method of the present invention, the body shape information obtaining unit 110 obtains body shape information of a user and converts the body shape information into a 3D form (S210). The process of converting the body shape information of the user into the 3D form will be described in more detail. First, the image information including the body shape of the user is obtained through the camera.

획득한 영상정보로부터 사용자의 몸체와 배경을 분리하여 상기 사용자의 체형정보를 획득한다. And separates the body and the background of the user from the acquired image information to obtain the body shape information of the user.

이와 같이, 획득한 체형정보를 기초로 하여 상기 사용자에 대한 스켈레톤(skeleton) 모델을 생성한다. 이러한 스켈레톤 모델이란, 사람의 신체 비례 정보 즉, 체형정보를 통해 막대형태의 특징점을 추출하는 방식을 말한다. In this manner, a skeleton model for the user is generated based on the acquired body shape information. This skeleton model refers to a method of extracting feature points of a bar shape through human body proportion information, that is, body shape information.

즉, 도 3에 도시된 바와 같이, 사용자의 신체적 비례 상황 즉, 체형을 가감없이 정확하게 표현하므로, 상품의 가상 피팅 시, 실제 피팅과의 오차를 줄일 수 있다. That is, as shown in FIG. 3, since the body proportional state of the user, that is, the body shape, is expressed accurately and without adding or subtracting, the error with the actual fitting can be reduced at the time of virtual fitting of the goods.

이처럼, 생성된 스켈레톤 모델에 RGB정보를 적용하여 상기 스켈레톤 모델을 컬러화한다. 이러한 스켈레톤 모델의 컬러화과정은 추후 상품의 피팅 시, 사용자의 피부색과 해당 상품간의 컬러 매칭이 원활하게 이루어지는지 여부를 판단할 수 있게 한다. Thus, the RGB information is applied to the generated skeleton model to colorize the skeleton model. The colorization process of the skeleton model makes it possible to judge whether the color of the user's skin and the color matching between the product of the user can be smoothly performed when fitting the product later.

이처럼, 컬러화된 스켈레톤 모델을 3D 형태로 변환한다. Thus, the colorized skeleton model is converted into 3D form.

상품출력부(120)가 적어도 하나의 상품을 출력한다(S220). 이러한 상품출력부(120)가 출력한 상품은 출력되는 위치를 나타내는 고유한 좌표를 각각 가지고 있으며, 이러한 상품은 의류, 제화, 가방, 액세사리 중 적어도 하나를 나타낸다.The merchandise output unit 120 outputs at least one merchandise (S220). The commodity output by the commodity output unit 120 has a unique coordinate indicating a position where the commodity is outputted, and the commodity is at least one of clothing, shoes, bags, and accessories.

도 4는 다수의 상품을 출력한 화면을 나타낸 도면이다.4 is a view showing a screen in which a plurality of goods are output.

도 4에 도시된 바와 같이, 예를 들어, 의류를 출력한 경우, 상의 중 소매의 길이에 따라 긴팔, 반팔, 민소매 등으로 나누어 출력할 수 있고, 상의 중 목 부분의 카라 형태에 따라, 라운드 티, 셔츠, 브이넥 등으로 나누어 출력할 수 있다. 또한, 상의 중 자켓의 길이에 따라 7부 소매, 베스트 등으로 나누어 출력할 수 있다. As shown in FIG. 4, for example, when a garment is output, it can be divided into long sleeves, short sleeves, sleeveless, etc. according to the length of the sleeves of the tops, , A shirt, a V-neck, or the like. In addition, it can be divided into seven sleeves and bests depending on the length of the jacket.

안구추적부(130)가 상기 사용자의 안구를 추적하여, 그 추적결과에 따라 상기 안구가 응시하는 위치에 해당하는 상품을 선택하였다고 판단한다(S230). 이러한 사용자의 안구를 추적하는 과정은 사용자의 시선방향, 동공의 크기, 출력된 상품을 응시하는 응시시간, 안구의 깜박거림의 횟수 중 적어도 하나를 이용하여 관심이 있어 피팅하고자 하는 상품을 확인할 수 있다. The eyeball tracking unit 130 tracks the eyeball of the user and determines that he / she has selected a product corresponding to the position where the eyeball gazes according to the tracking result at step S230. The process of tracking the eyeball of the user can be performed by using at least one of the direction of the user's gaze direction, the size of the pupil, the time of gazing at the output product, and the number of blinking of the eyeball, .

예를 들면, 화면출력부(120)가 복수 개의 상품을 동시에 출력함에 따라, 출력되는 상품이 각각 좌표를 가지게 되므로, 상기 화면출력부(120)가 출력하는 상품을 응시하는 사용자의 시선방향을 측정하여, 사용자의 시선방향에 해당하는 좌표에 위치하는 상품을 확인하여 상기 사용자가 선택하였다고 판단할 수 있다. For example, since the screen output unit 120 outputs a plurality of products at the same time, the output products have respective coordinates, so that the direction of the user's gaze gazing at the product output by the screen output unit 120 is measured , It is possible to confirm that the user has selected the goods located at the coordinates corresponding to the direction of the user's sight line.

또는 저장부(160)에 사용자별 동공의 크기에 대한 평균값을 미리 저장하고, 안구추적부(130)가 측정한 각 사용자별 동공의 크기가 미리 저장된 평균값과 비교하여 동공의 크기가 확대 또는 축소되었는지 여부를 확인한다. 이때, 안구추적부(130)가 측정한 동공의 크기가 기저장된 평균값보다 높아 동공이 확대되었다고 판단한 경우에는 사용자가 응시하고 있는 상품에 대해 관심이 있다고 판단하여 해당 사용자의 피팅을 위해 해당 상품이 선택될 수 있다. 더불어, 안구추적부(130)가 측정한 동공의 크기가 기저장된 평균값보다 같거나 낮아 동공이 변화없거나 축소되었다고 판단한 경우에는 사용자가 응시하고 있는 상품에 대해 관심이 없다고 판단하여 안구추적결과를 무시한다. Or the average size of pupil size for each user is stored in advance in the storage unit 160 and the size of the pupil is enlarged or reduced by comparing the pupil size of each user measured by the eyeball tracking unit 130 with a previously stored average value . At this time, if it is determined that the size of the pupil measured by the eyeball tracking unit 130 is higher than the pre-stored average value, it is determined that the pupil is interested in the product being examined by the user, . In addition, if the pupil size of the pupil measured by the eyeball tracking unit 130 is equal to or lower than the pre-stored average value and the pupil is determined to be unchanged or reduced, the user is determined not to be interested in the product being examined and ignores the eyeball tracking result .

또는 사용자가 출력된 복수 개의 상품 중에서 특정 상품에 대해 응시시간이 각 상품당 평균 응시시간을 초과하거나, 전체 상품에 대한 응시시간 중 가장 높은 응시시간을 갖는 상품에 대하여 해당 상품이 사용자가 관심있다고 판단하여, 해당 상품이 선택될 수 있다.Or if the user judges that the product is interested by the user with respect to the commodity having the highest examination time among the plurality of commodities outputted by the user, the examination time exceeding the average examination time per each commodity or the examination time with respect to the total commodity , The corresponding product can be selected.

또는 사용자의 안구의 깜박거림의 횟수가 평균 횟수보다 낮거나, 전체 상품에 대한 깜박거림의 횟수 중 가장 낮은 깜박거림 횟수가 측정될 때, 해당 상품에 대하여 사용자가 관심있다고 판단하여 선택될 수 있다. Or when the number of blinks of the eyeball of the user is lower than the average number or when the number of blinks is the lowest among the number of blinks for the whole product is determined, it is determined that the user is interested in the product and is selected.

이처럼, 상기 상품출력부(120)가 한 화면에 다수의 상품이 보여지는 것을 한 사이클이라고 하면, 해당 사이클에서 적어도 하나의 상품이 선택되면 다음 사이클 즉, 다음 화면으로 넘어가는 형태를 갖는다. As described above, when the merchandise output unit 120 displays a plurality of merchandise on one screen, the merchandise output unit 120 proceeds to the next screen when the at least one merchandise is selected in the corresponding cycle.

검색부(140)가 선택된 상품에 대한 세부정보를 저장부(160)로부터 검색한다(S240). 앞서, 상품출력부(120)를 통해 출력되는 상품은 세부정보가 저장부(160)에 미리 저장되는데, 이와 같이 저장되는 상품의 세부정보는 종류, 치수, 색상, 디자인, 피팅 상황 등을 나타낸다. 예를 들어, 상품출력부(120)가 출력한 상품이 의류인 경우, 비즈니스, 캐주얼, 트레이닝 등의 종류를 파악하고, 이후, 허리둘레, 목둘레, 팔길이, 어깨길이 등을 나타내는 치수정보를 확인하며, 색상을 확인한 후, 디자인 및 계절 또는 비즈니스 미팅 참석, 공연 참석 등의 각종 상황 때 입는지 여부 등을 확인할 수 있다.The search unit 140 searches the storage unit 160 for detailed information about the selected product (S240). The detail information of the product output through the product output unit 120 is stored in advance in the storage unit 160. The detail information of the product stored in this manner indicates the type, size, color, design, fitting situation, and the like. For example, when the product output by the goods output unit 120 is a piece of clothing, the type of business, casual, training, and the like are grasped, and then the dimension information indicating the waist circumference, neck circumference, arm length, shoulder length, After confirming the color, you can check whether you are wearing it in various situations such as design, attend a season or business meeting, attend a performance, and so on.

상술한 바와 같이, 다양한 방법을 통해 사용자가 관심있다고 판단되어 선택된 해당 상품에 대한 적어도 하나의 세부정보를 저장부(160)에 사용자별로 나누어 저장한다. 즉, 제1 사용자가 선택한 상품이 반팔 블라우스인 경우에, 여성용, 비즈니스 상황이라는 종류정보와, 팔길이, 목둘레, 가슴둘레, 전체 길이 등의 치수정보, 색상정보, 디자인정보 및 여름철 비즈니스 상황이라는 피팅 상황정보 등을 사용자별로 나누어 저장한다. As described above, the at least one detailed information on the selected product, which is determined to be of interest by the user through various methods, is stored in the storage unit 160 for each user. That is, in the case where the product selected by the first user is a short-sleeved blouse, information on a type of business such as a woman, a business situation, dimensional information such as an arm length, a neck girth, a chest girth, an overall length, color information, design information, Fitting status information, etc. are stored separately for each user.

따라서, 다수의 사용자가 본 발명을 이용하는 경우에, 사용자별 선택한 상품에 대한 세부정보가 다른 사용자에게 유출되지 않도록 하여 사용자의 사생활을 보장할 수 있다. Accordingly, when a plurality of users use the present invention, detailed information about products selected for each user can be prevented from being leaked to other users, thereby guaranteeing the privacy of the user.

피팅출력부(150)가 검색한 상품의 세부정보를 이용하여 상기 상품을 3D 형태로 변환된 사용자의 체형에 피팅시켜 디스플레이한다(S250). In operation S250, the fitting output unit 150 displays the fitted product in the body shape of the user, which is converted into the 3D shape, using the detailed information of the retrieved product.

도 5는 본 발명의 가상의 피팅 시스템을 실제로 구현한 모습을 나타낸 도면이다.FIG. 5 is a view illustrating a virtual fitting system according to the present invention.

도 5에 도시된 바와 같이, 사용자의 안구추적을 통해 관심이 있다고 판단한 상품을 피팅시켜 사용자의 체형에 3D 형태로 출력할 수 있다. 따라서, 해당 사용자는 해당 상품을 직접 피팅하지 않아도 해당 상품이 자신에게 어울리는지 여부를 용이하게 파악할 수 있다. As shown in FIG. 5, it is possible to fit a product determined to be of interest through the eye tracking of the user, and output it to the body shape of the user in 3D form. Therefore, even if the user does not directly fit the product, the user can easily know whether or not the product suits him / her.

이에 더불어, 체형정보획득부(110)가 동일한 사용자에 대하여 체형정보를 다시 획득하는 경우에는 이를 상품추천부(170)로 전달하여, 상기 상품추천부(170)가 저장부(160)에 저장되어 있는 이전에 선택한 상품을 상기 사용자에게 추천하고, 이와 같이 추천된 상품을 피팅출력부(150)가 상기 사용자의 체형에 피팅시켜 다시 디스플레이할 수 있다. In addition, when the body shape information obtaining unit 110 obtains the body shape information again for the same user, it transmits the body shape information to the product recommendation unit 170, and the product recommendation unit 170 stores the body shape information in the storage unit 160 The fitting output unit 150 can fit the user's body shape and display the recommended product.

뿐만 아니라, 저장부(160)에는 다수의 사용자에 대한 체형정보 및 각 사용자가 선택한 상품의 세부정보가 상호 매칭되어 저장되는데, 체형정보획득부(110)가 제1 사용자의 체형정보를 획득 시, 저장부(160)에 기저장된 체형정보 중 동일한 체형정보를 갖는 다른 사용자가 존재하는지 검색한다. 만약, 동일한 체형정보를 갖는 제2 사용자가 검색되면, 상품추천부(170)가 상기 제2 사용자가 선택한 상품에 대한 세부정보를 함께 검색하여 상기 제1 사용자에게 추천한다. 더불어, 상기 피팅출력부(150)가 상기 제1 사용자의 체형에 상기 제2 사용자가 선택한 상품을 피팅시켜 디스플레이할 수 있다. In addition, the body part information for a plurality of users and the details of the products selected by the respective users are matched and stored in the storage unit 160. When the body part information obtaining unit 110 acquires the body information of the first user, It is determined whether another user having the same body shape information exists in the body part information previously stored in the storage unit 160. If a second user having the same body type information is searched, the product recommendation unit 170 searches the second user for detailed information about the selected product and recommends the second user to the first user. In addition, the fitting output unit 150 may fit and display a product selected by the second user in the body shape of the first user.

특히, 이러한 상품추천부(170)가 진화 알고리즘(Genetic Algorithm) 중 하나인 Evolutionary Programming 을 이용하여 사용자에게 상품을 추천할 수 있다. 예를 들어, 상기 상품이 의류인 경우에는 의류의 세부정보인 색상, 치수, 피팅 상황정보 등을 랜덤하게 추천하여, 상품출력부(120)가 추천받은 세부정보를 갖는 의류를 출력한다. 이후, 안구추적부(130)가 사용자의 안구를 추적하여 출력된 의류 중 적어도 하나가 선택되는지 확인한다. 선택되는 의류가 존재하지 않을 경우에는 다음 사이클에 존재하는 의류를 출력하고, 의류가 선택되는 경우에는 선택된 의류의 세부정보와 동일하거나 유사한 세부정보를 갖는 의류를 저장부(160)에서 검색하여 검색된 의류정보를 상품출력부(120)가 다음 사이클에서 출력한다. 이에 따라, 사용자가 선호하는 스타일의 상품만을 선택하여 집중적으로 사용자에게 추천할 수 있다.In particular, the product recommendation unit 170 may recommend a product to a user using Evolutionary Programming, which is one of the genetic algorithms. For example, when the product is a piece of clothing, the product output unit 120 randomly recommends colors, dimensions, fitting situation information and the like, which are details of the clothes, and outputs the clothing having the recommended detailed information. After that, the eyeball tracking unit 130 tracks the eye of the user and confirms that at least one of the outputted clothes is selected. If there is no clothing to be selected, the clothing present in the next cycle is output. If the clothing is selected, the storage unit 160 searches for clothes having the same or similar detailed information as the selected information of the selected clothes, The product output unit 120 outputs the information in the next cycle. Accordingly, only a product of a user's preferred style can be selected and recommended to the user intensively.

이에 더불어, 앞서 설명한 바와 같이 사용자의 선호 스타일에 부합하도록 추천된 상품을 저장부(160) 내 세부정보별로 나누어 저장한다. 즉, 상품의 색상, 디자인, 치수 등에 따라 동일하거나, 유사한 상품끼리 구별하여 저장할 수 있다. 이에 따라, 상품출력부(120)가 한 사이클 동안 출력한 상품에 대하여 저장부(160)에 저장된 상품의 세부정보를 통해 사용자의 선호 스타일을 확인 및 분석할 수 있다. In addition, as described above, the recommended products that are recommended to meet the user's preference style are stored for each detailed information in the storage unit 160 and stored. That is, the same or similar items can be distinguished and stored according to the color, design, dimensions, etc. of the product. Accordingly, the merchandise output unit 120 can check and analyze the user's favorite style through the detailed information of the merchandise stored in the storage unit 160 for the merchandise output for one cycle.

이하, 도 6을 참조하여 상품의 세부정보를 구별하여 저장하는 과정에 대하여 자세히 살펴보도록 한다.Hereinafter, the process of distinguishing and storing detailed information of goods will be described in detail with reference to FIG.

도 6은 상품의 세부정보를 구별하여 저장하는 과정을 나타낸 도면이다. 6 is a diagram illustrating a process of distinguishing and storing detailed information of goods.

도 6에 도시된 바와 같이, 먼저 상품의 세부정보 예를 들면, 의류의 색상과 디자인 정보를 파악하는데, 색상정보의 경우에는 의류의 일부를 추려내어 이로부터 색상정보를 수신하고, 수신한 색상정보를 저장부(160) 내 폴더에 저장한다. 또한 디자인 정보의 경우에는 Sobel 윤곽선 검출기를 이용하여 상기 의류에 대한 윤곽선 성분을 검출한다. 예를 들어, 가로 84번째 픽셀의 왼쪽에서 오른쪽 방면으로 진행하면서 의류의 윤곽선이 어느 위치에 존재하는지 판단하고, 이어서, 의류의 중간 부분의 엣지 픽셀값을 참고하여 복잡도를 파악함으로써, 해당 의류가 긴팔, 반팔, 7부 소매 여부 또는 디자인의 복잡도를 판단하여 분류할 수 있다. As shown in FIG. 6, first, detailed information of a product, for example, color and design information of a garment is grasped. In the case of color information, a part of the garment is picked up and color information is received therefrom. In the folder in the storage unit 160. [ In the case of design information, a contour component of the garment is detected using a Sobel contour detector. For example, it is judged at which position the contour of the garment is present while proceeding from the left side to the right side of the 84th pixel in the horizontal direction. Then, by grasping the complexity with reference to the edge pixel value of the middle portion of the garment, , Short sleeves, seventh sleeves, or design complexity.

이처럼, 분류된 의류를 저장부(160) 내 각각의 폴더에 저장함으로써, 사용자의 선호 스타일의 용이하게 분석할 수 있다.As described above, by storing the classified clothes in respective folders in the storage unit 160, it is possible to easily analyze the user's preference style.

또한, 이러한 가상의 피팅 방법 및 시스템은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Further, such a virtual fitting method and system can be stored in a computer-readable recording medium on which a program for executing by a computer is recorded. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer readable recording medium include ROM, RAM, CD-ROM, DVD 占 ROM, DVD-RAM, magnetic tape, floppy disk, hard disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed to network-connected computer devices so that computer-readable codes can be stored and executed in a distributed manner.

본 발명의 가상의 피팅 방법 및 시스템은 사용자가 직접 매장에 방문하지 않더라도 자신의 PC 또는 모바일 단말기를 통해 출력된 상품을 자신의 체형에 가상으로 피팅할 수 있어, 해당 상품이 사용자에게 잘 어울리는지 여부를 용이하게 확인할 수 있는 효과가 있다. The virtual fitting method and system of the present invention can virtually fit a product output through a PC or a mobile terminal to a body shape of the user even if the user does not visit the store directly, Can be easily confirmed.

또한 본 발명의 가상의 피팅 방법 및 시스템은 사용자가 자신의 PC 또는 모바일 단말기를 통해 출력된 상품을 응시하는 안구의 상태를 추적하여 상품을 선택함으로써, 사용자로부터 관심있는 상품에 대한 별도의 입력없이도 선택할 수 있는 효과가 있다. In addition, the virtual fitting method and system of the present invention allows a user to select a product by tracking the state of an eyeball gazing at a product output through his or her PC or mobile terminal, There is an effect that can be.

더불어, 본 발명의 가상의 피팅 방법 및 시스템은 각 사용자별 피팅을 수행한 상품의 세부정보를 각 사용자별로 나누어 저장하여, 동일한 사용자의 다음 번 사용 시 기저장된 피팅 상품을 상기 사용자에게 다시 추천함으로써, 사용자의 선호 스타일을 용이하게 파악할 수 있는 효과가 있다. In addition, the virtual fitting method and system according to the present invention can store detailed information of a product that has performed fitting for each user separately for each user, and recommend the stored fitting product to the user again the next time the same user uses it, The user's preference style can be easily grasped.

이와 더불어, 본 발명의 가상의 피팅 방법 및 시스템은 이전 사용자들이 피팅했던 상품의 세부정보를 저장하여, 이전 사용자들의 체형정보와 동일한 체형정보를 갖는 신규 사용자들에게 이전 사용자들의 피팅 상품을 추천함으로써, 신규 사용자들에게 자신에게 어울리는 스타일을 새롭게 추천할 수 있는 효과가 있다. In addition, the virtual fitting method and system of the present invention stores detailed information of a product that has been fitted by previous users, and recommends fitting products of previous users to new users having the same body shape information as previous user's body shape information, It is possible to newly recommend a style suitable for a new user.

상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Do.

110: 체형정보획득부 120: 상품출력부
130: 안구추적부 140: 검색부
150: 피팅출력부 160: 저장부
170: 상품추천부110: body shape information obtaining unit 120:
130: eyeball tracking unit 140:
150: fitting output unit 160: storage unit
170: Product recommendation section

Claims (15)

체형정보획득부가 사용자의 체형정보를 획득하여 3D 형태로 변환하는 단계;
상품출력부가 적어도 하나의 상품을 출력하는 단계;
안구추적부가 상기 사용자의 안구를 추적하여, 추적결과에 따라 상기 안구가 응시하는 위치에 해당하는 상품을 선택하였다고 판단하는 단계;
검색부가 선택된 상품에 대한 세부정보를 저장부로부터 검색하는 단계; 및
피팅출력부가 검색한 상품의 세부정보를 이용하여 상기 상품을 3D 형태로 변환된 사용자의 체형에 피팅시켜 디스플레이하는 단계;
를 포함하는 가상의 피팅 방법.
Obtaining a body shape information of a user and converting the body shape information to a 3D form;
Outputting at least one item from the goods output unit;
Wherein the eye tracking unit tracks the eyeball of the user and determines that the user has selected a product corresponding to a position at which the eyeball gazes according to the tracking result;
Retrieving detailed information about the selected product from the storage unit; And
The fitting output unit fitting the product to the body shape of the user converted into the 3D form using the detailed information of the product searched for and displaying the fitting;
And a virtual fitting method.
제1항에 있어서,
상기 체형정보획득부가 사용자의 체형정보를 3D 형태로 변환하는 단계는
상기 사용자의 체형이 포함된 영상정보를 획득하는 과정;
획득한 영상정보로부터 사용자의 몸체와 배경을 분리하여 상기 사용자의 체형정보를 획득하는 과정;
획득한 체형정보에 기초하여 상기 사용자에 대한 스켈레톤(skeleton) 모델을 생성하는 과정;
생성된 스켈레톤 모델에 RGB정보를 적용하여 상기 스켈레톤 모델을 컬러화하는 과정; 및
컬러화된 스켈레톤 모델을 3D 형태로 변환하는 과정;
을 포함하는 것을 특징으로 하는 가상의 피팅 방법.
The method according to claim 1,
The step of converting the body shape information of the user into 3D form by the body shape information obtaining unit
Acquiring image information including the body shape of the user;
Acquiring body shape information of the user by separating the body and background of the user from the acquired image information;
Generating a skeleton model for the user based on the acquired body shape information;
Applying RGB information to the generated skeleton model to colorize the skeleton model; And
Converting the colorized skeleton model into 3D form;
Wherein the virtual fitting method comprises:
제1항에 있어서,
상기 안구추적부가 사용자의 안구를 추적하는 단계는
상기 사용자의 시선방향, 동공의 크기, 출력된 상품을 응시하는 응시시간, 안구의 깜박거림의 횟수 중 적어도 하나를 이용하여 상기 사용자가 피팅하기 위해 선택한 상품을 확인하는 것을 특징으로 하는 가상의 피팅 방법.
The method according to claim 1,
Wherein the step of tracking the eye of the user
Wherein the user confirms the product selected for fitting by using at least one of the gaze direction of the user, the size of the pupil, the time of gazing at the output product, and the number of flicker of the eyeball. .
제1항에 있어서,
저장부가 상기 사용자로부터 선택되었다고 판단한 상품의 세부정보를 각각의 사용자별로 나누어 저장하는 단계;
를 더 포함하는 것을 특징으로 하는 가상의 피팅 방법.
The method according to claim 1,
Storing the detailed information of the goods that the storage unit has determined to be selected by the user, for each user;
Further comprising the step of:
제4항에 있어서,
상품추천부가 동일한 사용자의 체형정보를 재획득한 경우에는, 상기 저장부에 저장된 이전 선택한 상품을 상기 사용자에게 추천하는 단계;
를 더 포함하는 것을 특징으로 하는 가상의 피팅 방법.
5. The method of claim 4,
Recommending to the user a previously selected product stored in the storage unit if the product recommendation unit reacquires the body shape information of the same user;
Further comprising the step of:
제5항에 있어서,
상기 상품추천부가 상품을 사용자에게 추천하는 단계는
상기 저장부에 저장된 다수의 사용자에 대한 체형정보 중 동일한 체형정보를 갖는 다른 사용자의 체형정보를 획득한 경우, 동일한 체형정보를 갖는 이전 사용자가 선택한 상품을 상기 저장부로부터 검색하여 추천하는 것을 특징으로 하는 가상의 피팅 방법.
6. The method of claim 5,
The step of recommending the product recommendation part to the user
When the body shape information of another user having the same body shape information among the body shape information for a plurality of users stored in the storage unit is acquired, a product selected by a previous user having the same body shape information is searched from the storage unit and recommended Lt; / RTI >
제1항에 있어서,
상기 상품은
의류, 제화, 가방, 액세서리 중 적어도 하나인 것을 특징으로 하는 가상의 피팅 방법.
The method according to claim 1,
The product
Wherein said at least one of said at least one pair of said at least one of said pair of shoes is at least one of clothing, shoes, bags, and accessories.
제1항 내지 제7항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
A computer-readable recording medium on which a program for executing a method according to any one of claims 1 to 7 is recorded.
사용자의 체형정보를 획득하여 3D 형태로 변환하는 체형정보획득부;
적어도 하나의 상품을 출력하는 상품출력부;
상기 사용자의 안구를 추적하여, 추적결과에 따라 상기 안구가 응시하는 위치에 해당하는 상품을 선택하였다고 판단하는 안구추적부;
선택하였다고 판단한 상품에 대한 세부정보를 데이터베이스로부터 검색하는 검색부; 및
검색한 상품의 세부정보를 이용하여 상기 상품을 3D 형태로 변환된 사용자의 체형에 피팅시켜 디스플레이하는 피팅출력부;
를 포함하는 가상의 피팅 시스템.
A body shape information acquisition unit for acquiring body shape information of a user and converting the body shape information into a 3D shape;
A merchandise output unit for outputting at least one merchandise;
An eyeball tracking unit for tracking the eyeball of the user and determining that a product corresponding to a position at which the eyeball strikes is selected according to the tracking result;
A search unit for searching the database for detailed information about the selected product; And
A fitting output unit for fitting and displaying the product to a body shape of a user who is converted into a 3D form using detailed information of the searched product;
And a virtual fitting system.
제9항에 있어서,
상기 체형정보획득부는
상기 사용자의 체형이 포함된 영상정보를 획득하는 영상정보획득모듈;
획득한 영상정보로부터 사용자의 몸체와 배경을 분리하여 상기 사용자의 체형정보를 획득하는 체형정보획득모듈;
획득한 체형정보에 기초하여 상기 사용자에 대한 스켈레톤(skeleton) 모델을 생성하는 스켈레톤생성모듈;
생성된 스켈레톤 모델에 RGB정보를 적용하여 상기 스켈레톤 모델을 컬러화하는 컬러변환모듈; 및
컬러화된 스켈레톤 모델을 3D 형태로 변환하는 3D변환모듈;
을 포함하는 것을 특징으로 하는 가상의 피팅 시스템.
10. The method of claim 9,
The body shape information obtaining unit
An image information acquisition module for acquiring image information including the body shape of the user;
A body information acquiring module for acquiring body shape information of the user by separating a body and a background of the user from the acquired image information;
A skeleton generation module that generates a skeleton model for the user based on the acquired body shape information;
A color conversion module for applying the RGB information to the generated skeleton model to colorize the skeleton model; And
A 3D conversion module for converting the colorized skeleton model into a 3D shape;
Wherein the virtual fitting system comprises:
제8항에 있어서,
상기 안구추적부는
상기 사용자의 시선방향, 동공의 크기, 출력된 상품을 응시하는 응시시간, 안구의 깜박거림의 횟수 중 적어도 하나를 이용하여 상기 사용자가 피팅하기 위해 선택한 상품을 확인하는 것을 특징으로 하는 가상의 피팅 시스템.
9. The method of claim 8,
The eye tracking unit
Wherein the user confirms a product selected for fitting by using at least one of a gaze direction of the user, a size of a pupil, a time of gazing at an output product, and a number of flicker of an eyeball. .
제9항에 있어서,
상기 사용자로부터 선택되었다고 판단한 상품의 세부정보를 각각의 사용자별로 나누어 저장하는 저장부;
를 더 포함하는 것을 특징으로 하는 가상의 피팅 시스템.
10. The method of claim 9,
A storage unit for storing detailed information of a product determined to be selected by the user, for each user;
Further comprising: a virtual fitting system that is coupled to the virtual fitting system.
제12항에 있어서,
동일한 사용자의 체형정보를 재획득한 경우에는, 상기 저장부에 저장된 이전 선택한 상품을 상기 사용자에게 추천하는 상품추천부;
를 더 포함하는 것을 특징으로 하는 가상의 피팅 시스템.
13. The method of claim 12,
A product recommendation unit for recommending a previously selected product stored in the storage unit to the user if the body shape information of the same user is reacquired;
Further comprising: a virtual fitting system that is coupled to the virtual fitting system.
제13항에 있어서,
상기 상품추천부는
상기 저장부에 저장된 다수의 사용자에 대한 체형정보 중 동일한 체형정보를 갖는 다른 사용자의 체형정보를 획득한 경우, 동일한 체형정보를 갖는 이전 사용자가 선택한 상품을 상기 저장부로부터 검색하여 추천하는 것을 특징으로 하는 가상의 피팅 시스템.
14. The method of claim 13,
The product recommendation part
When the body shape information of another user having the same body shape information among the body shape information for a plurality of users stored in the storage unit is acquired, a product selected by a previous user having the same body shape information is searched from the storage unit and recommended A virtual fitting system.
제9항에 있어서,
상기 상품은
의류, 제화, 가방, 액세서리 중 적어도 하나인 것을 특징으로 하는 가상의 피팅 시스템.10. The method of claim 9,
The product
And at least one of clothing, shoes, bags, and accessories.
KR1020130020686A 2013-02-26 2013-02-26 Virtual fitting method and system KR20140107734A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130020686A KR20140107734A (en) 2013-02-26 2013-02-26 Virtual fitting method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130020686A KR20140107734A (en) 2013-02-26 2013-02-26 Virtual fitting method and system

Publications (1)

Publication Number Publication Date
KR20140107734A true KR20140107734A (en) 2014-09-05

Family

ID=51755205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130020686A KR20140107734A (en) 2013-02-26 2013-02-26 Virtual fitting method and system

Country Status (1)

Country Link
KR (1) KR20140107734A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108937406A (en) * 2018-07-19 2018-12-07 冯云霞 A kind of electronics fitting device and the wardrobe comprising described device
KR20190052830A (en) * 2017-11-09 2019-05-17 (주)코아시아 Television for virtual fitting cloth based on augmented reality
CN109919727A (en) * 2019-03-12 2019-06-21 深圳市广德教育科技股份有限公司 A kind of 3D garment virtual ready-made clothes system
KR102419222B1 (en) * 2021-12-21 2022-07-08 주식회사 인피닉 Method for tracking customer for goods payment, and system therefor
KR20230055098A (en) * 2021-10-18 2023-04-25 와이폴라리스 주식회사 Apparatus and method for operating sores based on vision recognition

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052830A (en) * 2017-11-09 2019-05-17 (주)코아시아 Television for virtual fitting cloth based on augmented reality
CN108937406A (en) * 2018-07-19 2018-12-07 冯云霞 A kind of electronics fitting device and the wardrobe comprising described device
CN109919727A (en) * 2019-03-12 2019-06-21 深圳市广德教育科技股份有限公司 A kind of 3D garment virtual ready-made clothes system
KR20230055098A (en) * 2021-10-18 2023-04-25 와이폴라리스 주식회사 Apparatus and method for operating sores based on vision recognition
KR102419222B1 (en) * 2021-12-21 2022-07-08 주식회사 인피닉 Method for tracking customer for goods payment, and system therefor

Similar Documents

Publication Publication Date Title
JP7196885B2 (en) Search system, search method, and program
US10043068B1 (en) Body modeling and garment fitting using an electronic device
KR100687906B1 (en) System for recommendation the goods and method therefor
KR102425462B1 (en) Fashion preference analysis
JP5650499B2 (en) Computer-implemented method for collecting consumer purchase preferences for goods
JP6022681B2 (en) Interactive clothing search in online store
KR101418372B1 (en) System and method for recommending merchandise using virtual fitting
US20140032359A1 (en) System and method for providing intelligent recommendations
US10559102B2 (en) Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program
US9460342B1 (en) Determining body measurements
KR20140107734A (en) Virtual fitting method and system
JP7318321B2 (en) Information processing device, information processing method, person search system, and person search method
KR20200023970A (en) Virtual fitting support system
JP2023095908A (en) Information processing system, information processing method, and program
TWI524286B (en) Popular with the recommended system
JP7109520B2 (en) Purchased product estimation device
US20100151430A1 (en) Identifying a body shape
KR20210054664A (en) Virtual fitting method and system for clothes using mobile terminal
KR20130024460A (en) Commodity comparision method in mobile commerce circumstance
JP2021189752A (en) Information processing apparatus, control method, and program
KR20220065349A (en) System and method for clothes fitting using machine learning
JP2022064035A (en) Commodity proposal system, commodity proposal method and commodity proposal program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid