KR101738896B1 - Fitting virtual system using pattern copy and method therefor - Google Patents

Fitting virtual system using pattern copy and method therefor Download PDF

Info

Publication number
KR101738896B1
KR101738896B1 KR1020100132544A KR20100132544A KR101738896B1 KR 101738896 B1 KR101738896 B1 KR 101738896B1 KR 1020100132544 A KR1020100132544 A KR 1020100132544A KR 20100132544 A KR20100132544 A KR 20100132544A KR 101738896 B1 KR101738896 B1 KR 101738896B1
Authority
KR
South Korea
Prior art keywords
fitting
content
user
contents
image
Prior art date
Application number
KR1020100132544A
Other languages
Korean (ko)
Other versions
KR20120087265A (en
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100132544A priority Critical patent/KR101738896B1/en
Publication of KR20120087265A publication Critical patent/KR20120087265A/en
Application granted granted Critical
Publication of KR101738896B1 publication Critical patent/KR101738896B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Abstract

본 발명은 패턴 복사를 이용한 가상 피팅 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있다.The present invention relates to a virtual fitting system and a method thereof using pattern copying. More particularly, the present invention relates to a virtual fitting system using pattern copying to search for fitting contents matched with a user's body form in a user image, It is possible to prevent unnatural coupling due to the re-sizing or spread of the image by modifying the fitting content by copying the area to the content area to be modified and then performing the virtual fitting according to the user's body shape The fitting contents can be naturally transformed into the user image without loss of image quality.

Description

패턴 복사를 이용한 가상 피팅 시스템 및 그 방법{FITTING VIRTUAL SYSTEM USING PATTERN COPY AND METHOD THEREFOR}FIELD OF THE INVENTION The present invention relates to a virtual fitting system using pattern copying,

본 발명은 패턴 복사를 이용한 가상 피팅 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있는, 패턴 복사를 이용한 가상 피팅 시스템 그 방법에 관한 것이다.The present invention relates to a virtual fitting system and a method thereof using pattern copying. More particularly, the present invention relates to a virtual fitting system using pattern copying to search for fitting contents matched with a user's body form in a user image, It is possible to prevent unnatural coupling due to the re-sizing or spread of the image by modifying the fitting content by copying the area to the content area to be modified and then performing the virtual fitting according to the user's body shape The present invention relates to a virtual fitting system using pattern copying, in which fitting contents can be naturally transformed into a user's image without loss of image quality.

휴대 전화의 보급의 급증과 함께 다양한 휴대 단말의 기능이 탑재되어 시판되고 있다. 일반적인 휴대 단말의 사용은 상대방과의 전화를 하는 것뿐만 아니라 다양한 부가적인 기능을 사용자에게 제공하여 편리함을 추구하고 있다.With the proliferation of mobile phones, the functions of various portable terminals have been put on the market. The use of a general portable terminal not only calls the other party but also provides various additional functions to the user to pursue the convenience.

예를 들어, 사용자는 휴대 전화를 휴대하면서 음성 통신을 수행할 뿐만 아니라, 무선 인터넷(Wireless Internet) 기술을 이용하여 무선으로 인터넷에 접속하여 문자, 이미지, 음성 또는 동영상 등의 멀티미디어 데이터 서비스를 제공받고 있다. 휴대 전화에서 제공하는 부가적인 기능으로는 음악 플레이어, 단문 메시지 서비스, 무선 메신저, 모바일 뱅킹, 사용자 인증을 위한 지문인식, 카메라 기능 등이 있다.For example, a user may perform multimedia communication services such as text, image, voice, or moving picture by wirelessly connecting to the Internet using wireless Internet technology have. Additional functions provided by the mobile phone include music player, short message service, wireless messenger, mobile banking, fingerprint recognition for user authentication, and camera function.

점차, 휴대 전화는 이와 같은 멀티미디어 서비스를 이용하기 위해 포함되는 카메라를 통해 초기의 음성 통화 위주의 휴대 전화에서 벗어나 미디어 재생기, 카메라 및 캠코더 등 다양한 기능을 구비한 스마트폰으로 진화하고 있다. 이와 같은 캠코더 기능을 이용해 촬영된 동영상은 다른 단말기로 전송되기도 한다. Increasingly, mobile phones have evolved from smart phones with various functions, such as media players, cameras, and camcorders, away from initial voice call-oriented mobile phones through cameras included to utilize such multimedia services. Videos taken using this camcorder function are also transmitted to other terminals.

인터넷의 발전에 따라 가상 체험 서비스가 확대되고 있다. 최근, 스마트폰의 출시와 함께 증강현실(AR: Augmented Reality) 및 가상 체험 서비스가 점차 확대되고 있다. 예를 들면, 이러한 서비스에는 얼굴 및 패턴 추출 기반의 추천 서비스, 뷰티(Beauty) 서비스, 맵(Map) 정보를 연계한 증강현실 서비스 등이 있다.As the Internet develops, virtual experience services are expanding. Recently, with the launch of smartphones, augmented reality (AR) and virtual experience services are gradually expanding. For example, these services include a recommendation service based on face and pattern extraction, a beauty service, and an augmented reality service linking map information.

도 1 은 컨텐츠를 이용한 가상 피팅시 컨텐츠 리사이징 방법에 대한 설명도이다.FIG. 1 is an explanatory diagram of a content re-sizing method for virtual fitting using content.

도 1에 도시된 바와 같이, 가상 환경에서 사용자 영상(101)에 다양한 원본 컨텐츠들(110, 120, 130)이 가상적으로 피팅된다. 가상 피팅시 제공되는 원본 컨텐츠들(110, 120, 130)은 확대된 컨텐츠들(111, 121, 131)로 리사이징되어 사용자 영상(101)에 피팅될 수 있다. 여기서, 확대된 컨텐츠들(111, 121, 131)이 정확하게 사용자 영상(101)에 맞게 피팅되어야 한다. 확대된 컨텐츠들(111, 121, 131)은 원본 컨텐츠들(110, 120, 130)이 리사이징(Resizing) 과정을 거쳐 생성된다. 사용자 영상(101)에서 사용자의 얼굴이나 몸체의 크기가 다양해서 해당 컨텐츠를 결합하는 리사이징 과정이 적용되고 있다.As shown in FIG. 1, various original contents 110, 120, and 130 are virtually fitted to a user image 101 in a virtual environment. The original contents 110, 120, and 130 provided at the time of virtual fitting can be resized to the enlarged contents 111, 121, and 131 to be fitted to the user image 101. Here, the enlarged contents 111, 121, and 131 must be accurately fitted to the user image 101. The enlarged contents 111, 121, and 131 are generated after the original contents 110, 120, and 130 are resized. The size of the user's face or body varies in the user image 101, and a resizing process for combining the contents is applied.

이러한 경우, 확대된 컨텐츠들(111, 121, 131)은 각각의 원본 컨텐츠들(110, 120, 130)이 리사이징 과정을 통해 편리하고 유용하게 조절되어 사용자에게 제공될 수 있다. 그러나 리사이징된 일부 컨텐츠는 영상의 퍼짐에 따른 화소수가 감소하거나 사용자 영상(201)에 정확하게 피팅되지 않을 수 있다. 또한, 리사이징이 적용된 일부의 컨텐츠는 대상 인물과 자연스러운 결합이 안되는 경우가 있다.In this case, the original contents 110, 120, and 130 of the enlarged contents 111, 121, and 131 can be conveniently and usefully adjusted through the resizing process and provided to the user. However, some of the resized contents may not be reduced in the number of pixels due to the spread of the image or may not be accurately fitted to the user image 201. In addition, some contents to which resizing is applied may not be natural combination with the target person.

예를 들어, 리사이징 과정 중에서 의류나 단색 상품을 리사이징하는 경우는 크게 문제되지 않을 수 있다. 하지만, 헤어 컨텐츠나 체크 색상의 컨텐츠 및 디테일을 원하는 상품 컨텐츠의 경우에는 원래 컨텐츠보다 화소수가 감소하여 선명도가 떨어질 수 있다. 이로써, 화질 훼손이 우려된다.For example, resizing of clothing or monochrome products during the resizing process may not be a big problem. However, in the case of the hair content, the content of the check color, and the commodity content that desires the detail, the number of pixels may be smaller than the original content and the sharpness may be lowered. As a result, image quality may be deteriorated.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있는, 패턴 복사를 이용한 가상 피팅 시스템 그 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide an apparatus and a method for searching for a fitting content matching with a user's body form in a user image, And then fitting the modified fitting contents to the user's body shape, the unnatural combination due to the resizing or spreading of the image can be prevented, and even if there is no loss of image quality It is an object of the present invention to provide a virtual fitting system using pattern copying which can naturally transform fitting contents to a user's image.

이를 위하여, 본 발명의 제1 측면에 따른 장치는, 사용자 영상을 통신망을 통해 전송하여 가상 피팅을 요청하고, 상기 요청에 대한 가상 피팅 영상을 사용자에게 표시하는 사용자 단말; 및 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성하고, 상기 사용자 단말로부터 수신된 사용자 영상에서 사용자 신체 형태를 인식하고, 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 상기 생성된 컨텐츠 추천 테이블 중에서 검색하고, 상기 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 장치를 포함하는 것을 특징으로 한다.To this end, an apparatus according to the first aspect of the present invention includes: a user terminal for transmitting a user image through a communication network to request a virtual fitting and displaying a virtual fitting image for the request to a user; And generating a content recommendation table by templateizing the fitting contents matched with the user's body form, recognizing the user's body form in the user's image received from the user terminal, and generating fitting contents matched with the recognized user's body form A plurality of pieces of fit content unit areas previously set according to the user's transformation request are copied to the corresponding content area to modify the fitting content and then the modified fitting content is added to the extracted user body form And a virtual fitting apparatus for creating a virtual fitting image by fitting the virtual fitting to the user terminal and transmitting the generated virtual fitting image to the user terminal.

한편, 본 발명의 제2 측면에 따른 장치는, 사용자 단말로부터 사용자 영상을 수신하는 영상 수신부; 상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식부; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색부; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형부; 및 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅부를 포함하는 것을 특징으로 한다.According to a second aspect of the present invention, there is provided an apparatus comprising: an image receiving unit for receiving a user image from a user terminal; A user recognition unit for extracting facial feature information or body feature information from the received user image to recognize a user's body shape; A contents retrieval unit for retrieving fitting contents matched with the recognized user body form in a contents recommendation table in which fitting contents are matched according to the user's body type; A content modifying unit for modifying a fitting content by copying a plurality of fitting content unit areas previously set according to a user's modification request for the retrieved fitting content to a corresponding content area; And a virtual fitting unit for creating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user's body shape and transmitting the generated virtual fitting image to the user terminal.

상기 본 발명은, 미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화부를 더 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a content creator for classifying fitting content matched with a user body form collected in advance, and generating a content recommendation table by fitting fitting contents for each user's body type according to the classification result .

상기 본 발명은, 상기 얼굴 특징 정보 및 몸체 특징 정보와 상기 인식된 사용자 신체 형태를 저장하는 사용자 DB: 및 상기 매칭된 피팅 컨텐츠를 생성하기 위한 복수의 피팅 컨텐츠 단위 영역과 상기 템플릿화된 컨텐츠 추천 테이블을 저장하는 컨텐츠 DB를 더 포함하는 것을 특징으로 한다.The present invention may further comprise: a user DB for storing the face feature information, the body feature information, and the recognized user body form; and a plurality of fitting content unit areas for generating the matched fitting content, And a content DB for storing the content DB.

상기 컨텐츠 검색부는, 상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 것을 특징으로 한다.The content searching unit may re-search fitting content matching the changed user's body type when the recognized user's body form is changed according to a request of the user terminal.

상기 컨텐츠 변형부는, 상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 전체 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 전체 크기를 확대하는 것을 특징으로 한다.Wherein the content modifying unit copies the plurality of fitting content unit areas divided into upper, lower, left, and right areas into the entire content area according to a size modification request for the fitting content to enlarge the total size of the fitting content .

상기 컨텐츠 변형부는, 상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 것을 특징으로 한다.Wherein the content modifying unit copies the plurality of fitting content unit areas divided into upper, lower, left and right areas to a partial content area according to a request for area transformation of the fitting content to enlarge a partial area of the fitting content .

상기 컨텐츠 변형부는, 상기 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 것을 특징으로 한다.The content modification unit may copy the plurality of fitting content unit areas to another content area to generate a fitting content different from the searched fitting content.

상기 컨텐츠 변형부는, 상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 것을 특징으로 한다.The content modifying unit modifies the left or right content and symmetrically copies the modified left or right content to transform the opposite hair content if the left and right content types of the fitting content are the same.

한편, 본 발명의 제3 측면에 따른 사용자 단말 장치는, 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블을 저장하는 메모리; 사용자를 촬영하여 사용자 영상을 획득하는 영상 획득기; 상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식기; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색기; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형기; 및 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자에게 제공하는 가상 피팅기를 포함하는 것을 특징으로 한다.According to a third aspect of the present invention, there is provided a user terminal, comprising: a memory for storing a content recommendation table in which fitting contents matched with a user's body type are templates; An image acquirer for acquiring a user image by capturing a user; A user recognizer for extracting facial feature information or body feature information from the obtained user image to recognize a user body form; A contents retriever for retrieving fitting contents matched with the recognized user body form from a content recommendation table in which fitting contents for each user body type are template; A content transformer for copying a plurality of fitting content unit areas preset in accordance with a user's transformation request for the searched fitting content into a corresponding content area to transform the fitting content; And a virtual fitting unit for generating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user's body form and providing the generated virtual fitting image to the user.

한편, 본 발명의 제4 측면에 따른 방법은, 사용자 단말로부터 사용자 영상을 수신하는 영상 획득 단계; 상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계; 및 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 단계를 포함하는 것을 특징으로 한다.According to a fourth aspect of the present invention, there is provided a method comprising: receiving an image of a user from a user terminal; A user recognition step of extracting facial feature information or body feature information from the received user image to recognize a user's body form; A contents retrieving step of retrieving fitting contents matched with the recognized user body form in a contents recommendation table in which fitting contents are matched according to a user's body form; A content transforming step of transforming a fitting content by copying a plurality of fitting content unit areas preset in accordance with a user's transformation request for the retrieved fitting content into a corresponding content area; And a virtual fitting step of creating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user's body form and transmitting the generated virtual fitting image to the user terminal.

상기 본 발명은, 미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화 단계를 더 포함하는 것을 특징으로 한다.The present invention further includes a contents templateization step of classifying fitting contents matched with the user body form collected in advance and creating the contents recommendation table by fitting the fitting contents according to the user's body type according to the classification result .

상기 컨텐츠 검색 단계는, 상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 것을 특징으로 한다.In the content searching step, when the recognized user's body form is changed according to a request of the user terminal, the fitting content matching the changed user's body type is re-searched.

상기 컨텐츠 변형 단계는, 상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 전체 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 전체 크기를 확대하는 것을 특징으로 한다.The content modification step may include copying the plurality of fitting content unit areas divided into upper, lower, left, and right areas to the entire content area according to a size modification request for the fitting content to enlarge the total size of the fitting content .

상기 컨텐츠 변형 단계는, 상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 것을 특징으로 한다.The content modification step may include copying the plurality of fitting content unit areas divided into upper, lower, left and right areas to a partial content area according to a request for area transformation on the fitting content to enlarge a partial area of the fitting content .

상기 컨텐츠 변형 단계는, 상기 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 것을 특징으로 한다.The content modification step may include copying the plurality of fitting content unit areas to another content area to generate a fitting content different from the searched fitting content.

상기 컨텐츠 변형 단계는, 상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 것을 특징으로 한다.Wherein if the left and right content types of the fitting content are the same, the right or left side content is modified and the modified left or right side content is symmetrically copied to transform the opposite side hair content .

한편, 본 발명의 제5 측면에 따른 방법은, 가상 피팅 대상이 되는 사용자를 촬영하여 사용자 영상을 획득하는 영상 획득 단계; 상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계; 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하는 가상 피팅 단계; 및 상기 생성된 가상 피팅 영상을 상기 사용자에게 표시하는 영상 표시 단계를 포함하는 것을 특징으로 한다.According to a fifth aspect of the present invention, there is provided a method for acquiring a user image by capturing a user to be a virtual fitting object; A user recognition step of extracting facial feature information or body feature information from the acquired user image to recognize a user body form; A contents retrieving step of retrieving fitting contents matched with the recognized user body form in a contents recommendation table in which fitting contents are matched according to a user's body form; A content transforming step of transforming a fitting content by copying a plurality of fitting content unit areas preset in accordance with a user's transformation request for the retrieved fitting content into a corresponding content area; A virtual fitting step of creating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user's body shape; And displaying the generated virtual fitting image to the user.

본 발명은, 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있다.The present invention relates to a method and an apparatus for searching fitting content matching with a user's body form in a user image and modifying a fitting content by copying a plurality of fitting content unit areas preset in accordance with a user's transformation request to a corresponding content area, By fitting the fitting contents according to the user's body shape, it is possible to prevent unnatural coupling due to the resizing or spread of the image.

또한, 본 발명은 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형함으로써, 원본 피팅 컨텐츠 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있는 효과가 있다.In addition, the present invention has the effect of naturally modifying the fitting content to the user's image without loss of the original fitting content quality by copying a plurality of preset fitting content unit areas to the corresponding content area and modifying the fitting content.

또한, 본 발명은 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하고 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅함으로써, 피팅 컨텐츠의 각각의 종류별로 미리 저장하지 않아도 되고 이를 통해 전체 메모리에 저장된 피팅 컨텐츠의 개수를 줄일 수 있어 메모리 저장 용량을 감소시킬 수 있는 효과가 있다.In addition, the present invention is characterized in that a plurality of preset fitting content unit areas are copied to the corresponding content area to modify the fitting content, and the modified fitting content is virtually fitted to the user's body form, It is possible to reduce the number of fitting contents stored in the entire memory, thereby reducing the memory storage capacity.

도 1 은 컨텐츠를 이용한 가상 피팅시 컨텐츠 리사이징 방법에 대한 설명도,
도 2 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 시스템의 일실시예 구성도,
도 3 은 본 발명에 따른 사용자 단말의 구성도,
도 4 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 과정을 구체적인 예로 설명한 예시도,
도 5 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도,
도 6 은 본 발명에 따른 사용자 단말에서의 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.1 is an explanatory diagram of a content re-sizing method in virtual fitting using content,
2 is a block diagram of an embodiment of a virtual fitting system using pattern copying according to the present invention.
3 is a configuration diagram of a user terminal according to the present invention;
FIG. 4 is a diagram illustrating a virtual fitting process using a pattern copy according to an exemplary embodiment of the present invention,
FIG. 5 is a flowchart of an embodiment of a virtual fitting method using pattern copying according to the present invention.
6 is a flowchart of an embodiment of a virtual fitting method using pattern copying in a user terminal according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Before describing the present invention in detail, the same components are denoted by the same reference symbols as possible even if they are displayed on different drawings. In the case where it is judged that the gist of the present invention may be blurred to a known configuration, do.

도 2 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 시스템의 일실시예 구성도이다.2 is a block diagram of an embodiment of a virtual fitting system using pattern copying according to the present invention.

도 2에 도시된 바와 같이, 가상 피팅 시스템(20)은 사용자 단말(201) 및 가상 피팅 장치(200)를 포함한다. 여기서, 가상 피팅 장치(200)는 컨텐츠 템플릿화부(210), 영상 수신부(220), 사용자 인식부(230), 컨텐츠 검색부(240), 컨텐츠 변형부(250), 가상 피팅부(260), 사용자 DB(270) 및 컨텐츠 DB(280)를 포함한다.As shown in FIG. 2, the virtual fitting system 20 includes a user terminal 201 and a virtual fitting device 200. The virtual fitting apparatus 200 includes a content template generating unit 210, a video receiving unit 220, a user recognizing unit 230, a content searching unit 240, a content transforming unit 250, a virtual fitting unit 260, A user DB 270 and a content DB 280. [

이하, 본 발명에 따른 패턴 복사를 이용한 가상 피팅 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each of the components of the virtual fitting system 10 using the pattern copy according to the present invention will be described.

사용자 단말(201)은 사용자 영상을 촬영하여 통신망을 통해 가상 피팅 장치(200)로 전송한다. 통신망에는 중계 장치가 포함될 수 있다. 중계 장치는 사용자 단말(201)에 대한 사용자 인증을 수행할 수 있다. 중계 장치는 사용자 단말(201)로부터 사용자 아이디 및 비밀번호를 전송받아 사용자의 신원을 확인할 수 있다. 중계 장치는 사용자 인증이 수행된 사용자 단말(201)과 가상 피팅 장치(200) 간의 중계 기능을 수행한다. 중계 장치는 복수의 사용자 단말(201)이 가상 피팅 장치(200)와 통신을 요청하는 경우에 단말의 로드 밸런싱을 수행할 수 있다. 사용자 단말(201)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정하는 것은 아니다. 사용자 단말(201)은 구비된 영상 촬영 모듈을 이용하여 사용자의 영상을 촬영하여 사용자 영상을 획득하고, 가상 피팅 장치(200)로부터 통신망을 통해 제공된 가상 피팅 영상을 사용자에게 표시한다. 여기서, 영상 촬영 모듈은 컴퓨터 등의 외부 컨트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.The user terminal 201 captures a user image and transmits it to the virtual fitting apparatus 200 through a communication network. The communication network may include a relay device. The relay apparatus can perform user authentication for the user terminal 201. [ The relay device can receive the user ID and the password from the user terminal 201 and confirm the identity of the user. The relay device performs a relay function between the user terminal 201 on which the user authentication is performed and the virtual fitting device 200. The relay device can perform load balancing of the terminal when a plurality of user terminals 201 request communication with the virtual fitting device 200. [ The user terminal 201 may be a computer, a mobile phone, or a smart phone equipped with a video photographing module, but is not limited thereto. The user terminal 201 acquires a user image by capturing an image of the user using the image capturing module and displays the virtual fitting image provided through the communication network from the virtual fitting device 200 to the user. Here, the image capturing module may be a camera or a webcam connected to an external control device such as a computer, or a camera incorporated in a personal portable terminal.

사용자 단말(201)이 전송할 사용자 영상을 살펴보면, 사용자 영상에는 얼굴 영역 및 몸체 영역이 포함될 수 있다. 얼굴 영역에는 눈, 눈썹, 코, 입, 윤곽선, 귀, 헤어 영역이 포함될 수 있다. 또한, 몸체 영역에는 얼굴 영역을 제외한 목, 몸, 손, 다리 영역 등이 포함될 수 있다.The user image to be transmitted by the user terminal 201 may include a face region and a body region. The face region may include eyes, eyebrows, nose, mouth, contour, ear, and hair region. In addition, the body region may include a neck, a body, a hand, a leg region, and the like excluding the face region.

가상 피팅 장치(200)는 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 이후, 가상 피팅 장치(200)는 사용자 단말(201)로부터 사용자 영상을 수신하고, 그 수신된 사용자 영상으로부터 사용자 신체 형태를 인식한다. 그리고 가상 피팅 장치(200)는 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 컨텐츠 추천 테이블 중에서 검색한다. 가상 피팅 장치(200)는 통신망을 통해 사용자 단말(201)의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 원본 컨텐츠에 복사하여 피팅 컨텐츠를 변형한다. 피팅 컨텐츠가 헤어 컨텐츠인 경우, 헤어 컨텐츠는 복수의 컨텐츠 단위 영역으로 나누어져 있다. 컨텐츠 단위 영역은 유사한 패턴을 가지는 컨텐츠 영역을 나타내며, 이러한 복수의 컨텐츠 단위 영역이 조합되어 전체의 헤어 컨텐츠가 생성될 수 있다. 예를 들어, 헤어 컨텐츠가 상, 하, 좌 및 우측 영역으로 나누어져 있다면, 가상 피팅 장치(200)는 4개의 컨텐츠 단위 영역이 위치한 헤어 컨텐츠 영역 즉, 상, 하, 좌 및 우측 영역에 각각 복사하여 전체 헤어 컨텐츠를 변형할 수 있다.The virtual fitting apparatus 200 creates a content recommendation table by templateizing the fitting contents matched with the user's body form. Then, the virtual fitting apparatus 200 receives the user image from the user terminal 201, and recognizes the user's body form from the received user image. Then, the virtual fitting apparatus 200 searches the contents recommendation table for the fitting contents matched with the recognized user's body form. The virtual fitting apparatus 200 copies a plurality of fitting content unit areas previously set according to a request for modification of the user terminal 201 through a communication network to the original content to transform the fitting content. If the fitting content is hair content, the hair content is divided into a plurality of content unit areas. The content unit area represents a content area having a similar pattern, and the plurality of content unit areas may be combined to generate the entire hair content. For example, if the hair content is divided into the upper, lower, right and left regions, the virtual fitting apparatus 200 copies the hair content regions in which the four content unit regions are located, that is, the upper, So that the entire hair content can be modified.

그리고 가상 피팅 장치(200)는 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다. 이어서, 가상 피팅 장치(200)는 생성된 가상 피팅 영상을 통신망을 통해 사용자 단말(201)로 전송한다.Then, the virtual fitting apparatus 200 creates a virtual fitting image by virtually fitting the modified fitting contents according to the user's body shape. Subsequently, the virtual fitting apparatus 200 transmits the created virtual fitting image to the user terminal 201 through the communication network.

가상 피팅 장치(200)의 구성요소 각각에 대하여 상세하게 살펴보기로 한다.Each of the components of the virtual fitting device 200 will be described in detail.

컨텐츠 템플릿화부(210)는 미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 그 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 컨텐츠 템플릿화부(210)는 템플릿화된 사용자 신체 형태별 피팅 컨텐츠를 컨텐츠 DB(280)에 저장한다. 가상 체험이 완료된 후, 컨텐츠 템플릿화부(210)는 인식된 사용자 신체 형태와 가상 피팅부(260)에서 검색된 피팅 컨텐츠를 매칭시킨다. 그리고 컨텐츠 템플릿화부(210)는 그 매칭 결과를 새로운 사용자 특성별 피팅 컨텐츠로 템플릿화하여 컨텐츠 DB(280)에 저장한다. 이를 통해 새로운 피팅 컨텐츠가 템플릿화되어 컨텐츠 DB(280)에 저장될 수 있다.The content template generating unit 210 classifies the fitting contents matched with the user body form collected in advance, and creates a content recommendation table by templateizing the fitting contents according to the user's body type according to the classification result. The content template generation unit 210 stores the template-based fitting body contents in the user DB format in the contents DB 280. After the virtual experience is completed, the content template creation unit 210 matches the recognized user body form with the fitting content retrieved from the virtual fitting unit 260. Then, the content template creation unit 210 templates the matching result into the fitting content for each new user characteristic and stores it into the content DB 280. The new fitting content can be templateized and stored in the content DB 280. [

영상 수신부(220)는 사용자 단말(201)로부터 사용자 영상을 수신한다.The image receiving unit 220 receives the user image from the user terminal 201.

그리고 사용자 인식부(230)는 영상 수신부(220)에서 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다.The user recognition unit 230 extracts facial feature information or body feature information from the user image received by the image receiving unit 220 to recognize the user's body form.

이어서, 컨텐츠 검색부(240)는 사용자 인식부(230)에서 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다. 컨텐츠 검색부(240)는 사용자 단말(201)의 요청에 따라 사용자 인식부(230)에서 인식된 사용자 신체 형태가 변경되면, 그 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색할 수 있다. 이를 통해, 사용자는 사용자 단말(201)을 통해 가상 피팅을 위한 사용자 신체 형태를 선택하거나 변경할 수 있다.Then, the content searching unit 240 searches the contents recommendation table in which fitting contents matching the user's body type recognized by the user recognizing unit 230 are fitted to the user's body type. The content searching unit 240 may re-search the fitting content matching the changed user body form when the user body form recognized by the user recognizing unit 230 is changed according to the request of the user terminal 201. [ Through this, the user can select or change the user's body form for virtual fitting through the user terminal 201. [

컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 컨텐츠 변형부(250)는 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다.In response to a user's transformation request for the fitting content searched by the content searching unit 240, the content transforming unit 250 copies a plurality of preset fitting unit areas into the corresponding content area to transform the fitting content.

이후, 가상 피팅부(260)는 컨텐츠 변형부(250)에서 변형된 피팅 컨텐츠를 사용자 인식부(230)에서 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다. 그리고 가상 피팅부(260)는 생성된 가상 피팅 영상을 상기 사용자 단말(201)로 전송한다. 가상 피팅부(260)는 컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠 중에서 사용자 단말(201)에 의해 선택된 피팅 컨텐츠를 이용하여 가상 피팅을 수행할 수 있다. 예를 들어, 헤어 및 의류가 포함된 피팅 컨텐츠 중에서 헤어가 사용자 단말(201)에 의해 선택되면, 가상 피팅부(260)는 선택된 헤어에 대한 피팅 컨텐츠를 이용하여 가상 피팅을 수행할 수 있다.Then, the virtual fitting unit 260 creates a virtual fitting image by virtually fitting the modified fitting content in the content transforming unit 250 according to the user's body shape extracted from the user recognizing unit 230. Then, the virtual fitting unit 260 transmits the created virtual fitting image to the user terminal 201. The virtual fitting unit 260 may perform virtual fitting using the fitting content selected by the user terminal 201 from among the fitting contents retrieved from the content retrieving unit 240. [ For example, if the hair is selected by the user terminal 201 from among the fitting contents including the hair and clothes, the virtual fitting unit 260 can perform the virtual fitting using the fitting contents for the selected hair.

사용자 DB(270)는 얼굴 특징 정보 및 몸체 특징 정보와 사용자 인식부(230)에서 인식된 사용자 신체 형태를 저장한다.The user DB 270 stores facial feature information, body feature information, and the user body form recognized by the user recognizer 230.

컨텐츠 DB(280)는 사용자 신체 형태와 매칭된 피팅 컨텐츠를 생성하기 위한 복수의 피팅 컨텐츠 단위 영역과 컨텐츠 템플릿화부(210)에서 템플릿화된 컨텐츠 추천 테이블을 저장한다.The content DB 280 stores a plurality of fitting content unit areas for generating fitting content matched with the user's body form and a content recommendation table that is template-typed in the content template creation unit 210.

한편, 컨텐츠 변형부(250)를 구체적으로 살펴보면, 사용자 단말(201)의 피팅 컨텐츠에 대한 크기나 모양 변형 요청에 따라, 컨텐츠 변형부(250)는 상측, 하측, 좌측 및 우측 영역으로 구분된 복수의 피팅 컨텐츠 단위 영역을 원본 컨텐츠 영역에 복사하여 피팅 컨텐츠의 전체 크기를 확대할 수 있다. 이를 통해, 전체적인 피팅 컨텐츠의 크기가 변경된다. 여기서, 피팅 컨텐츠 단위 영역은 상측, 하측, 좌측 및 우측 영역뿐만 아니라 다양한 영역으로 구분될 수 있다. 예를 들어, 헤어 컨텐츠가 20개의 컨텐츠 단위 영역으로 나누어져 있는 경우, 컨텐츠 변형부(250)는 유사한 패턴을 가지는 20개의 컨텐츠 단위 영역을 각각 확대하고자 하는 헤어 컨텐츠의 위치에 각각 복사하여 붙임으로써, 헤어 컨텐츠를 확대시킬 수 있다. 컨텐츠 변형부(250)는 컨텐츠 단위 영역을 복사하여 붙임으로써, 헤어 컨텐츠의 해상도가 떨어지지 않으면서도 헤어 컨텐츠를 확대시킬 수 있다.The content transforming unit 250 transforms the transformed transformed transformed image into a transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed color transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed transformed Can be copied to the original content area to enlarge the entire size of the fitting content. This changes the size of the entire fitting content. Here, the fitting content unit area may be divided into various areas as well as the upper, lower, left, and right areas. For example, if the hair content is divided into 20 content unit areas, the content modification unit 250 copies 20 pieces of content unit areas having a similar pattern to the positions of the hair contents to be enlarged, respectively, The hair content can be enlarged. The content transforming unit 250 can enlarge the hair content without lowering the resolution of the hair content by copying and pasting the content unit area.

또한, 사용자 단말(201)의 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 컨텐츠 변형부(250)는 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 피팅 컨텐츠의 일부 면적을 확대할 수 있다. 예를 들어, 사용자가 좌측 헤어 영역을 증가시키고자 하는 경우, 컨텐츠 변형부(250)는 좌측의 피팅 컨텐츠 단위 영역을 좌측의 컨텐츠 영역에 복사하여 헤어 컨텐츠의 좌측 면적만 증가시킬 수 있다.In response to the request for changing the area of the fitting content of the user terminal 201, the content transforming unit 250 copies the plurality of fitting content unit areas divided into the upper, lower, left, and right areas into some content areas A part of the fitting content can be enlarged. For example, if the user intends to increase the left hair area, the content modifying unit 250 may increase the left area of the hair content by copying the fitting content unit area on the left side to the left side content area.

또한, 컨텐츠 변형부(250)는 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성할 수 있다. 예를 들어, 사용자가 다른 모양의 헤어 컨텐츠를 요청하는 경우, 컨텐츠 변형부(250)는 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 다른 헤어 모양의 피팅 컨텐츠를 생성할 수 있다. 이를 통해, 모든 헤어 스타일의 원본 영상이 컨텐츠 DB(280)에 저장되지 않아도, 컨텐츠 변형부(250)는 복수의 피팅 컨텐츠 단위 영역을 이용하여 여러 모양의 헤어 컨텐츠를 생성할 수 있다.In addition, the content transforming unit 250 may copy a plurality of fitting content unit areas to another content area, and may generate a fitting content different from the fitting content retrieved from the content retrieving unit 240. For example, when a user requests hair content of a different shape, the content modifying unit 250 may copy a plurality of fitting content unit areas to another content area to generate another hair fitting content. Accordingly, the content transforming unit 250 can generate haircuts of various shapes using a plurality of fitting content unit areas, without storing all hair style original images in the content DB 280.

또한, 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 컨텐츠 변형부(250)는 좌측 또는 우측 컨텐츠를 변형하고 그 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 피팅 컨텐츠를 변형할 수 있다. 예를 들어, 양쪽 대칭인 헤어 컨텐츠인 경우, 컨텐츠 변형부(250)는 좌측 헤어 컨텐츠를 변형시킨 후, 이를 대칭적으로 복사하여 우측 헤어 컨텐츠를 변형할 수 있다.Also, when the left and right contents types of the fitting contents are the same, the contents transforming unit 250 may transform the left or right contents, and may modify the opposite fitting contents by symmetrically copying the transformed left or right contents. For example, in the case of both symmetrical hair contents, the content transforming unit 250 may transform the left hair content and then symmetrically copy it to transform the right hair content.

도 3 은 본 발명에 따른 사용자 단말에서의 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.FIG. 3 is a flowchart of an embodiment of a virtual fitting method using pattern copying in a user terminal according to the present invention.

도 3에 도시된 바와 같이, 사용자 단말(201)이 네트워크 기반의 서비스를 받지 않고 독립적으로 서비스를 수행하는 경우, 사용자 단말(201)은 영상 획득기(410), 사용자 인식기(420), 컨텐츠 검색기(430), 컨텐츠 변형기(440), 가상 피팅기(450) 및 메모리(460)를 포함하며, 외장 또는 내장 메모리(460)에 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블이 미리 저장되어 있다.3, when the user terminal 201 independently performs a service without receiving a network-based service, the user terminal 201 includes an image acquirer 410, a user recognizer 420, A content recommendation table in which the fitting contents matching the user's body form is template is included in the external or internal memory 460 in advance Is stored.

사용자 단말(201)은 사용자를 촬영하여 사용자 영상을 획득하고, 그 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다. 그리고 사용자 단말(201)은 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하고, 그 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다. 이어서, 사용자 단말(201)은 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 그 생성된 가상 피팅 영상을 사용자에게 제공한다.The user terminal 201 acquires a user image by capturing a user, extracts facial feature information or body feature information from the obtained user image, and recognizes the user's body form. Then, the user terminal 201 searches the content recommendation table in which fitting contents matching the recognized user's body type are fitted to the fitting body contents according to the user's body type, and selects a plurality of preset The fitting content unit area is copied to the corresponding content area to modify the fitting content. Then, the user terminal 201 creates a virtual fitting image by virtually fitting the modified fitting contents according to the user's body shape, and provides the generated virtual fitting image to the user.

메모리(460)는 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블을 저장한다. 또한, 메모리(460)는 사용자 신체 형태 인식에 이용되는 사용자 영상, 사용자별 사용자 신체 형태 및 사용자 신체 형태별 피팅 컨텐츠를 저장할 수 있다. 여기서, 메모리(460)는 이러한 데이터를 주기적으로 또는 미리 업데이트할 수 있다.The memory 460 stores a content recommendation table in which fitting contents matched with the user's body form are templateized. In addition, the memory 460 may store user images used for user body shape recognition, user body forms for each user, and fitting contents for each user body type. Here, the memory 460 may update such data periodically or in advance.

영상 획득기(410)는 촬영 모듈을 구비하고, 구비된 촬영 모듈을 통해 사용자를 촬영하여 사용자 영상을 획득한다.The image acquirer 410 has a photographing module, and photographs a user through the photographing module and acquires a user image.

사용자 인식기(420)는 영상 획득기(410)에서 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다.The user recognizer 420 extracts facial feature information or body feature information from the user image acquired by the image acquirer 410 to recognize the user's body form.

컨텐츠 검색기(430)는 사용자 인식기(420)에서 인식된 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다.The content retriever 430 retrieves the fitting contents matched with the recognized user's body type recognized by the user recognizer 420 in the content recommendation table in which the fitting contents of each user's body type is templated.

컨텐츠 검색기(430)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 컨텐츠 변형기(440)는 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다.The content transformer 440 copies a plurality of fitting content unit areas to a corresponding content area according to a user's request to transform the fitting content searched by the content retriever 430 to transform the fitting content.

가상 피팅기(450)는 컨텐츠 변형기(440)에서 변형된 피팅 컨텐츠를 사용자 인식기(420)에서 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다. 그리고 가상 피팅기(450)는 생성된 가상 피팅 영상을 사용자에게 표시한다.The virtual fitting machine 450 generates a virtual fitting image by virtually fitting the modified fitting content in the content transformer 440 according to the user's body shape extracted from the user recognizer 420. [ The virtual fitting unit 450 displays the created virtual fitting image to the user.

도 4 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 과정을 구체적인 예로 설명한 것이다. FIG. 4 illustrates a virtual fitting process using pattern copying according to an exemplary embodiment of the present invention.

도 4에 도시된 바와 같이, 가상 피팅 대상이 되는 사용자(302)에 대해 검색된 피팅 컨텐츠가 원본 컨텐츠(310)인 경우를 살펴보기로 한다.As shown in FIG. 4, the case where the fitting content searched for the user 302 as the virtual fitting target is the original content 310 will be described.

예를 들어, 가상 피팅 대상 사용자(302)가 원본 사용자(301)와 대응되는 원본 컨텐츠(310) 대비 100% 비율로 그대로 가상 피팅하고자 할 때, 가상 피팅 장치(200)는 원본 컨텐츠(310)와 동일한 비율의 피팅 컨텐츠(311)로 가상 피팅을 수행하여 사용자에게 표시한다.For example, when the virtual fitting target user 302 intends to perform virtual fitting as it is at a ratio of 100% with respect to the original contents 310 corresponding to the original user 301, the virtual fitting apparatus 200 displays the original contents 310, The virtual fitting is performed with the fitting content 311 of the same ratio and displayed to the user.

반면, 가상 피팅 대상 사용자(302)가 원본 사용자(301)와 대응되는 원본 컨텐츠(310) 대비 110% 비율로 원본 컨텐츠(310)를 확대하고자 할 때, 가상 피팅 장치(200)는 원본 컨텐츠(310) 대비 110% 비율에 맞춰 복수의 피팅 컨텐츠 단위 영역을 블록 형태로 구분된 컨텐츠 영역에 각각 복사한다. 여기서, 블록 형태로 구분된 컨텐츠 영역은 110% 비율에 맞춰 복사해야 되는 컨텐츠 영역을 나타낸다. 가상 피팅 장치(200)는 원본 컨텐츠(310)에서 110% 확대하고자 하는 복수의 피팅 컨텐츠 단위 영역을 계산하고 그 계산된 영역에 대응하는 블록 위치마다 피팅 컨텐츠 단위 영역을 추가하여 변형 컨텐츠(312)를 생성할 수 있다. 도 3의 변형 컨텐츠(312)에는 블록 형태로 복사되어 추가된 피팅 컨텐츠 단위 영역이 나타나 있다. 전체 헤어 컨텐츠를 확대시키기 위하여, 전체 헤어 모양에 대해서 전부 10%씩 피팅 컨텐츠 단위 영역을 복사하여 추가할 수 있다.When the virtual fitting target user 302 intends to enlarge the original content 310 at a ratio of 110% of the original content 310 corresponding to the original user 301, the virtual fitting device 200 receives the original content 310 ), A plurality of fitting content unit areas are copied to the content area divided into blocks in accordance with the ratio of 110%. Here, a content area divided into blocks represents a content area to be copied at a rate of 110%. The virtual fitting apparatus 200 calculates a plurality of fitting content unit areas to be 110% enlarged in the original content 310 and adds a fitting content unit area for each block position corresponding to the calculated area to obtain modified content 312 Can be generated. In the modified content 312 of FIG. 3, a fitting content unit area copied and added in a block form is shown. In order to enlarge the entire hair content, it is possible to copy and add the fitting content unit area by 10% in total to the whole hair shape.

그리고 가상 피팅 장치(200)는 110% 비율로 변형되어 가상 피팅된 변형 컨텐츠(312)를 사용자에게 표시할 수 있다. 피팅 컨텐츠(320)가 의류인 경우에, 가상 피팅 장치(200)는 상기와 같은 과정을 통해 의류의 원본 컨텐츠(320)를 확대시켜 변형 컨텐츠(321)를 가상 피팅할 수 있다.And the virtual fitting apparatus 200 may be deformed at a ratio of 110% to display the virtual fitting modified contents 312 to the user. When the fitting content 320 is a garment, the virtual fitting device 200 may enlarge the original content 320 of the garment through the process described above to virtually fit the modified content 321.

도 5 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.FIG. 5 is a flowchart of an embodiment of a virtual fitting method using pattern copying according to the present invention.

우선, 컨텐츠 템플릿화부(210)는 사용자 신체 형태의 분석에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 여기서, 사용자 신체 형태별 피팅 컨텐츠는 템플릿화되어 컨텐츠 추천 테이블로 생성되며 컨텐츠 DB(280)에 저장된다.First, the content template generation unit 210 creates a content recommendation table by templateizing the fitting contents according to the user's body type according to analysis of the user's body type. Here, the fitting contents according to the user's body type are formed into a template, generated as a content recommendation table, and stored in the content DB 280.

영상 수신부(220)는 사용자 단말(201)로부터 통신망을 통해 사용자 영상을 수신한다(S502).The image receiving unit 220 receives the user image from the user terminal 201 through the communication network (S502).

사용자 인식부(230)는 사용자 단말(201)로부터 수신된 사용자 영상에서 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다(S504).The user recognition unit 230 extracts facial feature information or body feature information from the user image received from the user terminal 201 and recognizes the user's body form (S504).

이어서, 컨텐츠 검색부(240)는 사용자 인식부(230)에서 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다(S506).In operation S506, the content searching unit 240 searches the content recommendation table in which fitting contents matching the user's body type recognized by the user recognizing unit 230 are fitted to the user's body type.

이후, 컨텐츠 변형부(250)는 컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다(S508).In operation S508, the content modifying unit 250 modifies the fitting content by copying a plurality of preset fitting unit areas into the corresponding content area in response to the user's transformation request for the fitting content searched by the content searching unit 240, .

그리고 가상 피팅부(260)는 컨텐츠 변형부(250)에서 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다(S510).In operation S510, the virtual fitting unit 260 creates a virtual fitting image by virtually fitting the modified fitting content in the content transforming unit 250 to the extracted user's body shape.

이어서, 가상 피팅부(260)는 생성된 가상 피팅 영상을 사용자 단말(201)로 통신망을 통해 전송한다(S512).Subsequently, the virtual fitting unit 260 transmits the created virtual fitting image to the user terminal 201 through the communication network (S512).

도 6 은 본 발명에 따른 사용자 단말에서의 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.6 is a flowchart of an embodiment of a virtual fitting method using pattern copying in a user terminal according to the present invention.

도 6을 참조하여, 사용자 단말(201)에서 통신망 없이 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 이용하여 가상 피팅 영상을 제공하는 과정을 살펴보기로 한다.Referring to FIG. 6, a process of providing a virtual fitting image using a fitting content matched with a user's body form in a user terminal 201 without a communication network will be described.

사용자 단말(201)의 영상 획득기(410)는 구비된 촬영 모듈을 통해 가상 피팅 대상이 되는 사용자를 촬영하여 사용자 영상을 획득한다(S602).The image acquirer 410 of the user terminal 201 acquires a user image by capturing a user to be a virtual fitting object through the provided photographing module (S602).

그리고 사용자 인식기(420)는 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다(S604).Then, the user recognizer 420 extracts facial feature information or body feature information from the obtained user image to recognize the user's body form (S604).

이어서, 컨텐츠 검색기(430)는 사용자 인식기(420)에서 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다(S606).In operation S606, the content retriever 430 searches the contents recommendation table in which fitting contents matching the user's body type recognized by the user recognizer 420 are fit to the fitting body contents of the user's body type.

이후, 컨텐츠 변형기(440)는 컨텐츠 검색기(430)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 변형 컨텐츠를 생성한다(S608). 컨텐츠 변형기(440)는 사용자가 원하는 만큼 자동으로 피팅 컨텐츠 단위 영역을 복사하여 피팅 컨텐츠에 추가함으로써, 이미지가 퍼지는 현상이 없으며 선명하게 컨텐츠를 확대할 수 있다. 이때, 컨텐츠 변형기(440)는 리사이징 과정이 아닌 컨텐츠 면적을 자연스럽게 확대함으로써 가상 피팅을 자연스럽게 수행할 수 있다. 즉, 컨텐츠 변형기(440)는 이미지 리사이징 과정이 아닌 이미지 영역이 복수 개로 구분된 단위 영역을 계산해서 그만큼 피팅 컨텐츠에 추가하여 변형 컨텐츠를 생성할 수 있다. 이 경우, 가상 피팅기(450)는 화질의 손실이 없고 피팅 컨텐츠 단위 영역을 이용하여 여러 가지 다른 컨텐츠에 대한 가상 피팅 영상을 생성할 수 있다.In operation S608, the content transformer 440 generates a transformed content by copying a plurality of preset fitting unit areas into the corresponding content area in response to a user's transformation request for the fitting content retrieved from the content retriever 430. FIG. The content transformer 440 automatically copies the fitting content unit area as much as the user wants and adds the fitting content unit area to the fitting content so that the image is not spread and the content can be enlarged clearly. At this time, the content transformer 440 can naturally perform the virtual fitting by naturally enlarging the content area, not the resizing process. That is, the content transformer 440 may calculate the unit area in which the image area is divided into a plurality of areas, not the image resizing process, and add the unit area to the fitting content to generate the modified content. In this case, the virtual fitting machine 450 can generate a virtual fitting image for various other contents by using the fitting content unit area without loss of image quality.

가상 피팅기(450)는 컨텐츠 변형기(440)에서 생성된 변형 컨텐츠를 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다(S610).The virtual fitting machine 450 creates a virtual fitting image by virtually fitting the transformed content generated in the content transformer 440 to the extracted user's body form (S610).

그리고 가상 피팅기(450)는 생성된 가상 피팅 영상을 사용자에게 표시한다(S612).Then, the virtual fitting device 450 displays the created virtual fitting image to the user (S612).

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

본 발명은 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있다.The present invention searches for fitting content matching with a user's body form in a user image, modifies a fitting content by copying a plurality of fitting content unit areas preset in accordance with a user's transformation request to the corresponding content area, By performing virtual fitting according to the user's body shape, it is possible to prevent an unnatural combination due to the resizing or spread of the image, and it is possible to naturally transform the fitting contents to the user's image without loss of image quality.

201: 사용자 단말 200: 가상 피팅 장치
210: 컨텐츠 템플릿화부 220: 영상 수신부
230: 사용자 인식부 240: 컨텐츠 검색부
250: 컨텐츠 변형부 260: 가상 피팅부
270: 사용자 DB 280: 컨텐츠 DB
410: 영상 획득기 420: 사용자 인식기
430: 컨텐츠 검색기 440: 컨텐츠 변형기
450: 가상 피팅기 460: 메모리201: user terminal 200: virtual fitting device
210: content template generation unit 220:
230: user recognition section 240: content search section
250: Content modifying unit 260: Virtual fitting unit
270: user DB 280: content DB
410: image acquirer 420: user recognizer
430: Content Retriever 440: Content Transducer
450: virtual fitting machine 460: memory

Claims (18)

삭제delete 사용자 단말로부터 사용자 영상을 수신하는 영상 수신부;
상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식부;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색부;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 상기 피팅 컨텐츠를 복수 영역으로 구분한 피팅 컨텐츠 단위 영역 중에서 상기 변형 요청에 대응되는 피팅 컨텐츠 단위 영역을 선택하고 상기 선택된 피팅 컨텐츠 단위 영역을 상기 피팅 컨텐츠의 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형부; 및
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅부
를 포함하는 패턴 복사를 이용한 가상 피팅 장치.An image receiving unit for receiving a user image from a user terminal;
A user recognition unit for extracting facial feature information or body feature information from the received user image to recognize a user's body shape;
A contents retrieval unit for retrieving fitting contents matched with the recognized user body form in a contents recommendation table in which fitting contents are matched according to the user's body type;
Selecting a fitting content unit area corresponding to the deformation request from a fitting content unit area divided into a plurality of areas according to a user's deformation request for the searched fitting content, A content modifying unit for modifying the fitting content by copying the content into a content area of the content modifying unit; And
And a virtual fitting unit for creating virtual fitting images by virtually fitting the modified fitting contents according to the extracted user's body form and transmitting the generated virtual fitting images to the user terminal,
Wherein the virtual patterning device comprises: 제 2 항에 있어서,
미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화부
를 더 포함하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
A contents template generating unit for classifying fitting contents matched with the user body form collected in advance and generating the contents recommendation table by fitting the fitting contents according to the user's body type according to the classification result,
Wherein the virtual patterning apparatus further comprises a pattern copying unit. 제 2 항에 있어서,
상기 얼굴 특징 정보 및 몸체 특징 정보와 상기 인식된 사용자 신체 형태를 저장하는 사용자 DB: 및
상기 매칭된 피팅 컨텐츠를 생성하기 위하여 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역과 상기 템플릿화된 컨텐츠 추천 테이블을 저장하는 컨텐츠 DB
를 더 포함하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
A user DB for storing the facial feature information, the body feature information, and the recognized user body form;
In order to generate the matched fitting content, a fitting content unit area divided into a plurality of areas and a content DB
Wherein the virtual patterning apparatus further comprises a pattern copying unit. 제 2 항에 있어서,
상기 컨텐츠 검색부는,
상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
The content retrieving unit,
And if the recognized user's body type is changed according to a request of the user terminal, searching for fitting contents matching the changed user's body type is performed. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠를 확대하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
Wherein,
And copying the fitting content unit area divided into upper, lower, left, and right areas to a content area to be modified according to a size modification request for the fitting content to enlarge the fitting content. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
Wherein,
And copying a fitting content unit area divided into upper, lower, left, and right areas to a partial content area in accordance with a request for area transformation of the fitting content to enlarge a partial area of the fitting content. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
Wherein,
And copying the fitting content unit area to another content area to generate a fitting content different from the retrieved fitting content. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 패턴 복사를 이용한 가상 피팅 장치.3. The method of claim 2,
Wherein,
Wherein the left and right contents are deformed and the left and right contents are symmetrically copied to deform the opposite hair contents when the left and right contents of the fitting contents are the same. 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블을 저장하는 메모리;
사용자를 촬영하여 사용자 영상을 획득하는 영상 획득기;
상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식기;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색기;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 상기 피팅 컨텐츠를 복수 영역으로 구분한 피팅 컨텐츠 단위 영역 중에서 상기 변형 요청에 대응되는 피팅 컨텐츠 단위 영역을 선택하고 상기 선택된 피팅 컨텐츠 단위 영역을 상기 피팅 컨텐츠의 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형기; 및
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자에게 제공하는 가상 피팅기
를 포함하는 가상 피팅을 위한 사용자 단말 장치.A memory for storing a content recommendation table in which fitting contents matched with the user body form are templated;
An image acquirer for acquiring a user image by capturing a user;
A user recognizer for extracting facial feature information or body feature information from the obtained user image to recognize a user body form;
A contents retriever for retrieving fitting contents matched with the recognized user body form from a content recommendation table in which fitting contents for each user body type are template;
Selecting a fitting content unit area corresponding to the deformation request from a fitting content unit area divided into a plurality of areas according to a user's deformation request for the searched fitting content, A content transformer for copying the content into a content area of the content to transform the fitting content; And
And a virtual fitting device for creating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user body form and providing the generated virtual fitting image to the user,
And a user terminal device for a virtual fitting. 사용자 단말로부터 사용자 영상을 수신하는 영상 획득 단계;
상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 상기 피팅 컨텐츠를 복수 영역으로 구분한 피팅 컨텐츠 단위 영역 중에서 상기 변형 요청에 대응되는 피팅 컨텐츠 단위 영역을 선택하고 상기 선택된 피팅 컨텐츠 단위 영역을 상기 피팅 컨텐츠의 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계; 및
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 단계
를 포함하는 패턴 복사를 이용한 가상 피팅 방법.An image acquiring step of receiving a user image from a user terminal;
A user recognition step of extracting facial feature information or body feature information from the received user image to recognize a user's body form;
A contents retrieving step of retrieving fitting contents matched with the recognized user body form in a contents recommendation table in which fitting contents are matched according to a user's body form;
Selecting a fitting content unit area corresponding to the deformation request from a fitting content unit area divided into a plurality of areas according to a user's deformation request for the searched fitting content, A content transforming step of transforming the fitting content by copying the fitting content into a content area of the content; And
Fitting the deformed fitting contents according to the extracted user body form to generate a virtual fitting image and transmitting the generated virtual fitting image to the user terminal
Wherein the virtual copying method is a virtual copying method. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.Claim 12 is abandoned in setting registration fee. 제 11 항에 있어서,
미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화 단계
를 더 포함하는 패턴 복사를 이용한 가상 피팅 방법.12. The method of claim 11,
A contents template making step of classifying the fitting contents matched with the user body form collected in advance and creating the contents recommendation table by fitting the fitting contents according to the user's body type according to the classification result
Wherein the virtual copying method further comprises: 청구항 13은(는) 설정등록료 납부시 포기되었습니다.Claim 13 has been abandoned due to the set registration fee. 제 11 항에 있어서,
상기 컨텐츠 검색 단계는,
상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 패턴 복사를 이용한 가상 피팅 방법.12. The method of claim 11,
The content retrieving step may include:
And if the recognized user's body type is changed according to a request of the user terminal, searching for fitting contents matched with the changed user's body type is performed. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.Claim 14 has been abandoned due to the setting registration fee. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠를 확대하는 패턴 복사를 이용한 가상 피팅 방법.12. The method of claim 11,
In the content transforming step,
And copying the fitting content unit area divided into the upper side, the lower side, the left side, and the right side area to a content area to be modified according to a size modification request for the fitting content to enlarge the fitting content. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.Claim 15 is abandoned in the setting registration fee payment. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 패턴 복사를 이용한 가상 피팅 방법.12. The method of claim 11,
In the content transforming step,
A virtual fitting method using a pattern copy for copying the fitting content unit area divided into upper, lower, left and right areas to a partial content area in accordance with a request for area transformation of the fitting content to enlarge a partial area of the fitting content . 청구항 16은(는) 설정등록료 납부시 포기되었습니다.Claim 16 has been abandoned due to the setting registration fee. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 패턴 복사를 이용한 가상 피팅 방법.12. The method of claim 11,
In the content transforming step,
And copying the fitting content unit area to another content area to generate a fitting content different from the retrieved fitting content. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.Claim 17 has been abandoned due to the setting registration fee. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 패턴 복사를 이용한 가상 피팅 방법.12. The method of claim 11,
In the content transforming step,
And modifying the left or right content and symmetrically copying the modified left or right content to deform the opposite hair content when the left and right content types of the fitting content are the same. 가상 피팅 대상이 되는 사용자를 촬영하여 사용자 영상을 획득하는 영상 획득 단계;
상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 상기 피팅 컨텐츠를 복수 영역으로 구분한 피팅 컨텐츠 단위 영역 중에서 상기 변형 요청에 대응되는 피팅 컨텐츠 단위 영역을 선택하고 상기 선택된 피팅 컨텐츠 단위 영역을 상기 피팅 컨텐츠의 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계;
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하는 가상 피팅 단계; 및
상기 생성된 가상 피팅 영상을 상기 사용자에게 표시하는 영상 표시 단계
를 포함하는 사용자 단말 장치에서의 가상 피팅 방법.An image acquiring step of acquiring a user image by photographing a user to be a virtual fitting object;
A user recognition step of extracting facial feature information or body feature information from the acquired user image to recognize a user body form;
A contents retrieving step of retrieving fitting contents matched with the recognized user body form in a contents recommendation table in which fitting contents are matched according to a user's body form;
Selecting a fitting content unit area corresponding to the deformation request from a fitting content unit area divided into a plurality of areas according to a user's deformation request for the searched fitting content, A content transforming step of transforming the fitting content by copying the fitting content into a content area of the content;
A virtual fitting step of creating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user's body shape; And
An image display step of displaying the generated virtual fitting image to the user
Wherein the virtual fitting method comprises:
KR1020100132544A 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor KR101738896B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132544A KR101738896B1 (en) 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132544A KR101738896B1 (en) 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor

Publications (2)

Publication Number Publication Date
KR20120087265A KR20120087265A (en) 2012-08-07
KR101738896B1 true KR101738896B1 (en) 2017-05-24

Family

ID=46872827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132544A KR101738896B1 (en) 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor

Country Status (1)

Country Link
KR (1) KR101738896B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101643917B1 (en) 2014-09-15 2016-08-01 (주)인더스웰 The smart fitting apparatus based real image
KR101720016B1 (en) 2015-10-16 2017-03-27 광운대학교 산학협력단 A clothing fitting system with a mirror display by using salient points and the method thereof
KR102134476B1 (en) * 2018-03-30 2020-08-26 경일대학교산학협력단 System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213623A (en) * 2002-07-08 2007-08-23 Toshiba Corp Virtual makeup device and method therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213623A (en) * 2002-07-08 2007-08-23 Toshiba Corp Virtual makeup device and method therefor

Also Published As

Publication number Publication date
KR20120087265A (en) 2012-08-07

Similar Documents

Publication Publication Date Title
JP4990994B2 (en) Short film generating apparatus, short film generating method, program, and recording medium
CN108600632B (en) Photographing prompting method, intelligent glasses and computer readable storage medium
JP4519531B2 (en) Image display device, image display method, and program
JP2005242566A (en) Image composition device and method
KR20120046652A (en) System and method for recommending hair based on face recognition
JP2005250950A (en) Marker presentation portable terminal, expanded sense of reality system, and its operation method
JP2007312058A (en) Album-making system, album-making method, and program
KR20120046653A (en) System and method for recommending hair based on face and style recognition
CN111429338B (en) Method, apparatus, device and computer readable storage medium for processing video
JP6375070B1 (en) Computer system, screen sharing method and program
US20220385808A1 (en) Selfie setup and stock videos creation
CN110868538A (en) Method and electronic equipment for recommending shooting posture
US8290299B2 (en) Object outputting method and information processing apparatus
KR101738896B1 (en) Fitting virtual system using pattern copy and method therefor
CN105898137A (en) Image collection and information push methods, image collection and information push devices and mobile phone
CN113810627B (en) Video processing method, device, mobile terminal and readable storage medium
CN109949207B (en) Virtual object synthesis method and device, computer equipment and storage medium
CN112866577B (en) Image processing method and device, computer readable medium and electronic equipment
KR102409103B1 (en) Method for editing image
JP5048736B2 (en) Image processing system, image processing method, and image processing program
KR102161437B1 (en) Apparatus for sharing contents using spatial map of augmented reality and method thereof
KR20130142315A (en) Character service system and character service providing method thereof
JP2017188787A (en) Imaging apparatus, image synthesizing method, and image synthesizing program
KR20120076492A (en) System and method for recommending hair based on face and style recognition
KR100777787B1 (en) System and method for electronic hair cordination

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant