KR20120076492A - System and method for recommending hair based on face and style recognition - Google Patents

System and method for recommending hair based on face and style recognition Download PDF

Info

Publication number
KR20120076492A
KR20120076492A KR1020100118835A KR20100118835A KR20120076492A KR 20120076492 A KR20120076492 A KR 20120076492A KR 1020100118835 A KR1020100118835 A KR 1020100118835A KR 20100118835 A KR20100118835 A KR 20100118835A KR 20120076492 A KR20120076492 A KR 20120076492A
Authority
KR
South Korea
Prior art keywords
information
user
user context
characteristic
virtual experience
Prior art date
Application number
KR1020100118835A
Other languages
Korean (ko)
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100118835A priority Critical patent/KR20120076492A/en
Publication of KR20120076492A publication Critical patent/KR20120076492A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PURPOSE: A virtual experience system based user context recognition and a method thereof are provided to recognize user context characteristics from user context information and search for matched shopping content information among pre-templated shopping content classified by feature. CONSTITUTION: A virtual experience apparatus(100) generates a contents recommendation table by templated shopping content information matched with user context characteristics. The virtual experience apparatus recognizes the user context characteristics from user context information. The virtual experience apparatus search for the shopping contents information in the content recommendation table. The virtual experience apparatus generates a virtual experience image by using the searched shopping contents information.

Description

사용자 상황 인식 기반의 가상 체험 시스템 및 그 방법{SYSTEM AND METHOD FOR RECOMMENDING HAIR BASED ON FACE AND STYLE RECOGNITION}Virtual experience system based on user context awareness and its method {SYSTEM AND METHOD FOR RECOMMENDING HAIR BASED ON FACE AND STYLE RECOGNITION}

본 발명은 사용자 상황 인식 기반의 가상 체험 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 상황 정보로부터 사용자 상황 특성을 인식하고 그 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 미리 템플릿화된 특성별 쇼핑 컨텐츠 정보 중에서 검색한 후, 검색된 쇼핑 컨텐츠 정보의 가상 피팅을 통해 결합한 가상 체험 영상를 제공함으로써, 사용자의 현재 상황에 가장 적합하게 매칭되는 가상 체험 서비스를 편리하게 제공할 수 있는, 사용자 상황 인식 기반의 가상 체험 시스템 그 방법에 관한 것이다.The present invention relates to a virtual experience system and a method based on user context recognition, and in detail, recognizes a user context characteristic from user context information, and pre-templates shopping content information matching the recognized user context characteristic. After searching among shopping contents information, by providing a virtual experience image combined through a virtual fitting of the searched shopping contents information, a user can easily provide a virtual experience service that best matches the user's current situation. Virtual Experience System.

휴대 전화의 보급의 급증과 함께 다양한 휴대 단말의 기능이 탑재되어 시판되고 있다. 일반적인 휴대 단말의 사용은 상대방과의 전화를 하는 것뿐만 아니라 다양한 부가적인 기능을 사용자에게 제공하여 편리함을 추구하고 있다.With the proliferation of mobile phones, functions of various portable terminals are mounted and commercially available. In general, the use of a portable terminal seeks convenience by providing a user with various additional functions as well as making a call with a counterpart.

예를 들어, 사용자는 휴대 전화를 휴대하면서 음성 통신을 수행할 뿐만 아니라, 무선 인터넷(Wireless Internet) 기술을 이용하여 무선으로 인터넷에 접속하여 문자, 이미지, 음성 또는 동영상 등의 멀티미디어 데이터 서비스를 제공받고 있다. 휴대 전화에서 제공하는 부가적인 기능으로는 음악 플레이어, 단문 메시지 서비스, 무선 메신저, 모바일 뱅킹, 사용자 인증을 위한 지문인식, 카메라 기능 등이 있다.For example, a user not only performs voice communication while carrying a mobile phone, but also uses a wireless Internet technology to wirelessly access the Internet to receive multimedia data services such as text, images, voice, or video. have. Additional features offered by mobile phones include music players, short message services, wireless messengers, mobile banking, fingerprint recognition for user authentication, and camera functions.

점차, 휴대 전화는 이와 같은 멀티미디어 서비스를 이용하기 위해 포함되는 카메라를 통해 초기의 음성 통화 위주의 휴대 전화에서 벗어나 미디어 재생기, 카메라 및 캠코더 등 다양한 기능을 구비한 스마트폰으로 진화하고 있다. 이와 같은 캠코더 기능을 이용해 촬영된 동영상은 다른 단말기로 전송되기도 한다. Increasingly, mobile phones are evolving from the initial voice call-oriented mobile phones through cameras included to use such multimedia services to smart phones having various functions such as media players, cameras, and camcorders. Videos recorded using the camcorder function may be transferred to another terminal.

인터넷의 발전에 따라 가상 체험 서비스가 확대되고 있다. 최근, 스마트폰의 출시와 함께 증강현실(AR: Augmented Reality) 및 가상 체험 서비스가 점차 확대되고 있다. 예를 들면, 이러한 서비스에는 얼굴 및 패턴 추출 기반의 추천 서비스, 뷰티(Beauty) 서비스, 맵(Map) 정보를 연계한 증강현실 서비스 등이 있다.As the Internet develops, virtual experience services are expanding. Recently, with the launch of smart phones, Augmented Reality (AR) and virtual experience services are gradually expanding. For example, such services include recommendation services based on face and pattern extraction, beauty services, and augmented reality services in connection with map information.

이러한 가상 체험 서비스는 사용자가 수많은 스타일의 상품을 하나씩 선택하여 자신의 사이즈 또는 기호와 맞는지 살펴볼 수 있지만, 너무나 많은 스타일을 하나씩 고르기 때문에 자신에게 적합한 상품 정보를 찾는 시간이나 노력 등이 많이 소요된다. 현재 사용자의 상황에 맞는 상품보다는 사용자가 미리 설정해 놓은 단순한 사용자 정보에 기반하여 상품을 추천하거나 컨텐츠 정보를 제공하고 있다. 이러한 상품 추천이나 컨텐츠 정보 제공에 따라, 사용자는 직접 인터넷 등을 통해 상품을 보면서 자신에게 어울리는지 여부를 확인해야 한다. 사용자가 현재 사용자의 상황에 맞는 컨텐츠 정보를 찾기 곤란한 문제점이 있다.Such a virtual experience service allows the user to select a number of styles one by one to see if it fits with their size or preferences, but since so many styles are selected one by one, it takes a lot of time or effort to find product information suitable for them. Current products are recommended or content information is provided based on simple user information preset by the user, rather than a product suitable for the user's situation. In accordance with such product recommendation or content information, the user should check whether the product is suitable for himself or herself while viewing the product through the Internet or the like. There is a problem that it is difficult for a user to find content information suitable for the current user's situation.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 사용자 상황 정보로부터 사용자 상황 특성을 인식하고 그 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 미리 템플릿화된 특성별 쇼핑 컨텐츠 정보 중에서 검색한 후, 검색된 쇼핑 컨텐츠 정보의 가상 피팅을 통해 결합한 가상 체험 영상를 제공함으로써, 사용자의 현재 상황에 가장 적합하게 매칭되는 가상 체험 서비스를 편리하게 제공할 수 있는, 사용자 상황 인식 기반의 가상 체험 시스템 그 방법을 제공하는 것을 목적으로 한다.The present invention has been made to solve the above problems, and after recognizing the user context characteristics from the user context information and searching for shopping content information matching the recognized user context characteristics from pre-templated shopping content information By providing a virtual experience image combined through a virtual fitting of the retrieved shopping content information, a method for providing a virtual experience system based on a user context awareness that can conveniently provide a virtual experience service that best matches a user's current situation is provided. It aims to do it.

이를 위하여, 본 발명의 제1 측면에 따른 장치는, 사용자 상황 정보를 수집하여 통신망을 통해 전송하는 사용자 단말; 및 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 템플릿화하여 컨텐츠 추천 테이블을 생성하고, 상기 사용자 단말로부터 전송된 사용자 상황 정보로부터 사용자 상황 특성을 인식하고, 상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 상기 생성된 컨텐츠 추천 테이블 중에서 검색한 후, 상기 검색된 쇼핑 컨텐츠 정보를 이용하여 가상 체험 영상을 생성하여 상기 사용자 단말로 전송하는 가상 체험 장치를 포함하는 것을 특징으로 한다.To this end, an apparatus according to the first aspect of the present invention, a user terminal for collecting user context information and transmitting through a communication network; And generating a content recommendation table by templated shopping content information matching the user context characteristic, recognizing the user context characteristic from the user context information transmitted from the user terminal, and shopping content information matching the recognized user context characteristic. Search for the generated content recommendation table, and generate a virtual experience image by using the searched shopping content information and transmit the generated virtual experience image to the user terminal.

한편, 본 발명의 제2 측면에 따른 장치는, 사용자 단말로부터 사용자 상황 정보를 수신하는 정보 수신부; 상기 수신된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식부; 상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색부; 및 상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅(Virtual Fitting)을 수행하고, 상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자 단말로 전송하는 가상 체험부를 포함하는 것을 특징으로 한다.On the other hand, the apparatus according to the second aspect of the present invention, the information receiving unit for receiving the user context information from the user terminal; A situation recognition unit extracting environment feature information, user feature information, or preference style information from the received user context information to recognize a user context characteristic; A shopping content search unit searching for shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated; And a virtual experience unit performing virtual fitting according to the extracted user feature information by using the searched shopping content information, and generating a virtual experience image according to the performed virtual fitting result and transmitting the generated virtual experience image to the user terminal. It is characterized by including.

상기 본 발명은, 미리 수집된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보를 분류하고, 상기 분류 결과에 따라 사용자 상황 특성별 쇼핑 컨텐츠 정보를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화부를 더 포함하는 것을 특징으로 한다.The present invention may further include a content templater for classifying shopping content information matched with user context characteristics collected in advance, and templated shopping content information for each user context characteristic according to the classification result to generate the content recommendation table. Characterized in that.

상기 본 발명은, 상기 환경 특징 정보, 상기 사용자 특징 정보 또는 상기 선호 스타일 정보 및 상기 인식된 사용자 상황 특성을 저장하는 상황 특성 DB: 및 상기 인식된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보 및 상기 템플릿화된 컨텐츠 추천 테이블을 저장하는 컨텐츠 DB를 더 포함하는 것을 특징으로 한다.The present invention provides a context characteristic DB for storing the environment characteristic information, the user characteristic information or the preferred style information, and the recognized user context characteristic: shopping content information and template matching with the recognized user context characteristic. The method may further include a content DB for storing the recommended content recommendation table.

상기 상황 인식부는, 상기 추출된 환경 특징 정보의 계절 정보, 온도 정보, 시간 정보 및 조명 정보 중 적어도 하나로부터 상기 사용자 단말의 환경 특성을 인식하는 것을 특징으로 한다.The situation recognition unit may recognize an environment characteristic of the user terminal from at least one of season information, temperature information, time information, and illumination information of the extracted environment feature information.

상기 상황 인식부는, 상기 추출된 사용자 특징 정보의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 중 적어도 하나로부터 상기 사용자의 사용자 특성을 인식하는 것을 특징으로 한다.The situation recognition unit may recognize a user characteristic of the user from at least one of height, weight, face shape, body structure, age, and gender of the extracted user characteristic information.

상기 상황 인식부는, 상기 추출된 선호 스타일 정보의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 중 적어도 하나로부터 상기 사용자의 선호 스타일 특성을 인식하는 것을 특징으로 한다.The contextual recognition unit may recognize a preference style characteristic of the user from at least one of a job, a preferred color, a preferred pattern, and recommended style information of the extracted preferred style information.

상기 쇼핑 컨텐츠 검색부는, 상기 사용자 단말의 요청에 따라 상기 인식된 사용자 상황 특성이 변경되면, 상기 변경된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 재검색하는 것을 특징으로 한다.The shopping content search unit may re-search the shopping content information matching the changed user context characteristic when the recognized user context characteristic is changed according to a request of the user terminal.

상기 가상 체험부는, 상기 검색된 쇼핑 컨텐츠 정보 중에서 상기 사용자 단말에 의해 선택된 쇼핑 컨텐츠 정보를 이용하여 가상 피팅을 수행하는 것을 특징으로 한다.The virtual experience unit may perform virtual fitting by using shopping content information selected by the user terminal among the searched shopping content information.

한편, 본 발명의 제3 측면에 따른 장치는, 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블을 저장하는 메모리; 사용자를 촬영하고, 상기 촬영된 사용자 영상 및 미리 설정된 사용자 특징 정보를 기초로 하여 사용자 상황 정보를 수집하는 정보 수집기; 상기 수집된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식기; 상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색기; 및 상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행하고, 상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자에게 제공하는 가상 체험 영상 생성기를 포함하는 것을 특징으로 한다.On the other hand, the apparatus according to the third aspect of the present invention comprises a memory for storing a content recommendation table templated shopping content information matching the user context characteristics; An information collector configured to photograph a user and collect user context information based on the photographed user image and preset user characteristic information; A context recognizer extracting environment feature information, user feature information, or preference style information from the collected user context information to recognize a user context characteristic; A shopping content searcher for searching for shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated; And performing a virtual fitting according to the extracted user feature information by using the searched shopping content information, and generating a virtual experience image according to the performed virtual fitting result and providing the user with the virtual experience image generator. It features.

한편, 본 발명의 제4 측면에 따른 방법은, 사용자 단말로부터 사용자 상황 정보를 수신하는 정보 수신 단계; 상기 수신된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식 단계; 상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색 단계; 상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행하는 가상 피팅 단계; 및 상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자 단말로 전송하는 가상 체험 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the fourth aspect of the present invention, the information receiving step of receiving user context information from the user terminal; A situation recognition step of extracting environment feature information, user feature information or preference style information from the received user context information to recognize a user context characteristic; A shopping content retrieval step of retrieving shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated; A virtual fitting step of performing a virtual fitting according to the extracted user feature information by using the retrieved shopping content information; And a virtual experience step of generating a virtual experience image according to the performed virtual fitting result and transmitting the generated virtual experience image to the user terminal.

상기 본 발명은, 미리 수집된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보를 분류하고, 상기 분류 결과에 따라 사용자 상황 특성별 쇼핑 컨텐츠 정보를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화 단계를 더 포함하는 것을 특징으로 한다.The present invention further includes a content template step of classifying shopping content information matched with user context characteristics collected in advance, and templated shopping content information for each user context characteristic according to the classification result to generate the content recommendation table. It is characterized by including.

상기 상황 인식 단계는, 상기 추출된 환경 특징 정보의 계절 정보, 온도 정보, 시간 정보 및 조명 정보 중 적어도 하나로부터 상기 사용자 단말의 환경 특성을 인식하는 것을 특징으로 한다.The situation recognition step may include recognizing environmental characteristics of the user terminal from at least one of seasonal information, temperature information, time information, and lighting information of the extracted environmental characteristic information.

상기 상황 인식 단계는, 상기 추출된 사용자 특징 정보의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 중 적어도 하나로부터 상기 사용자의 사용자 특성을 인식하는 것을 특징으로 한다.The situation recognition step may include recognizing a user characteristic of the user from at least one of height, weight, face shape, body structure, age, and gender of the extracted user characteristic information.

상기 상황 인식 단계는, 상기 추출된 선호 스타일 정보의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 중 적어도 하나로부터 상기 사용자의 선호 스타일 특성을 인식하는 것을 특징으로 한다.The situation recognition step may include recognizing a preference style characteristic of the user from at least one of a job, a preferred color, a preference pattern, and recommended style information of the extracted preferred style information.

상기 쇼핑 컨텐츠 검색 단계는, 상기 사용자 단말의 요청에 따라 상기 인식된 사용자 상황 특성이 변경되면, 상기 변경된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 재검색하는 것을 특징으로 한다.The shopping content retrieval step may include re-searching shopping content information matching the changed user context characteristic when the recognized user context characteristic is changed according to a request of the user terminal.

상기 가상 피팅 단계는, 상기 검색된 쇼핑 컨텐츠 정보 중에서 상기 사용자 단말에 의해 선택된 쇼핑 컨텐츠 정보를 이용하여 가상 피팅을 수행하는 것을 특징으로 한다.In the virtual fitting step, the virtual fitting is performed using the shopping content information selected by the user terminal among the searched shopping content information.

한편, 본 발명의 제5 측면에 따른 방법은, 사용자를 촬영하고, 상기 촬영된 사용자 영상 및 미리 설정된 사용자 특징 정보를 기초로 하여 사용자 상황 정보를 수집하는 정보 수집 단계; 상기 수집된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식 단계; 상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색 단계; 상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행하는 가상 피팅 단계; 및 상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자에게 제공하는 가상 체험 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the fifth aspect of the present invention, an information collection step of capturing a user, and collecting user context information based on the photographed user image and the predetermined user characteristic information; A situation recognition step of recognizing user context characteristics by extracting environment feature information, user feature information, or preference style information from the collected user context information; A shopping content retrieval step of retrieving shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated; A virtual fitting step of performing a virtual fitting according to the extracted user feature information by using the retrieved shopping content information; And a virtual experience step of generating a virtual experience image according to the performed virtual fitting result and providing the virtual experience image to the user.

본 발명은, 사용자 상황 정보로부터 사용자 상황 특성을 인식하고 그 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 미리 템플릿화된 특성별 쇼핑 컨텐츠 정보 중에서 검색함으로써, 사용자의 현재 상황에 가장 적합하게 매칭되는 쇼핑 컨텐츠 정보를 사용자에게 제공할 수 있는 효과가 있다.The present invention, by recognizing the user context characteristic from the user context information and searching for shopping content information matching the recognized user context characteristic from among pre-templated shopping content information, which is most suited to the current situation of the user The shopping content information can be provided to the user.

또한, 본 발명은 검색된 쇼핑 컨텐츠 정보의 가상 피팅을 통해 결합한 가상 체험 영상를 제공함으로써, 사용자의 현재 상황에 가장 적합하게 매칭되는 가상 체험 서비스를 편리하게 제공할 수 있는 효과가 있다. 예를 들어, 본 발명은 계절 정보, 온도 정보, 시간 정보 및 조명 정보와, 사용자의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별과, 사용자의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 등을 통해 사용자의 상황과 매칭되는 가상 체험 영상을 생성하여 사용자에게 더욱 직관적으로 제공할 수 있는 효과가 있다.In addition, the present invention has the effect of providing a virtual experience service that is best matched to the current situation of the user by providing a virtual experience image combined through a virtual fitting of the retrieved shopping content information. For example, the present invention may include seasonal information, temperature information, time information and lighting information, height, weight, face shape, body structure, age and gender, user's occupation, preferred color, preferred pattern, and recommended style. There is an effect that can be provided to the user more intuitively by generating a virtual experience image matching the user's situation through the information.

또한, 본 발명은 인식된 사용자 상황 특성이 사용자 단말의 요청에 따라 변경되면, 그 변경된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 재검색하고 이를 통해 사용자의 선택에 더욱 매칭되는 가상 체험 서비스를 제공할 수 있는 효과가 있다.In addition, when the recognized user context characteristic is changed at the request of the user terminal, the present invention may re-search the shopping content information matching the changed user context characteristic and thereby provide a virtual experience service that is more matched to the user's selection. It has an effect.

도 1 은 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 시스템의 일실시예 구성도,
도 2 는 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 사용자 상황 인식 기반의 가상 체험을 위한 사용자 단말 장치의 일실시예 구성도,
도 4 는 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 방법에 대한 일실시예 흐름도
도 5 는 본 발명에 따른 사용자 단말 장치에서의 사용자 상황 인식 기반의 가상 체험 방법에 대한 일실시예 흐름도이다.1 is a configuration diagram of an embodiment of a virtual experience system based on user context recognition according to the present invention;
2 is a diagram illustrating an embodiment of a virtual experience process based on user context recognition according to the present invention;
3 is a configuration diagram of a user terminal device for a virtual experience based on user context recognition according to the present invention;
4 is a flowchart illustrating an embodiment of a virtual experience method based on user context recognition according to the present invention.
5 is a flowchart illustrating a virtual experience method based on user context recognition in a user terminal device according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Prior to the detailed description of the present invention, the same components will be denoted by the same reference numerals even if they are displayed on different drawings, and the detailed description will be omitted when it is determined that the well-known configuration may obscure the gist of the present invention. do.

도 1 은 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 시스템의 일실시예 구성도이다.1 is a configuration diagram of an embodiment of a virtual experience system based on user context recognition according to the present invention.

도 1에 도시된 바와 같이, 가상 체험 시스템(10)은 사용자 단말(101) 및 가상 체험 장치(100)를 포함한다. 여기서, 가상 체험 장치(100)는 컨텐츠 템플릿화부(110), 정보 수신부(120), 상황 인식부(130), 쇼핑 컨텐츠 검색부(140), 가상 체험부(150), 상황 정보 DB(160) 및 컨텐츠 DB(170)를 포함한다.As shown in FIG. 1, the virtual experience system 10 includes a user terminal 101 and a virtual experience apparatus 100. Here, the virtual experience apparatus 100 may include a content templater 110, an information receiver 120, a context recognizer 130, a shopping content search unit 140, a virtual experience unit 150, and a context information DB 160. And the content DB 170.

이하, 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each component of the virtual experience system 10 based on user context recognition according to the present invention will be described.

사용자 단말(101)은 사용자 상황 정보(예를 들면, 환경 특징 정보, 사용자 특징 정보, 선호 스타일 정보)를 수집하여 통신망을 통해 가상 피팅 장치(200)로 전송한다. 통신망에는 중계 장치가 포함될 수 있다. 중계 장치는 사용자 단말(101)에 대한 사용자 인증을 수행할 수 있다. 또한 중계 장치는 사용자 단말(101)로부터 사용자 아이디 및 비밀번호를 전송받아 사용자의 신원을 확인할 수 있다. 중계 장치는 사용자 인증이 수행된 사용자 단말(101)과 가상 피팅 장치(200) 간의 중계 기능을 수행한다. 중계 장치는 복수의 사용자 단말(101)이 가상 피팅 장치(200)와 통신을 요청하는 경우에 단말의 로드 밸런싱을 수행할 수 있다.The user terminal 101 collects user context information (for example, environmental feature information, user feature information, and preference style information) and transmits it to the virtual fitting device 200 through a communication network. The communication network may include a relay device. The relay device may perform user authentication for the user terminal 101. In addition, the relay device may receive the user ID and password from the user terminal 101 to confirm the identity of the user. The relay device performs a relay function between the user terminal 101 on which user authentication has been performed and the virtual fitting device 200. The relay device may perform load balancing of the terminal when the plurality of user terminals 101 request communication with the virtual fitting device 200.

사용자 단말(101)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정하는 것은 아니다. 사용자 단말(101)은 구비된 영상 촬영 모듈을 이용하여 사용자의 영상을 촬영하여 사용자 영상을 획득하고, 가상 체험 장치(100)로부터 제공된 가상 체험 영상을 사용자에게 표시한다. 여기서, 영상 촬영 모듈은 컴퓨터 등의 외부 컨트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.The user terminal 101 may be a computer, a mobile phone, or a smartphone equipped with an image capturing module, but is not limited thereto. The user terminal 101 acquires a user image by capturing an image of the user using the provided image capturing module, and displays the virtual experience image provided from the virtual experience apparatus 100 to the user. Here, the image capturing module may be a camera or a webcam connected to an external control device such as a computer, or a camera embedded in a personal portable terminal.

사용자 단말(101)이 전송할 사용자 상황 정보를 살펴보면, 환경 특징 정보에는 계절 정보, 온도 정보, 시간 정보 및 조명 정보 등이 포함될 수 있다. 또한, 사용자 특징 정보에는 사용자의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 등이 포함될 수 있으며, 미리 사용자 단말(101)에 저장될 수 있다. 또한, 선호 스타일 정보에는 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 등이 포함될 수 있다. 여기서, 직업, 선호 색상, 선호 패턴 등은 미리 사용자 단말(101)에 저장될 수 있다.Looking at the user context information to be transmitted by the user terminal 101, the environmental characteristic information may include season information, temperature information, time information, lighting information, and the like. In addition, the user characteristic information may include a user's height, weight, face shape, body structure, age and gender, and may be stored in the user terminal 101 in advance. In addition, the preference style information may include a job, a preference color, a preference pattern, and recommendation style information. Here, the occupation, the preferred color, the preferred pattern, etc. may be stored in the user terminal 101 in advance.

가상 체험 장치(100)는 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 이후, 가상 체험 장치(100)는 사용자 단말(101)로부터 사용자 상황 정보를 수신하고, 그 수신된 사용자 상황 정보로부터 사용자 상황 특성을 인식한다. 그리고 가상 체험 장치(100)는 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 미리 생성된 컨텐츠 추천 테이블 중에서 검색한 후, 그 검색된 쇼핑 컨텐츠 정보를 이용하여 가상 체험 영상을 생성한다. 이어서, 가상 체험 장치(100)는 가상 체험 영상을 통신망을 통해 사용자 단말(101)로 전송한다.The virtual experience apparatus 100 generates a content recommendation table by templated shopping content information matching the user context characteristic. Thereafter, the virtual experience apparatus 100 receives user context information from the user terminal 101, and recognizes user context characteristics from the received user context information. The virtual experience apparatus 100 searches for shopping content information matching the recognized user context characteristic from a pre-generated content recommendation table, and then generates a virtual experience image using the retrieved shopping content information. Subsequently, the virtual experience apparatus 100 transmits the virtual experience image to the user terminal 101 through a communication network.

가상 체험 장치(100)의 구성요소 각각에 대하여 상세하게 살펴보기로 한다.Each component of the virtual experience apparatus 100 will be described in detail.

컨텐츠 템플릿화부(110)는 미리 수집된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보를 분류하고, 그 분류 결과에 따라 사용자 상황 특성별 쇼핑 컨텐츠 정보를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 컨텐츠 템플릿화부(110)는 템플릿화된 사용자 상황 특성별 쇼핑 컨텐츠 정보를 컨텐츠 DB(170)에 저장한다. 가상 체험이 완료된 후 사용자 상황 특성별 쇼핑 컨텐츠 정보의 검색을 용이하게 하기 위하여, 컨텐츠 템플릿화부(110)는 인식된 사용자 상황 특성과 쇼핑 컨텐츠 검색부(140)에서 검색된 쇼핑 컨텐츠 정보를 매칭시킨다. 이를 통해 사용자 상황 특성별 쇼핑 컨텐츠 정보가 갱신될 수 있다. 그리고 컨텐츠 템플릿화부(110)는 그 매칭 결과를 새로운 사용자 특성별 쇼핑 컨텐츠 정보로 템플릿화하여 컨텐츠 DB(170)에 저장한다. 이를 통해 새로운 쇼핑 컨텐츠 정보가 템플릿화되어 컨텐츠 DB(170)에 저장될 수 있다.The content templater 110 classifies the shopping content information matched with the user context characteristics collected in advance, and generates a content recommendation table by templated the shopping content information for each user context characteristic according to the classification result. The content templater 110 stores the templated shopping content information for each user context characteristic in the content DB 170. In order to facilitate retrieval of shopping content information for each user context characteristic after the virtual experience is completed, the content template unit 110 matches the recognized user context characteristic with the shopping content information retrieved by the shopping content retrieval 140. Through this, shopping content information for each user context characteristic may be updated. The content templater 110 templates the matching result into shopping content information for each new user characteristic and stores the matching result in the content DB 170. Through this, new shopping content information may be templated and stored in the content DB 170.

정보 수신부(120)는 사용자 단말로부터 사용자 상황 정보를 수신한다.The information receiver 120 receives user context information from the user terminal.

그리고 상황 인식부(130)는 정보 수신부(120)에서 수신된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식한다.The context recognizer 130 extracts environment feature information, user feature information, or preference style information from the user context information received by the information receiver 120 to recognize the user context characteristic.

이어서, 쇼핑 컨텐츠 검색부(140)는 상황 인식부(130)에서 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다. 쇼핑 컨텐츠 검색부(140)는 사용자 단말(101)의 요청에 따라 상황 인식부(120)에서 인식된 사용자 상황 특성이 변경되면, 그 변경된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 재검색할 수 있다. 이를 통해, 사용자는 사용자 단말(101)을 통해 가상 체험을 위한 사용자 상황 특성을 선택하거나 변경할 수 있다.Subsequently, the shopping content search unit 140 searches for shopping content information matching the user context characteristic recognized by the context recognizer 130 in a content recommendation table in which shopping content information for each user context characteristic is templated. When the user context characteristic recognized by the context recognizer 120 is changed according to a request of the user terminal 101, the shopping content search unit 140 may re-search the shopping content information matching the changed user context characteristic. Through this, the user may select or change a user context characteristic for the virtual experience through the user terminal 101.

이후, 가상 체험부(150)는 쇼핑 컨텐츠 검색부(140)에서 검색된 쇼핑 컨텐츠 정보를 이용하여 상황 인식부(130)에서 추출된 사용자 특징 정보에 맞게 가상 피팅(Virtual Fitting)을 수행한다. 그리고 가상 체험부(150)는 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 사용자 단말(101)로 전송한다. 가상 체험부(150)는 쇼핑 컨텐츠 검색부(140)에서 검색된 쇼핑 컨텐츠 정보 중에서 사용자 단말(101)에 의해 선택된 쇼핑 컨텐츠 정보를 이용하여 가상 피팅을 수행할 수 있다. 예를 들어, 헤어, 화장, 의류, 액세서리, 신발이 포함된 쇼핑 컨텐츠 정보 중에서 헤어와 신발이 사용자 단말(101)에 의해 선택되면, 가상 체험부(150)는 선택된 헤어와 신발에 대한 쇼핑 컨텐츠 정보를 이용하여 가상 피팅을 수행할 수 있다.Thereafter, the virtual experience unit 150 performs a virtual fitting according to the user feature information extracted from the situation recognition unit 130 by using the shopping content information retrieved by the shopping content search unit 140. The virtual experience unit 150 generates a virtual experience image according to the performed virtual fitting result and transmits the generated virtual experience image to the user terminal 101. The virtual experience unit 150 may perform a virtual fitting using the shopping content information selected by the user terminal 101 among the shopping content information searched by the shopping content search unit 140. For example, when hair and shoes are selected by the user terminal 101 from among shopping content information including hair, makeup, clothing, accessories, and shoes, the virtual experience unit 150 shopping information about the selected hair and shoes. Virtual fitting may be performed using.

상황 특성 DB(160)는 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보 및 상황 인식부(120)에서 인식된 사용자 상황 특성을 저장한다.The context characteristic DB 160 stores environment characteristic information, user characteristic information or preference style information, and user context characteristic recognized by the context recognition unit 120.

컨텐츠 DB(170)는 상황 인식부(120)에서 인식된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보 및 컨텐츠 템플릿화부(110)에서 템플릿화된 컨텐츠 추천 테이블을 저장한다.The content DB 170 stores the shopping content information matched with the user context characteristic recognized by the context recognizer 120 and the content recommendation table templated by the content templateizer 110.

한편, 상황 인식부(130)를 구체적으로 살펴보면, 상황 인식부(120)는 추출된 환경 특징 정보의 계절 정보, 온도 정보, 시간 정보 및 조명 정보 중 적어도 하나로부터 사용자 단말(101)의 환경 특성을 인식할 수 있다. 또한, 상황 인식부(120)는 추출된 사용자 특징 정보의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 중 적어도 하나로부터 사용자의 사용자 특성을 인식할 수 있다. 상황 인식부(120)는 추출된 선호 스타일 정보의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 중 적어도 하나로부터 사용자의 선호 스타일 특성을 인식할 수 있다.Meanwhile, referring to the situation recognizer 130 in detail, the situation recognizer 120 may determine an environment characteristic of the user terminal 101 from at least one of seasonal information, temperature information, time information, and illumination information of the extracted environmental feature information. I can recognize it. In addition, the situation recognition unit 120 may recognize a user characteristic of the user from at least one of the height, weight, face shape, body structure, age, and gender of the extracted user characteristic information. The context recognizer 120 may recognize a user's preferred style characteristic from at least one of a job, a preferred color, a preferred pattern, and recommended style information of the extracted preferred style information.

예를 들어, 상황 인식부(130)는 계절 및 온도가 추운 겨울이면서 밝은 오후에 환경 특징 정보를 통해 사용자 상황 특성을 인식할 수 있다. 또한, 상황 인식부(130)는 이러한 환경적인 요인에 사용자의 성별 및 연령대를 구분하여 인식할 수 있다. 또한, 이전에 설정된 선호 색상이나 선호 패턴을 추가시켜 사용자 상황 특성을 인식할 수 있다.For example, the situation recognition unit 130 may recognize a user situation characteristic through environmental feature information in a bright afternoon with a cold season and temperature. In addition, the situation recognition unit 130 may recognize the user's gender and age by distinguishing the environmental factors. In addition, the user context characteristic may be recognized by adding a previously set preference color or preference pattern.

상황 인식부(130)는 상황 정보 DB(150)에 저장된 환경 특징 정보, 사용자 특징 정보 및 선호 스타일 정보와 사용자 상황 특성 간의 매칭 결과를 이용하여 사용자 상황 특성을 인식할 수 있다. 상황 인식부(130)는 사용자 단말(101)로부터 수신된 사용자 상황 정보와 인식된 사용자 상황 특성을 상황 정보 DB(160)에 저장한다.The context recognizer 130 may recognize the user context characteristic by using a matching result between the environment characteristic information, the user characteristic information, the preference style information, and the user context characteristic stored in the context information DB 150. The context recognizer 130 stores the user context information received from the user terminal 101 and the recognized user context characteristics in the context information DB 160.

도 2 는 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 과정에 대한 일실시예 설명도이다.2 is a diagram illustrating an embodiment of a virtual experience process based on user context recognition according to the present invention.

도 2에 도시된 바와 같이, 가상 체험 장치(100)는 사용자 단말(101)로부터 사용자 영상(201)이 포함된 사용자 상황 정보를 수신한다. 그리고 전술된 바와 같이, 상황 인식부(130)는 환경 특징 정보, 사용자 특징 정보 및 선호 스타일 정보를 이용하여 사용자 상황을 인식하고, 쇼핑 컨텐츠 검색부(140)는 사용자 상황 정보에 맞는 쇼핑 컨텐츠 정보를 검색한다. 이후, 가상 체험부(150)는 검색된 쇼핑 컨텐츠 정보를 이용하여 가상 체험 영상(202)을 생성한다.As illustrated in FIG. 2, the virtual experience apparatus 100 receives user context information including a user image 201 from the user terminal 101. As described above, the context recognizer 130 recognizes the user context by using the environment feature information, the user feature information, and the preference style information, and the shopping content search unit 140 provides the shopping content information corresponding to the user context information. Search. Thereafter, the virtual experience unit 150 generates a virtual experience image 202 using the searched shopping content information.

예를 들어, 상황 인식부(130)는 사용자 단말(101)로부터 전송된 사용자 상황 정보 중에서 현재 계절이 여름이며, 온도는 28도인 것을 인식할 수 있다. 또한, 상황 인식부(130)는 사용자의 얼굴 형태가 계란형이며, 28세의 여성이며 선호 색상 및 선호 패턴 등을 확인할 수 있다. 이를 통해, 상황 인식부(130)는 구체적인 사용자 상황 정보를 기초로 하여 사용자 상황 특성을 인식할 수 있다.For example, the context recognizer 130 may recognize that the current season is summer and the temperature is 28 degrees among the user context information transmitted from the user terminal 101. In addition, the situation recognition unit 130 is an egg-shaped face of the user, a 28-year-old woman can check the preferred color and preference patterns. In this way, the context recognizer 130 may recognize the user context characteristic based on specific user context information.

그리고 쇼핑 컨텐츠 검색부(140)는 현재 사용자 상황 특성에 맞는 매력적인 붉은 드레스의 쇼핑 컨텐츠 정보를 검색할 수 있으며, 붉은 드레스 중에서 롱 드레스를 선택하여 검색할 수 있다. 이때, 안경 등의 액세서리를 제외해달라는 사용자 단말(101)의 요청에 따라, 쇼핑 컨텐츠 검색부(140)는 쇼핑 컨텐츠 정보 중에서 액세서리와 관련된 정보를 제외하여 검색할 수 있다.In addition, the shopping content search unit 140 may search for shopping content information of an attractive red dress in accordance with current user situation characteristics, and may select and search a long dress from among red dresses. At this time, according to a request of the user terminal 101 to exclude accessories such as glasses, the shopping content search unit 140 may search by excluding information related to accessories from the shopping content information.

이어서, 가상 체험부(150)는 붉은 롱 드레스의 쇼핑 컨텐츠 정보를 이용하여 사용자에 맞게 가상 피팅을 수행하고, 수행 결과에 따라 가상 체험 영상(202)을 생성한다.Subsequently, the virtual experience unit 150 performs a virtual fitting for the user using the shopping content information of the red long dress, and generates a virtual experience image 202 according to the result of the execution.

도 3 은 본 발명에 따른 사용자 상황 인식 기반의 가상 체험을 위한 사용자 단말 장치의 일실시예 구성도이다.3 is a diagram illustrating an embodiment of a user terminal device for a virtual experience based on user context recognition according to the present invention.

도 3에 도시된 사용자 단말(101)은 사용자를 촬영하고, 현재 사용자의 사용자 상황 정보(예컨대, 환경 특징 정보, 사용자 특징 정보 및 선호 스타일 정보)를 추출한다. 그리고 사용자 단말(101)은 그 추출된 사용자 상황 정보로부터 사용자 상황 특성을 인식하여 그 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 검색한다. 이후, 사용자 단말(101)은 검색된 쇼핑 컨텐츠 정보를 이용하여 사용자 특징 정보에 맞게 가상 피팅을 수행하여 가상 체험 영상을 사용자에게 제공한다.The user terminal 101 shown in FIG. 3 photographs the user and extracts user context information (eg, environmental feature information, user feature information, and preference style information) of the current user. The user terminal 101 recognizes the user context characteristic from the extracted user context information and searches for shopping content information matching the recognized user context characteristic. Thereafter, the user terminal 101 provides a virtual experience image to the user by performing a virtual fitting according to the user characteristic information by using the found shopping content information.

이를 위해, 도 3에 도시된 바와 같이, 사용자 단말(101)은 정보 수집기(310), 상황 인식기(320), 쇼핑 컨텐츠 검색기(330), 가상 체험 영상 생성기(340) 및 메모리(350)를 포함한다.To this end, as shown in FIG. 3, the user terminal 101 includes an information collector 310, a situation recognizer 320, a shopping content finder 330, a virtual experience image generator 340, and a memory 350. do.

메모리(350)는 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블을 저장한다. 또한, 메모리(350)는 상황 인식에 이용되는 사용자 상황 정보, 사용자별 사용자 상황 특성 및 사용자 상황 특성별 쇼핑 컨텐츠 정보를 저장할 수 있다. 여기서, 메모리(350)는 이러한 데이터를 주기적으로 또는 미리 업데이트할 수 있다.The memory 350 stores a content recommendation table in which shopping content information matching the user context characteristic is templated. In addition, the memory 350 may store user contextual information, user contextual characteristics for each user, and shopping content information for user contextual characteristics used for contextual recognition. Here, the memory 350 may update this data periodically or in advance.

정보 수집기(310)는 촬영 모듈을 구비하여 사용자를 촬영하고, 촬영된 사용자 영상 및 미리 설정된 사용자 특징 정보를 기초로 하여 사용자 상황 정보를 수집한다.The information collector 310 includes a photographing module to photograph a user and collect user context information based on the photographed user image and preset user characteristic information.

상황 인식기(320)는 정보 수집기(310)에서 수집된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식한다.The context recognizer 320 extracts environmental feature information, user feature information, or preference style information from the user context information collected by the information collector 310 to recognize the user context characteristic.

쇼핑 컨텐츠 검색기(330)는 상황 인식기(320)에서 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다.The shopping content finder 330 searches for shopping content information matching the user context characteristic recognized by the context recognizer 320 in a content recommendation table in which shopping content information for each user context characteristic is templated.

가상 체험 영상 생성기(340)는 쇼핑 컨텐츠 검색기(330)에서 검색된 쇼핑 컨텐츠 정보를 이용하여 상황 인식기(320)에서 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행한다. 그리고 가상 체험 영상 생성기(340)는 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 사용자에게 제공한다.The virtual experience image generator 340 performs virtual fitting according to the user feature information extracted from the context recognizer 320 by using the shopping content information retrieved by the shopping content finder 330. The virtual experience image generator 340 generates a virtual experience image according to the performed virtual fitting result and provides it to the user.

도 4 는 본 발명에 따른 사용자 상황 인식 기반의 가상 체험 방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating a virtual experience method based on user context recognition according to the present invention.

우선, 컨텐츠 템플릿화부(110)는 사용자 상황 특성의 분석에 따라 사용자 상황 특성별 쇼핑 컨텐츠 정보를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 여기서, 사용자 상황 특성별 쇼핑 컨텐츠 정보는 템플릿화되어 컨텐츠 추천 테이블로 생성되며 컨텐츠 DB(170)에 저장된다.First, the content templater 110 generates a content recommendation table by templated shopping content information for each user context characteristic according to the analysis of the user context characteristic. Here, the shopping content information for each user context characteristic is templated, generated as a content recommendation table, and stored in the content DB 170.

정보 수신부(120)는 사용자 단말(101)로부터 사용자 상황 정보를 수신한다(S402).The information receiver 120 receives user context information from the user terminal 101 (S402).

상황 인식부(130)는 사용자 단말(101)로부터 수신된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식한다(S404). 상황 인식부(130)는 추출된 환경 특징 정보의 계절 정보, 온도 정보, 시간 정보 및 조명 정보 중 적어도 하나로부터 사용자 단말(101)의 환경 특성을 인식할 수 있다. 또한, 상황 인식부(130)는 추출된 사용자 특징 정보의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 중 적어도 하나로부터 사용자의 사용자 특성을 인식할 수 있다. 또한, 상황 인식부(130)는 추출된 선호 스타일 정보의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 중 적어도 하나로부터 사용자의 선호 스타일 특성을 인식할 수 있다.The context recognizer 130 extracts environmental feature information, user feature information, or preference style information from the user context information received from the user terminal 101 to recognize the user context characteristic (S404). The situation recognition unit 130 may recognize the environmental characteristic of the user terminal 101 from at least one of the seasonal information, temperature information, time information, and lighting information of the extracted environmental feature information. In addition, the situation recognition unit 130 may recognize the user characteristics of the user from at least one of height, weight, face shape, body structure, age, and gender of the extracted user characteristic information. In addition, the context recognizer 130 may recognize a user's preferred style characteristic from at least one of a job, a preferred color, a preferred pattern, and recommended style information of the extracted preferred style information.

이어서, 쇼핑 컨텐츠 검색부(140)는 상황 인식부(130)에서 인식된 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다(S406).Subsequently, the shopping content search unit 140 searches for shopping content information matching the recognized user context characteristic recognized by the context recognizer 130 in a content recommendation table in which shopping content information for each user context characteristic is templated (S406). ).

그리고 가상 체험부(150)는 쇼핑 컨텐츠 검색부(140)에서 검색된 쇼핑 컨텐츠 정보를 이용하여 상황 인식부(130)에서 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행한다(S408).The virtual experience unit 150 performs a virtual fitting in accordance with the user feature information extracted from the situation recognition unit 130 by using the shopping content information retrieved by the shopping content search unit 140 (S408).

이후, 가상 체험부(150)는 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 사용자 단말(101)로 전송한다(S410).Thereafter, the virtual experience unit 150 generates a virtual experience image according to the performed virtual fitting result and transmits the generated virtual experience image to the user terminal 101 (S410).

도 5 는 본 발명에 따른 사용자 단말 장치에서의 사용자 상황 인식 기반의 가상 체험 방법에 대한 일실시예 흐름도이다.5 is a flowchart illustrating a virtual experience method based on user context recognition in a user terminal device according to the present invention.

도 5를 참조하여, 사용자 단말(101)에서 통신망 없이 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 이용하여 가상 체험 영상을 제공하는 과정을 살펴보기로 한다. 즉, 사용자 단말(101)이 네트워크 기반의 서비스를 받지 않고 독립적으로 서비스를 수행하는 경우, 사용자 단말(101)은 정보 수집기(310), 상황 인식기(320), 쇼핑 컨텐츠 검색기(330), 가상 체험 영상 생성기(340) 및 메모리(350)를 포함하며, 외장 또는 내장 메모리(350)에 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블을 미리 저장하고 있다.Referring to FIG. 5, a process of providing a virtual experience image by using shopping content information matching a user context characteristic without a communication network in the user terminal 101 will be described. That is, when the user terminal 101 independently performs a service without receiving a network-based service, the user terminal 101 may include an information collector 310, a situation recognizer 320, a shopping content searcher 330, and a virtual experience. A content recommendation table including an image generator 340 and a memory 350 and templated shopping content information matching a user context characteristic is prestored in an external or internal memory 350.

사용자 단말(101)의 정보 수집기(310)는 구비된 촬영 모듈을 통해 사용자를 촬영한다(S502). The information collector 310 of the user terminal 101 photographs the user through the photographing module provided (S502).

정보 수집기(310)는 그 촬영된 사용자 영상 및 미리 저장된 사용자 특징 정보를 기초로 하여 사용자 상황 정보를 수집한다(S504).The information collector 310 collects user context information based on the photographed user image and prestored user feature information (S504).

그리고 상황 인식기(320)는 정보 수집기(310)에서 수집된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식한다(S506).The context recognizer 320 extracts environmental feature information, user feature information, or preference style information from the user context information collected by the information collector 310 to recognize the user context characteristic (S506).

이어서, 쇼핑 컨텐츠 검색기(330)는 상황 인식기(320)에서 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다(S508).Next, the shopping content finder 330 searches for shopping content information matching the user context characteristic recognized by the context recognizer 320 in a content recommendation table in which shopping content information for each user context characteristic is templated (S508).

이후, 가상 체험 영상 생성기(340)는 쇼핑 컨텐츠 검색기(330)에서 검색된 쇼핑 컨텐츠 정보를 이용하여 상황 인식기(320)에서 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행한다(S510).Thereafter, the virtual experience image generator 340 performs virtual fitting according to the user feature information extracted from the context recognizer 320 by using the shopping content information retrieved by the shopping content finder 330 (S510).

그리고 가상 체험 영상 생성기(340)는 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 사용자에게 제공한다(S512).The virtual experience image generator 340 generates a virtual experience image according to the performed virtual fitting result and provides it to the user (S512).

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

본 발명은, 사용자 상황 정보로부터 사용자 상황 특성을 인식하고 그 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 미리 템플릿화된 특성별 쇼핑 컨텐츠 정보 중에서 검색한 후, 검색된 쇼핑 컨텐츠 정보의 가상 피팅을 통해 결합한 가상 체험 영상를 제공함으로써, 사용자의 현재 상황에 가장 적합하게 매칭되는 가상 체험 서비스를 편리하게 제공할 수 있다.According to the present invention, after recognizing the user context characteristic from the user context information and searching for shopping content information matching the recognized user context characteristic among pre-templated shopping content information, the virtual fitting of the retrieved shopping content information is performed. By providing the combined virtual experience image, it is possible to conveniently provide a virtual experience service that is best matched to the current situation of the user.

101: 사용자 단말 100: 가상 체험 장치
110: 컨텐츠 템플릿화부 120: 정보 수신부
130: 상황 인식부 140: 쇼핑 컨텐츠 검색부
150: 가상 체험부 160: 상황 정보 DB
170: 컨텐츠 DB 310: 정보 수집기
320: 상황 인식기 330: 쇼핑 컨텐츠 검색기
340: 가상 체험 영상 생성기 101: user terminal 100: virtual experience device
110: content template unit 120: information receiving unit
130: situation recognition unit 140: shopping content search unit
150: virtual experience unit 160: context information DB
170: content DB 310: information collector
320: Situation recognizer 330: Shopping content finder
340: virtual experience image generator

Claims (18)

사용자 상황 정보를 수집하여 통신망을 통해 전송하는 사용자 단말; 및
사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 템플릿화하여 컨텐츠 추천 테이블을 생성하고, 상기 사용자 단말로부터 전송된 사용자 상황 정보로부터 사용자 상황 특성을 인식하고, 상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 상기 생성된 컨텐츠 추천 테이블 중에서 검색한 후, 상기 검색된 쇼핑 컨텐츠 정보를 이용하여 가상 체험 영상을 생성하여 상기 사용자 단말로 전송하는 가상 체험 장치
를 포함하는 사용자 상황 인식 기반의 가상 체험 시스템.A user terminal which collects user context information and transmits it through a communication network; And
Creates a content recommendation table by templated shopping content information matching the user context characteristic, recognizes the user context characteristic from the user context information transmitted from the user terminal, and stores the shopping content information matching the recognized user context characteristic. After searching from the generated content recommendation table, a virtual experience device for generating a virtual experience image using the searched shopping content information to transmit to the user terminal
Virtual experience system based on user context awareness, including. 사용자 단말로부터 사용자 상황 정보를 수신하는 정보 수신부;
상기 수신된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식부;
상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색부; 및
상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅(Virtual Fitting)을 수행하고, 상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자 단말로 전송하는 가상 체험부
를 포함하는 사용자 상황 인식 기반의 가상 체험 장치.An information receiver configured to receive user context information from a user terminal;
A situation recognition unit extracting environment feature information, user feature information, or preference style information from the received user context information to recognize a user context characteristic;
A shopping content search unit searching for shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated; And
The virtual experience unit performs a virtual fitting according to the extracted user feature information by using the searched shopping content information, generates a virtual experience image according to the performed virtual fitting result, and transmits the generated virtual experience image to the user terminal.
Virtual experience device based on user context awareness comprising a. 제 2 항에 있어서,
미리 수집된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보를 분류하고, 상기 분류 결과에 따라 사용자 상황 특성별 쇼핑 컨텐츠 정보를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화부
를 더 포함하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
A content templater for classifying shopping content information matched with user context characteristics collected in advance, and templated shopping content information for each user context characteristic according to the classification result to generate the content recommendation table.
The user context awareness based virtual experience device further comprising. 제 2 항에 있어서,
상기 환경 특징 정보, 상기 사용자 특징 정보 또는 상기 선호 스타일 정보 및 상기 인식된 사용자 상황 특성을 저장하는 상황 특성 DB: 및
상기 인식된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보 및 상기 템플릿화된 컨텐츠 추천 테이블을 저장하는 컨텐츠 DB
를 더 포함하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
A situation characteristic DB for storing the environment characteristic information, the user characteristic information or the preferred style information, and the recognized user context characteristic; and
A content DB for storing shopping content information matched with the recognized user context characteristic and the templated content recommendation table
The user context awareness based virtual experience device further comprising. 제 2 항에 있어서,
상기 상황 인식부는,
상기 추출된 환경 특징 정보의 계절 정보, 온도 정보, 시간 정보 및 조명 정보 중 적어도 하나로부터 상기 사용자 단말의 환경 특성을 인식하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
The situation recognition unit,
And a user context recognition based virtual experience apparatus for recognizing environmental characteristics of the user terminal from at least one of the extracted seasonal feature information, temperature information, time information, and lighting information. 제 2 항에 있어서,
상기 상황 인식부는,
상기 추출된 사용자 특징 정보의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 중 적어도 하나로부터 상기 사용자의 사용자 특성을 인식하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
The situation recognition unit,
And a user context recognition based virtual experience device for recognizing user characteristics of the user from at least one of height, weight, face shape, body structure, age, and gender of the extracted user characteristic information. 제 2 항에 있어서,
상기 상황 인식부는,
상기 추출된 선호 스타일 정보의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 중 적어도 하나로부터 상기 사용자의 선호 스타일 특성을 인식하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
The situation recognition unit,
And a user context recognition based virtual experience device that recognizes the preference style characteristic of the user from at least one of the occupation, the preferred color, the preferred pattern, and the recommended style information of the extracted preferred style information. 제 2 항에 있어서,
상기 쇼핑 컨텐츠 검색부는,
상기 사용자 단말의 요청에 따라 상기 인식된 사용자 상황 특성이 변경되면, 상기 변경된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 재검색하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
The shopping content search unit,
And re-search for shopping content information matching the changed user context characteristic when the recognized user context characteristic is changed according to a request of the user terminal. 제 2 항에 있어서,
상기 가상 체험부는,
상기 검색된 쇼핑 컨텐츠 정보 중에서 상기 사용자 단말에 의해 선택된 쇼핑 컨텐츠 정보를 이용하여 가상 피팅을 수행하는 사용자 상황 인식 기반의 가상 체험 장치.The method of claim 2,
The virtual experience unit,
The virtual experience apparatus based on the user context recognition for performing a virtual fitting using the shopping content information selected by the user terminal among the searched shopping content information. 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블을 저장하는 메모리;
사용자를 촬영하고, 상기 촬영된 사용자 영상 및 미리 설정된 사용자 특징 정보를 기초로 하여 사용자 상황 정보를 수집하는 정보 수집기;
상기 수집된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식기;
상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색기; 및
상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행하고, 상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자에게 제공하는 가상 체험 영상 생성기
을 포함하는 사용자 상황 인식 기반의 사용자 단말 장치.A memory configured to store a content recommendation table in which shopping content information matching the user context characteristic is templated;
An information collector configured to photograph a user and collect user context information based on the photographed user image and preset user characteristic information;
A context recognizer extracting environment feature information, user feature information, or preference style information from the collected user context information to recognize a user context characteristic;
A shopping content searcher for searching for shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated; And
A virtual experience image generator for performing a virtual fitting according to the extracted user feature information by using the searched shopping content information, and generating a virtual experience image according to the performed virtual fitting result and providing the user with the virtual experience image generator.
User context based user terminal device comprising a. 사용자 단말로부터 사용자 상황 정보를 수신하는 정보 수신 단계;
상기 수신된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식 단계;
상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색 단계;
상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행하는 가상 피팅 단계; 및
상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자 단말로 전송하는 가상 체험 단계
를 포함하는 사용자 상황 인식 기반의 가상 체험 방법.An information receiving step of receiving user context information from a user terminal;
A situation recognition step of extracting environment feature information, user feature information or preference style information from the received user context information to recognize a user context characteristic;
A shopping content retrieval step of retrieving shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated;
A virtual fitting step of performing a virtual fitting according to the extracted user feature information by using the retrieved shopping content information; And
Virtual experience step of generating a virtual experience image according to the performed virtual fitting result and transmitting to the user terminal
Virtual experience method based on user context awareness comprising a. 제 11 항에 있어서,
미리 수집된 사용자 상황 특성과 매칭된 쇼핑 컨텐츠 정보를 분류하고, 상기 분류 결과에 따라 사용자 상황 특성별 쇼핑 컨텐츠 정보를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화 단계
를 더 포함하는 사용자 상황 인식 기반의 가상 체험 방법.The method of claim 11,
Content template step of classifying shopping content information matched with the user context characteristic collected in advance, and templated shopping content information for each user context characteristic according to the classification result to generate the content recommendation table
Virtual experience method based on user context recognition further comprising. 제 11 항에 있어서,
상기 상황 인식 단계는,
상기 추출된 환경 특징 정보의 계절 정보, 온도 정보, 시간 정보 및 조명 정보 중 적어도 하나로부터 상기 사용자 단말의 환경 특성을 인식하는 사용자 상황 인식 기반의 가상 체험 방법.The method of claim 11,
The situation recognition step,
And a user context recognition based virtual experience method for recognizing environmental characteristics of the user terminal from at least one of seasonal information, temperature information, time information, and lighting information of the extracted environmental feature information. 제 11 항에 있어서,
상기 상황 인식 단계는,
상기 추출된 사용자 특징 정보의 신장, 몸무게, 얼굴 형태, 몸의 구조, 연령 및 성별 중 적어도 하나로부터 상기 사용자의 사용자 특성을 인식하는 사용자 상황 인식 기반의 가상 체험 방법.The method of claim 11,
The situation recognition step,
And a user context recognition based virtual experience method for recognizing user characteristics of the user from at least one of height, weight, face shape, body structure, age, and gender of the extracted user characteristic information. 제 11 항에 있어서,
상기 상황 인식 단계는,
상기 추출된 선호 스타일 정보의 직업, 선호 색상, 선호 패턴, 추천 스타일 정보 중 적어도 하나로부터 상기 사용자의 선호 스타일 특성을 인식하는 사용자 상황 인식 기반의 가상 체험 방법.The method of claim 11,
The situation recognition step,
And a user context recognition based virtual experience method for recognizing a preference style characteristic of the user from at least one of a job, a preferred color, a preferred pattern, and recommended style information of the extracted preferred style information. 제 11 항에 있어서,
상기 쇼핑 컨텐츠 검색 단계는,
상기 사용자 단말의 요청에 따라 상기 인식된 사용자 상황 특성이 변경되면, 상기 변경된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 재검색하는 사용자 상황 인식 기반의 가상 체험 방법.The method of claim 11,
The shopping content search step,
And re-search for shopping content information matching the changed user context characteristic when the recognized user context characteristic is changed according to a request of the user terminal. 제 11 항에 있어서,
상기 가상 피팅 단계는,
상기 검색된 쇼핑 컨텐츠 정보 중에서 상기 사용자 단말에 의해 선택된 쇼핑 컨텐츠 정보를 이용하여 가상 피팅을 수행하는 사용자 상황 인식 기반의 가상 체험 방법.The method of claim 11,
The virtual fitting step,
And a virtual fitting method based on user context recognition using the shopping content information selected by the user terminal among the searched shopping content information. 사용자를 촬영하고, 상기 촬영된 사용자 영상 및 미리 설정된 사용자 특징 정보를 기초로 하여 사용자 상황 정보를 수집하는 정보 수집 단계;
상기 수집된 사용자 상황 정보에서 환경 특징 정보, 사용자 특징 정보 또는 선호 스타일 정보를 추출하여 사용자 상황 특성을 인식하는 상황 인식 단계;
상기 인식된 사용자 상황 특성과 매칭되는 쇼핑 컨텐츠 정보를 사용자 상황 특성별 쇼핑 컨텐츠 정보가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 쇼핑 컨텐츠 검색 단계;
상기 검색된 쇼핑 컨텐츠 정보를 이용하여 상기 추출된 사용자 특징 정보에 맞게 가상 피팅을 수행하는 가상 피팅 단계; 및
상기 수행된 가상 피팅 결과에 따라 가상 체험 영상을 생성하여 상기 사용자에게 제공하는 가상 체험 단계
를 포함하는 사용자 단말 장치에서의 사용자 상황 인식 기반의 가상 체험 방법.An information collecting step of capturing a user and collecting user context information based on the photographed user image and preset user characteristic information;
A situation recognition step of recognizing user context characteristics by extracting environment feature information, user feature information, or preference style information from the collected user context information;
A shopping content retrieval step of retrieving shopping content information matching the recognized user context characteristic from a content recommendation table in which shopping content information for each user context characteristic is templated;
A virtual fitting step of performing a virtual fitting according to the extracted user feature information by using the retrieved shopping content information; And
A virtual experience step of generating a virtual experience image according to the performed virtual fitting result to provide to the user
Virtual experience method based on user context recognition in a user terminal device comprising a.
KR1020100118835A 2010-11-26 2010-11-26 System and method for recommending hair based on face and style recognition KR20120076492A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100118835A KR20120076492A (en) 2010-11-26 2010-11-26 System and method for recommending hair based on face and style recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100118835A KR20120076492A (en) 2010-11-26 2010-11-26 System and method for recommending hair based on face and style recognition

Publications (1)

Publication Number Publication Date
KR20120076492A true KR20120076492A (en) 2012-07-09

Family

ID=46710104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100118835A KR20120076492A (en) 2010-11-26 2010-11-26 System and method for recommending hair based on face and style recognition

Country Status (1)

Country Link
KR (1) KR20120076492A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048449A (en) 2017-10-31 2019-05-09 로고몬도 주식회사 Apparatus and method for providing customized jewelry information
KR20190103649A (en) * 2018-02-28 2019-09-05 (주)미디어포스원 System and method for providing related services of immersive virtual fitting
KR20190103641A (en) * 2018-02-28 2019-09-05 (주)미디어포스원 System and method for providing related services of immersive virtual fitting
KR102350182B1 (en) * 2020-08-24 2022-01-11 주식회사 엘지유플러스 System for virtual fitting service and method of thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048449A (en) 2017-10-31 2019-05-09 로고몬도 주식회사 Apparatus and method for providing customized jewelry information
KR20190103649A (en) * 2018-02-28 2019-09-05 (주)미디어포스원 System and method for providing related services of immersive virtual fitting
KR20190103641A (en) * 2018-02-28 2019-09-05 (주)미디어포스원 System and method for providing related services of immersive virtual fitting
WO2019168224A1 (en) * 2018-02-28 2019-09-06 (주)미디어포스원 System and method for providing immersive virtual fitting associated service
WO2019168223A1 (en) * 2018-02-28 2019-09-06 (주)미디어포스원 Immersive virtual-fitting linking service provision system and immersive virtual-fitting linking service provision method
KR102350182B1 (en) * 2020-08-24 2022-01-11 주식회사 엘지유플러스 System for virtual fitting service and method of thereof

Similar Documents

Publication Publication Date Title
CN116320782B (en) Control method, electronic equipment, computer readable storage medium and chip
WO2012060537A2 (en) Recommendation system based on the recognition of a face and style, and method thereof
US9576195B2 (en) Integrated image searching system and service method thereof
KR20120046652A (en) System and method for recommending hair based on face recognition
JP2020042834A (en) Account information obtaining method, terminal, server, and system
KR20120046653A (en) System and method for recommending hair based on face and style recognition
CN102214222B (en) Presorting and interacting system and method for acquiring scene information through mobile phone
CN110677682B (en) Live broadcast detection and data processing method, device, system and storage medium
WO2020044097A1 (en) Method and apparatus for implementing location-based service
CN106126687A (en) Recommendation method, device, terminal and the server of interface subject
CN111506758B (en) Method, device, computer equipment and storage medium for determining article name
WO2020044099A1 (en) Service processing method and apparatus based on object recognition
KR100788605B1 (en) Apparatus and method for serving contents
KR102140072B1 (en) Method for composing image and an electronic device thereof
KR20120014480A (en) Integrative image searching system and service method of the same
JP6120467B1 (en) Server device, terminal device, information processing method, and program
WO2022048398A1 (en) Multimedia data photographing method and terminal
CN112287234B (en) Information retrieval method, device and storage medium
KR20150007403A (en) Apparatus and method for operating information searching data of persons and person recognizes method using the same
US20230336671A1 (en) Imaging apparatus
CN105335714A (en) Photograph processing method, device and apparatus
US10606886B2 (en) Method and system for remote management of virtual message for a moving object
KR20120076492A (en) System and method for recommending hair based on face and style recognition
CN110647688A (en) Information presentation method and device, electronic equipment and computer readable medium
KR101738896B1 (en) Fitting virtual system using pattern copy and method therefor

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101002720; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170602

Effective date: 20190123