KR102295459B1 - A method of providing a fashion item recommendation service to a user using a date - Google Patents

A method of providing a fashion item recommendation service to a user using a date Download PDF

Info

Publication number
KR102295459B1
KR102295459B1 KR1020210000119A KR20210000119A KR102295459B1 KR 102295459 B1 KR102295459 B1 KR 102295459B1 KR 1020210000119 A KR1020210000119 A KR 1020210000119A KR 20210000119 A KR20210000119 A KR 20210000119A KR 102295459 B1 KR102295459 B1 KR 102295459B1
Authority
KR
South Korea
Prior art keywords
item
style
image
user
fashion
Prior art date
Application number
KR1020210000119A
Other languages
Korean (ko)
Other versions
KR20210006477A (en
Inventor
유애리
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020190000772A priority Critical patent/KR102200038B1/en
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020210000119A priority patent/KR102295459B1/en
Publication of KR20210006477A publication Critical patent/KR20210006477A/en
Application granted granted Critical
Publication of KR102295459B1 publication Critical patent/KR102295459B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination
    • G06Q30/0241Advertisement
    • G06Q30/0251Targeted advertisement
    • G06Q30/0252Targeted advertisement based on events or environment, e.g. weather or festivals
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination
    • G06Q30/0241Advertisement
    • G06Q30/0251Targeted advertisement
    • G06Q30/0257User requested
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination
    • G06Q30/0241Advertisement
    • G06Q30/0251Targeted advertisement
    • G06Q30/0264Targeted advertisement based upon schedule
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping
    • G06Q30/0631Item recommendations

Abstract

본 발명의 실시예를 따르는 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법은, 추천 서비스 요청을 수신하면, 상기 추천 서비스 요청에 관한 특정 날짜(date)에 기반하여, 사용자 패션 데이터베이스로부터 상기 날짜와 연관된 특정 패션 아이템을 추출하는 단계; 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 상기 특정 패션 아이템과 유사한 아이템을 포함하는 스타일 이미지를 검색하고, 상기 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 추천 아이템으로 결정하는 단계; 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 추천 아이템과 유사한 추천 상품에 대한 정보를 제공하는 단계를 포함하며, 상기 추천 아이템을 결정하는 단계는, 상기 스타일 이미지에서 스타일 레이블을 추출하여, 임의의 스타일 레이블을 공유하는 스타일 북을 상기 스타일 데이터베이스에 적어도 하나 이상 생성하고, 상기 추천 서비스 요청에 관한 특정 날짜의 이벤트 및/또는 날씨와 매칭되는 스타일 레이블을 가지는 스타일 북에서 이미지 유사도를 기준으로 상기 특정 패션 아이템과 유사한 아이템을 검색하는 단계를 포함하는 것을 특징으로 한다. In a method of providing a fashion item recommendation service to a user using a service server according to an embodiment of the present invention, when a recommendation service request is received, based on a specific date related to the recommendation service request, the user fashion database is extracting a specific fashion item associated with the date; A style image including an item similar to the specific fashion item is retrieved from a style database composed of style images from which a style label expressing a person's feeling as computer-recognizable data is extracted, and the similar item and the similar item are retrieved from the style image. determining an item of another category as a recommended item; and providing, from a product database, information on a recommended product similar to the recommended item based on the image similarity, wherein the determining of the recommended item includes extracting a style label from the style image and selecting an arbitrary style label. create at least one style book in the style database that shares and searching for similar items.

Description

사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법{A METHOD OF PROVIDING A FASHION ITEM RECOMMENDATION SERVICE TO A USER USING A DATE}A method of providing a fashion item recommendation service to a user using a date
본 발명은 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 관한 것으로서, 보다 상세하게는 날짜(date)를 이용하여 패션 아이템 추천 서비스를 제공하는 방법에 관한 것이다.The present invention relates to a method for providing a fashion item recommendation service to a user, and more particularly, to a method for providing a fashion item recommendation service using a date.
최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다.In the background of the recently increased wired and wireless Internet environment, commerce such as public relations and sales using online is being activated. In this regard, when buyers find a product they like while searching for a magazine, blog, or YouTube video on a desktop or mobile terminal connected to the Internet, they search for a product name, etc. and make a purchase. An example is the case where the name of a bag that a famous actress heard at the airport and the name of a childcare product appearing on an entertainment program rank high in real-time search terms on a portal site. However, in this case, the user has to separately open a web page for the search to search for a product name, manufacturer, vendor, etc., and it is inconvenient to not easily search unless clear information about them is already known.
한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고이슈가 발생할 수 있기 때문이다. On the other hand, sellers spend a lot of money on media sponsorship and online user recruitment in addition to commercial advertisements to promote their products. This is because word of mouth online recently acts as an important variable in product sales. However, it is often not possible to disclose shopping information, such as product name and vendor, despite the cost of publicity. This is because indirect advertising issues may arise as it is not possible to individually obtain prior approval from media viewers for product name exposure.
이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다. As described above, there is a need for both users and sellers to provide shopping information in a more intuitive UI (User Interface) environment for online product images.
일본 공개특허공보 특개2002-215770호 (2002.08.02)Japanese Patent Laid-Open No. 2002-215770 (2002.08.02)
상술한 바와 같은 논의를 바탕으로 이하에서는 날짜를 이용하여 패션 아이템 추천 서비스를 제공하고자 한다.Based on the above discussion, hereinafter, it is intended to provide a fashion item recommendation service using a date.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the above technical problems, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description.
본 발명의 실시예를 따르는 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법은, 추천 서비스 요청을 수신하면, 상기 추천 서비스 요청에 관한 특정 날짜(date)에 기반하여, 사용자 패션 데이터베이스로부터 상기 날짜와 연관된 특정 패션 아이템을 추출하는 단계; 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 상기 특정 패션 아이템과 유사한 아이템을 포함하는 스타일 이미지를 검색하고, 상기 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 추천 아이템으로 결정하는 단계; 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 추천 아이템과 유사한 추천 상품에 대한 정보를 제공하는 단계를 포함하며, 상기 추천 아이템을 결정하는 단계는, 상기 스타일 이미지에서 스타일 레이블을 추출하여, 임의의 스타일 레이블을 공유하는 스타일 북을 상기 스타일 데이터베이스에 적어도 하나 이상 생성하고, 상기 추천 서비스 요청에 관한 특정 날짜의 이벤트 및/또는 날씨와 매칭되는 스타일 레이블을 가지는 스타일 북에서 이미지 유사도를 기준으로 상기 특정 패션 아이템과 유사한 아이템을 검색하는 단계를 포함하는 것을 특징으로 한다. In a method of providing a fashion item recommendation service to a user using a service server according to an embodiment of the present invention, when a recommendation service request is received, based on a specific date related to the recommendation service request, the user fashion database is extracting a specific fashion item associated with the date; A style image including an item similar to the specific fashion item is retrieved from a style database composed of style images from which a style label expressing a person's feeling as computer-recognizable data is extracted, and the similar item and the similar item are retrieved from the style image. determining an item of another category as a recommended item; and providing, from a product database, information on a recommended product similar to the recommended item based on the image similarity, wherein the determining of the recommended item includes extracting a style label from the style image and selecting an arbitrary style label. create at least one style book in the style database that shares and searching for similar items.
본 발명의 실시예에 따르면, 날짜를 이용하여 패션 아이템 추천 서비스를 효율적으로 제공할 수 있다.According to an embodiment of the present invention, it is possible to efficiently provide a fashion item recommendation service using a date.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
본 발명에 관한 이해를 돕기 위한 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 실시예에 따른 날짜(date)를 이용한 패션 아이템 추천 서비스를 제공하는 시스템을 설명하기 위한 참고도이다.
도 2는 본 발명의 일 실시예에 따라, 날짜(date)를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방안을 설명하기 위한 참고도이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as part of the detailed description for helping the understanding of the present invention, provide embodiments of the present invention, and together with the detailed description, explain the technical spirit of the present invention.
1 is a reference diagram for explaining a system for providing a fashion item recommendation service using a date according to an embodiment of the present invention.
2 is a reference diagram for explaining a method of providing a fashion item recommendation service to a user using a date according to an embodiment of the present invention.
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다. The present invention is not limited to the description of the embodiments described below, and it is apparent that various modifications may be made without departing from the technical gist of the present invention. And in describing the embodiments, descriptions of technical contents that are widely known in the technical field to which the present invention pertains and are not directly related to the technical gist of the present invention will be omitted.
이하에서는 상품 정보가 표시되는 사용자 디바이스는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다. Hereinafter, it is assumed that a user device displaying product information is a mobile device, but the present invention is not limited thereto. That is, in the present invention, a user device should be understood as a concept including all types of electronic devices capable of requesting a search and displaying advertisement information, such as a desktop, a smart phone, and a tablet PC.
또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다. It should also be noted that the concept of a commodity in this specification is not limited to a tangible good. That is, in the present specification, a product should be understood as a concept including a tangible product as well as an intangible service that can be sold.
나아가, 본 명세서에서 사용자 디바이스에 표시된 페이지(displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다. Furthermore, as used herein, the term "displayed page in an electronic device" refers to a screen loaded in an electronic device and/or content inside the screen to be immediately displayed on the screen according to the user's scrolling. It can be understood as a concept that includes For example, in the display of the mobile device, the entire execution screen of an application that is extended in a horizontal or vertical direction and displayed according to a user's scrolling may be included in the concept of the page, and a screen in camera roll may also be included in the concept of the page. can
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.On the other hand, in the accompanying drawings, the same components are represented by the same reference numerals.
그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다. And in the accompanying drawings, some components may be exaggerated, omitted, or schematically shown. This is to clearly explain the gist of the present invention by omitting unnecessary descriptions not related to the gist of the present invention.
도 1은 본 발명의 실시예에 따른 날짜(date)를 이용한 패션 아이템 추천 서비스를 제공하는 시스템을 설명하기 위한 참고도이다. 본 발명에 따른 추천 서비스 제공 시스템은 사용자 디바이스(110), 서비스 서버(120)를 포함하며, AI 스피커(131), 스마트 TV(133)등을 포함하는 홈 어플라이언스(Home appliance, 130)과 연결되어 구성될 수 있다.1 is a reference diagram for explaining a system for providing a fashion item recommendation service using a date according to an embodiment of the present invention. The recommendation service providing system according to the present invention includes a user device 110 and a service server 120, and is connected to a home appliance 130 including an AI speaker 131, a smart TV 133, and the like. can be configured.
사용자 디바이스(110)는, 사용자의 스케쥴, 이미지 등이 저장될 수 있으며, 유·무선 네트워크를 통하여 서비스 서버. AI 스피커, 스마트 TV 등을 포함하는 홈 어플라이언스의 다른 디바이스들과 데이터를 송수신할 수 있는 스마트폰, 스마트패드 등을 포함한다. 본 발명에서는 사용자 디바이스(110)가 사용자의 스케쥴(e.g. 회의, 여행… 등) 정보를 저장하거나 날씨 정보 어플리케이션(e.g. K-weather, 네이버 날씨… 등), 스케쥴 관리 어플리케이션(e.g. 구글 캘린더, 네이버 캘린더… 등)등에 접근할 수 있는 것이 바람직하다.The user device 110 may store a user's schedule, an image, and the like, and is a service server through a wired/wireless network. It includes smart phones, smart pads, etc. that can transmit and receive data with other devices of home appliances including AI speakers and smart TVs. In the present invention, the user device 110 stores the user's schedule (eg meeting, travel, etc.) information, or a weather information application (eg K-weather, Naver weather... etc.), a schedule management application (eg Google calendar, Naver calendar...). etc.), etc., preferably accessible.
서비스 서버(120)는 사용자 디바이스(110)으로부터 수신된 사용자 이미지와 관련된 시간·위치 정보, 사용자의 스케쥴 정보, 사용자의 이벤트 등을 기반으로, 사용자에게 패션 아이템 추천 서비스를 제공한다. 여기서, 사용자 이미지는 사용자 디바이스 혹은 서비스 서버를 통해서 이미지 전처리(image pre-processing)가 수행된 이미지일 수 있다. 예를 들어, 사용자 이미지는 방 배경과 같은 일정한 패턴을 포함할 수 있는데, 촬영된 이미지 상에서 피사체인 사용자의 머리와 발을 구분하여, 피사체인 사용자를 제외한 부분을 여백(blank)으로 처리하거나 사용자의 전체적인 핏(fit)을 파악하기 위한 처리 과정이 수행될 수 있다. 또한, 사용자 이미지는 이미지의 생성과 관련하여 이미지 생성 년월일, 시각, 요일과 같은 시간 데이터, 이미지가 생성된 GPS 좌표 등의 위치 데이터가 이미지에 포함되어 저장될 수 있다. 또한, 이미지의 생성일자에 따른 날씨 정보는, 사용자 이미지의 시간 데이터 및 위치 데이터를 기반으로 사용자 디바이스에서 날씨 정보 어플리케이션을 통하여 획득될 수 도 있으나, 사용자 이미지의 시간·위치 데이터만을 가지고, 서버나 기타 디바이스 상에서 이에 대응되는 날씨 정보가 획득될 수 도 있다. The service server 120 provides a fashion item recommendation service to the user based on time and location information related to the user image received from the user device 110 , the user's schedule information, the user's event, and the like. Here, the user image may be an image on which image pre-processing is performed through a user device or a service server. For example, the user image may include a certain pattern such as a room background. In the photographed image, the user's head and feet are distinguished, and parts other than the subject user are treated as blanks or the user's A process may be performed to determine the overall fit. In addition, the user image may be stored by including time data such as the image creation year, month, date, time, and day of the week, and location data such as GPS coordinates in which the image is generated in relation to the generation of the image. In addition, the weather information according to the creation date of the image may be obtained through a weather information application in the user device based on the time data and location data of the user image, but only with the time and location data of the user image, the server or other Weather information corresponding thereto may be acquired on the device.
홈 어플라이언스(130)는, AI 스피커와 같이 사용자의 음성을 인식하고 명령어·데이터를 처리할 수 있는 음성 인식 디바이스(131), 사용자에게 이미지, 영상 등을 제공할 수 있는 스마트 TV, 스마트패드와 같은 디스플레이 디바이스(133), 사진, 비디오등을 촬영할 수 있는 이미지 촬영 디바이스 등을 포함할 수 있다. The home appliance 130 is a voice recognition device 131 capable of recognizing a user's voice and processing commands and data, such as an AI speaker, a smart TV capable of providing an image, an image, etc. to the user, such as a smart pad The display device 133 may include an image capturing device capable of capturing photos, videos, and the like.
음성 인식 디바이스(131)는 apple의 Siri, google의 Google home, SKT의 NUGU, Amazon의 Alexa와 같이 사용자의 음성을 인식하여, 이에 따른 데이터 처리를 수행할 수 있는 디바이스로 정의되며, 인공지능(artificial intelligence)가 적용되어 사용자의 음성에 따른 데이터 처리 및 사용자의 스케쥴을 고려한 추가적인 동작(e.g. 날씨에 따른 코디 추천 서비스, 향후 결혼식, 회식과 같은 이벤트를 고려한 코디 추천 서비스)이 수행될 수 있다.The voice recognition device 131 is defined as a device capable of recognizing a user's voice, such as Apple's Siri, google's Google home, SKT's NUGU, and Amazon's Alexa, and performing data processing accordingly, intelligence) is applied to process data according to the user's voice and perform additional operations in consideration of the user's schedule (eg, a coordinating recommendation service according to the weather, a coordinating recommendation service in consideration of events such as a wedding ceremony or a dinner party in the future).
디스플레이 디바이스(133)는, 사용자 이미지들 혹은 서비스 서버에서 제공하는 추천 패션 아이템등이 사용자에게 디스플레이될 수 있으며, 디스플레이 디바이스는 유무선 네트워크를 통하여 사용자에게 추천한 패션 아이템을 구매할 수 있는 웹페이지(web page, e.g. 쇼핑몰, 소호)와 연결하는 서비스를 제공할 수 있다.The display device 133 may display user images or a recommended fashion item provided by a service server to the user, and the display device is a web page through which a user can purchase a recommended fashion item through a wired/wireless network. , eg shopping mall, SOHO) can provide a service that connects.
나아가, 이미지 촬영 모듈은 피사체를 촬영하여 식별가능한 디지털 이미지를 생성할 수 있으며, 상술한 바와 같이, 이미지의 생성과 관련된 시간·위치 데이터를 포함하여 생성할 수 있다. Furthermore, the image capturing module may generate an identifiable digital image by photographing a subject, and as described above, may generate the image including time and location data related to generation of the image.
도 2는 본 발명의 일 실시예에 따라, 특정 날짜(date)를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방안을 설명하기 위한 참고도이다.2 is a reference diagram for explaining a method of providing a fashion item recommendation service to a user using a specific date, according to an embodiment of the present invention.
서비스 서버는 사용자로부터 추천 서비스 요청을 수신하면, 추천 서비스 요청과 관련된 특정 날짜(date)에 기반하여 이전 년도(previous year)에서 특정 날짜 전후의 소정 기간 상의 캘린더 데이터와 연관된 특정 패션 아이템을 사용자 패션 데이터베이스로부터 추출한다. 여기서, 소정 기간은 패션 아이템 코디네이션(coordination)를 위하여 사용자등을 통하여 미리 지정되거나, 상기 사용자로부터 입력된 일(day), 주(week) 혹은 월(month) 단위 중 하나의 기간으로 설정될 수 있다. When the service server receives the recommendation service request from the user, based on the specific date related to the recommendation service request, the service server stores a specific fashion item associated with calendar data in a predetermined period before and after a specific date in a previous year to the user fashion database. extracted from Here, the predetermined period may be preset through a user or the like for fashion item coordination, or may be set as one of a day, a week, or a month unit input from the user. .
여기서, 사용자 패션 데이터베이스는, 사용자 이미지들에서 추출된 패션 아이템들과, 사용자 이미지들과 캘린더 데이터(calendar data)가 연관되도록 생성되며, 캘린더 데이터는, 사용자 이미지들에 포함된 시간 데이터와 위치 데이터에 기반한, 기온, 습도, 자외선 지수, 바람, 미세먼지 오존량 중 적어도 하나에 관계된 날씨 정보를 포함하고, 사용자 이미지들의 시간 데이터에 연관하여 사용자 디바이스 상에 설치된 스케쥴 프로그램을 통하여 획득된 사용자 이벤트 정보를 포함할 수 있다. 예를 들어, 추천 서비스 요청이 2018년 12월 25일과 관련된 것이라면, 2017년 12월 25일의 전후 1 주일 기간 동안의 캘린더 데이터와 관련된 특정 패션 아이템을 추출할 수 있다. 예를 들어, 캘린더 데이터는 사용자 이미지들에 포함된 시간 데이터와 위치 데이터에 기반한, 기온, 습도, 자외선 지수, 바람, 미세먼지 혹은 오존량 정보등을 포함할 수 있으므로, 만약, 사용자가 2017년 12월 25일 20시에 한국의 명동에서 사진을 촬영하여 이미지가 생성되었고, 2017년 12월 25일 20시 명동의 기온이 영하 2도, 습도는 52%, 자외선 지수는 25%, 바람은 북서향 3m/s, 미세먼지는 나쁨, 오존량은 낮음 등의 날씨정보가 캘린더 데이터로 정의될 수 있다. Here, the user fashion database is generated so that fashion items extracted from user images, user images, and calendar data are related, and the calendar data is related to time data and location data included in the user images. Based on, including weather information related to at least one of temperature, humidity, UV index, wind, fine dust ozone amount, and user event information obtained through a schedule program installed on the user device in association with time data of user images. can For example, if the recommendation service request is related to December 25, 2018, a specific fashion item related to calendar data for one week before and after December 25, 2017 may be extracted. For example, calendar data may include temperature, humidity, UV index, wind, fine dust or ozone amount information, etc. based on time data and location data included in user images. The image was created by taking a photo in Myeong-dong, Korea at 20:00 on the 25th, and at 20:00 on December 25, 2017, the temperature in Myeong-dong was minus 2 degrees, the humidity was 52%, the UV index was 25%, the wind was 3m northwest. Weather information such as /s, bad fine dust and low ozone can be defined as calendar data.
또한, 캘린더 데이터에 포함될 수 있는 사용자의 스케쥴, 사용자의 활동과 관련된 데이터는 사용자의 시간 데이터와 연관하여 사용자 디바이스 상에 설치된 스케쥴 관리 프로그램을 통하여 자동으로 획득되거나, 사용자로부터 수동으로 입력될 수 있다. 사용자의 스케쥴은 개별 사용자마다 다른 것이 일반적이므로, 상술한 날씨 정보와는 달리 사용자 디바이스 상에서 획득되거나 사용자의 입력에 따라 추가·수정되는 것이 바람직하다. 따라서, 스케쥴 관리 프로그램(예를 들어, 구글 캘린더 등)에서 2018년 12월 25일 종일 '데이트'라는 스케쥴이 되어 있거나, 사용자가 임의로 'XXX와 데이트'라고 입력한 경우에는 '데이트'라는 이벤트가 캘린더 데이터에 포함될 수 있다.In addition, the user's schedule and data related to the user's activity, which may be included in the calendar data, may be automatically obtained through a schedule management program installed on the user device in association with the user's time data, or may be manually input from the user. Since a user's schedule is generally different for each individual user, it is preferable that the user's schedule is acquired on the user device or added/modified according to the user's input, unlike the above-described weather information. Therefore, if a schedule called 'Date' is set for all day on December 25, 2018 in a schedule management program (eg, Google Calendar, etc.) May be included in calendar data.
이에 따라 예를 들어, 서비스 서버는 2017년 캘린더 데이터와 연관되어, 해당 날짜(date)에 착용한 패션 아이템뿐만 아니라, 2017년 12월 25일 전후로 각각 1주일씩 2017년 12월 18일부터 2018년 01월 01일까지의 패션 아이템을 추출할 수 있다. 혹은, 2018년 12월 25일에 관련된 패션 아이템 추천 서비스 요청이 있는 경우더라도, 2주 후인 2018년 01월 08일 전후의 스케쥴·이벤트·날씨 등을 고려하여 스타일링을 패션 아이템을 추천하여 사용자로 하여금 미리 추가적으로 구매할 수 있도록 쇼핑몰 등에 연결할 수 도 있다.Accordingly, for example, the service server is associated with the 2017 calendar data, and not only the fashion items worn on that date, but also each one week before and after December 25, 2017 from December 18, 2017 to 2018. You can extract fashion items up to January 01. Alternatively, even if there is a request for a fashion item recommendation service related to December 25, 2018, two weeks later, in consideration of the schedule, event, weather, etc., around January 08, 2018, two weeks later, the user recommends a fashion item for styling. It can also be connected to a shopping mall so that additional purchases can be made in advance.
또한, 사용자 패션 데이터베이스는, 사용자로부터 패션 아이템을 소유하고 있는지 여부에 대한 업데이트가 반영될 수 있다. 예를 들어, 사용자가 버린 패션 아이템들에 대한 체크가 이루어진 경우, 사용자가 소유하고 있는 패션 아이템들에 대해서만 특정 패션 아이템이 추출될 수 있다.In addition, the user's fashion database may reflect an update on whether the user owns a fashion item. For example, when a check is made on the fashion items discarded by the user, a specific fashion item may be extracted only from the fashion items owned by the user.
사용자 데이터 베이스에 대하여 보다 구체적으로 설명하면, 서비스 서버는, 이미지 촬영 모듈등으로부터 획득한 사용자 이미지들로부터 패션 아이템들을 추출하고, 사용자 디바이스를 통하여 획득된 사용자 이미지와 관련된 캘린더 데이터를 연관하여 사용자 패션 데이터베이스를 생성할 수 있다. 예를 들어, 사용자 디바이스에 저장된 이미지들 중에서, 사용자가 식별될 수 있는 이미지들을 이미지 프로세싱하여, 사용자의 얼굴을 기준으로 사용자가 착용하였던 패션 아이템을 추출하여 분류(sorting)한 후 해당 패션 아이템에 대하여 캘린더 데이터를 연관하여 사용자 패션 데이터베이스를 생성할 수 있다. 또한, 사용자 패션 데이터베이스에 대하여 사용자로부터 캘린더 데이터가 추가/수정 입력된 경우에는, 사용자 패션 데이터베이스가 업데이트될 수 도 있다. To describe the user database in more detail, the service server extracts fashion items from user images obtained from an image capturing module, etc., and associates calendar data related to the user image obtained through the user device to the user fashion database. can create For example, from among images stored in the user device, images that can be identified by a user are image-processed, and a fashion item worn by the user is extracted and sorted based on the user's face, and then the corresponding fashion item is processed. A user fashion database can be created by associating calendar data. Also, when calendar data is added/modified from the user to the user fashion database, the user fashion database may be updated.
따라서, 만약, A라는 사용자가 흰색 가방과 갈색 정장을 착용한 사진이 사용자 디바이스에 존재하고, 해당 사진이 '회의'라는 이벤트가 존재하는 캘린더 데이터와 연관되는 경우, A라는 사용자의 얼굴을 기준으로 '흰색 가방'과 '갈색 정장'이, '회의'라는 연관자와 함께 사용자 패션 데이터베이스에 저장될 수 있다. 따라서, 사용자가 '회의'라는 이벤트에 대한 패션 추천 서비스를 요청하는 경우에는, 서비스 서버는 패션 잡지등을 이용하여 학습된 스타일 데이터베이스 및 사용자 이미지들 중 '회의'라는 이벤트와 연관되었던 패션 아이템들을 검색하고, 이를 기반으로 추천 상품이 제공할 수 있다.Therefore, if a picture of a user A wearing a white bag and a brown suit exists in the user device and the picture is associated with calendar data in which an event called 'meeting' exists, based on the face of user A A 'white bag' and a 'brown suit' may be stored in a user fashion database with an association of 'meeting'. Accordingly, when a user requests a fashion recommendation service for an event called 'meeting', the service server searches for fashion items related to the event called 'meeting' from among the user images and the style database learned using fashion magazines. and based on this, a recommended product can be provided.
또한, 사용자로부터 웹 페이지(예를 들어, 온라인 쇼핑몰, 의류 브랜드 홈페이지)상에서 확인할 수 있거나 링크된 상품 이미지가 입력되면, 상품 이미지에 대한 패션 아이템이 사용자 패션 데이터베이스에 추가될 수 도 있다. 예를 들어, A라는 사용자가 가방을 구매한 쇼핑몰의 온라인 페이지에서 이미지를 캡쳐해서 사용자 패션 데이터베이스에 추가할 수 도 있으며, 특정 사이트의 링크를 입력하는 경우에는 해당 사이트의 이미지가 사용자 패션 데이터베이스에 추가될 수 도 있다.In addition, when a product image that can be checked or linked on a web page (eg, an online shopping mall, a clothing brand homepage) is input by the user, a fashion item for the product image may be added to the user's fashion database. For example, user A may capture an image from the online page of a shopping mall where he purchased a bag and add it to the user fashion database. it could be
사용자 패션 데이터베이스에는 패션 아이템들에 대한 정보가 포함될 수 있는데, 패션 아이템의 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 사용자가 피팅하였을 경우의 사진등이 포함될 수 있다. 예를 들어, 사용자 패션 데이터베이스에는 사용자가 자신의 상의, 하의, 원피스 등의 필요한 사이즈 정보가 포함될 수 있으며, 실제 옷을 피팅하였을 때의 모습이 사진으로 관리되어, 사용자로 하여금 자신의 체형을 고려한 피팅이 가능하도록 할 수 있다. 혹은, 패션 아이템들에 대하여 각각 #편안, #타이트, #적당 등과 같이 개인적인 느낌을 포함하도록 저장함으로써, 사용자가 추후 패션 아이템의 선택시 핏(fit)을 고려할 때 참고할 수 있다. 또한, 사용자가 피팅하였을 경우의 이미지 정보가 포함되거나, 사용자의 구입 데이터, 열람 시간 데이터 등 사용자의 취향을 추정할 수 있는 정보, 사용자의 사이즈 정보, 패션 아이템에 대한 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함될 수 있다. The user fashion database may include information on fashion items, and may include a size of a fashion item, a label expressing a feeling that a person feels in a fashion item as computer-recognizable data, and a photo when a user fits. For example, the user's fashion database may include information on the required size of the user's top, bottom, one piece, etc. can make this possible. Alternatively, by storing each of the fashion items to include personal feelings such as #comfort, #tight, and #suitable, the user may refer to it when considering fit when selecting a fashion item later. In addition, information that can be used to estimate a user's taste, such as image information when the user has fitted it, user's purchase data, reading time data, etc., user's size information, and preferred price range and use for online shopping for fashion items , information about the brand may be included.
혹은, 사용자 패션 데이터베이스는 사용자 식별 정보, 사용자 사이즈를 추정하기 위한 사용자 행동 정보, 행동 정보로부터 추정한 사용자 사이즈 및 사용자 디바이스로부터 직접 수신한 사용자 사이즈 정보를 포함할 수 있다. Alternatively, the user fashion database may include user identification information, user behavior information for estimating a user size, a user size estimated from the behavior information, and user size information directly received from the user device.
예를 들어 서비스 서버는 사용자 디바이스에 사용자의 나이, 성별, 직업, 관심 패션 분야, 기보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 사이즈 정보를 생성하고 이를 상기 사용자 패션 데이터 베이스에 반영할 수 있다. For example, the service server provides a user device with a query on the user's age, gender, occupation, fashion field of interest, previously owned item, etc., receives a user input for the query, generates user size information, and uses the information on the user's fashion It can be reflected in the database.
서비스 서버는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 요청 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 사이즈를 추정하기 위한 사용자 행동 정보를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 도 있다. The service server includes the time the user reads any style book provided through the application according to the embodiment of the present invention, the item information that created the like tag, the requested item, the fashion item information purchased through the application or other application, and By combining user behavior information for estimating a user's size, such as time information at which the information is generated, taste information for a style that the user is interested in at the time can be generated and reflected in the user's fashion database.
또한, 서비스 서버는, 사용자의 체형 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 예를 들어 사용자 디바이스에서 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 서비스 서버에 전송하면, 서비스 서버는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐 만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다. In addition, the service server may generate the user's body type information and reflect it in the user's fashion database. For example, when a user device generates a body image of a user's body from multiple angles and transmits it to a service server, the service server uses a machine learning framework that learns human body features from a large number of body images to model the user's body shape. can create The user's body type model may include not only size information of each part of the user's body, but also information on the proportion and skin tone of each part of the user's body.
본 발명의 추가적인 실시예를 따르면, 서비스 서버는, 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. 예를 들어 사용자 디바이스에서 온라인 마켓을 통한 패션 아이템 열람 또는 구매가 진행되면, 서비스 서버는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. According to an additional embodiment of the present invention, the service server may generate preference information for a user's fashion item and reflect it in the user's fashion database. The preference information may include information on the user's preferred price, preferred brand, and preferred use. For example, when a user device reads or purchases a fashion item through an online market, the service server reflects the weight for reading or purchase differently to generate information on the preferred price, preferred brand, and preferred use, and store it in the user fashion database. can be reflected in
특히 본 발명의 실시예를 따르는 서비스 서버는 인간의 느낌에 해당하는 사용자의 “취향”을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 패션 데이터베이스에 반영하는 특징이 있다. In particular, the service server according to an embodiment of the present invention has a characteristic of estimating a user's “taste” corresponding to a human feeling, generating the estimated taste information in a computer-recognizable form, and reflecting it in the user fashion database.
예를 들어, 서비스 서버는 사용자의 행동 정보로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 요청 아이템, 구매 아이템 등 사용자 행동 정보에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 정보에 포함되는 패션 아이템들의 외관, 느낌 등의 룩앤필, 트랜드에 대한 정보로 생성할 수 있다. For example, the service server may extract a label for estimating the user's taste from the user's behavior information. The label may be extracted as meanings of fashion items included in the user behavior information, such as a style book read by the user, an item for which a like tag is generated, a requested item, and a purchase item. Furthermore, the label may be generated as information on a look and feel and trend, such as the appearance and feeling of fashion items included in the user behavior information.
사용자 행동 정보로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 서비스 서버는 이를 조합하여 사용자 사이즈를 추정하는 사용자 사이즈 정보를 생성하여 사용자 패션 데이터베이스에 저장할 수 있다. 상기 사용자 패션 데이터베이스에 포함된 사용자 사이즈 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 상품에 대한 노출 우선순위 설정에 사용될 수 있다.The label generated from the user behavior information is weighted according to the user behavior, and the service server may combine them to generate user size information estimating the user size and store it in the user fashion database. User size information, user body type information, and user preference information included in the user fashion database may be used to set an exposure priority for a recommended item or a recommended product.
이에 서비스 서버는 특정 날짜(date)를 기준으로 유행하는 패턴을 결정하고, 특정 패션 아이템과 유사한 아이템을 검색할 수 있다(S220). 즉, 서비스 서버는 추천 서비스 요청과 관련된 특정 날짜를 기준으로, 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 특정 날짜를 기준으로 결정된 유행 패턴에 기반하여, 이미지 유사도를 기준으로 특정 패션 아이템과 유사한 아이템을 검색할 수 있다.Accordingly, the service server may determine a popular pattern based on a specific date and search for an item similar to a specific fashion item (S220). That is, the service server determines a fashion pattern based on a specific date from a style database composed of style images from which a style label expressing a person's feeling as computer-recognizable data is extracted based on a specific date related to the recommendation service request. Based on , an item similar to a specific fashion item may be searched based on the image similarity.
본 발명에서 유행 패턴을 판단하는 기준은 특정 날짜를 기준으로, 스타일 이미지들에서 나타나는 스타일 레이블들의 반복 정도에 따라 결정되거나, 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 결정될 수 있다. 예를 들어, 추천 서비스 요청과 관련된 2018년 12월 25일 기준으로 '파티룩', '크리스마스 데이트룩'과 같은 스타일 레이블들이 일정 횟수(e.g. 5번) 이상 반복되거나, 전문가/준전문가에 의하여 유행 패턴으로 결정되어 있다면, 사용자 패션 데이터 베이스로부터 이전 년도의 캘린더 데이터들과 연관하여 추출된 패션 아이템과 믹스(mix)하여 이미지 유사도를 기준으로 유사한 아이템을 검색할 수 있다.In the present invention, a criterion for determining a fashion pattern may be determined according to a repetition degree of style labels appearing in style images based on a specific date, or may be determined by an expert or semi-professional combining a plurality of fashion items in advance. For example, as of December 25, 2018, style labels such as 'party look' and 'Christmas date look' are repeated a certain number of times (eg 5 times) or more fashionable patterns by experts/semi-professionals as of December 25, 2018 related to the recommendation service request , a similar item can be searched for based on the image similarity by mixing with the fashion item extracted in association with the calendar data of the previous year from the user fashion database.
혹은, 서비스 서버가, 추천 서비스 요청을 수신하면, 사용자 패션 데이터베이스로부터 추천 서비스에 연관된 날짜(date)에 대응되는 캘린더 데이터에 연관된 특정 패션 아이템을 추출한 후 유행 패턴과 비교하여 유사 아이템을 검색할 수 있다. 즉, 상술한 바와 같이 '회의'라는 이벤트와 관련된 패션 아이템 추천 서비스 요청을 수신하면, 사용자 이미지들 중 '회의'라는 캘린더 데이터와 연관되었던 패션 아이템들을 검색하고, 이를 기반으로 특정 패션 아이템들을 추출할 수 있다. 만약, 날씨 정보를 이용하는 경우에는 '영상 5도, 습도 20%'와 관련되어 사용자가 착용하였던 패션 아이템들을 검색하고, 그 중 특정 패션 아이템들을 추출하여 특정 날짜를 기준으로 유행하는 패턴과 비교하여 추천 아이템을 위한 유사한 아이템을 검색할 수 도 있다.Alternatively, when the service server receives the recommendation service request, it may extract a specific fashion item associated with calendar data corresponding to a date associated with the recommendation service from the user fashion database, and then compare it with a fashionable pattern to search for a similar item. . That is, as described above, upon receiving a request for a fashion item recommendation service related to an event called 'meeting', fashion items associated with calendar data called 'meeting' among user images are searched for, and specific fashion items can be extracted based on this. can If weather information is used, the fashion items worn by the user are searched for in relation to 'video 5 degrees, humidity 20%', and specific fashion items are extracted from among them, and recommended by comparing them with popular patterns based on a specific date. You can also search for similar items for an item.
서비스 서버는 날짜 데이터 및 유행 패턴에 따라 사용자 패션 데이터베이스에 저장되었던 특정 패션 아이템과 유사한 아이템을 검색하면, 상품 데이터베이스와 스타일 데이터베이스를 이용하여 동일 카테고리 혹은 상이한 카테고리에 포함되는 적어도 하나의 추천 상품을 제공한다(S230). When the service server searches for items similar to specific fashion items stored in the user fashion database according to date data and fashion patterns, the service server provides at least one recommended product included in the same category or different categories using the product database and the style database. (S230).
예를 들어, 특정 패션 아이템의 사진이 추출되어, 동일한 패션 카테고리의 추천 아이템을 제공하거나, 또는 그것과 잘 어울릴만한 코디네이션 아이템으로서 다른 카테고리 아이템을 추천·제공할 수 있다.For example, a photo of a specific fashion item may be extracted, and a recommended item of the same fashion category may be provided, or a different category item may be recommended and provided as a coordination item suitable for the same.
발명에서, 스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다. 스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해놓은 이미지 등을 예시할 수 있다. In the present invention, the style database may include information on a fashion image that can be referred to for a fashion style and coordination of a plurality of items among images collected on the web. The style database may include, among images collected online, an image in which a plurality of fashion items are combined to fit well (this is referred to as a style image in this specification) and classification information on the style image. A style image according to an embodiment of the present invention is image data generated by a professional or semi-professional by combining a plurality of fashion items in advance, and can be collected on the web: a fashion catalog, a fashion magazine pictorial image, a fashion show shooting image, an idol costume image, and a specific drama. Alternatively, it may be exemplified by a costume image of a movie, an SNS, blog celebrity's costume image, a street fashion image in a fashion magazine, an image coordinated with other items for sale of a fashion item, and the like.
따라서, 스타일 이미지는, 본 발명의 실시예를 따르는 스타일 데이터베이스에 저장되어, 특정 아이템과 잘 어울리는 다른 아이템을 결정하는데 사용될 수있다. 이에 따르면 스타일 이미지는 일반적으로 “잘 어울린다”는 인간의 느낌을 컴퓨터가 이해할 수 있는 참고 자료로 활용될 수 있다. 임의의 아이템과 “잘 어울린다”는 것은 인간의 느낌에 대한 것이기 때문에, 어떤 아이템에 대해 사람의 개입없이 “잘 어울리는” 다른 아이템을 컴퓨터가 추천하기 위해서는 복수의 패션 아이템의 매칭에 대해 학습된 기계학습 프레임워크가 필요할 것이다. 이를 위하여 본 발명의 실시예를 따르는 서비스 서버는 복수의 패션 아이템이 전문가 또는 준전문가에 의해 조합되어 사람이 착용한 스타일 이미지를 수집하고 이를 스타일 데이터베이스로 생성할 수 있다. 나아가 서비스 서버는 상기 스타일 데이터베이스를 기계학습 프레임워크에 적용하여 상기 프레임워크를 학습시킬 수 있다. 예를 들어 파란 셔츠와 갈색 타이가 매칭된 대량의 스타일 이미지를 학습한 기계 학습 프레임워크는 파란 셔츠에 대한 요청에 대해 코디네이션 아이템으로 갈색 타이를 추천할 수 있을 것이다. Accordingly, the style image is stored in a style database according to an embodiment of the present invention, and can be used to determine other items that go well with a particular item. According to this, the style image can be used as a reference material that the computer can understand the human feeling that it generally "fits well". Since “matching” with an arbitrary item is about human feeling, machine learning learned about matching multiple fashion items is necessary for a computer to recommend another item that “fits well” for an item without human intervention. You will need a framework. To this end, the service server according to an embodiment of the present invention may collect a style image worn by a person by combining a plurality of fashion items by experts or semi-professionals, and may generate them as a style database. Furthermore, the service server may learn the framework by applying the style database to the machine learning framework. For example, a machine learning framework that has learned a large number of matching style images for a blue shirt and a brown tie will be able to recommend a brown tie as a coordination item for a request for a blue shirt.
또한, 스타일 데이터베이스를 구성하기 위하여 서비스 서버는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다. Also, in order to configure the style database, the service server may collect style images online. For example, the service server collects a list of web addresses of fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc. can be collected.
또는, 상기 스타일 데이터베이스는, 상술한 사용자 이미지들로부터 추출된 패션 아이템을 포함할 수 도 있다. 이 경우, 추출된 패션 아에템에 대하여 웹 페이지(web page)를 통한 링크(link)가 이루어지거나 구매가 이루어지는 경우, 사용자 이미지와 관련된 사용자에 대한 물질적 보상을 위한 포인트를 설정할 수 도 있다. 이를 본 발명에서는 연결 포인트(link point)라고 정의하며, 포인트, 마일리지 등 다양한 형태로 사용자에게 보상하기 위하여 사용될 수 있다.Alternatively, the style database may include fashion items extracted from the above-described user images. In this case, when a link is made through a web page or a purchase is made with respect to the extracted fashion item, points for material compensation to the user related to the user image may be set. This is defined as a link point in the present invention, and may be used to compensate the user in various forms such as points and mileage.
한편 본 발명의 실시예를 따르는 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다. On the other hand, the service server according to an embodiment of the present invention can collect and index images from websites such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., but images from affiliated companies with index information Information may be provided separately.
따라서, 서비스 서버는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다. 예를 들어, 서비스 서버는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다. Accordingly, the service server may filter out images inappropriate for style recommendation among the collected images. For example, the service server may filter the remaining images while leaving only an image including a human-shaped object and a plurality of fashion items among the collected images.
스타일 이미지는 요청 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다. Since style images are used to determine other items that can be coordinated with the requested item, it is appropriate to filter the image for a single fashion item. Furthermore, constructing a database with images of a person directly wearing a plurality of fashion items may be more useful than an image of the fashion item itself. Therefore, the service server according to the embodiment of the present invention may determine the style image included in the style database by filtering the remaining images, leaving only the image including the human-shaped object and the plurality of fashion items.
이후 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. 보다 구체적으로, 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다. Thereafter, the service server may process features of the fashion item object image included in the style image. More specifically, the service server may extract image characteristics of the fashion item object included in the style image, generate the characteristic value of the fashion item object by expressing the characteristic information as a vector value, and structure the characteristic information of the images.
나아가 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다. Furthermore, the service server according to an embodiment of the present invention may extract a style label from a style image and cluster the style images based on the style label. It is appropriate that the style label is extracted as the look and feel of the fashion item, such as the look and feel, and the trend. According to a preferred embodiment of the present invention, it is possible to extract a label for a feeling that a person can feel, such as the appearance of a single fashion item or a combination of a plurality of items included in the style image, and use it as a style label. For example, celebrity look, magazine look, summer look, feminine look, sexy look, office look, drama look, Chanel look, etc. can be exemplified as style labels.
본 발명의 실시예를 따르면, 서비스 서버는 스타일 레이블을 미리 정의하고, 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다. According to an embodiment of the present invention, the service server defines a style label in advance, creates a neural network model that learns the characteristics of an image corresponding to the style label, classifies an object in the style image, and extracts a label for the object can do. In this case, the service server may assign a label to an image that matches a specific pattern with random probability through a neural network model that has learned the pattern of the image corresponding to each label.
본 발명의 다른 실시예를 따르면, 서비스 서버는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. According to another embodiment of the present invention, the service server learns the characteristics of the image corresponding to each style label to form an initial neural network model, and a large number of style image objects may be applied to extend the neural network model more precisely. have.
한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.Meanwhile, according to another embodiment of the present invention, the service server may apply the style images to the neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of the label. Furthermore, weight is given to the characteristic information of the style image according to the request of the corresponding layer, product images are clustered using the processed characteristic information, and celebrity look, magazine look, summer look, feminine look, and sexy look are added to the clustered image group. , office look, drama look, Chanel look, etc. can be given a label that is interpreted ex post.
이에 서비스 서버는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다. Accordingly, the service server may cluster style images using the style label and generate a plurality of style books. This is intended to be provided as a reference to users. The user may browse a specific style book among a plurality of style books provided by the service server and find a favorite item, and may request a product information search for the item.
한편, 서비스 서버는 단계는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 도 있다. 예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다. Meanwhile, the service server may pre-classify items having a very high appearance rate, such as white shirts, jeans, and black skirts. For example, since jeans are a basic item in fashion, their appearance rate in style images is very high. Therefore, even if the user inquires about any item, the probability that jeans will be matched as a coordination item will be significantly higher than that of other items.
따라서 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다. Therefore, the service server according to the embodiment of the present invention can pre-classify items having a very high appearance rate in the style image as buzz items, and generate the style book with different versions including those that include the buzz item and those that do not include the buzz item. have.
본 발명의 다른 실시예를 따르면, 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다. According to another embodiment of the present invention, the buzz item may be classified by reflecting time information. For example, considering the fashion cycle of fashion items, items that are fashionable and disappear for a short time for a month or two, fashionable items that return every season, and items that are continuously popular for a certain period of time may be considered. Accordingly, if time information is reflected in the classification of the buzz item and the appearance rate of a specific fashion item is very high for a certain period, the item may be classified as a buzz item together with the information about the period. When the buzz items are classified in this way, in the subsequent item recommendation step, there is an effect that the recommendation target item can be recommended in consideration of whether the item to be recommended is in vogue or unrelated to the vogue.
즉, 본 발명에 따른 서비스 서버는 수신한 요청에 포함된 특정 패션 아이템 객체를 프로세싱하고, 이미지 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 즉, 서비스 서버는 검색 대상으로 특정된 이미지 객체를 프로세싱하여 유사한 아이템을 스타일 데이터베이스에서 검색할 수 있다.That is, the service server according to the present invention may process a specific fashion item object included in the received request and search the style database based on the image similarity. That is, the service server may search for similar items in the style database by processing the image object specified as the search target.
이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.To this end, the service server may extract the characteristics of the image object to be searched and structure specific information of the images for the efficiency of the search.
나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. Furthermore, the service server according to an embodiment of the present invention can extract label and/or category information about the meaning of the search target object image by applying the machine learning technique used to build the product image database to the processed search target object image. have. The label may be expressed as an abstract value, but may also be expressed in text form by interpreting the abstract value.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 요청 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다. For example, the service server according to an embodiment of the present invention may extract labels for women, one-piece, sleeveless, linen, white, and casual look from the requested object image. In this case, the service server uses the labels for women and dresses as category information of the requested object image, and the labels for sleeveless, linen, white, and casual look can be used as label information to describe the characteristics of the object image outside the category. .
이후 서비스 서버는 요청 객체 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 이는 요청 이미지와 유사한 아이템을 스타일 데이터베이스에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것으로, 예를 들어 서비스 서버는 요청 객체 이미지와 스타일 이미지에 포함된 패션 아이템 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다. Thereafter, the service server may search the style database based on the similarity of the requested object image. This is to search for an item similar to the requested image in the style database, and to check other items that are matched with the similar item in the style image. The similarity of the feature values may be calculated, and an item having a similarity within a preset range may be identified.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 요청 이미지의 특징 값을 가공하고, 요청 이미지와 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다. Furthermore, the service server according to an embodiment of the present invention processes the feature value of the requested image by reflecting the weights required by a plurality of layers of the artificial neural network model for machine learning configured for the product database, and is within a certain range of the requested image. At least one fashion item group included in the style book having a distance value may be selected, and items belonging to the group may be determined as similar items.
한편, 본 발명의 선호되는 실시예를 따르면, 서비스 서버는 요청 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.Meanwhile, according to a preferred embodiment of the present invention, the service server determines a similar item by searching the style database based on the similarity of the requested image, and in this case, to increase the accuracy of the image search, the service server uses the label and category information extracted from the image. can
예를 들어 서비스 서버는 요청 이미지와 스타일 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.For example, the service server calculates the similarity between the requested image and the feature value of the style database image, and the label and/or category information of the products that are above the similarity within a preset range does not match the label and/or category information of the requested image. Similar items may be determined by excluding products.
또 다른 예로 서비스 서버는 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다. As another example, the service server may calculate the item similarity only in the style book having the label and/or category information matching the label and/or category information of the requested image.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 이미지로부터 스타일 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 요청과 이미지 유사도를 기준으로 유사 아이템을 특정할 수 있다. 물론 서비스 서버는 요청 이미지로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스에서 요청 이미지와 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다. For example, the service server according to an embodiment of the present invention may extract a style label from a requested image, and specify a similar item based on the request and image similarity in a style book matching the label. Of course, the service server may specify similar items based on the similarity between the requested image and the image in the style database without extracting a separate label from the requested image.
예를 들어 요청에 포함된 이미지에 나뭇잎 무늬 원피스가 있는 경우, 서비스 서버는 트로피컬이라는 레이블을 요청으로부터 추출할 수 있다. 이후 서비스 서버는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다. For example, if there is a leaf pattern dress in the image included in the request, the service server may extract the label tropical from the request. Thereafter, the service server may specify a similar item having a similarity within a preset range to the leaf pattern dress in the clustered style book with the label tropical.
이후 서비스 서버는 스타일북에서 검색된 유사 아이템을 포함하며, 유사 아이템이 다른 패션 아이템들과 조합되어 있는 스타일 이미지를 사용자 디바이스에 제공할 수 있다. 나뭇잎 무늬 원피스가 있는 위의 예에서, 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 스타일 이미지를 사용자에게 제공할 수 있다. Thereafter, the service server may include the similar item retrieved from the style book and provide a style image in which the similar item is combined with other fashion items to the user device. In the above example with a leaf pattern dress, a style image in which a straw hat, a rattan bag, etc. are combined with the leaf pattern dress may be provided to the user.
따라서, 서비스 서버는 특정 패션 아이템과 유사한 아이템이 스타일 데이터베이스에서 검색되면, 상기 유사한 아이템과 함께 조합되어 스타일 이미지에 포함된 다른 카테고리의 패션 아이템을 확인하여 코디네이션 아이템을 결정할 수 있다.Accordingly, when an item similar to a specific fashion item is searched for in the style database, the service server may determine a coordination item by checking a fashion item of another category included in the style image in combination with the similar item.
즉, 사용자가 문의한 특정 패션 아이템을 스타일 데이터베이스에서 이미지 유사도를 기준으로 검색하고, 유사한 아이템이 포함된 스타일 이미지에는 유사한 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 추천 아이템으로 고려할 수 있다. 이는 본 발명의 실시예를 따르는 서비스 서버가 스타일 이미지에서 요청 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울리는 것으로 학습되어 있기 때문이다. That is, a specific fashion item inquired by the user may be searched for in the style database based on the image similarity, and in a style image including a similar item, a fashion item of another category matched with the similar item may be considered as a recommended item. This is because the service server according to the embodiment of the present invention has learned that other items matched with the requested item in the style image are well matched.
서비스 서버는 스타일 데이터베이스를 이용하여 코디네이션 아이템이 결정되면, 상품 데이터베이스로부터 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정할 수 있다.When the coordination item is determined using the style database, the service server may determine a product similar to the coordination item from the product database as a recommended product.
상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있으며, 상품의 이미지를 기초로 상품 정보를 구성되는 특징이 있다.The product database may include detailed product information such as country of origin, size, vendor, and wearing shot of products sold in the online market, and has a characteristic in that product information is configured based on the image of the product.
즉, 서비스 서버는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다. That is, the service server may collect product information about products sold in any online market as well as product information of a pre-affiliated online market. For example, the service server may include a crawler, a parser, and an indexer to collect web documents of an online store and access text information such as product images and product names and prices included in the web documents.
예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다. For example, a crawler can collect a list of web addresses for online stores, check websites and track links, and deliver data related to product information to a service server. In this case, the parser interprets the web documents collected during the crawling process and extracts product information such as product images, product prices, and product names included in the page, and the indexer can index the location and meaning.
한편 본 발명의 실시예를 따르는 서비스 서버는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다. Meanwhile, the service server according to an embodiment of the present invention may collect and index product information from websites of any online store, but may also receive product information in a preset format from an affiliate market.
서비스 서버는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다. The service server may process the product image. This is to determine a recommended item based on whether a product image is similar, without relying on text information such as a product name or sales category.
본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 요청으로 활용할 수 있으며, 이를 위해 서비스 서버는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다. According to an embodiment of the present invention, a recommended item may be determined based on whether a product image is similar, but the present invention is not limited thereto. That is, depending on the implementation, the product image as well as the product name or sales category can be used alone or as an auxiliary request.
본 발명의 선호되는 실시예를 따르면 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화(indexing)할 수 있다. According to a preferred embodiment of the present invention, the service server may extract the features of the product image and index the feature information of the images for efficiency of the search.
보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다. More specifically, the service server may detect a feature area of the product images (Interest Point Detection). The feature region refers to a main region from which a descriptor for a feature of an image, ie, a feature descriptor, is extracted for determining whether the images are identical or similar.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다. According to an embodiment of the present invention, such a feature region is greater than a contour included in an image, a corner such as a corner among contours, a blob distinguished from a peripheral region, a region that is invariant or covariant according to the deformation of the image, or an ambient brightness. It can be a pole with dark or light features, and can target a patch (piece) of an image or the entire image.
나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다. Furthermore, the service server may extract a feature descriptor from the feature area (Descriptor Extraction). The feature descriptor expresses the features of an image as vector values.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다. According to an embodiment of the present invention, such a feature descriptor may be calculated using the position of the feature region in the corresponding image, or brightness, color, sharpness, gradient, scale, or pattern information of the feature region. For example, the feature descriptor may convert a brightness value of a feature region, a change value of brightness, or a distribution value of the feature region into a vector and calculate it.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다. Meanwhile, according to an embodiment of the present invention, the feature descriptor for an image is a global descriptor, a frequency descriptor, a binary descriptor, or a local descriptor based on the feature region as described above. It can be expressed as a neural network descriptor.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다. More specifically, the feature descriptor is a global descriptor ( global descriptor).
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다. For example, the feature descriptor includes a frequency descriptor that converts and extracts the number of times that specific descriptors classified in advance are included in an image, the number of times that a global feature such as a conventionally defined color table is included, etc. Learning from the layer of binary descriptor and neural network, which extracts in bits whether it is included or whether the size of each element constituting the descriptor is larger or smaller than a specific value, and converts it into an integer type Alternatively, it may include a neural network descriptor that extracts image information used for classification.
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다. Furthermore, according to an embodiment of the present invention, it is possible to convert the feature information vector extracted from the product image to a lower dimension. For example, feature information extracted through an artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector of an appropriate range in consideration of the resources required for the search.
상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다. For the transformation of the feature information vector, various dimensional reduction algorithms such as PCA and ZCA may be used, and the feature information converted into a low dimensional vector may be indexed into a corresponding product image.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. Furthermore, the service server according to an embodiment of the present invention may extract a label for the meaning of the image by applying a machine learning technique based on the product image. The label may be expressed as an abstract value, but may also be expressed in text form by interpreting the abstract value.
보다 구체적으로, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다. More specifically, the service server may define a label in advance, create a neural network model that learns the characteristics of the image corresponding to the label, classify an object in the product image, and extract a label for the object. In this case, the service server may assign a label to an image that matches a specific pattern with random probability through a neural network model that has learned the pattern of the image corresponding to each label.
또는, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다. Alternatively, the service server may learn the characteristics of the image corresponding to each label to form an initial neural network model, and apply a large number of product image objects to the neural network model to more elaborately extend. Furthermore, if the corresponding product is not included in any group, the service server may create a new group including the corresponding product.
이에 따라, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다. Accordingly, the service server pre-defines labels that can be used as meta information about products, such as women's bottoms, skirts, dresses, short sleeves, long sleeves, pattern shape, material, color, and abstract feeling (innocence, chic, vintage, etc.) , it is possible to generate a neural network model that learns the characteristics of the image corresponding to the label, and extract the label for the advertisement target product image by applying the neural network model to the advertiser's product image.
또는, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다. Alternatively, the service server may apply the product images to the neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of the label. Furthermore, weights may be given to the characteristic information of the product image according to the request of the corresponding layer, and the product images may be clustered using the processed characteristic information.
이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다. In this case, additional analysis may be required to confirm whether the corresponding images are clustered according to any attribute of the feature value, that is, to link the clustering result of the images with a concept that can be recognized by a human. For example, when the service server classifies products into three groups through image processing and extracts labels A for the first group feature, B for the second group feature, and C for the third group feature , A, B, and C need to be interpreted ex post to mean, for example, women's tops, blouses, and plaids, respectively.
서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다. The service server gives the clustered image group a label that can be interpreted ex post as women's bottoms, skirts, dresses, short sleeves, long sleeves, pattern shape, material, color, and abstract feeling (innocence, chic, vintage, etc.) , it is possible to extract the labels given to the image group to which the individual product image belongs as the label of the corresponding product image.
한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.On the other hand, the service server according to the embodiment of the present invention may express the label extracted from the product image as text, and the label in the text form may be used as tag information of the product.
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다. Conventionally, product tag information is subjectively and directly provided by the seller, which is inaccurate and has low reliability. There was a problem in that the product tag subjectively given by the seller acts as a noise and lowers the efficiency of the search.
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다. However, as in the embodiment of the present invention, if label information is extracted based on the product image, the extracted label information is converted into text and used as tag information of the product, the tag information of the product is converted to the image of the product. Since it can be extracted mathematically without human intervention, the reliability of tag information is increased and the accuracy of the search is improved.
나아가 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다. 예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. 이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다. Furthermore, the service server may generate category information of the corresponding product based on the product image content. For example, if a label for an arbitrary product image is extracted as women, top, blouse, linen, stripe, long sleeve, blue, or office look, the service server uses the label for women, top, and blouse as category information of the product. Labels for linen, stripe, long sleeves, blue, and office look can be used as label information to explain the characteristics of products outside of the category. Alternatively, the service server may index the product without distinguishing between label and category information. In this case, the category information and/or the label of the product may be used as a parameter to increase the reliability of the image search.
따라서, 서비스 서버는 상술한 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 상품 정보를 제공하기 위해, 상기 추천 아이템과 유사한 상품을 상품 데이터베이스에서 검색할 수 있다. Accordingly, the service server determines, as a recommended item, an item similar to the coordination item from the product database configured by indexing the label extracted from the contents of the above-mentioned product, and provides product information about the recommended item, similar to the recommended item Products can be searched for in the product database.
보다 구체적으로 서비스 서버는 스타일 데이터베이스를 이용하여 결정된 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 이를 위해 서비스 서버는 코디네이션 아이템 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다. More specifically, the service server may search the product database based on the image similarity for the coordination item determined using the style database. To this end, the service server may extract the features of the coordination item object and structure specific information of the images for efficiency of the search.
본 발명의 실시예를 따르는 서비스 서버는 객체 이미지의 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 예를 들어 서비스 서버는 추천 아이템 이미지와 상품 데이터베이스에 포함된 상품 이미지의 특징 값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 추천 상품으로 결정할 수 있다. The service server according to an embodiment of the present invention may search the product database based on the similarity of object images. For example, the service server may calculate a similarity between the recommended item image and feature values of the product image included in the product database, and determine a product having a similarity within a preset range as the recommended product.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터 베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 추천 아이템 이미지의 특징 값을 가공하고, 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 상품들을 추천 상품으로 결정할 수도 있다. Furthermore, the service server according to an embodiment of the present invention processes the feature value of the recommended item image by reflecting the weights required by a plurality of layers of the artificial neural network model for machine learning configured for the product database, and the distance within a certain range At least one product group having a value may be selected, and products belonging to the group may be determined as recommended products.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 추천 아이템 객체에서 추출한 레이블을 기반으로 추천 상품을 특정할 수도 있다.Furthermore, the service server according to another embodiment of the present invention may specify a recommended product based on a label extracted from the recommended item object.
예를 들어 추천 아이템 이미지에서 추출된 객체의 레이블 정보가 여성 상의, 블라우스, 흰색, 줄무늬로 추출된 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다. For example, if the label information of the object extracted from the recommended item image is extracted as women's tops, blouses, white, and stripes, the service server compares the search target object image and The similarity can be calculated.
또 다른 예로 서비스 서버는 유사도가 미리 설정된 범위 이상의 상품들을 추천 후보 상품으로 하고, 추천 후보 상품에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다. As another example, the service server may use products having a similarity greater than or equal to a preset range as recommended candidate products, and may exclude products whose sub-category information is not a blouse from the recommended candidate products. In other words, products indexed by sub-category information as blouses may be selected as advertisement items.
또 다른 예로 추천 아이템의 객체 이미지에서 추출된 레이블 정보가 여성 상의, 블라우스, 긴팔, 레이스, 카라넥인 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의, 블라우스, 긴팔, 레이스, 카라넥을 레이블로 가지는 상품 그룹에 대해서만 추천 아이템과 이미지 유사도를 계산할 수도 있다. As another example, if the label information extracted from the object image of the recommended item is a female top, blouse, long sleeve, lace, or collar neck, the service server has a product having a female top, blouse, long sleeve, lace, and collar neck as labels in the product database It is also possible to calculate the similarity between the recommended item and the image only for the group.
추천 상품이 결정되면, 서비스 서버는 사용자 취향/사이즈 정보를 반영하여 노출의 우선순위를 결정할 수 있다. 예를 들어 사용자가 취향 정보가 오피스룩에 치중되어 있는 경우, 오피스룩 레이블에 가중치를 두어 우선순위를 계산하고 계산된 우선순위에 따라 추천 상품 정보를 제공할 수 있다.When the recommended product is determined, the service server may determine the priority of exposure by reflecting user preference/size information. For example, when the user's taste information is focused on office look, the priority may be calculated by giving weight to the office look label, and recommended product information may be provided according to the calculated priority.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.Embodiments of the present invention published in the present specification and drawings are merely provided for specific examples in order to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.
상술한 바와 같은 추천 서비스 요청과 관련된 날짜를 이용하여 사용자에게 패션 아이템을 추천하는 서비스는 다양한 서비스에 적용하는 것이 가능하다.The service of recommending a fashion item to a user using the date related to the request for the recommendation service as described above can be applied to various services.

Claims (6)

  1. 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 있어서,
    추천 서비스 요청을 수신하면, 상기 추천 서비스 요청에 관한 특정 날짜(date)에 기반하여, 사용자 패션 데이터베이스로부터 상기 날짜와 연관된 특정 패션 아이템을 추출하는 단계;
    사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 상기 특정 패션 아이템과 유사한 아이템을 포함하는 스타일 이미지를 검색하고, 상기 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 추천 아이템으로 결정하는 단계;
    상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 추천 아이템과 유사한 추천 상품에 대한 정보를 제공하는 단계를 포함하며,
    상기 추천 아이템을 결정하는 단계는,
    상기 스타일 이미지에서 스타일 레이블을 추출하여, 임의의 스타일 레이블을 공유하는 스타일 북을 상기 스타일 데이터베이스에 적어도 하나 이상 생성하고, 상기 추천 서비스 요청에 관한 특정 날짜의 이벤트 및/또는 날씨와 매칭되는 스타일 레이블을 가지는 스타일 북에서 이미지 유사도를 기준으로 상기 특정 패션 아이템과 유사한 아이템을 검색하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 서비스 제공 방법.
    A method of providing a fashion item recommendation service to a user using a service server, the method comprising:
    upon receiving the recommendation service request, extracting a specific fashion item associated with the date from a user fashion database based on a specific date related to the recommendation service request;
    A style image including an item similar to the specific fashion item is retrieved from a style database composed of style images from which a style label expressing a person's feeling as computer-recognizable data is extracted, and the similar item and the similar item are retrieved from the style image. determining an item of another category as a recommended item;
    and providing information on a recommended product similar to the recommended item from the product database based on the image similarity,
    The step of determining the recommended item is,
    By extracting a style label from the style image, at least one style book sharing an arbitrary style label is created in the style database, and a style label matching an event and/or weather on a specific date related to the recommendation service request is generated. and searching for an item similar to the specific fashion item based on the image similarity in the style book.
  2. 제 1 항에 있어서,
    상기 추천 상품에 대한 정보를 제공하는 단계는,
    상기 특정 패션 아이템과 유사한 아이템을 포함하는 스타일 이미지를 제공하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 서비스 제공 방법.
    The method of claim 1,
    The step of providing information on the recommended product includes:
    and providing a style image including an item similar to the specific fashion item.
  3. 제 1항에 있어서,
    상기 특정 패션 아이템을 추출하는 단계는,
    상기 사용자로부터 패션 아이템을 소유하고 있는지 여부에 대한 업데이트(update)를 수행하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 서비스 제공 방법.
    The method of claim 1,
    The step of extracting the specific fashion item,
    and performing an update on whether the user owns the fashion item from the user.
  4. 제 1 항에 있어서,
    상기 특정 패션 아이템을 추출하는 단계는,
    상기 특정 날짜(date)를 기준으로 미리 지정된 일(day), 주(week) 혹은 월(month) 단위 중 하나의 기간 내의 캘린더 데이터에 대응되는 패션 아이템을 추출하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 서비스 제공 방법.
    The method of claim 1,
    The step of extracting the specific fashion item,
    Fashion comprising the step of extracting a fashion item corresponding to calendar data within one period of a predetermined day, week, or month unit based on the specific date; How to provide item recommendation service.
  5. 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 있어서,
    추천 서비스 요청을 수신하면, 상기 추천 서비스 요청에 관한 특정 날짜(date)를 기준으로 임의의 기간에 미리 설정된 이벤트 및/또는 날씨를 파악하는 단계;
    사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스에서 상기 이벤트 및/또는 날씨를 기준으로 추천 아이템을 결정하는 단계;
    상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 추천 아이템과 유사한 추천 상품에 대한 정보를 제공하는 단계를 포함하며,
    상기 추천 아이템을 결정하는 단계는,
    상기 스타일 이미지에서 스타일 레이블을 추출하여, 임의의 스타일 레이블을 공유하는 스타일 북을 상기 스타일 데이터베이스에 적어도 하나 이상 생성하고, 상기 추천 서비스 요청에 관한 특정 날짜의 이벤트 및/또는 날씨와 매칭되는 스타일 레이블을 가지는 스타일 북에서 상기 추천 아이템을 검색하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 서비스 제공 방법.
    A method of providing a fashion item recommendation service to a user using a service server, the method comprising:
    when receiving the recommendation service request, identifying an event and/or weather preset in a predetermined period based on a specific date related to the recommendation service request;
    determining a recommended item based on the event and/or weather in a style database composed of style images from which a style label representing a human feeling as computer-recognizable data is extracted;
    and providing information on a recommended product similar to the recommended item from the product database based on the image similarity,
    The step of determining the recommended item is,
    By extracting a style label from the style image, at least one style book sharing an arbitrary style label is created in the style database, and a style label matching an event and/or weather on a specific date related to the recommendation service request is generated. A method for providing a fashion item recommendation service, comprising the step of searching for the recommended item in a style book.
  6. 제 5항에 있어서,
    상기 추천 상품에 대한 정보를 제공하는 단계는,
    상기 추천 아이템을 포함하는 스타일 이미지를 제공하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 서비스 제공 방법.
    6. The method of claim 5,
    The step of providing information on the recommended product includes:
    and providing a style image including the recommended item.
KR1020210000119A 2019-01-03 2021-01-04 A method of providing a fashion item recommendation service to a user using a date KR102295459B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190000772A KR102200038B1 (en) 2019-01-03 2019-01-03 A method of providing a fashion item recommendation service to a user using a date
KR1020210000119A KR102295459B1 (en) 2019-01-03 2021-01-04 A method of providing a fashion item recommendation service to a user using a date

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210000119A KR102295459B1 (en) 2019-01-03 2021-01-04 A method of providing a fashion item recommendation service to a user using a date

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190000772A Division KR102200038B1 (en) 2019-01-03 2019-01-03 A method of providing a fashion item recommendation service to a user using a date

Publications (2)

Publication Number Publication Date
KR20210006477A KR20210006477A (en) 2021-01-18
KR102295459B1 true KR102295459B1 (en) 2021-08-30

Family

ID=74237005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210000119A KR102295459B1 (en) 2019-01-03 2021-01-04 A method of providing a fashion item recommendation service to a user using a date

Country Status (1)

Country Link
KR (1) KR102295459B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215770A (en) 2001-01-15 2002-08-02 Ricoh Co Ltd Coordinate service method, service center and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215770A (en) 2001-01-15 2002-08-02 Ricoh Co Ltd Coordinate service method, service center and program

Also Published As

Publication number Publication date
KR20210006477A (en) 2021-01-18

Similar Documents

Publication Publication Date Title
US10242396B2 (en) Automatic color palette based recommendations for affiliated colors
KR102127191B1 (en) Method, apparatus and computer program for providing shopping informations
CN106055710A (en) Video-based commodity recommendation method and device
US20160189274A1 (en) Fashion administration
US10776417B1 (en) Parts-based visual similarity search
KR20210098884A (en) A method of providing a fashion item recommendation service using a body shape and purchase history
US20210056588A1 (en) Method, apparatus and computer program for providing advertising information based on images
US20210125199A1 (en) System and method for image processing for identifying trends
KR102295459B1 (en) A method of providing a fashion item recommendation service to a user using a date
KR101764361B1 (en) Method of providing shopping mall service based sns and apparatus for the same
KR102271090B1 (en) A method of providing a fashion item recommendation service to a user using calendar data
KR102200038B1 (en) A method of providing a fashion item recommendation service to a user using a date
KR102285942B1 (en) A method of providing a fashion item recommendation service to a user
KR20210003706A (en) Method, apparatus and computer program for style recommendation
KR102113318B1 (en) Method, apparatus and computer program for providing shopping informations
KR20200045668A (en) Method, apparatus and computer program for style recommendation
KR20200079581A (en) A method of providing a fashion item recommendation service using a swipe gesture to a user
KR20210063665A (en) Recommendation item based on user event information and apparatus performing the same
KR20210131198A (en) Method, apparatus and computer program for advertising recommended product
KR20210041733A (en) Method, apparatus and computer program for fashion item recommendation
US10346901B1 (en) Computer generation of composite images
KR20200141251A (en) Method of advertising personalized fashion item and server performing the same
KR20210135126A (en) Method and system for providing fashion mixed-consumption service
US10769524B1 (en) Non-binary gender filter
KR102260683B1 (en) Method, apparatus and computer program for providing shopping informations

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant