KR20210063665A - Recommendation item based on user event information and apparatus performing the same - Google Patents

Recommendation item based on user event information and apparatus performing the same Download PDF

Info

Publication number
KR20210063665A
KR20210063665A KR1020190152065A KR20190152065A KR20210063665A KR 20210063665 A KR20210063665 A KR 20210063665A KR 1020190152065 A KR1020190152065 A KR 1020190152065A KR 20190152065 A KR20190152065 A KR 20190152065A KR 20210063665 A KR20210063665 A KR 20210063665A
Authority
KR
South Korea
Prior art keywords
item
recommended
image
user
database
Prior art date
Application number
KR1020190152065A
Other languages
Korean (ko)
Inventor
유애리
신현석
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020190152065A priority Critical patent/KR20210063665A/en
Publication of KR20210063665A publication Critical patent/KR20210063665A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping
    • G06Q30/0631Item recommendations
    • G06K9/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Abstract

본 발명에 따른 사용자 디바이스는 사용자 이벤트 정보 기반 추천 아이템 제공 서버는 온라인 마켓 어플리케이션을 통해 해당 온라인 마켓에서에서 구입가능한 아이템에 대해, 상기 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스에 저장하는 온라인 마켓 아이템 데이터베이스 관리부, 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지를 분석하여 스타일 데이터베이스에 저장하는 스타일 데이터베이스 관리부, 온라인 마켓 어플리케이션을 통해 표시된 복수의 웹 페이지 상에서 발생된 사용자 별 행동 신호를 수신하면, 상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부에 따라 상기 온라인 마켓 아이템 데이터베이스 및 상기 스타일 데이터베이스를 기초로 추천 아이템을 추출하는 추천 아이템 검색부 및 상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공하는 추천 아이템 제공부를 포함한다.In the user device according to the present invention, the user event information-based recommendation item providing server extracts a label describing the contents of the item based on the image of the item for the item that can be purchased in the corresponding online market through the online market application, , an online market item database manager that indexes the label and stores it in an online market item database, a style database manager that analyzes a style image in which a person is wearing a plurality of fashion items and stores it in the style database, a plurality of items displayed through an online market application Upon receiving the behavior signal for each user generated on the web page of , after extracting the image of the item registered in the web page where the behavior signal is generated, the image is analyzed to determine whether it is coordinated with other items in the online market and a recommended item search unit for extracting a recommended item based on an item database and the style database, and a recommendation item providing unit for providing the recommended item according to a type of the action signal.

Description

사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치{RECOMMENDATION ITEM BASED ON USER EVENT INFORMATION AND APPARATUS PERFORMING THE SAME}A method for providing a recommended item based on user event information and a device for executing the same {RECOMMENDATION ITEM BASED ON USER EVENT INFORMATION AND APPARATUS PERFORMING THE SAME}

본 발명은 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치에 관한 것으로, 보다 상세하게는 웹 페이지 상에서 행동 신호가 발생 시 웹 페이지에 등록된 아이템과 유사한 아이템을 제공하는 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치에 관한 것이다.The present invention relates to a method for providing a recommended item based on user event information and an apparatus for executing the same, and more particularly, to a user event information-based recommendation item that provides an item similar to an item registered on a web page when an action signal occurs on a web page It relates to a providing method and an apparatus for implementing the same.

최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상 등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. In the background of the recently increased wired and wireless Internet environment, commerce such as public relations and sales using online is being activated. In this regard, when buyers find a product they like while searching for a magazine, blog, or YouTube video on a desktop or mobile terminal connected to the Internet, they search for a product name, etc. and make a purchase.

유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다. An example is the case where the name of a bag that a famous actress heard at the airport and the name of a childcare product appearing on an entertainment program rank high in real-time search terms on a portal site. However, in this case, the user has to separately open a web page for the search to search for a product name, manufacturer, vendor, etc., and there is an inconvenience in that it is not easy to search unless clear information about them is already known.

한편, 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고 이슈가 발생할 수 있기 때문이다. On the other hand, sellers spend a lot of money on media sponsorships and online user recruitment in addition to commercial advertisements to promote their products. This is because word of mouth online recently acts as an important variable in product sales. However, it is often not possible to disclose shopping information, such as product name and vendor, despite the cost of publicity. This is because indirect advertising issues may arise as it is not possible to individually obtain prior approval from media viewers for product name exposure.

이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다. As described above, there is a need for both users and sellers to provide shopping information in a more intuitive UI (User Interface) environment for online product images.

본 발명은 웹 페이지 상에서 행동 신호가 발생 시 웹 페이지에 등록된 이미지를 기초로 아이템이 다른 아이템과 함께 코디되었다면 아이템과 함께 코디되어 있는 다른 아이템을 웹 페이지의 일부분에 표시하여 추천함으로써 사용자에게 이미 코디되어 있는 아이템에 쉽게 접근할 수 있도록 하는 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.According to the present invention, when an action signal is generated on a web page, if an item is coordinated with another item based on an image registered on the web page, another item coordinated with the item is displayed on a part of the web page and recommended to the user. An object of the present invention is to provide a method for providing a recommended item based on user event information that allows easy access to an item that has been made, and an apparatus for executing the same.

또한, 본 발명은 웹 페이지 상에서 행동 신호가 발생 시 웹 페이지에 등록된 이미지를 기초로 아이템이 다른 아이템과 함께 코디되어 있지 않다면 미리 생성된 스타일 중 아이템과 어울리는 추천 스타일을 결정한 후 온라인 마켓에서 판매되는 상품 중 추천 스타일에 해당하는 아이템을 추출하여 웹 페이지의 일부분에 표시하여 추천함으로써 사용자가 상품을 함께 구매할 수 있도록 유도하는 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.In addition, in the present invention, when an action signal is generated on a web page, if an item is not coordinated with other items based on an image registered on the web page, a recommended style suitable for the item among pre-generated styles is determined and then sold in the online market. An object of the present invention is to provide a method for providing a recommended item based on user event information and an apparatus for executing the same by extracting an item corresponding to a recommended style from among products and displaying it on a part of a web page and recommending it so that a user can purchase the product together .

또한, 본 발명은 웹 페이지 상에서 행동 신호가 발생 시 사용자의 행동 신호를 분석하여 사용자가 온라인 마켓 서버에 접속할 시 사용자가 관심있어 할 만한 상품을 우선 추천하여 온라인 마켓에서 많은 상품이 판매되더라도 사용자가 적은 이동으로 쉽게 원하는 상품에 접근할 수 있도록 하는 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.In addition, the present invention analyzes a user's behavioral signal when a behavioral signal is generated on a web page and recommends a product that the user may be interested in when the user accesses the online market server. An object of the present invention is to provide a method for providing a recommended item based on user event information that allows easy access to a desired product by moving, and an apparatus for executing the same.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention that are not mentioned can be understood by the following description, and will be more clearly understood by examples of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by the means shown in the claims and combinations thereof.

이러한 목적을 달성하기 위한 사용자 디바이스는 사용자 이벤트 정보 기반 추천 아이템 제공 서버는 온라인 마켓 어플리케이션을 통해 해당 온라인 마켓에서에서 구입가능한 아이템에 대해, 상기 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스에 저장하는 온라인 마켓 아이템 데이터베이스 관리부, 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지를 분석하여 스타일 데이터베이스에 저장하는 스타일 데이터베이스 관리부, 온라인 마켓 어플리케이션을 통해 표시된 복수의 웹 페이지 상에서 발생된 사용자 별 행동 신호를 수신하면, 상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부에 따라 상기 온라인 마켓 아이템 데이터베이스 및 상기 스타일 데이터베이스를 기초로 추천 아이템을 추출하는 추천 아이템 검색부 및 상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공하는 추천 아이템 제공부를 포함한다.In order to achieve this purpose, the user device provides a user event information-based recommended item providing server for an item that can be purchased in the online market through the online market application, a label describing the content of the item based on the image of the item. An online market item database management unit that extracts, indexes the label and stores it in an online market item database, a style database management unit that analyzes and stores a style image in which a person is wearing a plurality of fashion items, and an online market application. When a user-specific action signal generated on a plurality of displayed web pages is received, an image of an item registered in the web page in which the action signal is generated is extracted, and then the image is analyzed to determine whether it is coordinated with other items. and a recommended item search unit for extracting a recommended item based on an online market item database and the style database, and a recommendation item providing unit for providing the recommended item according to a type of the action signal.

또한, 이러한 목적을 달성하기 위한 사용자 디바이스에서 실행되는 사용자 이벤트 정보 기반 추천 아이템 제공 방법은 온라인 마켓 어플리케이션을 통해 해당 온라인 마켓에서 구입가능한 아이템에 대해, 상기 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스를 생성하는 단계, 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지를 분석하여 스타일 데이터베이스를 생성하는 단계, 상기 온라인 마켓 어플리케이션을 통해 표시된 복수의 웹 페이지 상에서 각각 발생된 사용자 별 행동 신호를 수신하는 단계, 상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부를 확인하는 단계, 상기 확인 결과에 따라 상기 온라인 마켓 아이템 데이터베이스에서 아이템과 함께 코디되어 있는 다른 아이템을검색하여 추천 아이템으로 추출하거나 상기 온라인 마켓 아이템 데이터베이스 관리부 및 스타일 데이터베이스 관리부를 기초로 상기 아이템과 매칭되는 추천 아이템을 추출하는 단계 및 상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공하는 단계를 포함한다.In addition, the method for providing a recommended item based on user event information executed in a user device for achieving this purpose describes the content of the item based on the image of the item for an item that can be purchased in the corresponding online market through the online market application extracting a label, generating an online market item database by indexing the label; generating a style database by analyzing a style image in which a person is wearing a plurality of fashion items; Receiving a behavior signal for each user generated on a web page of , extracting an image for an item registered in a web page where the behavior signal is generated, and analyzing the image to determine whether it is coordinated with other items step, according to the result of the check, searching for other items coordinated with the item in the online market item database and extracting it as a recommended item or selecting a recommended item matching the item based on the online market item database management unit and the style database management unit and extracting and providing the recommended item according to the type of the action signal.

전술한 바와 같은 본 발명에 의하면, 웹 페이지 상에서 행동 신호가 발생 시 웹 페이지에 등록된 이미지를 기초로 아이템이 다른 아이템과 함께 코디되었다면 아이템과 함께 코디되어 있는 다른 아이템을 웹 페이지의 일부분에 표시하여 추천함으로써 사용자에게 이미 코디되어 있는 아이템에 쉽게 접근할 수 있다는 장점이 있다.According to the present invention as described above, when an action signal is generated on a web page, if an item is coordinated with another item based on an image registered on the web page, the other item coordinated with the item is displayed on a part of the web page. By recommending it, there is an advantage that the user can easily access the already coordinated items.

또한 본 발명에 의하면, 웹 페이지 상에서 행동 신호가 발생 시 웹 페이지에 등록된 이미지를 기초로 아이템이 다른 아이템과 함께 코디되어 있지 않다면 미리 생성된 스타일 중 아이템과 어울리는 추천 스타일을 결정한 후 온라인 마켓에서 판매되는 상품 중 추천 스타일에 해당하는 아이템을 추출하여 웹 페이지의 일부분에 표시하여 추천함으로써 사용자가 상품을 함께 구매할 수 있도록 유도할 수 있다는 장점이 있다.Also, according to the present invention, when an action signal is generated on a web page, if an item is not coordinated with other items based on an image registered on the web page, a recommended style suitable for the item is determined from among pre-generated styles and then sold in the online market. There is an advantage in that it is possible to induce users to purchase the product together by extracting an item corresponding to the recommended style from among the available products and displaying it on a part of the web page for recommendation.

또한 본 발명에 의하면, 웹 페이지 상에서 행동 신호가 발생 시 사용자의 행동 신호를 분석하여 사용자가 온라인 마켓 서버에 접속할 시 사용자가 관심있어 할 만한 상품을 우선 추천하여 온라인 마켓에서 많은 상품이 판매되더라도 사용자가 적은 이동으로 쉽게 원하는 상품에 접근할 수 있다는 장점이 있다.In addition, according to the present invention, when a behavior signal is generated on a web page, the user's behavior signal is analyzed and when the user accesses the online market server, the product that the user may be interested in is recommended first, so that the user can It has the advantage of being able to easily access the desired product with little movement.

도 1는 본 발명의 일 실시예에 따른 사용자 이벤트 정보 기반 추천 아이템 제공 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 디바이스의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 사용자 이벤트 정보 기반 추천 아이템 제공 방법의 일 실시예를 설명하기 위한 흐름도이다.
1 is a network configuration diagram illustrating a system for providing a recommended item based on user event information according to an embodiment of the present invention.
2 is a block diagram illustrating an internal structure of a user device according to an embodiment of the present invention.
3 is a flowchart illustrating an embodiment of a method for providing a recommended item based on user event information according to the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features, and advantages will be described later in detail with reference to the accompanying drawings, and accordingly, a person of ordinary skill in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description will be omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar elements.

도 1는 본 발명의 일 실시예에 따른 사용자 이벤트 정보 기반 추천 아이템 제공 시스템을 설명하기 위한 네트워크 구성도이다.1 is a network configuration diagram illustrating a system for providing a recommended item based on user event information according to an embodiment of the present invention.

도 1을 참조하면, 사용자 이벤트 정보 기반 추천 아이템 제공 시스템은 온라인 마켓 서버(100) 및 사용자 디바이스(200_1~200_N)를 포함한다.Referring to FIG. 1 , the system for providing recommended items based on user event information includes an online market server 100 and user devices 200_1 to 200_N.

온라인 마켓 서버(100)는 웹 페이지를 통해 아이템을 판매하는 판매자가 운영하는 서버이다. 이러한 웹 페이지는 메인 페이지, 상품 상세 페이지, 장바구니 페이지, 사용자 정보 페이지 등을 포함할 수 있다. 이러한 웹 페이지 각각에는 이미지, 텍스트, 이동 버튼(예를 들어, 장바구니 담기, 관심 상품 등록 등)이 포함되어 있다. The online market server 100 is a server operated by a seller who sells items through a web page. Such a web page may include a main page, a product detail page, a shopping cart page, a user information page, and the like. Each of these web pages includes images, text, and navigation buttons (eg, add to cart, register items of interest, etc.).

따라서, 온라인 마켓 서버(100)는 웹 페이지 상에서 행동 신호가 발생되면 웹 페이지 상에서 발생된 사용자 행동 신호를 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)에 제공할 수 있다. Accordingly, when a behavior signal is generated on the web page, the online market server 100 may provide the user behavior signal generated on the web page to the user event information-based recommendation item providing server 100 .

예를 들어, 온라인 마켓 서버(100)는 아이템 A를 판매하기 위한 상품 상세 페이지 a 상에서 사용자가 아이템 A의 이미지를 선택하는 경우, 상품 상세 페이지 a 상에서 아이템 A의 이미지를 클릭했다는 행동 신호를 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)에 제공할 수 있다. For example, when the user selects the image of item A on the product detail page a for selling the item A, the online market server 100 sends an action signal indicating that the user clicks the image of the item A on the product detail page a. It may be provided to the information-based recommendation item providing server 100 .

다른 예를 들어, 온라인 마켓 서버(100)는 아이템 A를 판매하기 위한 상품 상세 페이지 a 상에서 사용자가 아이템 A를 장바구니로 이동시키는 경우, 아이템 A가 장바구니로 이동되었다는 행동 신호를 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)에 제공할 수 있다. For another example, when the user moves the item A to the shopping cart on the product detail page a for selling the item A, the online market server 100 transmits an action signal indicating that the item A has been moved to the shopping cart based on the user event information. It can be provided to the providing server 100 .

사용자 디바이스(200_1~200_N)는 온라인 마켓 서버(100)에 접속한 후 온라인 마켓 서버(100)에서 제공되는 웹 페이지를 통해 아이템을 구매하는 사용자가 보유하는 단말이다. 일 실시예에서, 사용자 디바이스(200_1~200_N)는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다. The user devices 200_1 to 200_N are terminals owned by a user who purchases an item through a web page provided by the online market server 100 after accessing the online market server 100 . In an embodiment, the user devices 200_1 to 200_N should be understood as a concept including all types of electronic devices capable of requesting a search and displaying advertisement information, such as a desktop, a smart phone, and a tablet PC.

이를 위해, 사용자 디바이스(200_1~200_N)에는 온라인 마켓 서버(100)에 접속하기 위한 온라인 마켓 어플리케이션이 설치되어 있다. 따라서, 사용자 디바이스(200_1~200_N)는 온라인 마켓 어플리케이션이 선택되어 실행되면, 온라인 마켓 어플리케이션을 통해 온라인 마켓 서버(100)에 접속할 수 있다. To this end, an online market application for accessing the online market server 100 is installed in the user devices 200_1 to 200_N. Accordingly, when the online market application is selected and executed, the user devices 200_1 to 200_N may access the online market server 100 through the online market application.

사용자 디바이스(200_1~200_N)는 온라인 마켓 어플리케이션을 통해 온라인 마켓 서버(100)에서 제공되는 웹 페이지를 표시할 수 있다. The user devices 200_1 to 200_N may display a web page provided by the online market server 100 through the online market application.

이때, 웹 페이지는 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함한다. 예를 들어, 사용자 디바이스(200_1~200_N)의 온라인 마켓 어플리케이션 상에서 웹 페이지가 표시된 상태에서 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 웹 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 웹 페이지의 개념에 포함될 수 있다. In this case, the web page includes a screen loaded in the electronic device and/or content inside the screen to be immediately displayed on the screen according to the user's scrolling. For example, in the online market application of the user devices 200_1 to 200_N, the entire execution screen of the application extended in the horizontal or vertical direction in a state in which the web page is displayed and displayed according to the user's scroll will be included in the concept of the web page. Also, a screen in camera roll may be included in the concept of the web page.

사용자 디바이스(200_1~200_N)는 온라인 마켓 어플리케이션을 통해 표시된 웹 페이지 상에서 사용자 입력이 발생 시 웹 페이지 상에서 발생된 행동 신호를 생성한다.The user devices 200_1 to 200_N generate action signals generated on the web page when a user input occurs on the web page displayed through the online market application.

이때, 행동 신호는 온라인 마켓 어플리케이션을 통해 표시된 웹 페이지에서 사용자 조작(예를 들어, 터치, 클릭 등)이 발생할 때마다 생성된다. 예를 들어, 행동 신호는 웹 페이지의 특정 이미지를 클릭하는 행동, 웹 페이지에 등록된 아이템의 옵션을 선택한 후 장바구니로 이동시키는 행동 및 웹 페이지에 등록된 아이템을 관심 상품으로 등록하는 행동이 발생 시 생성될 수 있다.In this case, the action signal is generated whenever a user manipulation (eg, touch, click, etc.) occurs on a web page displayed through the online market application. For example, behavior signals include clicking a specific image on a web page, selecting an option for an item registered on the web page and moving it to the shopping cart, and registering an item registered on the web page as a product of interest. can be created

사용자 디바이스(200_1~200_N)는 행동 신호를 생성되면 웹 페이지에 등록된 아이템과 어울리는 다른 아이템을 추천 아이템으로 결정한 후 행동 신호의 종류에 따라 추천 아이템을 온라인 마켓 어플리케이션을 통해 제공할 수 있다. When the action signal is generated, the user devices 200_1 to 200_N may determine another item matching the item registered in the web page as the recommended item, and then provide the recommended item through the online market application according to the type of the action signal.

도 2는 본 발명의 일 실시예에 따른 사용자 디바이스의 내부 구조를 설명하기 위한 블록도이다. 도 2의 사용자 디바이스에는 온라인 마켓 어플리케이션이 설치되어 있으며, 온라인 마켓 어플리케이션을 통해 웹 페이지를 표시할 수 있다. 2 is a block diagram illustrating an internal structure of a user device according to an embodiment of the present invention. An online market application is installed in the user device of FIG. 2 , and a web page may be displayed through the online market application.

도 2를 참조하면, 사용자 디바이스(200)는 사용자 데이터베이스(110), 사용자 데이터베이스 관리부(120), 온라인 마켓 아이템 데이터베이스(130), 온라인 마켓 아이템 데이터베이스 관리부(140), 스타일 데이터베이스(150), 스타일 데이터베이스 관리부(160), 추천 아이템 검색부(170) 및 추천 아이템 제공부(180)를 포함한다.Referring to FIG. 2 , the user device 200 includes a user database 110 , a user database manager 120 , an online market item database 130 , an online market item database manager 140 , a style database 150 , and a style database. It includes a management unit 160 , a recommended item search unit 170 , and a recommended item providing unit 180 .

사용자 데이터베이스(110)에는 사용자 식별 정보, 사용자 취향을 추정하기 위한 행동 신호, 상기 행동 신호로부터 추정한 사용자 취향 및 사용자에 의해 입력된 사용자 취향 정보를 포함할 수 있다. The user database 110 may include user identification information, an action signal for estimating user preference, user preference estimated from the action signal, and user preference information input by the user.

사용자 데이터베이스 관리부(120)는 사용자의 나이, 성별, 직업, 관심 패션 분야, 기 보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 취향 정보를 생성하고 이를 상기 사용자 데이터베이스(110)에 반영할 수 있다. The user database management unit 120 provides a query for the user's age, gender, occupation, fashion field of interest, previously owned items, etc., receives a user input for the query, generates user preference information, and uses the same in the user database 110 . ) can be reflected in

나아가, 본 발명의 실시예를 따르는 사용자 데이터베이스 관리부(120)는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 쿼리 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 취향을 추정하기 위한 사용자 행동 신호를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 데이터베이스(110)에 반영할 수 있다. Furthermore, the user database management unit 120 according to an embodiment of the present invention is a time that a user browses an arbitrary style book provided through an application, item information that generates a like tag, a query item, through the application or other applications. By combining user behavior signals for estimating user preferences, such as purchased fashion item information and time information at which the information was created, taste information for a style that the user is interested in at that time is generated and stored in the user database 110 . can reflect

나아가 사용자 데이터베이스 관리부(120)는 사용자의 체형 정보를 생성하고 이를 사용자 데이터베이스(110)에 반영할 수 있다. Furthermore, the user database manager 120 may generate body shape information of the user and reflect it in the user database 110 .

예를 들어, 영상 촬영 모듈(미도시됨)을 통해 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)에 전송하면, 사용자 데이터베이스 관리부(120)는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐 만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다. For example, when a body image obtained by photographing a user's body from a plurality of angles is generated through an image capturing module (not shown) and transmitted to the user event information-based recommendation item providing server 100 , the user database management unit 120 . can create a user body model from a machine learning framework that learns human body features from a large amount of body images. The user's body type model may include not only size information of each part of the user's body, but also information on the proportion and skin tone of each part of the user's body.

본 발명의 추가적인 실시예를 따르면, 사용자 데이터베이스 관리부(120)는 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 데이터베이스(110)에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. According to an additional embodiment of the present invention, the user database manager 120 may generate the user's preference information for a fashion item and reflect it in the user database 110 . The preference information may include information on the user's preferred price, preferred brand, and preferred use.

예를 들어, 온라인 마켓 어플리케이션(310)을 통해 패션 아이템 열람 또는 구매가 진행되면, 사용자 데이터베이스 관리부(120)는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 데이터베이스(110)에 반영할 수 있다. For example, when a fashion item is viewed or purchased through the online market application 310, the user database management unit 120 reflects the weight for reading or purchasing differently to provide information on a preferred price, a preferred brand, and a preferred use. It can be created and reflected in the user database 110 .

특히 본 발명의 실시예를 따르는 사용자 데이터베이스 관리부(120)는 인간의 느낌에 해당하는 사용자의 “취향”을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 데이터베이스(110)에 반영하는 특징이 있다. In particular, the user database manager 120 according to an embodiment of the present invention estimates the user's "taste" corresponding to a human feeling, generates the estimated taste information in a computer-recognizable form, and stores it in the user database 110 . It has a reflective feature.

예를 들어, 사용자 데이터베이스 관리부(120)는 사용자의 행동 신호로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 쿼리 아이템, 구매 아이템 등 사용자 행동 신호에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 신호에 포함되는 패션 아이템들의 외관, 느낌 등의 룩앤필, 트랜드에 대한 정보로 생성할 수 있다. For example, the user database manager 120 may extract a label for estimating the user's taste from the user's behavior signal. The label may be extracted as meanings of fashion items included in the user behavior signal, such as a style book viewed by the user, an item for which a like tag is generated, a query item, and a purchase item. Furthermore, the label may be generated as information on the look and feel and trend of fashion items included in the user action signal.

사용자 행동 신호로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 사용자 데이터베이스 관리부(120)는 이를 조합하여 사용자 취향을 추정하는 사용자 취향 정보를 생성하여 사용자 데이터베이스(110)에 저장할 수 있다. 상기 사용자 데이터베이스(110)에 포함된 사용자 취향 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 아이템에 대한 노출 우선순위 설정에 사용될 수 있다. The label generated from the user behavior signal is weighted according to the user behavior, and the user database manager 120 may combine them to generate user preference information for estimating user preference and store it in the user database 110 . User preference information, user body type information, and user preference information included in the user database 110 may be used to set a recommended item or an exposure priority of the recommended item.

온라인 마켓 아이템 데이터베이스(130)에는 온라인 마켓에서 구입가능한 아이템들의 원산지, 사이즈, 판매처, 착용샷 등 아이템 상세 정보가 저장된다. The online market item database 130 stores detailed item information such as country of origin, size, vendor, and wearing shot of items available for purchase in the online market.

온라인 마켓 아이템 데이터베이스 관리부(140)는 온라인 마켓에서 구입가능한 아이템에 대해, 상기 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스(130)를 생성한다. The online market item database management unit 140 extracts a label describing the contents of the item based on the image of the item for an item that can be purchased in the online market, and indexes the label to create the online market item database 130 . create

먼저, 온라인 마켓 아이템 데이터베이스 관리부(140)는 온라인 마켓에서 판매하는 아이템에 대해서도 아이템 정보를 수집할 수 있다. 예를 들어, 온라인 마켓 아이템 데이터베이스 관리부(140)는 크롤러, 파서, 인덱서를 구비하여, 온라인 마켓의 웹 문서를 수집하고, 웹 문서에 포함된 이미지 및 아이템명, 가격 등 텍스트 정보에 접근할 수 있다. First, the online market item database manager 140 may collect item information about items sold in the online market. For example, the online market item database management unit 140 may include a crawler, a parser, and an indexer to collect web documents of the online market and access text information such as images, item names, and prices included in the web documents. .

예를 들어, 크롤러는 온라인 마켓의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 아이템 정보와 관련된 데이터를 수집한다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 이미지, 아이템 가격, 아이템명 등 아이템 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다. For example, a crawler collects a list of web addresses in an online market, and collects data related to item information by checking websites and tracking links. In this case, the parser interprets the web documents collected during the crawling process and extracts item information such as images, item prices, and item names included in the page, and the indexer can index the location and meaning.

한편, 본 발명의 실시예를 따르는 온라인 마켓 아이템 데이터베이스 관리부(140)는 임의의 온라인 마켓의 웹 사이트로부터 아이템 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 아이템 정보를 제공받을 수도 있다. On the other hand, the online market item database management unit 140 according to an embodiment of the present invention may collect and index item information from a website of any online market, but may also receive item information in a preset format from an affiliate market. .

그런 다음, 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지를 프로세싱할 수 있다. 이는 아이템명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다. Then, the online market item database manager 140 may process the image. This is to determine a recommended item based on whether an image is similar, without depending on text information such as an item name or a sales category.

본 발명의 실시예를 따르면 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 이미지는 물론 아이템명 또는 판매 카테고리 등을 단독 또는 보조 쿼리로 활용할 수 있으며, 이를 위해 사용자 디바이스(200)는 아이템의 이미지 외 아이템명, 아이템 카테고리 등 텍스트 정보를 구조화하여 온라인 마켓 아이템 데이터베이스(130)를 생성할 수 있다. According to an embodiment of the present invention, a recommended item may be determined based on whether images are similar, but the present invention is not limited thereto. That is, depending on the implementation, the image as well as the item name or sales category can be used as a single or auxiliary query. For this purpose, the user device 200 structures text information such as the item name and item category in addition to the image of the item to structure the online market item. The database 130 may be created.

또한, 본 발명의 실시예를 따르는 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화 (indexing)할 수 있다. In addition, the online market item database manager 140 according to an embodiment of the present invention may extract features of an image and index feature information of the images for efficiency of search.

보다 구체적으로, 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 여기에서, 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다. More specifically, the online market item database manager 140 may detect a feature area of the images (Interest Point Detection). Here, the feature region refers to a main region from which a descriptor for a feature of an image, ie, a feature descriptor, is extracted for determining whether the images are identical or similar.

본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다. According to an embodiment of the present invention, such a feature region is more than a contour included in an image, a corner such as a corner among contours, a blob distinguished from a surrounding region, a region that is invariant or covariant according to the deformation of the image, or an ambient brightness. It can be a pole with dark or light features, and can target a patch (piece) of an image or the entire image.

나아가, 온라인 마켓 아이템 데이터베이스 관리부(140)는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다. Furthermore, the online market item database manager 140 may extract a feature descriptor from the feature area. The feature descriptor expresses the features of an image as vector values.

본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다. According to an embodiment of the present invention, such a feature descriptor may be calculated using the position of the feature region in the corresponding image, or brightness, color, sharpness, gradient, scale, or pattern information of the feature region. For example, the feature descriptor may convert a brightness value of a feature region, a change value of brightness, or a distribution value of the feature region into a vector and calculate it.

한편, 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다. Meanwhile, according to an embodiment of the present invention, the feature descriptor for the image includes a global descriptor, a frequency descriptor, and a binary descriptor as well as a local descriptor based on the feature region as described above. Alternatively, it may be expressed as a neural network descriptor.

보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다. More specifically, the feature descriptor is a global descriptor ( global descriptor).

예를 들어, 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상 정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다. For example, the feature descriptor includes a frequency descriptor that converts and extracts the number of times that specific descriptors classified in advance are included in an image, the number of times that a global feature such as a conventionally defined color table is included, etc. In the layer of the binary descriptor and neural network, which extracts in bit units whether or not the elements are included or whether the size of each element constituting the descriptor is larger or smaller than a specific value, and converts it into an integer type. It may include a neural network descriptor that extracts image information used for learning or classification.

나아가 본 발명의 실시예를 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어, 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.Furthermore, according to an embodiment of the present invention, the online market item database manager 140 may convert the feature information vector extracted from the image to a lower dimension. For example, feature information extracted through an artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector of an appropriate range in consideration of the resources required for the search.

상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 이미지에 인덱싱 될 수 있다. For the transformation of the feature information vector, various dimensional reduction algorithms such as PCA and ZCA may be used, and the feature information converted into a low dimensional vector may be indexed into a corresponding image.

나아가, 본 발명의 실시예를 따르는 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. Furthermore, the online market item database manager 140 according to an embodiment of the present invention may extract a label for the meaning of the image by applying a machine learning technique based on the image. The label may be expressed as an abstract value, but may also be expressed in text form by interpreting the abstract value.

본 발명의 일 실시예를 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 이미지 내의 아이템을 분류하고, 해당 아이템에 대한 레이블을 추출할 수 있다. 이때 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다. According to an embodiment of the present invention, the online market item database management unit 140 defines a label in advance, creates a neural network model that learns the characteristics of the image corresponding to the label, classifies the item in the image, and the item label can be extracted. In this case, the user event information-based recommendation item providing server 100 may assign a corresponding label to an image that matches a specific pattern with an arbitrary probability through a neural network model that has learned a pattern of an image corresponding to each label.

본 발명의 다른 일 실시예를 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 이미지 아이템들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)는 해당 아이템이 어느 그룹에도 포함되지 않으면 해당 아이템을 포함하는 새로운 그룹을 생성할 수도 있다. According to another embodiment of the present invention, the online market item database manager 140 forms an initial neural network model by learning the characteristics of the image corresponding to each label, and applies a large number of image items to the neural network model. It can also be expanded with precision. Furthermore, the user event information-based recommendation item providing server 100 may create a new group including the corresponding item if the corresponding item is not included in any group.

상기의 실시예들에 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 아이템에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 이미지에 적용하여 광고 대상 이미지에 대한 레이블을 추출할 수 있다. According to the above embodiments, the online market item database management unit 140 provides information on items such as women's bottoms, skirts, dresses, short sleeves, long sleeves, pattern shape, material, color, and abstract feeling (innocence, chic, vintage, etc.). A label that can be used as meta-information is defined in advance, a neural network model that learns the characteristics of an image corresponding to the label is generated, and a label for an advertisement target image can be extracted by applying the neural network model to an image of an advertiser. .

본 발명의 또 다른 일 실시예를 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 레이블에 대한 별도의 학습 없이 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 이미지들을 클러스터링할 수 있다. According to another embodiment of the present invention, the online market item database manager 140 may apply images to a neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of labels. Furthermore, a weight may be assigned to the feature information of the image according to the request of the corresponding layer, and the images may be clustered using the processed feature information.

이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. In this case, additional analysis may be required to confirm whether the corresponding images are clustered according to any attribute of the feature value, that is, to connect the clustering result of the images with a concept that can be recognized by a human.

예를 들어, 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지 프로세싱을 통해 3개의 그룹으로 아이템을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다. For example, the online market item database management unit 140 classifies the items into three groups through image processing, and provides A for the features of the first group, B for the features of the second group, and the features of the third group. When the label C for Daehan is extracted, it needs to be interpreted ex post that A, B, and C mean, for example, women's tops, blouses, and checkered patterns, respectively.

상기의 실시예에 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 이미지의 레이블로 추출할 수 있다. According to the above embodiment, the online market item database management unit 140 includes women's bottoms, skirts, dresses, short sleeves, long sleeves, pattern shapes, materials, colors, and abstract feelings (innocence, chic, vintage, etc.) in the clustered image group. Labels that can be interpreted ex post, etc. can be given, and labels assigned to image groups to which individual images belong can be extracted as labels of the corresponding image.

한편 본 발명의 실시예를 따르는 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 아이템의 태그 정보로 활용될 수 있다.Meanwhile, the online market item database management unit 140 according to an embodiment of the present invention may express a label extracted from an image as text, and a text-type label may be used as tag information of an item.

종래에는 아이템의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 아이템 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다. Conventionally, the tag information of the item is subjectively directly provided by the seller, which is inaccurate and has low reliability. Item tags subjectively given by the seller act as noise, which lowers the efficiency of the search.

그러나 본 발명의 실시예와 같이, 이미지를 기반으로 레이블을 추출하고, 추출된 레이블을 텍스트로 변환하여 해당 아이템의 태그 정보로 활용하면, 아이템의 태그 정보를 해당 아이템의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다. However, as in the embodiment of the present invention, when a label is extracted based on an image, the extracted label is converted into text and used as tag information of the corresponding item, the tag information of the item is used for human intervention based on the image of the corresponding item. It can be extracted mathematically without the need to increase the reliability of tag information and improve the accuracy of the search.

나아가, 상기의 실시예에서 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지 내용을 기반으로 해당 아이템의 카테고리 정보를 생성할 수 있다. 이때, 레이블와 카테고리 정보는 각각 생성될 수도 있지만, 레이블을 카테고리 정보로 활용할 수도 있으며, 카테고리 정보를 레이블로 활용할 수도 있다. Furthermore, in the above embodiment, the online market item database manager 140 may generate category information of the corresponding item based on the image content. In this case, the label and the category information may be generated respectively, but the label may be used as the category information or the category information may be used as the label.

예를 들어, 임의의 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 온라인 마켓 어플리케이션(310)은 여성, 상의, 블라우스에 대한 레이블을 해당 아이템의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 아이템의 특성을 설명하는 레이블로 활용할 수 있다. For example, when a label for an arbitrary image is extracted as a woman, a top, a blouse, linen, a stripe, a long sleeve, a blue, and an office look, the online market application 310 sets a label for a woman, a top, and a blouse to the corresponding item. Labels for linen, stripe, long sleeves, blue, and office look can be used as labels to explain the characteristics of items outside of the category.

또는 온라인 마켓 아이템 데이터베이스 관리부(140)는 레이블과 카테고리 정보를 구별하지 않고 해당 아이템에 인덱싱할 수 있다. 이때, 아이템의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다. Alternatively, the online market item database management unit 140 may index the corresponding item without distinguishing between the label and the category information. In this case, the category information and/or the label of the item may be used as a parameter for increasing the reliability of the image search.

한편, 본 발명의 실시예를 따르는 온라인 마켓 아이템 데이터베이스 관리부(140)는 수집된 아이템 설명 이미지를 필터링할 수 있다. 이는 이미지 검색에 노이즈로 작용할 수 있는 이미지는 제외하고 이미지 데이터베이스를 구성하기 위한 것이다. Meanwhile, the online market item database manager 140 according to an embodiment of the present invention may filter the collected item description images. This is to construct an image database excluding images that may act as noise in image search.

보다 구체적으로, 온라인 마켓 아이템 데이터베이스 관리부(140)는 이미지에서 추출한 레이블과 판매자가 직접 부여한 카테고리 및/또는 태그 정보를 비교하여 이미지의 필터링 여부를 결정할 수 있다. More specifically, the online market item database manager 140 may determine whether to filter the image by comparing the label extracted from the image with the category and/or tag information directly provided by the seller.

본 발명의 실시예를 따르면, 온라인 마켓 아이템 데이터베이스 관리부(140)는 특정 아이템에 대해 다수의 이미지가 존재하고, 그 중 하나의 이미지에서 추출한 레이블과 해당 아이템에 대해 판매자가 부여한 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 아이템은 데이터베이스에서 필터링할 수 있다.According to an embodiment of the present invention, the online market item database management unit 140 has a plurality of images for a specific item, and if a label extracted from one image and a category given by the seller to the item are different from each other, the corresponding image Alternatively, specific items in the image can be filtered from the database.

예를 들어, A 아이템에 대한 제 1 내지 제 3 이미지가 존재하고, 제 1 이미지에서는 (여성 상의, 재킷), 제 2 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제 3 이미지에서는 (선글라스, 라운드) 라는 레이블이 추출된 경우를 고려할 수 있다. 이때, 온라인 마켓 아이템 데이터베이스 관리부(140)는 A 아이템의 판매 카테고리가 “선글라스”이라면, 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)는 제 1 이미지는 제외하고, 제 2, 제 3 이미지만으로 이미지 데이터베이스를 구성할 수 있다. For example, there are first to third images for item A, in the first image (female top, jacket), in the second image (female top, jacket) and (sunglasses, round), and in the third image, A case in which the label (sunglasses, round) is extracted can be considered. At this time, if the online market item database management unit 140 has the sales category of item A “sunglasses”, the user event information-based recommendation item providing server 100 excludes the first image and uses only the second and third images in the image database. can be configured.

이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 아이템이 실제로 선글라스에 대한 것인데 제 1 내지 3 아이템 설명 이미지를 모두 포함하여 온라인 마켓 아이템 데이터베이스(130)를 구성하면, 이벤트 정보에서 추출한 검색 대상 아이템이 재킷인 경우에도 제 1 이미지와 유사하다고 판단하여 선글라스에 대한 A 아이템이 광고 아이템으로 결정될 수 있다. 따라서 검색의 정확도를 떨어뜨릴 수 있는 이미지는 필터링하고 온라인 마켓 아이템 데이터베이스(130)를 구축하는 것이다. This filtering is to reduce the noise of image search. In the above example, item A is actually about sunglasses. If the online market item database 130 is configured including all of the first to third item description images, even if the search target item extracted from the event information is a jacket, the first image and the By determining that they are similar, item A for sunglasses may be determined as an advertisement item. Therefore, the image that can reduce the accuracy of the search is filtered and the online market item database 130 is built.

스타일 데이터베이스 관리부(160)는 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지에 대한 스타일 데이터베이스(150)를 생성한다.The style database manager 160 creates a style database 150 for a style image in which a person is wearing a plurality of fashion items.

스타일 데이터베이스 관리부(160)는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어, 스타일 데이터베이스 관리부(160)는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 마켓 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다. The style database manager 160 may collect style images online. For example, the style database management unit 160 collects a list of web addresses of fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online markets, etc., and checks the websites to track the links, It is possible to collect image information contained in

한편, 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 마켓 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다. On the other hand, the style database management unit 160 according to an embodiment of the present invention can collect and index images from websites such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online markets, etc., but from affiliated companies. Image information may be separately provided along with index information.

그 후, 스타일 데이터베이스 관리부(160)는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다. 예를 들어, 스타일 데이터베이스 관리부(160)는 수집된 이미지 중 사람 형상의 아이템이 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다. Thereafter, the style database manager 160 may filter out images inappropriate for style recommendation among the collected images. For example, the style database manager 160 may filter the remaining images while leaving only the images including the human-shaped item and the plurality of fashion items among the collected images.

이때, 스타일 이미지는 쿼리 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. In this case, since the style image is used to determine other items that can be coordinated with the query item, it is appropriate to filter the image for a single fashion item. Furthermore, constructing a database with images of a person directly wearing a plurality of fashion items may be more useful than an image of the fashion item itself.

따라서, 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 사람 형상의 아이템이 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다. Accordingly, the style database management unit 160 according to an embodiment of the present invention may determine a style image included in the style database by filtering the remaining images while leaving only the image including the human-shaped item and the plurality of fashion items.

그 후, 스타일 데이터베이스 관리부(160)는 스타일 이미지에 포함된 패션 아이템 아이템 이미지의 특징에 대해 프로세싱할 수 있다.Thereafter, the style database manager 160 may process features of the fashion item item image included in the style image.

보다 구체적으로, 스타일 데이터베이스 관리부(160)는 스타일 이미지에 포함된 패션 아이템 아이템의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 아이템의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다. More specifically, the style database management unit 160 extracts the image features of the fashion item items included in the style image, and expresses the feature information as a vector value to generate a feature value of the fashion item item and to structure the feature information of the images. can

나아가, 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 스타일 이미지로부터 레이블을 추출하고 상기 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. Furthermore, the style database manager 160 according to an embodiment of the present invention may extract a label from the style image and cluster the style images based on the label.

상기의 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 레이블로 활용할 수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 레이블로 예시할 수 있다.It is appropriate that the above label is extracted as the look and feel of the fashion item, such as the look and feel, and the trend. According to a preferred embodiment of the present invention, a label for a feeling that a person can feel in the appearance of a single fashion item included in a style image, a combination of a plurality of items, etc. can be extracted and used as a label. For example, the label may include a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look.

본 발명의 실시예를 따르면, 스타일 데이터베이스 관리부(160)는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 아이템을 분류하고, 해당 아이템에 대한 레이블을 추출할 수 있다. 이때, 사용자 디바이스(200)는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다. According to an embodiment of the present invention, the style database management unit 160 defines a label in advance, creates a neural network model that learns the characteristics of the image corresponding to the label, classifies the item in the style image, and provides information about the item. You can extract the label. In this case, the user device 200 may assign a corresponding label to an image matching a specific pattern with an arbitrary probability through a neural network model that has learned the pattern of the image corresponding to each label.

본 발명의 다른 실시예를 따르면, 스타일 데이터베이스 관리부(160)는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 아이템들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. According to another embodiment of the present invention, the style database manager 160 forms an initial neural network model by learning characteristics of images corresponding to each label, and applies a large number of style image items to the neural network model more precisely. It can also be expanded.

한편, 본 발명의 또다른 실시예를 따르면, 스타일 데이터베이스 관리부(160)는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.Meanwhile, according to another embodiment of the present invention, the style database manager 160 may apply the style images to the neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of the label. Furthermore, weight is given to the characteristic information of the style image according to the request of the corresponding layer, the images are clustered using the processed characteristic information, and celebrity look, magazine look, summer look, feminine look, sexy look, Labels that are interpreted ex-post as office look, drama look, Chanel look, etc. can be given.

이때, 스타일 데이터베이스 관리부(160)는 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 사용자 이벤트 정보 기반 추천 아이템 제공 서버(100)에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 아이템 정보 검색을 요청할 수 있을 것이다. In this case, the style database manager 160 may cluster style images using the label and generate a plurality of style books. This is intended to be provided as a reference to users. The user may browse a specific stylebook among a plurality of stylebooks provided by the user event information-based recommended item providing server 100 to find a favorite item, and may request item information search for the corresponding item.

한편, 스타일 데이터베이스 관리부(160)는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 있다. Meanwhile, the style database management unit 160 may pre-classify items having a very high appearance ratio, such as a white shirt, jeans, and a black skirt.

예를 들어, 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다. For example, since jeans are a basic item in fashion, their appearance rate in style images is very high. Therefore, even if the user inquires about any item, the probability that jeans will be matched as a coordination item will be significantly higher than that of other items.

따라서, 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다. Therefore, the style database management unit 160 according to the embodiment of the present invention pre-classifies items having a very high appearance rate in the style image as buzz items, and sets the style book versions into those that include the buzz item and those that do not include the buzz item. can be created differently.

이때, 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. In this case, the buzz item may be classified by reflecting time information. For example, considering the fashion cycle of fashion items, items that are fashionable and disappear for a short time for a month or two, fashionable items that return every season, and items that are continuously popular for a certain period of time may be considered.

따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다. Accordingly, if time information is reflected in the classification of the buzz item and the appearance rate of a specific fashion item is very high for a certain period, the item may be classified as a buzz item together with information about the period. When the buzz items are classified in this way, in the subsequent item recommendation step, there is an effect that the recommendation target item can be recommended in consideration of whether the item to be recommended is in vogue or unrelated to the vogue.

추천 아이템 검색부(170)는 온라인 마켓 서버로부터 복수의 웹 페이지 상에서 발생된 사용자 별 행동 신호를 수신하면, 상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 추천 아이템을 검색한다.When the recommended item search unit 170 receives a behavior signal for each user generated on a plurality of web pages from the online market server, it searches for a recommended item for an item registered in the web page where the behavior signal is generated.

이를 위해, 추천 아이템 검색부(170)는 온라인 마켓 서버로부터 복수의 웹 페이지 상에서 발생된 사용자 별 행동 신호를 수신하면, 상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부를 확인한다. To this end, when the recommended item search unit 170 receives an action signal for each user generated on a plurality of web pages from the online market server, extracts an image for an item registered in the web page in which the action signal is generated, and then the image Analyze to check whether it is coordinated with other items.

즉, 추천 아이템 검색부(170)는 상기 이미지를 분석하여 아이템을 추출한 후 상기 아이템의 특징 정보를 추출하고, 상기 아이템의 특징 정보를 기초로 상기 아이템의 완성 비율을 산출하고, 상기 완성 비율이 특정 비율에 해당하는지 여부에 따라 아이템의 개수를 결정한다. That is, the recommended item search unit 170 analyzes the image to extract the item, then extracts characteristic information of the item, calculates the completion rate of the item based on the characteristic information of the item, and determines that the completion rate is specific. Determines the number of items depending on whether they correspond to a ratio.

일 실시예에서, 추천 아이템 검색부(170)는 아이템의 특징 영역에서 특징 기술자를 추출한 후 상기 특징 기술자를 이용하여 아이템의 윤곽 정보를 생성한다. 그런 다음, 추천 아이템 검색부(170)는 아이템의 윤곽 정보 및 미리 정의된 아이템 윤곽 정보를 비교하여 아이템의 완성 비율을 산출한다. 예를 들어, 미리 정의된 아이템 윤곽 정보는 긴 티셔츠, 짧은 티셔츠, 긴 바지, 짧은 바지 등 각각의 아이템에 대한 윤곽 정보를 의미한다. In an embodiment, the recommended item search unit 170 extracts a feature descriptor from the feature area of the item and then generates outline information of the item by using the feature descriptor. Then, the recommended item search unit 170 compares the outline information of the item with the predefined item outline information to calculate a completion rate of the item. For example, the predefined item outline information means outline information for each item, such as a long T-shirt, a short T-shirt, long pants, and short pants.

이와 같이, 아이템 별 윤곽 정보를 미리 저장하여 이미지에서 추출된 아이템의 윤곽 정보와 비교하는 이유는 일반적으로 온라인 마켓에 등록된 아이템에 대한 이미지는 모델이 아이템을 착용한 이미지일 것이다. 하지만, 아이템을 착용한 모델을 촬영하는 사진 작가에 따라 모델의 전신을 촬영할 수도 있지만 모델이 착용한 아이템만을 확대하여 촬영할 수도 있다. As described above, the reason why the contour information for each item is stored in advance and compared with the contour information of the item extracted from the image is that the image of the item registered in the online market is generally an image in which the model wears the item. However, depending on the photographer photographing the model wearing the item, the model's whole body may be photographed, but only the item worn by the model may be enlarged and photographed.

상기와 같이, 모델의 전신을 촬영하는 경우에 이미지에는 모델이 착용한 아이템의 전체가 포함되어 있지만, 모델이 착용한 아이템의 일부만을 촬영하는 경우 이미지에는 모델이 착용한 아이템 중 특정 아이템의 전체 및 일부가 포함되어 있을 것이다. As described above, in the case of photographing the model's whole body, the image includes all of the items worn by the model, but in the case of photographing only a part of the items worn by the model, the image includes all of the items worn by the model and Some will be included.

예를 들어, 사진 작가가 하얀 블라우스 및 청바지를 착용한 모델을 촬영하는 경우 모델의 전신을 촬영하여 생성된 이미지에는 모델이 착용한 하얀 블라우스 및 청바지가 포함되어 있을 수 있고, 모델이 착용한 하얀 블라우스만을 촬영하여 생성된 이미지에는 모델이 착용한 하얀 블라우스의 전체 및 청바지의 일부가 포함되어 있을 수 있다. For example, if a photographer is photographing a model wearing a white blouse and jeans, the image created by photographing the model's full body may include the white blouse and jeans worn by the model, and the white blouse worn by the model. An image created by photographing the bay may include all of the white blouse worn by the model and part of the jeans.

이와 같은 이유로, 이미지가 모델의 전신을 촬영하여 생성된 경우에는 이미지에서 추출된 아이템 각각의 윤곽 정보 및 미리 정의된 아이템 윤곽 정보가 일치할 것이다. 또한, 이미지가 모델의 일부만을 촬영하여 생성된 경우에는 이미지에서 추출된 아이템 중 특정 아이템의 윤곽 정보 및 미리 정의된 아이템 윤곽 정보가 일치하고 특정 아이템의 윤곽 정보 및 미리 정의된 아이템 윤곽 정보가 일치하지 않을 것이다. For this reason, when the image is generated by photographing the whole body of the model, the contour information of each item extracted from the image and the predefined item contour information will match. In addition, when the image is generated by photographing only a part of the model, the contour information of a specific item and the predefined item contour information among the items extracted from the image match, and the contour information of the specific item and the predefined item contour information do not match. won't

따라서, 본 발명은 웹 페이지에 등록된 아이템에 대한 이미지를 분석하여 아이템을 추출한 후 상기 아이템의 특징 정보를 추출하고, 상기 아이템의 특징 정보를 기초로 상기 아이템의 완성 비율을 산출하는 것이다. Accordingly, the present invention analyzes an image of an item registered in a web page to extract the item, then extracts characteristic information of the item, and calculates a completion rate of the item based on the characteristic information of the item.

그런 다음, 추천 아이템 검색부(170)는 아이템의 완성 비율이 특정 비율 이상인지 여부를 확인하여 아이템 각각에서 레이블을 추출할 수 있다. Then, the recommended item search unit 170 may extract a label from each item by checking whether the completion rate of the item is equal to or greater than a specific rate.

일 실시예에서, 추천 아이템 검색부(170)는 아이템의 완성 비율이 특정 비율 이상이면 해당 아이템 각각에서 레이블을 추출할 수 있다. In an embodiment, the recommended item search unit 170 may extract a label from each of the items when the completion rate of the items is greater than or equal to a specific rate.

다른 일 실시예에서, 추천 아이템 검색부(170)는 아이템의 완성 비율이 특정 비율 이하인 경우, 완성 비율이 특정 비율 이하인 아이템의 특징 정보를 추출하여 레이블로 사용한다. 예를 들어, 완성 비율이 특정 비율 이하인 아이템의 특징 정보는 꽃무늬, 상의, 하의, 빨간색 등일 수 있으며, 이러한 특징 정보를 레이블로 사용한다.In another embodiment, when the completion ratio of the item is less than or equal to a specific ratio, the recommended item search unit 170 extracts feature information of the item having a completion ratio of less than or equal to a specific ratio and uses it as a label. For example, the characteristic information of an item whose completion ratio is less than or equal to a specific ratio may be a floral pattern, a top, a bottom, red, etc., and such characteristic information is used as a label.

즉, 아이템의 완성 비율이 특정 비율 이하이기 때문에 아이템이 온라인 마켓에서 판매되는 아이템 중 어떤 아이템인지 정확히 판단할 수는 없지만 아이템이 모델의 어느 부분에 착용되었는지 여부에 따라 그 종류(예를 들어, 상의, 하의 등)를 확인할 수 있고, 특징 정보에 따라 색상, 무늬, 패턴 등을 확인할 수 있는 것이다. That is, since the completion ratio of the item is below a certain ratio, it is not possible to accurately determine which item the item is among the items sold in the online market, but depending on which part of the model the item is worn on the , bottoms, etc.) can be checked, and colors, patterns, patterns, etc. can be checked according to the characteristic information.

상술한 것과 같이, 완성 비율이 특정 비율 이상인 아이템의 개수에 따라 레이블의 개수가 변경될 수 있다. 예를 들어, 추천 아이템 검색부(170)는 완성 비율이 특정 비율 이상인 아이템의 개수가 하나이면 하나의 레이블이 추출될 것이고, 완성 비율이 특정 비율 이상인 아이템의 개수가 두 개이면 두 개의 레이블이 추출될 것이다. As described above, the number of labels may be changed according to the number of items having a completion ratio equal to or greater than a specific ratio. For example, the recommended item search unit 170 extracts one label if the number of items with a completion rate equal to or greater than a specific rate is one, and if the number of items with a completion rate equal to or greater than a specific rate is two, two labels are extracted. will be

따라서, 추천 아이템 검색부(170)는 레이블의 개수 및 레이블의 종류에 따라 아이템이 다른 아이템과 함께 코디되어 있는지 여부를 판단할 수 있다.Accordingly, the recommended item search unit 170 may determine whether an item is coordinated with another item according to the number of labels and the types of labels.

일 실시예에서, 추천 아이템 검색부(170)는 레이블의 개수가 두 개 이상인 경우 상기 레이블의 종류가 상이하면 상기 아이템이 다른 아이템과 함께 코디되어 있다고 판단할 수 있다. In an embodiment, when the number of labels is two or more and the types of labels are different, the recommended item search unit 170 may determine that the item is coordinated with another item.

상기의 실시예의 경우, 추천 아이템 검색부(170)는 마켓 아이템 데이터베이스에서 다른 아이템에 해당하는 레이블과 매칭되는 아이템을 추천 아이템으로 추출할 수 있다. In the case of the above embodiment, the recommended item search unit 170 may extract an item matching a label corresponding to another item from the market item database as a recommended item.

다른 일 실시예에서, 추천 아이템 검색부(170)는 레이블의 개수가 한 개이면 아이템이 다른 아이템과 함께 코디되어 있지 않다고 판단할 수 있다. 이러한 경우, 아이템을 검색 대상 아이템으로 설정한 후 이미지 유사도를 기준으로 상기 스타일 데이터베이스(150)에서 상기 검색 대상 아이템과 유사한 아이템을 검색하고, 유사한 아이템이 검색된 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정한다. In another embodiment, when the number of labels is one, the recommended item search unit 170 may determine that the item is not coordinated with another item. In this case, after setting the item as a search target item, an item similar to the search target item is searched in the style database 150 based on the image similarity, and an item of a different category from the similar item in the style image in which the similar item is searched is determined as a coordination item.

그 후, 추천 아이템 검색부(170)는 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상기 온라인 마켓 아이템 데이터베이스(130)를 검색하고, 상기 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 추출할 수 있다.Thereafter, the recommended item search unit 170 may search the online market item database 130 for the coordination item based on the image similarity, and extract an item similar to the coordination item as a recommended item.

보다 구체적으로, 본 발명의 실시예를 따르는 추천 아이템 검색부(170)는 아이템의 특징 정보를 추출한 후 특징 정보를 구조화할 수 있다. 이때, 추천 아이템 검색부(170)는 온라인 마켓 아이템 데이터베이스(130) 구축에 사용된 머신 러닝의 기법을 적용하여 아이템의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. More specifically, the recommended item search unit 170 according to an embodiment of the present invention may structure the characteristic information after extracting the characteristic information of the item. In this case, the recommended item search unit 170 may extract label and/or category information about the meaning of the item by applying the machine learning technique used to build the online market item database 130 . The label may be expressed as an abstract value, but may also be expressed in text form by interpreting the abstract value.

예를 들어, 본 발명의 실시예를 따르는 추천 아이템 검색부(170)는 아이템으로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 추천 아이템 검색부(170)는 여성, 원피스에 대한 레이블을 검색 대상 아이템의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 아이템 이미지의 특성을 설명하는 레이블로 활용할 수 있다. For example, the recommended item search unit 170 according to an embodiment of the present invention may extract labels for women, dresses, sleeveless, linen, white, and casual looks from the items. In this case, the recommended item search unit 170 uses the labels for women and dresses as category information of the items to be searched, and the labels for sleeveless, linen, white, and casual look are labels that describe the characteristics of the image of items other than the category. can be used as

이 후, 추천 아이템 검색부(170)는 검색 대상 아이템의 유사도를 기준으로 스타일 데이터베이스(150)를 검색할 수 있다. 이는 검색 대상 아이템과 유사한 아이템을 스타일 데이터베이스(150)에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것이다. Thereafter, the recommended item search unit 170 may search the style database 150 based on the similarity of the search target item. This is to search the style database 150 for an item similar to the search target item, and to check another item matching the similar item in the style image.

예를 들어, 추천 아이템 검색부(170)는 검색 대상 아이템과 스타일 이미지에 포함된 패션 아이템 아이템 이미지의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다. For example, the recommended item search unit 170 may calculate a similarity between the search target item and the feature values of the fashion item item image included in the style image, and check the item whose similarity is within a preset range.

나아가, 추천 아이템 검색부(170)는 온라인 마켓 아이템 데이터베이스(130)를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 검색 대상 아이템의 특징 값을 가공하고, 검색 대상 아이템과 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다. Furthermore, the recommended item search unit 170 processes the feature value of the search target item by reflecting the weights required by the plurality of layers of the artificial neural network model for machine learning configured for the online market item database 130 , and the search target At least one fashion item group included in the style book having a distance value within a predetermined range from the item may be selected, and items belonging to the group may be determined as similar items.

한편, 본 발명의 선호되는 실시예를 따르면, 추천 아이템 검색부(170)는 검색 대상 아이템의 유사도를 기준으로 스타일 데이터베이스(150)를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.Meanwhile, according to a preferred embodiment of the present invention, the recommended item search unit 170 searches the style database 150 based on the similarity of the search target item to determine the similar item, and in this case, in order to increase the accuracy of the image search, You can use the label and category information extracted from the image.

예를 들어, 추천 아이템 검색부(170)는 검색 대상 아이템과 스타일 데이터베이스(150)에 저장된 스타일 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 아이템들 중 레이블 및/또는 카테고리 정보가 검색 대상 아이템의 레이블 및/또는 카테고리 정보와 매칭되지 않는 아이템들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.For example, the recommended item search unit 170 calculates a similarity between a search target item and a feature value of a style image stored in the style database 150, and labels and/or category information among items with a similarity greater than or equal to a preset range. Similar items may be determined by excluding items that do not match the label and/or category information of the search target item.

다른 실시예를 따르면, 추천 아이템 검색부(170)는 검색 대상 아이템의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다. According to another embodiment, the recommended item search unit 170 may calculate the item similarity only in the style book having the label and/or category information matching the label and/or category information of the search target item.

상기의 실시예에서, 추천 아이템 검색부(170)는 검색 대상 아이템으로부터 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 검색 대상 아이템의 유사도를 기준으로 유사 아이템을 특정할 수 있다. In the above embodiment, the recommended item search unit 170 may extract a label from the search target item and specify a similar item based on the similarity of the search target item in a style book matching the label.

물론, 추천 아이템 검색부(170)는 검색 대상 아이템으로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스(150)에서 검색 대상 아이템과 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다. Of course, the recommended item search unit 170 may specify a similar item in the style database 150 based on the image similarity to the search target item without extracting a separate label from the search target item.

예를 들어, 검색 대상 아이템에 나뭇잎 무늬 원피스가 있는 경우, 추천 아이템 검색부(170)는 트로피컬이라는 레이블을 검색 대상 아이템으로부터 추출할 수 있다. 이후, 추천 아이템 검색부(170)는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다. For example, when the search target item includes a leaf pattern dress, the recommended item search unit 170 may extract a label called tropical from the search target item. Thereafter, the recommended item search unit 170 may specify a similar item having a similarity within a preset range to the leaf pattern dress in the style book clustered with the label tropical.

이 후, 추천 아이템 검색부(170)는 스타일북에서 검색된 유사 아이템과 함께 매칭된 다른 카테고리의 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 아이템 정보를 제공하기 위해, 상기 추천 아이템과 유사한 아이템을 온라인 마켓 아이템 데이터베이스(130)에서 검색한다.Thereafter, the recommended item search unit 170 determines an item of another category matched with the similar item found in the style book as a recommended item, and selects an item similar to the recommended item in order to provide item information on the recommended item. The online market item database 130 is searched.

보다 구체적으로, 추천 아이템 검색부(170)는 스타일 데이터베이스(150)에서 결정된 추천 아이템에 대해, 이미지 유사도를 기준으로 온라인 마켓 아이템 데이터베이스(130)를 검색할 수 있다. More specifically, the recommended item search unit 170 may search the online market item database 130 based on the image similarity for the recommended item determined in the style database 150 .

그런 다음, 추천 아이템 검색부(170)는 사용자 취향 정보를 반영하여 노출의 우선순위를 결정할 수 있다. 예를 들어, 사용자가 취향 정보가 오피스룩에 치중되어 있는 경우, 추천 아이템 검색부(170)는 오피스룩 레이블에 가중치를 두어 우선순위를 계산하고 계산된 우선순위에 따라 추천 아이템 정보를 제공할 수 있다. Then, the recommended item search unit 170 may determine the priority of exposure by reflecting user preference information. For example, when the user's taste information is focused on office look, the recommended item search unit 170 calculates a priority by weighting the office look label and provides recommended item information according to the calculated priority. have.

상술한 실시예와는 달리, 추천 아이템 검색부(170)는 온라인 마켓 아이템 데이터베이스(130) 및 스타일 데이터베이스(150)를 기초로 사용자 데이터베이스(110)에 저장된 사용자 취향에 해당하는 아이템을 검색하여 해당 아이템을 사용자 취향 아이템으로 결정한다. Unlike the above-described embodiment, the recommended item search unit 170 searches for an item corresponding to a user's taste stored in the user database 110 based on the online market item database 130 and the style database 150 and searches for the corresponding item. is determined as a user preference item.

보다 구체적으로, 추천 아이템 검색부(170)는 스타일 데이터베이스(150)를 검색하여 사용자 취향에 해당하는 아이템을 검색한 후, 스타일 데이터베이스(150)에서 검색된 아이템과 유사한 아이템을 온라인 마켓 아이템 데이터베이스(130)에서 검색하여 해당 아이템을 사용자 취향 아이템으로 결정할 수 있다. More specifically, the recommended item search unit 170 searches the style database 150 to search for an item corresponding to a user's taste, and then searches for an item similar to the item found in the style database 150 in the online market item database 130 . You can search in , and determine the corresponding item as a user preference item.

추천 아이템 제공부(180)는 온라인 마켓 서버로부터 복수의 웹 페이지 상에서 발생된 사용자 별 행동 신호를 수신하면, 행동 신호의 종류에 따라 추천 아이템 검색부(170)에서 검색된 사용자 취향 아이템을 제공한다.When the recommended item providing unit 180 receives a user-specific action signal generated on a plurality of web pages from the online market server, the recommended item providing unit 180 provides a user preference item searched for by the recommended item search unit 170 according to the type of the action signal.

즉, 추천 아이템 제공부(180)는 웹 페이지가 상품 상세 페이지를 지시하고 행동 신호가 미리 결정된 이벤트 신호에 해당하면 추천 아이템 검색부(170)에서 검색된 추천 아이템을 상기 웹 페이지 상에 제공할 수 있다.That is, when the web page indicates a product detail page and the action signal corresponds to a predetermined event signal, the recommended item providing unit 180 may provide the recommended item searched for by the recommended item search unit 170 on the web page. .

일 실시예에서, 추천 아이템 제공부(180)는 웹 페이지가 상품 상세 페이지를 지시하고 행동 신호가 상기 웹 페이지의 스크롤이 최하단까지 내려갔다가 다시 올라가는 것을 지시하는 경우, 추천 아이템 검색부(170)에서 검색된 추천 아이템을 상기 웹 페이지 상에 제공할 수 있다.In one embodiment, the recommended item providing unit 180, when the web page indicates the product detail page and the action signal indicates that the scroll of the web page goes down to the bottom and then goes up again, in the recommended item search unit 170 The searched recommendation item may be provided on the web page.

다른 일 실시예에서, 추천 아이템 제공부(180)는 웹 페이지가 상품 상세 페이지를 지시하고 행동 신호가 상품 상세 페이지에 등록된 아이템을 장바구니에 담은 후 장바구니 페이지로 이동하는 것을 지시하는 경우, 추천 아이템 검색부(170)에서 검색된 추천 아이템을 웹 페이지 상에 제공할 수 있다.In another embodiment, when the web page indicates the product detail page and the action signal instructs to put the item registered on the product detail page in the shopping cart and move to the shopping cart page, the recommended item providing unit 180 is a recommended item The recommended item searched for by the search unit 170 may be provided on the web page.

또 다른 일 실시예에서, 추천 아이템 제공부(180)는 웹 페이지가 상품 상세 페이지를 지시하고 행동 신호가 상품 상세 페이지에 등록된 아이템의 이미지를 클릭하는 것을 지시하는 경우, 추천 아이템 검색부(170)에서 검색된 추천 아이템을 웹 페이지 상에 제공할 수 있다.In another embodiment, the recommended item providing unit 180, when the web page indicates the product detail page and the action signal indicates to click the image of the item registered in the product detail page, the recommended item search unit 170 ), the searched recommendation item may be provided on the web page.

또 다른 일 실시예에서, 추천 아이템 제공부(180)는 웹 페이지가 메인 페이지를 지시하는 경우, 추천 아이템 검색부(170)에서 검색된 사용자 취향 아이템을 웹 페이지 상에 제공할 수 있다.In another embodiment, when the web page indicates the main page, the recommended item providing unit 180 may provide the user preference item searched for by the recommended item search unit 170 on the web page.

도 3은 본 발명에 따른 사용자 이벤트 정보 기반 추천 아이템 제공 방법의 일 실시예를 설명하기 위한 흐름도이다.3 is a flowchart illustrating an embodiment of a method for providing a recommended item based on user event information according to the present invention.

도 3을 참조하면, 온라인 마켓 어플리케이션(310)은 온라인 마켓에서 구입가능한 아이템에 대해, 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스를 생성한다(단계 S310).Referring to FIG. 3 , the online market application 310 extracts a label describing the contents of the item based on the image of the item for an item that can be purchased in the online market, and indexes the label to create the online market item database. generated (step S310).

온라인 마켓 어플리케이션(310)은 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지를 분석하여 스타일 데이터베이스를 생성한다(단계 S320).The online market application 310 generates a style database by analyzing a style image in which a person is wearing a plurality of fashion items (step S320).

온라인 마켓 어플리케이션(310)은 온라인 마켓 서버로부터 복수의 웹 페이지 상에서 각각 발생된 사용자 별 행동 신호를 수신한다(단계 S330).The online market application 310 receives each user-specific action signal generated on a plurality of web pages from the online market server (step S330).

온라인 마켓 어플리케이션(310)은 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부를 확인한다(단계 S340).The online market application 310 extracts an image for an item registered in the web page in which the action signal is generated, and then analyzes the image to determine whether it is coordinated with other items (step S340).

온라인 마켓 어플리케이션(310)은 확인 결과에 따라 상기 온라인 마켓 아이템 데이터베이스에서 아이템과 함께 코디되어 있는 다른 아이템을검색하여 추천 아이템으로 추출하거나 상기 온라인 마켓 아이템 데이터베이스 및 스타일 데이터베이스를 기초로 상기 아이템과 매칭되는 추천 아이템을 추출한다(단계 S350).The online market application 310 searches for another item coordinated with the item in the online market item database according to the confirmation result and extracts it as a recommended item, or a recommendation matching the item based on the online market item database and the style database The item is extracted (step S350).

온라인 마켓 어플리케이션(310)은 상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공한다(단계 S360)The online market application 310 provides the recommended item according to the type of the action signal (step S360).

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited to the above embodiments, which is, if one of ordinary skill in the field to which the present invention belongs, various modifications and Transformation is possible. Therefore, the idea of the present invention should be grasped only by the claims set forth below, and all equivalent or equivalent modifications thereof will be said to belong to the scope of the idea of the present invention.

100: 온라인 마켓 서버
200: 사용자 디바이스
110: 사용자 데이터베이스
120: 사용자 데이터베이스 관리부
130: 온라인 마켓 아이템 데이터베이스
140: 온라인 마켓 아이템 데이터베이스 관리부
150: 스타일 데이터베이스
160: 스타일 데이터베이스 관리부
170: 추천 아이템 검색부
180: 추천 아이템 제공부
100: online market server
200: user device
110: user database
120: user database management unit
130: Online Market Item Database
140: online market item database management unit
150: style database
160: style database management unit
170: recommended item search unit
180: recommended item providing unit

Claims (10)

온라인 마켓 어플리케이션을 통해 해당 온라인 마켓에서 구입가능한 아이템에 대해, 상기 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스에 저장하는 온라인 마켓 아이템 데이터베이스 관리부;
사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지를 분석하여 스타일 데이터베이스에 저장하는 스타일 데이터베이스 관리부;
상기 온라인 마켓 어플리케이션을 통해 표시된 복수의 웹 페이지 상에서 발생된 사용자 별 행동 신호를 수신하면, 상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부에 따라 상기 온라인 마켓 아이템 데이터베이스 및 상기 스타일 데이터베이스를 기초로 추천 아이템을 추출하는 추천 아이템 검색부; 및
상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공하는 추천 아이템 제공부를 포함하는 것을 특징으로 하는
사용자 디바이스.
An online market item database for extracting a label describing the content of an item based on an image of the item for an item that can be purchased in the online market through the online market application, indexing the label, and storing it in the online market item database Management;
a style database manager that analyzes a style image in which a person wears a plurality of fashion items and stores it in a style database;
When a user-specific behavior signal generated on a plurality of web pages displayed through the online market application is received, an image of an item registered in the web page where the behavior signal is generated is extracted, and then the image is analyzed and coordinated with other items a recommended item search unit for extracting a recommended item based on the online market item database and the style database according to whether or not the item is selected; and
and a recommendation item providing unit providing the recommended item according to the type of the action signal.
user device.
제1항에 있어서,
상기 추천 아이템 검색부는
상기 이미지를 분석하여 아이템을 추출한 후 상기 아이템의 특징 정보를 추출하고, 상기 아이템의 특징 정보를 기초로 상기 아이템의 완성 비율을 산출하고, 상기 완성 비율이 특정 비율에 해당하는 경우 상기 아이템 각각에서 레이블을 추출한 후 상기 레이블의 종류 및 개수에 따라 상기 아이템이 다른 아이템이 함께 코디되어 있는지 여부를 판단하는 것을 특징으로 하는
사용자 디바이스.
The method of claim 1,
The recommended item search unit
After extracting the item by analyzing the image, the characteristic information of the item is extracted, the completion ratio of the item is calculated based on the characteristic information of the item, and when the completion ratio corresponds to a specific ratio, a label from each of the items After extracting , it is characterized in that it is determined whether the item is coordinated with another item according to the type and number of the label.
user device.
제2항에 있어서,
상기 추천 아이템 검색부는
상기 레이블의 개수가 두 개 이상인 경우 상기 레이블의 종류가 상이하면 상기 아이템이 다른 아이템과 함께 코디되어 있다고 판단하여 상기 마켓 아이템 데이터베이스에서 상기 다른 아이템에 해당하는 레이블과 매칭되는 아이템을 추천 아이템으로 추출하는 것을 특징으로 하는
사용자 디바이스.
The method of claim 2,
The recommended item search unit
When the number of labels is two or more, if the types of labels are different, it is determined that the item is coordinated with another item, and an item matching the label corresponding to the other item is extracted from the market item database as a recommended item characterized by
user device.
제3항에 있어서,
상기 추천 아이템 검색부는
상기 레이블의 개수가 한 개이면 상기 아이템이 다른 아이템과 함께 코디되어 있지 않다고 판단하여 이미지 유사도를 기준으로 상기 스타일 데이터베이스에서 상기 아이템과 유사한 아이템을 검색하고, 유사한 아이템이 검색된 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하고, 상기 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상기 아이템 데이터베이스를 검색하고, 상기 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 추출하는 것을 특징으로 하는
사용자 디바이스.
The method of claim 3,
The recommended item search unit
If the number of the labels is one, it is determined that the item is not coordinated with other items, and an item similar to the item is searched in the style database based on the image similarity, and the similar item is matched with the similar item in the searched style image. An item of a different category is determined as a coordination item, the item database is searched for the coordination item based on image similarity, and an item similar to the coordination item is extracted as a recommended item.
user device.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 추천 아이템 제공부는
상기 웹 페이지가 상품 상세 페이지를 지시하고 상기 행동 신호가 미리 결정된 이벤트 신호에 해당하면 상기 추천 아이템을 상기 웹 페이지 상에 제공하는 것을 특징으로 하는
사용자 디바이스.
5. The method according to any one of claims 2 to 4,
The recommended item providing unit
When the web page indicates a product detail page and the action signal corresponds to a predetermined event signal, the recommended item is provided on the web page
user device.
사용자 디바이스에서 실행되는 사용자 이벤트 정보 기반 추천 아이템 제공 방법에 있어서,
온라인 마켓 어플리케이션을 통해 해당 온라인 마켓에서 구입가능한 아이템에 대해, 상기 아이템의 이미지를 기반으로 상기 아이템의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 인덱싱하여 온라인 마켓 아이템 데이터베이스를 생성하는 단계;
사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지를 분석하여 스타일 데이터베이스를 생성하는 단계;
온라인 마켓 어플리케이션을 통해 표시된 복수의 웹 페이지 상에서 각각 발생된 사용자 별 행동 신호를 수신하는 단계;
상기 행동 신호가 발생된 웹 페이지에 등록된 아이템에 대한 이미지를 추출한 후 상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부를 확인하는 단계;
상기 확인 결과에 따라 상기 온라인 마켓 아이템 데이터베이스에서 아이템과 함께 코디되어 있는 다른 아이템을검색하여 추천 아이템으로 추출하거나 상기 온라인 마켓 아이템 데이터베이스 관리부 및 스타일 데이터베이스 관리부를 기초로 상기 아이템과 매칭되는 추천 아이템을 추출하는 단계; 및
상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공하는 단계를 포함하는 것을 특징으로 하는
사용자 이벤트 정보 기반 추천 아이템 제공 방법.
A method for providing a recommended item based on user event information executed on a user device, the method comprising:
extracting a label describing the contents of the item based on the image of the item for an item that can be purchased in the online market through the online market application, and indexing the label to generate an online market item database;
generating a style database by analyzing a style image in which a person is wearing a plurality of fashion items;
receiving an action signal for each user, each generated on a plurality of web pages displayed through an online market application;
extracting an image of an item registered in a web page in which the action signal is generated, and then analyzing the image to determine whether it is coordinated with another item;
According to the confirmation result, another item coordinated with the item is retrieved from the online market item database and extracted as a recommended item, or a recommended item matching the item is extracted based on the online market item database management unit and the style database management unit step; and
and providing the recommended item according to the type of the action signal.
A method of providing recommended items based on user event information.
제6항에 있어서,
상기 이미지를 분석하여 다른 아이템과 함께 코디되어 있는지 여부를 확인하는 단계는
상기 이미지를 분석하여 아이템을 추출한 후 상기 아이템의 특징 정보를 추출하고, 상기 아이템의 특징 정보를 기초로 상기 아이템의 완성 비율을 산출하는 단계; 및
상기 완성 비율이 특정 비율에 해당하는 경우 상기 아이템 각각에서 레이블을 추출한 후 상기 레이블의 종류 및 개수에 따라 상기 아이템이 다른 아이템이 함께 코디되어 있는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는
사용자 이벤트 정보 기반 추천 아이템 제공 방법.
The method of claim 6,
The step of analyzing the image to determine whether it is coordinated with other items is
extracting an item by analyzing the image, extracting characteristic information of the item, and calculating a completion rate of the item based on the characteristic information of the item; and
and extracting a label from each of the items when the completion ratio corresponds to a specific ratio, and determining whether the item is coordinated with other items according to the type and number of the labels.
A method of providing recommended items based on user event information.
제7항에 있어서,
상기 아이템과 매칭되는 추천 아이템을 추출하는 단계는
상기 레이블의 개수가 두 개 이상인 경우 상기 레이블의 종류가 상이하면 상기 아이템이 다른 아이템과 함께 코디되어 있다고 판단하여 상기 마켓 아이템 데이터베이스에서 상기 다른 아이템에 해당하는 레이블과 매칭되는 아이템을 추천 아이템으로 추출하는 단계를 포함하는 것을 특징으로 하는
사용자 이벤트 정보 기반 추천 아이템 제공 방법.
The method of claim 7,
The step of extracting a recommended item matching the item is
When the number of labels is two or more, if the types of labels are different, it is determined that the item is coordinated with another item, and an item matching the label corresponding to the other item is extracted from the market item database as a recommended item comprising the steps
A method of providing recommended items based on user event information.
제8항에 있어서,
상기 아이템과 매칭되는 추천 아이템을 추출하는 단계는
상기 레이블의 개수가 한 개이면 상기 아이템이 다른 아이템과 함께 코디되어 있지 않다고 판단하여 이미지 유사도를 기준으로 상기 스타일 데이터베이스에서 상기 아이템과 유사한 아이템을 검색하는 단계;
상기 유사한 아이템이 검색된 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계;
상기 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상기 아이템 데이터베이스를 검색하는 단계; 및
상기 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 추출하는 단계를 포함하는 것을 특징으로 하는
사용자 이벤트 정보 기반 추천 아이템 제공 방법.
The method of claim 8,
The step of extracting a recommended item matching the item is
searching for an item similar to the item in the style database based on image similarity by determining that the item is not coordinated with another item if the number of the labels is one;
determining, as a coordination item, an item of a category different from the similar item in the style image in which the similar item is found;
searching the item database based on the image similarity for the coordination item; and
and extracting an item similar to the coordination item as a recommended item.
A method of providing recommended items based on user event information.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 행동 신호의 종류에 따라 상기 추천 아이템을 제공하는 단계는
상기 웹 페이지가 상품 상세 페이지를 지시하고 상기 행동 신호가 미리 결정된 이벤트 신호에 해당하면 상기 추천 아이템을 상기 웹 페이지 상에 제공하는 단계를 포함하는 것을 특징으로 하는
사용자 이벤트 정보 기반 추천 아이템 제공 방법.
10. The method according to any one of claims 7 to 9,
The step of providing the recommended item according to the type of the action signal includes:
and providing the recommended item on the web page when the web page indicates a product detail page and the action signal corresponds to a predetermined event signal
A method of providing recommended items based on user event information.
KR1020190152065A 2019-11-25 2019-11-25 Recommendation item based on user event information and apparatus performing the same KR20210063665A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152065A KR20210063665A (en) 2019-11-25 2019-11-25 Recommendation item based on user event information and apparatus performing the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190152065A KR20210063665A (en) 2019-11-25 2019-11-25 Recommendation item based on user event information and apparatus performing the same
PCT/KR2020/016676 WO2021107556A1 (en) 2019-11-25 2020-11-24 Method for providing recommended item based on user event information and device for executing same

Publications (1)

Publication Number Publication Date
KR20210063665A true KR20210063665A (en) 2021-06-02

Family

ID=76130668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152065A KR20210063665A (en) 2019-11-25 2019-11-25 Recommendation item based on user event information and apparatus performing the same

Country Status (2)

Country Link
KR (1) KR20210063665A (en)
WO (1) WO2021107556A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811849B2 (en) * 2009-12-24 2015-11-11 株式会社ニコン Search support system, search support method, and search support program
JP5476236B2 (en) * 2010-07-02 2014-04-23 日本電信電話株式会社 Coordinate recommendation device, coordinate recommendation method and program thereof
KR20160027848A (en) * 2014-09-02 2016-03-10 삼성전자주식회사 Contents search method and elctroninc devcie implementing the same
KR102037489B1 (en) * 2017-06-08 2019-10-28 오드컨셉 주식회사 Method, apparatus and computer program for providing advertising informations based on images
KR102127191B1 (en) * 2018-03-16 2020-06-26 오드컨셉 주식회사 Method, apparatus and computer program for providing shopping informations

Also Published As

Publication number Publication date
WO2021107556A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
KR102127191B1 (en) Method, apparatus and computer program for providing shopping informations
US20210390607A1 (en) Method, apparatus and computer program for style recommendation
KR101841522B1 (en) Method, apparatus and computer program for providing shopping informations
KR20210131198A (en) Method, apparatus and computer program for advertising recommended product
US20200342320A1 (en) Non-binary gender filter
CN112258260A (en) Page display method, device, medium and electronic equipment based on user characteristics
KR20210098884A (en) A method of providing a fashion item recommendation service using a body shape and purchase history
US20150365390A1 (en) Method of creating preference image identification code, method of diagnosing preference image identification code, and method of providing information using preference image identification code
KR102037489B1 (en) Method, apparatus and computer program for providing advertising informations based on images
KR102200038B1 (en) A method of providing a fashion item recommendation service to a user using a date
KR102113318B1 (en) Method, apparatus and computer program for providing shopping informations
KR20200141251A (en) Method of advertising personalized fashion item and server performing the same
KR102378072B1 (en) Method, apparatus and computer program for style recommendation
KR20210063665A (en) Recommendation item based on user event information and apparatus performing the same
KR102358775B1 (en) Method, apparatus and computer program for fashion item recommendation
KR102271090B1 (en) A method of providing a fashion item recommendation service to a user using calendar data
KR102285942B1 (en) A method of providing a fashion item recommendation service to a user
KR102295459B1 (en) A method of providing a fashion item recommendation service to a user using a date
KR20220039697A (en) Method, apparatus and computer program for style recommendation
EP3905180A2 (en) Method for providing fashion item recommendation service to user by using swipe gesture
KR102260683B1 (en) Method, apparatus and computer program for providing shopping informations
AL-JAF Similar image retrieval in electronic commerce for online shopping based on color and edge directivity descriptor/Elektronik ticarette çevrimiçi alışveriş için renk ve kenar yönelim açıklayıcı tabanlı benzer görüntü erişimi
KR20220044715A (en) Method, apparatus and computer program for fashion item recommendation

Legal Events

Date Code Title Description
E601 Decision to refuse application