WO2020171535A2 - 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법 - Google Patents

사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법 Download PDF

Info

Publication number
WO2020171535A2
WO2020171535A2 PCT/KR2020/002301 KR2020002301W WO2020171535A2 WO 2020171535 A2 WO2020171535 A2 WO 2020171535A2 KR 2020002301 W KR2020002301 W KR 2020002301W WO 2020171535 A2 WO2020171535 A2 WO 2020171535A2
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
product
online
item
Prior art date
Application number
PCT/KR2020/002301
Other languages
English (en)
French (fr)
Other versions
WO2020171535A3 (ko
Inventor
유애리
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to US17/431,696 priority Critical patent/US20220138831A1/en
Publication of WO2020171535A2 publication Critical patent/WO2020171535A2/ko
Publication of WO2020171535A3 publication Critical patent/WO2020171535A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to a method of providing a fashion item recommendation service to a user, and more particularly, to a method of providing a fashion item recommendation service using a user's body shape and purchase history.
  • a method of providing a fashion item recommendation service to a user using a service server collects purchase histories through an online-shop, and includes the purchase histories.
  • Creating a user preference database by clustering user body shape information and online-shop information from Upon receiving a request for a recommendation service from a specific user, checking online-shop information corresponding to the recommendation service based on a style label expressing a person's feeling as data recognizable by a computer; At least one for the specific user by performing collaborative filtering in the user preference database based on the checked online-shop information and the fashion item size range determined based on the user body type information Selecting a candidate item of; And for the selected at least one candidate item, a priority is set based on a purchase pattern of users having a body shape similar to the specific user among users using the checked online-shop, and according to the set priority. It characterized in that it comprises the step of providing as a recommended product.
  • purchase information is transmitted to an online-shop for the recommended product, and the user body shape information and online shop information extracted from the purchase information are transmitted to the user preference. It may further include the step of updating the database (update).
  • the style label is extracted from the content of the product and a style database composed of style images from which the style label is extracted, based on at least one of the user's click product, purchase product, or shopping cart product.
  • the coordination items may be arranged and provided according to a priority set according to a purchase pattern of the users based on the fashion item size range.
  • the user preference database may be updated by converting review data of users using the checked online-shop into data recognizable by a computer.
  • the online-shop information may be clustered in the user preference database by matching with a style label determined according to a weight of labels extracted from products sold in the online-shop.
  • a fashion item recommendation service can be efficiently provided using the user's body shape and purchase history.
  • FIG. 1 is a reference diagram illustrating a method of providing a fashion item recommendation service to a user using a service server according to an embodiment of the present invention.
  • FIG. 2 is a flow chart for providing a recommended service by a service server according to the present invention.
  • the user device on which product information is displayed is a mobile device, but the present invention is not limited thereto. That is, in the present invention, the user device should be understood as a concept including all types of electronic devices capable of requesting search and displaying advertisement information, such as a desktop, a smart phone, and a tablet PC.
  • the term displayed page in an electronic device refers to a screen loaded in an electronic device and/or content inside the screen so that it can be immediately displayed on the screen according to the user's scroll. It can be understood as an inclusive concept.
  • the entire execution screen of the application which is extended horizontally or vertically and displayed according to the user's scroll, may be included in the concept of the page, and the screen in the camera roll is also included in the concept of the page. I can.
  • FIG. 1 is a reference diagram illustrating a method of providing a fashion item recommendation service to a user using a service server according to an embodiment of the present invention.
  • the service server collects purchase histories through an online-shop, and creates a user preference database by clustering user body shape information and online-shop information from the purchase histories (S110).
  • the service server may extract user body type information from not only the history of purchasing products from online shops by a plurality of users through the service server, but also the purchase history of users from online shops, products viewed by users, or inquiry history.
  • the user body type information is data obtained by standardizing formal data such as color, pattern, shape, size, etc. from products purchased by the user, and atypical data such as post size information and post fit information. It can also be included.
  • review data such as size review information, fit review information, and ratings of users and purchasers for a specific product in a specific online-shop may be converted and included into data such as a label or vector that can be recognized by a computer.
  • the service server according to the present invention can create a user preference database without a user's input, but when additional data such as a user's review is received through a user's arbitrary input, advanced search becomes possible or a service Can be advanced.
  • the service server can cluster the body size range based on information such as the size of each product purchased by other users in an online-shop without receiving direct input from a specific user. have. That is, the service server performs clustering on a specific online-shop at the top of the classification structure, and performs classification or regression in the size information range at the bottom of the classification structure.
  • the service server can recognize the class or type of input data using the classification structure. Through clustering, the depth of the entire classification structure can be reduced and search speed can be accelerated. For example, the service server may improve recognition rate and regression accuracy by configuring the upper part of the classification structure with a small number and ensemble by configuring the lower part of the classification structure with a plurality.
  • the service server may cluster selected training data based on the global shape parameter.
  • the global shape parameter can be used to determine the global characteristics of the selected training data.
  • the service server can create clusters that are a set of training data through clustering.
  • the service server may select a global shape parameter to be tested from among heterogeneous global shape parameters.
  • the service server may determine a parameter value for the training data using the selected global type parameter.
  • the service server may determine parameter values for a plurality of global type parameters.
  • the service server may normalize a plurality of determined parameter values (Parameter Value Normalization).
  • the service server can normalize the size of the parameter values in order to evenly adjust the scale of the parameter values.
  • the service server can configure a parameter vector for each individual learning data.
  • the service server may randomly generate a threshold value and divide the parameter vectors into a plurality of data sets based on the generated threshold value.
  • the threshold value can be generated as an arbitrary number. Accordingly, the service server may determine an average and a standard deviation for a plurality of data sets, and determine a degree of separation between the data sets by using the determined average and standard deviation information.
  • the degree of separation between data sets represents the degree of separation between data sets. Accordingly, the service server may determine whether the determined separation degree satisfies a preset condition, and may store the division information according to the determination result.
  • the service server may determine that the degree of separation satisfies a preset condition.
  • the segmentation information may include information about a global shape parameter used to generate a plurality of clusters and information about threshold values used to divide a parameter vector into a plurality of data sets.
  • the user preference database performs clustering for online-shops at the top of the classification structure, so for a specific online-shop, human feelings such as #office look, #cute look, and #sexy look are converted into data that can be recognized by a computer. They can be classified based on the style label they represent. For example, it may be clustered in a user preference database by matching with a style label determined according to the weight of labels extracted from products sold in an online-shop.
  • the service server receives the recommendation service request, the online-shop information corresponding to the recommendation service is first checked based on the style label that expresses the feeling of a person in computer-recognizable data, and the checked online-shop information and the A candidate item is selected based on the user body type information of the user who requested the recommendation service (S120).
  • the service server performs collaborative filtering in the user preference database based on the fashion item size range determined based on the checked online-shop information and the user body shape information of the user who requested the recommendation service. At least one candidate item may be selected by performing.
  • a recommendation service may be provided to the user by using another online shop (for example, Shop #B) having a style label suitable for the recommendation service.
  • Collaborative filtering in the present invention Information such as user body shape information including color, pattern, shape, size, etc. of purchased products obtained from users who purchased products through multiple online shops, as well as size review information and fit review information According to this, it means a process of automatically predicting a fashion item suitable for the taste of the buyer. Therefore, not simply determining the average preference based on the sales volume of the purchased product, but based on the preferences and expressions of interest of users having a specific size range in a specific online-shop, similar colors, patterns, and labels are selected. Users can be identified, and products that have not yet been purchased from the identified users can be crossed and recommended, or related products can be recommended according to the tastes or lifestyles of classified customers. That is, the service server of the present invention is characterized in that by clustering online-shop information and user body type information, collaborative filtering is performed based on size rather than simple collaborative filtering when a user requests a recommended service.
  • the service server upon receiving a recommendation service request, is a style database composed of style images from which a style label is extracted based on at least one of a user's click product, a purchase product, or a shopping cart product.
  • a coordination item using a product database configured by indexing labels extracted from the contents of the product.
  • the coordination item may be provided with a label of an item of another category determined from a style image including an item similar to the user's purchase product, or may be provided with a coupon applicable when purchasing with a shopping cart product.
  • a suitable product may be additionally provided.
  • a coordination item based on a product a recommended coordination item can be provided according to a label for a product that is good to match together in the purchase history. Therefore, when the user has already purchased a product, it is advantageous in that it is easy to purchase an additional product because a suitable product is first recommended.
  • a recommendation service is provided based on a shopping cart product
  • a coupon that can be used when purchasing together with the shopping cart product may be provided. These coupons may be applied automatically even if there is no separate selection of the user.
  • a coordination item based on the user's fashion item size range, it may be arranged and provided according to a priority set according to a purchase pattern of users using an online-shop. For example, in the case of providing a coordination item together with a request for a recommendation service, when a product that matches the product of interest is recommended, people with a body similar to the user who requested the recommendation service may preferentially recommend a product that was purchased. .
  • the service server when a photo of a specific fashion item is extracted based on a specific online shop and size and body type information, the service server provides a recommended item of the same fashion category, or recommends another category item as a coordination item that goes well with it. Can provide.
  • the style database may include information on fashion images that can be referenced for fashion styles and coordination of a plurality of items among images collected on the web.
  • the style database may include an image (referred to herein as a style image) in which a plurality of fashion items are well matched among images collected online, and classification information on the style image.
  • the style image according to the embodiment of the present invention is image data created by combining a plurality of fashion items in advance by an expert or semi-professional, and is a fashion catalog that can be collected on the web, a fashion magazine pictorial image, a fashion show shot image, an idol costume image, a specific drama Or, the clothes image of a movie, SNS, the costume image of a blog celebrity, a street fashion image in a fashion magazine, an image coordinated with other items for the sale of fashion items, etc. may be exemplified.
  • the style image is stored in a style database according to an embodiment of the present invention, and can be used to determine other items that match a particular item well.
  • a style image can be used as a reference material that a computer can understand about the feeling of a human being that it suits generally. Since “matching well” with an arbitrary item is about human feeling, in order for a computer to recommend another item that “matches well” without human intervention, machine learning learned about matching multiple fashion items You will need a framework.
  • the service server may collect a style image worn by a person by combining a plurality of fashion items by an expert or a semi-professional, and create a style database.
  • the service server may learn the framework by applying the style database to the machine learning framework. For example, a machine learning framework that learns a large amount of style images matching a blue shirt and a brown tie could recommend a brown tie as a coordination item to a request for a blue shirt.
  • the service server may collect style images online.
  • the service server collects a list of web addresses such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., and checks the website to track links, and image information included on the website Can be collected.
  • the style database may include fashion items extracted from the above-described user images.
  • points for material compensation for the user related to the user image may be set. This is defined as a link point in the present invention, and can be used to compensate users in various forms such as points and mileage.
  • the service server can collect and index images from websites such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., but images together with index information from affiliated companies Information may be provided separately.
  • the service server may filter out images unsuitable for style recommendation among the collected images.
  • the service server may filter the remaining images, leaving only images including a person-shaped object among the collected images and including a plurality of fashion items.
  • the service server may determine a style image included in the style database by filtering the remaining images while leaving only images including a person-shaped object and a plurality of fashion items.
  • the service server may process the characteristics of the fashion item object image included in the style image. More specifically, the service server may extract the image feature of the fashion item object included in the style image and express the feature information as a vector value to generate the feature value of the fashion item object and structure feature information of the images.
  • the service server may extract a style label from the style image and cluster the style images based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel.
  • a label for a feeling that a person can feel from the appearance of a single fashion item included in a style image, a combination of a plurality of items, etc. can be extracted and used as a style label. For example, a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look may be exemplified as a style label.
  • the service server defines a style label in advance, creates a neural network model that learns the characteristics of an image corresponding to the style label, classifies objects in the style image, and extracts a label for the object. can do.
  • the service server may assign a corresponding label to an image that matches a specific pattern with a random probability through a neural network model that has learned a pattern of an image corresponding to each label.
  • the service server may learn characteristics of images corresponding to each style label to form an initial neural network model, and apply a large number of style image objects to it to more elaborately extend the neural network model. have.
  • the service server may apply style images to a neural network model formed in a hierarchical structure formed of a plurality of layers without additional learning about a label. Furthermore, a weight is assigned to the feature information of the style image according to the request of the layer, and product images are clustered using the processed feature information, and the celebrity look, magazine look, summer look, feminine look, and sexy look are added to the clustered image group. , Office look, drama look, Chanel look, etc. can be given a label that is interpreted post-mortem.
  • the service server clusters style images using the style label and can generate a plurality of style books. This is to be provided as a reference to the user.
  • a user may browse a specific stylebook among a number of stylebooks provided by the service server to find a favorite item, and may request product information search for the item.
  • the service server can pre-classify items with a very high appearance rate, such as white shirts, jeans, and black skirts.
  • items with a very high appearance rate such as white shirts, jeans, and black skirts.
  • jeans are a basic item in fashion, so their appearance in style images is very high. Therefore, no matter what item the user inquires about, the probability of matching jeans as a coordination item will be much higher than that of other items.
  • the service server can pre-classify items with a very high appearance rate in the style image as buzz items, and create a stylebook with a different version of one containing a buzz item and one not including a buzz item. have.
  • buzz items may be classified by reflecting time information. For example, when considering the fashion cycle of fashion items, items that temporarily disappear after a short period of one or two months, trendy items that return every season, and items that continue to be in fashion for a certain period of time can be considered. Therefore, by reflecting time information in the classification of buzz items, if a specific fashion item has a very high appearance rate during a certain period, the item can be classified as a buzz item together with information about the period. Classifying the buzz items as described above has an effect of being able to recommend the recommended item in consideration of whether the item to be recommended is in fashion or irrelevant to the fashion in a subsequent item recommendation step.
  • the service server may process a specific fashion item object included in a received request and search a style database based on image similarity. That is, the service server may search for a similar item in the style database by processing the image object specified as a search target.
  • the service server may extract features of an image object to be searched and structure specific information of images for search efficiency.
  • the service server may extract label and/or category information on the meaning of the object image to be searched by applying the machine learning technique used to construct the product image database to the processed object image to be searched.
  • the label may be expressed as an abstracted value, but may be expressed in text form by interpreting the abstracted value.
  • the service server may extract labels for women, dresses, sleeveless, linen, white, and casual look from the request object image.
  • the service server may use labels for women and dresses as category information of the requested object image, and labels for sleeveless, linen, white, and casual look may be used as label information describing characteristics of object images other than categories. .
  • the service server can search the style database based on the similarity of the requested object image. This is to search for items similar to the requested image in the style database, and to check other items that match the similar items in the style image.
  • the service server can use the request object image and fashion item object images included in the style image. The similarity of the feature values is calculated, and an item whose similarity is within a preset range can be checked.
  • the service server processes the feature value of the request image by reflecting the weights required by the plurality of layers of the artificial neural network model for machine learning configured for the product database, and processes the feature value of the request image within a certain range. At least one fashion item group included in the stylebook having a distance value may be selected, and items belonging to the group may be determined as similar items.
  • the service server searches the style database based on the similarity of the requested image to determine a similar item, and at this time, the label and category information extracted from the image are used to increase the accuracy of the image search. I can.
  • the service server calculates the similarity between the requested image and the feature value of the style database image, and the label and/or category information is not matched with the label and/or category information of the requested image among products having a similarity of more than a preset range. Similar items can be determined by excluding products.
  • the service server may calculate the item similarity only in the style book having the label and/or category information matching the label and/or category information of the requested image.
  • the service server may extract a style label from the requested image and specify a similar item based on the similarity of the request and the image in a style book matching the label.
  • the service server may not extract a separate label from the requested image, and may specify a similar item based on the similarity of the requested image and the image in the style database.
  • the service server may extract a label of tropical from the request. Thereafter, the service server may specify a similar item having a similarity of a predetermined range with a leaf pattern dress in a style book clustered with a label of tropical.
  • the service server may provide the user device with a style image in which the similar item retrieved from the style book is included and the similar item is combined with other fashion items.
  • a style image in which a straw hat, a ratan bag, and the like are combined with the leaf pattern dress can be provided to the user.
  • the service server may determine a coordination item by checking fashion items of other categories included in the style image by combining it with the similar item.
  • a specific fashion item inquired by the user may be searched based on image similarity in the style database, and fashion items of another category matched together with similar items in a style image including similar items may be considered as recommended items. This is because the service server according to an embodiment of the present invention learns that other items matched with the requested item in the style image are well matched.
  • the service server may determine a product similar to the coordination item as a recommended product from the product database.
  • the product database may include detailed product information such as origin, size, sales place, and wearing shots of products sold in the online market, and has a characteristic of configuring product information based on the image of the product.
  • the service server may collect product information not only of product information of a pre-affiliated online market, but also of products sold in an arbitrary online market.
  • the service server may have a crawler, a parser, and an indexer to collect web documents of an online store and access text information such as product images, product names, and prices included in the web documents.
  • a crawler can deliver product information-related data to a service server by collecting a list of web addresses of online stores, checking websites, and tracking links.
  • the parser analyzes the web document collected during the crawling process to extract product information such as product images, product prices, and product names included in the page, and the indexer can index the corresponding location and meaning.
  • the service server may collect and index product information from a website of an online store, but may receive product information in a preset format from an affiliate market.
  • the service server can process product images. This is to determine a recommended item based on whether or not the product image is similar, without relying on text information such as a product name or sales category.
  • a recommended item may be determined based on whether or not a product image is similar, but the present invention is not limited thereto. That is, depending on the implementation, the product image as well as the product name or sales category may be used alone or as an auxiliary request.
  • the service server may create a database by structuring text information such as product name and product category in addition to the product image.
  • the service server may extract features of a product image and index feature information of the images for search efficiency.
  • the service server may detect characteristic areas of product images (Interest Point Detection).
  • the feature region refers to a main region for extracting a feature descriptor, that is, a feature descriptor of an image for determining whether or not the images are identical or similar.
  • such a characteristic area is a contour line included in an image, a corner such as a corner among the contours, a blob that is distinguished from the surrounding area, an area that is invariant or co-variable according to the transformation of the image, or more than the ambient brightness.
  • They can be poles with dark or bright features, and can target patches (fragments) of the image or the entire image.
  • the service server may extract a feature descriptor from the feature domain.
  • a feature descriptor is a representation of the features of an image as a vector value.
  • such a feature descriptor may be calculated by using the location of the feature region for the corresponding image, or brightness, color, sharpness, gradient, scale, or pattern information of the feature region.
  • the feature descriptor may be calculated by converting a brightness value, a brightness change value, or a distribution value of the feature region into a vector.
  • a feature descriptor for an image is not only a local descriptor based on a feature region as described above, but also a global descriptor, a frequency descriptor, a binary descriptor, or It can be expressed as a neural network descriptor.
  • the feature descriptor is a global descriptor that converts and extracts the brightness, color, sharpness, gradient, scale, pattern information, etc. of each of the entire image or the image divided by a random criterion, or Global descriptor) can be included.
  • a feature descriptor is a frequency descriptor that converts and extracts the number of times that specific descriptors classified in advance are included in an image and the number of global features such as a previously defined color table, etc.
  • Learning in a layer of a binary descriptor or neural network that extracts bitwise whether or not the values of each element constituting a descriptor are larger or smaller than a specific value and converts it to an integer type.
  • it may include a neural network descriptor for extracting image information used for classification.
  • a feature information vector extracted from a product image can be converted to a lower dimension.
  • feature information extracted through an artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector in an appropriate range in consideration of the resources required for search.
  • the feature information vector may be converted using various dimensional reduction algorithms such as PCA and ZCA, and the feature information converted into a lower dimensional vector may be indexed into a corresponding product image.
  • the service server may extract a label for the meaning of the image by applying a machine learning technique based on the product image.
  • the label may be expressed as an abstracted value, but may be expressed in text form by interpreting the abstracted value.
  • the service server may define a label in advance, generate a neural network model that learns characteristics of an image corresponding to the label, classify objects in a product image, and extract a label for the object.
  • the service server may assign a corresponding label to an image that matches a specific pattern with a random probability through a neural network model that has learned a pattern of an image corresponding to each label.
  • the service server may learn characteristics of images corresponding to each label to form an initial neural network model, and apply a large number of product image objects to the neural network model to more elaborately extend the neural network model. Furthermore, if the product is not included in any group, the service server may create a new group including the product.
  • the service server pre-defines labels that can be used as meta information about products such as women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, and abstract feelings (innocent, chic, vintage, etc.).
  • a neural network model having learned features of an image corresponding to the label may be generated, and the neural network model may be applied to a product image of an advertiser to extract a label for an advertisement target product image.
  • the service server may apply product images to a neural network model formed in a hierarchical structure formed of a plurality of layers without additional learning about the label. Furthermore, a weight may be assigned to the feature information of the product image according to a request of a corresponding layer, and product images may be clustered using the processed feature information.
  • additional analysis may be required in order to check whether the corresponding images are clustered according to which attribute of the feature value, that is, to connect the clustering result of the images with a concept that can be recognized by a real human being.
  • the service server classifies products into three groups through image processing, and extracts labels labeled A for the features of the first group, B for the features of the second group, and C for the features of the third group. It needs to be interpreted posteriorly that, A, B, C mean, for example, women's tops, blouses, and plaids, respectively.
  • the service server assigns labels that can be interpreted posteriorly to the clustered image group as women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns of shapes, materials, colors, and abstract feelings (innocent, chic, vintage, etc.).
  • Labels assigned to an image group to which an individual product image belongs may be extracted as a label of a corresponding product image.
  • a service server may express a label extracted from a product image as text, and a label in a text form may be used as tag information of a product.
  • the tag information of the product is used based on the image of the product. Since it can be extracted mathematically without human intervention, the reliability of tag information is improved and the accuracy of the search is improved.
  • the service server may generate category information of a corresponding product based on the product image content. For example, if a label for an arbitrary product image is extracted as women, tops, blouses, linen, stripes, long sleeves, blue, and office look, the service server uses labels for women, tops, and blouses as the category information of the product. In addition, labels for linen, stripes, long sleeves, blue, and office look can be used as label information describing the characteristics of products other than categories. Alternatively, the service server may index the product without distinguishing between the label and the category information. In this case, the product category information and/or label may be used as a parameter to increase the reliability of image search.
  • the service server determines an item similar to the coordination item as a recommended item from a product database configured by indexing the label extracted from the contents of the product, and provides product information on the recommended item. Products can be searched in the product database.
  • the service server may search a product database based on image similarity for the coordination item determined using the style database. To this end, the service server may extract features of the coordination item object and structure specific information of images for efficiency of search.
  • the service server may search a product database based on the similarity of object images. For example, the service server may calculate a similarity between the recommended item image and feature values of the product image included in the product database, and determine a product having a similarity within a preset range as the recommended product.
  • the service server processes the feature value of the recommended item image by reflecting the weights required by the plurality of layers of the artificial neural network model for machine learning configured for the product database, and processes a distance within a certain range. At least one product group having a value may be selected, and products belonging to the group may be determined as recommended products.
  • the service server may specify a recommended product based on a label extracted from the recommended item object.
  • the service server will search for object images and search targets only for product groups having women's tops as higher category information in the product database. Similarity can be calculated.
  • the service server may select products having a similarity greater than or equal to a preset range as recommendation candidate products, and exclude products whose subcategory information is not a blouse from the recommendation candidate products.
  • products whose sub-category information is indexed by blouses can be selected as advertisement items.
  • the service server is a product that has a female top, blouse, long sleeve, lace, and collar neck as a label in the product database. It is also possible to calculate the similarity of the recommended item and image for only the group.
  • the service server sets a priority for the selected at least one candidate item based on a purchase pattern of users with a body shape similar to the specific user among users using the checked online-shop, and according to the set priority.
  • a recommended product S130.
  • Service can be provided.
  • the service server may expose items to be purchased together to the user device based on individual products contained in the shopping cart. For example, if the individual products in the shopping cart are skirts and pants, recommended items may be exposed in a shopping cart or a part of the page (for example, at the bottom) (for example, in the form of a grid at the bottom of the page).
  • priority may be set based on a user preference database.
  • the service server provides an option of recommending a recommended product or coordination product in the form of a layer popup when a user requesting the recommendation service clicks the product without moving a separate page so as not to leave the page. And, if the user selects an option, it can be made available to order together.
  • the purchase information is delivered to the online-shop for the recommended product, and the user body shape information and online shop information extracted from the purchase information are stored in the user preference database. You can also update it. That is, review data of users using the checked online-shop may be converted into data recognizable by a computer and updated in a user preference database.
  • FIG. 2 is a flow chart for providing a recommended service by a service server according to the present invention.
  • Fig. 2 the contents overlapping with the contents described in Fig. 1 are replaced with the contents described above.
  • the service server may collect purchase histories from external servers (eg, a plurality of online-shops) (S210). That is, in order to extract the user's body type information, not only the purchase history of the product, but also the purchase history of users from online shops, the product viewed by the users, or the inquiry history of the inquiry can be collected from an external online-shop server.
  • external servers eg, a plurality of online-shops
  • the service server generates a user preference database using specific online-shop and user body shape information based on the collected purchase history (S220).
  • the service server may extract style label and user body type information determined to be necessary for the user in relation to the recommended service (S230).
  • the service server checks the user's purchase history and selects an appropriate online shop according to the style label (S240). In this case, if the user's purchase history and the style label of the selected online shop match, the recommended product is provided based on the online shop, but if the user's purchase history and the style label of the recommended service do not match, the style You can provide a recommendation service by selecting an online shop that matches the label.
  • the service server selects a clustered recommended product based on the user's body shape information based on the selected online shop (S250)
  • the service server provides the recommended product to the user device (S260), and checks whether to purchase the recommended product from the user device (S270).
  • the service server may recommend a recommended product or a coordination product in the form of a layer pop-up when a user who has requested the recommendation service clicks a corresponding product without moving a separate page so as not to leave the page.
  • the service server transmits purchase information about the recommended product to the corresponding online shop (S280).
  • the user fashion database may include information on fashion items, and may include the size of the fashion item, a label expressing the feeling that a person feels in the fashion item as computer-recognizable data, and a picture when a user fits it.
  • the user's fashion database may contain necessary size information such as a user's top, bottom, dress, etc., and the appearance when actually fitting clothes is managed as a photo, allowing users to fit their body shape into consideration. You can make this possible.
  • the fashion items are stored so as to include personal feelings such as #comfort, #tight, and #appropriate, respectively, so that the user can refer to it when considering a fit when selecting a fashion item in the future.
  • image information when the user fits it information that can estimate the user's taste, such as user's purchase data and browsing time data, user's size information, and preferred price range for online shopping for fashion items, and usage , May contain information about the brand.
  • the user fashion database may include user identification information, user behavior information for estimating the user size, user size estimated from the behavior information, and user size information directly received from the user device.
  • the service server provides a query to the user device for the user's age, gender, occupation, fashion field of interest, pre-owned items, etc., receives a user input for the query, generates user size information, and generates user fashion information. It can be reflected in the database.
  • the service server includes a time when a user browses an arbitrary style book provided through an application according to an embodiment of the present invention, item information for generating a like tag, a request item, information on fashion items purchased through the application or other application, and By combining user behavior information for estimating the user size, such as time information at which the information was generated, preference information for a style that the user is interested in at a corresponding time may be generated and reflected in the user fashion database.
  • the service server may generate the user's body shape information and reflect it in the user fashion database. For example, if a user device generates a body image photographing a user's body from multiple angles and transmits it to the service server, the service server uses a machine learning framework that learns human body features from a large amount of body images. Can be created.
  • the user body model may include not only size information of each part of the user's body, but also information about a ratio of each part of the user's body and skin tone.
  • the service server may generate preference information for a user's fashion item and reflect it in the user fashion database.
  • the preference information may include information on a user's preferred price, preferred brand, and preferred use. For example, when a user device browses or purchases a fashion item through an online market, the service server creates information on the preferred price, preferred brand, and preferred purpose by reflecting different weights for the browsing or purchase, and this is the user's fashion database. Can be reflected in.
  • the service server has a characteristic of estimating a user's "flavor" corresponding to a human feeling, generating the estimated taste information in a form recognizable by a computer, and reflecting it in a user fashion database.
  • the service server may extract a label for estimating the user's taste from the user's behavior information.
  • the label may be extracted as the meaning of fashion items included in user behavior information, such as a style book viewed by the user, an item for which a like tag is generated, a request item, and a purchase item.
  • the label may be generated as information on a look and feel such as appearance and feeling of fashion items included in user behavior information, and trends.
  • the label generated from the user behavior information is applied with a weight according to the user behavior, and the service server may combine it to generate user size information that estimates the user size and store it in the user fashion database.
  • User size information, user body shape information, and user preference information included in the user fashion database may be used to set exposure priority for recommended items or recommended products.
  • the fashion item recommendation service can be applied to various service fields by using the user's body shape and purchase history as described above.

Abstract

본 발명은 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 관한 것이다. 구체적으로, 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 있어서, 온라인-샵(online-shop)을 통한 구매 이력들을 수집하고, 구매 이력들로부터 사용자 체형 정보 및 온라인-샵 정보를 클러스터링(clustering)하여 사용자 선호도 데이터베이스를 생성하는 단계, 특정 사용자로부터 추천 서비스 요청을 수신하면, 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블에 기반하여 추천 서비스에 대응되는 온라인-샵 정보를 체크하는 단계, 체크된 온라인-샵 정보와 사용자 체형 정보를 바탕으로 결정된 패션 아이템 사이즈 범위(size range)를 기반으로, 사용자 선호도 데이터베이스 내에서 협업 필터링(collaborative filtering)을 수행하여 특정 사용자를 위한 적어도 하나의 후보 아이템을 선정하는 단계 및 선정된 적어도 하나의 후보 아이템에 대하여, 체크된 온라인-샵을 이용한 사용자들 중 특정 사용자와 유사한 체형을 가진 사용자들의 구매 패턴을 기반으로 우선 순위를 설정하고, 설정된 우선 순위에 따라 추천 상품으로 제공하는 단계를 포함하는 것을 특징으로 한다.

Description

사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
본 발명은 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 관한 것으로서, 보다 상세하게는 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법에 관한 것이다.
최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다.
한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고이슈가 발생할 수 있기 때문이다.
이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다.
상술한 바와 같은 논의를 바탕으로 이하에서는 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일 양상인 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법은, 온라인-샵(online-shop)을 통한 구매 이력들을 수집하고, 상기 구매 이력들로부터 사용자 체형 정보 및 온라인-샵 정보를 클러스터링(clustering)하여 사용자 선호도 데이터베이스를 생성하는 단계; 특정 사용자로부터 추천 서비스 요청을 수신하면, 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블에 기반하여 상기 추천 서비스에 대응되는 온라인-샵 정보를 체크하는 단계; 상기 체크된 온라인-샵 정보와 상기 사용자 체형 정보를 바탕으로 결정된 패션 아이템 사이즈 범위(size range)를 기반으로, 상기 사용자 선호도 데이터베이스 내에서 협업 필터링(collaborative filtering)을 수행하여 상기 특정 사용자를 위한 적어도 하나의 후보 아이템을 선정하는 단계; 및 상기 선정된 적어도 하나의 후보 아이템에 대하여, 상기 체크된 온라인-샵을 이용한 사용자들 중 상기 특정 사용자와 유사한 체형을 가진 사용자들의 구매 패턴을 기반으로 우선 순위를 설정하고, 상기 설정된 우선 순위에 따라 추천 상품으로 제공하는 단계를 포함하는 것을 특징으로 한다.
나아가, 상기 추천 상품에 대한 구매 결정이 진행되면, 상기 추천 상품에 대한 온라인-샵(online-shop)으로 구매 정보를 전달하고, 상기 구매 정보로부터 추출된 사용자 체형 정보 및 온라인 샵 정보를 상기 사용자 선호도 데이터 베이스에 업데이트(update)하는 단계를 더 포함할 수 있다.
나아가, 상기 추천 서비스 요청을 수신하면, 상기 사용자의 클릭(click) 상품, 구매 상품 또는 장바구니 상품 중 적어도 하나를 기준으로, 상기 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스 및 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스를 이용하여 코디네이션 아이템을 제공하는 단계를 더 포함하며, 상기 코디네이션 아이템은, 상기 사용자의 구매 상품과 유사한 아이템이 포함된 스타일 이미지로부터 결정된 다른 카테고리의 아이템의 레이블과 함께 제공되거나, 상기 장바구니 상품과 함께 구매하는 경우 적용가능한 쿠폰(coupon)과 함께 제공되는 것을 특징으로 할 수 있다. 더 나아가, 상기 코디네이션 아이템은, 상기 패션 아이템 사이즈 범위를 기반으로, 상기 사용자들의 구매 패턴에 따라 설정된 우선 순위에 따라 정렬되어 제공되는 것을 특징으로 할 수 있다.
나아가, 상기 사용자 선호도 데이터베이스는, 상기 체크된 온라인-샵을 이용한 사용자들의 리뷰 데이터를 컴퓨터가 인식 가능한 데이터로 변환하여 업데이트되는 것을 특징으로 할 수 있다.
나아가, 상기 온라인-샵 정보는, 상기 온라인-샵에 판매되는 상품들로부터 추출된 레이블의 비중에 따라 결정된 스타일 레이블과 매칭(matching)되어 상기 사용자 선호도 데이터베이스에 클러스터링되는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따르면, 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 효율적으로 제공할 수 있다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위한 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법을 설명하기 위한 참고도이다.
도 2는, 본 발명에 따른 서비스 서버의 추천 서비스 제공을 위한 순서도이다.
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다.
이하에서는 상품 정보가 표시되는 사용자 디바이스는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.
또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.
나아가, 본 명세서에서 사용자 디바이스에 표시된 페이지(displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.
그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
도 1은 본 발명의 일 실시예에 따른, 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법을 설명하기 위한 참고도이다.
서비스 서버는 온라인-샵(online-shop)을 통한 구매 이력들을 수집하고, 구매 이력들로부터 사용자 체형 정보 및 온라인-샵 정보를 클러스터링(clustering)하여 사용자 선호도 데이터베이스를 생성한다(S110).
서비스 서버는, 다수의 사용자들이 서비스 서버를 통하여 온라인 샵들로부터 상품을 구매한 이력뿐만이 아니라, 온라인 샵들로부터 사용자들의 구매이력, 사용자들이 보았던 상품이나 조회한 조회이력으로부터 사용자 체형 정보를 추출할 수 있다. 여기서, 사용자 체형 정보는, 사용자가 구매한 상품들로부터 컬러, 패턴, 형태(shape), 사이즈 등과 같은 정형적 데이터 및 사이즈 후기 정보, 핏(fit) 후기 정보와 같은 비정형적 데이터를 정형화한 데이터를 포함할 수 도 있다. 예를 들어, 특정 온라인-샵에서 특정 제품에 대한 사용자·구매자들의 사이즈 후기 정보, 혹은 핏 후기 정보, 평점과 같은 리뷰 데이터를 컴퓨터가 인식가능한 레이블, 벡터와 같은 데이터로 변환하여 포함할 수 있다. 또한, 본 발명에 따른 서비스 서버는 사용자의 입력이 없이도 사용자 선호도 데이터베이스를 생성할 수 있으나, 사용자등의 임의 입력을 통하여 사용자의 리뷰(review)등과 같은 추가 데이터를 받을 경우 고급검색이 가능해지거나 또는 서비스가 고도화될 수 있다.
따라서, 특정 온라인-샵을 통한 구매 이력등과 같은 데이터가 축적되는 경우, 사용자 체형 정보를 점점 더 세분화 함으로써, 추천 서비스가 요청되는 경우 해당 온라인-샵의 사용자들이 주로 구매하였단 상품이 우선적으로 정렬(sorting)될 수 있다.
이에 따라, 서비스 서버는 특정 사용자에게 직접 입력(input)을 받지 않고, 온라인-샵(online-shop)에서 다른 사용자들이 구매한 상품들의 각각의 사이즈와 같은 정보를 기반으로 신체 사이즈 범위를 클러스터링 할 수 있다. 즉, 서비스 서버는, 분류 구조의 상단에 특정 온라인 샵(online-shop)에 대해 클러스터링(clustering)을 수행하고, 분류 구조의 하단에서 사이즈 정보 범위에서는 인식(Classification) 또는 회귀(Regression)를 수행할 수 있다. 서비스 서버는 분류 구조를 이용하여 입력 데이터의 클래스(class) 또는 종류를 인식할 수 있다. 클러스터링을 통해 전체 분류 구조의 깊이(depth)가 줄어들고 탐색 속도가 빨라질 수 있다. 예를 들어, 서비스 서버는 분류 구조의 상단을 적은 수로 구성하고, 분류 구조의 하단을 다수로 구성하여 앙상블(Ensemble)함으로써 인식률 및 회귀 정확도를 개선시킬 수 있다. 예를 들어, 서비스 서버는 전역적 형태 파라미터에 기초하여 선택된 학습 데이터를 클러스터링할 수 있다. 전역적 형태 파라미터는 선택된 학습 데이터의 전역적인 특징을 결정하는데 이용될 수 있다. 서비스 서버는 클러스터링을 통해 학습 데이터의 집합인 클러스터들을 생성할 수 있다. 특히, 서비스 서버는 이종의 전역적 형태 파라미터들(Heterogeneous Global Shape Parameters) 중에서 테스트할 전역적 형태 파라미터를 선택할 수 있다. 그 후, 서비스 서버는 선택한 전역적 형태 파라미터를 이용하여 학습 데이터에 대한 파라미터 값을 결정할 수 있다. 서비스 서버는 복수 개의 전역적 형태 파라미터들에 대해 파라미터 값을 결정할 수 있다. 서비스 서버는 결정된 복수 개의 파라미터 값들을 정규화(Parameter Value Normalization)할 수 있다. 서비스 서버는 파라미터 값들의 스케일을 균등하게 조정하기 위해 파라미터 값들의 크기를 정규화할 수 있다. 그 후, 서비스 서버는 개별 학습 데이터마다 파라미터 벡터(Parameter Vector)를 구성할 수 있다. 서비스 서버는 임계값(threshold value)을 랜덤하게 생성하고, 생성된 임계값에 기초하여 파라미터 벡터들을 복수 개의 데이터 세트(data set)들로 분할할 수 있다. 임계값은 임의(arbitrary)의 개수로 생성될 수 있다. 이에 따라, 서비스 서버는 복수 개의 데이터 세트들에 대해 평균 및 표준 편차를 결정하고, 결정된 평균 및 표준 편차 정보를 이용하여 데이터 세트들 간의 분리도를 결정할 수 있다. 데이터 세트들 간의 분리도는 데이터 세트들 간에 서로 분리된 정도를 나타낸다. 따라서, 서비스 서버는 결정된 분리도가 미리 설정된 조건을 만족하는지 여부를 판단하고, 판단 결과에 따라 분할 정보를 저장할 수 있다. 예를 들어, 다른 전역적 형태 파라미터에 기초하여 결정된 복수의 분리도들 중 현재 결정된 분리도가 가장 큰 경우, 서비스 서버는 분리도가 미리 설정된 조건을 만족하는 것으로 결정할 수 있다. 분할 정보는 복수 개의 클러스터들을 생성하는데 이용된 전역적 형태 파라미터에 관한 정보 및 파라미터 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 임계값들에 관한 정보를 포함할 수 있다.
여기서, 사용자 선호도 데이터베이스는 분류 구조의 상단에서 온라인-샵에 대한 클러스터링을 수행하므로, 특정 온라인-샵에 대하여 #오피스룩, #큐트룩, #섹시룩과 같이 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블에 기반하여 분류될 수 있다. 예를 들어, 온라인-샵에 판매되는 상품들로부터 추출된 레이블의 비중에 따라 결정된 스타일 레이블과 매칭(matching)되어 사용자 선호도 데이터베이스에 클러스터링될 수 있다.
따라서, 서비스 서버가 추천 서비스 요청을 수신하면, 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블에 기반하여 추천 서비스에 대응되는 온라인-샵 정보를 먼저 체크하고, 체크된 온라인-샵 정보와 추천 서비스를 요청한 사용자의 사용자 체형 정보를 바탕으로 후보 아이템을 선정한다(S120). 이 때, 서비스 서버는, 체크된 온라인-샵 정보와 추천 서비스를 요청한 사용자의 사용자 체형 정보를 바탕으로 결정된 패션 아이템 사이즈 범위(size range)를 기반으로, 사용자 선호도 데이터베이스 내에서 협업 필터링(collaborative filtering)을 수행하여 적어도 하나의 후보 아이템을 선정할 수 있다.
나아가, 서비스 서버는 특정 온라인 샵(예를 들어, Shop #A)을 주로 이용하는 이용자의 추천 서비스를 요청하였으나, 특정 온라인 샵에서 추천 서비스에 적합한 패션 아이템을 판단할 수 없는 경우(예를 들어, 스타일 레이블이 부적합한 경우)에는, 해당 추천 서비스에 적합한 스타일 레이블을 가지는 다른 온라인 샵(예를 들어, Shop #B)를 이용하여 사용자에게 추천 서비스를 제공할 수 도 있다.
본 발명에서의 협업 필터링(collaborative filtering)은. 다수의 온라인 샵을 통하여 제품을 구매한 사용자들로부터 얻은 구매 상품들의 컬러, 패턴, 형태(shape), 사이즈 등을 포함하는 사용자 체형 정보뿐만 아니라, 사이즈 후기 정보, 핏(fit) 후기 정보와 같은 정보에 따라, 구매자의 기호에 맞을만한 패션 아이템을 자동으로 예측해주는 과정을 의미한다. 따라서, 단순히 구매 상품의 판매량만을 기준으로 평균적인 선호도를 결정하는 것이 아니라, 특정 온라인-샵에서 특정한 사이즈의 범위를 가지는 사용자들의 선호도와 관심 표현을 바탕으로 선호도, 관심에서 비슷한 컬러, 패턴, 레이블을 가진 사용자들을 식별하고, 이렇게 식별된 사용자들로부터 서로 아직 구매되지 않은 상품들을 교차, 추천하거나 분류된 고객의 취향이나 생활 형태에 따라 관련 상품을 추천할 수 있다. 즉, 본 발명의 서비스 서버는 온라인-샵 정보와 사용자 체형 정보를 클러스터링함으로써, 사용자의 추천 서비스 요청시 단순한 협업 필터링(collaborative filtering)이 아니라, 사이즈를 기반으로 협업 필터링을 수행한다는 특징이 있다.
뿐만 아니라, 본 발명에 따른 서비스 서버는, 추천 서비스 요청을 수신하면, 사용자의 클릭(click) 상품, 구매 상품 또는 장바구니 상품 중 적어도 하나를 기준으로, 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스 및 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스를 이용하여 코디네이션 아이템을 제공할 수 도 있다. 코디네이션 아이템은, 사용자의 구매 상품과 유사한 아이템이 포함된 스타일 이미지로부터 결정된 다른 카테고리의 아이템의 레이블과 함께 제공되거나, 장 바구니 상품과 함께 구매하는 경우 적용가능한 쿠폰(coupon)과 함께 제공될 수 있다.
구체적으로, 추천 서비스를 요청한 사용자가 서비스 서버를 통하여 제공된 상품 페이지를 클릭하거나, 구매 상품, 장바구니에 담겨 있는 상품을 기준으로 코디하였을 때 어울릴만한 상품을 추가적으로 제공할 수 있는데, 예를 들어, 기존 구매 상품을 기반으로 코디네이션 아이템을 제공하는 경우에는 구매 내역에서 함께 매칭하면 좋을 상품을 레이블에 따라 추천 코디네이션 아이템을 제공할 수 있다. 따라서, 사용자는 이미 구매한 상품을 활영하였을 때 어울리는 상품을 우선 추천받기 때문에 추가 구매가 용이한 장점이 있다. 다른 예로, 장바구니 상품을 기반으로 추천서비스를 제공하는 경우에는, 장바구니 상품과 함께 구매하는 경우 사용할 수 있는 쿠폰(coupon)이 함께 제공될 수 있다. 이러한 쿠폰은 사용자의 별도의 선택이 없더라도 자동으로 적용될 수 도 있다.
따라서, 코디네이션 아이템의 경우에도, 사용자의 패션 아이템 사이즈 범위를 기반으로, 온라인-샵을 이용한 사용자들의 구매 패턴에 따라 설정된 우선 순위에 따라 정렬되어 제공될 수 있다. 예를 들어, 추천 서비스 요청과 함께 코디네이션 아이템을 제공하는 경우에는, 관심 상품과 함께 어울리는 상품을 추천받을 때 추천 서비스를 요청한 사용자와 비슷한 체형을 가지는 사람들이 주로 구매하였던 상품을 우선적으로 추천할 수 있다.
따라서, 서비스 서버는 특정 온라인 샵과 사이즈 체형 정보를 바탕으로 특정 패션 아이템의 사진이 추출되는 경우, 동일한 패션 카테고리의 추천 아이템을 제공하거나, 또는 그것과 잘 어울릴만한 코디네이션 아이템으로서 다른 카테고리 아이템을 추천·제공할 수 있다.
발명에서, 스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다. 스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해놓은 이미지 등을 예시할 수 있다.
따라서, 스타일 이미지는, 본 발명의 실시예를 따르는 스타일 데이터베이스에 저장되어, 특정 아이템과 잘 어울리는 다른 아이템을 결정하는데 사용될 수있다. 이에 따르면 스타일 이미지는 일반적으로 “잘 어울린다”는 인간의 느낌을 컴퓨터가 이해할 수 있는 참고 자료로 활용될 수 있다. 임의의 아이템과 “잘 어울린다”는 것은 인간의 느낌에 대한 것이기 때문에, 어떤 아이템에 대해 사람의 개입없이 “잘 어울리는” 다른 아이템을 컴퓨터가 추천하기 위해서는 복수의 패션 아이템의 매칭에 대해 학습된 기계학습 프레임워크가 필요할 것이다. 이를 위하여 본 발명의 실시예를 따르는 서비스 서버는 복수의 패션 아이템이 전문가 또는 준전문가에 의해 조합되어 사람이 착용한 스타일 이미지를 수집하고 이를 스타일 데이터베이스로 생성할 수 있다. 나아가 서비스 서버는 상기 스타일 데이터베이스를 기계학습 프레임워크에 적용하여 상기 프레임워크를 학습시킬 수 있다. 예를 들어 파란 셔츠와 갈색 타이가 매칭된 대량의 스타일 이미지를 학습한 기계 학습 프레임워크는 파란 셔츠에 대한 요청에 대해 코디네이션 아이템으로 갈색 타이를 추천할 수 있을 것이다.
또한, 스타일 데이터베이스를 구성하기 위하여 서비스 서버는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다.
또는, 상기 스타일 데이터베이스는, 상술한 사용자 이미지들로부터 추출된 패션 아이템을 포함할 수 도 있다. 이 경우, 추출된 패션 아에템에 대하여 웹 페이지(web page)를 통한 링크(link)가 이루어지거나 구매가 이루어지는 경우, 사용자 이미지와 관련된 사용자에 대한 물질적 보상을 위한 포인트를 설정할 수 도 있다. 이를 본 발명에서는 연결 포인트(link point)라고 정의하며, 포인트, 마일리지 등 다양한 형태로 사용자에게 보상하기 위하여 사용될 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다.
따라서, 서비스 서버는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다. 예를 들어, 서비스 서버는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다.
스타일 이미지는 요청 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다.
이후 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. 보다 구체적으로, 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다.
본 발명의 실시예를 따르면, 서비스 서버는 스타일 레이블을 미리 정의하고, 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
본 발명의 다른 실시예를 따르면, 서비스 서버는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다.
한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.
이에 서비스 서버는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다.
한편, 서비스 서버는 단계는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 도 있다. 예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다.
따라서 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다.
본 발명의 다른 실시예를 따르면, 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다.
즉, 본 발명에 따른 서비스 서버는 수신한 요청에 포함된 특정 패션 아이템 객체를 프로세싱하고, 이미지 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 즉, 서비스 서버는 검색 대상으로 특정된 이미지 객체를 프로세싱하여 유사한 아이템을 스타일 데이터베이스에서 검색할 수 있다.
이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 요청 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.
이후 서비스 서버는 요청 객체 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 이는 요청 이미지와 유사한 아이템을 스타일 데이터베이스에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것으로, 예를 들어 서비스 서버는 요청 객체 이미지와 스타일 이미지에 포함된 패션 아이템 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 요청 이미지의 특징 값을 가공하고, 요청 이미지와 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다.
한편, 본 발명의 선호되는 실시예를 따르면, 서비스 서버는 요청 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.
예를 들어 서비스 서버는 요청 이미지와 스타일 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.
또 다른 예로 서비스 서버는 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 이미지로부터 스타일 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 요청과 이미지 유사도를 기준으로 유사 아이템을 특정할 수 있다. 물론 서비스 서버는 요청 이미지로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스에서 요청 이미지와 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다.
예를 들어 요청에 포함된 이미지에 나뭇잎 무늬 원피스가 있는 경우, 서비스 서버는 트로피컬이라는 레이블을 요청으로부터 추출할 수 있다. 이후 서비스 서버는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다.
이후 서비스 서버는 스타일북에서 검색된 유사 아이템을 포함하며, 유사 아이템이 다른 패션 아이템들과 조합되어 있는 스타일 이미지를 사용자 디바이스에 제공할 수 있다. 나뭇잎 무늬 원피스가 있는 위의 예에서, 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 스타일 이미지를 사용자에게 제공할 수 있다.
따라서, 서비스 서버는 특정 패션 아이템과 유사한 아이템이 스타일 데이터베이스에서 검색되면, 상기 유사한 아이템과 함께 조합되어 스타일 이미지에 포함된 다른 카테고리의 패션 아이템을 확인하여 코디네이션 아이템을 결정할 수 있다.
즉, 사용자가 문의한 특정 패션 아이템을 스타일 데이터베이스에서 이미지 유사도를 기준으로 검색하고, 유사한 아이템이 포함된 스타일 이미지에는 유사한 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 추천 아이템으로 고려할 수 있다. 이는 본 발명의 실시예를 따르는 서비스 서버가 스타일 이미지에서 요청 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울리는 것으로 학습되어 있기 때문이다.
서비스 서버는 스타일 데이터베이스를 이용하여 코디네이션 아이템이 결정되면, 상품 데이터베이스로부터 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정할 수 있다.
상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있으며, 상품의 이미지를 기초로 상품 정보를 구성되는 특징이 있다.
즉, 서비스 서버는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.
예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.
서비스 서버는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다.
본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 요청으로 활용할 수 있으며, 이를 위해 서비스 서버는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.
본 발명의 선호되는 실시예를 따르면 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화(indexing)할 수 있다.
보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.
나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.
상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.
보다 구체적으로, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
또는, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.
이에 따라, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.
또는, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.
이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.
서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.
나아가 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다. 예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. 이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.
따라서, 서비스 서버는 상술한 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 상품 정보를 제공하기 위해, 상기 추천 아이템과 유사한 상품을 상품 데이터베이스에서 검색할 수 있다.
보다 구체적으로 서비스 서버는 스타일 데이터베이스를 이용하여 결정된 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 이를 위해 서비스 서버는 코디네이션 아이템 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.
본 발명의 실시예를 따르는 서비스 서버는 객체 이미지의 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 예를 들어 서비스 서버는 추천 아이템 이미지와 상품 데이터베이스에 포함된 상품 이미지의 특징 값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 추천 상품으로 결정할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터 베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 추천 아이템 이미지의 특징 값을 가공하고, 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 상품들을 추천 상품으로 결정할 수도 있다.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 추천 아이템 객체에서 추출한 레이블을 기반으로 추천 상품을 특정할 수도 있다.
예를 들어 추천 아이템 이미지에서 추출된 객체의 레이블 정보가 여성 상의, 블라우스, 흰색, 줄무늬로 추출된 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.
또 다른 예로 서비스 서버는 유사도가 미리 설정된 범위 이상의 상품들을 추천 후보 상품으로 하고, 추천 후보 상품에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다.
또 다른 예로 추천 아이템의 객체 이미지에서 추출된 레이블 정보가 여성 상의, 블라우스, 긴팔, 레이스, 카라넥인 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의, 블라우스, 긴팔, 레이스, 카라넥을 레이블로 가지는 상품 그룹에 대해서만 추천 아이템과 이미지 유사도를 계산할 수도 있다.
서비스 서버는, 선정된 적어도 하나의 후보 아이템에 대하여, 체크된 온라인-샵을 이용한 사용자들 중 상기 특정 사용자와 유사한 체형을 가진 사용자들의 구매 패턴을 기반으로 우선 순위를 설정하고, 설정된 우선 순위에 따라 추천 상품으로 제공한다(S130). 즉, 단순하게 일반적인 사용자들이 구매한 패턴을 기준으로 우선 순위를 설정하는 것이 아니라, 특정 사용자와 유사한 체형의 사용자간의 그룹화 및 해당 그룹의 선호도에 따른 상품 추천 서비스를 제공함으로써, 보다 구체적이고 직관적인 추천 서비스를 제공할 수 있다.
여기서, 서비스 서버는 장바구니에 담겨있는 개별 상품들을 기준으로, 함께 구매하면 좋을 아이템을 사용자 디바이스에 노출시킬 수 있다. 예를 들어, 장바구니에 담겨있는 개별 상품들이 스커트 및 바지인 경우, 장바구나 페이지의 일부(예를 들어, 하단)에 추천 아이템을 노출시킬 수 있다(예르 들어, 페이지 하단의 그리드 형태)
또는, 각각의 추천 아이템 카테고리별로, 사용자 선호도 데이터베이스를 기초로 우선 순위를 설정할 수도 있다. 즉, 단순히 온라인-샵의 기존 구매 고객이 아니라, 해당 온라인-샵에서 추천 서비스를 요청한 사용자와 비슷한 체형의 사람들이 추가 구매한 상품을 우선적으로 정렬(sorting)되도록 할 수 있다. 예를 들어, 사이즈 체형 정보에 따라 해당 온라인-샵에서의 추천 사이즈를 안내할 수 있으며, 단순히 온라인-샵의 기존 구매 고객이 아니라, 해당 온라인-샵에서 추천 서비스를 요청한 사용자와 비슷한 체형의 사람들이 추가 구매한 상품이 우선적으로 정렬(sorting)되도록 할 수 있다.
나아가, 본 발명에서 서비스 서버는, 추천 서비스를 요청한 사용자가 페이지를 이탈하지 않도록 별도의 페이지 이동 없이 해당 상품을 클릭하였을 때 레이어(layer) 팝업형태로 추천 제품, 혹은 코디네이션 제품을 추천하는 옵션을 제공하고, 사용자가 옵션을 선택하는 경우에는 바로 함께 주문이 가능하도록 할 수 있다.
또한, 사용자로부터 추천 상품에 대한 구매 결정이 진행되면, 추천 상품에 대한 온라인-샵(online-shop)으로 구매 정보를 전달하고, 구매 정보로부터 추출된 사용자 체형 정보 및 온라인 샵 정보를 사용자 선호도 데이터 베이스에 업데이트(update)할 수 도 있다. 즉, 상기 체크된 온라인-샵을 이용한 사용자들의 리뷰 데이터를 컴퓨터가 인식 가능한 데이터로 변환하여 사용자 선호도 데이터 베이스에 업데이트될 수 있다.
도 2는, 본 발명에 따른 서비스 서버의 추천 서비스 제공을 위한 순서도이다. 도 2에서 도 1에서 상술한 내용과 중복되는 내용은 상술한 내용으로 대체한다.
서비스 서버는 외부 서버(예를 들어, 다수의 온라인-샵)으로부터 구매 이력등을 수집할 수 있다(S210). 즉, 사용자 체형 정보를 추출하기 위하여, 상품을 구매한 이력뿐만이 아니라, 온라인 샵들로부터 사용자들의 구매이력, 사용자들이 보았던 상품이나 조회한 조회이력들을 외부의 온라인-샵 서버로부터 수집할 수 있다.
서비스 서버는, 수집한 구매 이력등에 기반하여, 특정 온라인-샵과 사용자 체형정보를 이용하여 사용자 선호 데이터 베이스를 생성한다(S220).
서비스 서버는 사용자 디바이스로부터 추천 서비스 요청이 수신되는 경우, 추천 서비스와 관련되어 사용자에게 필요하다고 판단되는 스타일 레이블, 사용자 체형 정보를 추출할 수 있다(S230).
서비스 서버는 사용자의 구매 이력을 체크하고, 스타일 레이블에 따라 적절한 온라인 샵을 선택한다(S240). 이 경우, 사용자의 구매 이력과 선택된 온라인 샵의 스타일 레이블이 매칭되는 경우에는, 해당 온라인 샵을 기반으로 추천 상품을 제공하나, 사용자의 구매 이력과 추천 서비스의 스타일 레이블이 매칭되지 않는 경우에는 해당 스타일 레이블과 매칭되는 온라인 샵을 선택하여 추천 서비스를 제공할 수 있다.
서비스 서버는, 선택된 온라인 샵을 기반으로, 사용자의 체형 정보에 기반하여 클러스터링된 추천 상품을 선택한다(S250)
서비스 서버는 추천 상품을 사용자 디바이스에 제공하고(S260), 사용자 디바이스로부터 추천 상품에 대한 구매 결정 여부를 확인한다(S270). 이 때, 서비스 서버는, 추천 서비스를 요청한 사용자가 페이지를 이탈하지 않도록 별도의 페이지 이동 없이 해당 상품을 클릭하였을 때 레이어(layer) 팝업형태로 추천 제품, 혹은 코디네이션 제품을 추천할 수 있다.
따라서, 서비스 서버는 추천 상품에 대한 구매가 결정되면, 이에 대한 구매 정보를 해당 온라인 샵으로 전송한다(S280).
이하에서는 상술한 본 발명의 사용자 패션 데이터 베이스에 대하여 설명한다.
사용자 패션 데이터베이스에는 패션 아이템들에 대한 정보가 포함될 수 있는데, 패션 아이템의 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 사용자가 피팅하였을 경우의 사진등이 포함될 수 있다. 예를 들어, 사용자 패션 데이터베이스에는 사용자가 자신의 상의, 하의, 원피스 등의 필요한 사이즈 정보가 포함될 수 있으며, 실제 옷을 피팅하였을 때의 모습이 사진으로 관리되어, 사용자로 하여금 자신의 체형을 고려한 피팅이 가능하도록 할 수 있다. 혹은, 패션 아이템들에 대하여 각각 #편안, #타이트, #적당 등과 같이 개인적인 느낌을 포함하도록 저장함으로써, 사용자가 추후 패션 아이템의 선택시 핏(fit)을 고려할 때 참고할 수 있다. 또한, 사용자가 피팅하였을 경우의 이미지 정보가 포함되거나, 사용자의 구입 데이터, 열람 시간 데이터 등 사용자의 취향을 추정할 수 있는 정보, 사용자의 사이즈 정보, 패션 아이템에 대한 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함될 수 있다.
혹은, 사용자 패션 데이터베이스는 사용자 식별 정보, 사용자 사이즈를 추정하기 위한 사용자 행동 정보, 행동 정보로부터 추정한 사용자 사이즈 및 사용자 디바이스로부터 직접 수신한 사용자 사이즈 정보를 포함할 수 있다.
예를 들어 서비스 서버는 사용자 디바이스에 사용자의 나이, 성별, 직업, 관심 패션 분야, 기보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 사이즈 정보를 생성하고 이를 상기 사용자 패션 데이터 베이스에 반영할 수 있다.
서비스 서버는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 요청 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 사이즈를 추정하기 위한 사용자 행동 정보를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 도 있다.
또한, 서비스 서버는, 사용자의 체형 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 예를 들어 사용자 디바이스에서 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 서비스 서버에 전송하면, 서비스 서버는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐 만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다.
본 발명의 추가적인 실시예를 따르면, 서비스 서버는, 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. 예를 들어 사용자 디바이스에서 온라인 마켓을 통한 패션 아이템 열람 또는 구매가 진행되면, 서비스 서버는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다.
특히 본 발명의 실시예를 따르는 서비스 서버는 인간의 느낌에 해당하는 사용자의 “취향”을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 패션 데이터베이스에 반영하는 특징이 있다.
예를 들어, 서비스 서버는 사용자의 행동 정보로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 요청 아이템, 구매 아이템 등 사용자 행동 정보에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 정보에 포함되는 패션 아이템들의 외관, 느낌 등의 룩앤필, 트랜드에 대한 정보로 생성할 수 있다.
사용자 행동 정보로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 서비스 서버는 이를 조합하여 사용자 사이즈를 추정하는 사용자 사이즈 정보를 생성하여 사용자 패션 데이터베이스에 저장할 수 있다. 상기 사용자 패션 데이터베이스에 포함된 사용자 사이즈 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 상품에 대한 노출 우선순위 설정에 사용될 수 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
상술한 바와 같은 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스는 다양한 서비스 분야에 적용하는 것이 가능하다.

Claims (6)

  1. 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 있어서,
    온라인-샵(online-shop)을 통한 구매 이력들을 수집하고, 상기 구매 이력들로부터 사용자 체형 정보 및 온라인-샵 정보를 클러스터링(clustering)하여 사용자 선호도 데이터베이스를 생성하는 단계;
    특정 사용자로부터 추천 서비스 요청을 수신하면, 사람의 느낌을 컴퓨터가 인식 가능한 데이터로 표현하는 스타일 레이블에 기반하여 상기 추천 서비스에 대응되는 온라인-샵 정보를 체크하는 단계;
    상기 체크된 온라인-샵 정보와 상기 사용자 체형 정보를 바탕으로 결정된 패션 아이템 사이즈 범위(size range)를 기반으로, 상기 사용자 선호도 데이터베이스 내에서 협업 필터링(collaborative filtering)을 수행하여 상기 특정 사용자를 위한 적어도 하나의 후보 아이템을 선정하는 단계; 및
    상기 선정된 적어도 하나의 후보 아이템에 대하여, 상기 체크된 온라인-샵을 이용한 사용자들 중 상기 특정 사용자와 유사한 체형을 가진 사용자들의 구매 패턴을 기반으로 우선 순위를 설정하고, 상기 설정된 우선 순위에 따라 추천 상품으로 제공하는 단계를 포함하는,
    패션 아이템 추천 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 추천 상품에 대한 구매 결정이 진행되면, 상기 추천 상품에 대한 온라인-샵(online-shop)으로 구매 정보를 전달하고, 상기 구매 정보로부터 추출된 사용자 체형 정보 및 온라인 샵 정보를 상기 사용자 선호도 데이터 베이스에 업데이트(update)하는 단계를 더 포함하는,
    패션 아이템 추천 서비스 제공 방법.
  3. 제 1 항에 있어서,
    상기 추천 서비스 요청을 수신하면, 상기 사용자의 클릭(click) 상품, 구매 상품 또는 장바구니 상품 중 적어도 하나를 기준으로, 상기 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스 및 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스를 이용하여 코디네이션 아이템을 제공하는 단계를 더 포함하며,
    상기 코디네이션 아이템은,
    상기 사용자의 구매 상품과 유사한 아이템이 포함된 스타일 이미지로부터 결정된 다른 카테고리의 아이템의 레이블과 함께 제공되거나, 상기 장바구니 상품과 함께 구매하는 경우 적용가능한 쿠폰(coupon)과 함께 제공되는 것을 특징으로 하는,
    패션 아이템 추천 서비스 제공 방법.
  4. 제 3 항에 있어서,
    상기 코디네이션 아이템은,
    상기 패션 아이템 사이즈 범위를 기반으로, 상기 사용자들의 구매 패턴에 따라 설정된 우선 순위에 따라 정렬되어 제공되는 것을 특징으로 하는,
    패션 아이템 추천 서비스 제공 방법.
  5. 제 1 항에 있어서,
    상기 사용자 선호도 데이터베이스는,
    상기 체크된 온라인-샵을 이용한 사용자들의 리뷰 데이터를 컴퓨터가 인식 가능한 데이터로 변환하여 업데이트되는 것을 특징으로 하는,
    패션 아이템 추천 서비스 제공 방법.
  6. 제 1 항에 있어서,
    상기 온라인-샵 정보는,
    상기 온라인-샵에 판매되는 상품들로부터 추출된 레이블의 비중에 따라 결정된 스타일 레이블과 매칭(matching)되어 상기 사용자 선호도 데이터베이스에 클러스터링되는 것을 특징으로 하는,
    패션 아이템 추천 서비스 제공 방법.
PCT/KR2020/002301 2019-02-19 2020-02-18 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법 WO2020171535A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/431,696 US20220138831A1 (en) 2019-02-19 2020-02-20 Method of Providing Fashion Item Recommendation Service Using User's Body Type and Purchase History

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190019241A KR20200101068A (ko) 2019-02-19 2019-02-19 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR10-2019-0019241 2019-02-19

Publications (2)

Publication Number Publication Date
WO2020171535A2 true WO2020171535A2 (ko) 2020-08-27
WO2020171535A3 WO2020171535A3 (ko) 2020-10-22

Family

ID=72144122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002301 WO2020171535A2 (ko) 2019-02-19 2020-02-18 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법

Country Status (3)

Country Link
US (1) US20220138831A1 (ko)
KR (2) KR20200101068A (ko)
WO (1) WO2020171535A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676160B2 (en) 2020-02-11 2023-06-13 The Nielsen Company (Us), Llc Methods and apparatus to estimate cardinality of users represented in arbitrarily distributed bloom filters
US11741068B2 (en) 2020-06-30 2023-08-29 The Nielsen Company (Us), Llc Methods and apparatus to estimate cardinality of users represented across multiple bloom filter arrays
US11755545B2 (en) 2020-07-31 2023-09-12 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience measurement metrics based on users represented in bloom filter arrays
US11663645B2 (en) * 2021-01-29 2023-05-30 Walmart Apollo, Llc Methods and apparatuses for determining personalized recommendations using customer segmentation
KR102303534B1 (ko) * 2021-05-26 2021-09-23 (주)파켓 사용자 맞춤형 상품 정보 제공 장치
US11854030B2 (en) * 2021-06-29 2023-12-26 The Nielsen Company (Us), Llc Methods and apparatus to estimate cardinality across multiple datasets represented using bloom filter arrays
KR102512327B1 (ko) * 2021-12-08 2023-03-22 주식회사 하와 사용자 맞춤형 데님(denim) 제품정보를 제공하는 쇼핑몰 운영방법
KR20230087301A (ko) * 2021-12-09 2023-06-16 충북대학교 산학협력단 개인화 아이템 제안 시스템
KR20230087302A (ko) * 2021-12-09 2023-06-16 충북대학교 산학협력단 개인화 아이템 추천 시스템
CN114936326B (zh) * 2022-07-20 2022-11-29 陈守红 基于人工智能的信息推荐方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110041628A (ko) * 2009-10-16 2011-04-22 김진수 의상 추천 방법 및 장치
KR20130128265A (ko) * 2012-05-16 2013-11-26 전성일 사용자 맞춤형 모바일 의류 정보 제공 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
JP6345872B2 (ja) * 2015-03-16 2018-06-20 富士フイルム株式会社 商品推奨装置、商品推奨方法及びプログラム
KR101635710B1 (ko) * 2015-09-18 2016-07-01 고현승 온라인 상품 추천 방법 및 장치
US10534809B2 (en) * 2016-08-10 2020-01-14 Zeekit Online Shopping Ltd. Method, system, and device of virtual dressing utilizing image processing, machine learning, and computer vision
KR101913750B1 (ko) * 2016-08-10 2018-10-31 주식회사 원더풀플랫폼 패션 코디네이션 시스템 및 방법
US9892453B1 (en) * 2016-10-26 2018-02-13 International Business Machines Corporation Automated product modeling from social network contacts
IT201700025385A1 (it) * 2017-03-07 2018-09-07 Else Corp S R L Sistema per la configurazione di articoli basato su tecnica di corrispondenza tra progetto e stile

Also Published As

Publication number Publication date
US20220138831A1 (en) 2022-05-05
KR20200101068A (ko) 2020-08-27
KR20210098884A (ko) 2021-08-11
WO2020171535A3 (ko) 2020-10-22

Similar Documents

Publication Publication Date Title
WO2020171535A2 (ko) 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2020085786A1 (ko) 스타일 추천 방법, 장치 및 컴퓨터 프로그램
US10747826B2 (en) Interactive clothes searching in online stores
WO2020251174A1 (ko) 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버
KR102037489B1 (ko) 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
KR102295459B1 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20220039697A (ko) 코디네이션 패션 아이템을 추천하는 방법
KR20220019737A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
WO2020141802A2 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
KR102378072B1 (ko) 코디네이션 패션 아이템을 추천하는 방법
WO2021215758A1 (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
WO2020141799A2 (ko) 사용자에게 캘린더 데이터를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2020138941A2 (ko) 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
WO2021107556A1 (ko) 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치
WO2020141803A2 (ko) 사용자에게 패션 아이템 추천 서비스를 제공하는 방법
KR20200058343A (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
Fredriksson Automized data collection process for a personalized online shopping platform

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20758720

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20758720

Country of ref document: EP

Kind code of ref document: A2