WO2020085786A1 - 스타일 추천 방법, 장치 및 컴퓨터 프로그램 - Google Patents

스타일 추천 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2020085786A1
WO2020085786A1 PCT/KR2019/013966 KR2019013966W WO2020085786A1 WO 2020085786 A1 WO2020085786 A1 WO 2020085786A1 KR 2019013966 W KR2019013966 W KR 2019013966W WO 2020085786 A1 WO2020085786 A1 WO 2020085786A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
style
image
product
information
Prior art date
Application number
PCT/KR2019/013966
Other languages
English (en)
French (fr)
Inventor
정태영
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to US17/285,472 priority Critical patent/US20210390607A1/en
Priority to JP2021515622A priority patent/JP2022501726A/ja
Publication of WO2020085786A1 publication Critical patent/WO2020085786A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0627—Directed, with specific intent or strategy using item specifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Definitions

  • the present invention relates to a method for recommending a style related to a fashion item. More specifically, the present invention relates to a product recommendation system that pre-defines styles such as characteristics, feelings, and trends of a single fashion item or a combination of a plurality of fashion items, and recommends a coordination product based on a style to a user.
  • An object of the present invention is to define a number of styles for look and feel, trends, etc., of the appearance and feel of a fashion item, and to provide a method for recommending a product based on the style to the user. Furthermore, an object of the present invention is to provide a method of recommending a single item requested by a user to search, as well as other items that go well with the item based on the style.
  • the present invention relates to a method of recommending a coordination fashion item in a service server, extracting a label describing the content of the product based on the image of the product, for the product available for purchase in the online market, and the label information Indexing to create a product database; Generating a style database for a style image in which a person is wearing a plurality of fashion items; Receiving a query for an image displayed on a user device, extracting a fashion item to be searched from the query, and searching for an item similar to the fashion item in the style database based on image similarity; Determining an item of a different category from the similar item as a coordination item in the style image in which the similar item is searched; And for the coordination item, searching the product database based on image similarity and determining a product similar to the coordination item as a recommended product.
  • a user-customized product recommendation service may be provided based on a user's taste and style.
  • label information may be extracted based on a product image, and the extracted label information may be converted into text to be used as tag information of the corresponding product.
  • the tag information of the product can be mathematically extracted without human intervention, thereby increasing the reliability of the tag information and improving the accuracy of the search.
  • FIG. 1 is a flowchart illustrating a process of recommending a product based on a style to a user according to an embodiment of the present invention
  • FIG. 2 is a flowchart for explaining a process of configuring a product database according to an embodiment of the present invention
  • Figure 3 is a flow chart for explaining the process of configuring a style database according to an embodiment of the present invention
  • the user device on which the product information is displayed is a mobile device, but the present invention is not limited thereto. That is, in the present invention, the user device should be understood as a concept including all types of electronic devices capable of requesting search and displaying advertisement information, such as a desktop, a smart phone, and a tablet PC.
  • the term “displayed page in an electronic device” in this specification includes a screen loaded on an electronic device and / or content inside the screen so that it can be immediately displayed on the screen according to the user's scroll. It can be understood as a concept. For example, in a display of a mobile device, an entire execution screen of an application that is extended in a horizontal or vertical direction and displayed according to a user's scroll may be included in the concept of the page, and the screen being rolled by the camera may also be included in the concept of the page. You can.
  • FIG. 1 is a flowchart illustrating a process of recommending a product based on a style to a user according to an embodiment of the present invention.
  • a user-customized product recommendation service may be provided based on a user's taste and style. For example, if a user takes a picture of a newly purchased white bag and requests another item that goes well with the bag, the service server will take a picture based on the picture that the similar white bag and dress match among the photos collected from the fashion magazine. You can suggest a product similar to one's dress as a coordination item.
  • the service server when receiving a query requesting a style recommendation for a white bag, refers to the previously created style database, product database, and user database, and goes well with the white bag and matches the user's taste. We will recommend and provide the online market information of the recommended dress.
  • the service server may first determine an item similar to the query item by searching the style database based on the image similarity of the object. Thereafter, the service server may check other items that are matched with the similar item in the image included in the style database, and determine a coordination item by reflecting user preference information among the other items.
  • the service server may search the product database based on the image similarity for the coordination item, and set a priority according to user preference information to determine a recommended product.
  • the service server may configure a database on which product recommendations are based.
  • the database includes a product information database, a style database, and a user database, and the service server may perform a function of searching a query and determining a recommended product by referring to the database.
  • the product database may include product detail information such as origin, size, sales place, and wear shot of products sold in the online market.
  • the style database may include information about a fashion image, a fashion image that can be referenced for coordination of a number of items, among images collected on the web.
  • the user database may include information capable of estimating the user's taste, such as user's purchase data and viewing time data.
  • the user database may include information about a user's body type, a preferred price point, use, and brand when shopping online for a fashion item.
  • a product database according to an embodiment of the present invention has a feature of configuring product information based on an image of a product.
  • Step 110 A detailed description of creating a product database according to an embodiment of the present invention will be described later with the description of FIG. 2 attached.
  • the service server 10 can configure a style database that is the basis of style recommendation. (Step 120)
  • the style database may include an image collected online to combine a plurality of fashion items to match well (referred to herein as a style image) and classification information for the style image.
  • the style image is a fashion catalog, a fashion magazine pictorial image, a fashion show shooting image, an idol costume image, a specific drama that can be collected on the web with image data generated by combining a plurality of fashion items in advance by an expert or an expert Or, you can exemplify the costume image of a movie, SNS, blog celebrity costume image, fashion magazine street fashion image, or an image coordinated with other items for the sale of fashion items.
  • the style image is stored in a style database according to an embodiment of the present invention and can be used to determine other items that go well with a particular item. According to this, the style image can be used as a reference for a computer to understand the human feeling that it is generally “fits well”.
  • a method of generating a style database according to an embodiment of the present invention will be described later in the description of FIG. 3 attached.
  • FIG. 3 is a flowchart illustrating a process of configuring a style database according to an embodiment of the present invention.
  • the service server may collect a style image online.
  • the service server collects a list of web addresses such as fashion magazines, fashion brands, drama makers, celebrity planners, SNS, online stores, etc., and checks the website to track the link. Can be collected.
  • the service server can collect and index images from websites such as fashion magazines, fashion brands, drama makers, celebrity planners, SNS, online shops, etc. Information may be provided separately.
  • the service server may filter an image that is inappropriate for style recommendation among the collected images.
  • the service server may filter the rest of the images, leaving only the image including the human-shaped object among the collected images and a plurality of fashion items.
  • Filtering images for a single fashion item is appropriate because the style image is used to determine query items and other items that can be coordinated. Furthermore, constructing a database with images of a person wearing a plurality of fashion items directly may be more useful than an image of the fashion item itself. Therefore, the service server according to an embodiment of the present invention may determine the style image included in the style database by filtering the remaining images, leaving only the image including the human-shaped object and the plurality of fashion items.
  • the service server may process features of the fashion item object image included in the style image. (Step 340)
  • the service server may extract an image feature of the fashion item object included in the style image, express feature information as a vector value, generate a feature value of the fashion item object, and structure the feature information of the images.
  • the service server may extract a style label from a style image and cluster style images based on the style label. (Step 350)
  • the style label is extracted for the look and feel of the fashion item's appearance, feel, and trends.
  • a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look can be illustrated as style labels.
  • the service server defines a style label in advance, generates a neural network model learning the characteristics of the image corresponding to the label, classifies objects in the style image, and extracts labels for the corresponding objects can do.
  • the service server may assign the corresponding label to the image matching the specific pattern with a random probability through the neural network model learning the pattern of the image corresponding to each label.
  • the service server may learn characteristics of an image corresponding to each style label to form an initial neural network model, and apply a large number of style image objects to it to expand the neural network model more precisely. have.
  • the service server may apply style images to a neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of labels. Furthermore, weighting is applied to the feature information of the style image according to the request of the corresponding layer, and the product images are clustered using the processed feature information, and the celebrity look, magazine look, summer look, feminine look, and sexy look to the clustered image group , Office look, drama look, Chanel look, etc. can be assigned a label that is interpreted ex post.
  • the service server may cluster style images using a style label and generate a plurality of style books. This is to be provided as a reference to the user.
  • the user may find a favorite item by browsing a specific style book among a plurality of style books provided by the service server, and may request a product information search for the corresponding item.
  • the service server may pre-classify items having a very high appearance rate, such as white shirts, jeans, and black skirts, in step 370.
  • jeans are very basic items in fashion, so the appearance rate in style images is very high. Therefore, no matter what item the user inquires about, the probability of matching jeans as a coordination item will be significantly higher than other items.
  • the service server can pre-classify an item having a very high appearance rate in a style image as a buzz item, and generate a style book with different versions, including a buzz item and a buzz item. have.
  • the buzz item may be classified by reflecting time information. For example, considering the fashion cycle of a fashion item, it is possible to consider items that fad and disappear for a month or two, fashion items that return each season, and items that are continuously fashionable for a certain period of time. Therefore, by reflecting time information in the classification of the buzz item, if a specific fashion item has a very high appearance rate during an arbitrary period, the item may be classified as a buzz item along with information on the corresponding period.
  • the buzz items are classified as described above, in the subsequent item recommendation step, there is an effect that can be recommended in consideration of whether the item to be recommended is fashionable or unrelated to fashion.
  • the service server may create a user database.
  • the user database may include user identification information, user behavior information for estimating user taste, user taste estimated from the behavior information, and user taste information received directly from a user device.
  • the service server provides a query to the user device for the user's age, gender, occupation, fashion field of interest, and reserved items, receives user input for the query, generates user preference information, and generates the user preference information. Can be reflected in.
  • the service server may display a time when the user browses an arbitrary style book provided through an application according to an embodiment of the present invention, item information generated like a tag, query item, fashion item information purchased through the application or another application.
  • user behavior information for estimating user preferences such as time information at which the information is generated, to generate taste information for a style that the user is interested in at a time and reflect it in a user database.
  • the service server may generate the user's body shape information and reflect it in the user database.
  • the service server models a user's body model from a machine learning framework that learns human body features from a large number of body images.
  • the user body model may include information about the proportions and skin tones of each part of the user's body as well as the size information of each part of the user's body.
  • the service server may generate preference information for a user's fashion item and reflect it in the user database.
  • the preference information may include information about a user's preferred price, preferred brand, and preferred use. For example, when a user browses or purchases a fashion item through an online market on a user device, the service server reflects different weights for viewing or purchasing to generate information on the preferred price, preferred brand, and preferred use, and stores it in the user database. Can reflect.
  • the service server has a feature of estimating a user's “flavor” corresponding to a human feeling, and generating the estimated taste information in a form recognizable by a computer and reflecting it in a user database.
  • the service server may extract a label for estimating the user's taste from the user's behavior information.
  • the label may be extracted for the meaning of fashion items included in user behavior information, such as a style book viewed by a user, an item for generating a tag like a tag, a query item, or a purchase item.
  • the label may be generated as information about a look and feel, such as the appearance and feel of fashion items included in user behavior information, and trends.
  • the label generated from the user behavior information is weighted according to the user behavior, and the service server may generate user preference information for estimating the user preference by combining them and store them in the user database.
  • the user preference information, user body type information, and user preference information included in the user database may be used to set an exposure priority for a recommended item or a recommended product.
  • step 130 the user who browsed the web page or any image may transmit a query for product information about a specific fashion item, or a query for a coordination item that may be well combined with the item to the service server.
  • Step 140 the user who browsed the web page or any image may transmit a query for product information about a specific fashion item, or a query for a coordination item that may be well combined with the item to the service server.
  • a user may send a query to a service server requesting product information of a specific fashion item, or requesting a recommendation of a coordination item suitable for it.
  • the user may take a picture of a specific fashion item offline, and send a query requesting product information of the corresponding fashion item or recommending a coordination item suitable for the service server.
  • the user device is well combined with the query or query for querying product information for a specific item while browsing the style book provided through the application according to the embodiment of the present invention (step 135), and is not included in the style book
  • a query querying other coordination items may be sent to the service server (step 140).
  • the user device sending the query may, for example, send a query including the history log of the web browser to the service server.
  • the record log may include a browsing history of a web browser and URL information of a web page executed at a time.
  • the user device may extract image, video, and text data included in the URL of the web page, and transmit the extracted data as a query.
  • URL, text, image or video data cannot be extracted, a screenshot can be extracted and sent as a query.
  • a user device may transmit an image displayed at a corresponding time as a query.
  • the user device may extract a searchable object from the image included in the style book received from the service server and transmit it as a query.
  • the user device may send a query even when the user does not request a separate search, but may also send a query based on the user search request.
  • the user device may send a query on the condition that the user receives a search request.
  • the user device may extract an object in the image receiving the search request and transmit it as a query.
  • the user device may pre-specify an object searchable from the displayed image, and may transmit a query for the object for which the user selection input has been received.
  • the user device may first determine whether an object of a preset category is included in the displayed image, specify an object, and operate to display a search request icon for the object.
  • an object for a fashion item may be specified in an image included in the style book to operate to transmit only a query for the specified object. Furthermore, when an object for a plurality of fashion items is included in an image, each object may be specified, and the user may operate to transmit only a query for the object selected by the user.
  • the service server may process the fashion item object included in the received query and search the style database based on the image similarity.
  • the advertisement service server may receive a query image and recognize each of the objects by dividing each object when the query image includes a plurality of objects.
  • an object to be searched may be specified.
  • the service server may process an image object specified as a search target. This is to search similar items in the style database based on the contents of the query image.
  • the service server can extract characteristics of the image object to be searched and structure specific information of images for efficiency of search, and a more detailed method is understood by referring to a product image processing method described later in the description of FIG. 2. Can be.
  • the service server applies a machine learning technique used in constructing a product image database, which will be described later in the description of FIG. 2, to a processed object image to be processed, and a label for the meaning of the object image to be searched and And / or category information can be extracted.
  • the label may be expressed as an abstracted value, but may also be expressed in text form by interpreting the abstracted value.
  • a service server can extract labels for women, dresses, sleeveless, linen, white, and casual look from a query object image.
  • the service server may use labels for women and dresses as category information of the query object image, and labels for sleeveless, linen, white, and casual look may be used as label information describing characteristics of the object image outside the category. .
  • the service server may search the style database based on the similarity of the query object image. This is to search for items similar to the query image in the style database, and to identify other items matching the similar items in the style image.
  • the service server may display query object images and fashion item object images included in the style image. The similarity of the feature values can be calculated, and an item whose similarity is within a preset range can be checked.
  • the service server processes the feature values of the query image by reflecting the weights required by a plurality of layers of the artificial neural network model for machine learning configured for the product database of step 110, and processes the query image and schedule At least one fashion item group included in a style book having a distance value within a range may be selected, and items belonging to the group may be determined as similar items.
  • the service server determines a similar item by searching the style database based on the similarity of the query image, and uses label and category information extracted from the image to increase the accuracy of the image search. You can.
  • the service server calculates the similarity between the feature values of the query image and the style database image, and among the products having a similarity of a predetermined range or more, the label and / or category information does not match the label and / or category information of the query image. Similar items can be determined by excluding products.
  • the service server may calculate the item similarity only in a style book having label and / or category information matching label and / or category information of the query image.
  • the service server may extract a style label from a query image, and specify a similar item based on the query and image similarity in a style book matching the label.
  • the service server may specify a similar item based on the similarity of the query image and the image in the style database without extracting a separate label from the query image.
  • the service server may extract a label of tropical from the query. Thereafter, the service server may identify a similar item having a similarity of a leaf pattern dress and a preset range in a style book clustered with a label of tropical. (Step 160)
  • the service server includes a similar item retrieved from the style book, and may provide a user device with a style image in which the similar item is combined with other fashion items.
  • a style image in which straw hats, rattan bags, and the like are combined with the leaf patterned dress can be provided to the user.
  • the user device may view the style image, request a recommendation of another item for coordination with the query item, or request product information for an item of another category included in the style image.
  • steps 170 and 180 in FIG. 1 are not essential processes and may be omitted. That is, according to an embodiment of the present invention, when a user device sends a query, the service server may provide product information of other categories well combined with the query in response to the query. That is, even if the user does not transmit a separate coordination item recommendation request, the service server may transmit product information of the coordination item combined with the query item.
  • the service server may identify fashion items of other categories included in the style image in combination with the similar item in order to recommend the coordination item. (Step 185)
  • the service server may collect a plurality of fashion items combined by an expert or a semi-expert and collect a style image worn by a person and generate it as a style database. Furthermore, the service server can train the framework by applying the style database to the machine learning framework. For example, a machine learning framework that learns a large amount of style images with matching blue shirts and brown ties could recommend brown ties as a coordination item for queries on blue shirts.
  • the service server may search for a fashion item inquired by the user based on the image similarity in the style database, and consider a fashion item of another category matched with the similar item in the style image including the similar item as a recommended item. have. This is because the service server according to the embodiment of the present invention is learned to match other items that are matched with query items in the style image.
  • the service server may search for the recommended item based on the similarity of image contents in the product database.
  • the style database is an image database for referring to a combination of a plurality of fashion items, it does not include details about price, sales place, material, etc. of each fashion item included in the image. to be.
  • the straw hat and rattan bag can be purchased at the time. It is not a product, it can be a personal collection of stylists.
  • the style image is a fashion pictorial of a famous designer, and the straw hat and rattan bag may be very expensive products.
  • the service server searches for an item similar to a query item in a style database, determines an item of another category matched with the similar item as a recommended item, and retrieves product information for the recommended item. To provide, a product similar to the recommended item may be searched in the product database.
  • the service server may search the product database based on the image similarity with respect to the recommended item determined in the style database. (Step 190)
  • the service server may extract features of the recommended item object included in the style image and structure specific information of the images for efficiency of search, and a more detailed method is understood by referring to the method of processing the aforementioned product image Can be.
  • the service server may search the product database based on the similarity of the object image. For example, the service server may calculate the similarity between the recommended item image and the feature values of the product image included in the product database, and determine a product whose similarity is within a preset range as a recommended product.
  • the advertisement service server processes the feature values of the recommended item image by reflecting the weights required by multiple layers of the artificial neural network model for machine learning configured for the product database, and the distance within a certain range At least one product group having a value may be selected, and products belonging to the group may be determined as recommended products.
  • the service server may specify the recommended product based on the label extracted from the recommended item object.
  • the service server searches the object image and the object image to be searched only for the product group that has the female top as category information in the product database. Similarity can be calculated.
  • the service server may use products having a similarity level or higher in a predetermined range as a recommendation candidate product, and may exclude products whose sub-category information is not a blouse from the recommendation candidate product.
  • products with sub-category information indexed as blouses may be selected as advertisement items.
  • the service server in the product database has a woman top, blouse, long sleeve, lace, collar neck as a label It is also possible to calculate the similarity between the recommended item and the image for the group only.
  • the service server may determine the priority of exposure by reflecting user preference information. For example, when the user's taste information is focused on the office look, the office look label can be weighted to calculate the priority and provide recommended product information according to the calculated priority. (Step 198)
  • Figure 2 is a flow chart for explaining the process of building a product information database according to an embodiment of the present invention.
  • the service server may collect product information.
  • the service server may collect product information about products sold in an arbitrary online market as well as product information of an online market affiliated in advance.
  • the service server may include a crawler, a parser, and an indexer, collect web documents of online stores, and access text information such as product images, product names, and prices included in web documents.
  • a crawler may collect a list of web addresses of online stores, check a website, and track links to deliver data related to product information to a service server.
  • the parser analyzes the web document collected during the crawling process and extracts product information such as product images, product prices, and product names included in the page, and the indexer can index corresponding locations and meanings.
  • the service server may collect and index product information from a website of any online store, but may receive product information in a preset format from an affiliate market.
  • the service server may process the product image. This is for determining a recommended item based on whether the product image is similar, without relying on text information such as a product name or a sales category.
  • a recommended item may be determined based on whether the product image is similar, but the present invention is not limited thereto. That is, depending on the implementation, the product image, as well as the product name or sales category, etc. may be used as a single or secondary query.
  • the service server may generate a database by structuring text information such as product name and product category in addition to the product image.
  • the service server may extract characteristics of a product image and index feature information of images for efficiency of search.
  • the service server may detect feature areas of product images (Interest Point Detection).
  • the feature region refers to a main region for extracting a descriptor for a feature of an image, that is, a feature descriptor, to determine whether the images are identical or similar.
  • such a feature region may be a contour that an image includes, a corner such as a corner among the outlines, a blob separated from the surrounding region, an area that is unchanged or covariant according to the deformation of the image, or ambient brightness. It can be a pole with dark or light features, and it can be a patch (fragment) of the image or the entire image.
  • the service server may extract feature descriptors from the feature area.
  • the feature descriptor expresses the features of the image as vector values.
  • such a feature descriptor can be calculated using the location of the feature region for the corresponding image, or the brightness, color, sharpness, gradient, scale, or pattern information of the feature region.
  • the feature descriptor may calculate the brightness value of the feature region, the change value of the brightness, or the distribution value by converting it into a vector.
  • the feature descriptor for the image is a local descriptor based on the feature area as described above, as well as a global descriptor, a frequency descriptor, a frequency descriptor, or a binary descriptor. It can be expressed as a neural network descriptor.
  • the feature descriptor is a global descriptor that converts and extracts brightness, color, sharpness, gradient, scale, pattern information, etc. of each image or each region of the image divided by arbitrary criteria into vector values ( Global descriptor).
  • the feature descriptor is a frequency descriptor (Frequency Descriptor) that converts and extracts the number of specific descriptors previously included in the image and the number of global features such as a previously defined color table into a vector value and extracts them.
  • Binary descriptor used to extract whether it is included or if the size of each element value constituting a descriptor is greater than or less than a specific value in bit units and converting it into an integer type to learn in the layer of the neural network
  • it may include a neural network descriptor (Neural Network descriptor) for extracting the image information used for classification.
  • the feature information extracted from a product image corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert to a low-dimensional vector in an appropriate range in consideration of resources required for search.
  • Various feature reduction algorithms such as PCA and ZCA may be used to transform the feature information vector, and feature information converted into a low dimensional vector may be indexed into a corresponding product image.
  • the service server may extract a label for the meaning of the corresponding image by applying a machine learning technique based on the product image.
  • the label may be expressed as an abstracted value, but may also be expressed in text form by interpreting the abstracted value.
  • the service server defines a label in advance, generates a neural network model learning the characteristics of the image corresponding to the label, classifies objects in the product image, and the corresponding object You can extract the label for At this time, the service server may assign the corresponding label to the image matching the specific pattern with a random probability through the neural network model learning the pattern of the image corresponding to each label.
  • the service server may learn characteristics of an image corresponding to each label to form an initial neural network model, and apply a large number of product image objects to expand the neural network model more precisely. have. Furthermore, the service server may create a new group including the product if the product is not included in any group.
  • the service server is a meta for products such as women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, and abstract feelings (pure, chic, vintage, etc.).
  • a label that can be used as information is defined in advance, a neural network model learning the characteristics of the image corresponding to the label is generated, and the neural network model is applied to the advertiser's product image to extract the label for the product image to be advertised. have.
  • the service server may apply product images to a neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of labels. Further, the feature information of the product image may be weighted according to the request of the corresponding layer, and the product images may be clustered using the processed feature information.
  • additional analysis may be required to determine whether the corresponding images are clustered according to which attribute of the feature value, that is, to connect the clustering results of the images with a concept that can be recognized by a real human.
  • the service server classifies products into three groups through image processing, and extracts labels A for characteristics of the first group, B for characteristics of the second group, and C for characteristics of the third group. It needs to be interpreted ex postly, that A, B, and C, for example, refer to female tops, blouses, and checkers, respectively.
  • the service server is ex post to the clustered image group with female bottoms, skirts, dresses, short sleeves, long sleeves, pattern shape, material, color, abstract feeling (pure, chic, vintage, etc.) Labels that can be interpreted are assigned, and labels assigned to image groups to which individual product images belong can be extracted as labels of corresponding product images.
  • the service server may express a label extracted from a product image as text, and a text-type label may be used as tag information of the product.
  • the tag information of the product is directly and subjectively given by the seller, resulting in inaccuracy and poor reliability.
  • the product tag subjectively given by the seller has a problem of lowering the efficiency of search by acting as noise.
  • the tag information of the product is based on the image of the corresponding product. Since it can be extracted mathematically without human intervention, the reliability of tag information is increased and the accuracy of search is improved.
  • the service server may generate category information of the corresponding product based on the content of the product image.
  • label information and category information may be respectively generated, but label information may be used as category information, and category information may be used as label information.
  • the service server sets the label for a woman, top, or blouse as the category information of the product. Labels for linen, stripe, long-sleeved, blue, and office look can be used as label information describing the characteristics of products outside the category. Alternatively, the service server may index the corresponding product without distinguishing the label and category information.
  • the category information and / or label of the product may be used as a parameter to increase the reliability of image search.
  • the service server may determine the recommended item based on the label without separately calculating image similarity. A more detailed description of determining a recommended item will be described later in the description of FIG. 4 attached.
  • the service server may filter the collected product description image.
  • Step 250 This is for constructing a product image database excluding product images that may act as noise in image search.
  • the service server may determine whether to filter the product image by comparing the label extracted from the product image with category and / or tag information directly provided by the seller.
  • the corresponding image or a specific object within the image is filtered in the database can do.
  • the service server may configure the product image database with only the second and third product images, excluding the first product image.
  • This filtering is intended to reduce noise in image search.
  • product A is actually about sunglasses, and the database is configured to include all of the first to third product description images, even if the query image is a jacket, it is determined that it is similar to the first product image, so product A for sunglasses is It can be determined as an advertising item. Therefore, product images that can reduce the accuracy of the search are filtered and a database is built.

Abstract

본 발명은, 서비스 서버에서, 코디네이션 패션 아이템을 추천하는 방법에 대한 것으로, 온라인 마켓에서 구입가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블 정보를 인덱싱하여 상품 데이터베이스를 생성하는 단계; 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지에 대한 스타일 데이터베이스를 생성하는 단계; 사용자 디바이스에 표시된 이미지에 대한 쿼리를 수신하면, 상기 쿼리에서 검색 대상 패션 아이템을 추출하고, 이미지 유사도를 기준으로 상기 스타일 데이터베이스에서 상기 패션 아이템과 유사한 아이템을 검색하는 단계; 상기 유사한 아이템이 검색된 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계; 상기 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상기 상품 데이터베이스를 검색하고, 상기 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

스타일 추천 방법, 장치 및 컴퓨터 프로그램
본 발명은 패션 아이템과 관련된 스타일을 추천하는 방법에 대한 것이다. 보다 구체적으로 본 발명은 단일의 패션 아이템 또는 복수의 패션 아이템의 조합의 특징, 느낌, 트렌드 등의 스타일을 미리 정의하고, 사용자에게 스타일을 기반으로 코디네이션 상품을 추천하는 상품 추천 시스템에 대한 것이다.
최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상 등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다.
한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고 이슈가 발생할 수 있기 때문이다.
이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다.
본 발명은 패션 아이템의 외관, 느낌 등의 룩앤필 (look and feel), 트렌드 등에 대한 다수의 스타일에 대해 정의하고, 사용자에게 상기 스타일을 기반으로 상품을 추천하는 방법을 제공하는 것을 목적으로 한다. 나아가 본 발명은 사용자가 검색을 요청한 단일의 아이템뿐 아니라, 상기 아이템과 잘 어울리는 다른 아이템을 상기 스타일을 기반으로 추천하는 방법을 제공하는 것을 목적으로 한다.
본 발명은, 서비스 서버에서, 코디네이션 패션 아이템을 추천하는 방법에 대한 것으로, 온라인 마켓에서 구입가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블 정보를 인덱싱하여 상품 데이터베이스를 생성하는 단계; 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지에 대한 스타일 데이터베이스를 생성하는 단계; 사용자 디바이스에 표시된 이미지에 대한 쿼리를 수신하면, 상기 쿼리에서 검색 대상 패션 아이템을 추출하고, 이미지 유사도를 기준으로 상기 스타일 데이터베이스에서 상기 패션 아이템과 유사한 아이템을 검색하는 단계; 상기 유사한 아이템이 검색된 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계; 상기 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상기 상품 데이터베이스를 검색하고, 상기 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예를 따르면, 사용자의 취향과 스타일을 기반으로 사용자 맞춤형 상품 추천 서비스가 제공될 수 있다. 나아가 본 발명의 실시예를 따르면, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용할 수 있다. 이를 따르면 상품의 태그 정보를 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.
도 1는 본 발명의 실시예를 따라 사용자에게 스타일을 기반으로 상품을 추천하는 과정을 설명하기 위한 순서도
도 2는 본 발명의 실시예에 따라 상품 데이터베이스를 구성하는 과정을 설명하기 위한 순서도
도 3은 본 발명의 실시예에 따라 스타일 데이터베이스를 구성하는 과정을 설명하기 위한 순서도
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
이하에서는 상품 정보가 표시되는 사용자 디바이스는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.
또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.
나가 본 명세서에서 사용자 디바이스에 표시된 페이지 (displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
도 1는 본 발명의 실시예를 따라 사용자에게 스타일을 기반으로 상품을 추천하는 과정을 설명하기 위한 순서도이다.
본 발명의 실시예를 따르면, 사용자의 취향과 스타일을 기반으로 사용자 맞춤형 상품 추천 서비스가 제공될 수 있다. 예를 들어, 사용자가 새로 산 흰색 가방의 사진을 찍어, 가방과 잘 어울리는 다른 아이템을 요청하면, 서비스 서버는 패션 잡지에서 수집한 사진 중, 유사한 흰색 가방과 원피스가 매칭된 사진을 기초로, 사진의 원피스와 유사한 상품을 코디네이션 아이템으로 제안할 수 있다.
위의 예에서 서비스 서버는, 흰색 가방에 대해 스타일 추천을 요청하는 쿼리를 수신하면, 미리 생성한 스타일 데이터베이스, 상품 데이터베이스 및 사용자 데이터베이스를 참고하여 흰색 가방과 잘 어울리고 사용자 취향에 부합하는 원피스 카테고리의 아이템을 추천하고, 추천 원피스의 온라인 마켓 정보를 함께 제공할 것이다.
보다 구체적으로 서비스 서버는 사용자가 임의의 패션 아이템을 특정하여 문의하면, 객체의 이미지 유사도를 기준으로 먼저 스타일 데이터베이스를 검색하여 쿼리 아이템과 유사한 아이템을 결정할 수 있다. 이후 서비스 서버는 스타일 데이터베이스에 포함된 이미지에서 상기 유사한 아이템과 함께 매칭되어 있는 다른 아이템들을 확인하고, 상기 다른 아이템 중에서 사용자 취향 정보를 반영하여 코디네이션 아이템을 결정할 수 있다.
이후 서비스 서버는 상기 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상품 데이터베이스를 검색하여, 사용자 취향 정보에 따라 우선순위를 설정하여 추천 상품을 결정할 수 있다.
단계 110 내지 130에서 본 발명의 실시예를 따르는 서비스 서버는 상품 추천의 기초가 되는 데이터베이스를 구성할 수 있다. 상기 데이터베이스는 상품 정보 데이터베이스, 스타일 데이터베이스, 및 사용자 데이터베이스를 포함하며, 서비스 서버는 상기 데이터베이스를 참고하여 쿼리를 검색하고 추천 상품을 결정하는 기능을 수행할 수 있다.
상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있다. 나아가 스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다. 한편 사용자 데이터베이스는 사용자의 구입 데이터, 열람 시간 데이터 등 사용자의 취향을 추정할 수 있는 정보를 포함할 수 있다. 나아가 사용자 데이터베이스는 사용자의 체형 정보, 패션 아이템에 대한 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함할 수 있다.
특히 본 발명의 실시예를 따르는 상품 데이터베이스는 상품의 이미지를 기초로 상품 정보를 구성하는 특징이 있다. (단계 110) 본 발명의 실시예를 따르는 상품 데이터베이스를 생성하는 구체적인 설명은 첨부된 도 2에 대한 설명과 함께 후술된다.
한편, 본 발명의 실시예를 따르는 서비스 서버 (10)는 스타일 추천의 기초가 되는 스타일 데이터베이스를 구성할 수 있다. (단계 120)
스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 상기 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션 잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해 놓은 이미지 등을 예시할 수 있다.
상기 스타일 이미지는, 본 발명의 실시예를 따르는 스타일 데이터베이스에 저장되어, 특정 아이템과 잘 어울리는 다른 아이템을 결정하는데 사용될 수 있다. 이에 따르면 스타일 이미지는 일반적으로 “잘 어울린다”는 인간의 느낌을 컴퓨터가 이해할 수 있는 참고 자료로 활용될 수 있다.
본 발명의 실시예를 따르는 스타일 데이터베이스를 생성하는 방법은 첨부된 도 3에 대한 설명에서 후술된다.
도 3은 본 발명의 실시예에 따라 스타일 데이터베이스를 구성하는 과정을 설명하기 위한 순서도이다.
단계 310에서 서비스 서버는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다.
단계 320에서 서비스 서버는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다.
예를 들어, 서비스 서버는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다.
스타일 이미지는 쿼리 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다.
이후 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. (단계 340)
보다 구체적으로, 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. (단계 350)
스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할 수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다.
본 발명의 실시예를 따르면, 서비스 서버는 스타일 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
본 발명의 다른 실시예를 따르면, 서비스 서버는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다.
한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.
단계 360에서 서비스 서버는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다.
한편, 서비스 서버는 단계 370에서 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 있다.
예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다.
따라서 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다.
본 발명의 다른 실시예를 따르면, 상기 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다.
다시 도 1에 대한 설명으로 복귀하면, 단계 125에서 서비스 서버는 사용자 데이터베이스를 생성할 수 있다. 상기 사용자 데이터베이스는 사용자 식별 정보, 사용자 취향을 추정하기 위한 사용자 행동 정보, 상기 행동 정보로부터 추정한 사용자 취향 및 사용자 디바이스로부터 직접 수신한 사용자 취향 정보를 포함할 수 있다.
예를 들어 서비스 서버는 사용자 디바이스에 사용자의 나이, 성별, 직업, 관심 패션 분야, 기보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 취향 정보를 생성하고 이를 상기 사용자 데이터베이스에 반영할 수 있다.
나아가 서비스 서버는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 쿼리 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 취향을 추정하기 위한 사용자 행동 정보를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다.
나아가 서비스 서버는, 사용자의 체형 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다.
예를 들어 사용자 디바이스에서 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 서비스 서버에 전송하면, 서비스 서버는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐 만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다.
본 발명의 추가적인 실시예를 따르면, 서비스 서버는, 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. 예를 들어 사용자 디바이스에서 온라인 마켓을 통한 패션 아이템 열람 또는 구매가 진행되면, 서비스 서버는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다.
특히 본 발명의 실시예를 따르는 서비스 서버는 인간의 느낌에 해당하는 사용자의 “취향”을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 데이터베이스에 반영하는 특징이 있다.
예를 들어, 서비스 서버는 사용자의 행동 정보로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 쿼리 아이템, 구매 아이템 등 사용자 행동 정보에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 정보에 포함되는 패션 아이템들의 외관, 느낌 등의 룩앤필, 트랜드에 대한 정보로 생성할 수 있다.
사용자 행동 정보로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 서비스 서버는 이를 조합하여 사용자 취향을 추정하는 사용자 취향 정보를 생성하여 사용자 데이터베이스에 저장할 수 있다. 상기 사용자 데이터베이스에 포함된 사용자 취향 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 상품에 대한 노출 우선순위 설정에 사용될 수 있다.
단계 130에서 웹페이지 또는 임의의 이미지를 열람하던 사용자는 특정 패션 아이템에 대한 상품 정보를 문의하는 쿼리, 또는 상기 아이템과 잘 조합될 만한 코디네이션 아이템을 문의하는 쿼리를 서비스 서버에 전송할 수 있다. (단계 140)
예를 들어 사용자는 임의의 온라인 쇼핑몰을 열람하면서, 특정 패션 아이템의 상품 정보를 요청하거나, 또는 그것과 잘 어울릴만한 코디네이션 아이템 추천을 요청하는 쿼리를 서비스 서버에 전송할 수 있다.
또 다른 예로, 사용자는 오프라인의 특정 패션 아이템의 사진을 촬영하여, 해당 패션 아이템의 상품 정보를 요청하거나 또는 그것과 잘 어울릴만한 코디네이션 아이템 추천을 요청하는 쿼리를 서비스 서버에 전송할 수 있다.
한편, 사용자 디바이스는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 스타일 북을 열람하면서 (단계 135) 특정 아이템에 대한 상품 정보를 문의하는 쿼리 또는 상기 아이템과 잘 조합되고, 해당 스타일북에 포함되지 않은 다른 코디네이션 아이템을 문의하는 쿼리를 서비스 서버에 전송할 수 있다 (단계 140)
쿼리를 전송하는 사용자 디바이스는 예를 들어, 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버에게 전송할 수 있다. 상기 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리, 해당 시점에 실행한 웹 페이지의 URL 정보를 포함할 수 있다. 나아가 사용자 디바이스는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린샷을 추출하여 쿼리로 전송할 수 있다.
특히 본 발명의 선호되는 실시예를 따르는 사용자 디바이스는 해당 시점에 표시된 이미지를 쿼리로 전송할 수 있다. 예를 들어 사용자 디바이스는 서비스 서버로부터 수신한 스타일북에 포함된 이미지에 검색 가능한 객체를 추출하여 쿼리로 전송할 수 있다.
사용자 디바이스는 사용자가 별도의 검색을 요청하지 않은 경우에도 쿼리를 전송할 수 있지만, 사용자 검색 요청을 조건으로 쿼리를 전송할 수도 있다.
예를 들어, 사용자 디바이스는 사용자의 검색 요청 수신을 조건으로 쿼리를 전송할 수도 있다. 사용자가 열람 중인 이미지에 포함된 패션 아이템에 대해 코디네이션 아이템을 문의한 경우, 사용자 디바이스는 검색 요청을 수신한 이미지 내의 객체를 추출하여 쿼리로 전송할 수 있다. 또는 사용자 디바이스는 표시된 이미지에서 검색 가능한 객체를 미리 특정하고, 사용자 선택 입력이 수신된 객체에 대한 쿼리를 전송할 수도 있다.
이를 위해 사용자 디바이스는 디스플레이된 이미지에 미리 설정된 범주의 객체가 포함되어 있는지 여부를 먼저 판단하고, 객체를 특정하여 해당 객체에 대한 검색 요청 아이콘을 표시하도록 동작할 수 있다.
상기 실시예를 따르면 스타일 북에 포함된 이미지에서 패션 아이템에 대한 객체를 특정하여 특정된 객체에 대한 쿼리만 전송하도록 동작할 수도 있다. 나아가 이미지에 복수의 패션 아이템에 대한 객체가 포함된 경우, 각각의 객체를 특정하고, 사용자가 선택한 객체에 대한 쿼리만 전송하도록 동작할 수도 있다.
한편, 단계 150에서 본 발명의 실시예를 따르는 서비스 서버는 수신한 쿼리에 포함된 패션 아이템 객체를 프로세싱하고, 이미지 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. (단계 160)
보다 구체적으로, 본 발명의 실시예를 따르는 광고 서비스 서버는 쿼리 이미지를 수신하고, 쿼리 이미지에 다수의 객체가 포함된 경우 객체들 각각을 분할하여 인식할 수 있다. 사용자 디바이스에서 수신한 쿼리는 검색 대상 객체가 특정되어 있을 수도 있다.
이후 서비스 서버는 검색 대상으로 특정된 이미지 객체를 프로세싱할 수 있다. 이는 쿼리 이미지의 내용을 기반으로 유사한 아이템을 스타일 데이터베이스에서 검색하기 위한 것이다.
이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있으며, 보다 세부적인 방법은 도 2에 대한 설명에서 후술되는 상품 이미지 프로세싱 방법을 참고하여 이해될 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 도 2에 대한 설명에서 후술되는 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 쿼리 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 쿼리 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.
이후 서비스 서버는 쿼리 객체 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 이는 쿼리 이미지와 유사한 아이템을 스타일 데이터베이스에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것으로, 예를 들어 서비스 서버는 쿼리 객체 이미지와 스타일 이미지에 포함된 패션 아이템 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 단계 110의 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 쿼리 이미지의 특징 값을 가공하고, 쿼리 이미지와 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다.
한편, 본 발명의 선호되는 실시예를 따르면, 서비스 서버는 쿼리 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.
예를 들어 서비스 서버는 쿼리 이미지와 스타일 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 쿼리 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.
또 다른 예로 서비스 서버는 쿼리 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 쿼리 이미지로부터 스타일 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 쿼리와 이미지 유사도를 기준으로 유사 아이템을 특정할 수 있다. 물론 서비스 서버는 쿼리 이미지로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스에서 쿼리 이미지와 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다.
예를 들어 쿼리에 포함된 이미지에 나뭇잎 무늬 원피스가 있는 경우, 서비스 서버는 트로피컬이라는 레이블을 쿼리로부터 추출할 수 있다. 이후 서비스 서버는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다. (단계 160)
이후 서비스 서버는 스타일북에서 검색된 유사 아이템을 포함하며, 유사 아이템이 다른 패션 아이템들과 조합되어 있는 스타일 이미지를 사용자 디바이스에 제공할 수 있다. (단계 170) 나뭇잎 무늬 원피스가 있는 위의 예에서, 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 스타일 이미지를 사용자에게 제공할 수 있다.
단계 180에서 사용자 디바이스는 스타일 이미지를 열람하고, 쿼리 아이템과 코디네이션하기 위한 다른 아이템 추천을 요청하거나 또는 스타일 이미지에 포함된 다른 카테고리의 아이템에 대해 상품 정보를 요청할 수도 있다.
한편, 도 1에서 단계 170 및 180은 필수적인 과정이 아니며, 생략될 수 있다. 즉, 본 발명의 실시예를 따르면, 서비스 서버는 사용자 디바이스가 쿼리를 전송하면, 상기 쿼리에 대한 응답으로 상기 쿼리와 잘 조합되는 다른 카테고리의 상품 정보를 제공할 수 있다. 즉, 사용자가 별도의 코디네이션 아이템 추천 요청을 전송하지 않아도, 서비스 서버는 쿼리 아이템과 조합되는 코디네이션 아이템의 상품 정보를 전송할 수 있다.
한편, 서비스 서버는 쿼리 아이템과 유사한 아이템이 스타일 데이터베이스에서 검색되면, 코디네이션 아이템을 추천하기 위하여 상기 유사한 아이템과 함께 조합되어 스타일 이미지에 포함된 다른 카테고리의 패션 아이템을 확인할 수 있다. (단계 185)
임의의 아이템과 “잘 어울린다”는 것은 인간의 느낌에 대한 것이기 때문에, 어떤 아이템에 대해 사람의 개입없이 “잘 어울리는” 다른 아이템을 컴퓨터가 추천하기 위해서는 복수의 패션 아이템의 매칭에 대해 학습된 기계학습 프레임워크가 필요할 것이다. 이를 위하여 본 발명의 실시예를 따르는 서비스 서버는 복수의 패션 아이템이 전문가 또는 준전문가에 의해 조합되어 사람이 착용한 스타일 이미지를 수집하고 이를 스타일 데이터베이스로 생성할 수 있다. 나아가 서비스 서버는 상기 스타일 데이터베이스를 기계학습 프레임워크에 적용하여 상기 프레임워크를 학습시킬 수 있다. 예를 들어 파란 셔츠와 갈색 타이가 매칭된 대량의 스타일 이미지를 학습한 기계 학습 프레임워크는 파란 셔츠에 대한 쿼리에 대해 코디네이션 아이템으로 갈색 타이를 추천할 수 있을 것이다.
나아가 서비스 서버는 사용자가 문의한 패션 아이템을 상기 스타일 데이터베이스에서 이미지 유사도를 기준으로 검색하고, 유사한 아이템이 포함된 스타일 이미지에 상기 유사한 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 추천 아이템으로 고려할 수 있다. 이는 본 발명의 실시예를 따르는 서비스 서버가 스타일 이미지에서 쿼리 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울리는 것으로 학습되어 있기 때문이다.
스타일 데이터베이스를 이용하여 추천 아이템이 결정되면, 서비스 서버는 상품 데이터베이스에서 이미지 내용의 유사도를 기준으로 상기 추천 아이템을 검색할 수 있다. (단계 190) 이는 스타일 데이터베이스는 복수의 패션 아이템의 조합에 대해 참고하기 위한 이미지 데이터베이스이기 때문에, 이미지에 포함된 각각의 패션 아이템의 가격, 판매처, 재질 등의 세부 내용에 대한 것은 포함되어 있지 않기 때문이다.
예를 들어, 나뭇잎 무늬 원피스 쿼리에 대한 위의 예에서, 스타일 데이터베이스에서 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 이미지가 검색되었다 하더라도, 상기 밀짚모자, 라탄백은 해당 시점에 구입가능한 상품이 아니고, 스타일리스트의 개인 소장품일 수 있다. 또는 상기 스타일 이미지가 유명 디자이너의 패션 화보로, 상기 밀짚모자, 라탄백이 매우 고가의 상품일 수 있다.
이러한 경우, 사용자는 온라인에서 구입 가능하고, 일반적인 가격의 유사 상품은 없는지 궁금할 것이다. 따라서 본 발명의 실시예를 따르는 서비스 서버는, 쿼리 아이템과 유사한 아이템을 스타일 데이터베이스에서 검색하고, 상기 유사한 아이템과 함께 매칭된 다른 카테고리의 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 상품 정보를 제공하기 위해, 상기 추천 아이템과 유사한 상품을 상품 데이터베이스에서 검색할 수 있다.
보다 구체적으로 서비스 서버는 스타일 데이터베이스에서 결정된 추천 아이템에 대해, 이미지 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. (단계 190)
이를 위해 서비스 서버는 스타일 이미지에 포함된 추천 아이템 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있으며, 보다 세부적인 방법은 전술한 상품 이미지를 프로세싱하는 방법을 참고하여 이해될 수 있다.
본 발명의 실시예를 따르는 서비스 서버는 객체 이미지의 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 예를 들어 서비스 서버는 추천 아이템 이미지와 상품 데이터베이스에 포함된 상품 이미지의 특징 값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 추천 상품으로 결정할 수 있다.
나아가 본 발명의 실시예를 따르는 광고 서비스 서버는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 추천 아이템 이미지의 특징 값을 가공하고, 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 상품들을 추천 상품으로 결정할 수도 있다.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 추천 아이템 객체에서 추출한 레이블을 기반으로 추천 상품을 특정할 수도 있다.
예를 들어 추천 아이템 이미지에서 추출된 객체의 레이블 정보가 여성 상의, 블라우스, 흰색, 줄무늬로 추출된 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.
또 다른 예로 서비스 서버는 유사도가 미리 설정된 범위 이상의 상품들을 추천 후보 상품으로 하고, 추천 후보 상품에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다.
또 다른 예로 추천 아이템의 객체 이미지에서 추출된 레이블 정보가 여성 상의, 블라우스, 긴팔, 레이스, 카라넥인 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의, 블라우스, 긴팔, 레이스, 카라넥을 레이블로 가지는 상품 그룹에 대해서만 추천 아이템과 이미지 유사도를 계산할 수도 있다.
추천 상품이 결정되면, 단계 195에서 서비스 서버는 사용자 취향 정보를 반영하여 노출의 우선순위를 결정할 수 있다. 예를 들어 사용자가 취향 정보가 오피스룩에 치중되어 있는 경우, 오피스룩 레이블에 가중치를 두어 우선순위를 계산하고 계산된 우선순위에 따라 추천 상품 정보를 제공할 수 있다. (단계 198)
한편, 도 2는 본 발명의 실시예에 따라 상품 정보 데이터베이스를 구축하는 과정을 설명하기 위한 순서도이다.
도 2의 단계 210에서 서비스 서버는 상품 정보를 수집할 수 있다.
서비스 서버는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.
예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.
단계 220에서 서비스 서버는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다.
본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 쿼리로 활용할 수 있으며, 이를 위해 서비스 서버는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.
본 발명의 선호되는 실시예를 따르면 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화 (indexing)할 수 있다.
보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.
나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.
상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. (단계 230)
보다 구체적으로, 본 발명의 제 1 실시예를 따르면, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
본 발명의 제 2 실시예를 따르면, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.
상기 제 1 실시예와 제 2 실시예에 따르면, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.
한편, 본 발명의 제 3 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.
이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.
상기 제 3 실시예에 따르면, 서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.
나아가 단계 240에서 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다.
도 2의 예에서 단계 230과 단계 240은 별개의 단계로 도시하였지만 이는 설명의 편의를 위한 것이며, 본 발명은 이에 한정하여 해석될 수 없다. 본 발명의 실시예를 따르면, 레이블 정보와 카테고리 정보는 각각 생성될 수도 있지만, 레이블 정보를 카테고리 정보로 활용할 수도 있으며, 카테고리 정보를 레이블 정보로 활용할 수도 있다.
예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. (단계 260)
이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 이미지 유사도를 별도로 계산하지 않고, 상기 레이블을 기반으로 추천 아이템을 결정할 수도 있다. 추천 아이템을 결정하는 보다 구체적인 설명은 첨부된 도 4에 대한 설명에서 후술된다.
한편, 본 발명의 실시예를 따르는 서비스 서버는 수집된 상품 설명 이미지를 필터링할 수 있다. (단계 250) 이는 이미지 검색에 노이즈로 작용할 수 있는 상품 이미지는 제외하고 상품 이미지 데이터베이스를 구성하기 위한 것이다.
보다 구체적으로 서비스 서버는 상품 이미지에서 추출한 레이블과 판매자가 직접 부여한 카테고리 및/또는 태그 정보를 비교하여 상품 이미지의 필터링 여부를 결정할 수 있다.
본 발명의 실시예를 따르면 특정 상품에 대해 다수의 이미지가 존재하고, 그 중 하나의 이미지에서 추출한 레이블과 해당 상품에 대해 판매자가 부여한 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 객체는 데이터베이스에서 필터링할 수 있다.
예를 들어, A 상품에 대한 제 1 내지 제 3 상품 이미지가 존재하고, 제 1 상품 이미지에서는 (여성 상의, 재킷), 제 2 상품 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제 3 상품 이미지에서는 (선글라스, 라운드) 라는 레이블이 추출된 경우를 고려할 수 있다. 이때 A 상품의 판매 카테고리가 “선글라스”이라면, 서비스 서버는 제 1 상품 이미지는 제외하고, 제 2, 제 3 상품 이미지만으로 상품 이미지 데이터베이스를 구성할 수 있다.
이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 상품이 실제로 선글라스에 대한 것인데 제 1 내지 3 상품 설명 이미지를 모두 포함하여 데이터베이스를 구성하면, 쿼리 이미지가 재킷인 경우에도 제 1 상품 이미지와 유사하다고 판단하여 선글라스에 대한 A 상품이 광고 아이템으로 결정될 수 있다. 따라서 검색의 정확도를 떨어뜨릴 수 있는 상품 이미지는 필터링하고 데이터베이스를 구축하는 것이다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (6)

  1. 서비스 서버에서, 코디네이션 패션 아이템을 추천하는 방법에 있어서,
    온라인 마켓에서 구입가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블 정보를 인덱싱하여 상품 데이터베이스를 생성하는 단계;
    사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지에 대한 스타일 데이터베이스를 생성하는 단계;
    사용자 디바이스에 표시된 이미지에 대한 쿼리를 수신하면, 상기 쿼리에서 검색 대상 패션 아이템을 추출하고, 이미지 유사도를 기준으로 상기 스타일 데이터베이스에서 상기 패션 아이템과 유사한 아이템을 검색하는 단계;
    상기 유사한 아이템이 검색된 스타일 이미지에서 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계;
    상기 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상기 상품 데이터베이스를 검색하고, 상기 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 방법.
  2. 제 1항에 있어서, 상기 스타일 이미지는,
    전문가 또는 준전문가가 복수의 패션 아이템들을 조합하여 생성한 이미지 데이터로, 복수의 패션 아이템들의 조합에 대한 인간의 느낌을 컴퓨터가 학습하기 위한 기능을 수행하는 것을 특징으로 하는 패션 아이템 추천 방법.
  3. 제 2항에 있어서,
    상기 검색하는 단계 이전에,
    사용자 식별 정보, 사용자 취향을 추정하기 위한 사용자 행동 정보, 상기 행동 정보로부터 추정한 사용자 취향 정보 및 사용자 디바이스로부터 직접 수신한 사용자 취향 정보 중 적어도 하나 이상을 포함하는 사용자 데이터베이스를 생성하는 단계를 더 포함하고,
    상기 결정하는 단계 이후에,
    상기 추천 상품의 노출 우선 순위를 상기 사용자 취향 정보를 이용하여 설정하는 단계를 더 포함하며,
    상기 사용자 취향 정보는, 상기 사용자의 체형 정보, 상기 사용자가 선호하는 가격, 브랜드 또는 용도에 대한 정보를 포함하는 것을 특징으로 하는 패션 아이템 추천 방법.
  4. 제 3항에 있어서,
    상기 스타일 데이터베이스를 생성하는 단계는,
    상기 스타일 이미지에서, 상기 스타일 이미지에 포함된 단일의 패션 아이템의 외관 또는 상기 스타일 이미지에 포함된 복수의 패션 아이템들의 조합에서 사람이 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 스타일 레이블을 추출하고, 상기 스타일 레이블 정보를 인덱싱하여 상기 스타일 데이터베이스를 생성하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 방법.
  5. 제 4항에 있어서,
    상기 스타일 데이터베이스를 생성하는 단계는,
    상기 스타일 레이블을 이용하여 상기 스타일 이미지들을 클러스터링하고, 임의의 스타일 레이블을 공유하는 스타일 이미지들에 대한 스타일 북을 적어도 하나 이상 생성하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 방법.
  6. 제 5항에 있어서,
    상기 스타일 데이터베이스를 생성하는 단계는,
    상기 스타일 이미지에 출현 빈도가 미리 설정된 비율 이상이 되는 패션 아이템을 버즈 아이템으로 분류하는 단계; 및
    상기 버즈 아이템이 포함된 스타일 북과 상기 버즈 아이템을 제외한 스타일 북을 생성하는 단계를 포함하는 것을 특징으로 하는 패션 아이템 추천 방법.
PCT/KR2019/013966 2018-10-23 2019-10-23 스타일 추천 방법, 장치 및 컴퓨터 프로그램 WO2020085786A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/285,472 US20210390607A1 (en) 2018-10-23 2019-10-23 Method, apparatus and computer program for style recommendation
JP2021515622A JP2022501726A (ja) 2018-10-23 2019-10-23 スタイル推薦方法、装置及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0126481 2018-10-23
KR1020180126481A KR20200045668A (ko) 2018-10-23 2018-10-23 스타일 추천 방법, 장치 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2020085786A1 true WO2020085786A1 (ko) 2020-04-30

Family

ID=70330491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013966 WO2020085786A1 (ko) 2018-10-23 2019-10-23 스타일 추천 방법, 장치 및 컴퓨터 프로그램

Country Status (4)

Country Link
US (1) US20210390607A1 (ko)
JP (1) JP2022501726A (ko)
KR (1) KR20200045668A (ko)
WO (1) WO2020085786A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327152A (zh) * 2021-06-09 2021-08-31 广州华多网络科技有限公司 商品推荐方法、装置、计算机设备及存储介质
WO2022231647A1 (en) * 2021-04-30 2022-11-03 Visa International Service Association Scalable neural tensor network with multi-aspect feature interactions
WO2023068571A1 (ko) * 2021-10-22 2023-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325226B (zh) * 2018-12-14 2024-03-08 北京京东尚科信息技术有限公司 信息呈现方法和装置
KR102382802B1 (ko) * 2020-05-26 2022-04-04 김성민 와인플랫폼 시스템 및 운영방법
KR102366127B1 (ko) * 2020-07-06 2022-02-21 아주대학교 산학협력단 패션 속성을 이용한 딥러닝 기반 스타일 분류 장치 및 방법
WO2022025340A1 (ko) * 2020-07-30 2022-02-03 주식회사 룩코 가상 옷장 구축 및 코디 조합 생성 시스템 및 그 방법
WO2022065819A1 (ko) * 2020-09-22 2022-03-31 주식회사 스타일봇 사용자 선택 의류를 기반으로 의류 추천 정보를 제공하는 방법, 및 이를 이용하는 서버
KR102517961B1 (ko) * 2020-09-22 2023-04-04 주식회사 스타일봇 사용자 선택 의류를 기반으로 의류 추천 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
JP7248834B1 (ja) 2022-01-28 2023-03-29 ミサワホーム株式会社 インテリアスタイル提案支援システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090058389A (ko) * 2007-12-04 2009-06-09 동명대학교산학협력단 지능형 패션 코디네이터 시스템 및 운영 방법
KR20100093232A (ko) * 2009-02-16 2010-08-25 동명대학교산학협력단 개인의 신체적 특성과 트랜드를 고려한 패션 코디 추천 방법
KR20110020104A (ko) * 2009-08-21 2011-03-02 유앤코드 주식회사 코디 검색 시스템 및 서비스 제공 방법
US20140310304A1 (en) * 2013-04-12 2014-10-16 Ebay Inc. System and method for providing fashion recommendations
KR20180017597A (ko) * 2016-08-10 2018-02-21 주식회사 원더풀플랫폼 패션 코디네이션 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476236B2 (ja) * 2010-07-02 2014-04-23 日本電信電話株式会社 コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
JP2014229129A (ja) * 2013-05-23 2014-12-08 日本電信電話株式会社 組み合わせ提示装置及びコンピュータプログラム
US20180150869A1 (en) * 2013-07-19 2018-05-31 Jet.com, Inc. System, method, and program product for identifying discounted items
KR101511050B1 (ko) 2014-07-25 2015-04-13 오드컨셉 주식회사 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
JP2017084078A (ja) * 2015-10-27 2017-05-18 日本電信電話株式会社 スタイル検索装置、方法、及びプログラム
JP2018018136A (ja) * 2016-07-25 2018-02-01 アスクル株式会社 電子商取引システム
JP2018120527A (ja) * 2017-01-27 2018-08-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム
CN111295669A (zh) * 2017-06-16 2020-06-16 马克波尔公司 图像处理系统
US10963939B1 (en) * 2018-08-27 2021-03-30 A9.Com, Inc. Computer vision based style profiles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090058389A (ko) * 2007-12-04 2009-06-09 동명대학교산학협력단 지능형 패션 코디네이터 시스템 및 운영 방법
KR20100093232A (ko) * 2009-02-16 2010-08-25 동명대학교산학협력단 개인의 신체적 특성과 트랜드를 고려한 패션 코디 추천 방법
KR20110020104A (ko) * 2009-08-21 2011-03-02 유앤코드 주식회사 코디 검색 시스템 및 서비스 제공 방법
US20140310304A1 (en) * 2013-04-12 2014-10-16 Ebay Inc. System and method for providing fashion recommendations
KR20180017597A (ko) * 2016-08-10 2018-02-21 주식회사 원더풀플랫폼 패션 코디네이션 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231647A1 (en) * 2021-04-30 2022-11-03 Visa International Service Association Scalable neural tensor network with multi-aspect feature interactions
CN113327152A (zh) * 2021-06-09 2021-08-31 广州华多网络科技有限公司 商品推荐方法、装置、计算机设备及存储介质
CN113327152B (zh) * 2021-06-09 2024-04-16 广州华多网络科技有限公司 商品推荐方法、装置、计算机设备及存储介质
WO2023068571A1 (ko) * 2021-10-22 2023-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Also Published As

Publication number Publication date
KR20200045668A (ko) 2020-05-06
JP2022501726A (ja) 2022-01-06
US20210390607A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
WO2020085786A1 (ko) 스타일 추천 방법, 장치 및 컴퓨터 프로그램
WO2020171535A2 (ko) 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR102127191B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102037489B1 (ko) 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
WO2020251174A1 (ko) 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버
KR102295459B1 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20220039697A (ko) 코디네이션 패션 아이템을 추천하는 방법
KR20220019737A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
WO2020141802A2 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
WO2021215758A1 (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
KR102378072B1 (ko) 코디네이션 패션 아이템을 추천하는 방법
KR102113318B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2020138941A2 (ko) 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
KR102062248B1 (ko) 온라인 신문기사의 아티클 이미지를 분석하여 매칭되는 커머셜 이미지를 노출하는 방법
WO2020141799A2 (ko) 사용자에게 캘린더 데이터를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2021107556A1 (ko) 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치
WO2020141803A2 (ko) 사용자에게 패션 아이템 추천 서비스를 제공하는 방법
KR20200058343A (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19876905

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021515622

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19876905

Country of ref document: EP

Kind code of ref document: A1