WO2021215758A1 - 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램 - Google Patents

추천 상품 광고 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2021215758A1
WO2021215758A1 PCT/KR2021/004857 KR2021004857W WO2021215758A1 WO 2021215758 A1 WO2021215758 A1 WO 2021215758A1 KR 2021004857 W KR2021004857 W KR 2021004857W WO 2021215758 A1 WO2021215758 A1 WO 2021215758A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
user
database
image
recommended
Prior art date
Application number
PCT/KR2021/004857
Other languages
English (en)
French (fr)
Inventor
김정태
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200060793A external-priority patent/KR20210131198A/ko
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Publication of WO2021215758A1 publication Critical patent/WO2021215758A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to a method for advertising a recommended product related to a fashion product to a user. Specifically, through artificial neural network AI learned in advance, it determines fashion products that the user is interested in, products similar to the corresponding fashion products, or coordinating products in other categories that are predicted to go well together, and through retargeting and cross-targeting advertising techniques The present invention relates to a recommended product advertisement method capable of increasing advertising efficiency by providing recommended products to new users as well as previously visited users.
  • fashion products can have as many tastes as the number of consumers, it is important to analyze consumer behavior such as shopping mall visit history, purchase history, and products viewed and accurately identify the properties of products of interest to conduct fashion advertisements. can If the advertisement is conducted by appropriately selecting the customized recommendation product reflecting the consumer's personal preference and interest, the consumer can focus more on the advertisement and, as a result, the probability of leading to a purchase can be increased.
  • Collaborative Filtering is a method of estimating consumer preferences from the assumption that similar types of people will have similar preferences. For example, if a consumer who clicks on product code a1002 at a specific shopping mall clicks on product code a3003 afterward, then when a similar type of consumer browses a product with product code a1002, it is advertised in a way that recommends product code a3003. . However, there was a problem in that this collaborative filtering could not be linked with the product codes of other shopping malls because the relationship between product code values was established only within the corresponding shopping mall.
  • each shopping mall since the consumer only knows the product code of the product clicked, but cannot know the product characteristic values such as color, pattern, texture, feel, and sleeve length of the product, each shopping mall has only product codes assigned according to different methods. had a problem that it could not recommend (cross-targeting) products from other shopping malls.
  • image-based product feature values are extracted by analyzing an image of a product using an artificial neural network learned in advance, not simply a product code or category value, and the extracted product characteristic value is used in other shopping malls.
  • image-based product feature values are extracted by analyzing an image of a product using an artificial neural network learned in advance, not simply a product code or category value, and the extracted product characteristic value is used in other shopping malls.
  • the present invention relates to a method for advertising a recommended product related to a fashion product to a user, based on information stored by matching a user engagement history including user behavior information generated while browsing a website for each user ID.
  • the method for the service server to advertise the recommended product comprising the steps of: determining whether a user engagement history matching the user ID of a user visiting a page that can provide advertisements is pre-stored in the ad server; as a result of the determination, when the user engagement history of the user visiting the page is pre-stored in the ad server, selecting a product image identified from the pre-stored user engagement history as a query image; selecting a database for retrieving the query image from a database of a shopping mall previously visited by a user visiting the page and a database of an unvisited shopping mall, and selecting one or more of features and label information extracted from the object included in the query image and determining at least one of a recommended product belonging to the same category as the object and a recommended product belonging to a different category from the object
  • the present invention it is possible to advertise with higher accuracy by recommending image-based products through an artificial neural network learned in advance, and there is an effect of recommending (cross-targeting) products from other shopping malls, which was not possible in the existing collaborative filtering. .
  • the present invention by providing recommended products to consumers using both retargeting and cross-targeting, the disadvantages of existing retargeting that could not be advertised to new users can be overcome, and actual purchases can be made with the first cross-targeting. There is an effect that can induce the advertising performance to return to the inducer.
  • FIG. 1 is a flowchart illustrating a method for advertising a recommended product to a user according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a process of determining a product to be recommended to a user according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process of configuring a product database according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of configuring a style database according to an embodiment of the present invention.
  • the user device on which product information is displayed (refer to reference numeral '10' in FIG. 2 ) is a mobile device, but the present invention is not limited thereto. That is, in the present invention, the user device 10 should be understood as a concept including all types of electronic devices capable of requesting a search and displaying advertisement information, such as a desktop, a smart phone, and a tablet PC.
  • the term "displayed page in an electronic device” refers to a screen loaded into the electronic device and/or content inside the screen to be immediately displayed on the screen according to the user's scrolling. It can be understood as a concept including the like.
  • the entire execution screen of an application that is extended in a horizontal or vertical direction and displayed according to a user's scrolling may be included in the concept of the page, and a screen in camera roll may also be included in the concept of the page.
  • FIG. 1 is a flowchart illustrating a method for advertising a recommended product to a user according to an embodiment of the present invention.
  • the user's product browsing history, purchase history, or user engagement history (user engagement history) including a visit history is matched by user ID and stored based on the stored browsing information to advertise recommended products.
  • the shopping mall including the recommended product is a shopping mall that the targeted user has previously visited based on the viewing information of the user targeted for the advertisement, and according to whether the targeted user is a previously visited shopping mall, the
  • a database for searching a query image that is an image requested to be searched may be differently determined, and a recommended product may be determined by searching the database based on the similarity of objects included in the query image.
  • the query image is retrieved from the database of the previously visited shopping mall, and when the targeted user is not a previously visited shopping mall, The query image may be retrieved from a database.
  • the query image is an image of a fashion product that is requested to be searched to determine a recommended product. It may include a representative preference style determined according to the number of attribute labels extracted from .
  • the service server determines whether the advertiser's shopping mall is a shopping mall that the user has previously visited based on the reading information of the targeted user among unspecified users.
  • the targeted user may include both existing customers who have visited the advertiser's shopping mall and new customers who have never visited the shopping mall.
  • the service server 30 receives the image database from the customer in advance, trains the images on the pre-trained artificial neural network model, and determines where the fashion item exists among the images through the learned artificial neural network model, the category of the fashion item It has feature values of various properties such as , material, color, and length in vector form. Thereafter, when users enter a shopping mall or a web page, the service server 30 may receive a query image and perform a search.
  • advertisement of a product of a shopping mall that the user has visited may be referred to as a retargeting advertisement
  • advertisement of a product of a shopping mall that the user has not visited may be referred to as a cross-targeting advertisement.
  • cross-targeting advertisement advertisement of a product of a shopping mall that the user has not visited.
  • step S120 if it is determined that the targeted user is a previously visited shopping mall (YES in step S120), step S140 may be performed for retargeting advertisement. Conversely, if it is determined that the targeted user is not a previously visited shopping mall (No in step S120 ), step S130 may be performed for cross targeting.
  • the service server 30 may search for a query image in an unvisited shopping mall database except for a previously visited shopping mall database.
  • the type of consumer is set too abstractly such as age, gender, and region, so there is a problem in that unnecessary consumers who are not actually interested in the product are introduced, thereby reducing the accuracy of the advertisement. .
  • retargeting is carried out based on the reading information of consumers obtained through cross-targeting, rather than the person who first induced consumers with cross-targeting. There was an irrationality in which one company took direct sales advertising performance.
  • cross-targeting recommends products of a shopping mall that the user has never visited, and at the same time, retargeting users with a user event that they have visited the shopping mall or seen products of the shopping mall. You can provide recommendations while tracking. Therefore, the inflow effect of the advertiser who contributed to the inflow of users through cross-targeting for the first time leads to retargeting, which has the effect of increasing the advertising efficiency.
  • cross-targeting it is possible to provide recommended products to new users who do not have a visit history, so that more potential customers can be introduced than when advertising only to existing users through retargeting. It works.
  • the type of consumer such as a product number, a category value, or a customer's age, gender, and region is set too abstractly, so that the advertisement
  • the type of consumer such as a product number, a category value, or a customer's age, gender, and region is set too abstractly, so that the advertisement
  • the accuracy is reduced. For example, when a user is browsing a specific fashion item on a shopping mall website or has a history of browsing, it automatically recognizes feature values such as texture, color, and category of the corresponding fashion item, and based on the recognized feature values
  • a recommended product may be searched for in the product or style database and provided to the user. Therefore, it is possible to more accurately reflect the consumer's preference for the individual characteristic values of a fashion item than when a recommended product is determined only by the consumer's information or collaborative filtering.
  • step S140 may be performed.
  • Ads can be promoted through increasing retargeting.
  • the service server 30 may search for a query image in the previously visited shopping mall database visited by the user.
  • the previously visited shopping mall database and the unvisited shopping mall database may include a product database and a style database, respectively, and when the ad server (refer to reference numeral '20' in FIG. 2 ) is included in the service server 30 , a user database is further included. You may.
  • the product database is a database generated by extracting a label and/or feature value describing the contents of the product based on the image of the product and indexing the label information for a product that can be purchased in an online market
  • the style database includes: It may be a database generated from a style image in which a plurality of fashion items are combined and/or a style image in which a person is wearing a plurality of fashion items. (Correction basis: see [0078])
  • the product database and the style database may be databases divided by product category differences. Basically, all product information provided by the advertiser's shopping mall constitutes a database (including a product database and a style database), and feature values are extracted from all the products. In this case, according to an embodiment, label extraction for product attributes may be performed together.
  • Classification by product category difference means that when determining a product to recommend to a user, when recommending a product in the same category as the product that is the standard for product recommendation, search the product database and search for products in at least one other category.
  • recommending it may mean searching in a style database. That is, it may be abstractly classified according to the category of the recommended product. A detailed description of the style database may be understood with reference to the description of FIG. 4 which will be described later.
  • image-based product feature values are extracted by analyzing an image of a product using an artificial neural network learned in advance, not simply a product code or category value, and the extracted product characteristic value is used in other shopping malls.
  • product feature values By linking with product feature values, product recommendation between different shopping malls, which was not possible in collaborative filtering-based retargeting, is possible.
  • the service server 30 divides and recognizes a number of objects included in the query image through an artificial neural network learned in advance, and uses various objects such as fashion category, material, color, feel, sleeve, length, and neckline from the objects. feature values can be extracted.
  • the object images may be searched for in the product or style database based on the similarity in the previously visited shopping mall database of the service server 30 .
  • the service server 30 may calculate the similarity of the feature values of the object images included in the query image, and check the product whose similarity is within a preset range.
  • the recommended product may be determined by extracting attribute labels from images of products existing in the user's shopping history.
  • the attribute label may express information describing the content of the product in the form of a vector based on the image of the product.
  • the label may express information describing a feeling that a human can intuit from a style image in which a person is wearing a plurality of fashion items in the form of a vector.
  • the attribute label may express, in the form of a vector value or text, attribute information such as a feeling that a human can intuit from the image of the product, the material of the product, and the use.
  • the attribute label may be extracted for each category of the fashion product. After attribute labels of all products existing in the user's shopping history are extracted for each category, a representative preferred style of the corresponding user may be set according to the number of extracted attribute labels. For example, if attribute labels of V-neck, red, and sexy styles are extracted with high frequency from the category of One Piece, they may be set as representative preferred styles.
  • the service server 30 may advertise a product matching the representative preferred style among the advertiser's products to the user by retargeting and cross-targeting methods.
  • the service server 30 may determine a recommended product based on the searched product.
  • the searched product may include the same product, similar product, or coordinated product as the product determined to be preferred by the user with reference to the user's reading information.
  • step S160 the service server 30 automatically generates one of the user's browser cookie value or user ID, device ID, and AD ID (Advertizing ID) generated when a specific action is taken, such as visiting a website or clicking a product. based on the user's traffic can be tracked.
  • AD ID Anavertizing ID
  • a code or pixel can be used to place a non-identifiable browser cookie. After that, when a consumer leaves the site or accesses another website, it can decide which advertisements to display based on the consumer's website visit history and product purchase history, which were previously stored in the browser cookie.
  • step S170 the service server 30 can remind the consumer once again of the product and awaken the desire to purchase by continuously advertising the recommended product while tracking the user. Accurate targeting is possible in this respect, which has the effect of expecting a relatively high purchase conversion rate.
  • product recommendation can be made between different shopping malls. possible.
  • the recommended product is based on the search result in the previously visited shopping mall can advertise.
  • the above-described series of recommended product determination and advertisement provision may be repeated until at least one of them is satisfied according to the advertisement cost paid by the advertiser, advertisement period, number of advertisements, target advertisement performance, and the like.
  • the service server 30 may improve advertising efficiency by changing the recommended product, recommended material, or query differently from before.
  • a method of determining a recommended product by changing a recommended product, a recommended material, and a query may be performed by selecting any one method as a single method, but also by selecting it redundantly according to an embodiment.
  • the change of the recommended product, the recommended material, or the query may be performed when there is no user action or a specific action is performed even after an arbitrary number of advertisement exposures.
  • the specific operation may be a case in which a user puts a product in a cart or purchases a product, and according to an embodiment, when the product is viewed more than a preset number of times, when the product is captured through a screenshot,
  • a keyword related to a product may be defined in various ways, such as when a search is made on a portal site.
  • a method for the service server 30 to change the recommended product there may be a method of recommending another product when the user does not respond in particular after exposing the determined recommended product a certain number of times. For example, if there is no response (or click) from the user after exposing the top 1 to 3 products similar to the product A viewed by the first user 5 times, the next similar top 4 to 6 products are recommended as recommended products. There may be changes to the database used for providing and making recommendations.
  • the ranking according to the similarity of the provided product may be set in various ways according to the embodiment, and the number of exposures and the user's reaction (ex click) may also be set in various ways according to the embodiment.
  • the service server 30 may change the recommended material according to the advertisement situation.
  • the advertisement means may change the advertisement design template used or add animation to the advertisement, and there are various cases of changing the advertisement medium or changing the detailed advertisement element according to the embodiment. For example, when an advertisement initially provided as a 2D image is re-advertised, it may be provided as a 3D animation.
  • the method by which the service server 30 changes the query may be a method of differently controlling the query requesting which product is to be determined based on which product as a trigger for determining the recommended product. For example, previously, a similar product or a coordinated product may be recommended based on a product that the user most recently added to the cart, and then, the user may recommend based on a product that the user has not added to the cart but has previously browsed. In this case, the method of changing the aforementioned recommended product or the method of changing the recommended material may be used redundantly.
  • a coordinator may be recommended based on the purchased product.
  • Product recommendation and Cody's recommendation can be provided complementary to each other, and through this, users can receive recommended products continuously, and advertisers can effectively determine products that have a high probability of leading to purchase and expose them to consumers.
  • FIG. 2 is a flowchart illustrating a process of determining a product to be recommended to a user according to an embodiment of the present invention.
  • a user-customized product recommendation advertisement may be provided based on the user's taste and style.
  • the ad server (20) may collect such user's browsing information and store it in a user database.
  • the browsing information reflects the user's personal fashion taste because the user's product browsing history, purchase history, and visit history are matched and stored for each user ID.
  • the ad server 20 is shown as a separate configuration independent of the service server 30 , but according to an exemplary embodiment, the ad server 20 may be included in the service server 30 instead of a separate server.
  • the ad server 20 may receive the URL including the white bag or the product number of the white bag searched by the user from the user device 10 as reading information and store it in the user database (step S230).
  • the service server 30 when the service server 30 receives a query requesting a style recommendation for a white bag, it recommends a fashion product that goes well with the white bag and meets the user's taste by referring to the style database and the product database created in advance.
  • online market information of recommended products will be provided.
  • the recommended product may be the same product as the user's product of interest (white bag) according to the user's filtering, a product similar to the product of interest, or a coordinated product of another category that goes well with the product of interest or similar product.
  • the service server 30 may suggest a product similar to the dress in the photo as a coordination item based on a photo in which a similar white bag and a dress are matched among photos collected from fashion magazines.
  • the service server 30 may search the product database based on the image similarity of the object to determine the same or similar item to the query item.
  • the query (or query image) may be an operation in which the ad server 20 requests a recommended product expected to be preferred by the user from a product of interest in order to advertise the recommended product.
  • the service server 30 may check other items matched with the similar item in the image included in the style database, and may determine the coordination item by reflecting user preference information among the other items. Thereafter, the service server 30 may search a product database for the coordination item based on the image similarity, set a priority according to user preference information, and determine a recommended product.
  • the service server 30 may configure a database that is a basis for product recommendation.
  • the database includes a product database and a style database, and the service server 30 may perform a function of searching for a query and determining a recommended product with reference to the database.
  • the ad server 20 may configure a user database that is a basis for product recommendation.
  • the ad server 20 may include browsing information stored by matching user engagement histories such as a user's purchase history and visit information for each user ID.
  • the ad server 20 is illustrated as a separate configuration independent of the service server 30, according to an embodiment, the ad server 20 is included in the service server 30 instead of a separate server to exist together with the product and style database. can For convenience of description, it is assumed that the ad server 20 is included in the service server 30 .
  • the product database may include detailed product information such as country of origin, size, vendor, and wearing shot of products sold in the online market.
  • the style database may include information about a fashion image that can be referred to for a fashion style and coordination of a plurality of items among images collected on the web.
  • the user database may include information for estimating the user's taste, such as the user's purchase data and reading time data.
  • the user database may include information on the user's body type, preferred price range for online shopping for fashion items, information on usage, and brands.
  • the product database according to the embodiment of the present invention has a feature of composing product information based on the image of the product.
  • Step S210 A detailed description of creating a product database according to an embodiment of the present invention will be described later with reference to FIG. 3 .
  • the service server 30 may configure a style database that is a basis for style recommendation. (Step S220)
  • the style database may include, among images collected online, an image in which a plurality of fashion items are combined to fit well (this is referred to as a style image in this specification) and classification information on the style image.
  • a style image according to an embodiment of the present invention is image data generated by a professional or semi-professional by combining a plurality of fashion items in advance, and can be collected on the web: a fashion catalog, a fashion magazine pictorial image, a fashion show shooting image, an idol costume image, and a specific drama.
  • an image of a costume of a movie may be exemplified by an image of a costume of a movie, an image of a celebrity on social media, a blog, an image of a street fashion in a fashion magazine, an image coordinated with other items for sale of a fashion item, and the like.
  • the style image may be stored in a style database according to an embodiment of the present invention, and may be used to determine other items that go well with a particular item. According to this, the style image can be used as a reference material that the computer can understand the human feeling that it generally "fits well".
  • a method of generating a style database according to an embodiment of the present invention will be described later with reference to FIG. 4 attached thereto.
  • the service server 30 may create a user database in step S230.
  • the user database may include user identification information, user behavior information for estimating user preference, user preference estimated from the behavior information, and user preference information directly received from the user device 10 .
  • the service server 30 provides the user device 10 with a query on the user's age, gender, occupation, fashion field of interest, previously owned items, etc., and receives a user input for the query to provide user preference information. created and reflected in the user database.
  • the service server 30 provides a time at which a user browsed an arbitrary style book provided through an application according to an embodiment of the present invention, item information generated with a like tag, a query item, purchased through the application or other applications.
  • item information generated with a like tag such as fashion item information and time information at which the information is generated
  • taste information on a style that the user is interested in at the time can be generated and reflected in the user database.
  • the service server 30 may generate body shape information of the user and reflect it in the user database.
  • the ad server 20 is illustrated as being independent of the service server 30 in FIG. 2 , for convenience of explanation, it is assumed that the ad server 20 is included in the service server 30 .
  • a user body model can be created from the framework.
  • the user body type model may include information about the proportion of each part of the user's body and skin tone as well as size information of each part of the user's body.
  • the service server 30 may generate the user's preference information for a fashion item and reflect it in the user database.
  • the preference information may include information on the user's preferred price, preferred brand, and preferred use. For example, when the user device 10 reads or purchases a fashion item through the online market, the service server 30 reflects the weight for the reading or purchase differently to provide information on the preferred price, preferred brand, and preferred use. It can be created and reflected in the user database.
  • the service server 30 has a feature of estimating a user's "taste" corresponding to a human feeling, generating the estimated taste information in a computer-recognizable form and reflecting it in the user database. have.
  • the service server 30 may extract a label for estimating the user's taste from the user's behavior information.
  • the label may be extracted as meanings of fashion items included in the user behavior information, such as a style book read by the user, an item for which a like tag is generated, a query item, and a purchase item.
  • the label may be generated as information about a look and feel, such as the appearance and feeling of fashion items included in the user behavior information, and trends.
  • the label generated from the user behavior information is weighted according to the user behavior, and the service server 30 may combine them to generate user preference information for estimating user preference and store it in the user database.
  • the user preference information, user body type information, and user preference information included in the user database may be used to set an exposure priority for a recommended item or a recommended product.
  • step S240 the user who was browsing the web page or any image may transmit a query for inquiring about product information on a specific fashion item or a query for inquiring about a coordination item that can be well combined with the item to the service server 30. .
  • the user may transmit a query to the service server 30 to request product information of a specific fashion item or to recommend a coordination item suitable for it, while browsing an online shopping mall.
  • the user may take a photo of a specific offline fashion item and transmit a query to the service server 30 to request product information of the corresponding fashion item or to recommend a coordination item suitable for it.
  • the user device 10 is well combined with a query for inquiring product information for a specific item or the item while browsing the style book provided through the application according to the embodiment of the present invention (step S250), and enters the style book.
  • a query for inquiring about other coordination items not included may be transmitted to the service server 30 .
  • the user device 10 that transmits the query may transmit, for example, a query including a history log of a web browser to the service server 30 .
  • the record log may include a browsing execution history of the web browser and URL information of a web page executed at the time.
  • the user device 10 may extract image, video, and text data included in the URL of the web page, and transmit the extracted data as a query.
  • screenshots can be extracted and sent as a query.
  • the user device 10 may transmit the image displayed at the time as a query.
  • the user device 10 may extract a searchable object from an image included in the stylebook received from the service server 30 and transmit it as a query.
  • the user device 10 may transmit a query even when the user does not request a separate search, but may also transmit a query based on the user search request as a condition.
  • the user device 10 may transmit a query on condition that the user's search request is received.
  • the user device 10 may extract an object in the image that has received the search request and transmit it as a query.
  • the user device 10 may specify a searchable object in the displayed image in advance, and transmit a query for the object to which the user selection input is received.
  • the user device 10 may first determine whether an object of a preset category is included in the displayed image, specify the object, and operate to display a search request icon for the object.
  • an object for a fashion item may be specified in an image included in the style book, and only a query for the specified object may be transmitted. Furthermore, when objects for a plurality of fashion items are included in the image, each object may be specified, and only a query for the object selected by the user may be transmitted.
  • the service server 30 may process the fashion item object included in the received query based on the previously learned artificial neural network. Thereafter, a product or style database can be searched based on the image similarity. (Step S270)
  • the advertisement service server 30 may receive a query image and, when a plurality of objects are included in the query image, divide and recognize each of the objects.
  • the query received by the user device 10 may specify a search target object.
  • the service server 30 may process the image object specified as a search target. This is to search for similar items in the product or style database based on the contents of the query image.
  • the service server 30 may extract the characteristics of the image object to be searched and structure specific information of the images for the efficiency of the search. It can be understood by reference.
  • the service server 30 applies the machine learning technique used to build the product image database described later in the description of FIG. 3 to the processed search target object image to the meaning of the search target object image. It is possible to extract label and/or category information for The label may be expressed as an abstract value, but may also be expressed in text form by interpreting the abstract value.
  • the service server 30 may extract labels for women, one-piece, sleeveless, linen, white, and casual look from the query object image.
  • the service server 30 uses the labels for women and dresses as category information of the query object image, and the labels for sleeveless, linen, white, and casual look are label information describing the characteristics of the object image other than the category. can be utilized
  • the service server 30 may search the style database based on the similarity of the query object image. This is to search for items similar to the query image in the style database, and to check other items that are matched with similar items in the style image. For example, the service server 30 provides a query object image and a fashion item included in the style image. The similarity of feature values of the object images may be calculated, and an item having a similarity within a preset range may be identified.
  • the service server 30 processes the feature values of the query image by reflecting the weights required by a plurality of layers of the artificial neural network model for machine learning configured for the product database in step S210, At least one fashion item group included in the style book having a distance value within a predetermined range from the image may be selected, and items belonging to the group may be determined as similar items.
  • the service server 30 searches the product or style database based on the similarity of the query image to determine the similar item, and at this time, the label extracted from the image to increase the accuracy of the image search.
  • category information can be used.
  • the service server 30 calculates the similarity between the feature values of the query image and the style database image, and labels and/or category information among products with a similarity level greater than or equal to a preset range is determined with the label and/or category information of the query image. Similar items may be determined by excluding non-matching products.
  • the service server 30 may calculate the item similarity only in the style book having the label and/or category information matching the label and/or category information of the query image.
  • the service server 30 may extract a style label from a query image, and specify a similar item based on the query and image similarity in a style book matching the label.
  • the service server 30 may specify similar items based on the similarity between the query image and the image in the style database without extracting a separate label from the query image.
  • the service server 30 may extract the label tropical from the query. Thereafter, the service server 30 may specify a similar item having a similarity in a preset range to the leaf pattern dress in the clustered style book with the label tropical (step S280 ).
  • the service server 30 may provide the user device 10 with a product or style image in which the similar item is found in the style book and the similar item is combined with other fashion items.
  • a product or style image in which the similar item is found in the style book and the similar item is combined with other fashion items may be provided to the user.
  • the user may view a product or a style image, request another item recommendation for coordinating with a query item, or request product information for an item of another category included in the style image.
  • the service server 30 may provide product information of another category that is well combined with the query in response to the query. That is, even if the user does not transmit a separate coordination item recommendation request, the service server 30 may transmit product information of the coordination item combined with the query item.
  • the service server 30 may identify a fashion item of another category included in the style image in combination with the similar item in order to recommend a coordination item.
  • the service server 30 may collect a style image worn by a person by combining a plurality of fashion items by experts or semi-professionals, and may generate them as a style database. Furthermore, the service server 30 may learn the framework by applying the style database to the machine learning framework. For example, a machine learning framework that has learned a large number of matching style images for a blue shirt and a brown tie might be able to recommend a brown tie as a coordination item for a query for a blue shirt.
  • the service server 30 searches for the fashion item inquired by the user in the style database based on the image similarity, and recommends a fashion item of another category matched with the similar item to a style image including the similar item. can be considered as This is because the service server 30 according to the embodiment of the present invention has learned that other items matched with the query item in the style image are well matched.
  • the service server 30 may search for the recommended item in the product database based on the similarity of image contents. This is because, since the style database is an image database for reference with respect to a combination of a plurality of fashion items, details such as price, sales place, and material of each fashion item included in the image are not included.
  • the straw hat and rattan bag are available for purchase at that time. It may not be a product, but may be the personal collection of a stylist. Alternatively, the style image may be a fashion pictorial of a famous designer, and the straw hat and rattan bag may be very expensive products.
  • the service server 30 searches for an item similar to a query item in a style database, determines an item of another category matched with the similar item as a recommended item, and provides information on the recommended item.
  • a product similar to the recommended item may be searched for in a product database.
  • the service server 30 may search the product database based on the image similarity for the recommended item determined in the style database.
  • the service server 30 may extract the characteristics of the recommended item object included in the style image and structure specific information of the images for efficiency of the search, and a more detailed method is the method of processing the product image described above. It can be understood by reference.
  • the service server 30 may search the product database based on the similarity of object images. For example, the service server 30 may calculate a similarity between the recommended item image and the feature values of the product image included in the product database, and determine a product having a similarity within a preset range as the recommended product.
  • the advertisement service server 30 processes the feature value of the recommended item image by reflecting the weights required by a plurality of layers of the artificial neural network model for machine learning configured for the product database, and a certain range At least one product group having a distance value within the range may be selected, and products belonging to the group may be determined as recommended products.
  • the service server 30 may specify a recommended product based on a label extracted from the recommended item object.
  • the service server 30 searches only for a product group having a female top as upper category information in the product database.
  • the similarity with the object image can be calculated.
  • the service server 30 may use products having similarity greater than or equal to a preset range as recommended candidate products, and may exclude products whose sub-category information is not a blouse from the recommended candidate products. In other words, products indexed by sub-category information as blouses may be selected as advertisement items.
  • the service server 30 labels the female top, blouse, long sleeve, lace, and collar neck in the product database It is also possible to calculate the similarity between the recommended item and the image only for the product group having .
  • the service server 30 may determine the priority of exposure by reflecting user preference information. For example, when the user's taste information is focused on office look, the priority may be calculated by giving weight to the office look label, and recommended product information may be provided according to the calculated priority.
  • FIG. 3 is a flowchart illustrating a process of configuring a product database according to an embodiment of the present invention.
  • the service server 30 may collect product information.
  • the service server 30 may collect product information about products sold in any online market as well as product information of a pre-affiliated online market.
  • the service server 30 may include a crawler, a parser, and an indexer, collect web documents of an online store, and access text information such as product images and product names and prices included in the web documents.
  • the crawler may transmit product information-related data to the service server 30 in a manner that collects a list of web addresses of online stores, checks websites, and tracks links.
  • the parser interprets the web documents collected during the crawling process and extracts product information such as product images, product prices, and product names included in the page, and the indexer can index the location and meaning.
  • the service server 30 may collect and index product information from websites of any online store, but may also receive product information in a preset format from an affiliate market.
  • the service server 30 may process the product image. This is to determine a recommended item based on whether a product image is similar, without relying on text information such as a product name or sales category.
  • a recommended item may be determined based on whether a product image is similar, but the present invention is not limited thereto. That is, depending on the implementation, the product image as well as the product name or sales category can be used alone or as an auxiliary query. can
  • the service server 30 may extract the features of the product image and index the feature information of the images for efficiency of search.
  • the service server 30 may detect a feature area of the product images (Interest Point Detection).
  • the feature region refers to a main region from which a descriptor for a feature of an image, ie, a feature descriptor, is extracted for determining whether the images are identical or similar.
  • such a feature region is greater than a contour included in an image, a corner such as a corner among contours, a blob distinguished from a peripheral region, a region that is invariant or covariant according to the deformation of the image, or an ambient brightness. It can be a pole with dark or light features, and can target a patch (piece) of an image or the entire image.
  • the service server 30 may extract a feature descriptor from the feature area (Descriptor Extraction).
  • the feature descriptor expresses the features of an image as vector values.
  • such a feature descriptor may be calculated using the position of the feature region in the corresponding image, or brightness, color, sharpness, gradient, scale, or pattern information of the feature region.
  • the feature descriptor may convert a brightness value of a feature region, a change value of brightness, or a distribution value of the feature region into a vector and calculate it.
  • the feature descriptor for an image is a global descriptor, a frequency descriptor, a binary descriptor, or a local descriptor based on the feature region as described above. It can be expressed as a neural network descriptor.
  • the feature descriptor is a global descriptor ( global descriptor).
  • the feature descriptor includes a frequency descriptor that converts and extracts the number of times that specific descriptors classified in advance are included in an image, the number of times that a global feature such as a conventionally defined color table is included, etc.
  • Learning from the layer of binary descriptor and neural network which extracts in bits whether it is included or whether the size of each element constituting the descriptor is larger or smaller than a specific value, and converts it into an integer type
  • it may include a neural network descriptor that extracts image information used for classification.
  • feature information vector extracted from the product image it is possible to convert the feature information vector extracted from the product image to a lower dimension.
  • feature information extracted through an artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector of an appropriate range in consideration of the resources required for the search.
  • various dimensionality reduction algorithms such as PCA and ZCA may be used, and the feature information converted into a low dimensional vector may be indexed into a corresponding product image.
  • the service server 30 may extract a label for the meaning of the image by applying a machine learning technique based on the product image.
  • the label may be expressed as an abstract value, but may also be expressed in text form by interpreting the abstract value.
  • the service server 30 defines a label in advance, creates a neural network model that learns the characteristics of the image corresponding to the label, classifies the object in the product image, , you can extract the label for that object.
  • the service server 30 may give a corresponding label to an image matching a specific pattern with an arbitrary probability through a neural network model that has learned the pattern of the image corresponding to each label.
  • the service server 30 forms an initial neural network model by learning the characteristics of the image corresponding to each label, and applies a large number of product image objects to the neural network model more precisely. It can also be expanded. Furthermore, if the corresponding product is not included in any group, the service server 30 may create a new group including the corresponding product.
  • the service server 30 includes women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, abstract feelings (innocence, chic, vintage, etc.)
  • a label that can be used as meta information for a product is defined in advance, a neural network model is created that learns the characteristics of an image corresponding to the label, and the neural network model is applied to the advertiser's product image to label the advertisement target product image. can be extracted.
  • the service server 30 may apply the product images to the neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of the label. Furthermore, weights may be given to the characteristic information of the product image according to the request of the corresponding layer, and the product images may be clustered using the processed characteristic information.
  • the service server 30 classifies products into three groups through image processing, and labels A for the first group feature, B for the second group feature, and C for the third group feature.
  • A, B, and C mean, for example, women's tops, blouses, and checkered patterns, respectively.
  • the service server 30 includes women's bottoms, skirts, dresses, short sleeves, long sleeves, pattern shapes, materials, colors, and abstract feelings (innocence, chic, vintage, etc.) in the clustered image group. Labels that can be interpreted ex-post can be given, and labels assigned to image groups to which individual product images belong can be extracted as labels of the corresponding product image.
  • the service server 30 may express a label extracted from a product image as text, and the label in the text form may be utilized as tag information of the product.
  • product tag information is subjectively and directly provided by the seller, which is inaccurate and has low reliability.
  • the product tag subjectively given by the seller acts as a noise and lowers the efficiency of the search.
  • the extracted label information is converted into text and used as tag information of the product
  • the tag information of the product is converted to the image of the product. Since it can be extracted mathematically without human intervention, the reliability of tag information is increased and the accuracy of the search is improved.
  • the service server 30 may generate category information of the corresponding product based on the contents of the product image.
  • steps S330 and S340 are illustrated as separate steps, but this is for convenience of description, and the present invention cannot be construed as being limited thereto.
  • the label information and the category information may be generated respectively, but the label information may be used as the category information and the category information may be used as the label information.
  • the service server 30 sets the label for the female, top, and blouse of the product. It can be used as category information, and labels for linen, stripe, long sleeves, blue, and office look can be used as label information to explain the characteristics of products outside the category. Alternatively, the service server 30 may index the corresponding product without distinguishing between the label and the category information.
  • the category information and/or the label of the product may be used as a parameter to increase the reliability of the image search.
  • the service server 30 may determine a recommended item based on the label without separately calculating the image similarity.
  • the service server 30 may filter the collected product description images.
  • Step S350 This is to configure the product image database except for product images that may act as noise in image search.
  • the service server 30 may determine whether to filter the product image by comparing the label extracted from the product image with category and/or tag information directly provided by the seller.
  • the corresponding image or a specific object in the image is filtered from the database can do.
  • first to third product images for product A exist, in the first product image (female top, jacket), in the second product image (female top, jacket) and (sunglasses, round), 3
  • the service server 30 may configure the product image database only with the second and third product images, excluding the first product image.
  • This filtering is to reduce the noise of image search.
  • product A is actually about sunglasses, and the database is configured including all of the first to third product description images, even if the query image is a jacket, it is determined that the product A for sunglasses is similar to the first product image. It may be determined as an advertisement item. Therefore, product images that can decrease the accuracy of search are filtered and a database is built.
  • FIG. 4 is a flowchart illustrating a process of configuring a style database according to an embodiment of the present invention.
  • the service server 30 may collect style images online (S410 and S420). For example, the service server 30 collects a list of web addresses of fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc. (S410), checks the website to track the link, Image information included in the site may be collected (S420).
  • the service server 30 can collect and index images from websites such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, and index information from affiliated companies.
  • image information may be provided separately.
  • the service server 30 may filter out images inappropriate for style recommendation among the collected images.
  • the service server 30 may filter the remaining images while leaving only an image including a human-shaped object and a plurality of fashion items among the collected images.
  • the service server 30 may filter the remaining images while leaving only an image in which a plurality of fashion items are combined. (Correction basis: see [0078])
  • style images are used to determine other items that can be coordinated with a query item, it is appropriate to filter images for a single fashion item. Furthermore, constructing a database with images of a person directly wearing a plurality of fashion items may be more useful than an image of the fashion item itself. Therefore, the service server 30 according to the embodiment of the present invention may determine the style image included in the style database by filtering the remaining images, leaving only the image including the human-shaped object and the plurality of fashion items.
  • the service server 30 may process the features of the fashion item object image included in the style image (S430).
  • the service server 30 extracts the image features of the fashion item object included in the style image, and expresses the feature information as a vector value to generate a feature value of the fashion item object and to structure the feature information of the images. have.
  • the service server 30 may extract a style label from the style image and cluster the style images based on the style label (S440).
  • the style label is extracted as the look and feel of the fashion item, such as the look and feel, and the trend.
  • a label for a feeling that a person can feel such as the appearance of a single fashion item included in a style image or a combination of a plurality of items, can be extracted and used as a style label.
  • celebrity look, magazine look, summer look, feminine look, sexy look, office look, drama look, Chanel look, etc. can be exemplified as style labels.
  • the service server 30 defines a style label in advance, creates a neural network model that learns the characteristics of the image corresponding to the label, classifies the object in the style image, and You can extract the label.
  • the service server 30 may give a corresponding label to an image matching a specific pattern with an arbitrary probability through a neural network model that has learned the pattern of the image corresponding to each label.
  • the service server 30 forms an initial neural network model by learning the characteristics of images corresponding to each style label, and applies a large number of style image objects to the neural network model more precisely. It can also be expanded.
  • the service server 30 may apply the style images to the neural network model formed in a hierarchical structure formed of a plurality of layers without separate learning of the label. Furthermore, weight is given to the characteristic information of the style image according to the request of the corresponding layer, product images are clustered using the processed characteristic information, and celebrity look, magazine look, summer look, feminine look, and sexy look are added to the clustered image group. , office look, drama look, Chanel look, etc. can be given a label that is interpreted ex post.
  • the service server 30 may cluster style images using the style label and generate a plurality of style books ( S450 ). This is intended to be provided as a reference to users. A user may browse a specific style book among a plurality of style books provided by the service server 30 and find a favorite item, and may request a product information search for the item.
  • the service server 30 may pre-classify items having a very high appearance rate, such as a white shirt, jeans, and a black skirt (S460).
  • the service server 30 pre-classifies items with a very high appearance rate in the style image as buzz items, and changes the version of the style book into those that include the buzz item and those that do not include the buzz item. can create
  • the buzz item may be classified by reflecting time information. For example, considering the fashion cycle of fashion items, items that are fashionable and disappear for a short time for a month or two, fashionable items that return every season, and items that are continuously popular for a certain period of time may be considered. Accordingly, if time information is reflected in the classification of the buzz item and the appearance rate of a specific fashion item is very high for a certain period, the item may be classified as a buzz item together with the information about the period.
  • the buzz items are classified in this way, in the subsequent item recommendation step, there is an effect that the recommendation target item can be recommended in consideration of whether the item to be recommended is in vogue or unrelated to the vogue.
  • the recommended product advertisement method as described above can be applied to an advertisement service field according to at least one of a retargeting technique and a cross-targeting technique.

Abstract

본 발명은 패션 상품과 관련된 추천 상품을 사용자에게 광고하기 위한 방법에 관한 것으로, 웹사이트를 열람하는 중에 발생한 유저의 행동 정보를 포함하는 유저 인게이지먼트 히스토리를 유저 ID 별로 매칭하여 저장한 정보를 기초로, 서비스 서버가 추천 상품을 광고하는 방법에 있어서, 광고 제공이 가능한 페이지를 방문 중인 유저의 유저 ID에 매칭되어 있는 유저 인게이지먼트 히스토리가 애드 서버에 기 저장되어 있는 상태인지를 판단하는 단계, 상기 판단 결과, 상기 페이지를 방문 중인 유저의 유저 인게이지먼트 히스토리가 상기 애드 서버에 기 저장되어 있는 경우, 상기 기 저장되어 있는 유저 인게이지먼트 히스토리로부터 확인된 상품 이미지를 쿼리 이미지로 선택하는 단계; 상기 쿼리 이미지를 검색하기 위한 데이터베이스를 상기 페이지를 방문 중인 유저가 기 방문한 쇼핑몰의 데이터베이스와 미방문한 쇼핑몰의 데이터베이스 중에서 선택하는 단계; 및 상기 쿼리 이미지에 포함된 객체로부터 추출된 특징 및 레이블 정보 중에서 하나 이상을 기준으로, 상기 선택된 데이터베이스를 검색하여, 상기 객체와 동일한 카테고리에 속하는 추천 상품 및 상기 객체와 다른 카테고리에 속하는 추천 상품 중에서 하나 이상을 결정하는 단계를 포함한다.

Description

추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
본 발명은 패션 상품과 관련된 추천 상품을 사용자에게 광고하기 위한 방법에 관한 것이다. 구체적으로, 사전에 학습된 인공 신경망 AI를 통해 유저가 관심을 가지는 패션 상품 또는 해당 패션 상품과 유사한 상품이나 잘 어울릴 것으로 예측되는 다른 카테고리의 코디 상품을 결정하고, 리타겟팅과 크로스 타겟팅 광고 기법을 통해 기 방문 유저뿐만 아니라 신규 유저를 대상으로 추천 상품을 제공함으로써 광고 효율을 높일 수 있는 추천 상품 광고 방법에 관한 것이다.
패션 상품은 소비자의 수만큼 다양한 취향이 존재할 수 있기 때문에 소비자의 쇼핑몰 방문이력, 구매 이력, 열람했던 상품 등 소비자의 행동을 분석하고 관심 제품의 속성을 정확히 파악하여 패션 광고를 진행하는 것이 중요하다고 할 수 있다. 소비자의 개인적 기호와 관심을 반영하여 맞춤형 추천 상품을 적절히 선택하여 광고를 진행하면 소비자는 광고에 더욱 집중하게 되고 결과적으로 구매까지 이어질 확률을 높일 수 있다.
종래 패션 광고는 협업 필터링(Collaborate Filtering, CF)을 기반으로 광고를 진행하였다. 협업 필터링은 비슷한 유형의 사람은 비슷한 선호를 할 것이라는 가정으로부터 소비자의 취향을 추정하는 방법이다. 예를 들어 특정 쇼핑몰에서 상품코드 a1002를 클릭한 소비자가 그 후에 상품코드 a3003를 클릭하였다면, 이후 비슷한 유형의 소비자가 상품코드 a1002의 상품을 열람시 상품코드 a3003 상품을 추천하는 방법으로 광고하는 식이다. 다만 이러한 협업 필터링은 해당 쇼핑몰 안에서만 상품 코드값들 간의 관계가 갖춰져 있기 때문에 다른 쇼핑몰들의 상품 코드와 연동되지 못하는 문제가 있었다. 즉 소비자가 클릭한 상품의 상품 코드만 알고 있을 뿐 그 상품의 색상, 패턴, 질감, 느낌, 소매의 기장과 같은 상품 특징값을 알 수 없기 때문에 쇼핑몰마다 서로 다른 방식에 따라 부여된 상품코드만 가지고는 다른 쇼핑몰의 상품을 추천(크로스 타겟팅)할 수 없다는 문제가 있었다.
다른 쇼핑몰의 상품을 광고하거나 기 방문 이력이 없는 신규 고객을 상대로 광고하기 위해, 기존처럼 상품 특징값에 대한 정보 없이 크로스 타겟팅을 진행하면, 소비자의 유형을 나이대, 성별, 지역과 같이 너무 추상적으로 설정하게 되어 실제로는 해당 상품에 관심이 없는 불필요한 소비자가 지나치게 유입되어 광고의 정확도가 감소하는 문제가 있었다. 또한 방문 이력이 없는 쇼핑몰의 상품을 추천하는 크로스 타겟팅만으로 광고 시 실제로는 크로스 타겟팅을 통해 결과적으로 상품 구매까지 이어졌지만, 적게는 수시간에서 많게는 며칠까지 구매여부를 고민하 다가 상품을 구입하는 소비자의 특성상, 처음 크로스 타겟팅으로 소비자를 유도한 광고 주체가 아닌 크로스 타겟팅으로 확보한 소비자의 열람 정보를 기초로 리타겟팅을 진행한 업체가 직접매출 광고 성과를 가져가는 불합리가 발생하였다.
본 발명의 실시 예에 따르면, 단순히 상품 코드 또는 카테고리 값이 아니라 사전에 학습된 인공 신경망을 사용하여 상품의 이미지를 분석하여 이미지 기반의 상품 특징값을 추출하고, 추출된 상품 특징값을 다른 쇼핑몰의 상품 특징값과 연결시킴으로써 협업 필터링에서는 불가능했던 서로 다른 쇼핑몰 간의 상품 추천이 가능하다.
본 발명의 실시 예에 따르면, 인공 신경망을 사용하여 추출된 이미 지 기반의 상품 추천을 제공함으로써 소비자의 유형이 너무 추상적으로 설정되어 광고의 정확도가 감소하는 기존의 크로스 타겟팅이 갖는 문제를 극복할 수 있다.
또한, 본 발명의 실시 예에 따르면, 추천 상품을 리타겟팅과 크로스 타겟팅을 모두 사용하여 소비자에게 제공함으로써, 신규 유저에게 광고할 수 없었던 기존의 리타겟팅의 단점을 극복할 수 있고, 실제 소비자 유입을 발생시킨 주체에게 광고 성과가 돌아가지 못하는 기존의 크로스 타겟팅의 문제를 극복할 수 있다.
본 발명은 패션 상품과 관련된 추천 상품을 사용자에게 광고하기 위한 방법에 관한 것으로, 웹사이트를 열람하는 중에 발생한 유저의 행동 정보를 포함하는 유저 인게이지먼트 히스토리를 유저 ID 별로 매칭하여 저장한 정보를 기초로, 서비스 서버가 추천 상품을 광고하는 방법에 있어서, 광고 제공이 가능한 페이지를 방문 중인 유저의 유저 ID에 매칭되어 있는 유저 인게이지먼트 히스토리가 애드 서버에 기 저장되어 있는 상태인지를 판단하는 단계, 상기 판단 결과, 상기 페이지를 방문 중인 유저의 유저 인게이지먼트 히스토리가 상기 애드 서버에 기 저장되어 있는 경우, 상기 기 저장되어 있는 유저 인게이지먼트 히스토리로부터 확인된 상품 이미지를 쿼리 이미지로 선택하는 단계; 상기 쿼리 이미지를 검색하기 위한 데이터베이스를 상기 페이지를 방문 중인 유저가 기 방문한 쇼핑몰의 데이터베이스와 미방문한 쇼핑몰의 데이터베이스 중에서 선택하는 단계 및 상기 쿼리 이미지에 포함된 객체로부터 추출된 특징 및 레이블 정보 중에서 하나 이상을 기준으로, 상기 선택된 데이터베이스를 검색하여, 상기 객체와 동일한 카테고리에 속하는 추천 상품 및 상기 객체와 다른 카테고리에 속하는 추천 상품 중에서 하나 이상을 결정하는 단계를 포함한다.
본 발명에 따르면, 사전에 학습된 인공 신경망을 통해 이미지 기반의 상품 추천함으로써 보다 높은 정확도로 광고가 가능하고, 기존 협업 필터링에서는 불가능했던 다른 쇼핑몰의 상품을 추천(크로스 타겟팅)할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 추천 상품을 리타겟팅과 크로스 타겟팅을 모두 사용하여 소비자에게 제공함으로써, 신규 유저에게 광고할 수 없었던 기존의 리타겟팅의 단점을 극복할 수 있고, 최초 크로스 타겟팅으로 실제 구매를 유도한 주체에게 광고 성과가 돌아가도록 유도할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 유저에게 추천 상품을 광고하기 위한 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 실시예를 따른 사용자에게 추천할 상품을 결정하는 과정을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시예에 따라 상품 데이터베이스를 구성하는 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따라 스타일 데이터베이스를 구성하는 과정을 설명하기 위한 순서도이다.
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
이하에서는 상품 정보가 표시되는 사용자 디바이스(도 2의 도면부호 '10' 참조)는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스(10)는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.
또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.
나아가 본 명세서에서 사용자 디바이스(10)에 표시된 페이지(displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
도 1은 본 발명의 실시 예에 따른 유저에게 추천 상품을 광고하기 위한 방법을 설명하기 위한 순서도이다.
본 발명의 실시 예에 따르면, 유저의 상품 열람 이력, 구매 이력 또는 방문 이력을 포함하는 유저 인게이지먼트 히스토리(user engagement history)를 유저 ID 별로 매칭하여 저장한 열람 정보를 기초로 추천 상품을 광고하는 방법에 있어서, 광고 대상으로 타겟팅한 유저의 열람 정보를 기초로 상기 추천 상품이 포함된 쇼핑몰이 상기 타겟팅한 유저가 기 방문한 쇼핑몰인지 판단하고, 상기 타겟팅한 유저가 기 방문한 쇼핑몰인지 여부에 따라, 상기 추천 상품을 결정하기 위해 검색 요청되는 이미지인 쿼리 이미지를 검색하기 위한 데이터베이스를 상이하게 결정하고, 데이터베이스에서 상기 쿼리 이미지에 포함된 객체의 유사도를 기준으로 검색하여 추천 상품을 결정할 수 있다.
구체적으로, 상기 타겟팅된 유저가 기 방문한 쇼핑몰인 경우, 상기 기 방문 쇼핑몰의 데이터베이스에서 상기 쿼리 이미지를 검색하고, 상기 타겟팅된 유저가 기 방문한 쇼핑몰이 아닌 경우, 상기 기 방문 쇼핑몰을 제외한 미방문 쇼핑몰의 데이터베이스에서 상기 쿼리 이미지를 검색할 수 있다. 쿼리 이미지는 추천 상품을 결정하기 위해 검색 요청되는 패션 상품의 이미지로, 사용자가 직접 검색 요청한 패션상품, 사용자의 열람 정보를 기초로 사용자가 관심을 가지고 있다고 판단되는 패션상품 또는 유저 쇼핑 히스토리내 상품들에서 추출된 속성 레이블들의 개수에 따라 결정된 대표 선호 스타일을 포함할 수 있다.
도 1을 참조하면, S110 단계에서 서비스 서버(도 2의 도면부호 '30' 참조)는 불특정 유저 중 타겟팅된 유저의 열람 정보를 기초로 광고주의 쇼핑몰이 해당 유저가 기 방문한 쇼핑몰인지 여부를 판단할 수 있다. 타겟팅된 유저는 광고주의 쇼핑몰에 방문한 적 있는 기존 고객과 아직 한 번도 쇼핑몰을 방문한 적이 없는 신규 고객을 모두 포함할 수 있다.
서비스 서버(30)는 사전에 고객으로부터 이미지 데이터베이스를 받고, 기 학습된 인공 신경망 모델에 이미지들을 학습시킨 후, 학습된 인공 신경망 모델을 통해서 이미지 중 어느 위치에 패션 아이템이 존재하는지, 패션 아이템의 카테고리, 재질, 색상, 기장 등 다양한 속성의 특징값들을 벡터 형태로 가지고 있다. 이후 서비스 서버(30)는 유저들이 쇼핑몰 또는 웹페이지에 진입하면 쿼리 이미지를 수신하여 검색을 수행할 수 있다.
이때, 유저가 방문한 적이 있는 쇼핑몰의 상품을 광고하는 것을 리타겟팅 광고, 유저가 방문한 적이 없는 쇼핑몰의 상품을 광고하는 것을 크로스 타겟팅 광고라고 지칭할 수 있다. 구체적으로, 인공 신경망을 통해 결정된 추천 상품이 유저가 기 방문한 광고주의 쇼핑몰 데이터베이스에서 검색된 상품인 경우 리타겟팅 광고, 기 방문한 광고주의 쇼핑몰이 아닌 방문 경험이 없는 미방문 쇼핑몰의 데이터베이스에서 검색된 상품인 경우 크로스 타겟팅 광고일 수 있다.
S120 단계에서, 타겟팅된 유저가 기 방문한 쇼핑몰로 판단되면(S120 단계의 '예'), 리타겟팅 광고를 위해 S140 단계가 수행될 수 있다. 반대로, 타겟팅된 유저가 기 방문한 쇼핑몰이 아니라고 판단되면(S120 단계의 '아니오'), 크로스 타겟팅을 위해 S130 단계가 수행될 수 있다.
사용자가 방문한 적이 없는 미방문 쇼핑몰의 경우, 이전에 방문했던 다른 쇼핑몰에서의 상품 클릭 정보, 구매 이력, 열람 이력 등을 기초로, 기방문 쇼핑몰을 제외한 다른 미방문 쇼핑몰의 상품을 지속적으로 화면에 노출시켜 재방문을 유도하고 구매율을 증가시키는 크로스 타겟팅을 통해 광고를 진행할 수 있다.
이를 위해 S130 단계에서, 서비스 서버(30)는 기방문 쇼핑몰 데이터베이스를 제외한 미방문 쇼핑몰 데이터베이스에서 쿼리 이미지를 검색할 수 있다.
그러나 종래의 크로스 타겟팅은, 전술한 바와 같이 소비자의 유형을 나이대, 성별, 지역과 같이 너무 추상적으로 설정하게 되어 실제로는 해당 상품에 관심이 없는 불필요한 소비자가 유입되어 광고의 정확도가 감소하는 문제가 있었다.
또한, 적게는 수시간에서 많게는 며칠까지 구매여부를 고민하다가 상품을 구입하는 소비자의 특성상, 처음 크로스 타겟팅으로 소비자를 유도한 주체 가 아닌 크로스 타겟팅으로 확보한 소비자의 열람 정보를 기초로 리타겟팅을 진행한 업체가 직접매출 광고 성과를 가져가는 불합리가 발생하는 문제가 있었다.
본 발명의 실시 예에 따른 크로스 타겟팅에서는, 유저가 방문한 적 이 없는 쇼핑몰의 상품을 크로스 타겟팅으로 추천함과 동시에, 해당 쇼핑몰을 방문했다거나 그 쇼핑몰의 상품을 봤다는 유저 이벤트를 가지고 리타겟팅으로 유저를 추적하면서 추천 상품을 제공할 수 있다. 따라서 처음 크로스 타겟팅으로 유저의 유입에 기여한 광고 주체의 유입 효과가 리타겟팅까지 이어져 광고 효율을 증가시킬 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 크로스 타겟팅에서는, 방문 이력이 없는 신규 유저를 상대로 추천 상품을 제공할 수 있어 기존에 리타겟팅으로 기존 유저만을 상대로 광고할 때보다 더 많은 잠재적 고객을 유입시킬 수 있는 효과가 있다.
나아가, 본 발명의 실시 예에서는, 인공 신경망을 사용하여 추출된 이미지 기반의 상품 추천을 제공함으로써 상품 번호, 카테고리 값 또는 고객의 나 이대, 성별, 지역 등 소비자의 유형이 너무 추상적으로 설정되어 광고의 정확도가 감소하는 기존의 크로스 타겟팅이 갖는 문제를 극복할 수 있다. 예를 들어, 사용자가 쇼핑몰 웹사이트에서 특정 패션 아이템을 열람 중이거나 열람한 이력이 있을 때, 자동으로 해당 패션 아이템의 질감, 색상, 카테고리 등의 특징값들을 인식하고, 인식된 특징값들을 기초로 상품 또는 스타일 데이터베이스에서 추천 상품을 검색하여 사용자에게 제공할 수 있다. 따라서 단순히 소비자의 정보나 협업 필터링만으로 추천 상품을 결정했을 때보다 패션 아이템의 개별 특징값들에 대한 소비자의 선호를 보다 정확하게 반영할 수 있다.
S120 단계에서 광고주의 쇼핑몰이 타겟팅된 유저가 기 방문한 쇼핑몰이라고 판단된 경우 S140 단계가 수행될 수 있다.
사용자가 방문한 적이 있는 쇼핑몰의 경우, 방문 시점에 사용자의 상품 클릭 정보, 구매 이력, 열람 이력 등을 기초로 소비자가 관심을 보였던 동일 쇼핑몰의 상품을 지속적으로 화면에 노출시켜 재방문을 유도하고 구매율을 증가시키는 리타겟팅을 통해 광고를 진행할 수 있다.
이를 위해 S140 단계에서, 서비스 서버(30)는 상기 유저가 방문했던 기 방문 쇼핑몰 데이터베이스에서 쿼리 이미지를 검색할 수 있다. 기방문 쇼핑몰 데이터베이스와 미방문 쇼핑몰 데이터베이스는 각각 상품 데이터베이스와 스타일 데이터베이스를 포함할 수 있고, 애드 서버(도 2의 도면부호 '20' 참조)가 서비스 서버(30)에 포함되는 경우 사용자 데이터베이스를 더 포함할 수도 있다.
상품 데이터베이스는 온라인 마켓에서 구입가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블 그리고/또는 특징값을 추출하고, 상기 레이블 정보를 인덱싱하여 생성되는 데이터베이스이고, 스타일 데이터베이스는 복수의 패션 아이템들이 조합되어 있는 스타일 이미지 및/또는 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지로부터 생성되는 데이터베이스일 수 있다. (보정 근거: [0078] 참조)
상품 데이터베이스와 스타일 데이터베이스는 상품 카테고리 차이로 구분되는 데이터베이스일 수 있다. 기본적으로 광고주의 쇼핑몰에서 제공된 모든 상품 정보는 데이터베이스(상품 데이터베이스와 스타일 데이터베이스를 포함)를 구성하며 상기 모든 상품으로부터 특징값 추출을 수행한다. 이때 실시 예에 따라 상품 속성에 대한 레이블 추출이 함께 수행될 수도 있다.
상품 카테고리 차이로 구분된다는 의미는, 사용자에게 추천할 상품을 결정할 때, 상품 추천의 기준이 되는 상품과 동일 카테고리에 있는 상품을 추천할 때는 상품 데이터베이스에서 검색하고, 적어도 하나의 다른 카테고리에 있는 상품을 추천할 때는 스타일 데이터베이스에서 검색한다는 의미일 수 있다. 즉 추천되는 상품의 카테고리에 따라서 추상적으로 구분한 것일 수 있다. 스타일 데이터베이스에 대한 자세한 설명은 후술되는 도 4에 대한 설명을 참고하여 이해될 수 있다.
종래의 리타겟팅에서는 온라인에서 활동하는 기 방문 고객을 타겟팅한 후 단순히 상품 코드 또는 카테고리 값만을 이용하여 이전에 조회했던 패션 상품과 동일 또는 유사한 상품을 추천하는 방식으로 광고를 진행하였다. 상품 코드 또는 카테고리 값은 해당 쇼핑몰 안에서만 상품 코드값들 간의 관계가 갖춰져 있기 때문에 다른 쇼핑몰들의 상품 코드와 연동되지 못하는 문제가 있었고, 결과적으로 유저가 방문했던 쇼핑몰 외의 다른 쇼핑몰의 동일, 유사 또는 코디 상품을 추천할 수 없다는 한계가 있었다.
또한, 리타겟팅에서는 기존에 방문한 유저의 ID 또는 쿠키값을 기초로 트래픽을 추적하기 때문에 방문 이력이 전혀 없는 새로운 신규 유저를 상대로 쇼핑몰을 광고할 수 없다는 한계가 있었다.
이를 해결하기 위해 크로스 타겟팅을 사용하는 방법이 시도되었는데, 이때에도 인공 신경망 기반의 이미지 처리를 통해 유사 상품을 검색하는 방식이 아닌 사용자의 유형을 나이대, 성별, 지역과 같이 매우 추상적으로 설정할 수밖에 없어 실제로는 추천 상품에 관심이 없는 사용자에게도 광고하게 되어 정확도 측면에서 비효율성이 발생하는 문제가 있었다.
본 발명의 실시 예에 따르면, 단순히 상품 코드 또는 카테고리 값이 아니라 사전에 학습된 인공 신경망을 사용하여 상품의 이미지를 분석하여 이미지 기반의 상품 특징값을 추출하고, 추출된 상품 특징값을 다른 쇼핑몰의 상품 특징값과 연결시킴으로써, 협업 필터링 기반의 리타겟팅에서는 불가능했던 서로 다른 쇼핑몰 간의 상품 추천이 가능하다.
또한, 인공 신경망을 사용하여 추출된 이미지 기반의 상품 추천을 제공함으로써 소비자의 유형이 너무 추상적으로 설정되어 광고의 정확도가 감소하는 기존의 크로스 타겟팅이 갖는 문제를 극복할 수 있다.
구체적으로, 서비스 서버(30)는 사전에 학습된 인공 신경망을 통해 쿼리 이미지에 포함된 다수의 객체를 분할하여 인식하고 객체들로부터 패션 카테고리, 재질, 색감, 느낌, 소매, 기장, 넥라인 등 다양한 특징값들을 추출할 수 있다.
객체 이미지들은 서비스 서버(30)의 기 방문 쇼핑몰 데이터베이스에서 유사도를 기준으로 상품 또는 스타일 데이터베이스에서 검색될 수 있다. 구체적으로, 서비스 서버(30)는 쿼리 이미지에 포함된 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 확인할 수 있다.
추천 상품은 사용자 쇼핑 히스토리 내 존재하는 상품들의 이미지들로부터 속성 레이블을 추출하여 결정될 수도 있다. 속성 레이블은 상품의 이미지를 기반으로 상품의 내용을 설명하는 정보를 벡터의 형태로 표현한 것일 수 있다. 또한, 레이블은 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지로부터 인간이 직감할 수 있는 느낌을 설명하는 정보를 벡터의 형태로 표현한 것일 수 있다. 속성 레이블은 상품의 이미지로부터 인간이 직감할 수 있는 느낌, 상품의 재질, 용도 등 속성 정보 등을 벡터값 또는 텍스트의 형태로 표현할 것일 수 있다.
속성 레이블은 패션 상품의 카테고리 별로 추출될 수 있다. 사용자 쇼핑 히스토리 내에 존재하는 모든 상품의 속성 레이블이 카테고리 별로 추출된 후, 각 속성 레이블의 추출 개수에 따라 해당 사용자의 대표 선호 스타일을 설정할 수 있다. 예를 들어 원피스라는 카테고리에서 브이넥, 빨간색, 섹시 스타일의 속성 레이블들이 높은 빈도로 추출된 경우 대표 선호 스타일로 설정될 수 있다.
이후 서비스 서버(30)는 광고주 상품 중 대표 선호 스타일에 부합되는 상품을 리타겟팅, 크로스 타겟팅 방법으로 사용자에게 광고할 수 있다.
S150 단계에서, 서비스 서버(30)는 검색된 상품을 기초로 추천 상품을 결정할 수 있다. 검색된 상품은 사용자의 열람 정보를 참고하여 사용자가 선호할 것으로 판단되는 상품과 동일 상품, 유사 상품 또는 코디 상품을 포함할 수 있다.
이후 S160 단계에서 서비스 서버(30)는 웹사이트를 방문하거나 제품을 클릭하는 등 특정 행동을 취하면 자동으로 생성되는 상기 유저의 브라우저 쿠키값 또는 유저 ID, 디바이스 ID 및 AD ID(Advertizing ID) 중 하나를 기초로 유저의 트래픽을 추적할 수 있다.
소비자가 웹사이트에 방문하면 코드나 픽셀을 이용하여 식별이 불가능한 브라우저 쿠키를 부여할 수 있다. 이후 소비자가 사이트를 이탈하거나 다른 웹사이트에 접속하면, 이전에 브라우저 쿠키에 저장해두었던 소비자의 웹사이트 방문기록, 상품 구매 내역 등을 기반으로 어떤 광고를 노출할 지 결정할 수 있다.
S170 단계에서, 서비스 서버(30)는 사용자를 추적하면서 추천 상품을 지속적으로 광고함으로써 소비자에게 다시 한번 해당 상품을 상기시켜주고 구매욕구를 일깨울 수 있고, 리타겟팅의 경우 이미 방문한 적이 있는 유저를 타겟팅 한다는 점에서 정확한 타겟팅이 가능하여 상대적으로 높은 구매전환율을 기대할 수 있는 효과가 있다. 또한, 사전에 학습된 인공 신경망을 사용하여 상품의 쿼리 이미지를 분석하여 이미지 기반의 상품 특징값을 추출하고, 추출된 상품 특징값을 다른 쇼핑몰의 상품 특징값과 연결시킴으로써 서로 다른 쇼핑몰 간에 상품 추천이 가능하다.
나아가, 상기 미방문 쇼핑몰의 데이터베이스에서 검색된 결과를 기초로 추천 상품을 추천한 이후, 상기 유저의 브라우저 쿠키값 또는 유저 ID를 기초로 유저를 추적하면서, 상기 기 방문 쇼핑몰에서 검색된 결과를 기초로 추천 상품을 광고할 수 있다.
즉, 먼저 크로스 타겟팅을 통해 신규 유저를 쇼핑몰에 유입시킨 이 후, 지속적으로 유저들을 추적하면서 유저들의 행동 정보를 기초로 리타겟팅으로 추천 상품을 제공할 수 있다.
전술한 일련의 추천 상품 결정과 광고 제공은 광고주가 지불한 광고비, 광고기간, 광고횟수, 목표 광고성과 등에 따라 이 중 적어도 어느 하나를 만족할 때까지 반복될 수 있다. 그러나 동일 사용자가 동일한 광고에 반복적으로 노출되는 경우 사용자는 쉽게 피로감을 느끼고 반복되는 상품 추천에 지루함을 느끼거나 더 이상의 광고를 제공받지 않기를 원할 수 있다. 이 경우 서비스 서버(30)는 추천 상품, 추천 소재 또는 쿼리를 이전과 다르게 변경하여 광고 효율을 높일 수 있다. 추천 상품, 추천 소재, 쿼리를 변경하여 추천 상품을 결정하는 방법은 어느 하나의 방법이 단일로 사용되는 경우뿐만 아니라 실시 예에 따라 중복적으로 선택되어 수행될 수 있다.
추천 상품, 추천 소재 또는 쿼리의 변경은 임의의 횟수의 광고 노출 이후에도 사용자의 동작이 없거나 또는 특정 동작을 행한 경우 수행될 수 있다. 특정 동작이라 함은 사용자가 카트에 상품을 담았거나, 상품을 구매한 경우가 있을 수 있으며, 실시 예에 따라 미리 설정된 횟수 이상 상품을 열람한 경우, 해당 상품을 스크린샷을 통해 캡처해 두는 경우, 상품과 관련된 키워드로 포털사이트에서 검색한 경우 등 다양하게 정의될 수 있다.
구체적으로, 서비스 서버(30)가 추천 상품을 바꾸는 방법은 결정된 추천 상품을 특정 횟수만큼 노출 후 사용자가 별다른 반응이 없을 시 다른 상품을 추천하는 방법이 있을 수 있다. 예를 들어, 최초 사용자가 열람한 A 상품과 유사한 상위 1~3위의 상품을 5회 노출 후, 사용자의 반응(또는 클릭)이 없을 시, 다음으로 유사한 상위 4~6위 상품들을 추천 상품으로 제공하는 경우 및 추천을 위해 사용하는 데이터베이스의 변경이 있을 수 있다. 제공되는 상품의 유사도에 따른 순위는 실시 예에 따라 다양하게 설정될 수 있으며, 노출되는 횟수, 사용자의 반응(ex 클릭) 또한 실시 예에 따라 다양하게 설정될 수 있다.
서비스 서버(30)가 추천 소재를 바꾸는 방법은 광고 상황에 따라 광고에 사용되는 수단을 상이하게 설정하는 방법이 있을 수 있다. 광고 수단은 사용되는 광고 디자인 템플릿을 변경하거나 광고에 애니메이션을 추가하는 경우가 있을 수 있고, 실시 예에 따라 광고 매체를 변경하거나 세부적인 광고 요소를 변경하는 다양한 경우가 있다. 예를 들어 최초에는 2D 이미지로 제공된 광고를 다시 광고할 때에는 3D 애니메이션으로 제공할 수 있다.
서비스 서버(30)가 쿼리를 바꾸는 방법은, 추천 상품 결정의 트리거로서 어떤 상품을 기준으로 추천 상품을 결정할지 요청하는 쿼리를 상이하게 제어하는 방법일 수 있다. 예를 들어 이전에는 사용자가 가장 최근에 카트에 담은 상품을 기준으로 유사 상품 또는 코디 상품을 추천하다가, 이후에는 사용자가 카트에 담지는 않았으나 이전에 열람한 상품을 기준으로 추천할 수 있다. 이때 전술한 추천 상품을 바꾸는 방법 또는 추천 소재를 바꾸는 방법이 중복적으로 사용될 수 있다.
또한 광고 노출 도중에 구매가 확인되었을 경우 그 시점부터는 구매 상품을 기준으로 코디를 추천할 수도 있다. 상품의 추천과 코디의 추천은 상호 보완적으로 제공될 수 있으며 사용자는 이를 통해 지속적으로 추천 상품을 받아볼 수 있고 광고주 입장에서는 구매로 이어질 확률이 높은 상품을 효과적으로 결정하고 소비자에게 노출시킬 수 있는 효과가 있다.
도 2는 본 발명의 실시예를 따른 사용자에게 추천할 상품을 결정하는 과정을 설명하기 위한 순서도이다.
본 발명의 실시예를 따르면, 사용자의 취향과 스타일을 기반으로 사용자 맞춤형 상품 추천 광고가 제공될 수 있다.
S240 단계 내지 S250 단계에서, 사용자가 온라인 환경에서 쇼핑몰 웹페이지, 이미지를 열람하다가 특정 상품에 대해 검색 빈도가 많거나, 체류 시간이 길거나, 관심 상품으로 지정하거나, 장바구니에 담는 등 관심을 보이면 애드 서버(20)는 이러한 사용자의 열람 정보를 수집하여 사용자 데이터베이스에 저장할 수 있다. 열람 정보는 사용자의 상품 열람 이력, 구매 이력, 방문 이력 등 유저 인게이지먼트 히스토리를 유저 ID 별로 매칭하여 저장하므로 사용자 개인의 패션 취향을 반영하고 있다.
도 2에서 애드 서버(20)는 서비스 서버(30)와 독립된 별도의 구성으로 도시되었지만, 실시 예에 따라 애드 서버(20)는 별도의 서버가 아닌 서비스 서버(30)에 포함될 수 있다.
사용자가 흰색 가방을 높은 빈도로 검색했다고 가정할 수 있다. 애드 서버(20)는 사용자 디바이스(10)로부터 사용자가 검색한 흰색 가방이 포함된 URL 또는 흰색 가방의 상품 번호를 열람 정보로 수신하고, 사용자 데이터베이스에 저장할 수 있다(S230 단계).
위의 예에서 서비스 서버(30)는, 흰색 가방에 대해 스타일 추천을 요청하는 쿼리를 수신하면, 미리 생성한 스타일 데이터베이스 및 상품 데이터베이스를 참고하여 흰색 가방과 잘 어울리고 사용자 취향에 부합하는 패션 상품을 추천하고, 추천 상품의 온라인 마켓 정보를 함께 제공할 것이다. 추천 상품은 사용자의 필터링에 따라 사용자의 관심 상품(흰색 가방)과 동일한 상품일 수도, 관심 상품과 유사한 상품일 수도, 관심 상품 또는 유사 상품과 잘 어울리는 다른 카테고리의 코디 상품일 수도 있다.
예를 들어 서비스 서버(30)는 패션 잡지에서 수집한 사진 중, 유사한 흰색 가방과 원피스가 매칭된 사진을 기초로, 사진의 원피스와 유사한 상품을 코디네이션 아이템으로 제안할 수 있다.
서비스 서버(30)는 애드 서버(20)로부터 사용자의 열람 정보와 쿼리를 수신하면, 객체의 이미지 유사도를 기준으로 상품 데이터베이스를 검색하여 쿼리 아이템과 동일 또는 유사한 아이템을 결정할 수 있다. 쿼리(또는 쿼리 이미지)는 애드 서버(20)가 추천 상품을 광고하기 위해, 관심 상품으로부터 해당 사용자가 선호할 것으로 예상되는 추천 상품을 요청하는 동작일 수 있다.
또한, 서비스 서버(30)는 스타일 데이터베이스에 포함된 이미지에서 상기 유사한 아이템과 함께 매칭되어 있는 다른 아이템들을 확인하고, 상기 다른 아이템 중에서 사용자 취향 정보를 반영하여 코디네이션 아이템을 결정할 수 있다. 이후 서비스 서버(30)는 상기 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상품 데이터베이스를 검색하여, 사용자 취향 정보에 따라 우선순위를 설정하여 추천 상품을 결정할 수 있다.
단계 S210 내지 S220에서 본 발명의 실시예를 따르는 서비스 서버(30)는 상품 추천의 기초가 되는 데이터베이스를 구성할 수 있다. 상기 데이터베이스는 상품 데이터베이스, 스타일 데이터베이스를 포함하며, 서비스 서버(30)는 상기 데이터베이스를 참고하여 쿼리를 검색하고 추천 상품을 결정하는 기능을 수행할 수 있다.
단계 S230에서 본 발명의 실시 예에 따르는 애드 서버(20)는 상품 추천의 기초가 되는 사용자 데이터베이스를 구성할 수 있다. 전술한 바와 같이, 애드 서버(20)는 사용자의 구매 이력, 방문 정보 등 유저 인게이지먼트 히스토리를 유저 ID 별로 매칭하여 저장한 열람 정보를 포함할 수 있다. 애드 서버(20)는 서비스 서버(30)와 독립된 별도의 구성으로 도시되었지만, 실시 예에 따라 애드 서버(20)는 별도의 서버가 아닌 서비스 서버(30)에 포함되어 상품 및 스타일 데이터베이스와 함께 존재할 수 있다. 이하 설명의 편의를 위해서 애드 서버(20)가 서비스 서버(30)에 포함되는 것을 가정하고 설명하도록 한다.
상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있다. 나아가 스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다. 한편 사용자 데이터베이스는 사용자의 구입 데이터, 열람 시간 데이터 등 사용자의 취향을 추정할 수 있는 정보를 포함할 수 있다. 나아가 사용자 데이터베이스는 사용자의 체형 정보, 패션 아이템에 대한 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함할 수 있다.
특히 본 발명의 실시예를 따르는 상품 데이터베이스는 상품의 이미지를 기초로 상품 정보를 구성하는 특징이 있다. (단계 S210) 본 발명의 실시예를 따르는 상품 데이터베이스를 생성하는 구체적인 설명은 첨부된 도 3에 대한 설명과 함께 후술된다.
한편, 본 발명의 실시예를 따르는 서비스 서버(30)는 스타일 추천의 기초가 되는 스타일 데이터베이스를 구성할 수 있다. (단계 S220)
스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 상기 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션 잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해 놓은 이미지 등을 예시할 수 있다.
상기 스타일 이미지는, 본 발명의 실시예를 따르는 스타일 데이터베이스에 저장되어, 특정 아이템과 잘 어울리는 다른 아이템을 결정하는데 사용될 수 있다. 이에 따르면 스타일 이미지는 일반적으로 “잘 어울린다”는 인간의 느낌을 컴퓨터가 이해할 수 있는 참고 자료로 활용될 수 있다.
본 발명의 실시예를 따르는 스타일 데이터베이스를 생성하는 방법은 첨부된 도 4에 대한 설명에서 후술된다.
다시 도 2에 대한 설명으로 복귀하면, 단계 S230에서 서비스 서버(30)는 사용자 데이터베이스를 생성할 수 있다. 상기 사용자 데이터베이스는 사용자 식별 정보, 사용자 취향을 추정하기 위한 사용자 행동 정보, 상기 행동 정보로부터 추정한 사용자 취향 및 사용자 디바이스(10)로부터 직접 수신한 사용자 취향 정보를 포함할 수 있다.
예를 들어 서비스 서버(30)는 사용자 디바이스(10)에 사용자의 나이, 성별, 직업, 관심 패션 분야, 기보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 취향 정보를 생성하고 이를 상기 사용자 데이터베이스에 반영할 수 있다.
나아가 서비스 서버(30)는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 쿼리 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 취향을 추정하기 위한 사용자 행동 정보를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다.
도면에는 도시되지 않았지만, 서비스 서버(30)는, 사용자의 체형 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다. 도 2에는 애드 서버(20)가 서비스 서버(30)와 독립되는 구성으로 도시되었지만, 설명의 편의를 위해 이하 애드 서버(20)가 서비스 서버(30)에 포함되는 것으로 가정하고 설명하도록 한다.
사용자 디바이스(10)에서 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 서비스 서버(30)에 전송하면, 서비스 서버(30)는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다.
본 발명의 추가적인 실시예를 따르면, 서비스 서버(30)는, 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. 예를 들어 사용자 디바이스(10)에서 온라인 마켓을 통한 패션 아이템 열람 또는 구매가 진행되면, 서비스 서버(30)는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 데이터베이스에 반영할 수 있다.
특히 본 발명의 실시예를 따르는 서비스 서버(30)는 인간의 느낌에 해당하는 사용자의 “취향”을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 데이터베이스에 반영하는 특징이 있다.
예를 들어, 서비스 서버(30)는 사용자의 행동 정보로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 쿼리 아이템, 구매 아이템 등 사용자 행동 정보에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 정보에 포함되는 패션 아이템들의 외관, 느낌 등의 룩 앤필, 트랜드에 대한 정보로 생성할 수 있다.
사용자 행동 정보로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 서비스 서버(30)는 이를 조합하여 사용자 취향을 추정하는 사용자 취향 정보를 생성하여 사용자 데이터베이스에 저장할 수 있다. 상기 사용자 데이터베이스에 포함된 사용자 취향 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 상품에 대한 노출 우선순위 설정에 사용될 수 있다.
단계 S240에서 웹페이지 또는 임의의 이미지를 열람하던 사용자는 특정 패션 아이템에 대한 상품 정보를 문의하는 쿼리, 또는 상기 아이템과 잘 조합될 만한 코디네이션 아이템을 문의하는 쿼리를 서비스 서버(30)에 전송할 수 있다.
예를 들어 사용자는 임의의 온라인 쇼핑몰을 열람하면서, 특정 패션 아이템의 상품 정보를 요청하거나, 또는 그것과 잘 어울릴만한 코디네이션 아이템 추천을 요청하는 쿼리를 서비스 서버(30)에 전송할 수 있다.
또 다른 예로, 사용자는 오프라인의 특정 패션 아이템의 사진을 촬영하여, 해당 패션 아이템의 상품 정보를 요청하거나 또는 그것과 잘 어울릴만한 코디네이션 아이템 추천을 요청하는 쿼리를 서비스 서버(30)에 전송할 수 있다.
한편, 사용자 디바이스(10)는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 스타일 북을 열람하면서 (단계 S250) 특정 아이템에 대한 상품 정보를 문의하는 쿼리 또는 상기 아이템과 잘 조합되고, 해당 스타일북에 포함되지 않은 다른 코디네이션 아이템을 문의하는 쿼리를 서비스 서버(30)에 전송할 수 있다.
쿼리를 전송하는 사용자 디바이스(10)는 예를 들어, 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버(30)에게 전송할 수 있다. 상기 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리, 해당 시점에 실행한 웹페이지의 URL 정보를 포함할 수 있다. 나아가 사용자 디바이스(10)는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린샷을 추출하여 쿼리로 전송할 수 있다.
특히 본 발명의 선호되는 실시예를 따르는 사용자 디바이스(10)는 해당 시점에 표시된 이미지를 쿼리로 전송할 수 있다. 예를 들어 사용자 디바이스(10)는 서비스 서버(30)로부터 수신한 스타일북에 포함된 이미지에서 검색 가능한 객체를 추출하여 쿼리로 전송할 수 있다.
사용자 디바이스(10)는 사용자가 별도의 검색을 요청하지 않은 경우에도 쿼리를 전송할 수 있지만, 사용자 검색 요청을 조건으로 쿼리를 전송할 수도 있다.
예를 들어, 사용자 디바이(10)스는 사용자의 검색 요청 수신을 조건으로 쿼리를 전송할 수도 있다. 사용자가 열람 중인 이미지에 포함된 패션 아이템에 대해 코디네이션 아이템을 문의한 경우, 사용자 디바이스(10)는 검색 요청을 수신한 이미지 내의 객체를 추출하여 쿼리로 전송할 수 있다. 또는 사용자 디바이스(10)는 표시된 이미지에서 검색 가능한 객체를 미리 특정하고, 사용자 선택 입력이 수신된 객체에 대한 쿼리를 전송할 수도 있다.
이를 위해 사용자 디바이스(10)는 디스플레이된 이미지에 미리 설정된 범주의 객체가 포함되어 있는지 여부를 먼저 판단하고, 객체를 특정하여 해당 객체에 대한 검색 요청 아이콘을 표시하도록 동작할 수 있다.
상기 실시예를 따르면 스타일 북에 포함된 이미지에서 패션 아이템에 대한 객체를 특정하여 특정된 객체에 대한 쿼리만 전송하도록 동작할 수도 있다. 나아가 이미지에 복수의 패션 아이템에 대한 객체가 포함된 경우, 각각의 객체를 특정하고, 사용자가 선택한 객체에 대한 쿼리만 전송하도록 동작할 수도 있다.
한편, 단계 S260에서 본 발명의 실시예를 따르는 서비스 서버(30)는 사전에 학습된 인공 신경망을 기초로, 수신한 쿼리에 포함된 패션 아이템 객체를 프로세싱할 수 있다. 이후 이미지 유사도를 기준으로 상품 또는 스타일 데이터베이스를 검색할 수 있다. (단계 S270)
보다 구체적으로, 본 발명의 실시예를 따르는 광고 서비스 서버(30)는 쿼리 이미지를 수신하고, 쿼리 이미지에 다수의 객체가 포함된 경우 객체들 각각을 분할하여 인식할 수 있다. 사용자 디바이스(10)에서 수신한 쿼리는 검색 대상 객체가 특정되어 있을 수도 있다.
이후 서비스 서버(30)는 검색 대상으로 특정된 이미지 객체를 프로세싱할 수 있다. 이는 쿼리 이미지의 내용을 기반으로 유사한 아이템을 상품 또는 스타일 데이터베이스에서 검색하기 위한 것이다.
이를 위해 서비스 서버(30)는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있으며, 보다 세부적인 방법은 도 3에 대한 설명에서 후술되는 상품 이미지 프로세싱 방법을 참고하여 이해될 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버(30)는 프로세싱된 검색 대상 객체 이미지에 도 3에 대한 설명에서 후술되는 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버(30)는 쿼리 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버(30)는 여성, 원피스에 대한 레이블을 쿼리 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.
이후 서비스 서버(30)는 쿼리 객체 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 이는 쿼리 이미지와 유사한 아이템을 스타일 데이터베이스에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것으로, 예를 들어 서비스 서버(30)는 쿼리 객체 이미지와 스타일 이미지에 포함된 패션 아이템 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버(30)는 단계 S210의 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 쿼리 이미지의 특징값을 가공하고, 쿼리 이미지와 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다.
한편, 본 발명의 선호되는 실시예를 따르면, 서비스 서버(30)는 쿼리 이미지의 유사도를 기준으로 상품 또는 스타일 데이터베이스를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.
예를 들어 서비스 서버(30)는 쿼리 이미지와 스타일 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 쿼리 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.
또 다른 예로 서비스 서버(30)는 쿼리 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버(30)는 쿼리 이미지로부터 스타일 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 쿼리와 이미지 유사도를 기준으로 유사 아이템을 특정할 수 있다. 물론 서비스 서버(30)는 쿼리 이미지로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스에서 쿼리 이미지와 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다.
예를 들어 쿼리에 포함된 이미지에 나뭇잎 무늬 원피스가 있는 경우, 서비스 서버(30)는 트로피컬이라는 레이블을 쿼리로부터 추출할 수 있다. 이후 서비스 서버(30)는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다(단계 S280).
이후 서비스 서버(30)는 스타일북에서 검색된 유사 아이템을 포함하며, 유사 아이템이 다른 패션 아이템들과 조합되어 있는 상품 또는 스타일 이미지를 사용자 디바이스(10)에 제공할 수 있다. 나뭇잎 무늬 원피스가 있는 위의 예에서, 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 스타일 이미지를 사용자에게 제공할 수 있다.
사용자는 상품 또는 스타일 이미지를 열람하고, 쿼리 아이템과 코디네이션하기 위한 다른 아이템 추천을 요청하거나 또는 스타일 이미지에 포함된 다른 카테고리의 아이템에 대해 상품 정보를 요청할 수도 있다.
한편 본 발명의 실시예를 따르면, 서비스 서버(30)는 사용자 디바이스(10)가 쿼리를 전송하면, 상기 쿼리에 대한 응답으로 상기 쿼리와 잘 조합되는 다른 카테고리의 상품 정보를 제공할 수 있다. 즉, 사용자가 별도의 코디네이션 아이템 추천 요청을 전송하지 않아도, 서비스 서버(30)는 쿼리 아이템과 조합되는 코디네이션 아이템의 상품 정보를 전송할 수 있다.
한편, 서비스 서버(30)는 쿼리 아이템과 유사한 아이템이 스타일 데이터베이스에서 검색되면, 코디네이션 아이템을 추천하기 위하여 상기 유사한 아이템과 함께 조합되어 스타일 이미지에 포함된 다른 카테고리의 패션 아이템을 확인할 수 있다.
임의의 아이템과 “잘 어울린다”는 것은 인간의 느낌에 대한 것이기 때문에, 어떤 아이템에 대해 사람의 개입없이 “잘 어울리는” 다른 아이템을 컴퓨터가 추천하기 위해서는 복수의 패션 아이템의 매칭에 대해 학습된 기계학습 프레임워크가 필요할 것이다. 이를 위하여 본 발명의 실시예를 따르는 서비스 서버(30)는 복수의 패션 아이템이 전문가 또는 준전문가에 의해 조합되어 사람이 착용한 스타일 이미지를 수집하고 이를 스타일 데이터베이스로 생성할 수 있다. 나아가 서비스 서버(30)는 상기 스타일 데이터베이스를 기계학습 프레임워크에 적용하여 상기 프레임워크를 학습시킬 수 있다. 예를 들어 파란 셔츠와 갈색 타이가 매칭된 대량의 스타일 이미지를 학습한 기계 학습 프레임워크는 파란 셔츠에 대한 쿼리에 대해 코디네이션 아이템으로 갈색 타이를 추천할 수 있을 것이다.
나아가 서비스 서버(30)는 사용자가 문의한 패션 아이템을 상기 스타일 데이터베이스에서 이미지 유사도를 기준으로 검색하고, 유사한 아이템이 포함된 스타일 이미지에 상기 유사한 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 추천 아이템으로 고려할 수 있다. 이는 본 발명의 실시예를 따르는 서비스 서버(30)가 스타일 이미지에서 쿼리 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울리는 것으로 학습되어 있기 때문이다.
스타일 데이터베이스를 이용하여 추천 아이템이 결정되면, 서비스 서버(30)는 상품 데이터베이스에서 이미지 내용의 유사도를 기준으로 상기 추천 아이템을 검색할 수 있다. 이는 스타일 데이터베이스는 복수의 패션 아이템의 조합에 대해 참고하기 위한 이미지 데이터베이스이기 때문에, 이미지에 포함된 각각의 패션 아이템의 가격, 판매처, 재질 등의 세부 내용에 대한 것은 포함되어 있지 않기 때문이다.
예를 들어, 나뭇잎 무늬 원피스 쿼리에 대한 위의 예에서, 스타일 데이터베이스에서 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 이미지가 검색되었다 하더라도, 상기 밀짚모자, 라탄 백은 해당 시점에 구입가능한 상품이 아니고, 스타일리스트의 개인 소장품일 수 있다. 또는 상기 스타일 이미지가 유명 디자이너의 패션 화보로, 상기 밀짚모자, 라탄 백이 매우 고가의 상품일 수 있다.
이러한 경우, 사용자는 온라인에서 구입 가능하고, 일반적인 가격의 유사 상품은 없는지 궁금할 것이다. 따라서 본 발명의 실시예를 따르는 서비스 서버(30)는, 쿼리 아이템과 유사한 아이템을 스타일 데이터베이스에서 검색하고, 상기 유사한 아이템과 함께 매칭된 다른 카테고리의 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 상품 정보를 제공하기 위해, 상기 추천 아이템과 유사한 상품을 상품 데이터베이스에서 검색할 수 있다.
보다 구체적으로 서비스 서버(30)는 스타일 데이터베이스에서 결정된 추천 아이템에 대해, 이미지 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다.
이를 위해 서비스 서버(30)는 스타일 이미지에 포함된 추천 아이템 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있으며, 보다 세부적인 방법은 전술한 상품 이미지를 프로세싱하는 방법을 참고하여 이해될 수 있다.
본 발명의 실시예를 따르는 서비스 서버(30)는 객체 이미지의 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 예를 들어 서비스 서버(30)는 추천 아이템 이미지와 상품 데이터베이스에 포함된 상품 이미지의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 추천 상품으로 결정할 수 있다.
나아가 본 발명의 실시예를 따르는 광고 서비스 서버(30)는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 추천 아이템 이미지의 특징값을 가공하고, 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속 하는 상품들을 추천 상품으로 결정할 수도 있다.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버(30)는 추천 아이템 객체에서 추출한 레이블을 기반으로 추천 상품을 특정할 수도 있다.
예를 들어 추천 아이템 이미지에서 추출된 객체의 레이블 정보가 여성 상의, 블라우스, 흰색, 줄무늬로 추출된 경우, 서비스 서버(30)는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.
또 다른 예로 서비스 서버(30)는 유사도가 미리 설정된 범위 이상의 상품들을 추천 후보 상품으로 하고, 추천 후보 상품에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다.
또 다른 예로 추천 아이템의 객체 이미지에서 추출된 레이블 정보가 여성 상의, 블라우스, 긴팔, 레이스, 카라넥인 경우, 서비스 서버(30)는 상품 데이터베이스에서 여성 상의, 블라우스, 긴팔, 레이스, 카라넥을 레이블로 가지는 상품 그룹에 대해서만 추천 아이템과 이미지 유사도를 계산할 수도 있다.
추천 상품이 결정되면, 서비스 서버(30)는 사용자 취향 정보를 반영하여 노출의 우선순위를 결정할 수 있다. 예를 들어 사용자가 취향 정보가 오피스룩에 치중되어 있는 경우, 오피스룩 레이블에 가중치를 두어 우선순위를 계산하고 계산된 우선순위에 따라 추천 상품 정보를 제공할 수 있다.
도 3은 본 발명의 실시예에 따라 상품 데이터베이스를 구성하는 과정을 설명하기 위한 순서도이다.
도 3의 단계 S310에서 서비스 서버(30)는 상품 정보를 수집할 수 있다.
서비스 서버(30)는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버(30)는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.
예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버(30)로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버(30)는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.
단계 S320에서 서비스 서버(30)는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다.
본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 쿼리로 활용할 수 있으며, 이를 위해 서비스 서버(30)는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.
본 발명의 선호되는 실시예를 따르면 서비스 서버(30)는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화(indexing)할 수 있다.
보다 구체적으로 서비스 서버(30)는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.
나아가 서비스 서버(30)는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자(Global descriptor)를 포함할 수 있다.
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자(Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자(Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.
상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱될 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버(30)는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. (단계 S330)
보다 구체적으로, 본 발명의 제1 실시예를 따르면, 서비스 서버(30)는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버(30)는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
본 발명의 제2 실시예를 따르면, 서비스 서버(30)는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버(30)는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.
상기 제1 실시예와 제2 실시예에 따르면, 서비스 서버(30)는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시 크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.
한편, 본 발명의 제3 실시예를 따르면, 서비스 서버(30)는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.
이 경우, 특징값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버(30)가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제1 그룹의 특징에 대한 A, 제2 그룹의 특징에 대한 B, 제3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.
상기 제3 실시예에 따르면, 서비스 서버(30)는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미 지의 레이블로 추출할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버(30)는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.
나아가 단계 S340에서 서비스 서버(30)는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다.
도 3의 예에서 단계 S330과 단계 S340은 별개의 단계로 도시하였지만 이는 설명의 편의를 위한 것이며, 본 발명은 이에 한정하여 해석될 수 없다. 본 발명의 실시예를 따르면, 레이블 정보와 카테고리 정보는 각각 생성될 수도 있지만, 레이블 정보를 카테고리 정보로 활용할 수도 있으며, 카테고리 정보를 레이블 정보로 활용할 수도 있다.
예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버(30)는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버(30)는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. (단계 S360)
이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버(30)는 이미지 유사도를 별도로 계산하지 않고, 상기 레이블을 기반으로 추천 아이템을 결정할 수도 있다.
한편, 본 발명의 실시예를 따르는 서비스 서버(30)는 수집된 상품 설명 이미지를 필터링할 수 있다. (단계 S350) 이는 이미지 검색에 노이즈로 작용할 수 있는 상품 이미지는 제외하고 상품 이미지 데이터베이스를 구성하기 위한 것이다.
보다 구체적으로 서비스 서버(30)는 상품 이미지에서 추출한 레이블과 판매자가 직접 부여한 카테고리 및/또는 태그 정보를 비교하여 상품 이미지의 필터링 여부를 결정할 수 있다.
본 발명의 실시예를 따르면 특정 상품에 대해 다수의 이미지가 존재하고, 그 중 하나의 이미지에서 추출한 레이블과 해당 상품에 대해 판매자가 부여한 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 객체는 데이터베이스에서 필터링할 수 있다.
예를 들어, A 상품에 대한 제1 내지 제3 상품 이미지가 존재하고, 제1 상품 이미지에서는 (여성 상의, 재킷), 제2 상품 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제3 상품 이미지에서는 (선글라스, 라운드) 라는 레이블이 추출된 경우를 고려할 수 있다. 이때 A 상품의 판매 카테고리가 “선글라 스”이라면, 서비스 서버(30)는 제1 상품 이미지는 제외하고, 제2, 제3 상품 이미지 만으로 상품 이미지 데이터베이스를 구성할 수 있다.
이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 상품이 실제로 선글라스에 대한 것인데 제1 내지 3 상품 설명 이미지를 모두 포함하여 데이터베이스를 구성하면, 쿼리 이미지가 재킷인 경우에도 제1 상품 이미지와 유사하다고 판단하여 선글라스에 대한 A 상품이 광고 아이템으로 결정될 수 있다. 따라서 검색의 정확도를 떨어뜨릴 수 있는 상품 이미지는 필터링하고 데이터베이스를 구축하는 것이다.
도 4는 본 발명의 실시예에 따라 스타일 데이터베이스를 구성하는 과정을 설명하기 위한 순서도이다.
서비스 서버(30)는 온라인 상에서 스타일 이미지를 수집할 수 있다(S410, S420). 예를 들어 서비스 서버(30)는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고(S410), 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다(S420).
한편 본 발명의 실시예를 따르는 서비스 서버(30)는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다.
단계 S420 이후, 서비스 서버(30)는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다.
예를 들어, 서비스 서버(30)는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다. 다른 예로, 서비스 서버(30)는 복수의 패션 아이템이 조합되어 있는 이미지만 남기고 나머지 이미지를 필터링할 수도 있다. (보정 근거: [0078] 참조)
스타일 이미지는 쿼리 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버(30)는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다.
이후 서비스 서버(30)는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다(S430).
보다 구체적으로, 서비스 서버(30)는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버(30)는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다(S440).
스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타 일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사 람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할 수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드 라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다.
본 발명의 실시예를 따르면, 서비스 서버(30)는 스타일 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버(30)는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
본 발명의 다른 실시예를 따르면, 서비스 서버(30)는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다.
한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버(30)는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.
단계 S440 이후 서비스 서버(30)는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다(S450). 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버(30)에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다.
한편, 서비스 서버(30)는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 있다(S460).
예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다.
따라서 본 발명의 실시예를 따르는 서비스 서버(30)는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다.
본 발명의 다른 실시예를 따르면, 상기 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두 달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발 명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
상술한 바와 같은 추천 상품 광고 방법은 리타겟팅 기법 및 크로스 타겟팅 기법 중 하나 이상에 따른 광고 서비스 분야에 적용하는 것이 가능하다.

Claims (8)

  1. 웹사이트를 열람하는 중에 발생한 유저의 행동 정보를 포함하는 유저 인게이지먼트 히스토리를 유저 ID 별로 매칭하여 저장한 정보를 기초로, 서비스 서버가 추천 상품을 광고하는 방법에 있어서,
    광고 제공이 가능한 페이지를 방문 중인 유저의 유저 ID에 매칭되어 있는 유저 인게이지먼트 히스토리가 애드 서버에 기 저장되어 있는 상태인지를 판단하는 단계;
    상기 판단 결과, 상기 페이지를 방문 중인 유저의 유저 인게이지먼트 히스토리가 상기 애드 서버에 기 저장되어 있는 경우, 상기 기 저장되어 있는 유저 인게이지먼트 히스토리로부터 확인된 상품 이미지를 쿼리 이미지로 선택하는 단계;
    상기 쿼리 이미지를 검색하기 위한 데이터베이스를 상기 페이지를 방문 중인 유저가 기 방문한 쇼핑몰의 데이터베이스와 미방문한 쇼핑몰의 데이터베이스 중에서 선택하는 단계; 및
    상기 쿼리 이미지에 포함된 객체로부터 추출된 특징 및 레이블 정보 중에서 하나 이상을 기준으로, 상기 선택된 데이터베이스를 검색하여, 상기 객체와 동일한 카테고리에 속하는 추천 상품 및 상기 객체와 다른 카테고리에 속하는 추천 상품 중에서 하나 이상을 결정하는 단계;를 포함하는 추천 상품 광고 방법.
  2. 제1항에 있어서,
    상기 선택된 데이터베이스는,
    상품 데이터베이스 및 스타일 데이터베이스 중에서 하나 이상을 포함하고,
    상기 상품 데이터베이스는,
    온라인 마켓에서 구입가능한 상품의 이미지로부터 상기 상품의 내용을 설명하는 레이블 및 특징값 중에서 하나 이상을 추출하고, 상기 추출된 레이블 정보 및 상기 추출된 특징값 중에서 하나 이상을 인덱싱하여 생성되고,
    상기 스타일 데이터베이스는,
    복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 스타일 이미지로부터 생성되거나, 상기 스타일 이미지 및 상기 스타일 이미지에서 출현 비율이 높은 버즈 아이템 중 하나 이상으로부터 추출된 레이블 및 특징값을 학습시킨 신경망 모델로부터 생성되는 추천 상품 광고 방법.
  3. 제2항에 있어서,
    상기 상품 데이터베이스 및 상기 스타일 데이터베이스는 상기 광고주 쇼핑몰에서 제공된 광고주 상품 정보로 구성되고,
    상기 상품 데이터베이스는 상품 추천의 기준이 되는 상품과 동일 카테고리에 있는 상품을 상기 추천 상품으로 결정할 때 검색되며,
    상기 스타일 데이터베이스는 상기 상품 추천의 기준이 되는 상품과 적어도 하나 이상의 다른 카테고리에 있는 상품을 상기 추천 상품으로 결정할 때 검색되는 추천 상품 광고 방법.
  4. 제2항에 있어서,
    상기 데이터베이스를 선택하는 단계는,
    상기 유저가 방문 중인 페이지가 상기 유저가 기 방문한 쇼핑몰인 경우, 상기 기 방문 쇼핑몰의 데이터베이스를 상기 쿼리 이미지를 검색하기 위한 데이터베이스로 선택하는 단계를 포함하는 추천 상품 광고 방법.
  5. 제2항에 있어서,
    상기 데이터베이스를 선택하는 단계는,
    상기 유저가 방문 중인 페이지가 상기 유저가 기 방문한 쇼핑몰이 아닌 경우, 상기 기 방문 쇼핑몰을 제외한 미방문 쇼핑몰의 데이터베이스를 상기 쿼리 이미지를 검색하기 위한 데이터베이스로 선택하는 단계를 포함하는 추천 상품 광고 방법.
  6. 제5항에 있어서,
    상기 서비스 서버는 웹사이트를 방문하거나 제품을 클릭하는 등 특정 행동을 취하면 자동으로 생성되는 상기 유저의 브라우저 쿠키값 및 어플리케이션 쿠키값 중 하나, 또는 유저 ID, 디바이스 ID 및 AD ID 중 하나를 기초로 상기 유저의 트래픽을 추적하는 단계; 및
    상기 유저를 추적하면서 상기 추천 상품을 지속적으로 광고하는 단계를 더 포함하는 추천 상품 광고 방법.
  7. 제1항에 있어서,
    사전에 학습된 인공 신경망을 사용하여 상품의 쿼리 이미지를 분석하여 이미지 기반의 상품 특징값을 추출하고, 추출된 상품 특징값을 다른 쇼핑몰의 상품 특징값과 연결시킴으로써 서로 다른 쇼핑몰 간에 상품을 추천하는 추천 상품 광고 방법.
  8. 제1항에 있어서,
    상기 유저의 행동 정보는
    상기 유저의 상품 열람 이력, 구매 이력, 방문 이력, 특정 상품에 대한 검색 빈도, 체류 시간, 관심 상품 지정 및 장바구니 담기 중에서 하나 이상을 포함하는 추천 상품 광고 방법.
PCT/KR2021/004857 2020-04-23 2021-04-19 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램 WO2021215758A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0049586 2020-04-23
KR20200049586 2020-04-23
KR1020200060793A KR20210131198A (ko) 2020-04-23 2020-05-21 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
KR10-2020-0060793 2020-05-21

Publications (1)

Publication Number Publication Date
WO2021215758A1 true WO2021215758A1 (ko) 2021-10-28

Family

ID=78269478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004857 WO2021215758A1 (ko) 2020-04-23 2021-04-19 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램

Country Status (1)

Country Link
WO (1) WO2021215758A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024049322A1 (ru) * 2022-09-01 2024-03-07 Общество С Ограниченной Ответственностью "М16.Тех" Система определения краткосрочных интересов в2в пользователей

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090123398A (ko) * 2008-05-28 2009-12-02 경희대학교 산학협력단 상품 추천 서비스 제공 시스템 및 방법
KR20170096971A (ko) * 2016-02-17 2017-08-25 옴니어스 주식회사 스타일 특징을 이용한 상품 추천 방법
KR101841522B1 (ko) * 2016-11-07 2018-03-23 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102075038B1 (ko) * 2017-10-31 2020-02-07 (주)이노티브아이엔씨 네크워크 상의 사용자의 빅데이터를 이용한 사용자별 맞춤형 상품 추천 방법 및 이에 사용되는 관리 서버
KR102098535B1 (ko) * 2019-08-05 2020-04-07 주식회사 네오인터랙티브 사용자 이용 패턴의 빅데이터 분석을 기반으로 하는 멀티링크 자동완성 광고소재 템플릿 제공이 가능한 광고 서비스 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090123398A (ko) * 2008-05-28 2009-12-02 경희대학교 산학협력단 상품 추천 서비스 제공 시스템 및 방법
KR20170096971A (ko) * 2016-02-17 2017-08-25 옴니어스 주식회사 스타일 특징을 이용한 상품 추천 방법
KR101841522B1 (ko) * 2016-11-07 2018-03-23 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102075038B1 (ko) * 2017-10-31 2020-02-07 (주)이노티브아이엔씨 네크워크 상의 사용자의 빅데이터를 이용한 사용자별 맞춤형 상품 추천 방법 및 이에 사용되는 관리 서버
KR102098535B1 (ko) * 2019-08-05 2020-04-07 주식회사 네오인터랙티브 사용자 이용 패턴의 빅데이터 분석을 기반으로 하는 멀티링크 자동완성 광고소재 템플릿 제공이 가능한 광고 서비스 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024049322A1 (ru) * 2022-09-01 2024-03-07 Общество С Ограниченной Ответственностью "М16.Тех" Система определения краткосрочных интересов в2в пользователей

Similar Documents

Publication Publication Date Title
WO2020085786A1 (ko) 스타일 추천 방법, 장치 및 컴퓨터 프로그램
WO2020171535A2 (ko) 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR102037489B1 (ko) 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
WO2020251174A1 (ko) 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버
KR102295459B1 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20220039697A (ko) 코디네이션 패션 아이템을 추천하는 방법
WO2021071240A1 (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
WO2021215758A1 (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
WO2020141802A2 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR102378072B1 (ko) 코디네이션 패션 아이템을 추천하는 방법
WO2020060012A1 (en) A computer implemented platform for providing contents to an augmented reality device and method thereof
WO2020138941A2 (ko) 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
WO2021071238A1 (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
WO2020141799A2 (ko) 사용자에게 캘린더 데이터를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2021107556A1 (ko) 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치
KR102260683B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2021153964A1 (ko) 패션 상품 추천 방법, 장치 및 시스템
Yeruva et al. Apparel Recommendation System using Content-Based Filtering
KR102285942B1 (ko) 사용자에게 패션 아이템 추천 서비스를 제공하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21792040

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21792040

Country of ref document: EP

Kind code of ref document: A1