WO2020251174A1 - Method for advertising user-customized fashion item and server executing same - Google Patents

Method for advertising user-customized fashion item and server executing same Download PDF

Info

Publication number
WO2020251174A1
WO2020251174A1 PCT/KR2020/006167 KR2020006167W WO2020251174A1 WO 2020251174 A1 WO2020251174 A1 WO 2020251174A1 KR 2020006167 W KR2020006167 W KR 2020006167W WO 2020251174 A1 WO2020251174 A1 WO 2020251174A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
style
fashion item
product
user
Prior art date
Application number
PCT/KR2020/006167
Other languages
French (fr)
Korean (ko)
Inventor
전승엽
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Publication of WO2020251174A1 publication Critical patent/WO2020251174A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0267Wireless devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282Rating or review of business operators or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Definitions

  • the present invention relates to a user-customized fashion item advertisement method and a server that executes the same, and more particularly, a user who advertises a product to a user by mapping it to a user image using other fashion items that match the fashion item held by the user. It relates to a customized fashion item advertisement method and a server executing the same.
  • advertisers who need to advertise a specific product not only advertise on offline media such as existing newspapers and TV, but also advertise on portal sites or shopping malls visited by many users on the Internet to enhance their product or corporate image. You are trying to make money through
  • the present invention is a user-customized fashion item advertisement method in which a user can expect to generate revenue by increasing the purchase rate of the product by advertising a product to the user by mapping it to a user image by using other fashion items matching the fashion item possessed by the user, and the same. It aims to provide a running server.
  • the present invention searches for a product corresponding to another fashion item that matches the fashion item held by the user based on the fashion item held by the user, and advertises the product to the user as a user.
  • An object of the present invention is to provide a user-customized fashion item advertisement method and a server that executes the method for increasing the probability of clicking an advertisement.
  • the fashion item advertisement server for achieving this purpose includes a user database in which style information for each user is stored, a style database in which style images are stored, a product database in which product information for each product sold in an online shopping mall is stored, and the user database. Extracting the fashion item image from the database, extracting the recommended style image matching the fashion item image from the style database, extracting the image of the product matching the recommended style image from the product database, and determining the recommended fashion item image And a fashion item advertisement providing unit configured to generate a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to a user image, and provide the user customized advertisement image to a user terminal.
  • the user-customized fashion item advertisement method executed in the fashion item advertisement server to achieve this purpose is the step of extracting the possessed fashion item image from the style database in which style information for each user is stored, and the style database in which the style image is stored. Extracting a recommended style image matching the holding fashion item image, extracting an image of a product matching the recommended style image from a product database in which product information for each product sold in an online shopping mall is stored, as a recommended fashion item image Determining, generating a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to a user image, and providing the customized advertisement image to a user terminal.
  • a user after defining a number of styles for a fashion item in advance, a user searches for a product corresponding to another fashion item that matches the fashion item held by the user based on the fashion item held by the user, and advertises the product to the user.
  • a product corresponding to another fashion item that matches the fashion item held by the user based on the fashion item held by the user, and advertises the product to the user.
  • FIG. 1 is a block diagram illustrating a fashion item advertisement server according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an embodiment of a method for advertising a user-customized fashion item according to the present invention.
  • FIG. 3 is a flowchart illustrating another embodiment of a method for advertising a user-customized fashion item according to the present invention.
  • own fashion item image refers to an image of a product purchased by a user in an online shopping mall, an image of a product clicked on, and an image of a product contained in a shopping cart. Accordingly, according to the present invention, the user image is mapped using other fashion items that match the fashion items possessed by the user, and the product is advertised to the user, thereby increasing the purchase rate of the product, and thus, profit can be expected.
  • FIG. 1 is a block diagram illustrating a fashion item advertisement server according to an embodiment of the present invention.
  • the fashion item advertisement server 100 includes a fashion item extraction unit 110, a fashion item advertisement providing unit 120, a user database 130, a user database management unit 140, a style database 150, and A style database management unit 160, a product database 170, and a product database management unit 180 are included.
  • the fashion item extraction unit 110 uses the user database 130, the style database 150, and the product database 170 to determine a recommended fashion item image that matches the user's own fashion item image.
  • the fashion item extraction unit 110 extracts the fashion item image held by the user database 130, and extracts a style image matching the fashion item image held by the style database 150, and then the product database 170 The image of the product matching the style image is extracted from and determined as a recommended fashion item image.
  • the fashion item extracting unit 110 extracts a style image matching the holding fashion item image from the style database 150.
  • the fashion item extracting unit 110 extracts style label and category information by analyzing the held fashion item image.
  • the fashion item extracting unit 110 may extract a style label from the held fashion item image and cluster the held fashion item image based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel.
  • a style label for a feeling that a person can feel from the appearance of a single fashion item included in a style image, a combination of a plurality of items, etc. may be extracted and used as a style label.
  • a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look may be exemplified as a style label.
  • the fashion item extraction unit 110 may use style label information as category information.
  • the fashion item extraction unit 110 may extract style labels for women, dresses, sleeveless, linen, white, and casual look from the owned fashion item image.
  • the fashion item extraction unit 110 uses style labels for women, dresses, tops, and bottoms as category information of the image of the fashion item, and style labels for sleeveless, linen, white, casual look, and formal look are categories. It can be used as style label information that describes the characteristics of an image of an externally held fashion item.
  • the fashion item extraction unit 110 calculates a feature value of the fashion item image, selects at least one style image group having a distance value within a certain range from the feature value of the fashion item image, and selects a style image A style image belonging to the group may be determined as a recommended style image.
  • the fashion item extraction unit 110 may use style label and category information extracted from the image in order to increase the accuracy of image search.
  • the fashion item extracting unit 110 calculates the similarity of the characteristic values of the fashion item image and the style image stored in the style database 150, and the style label and/or among products having a similarity of a predetermined range or more.
  • the recommended style image may be determined by excluding products whose category information does not match the style label and/or category information of the owned fashion item image.
  • the fashion item extracting unit 110 may extract the style label “A”. Thereafter, the fashion item extracting unit 110 may extract, as a recommended style image, a style image having a similarity of a preset range with a “pink floral blouse” among the style images clustered with the style label “A”.
  • the image of the product is extracted from the product database 170 based on the recommended style image and determined as a recommended fashion item image.
  • the fashion item extraction unit 110 extracts a matching fashion item in a category different from the holding fashion item from among fashion items included in the recommended style image, and a product corresponding to a matching fashion item among products stored in the product database 170 It is possible to extract the image of the product and determine it as a recommended fashion item image.
  • fashion items of other categories that are matched with the fashion items in the recommended style image can be extracted as matching fashion items is that other items that are matched with the fashion items in the recommended style image match well. Because it is learned.
  • the fashion item extracting unit 110 may search for a matching fashion item based on the similarity of image contents in the product database 170.
  • the fashion item extraction unit 110 determines an item corresponding to a preferred color, a preferred price range, and a brand extracted from the user database management unit 140 among matching fashion items as a recommended fashion item image.
  • the fashion item advertisement providing unit 120 generates a customized advertisement image by mapping the holding fashion item image and the recommended fashion item image extracted by the fashion item extracting unit 110 matching the holding fashion item image to the user image. Then, the fashion item advertisement providing unit 120 provides a user-customized advertisement image to the user terminal.
  • a product may be advertised to a user by mapping it to a user image by using other fashion items that match the fashion item possessed by the user, thereby increasing the purchase rate of the product, and thus generating profits.
  • the user database 130 stores style information for each user (eg, size information, preferred color, preferred price range, brand, and information on the image of the fashion item possessed).
  • style information for each user eg, size information, preferred color, preferred price range, brand, and information on the image of the fashion item possessed.
  • the user database manager 140 generates style information for each user and stores it in the user database 130.
  • the user database management unit 140 provides a user-specific search history request message to the online shopping mall server 200, and upon receiving the user search history result message from the online shopping mall server 200, the user-specific style based on the user search history result message Information is generated and stored in the user database 130.
  • the user database management unit 140 sends a search history request message for each user including user access information (eg, identification information of a user terminal, IP information of a user terminal, online shopping mall login information, etc.) Based on a user search history result message provided to the server 200 and including user purchase information and user search information from the online shopping mall server 200 (eg, products clicked on the online shopping mall and products contained in the shopping cart). Style information for each user is generated and stored in the user database 130.
  • the user database management unit 140 may generate the user's size information, preferred color, preferred price range, and brand based on the user purchase information and the user search information, and then store it in the user database 130, based on the user search information.
  • the user's search product may be extracted and stored in the user database 130.
  • the user database management unit 140 may determine the size information, preferred color, preferred price range, and brand of the user based on the user purchase information.
  • the user database management unit 140 generates user size information based on user purchase information and user search information, and then stores it in the user database 130.
  • the user database management unit 140 analyzes user purchase information and user search information to extract size information for each fashion item category, then averages the size information to calculate average size information, and calculates the average size information as the size of the user. Information may be determined and stored in the user database 130.
  • the user database management unit 140 analyzes user purchase information and user search information, extracts size information for each fashion item category, and then counts each size information to obtain the largest number of size information. It may be determined and stored in the user database 130.
  • the user database manager 140 may determine a user's preferred color based on user purchase information and user search information, and then store it in the user database 130.
  • the user database manager 140 may determine a user's preferred color based on user purchase information.
  • the user database management unit 140 extracts purchase color information for each fashion item category based on user purchase information and user search information, and then uses the purchase color information to use the user's preference color. ).
  • the user database manager 140 may determine a priority for a user's preferred color based on the count value and store it in the user database 130.
  • the user database management unit 140 may determine the fashion item image to be held based on the user purchase information and the user search information and then store it in the user database 130. The reason for this is to recommend to the user an item that matches the fashion item possessed by the user.
  • the user database management unit 140 may extract a user's search product (eg, a clicked product and an image of a product contained in the shopping cart) based on the user search information and store it in the user database 130.
  • a user's search product eg, a clicked product and an image of a product contained in the shopping cart
  • the reason for this is that the user has not purchased, but clicked or put in a shopping cart is a fashion item that the user is interested in.
  • the present invention can increase advertising efficiency by defining not only the product purchased by the user but also the product of interest as a holding fashion item, and advertising other fashion items matching the holding fashion item together.
  • the style database 150 may include information on a style image that can be referred to for a fashion style and coordination of a plurality of items among images collected on the web.
  • the style database manager 160 creates a style image and stores it in the style database 150.
  • the style database management unit 160 collects a list of web addresses such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., and includes them in the website by checking the website and tracking the link. Collected image information.
  • the style database management unit 160 may collect and index images from websites such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., but collect image information together with index information from affiliated companies. It can also be provided separately.
  • the style database management unit 160 may filter out images unsuitable for style recommendation among the collected images.
  • the style database management unit 160 may filter the remaining images, leaving only images including a person-shaped object and a plurality of fashion items among the collected images.
  • the style image is used to determine other items that can be coordinated with the holding fashion item, it is appropriate to filter the image for a single fashion item. Furthermore, configuring a database with images of a person wearing a plurality of fashion items directly may be more useful than an image of the fashion item itself.
  • the style database management unit 160 determines the style image included in the style database 150 by filtering the remaining images while leaving only the image including the human-shaped object and a plurality of fashion items. I can.
  • style database manager 160 may process features of the fashion item object image included in the style image.
  • the style database management unit 160 extracts the image feature information of the fashion item object included in the style image, and expresses the feature information as a vector value to generate a feature value of the fashion item object and structure the feature information of the images. can do.
  • the style database management unit 160 may extract a style label from the style image and cluster the style images based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel.
  • a style label for a feeling that a person can feel from the appearance of a single fashion item included in a style image, a combination of a plurality of items, etc. may be extracted and used as a style label.
  • a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look may be exemplified as a style label.
  • the style database management unit 160 defines a style label in advance, generates a neural network model that learns characteristics of an image corresponding to the style label, classifies objects in the style image, and extracts a style label for the object. can do. Then, the style database manager 160 may assign a corresponding style label to an image that matches a specific pattern with a random probability through a neural network model that has learned a pattern of an image corresponding to each style label.
  • the style database management unit 160 forms an initial neural network model by learning characteristics of an image corresponding to each style label, and applies a large number of style image objects to it to further refine the neural network model. It can also be expanded.
  • the style database manager 160 may apply style images to a neural network model formed in a hierarchical structure formed of a plurality of layers without additional learning about a style label.
  • a weight is given to the feature information of the style image according to the request of the layer, and product images are clustered using the processed feature information, and the celebrity look, magazine look, summer look, feminine look, and sexy look are added to the clustered style image group.
  • Style labels that are interpreted post-mortem as look, office look, drama look, and Chanel look can be given.
  • the style database management unit 160 may pre-classify items having a very high appearance rate, such as white shirts, jeans, and black skirts.
  • jeans are a basic item in fashion, so their appearance in style images is very high. Therefore, no matter what item the user inquires about, the probability of matching jeans as a coordination item will be much higher than that of other items.
  • the style database management unit 160 pre-classifies items with a very high appearance rate in the style image as buzz items, and changes the version of the style book to include a buzz item and a buzz item. Can be created by
  • the buzz item may be classified by reflecting time information. For example, when considering the fashion cycle of fashion items, items that briefly become fashionable and disappear for a month or two, fashionable items that return every season, and items that continue to be fashionable for a certain period of time can be considered.
  • the style database management unit 160 may generate category information of a corresponding product based on the product image content. In this case, the style database management unit 160 may use some of the label information as category information.
  • the style database management unit 160 provides the service server for women, tops, and blouses. Labels can be used as information on the category of the product, and labels for linen, stripes, long sleeves, blue, and office look can be used as label information describing characteristics of products other than the category.
  • product information for each product eg, product origin, size, sales location, wearing shot, etc.
  • product information for each product eg, product origin, size, sales location, wearing shot, etc.
  • the product database management unit 180 receives product information for each product from the online shopping mall server 200 and stores product information for each product in the product database 170. At this time, the product information includes detailed product information such as the origin, size, sales place, and wearing shots of products sold in the online market.
  • the product database management unit 180 may include a crawler, a parser, and an indexer to collect web documents of an online store and access text information such as product images, product names, and prices included in the web documents.
  • a crawler may collect a list of web addresses of online stores, check websites, and extract related product information by tracking links.
  • the parser analyzes the web document collected during the crawling process to extract product information such as product images, product prices, and product names included in the page, and the indexer may index the corresponding location and meaning.
  • the product database management unit 180 may collect and index product information from a website of any online store, but may receive product information in a preset format from an affiliate market.
  • the product database management unit 180 structures text information such as a product name, product category, etc. in addition to the image of the product and stores it in the product database management unit 180.
  • the product database management unit 180 may extract feature information of a product image and index feature information of the images for efficiency of search.
  • the product database management unit 180 may detect characteristic areas of product images (Interest Point Detection).
  • the feature region refers to a main region for extracting a feature descriptor, that is, a feature descriptor of an image for determining whether or not the images are identical or similar.
  • such a characteristic area is a contour line included in an image, a corner such as a corner among the contours, a blob that is distinguished from the surrounding area, an area that is invariant or co-variable according to the transformation of the image, or more than the ambient brightness.
  • They can be poles with dark or bright features, and can target patches (fragments) of the image or the entire image.
  • the product database management unit 180 may extract a feature descriptor from the feature region (Descriptor Extraction).
  • a feature descriptor is a representation of the features of an image as vector values.
  • such a feature descriptor may be calculated by using the location of the feature region for the corresponding image, or brightness, color, sharpness, gradient, scale, or pattern information of the feature region.
  • the feature descriptor may be calculated by converting a brightness value, a brightness change value, or a distribution value of the feature region into a vector.
  • a feature descriptor for an image is not only a local descriptor based on a feature region as described above, but also a global descriptor, a frequency descriptor, a binary descriptor, or It can be expressed as a neural network descriptor.
  • the feature descriptor is a global descriptor that converts and extracts the brightness, color, sharpness, gradient, scale, pattern information, etc. of each of the entire image or the image divided by a random criterion, or Global descriptor) can be included.
  • the feature descriptor is a frequency descriptor that converts and extracts the number of times that specific descriptors classified in advance are included in an image, the number of global features such as a conventionally defined color table, etc., into vector values, and each descriptor In the layer of a binary descriptor or neural network that extracts bit by bit whether the values of elements are included or whether the size of each element value constituting the descriptor is larger or smaller than a specific value, converts it to an integer type and uses it. It may include a neural network descriptor for extracting image information used for learning or classification.
  • a feature information vector extracted from a product image can be converted to a lower dimension.
  • feature information extracted through an artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector in an appropriate range in consideration of the resources required for search.
  • the feature information vector may be converted using various dimensional reduction algorithms such as PCA and ZCA, and the feature information converted into a lower dimensional vector may be indexed into a corresponding product image.
  • the product database management unit 180 may extract a style label for the meaning of the image by applying a machine learning technique based on the product image.
  • the style label may be expressed as an abstracted value, but may be expressed in a text form by interpreting the abstracted value.
  • the product database management unit 180 defines a style label in advance, generates a neural network model that learns the characteristics of an image corresponding to the style label, classifies objects in the product image, and classifies the object in the style. Labels can be extracted.
  • the product database management unit 180 may assign a corresponding style label to an image that matches a specific pattern with a random probability through a neural network model that has learned a pattern of an image corresponding to each style label.
  • the product database management unit 180 forms an initial neural network model by learning the characteristics of an image corresponding to each style label, and applies a large number of product image objects to it to more elaborately extend the neural network model. May be. Further, the product database management unit 180 may create a new group including the product if the product is not included in any group.
  • the product database management unit 180 utilizes as meta information about products such as women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, and abstract feelings (innocent, chic, vintage, etc.)
  • a possible style label can be defined in advance, a neural network model learning the characteristics of an image corresponding to the style label can be created, and the neural network model can be applied to the product image of an advertiser to extract a style label for an advertisement target product image. have.
  • the product database management unit 180 may apply product images to a neural network model formed in a hierarchical structure formed of a plurality of layers without additional learning about a style label. Furthermore, a weight may be assigned to the feature information of the product image according to a request of a corresponding layer, and product images may be clustered using the processed feature information.
  • additional analysis may be required in order to check whether corresponding images are clustered according to which attribute of the feature value, that is, to connect the clustering result of the images with a concept that can be recognized by a real human being.
  • the product database management unit 180 classifies products into three groups through image processing, and A for the features of the first group, B for the features of the second group, and C for the features of the third group.
  • A, B, and C need to be interpreted post-hoc that, for example, each means a woman's top, blouse, and checkered pattern.
  • the product database management unit 180 post-results to the clustered style image group with women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns of patterns, materials, colors, abstract feelings (innocent, chic, vintage, etc.).
  • a style label that can be interpreted may be assigned, and style labels assigned to a style image group to which an individual product image belongs may be extracted as a style label of a corresponding product image.
  • the product database management unit 180 may express the style label extracted from the product image as text, and the style label in the form of text may be used as tag information of the product.
  • the tag information of the product is used as the image of the product. Based on the mathematical extraction without human intervention, the reliability of the tag information is increased and the accuracy of the search is improved.
  • the product database management unit 180 may generate category information of a corresponding product based on the product image content.
  • style label information and category information may be respectively generated, but style label information may be used as category information, and category information may be used as style label information.
  • the product database management unit 180 is a style label for women, tops, and blouses. Is used as the category information of the corresponding product, and style labels for linen, stripes, long sleeves, blue, and office look can be used as style label information describing the characteristics of products other than the category. Alternatively, the product database management unit 180 may index a corresponding product without distinguishing between the style label and the category information.
  • the product database management unit 180 filters product images and stores only product images in the product database 170 excluding portions that may act as noise for image search.
  • the product database management unit 180 may determine whether to filter the product image by comparing the style label extracted from the product image with the category and/or tag information directly assigned by the seller.
  • the image or a specific object in the image is a product database It can be filtered at (170).
  • the product database management unit 180 may configure the product database 170 with only the second and third product images excluding the first product image.
  • This filtering is to reduce the noise of image search.
  • product A is actually for sunglasses, and if the database is configured including all the first to third product description images, even if the query image is a jacket, it is determined that it is similar to the first product image, so that product A for sunglasses is It may be determined as an advertisement item. Therefore, product images that may reduce the accuracy of the search are filtered and the product database 170 is built.
  • FIG. 2 is a flowchart illustrating an embodiment of a method for advertising a user-customized fashion item according to the present invention.
  • the fashion item advertisement server 100 extracts a holding fashion item image from a user database in which style information for each user is stored (step S210).
  • the fashion item advertisement server 100 extracts a recommended style image matching the holding fashion item image from the style database in which the style image is stored (step S220).
  • the fashion item advertisement server 100 extracts an image of a product matching the recommended style image from a product database in which product information for each product sold in an online shopping mall is stored, and determines it as a recommended fashion item image (step S230).
  • the fashion item advertisement server 100 generates a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to the user image (step S240).
  • the fashion item advertisement server 100 provides a user-customized advertisement image to the user terminal (step S250).
  • FIG. 3 is a flowchart illustrating another embodiment of a method for advertising a user-customized fashion item according to the present invention.
  • the fashion item advertisement server 100 extracts a holding fashion item image from a style database in which style information for each user is stored (step S310).
  • the fashion item advertisement server 100 extracts style label and category information by analyzing the held fashion item image (step S320).
  • the fashion item extracting unit 110 may extract a style label from the held fashion item image and cluster the holding fashion item image based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel. Meanwhile, the fashion item extracting unit 110 may use style label information as category information.
  • the fashion item advertisement server 100 analyzes the possessed fashion item image and calculates a feature value (step S330).
  • the fashion item advertisement server 100 selects at least one style image group having a characteristic value of the fashion item image and a distance value within a certain range (step S340), and selects a style image belonging to the style image group as a recommended style image. It may be determined (step S350).
  • the fashion item advertisement server 100 extracts a matching fashion item of a category different from the holding fashion item from among fashion items included in the recommended style image (step S360), and The image may be extracted and determined as a recommended fashion item image (step S370).

Abstract

The present invention relates to a fashion item advertising server including: a user database in which style information for each user is stored; a style database in which a style image is stored; a product database in which product information for each product sold in an on-line shopping mall is stored; a fashion item extraction unit which extracts a possessed fashion item image from the user database, extracts a recommended style image, matching the possessed fashion item image, from the style database, and then extracts an image of a product, matching the recommended style image, from the product database, and selects the extracted product image as a recommended fashion item image; and a fashion item advertisement providing unit which maps the recommended fashion item image and the possessed fashion item image onto a user image to generate a user-customized advertisement image, and provides the user-customized advertisement image to a user terminal.

Description

사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버User-customized fashion item advertisement method and server executing it
본 발명은 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버에 관한 것으로, 보다 상세하게는 사용자가 보유하는 보유 패션 아이템과 매칭되는 다른 패션 아이템을 이용하여 사용자 이미지에 맵핑하여 사용자에게 상품을 광고하는 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버에 관한 것이다. The present invention relates to a user-customized fashion item advertisement method and a server that executes the same, and more particularly, a user who advertises a product to a user by mapping it to a user image using other fashion items that match the fashion item held by the user. It relates to a customized fashion item advertisement method and a server executing the same.
근래에 들어 컴퓨터 통신 기술의 발전과 더불어 초고속 통신망의 보급이 보편화되면서 인터넷 이용자가 폭발적으로 증가하고 있으며, 이와 같은 인터넷 이용자의 증가로 인해 인터넷 쇼핑이 크게 부각되고 있다. In recent years, with the development of computer communication technology and the widespread use of high-speed communication networks, the number of Internet users is explosively increasing, and due to the increase in the number of Internet users, Internet shopping is greatly highlighted.
이에 특정 제품을 광고하여야 하는 광고주들은 기존 신문, TV 등의 오프라인 매체에 광고를 내보내는데 더불어, 인터넷상에 다수의 이용자들이 방문하는 포털 사이트나, 쇼핑몰 등에도 광고를 내어 자신의 상품 또는 기업 이미지 제고를 통해 수익을 창출하려고 시도하고 있다. Accordingly, advertisers who need to advertise a specific product not only advertise on offline media such as existing newspapers and TV, but also advertise on portal sites or shopping malls visited by many users on the Internet to enhance their product or corporate image. You are trying to make money through
위와 같은 기업의 인터넷 온라인 사이트에서의 광고 방법으로는 종래에는 각 인터넷 사이트의 초기화면에 텍스트, 애니메이션, 동영상 등으로 제작된 광고가 사이트내 초기화면에 게재되는 방식으로 제작되어 왔으며, 많은 가입 자를 유치한 인터넷 사이트들은 위와 같은 기업의 광고를 주요한 수입원으로 이익을 창출하여 왔다. As a method of advertising on the Internet online sites of the above companies, conventionally, advertisements made with text, animation, and video are displayed on the initial screen of each Internet site. Internet sites have been generating profits from the above corporate advertisements as a major source of income.
그러나, 인터넷 인기 사이트들의 초기화면상에 자사의 제품의 광고 메시지가 디스플레이 되도록 하는 인터넷 광고는 해당 사이트를 방문하는 불특정 다수에게 일방적으로 보여지는 것으로, 특정 상품에 관심을 가지는 구매계층을 상대로 광고가 노출되도록 제어되는 것이 아니었다. However, Internet advertisements that display advertisement messages of their products on the initial screens of popular Internet sites are unilaterally displayed to unspecified people who visit the site, so that advertisements are exposed to the purchasing class who are interested in specific products. It wasn't controlled.
즉, 해당 사이트에 접속하는 방문자들의 연령대, 성별, 또는 지역 연고 등과 같은 정보를 분석하고 이를 바탕으로 가장 광고 효과가 크다고 판단되는 상품을 해당 사이트에 광고하는 방식은 아니었다. In other words, it was not a method of analyzing information such as age group, gender, or regional connection of visitors accessing the site and advertising the product that is judged to have the greatest advertising effect on the site.
따라서 광고에 드는 비용과 비교하여 효과를 극대화하지 못할 뿐만 아니라, 인기 사이트의 초기화면에의 광고는 화면 크기가 제한됨에 따라 양호한 광고 효과를 위해서는 상당한 비용을 감수해야 하는 문제점이 있었다. Therefore, not only does not maximize the effect compared to the cost of advertising, but also has a problem in that the advertisement on the initial screen of a popular site is limited in screen size, so that a considerable cost is required for good advertisement effect.
본 발명은 사용자가 보유하는 보유 패션 아이템과 매칭되는 다른 패션 아이템을 이용하여 사용자 이미지에 맵핑하여 사용자에게 상품을 광고하여 상품의 구매율을 높여 수익 발생을 기대할 수 있도록 하는 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.The present invention is a user-customized fashion item advertisement method in which a user can expect to generate revenue by increasing the purchase rate of the product by advertising a product to the user by mapping it to a user image by using other fashion items matching the fashion item possessed by the user, and the same. It aims to provide a running server.
또한, 본 발명은 패션 아이템에 대한 다수의 스타일을 미리 정의한 후에 사용자가 보유하는 보유 패션 아이템을 기초로 보유 패션 아이템과 어울리는 다른 패션 아이템에 해당하는 상품을 검색하여 해당 상품을 사용자에게 광고하여 사용자로 하여금 광고를 클릭하는 확률을 증가시킬 수 있도록 하는 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버를 제공하는 것을 목적으로 한다.In addition, after defining a number of styles for a fashion item in advance, the present invention searches for a product corresponding to another fashion item that matches the fashion item held by the user based on the fashion item held by the user, and advertises the product to the user as a user. An object of the present invention is to provide a user-customized fashion item advertisement method and a server that executes the method for increasing the probability of clicking an advertisement.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention that are not mentioned can be understood by the following description, and will be more clearly understood by examples of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by the means shown in the claims and combinations thereof.
이러한 목적을 달성하기 위한 패션 아이템 광고 서버는 사용자 별 스타일 정보가 저장되어 있는 사용자 데이터베이스, 스타일 이미지가 저장되어 있는 스타일 데이터베이스, 온라인 쇼핑몰에서 판매되는 상품 별 상품 정보가 저장되어 있는 상품 데이터베이스, 상기 사용자 데이터베이스에서 보유 패션 아이템 이미지를 추출하고, 상기 스타일 데이터베이스에서 상기 보유 패션 아이템 이미지에 매칭되는 추천 스타일 이미지를 추출한 후 상기 상품 데이터베이스에서 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 패션 아이템 추출부 및 상기 추천 패션 아이템 이미지 및 상기 보유 패션 아이템 이미지를 사용자 이미지에 매핑하여 사용자 맞춤형 광고 이미지를 생성하고, 상기 사용자 맞춤형 광고 이미지를 사용자 단말에 제공하는 패션 아이템 광고 제공부를 포함한다.The fashion item advertisement server for achieving this purpose includes a user database in which style information for each user is stored, a style database in which style images are stored, a product database in which product information for each product sold in an online shopping mall is stored, and the user database. Extracting the fashion item image from the database, extracting the recommended style image matching the fashion item image from the style database, extracting the image of the product matching the recommended style image from the product database, and determining the recommended fashion item image And a fashion item advertisement providing unit configured to generate a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to a user image, and provide the user customized advertisement image to a user terminal.
또한, 이러한 목적을 달성하기 위한 패션 아이템 광고 서버에서 실행되는 사용자 맞춤형 패션 아이템 광고 방법은 사용자 별 스타일 정보가 저장되어 있는 스타일 데이터베이스에서 보유 패션 아이템 이미지를 추출하는 단계, 스타일 이미지가 저장되어 있는 스타일 데이터베이스에서 상기 보유 패션 아이템 이미지에 매칭되는 추천 스타일 이미지를 추출하는 단계, 온라인 쇼핑몰에서 판매되는 상품별 상품 정보가 저장되어 있는 상품 데이터베이스에서 상기 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 단계, 상기 추천 패션 아이템 이미지 및 상기 보유 패션 아이템 이미지를 사용자 이미지에 매핑하여 사용자 맞춤형 광고 이미지를 생성하는 단계 및 상기 사용자 맞춤형 광고 이미지를 사용자 단말에 제공하는 단계를 포함한다.In addition, the user-customized fashion item advertisement method executed in the fashion item advertisement server to achieve this purpose is the step of extracting the possessed fashion item image from the style database in which style information for each user is stored, and the style database in which the style image is stored. Extracting a recommended style image matching the holding fashion item image, extracting an image of a product matching the recommended style image from a product database in which product information for each product sold in an online shopping mall is stored, as a recommended fashion item image Determining, generating a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to a user image, and providing the customized advertisement image to a user terminal.
전술한 바와 같은 본 발명에 의하면, 사용자가 보유하는 보유 패션 아이템과 매칭되는 다른 패션 아이템을 이용하여 사용자 이미지에 맵핑하여 사용자에게 상품을 광고하여 상품의 구매율을 높여 수익 발생을 기대할 수 있다는 장점이 있다.According to the present invention as described above, there is an advantage that it is possible to increase the purchase rate of the product by increasing the purchase rate of the product by mapping it to the user image by using another fashion item matching the fashion item held by the user to generate a profit. .
또한 본 발명에 의하면, 패션 아이템에 대한 다수의 스타일을 미리 정의한 후에 사용자가 보유하는 보유 패션 아이템을 기초로 보유 패션 아이템과 어울리는 다른 패션 아이템에 해당하는 상품을 검색하여 해당 상품을 사용자에게 광고하여 사용자로 하여금 광고를 클릭하는 확률을 증가시킬 수 있다는 장점이 있다.In addition, according to the present invention, after defining a number of styles for a fashion item in advance, a user searches for a product corresponding to another fashion item that matches the fashion item held by the user based on the fashion item held by the user, and advertises the product to the user. There is an advantage that it can increase the probability of clicking an advertisement.
도 1은 본 발명의 일 실시예에 따른 패션 아이템 광고 서버를 설명하기 위한 블록도이다.1 is a block diagram illustrating a fashion item advertisement server according to an embodiment of the present invention.
도 2는 본 발명에 따른 사용자 맞춤형 패션 아이템 광고 방법의 일 실시예를 설명하기 위한 흐름도이다. 2 is a flowchart illustrating an embodiment of a method for advertising a user-customized fashion item according to the present invention.
도 3은 본 발명에 따른 사용자 맞춤형 패션 아이템 광고 방법의 다른 일 실시예를 설명하기 위한 흐름도이다.3 is a flowchart illustrating another embodiment of a method for advertising a user-customized fashion item according to the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features, and advantages will be described later in detail with reference to the accompanying drawings, and accordingly, one of ordinary skill in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of known technologies related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description will be omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar elements.
본 명세서에서 사용된 용어 중 “보유 패션 아이템 이미지”는 사용자가 온라인 쇼핑몰에서 구매한 상품의 이미지, 클릭한 상품의 이미지 및 장바구니에 담겨진 상품의 이미지을 의미한다. 따라서, 본 발명은 사용자가 보유하는 보유 패션 아이템과 매칭되는 다른 패션 아이템을 이용하여 사용자 이미지 맵핑하여 사용자에게 상품을 광고함으로써 상품의 구매율을 높여 수익을 기대할 수 있다.In terms of the terms used in the present specification, “own fashion item image” refers to an image of a product purchased by a user in an online shopping mall, an image of a product clicked on, and an image of a product contained in a shopping cart. Accordingly, according to the present invention, the user image is mapped using other fashion items that match the fashion items possessed by the user, and the product is advertised to the user, thereby increasing the purchase rate of the product, and thus, profit can be expected.
도 1은 본 발명의 일 실시예에 따른 패션 아이템 광고 서버를 설명하기 위한 블록도이다.1 is a block diagram illustrating a fashion item advertisement server according to an embodiment of the present invention.
도 1을 참조하면, 패션 아이템 광고 서버(100)는 패션 아이템 추출부(110), 패션 아이템 광고 제공부(120), 사용자 데이터베이스(130), 사용자 데이터베이스 관리부(140), 스타일 데이터베이스(150), 스타일 데이터베이스 관리부(160), 상품 데이터베이스(170) 및 상품 데이터베이스 관리부(180)를 포함한다.Referring to FIG. 1, the fashion item advertisement server 100 includes a fashion item extraction unit 110, a fashion item advertisement providing unit 120, a user database 130, a user database management unit 140, a style database 150, and A style database management unit 160, a product database 170, and a product database management unit 180 are included.
패션 아이템 추출부(110)는 사용자 데이터베이스(130), 스타일 데이터베이스(150) 및 상품 데이터베이스(170)을 이용하여 사용자의 보유 패션 아이템 이미지와 매칭되는 추천 패션 아이템 이미지로 결정한다. The fashion item extraction unit 110 uses the user database 130, the style database 150, and the product database 170 to determine a recommended fashion item image that matches the user's own fashion item image.
일 실시예에서, 패션 아이템 추출부(110)는 사용자 데이터베이스(130)에서 보유 패션 아이템 이미지를 추출하고, 스타일 데이터베이스(150)에서 보유 패션 아이템 이미지에 매칭되는 스타일 이미지를 추출한 후 상품 데이터베이스(170)에서 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정한다.In one embodiment, the fashion item extraction unit 110 extracts the fashion item image held by the user database 130, and extracts a style image matching the fashion item image held by the style database 150, and then the product database 170 The image of the product matching the style image is extracted from and determined as a recommended fashion item image.
먼저, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지와 매칭되는 스타일 이미지를 스타일 데이터베이스(150)에서 추출한다. First, the fashion item extracting unit 110 extracts a style image matching the holding fashion item image from the style database 150.
이를 위해, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지를 분석하여 스타일 레이블 및 카테고리 정보를 추출한다.To this end, the fashion item extracting unit 110 extracts style label and category information by analyzing the held fashion item image.
일 실시예에서, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 보유 패션 아이템 이미지를 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. In an embodiment, the fashion item extracting unit 110 may extract a style label from the held fashion item image and cluster the held fashion item image based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel.
본 발명의 일 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 스타일 레이블을 추출하고 이를 스타일 레이블로 활용할 수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다. According to an embodiment of the present invention, a style label for a feeling that a person can feel from the appearance of a single fashion item included in a style image, a combination of a plurality of items, etc. may be extracted and used as a style label. For example, a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look may be exemplified as a style label.
한편, 패션 아이템 추출부(110)는 스타일 레이블 정보를 카테고리 정보로 활용할 수도 있다.Meanwhile, the fashion item extraction unit 110 may use style label information as category information.
예를 들어, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 스타일 레이블을 추출할 수 있다. 이 경우, 패션 아이템 추출부(110)는 여성, 원피스, 상의, 하의에 대한 스타일 레이블을 보유 패션 아이템 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩, 정장룩에 대한 스타일 레이블은 카테고리 외 보유 패션 아이템 이미지의 특성을 설명하는 스타일 레이블 정보로 활용할 수 있다. For example, the fashion item extraction unit 110 may extract style labels for women, dresses, sleeveless, linen, white, and casual look from the owned fashion item image. In this case, the fashion item extraction unit 110 uses style labels for women, dresses, tops, and bottoms as category information of the image of the fashion item, and style labels for sleeveless, linen, white, casual look, and formal look are categories. It can be used as style label information that describes the characteristics of an image of an externally held fashion item.
그런 다음, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지의 특징 값을 산출하고, 보유 패션 아이템 이미지의 특징 값과 일정 범위 이내의 거리값을 가지는 스타일 이미지 그룹을 적어도 하나 이상 선정하고, 스타일 이미지 그룹에 속하는 스타일 이미지를 추천 스타일 이미지로 결정할 수도 있다. Then, the fashion item extraction unit 110 calculates a feature value of the fashion item image, selects at least one style image group having a distance value within a certain range from the feature value of the fashion item image, and selects a style image A style image belonging to the group may be determined as a recommended style image.
이때, 패션 아이템 추출부(110)는 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 스타일 레이블, 카테고리 정보를 이용할 수 있다. 일 실시예에서, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지 및 스타일 데이터베이스(150)에 저장된 스타일 이미지 각각의 특징 값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품 중 스타일 레이블 및/또는 카테고리 정보가 보유 패션 아이템 이미지의 스타일 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 추천 스타일 이미지를 결정할 수 있다.In this case, the fashion item extraction unit 110 may use style label and category information extracted from the image in order to increase the accuracy of image search. In one embodiment, the fashion item extracting unit 110 calculates the similarity of the characteristic values of the fashion item image and the style image stored in the style database 150, and the style label and/or among products having a similarity of a predetermined range or more. The recommended style image may be determined by excluding products whose category information does not match the style label and/or category information of the owned fashion item image.
예를 들어, 보유 패션 아이템이 “핑크색 꽃무늬 블라우스”인 경우, 패션 아이템 추출부(110)는 스타일 레이블 “A”를 추출할 수 있다. 이후, 패션 아이템 추출부(110)는 스타일 레이블 “A”로 클러스터링된 스타일 이미지 중 “핑크색 꽃무늬 블라우스”와 미리 설정된 범위의 유사도를 가지는 스타일 이미지를 추천 스타일 이미지로 추출할 수 있다. For example, when the holding fashion item is a “pink floral blouse”, the fashion item extracting unit 110 may extract the style label “A”. Thereafter, the fashion item extracting unit 110 may extract, as a recommended style image, a style image having a similarity of a preset range with a “pink floral blouse” among the style images clustered with the style label “A”.
상기와 같은 과정을 통해 보유 패션 아이템 이미지와 매칭되는 추천 스타일 이미지를 추출한 후, 추천 스타일 이미지를 기초로 상품 데이터베이스(170)에서 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정한다. After extracting the recommended style image matching the image of the fashion item possessed through the above process, the image of the product is extracted from the product database 170 based on the recommended style image and determined as a recommended fashion item image.
즉, 패션 아이템 추출부(110)는 추천 스타일 이미지에 포함된 패션 아이템 중 상기 보유 패션 아이템과 다른 카테고리의 매칭 패션 아이템을 추출하고, 상품 데이터베이스(170)에 저장된 상품 중 매칭 패션 아이템에 해당하는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정할 수 있는 것이다. That is, the fashion item extraction unit 110 extracts a matching fashion item in a category different from the holding fashion item from among fashion items included in the recommended style image, and a product corresponding to a matching fashion item among products stored in the product database 170 It is possible to extract the image of the product and determine it as a recommended fashion item image.
이와 같이, 추천 스타일 이미지에 보유 패션 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 매칭 패션 아이템으로 추출할 수 있는 이유는 추천 스타일 이미지에서 보유 패션 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울린다는 것으로 학습되어 있기 때문이다. In this way, the reason that fashion items of other categories that are matched with the fashion items in the recommended style image can be extracted as matching fashion items is that other items that are matched with the fashion items in the recommended style image match well. Because it is learned.
이와 같이, 패션 아이템 추출부(110)는 스타일 데이터베이스(150)를 이용하여 매칭 패션 아이템이 결정되면, 상품 데이터베이스(170)에서 이미지 내용의 유사도를 기준으로 매칭 패션 아이템을 검색할 수 있다. As described above, when a matching fashion item is determined using the style database 150, the fashion item extracting unit 110 may search for a matching fashion item based on the similarity of image contents in the product database 170.
그런 다음, 패션 아이템 추출부(110)는 매칭 패션 아이템 중 사용자 데이터베이스 관리부(140)에서 추출한 선호 색상, 선호하는 가격대 및 브랜드에 해당하는 아이템을 추천 패션 아이템 이미지로 결정한다.Then, the fashion item extraction unit 110 determines an item corresponding to a preferred color, a preferred price range, and a brand extracted from the user database management unit 140 among matching fashion items as a recommended fashion item image.
패션 아이템 광고 제공부(120)는 보유 패션 아이템 이미지 및 보유 패션 아이템 이미지와 매칭되는 패션 아이템 추출부(110)에서 추출된 추천 패션 아이템 이미지를 사용자 이미지에 매핑하여 사용자 맞춤형 광고 이미지를 생성한다. 그런 다음, 패션 아이템 광고 제공부(120)는 사용자 맞춤형 광고 이미지를 사용자 단말에 제공한다. The fashion item advertisement providing unit 120 generates a customized advertisement image by mapping the holding fashion item image and the recommended fashion item image extracted by the fashion item extracting unit 110 matching the holding fashion item image to the user image. Then, the fashion item advertisement providing unit 120 provides a user-customized advertisement image to the user terminal.
이와 같이, 본 발명은 사용자가 보유하는 보유 패션 아이템과 매칭되는 다른 패션 아이템을 이용하여 사용자 이미지에 맵핑하여 사용자에게 상품을 광고하여 상품의 구매율을 높여 수익 발생을 기대할 수 있다.As described above, according to the present invention, a product may be advertised to a user by mapping it to a user image by using other fashion items that match the fashion item possessed by the user, thereby increasing the purchase rate of the product, and thus generating profits.
사용자 데이터베이스(130)에는 사용자 별 스타일 정보(예를 들어, 사이즈 정보, 선호 색상, 선호하는 가격대, 브랜드, 보유 패션 아이템 이미지에 대한 정보)가 저장된다. The user database 130 stores style information for each user (eg, size information, preferred color, preferred price range, brand, and information on the image of the fashion item possessed).
사용자 데이터베이스 관리부(140)는 사용자 별 스타일 정보를 생성하여 사용자 데이터베이스(130)에 저장한다. 사용자 데이터베이스 관리부(140)는 사용자 별 검색 히스토리 요청 메시지를 온라인 쇼핑몰 서버(200)에 제공하고, 온라인 쇼핑몰 서버(200)로부터 사용자 검색 히스토리 결과 메시지를 수신하면 사용자 검색 히스토리 결과 메시지를 기초로 사용자 별 스타일 정보를 생성하여 사용자 데이터베이스(130)에 저장한다.The user database manager 140 generates style information for each user and stores it in the user database 130. The user database management unit 140 provides a user-specific search history request message to the online shopping mall server 200, and upon receiving the user search history result message from the online shopping mall server 200, the user-specific style based on the user search history result message Information is generated and stored in the user database 130.
보다 구체적으로, 사용자 데이터베이스 관리부(140)는 사용자의 접속 정보(예를 들어, 사용자 단말의 식별 정보, 사용자 단말의 IP 정보, 온라인 쇼핑몰 로그인 정보 등)를 포함하는 사용자 별 검색 히스토리 요청 메시지를 온라인 쇼핑몰 서버(200)에 제공하고, 온라인 쇼핑몰 서버(200)로부터 사용자 구매 정보 및 사용자 검색 정보(예를 들어, 온라인 쇼핑몰에서 클릭한 상품 및 장바구니에 담겨진 상품)를 포함하는 사용자 검색 히스토리 결과 메시지를 기초로 사용자 별 스타일 정보를 생성하여 사용자 데이터베이스(130)에 저장한다. 이때, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 기초로 사용자의 사이즈 정보, 선호 색상, 선호 가격대 및 브랜드를 생성한 후 사용자 데이터베이스(130)에 저장할 수 있고, 사용자 검색 정보를 기초로 사용자의 검색 상품을 추출하여 사용자 데이터베이스(130)에 저장할 수 있다.More specifically, the user database management unit 140 sends a search history request message for each user including user access information (eg, identification information of a user terminal, IP information of a user terminal, online shopping mall login information, etc.) Based on a user search history result message provided to the server 200 and including user purchase information and user search information from the online shopping mall server 200 (eg, products clicked on the online shopping mall and products contained in the shopping cart). Style information for each user is generated and stored in the user database 130. At this time, the user database management unit 140 may generate the user's size information, preferred color, preferred price range, and brand based on the user purchase information and the user search information, and then store it in the user database 130, based on the user search information. The user's search product may be extracted and stored in the user database 130.
일반적으로, 사용자가 온라인 쇼핑몰을 통해 상품을 구매하거나 관심이 있는 상품을 장바구니에 담을 때 상품의 사이즈를 옵션으로 선택한 후에 해당 상품에 대한 구매를 진행하기 때문에 사용자 구매 정보에는 사용자가 선택한 사이즈 정보, 구매 색상 정보 및 브랜드가 존재한다. 따라서, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보를 기초로 사용자의 사이즈 정보, 선호 색상, 선호 가격대 및 브랜드를 결정할 수 있는 것이다. In general, when a user purchases a product through an online shopping mall or puts a product of interest in the shopping cart, the user selects the size of the product as an option and then proceeds to purchase the product. There is color information and brand. Accordingly, the user database management unit 140 may determine the size information, preferred color, preferred price range, and brand of the user based on the user purchase information.
먼저, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 기초로 사용자의 사이즈 정보를 생성한 후 사용자 데이터베이스(130)에 저장한다. First, the user database management unit 140 generates user size information based on user purchase information and user search information, and then stores it in the user database 130.
일 실시예에서, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 분석하여 패션 아이템 카테고리 별로 사이즈 정보를 추출한 후 사이즈 정보를 평균화하여 평균 사이즈 정보를 산출하고, 평균 사이즈 정보를 사용자의 사이즈 정보를 결정하여 사용자 데이터베이스(130)에 저장할 수 있다. In one embodiment, the user database management unit 140 analyzes user purchase information and user search information to extract size information for each fashion item category, then averages the size information to calculate average size information, and calculates the average size information as the size of the user. Information may be determined and stored in the user database 130.
다른 일 실시예에서, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 분석하여 패션 아이템 카테고리 별로 사이즈 정보를 추출한 후 사이즈 정보 각각을 카운트하여 개수가 가장 많은 사이즈 정보를 사용자의 사이즈 정보를 결정하여 사용자 데이터베이스(130)에 저장할 수 있다. In another embodiment, the user database management unit 140 analyzes user purchase information and user search information, extracts size information for each fashion item category, and then counts each size information to obtain the largest number of size information. It may be determined and stored in the user database 130.
또한, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 기초로 사용자의 선호 색상을 결정한 후 사용자 데이터베이스(130)에 저장할 수 있다. In addition, the user database manager 140 may determine a user's preferred color based on user purchase information and user search information, and then store it in the user database 130.
일반적으로, 사용자가 온라인 쇼핑몰을 통해 상품을 구매할 때 상품 중 특정 상품의 색상을 옵션으로 선택한 후에 해당 상품에 대한 구매를 진행하기 때문에 사용자 구매 정보에는 사용자가 선택한 구매 색상 정보가 존재한다. 따라서, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보를 기초로 사용자의 선호 색상을 결정할 수 있는 것이다. In general, when a user purchases a product through an online shopping mall, a user selects a color of a specific product as an option and then proceeds to purchase a corresponding product. Accordingly, the purchase color information selected by the user exists in the user purchase information. Accordingly, the user database manager 140 may determine a user's preferred color based on user purchase information.
일 실시예에서, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 기초로 패션 아이템 카테고리 별로 구매 색상 정보를 추출한 후 구매 색상 정보를 이용하여 사용자의 선호 색상을 이용하여 사용자 데이터 베이스(130)에 저장할 수 있다. In one embodiment, the user database management unit 140 extracts purchase color information for each fashion item category based on user purchase information and user search information, and then uses the purchase color information to use the user's preference color. ).
상기의 실시예에서, 사용자 데이터베이스 관리부(140)는 구매 색상 정보 각각을 카운트한 후 카운트 값을 기초로 사용자의 선호 색상에 대한 순위를 결정하여 사용자 데이터베이스(130)에 저장할 수 있다. In the above embodiment, after counting each purchase color information, the user database manager 140 may determine a priority for a user's preferred color based on the count value and store it in the user database 130.
또한, 사용자 데이터베이스 관리부(140)는 사용자 구매 정보 및 사용자 검색 정보를 기초로 보유 패션 아이템 이미지로 결정한 후 사용자 데이터베이스(130)에 저장할 수 있다. 이와 같은 이유는 사용자가 보유하는 보유 패션 아이템과 매칭되는 아이템을 사용자에게 추천하기 위해서이다. In addition, the user database management unit 140 may determine the fashion item image to be held based on the user purchase information and the user search information and then store it in the user database 130. The reason for this is to recommend to the user an item that matches the fashion item possessed by the user.
또한, 사용자 데이터베이스 관리부(140)는 사용자 검색 정보를 기초로 사용자의 검색 상품(예를 들어, 클릭한 상품 및 장바구니에 담겨진 상품의 이미지)을 추출하여 사용자 데이터베이스(130)에 저장할 수 있다. 이와 같은 이유는 사용자가 구매하지는 않았지만 클릭하거나 장바구니에 담았다는 것은 사용자가 관심이 있는 패션 아이템이기 때문이다. In addition, the user database management unit 140 may extract a user's search product (eg, a clicked product and an image of a product contained in the shopping cart) based on the user search information and store it in the user database 130. The reason for this is that the user has not purchased, but clicked or put in a shopping cart is a fashion item that the user is interested in.
상기와 같은 이유로, 본 발명은 사용자가 구매한 상품뿐만 아니라 관심이 있는 상품을 보유 패션 아이템으로 정의한 후 보유 패션 아이템과 매칭되는 다른 패션 아이템을 함께 광고함으로써 광고 효율을 높일 수 있다. For the above reasons, the present invention can increase advertising efficiency by defining not only the product purchased by the user but also the product of interest as a holding fashion item, and advertising other fashion items matching the holding fashion item together.
스타일 데이터베이스(150)에는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 스타일 이미지에 대한 정보를 포함할 수 있다. 스타일 데이터베이스 관리부(160)는 스타일 이미지를 생성하여 스타일 데이터베이스(150)에 저장한다. The style database 150 may include information on a style image that can be referred to for a fashion style and coordination of a plurality of items among images collected on the web. The style database manager 160 creates a style image and stores it in the style database 150.
먼저, 스타일 데이터베이스 관리부(160)는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다. First, the style database management unit 160 collects a list of web addresses such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., and includes them in the website by checking the website and tracking the link. Collected image information.
한편, 스타일 데이터베이스 관리부(160)는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다. On the other hand, the style database management unit 160 may collect and index images from websites such as fashion magazines, fashion brands, drama production companies, celebrity agencies, SNS, online stores, etc., but collect image information together with index information from affiliated companies. It can also be provided separately.
이때, 스타일 데이터베이스 관리부(160)는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다. 예를 들어, 스타일 데이터베이스 관리부(160)는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다. In this case, the style database management unit 160 may filter out images unsuitable for style recommendation among the collected images. For example, the style database management unit 160 may filter the remaining images, leaving only images including a person-shaped object and a plurality of fashion items among the collected images.
스타일 이미지는 보유 패션 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. Since the style image is used to determine other items that can be coordinated with the holding fashion item, it is appropriate to filter the image for a single fashion item. Furthermore, configuring a database with images of a person wearing a plurality of fashion items directly may be more useful than an image of the fashion item itself.
따라서, 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스(150)에 포함되는 스타일 이미지를 결정할 수 있다. Therefore, the style database management unit 160 according to the embodiment of the present invention determines the style image included in the style database 150 by filtering the remaining images while leaving only the image including the human-shaped object and a plurality of fashion items. I can.
이후, 스타일 데이터베이스 관리부(160)는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. Thereafter, the style database manager 160 may process features of the fashion item object image included in the style image.
보다 구체적으로, 스타일 데이터베이스 관리부(160)는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징 정보를 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다. More specifically, the style database management unit 160 extracts the image feature information of the fashion item object included in the style image, and expresses the feature information as a vector value to generate a feature value of the fashion item object and structure the feature information of the images. can do.
나아가 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. Furthermore, the style database management unit 160 according to an embodiment of the present invention may extract a style label from the style image and cluster the style images based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel.
본 발명의 일 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 스타일 레이블을 추출하고 이를 스타일 레이블로 활용할 수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다. According to an embodiment of the present invention, a style label for a feeling that a person can feel from the appearance of a single fashion item included in a style image, a combination of a plurality of items, etc. may be extracted and used as a style label. For example, a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look may be exemplified as a style label.
이때, 스타일 데이터베이스 관리부(160)는 스타일 레이블을 미리 정의하고, 상기 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 스타일 레이블을 추출할 수 있다. 그런 다음, 스타일 데이터베이스 관리부(160)는 각 스타일 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 스타일 레이블을 부여할 수 있다. At this time, the style database management unit 160 defines a style label in advance, generates a neural network model that learns characteristics of an image corresponding to the style label, classifies objects in the style image, and extracts a style label for the object. can do. Then, the style database manager 160 may assign a corresponding style label to an image that matches a specific pattern with a random probability through a neural network model that has learned a pattern of an image corresponding to each style label.
본 발명의 다른 실시예를 따르면, 스타일 데이터베이스 관리부(160)는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. According to another embodiment of the present invention, the style database management unit 160 forms an initial neural network model by learning characteristics of an image corresponding to each style label, and applies a large number of style image objects to it to further refine the neural network model. It can also be expanded.
한편, 본 발명의 또 다른 실시예를 따르면, 스타일 데이터베이스 관리부(160)는 스타일 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. Meanwhile, according to another embodiment of the present invention, the style database manager 160 may apply style images to a neural network model formed in a hierarchical structure formed of a plurality of layers without additional learning about a style label.
나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 스타일 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 스타일 레이블을 부여할 수 있다.Furthermore, a weight is given to the feature information of the style image according to the request of the layer, and product images are clustered using the processed feature information, and the celebrity look, magazine look, summer look, feminine look, and sexy look are added to the clustered style image group. Style labels that are interpreted post-mortem as look, office look, drama look, and Chanel look can be given.
한편, 스타일 데이터베이스 관리부(160)는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 있다. Meanwhile, the style database management unit 160 may pre-classify items having a very high appearance rate, such as white shirts, jeans, and black skirts.
예를 들어, 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다. For example, jeans are a basic item in fashion, so their appearance in style images is very high. Therefore, no matter what item the user inquires about, the probability of matching jeans as a coordination item will be much higher than that of other items.
따라서 본 발명의 실시예를 따르는 스타일 데이터베이스 관리부(160)는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다. Accordingly, the style database management unit 160 according to an embodiment of the present invention pre-classifies items with a very high appearance rate in the style image as buzz items, and changes the version of the style book to include a buzz item and a buzz item. Can be created by
본 발명의 다른 실시예를 따르면, 상기 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두 달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. According to another embodiment of the present invention, the buzz item may be classified by reflecting time information. For example, when considering the fashion cycle of fashion items, items that briefly become fashionable and disappear for a month or two, fashionable items that return every season, and items that continue to be fashionable for a certain period of time can be considered.
따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다. Therefore, by reflecting time information in the classification of buzz items, if a specific fashion item has a very high appearance rate during a certain period, the item can be classified as a buzz item together with information about the period. Classifying the buzz items as described above has an effect of being able to recommend the recommended item in consideration of whether the item to be recommended is in fashion or irrelevant to the fashion in a subsequent item recommendation step.
또한, 스타일 데이터베이스 관리부(160)는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다. 이때, 스타일 데이터베이스 관리부(160)는 레이블 정보 중 일부를 카테고리 정보로 활용할 수 있다. In addition, the style database management unit 160 may generate category information of a corresponding product based on the product image content. In this case, the style database management unit 160 may use some of the label information as category information.
예를 들어, 스타일 데이터베이스 관리부(160)는 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다.For example, when the label for an arbitrary product image is extracted as a woman, top, blouse, linen, stripe, long sleeve, blue, and office look, the style database management unit 160 provides the service server for women, tops, and blouses. Labels can be used as information on the category of the product, and labels for linen, stripes, long sleeves, blue, and office look can be used as label information describing characteristics of products other than the category.
상품 데이터베이스(170)에는 상품 별 상품 정보(예를 들어, 상품의 원산지, 사이즈, 판매처, 착용샷 등)가 대응되어 저장되어 있다. In the product database 170, product information for each product (eg, product origin, size, sales location, wearing shot, etc.) is correspondingly stored.
상품 데이터베이스 관리부(180)는 온라인 쇼핑몰 서버(200)로부터 상품 별 상품 정보를 수신하여 상품 별 상품 정보를 상품 데이터베이스(170)에 저장한다. 이때, 상품 정보는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함한다.The product database management unit 180 receives product information for each product from the online shopping mall server 200 and stores product information for each product in the product database 170. At this time, the product information includes detailed product information such as the origin, size, sales place, and wearing shots of products sold in the online market.
이를 위해, 상품 데이터베이스 관리부(180)는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다. To this end, the product database management unit 180 may include a crawler, a parser, and an indexer to collect web documents of an online store and access text information such as product images, product names, and prices included in the web documents.
예를 들어, 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 추출할 수 있다. 이때, 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다. For example, a crawler may collect a list of web addresses of online stores, check websites, and extract related product information by tracking links. At this time, the parser analyzes the web document collected during the crawling process to extract product information such as product images, product prices, and product names included in the page, and the indexer may index the corresponding location and meaning.
이때, 상품 데이터베이스 관리부(180)는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다. At this time, the product database management unit 180 may collect and index product information from a website of any online store, but may receive product information in a preset format from an affiliate market.
이를 위해, 상품 데이터베이스 관리부(180)는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 상품 데이터베이스 관리부(180)에 저장한다. To this end, the product database management unit 180 structures text information such as a product name, product category, etc. in addition to the image of the product and stores it in the product database management unit 180.
일 실시예에서, 상품 데이터베이스 관리부(180)는 상품 이미지의 특징 정보를 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화(indexing)할 수 있다. In an embodiment, the product database management unit 180 may extract feature information of a product image and index feature information of the images for efficiency of search.
보다 구체적으로 상품 데이터베이스 관리부(180)는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다. More specifically, the product database management unit 180 may detect characteristic areas of product images (Interest Point Detection). The feature region refers to a main region for extracting a feature descriptor, that is, a feature descriptor of an image for determining whether or not the images are identical or similar.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다. According to an embodiment of the present invention, such a characteristic area is a contour line included in an image, a corner such as a corner among the contours, a blob that is distinguished from the surrounding area, an area that is invariant or co-variable according to the transformation of the image, or more than the ambient brightness. They can be poles with dark or bright features, and can target patches (fragments) of the image or the entire image.
나아가 상품 데이터베이스 관리부(180)는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다. Furthermore, the product database management unit 180 may extract a feature descriptor from the feature region (Descriptor Extraction). A feature descriptor is a representation of the features of an image as vector values.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다. According to an embodiment of the present invention, such a feature descriptor may be calculated by using the location of the feature region for the corresponding image, or brightness, color, sharpness, gradient, scale, or pattern information of the feature region. For example, the feature descriptor may be calculated by converting a brightness value, a brightness change value, or a distribution value of the feature region into a vector.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다. Meanwhile, according to an embodiment of the present invention, a feature descriptor for an image is not only a local descriptor based on a feature region as described above, but also a global descriptor, a frequency descriptor, a binary descriptor, or It can be expressed as a neural network descriptor.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다. 예를 들어, 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다. More specifically, the feature descriptor is a global descriptor that converts and extracts the brightness, color, sharpness, gradient, scale, pattern information, etc. of each of the entire image or the image divided by a random criterion, or Global descriptor) can be included. For example, the feature descriptor is a frequency descriptor that converts and extracts the number of times that specific descriptors classified in advance are included in an image, the number of global features such as a conventionally defined color table, etc., into vector values, and each descriptor In the layer of a binary descriptor or neural network that extracts bit by bit whether the values of elements are included or whether the size of each element value constituting the descriptor is larger or smaller than a specific value, converts it to an integer type and uses it. It may include a neural network descriptor for extracting image information used for learning or classification.
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다. Furthermore, according to an embodiment of the present invention, a feature information vector extracted from a product image can be converted to a lower dimension. For example, feature information extracted through an artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector in an appropriate range in consideration of the resources required for search.
상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다. The feature information vector may be converted using various dimensional reduction algorithms such as PCA and ZCA, and the feature information converted into a lower dimensional vector may be indexed into a corresponding product image.
상기의 실시예와는 달리, 상품 데이터베이스 관리부(180)는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 스타일 레이블을 추출할 수 있다. 상기 스타일 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. Unlike the above embodiment, the product database management unit 180 may extract a style label for the meaning of the image by applying a machine learning technique based on the product image. The style label may be expressed as an abstracted value, but may be expressed in a text form by interpreting the abstracted value.
일 실시예에서, 상품 데이터베이스 관리부(180)는 스타일 레이블을 미리 정의하고, 상기 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 스타일 레이블을 추출할 수 있다. 이때 상품 데이터베이스 관리부(180)는 각 스타일 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 스타일 레이블을 부여할 수 있다. In one embodiment, the product database management unit 180 defines a style label in advance, generates a neural network model that learns the characteristics of an image corresponding to the style label, classifies objects in the product image, and classifies the object in the style. Labels can be extracted. In this case, the product database management unit 180 may assign a corresponding style label to an image that matches a specific pattern with a random probability through a neural network model that has learned a pattern of an image corresponding to each style label.
다른 일 실시예에서, 상품 데이터베이스 관리부(180)는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 상품 데이터베이스 관리부(180)는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다. In another embodiment, the product database management unit 180 forms an initial neural network model by learning the characteristics of an image corresponding to each style label, and applies a large number of product image objects to it to more elaborately extend the neural network model. May be. Further, the product database management unit 180 may create a new group including the product if the product is not included in any group.
상술한 실시예에서, 상품 데이터베이스 관리부(180)는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 스타일 레이블을 미리 정의하고, 상기 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 스타일 레이블을 추출할 수 있다. In the above-described embodiment, the product database management unit 180 utilizes as meta information about products such as women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, and abstract feelings (innocent, chic, vintage, etc.) A possible style label can be defined in advance, a neural network model learning the characteristics of an image corresponding to the style label can be created, and the neural network model can be applied to the product image of an advertiser to extract a style label for an advertisement target product image. have.
또 다른 일 실시예에서, 상품 데이터베이스 관리부(180)는 스타일 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다. In another embodiment, the product database management unit 180 may apply product images to a neural network model formed in a hierarchical structure formed of a plurality of layers without additional learning about a style label. Furthermore, a weight may be assigned to the feature information of the product image according to a request of a corresponding layer, and product images may be clustered using the processed feature information.
상기의 실시예에서, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. In the above embodiment, additional analysis may be required in order to check whether corresponding images are clustered according to which attribute of the feature value, that is, to connect the clustering result of the images with a concept that can be recognized by a real human being.
예를 들어, 상품 데이터베이스 관리부(180)가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 스타일 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다. For example, the product database management unit 180 classifies products into three groups through image processing, and A for the features of the first group, B for the features of the second group, and C for the features of the third group. In the case of extracting the style label, A, B, and C need to be interpreted post-hoc that, for example, each means a woman's top, blouse, and checkered pattern.
그 후, 상품 데이터베이스 관리부(180)는 클러스터링된 스타일 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 스타일 레이블을 부여하고, 개별 상품 이미지가 속하는 스타일 이미지 그룹에 부여된 스타일 레이블들을 해당 상품 이미지의 스타일 레이블로 추출할 수 있다. Thereafter, the product database management unit 180 post-results to the clustered style image group with women's bottoms, skirts, dresses, short sleeves, long sleeves, patterns of patterns, materials, colors, abstract feelings (innocent, chic, vintage, etc.). A style label that can be interpreted may be assigned, and style labels assigned to a style image group to which an individual product image belongs may be extracted as a style label of a corresponding product image.
한편 본 발명의 실시예를 따르는 상품 데이터베이스 관리부(180)는 상품 이미지에서 추출한 스타일 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 스타일 레이블은 상품의 태그 정보로 활용될 수 있다. Meanwhile, the product database management unit 180 according to an embodiment of the present invention may express the style label extracted from the product image as text, and the style label in the form of text may be used as tag information of the product.
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다. In the past, tag information of a product was subjectively directly assigned by a seller, so it was inaccurate and less reliable. Product tags subjectively given by sellers act as noise, thereby lowering the efficiency of search.
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 스타일 레이블 정보를 추출하고, 추출된 스타일 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높아지고 검색의 정확도가 향상되는 효과가 있다. However, as in the embodiment of the present invention, when style label information is extracted based on a product image, and the extracted style label information is converted into text and used as tag information of a corresponding product, the tag information of the product is used as the image of the product. Based on the mathematical extraction without human intervention, the reliability of the tag information is increased and the accuracy of the search is improved.
또한, 상품 데이터베이스 관리부(180)는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다. 이때, 스타일 레이블 정보와 카테고리 정보는 각각 생성될 수도 있지만, 스타일 레이블 정보를 카테고리 정보로 활용할 수도 있으며, 카테고리 정보를 스타일 레이블 정보로 활용할 수도 있다. In addition, the product database management unit 180 may generate category information of a corresponding product based on the product image content. In this case, style label information and category information may be respectively generated, but style label information may be used as category information, and category information may be used as style label information.
예를 들어, 임의의 상품 이미지에 대한 스타일 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 상품 데이터베이스 관리부(180)는 여성, 상의, 블라우스에 대한 스타일 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 스타일 레이블은 카테고리 외 상품의 특성을 설명하는 스타일 레이블 정보로 활용할 수 있다. 또는 상품 데이터베이스 관리부(180)는 스타일 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. For example, when a style label for an arbitrary product image is extracted as a woman, top, blouse, linen, stripe, long sleeve, blue, office look, the product database management unit 180 is a style label for women, tops, and blouses. Is used as the category information of the corresponding product, and style labels for linen, stripes, long sleeves, blue, and office look can be used as style label information describing the characteristics of products other than the category. Alternatively, the product database management unit 180 may index a corresponding product without distinguishing between the style label and the category information.
한편, 상품 데이터베이스 관리부(180)는 상품 이미지를 필터링하여 이미지 검색에 노이즈로 작용할 수 있는 부분을 제외하고 상품 이미지만을 상품 데이터베이스(170)에 저장한다.Meanwhile, the product database management unit 180 filters product images and stores only product images in the product database 170 excluding portions that may act as noise for image search.
보다 구체적으로, 상품 데이터베이스 관리부(180)는 상품 이미지에서 추출한 스타일 레이블과 판매자가 직접 부여한 카테고리 및/또는 태그 정보를 비교하여 상품 이미지의 필터링 여부를 결정할 수 있다. More specifically, the product database management unit 180 may determine whether to filter the product image by comparing the style label extracted from the product image with the category and/or tag information directly assigned by the seller.
본 발명의 실시예를 따르면 특정 상품에 대해 다수의 이미지가 존재하고, 그 중 하나의 이미지에서 추출한 스타일 레이블과 해당 상품에 대해 판매자가 부여한 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 객체는 상품 데이터베이스(170)에서 필터링할 수 있다. According to an embodiment of the present invention, if there are multiple images for a specific product, and the style label extracted from one of the images and the category assigned by the seller for the product are different, the image or a specific object in the image is a product database It can be filtered at (170).
예를 들어, A 상품에 대한 제 1 내지 제 3 상품 이미지가 존재하고, 제 1 상품 이미지에서는(여성 상의, 재킷), 제 2 상품 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제 3 상품 이미지에서는 (선글라스, 라운드) 라는 스타일 레이블이 추출된 경우를 고려할 수 있다. 이때, A 상품의 판매 카테고리가 “선글라스”이라면, 상품 데이터베이스 관리부(180)는 제 1 상품 이미지는 제외하고, 제 2, 제 3 상품 이미지만으로 상품 데이터베이스(170)를 구성할 수 있다. For example, there are first to third product images for product A, and in the first product image (women's top, jacket), in the second product image (women's top, jacket) and (sunglasses, round), 3 In the product image, a case in which the style label (sunglasses, round) is extracted can be considered. At this time, if the sales category of product A is “sunglasses”, the product database management unit 180 may configure the product database 170 with only the second and third product images excluding the first product image.
이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 상품이 실제로 선글라스에 대한 것인데 제 1 내지 3 상품 설명 이미지를 모두 포함하여 데이터베이스를 구성하면, 쿼리 이미지가 재킷인 경우에도 제 1 상품 이미지와 유사하다고 판단하여 선글라스에 대한 A 상품이 광고 아이템으로 결정될 수 있다. 따라서 검색의 정확도를 떨어뜨릴 수 있는 상품 이미지는 필터링하고 상품 데이터베이스(170)를 구축하는 것이다. This filtering is to reduce the noise of image search. In the above example, if product A is actually for sunglasses, and if the database is configured including all the first to third product description images, even if the query image is a jacket, it is determined that it is similar to the first product image, so that product A for sunglasses is It may be determined as an advertisement item. Therefore, product images that may reduce the accuracy of the search are filtered and the product database 170 is built.
도 2는 본 발명에 따른 사용자 맞춤형 패션 아이템 광고 방법의 일실시예를 설명하기 위한 흐름도이다.2 is a flowchart illustrating an embodiment of a method for advertising a user-customized fashion item according to the present invention.
도 2를 참조하면, 패션 아이템 광고 서버(100)는 사용자 별 스타일 정보가 저장되어 있는 사용자 데이터베이스에서 보유 패션 아이템 이미지를 추출한다(단계 S210).Referring to FIG. 2, the fashion item advertisement server 100 extracts a holding fashion item image from a user database in which style information for each user is stored (step S210).
패션 아이템 광고 서버(100)는 스타일 이미지가 저장되어 있는 스타일 데이터베이스에서 상기 보유 패션 아이템 이미지에 매칭되는 추천 스타일 이미지를 추출한다(단계 S220). The fashion item advertisement server 100 extracts a recommended style image matching the holding fashion item image from the style database in which the style image is stored (step S220).
패션 아이템 광고 서버(100)는 온라인 쇼핑몰에서 판매되는 상품별 상품 정보가 저장되어 있는 상품 데이터베이스에서 상기 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정한다(단계S230).The fashion item advertisement server 100 extracts an image of a product matching the recommended style image from a product database in which product information for each product sold in an online shopping mall is stored, and determines it as a recommended fashion item image (step S230).
패션 아이템 광고 서버(100)는 추천 패션 아이템 이미지 및 상기 보유 패션 아이템 이미지를 사용자 이미지에 매핑하여 사용자 맞춤형 광고 이미지를 생성한다(단계 S240). The fashion item advertisement server 100 generates a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to the user image (step S240).
패션 아이템 광고 서버(100)는 사용자 맞춤형 광고 이미지를 사용자 단말에 제공한다(단계 S250).The fashion item advertisement server 100 provides a user-customized advertisement image to the user terminal (step S250).
도 3은 본 발명에 따른 사용자 맞춤형 패션 아이템 광고 방법의 다른 일 실시예를 설명하기 위한 흐름도이다. 3 is a flowchart illustrating another embodiment of a method for advertising a user-customized fashion item according to the present invention.
도 3을 참조하면, 패션 아이템 광고 서버(100)는 사용자 별 스타일 정보가 저장되어 있는 스타일 데이터베이스에서 보유 패션 아이템 이미지를 추출한다(단계 S310).Referring to FIG. 3, the fashion item advertisement server 100 extracts a holding fashion item image from a style database in which style information for each user is stored (step S310).
패션 아이템 광고 서버(100)는 보유 패션 아이템 이미지를 분석하여 스타일 레이블 및 카테고리 정보를 추출한다(단계 S320). The fashion item advertisement server 100 extracts style label and category information by analyzing the held fashion item image (step S320).
일 실시예에서, 패션 아이템 추출부(110)는 보유 패션 아이템 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 보유 패션 아이템 이미지를 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 한편, 패션 아이템추출부(110)는 스타일 레이블 정보를 카테고리 정보로 활용할 수도 있다. In an embodiment, the fashion item extracting unit 110 may extract a style label from the held fashion item image and cluster the holding fashion item image based on the style label. It is appropriate that the style label is extracted as about the look and feel and trend of the fashion item's appearance and feel. Meanwhile, the fashion item extracting unit 110 may use style label information as category information.
패션 아이템 광고 서버(100)는 보유 패션 아이템 이미지를 분석하여 특징 값을 산출한다(단계 S330). The fashion item advertisement server 100 analyzes the possessed fashion item image and calculates a feature value (step S330).
패션 아이템 광고 서버(100)는 보유 패션 아이템 이미지의 특징 값과 일정 범위 이내의 거리 값을 가지는 스타일 이미지 그룹을 적어도 하나 이상 선정하고(단계 S340), 스타일 이미지 그룹에 속하는 스타일 이미지를 추천 스타일 이미지로 결정할 수도 있다(단계 S350).The fashion item advertisement server 100 selects at least one style image group having a characteristic value of the fashion item image and a distance value within a certain range (step S340), and selects a style image belonging to the style image group as a recommended style image. It may be determined (step S350).
패션 아이템 광고 서버(100)는 추천 스타일 이미지에 포함된 패션 아이템 중 상기 보유 패션 아이템과 다른 카테고리의 매칭 패션 아이템을 추출하고 (단계 S360), 상품 데이터베이스에 저장된 상품 중 매칭 패션 아이템에 해당하는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정할 수 있다(단계 S370).The fashion item advertisement server 100 extracts a matching fashion item of a category different from the holding fashion item from among fashion items included in the recommended style image (step S360), and The image may be extracted and determined as a recommended fashion item image (step S370).
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited to the above embodiments, which is various modifications and variations from these descriptions to those of ordinary skill in the field to which the present invention belongs. Transformation is possible. Accordingly, the idea of the present invention should be grasped only by the scope of the claims set forth below, and all equivalent or equivalent modifications thereof will be said to belong to the scope of the idea of the present invention.
부호의 설명Explanation of sign
100: 패션 아이템 광고 서버100: fashion item advertisement server
110: 패션 아이템 추출부110: fashion item extraction unit
120: 패션 아이템 광고 제공부120: Fashion item advertisement provider
130: 사용자 데이터베이스130: user database
140: 사용자 데이터베이스 관리부140: user database management unit
150: 스타일 데이터베이스150: style database
160: 스타일 데이터베이스 관리부160: style database management unit
170: 상품 데이터베이스170: product database
180: 상품 데이터베이스 관리부180: product database management unit
200: 온라인 쇼핑몰 서버200: online shopping mall server
300: 사용자 단말300: user terminal

Claims (8)

  1. 사용자 별 스타일 정보가 저장되어 있는 사용자 데이터베이스;A user database storing style information for each user;
    스타일 이미지가 저장되어 있는 스타일 데이터베이스;A style database in which style images are stored;
    온라인 쇼핑몰에서 판매되는 상품 별 상품 정보가 저장되어 있는 상품 데이터베이스;A product database storing product information for each product sold in an online shopping mall;
    상기 사용자 데이터베이스에서 보유 패션 아이템 이미지를 추출하고, 상기 스타일 데이터베이스에서 상기 보유 패션 아이템 이미지에 매칭되는 추천 스타일 이미지를 추출한 후 상기 상품 데이터베이스에서 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 패션 아이템 추출부; 및 A recommended fashion item image by extracting a fashion item image from the user database, extracting a recommended style image matching the fashion item image from the style database, and extracting an image of a product matching the recommended style image from the product database A fashion item extracting unit determined to be; And
    상기 추천 패션 아이템 이미지 및 상기 보유 패션 아이템 이미지를 사용자 이미지에 매핑하여 사용자 맞춤형 광고 이미지를 생성하고, 상기 사용자 맞춤형 광고 이미지를 사용자 단말에 제공하는 패션 아이템 광고 제공부를 포함하는 것을 특징으로 하는 And a fashion item advertisement providing unit for generating a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to a user image, and providing the user customized advertisement image to a user terminal.
    패션 아이템 광고 서버.Fashion item advertisement server.
  2. 제1항에 있어서,The method of claim 1,
    상기 보유 패션 아이템 이미지를 분석하여 스타일 레이블 및 카테고리 정보를 추출하고, 보유 패션 아이템 이미지의 특징 값과 일정 범위 이내의 거리 값을 가지는 스타일 이미지 그룹을 적어도 하나 이상 선정하고, 스타일 이미지 그룹에 속하는 스타일 이미지를 추천 스타일 이미지로 결정하는 것을 특징으로 하는 Analyzing the holding fashion item image to extract style label and category information, selecting at least one style image group having a characteristic value of the holding fashion item image and a distance value within a certain range, and a style image belonging to the style image group Characterized in that determining the recommended style image
    패션 아이템 광고 서버.Fashion item advertisement server.
  3. 제2항에 있어서,The method of claim 2,
    상기 패션 아이템 추출부는The fashion item extraction unit
    상기 추천 스타일 이미지에 포함된 패션 아이템 중 상기 보유 패션 아이템과 다른 카테고리의 매칭 패션 아이템을 추출하고, 상기 상품 데이터베이스에 저장된 상품 중 상기 매칭 패션 아이템에 해당하는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 것을 특징으로 하는 Among the fashion items included in the recommended style image, a matching fashion item of a category different from the holding fashion item is extracted, and an image of a product corresponding to the matching fashion item from among the products stored in the product database is extracted as a recommended fashion item image Characterized by determining
    패션 아이템 광고 서버.Fashion item advertisement server.
  4. 제3항에 있어서,The method of claim 3,
    상기 매칭 패션 아이템 중 상기 사용자 데이터베이스에서 추출한 선호 색상, 선호하는 가격대 및 브랜드에 해당하는 아이템을 추천 패션 아이템 이미지로 결정하는 것을 특징으로 하는 Among the matching fashion items, an item corresponding to a preferred color, preferred price point, and brand extracted from the user database is determined as a recommended fashion item image.
    패션 아이템 광고 서버.Fashion item advertisement server.
  5. 패션 아이템 광고 서버에서 실행되는 사용자 맞춤형 패션 아이템 광고 방법에 있어서,In the user-customized fashion item advertisement method executed in the fashion item advertisement server,
    사용자 별 스타일 정보가 저장되어 있는 스타일 데이터베이스에서 보유 패션 아이템 이미지를 추출하는 단계;Extracting an image of a fashion item held by a style database in which style information for each user is stored;
    스타일 이미지가 저장되어 있는 스타일 데이터베이스에서 상기 보유 패션 아이템 이미지에 매칭되는 추천 스타일 이미지를 추출하는 단계;Extracting a recommended style image matching the holding fashion item image from a style database in which a style image is stored;
    온라인 쇼핑몰에서 판매되는 상품 별 상품 정보가 저장되어 있는 상품 데이터베이스에서 상기 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 단계;Extracting an image of a product matching the recommended style image from a product database in which product information for each product sold in an online shopping mall is stored, and determining a recommended fashion item image;
    상기 추천 패션 아이템 이미지 및 상기 보유 패션 아이템 이미지를 사용자 이미지에 매핑하여 사용자 맞춤형 광고 이미지를 생성하는 단계; 및Generating a customized advertisement image by mapping the recommended fashion item image and the holding fashion item image to a user image; And
    상기 사용자 맞춤형 광고 이미지를 사용자 단말에 제공하는 단계를 포함하는 것을 특징으로 하는And providing the user-customized advertisement image to a user terminal.
    사용자 맞춤형 패션 아이템 광고 방법.How to advertise custom fashion items.
  6. 제5항에 있어서,The method of claim 5,
    상기 보유 패션 아이템 이미지에 매칭되는 추천 스타일 이미지를 추출하는 단계는Extracting the recommended style image matching the holding fashion item image
    상기 보유 패션 아이템 이미지를 분석하여 스타일 레이블 및 카테고리 정보를 추출하는 단계;Analyzing the holding fashion item image to extract style label and category information;
    상기 보유 패션 아이템 이미지를 분석하여 특징 값을 산출하는 단계;Analyzing the holding fashion item image to calculate a feature value;
    상기 보유 패션 아이템 이미지의 특징 값과 일정 범위 이내의 거리 값을 가지는 스타일 이미지 그룹을 적어도 하나 이상 선정하는 단계; 및 Selecting at least one style image group having a characteristic value of the fashion item image and a distance value within a predetermined range; And
    상기 스타일 이미지 그룹에 속하는 스타일 이미지를 추천 스타일 이미지로 추출하는 단계를 포함하는 것을 특징으로 하는And extracting a style image belonging to the style image group as a recommended style image.
    사용자 맞춤형 패션 아이템 광고 방법.How to advertise custom fashion items.
  7. 제6항에 있어서,The method of claim 6,
    상기 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 단계는The step of extracting an image of a product matching the recommended style image and determining it as a recommended fashion item image
    상기 추천 스타일 이미지에 포함된 패션 아이템 중 상기 보유 패션 아이템과 다른 카테고리의 매칭 패션 아이템을 추출하는 단계; 및Extracting a matching fashion item of a category different from the holding fashion item from among fashion items included in the recommended style image; And
    상기 상품 데이터베이스에 저장된 상품 중 상기 매칭 패션 아이템에 해당하는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 단계를 포함하는 것을 특징으로 하는 And extracting an image of a product corresponding to the matching fashion item from among the products stored in the product database and determining a recommended fashion item image.
    사용자 맞춤형 패션 아이템 광고 방법.How to advertise custom fashion items.
  8. 제6항에 있어서,The method of claim 6,
    상기 추천 스타일 이미지와 매칭되는 상품의 이미지를 추출하여 추천 패션 아이템 이미지로 결정하는 단계는The step of extracting an image of a product matching the recommended style image and determining it as a recommended fashion item image
    상기 매칭 패션 아이템 중 상기 사용자 데이터베이스에서 추출한 선호 색상, 선호하는 가격대 및 브랜드에 해당하는 아이템을 추천 패션 아이템 이미지로 결정하는 단계를 포함하는 것을 특징으로 하는 And determining an item corresponding to a preferred color, preferred price point, and brand extracted from the user database among the matching fashion items as a recommended fashion item image.
    사용자 맞춤형 패션 아이템 광고 방법.How to advertise custom fashion items.
PCT/KR2020/006167 2019-06-10 2020-05-11 Method for advertising user-customized fashion item and server executing same WO2020251174A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0068020 2019-06-10
KR1020190068020A KR20200141251A (en) 2019-06-10 2019-06-10 Method of advertising personalized fashion item and server performing the same

Publications (1)

Publication Number Publication Date
WO2020251174A1 true WO2020251174A1 (en) 2020-12-17

Family

ID=73781109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006167 WO2020251174A1 (en) 2019-06-10 2020-05-11 Method for advertising user-customized fashion item and server executing same

Country Status (2)

Country Link
KR (1) KR20200141251A (en)
WO (1) WO2020251174A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318952B1 (en) * 2021-03-31 2021-10-27 임정현 Artificial intelligence-based recommendation and purchase method, device and system
KR20230018120A (en) * 2021-07-29 2023-02-07 주식회사 아이클레이브 System for building the banner advertisement automatically for planning sales for shopping mall on internet and method therefor
KR102577767B1 (en) * 2021-10-07 2023-09-12 서해수 Location-based clothing recommendation advertisement service apparatus
KR102527398B1 (en) * 2021-11-23 2023-04-28 엔에이치엔클라우드 주식회사 Method and system for virtual fitting based on video meeting program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133981A (en) * 2004-11-04 2006-05-25 Nippon Telegr & Teleph Corp <Ntt> Item coordinate support method and system and information communication terminal
KR20090095532A (en) * 2009-08-07 2009-09-09 이창근 Coordination system and method through internet
JP2011180691A (en) * 2010-02-26 2011-09-15 Nomura Research Institute Ltd Fashion item check system, method, and computer program
KR20130049376A (en) * 2011-11-04 2013-05-14 한국전자통신연구원 Apparatus and method for recommending personalized clothes
WO2016147797A1 (en) * 2015-03-16 2016-09-22 富士フイルム株式会社 Product recommendation device, product recommendation method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133981A (en) * 2004-11-04 2006-05-25 Nippon Telegr & Teleph Corp <Ntt> Item coordinate support method and system and information communication terminal
KR20090095532A (en) * 2009-08-07 2009-09-09 이창근 Coordination system and method through internet
JP2011180691A (en) * 2010-02-26 2011-09-15 Nomura Research Institute Ltd Fashion item check system, method, and computer program
KR20130049376A (en) * 2011-11-04 2013-05-14 한국전자통신연구원 Apparatus and method for recommending personalized clothes
WO2016147797A1 (en) * 2015-03-16 2016-09-22 富士フイルム株式会社 Product recommendation device, product recommendation method, and program

Also Published As

Publication number Publication date
KR20200141251A (en) 2020-12-18

Similar Documents

Publication Publication Date Title
WO2020171535A2 (en) Method for providing fashion item recommendation service by using user&#39;s body shape and purchase history
WO2020251174A1 (en) Method for advertising user-customized fashion item and server executing same
WO2020085786A1 (en) Style recommendation method, device and computer program
KR102127191B1 (en) Method, apparatus and computer program for providing shopping informations
WO2018225939A1 (en) Method, device, and computer program for providing image-based advertisement
JP5230612B2 (en) Generate ads with context images
WO2015005717A1 (en) User interest-based product information recommendation system
WO2017142361A1 (en) Method for recommending product using style characteristic
KR102295459B1 (en) A method of providing a fashion item recommendation service to a user using a date
JP2000105583A (en) Interactive display device
WO2016186289A1 (en) System and method for providing information using image recognition technique
WO2020141802A2 (en) Method for providing fashion item recommendation service to user by using date
KR20220039697A (en) Method, apparatus and computer program for style recommendation
WO2021071240A1 (en) Method, apparatus, and computer program for recommending fashion product
WO2021215758A1 (en) Recommended item advertising method, apparatus, and computer program
KR20210131198A (en) Method, apparatus and computer program for advertising recommended product
WO2020141799A2 (en) Method for providing fashion item recommendation service to user by using calendar data
KR102062248B1 (en) Method for advertising releated commercial image by analyzing online news article image
KR102378072B1 (en) Method, apparatus and computer program for style recommendation
WO2020138941A2 (en) Method for providing fashion item recommendation service to user by using swipe gesture
WO2021107556A1 (en) Method for providing recommended item based on user event information and device for executing same
WO2020141803A2 (en) Method for providing fashion item recommendation service to user
WO2023008617A1 (en) System for automatically preparing banner advertisement for internet shopping mall and method therefor
WO2016186457A1 (en) Information providing system and method using image recognition technology
WO2012047016A2 (en) Method for setting online advertisement and system thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20822029

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20822029

Country of ref document: EP

Kind code of ref document: A1