WO2020138941A2 - 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법 - Google Patents

사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법 Download PDF

Info

Publication number
WO2020138941A2
WO2020138941A2 PCT/KR2019/018445 KR2019018445W WO2020138941A2 WO 2020138941 A2 WO2020138941 A2 WO 2020138941A2 KR 2019018445 W KR2019018445 W KR 2019018445W WO 2020138941 A2 WO2020138941 A2 WO 2020138941A2
Authority
WO
WIPO (PCT)
Prior art keywords
item
user
fashion
coordination
image
Prior art date
Application number
PCT/KR2019/018445
Other languages
English (en)
French (fr)
Other versions
WO2020138941A3 (ko
Inventor
유애리
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to EP19905050.1A priority Critical patent/EP3905180A4/en
Priority to JP2021536779A priority patent/JP2022515617A/ja
Priority to US17/418,722 priority patent/US20230289862A1/en
Publication of WO2020138941A2 publication Critical patent/WO2020138941A2/ko
Publication of WO2020138941A3 publication Critical patent/WO2020138941A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0629—Directed, with specific intent or strategy for generating comparisons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing

Definitions

  • the present invention relates to a method for providing a fashion item recommendation service to a user, and more particularly, to provide a recommendation service for fashion items composed of multi-layers displayed on a user device using a swipe gesture. It's about how.
  • the following is intended to provide a service recommending fashion items composed of multi-layers displayed on a user device using a swipe gesture.
  • a method of providing a fashion item recommendation service using fashion items composed of multi-layers displayed on a user device which is an aspect of the present invention for solving the above-described problem, is a method of providing a fashion item recommendation service.
  • a coordination item list composed of a plurality of coordination items having a category different from a category is configured to be associated with multiple layers, so that the coordination item display area of the user device corresponding to the different category is in the form of layer popup. Displaying a list of coordination items; Determining whether to select the specific coordination item according to a received swipe gesture for a specific coordination item configured in a current layer displayed in the coordination item area; And when the specific coordination item is selected, storing the specific coordination item as a preferred item.
  • the step of determining whether to select the specific coordination item may include: if the direction of the swipe gesture corresponds to a direction indicating a predetermined highest priority, determining that the specific coordination item is selected; Excluding the specific coordination item from the coordination item list when the direction of the swipe gesture is opposite to a direction indicating a predetermined highest priority; If the direction of the swipe gesture is a direction instructing switching to a previously designated previous layer, displaying a coordination item configured on a previous layer of the current layer on the multiple layers; And when the direction of the swipe gesture is a direction instructing switching to a next predetermined layer, displaying a coordination item configured in a next layer of the current layer on the multiple layers. It is characterized by.
  • the step of determining that the specific coordination item is selected may include updating a product similar to the specific coordination item to the coordination item list based on image similarity from a product database in which a label for the specific coordination item is indexed and configured. It may be characterized in that it further comprises a step.
  • the step of determining whether to select the coordination item may include changing the shape of the current layer and displaying it in the coordination item display area based on the direction of the swipe gesture.
  • the specific fashion item may be obtained from a user fashion database generated based on a plurality of fashion items worn by the user, extracted from an image that can be identified by a user stored in the user device. Can.
  • FIG. 1 is a reference diagram for describing a user device for providing a recommended item service for fashion items composed of multiple layers according to an embodiment of the present invention.
  • FIG. 2 is a reference diagram for explaining a display screen of a user device for providing a recommended item service for fashion items composed of multiple layers according to another embodiment of the present invention.
  • FIG. 3 is a reference diagram for explaining a scenario in which a user receives input through a swipe gesture when providing a recommended item service for fashion items composed of multiple layers according to an embodiment of the present invention.
  • FIG. 4 provides a recommended item service for fashion items composed of multiple layers according to an embodiment of the present invention, and when a user selects a specific fashion item, a scenario inducing the user's purchase by connecting to the selected fashion item This is a reference diagram for explanation.
  • FIG. 5 is a reference diagram for explaining an example of displaying a current layer being displayed according to a direction of a swipe gesture for a user device.
  • FIG. 6 is a reference diagram for explaining multiple layers set to be associated with fashion items according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of providing a recommendation service to a user using fashion items composed of multi-layers according to an embodiment of the present invention.
  • FIG. 8 is a reference diagram for explaining a method for a user device to provide a fashion item recommendation service through a service server according to an embodiment of the present invention.
  • the user device on which the product information is displayed is a mobile device, but the present invention is not limited thereto. That is, in the present invention, the user device should be understood as a concept including all types of electronic devices capable of requesting search and displaying advertisement information, such as a desktop, a smart phone, and a tablet PC.
  • the term displayed on a user device refers to a screen loaded on an electronic device and/or content inside the screen so that it can be immediately displayed on the screen according to the user's scroll. It can be understood as an inclusive concept. For example, in a display of a mobile device, an entire execution screen of an application that is extended in a horizontal or vertical direction and displayed according to a user's scroll may be included in the concept of the page, and the screen being rolled by the camera may also be included in the concept of the page. Can.
  • FIG. 1 is a reference diagram for describing a user device for providing a recommended item service for fashion items composed of multiple layers according to an embodiment of the present invention.
  • the user device 100 is largely a display area 110 and an information providing area 120 that provides information (eg, a thumbnail) that can visually provide a user with items selected by the user, and An application control area 130 for controlling an application related to a fashion item recommendation service may be included.
  • the display area 110, the information providing area 120, and the control area 130 are separately described for convenience of description, but in some cases, the user may It should be interpreted that the present invention can be applied even if the user device is controlled through gestures such as hand gestures, gaze movements, audio such as voice, or in some cases not displayed on the screen.
  • the display area 110 may display only one image or information according to the operation of the application, but is divided into a plurality of areas according to a service provided by the application to provide a specific image or information for each area or , You can also receive input.
  • the information providing area 120 visually provides an image, information, or the like selected by the user in the display area 110 to the user, or information determined by the user device to be necessary for personalization of the user according to a predetermined setting (eg, labels stored in the product database, product color, material, pattern, length, etc.) can be additionally provided to the user.
  • a predetermined setting eg, labels stored in the product database, product color, material, pattern, length, etc.
  • the control area 130 may display buttons required for controlling the application, for example, a state related to a recommended service while the user is driving the application (for example, a label for personalization of the user, 'CHECK' button to check the color of the product, etc.,'DONE' button used to end the current stage of the fashion item recommendation service and receive additional services, or to end the service, product items displayed on the display area, etc.
  • a state related to a recommended service while the user is driving the application for example, a label for personalization of the user, 'CHECK' button to check the color of the product, etc.
  • 'DONE' button used to end the current stage of the fashion item recommendation service and receive additional services, or to end the service, product items displayed on the display area, etc.
  • 'RANDON' button for displaying in random order or displaying based on priority according to image similarity, web pages, online shops (directly displaying fashion items selected by the user or fashion items displayed in the display area) online shop), etc.
  • the information providing area 120 and the control area 130 are not necessarily present to provide a recommendation service using fashion items composed of multiple layers according to the present invention, and may be omitted in some cases. There is also.
  • FIG. 2 is a reference diagram for explaining a display screen 200 of a user device for providing a recommended item service for fashion items composed of multiple layers according to another embodiment of the present invention.
  • the user device screen 200 is a fashion item 210 that has been selected by the user, and an accessory 240 such as a top 220, bottom 230, bag 240, and fashion accessories such as shoes It may be divided into 250 and displayed. Therefore, when the user selects a specific fashion item, it is displayed on the display screen in the area 210 allocated for the specific fashion item, and the item having a different category from the selected specific fashion item (eg top and bottom, top and bag, etc.) Can be displayed on the corresponding display screen. Accordingly, the user can complete a personalized coordination of the user by selecting a fashion item of another category matching the selected fashion item.
  • an accessory 240 such as a top 220, bottom 230, bag 240, and fashion accessories such as shoes It may be divided into 250 and displayed. Therefore, when the user selects a specific fashion item, it is displayed on the display screen in the area 210 allocated for the specific fashion item, and the item having a different category from the selected specific fashion item (eg top and bottom, top and bag, etc.) Can be
  • 3(a) and 3(b) are scenarios in which a user receives input through a swipe gesture when providing a recommended item service for fashion items composed of multiple layers according to an embodiment of the present invention It is a reference diagram for explaining.
  • fashion items composed of a plurality of layers on a user device may be displayed in parallel.
  • the user device when a user swipe gesture is input from the right side to the left side of the screen using the user's finger or an electronic pen, the user device causes the fashion item at a specific position to disappear after sliding through the swipe gesture.
  • Other fashion items may be additionally displayed on the opposite screen. Therefore, a new fashion item can be displayed on the display screen as shown in FIG. 3(b), and on the contrary, the fashion item is redisplayed as shown in FIG. 3(a) by inputting a swipe gesture that moves from left to right. You may.
  • FIG. 4 provides a recommended item service for fashion items composed of multiple layers according to an embodiment of the present invention, and when a user selects a specific fashion item, a scenario inducing the user's purchase by connecting to the selected fashion item This is a reference diagram for explanation.
  • the user may be directly connected to a web page or an online shop through a link or thumbnail provided by the application.
  • the user touches the'SELECT' button for a specific fashion item displayed on the user device, as shown in FIG. 4(a), or displays the preference on the user device as shown in FIG. 4(b) ( eg'Like' button, etc.) or by swiping gestures, it is judged to be preferred, and touch inputs the image stored in the form of a thumbnail to provide a relay service so that it can be linked to web pages and online shops selling for specific fashion items. Can be.
  • FIG. 5 is a reference diagram for explaining an example of displaying a current layer being displayed according to a direction of a swipe gesture for a user device.
  • the direction of the swipe gesture in a specific direction is determined through the display screen of the user device according to the present invention, the shape of the displayed layer can be modified and displayed accordingly. That is, since the layer in the present invention may have the same form as one web page that the user can receive through the screen, one direction of the web page may be changed according to the swipe gesture of the user. For example, it is possible to determine a user's swipe gesture from the start point to the end point, and provide the user with an effect that the paper page is flying.
  • FIG. 5(a) when a user makes a swipe gesture that slides from right to left using a finger or the like, the effect at the bottom right corner is shown to fly to the user. Can be displayed.
  • FIGS. 5(a) to 5(d) show only one effect that the user device displays to the user according to the swipe gesture of the user, the present invention should not be limited thereto.
  • a user may input a level that cannot be judged by a swipe gesture through a finger or the like (for example, when a user makes a swipe gesture on the display using a finger and does not release the finger).
  • it may be possible to give a different effect to a specific layer or a web page centered on the input using the user's finger (eg, operation effect such as turning a book page or not)
  • FIG. 6 is a reference diagram for explaining multiple layers set to be associated with fashion items according to an embodiment of the present invention.
  • a plurality of layers (601, 603, 605, 607, ...) associated with fashion items may be displayed first according to priority, but in some cases, the order may be set at random.
  • a case of displaying a layer having a priority will be described.
  • a relationship between layers may be defined as a specific layer displayed on a user device as a current layer, and when a current layer is not displayed, a newly displayed layer may be defined as a next layer. have. Accordingly, in the case of FIG.
  • the 603 layer corresponds to the next layer of the 601 layer, and the 605 layer may be defined as the next layer of the 603 layer.
  • the current layer is displayed, but the layer to be displayed or displayed to the user before the current layer may be defined as a previous layer. That is, in the case of FIG. 6, if the 603 layer is the current layer, the 601 layer corresponds to a previous layer of the 603 layer, and the 603 layer may be defined as a previous layer of the 605 layer.
  • FIG. 6(b) is a reference diagram for explaining a method of reflecting a user's preferences for fashion items composed of multiple layers when the user preference is reflected.
  • the 601 layer receives a swipe gesture by the user, updates to fashion items constituting multiple layers may be made according to whether the user selects the fashion item displayed on the 601 layer. For example, when simply instructing switching/replacement for the above-described previous layer, current layer, and next layer, the fashion item on the layer determined according to the priority/random order is selected. It can be displayed to the user. However, when the user's selection or exclusion of a specific layer is determined, the configuration of the fashion items included in the multiple layers may be updated.
  • a label of a specific fashion item associated with layer 601 eg,'warmness'.'office look on newly added 609 layer
  • color, material, pattern, length, etc. can be considered to associate fashion items with similar characteristics.
  • a specific fashion item associated with the 601 layer is excluded (eg, determined as the lowest rank)
  • a label of the specific fashion item associated with the 601 layer eg,'warmth'.'office look'(7) on the newly added 609 layer.
  • color, material, pattern, and some of the length may be displayed to the user, or may be set so that a specific fashion item associated with layer 601 is not associated with multiple layers.
  • the user device may fix the layer and additionally display another layer to the user.
  • FIG. 7 is a flowchart illustrating a method of providing a recommendation service to a user using fashion items composed of multi-layers according to an embodiment of the present invention.
  • the user device may load a specific fashion item from the user fashion database.
  • the user fashion database may be generated based on a plurality of fashion items worn by the user, extracted from an image that can be identified by the user stored in the user device (S710).
  • images that can be identified by the user are image-processed, and the fashion items worn by the user are extracted and sorted based on the user's face.
  • Recommended products can be provided based on fashion items. If a user named A wears a white bag and a brown suit on the user device,'white bag' and'brown suit' are sorted in the user fashion database based on the face of the user A. Can be saved. Therefore, when the user requests a recommendation service for a fashion item that goes well with the brown suit included in the user fashion database, based on the photograph matching the brown suit and shoes through the style database learned using a fashion magazine, Coordination items can be recommended.
  • the user device when the user device receives a request to request a style recommendation for a brown suit, the user refers to a previously created style database, a product database, and a user fashion database to match items of the shoe category that match the user's size and match the brown suit. You can recommend and provide online market information of recommended shoes.
  • the user device may determine an item similar to the requested item by first searching the style database based on the image similarity of the fashion item object when the user inquires by specifying any fashion item on the user fashion database. Thereafter, the user device may check other items that are matched with the similar item in the image included in the style database, and determine the coordination item by reflecting the user size information among the other items.
  • the user device may search the product database based on the image similarity for the coordination item and set a priority according to the user size information to determine the recommended product.
  • the user device may acquire all the images stored in the user device, and among them, only the image identifiable by the user may be used, but only the image for a specific user may be acquired based on the identification information sorted on the user device. It may be.
  • image processing may be performed by acquiring only those images. This can improve the accuracy of the recommended service and prevent unnecessary processing of the server by using the classified image because unnecessary pictures may be included in the user device.
  • the user device uses a user fashion database generated by extracting a plurality of fashion items worn by the user from an image capable of identifying the user. If a user can check on a web page (for example, an online shopping mall or a clothing brand homepage) or a linked product image is input, a fashion item for the product image may be added to the user fashion database. For example, a user named A can capture an image from an online page of a shopping mall where a bag is purchased and add it to the user's fashion database. When entering a link to a specific site, the image from that site is added to the user's fashion database. It can be.
  • the user fashion database may include information on fashion items, such as the size of the fashion item, a label expressing the feeling of a person feeling in the fashion item as computer-recognizable data, and a picture when the user fits.
  • the user fashion database may include necessary size information such as a user's top, bottom, and dress, and the appearance when fitting the actual clothes is managed as a picture, so that the user fits considering his body type You can make this possible.
  • the user can refer to the future when considering fit when selecting a fashion item.
  • the user fashion database may be updated based on the color, material, pattern, length, and history of purchasing a fashion item in an online shopping mall, which the user has mainly purchased.
  • the user device When the user device receives a recommendation service request for a specific fashion item stored in the user fashion database generated as described above from the user device, the user device displays the specific fashion item on the main item display area of the user device (S720). This may be displayed as part of the entire area on the display screen, and in some cases, the display of the main item may be omitted.
  • the user device searches for an item similar to a specific fashion item based on the image similarity from the style database.
  • an item of a different category from the similar item is determined as a coordination item from the style image in which the similar item is searched.
  • the user device may organize products similar to the coordination item based on the image similarity from the product database into a coordination item list, and provide the user with a layer popup (S730).
  • the user device may provide the user with a predictable fit when a recommended product is purchased based on information on fashion items included in the user fashion database. If there is a label extracted from the content of the product in the product database, it may be provided to the user along with information on fashion items included in the user fashion database.
  • the user may select to purchase it.
  • the user may provide the product ordering service through the web page for the recommended product according to the user's selection.
  • the user device may determine whether to select the specific coordination item according to the received swipe gesture for the specific coordination item configured in the current layer displayed in the coordination item area (S740).
  • the user device may change the operation according to whether the direction of the swipe gesture corresponds to a predetermined direction.
  • the ranking, preference, etc. according to the predetermined direction may be previously specified by the application manufacturer, but may also be reset by the user.
  • the direction of the swipe gesture corresponds to a direction indicating a predetermined highest priority
  • it may be determined that a specific coordination item is selected and in this case, a product similar to a specific coordination item based on image similarity may be recalled.
  • the list of coordination items it is possible to update the list of coordination items, but if the direction of the swipe gesture is in the opposite direction to the direction indicating the predetermined highest priority, the specific coordination item is excluded from the coordination item list, or the product characteristics associated with the specific coordination item. You can update the list of coordination items to exclude (eg labels, length, cloth, etc.).
  • the current layer it is also possible to display the coordination item configured in the previous layer of the or the coordination item configured in the next layer of the current layer. At this time, if the user's swipe gesture is not terminated due to the user's finger not falling off the display, etc., the shape of the current layer is modified based on the direction of the swipe gesture according to the description above with reference to FIG. It can also be displayed in the coordination item display area.
  • the user device may store the specific coordination item as a preferred item (S750).
  • a preferred item may be displayed on the selected item display area of the user device, and when an input for the preferred item is received as described above in the description related to FIG. 4, the product is accessed through a web page associated with the preferred item. It can also provide purchasing services.
  • the user device may provide a recommendation service to the user itself as described above, but may also provide a recommendation service through a service server or the like to provide a more suitable service using more data.
  • the service server acquires an image capable of identifying a user from a user device and creates a user fashion database (S810).
  • a user fashion database As a method of acquiring an image, an image may be acquired from a user device, or a product image that may be viewed or linked from a user on a web page (eg, an online shopping mall or a clothing brand homepage) may be input.
  • a fashion item extracted from an image can be stored in the user fashion database, and furthermore, the user fashion database is a fashion item size, a label expressing a feeling that a person feels in a fashion item as computer-recognizable data, and an image when the user fits.
  • Information may be included, or information on the user's preferences such as the user's purchase data and viewing time data, size information of the user, information on a preferred price, use, and brand when shopping online for a fashion item may be included. .
  • the user fashion database may include user identification information, user behavior information for estimating the user size, user size estimated from the behavior information, and user size information directly received from the user device.
  • the service server provides a query to the user device for the user's age, gender, occupation, fashion field of interest, reserved items, etc., receives user input for the query, generates user size information, and generates the user fashion. It can be reflected in the database.
  • the service server is a time when a user browses an arbitrary style book provided through an application according to an embodiment of the present invention, item information generated like a tag, request item, fashion item information purchased through the application or another application, and By combining user behavior information for estimating the user size, such as time information at which the information is generated, preference information for a style in which the user is interested in the corresponding time may be generated and reflected in the user fashion database.
  • the service server may generate the user's body shape information and reflect it in the user fashion database.
  • the service server models a user's body model from a machine learning framework that learns human body features from a large number of body images. You can create The user's body model may include information on the proportions and skin tones of each part of the user's body as well as the size information of each part of the user's body.
  • the service server may generate preference information for the user's fashion item and reflect it in the user fashion database.
  • the preference information may include information about a user's preferred price, preferred brand, and preferred use. For example, when a user browses or purchases a fashion item through an online market on a user device, the service server reflects different weights for viewing or purchasing, and generates information about a preferred price, a preferred brand, and a preferred use, and generates the user fashion database. Can be reflected in.
  • the service server has a feature of estimating a user's taste corresponding to a human feeling, and generating the estimated taste information in a form recognizable by a computer and reflecting it in a user fashion database.
  • the service server may extract a label for estimating the user's taste from the user's behavior information.
  • the label may be extracted as the meaning of fashion items included in user behavior information, such as a style book viewed by a user, an item that generates a tag like a tag, a request item, or a purchase item.
  • the label may be generated as information about a look and feel, such as the appearance and feel of fashion items included in user behavior information, and trends.
  • the label generated from the user behavior information is applied with a weight according to the user behavior, and the service server may combine this to generate user size information for estimating the user size and store it in the user fashion database.
  • the user size information, user body type information, and user preference information included in the user fashion database may be used to set exposure priority for a recommended item or a recommended product.
  • the service server When the service server receives a recommendation service request for a specific fashion item stored in the user fashion database from the user device, the service server searches for an item similar to the specific fashion item based on the image similarity from the style database (S820). For example, the user may select a photo of a specific fashion item of the user device, and send a request to the product server for requesting product information of the corresponding fashion item or recommending a coordination item suitable for it.
  • the user device may first determine whether an object of a preset category is included in the displayed image, and may specify the object as a specific fashion item by specifying the object. Furthermore, when an object for a plurality of fashion items is included in the image, each object may be specified and operated to transmit only a request for the object selected by the user.
  • the style database may include information about a fashion image, a fashion image that can be referenced for coordination of a number of items, among images collected on the web.
  • the style database may include, among images collected online, a combination of a plurality of fashion items to match well (hereinafter referred to as a style image) and classification information for the style image.
  • the style image according to the embodiment of the present invention is a fashion catalog, a fashion magazine pictorial image, a fashion show shooting image, an idol costume image, a specific drama that can be collected on the web as image data generated by combining a plurality of fashion items in advance by an expert or an expert Or, you can exemplify a movie's costume image, SNS, blog celebrity's costume image, fashion magazine's street fashion image, or an image coordinated with other items to sell fashion items.
  • the style image is stored in a style database according to an embodiment of the present invention, and can be used to determine other items that go well with a particular item.
  • the style image can be used as a reference for a computer to understand the human feeling that it generally suits well. Matching well with any item is about the human feeling, so in order for the computer to recommend another item that goes well without human intervention for an item, a machine learning framework learned about matching multiple fashion items is required.
  • the service server may collect a plurality of fashion items combined by an expert or a semi-expert and collect a style image worn by a person and generate it as a style database.
  • the service server can train the framework by applying the style database to the machine learning framework. For example, a machine learning framework that has learned a large number of style images with matching blue shirts and brown ties could recommend brown ties as a coordination item for requests for blue shirts.
  • the service server may collect style images online.
  • the service server collects a list of web addresses such as fashion magazines, fashion brands, drama producers, celebrity planners, SNS, online stores, etc., and checks the website to track links. Can be collected.
  • the service server can collect and index images from websites such as fashion magazines, fashion brands, drama makers, celebrity planners, SNS, online shops, etc. Information may be provided separately.
  • the service server may filter images that are not suitable for style recommendation among the collected images.
  • the service server may filter the remaining images, leaving only the images containing the human-shaped objects among the collected images and the plurality of fashion items.
  • Filtering images for a single fashion item is appropriate because the style image is used to determine the request item and other items that can be coordinated. Furthermore, constructing a database with images of a person wearing a plurality of fashion items directly may be more useful than images of the fashion items themselves. Therefore, the service server according to an embodiment of the present invention may determine the style image included in the style database by filtering the remaining images, leaving only the image including the human-shaped object and the plurality of fashion items.
  • the service server may process features of the fashion item object image included in the style image. More specifically, the service server may extract image features of the fashion item object included in the style image, express feature information as vector values, generate feature values of the fashion item object, and structure feature information of the images.
  • the service server may extract a style label from a style image and cluster style images based on the style label. It is appropriate that the style label is extracted for the look and feel of the fashion item's appearance, feel, and trends. According to a preferred embodiment of the present invention, it is possible to extract a label for a feeling that a person can feel from the appearance of a single fashion item included in a style image, a combination of a plurality of items, and use it as a style label. For example, a celebrity look, a magazine look, a summer look, a feminine look, a sexy look, an office look, a drama look, and a Chanel look can be illustrated as style labels.
  • the service server defines a style label in advance, generates a neural network model that learns the characteristics of the image corresponding to the style label, classifies objects in the style image, and extracts labels for the object can do.
  • the service server may assign a corresponding label to an image matching a specific pattern with a random probability through a neural network model learning the pattern of the image corresponding to each label.
  • the service server may learn characteristics of an image corresponding to each style label to form an initial neural network model, and apply a large number of style image objects to it to expand the neural network model more precisely. have.
  • the service server may apply style images to a neural network model formed of a hierarchical structure formed of a plurality of layers without separate learning of labels. Furthermore, weighting is applied to the feature information of the style image according to the request of the corresponding layer, clustering of product images using the processed feature information, and celebrity look, magazine look, summer look, feminine look, and sexy look to the clustered image group , Labels that are interpreted ex post as office look, drama look, chanel look, etc. can be assigned.
  • the service server may cluster style images using a style label and generate a plurality of style books. This is to be provided as a reference to the user.
  • the user may browse a specific style book among a plurality of style books provided by the service server, find a favorite item, and request a product information search for the corresponding item.
  • the service server may pre-classify items having a very high appearance rate, such as white shirts, jeans, and black skirts.
  • items having a very high appearance rate such as white shirts, jeans, and black skirts.
  • jeans are very basic items in fashion, so the appearance rate in style images is very high. Therefore, no matter what item the user inquires about, the probability of matching jeans as a coordination item will be significantly higher than other items.
  • the service server can pre-classify an item having a very high appearance rate in a style image as a buzz item, and generate a style book with different versions, including a buzz item and a buzz item. have.
  • buzz items may be classified by reflecting time information. For example, considering the fashion cycle of a fashion item, it is possible to consider items that fad and disappear for a month or two, fashion items that return each season, and items that are continuously fashionable for a certain period of time. Therefore, by reflecting time information in the classification of the buzz item, if a specific fashion item has a very high appearance rate during an arbitrary period, the item may be classified as a buzz item along with information on the corresponding period.
  • the buzz item is classified as described above, in the subsequent item recommendation step, there is an effect that can be recommended in consideration of whether the item to be recommended is fashionable or unrelated to fashion.
  • the service server can process a specific fashion item object included in the received request, and search a style database based on image similarity. That is, the service server may search for a similar item in the style database by processing an image object specified as a search target.
  • the service server may extract characteristics of the image object to be searched and structure specific information of images for efficiency of search.
  • the service server can extract label and/or category information about the meaning of the object image to be searched by applying the machine learning technique used to construct the product image database to the processed object image to be processed.
  • the label may be expressed as an abstracted value, but may also be expressed in text form by interpreting the abstracted value.
  • the service server may extract labels for women, dresses, sleeveless, linen, white, and casual look from the request object image.
  • the service server may use labels for women and dresses as category information of the requested object image, and labels for sleeveless, linen, white, and casual look may be used as label information describing characteristics of the object image outside the category. .
  • the service server may search the style database based on the similarity of the request object image. This is for retrieving items similar to the request image from the style database to identify other items matching the similar items in the style image. For example, the service server may display the request object image and the fashion item object images included in the style image. The similarity of the feature values can be calculated, and an item whose similarity is within a preset range can be checked.
  • the service server processes the feature values of the request image by reflecting the weights required by the multiple layers of the artificial neural network model for machine learning configured for the product database, and within a certain range with the request image At least one fashion item group included in a style book having a distance value may be selected, and items belonging to the group may be determined as similar items.
  • the service server determines a similar item by searching the style database based on the similarity of the requested image, and uses label and category information extracted from the image to increase the accuracy of the image search. Can.
  • the service server calculates the similarity between the feature values of the requested image and the style database image, and among the products having a similarity of a predetermined range or higher, the label and/or category information does not match the label and/or category information of the requested image. Similar items can be determined by excluding products.
  • the service server may calculate the item similarity only in the style book having label and/or category information matching the label and/or category information of the request image.
  • the service server may extract a style label from a request image, and specify a similar item based on the request and image similarity in a style book matching the label.
  • the service server may specify a similar item based on the similarity of the requested image and the image in the style database without extracting a separate label from the requested image.
  • the service server may extract a label of tropical from the request. Thereafter, the service server may identify a similar item having a similarity of a leaf pattern dress and a preset range in a style book clustered with a label of tropical.
  • the service server includes a similar item retrieved from the style book, and may provide the user device with a style image in which the similar item is combined with other fashion items.
  • a style image in which straw hats, rattan bags, etc. are combined with a leaf pattern dress can be provided to the user.
  • the service server determines a coordination item by combining the similar item with the similar item and checking the fashion items of other categories included in the style image (S830).
  • a specific fashion item inquired by the user may be searched based on the image similarity in the style database, and a fashion item of another category matched with the similar item in the style image including the similar item may be considered as a recommended item. This is because the service server according to the embodiment of the present invention is learned to match other items that match with the requested item in the style image.
  • the service server determines products similar to the coordination item from the product database as a recommended product (S840).
  • the product database may include product detail information such as origin, size, sales place, and wear shot of products sold in the online market, and is characterized by composing product information based on the image of the product.
  • the service server may collect product information for products sold in an arbitrary online market as well as product information of an online market affiliated in advance.
  • the service server may include a crawler, a parser, and an indexer, collect web documents of online stores, and access text information such as product images, product names, and prices included in web documents.
  • a crawler may collect data related to product information to a service server by collecting a web address list of an online store and checking a website to track links.
  • the parser interprets web documents collected during the crawling process to extract product information such as product images, product prices, and product names included in the page, and the indexer can index the location and meaning.
  • the service server may collect and index product information from a website of any online store, but may receive product information in a preset format from an affiliate market.
  • the service server can process the product image. This is for determining a recommended item based on whether the product image is similar, without relying on text information such as a product name or a sales category.
  • a recommended item may be determined based on whether the product image is similar, but the present invention is not limited thereto. That is, depending on the implementation, the product image as well as the product name or sales category may be used as a single or secondary request.
  • the service server may generate a database by structuring text information such as a product name and product category other than the product image.
  • the service server can extract the features of the product image and index the feature information of the images for efficiency of search.
  • the service server may detect feature areas of product images (Interest Point Detection).
  • the feature region refers to a main region for extracting a descriptor for a feature of an image, that is, a feature descriptor, to determine whether the images are identical or similar.
  • such a feature region may include a contour that an image includes, a corner such as a corner among the outlines, a blob separated from the surrounding region, an area that is unchanged or covariant according to image deformation, or ambient brightness. It can be a pole with dark or light features, and it can be a patch (fragment) of the image or the entire image.
  • the service server may extract feature descriptors from the feature area.
  • the feature descriptor is a vector value representing features of an image.
  • such a feature descriptor can be calculated using the location of the feature region for the corresponding image, or the brightness, color, sharpness, gradient, scale, or pattern information of the feature region.
  • the feature descriptor may calculate the brightness value of the feature region, the change value of the brightness, or the distribution value by converting it into a vector.
  • the feature descriptor for the image is a local descriptor based on the feature area as described above, as well as a global descriptor, a frequency descriptor, a frequency descriptor, a binary descriptor, or the like. It can be expressed as a neural network descriptor.
  • the feature descriptor is a global descriptor that converts and extracts the brightness, color, sharpness, gradient, scale, pattern information, etc. of each image or each region of the image divided by arbitrary criteria into vector values ( Global descriptor).
  • the feature descriptor is a frequency descriptor (Frequency Descriptor) that converts and extracts the number of specific descriptors previously included in the image, the number of inclusions of global features such as a previously defined color table, and the like into a vector value.
  • Binary descriptor which is extracted and used as an integer after extracting in bit units whether the size of each element constituting or including the descriptor is larger or smaller than a specific value, learns from the layer of the neural network Or, it may include a neural network descriptor (Neural Network descriptor) for extracting the image information used for classification.
  • Neural Network descriptor Neural Network descriptor
  • the feature information vector extracted from the product image it is possible to convert the feature information vector extracted from the product image to a lower dimension.
  • the feature information extracted through the artificial neural network corresponds to 40,000-dimensional high-dimensional vector information, and it is appropriate to convert it into a low-dimensional vector in an appropriate range in consideration of resources required for search.
  • Various feature reduction algorithms such as PCA and ZCA may be used to transform the feature information vector, and feature information converted into a low dimensional vector may be indexed into a corresponding product image.
  • the service server can extract a label for the meaning of the image by applying a machine learning technique based on the product image.
  • the label may be expressed as an abstracted value, but may also be expressed in text form by interpreting the abstracted value.
  • the service server may define a label in advance, generate a neural network model learning the characteristics of the image corresponding to the label, classify objects in the product image, and extract labels for the corresponding object.
  • the service server may assign a corresponding label to an image matching a specific pattern with a random probability through a neural network model learning the pattern of the image corresponding to each label.
  • the service server may learn characteristics of an image corresponding to each label to form an initial neural network model, and apply a large amount of product image objects to it to expand the neural network model more precisely. Furthermore, the service server may create a new group including the product if the product is not included in any group.
  • the service server predefines a label that can be used as meta information about the product such as female bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, and abstract feelings (innocent, chic, vintage, etc.) ,
  • a neural network model learning the characteristics of the image corresponding to the label may be generated, and the neural network model may be applied to the advertiser's product image to extract a label for the product image to be advertised.
  • the service server may apply product images to a neural network model formed of a hierarchical structure formed of a plurality of layers without separate learning of labels. Furthermore, the feature information of the product image may be weighted according to the request of the corresponding layer, and the product images may be clustered using the processed feature information.
  • additional analysis may be required to determine whether the corresponding images are clustered according to which attribute of the feature value, that is, to connect the clustering results of the images with a concept that can be recognized by a real human.
  • the service server classifies products into three groups through image processing, and extracts the labels A for characteristics of the first group, B for characteristics of the second group, and C for characteristics of the third group. It needs to be interpreted ex postly, that A, B, and C, respectively, refer to female tops, blouses, and plaids, respectively.
  • the service server displays a label that can be interpreted ex postly in a group of clustered images such as female bottoms, skirts, dresses, short sleeves, long sleeves, patterns, materials, colors, and abstract feelings (pure, chic, vintage, etc.) Granted, and labels assigned to an image group to which an individual product image belongs can be extracted as a label of the corresponding product image.
  • the service server may express a label extracted from a product image as text, and a text-type label may be used as tag information of the product.
  • the tag information of the product is directly and subjectively given by the seller, resulting in inaccuracy and poor reliability.
  • the product tag subjectively assigned by the seller has a problem of lowering the efficiency of search by acting as noise.
  • the tag information of the product is based on the image of the corresponding product. Since it can be extracted mathematically without human intervention, it has the effect of increasing the reliability of the tag information and improving the accuracy of the search.
  • the service server may generate category information of the corresponding product based on the content of the product image. For example, if a label for an arbitrary product image is extracted as a woman, top, blouse, linen, stripe, long sleeve, blue, office look, the service server sets the label for a woman, top, or blouse as the category information of the product. Labels for linen, stripe, long-sleeved, blue, and office look can be used as label information describing the characteristics of products outside the category. Alternatively, the service server may index the corresponding product without distinguishing the label and category information. At this time, the category information and/or label of the product may be used as a parameter to increase the reliability of the image search.
  • the service server determines an item similar to the coordination item from the product database configured by indexing the label extracted from the content of the above-mentioned product as a recommended item, and provides product information for the recommended item, similar to the recommended item You can search for products in the product database.
  • the service server may search the product database based on the image similarity with respect to the coordination item determined using the style database.
  • the service server can extract characteristics of the coordination item object and structure specific information of images for efficiency of search.
  • the service server may search the product database based on the similarity of the object image. For example, the service server may calculate the similarity between the feature values of the recommended item image and the product image included in the product database, and determine a product whose similarity is within a preset range as a recommended product.
  • the service server processes the feature values of the recommended item image by reflecting the weights required by multiple layers of the artificial neural network model for machine learning configured for the product database, and the distance within a certain range At least one product group having a value may be selected, and products belonging to the group may be determined as recommended products.
  • the service server may specify the recommended product based on the label extracted from the recommended item object.
  • the service server searches the object image and the object image to be searched only for product groups that have the female top as category information in the product database. Similarity can be calculated.
  • the service server may set products having a degree of similarity or higher than a preset range as a candidate product for recommendation, and may exclude products whose sub-category information is not a blouse from the recommended product.
  • products with sub-category information indexed as blouses may be selected as advertisement items.
  • the service server in the product database has a woman top, blouse, long sleeve, lace, and collar neck as a label. It is also possible to calculate the similarity between the recommended item and the image only for the group.
  • the service server may determine the priority of exposure by reflecting user preference/size information. For example, when the user is interested in the office look, the weight of the office look label may be used to calculate the priority and provide recommended product information according to the calculated priority.
  • the user device may display the list of coordination items to the user as recommended products obtained from the service server (S850). Further, an operation of displaying the list of coordination items to the user and receiving the selection through the swipe gesture may use the above-described contents in FIG. 7.
  • the service recommending for fashion items composed of multi-layers displayed on a user device using the swipe gesture as described above can be applied to various service fields.

Abstract

본 발명은 사용자 디바이스 상에 디스플레이(display)되는 다중 레이어(multi-layers)로 구성된 패션 아이템들을 이용하여 패션 아이템 추천 서비스를 제공하는 방법에 관한 것이다. 구체적으로, 특정 패션 아이템의 카테고리와 상이한 카테고리를 가지는 다수의 코디네이션 아이템들로 구성된 코디네이션 아이템 리스트를 다중 레이어에 연관시키도록 구성하여, 상이한 카테고리에 대응되는 사용자 디바이스의 코디네이션 아이템 디스플레이 영역에 레이어 팝업(layer popup) 형태로 코디네이션 아이템 리스트를 표시하는 단계, 코디네이션 아이템 영역에 표시된 현재 레이어(current layer)에 구성된 특정 코디네이션 아이템에 대하여 수신된 스와이프 제스처(swipe gesture)에 따라 특정 코디네이션 아이템의 선택 여부를 결정하는 단계 및 특정 코디네이션 아이템이 선택된 경우, 특정 코디네이션 아이템을 선호 아이템으로 저장하는 단계를 포함하는 것을 특징으로 한다.

Description

사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
본 발명은 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 관한 것으로서, 보다 상세하게는 스와이프 제스처를 이용하여 사용자 디바이스 상에 디스플레이되는 다중 레이어(multi-layers)로 구성된 패션 아이템들에 대한 추천 서비스 제공 방법에 관한 것이다.
최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다.
한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고이슈가 발생할 수 있기 때문이다.
이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다.
상술한 바와 같은 논의를 바탕으로 이하에서는 스와이프 제스처를 이용하여 사용자 디바이스 상에 디스플레이되는 다중 레이어(multi-layers)로 구성된 패션 아이템들에 대하여 추천하는 서비스를 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일 양상인 사용자 디바이스 상에 디스플레이(display)되는 다중 레이어(multi-layers)로 구성된 패션 아이템들을 이용하여 패션 아이템 추천 서비스를 제공하는 방법은, 특정 패션 아이템의 카테고리와 상이한 카테고리를 가지는 다수의 코디네이션 아이템들로 구성된 코디네이션 아이템 리스트를 다중 레이어에 연관시키도록 구성하여, 상기 상이한 카테고리에 대응되는 상기 사용자 디바이스의 코디네이션 아이템 디스플레이 영역에 레이어 팝업(layer popup) 형태로 상기 코디네이션 아이템 리스트를 표시하는 단계; 상기 코디네이션 아이템 영역에 표시된 현재 레이어(current layer)에 구성된 특정 코디네이션 아이템에 대하여 수신된 스와이프 제스처(swipe gesture)에 따라 상기 특정 코디네이션 아이템의 선택 여부를 결정하는 단계; 및 상기 특정 코디네이션 아이템이 선택된 경우, 상기 특정 코디네이션 아이템을 선호 아이템으로 저장하는 단계를 포함하는 것을 특징으로 한다.
나아가, 상기 특정 코디네이션 아이템의 선택 여부를 결정하는 단계는, 상기 스와이프 제스처의 방향이 미리 지정된 최우선 순위를 지시하는 방향에 대응되는 경우, 상기 특정 코디네이션 아이템이 선택된 것으로 판단하는 단계; 상기 스와이프 제스처의 방향이 미리 지정된 최우선 순위를 지시하는 방향의 반대 방향인 경우에는, 상기 특정 코디네이션 아이템을 상기 코디네이션 아이템 리스트에서 제외시키는 단계; 상기 스와이프 제스처의 방향이 미리 지정된 이전 레이어로의 스위칭을 지시하는 방향인 경우, 상기 다중 레이어 상에서 상기 현재 레이어(current layer)의 이전 레이어(previous layer)에 구성된 코디네이션 아이템을 표시하는 단계; 및 상기 스와이프 제스처의 방향이 미리 지정된 다음 레이어로의 스위칭을 지시하는 방향인 경우, 상기 다중 레이어 상에서 상기 현재 레이어(current layer)의 이전 레이어(next layer)에 구성된 코디네이션 아이템을 표시하는 단계를 포함하는 것을 특징으로 한다. 더 나아가, 상기 특정 코디네이션 아이템이 선택된 것으로 판단하는 단계는, 상기 특정 코디네이션 아이템에 대한 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 특정 코디네이션 아이템과 유사한 상품을 상기 코디네이션 아이템 리스트에 업데이트시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
나아가, 상기 코디네이션 아이템의 선택 여부를 결정하는 단계는, 상기 스와이프 제스처의 방향에 기반하여, 상기 현재 레이어의 형태를 변형하여 상기 코디네이션 아이템 디스플레이 영역에 표시하는 단계를 포함할 수 도 있다.
나아가, 상기 선호 아이템을 상기 사용자 디바이스의 선택 아이템 디스플레이 영역에 표시하는 단계; 및 상기 선호 아이템에 대한 입력이 수신되는 경우, 상기 선호 아이템과 연관된 웹 페이지(web page)를 통하여 상품 구매 서비스를 제공하는 단계를 더 포함할 수 도 있다.
나아가, 상기 특정 패션 아이템은, 상기 사용자 디바이스에 저장된 사용자가 식별될 수 있는 이미지로부터 추출된, 상기 사용자가 착용하고 있는 다수의 패션 아이템들에 기반하여 생성된 사용자 패션 데이터베이스로부터 획득된 것을 특징으로 할 수 있다.
본 발명의 실시예에 따르면, 스와이프 제스처를 이용하여 사용자 디바이스 상에 디스플레이되는 다중 레이어(multi-layers)로 구성된 패션 아이템들에 대한 추천 서비스를 효율적으로 제공할 수 있다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위한 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하기 위한 사용자 디바이스를 설명하기 위한 참고도이다.
도 2는 본 발명의 다른 실시예에 따른, 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하기 위한 사용자 디바이스의 디스플레이 화면을 설명하기 위한 참고도이다.
도 3은 본 발명의 실시예에 따라 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하는 경우 스와이프 제스처(swipe gesture)를 통하여 사용자의 입력을 받는 시나리오를 설명하기 위한 참고도이다.
도 4는 본 발명의 실시예에 따라 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하고, 사용자가 특정 패션 아이템을 선택하는 경우, 선택된 패션 아이템에 연결하여 사용자의 구매를 유도하는 시나리오를 설명하기 위한 참고도이다.
도 5는 사용자 디바이스에 대한 스와이프 제스처의 방향에 따라, 디스플레이되고 있는 현재 레이어(current layer)의 표시하는 일 예를 설명하기 위한 참고도이다.
도 6은 본 발명의 실시예에 따른 패션 아이템들과 연관되도록 설정되는 다중 레이어를 설명하기 위한 참고도이다.
도 7은 본 발명의 일 실시예에 따라 다중 레이어(multi-layers)로 구성된 패션 아이템들을 이용하여 사용자에게 추천 서비스를 제공하는 방안을 설명하기 위한 순서도이다.
도 8는 본 발명의 일 실시예에 따라, 사용자 디바이스가 서비스 서버를 통하여 패션 아이템 추천 서비스를 제공하는 방법에 대한 설명을 하기 위한 참고도이다.
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다.
이하에서는 상품 정보가 표시되는 사용자 디바이스는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.
또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.
나아가, 본 명세서에서 사용자 디바이스에 표시된 페이지(displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.
그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
도 1은 본 발명의 일 실시예에 따른, 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하기 위한 사용자 디바이스를 설명하기 위한 참고도이다.
본 발명에 따른 사용자 디바이스(100)은 크게 디스플레이 영역(110)과 사용자에 의하여 선택된 아이템들을 사용자에게 시각적으로 제공할 수 있는 정보(e.g. 썸네일(thumbnail) 등)을 제공하는 정보 제공 영역(120) 및 패션 아이템 추천 서비스에 관련된 어플리케이션(application)을 제어하기 위한 어플리케이션 컨트롤 영역(130)을 포함할 수 있다. 본 발명에 따른 사용자 디바이스(100)상에서는 설명의 편의를 위하여 디스플레이 영역(110)과 정보 제공 영역(120) 및 컨트롤 영역(130)을 구분하여 설명하나, 경우에 따라서는 하나의 디스플레이 영역상에서 사용자의 손짓, 시선의 움직임과 같은 사용자의 제스처, 음성과 같은 오디오(Audio)를 통하여 사용자 디바이스를 제어하거나, 경우에 따라 화면상에서 표시되지 않는 경우이더라도 본 발명이 적용될 수 있는 것으로 해석되어야 할 것이다.
나아가, 디스플레이 영역(110)은, 어플리케이션의 동작에 따라서 하나의 이미지 혹은 정보만을 표시할 수 도 있으나, 어플리케이션이 제공하는 서비스에 따라서 다수의 영역으로 분할하여 개별 영역마다 특정화된 이미지나 정보를 제공하거나, 입력을 받을 수 도 있다.
정보 제공 영역(120)은, 디스플레이 영역(110)에서 사용자에 의하여 선택된 이미지, 정보 등을 사용자에게 시각적으로 제공하거나, 사용자 디바이스가 미리 정해진 설정에 따라 사용자의 개인화등을 위하여 필요하다고 판단되는 정보(e.g 상품 데이터 베이스에 저장된 레이블, 상품의 컬러, 소재, 패턴, 길이 등)을 추가적으로 사용자에게 제공할 수 있다.
컨트롤 영역(130)은, 어플리케이션의 제어를 위하여 필요한 버튼(button) 등이 표시될 수 있으며, 예를 들어, 사용자가 어플리케이션 구동 중에 추천 서비스와 관련된 상태(예를 들어, 사용자의 개인화를 위한 레이블, 상품의 컬러등)을 체크하기 위한 'CHECK' 버튼, 사용자가 패션 아이템 추천 서비스의 현재 단계를 마치고 추가적인 서비스를 받거나, 서비스를 종료하기 위하여 사용되는 'DONE' 버튼, 디스플레이 영역에 표시되는 상품 아이템등을 무작위 순서로 표시하도록 하거나, 이미지 유사도 등에 따른 우선순위에 기반하여 표시하기 위한 'RANDON' 버튼, 사용자가 선택한 패션 아이템 혹은 디스플레이 영역에 표시된 패션 아이템을 직접적으로 웹 페이지(web page), 온라인 샵(online shop)등을 통하여 구매할 수 있도록 연결하기 위한 'SHOP' 버튼 등이 포함될 수 있다.
다만, 상술한 바와 같이 정보 제공 영역(120)과 컨트롤 영역(130)은 본 발명에 따른 다중 레이어로 구성된 패션 아이템들을 이용한 추천 서비스를 제공하기 위하여 반드시 존재할 필요는 없으며, 경우에 따라서는 생략될 수 도 있다.
도 2는 본 발명의 다른 실시예에 따른, 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하기 위한 사용자 디바이스의 디스플레이 화면(200)을 설명하기 위한 참고도이다.
본 발명에 따른 사용자 디바이스 화면은(200)은, 사용자로부터 선택이 완료된 패션 아이템(210) 및 이에 매칭되는 상의(220), 하의(230), 가방 등의 액세서리(240), 신발 등의 패션 소품(250)으로 분할되어 표시될 수 있다. 따라서, 사용자가 특정 패션 아이템을 선택한 경우, 이를 디스플레이 화면상에서 특정 패션 아이템을 위하여 할당된 영역(210)에서 표시하고, 선택된 특정 패션 아이템과 카테고리가 상이한 아이템(e.g. 상의와 하의, 상의와 가방 등)을 해당하는 디스플레이 화면에 표시할 수 있다. 이에 따라 사용자들은 선택된 패션 아이템에 매칭되는 다른 카테고리의 패션 아이템을 선택함으로써, 사용자의 개인화된 코디를 완성시킬 수 있다.
도 3(a) 및 도 3(b)는 본 발명의 실시예에 따라 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하는 경우 스와이프 제스처(swipe gesture)를 통하여 사용자의 입력을 받는 시나리오를 설명하기 위한 참고도이다.
도 3(a)와 같이, 사용자 디바이스 상에서 다수의 레이어로 구성된 패션 아이템들이 병렬적으로 표시될 수 있다. 이러한 경우, 사용자의 손가락, 전자식 펜등을 이용하여 화면에서 우측에서 좌측 방향으로 미끄러지는듯 움직이는 스와이프 제스처를 입력한 경우, 사용자 디바이스는 스와이프 제스처에 따라 특정 위치의 패션 아이템을 미끄러지듯 사라지게 한 후, 반대 위치의 화면에 다른 패션 아이템을 추가적으로 표시할 수 있다. 따라서, 도 3(b)와 같이 새로운 패션 아이템을 디스플레이 화면상에 표시할 수 있으며, 반대로 좌측에서 우측 방향으로 미끄러지는듯 움직이는 스와이프 제스처를 입력하여 도 3(a)와 같이 패션 아이템을 재표시할 수 도 있다.
도 4는 본 발명의 실시예에 따라 다중 레이어로 구성된 패션 아이템들에 대한 추천 아이템 서비스를 제공하고, 사용자가 특정 패션 아이템을 선택하는 경우, 선택된 패션 아이템에 연결하여 사용자의 구매를 유도하는 시나리오를 설명하기 위한 참고도이다.
도 4에서 사용자는 특정 패션 아이템을 선택한 후, 혹은 특정 패션 아이템에 대한 추가적인 정보를 알기 위하여, 어플리케이션에서 제공하는 링크 혹은 썸네일을 통하여 웹 페이지, 온라인 샵에 직접적으로 연결될 수 도 있다. 예를 들어, 사용자는 도 4(a)에서 나타난 바와 같이, 사용자 디바이스 상에서 디스플레이되는 특정 패션 아이템에 대하여 'SELECT' 버튼을 터치하거나, 도 4(b)에서 나타난 바와 같이 사용자 디바이스 상에 선호 표시(e.g. '좋아요' 버튼 등) 혹은 스와이프 제스처를 통하여 선호하는 것으로 판단되어 썸네일 형태로 저장된 이미지를 터치 입력함으로써, 특정 패션 아이템에 대하여 판매하고 있는 웹 페이지, 온라인 샵으로 링크될 수 있도록 중계 서비스가 제공될 수 있다.
도 5는 사용자 디바이스에 대한 스와이프 제스처의 방향에 따라, 디스플레이되고 있는 현재 레이어(current layer)의 표시하는 일 예를 설명하기 위한 참고도이다. 본 발명에 따른 사용자 디바이스의 디스플레이 화면을 통하여 특정 방향으로 스와이프 제스처의 방향이 결정된 경우에는, 이에 따라 디스플레이되는 레이어의 형태를 변형하여 표시할 수 있다. 즉, 본 발명에서의 레이어는 사용자가 화면을 통하여 제공받을 수 있는 하나의 웹 페이지와 같은 형태를 가질 수 있으므로, 사용자의 스와이프 제스처에 따라 웹 페이지의 일측 방향이 변형될 수 있다. 예를 들어, 사용자의 스와이프의 제스처의 시작 포인트로부터 종료 포인트까지를 판단하여, 종이로 된 페이지가 날라가는 듯한 효과를 사용자에게 제공할 수 있다.
예를 들어, 도 5(a)에서 나타난 바와 같이, 사용자가 손가락등을 이용하여 우측에서 좌측으로 미끄러지는 듯한 스와이프 제스처를 취하는 경우에는, 우측 하단의 모서리가 좌측으로 날라가는 듯한 효과를 사용자에게 표시할 수 있다.
이와 유사하게, 도 5(b)에서 나타난 바와 같이, 사용자가 손가락등을 이용하여 좌측에서 우측으로 미끄러지는 듯한 스와이프 제스처를 취하는 경우에는, 좌측 하단의 모서리가 우측으로 날라가는 듯한 효과를 사용자에게 표시할 수 있다.
혹은, 도 5(c)에서 나타난 바와 같이, 사용자가 손가락등을 이용하여 하단에서 상단으로 미끄러지는 듯한 스와이프 제스처를 취하는 경우에는, 하단부의 모서리가 상단부로 날라가는 듯한 효과를 사용자에게 표시할 수 있다.
반대로, 도 5(d)에서 나타난 바와 같이, 사용자가 손가락등을 이용하여 상단에서 하단으로 미끄러지는 듯한 스와이프 제스처를 취하는 경우에는, 상단부의 모서리가 하단부로 날라가는 듯한 효과를 사용자에게 표시할 수 있다.
이러한, 도 5(a) 내지 도 5(d)의 효과는 사용자의 스와이프 제스처에 따라 사용자 디바이스가 사용자에게 표시하는 하나의 효과를 나타낸 것에 불과하므로, 이에 제한해서 본 발명을 해석해서는 아니될 것이다. 경우에 따라서는, 사용자가 손가락등을 통한 스와이프 제스처로 판단할 수 없을 정도의 입력을 가할 경우가 있는데(예를 들어, 손가락을 이용하여 디스플레이상에서 스와이프 제스처를 한 후 손가락을 떼지 않는 경우), 이러한 경우에는 사용자의 손가락을 이용한 입력을 중심으로 특정 레이어 혹은 웹 페이지에 대한 다른 효과를 줄 수 도 있을 것이다(e.g. 책 페이지를 넘기다가 안넘기다가 하는 등의 동작 효과)
도 6은 본 발명의 실시예에 따른 패션 아이템들과 연관되도록 설정되는 다중 레이어를 설명하기 위한 참고도이다. 본 발명에서 패션 아이템들과 연관되는 다수의 레이어들(601, 603, 605, 607,…)은 우선 순위에 따라 먼저 표시될 수 있으나, 경우에 따라서는 무작위로 순서가 설정될 수 도 있다. 이하에서는 설명의 편의를 위하여 우선 순위를 가지는 레이어를 표시하는 경우를 설명한다. 다중 레이어에 있어서 레이어들 간의 관계는 사용자 디바이스 상에 표시되는 특정 레이어를 현재 레이어(current layer)라고 정의하고, 현재 레이어가 표시되지 않는 경우 새롭게 표시되는 레이어를 다음 레이어(next layer)로 정의할 수 있다. 따라서, 도 6의 경우에 601 레이어가 현재 레이어라고 한다면, 603 레이어는 601 레이어의 다음 레이어에 해당하며, 605 레이어는 603 레이어의 다음 레이어로 정의될 수 있다. 반대로, 현재 레이어가 표시되지만, 현재 레이어 이전에 사용자에게 표시되거나 표시될 레이어는 이전 레이어(previous layer)로 정의할 수 있다. 즉, 도 6의 경우에 603 레이어가 현재 레이어라고 한다면, 601 레이어는 603 레이어의 이전 레이어에 해당하며, 603 레이어는 605 레이어의 이전 레이어로 정의될 수 있다.
다만, 도 6(a)에서 나온 레이어들간의 관계는 우선 순위를 가지고 순차적으로 정렬되어 표시되는 경우를 가정하였으나, 랜덤하게 표시되도록 설정되는 경우에는 사용자에게 601 레이어->605 레이어->607 레이어->603 레이어 와 같은 순서로 표시될 수 도 있으며, 이 경우에는 이전 레이어와 다음 레이어가 새로이 정의될 필요가 있다.
도 6(b)는 다중 레이어로 구성된 패션 아이템들에 대하여 사용자의 선호도가 반영될 경우, 이를 다중 레이어를 구성하는 패션 아이템들에 대하여 반영하는 방안을 설명하기 위한 참조도이다. 601 레이어가 사용자에 의한 스와이프 제스처를 입력받은 경우, 601 레이어에 표시된 패션 아이템에 대한 사용자의 선택 여부에 따라 다중 레이어를 구성하는 패션 아이템들에 대한 업데이트가 이루어질 수 있다. 예를 들어, 단순히 상술한 이전 레이어(previous layer), 현재 레이어(current layer), 다음 레이어(next layer)에 대하여 스위칭/대체를 지시하는 경우에는 우선 순위/랜덤 순위에 따라 결정된 레이어상의 패션 아이템을 사용자에게 표시할 수 있다. 그러나, 특정 레이어에 대한 사용자의 선택 혹은 제외에 대한 판단이 이루어진 경우에는 다중 레이어에 포함된 패션 아이템들의 구성을 업데이트 할 수 있다. 예를 들어, 601 레이어에 연관된 특정 패션 아이템 에 대하여 선택(e.g. 최우선 순위로 결정)이 이루어진 경우, 새롭게 추가되는 609 레이어상에는 601 레이어에 연관되었던 특정 패션 아이템의 레이블(e.g. '따뜻함'. '오피스룩'…), 컬러, 소재, 패턴, 길이등을 고려하여 이와 유사한 특성을 가지는 패션 아이템을 연관시킬 수 있다. 반대로, 601 레이어에 연관된 특정 패션 아이템 에 대하여 제외(e.g. 최하 순위로 결정)가 이루어진 경우, 새롭게 추가되는 609 레이어상에는 601 레이어에 연관되었던 특정 패션 아이템의 레이블(e.g. '따뜻함'. '오피스룩'…), 컬러, 소재, 패턴, 길이 중 일부를 제외하여 사용자에게 표시하거나, 혹은 단순히 601 레이어에 연관된 특정 패션 아이템이 다중 레이어에 연관되지 않도록 설정될 수 있다.
또한, 도 6(c)에서와 같이 사용자의 스와이프 제스처에 따라 특정 레이어가 디스플레이 화면의 상단으로 올려지는 경우, 사용자 디바이스는 해당 레이어를 고정해놓고 다른 레이어를 사용자에게 추가적으로 표시할 수 도 있다.
도 7은 본 발명의 일 실시예에 따라 다중 레이어(multi-layers)로 구성된 패션 아이템들을 이용하여 사용자에게 추천 서비스를 제공하는 방안을 설명하기 위한 순서도이다.
먼저 사용자 디바이스는, 특정 패션 아이템을 사용자 패션 데이터베이스로부터 획득(loading)할 수 있다. 여기서, 사용자 패션 데이터베이스는 사용자 디바이스에 저장된 사용자가 식별될 수 있는 이미지로부터 추출된, 사용자가 착용하고 있는 다수의 패션 아이템들에 기반하여 생성될 수 있다(S710).
예를 들어, 사용자 데이터베이스를 통하여 사용자 디바이스에 저장된 이미지들 중에서, 사용자가 식별될 수 있는 이미지들을 이미지 프로세싱하고, 사용자의 얼굴을 기준으로 사용자가 착용하였던 패션 아이템을 추출하여 분류(sorting)한 후 해당 패션 아이템을 기반으로 추천 상품을 제공할 수 있다. 만약, A라는 사용자가 흰색 가방과 갈색 정장을 착용한 사진이 사용자 디바이스에 존재하는 경우, A라는 사용자의 얼굴을 기준으로 '흰색 가방'과 '갈색 정장'이 사용자 패션 데이터베이스에 구분(sorting)하여 저장될 수 있다. 따라서, 사용자가 사용자 패션 데이터베이스에 포함된 갈색 정장에 대하여 잘 어울리는 패션 아이템에 대하여 추천 서비스를 요청하면, 패션 잡지등을 이용하여 학습된 스타일 데이터베이스를 통하여 갈색 정장과 구두가 매칭된 사진을 기초로, 코디네이션 아이템을 추천할 수 있다.
즉, 사용자 디바이스는, 갈색 정장에 대해 스타일 추천을 요청하는 요청을 수신하면, 미리 생성한 스타일 데이터베이스, 상품 데이터베이스 및 사용자 패션 데이터베이스를 참고하여 갈색 정장과 잘 어울리고 사용자 사이즈에 부합하는 구두 카테고리의 아이템을 추천하고, 추천 구두의 온라인 마켓 정보를 함께 제공할 수 있다.
보다 구체적으로 사용자 디바이스는 사용자가 사용자 패션 데이터베이스상의 임의의 패션 아이템을 특정하여 문의하면, 패션 아이템 객체의 이미지 유사도를 기준으로 먼저 스타일 데이터베이스를 검색하여 요청 아이템과 유사한 아이템을 결정할 수 있다. 이후 사용자 디바이스는 스타일 데이터베이스에 포함된 이미지에서 상기 유사한 아이템과 함께 매칭되어 있는 다른 아이템들을 확인하고, 상기 다른 아이템 중에서 사용자 사이즈 정보를 반영하여 코디네이션 아이템을 결정할 수 있다.
이후 사용자 디바이스는 상기 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상품 데이터베이스를 검색하여, 사용자 사이즈 정보에 따라 우선순위를 설정하여 추천 상품을 결정할 수 있다.
이 경우, 사용자 디바이스는 사용자 디바이스에 저장된 모든 이미지를 획득하여, 그 중 사용자가 식별가능한 이미지만을 이용할 수 도 있으나, 사용자 디바이스에 분류(sorting)된 식별 정보에 기반하여 특정 사용자에 대한 이미지만을 획득할 수 도 있다.
예를 들어, 사용자 디바이스에 A라는 사용자의 얼굴을 기준으로 분류된 이미지들이 존재한다면, 해당 이미지들만을 획득하여 이미지 프로세싱을 수행할 수 도 있다. 이는 사용자 디바이스에 불필요한 사진 등이 포함될 수 있기 때문에 분류된 이미지를 사용함으로써 추천 서비스의 정확도를 향상시키고, 서버의 불필요한 처리연산을 방지할 수 있다.
사용자 디바이스는 사용자를 식별할 수 있는 이미지로부터, 사용자가 착용하고 있는 복수의 패션 아이템들을 추출하여 생성된 사용자 패션 데이터베이스를 이용한. 만약, 사용자로부터 웹 페이지(예를 들어, 온라인 쇼핑몰, 의류 브랜드 홈페이지)상에서 확인할 수 있거나 링크된 상품 이미지가 입력되면, 상품 이미지에 대한 패션 아이템이 사용자 패션 데이터베이스에 추가될 수 도 있다. 예를 들어, A라는 사용자가 가방을 구매한 쇼핑몰의 온라인 페이지에서 이미지를 캡쳐해서 사용자 패션 데이터베이스에 추가할 수 도 있으며, 특정 사이트의 링크를 입력하는 경우에는 해당 사이트의 이미지가 사용자 패션 데이터베이스에 추가될 수 도 있다.
또한, 사용자 패션 데이터베이스에는 패션 아이템들에 대한 정보가 포함될 수 있는데, 패션 아이템의 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 사용자가 피팅하였을 경우의 사진등이 포함될 수 있다. 예를 들어, 사용자 패션 데이터베이스에는 사용자가 자신의 상의, 하의, 원피스 등의 필요한 사이즈 정보가 포함될 수 있으며, 실제 옷을 피팅하였을 때의 모습이 사진으로 관리되어, 사용자로 하여금 자신의 체형을 고려한 피팅이 가능하도록 할 수 있다. 혹은, 패션 아이템들에 대하여 각각 #편안, #타이트, #적당 등과 같이 개인적인 느낌을 포함하도록 저장함으로써, 사용자가 추후 패션 아이템의 선택시 핏(fit)을 고려할 때 참고할 수 있다.
나아가, 사용자가 주로 구매하였던 컬러, 소재, 패턴, 길이 및 온라인 쇼핑몰등에서 패션 아이템을 구매하였을 때의 이력을 베이스로 하여 사용자 패션 데이터베이스가 업데이트 될 수 있다.
사용자 디바이스는, 사용자 디바이스로부터 상술한 바와 같이 생성된 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면, 특정 패션 아이템을 상기 사용자 디바이스의 메인 아이템 디스플레이 영역에 표시한다(S720). 이는 디스플레이 화면에 있어서 전체 영역의 일부로 표시될 수 있으며, 경우에 따라서는 메인 아이템의 디스플레이는 생략될 수 도 있다.
사용자 디바이스는, 스타일 데이터베이스로부터 이미지 유사도를 기준으로 특정 패션 아이템과 유사한 아이템을 검색하여 한다. 유사한 아이템이 검색된 경우, 유사한 아이템이 검색된 스타일 이미지로부터 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정한다.
이에 사용자 디바이스는 상품 데이터베이스로부터 이미지 유사도를 기준으로 코디네이션 아이템과 유사한 상품들을 코디네이션 아이템 리스트로 구성하고, 이를 레이어 팝업(layer popup) 형태로 사용자에게 제공할 수 있다(S730). 이 때, 사용자 디바이스는 사용자 패션 데이터베이스에 포함된 패션 아이템들에 대한 정보를 기반으로, 추천 상품을 구매하였을 경우 사용자에게 핏(fit)이 어떨지 예상가능하도록 제공할 수 있다. 만약, 상품 데이터베이스에 상품의 내용에서 추출된 레이블이 있는 경우에는 사용자 패션 데이터베이스에 포함된 패션 아이템들에 대한 정보와 함께 사용자에게 제공될 수 도 있다.
사용자는 사용자 디바이스로부터 추천 상품을 제공받은 경우, 이를 구매하는 선택을 할 수 도 있는데, 이러한 경우 사용자의 선택에 따라 추천 상품에 대한 웹 페이지를 통하여 상품 주문 서비스를 제공할 수 도 있다.
사용자 디바이스는 코디네이션 아이템 영역에 표시된 현재 레이어(current layer)에 구성된 특정 코디네이션 아이템에 대하여 수신된 스와이프 제스처(swipe gesture)에 따라 상기 특정 코디네이션 아이템의 선택 여부를 결정할 수 있다(S740).
여기서, 사용자 디바이스는 스와이프 제스처의 방향이 미리 지정된 방향에 대응하는지 여부에 따라 동작을 달리할 수 있다. 나아가, 미리 지정된 방향에 따른 순위, 선호도등은 어플리케이션 제작자에 의하여 미리 지정될 수 있으나, 사용자에 의하여 재설정될 수 도 있다.
예를 들어, 스와이프 제스처의 방향이 미리 지정된 최우선 순위를 지시하는 방향에 대응되는 경우, 특정 코디네이션 아이템이 선택된 것으로 판단할 수 있으며, 이 경우에는 이미지 유사도를 기준으로 특정 코디네이션 아이템과 유사한 상품을 상기 코디네이션 아이템 리스트에 업데이트를 할 수 있으나, 스와이프 제스처의 방향이 미리 지정된 최우선 순위를 지시하는 방향의 반대 방향인 경우에는, 특정 코디네이션 아이템을 코디네이션 아이템 리스트에서 제외시키거나, 특정 코디네이션 아이템과 연관된 제품 특성(e.g. 레이블, 길이, 옷감 등)을 제외하도록 코디네이션 아이템 리스트를 업데이트할 수 있다.
혹은, 상기 스와이프 제스처의 방향이 미리 지정된 이전 레이어로의 스위칭을 지시하거나, 미리 지정된 다음 레이어로의 스위칭을 지시하는 경우에는 도 6과 관련되어 상술한 설명에서와 같이, 현재 레이어(current layer)의 이전 레이어(previous layer)에 구성된 코디네이션 아이템을 표시하거나, 현재 레이어(current layer)의 다음 레이어(next layer)에 구성된 코디네이션 아이템을 표시할 수 도 있다. 이 때, 사용자의 스와이프 제스처가 사용자의 손가락이 디스플레이상에서 떨어지지 않는 등의 이유로 종료되지 않은 경우에는 도 5와 관련되어 상술한 설명에 따라 스와이프 제스처의 방향에 기반하여, 현재 레이어의 형태를 변형하여 코디네이션 아이템 디스플레이 영역에 표시할 수 도 있다.
사용자 디바이스는 특정 코디네이션 아이템이 선택된 경우, 특정 코디네이션 아이템을 선호 아이템으로 저장할 수 있다(S750). 이러한 선호 아이템은 사용자 디바이스의 선택 아이템 디스플레이 영역에 표시될 수 있으며, 도 4와 관련된 설명에서 상술한 바와 같이 선호 아이템에 대한 입력이 수신되는 경우, 선호 아이템과 연관된 웹 페이지(web page)를 통하여 상품 구매 서비스를 제공할 수 도 있다.
도 8는 본 발명의 일 실시예에 따라, 사용자 디바이스가 서비스 서버를 통하여 패션 아이템 추천 서비스를 제공하는 방법에 대한 설명을 하기 위한 참고도이다. 즉, 사용자 디바이스는 상술한 바와 같이 자체적으로 사용자에게 추천 서비스를 제공할 수 도 있지만, 보다 많은 데이터를 이용하여 보다 적합한 서비스를 제공하기 위하여 서비스 서버등을 통하여 추천 서비스를 제공할 수 도 있다.
먼저, 본 발명에 따른 추천 서비스를 제공하기 위하여 서비스 서버는 사용자 디바이스로부터 사용자를 식별할 수 있는 이미지를 획득하여 사용자 패션 데이터 베이스를 생성한다(S810). 이미지를 획득하는 방법은 사용자 디바이스로부터 이미지를 획득할 수 도 있고, 사용자로부터 웹 페이지(예를 들어, 온라인 쇼핑몰, 의류 브랜드 홈페이지)상에서 확인할 수 있거나 링크된 상품 이미지가 입력될 수 도 있다. 본 발명에서 사용자 패션 데이터베이스에는 이미지로부터 추출한 패션 아이템이 저장될 수 있으며, 나아가 사용자 패션 데이터베이스는 패션 아이템 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 사용자가 피팅하였을 경우의 이미지 정보가 포함되거나, 사용자의 구입 데이터, 열람 시간 데이터 등 사용자의 취향을 추정할 수 있는 정보, 사용자의 사이즈 정보, 패션 아이템에 대한 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함될 수 있다.
혹은, 사용자 패션 데이터베이스는 사용자 식별 정보, 사용자 사이즈를 추정하기 위한 사용자 행동 정보, 행동 정보로부터 추정한 사용자 사이즈 및 사용자 디바이스로부터 직접 수신한 사용자 사이즈 정보를 포함할 수 있다.
예를 들어 서비스 서버는 사용자 디바이스에 사용자의 나이, 성별, 직업, 관심 패션 분야, 기보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 사이즈 정보를 생성하고 이를 상기 사용자 패션 데이터 베이스에 반영할 수 있다.
서비스 서버는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 요청 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 사이즈를 추정하기 위한 사용자 행동 정보를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 도 있다.
또한, 서비스 서버는, 사용자의 체형 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 예를 들어 사용자 디바이스에서 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 서비스 서버에 전송하면, 서비스 서버는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐 만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다.
또한, 서비스 서버는, 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. 예를 들어 사용자 디바이스에서 온라인 마켓을 통한 패션 아이템 열람 또는 구매가 진행되면, 서비스 서버는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다.
특히 본 발명의 실시예를 따르는 서비스 서버는 인간의 느낌에 해당하는 사용자의 취향을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 패션 데이터베이스에 반영하는 특징이 있다.
예를 들어, 서비스 서버는 사용자의 행동 정보로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 요청 아이템, 구매 아이템 등 사용자 행동 정보에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 정보에 포함되는 패션 아이템들의 외관, 느낌 등의 룩앤필, 트랜드에 대한 정보로 생성할 수 있다.
사용자 행동 정보로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 서비스 서버는 이를 조합하여 사용자 사이즈를 추정하는 사용자 사이즈 정보를 생성하여 사용자 패션 데이터베이스에 저장할 수 있다. 상기 사용자 패션 데이터베이스에 포함된 사용자 사이즈 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 상품에 대한 노출 우선순위 설정에 사용될 수 있다.
서비스 서버는 사용자 디바이스로부터 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면, 스타일 데이터베이스로부터 이미지 유사도를 기준으로 특정 패션 아이템과 유사한 아이템을 검색한다(S820). 예를 들어, 사용자는 사용자 디바이스의 특정 패션 아이템의 사진을 선택하여, 해당 패션 아이템의 상품 정보를 요청하거나 또는 그것과 잘 어울릴만한 코디네이션 아이템 추천을 요청하는 요청을 서비스 서버에 전송할 수 있다. 여기서, 사용자 디바이스는 디스플레이된 이미지에 미리 설정된 범주의 객체가 포함되어 있는지 여부를 먼저 판단하고, 객체를 특정하여 해당 객체를 특정 패션 아이템으로 특정할 수 도 있다. 나아가 이미지에 복수의 패션 아이템에 대한 객체가 포함된 경우, 각각의 객체를 특정하고, 사용자가 선택한 객체에 대한 요청만 전송하도록 동작될 수도 있다.
스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다. 스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해놓은 이미지 등을 예시할 수 있다.
따라서, 스타일 이미지는, 본 발명의 실시예를 따르는 스타일 데이터베이스에 저장되어, 특정 아이템과 잘 어울리는 다른 아이템을 결정하는데 사용될 수있다. 이에 따르면 스타일 이미지는 일반적으로 잘 어울린다는 인간의 느낌을 컴퓨터가 이해할 수 있는 참고 자료로 활용될 수 있다. 임의의 아이템과 잘 어울린다는 것은 인간의 느낌에 대한 것이기 때문에, 어떤 아이템에 대해 사람의 개입없이 잘 어울리는 다른 아이템을 컴퓨터가 추천하기 위해서는 복수의 패션 아이템의 매칭에 대해 학습된 기계학습 프레임워크가 필요할 것이다. 이를 위하여 본 발명의 실시예를 따르는 서비스 서버는 복수의 패션 아이템이 전문가 또는 준전문가에 의해 조합되어 사람이 착용한 스타일 이미지를 수집하고 이를 스타일 데이터베이스로 생성할 수 있다. 나아가 서비스 서버는 상기 스타일 데이터베이스를 기계학습 프레임워크에 적용하여 상기 프레임워크를 학습시킬 수 있다. 예를 들어 파란 셔츠와 갈색 타이가 매칭된 대량의 스타일 이미지를 학습한 기계 학습 프레임워크는 파란 셔츠에 대한 요청에 대해 코디네이션 아이템으로 갈색 타이를 추천할 수 있을 것이다.
또한, 스타일 데이터베이스를 구성하기 위하여 서비스 서버는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다.
따라서, 서비스 서버는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다. 예를 들어, 서비스 서버는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다.
스타일 이미지는 요청 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다.
이후 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. 보다 구체적으로, 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다.
본 발명의 실시예를 따르면, 서비스 서버는 스타일 레이블을 미리 정의하고, 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
본 발명의 다른 실시예를 따르면, 서비스 서버는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다.
한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.
이에 서비스 서버는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다.
한편, 서비스 서버는 단계는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 도 있다. 예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다.
따라서 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다.
본 발명의 다른 실시예를 따르면, 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다.
즉, 본 발명에 따른 서비스 서버는 수신한 요청에 포함된 특정 패션 아이템 객체를 프로세싱하고, 이미지 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 즉, 서비스 서버는 검색 대상으로 특정된 이미지 객체를 프로세싱하여 유사한 아이템을 스타일 데이터베이스에서 검색할 수 있다.
이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 요청 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.
이후 서비스 서버는 요청 객체 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 이는 요청 이미지와 유사한 아이템을 스타일 데이터베이스에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것으로, 예를 들어 서비스 서버는 요청 객체 이미지와 스타일 이미지에 포함된 패션 아이템 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 요청 이미지의 특징 값을 가공하고, 요청 이미지와 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다.
한편, 본 발명의 선호되는 실시예를 따르면, 서비스 서버는 요청 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.
예를 들어 서비스 서버는 요청 이미지와 스타일 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.
또 다른 예로 서비스 서버는 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다.
예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 이미지로부터 스타일 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 요청과 이미지 유사도를 기준으로 유사 아이템을 특정할 수 있다. 물론 서비스 서버는 요청 이미지로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스에서 요청 이미지와 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다.
예를 들어 요청에 포함된 이미지에 나뭇잎 무늬 원피스가 있는 경우, 서비스 서버는 트로피컬이라는 레이블을 요청으로부터 추출할 수 있다. 이후 서비스 서버는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다.
이후 서비스 서버는 스타일북에서 검색된 유사 아이템을 포함하며, 유사 아이템이 다른 패션 아이템들과 조합되어 있는 스타일 이미지를 사용자 디바이스에 제공할 수 있다. 나뭇잎 무늬 원피스가 있는 위의 예에서, 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 스타일 이미지를 사용자에게 제공할 수 있다.
서비스 서버는 특정 패션 아이템과 유사한 아이템이 스타일 데이터베이스에서 검색되면, 상기 유사한 아이템과 함께 조합되어 스타일 이미지에 포함된 다른 카테고리의 패션 아이템을 확인하여 코디네이션 아이템을 결정한다(S830).
즉, 사용자가 문의한 특정 패션 아이템을 스타일 데이터베이스에서 이미지 유사도를 기준으로 검색하고, 유사한 아이템이 포함된 스타일 이미지에는 유사한 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 추천 아이템으로 고려할 수 있다. 이는 본 발명의 실시예를 따르는 서비스 서버가 스타일 이미지에서 요청 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울리는 것으로 학습되어 있기 때문이다.
서비스 서버는 스타일 데이터베이스를 이용하여 코디네이션 아이템이 결정되면, 상품 데이터베이스로부터 코디네이션 아이템과 유사한 상품들을 추천 상품으로 결정한다(S840).
상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있으며, 상품의 이미지를 기초로 상품 정보를 구성되는 특징이 있다.
즉, 서비스 서버는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.
예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.
서비스 서버는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다.
본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 요청으로 활용할 수 있으며, 이를 위해 서비스 서버는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.
본 발명의 선호되는 실시예를 따르면 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화(indexing)할 수 있다.
보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.
나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.
상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.
보다 구체적으로, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
또는, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.
이에 따라, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.
또는, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.
이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.
또한, 서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다.
한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.
나아가 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다. 예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. 이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.
따라서, 서비스 서버는 상술한 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 상품 정보를 제공하기 위해, 상기 추천 아이템과 유사한 상품을 상품 데이터베이스에서 검색할 수 있다.
보다 구체적으로 서비스 서버는 스타일 데이터베이스를 이용하여 결정된 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다.
이를 위해 서비스 서버는 코디네이션 아이템 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.
본 발명의 실시예를 따르는 서비스 서버는 객체 이미지의 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 예를 들어 서비스 서버는 추천 아이템 이미지와 상품 데이터베이스에 포함된 상품 이미지의 특징 값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 추천 상품으로 결정할 수 있다.
나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터 베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 추천 아이템 이미지의 특징 값을 가공하고, 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 상품들을 추천 상품으로 결정할 수도 있다.
나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 추천 아이템 객체에서 추출한 레이블을 기반으로 추천 상품을 특정할 수도 있다.
예를 들어 추천 아이템 이미지에서 추출된 객체의 레이블 정보가 여성 상의, 블라우스, 흰색, 줄무늬로 추출된 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.
또 다른 예로 서비스 서버는 유사도가 미리 설정된 범위 이상의 상품들을 추천 후보 상품으로 하고, 추천 후보 상품에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다.
또 다른 예로 추천 아이템의 객체 이미지에서 추출된 레이블 정보가 여성 상의, 블라우스, 긴팔, 레이스, 카라넥인 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의, 블라우스, 긴팔, 레이스, 카라넥을 레이블로 가지는 상품 그룹에 대해서만 추천 아이템과 이미지 유사도를 계산할 수도 있다.
추천 상품이 결정되면, 서비스 서버는 사용자 취향/사이즈 정보를 반영하여 노출의 우선순위를 결정할 수 있다. 예를 들어 사용자가 취향 정보가 오피스룩에 치중되어 있는 경우, 오피스룩 레이블에 가중치를 두어 우선순위를 계산하고 계산된 우선순위에 따라 추천 상품 정보를 제공할 수 있다.
사용자 디바이스는 서비스 서버로부터 획득한 추천 상품들로 코디네이션 아이템 리스트들을 사용자에게 표시할 수 있다(S850). 나아가, 이에 대하여 코디네이션 아이템 리스트들을 사용자에게 표시하여 스와이프 제스처를 통하여 선택받는 동작은 도 7에 상술한 내용을 이용할 수 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
상술한 바와 같은 스와이프 제스처를 이용하여 사용자 디바이스 상에 디스플레이되는 다중 레이어(multi-layers)로 구성된 패션 아이템들에 대하여 추천하는 서비스는 다양한 서비스 분야에 적용하는 것이 가능하다.

Claims (6)

  1. 사용자 디바이스 상에 디스플레이(display)되는 다중 레이어(multi-layers)로 구성된 패션 아이템들을 이용하여 패션 아이템 추천 서비스를 제공하는 방법에 있어서,
    특정 패션 아이템의 카테고리와 상이한 카테고리를 가지는 다수의 코디네이션 아이템들로 구성된 코디네이션 아이템 리스트를 다중 레이어에 연관시키도록 구성하여, 상기 상이한 카테고리에 대응되는 상기 사용자 디바이스의 코디네이션 아이템 디스플레이 영역에 레이어 팝업(layer popup) 형태로 상기 코디네이션 아이템 리스트를 표시하는 단계;
    상기 코디네이션 아이템 영역에 표시된 현재 레이어(current layer)에 구성된 특정 코디네이션 아이템에 대하여 수신된 스와이프 제스처(swipe gesture)에 따라 상기 특정 코디네이션 아이템의 선택 여부를 결정하는 단계; 및
    상기 특정 코디네이션 아이템이 선택된 경우, 상기 특정 코디네이션 아이템을 선호 아이템으로 저장하는 단계를 포함하는,
    패션 아이템 추천 서비스를 제공하는 방법.
  2. 제 1 항에 있어서,
    상기 특정 코디네이션 아이템의 선택 여부를 결정하는 단계는,
    상기 스와이프 제스처의 방향이 미리 지정된 최우선 순위를 지시하는 방향에 대응되는 경우, 상기 특정 코디네이션 아이템이 선택된 것으로 판단하는 단계;
    상기 스와이프 제스처의 방향이 미리 지정된 최우선 순위를 지시하는 방향의 반대 방향인 경우에는, 상기 특정 코디네이션 아이템을 상기 코디네이션 아이템 리스트에서 제외시키는 단계;
    상기 스와이프 제스처의 방향이 미리 지정된 이전 레이어로의 스위칭을 지시하는 방향인 경우, 상기 다중 레이어 상에서 상기 현재 레이어(current layer)의 이전 레이어(previous layer)에 구성된 코디네이션 아이템을 표시하는 단계; 및
    상기 스와이프 제스처의 방향이 미리 지정된 다음 레이어로의 스위칭을 지시하는 방향인 경우, 상기 다중 레이어 상에서 상기 현재 레이어(current layer)의 다음 레이어(next layer)에 구성된 코디네이션 아이템을 표시하는 단계를 포함하는,
    패션 아이템 추천 서비스를 제공하는 방법.
  3. 제 2 항에 있어서,
    상기 특정 코디네이션 아이템이 선택된 것으로 판단하는 단계는,
    상기 특정 코디네이션 아이템에 대한 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 특정 코디네이션 아이템과 유사한 상품을 상기 코디네이션 아이템 리스트에 업데이트시키는 단계를 더 포함하는 것을 특징으로 하는,
  4. 제 1 항에 있어서,
    상기 코디네이션 아이템의 선택 여부를 결정하는 단계는,
    상기 스와이프 제스처의 방향에 기반하여, 상기 현재 레이어의 형태를 변형하여 상기 코디네이션 아이템 디스플레이 영역에 표시하는 단계를 포함하는,
    패션 아이템 추천 서비스를 제공하는 방법.
  5. 제 1 항에 있어서,
    상기 선호 아이템을 상기 사용자 디바이스의 선택 아이템 디스플레이 영역에 표시하는 단계; 및
    상기 선호 아이템에 대한 입력이 수신되는 경우, 상기 선호 아이템과 연관된 웹 페이지(web page)를 통하여 상품 구매 서비스를 제공하는 단계를 더 포함하는,
    패션 아이템 추천 서비스를 제공하는 방법.
  6. 제 1 항에 있어서,
    상기 특정 패션 아이템은,
    상기 사용자 디바이스에 저장된 사용자가 식별될 수 있는 이미지로부터 추출된, 상기 사용자가 착용하고 있는 다수의 패션 아이템들에 기반하여 생성된 사용자 패션 데이터베이스로부터 획득된 것을 특징으로 하는,
    패션 아이템 추천 서비스 제공 방법.
PCT/KR2019/018445 2018-12-26 2019-12-26 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법 WO2020138941A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19905050.1A EP3905180A4 (en) 2018-12-26 2019-12-26 METHOD FOR PROVIDING A FASHION ITEM RECOMMENDATION SERVICE TO A USER BY MEANS OF A SLIDE GESTURE
JP2021536779A JP2022515617A (ja) 2018-12-26 2019-12-26 ユーザにスワイプジェスチャーを用いたファッションアイテム推薦サービスを提供する方法
US17/418,722 US20230289862A1 (en) 2018-12-26 2019-12-26 Method for providing fashion item recommendation service to user by using swipe gesture

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180168857A KR20200079581A (ko) 2018-12-26 2018-12-26 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
KR10-2018-0168857 2018-12-26

Publications (2)

Publication Number Publication Date
WO2020138941A2 true WO2020138941A2 (ko) 2020-07-02
WO2020138941A3 WO2020138941A3 (ko) 2020-08-27

Family

ID=71129831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018445 WO2020138941A2 (ko) 2018-12-26 2019-12-26 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법

Country Status (5)

Country Link
US (1) US20230289862A1 (ko)
EP (1) EP3905180A4 (ko)
JP (1) JP2022515617A (ko)
KR (1) KR20200079581A (ko)
WO (1) WO2020138941A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3896647A4 (en) * 2018-12-14 2022-01-26 FUJIFILM Corporation MINI-BATCH LEARNING DEVICE, OPERATING PROGRAM FOR MINI-BATCH LEARNING DEVICE, OPERATING METHOD FOR MINI-BATCH LEARNING DEVICE, AND IMAGE PROCESSING DEVICE

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110020104A (ko) * 2009-08-21 2011-03-02 유앤코드 주식회사 코디 검색 시스템 및 서비스 제공 방법
CN108629033B (zh) * 2010-01-11 2022-07-08 苹果公司 电子文本的操纵和显示
WO2015063955A1 (ja) * 2013-11-01 2015-05-07 正典 戦 コーディネート提案システム、コーディネート提案方法、コンピュータプログラム、及びそのプログラムを記録した記録媒体
US10115105B2 (en) * 2014-02-21 2018-10-30 Groupon, Inc. Method and system for facilitating consumer interactions for performing purchase commands
KR102031408B1 (ko) * 2014-06-18 2019-10-11 구글 엘엘씨 터치스크린을 이용하여 비디오의 재생을 제어하기 위한 방법, 시스템 및 매체
KR101511050B1 (ko) 2014-07-25 2015-04-13 오드컨셉 주식회사 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
JP6500374B2 (ja) * 2014-09-11 2019-04-17 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP6212013B2 (ja) * 2014-09-29 2017-10-11 富士フイルム株式会社 商品推奨装置及び商品推奨方法
JP6503677B2 (ja) * 2014-09-30 2019-04-24 凸版印刷株式会社 電子チラシ配信装置、電子チラシ配信方法及びプログラム
WO2016097732A1 (en) * 2014-12-16 2016-06-23 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
JP2017182540A (ja) * 2016-03-31 2017-10-05 株式会社電通 ユーザ端末及びコンピュータプログラム
JP6698041B2 (ja) * 2017-02-09 2020-05-27 株式会社Ｚｏｚｏテクノロジーズ 情報処理装置、方法およびプログラム
JP6922400B2 (ja) * 2017-05-15 2021-08-18 富士通株式会社 ファッション分析プログラム、ファッション分析装置及びファッション分析方法
US11417082B2 (en) * 2017-06-16 2022-08-16 Markable, Inc. Image processing system

Also Published As

Publication number Publication date
WO2020138941A3 (ko) 2020-08-27
US20230289862A1 (en) 2023-09-14
JP2022515617A (ja) 2022-02-21
EP3905180A4 (en) 2022-08-24
EP3905180A2 (en) 2021-11-03
KR20200079581A (ko) 2020-07-06

Similar Documents

Publication Publication Date Title
WO2020171535A2 (ko) 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2020085786A1 (ko) 스타일 추천 방법, 장치 및 컴퓨터 프로그램
US20200342320A1 (en) Non-binary gender filter
KR102102571B1 (ko) 온라인 쇼핑 플랫폼을 제공하는 시스템 및 방법
KR102295459B1 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR102037489B1 (ko) 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
KR20220039697A (ko) 코디네이션 패션 아이템을 추천하는 방법
KR20220019737A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
WO2020141802A2 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2020138941A2 (ko) 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
KR102102572B1 (ko) 온라인 쇼핑몰을 제공하는 시스템 및 방법
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
WO2021215758A1 (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
KR102378072B1 (ko) 코디네이션 패션 아이템을 추천하는 방법
WO2020141799A2 (ko) 사용자에게 캘린더 데이터를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
WO2021153964A1 (ko) 패션 상품 추천 방법, 장치 및 시스템
KR102260683B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2021107556A1 (ko) 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치
WO2020141803A2 (ko) 사용자에게 패션 아이템 추천 서비스를 제공하는 방법
US11645837B1 (en) System for constructing virtual closet and creating coordinated combination, and method therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19905050

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2021536779

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019905050

Country of ref document: EP

Effective date: 20210726