WO2020141754A1 - 안면착용 제품 추천 방법 및 그 장치 - Google Patents

안면착용 제품 추천 방법 및 그 장치 Download PDF

Info

Publication number
WO2020141754A1
WO2020141754A1 PCT/KR2019/017648 KR2019017648W WO2020141754A1 WO 2020141754 A1 WO2020141754 A1 WO 2020141754A1 KR 2019017648 W KR2019017648 W KR 2019017648W WO 2020141754 A1 WO2020141754 A1 WO 2020141754A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
information
user
wearing
wearing product
Prior art date
Application number
PCT/KR2019/017648
Other languages
English (en)
French (fr)
Inventor
이준호
Original Assignee
이준호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이준호 filed Critical 이준호
Priority to KR1020207000538A priority Critical patent/KR102325829B1/ko
Publication of WO2020141754A1 publication Critical patent/WO2020141754A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present invention relates to a method and apparatus for recommending facial wear products. More specifically, it relates to a method and apparatus for providing recommendation information of a face-wearing product suitable for a user's face shape using augmented reality technology.
  • a face-wear product such as glasses or sunglasses
  • the user first considers basic conditions such as frequency and price.
  • the user considers a recently fashionable design or a design suitable for his/her face shape, but it is not easy to choose a product suitable for himself in situations where he/she is trying to wear glasses of various designs directly or is difficult to receive advice from an expert.
  • Technical problem to be solved by the present invention is to provide a face-wearing product recommendation method and apparatus for analyzing a face image of a user and recommending a face-wearing product most suitable for a user's face shape.
  • Another technical problem to be solved by the present invention is to provide a face-wearing product recommendation method and apparatus for recommending a face-wearing product suitable for a user's face shape in consideration of online users' reactions and interests in the face-wearing product. Is to do.
  • Another technical problem to be solved by the present invention is a face-wearing product recommendation method and apparatus for recommending a face-wearing product suitable for a user's face using augmented reality technology that provides an effect as if worn directly on a user's face Is to provide
  • the face-wearing product recommendation method for solving the above technical problem is a method performed by the face-wearing product recommendation device.
  • the face-wearing product recommendation device When a face image is received from a user terminal, the face-wearing product recommendation device is recognized by a face image. Generating a plurality of point coordinates for each site; A face-wearing product recommendation device generating information on the ratio of the position, size, and angle of each part using a plurality of point coordinates for each of the plurality of parts; Generating gender and age estimation information using the information of the ratio; Assigning a face type of the user based on the information of the head and neck ratio and gender and age estimation information; And providing recommendation information of at least one face-wearing product corresponding to the assigned user's face type to the user terminal.
  • a device for recommending a face-worn product for solving the above technical problem includes: one or more processors; A network interface communicating with a plurality of user terminals; A memory for loading a computer program executed by the processor; And storage for storing a computer program, the computer program comprising: an operation of generating a plurality of point coordinates for each of a plurality of parts recognized from the received face image when the face image is received from the user terminal; An operation of generating information on the ratio of the position, size, and angle of each part using a plurality of point coordinates for each of the plurality of parts; An operation for generating gender and age estimation information using the information of the equipment ratio; An operation of assigning a user's face type based on the information of the head and neck ratio and gender and age estimation information; And an operation of providing recommendation information of at least one face-wearing product corresponding to the assigned user's face type to the user terminal.
  • the user's satisfaction can be increased by recommending not only an online response to the product, but also a fashion design and a user's preference.
  • FIG. 1 is a block diagram of a system for recommending a face-wearing product according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a device for recommending a face-wearing product according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for recommending a face-wearing product according to an embodiment of the present invention.
  • FIG. 4 illustrates an example of generating a plurality of point coordinates from a user's face image according to an embodiment of the present invention.
  • FIG. 5 shows an example of correcting a plurality of point coordinates in a horizontal state according to an embodiment of the present invention.
  • FIG. 6 is a view showing an example of calculating the position of the neck ratio according to an embodiment of the present invention.
  • FIG. 7 is a view showing an example of calculating the size of the neck ratio according to an embodiment of the present invention.
  • FIG. 8 is a view showing an example of calculating the angle of the neck ratio according to an embodiment of the present invention.
  • 9 is an example of estimating gender and age on the basis of information on the ratio of the eyes according to an embodiment of the present invention.
  • 10 is an example of assigning a user's face type group according to an embodiment of the present invention.
  • 11 is an example of collecting behavioral data related to products of users according to an embodiment of the present invention.
  • FIG. 13 is an example in which a face-wearing product corresponding to a face type according to an embodiment of the present invention is recommended as an augmented reality technology.
  • FIG. 14 is an example in which a virtual cosmetic shape corresponding to a face type according to an embodiment of the present invention is provided as an augmented reality technology.
  • the product recommendation system for face-wearing may include a face-wearing product recommendation device 100, a user terminal 200, and an external server 300.
  • the external server 300 may include an SNS server 301, a shopping mall server 302, and a search server 303.
  • the face wearing product recommendation device 100, the user terminal 200, and the external server 300 may be implemented as a computing device capable of network communication with each other.
  • the face wearing product recommendation device 100 is a fixed computing device, and may be implemented as, for example, a server device, but embodiments of the present invention are not limited thereto.
  • the user terminal 200 may be implemented as, for example, a mobile computing device such as a smart phone, a tablet PC, a laptop PC, a PDA, or a fixed computing device such as a personal desktop PC.
  • the external server 300 is also a fixed computing device, and may be implemented as, for example, a server device.
  • the face-wearing product recommendation device 100 may control the overall operation of the face-wearing product recommendation system and store various information necessary to recommend the face-wearing product to the user terminal 200.
  • the face-wearing product recommendation apparatus 100 may provide a face-wearing product recommendation software (see reference numeral '105' in FIG. 2) and user information (reference number '106 in FIG. 2) for providing a method according to an embodiment of the present invention. 'Reference), facial wear product information (see '107' in FIG. 2), and behavior data information (see '108' in FIG. 2).
  • the face-wearing product may include, for example, a product worn around the eyes, such as glasses, sunglasses, and goggles, and a mask product used to cover all or part of the face at a performance or a party.
  • facial wear products may include jewelry products such as earrings worn around the face, LED mask products for managing facial skin, hair bands worn on the head, hats, and other products in the beauty and fashion fields.
  • the face-wearing product may include a virtual cosmetic design related to face shaping and various kinds of cosmetic products for skin and tone makeup of the face.
  • the face-wearing product in the present invention is not limited to such glasses, masks, jewelry, cosmetic design, and cosmetics as described above, and includes all of a wide range of products that can be worn on the face or head in consideration of the user's face shape. Can.
  • the face-wearing product recommendation device 100 may receive a face image (refer to the symbol'M' in FIG. 4) from the user terminal 200.
  • the face image M may be, for example, an image captured by a camera mounted on the user terminal 200 or an image received from another device.
  • the face-wearing product recommendation apparatus 100 may generate a plurality of point coordinates for each of a plurality of parts recognized from the received face image M.
  • the face-wearing product recommendation device 100 may recognize the outline of the face, eyes, nose, and mouth based on the contrast on the face image M. At this time, the face-wearing product recommendation apparatus 100 may set a plurality of coordinates of points corresponding to at least one of upper, lower, left, and center of each recognized part.
  • the face-wearing product recommendation apparatus 100 calculates a degree of inclination of the face using a relationship between a plurality of point coordinates, and corrects a plurality of point coordinates so that the face becomes horizontal using the degree of inclination. can do.
  • the face-wearing product recommendation apparatus 100 may generate information on the ratio of each location, size, and angle by using a plurality of point coordinates for each of the plurality of regions.
  • the position, size, and inclination angle of each part are calculated using X and Y coordinate values of point coordinates for each of the eyes, nose, and mouth parts, and the aspect ratio information including all of the calculated values is provided. Can be created.
  • the apparatus 100 for recommending a face-wearing product may generate gender and age estimation information by using information about the neck ratio.
  • the face-wearing product recommendation device 100 may extract a user sample having a similar position, size, and angle of each of the calculated eyes, nose, and mouth, and estimate gender and age based on the extracted sample. .
  • the apparatus 100 for recommending a face-wearing product may assign a user's face type based on the information of the head and neck ratio and gender and age estimation information.
  • the face-wearing product recommendation apparatus 100 generates a plurality of face type groups that classify a plurality of users according to face types, and sets the plurality of face type groups of users based on the information of the neck ratio and gender and age estimation information. It can be assigned to at least one of the.
  • the face-wearing product recommendation device 100 may provide recommendation information of at least one face-wearing product corresponding to the assigned user's face type to the user terminal 200.
  • the face-wearing product recommendation apparatus 100 may collect and store behavioral data indicating the degree of interest of users for a plurality of face-wearing products in storage (see '104' in FIG. 2).
  • Behavior data may be collected from external servers 300, such as the user terminal 200, the SNS server 301, the shopping mall server 302, and the search server 303, and a plurality of face-wearing products (codes in FIG. 11).
  • 'Refer to '112' may include reaction information (see '113' in FIG. 11), such as selection of users, inquiry, purchase, sharing, and shooting.
  • the behavior data is information collected from the user terminal 200, and the user accesses the website of the face-wearing product recommendation device 100 through the user terminal 200 to search for a specific product among a plurality of face-wearing products. , It may include a selected history, or a history of wearing a particular product after the user terminal 200 is photographed.
  • the behavior data is information collected from the SNS server 301, and may include a history of recording a comment, a review, or the like, when a plurality of users share a specific product on a social network service (SNS).
  • the behavior data is information collected from the shopping mall server 302, and may include a description of a user purchasing a product recommended in the shopping mall through the face-receiving product recommendation device 100 in the shopping mall.
  • the behavior data is information collected from the search server 303, and may include a history of a plurality of users searching for a product image, or a product wearing picture of stars, etc. through image search.
  • the behavior data may include information on subsequent behavior patterns for a face-wearing product recommended by a user in the past.
  • the face-wearing product recommendation device 100 has a preference score for each of a plurality of face-wearing products (refer to '122' in Fig. 12) by face type (refer to '121' in Fig. 12) based on the stored behavior data. (See '123'), and may provide recommendation information (see '124' in FIG. 12) of the face-wearing product corresponding to the user's face type based on the preference score 123.
  • the face-wearing product recommendation device 100 provides an image of a face-wearing product using augmented reality technology when providing recommendation information of at least one face-wearing product corresponding to a user's face type (symbol of FIG. 13) '131', '132', and '133') may be superimposed on the face image M and displayed.
  • the recommended face-wearing products images 131, 132, and 133 may be selectively displayed on the face image M according to a user input, such as scrolling in a horizontal direction.
  • the face-wearing product recommendation device 100 detects the eye area on the face image M photographed through the camera in the user terminal 200 for storage of augmented reality (AR) technology, and stores The virtual wearing state may be displayed by matching the 2D or 3D image of the face-worn product previously stored in the 104 to the eye region of the face image M.
  • AR augmented reality
  • the face-wearing product recommendation device 100 may reflect the user's preferred style information when providing the face-wearing product recommendation information.
  • the face-wearing product recommendation device 100 stores the usage history data of the face-wearing product previously used by the user, generates the user's preferred style information based on the usage history data, and reflects it in the recommendation information of the product can do.
  • the face-wearing product recommendation device 100 may provide a user interface to select a desired option according to a situation or a product type to a user for product recommendation.
  • a UI User Interface
  • contextual options such as work, school, travel, party, meeting, and lecture
  • form-specific options such as oval, round, square, dragonfly, and butterfly
  • FIG. 2 is a block diagram of a device for recommending a face-wearing product according to an embodiment of the present invention.
  • the face wearing product recommendation device 100 loads a computer program performed by the processor 101, the network interface 102 communicating with the one or more processors 101, the user terminal 200, and the external server 300.
  • the processor 101 controls the overall operation of each component of the face-wearing product recommendation device 100.
  • the processor 101 may include a CPU (Central Processing Unit), an MPU (Micro Processor Unit), an MCU (Micro Controller Unit), or any type of processor well known in the art. Further, the processor 101 may perform operations on at least one application or program for executing the method according to embodiments of the present invention.
  • the apparatus 100 for recommending a face-wearing product may include one or more processors.
  • the network interface 102 supports wired/wireless Internet communication of the face-wearing product recommendation device 100.
  • the network interface 102 may support various communication methods in addition to the Internet, which is a public communication network.
  • the network interface 102 may comprise a communication module well known in the art.
  • the memory 103 stores various data, commands and/or information. Memory 103 may load one or more programs 105 from storage 104 to execute methods in accordance with embodiments of the present invention. RAM is shown as an example of the memory 103 in the illustrated configuration.
  • the storage 104 may temporarily store the one or more programs 105, user information 106, face-wearing product information 107, and behavioral data information 108.
  • a face-wearing product recommendation software 105 is illustrated as an example of the one or more programs 105.
  • the face wearing product recommendation software 105 may be implemented as an app installed and executed on the user terminal 200.
  • the storage 104 is a non-volatile memory such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EPMROM), a flash memory, a hard disk, a removable disk, or well in the art. And any known form of computer-readable recording media.
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EPMROM electrically erasable programmable ROM
  • flash memory a hard disk, a removable disk, or well in the art.
  • hard disk a hard disk
  • removable disk or well in the art.
  • any known form of computer-readable recording media any known form of computer-readable recording media.
  • the face-wearing product recommendation software 105 may be an agent installed in the user terminal 200 as well as the face-wearing product recommendation device 100 according to an embodiment of the present invention.
  • the user information 106 is basic information of users accessing the face-wearing product recommendation device 100, for example, user's login information, facial information analyzed from a face image, gender and age estimation information, and a history of using the face-wearing product. Information, and the like.
  • the face-wearing product information 107 includes basic information about face-wearing products that provide a recommended service, and may include, for example, a product registration date, identification number, product name, classification, product image information, and company information. .
  • the behavior data information 108 may include user reaction information on the face-wearing product collected from the user terminal 200 and the external server 300.
  • the behavior data information 105 is a user's terminal 200 through which the user selects or shoots a specific product among various types of eyewear products, the user shares the product on SNS, or records comments, reviews, etc. It may include all information, such as information purchased by the user through the shopping mall.
  • the behavior data information 105 may include information regarding a user's behavior pattern for a product previously recommended by the user.
  • the product that the user was recommended by using information such as the purchase history of the eyeglasses previously recommended by the user, the number of times the wearer has taken a picture after purchase, the history shared on the SNS, the end of the app, etc. Satisfaction can be determined.
  • the apparatus 100 for recommending facial wear may include an output unit for outputting a user interface according to an embodiment of the present invention, for example, a display unit or an audio output unit. have.
  • FIG. 3 is a flowchart of a method for recommending a face-wearing product according to an embodiment of the present invention.
  • the face-recommended product recommendation device 100 receives a plurality of parts recognized from the received face image M Multiple point coordinates can be generated for each.
  • the operation S10 is based on the contrast on the face image M, and recognizes the outer, eye, nose, and mouth parts of the face, and at least one of upper, lower, left, and right centers of each recognized part. And setting corresponding plurality of point coordinates.
  • the operation S10 may further include an operation of calculating the degree of inclination of the face using a relationship between a plurality of set point coordinates, and an operation of correcting a plurality of point coordinates so that the face is in a horizontal state. .
  • the face-wearing product recommendation device 100 may generate information on the ratio of the position, size, and angle of each part using a plurality of point coordinates for each of the plurality of parts.
  • the operation S20 is an operation of calculating the positions of each of the eyes, nose, and mouth using X and Y coordinate values of a plurality of point coordinates on the face image M, and each of the eyes, nose, and mouth And calculating an inclined angle of each of the eyes, nose, and mouth.
  • the face-wearing product recommendation device 100 may generate gender and age estimation information by using the information of the neck ratio.
  • operation S30 extracts a user sample having similar positions, sizes, and angles of the eyes, nose, and mouth calculated in operation S20, and estimates gender and age based on the sample. It can contain.
  • the face-wearing product recommendation device 100 may assign a user's face type based on the neck ratio information and gender and age estimation information.
  • the operation S40 generates a plurality of face type groups in which a plurality of users are classified according to face types, and a user based on the information of gender ratio and gender and age estimation information generated in the operations S20 and S30. It may include the operation of assigning to at least one of the plurality of face type groups.
  • the face-wearing product recommendation device 100 may provide the user terminal 200 with recommendation information of at least one face-wearing product corresponding to the user's face type assigned in operation S40.
  • the operation S50 collects and stores behavioral data indicating a user's interest in a plurality of face-wearing products, and a preference score for each of the plurality of face-wearing products for each face type based on the stored behavioral data. It may include the operation of providing and recommendation information of the face-wearing product corresponding to the user's face type based on the preference score.
  • the behavior data may include reaction information such as selection, inquiry, purchase, sharing, and shooting of users for each of the plurality of face-wearing products.
  • the behavior data may include information on subsequent behavior patterns for the face-wearing product recommended by the user.
  • the operation S50 may include an operation of superimposing and displaying the images 131, 132, and 133 of at least one face-wearing product on the face image M.
  • FIG. 4 illustrates an example of generating a plurality of point coordinates from a user's face image according to an embodiment of the present invention.
  • the example illustrated in FIG. 4 corresponds to operation S10 of FIG. 3 described above, and the face wearing product recommendation apparatus 100 generates a plurality of point coordinates for the face image M received from the user terminal 200 Shows the UI (User Interface).
  • UI User Interface
  • the face-wearing product recommendation device 100 recognizes each of the eyes, nose, and mouth parts based on the contrast on the face image M, and corresponds to at least one of the top, bottom, left, and center of each part divided by the contrast By extracting the points, a total of 25 point coordinates (P1 to P25) can be set. At this time, a total of 25 point coordinates may include 8 outer points of the face, 4 left eyes, 4 right eyes, 3 noses, and 6 mouth coordinates.
  • the left and right point coordinates P1 and P4 of the right eye may be set as left and right endpoints in which a white region starts in search of a region in which black and white contrast is most pronounced.
  • the upper and lower point coordinates P3 and P4 of the right eye may be set as upper and lower endpoints at which the blackest region ends up and down from the middle point of the left and right (P1 and P4) of the right eye.
  • the coordinates of the upper point of the nose may be set to the bottom point where the bright area ends by finding a bright area between two eyes.
  • the left and right point coordinates P6 and P7 of the nose may be set as points of an area in which the change of the business card becomes severe while going from left to right in the upper point P5 of the nose.
  • the left and right point coordinates P8 and P9 of the mouth may be set to the point where the area ends to the left and right in search of a dark area while descending a certain length below the left and right sides P6 and P7 of the nose.
  • the upper and lower center point coordinates P10 and P11 of the mouth may be set as upper and lower endpoints at which the dark areas between the left and right mouths P8 and P9 start.
  • the upper and lower point coordinates of the mouth (P12, P13) may be set to a point that starts to deviate significantly from the average color value of the upper lip while going up and down from the upper and lower center points (P10, P11) of the mouth.
  • the point coordinates (P18 to P25) of the outer periphery of the face may be set to eight points of an area in which contrast is apparent after a certain margin in an area surrounding each part of the eye, nose, and mouth.
  • FIG. 5 shows an example of correcting a plurality of point coordinates in a horizontal state according to an embodiment of the present invention.
  • the example shown in FIG. 5 corresponds to the operation S10 of FIG. 3, and the face wearing product recommendation device 100 horizontally corrects a plurality of point coordinates P1 to P25 generated from the face image M in FIG. 4. Yes.
  • the face-wearing product recommendation device 100 calculates the degree of inclination of the face by using the relationship between the plurality of point coordinates P1 to P25, and the plurality of point coordinates P1 to P so that the face becomes horizontal according to the degree of inclination. P25) can be corrected.
  • the straight line distance between the point coordinates of each part and the upper point (P5) of the nose is a hypotenuse
  • the distance between the Y coordinate between the point coordinates of each part and the upper point (P5) of the nose is a hypotenuse
  • the distance between the Y coordinate between the point coordinates of each part and the upper point (P5) of the nose is a hypotenuse
  • the distance between the Y coordinate between the point coordinates of each part and the upper point (P5) of the nose and the left and right end points
  • the left and right end points Correct the difference between the angles of the trigonometric function (sin ⁇ ) calculated by taking the distance between the average of the Y coordinates of the left and right end points (P1, P2) of the right eye and the Y coordinate of the upper point (P5) of the nose as the height, respectively.
  • the slope of the entire face can be corrected.
  • the distance between the center point of the right and left (P1, P2) of the right eye and the nose upper point (P5) is the hypotenuse (L1), and the Y coordinate of the center point of the right and left (P1, P2) of the right eye and the upper point of the nose (P5) )
  • the first sin ⁇ value (R1) of the trigonometric function with the distance between the Y coordinates as the height, Y of the hypotenuse (L1), two points on the right and left (P1, P2) and two points on the left eye (P14, P15).
  • the second sin ⁇ value (R2) is calculated by taking the distance between the point that becomes the average of the coordinates and the Y coordinate of the nose point (P5) as the height, and how much the face is tilted from the horizontal through the difference between the angles (R2-R1). Can be calculated.
  • the degree of inclination of the face in the same manner for other parts that is, the point coordinates of the left eye or mouth, etc., as calculated by calculating the degree of inclination of the face through the relationship with the center point of the right eye based on the nose top point P5 Can be calculated.
  • the face is leveled by recalculating the X and Y coordinates of the plurality of point coordinates P1 to P25 using this. Can be corrected.
  • FIG. 6 is a view showing an example of calculating the position of the neck ratio according to an embodiment of the present invention.
  • the example shown in FIG. 6 corresponds to operation S20 of FIG. 3 described above, and is an example in which the face wearing product recommendation device 100 calculates the location of each part of the face using a plurality of point coordinates.
  • the face-wearing product recommendation device 100 calculates the maximum and minimum values of each of the X and Y coordinates for the entire plurality of point coordinates P1 to P25 on the face image M, and uses Equation 1 below to calculate the eye. , The horizontal and vertical position of each part of the nose and mouth can be calculated.
  • the X and Y coordinates of the center point P61 of the right eye and the maximum and minimum values of the X and Y coordinates of the plurality of point coordinates P1 to P25 according to Equation 1 above Through the relationship, the horizontal and vertical positions of the right eye can be calculated.
  • FIG. 7 is a view showing an example of calculating the size of the neck ratio according to an embodiment of the present invention.
  • the example illustrated in FIG. 7 corresponds to operation S20 of FIG. 3 described above, and is an example in which the face wearing product recommendation apparatus 100 calculates the size of each part of the face using a plurality of point coordinates.
  • the face-wearing product recommendation device 100 calculates the maximum and minimum values of each of the X and Y coordinates for the entire plurality of point coordinates P1 to P25 on the face image M, and uses the Equation 2 below to calculate the eye. , The horizontal and vertical sizes of each part of the nose and mouth can be calculated.
  • the maximum and minimum values of the X coordinates of the right and left points P1 and P2 of the right eye and the maximum and minimum values of the Y coordinates of the upper and lower points P3 and P4 of the right eye according to Equation 2 above.
  • the horizontal and vertical sizes of the right eye can be calculated through the relationship between the maximum and minimum values of the X and Y coordinates for the entire plurality of point coordinates P1 to P25.
  • FIG. 8 is a view showing an example of calculating the angle of the neck ratio according to an embodiment of the present invention.
  • the example shown in FIG. 8 corresponds to operation S20 of FIG. 3 described above, and is an example in which the face wearing product recommendation device 100 calculates the angle of each part of the face using a plurality of point coordinates.
  • the face wear product recommendation device 100 calculates the angle of the trigonometric function (tan ⁇ ) according to the difference between the X and Y coordinates of the inner point and the outer point of each of the plurality of parts on the face image M. Can be calculated.
  • the inclination angle can be calculated by calculating tan ⁇ of the difference between the X and Y coordinates.
  • FIG. 9 is an example of estimating gender and age on the basis of information on the ratio of the eyes according to an embodiment of the present invention.
  • the example shown in FIG. 9 corresponds to operation S30 of FIG. 3 described above, and shows a step of generating gender and age estimation information by using facial information generated in operation S20 by the face-wearing product recommendation device 100.
  • the face-wearing product recommendation device 100 includes a user's eye, nose, and mouth position, size, and angle data in the storage 104, 90, gender, and age data. (91) can be saved.
  • the face-wearing product recommendation device 100 uses the data stored in the storage 104 as described above, respectively, for each of the eyes, nose, and mouth parts calculated for the face image M in FIGS. 6 to 8.
  • a user sample 92 having the most similar position, size, and inclination angle can be extracted.
  • the user's gender and age may be estimated 93.
  • the user sample 92 may include all of a plurality of user data having similar positions, sizes, and angles of each of the eyes, nose, and mouth parts, and the highest of the plurality of users included in the user sample 92
  • the gender and age can be estimated for the current user by referring to the gender and age information that accounts for the ratio.
  • FIG. 10 is an example of assigning a user's face type group according to an embodiment of the present invention.
  • the example illustrated in FIG. 10 corresponds to the operation S40 of FIG. 3 described above, and the user of the user may use the facial wear product recommendation device 100 based on the information on the gear ratio generated in the operation S20 and the operation S30, and gender and age estimation information. Shows the steps for assigning a face type.
  • the face-wearing product recommendation device 100 is a plurality of faces that classify a group having similar positions, sizes, and angles of eyes, noses, and mouths, based on the information 10 of a plurality of users.
  • the type group 11 can be created.
  • the face wearing product recommendation device 100 uses the position, size, and angle information of each of the eyes, nose, and mouth parts calculated in FIGS. 6 to 8 for the current user, and gender and age estimation information generated in FIG. 9.
  • the plurality of face type groups 11 may be assigned to at least one group 12 having similar information.
  • the user can be assigned to the EDK group.
  • FIG. 11 is an example of collecting behavioral data related to products of users according to an embodiment of the present invention.
  • the example shown in FIG. 11 corresponds to the operation S50 of FIG. 3 described above, and the face wearing product recommendation device 100 corresponds to at least one face wearing product corresponding to the user's face type group 12 assigned in operation S40. Shows the steps to collect action data to provide recommendation information.
  • the face-wearing product recommendation device 100 may collect and store behavioral data 113 indicating the degree of response to the product 112 by date 110 and user 111, and store it in the storage 104. .
  • the behavior data 113 may include reaction information, such as when a user shares a specific product on an SNS, browses or selects a specific product on the web, and photographs and uploads a wearing state of the product. have.
  • the behavior data 113 may include information on a purchase behavior of a product, a number of shots taken after purchase, a history shared on SNS, etc., as the behavior pattern information on a face-wearing product previously recommended by the user.
  • FIG. 12 is an example in which a product preference score is assigned to each face type group according to an embodiment of the present invention.
  • the example shown in FIG. 12 corresponds to the operation S50 of FIG. 3 described above, and the face wearing product recommendation device 100 corresponds to at least one face wearing product corresponding to the user's face type group 12 assigned in operation S40.
  • the recommendation information of 124 it shows a step of assigning a preference score for a product for each face type based on the behavior data.
  • the face-wearing product recommendation device 100 gives a preference score 123 for each product 122 for each user's face type group 121 based on the behavioral data 113 collected in FIG. 11. can do. At this time, the face-wearing product recommendation device 100 may recommend a product having a high preference score 123 for each face type group 121 to the user.
  • the product recommendation information 124 for the EDK group among the face type group 121 may include a product B having a preference score of 432 points among products A, B, and C and a product A having 345 points.
  • FIG. 13 is an example in which a face-wearing product corresponding to a face type according to an embodiment of the present invention is recommended as an augmented reality technology.
  • the example shown in FIG. 13 corresponds to the operation S50 of FIG. 3 described above, and the face wearing product recommendation device 100 recommends at least one face wearing product corresponding to the user's face type group assigned in operation S40 It shows the steps to use augmented reality technology in providing information.
  • the face-wearing product recommendation device 100 extracts recommendation information 124 of the face-wearing product corresponding to the face type group 11 assigned in FIG. 10, and recommends included in the recommendation information 124
  • the images 131, 132, and 133 of the products may be superimposed and displayed on the face image M.
  • the face-wearing product recommendation device 100 detects the eye area on the face image M, and displays the 2D or 3D-type product images 131, 132, and 133 stored in the storage 104.
  • the virtual wearing state may be displayed by matching the eye region of (M).
  • the images (131, 132, 133) of the recommended products are selectively displayed on the face image (M) according to the scroll in the horizontal direction, and the user can experience the effect of wearing directly and select the product that suits him. Can.
  • FIG. 14 is an example in which a virtual cosmetic shape corresponding to a face type according to an embodiment of the present invention is provided as an augmented reality technology.
  • the example shown in FIG. 14 corresponds to the operation S50 of FIG. 3 described above, and the face wearing product recommendation apparatus 100 recommends a virtual cosmetic shape corresponding to the user's face type group assigned in operation S40. Demonstrates the steps for using augmented reality technology.
  • the face wearing product recommendation device 100 extracts recommendation information of a virtual eye forming design corresponding to the face type group 11 assigned in FIG. 10, and includes an eye forming design image included in the recommendation information ( 141 and 142 may be superimposed on the face image M and displayed.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일실시예에 의한 안면착용 제품 추천 방법은, 사용자 단말기로부터 얼굴 이미지가 수신되면, 안면착용 제품 추천 장치가 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계; 안면착용 제품 추천 장치가 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 단계; 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계; 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계; 및 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기로 제공하는 단계를 포함한다.

Description

안면착용 제품 추천 방법 및 그 장치
본 발명은 안면착용 제품 추천 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 사용자의 얼굴 형태에 적합한 안면착용 제품의 추천정보를 증강현실 기술을 이용하여 제공하는 방법 및 장치에 관한 것이다.
일반적으로 안경이나 선글라스와 같은 안면착용 제품을 구매 시, 사용자는 가장 먼저 도수나 가격과 같은 기본적인 조건을 고려하게 된다. 이외에도 사용자는 최근 유행되고 있는 디자인이나 자신의 얼굴 형태에 맞는 디자인을 고려하게 되는데, 여러 디자인의 안경 제품을 직접 착용해보거나 전문가로부터 조언을 받기 어려운 상황에서는 자신에게 어울리는 제품을 고르기가 쉽지 않다.
한편, 사용자의 얼굴 이미지와 안경 이미지를 합성한 가상 착용 서비스를 제공하는 기술들은 이미 알려져 있으나, 단순한 이미지의 결합에 의한 안경 착용 모습은 얼굴 형태를 고려한 것이 아니므로 실제 착용한 모습과는 차이가 있다.
더구나, 본인이 이전에 착용하던 스타일과 유사한 제품을 선호하는 경우 수많은 제품 중 비슷한 스타일의 제품을 찾아내기란 쉽지 않다.
이에, 직접 매장에 가서 안경 제품을 착용해보지 않더라도 온라인 상에서 편리하게 사용자의 얼굴 형태와, 유행 및 사용자의 취향을 고려한 제품의 추천 서비스를 제공하는 플랫폼이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 사용자의 얼굴 이미지를 분석하여 사용자의 얼굴 형태에 가장 적합한 안면착용 제품을 추천하기 위한 안면착용 제품 추천 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 안면착용 제품에 대한 온라인 상 사용자들의 반응 및 관심 정도를 고려하여 사용자의 얼굴 형태에 적합한 안면착용 제품을 추천하기 위한 안면착용 제품 추천 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 사용자의 얼굴에 직접 착용한 듯한 효과를 제공하는 증강현실 기술을 이용하여 사용자의 얼굴에 적합한 안면착용 제품을 추천하기 위한 안면착용 제품 추천 방법 및 그 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 안면착용 제품 추천 방법은, 안면착용 제품 추천 장치에 의해 수행되는 방법으로서, 사용자 단말기로부터 얼굴 이미지가 수신되면, 안면착용 제품 추천 장치가 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계; 안면착용 제품 추천 장치가 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 단계; 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계; 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계; 및 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기로 제공하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 안면착용 제품 추천 장치는, 하나 이상의 프로세서; 복수의 사용자 단말기와 통신하는 네트워크 인터페이스; 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 컴퓨터 프로그램은, 사용자 단말기로부터 얼굴 이미지가 수신되면, 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 오퍼레이션; 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 오퍼레이션; 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 오퍼레이션; 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 오퍼레이션; 및 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기로 제공하는 오퍼레이션을 포함한다.
상기한 바와 같이, 본 발명에 의하면, 모바일 기기를 통해 사용자가 자신의 얼굴 형태에 어울리는 안면착용 제품을 추천 받도록 하는 편리함을 제공할 수 있다.
또한, 본 발명에 의하면, 안면착용 제품의 추천 시, 제품에 관한 온라인 상의 반응뿐만 아니라, 유행하는 디자인, 및 사용자의 취향 등을 고려하여 추천함에 의해 사용자의 만족도를 높일 수 있다.
또한, 본 발명에 의하면, 증강현실 기술을 이용하여 사용자가 직접 제품을 착용한 듯한 효과를 제공함에 의해 사용자가 안면착용 제품을 선택하는데 도움을 줄 수 있다.
도 1은 본 발명의 일실시예에 따른 안면착용 제품 추천 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 안면착용 제품 추천 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 안면착용 제품 추천 방법의 흐름도이다.
도 4는 본 발명의 일실시예에 따른 사용자의 얼굴 이미지로부터 복수의 점 좌표를 생성하는 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 복수의 점 좌표를 수평 상태로 보정하는 예를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 이목구비의 위치를 산출하는 예를 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 이목구비의 크기를 산출하는 예를 도시한 것이다.
도 8은 본 발명의 일실시예에 따른 이목구비의 각도를 산출하는 예를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 이목구비 정보에 기초하여 성별 및 연령을 추정하는 예이다.
도 10은 본 발명의 일실시예에 따른 사용자의 얼굴 유형 그룹을 배정하는 예이다.
도 11은 본 발명의 일실시예에 따른 사용자들의 제품과 관련된 행동 데이터를 수집한 예이다.
도 12는 본 발명의 일실시예에 따른 얼굴 유형 그룹별로 제품 선호도 점수를 부여하는 예이다.
도 13은 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 안면착용 제품을 증강현실 기술로 추천 제공하는 예이다.
도 14는 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 가상 성형 모습을 증강현실 기술로 추천 제공하는 예이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도 1은 본 발명의 일실시예에 따른 안면착용 제품 추천 시스템의 구성도이다. 도 1을 참조하면, 본 발명의 안면착용 제품 추천 시스템은 안면착용 제품 추천 장치(100)와 사용자 단말기(200), 및 외부서버(300)로 구성될 수 있다. 여기서, 외부서버(300)는 SNS서버(301), 쇼핑몰서버(302), 및 검색서버(303) 등을 포함할 수 있다.
도시된 예에서, 안면착용 제품 추천 장치(100)와 사용자 단말기(200), 및 외부서버(300)는 상호간 네트워크 통신할 수 있는 컴퓨팅 장치로 구현될 수 있다.
안면착용 제품 추천 장치(100)는 고정식 컴퓨팅 장치로서, 예를 들어 서버 장치로 구현될 수 있으나, 본 발명의 실시예가 이에 한정되는 것은 아니다. 사용자 단말기(200)는 예컨대, 스마트 폰, 태블릿 PC, 랩톱 PC, PDA 등과 같은 이동식 컴퓨팅 장치, 또는 개인용 데스크톱 PC와 같은 고정식 컴퓨팅 장치 중 어느 하나로 구현될 수 있다. 외부서버(300) 또한 고정식 컴퓨팅 장치로서, 예를 들어 서버 장치로 구현될 수 있다.
안면착용 제품 추천 장치(100)는 안면착용 제품 추천 시스템의 전반적인 동작을 제어하고, 사용자 단말기(200)로 안면착용 제품을 추천하기 위해 필요한 각종 정보를 저장할 수 있다.
예로서, 안면착용 제품 추천 장치(100)는 본 발명의 일실시예에 따른 방법을 제공하기 위한 안면착용 제품 추천 소프트웨어(도 2의 부호 '105' 참조), 사용자 정보(도 2의 부호 '106' 참조), 안면착용 제품 정보(도 2의 부호 '107' 참조), 및 행동데이터 정보(도 2의 부호 '108' 참조) 등을 저장할 수 있다.
안면착용 제품은 예컨대, 안경, 선글라스, 고글 등 눈 주변에 착용하는 제품과, 공연이나 파티 등에서 얼굴 전체 혹은 부분을 가리는데 사용하는 가면(Mask) 제품을 포함할 수 있다. 또한, 안면착용 제품은 얼굴 주변에 착용하는 귀걸이 등의 쥬얼리(Jewelry) 제품과, 얼굴 피부를 관리하기 위한 LED 마스크 제품, 머리 부분에 착용하는 헤어밴드, 모자 등 미용 및 패션 분야의 제품을 포함할 수 있다. 또 다른 예로서, 안면착용 제품은 얼굴 성형과 관련한 가상 성형 디자인과, 얼굴의 피부 및 색조 화장을 위한 다양한 종류의 화장품 제품을 포함할 수 있다.
이외에도, 본 발명에 있어서의 안면착용 제품은 상기와 같은 안경, 가면, 쥬얼리, 성형 디자인, 및 화장품 등에 한정되지 않고 사용자의 얼굴 형태를 고려하여 얼굴이나 머리에 착용할 수 있는 광범위한 제품들을 모두 포함할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 사용자 단말기(200)로부터 얼굴 이미지(도 4의 부호 'M' 참조)를 수신할 수 있다. 얼굴 이미지(M)는 예컨대, 사용자 단말기(200)에 장착된 카메라에 의해 촬영된 이미지 혹은 다른 장치로부터 수신한 이미지일수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 수신된 얼굴 이미지(M)로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성할 수 있다.
예로서, 안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 명암에 기초하여 얼굴의 외곽, 눈, 코, 및 입 부위를 인식할 수 있다. 이 때, 안면착용 제품 추천 장치(100)는 인식된 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 복수의 점 좌표를 설정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 복수의 점 좌표 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하고, 기울어진 정도를 이용하여 얼굴이 수평 상태가 되도록 복수의 점 좌표를 보정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성할 수 있다. 예로서, 눈, 코, 및 입 부위 각각에 대한 점 좌표의 X, Y 좌표값을 이용하여 각 부위의 위치와, 크기, 및 기울어진 각도를 산출하고, 산출된 값을 모두 포함하는 이목구비 정보를 생성할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성할 수 있다. 예로서, 안면착용 제품 추천 장치(100)는 산출된 눈, 코, 및 입 각각의 위치, 크기, 및 각도가 유사한 사용자 표본을 추출하고, 추출된 표본에 기초하여 성별 및 연령을 추정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정할 수 있다. 예로서, 안면착용 제품 추천 장치(100)는 복수의 사용자들을 얼굴 유형에 따라 분류한 복수의 얼굴 유형 그룹을 생성하고, 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자를 복수의 얼굴유형 그룹 중 적어도 하나에 배정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기(200)로 제공할 수 있다.
이를 위해, 안면착용 제품 추천 장치(100)는 복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내는 행동 데이터를 수집하여 스토리지(도 2의 부호 '104' 참조)에 저장할 수 있다.
행동 데이터는 사용자 단말기(200)와 SNS서버(301), 쇼핑몰서버(302), 및 검색서버(303) 등의 외부서버(300)로부터 수집될 수 있고, 복수의 안면착용 제품(도 11의 부호 '112' 참조) 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부 등의 반응 정보(도 11의 부호 '113' 참조)를 포함할 수 있다.
예로서, 행동 데이터는 사용자 단말기(200)로부터 수집되는 정보로서, 사용자가 사용자 단말기(200)를 통해 안면착용 제품 추천 장치(100)의 웹사이트에 접속하여 복수의 안면착용 제품 중 특정 제품을 조회, 선택한 내역이나, 특정 제품을 구매 후 착용한 모습을 사용자 단말기(200)로 촬영한 내역 등을 포함할 수 있다.
다른 예로서, 행동 데이터는 SNS서버(301)로부터 수집되는 정보로서, 다수의 사용자들이 특정 제품을 SNS(Social Network Service) 상에 공유하거나, 댓글, 리뷰 등을 기록한 내역을 포함할 수 있다. 또한, 행동 데이터는 쇼핑몰서버(302)로부터 수집되는 정보로서, 안면착용 제품 추천 장치(100)를 통해 추천 받은 제품을 사용자가 쇼핑몰에서 구매한 내역을 포함할 수 있다.
또 다른 예로서, 행동 데이터는 검색서버(303)로부터 수집되는 정보로서, 다수의 사용자들이 이미지 검색 등을 통해 제품 이미지, 또는 스타들의 제품 착용 사진 등을 검색한 내역을 포함할 수 있다.
일실시예로서, 행동 데이터는, 과거에 사용자가 추천 받았던 안면착용 제품에 대한 이후 행동패턴 정보를 포함할 수도 있다.
안면착용 제품 추천 장치(100)는 저장된 행동데이터에 기초하여 얼굴 유형별(도 12의 부호 '121' 참조) 복수의 안면착용 제품(도 12의 부호 '122' 참조) 각각에 대한 선호도 점수(도 12의 부호 '123' 참조)를 부여하고, 선호도 점수(123)에 기초하여 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천정보(도 12의 부호 '124' 참조)를 제공할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 제공 시, 증강현실 기술을 이용하여 안면착용 제품의 이미지(도 13의 부호 '131', '132', '133' 참조)를 얼굴 이미지(M) 상에 중첩하여 표시할 수 있다.
이 때, 추천되는 안면착용 제품의 이미지(131, 132, 133)는 수평 방향으로의 스크롤과 같은 사용자의 입력에 따라 얼굴 이미지(M) 상에 선택적으로 표시될 수 있다.
구체적으로, 안면착용 제품 추천 장치(100)는 증강현실(AR: Augmented Reality) 기술의 구현을 위해, 사용자 단말기(200)에서 카메라를 통해 촬영되는 얼굴 이미지(M) 상에서 눈 영역을 감지하고, 스토리지(104)에 기 저장되어 있는 안면착용 제품의 2D 또는 3D 이미지를 얼굴 이미지(M)의 눈 영역에 매칭하는 방식으로 가상 착용 상태를 표시할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 안면착용 제품의 추천정보 제공 시, 사용자의 선호 스타일 정보를 반영할 수 있다.
예로서, 안면착용 제품 추천 장치(100)는 사용자가 이전에 사용한 안면착용 제품의 사용 이력 데이터를 저장하고, 사용 이력 데이터에 기초하여 사용자의 선호 스타일 정보를 생성하여, 이를 제품의 추천정보에 반영할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 제품 추천을 위해 사용자에게 상황별 또는 제품 형태별로 원하는 옵션을 선택하도록 사용자 인터페이스를 제공할 수 있다. 예로서, 직장, 학교, 여행, 파티, 모임, 및 강연 등의 상황별 옵션이나, 타원형, 둥근형, 사각형, 잠자리형, 및 버터플라이형 등의 형태별 옵션을 포함하는 UI(User Interface)를 표시하고, 사용자가 옵션을 선택하도록 할 수 있다. 이에 따라, 사용자는 선택한 옵션에 맞는 안면착용 제품을 추천 받을 수 있다.
도 2는 본 발명의 일실시예에 따른 안면착용 제품 추천 장치의 블록도이다.
안면착용 제품 추천 장치(100)는 하나 이상의 프로세서(101), 사용자 단말기(200) 및 외부서버(300)와 통신하는 네트워크 인터페이스(102), 프로세서(101)에 의해 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103), 및 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.
프로세서(101)는 안면착용 제품 추천 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 안면착용 제품 추천 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
네트워크 인터페이스(102)는 안면착용 제품 추천 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 도시된 구성에서 메모리(103)의 예시로 RAM이 도시되었다.
스토리지(104)는 상기 하나 이상의 프로그램(105), 사용자 정보(106), 안면착용 제품 정보(107), 및 행동데이터 정보(108)를 비임시적으로 저장할 수 있다. 도시된 구성에서 상기 하나 이상의 프로그램(105)의 예시로 안면착용 제품 추천 소프트웨어(105)가 도시되었다. 여기서, 안면착용 제품 추천 소프트웨어(105)는 사용자 단말기(200) 상에 설치되어 실행되는 앱(App)으로 구현될 수 있다.
스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
안면착용 제품 추천 소프트웨어(105)는 본 발명의 실시예에 따라, 안면착용 제품 추천 장치(100)뿐만 아니라, 사용자 단말기(200)에도 설치되는 에이전트일 수 있다.
사용자 정보(106)는 안면착용 제품 추천 장치(100)로 접속하는 사용자들의 기본 정보로서, 예컨대 사용자의 로그인 정보, 얼굴 이미지로부터 분석된 이목구비 정보, 성별 및 연령 추정 정보, 및 안면착용 제품의 사용 이력 정보 등을 포함할 수 있다.
안면착용 제품 정보(107)는 추천 서비스를 제공하는 안면착용 제품들에 관한 기본적인 정보를 포함하고, 예컨대 제품의 등록일, 식별번호, 제품명, 분류, 제품 이미지 정보, 및 업체 정보 등을 포함할 수 있다.
행동데이터 정보(108)는 사용자 단말기(200)와 외부서버(300)로부터 수집되는 안면착용 제품에 대한 사용자들의 반응 정보를 포함할 수 있다.
일실시예로서, 행동데이터 정보(105)는 사용자 단말기(200)를 통해 사용자가 다양한 종류의 안경 제품 중 특정 제품을 선택하거나 촬영한 정보, SNS 상에서 사용자가 제품을 공유하거나 댓글, 리뷰 등을 기록한 정보, 및 쇼핑몰을 통해 사용자가 제품을 구매한 정보 등을 모두 포함할 수 있다.
다른 실시예로서, 행동데이터 정보(105)는 사용자가 이전에 추천 받았던 제품에 대한 이후의 사용자의 행동패턴에 관한 정보를 포함할 수 있다. 예로서, 사용자가 이전에 추천 받았던 안경 제품을 구매한 내역, 구매 후 착용한 모습을 촬영한 횟수, SNS 상에서 공유한 내역, 앱(App) 종료 등의 정보를 이용하여 사용자가 추천 받았던 제품에 대한 만족 여부를 파악할 수 있다.
또한, 도 2의 구성에 도시되지 않았으나, 안면착용 제품 추천 장치(100)는 본 발명의 일실시예에 따른 사용자 인터페이스를 출력하기 위한 출력부, 예를 들면, 디스플레이부 또는 음향 출력부를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 안면착용 제품 추천 방법의 흐름도이다.
도 3에 도시된 바와 같이, 먼저 동작 S10에서, 안면착용 제품 추천 장치(100)는 사용자 단말기(200)로부터 얼굴 이미지(M)가 수신되면, 수신된 얼굴 이미지(M)로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성할 수 있다.
일실시예로서, 동작 S10은, 얼굴 이미지(M) 상의 명암에 기초하여 얼굴의 외곽, 눈, 코 및 입 부위를 인식하는 동작과, 인식된 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 복수의 점 좌표를 설정하는 동작을 포함할 수 있다.
일실시예로서, 동작 S10은, 설정된 복수의 점 좌표 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하는 동작과, 얼굴이 수평 상태가 되도록 복수의 점 좌표를 보정하는 동작을 더 포함할 수 있다.
다음으로, 동작 S20에서, 안면착용 제품 추천 장치(100)는 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성할 수 있다.
일실시예로서, 동작 S20은, 얼굴 이미지(M) 상의 복수의 점 좌표의 X, Y 좌표값을 이용하여 눈, 코, 및 입 각각의 위치를 산출하는 동작과, 눈, 코, 및 입 각각의 크기를 산출하는 동작, 및 눈, 코, 및 입 각각의 기울어진 각도를 산출하는 동작을 포함할 수 있다.
다음으로, 동작 S30에서, 안면착용 제품 추천 장치(100)는 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성할 수 있다.
일실시예로서, 동작 S30은, 동작 S20에서 산출된 눈, 코, 및 입 각각의 위치, 크기, 및 각도가 유사한 사용자 표본을 추출하는 동작과, 표본에 기초하여 성별 및 연령을 추정하는 동작을 포함할 수 있다.
다음으로, 동작 S40에서, 안면착용 제품 추천 장치(100)는 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정할 수 있다.
일실시예로서, 동작 S40은, 복수의 사용자들을 얼굴 유형에 따라 분류한 복수의 얼굴 유형 그룹을 생성하는 동작과, 동작 S20 및 동작 S30에서 생성된 이목구비 정보와 성별 및 연령 추정 정보에 기초하여 사용자를 복수의 얼굴유형 그룹 중 적어도 하나에 배정하는 동작을 포함할 수 있다.
마지막으로, 동작 S50에서, 안면착용 제품 추천 장치(100)는 동작 S40에서 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기(200)로 제공할 수 있다.
일실시예로서, 동작 S50은, 복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내는 행동 데이터를 수집하여 저장하는 동작과, 저장된 행동 데이터에 기초하여 얼굴 유형별 복수의 안면착용 제품 각각에 대한 선호도 점수를 부여하는 동작, 및 선호도 점수에 기초하여 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천 정보를 제공하는 동작을 포함할 수 있다.
여기서, 행동 데이터는, 복수의 안면착용 제품 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부 등의 반응 정보를 포함할 수 있다. 또한, 행동 데이터는, 사용자가 추천 받은 안면착용 제품에 대한 이후 행동패턴 정보를 포함할 수 있다.
일실시예로서, 동작 S50은, 적어도 하나의 안면착용 제품의 이미지(131, 132, 133)를 얼굴 이미지(M) 상에 중첩하여 표시하는 동작을 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자의 얼굴 이미지로부터 복수의 점 좌표를 생성하는 예를 도시한 것이다. 도 4에 도시된 예는 앞서 설명한 도 3의 동작 S10에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 사용자 단말기(200)로부터 수신되는 얼굴 이미지(M)에 대해 복수의 점 좌표를 생성하는 UI(User Interface)를 보여준다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 명암에 기초하여 눈, 코, 및 입 부위 각각을 인식하고, 명암에 의해 구분되는 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 점들을 추출하는 방식으로, 총25개의 점 좌표(P1 ~ P25)를 설정할 수 있다. 이 때, 총 25개의 점 좌표는 얼굴의 외곽 8개, 좌안 4개, 우안 4개, 코 3개, 및 입 6개의 점 좌표를 포함할 수 있다.
일실시예로서, 우안의 좌우 점 좌표(P1, P4)는 흑백 대조가 가장 뚜렷한 부위를 찾아 흰 영역이 시작되는 좌우 끝점으로 설정될 수 있다. 또한, 우안의 상하 점 좌표(P3, P4)는 우안의 좌우(P1, P4) 중간지점으로부터 위 아래로 가장 검은 영역이 끝나는 위, 아래 끝점으로 설정될 수 있다.
일실시예로서, 코의 윗점 좌표(P5)는 두 눈 사이에서 밝은 영역을 찾아 그 밝은 영역이 끝나는 맨 아래의 점으로 설정될 수 있다. 또한, 코의 좌우 점 좌표(P6, P7)는 코의 윗점(P5)에서 좌우 방향으로 가면서 명함의 변화가 심해지는 영역의 점으로 설정될 수 있다.
일실시예로서, 입의 좌우 점 좌표(P8, P9)는 코의 좌우(P6, P7) 밑으로 일정 길이만큼 내려가면서 어두운 영역을 찾아 그 영역이 좌우로 끝나는 점으로 설정될 수 있다. 또한, 입의 중심상하 점 좌표(P10, P11)는 입 좌우(P8, P9) 사이의 어두운 영역이 시작되는 위, 아래 끝점으로 설정될 수 있다. 또한, 입의 상하 점 좌표(P12, P13)은 입의 중심상하 점(P10, P11)에서 위, 아래로 가면서 윗입술 평균 색상값에서 상당히 벗어나기 시작하는 점으로 설정될 수 있다.
일실시예로서, 얼굴 외곽의 점 좌표(P18 ~ P25)는 눈, 코, 입의 각 부위를 둘러싼 영역에 일정 여백 이후로 명암이 분명한 영역의 8개의 점으로 설정될 수 있다.
도 5는 본 발명의 일실시예에 따른 복수의 점 좌표를 수평 상태로 보정하는 예를 도시한 것이다. 도 5에 도시된 예는 도 3의 동작 S10에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 도 4에서 얼굴 이미지(M)로부터 생성한 복수의 점 좌표(P1 ~ P25)를 수평 보정하는 예이다.
안면착용 제품 추천 장치(100)는 복수의 점 좌표(P1 ~P25) 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하고, 기울어진 정도에 따라 얼굴이 수평 상태가 되도록 복수의 점 좌표(P1 ~P25)를 보정할 수 있다.
구체적으로, 각 부위의 점 좌표와 코의 윗점(P5) 사이의 직선거리를 빗변으로 하고, 각 부위의 점 좌표와 코의 윗점(P5) 사이의 Y좌표 사이의 거리 및, 좌안의 좌우 끝점(P14, P15) 및 우안의 좌우 끝점(P1, P2)의 Y좌표의 평균과 코의 윗점(P5)의 Y좌표 사이의 거리를 각각 높이로 하여 산출한 삼각함수(sinθ)의 각도간 차이를 보정값으로 하여 전체 얼굴의 기울기를 보정할 수 있다.
일실시예로서, 우안의 좌우(P1, P2)의 중심점과 코 윗점(P5)간의 거리를 빗변(L1)으로 하고, 우안의 좌우(P1, P2)의 중심점의 Y좌표와 코의 윗점(P5)의 Y좌표간 거리를 높이로 하여 삼각함수 제1 sinθ값(R1)을 산출하고, 상기 빗변(L1)과, 우안의 좌우(P1, P2) 두점 및 좌안 두 점(P14, P15)의 Y좌표의 평균이 되는 지점과 코 윗점(P5)의 Y좌표와의 거리를 높이로 하여 제2 sinθ값(R2)을 산출하여 각도간 차이(R2-R1)를 통해 얼굴 이 수평으로부터 얼마나 기울어져 있는가를 산출할 수 있다.
또한, 코 윗점(P5)을 기준으로 우안의 중심점과의 관계를 통해 얼굴의 기울어진 정도를 산출한 것과 같이, 다른 부위 즉, 좌안 또는 입 등의 점 좌표에 대해서도 동일한 방식으로 얼굴의 기울어진 정도를 산출할 수 있다.
상기와 같이, 얼굴의 각 부위에 대해 기울어진 정도(R2-R1)가 산출되면, 이를 이용하여 복수의 점 좌표(P1 ~ P25)의 X, Y 좌표를 재계산함에 의해 얼굴이 수평 상태가 되도록 보정할 수 있다.
도 6은 본 발명의 일실시예에 따른 이목구비의 위치를 산출하는 예를 도시한 것이다. 도 6에 도시된 예는 앞서 설명한 도 3의 동작 S20에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 복수의 점 좌표를 이용하여 얼굴의 각 부위의 위치를 산출하는 예이다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 복수의 점 좌표(P1~ P25) 전체에 대해 X, Y좌표 각각의 최대값 및 최소값을 산출하고, 아래의 수학식 1을 이용하여 눈, 코, 및 입 각 부위의 가로 및 세로 위치를 산출할 수 있다.
Figure PCTKR2019017648-appb-M000001
Figure PCTKR2019017648-appb-I000001
일실시예로서, 우안의 경우 상기 수학식 1에 따라 우안의 중심점(P61)의 X, Y 좌표와, 복수의 점 좌표(P1~ P25) 전체에 대한 X, Y 좌표의 최대값 및 최소값과의 관계를 통해 우안의 가로 및 세로 위치를 산출할 수 있다.
도 7은 본 발명의 일실시예에 따른 이목구비의 크기를 산출하는 예를 도시한 것이다. 도 7에 도시된 예는 앞서 설명한 도 3의 동작 S20에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 복수의 점 좌표를 이용하여 얼굴의 각 부위의 크기를 산출하는 예이다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 복수의 점 좌표(P1~ P25) 전체에 대해 X, Y좌표 각각의 최대값 및 최소값을 산출하고, 아래의 수학식 2를 이용하여 눈, 코, 및 입 각 부위의 가로 및 세로 크기를 산출할 수 있다.
Figure PCTKR2019017648-appb-M000002
Figure PCTKR2019017648-appb-I000002
일실시예로서, 우안의 경우 상기 수학식 2에 따라 우안의 좌우 점(P1, P2)의 X 좌표의 최대값 및 최소값과, 우안의 상하 점(P3, P4)의 Y 좌표의 최대값 및 최소값과, 복수의 점 좌표(P1~ P25) 전체에 대한 X, Y 좌표의 최대값 및 최소값과의 관계를 통해 우안의 가로 및 세로 크기를 산출할 수 있다.
도 8은 본 발명의 일실시예에 따른 이목구비의 각도를 산출하는 예를 도시한 것이다. 도 8에 도시된 예는 앞서 설명한 도 3의 동작 S20에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 복수의 점 좌표를 이용하여 얼굴의 각 부위의 각도를 산출하는 예이다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 복수의 부위 각각의 내측점과 외측점의 X, Y 좌표 간 차이에 따른 삼각함수(tanθ)의 각도를 산출함에 의해 각 부위에 대한 각도를 산출할 수 있다.
일실시예로서, 우안의 경우 외측점(P1)과 내측점(P2) 각각의 Y좌표가 동일한 경우 수평으로 판단할 수 있고, Y좌표의 값이 동일하지 않은 경우 외측점(P1) 및 내측점(P2) 각각의 X, Y좌표 간 차이의 tanθ를 산출하여 그 기울어진 각도를 산출할 수 있다.
도 9는 본 발명의 일실시예에 따른 이목구비 정보에 기초하여 성별 및 연령을 추정하는 예이다. 도 9에 도시된 예는 앞서 설명한 도 3의 동작 S30에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S20에서 생성한 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계를 보여준다.
도시된 예에서, 안면착용 제품 추천 장치(100)는 스토리지(104)에 사용자들의 눈, 코, 및 입의 위치, 크기, 및 각도 데이터를 포함하는 이목구비 정보(90)와, 성별, 및 연령 데이터(91)를 저장할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 상기와 같이 스토리지(104)에 저장된 데이터를 이용하여 도 6 내지 8에서 얼굴 이미지(M)에 대해 산출된 눈, 코, 및 입 부위 각각의 위치, 크기, 및 기울어진 각도가 가장 유사한 사용자 표본(92)을 추출할 수 있다. 이 때, 추출된 사용자 표본(92)에 기초하여, 사용자의 성별 및 연령을 추정(93)할 수 있다.
여기서, 사용자 표본(92)은 눈, 코, 및 입 부위 각각의 위치, 크기, 및 각도가 유사한 복수의 사용자 데이터를 모두 포함할 수 있고, 사용자 표본(92)에 포함된 복수의 사용자 중 가장 높은 비율을 차지하는 성별 및 연령 정보를 참조하여 현재 사용자에 대해 성별 및 연령을 추정할 수 있다.
도 10은 본 발명의 일실시예에 따른 사용자의 얼굴 유형 그룹을 배정하는 예이다. 도 10에 도시된 예는 앞서 설명한 도 3의 동작 S40에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S20 및 동작 S30에서 생성한 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 복수의 사용자들의 이목구비 정보(10)에 기초하여 눈, 코, 및 입 부위 각각의 위치, 크기, 및 각도가 유사한 그룹을 분류한 복수의 얼굴 유형 그룹(11)을 생성할 수 있다.
안면착용 제품 추천 장치(100)는 현재 사용자에 대해 도 6 내지 8에서 산출된 눈, 코, 및 입 부위 각각의 위치, 크기, 및 각도 정보와, 도 9에서 생성된 성별 및 연령 추정 정보를 이용하여 복수의 얼굴 유형 그룹(11) 중 유사한 정보를 가지는 적어도 하나의 그룹(12)에 배정할 수 있다.
예로서, 현재 사용자의 얼굴의 각 부위 중, 입 위치가 61%, 눈 크기가 22.8%, 코 크기가 14%의 범위에 속하는 경우, 그 사용자는 EDK 그룹에 배정할 수 있다.
도 11은 본 발명의 일실시예에 따른 사용자들의 제품과 관련된 행동 데이터를 수집한 예이다. 도 11에 도시된 예는 앞서 설명한 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹(12)에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 제공하기 위해 행동 데이터를 수집하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 날짜(110) 및 사용자(111) 별로 제품(112)에 대한 반응 정도를 나타내는 행동 데이터(113)를 수집하여 스토리지(104)에 저장할 수 있다.
예로서, 행동 데이터(113)는, 사용자가 예컨대 SNS 상에서 특정 제품을 공유하거나, 웹 상에서 특정 제품을 열람 또는 선택한 경우, 및 제품의 착용 모습을 촬영하여 업로드한 경우와 같은 반응 정보를 포함할 수 있다.
또한, 행동 데이터(113)는, 사용자가 이전에 추천 받았던 안면착용 제품에 대한 이후 행동패턴 정보로서, 제품의 구매 내역, 구매 후 촬영 횟수, SNS 상에서 공유한 내역 등을 포함할 수도 있다.
도 12는 본 발명의 일실시예에 따른 얼굴 유형 그룹별로 제품 선호도 점수를 부여하는 예이다. 도 12에 도시된 예는 앞서 설명한 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹(12)에 대응하는 적어도 하나의 안면착용 제품의 추천정보(124)를 제공하기 위해 행동 데이터에 기초하여 얼굴 유형별 제품에 대한 선호도 점수를 부여하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 도 11에서 수집된 행동 데이터(113)에 기초하여 사용자의 얼굴 유형 그룹(121) 별로 제품(122) 각각에 대한 선호도 점수(123)를 부여할 수 있다. 이 때, 안면착용 제품 추천 장치(100)는 얼굴 유형 그룹(121) 별로 선호도 점수(123)가 높은 제품을 사용자에게 추천할 수 있다.
예로서, 얼굴 유형 그룹 (121) 중 EDK 그룹에 대한 제품의 추천정보(124)로서, 제품 A, B, C 중 선호도 점수가 432점인 제품 B와 345점인 제품 A를 포함할 수 있다.
도 13은 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 안면착용 제품을 증강현실 기술로 추천 제공하는 예이다. 도 13에 도시된 예는 앞서 설명된 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 제공함에 있어 증강현실 기술을 사용하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 도 10에서 배정된 얼굴 유형 그룹(11)에 대응하는 안면착용 제품의 추천정보(124)를 추출하고, 추천정보(124)에 포함된 추천 제품들의 이미지(131, 132, 133)를 얼굴 이미지(M) 상에 중첩하여 표시할 수 있다.
구체적으로, 안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상에서 눈 영역을 감지하고, 스토리지(104)에 기 저장되어 있는 2D 또는 3D 형식의 제품 이미지(131, 132, 133)를 얼굴 이미지(M)의 눈 영역에 매칭하는 방식으로 가상 착용 상태를 표시할 수 있다.
이 때, 추천 제품들의 이미지(131, 132, 133)는 수평 방향으로의 스크롤에 따라 얼굴 이미지(M) 상에 선택적으로 표시되고, 사용자는 직접 착용한 듯한 효과를 체험하며 자신에게 어울리는 제품을 선택할 수 있다.
도 14는 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 가상 성형 모습을 증강현실 기술로 추천 제공하는 예이다. 도 14에 도시된 예는 앞서 설명된 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹에 대응하는 가상 성형 모습을 추천 제공함에 있어 증강현실 기술을 사용하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 도 10에서 배정된 얼굴 유형 그룹(11)에 대응하는 가상의 눈 성형 디자인의 추천정보를 추출하고, 추천정보에 포함된 눈 성형 디자인 이미지(141, 142)를 얼굴 이미지(M) 상에 중첩하여 표시할 수 있다.
상기와 같이 본 발명의 일실시예에 의하면, 사용자에게 적합한 안면착용 제품의 추천 시, 사용자의 얼굴 형태와, 유행, 및 사용자의 취향을 고려하여 제품의 추천 서비스를 효과적으로 제공할 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.

Claims (13)

  1. 안면착용 제품 추천 장치에 의해 수행되는 방법으로서,
    사용자 단말기로부터 얼굴 이미지가 수신되면, 상기 안면착용 제품 추천 장치가 상기 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계;
    상기 안면착용 제품 추천 장치가 상기 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 단계;
    상기 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계;
    상기 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계; 및
    상기 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 단계를 포함하는 안면착용 제품 추천 방법.
  2. 제 1항에 있어서,
    상기 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 단계는,
    복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내는 행동 데이터를 수집하여 저장하는 단계;
    상기 저장된 행동 데이터에 기초하여 얼굴 유형별 복수의 안면착용 제품 각각에 대한 선호도 점수를 부여하는 단계; 및
    상기 선호도 점수에 기초하여 상기 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천정보를 제공하는 단계를 포함하는 안면착용 제품 추천 방법.
  3. 제 2항에 있어서,
    상기 행동 데이터는, 복수의 안면착용 제품 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부 등의 반응 정보를 포함하는 안면착용 제품 추천 방법.
  4. 제 3항에 있어서,
    상기 행동 데이터는, 상기 사용자가 추천 받은 안면착용 제품에 대한 이후 행동패턴 정보를 포함하는 안면착용 제품 추천 방법.
  5. 제 1항에 있어서,
    상기 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 단계는,
    상기 적어도 하나의 안면착용 제품의 이미지를 상기 얼굴 이미지 상에 중첩하여 표시하는 단계를 포함하는 안면착용 제품 추천 방법.
  6. 제 1항에 있어서,
    상기 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계는,
    상기 얼굴 이미지 상의 명암에 기초하여 얼굴의 외곽, 눈, 코, 및 입 부위를 인식하는 단계; 및
    상기 인식된 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 복수의 점 좌표를 설정하는 단계를 포함하는 안면착용 제품 추천 방법.
  7. 제 6항에 있어서,
    상기 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계는,
    상기 복수의 점 좌표 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하는 단계; 및
    상기 얼굴이 수평 상태가 되도록 상기 복수의 점 좌표를 보정하는 단계를 더 포함하는 안면착용 제품 추천 방법.
  8. 제 1항에 있어서,
    상기 이목구비 정보를 생성하는 단계는,
    눈, 코, 및 입 각각의 위치를 산출하는 단계;
    상기 눈, 코, 및 입 각각의 크기를 산출하는 단계; 및
    상기 눈, 코, 및 입 각각의 기울어진 각도를 산출하는 단계를 포함하는 안면착용 제품 추천 방법.
  9. 제 8항에 있어서,
    상기 성별 및 연령 추정 정보를 생성하는 단계는,
    상기 산출된 눈, 코, 및 입 각각의 위치, 크기, 및 각도가 유사한 사용자 표본을 추출하는 단계; 및
    상기 표본에 기초하여 성별 및 연령을 추정하는 단계를 포함하는 안면착용 제품 추천 방법.
  10. 제 1항에 있어서,
    상기 사용자의 얼굴 유형을 배정하는 단계는,
    복수의 사용자들을 얼굴 유형에 따라 분류한 복수의 얼굴 유형 그룹을 생성하는 단계; 및
    상기 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 상기 사용자를 복수의 얼굴유형 그룹 중 적어도 하나에 배정하는 단계를 포함하는 안면착용 제품 추천 방법.
  11. 제 1항에 있어서,
    상기 사용자가 이전에 사용한 안면착용 제품의 사용 이력 데이터를 저장하는 단계;
    상기 사용 이력 데이터에 기초하여 상기 사용자의 선호 스타일 정보를 생성하는 단계; 및
    상기 적어도 하나의 안면착용 제품의 추천정보 제공 시, 상기 사용자의 선호 스타일 정보를 반영하는 단계를 더 포함하는 안면착용 제품 추천 방법.
  12. 제 1항에 있어서,
    상기 사용자에게 상황별 또는 제품 형태별로 원하는 옵션을 선택하도록 사용자 인터페이스를 제공하는 단계를 더 포함하는 안면착용 제품 추천 방법.
  13. 하나 이상의 프로세서;
    복수의 사용자 단말기와 통신하는 네트워크 인터페이스;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    상기 사용자 단말기로부터 얼굴 이미지가 수신되면, 상기 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 오퍼레이션;
    상기 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 오퍼레이션;
    상기 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 오퍼레이션;
    상기 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 오퍼레이션; 및
    상기 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 오퍼레이션을 포함하는 안면착용 제품 추천 장치.
PCT/KR2019/017648 2018-12-31 2019-12-13 안면착용 제품 추천 방법 및 그 장치 WO2020141754A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207000538A KR102325829B1 (ko) 2018-12-31 2019-12-13 안면착용 제품 추천 방법 및 그 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180173840 2018-12-31
KR10-2018-0173840 2018-12-31

Publications (1)

Publication Number Publication Date
WO2020141754A1 true WO2020141754A1 (ko) 2020-07-09

Family

ID=71407038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017648 WO2020141754A1 (ko) 2018-12-31 2019-12-13 안면착용 제품 추천 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102325829B1 (ko)
WO (1) WO2020141754A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835594A (zh) * 2021-10-22 2021-12-24 维沃移动通信有限公司 交互方法和装置、电子设备以及可读存储介质
CN114419703A (zh) * 2021-12-31 2022-04-29 北京怡和嘉业医疗科技股份有限公司 面罩的虚拟佩戴方法、装置、终端设备及可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
KR102323861B1 (ko) * 2021-01-15 2021-11-09 주식회사 쪼이 온라인 의류 판매 시스템
KR102655761B1 (ko) * 2023-08-29 2024-04-08 주식회사 넥스트페이먼츠 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097200A (ko) * 2002-03-26 2004-11-17 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR20110029805A (ko) * 2009-09-16 2011-03-23 한국전자통신연구원 시각 기반 사용자 연령대 구분 및 추정 방법
KR20120000229A (ko) * 2010-06-25 2012-01-02 주식회사 유먼더스 소셜 쇼핑 방법 및 소셜 쇼핑 시스템
KR20170010985A (ko) * 2015-07-21 2017-02-02 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법
KR20180109217A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 얼굴 영상 보정 방법 및 이를 구현한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097200A (ko) * 2002-03-26 2004-11-17 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR20110029805A (ko) * 2009-09-16 2011-03-23 한국전자통신연구원 시각 기반 사용자 연령대 구분 및 추정 방법
KR20120000229A (ko) * 2010-06-25 2012-01-02 주식회사 유먼더스 소셜 쇼핑 방법 및 소셜 쇼핑 시스템
KR20170010985A (ko) * 2015-07-21 2017-02-02 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법
KR20180109217A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 얼굴 영상 보정 방법 및 이를 구현한 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835594A (zh) * 2021-10-22 2021-12-24 维沃移动通信有限公司 交互方法和装置、电子设备以及可读存储介质
CN114419703A (zh) * 2021-12-31 2022-04-29 北京怡和嘉业医疗科技股份有限公司 面罩的虚拟佩戴方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
KR20200085723A (ko) 2020-07-15
KR102325829B1 (ko) 2021-11-12

Similar Documents

Publication Publication Date Title
WO2020141754A1 (ko) 안면착용 제품 추천 방법 및 그 장치
WO2019164266A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
US10264870B2 (en) Makeup application assistance device, makeup application assistance system, and makeup application assistance method
CN107106018B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
JP6460237B2 (ja) コンタクトレンズの仮想試着方法、装置及びこの方法を実行させるコンピュータプログラム
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
CN107533375B (zh) 场景图像分析模块
JP2017211970A (ja) ケア情報取得方法、ケア情報共有方法及びこれらの方法のための電子装置
CN110148191B (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
US11321764B2 (en) Information processing apparatus and information processing method
US11607124B2 (en) System and method for measuring pupillary distance
CN109033935B (zh) 抬头纹检测方法及装置
WO2019088483A1 (en) Apparatus and method for performing viewer gaze analysis
EP3366038A1 (en) Method for synthesizing image and an electronic device using the same
KR102340904B1 (ko) 증강현실 기반 가상 피팅 시스템 및 방법
KR20210017287A (ko) 인플루언서와의 정보 공유를 통해 화장품 색상을 추천하는 시스템 및 방법
WO2019088661A1 (ko) 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
JP4937639B2 (ja) 認証方法、認証装置、認証プログラム、及び該プログラムが記録された記録媒体
CN110750154A (zh) 显示器控制方法、系统、装置、设备和存储介质
CN116069159A (zh) 用于显示虚拟形象的方法、装置及介质
WO2018124671A1 (en) Electronic device and operation method thereof
CN114766027A (zh) 信息处理方法、信息处理装置以及控制程序
JP2018086307A (ja) メイクアップ支援装置、及びメイクアップ支援方法
WO2018097392A1 (en) Integrated plastic surgery consultation and travel schedule management system and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19906840

Country of ref document: EP

Kind code of ref document: A1