WO2020045849A1 - 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법 - Google Patents

트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법 Download PDF

Info

Publication number
WO2020045849A1
WO2020045849A1 PCT/KR2019/009900 KR2019009900W WO2020045849A1 WO 2020045849 A1 WO2020045849 A1 WO 2020045849A1 KR 2019009900 W KR2019009900 W KR 2019009900W WO 2020045849 A1 WO2020045849 A1 WO 2020045849A1
Authority
WO
WIPO (PCT)
Prior art keywords
eyewear
customer
feature data
recommendation
depth camera
Prior art date
Application number
PCT/KR2019/009900
Other languages
English (en)
French (fr)
Inventor
성우석
Original Assignee
주식회사 더메이크
주식회사 콥틱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더메이크, 주식회사 콥틱 filed Critical 주식회사 더메이크
Priority to US17/269,304 priority Critical patent/US11475648B2/en
Priority to EP19856196.1A priority patent/EP3846110A4/en
Publication of WO2020045849A1 publication Critical patent/WO2020045849A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention is a technology that utilizes the face mesh generated after the 3D scanning through the True Depth camera, provides the recommendation and try-on services of the eyewear to the customer through the generated face mesh, so that the optimal eyewear can be selected It is.
  • infrared dots are irradiated to the user's face, and then the infrared sensing camera can read the coordinates of the irradiated infrared dots and use them to create a face mesh.
  • the face mesh generated in this way may be used for various purposes, such as being used for security to check whether a registered user is correct based on user's facial data.
  • the generated face mesh can be used for various purposes because it has absolute information about face size and shape.
  • the specific coordinates of the face and the distance, angle, etc. between the coordinates can be used in the technology for producing a customized eyewear.
  • An object of the present invention is to enable the shopping of eyewear online by providing a 3D scanning and trial service and a recommendation service.
  • the present invention aims to increase customer satisfaction by manufacturing and providing customized eyewear.
  • An object of the present invention is to provide a customer's try-on service close to the fact by utilizing the face tracking technology of the face mesh.
  • An object of the present invention is to quantify a face image, classify a face type, and provide a recommendation service based thereon.
  • An object of the present invention is to increase the accuracy of 3D scanning by utilizing a face mesh.
  • the present invention aims to increase the accuracy of the recommendation service by providing a recommendation service in consideration of a category classified as a face mesh, a previous selection of customers, preferences of other customers, and the like.
  • an eyewear fitting and recommendation service providing system includes a feature data extractor extracting feature data from a face mesh of a customer created using a true depth camera, and reflecting the extracted feature data.
  • the eyewear controller adjusts and renders the specifications of the wear, the face image of the customer, the matching processing unit for matching the face mesh, and with reference to the face mesh in the matched state, the rendering on the face image of the customer
  • the wearable eyewear may include a trial processing unit for overlapping the trial process by using augmented reality.
  • the feature data extracting unit irradiates at least 30,000 or more infrared rays to the face of the customer, and collects at least 30,000 or more infrared dots from the true depth camera in response to the irradiated infrared rays, and collects the infrared dots.
  • the customer's face mesh may be generated based on the coordinates of the infrared dots.
  • the feature data extractor may extract specific feature data by using specific coordinates measured from the face mesh and using at least one of a distance, an angle, and a depth between the specific coordinates.
  • the feature data extractor comprises: a distance between a pupil and a pupil measured from the face mesh, a distance between an inner end point of an eye, a distance between an outer end point of an eye, a nose height, a height of a brow and a pupil, a face width, and a face.
  • Feature data may be extracted based on at least one of length, inner folds of each ear, temporal bone, sphenoid bone, and cheekbone arch.
  • the eyewear fitting and recommendation service providing system may further include a recommendation processing unit that recommends the eyewear in consideration of the characteristic data of the customer.
  • the recommendation processor may recommend the eyewear to the customer by further reflecting a result that the customer has previously selected in the feature data of the customer.
  • the recommendation processor may further recommend the eyewear in the current step by further reflecting the result selected by the customer in the previous step in the feature data of the customer.
  • the recommendation processor may recommend the eyewear by reflecting customer information about the customer in the feature data of the customer.
  • the recommendation processor may determine a category classified as the characteristic data of the customer and refer to a database that records a list of eyewear corresponding to each category, and among the eyewear corresponding to the determined category, At least one eyewear may be recommended in consideration of the selected frequency.
  • the test processing unit may perform a test processing of the face mesh to be referred to after the transparent processing.
  • the trial processing processor may control a recording medium to store the trial-mounted image, and provide the recorded image to the requested user terminal from the customer.
  • a method of operating an eyewear test and recommendation service providing system includes extracting feature data from a face mesh of a customer generated using a true depth camera, and reflecting the extracted feature data. Rendering and adjusting the specs of the wear, matching the face image of the customer with the face mesh, and referring to the face mesh in the matched state, the rendered eyewear to the face image of the customer It may include the step of the trial processing by overlapping in augmented reality.
  • the extracting of the feature data may include irradiating at least 30,000 infrared rays to the face of the customer, and collecting at least 30,000 infrared dots from the true depth camera in response to the irradiated infrared rays. And generating a face mesh of the customer based on the coordinates of the collected infrared dots.
  • the extracting of the feature data may include extracting the feature data by using specific coordinates measured from the face mesh and using at least one of a distance, an angle, and a depth between the specific coordinates. It may include.
  • the operation method of the eyewear fitting and recommendation service providing system may further include recommending the eyewear in consideration of the characteristic data of the customer.
  • the recommending of the eyewear according to an embodiment may include recommending the eyewear to the customer by further reflecting a result that the customer has previously selected in the feature data of the customer.
  • the recommending of the eyewear may include recommending the eyewear in the current step by further reflecting the result selected by the customer in the previous step in the feature data of the customer.
  • the recommending of the eyewear according to an embodiment may include recommending the eyewear by reflecting customer information about the customer in the feature data of the customer.
  • the recommending of the eyewear may include determining a category classified as the characteristic data of the customer, and referring to a database that records a list of eyewear corresponding to each category, and corresponding to the determined category.
  • the method may include recommending at least one eyewear in consideration of the selected frequency.
  • customer satisfaction may be increased by manufacturing and providing customized eyewear.
  • the facial image may be digitized to classify a face type, and a recommendation service may be provided based on the facial image.
  • the accuracy of the recommendation service may be improved by providing a recommendation service in consideration of a category classified as a face mesh, a previous selection of customers, and preferences of other customers.
  • FIG. 1 is a diagram illustrating a system for providing an eyewear trial and recommendation service according to an exemplary embodiment.
  • FIGS. 2A to 2D are diagrams illustrating an embodiment of eyewear trial and recommendation service.
  • FIG. 3 is a diagram illustrating an operation method of an eyewear trial and recommendation service providing system according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a method of generating a face mesh of a customer.
  • FIG. 5 is a diagram illustrating a method of recommending eyewear with reference to a category classified by a face mesh.
  • Embodiments according to the inventive concept may be variously modified and have various forms, so embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments in accordance with the concept of the present invention to specific embodiments, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
  • first or second may be used to describe various components, but the components should not be limited by the terms. The terms are only for the purpose of distinguishing one component from another component, for example, without departing from the scope of the rights according to the inventive concept, the first component may be called a second component, Similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a diagram illustrating a system 100 for providing an eyewear trial and recommendation service according to an exemplary embodiment.
  • the system 100 for providing an eyewear try-up and recommendation service provides 3D scanning, a try-up service, and a recommendation service, thereby enabling online shopping of the eyewear.
  • customer satisfaction can be increased by creating and providing customized eyewear.
  • the eyewear try-up and recommendation service providing system 100 may include a feature data extractor 110, an eyewear adjuster 120, a matching processor 130, and a try-on processor 140.
  • the controller 160 may further include a controller 160 that controls the components as a whole.
  • the feature data extractor 110 may extract feature data from a face mesh of a customer generated using a true depth camera.
  • the feature data may be interpreted as information calculated using a distance, an angle, a depth, and the like between specific coordinates in the face mesh.
  • the feature data may be characteristic data obtainable from the face mesh, such as the distance between the pupil and the pupil.
  • the feature data extractor 110 may extract feature data using specific coordinates measured from the face mesh.
  • the feature data may be extracted using at least one of a distance, an angle, and a depth between specific coordinates measured from the face mesh. More specifically, the feature data extractor 110 measures the distance between the pupil and the pupil measured from the face mesh, the distance between the inner end points of the eyes, the distance between the outer end points, the height of the nose, the height of the hair and the pupil, the face width, and the face. Characteristic data can be extracted using length, inner folds of each ear, temporal bone, sphenoid bone, or cheekbone arch.
  • the feature data extractor 110 may directly generate the face mesh.
  • the feature data extractor 110 may collect at least 30,000 infrared dots by irradiating at least 30,000 or more infrared rays to the face of the customer, and then control the true depth camera in response to the irradiated infrared rays.
  • a face mesh of the customer can be generated based on the coordinates for the collected infrared dots.
  • the eyewear controller 120 may adjust and render the specifications of the eyewear by reflecting the extracted feature data.
  • the eyewear controller 120 may adjust a part of the specs of the eyewear selected by default in consideration of the feature data of the customer extracted from the face mesh. That is, the eyewear adjusting unit 120 may adjust the eyewear according to the height of the nose and the wide open eyes of the customer.
  • the matching processor 130 may match the face image of the customer with the face mesh.
  • the matching processor 130 may match the facial image and the face mesh by matching the feature points extracted into the face image of the customer with the feature points of the face mesh.
  • the matching processing unit 130 does not match the point-to-point, but the face of the customer through a matching method such as point-to-line or point-to-face, line-to-line, line-to-face, face-to-line, face-to-face, etc.
  • the feature point extracted as an image and the feature point of the face mesh may be matched.
  • the facial image and the face mesh may be matched by matching feature point data specified from the customer's jawline and the face mesh identified in the customer's face image.
  • the try-on processing unit 140 may refer to the face mesh in a matched state, and overlap the eyewear rendered on the face image of the customer in an augmented reality manner to perform a try-on process.
  • the try-on processing unit 140 may be so that the face mesh to be referred to after the transparent treatment, the trial processing, so that the face mesh is not represented or only a part of the actual augmented reality.
  • the trial processing unit 140 virtually by placing the virtual eyewear 3D modeling rendering at a specific position on the face mesh (10 to 15mm above the head) as the customer's face moves on the augmented reality. The user can check the fitting appearance.
  • the face mesh can be made transparent so that the grid of the mesh can not be seen so that the face can be naturally worn.
  • the try-on processing unit 140 may control the recording medium to store the try-on image and process the recorded image to be provided to the requested user terminal from the customer. For example, a customer may send a video of a try-on to a lover or family member right before the purchase of eyewear to seek feedback. In this process, when a customer inputs identification information of a user terminal to be received, a trial image may be transmitted to the corresponding user terminal.
  • the identification information of the terminal is described as input, but information related to a user who is trying to transmit a try-on image, for example, a phone number or an e-mail address, may be used.
  • system 100 for providing the wear and recommendation service for eyewear may further include a recommendation processor 150 for recommending the eyewear in consideration of characteristic data of a customer.
  • the recommendation processor 150 may recommend eyewear to the customer in various ways.
  • the recommendation processor 150 may previously check the hobby, the propensity, the area, the occupation, the gender, the age, the religion, the hairstyle, the favorite color, and the like as the customer information.
  • a category may be set based on customer information about the customer, and the customers may be classified into the set category. If the current customer who wants to use the eyewear try-on service corresponds to a category A customer, at least one eyewear selected by many other customers belonging to the category A may be recommended to the customer.
  • the recommendation processor 150 may digitize and type the data of the scanned face mesh.
  • the face meshes are extracted in a constant array and certain coordinates on the face mesh can always be arranged in the same position in the array of numerical values. In other words, the possibility of comparing specific coordinates on the face mesh between customers is very high.
  • the recommendation processor 150 may categorize this through statistical cluster analysis.
  • the recommendation processor 150 utilizes typization to analyze the type according to the size of the face, the type analysis based on the shape and size of the nose, the type analysis based on the shape and size of the eyes, and the type analysis based on the distance between the eyes. After creating various types, you can collect a group of users with a specific type and collect the most favorite eyewear as big data.
  • the recommendation processing unit 150 may provide various recommendation services such as recommending eyewear preferred by users having a specific type in the future by using the collected big data.
  • the recommendation processor 150 may recommend the eyewear at the present stage by further reflecting the result selected by the customer in the previous step in the feature data of the customer.
  • the recommendation processor 150 may utilize information selected by the customer in the previous step for the try-on service to recommend the eyewear. If inferring based on the customer's previous choices, the customer may consider the streamlined border for future recommendations if the customer prefers eyewear with a streamlined border.
  • the recommendation processor 150 may recommend the eyewear to the customer by determining a category classified as the characteristic data of the customer. To this end, the recommendation processor 150 may recommend at least one eyewear in consideration of a frequency selected from among eyewear corresponding to the determined category by referring to a database that records a list of eyewear corresponding to each category.
  • customers with round jaw lines and face lines with roughly similar forehead length and width ratios and wide foreheads can be grouped into specific categories based on face meshes.
  • the recommendation processing unit 150 may recommend eyewear of a style that is not excessive in volume so that both balls do not look plump.
  • the recommendation processing unit 150 may select and recommend a rectangular eyewear or a cat's eye type design in which a sharp line stands out so that a round face may look thinner.
  • the recommendation processor 150 may categorize customers based on the face mesh. Similarly, the recommendation processor 150 may check past selections of customers corresponding to the category and recommend and select a plurality of eyewear to the current customer.
  • the present invention enables the shopping of eyewear online by providing 3D scanning, a try-on service, and a recommendation service.
  • custom eyewear can be created and provided to increase customer satisfaction
  • face mesh can be used to increase the accuracy of 3D scanning.
  • a recommendation service in consideration of a category classified as a face mesh, a previous selection of customers, and preferences of other customers, the accuracy of the recommendation service may be improved.
  • FIGS. 2A to 2D are diagrams illustrating an embodiment of eyewear trial and recommendation service.
  • the eyewear fitting and recommendation service providing system may scan a face by irradiating infrared rays to a face of a customer (211).
  • the eyewear trial and recommendation service providing system may collect at least 30,000 infrared dots by irradiating at least 30,000 or more infrared rays to the face of the customer, and control the True Depth camera in response to the irradiated infrared rays.
  • a face mesh of the customer may be generated 212 based on the coordinates (x, y, z) for the collected infrared dots.
  • the eyewear fitting and recommendation service providing system may recommend an eyewear model expected to be favored by a customer.
  • the various methods described above may be utilized for recommendation of the eyewear model.
  • the eyewear fitting and recommendation service providing system may recommend the eyewear model through various algorithms as shown by reference numeral 222.
  • the eyewear trial and recommendation service providing system can analyze the size and shape of the customer's face through the generated face mesh. In this process, the customer's face mesh can be categorized into a specific category among several predefined categories. In addition, the eyewear fitting and recommendation service providing system may recommend an optimal eyewear model for each classified category.
  • the eyewear try-up and recommendation service providing system may provide a try-on service using the eyewear (231).
  • the eyewear fitting and recommendation service providing system may transform the recommended basic eyewear model into various forms to reflect the needs of the customers (232).
  • the eyewear fitting and recommendation service providing system may adjust the specifications of the eyewear according to the needs of the customer or the feature data of the customer (241).
  • the eyewear fitting and recommendation service providing system may be custom modeled by adjusting the width of the glasses, adjusting the nose pad, or adjusting the temple length or the left and right ear height in the recommended eyewear model.
  • the eyewear fitting and recommendation service providing system may check whether the fitting is performed by fitting the eyewear modeled to the face mesh during the custom modeling process (242).
  • FIG. 3 is a diagram illustrating an operation method of an eyewear trial and recommendation service providing system according to an exemplary embodiment.
  • an operation method of an eyewear test and recommendation service providing system may generate a face mesh of a customer using a true depth camera (step 310), and extract feature data from the face mesh (step 320).
  • the operating method of the eyewear fitting and recommendation service providing system uses specific coordinates measured from a face mesh to extract feature data, and at least among distances, angles, and depths between the specific coordinates.
  • Feature data can be extracted using one.
  • the operation method of the eyewear fitting and recommendation service providing system may adjust the specification of the eyewear by reflecting the characteristic data (step 330).
  • an operation method of an eyewear fitting and recommendation service providing system includes matching a face image of a customer with the face mesh (step 340), and referring to the face mesh in a matched state, to the face image of the customer.
  • the rendered eyewear may be overlapped in an augmented reality manner to perform a try-on process (step 350).
  • FIG. 4 is a diagram illustrating a method of generating a face mesh of a customer.
  • a method of operating an eyewear trial and recommendation service providing system may irradiate at least 30,000 or more infrared rays to the face of the customer to generate a face mesh (step 410).
  • infrared dots may be collected by the true depth camera in response to the irradiated infrared rays (step 420).
  • the operation method of the eyewear fitting and recommendation service providing system may generate a face mesh of the customer based on the coordinates of the collected infrared dots (step 430).
  • Feature data extracted from the generated face mesh may be variously used for eyewear recommendation.
  • FIG. 5 is a diagram illustrating a method of recommending eyewear with reference to a category classified by a face mesh.
  • the operation method of the eyewear fitting and recommendation service providing system may determine a category classified as characteristic data of a customer (step 510).
  • a method for operating an eyewear trial and recommendation service providing system may select eyewear corresponding to a determined category by referring to a database (step 520), and consider a selected frequency among the selected eyewear. At least one eyewear may be recommended (step 530).
  • the eyewear may be recommended to the customer by further reflecting the customer's characteristic data and the result that the customer has selected in the past.
  • it is possible to recommend eyewear at this stage by further reflecting the results selected by the client in the previous stage in the feature data of the client.
  • the eyewear may be recommended by reflecting customer information about the customer in the feature data of the customer.
  • the eyewear modified after the recommendation to suit the needs of the customer may be used as information for 3D printing production.
  • the database can be learned based on the needs of the current customer reflected in the recommended eyewear. As a result, the accuracy of the system can be improved as the number of times of use increases.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and may configure the processing device to operate as desired, or process independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • the software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 고객에게 아이웨어의 추천 및 시착 서비스를 제공하고, 이를 통해 최적의 아이웨어를 선택할 수 있도록 하는 기술로서, 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템은 트루뎁스 카메라를 이용하여 생성된 고객의 페이스 메시(Face Mesh)로부터 특징 데이터를 추출하는 특징 데이터 추출부, 상기 추출된 특징 데이터를 반영하여 아이웨어의 스펙을 조절하여 렌더링 하는 아이웨어 조절부, 상기 고객의 안면 영상과, 상기 페이스 메시를 매칭시키는 매칭 처리부, 및 상기 매칭된 상태에서 상기 페이스 메시를 참고하여, 상기 고객의 안면 영상에 상기 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리하는 시착 처리부를 포함할 수 있다.

Description

트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
본 발명은 트루뎁스 카메라를 통한 3D 스캐닝 후 생성되는 페이스 메시를 활용하는 기술로서, 생성된 페이스 메시를 통해 고객에게 아이웨어의 추천 및 시착 서비스를 제공하고, 이를 통해 최적의 아이웨어를 선택할 수 있도록 하는 것이다.
애플 아이폰X에는 3만여개의 적외선 도트를 사용자의 얼굴에 조사한 후 적외선 센싱 카메라를 이용하여 조사된 적외선 도트의 좌표를 읽어 들이고, 이를 사용하여 페이스 메시(Face Mesh)를 생성할 수 있다.
이렇게 생성된 페이스 메시는 사용자의 안면 데이터를 근거로 등록된 사용자가 맞는지 확인하는 보안 용도로 사용되는 등 다양한 용도로 활용될 수 있다.
특히, 생성된 페이스 메시는 안면 크기 및 형태에 대한 절대적 정보를 가지고 있기 때문에 다양한 용도로 활용될 수 있다. 이 중에서도, 안면의 특정 좌표와 좌표간의 거리, 각도 등을 측정할 경우 맞춤형 아이웨어를 제작하는 기술에도 활용이 가능하다.
본 발명은 3D 스캐닝과 시착 서비스 그리고 추천서비스를 제공함으로써, 온라인에서 아이웨어의 쇼핑을 가능하게 하는 것을 목적으로 한다.
본 발명은 맞춤형 아이웨어를 제작하고 제공함으로써 고객 만족을 높이는 것을 목적으로 한다.
본 발명은 페이스 메시의 얼굴 추적 기술을 활용함으로써, 고객에게 사실과 근접한 모습의 시착 서비스를 제공하는 것을 목적으로 한다.
본 발명은 안면 영상을 수치화하여 얼굴의 유형을 구분하고, 이를 기반으로 추천 서비스를 제공하는 것을 목적으로 한다.
본 발명은 페이스 메시를 활용함으로써, 3D 스캐닝의 정확도를 높이는 것을 목적으로 한다.
본 발명은 페이스 메시로 분류된 카테고리, 고객의 이전 선택, 다른 고객들의 선호도 등을 고려하여 추천 서비스를 제공함으로써, 추천 서비스의 정확도를 높이는 것을 목적으로 한다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템은 트루뎁스 카메라를 이용하여 생성된 고객의 페이스 메시(Face Mesh)로부터 특징 데이터를 추출하는 특징 데이터 추출부, 상기 추출된 특징 데이터를 반영하여 아이웨어의 스펙을 조절하여 렌더링 하는 아이웨어 조절부, 상기 고객의 안면 영상과, 상기 페이스 메시를 매칭시키는 매칭 처리부, 및 상기 매칭된 상태에서 상기 페이스 메시를 참고하여, 상기 고객의 안면 영상에 상기 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리하는 시착 처리부를 포함할 수 있다.
일실시예에 따른 상기 특징 데이터 추출부는, 적어도 3만개 이상의 적외선을 상기 고객의 안면에 조사한 후, 상기 조사된 적외선에 대한 응답으로 상기 트루뎁스 카메라에서 적어도 3만개 이상의 적외선 도트를 수집하고, 상기 수집된 적외선 도트에 대한 좌표에 기초하여 상기 고객의 페이스 메시(Face Mesh)를 생성할 수 있다.
일실시예에 따른 상기 특징 데이터 추출부는, 상기 페이스 메시로부터 측정되는 특정 좌표들을 이용하되, 상기 특정 좌표들 간의 거리, 각도, 및 깊이 중에서 적어도 하나를 이용하여 상기 특징 데이터를 추출할 수 있다.
일실시예에 따른 상기 특징 데이터 추출부는, 상기 페이스 메시로부터 측정되는 눈동자와 눈동자 사이 거리, 눈안쪽끝점간의 거리, 눈바깥쪽끝점간의 거리, 코의 높이, 미간과 눈동자의 높이, 얼굴 넓이, 얼굴 길이, 각 귀의 안쪽 주름, 측두골(temporal bone), 쐐기뼈(sphenoid bone), 광대뼈 아치 중에서 적어도 하나의 위치에 기초해서 특징 데이터를 추출할 수 있다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템은 상기 고객의 특징 데이터를 고려하여 아이웨어를 추천하는 추천 처리부를 더 포함할 수 있다.
일실시예에 따른 상기 추천 처리부는, 상기 고객의 특징 데이터에, 고객들이 과거에 선택했던 결과를 더 반영하여 상기 고객에 상기 아이웨어를 추천할 수 있다.
일실시예에 따른 상기 추천 처리부는, 상기 고객의 특징 데이터에, 상기 고객이 이전 단계에서 선택했던 결과를 더 반영하여 현재 단계에서 상기 아이웨어를 추천할 수 있다.
일실시예에 따른 상기 추천 처리부는, 상기 고객의 특징 데이터에, 상기 고객에 대한 고객 정보를 반영하여 상기 아이웨어를 추천할 수 있다.
일실시예에 따른 상기 추천 처리부는, 상기 고객의 특징 데이터로 분류되는 카테고리를 결정하고, 카테고리 별로 대응되는 아이웨어의 목록을 기록하는 데이터베이스를 참조하여, 상기 결정된 카테고리에 대응되는 아이웨어들 중에서, 선택된 빈도를 고려하여 적어도 하나 이상의 아이웨어를 추천할 수 있다.
일실시예에 따른 상기 시착 처리부는, 상기 참고하는 페이스 메시를 투명처리 후 시착 처리할 수 있다.
일실시예에 따른 상기 시착 처리부는, 상기 시착 처리된 영상을 저장하도록 기록매체를 제어하고, 상기 기록된 영상을 상기 고객으로부터 요청된 사용자 단말기로 제공하도록 처리할 수 있다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 트루뎁스 카메라를 이용하여 생성된 고객의 페이스 메시(Face Mesh)로부터 특징 데이터를 추출하는 단계, 상기 추출된 특징 데이터를 반영하여 아이웨어의 스펙을 조절하여 렌더링 하는 단계, 상기 고객의 안면 영상과, 상기 페이스 메시를 매칭시키는 단계, 및 상기 매칭된 상태에서 상기 페이스 메시를 참고하여, 상기 고객의 안면 영상에 상기 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리하는 단계를 포함할 수 있다.
일실시예에 따른 상기 특징 데이터를 추출하는 단계는, 적어도 3만개 이상의 적외선을 상기 고객의 안면에 조사하는 단계, 상기 조사된 적외선에 대한 응답으로 상기 트루뎁스 카메라에서 적어도 3만개 이상의 적외선 도트를 수집하는 단계, 및 상기 수집된 적외선 도트에 대한 좌표에 기초하여 상기 고객의 페이스 메시(Face Mesh)를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 특징 데이터를 추출하는 단계는, 상기 페이스 메시로부터 측정되는 특정 좌표들을 이용하되, 상기 특정 좌표들 간의 거리, 각도, 및 깊이 중에서 적어도 하나를 이용하여 상기 특징 데이터를 추출하는 단계를 포함할 수 있다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 상기 고객의 특징 데이터를 고려하여 아이웨어를 추천하는 단계를 더 포함할 수 있다.
일실시예에 따른 상기 아이웨어를 추천하는 단계는, 상기 고객의 특징 데이터에, 고객들이 과거에 선택했던 결과를 더 반영하여 상기 고객에 상기 아이웨어를 추천하는 단계를 포함할 수 있다.
일실시예에 따른 상기 아이웨어를 추천하는 단계는, 상기 고객의 특징 데이터에, 상기 고객이 이전 단계에서 선택했던 결과를 더 반영하여 현재 단계에서 상기 아이웨어를 추천하는 단계를 포함할 수 있다.
일실시예에 따른 상기 아이웨어를 추천하는 단계는, 상기 고객의 특징 데이터에, 상기 고객에 대한 고객 정보를 반영하여 상기 아이웨어를 추천하는 단계를 포함할 수 있다.
일실시예에 따른 상기 아이웨어를 추천하는 단계는, 상기 고객의 특징 데이터로 분류되는 카테고리를 결정하는 단계, 및 카테고리 별로 대응되는 아이웨어의 목록을 기록하는 데이터베이스를 참조하여, 상기 결정된 카테고리에 대응되는 아이웨어들 중에서, 선택된 빈도를 고려하여 적어도 하나 이상의 아이웨어를 추천하는 단계를 포함할 수 있다.
일실시예에 따르면, 3D 스캐닝과 시착 서비스 그리고 추천서비스를 제공함으로써, 온라인에서 아이웨어의 쇼핑을 가능하게 한다.
일실시예에 따르면, 맞춤형 아이웨어를 제작하고 제공함으로써 고객 만족을 높일 수 있다.
일실시예에 따르면, 페이스 메시의 얼굴 추적 기술을 활용함으로써, 고객에게 사실과 근접한 모습의 시착 서비스를 제공할 수 있다.
일실시예에 따르면, 안면 영상을 수치화하여 얼굴의 유형을 구분하고, 이를 기반으로 추천 서비스를 제공할 수 있다.
일실시예에 따르면, 페이스 메시를 활용함으로써, 3D 스캐닝의 정확도를 높일 수 있다.
일실시예에 따르면, 페이스 메시로 분류된 카테고리, 고객의 이전 선택, 다른 고객들의 선호도 등을 고려하여 추천 서비스를 제공함으로써, 추천 서비스의 정확도를 높일 수 있다.
도 1은 일실시예에 따른 아이웨어 시착 및 추천 서비스를 제공하는 시스템을 설명하는 도면이다.
도 2a 내지 도 2d는 아이웨어 시착 및 추천 서비스에 대한 실시예를 설명하는 도면이다.
도 3은 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법을 설명하는 도면이다.
도 4는 고객의 페이스 메시(Face Mesh)를 생성하는 방법을 설명하는 도면이다.
도 5는 페이스 메시에 의해서 분류된 카테고리를 참고하여 아이웨어를 추천하는 방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 아이웨어 시착 및 추천 서비스를 제공하는 시스템(100)을 설명하는 도면이다.
일실시예에 따른 아이웨어 시착 및 추천 서비스를 제공하는 시스템(100)은 3D 스캐닝과 시착 서비스 그리고 추천서비스를 제공함으로써, 온라인에서 아이웨어의 쇼핑을 가능하게 한다. 뿐만 아니라, 맞춤형 아이웨어를 제작하고 제공함으로써 고객 만족을 높일 수 있다.
이를 위해, 아이웨어 시착 및 추천 서비스 제공 시스템(100)은 특징 데이터 추출부(110), 아이웨어 조절부(120), 매칭 처리부(130), 및 시착 처리부(140)를 포함할 수 있다. 또한, 구성요소들을 전체적으로 제어하는 제어부(160)를 더 포함할 수 있다.
먼저, 일실시예에 따른 특징 데이터 추출부(110)는 트루뎁스 카메라를 이용하여 생성된 고객의 페이스 메시(Face Mesh)로부터 특징 데이터를 추출할 수 있다.
특징 데이터는 페이스 메시에서 특정 좌표들 간의 거리, 각도, 및 깊이 등을 이용해서 산출되는 정보로 해석될 수 있다. 일례로, 특징 데이터는 눈동자와 눈동자 사이 거리와 같이 페이스 메시로부터 획득 가능한 특징있는 데이터일 수 있다.
즉, 일실시예에 따른 특징 데이터 추출부(110)는 페이스 메시로부터 측정되는 특정 좌표들을 이용하여 특징 데이터를 추출할 수 있다.
일례로, 페이스 메시로부터 측정되는 특정 좌표들 간의 거리, 각도, 및 깊이 중에서 적어도 하나를 이용하여 특징 데이터를 추출할 수 있다. 보다 구체적으로, 특징 데이터 추출부(110)는 페이스 메시로부터 측정되는 눈동자와 눈동자 사이 거리, 눈안쪽끝점간의 거리, 눈바깥쪽끝점간의 거리, 코의 높이, 미간과 눈동자의 높이, 얼굴 넓이, 얼굴 길이, 각 귀의 안쪽 주름, 측두골(temporal bone), 쐐기뼈(sphenoid bone), 또는 광대뼈 아치 등을 이용해서 특징 데이터를 추출할 수 있다.
특징 데이터 추출부(110)는 페이스 메시를 직접 생성할 수도 있다. 일례로, 특징 데이터 추출부(110)는 적어도 3만개 이상의 적외선을 고객의 안면에 조사한 후, 조사된 적외선에 대한 응답으로 트루뎁스 카메라를 제어하여 적어도 3만개 이상의 적외선 도트를 수집할 수 있다. 또한, 수집된 적외선 도트에 대한 좌표에 기초하여 고객의 페이스 메시를 생성할 수 있다.
다음으로, 일실시예에 따른 아이웨어 조절부(120)는 추출된 특징 데이터를 반영하여 아이웨어의 스펙을 조절하여 렌더링할 수 있다.
예를 들어, 기본으로 선택되는 아이웨어의 경우 모든 고객들에게 적절하게 피팅될 수 없다. 이를 위해, 아이웨어 조절부(120)는 페이스 메시로부터 추출되는 고객의 특징 데이터를 고려하여 기본으로 선택되는 아이웨어의 스펙 중 일부분을 고객에 맞게 끔 조절할 수 있다. 즉, 아이웨어 조절부(120)는 코의 높이가 높고 미간이 넓은 고객에 대해서, 아이웨어를 그에 맞게끔 조절할 수 있다.
일실시예에 따른 매칭 처리부(130)는 고객의 안면 영상과, 페이스 메시를 매칭시킬 수 있다.
일례로, 매칭 처리부(130)는 고객의 안면 영상으로 추출되는 특징점과, 페이스 메시로의 특징점을 매칭시킴으로, 안면 영상과 페이스 메시를 매칭시킬 수 있다.
다른 일례로, 매칭 처리부(130)는 점 대 점의 매칭이 아닌, 점 대 선 또는 점 대 면, 선 대 선, 선 대 면, 면 대 선, 면 대 면 등의 매칭 방식을 통해 고객의 안면 영상으로 추출되는 특징점과, 페이스 메시의 특징점을 매칭시킬 수 있다. 예를 들면, 고객의 안면 영상에서 확인되는 고객의 턱선과 페이스 메시로부터 특정되는 특징점 데이터를 매칭시켜 안면 영상과 페이스 메시를 매칭시킬 수 있다.
일실시예에 따른 시착 처리부(140)는 매칭된 상태에서 페이스 메시를 참고하여, 고객의 안면 영상에 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리할 수 있다.
이 과정에서, 일실시예에 따른 시착 처리부(140)는 참고하는 페이스 메시를 투명처리 후 시착 처리함으로써, 실제 증강현실에서는 페이스 메시가 표현되지 않거나 일부만이 표현되도록 할 수 있다.
구체적으로, 일실시예에 따른 시착 처리부(140)는 증강현실 상에서 고객의 얼굴이 이동함에 따라 페이스 메시 위의 특정 위치(미간 위 10~15mm)에 가상의 아이웨어 3D모델링 렌더링을 위치시킴으로써 가상으로 시착하는 모습을 사용자가 확인할 수 있다.
이 때의 페이스 메시는 투명하게 하여 메시의 그리드를 볼 수 없게 하여 자연스럽게 시착하는 모습을 표현할 수 있다. 아이웨어의 모델링을 시착할 때 한 가지 디자인에 다양한 색상을 시착해 볼 수 있고 맞춤형 아이웨어로 제작되는 형태를 미리 확인할 수 있다.
일실시예에 따른 시착 처리부(140)는 시착 처리된 영상을 저장하도록 기록매체를 제어하고, 기록된 영상을 고객으로부터 요청된 사용자 단말기로 제공하도록 처리할 수 있다. 예를 들어, 고객은 아이웨어의 구매 직전에 애인이나 가족에게 시착 영상을 전송해서 의견을 구할 수 있다. 이 과정에서 고객이 수신을 원하는 사용자 단말기의 식별정보를 입력하면 해당 사용자 단말기로 시착 영상을 전송할 수 있다. 본 실시예에서는 단말기의 식별정보를 입력하는 것으로 설명하고 있지만, 시착 영상을 전송하려는 사용자와 관련된 정보, 예를 들어 전화번호나 이메일 주소 등의 정보가 사용될 수도 있다.
또한, 일실시예에 따른 아이웨어 시착 및 추천 서비스를 제공하는 시스템(100)은 고객의 특징 데이터를 고려하여 아이웨어를 추천하는 추천 처리부(150)를 더 포함할 수 있다.
일실시예에 따른 추천 처리부(150)는 고객에게 다양한 방법으로 아이웨어를 추천할 수 있다.
예를 들어, 고객의 특징 데이터와, 다른 많은 고객들이 과거에 선택했던 결과를 반영하여 현재의 고객에 아이웨어를 추천할 수 있다. 이를 위해, 현재 고객과 과거의 선택 결과를 반영한 다른 많은 고객들 간에는 공통점이 있어야 한다. 예를 들어, 추천 처리부(150)는 취미, 성향, 지역, 직업, 성별, 나이, 종교, 헤어스타일, 좋아하는 컬러 등을 고객 정보로서 사전에 조사할 수 있다. 또한, 고객에 대한 고객 정보들을 기준으로 카테고리를 설정하고, 설정된 카테고리로 고객들을 분류할 수 있다. 만약, 현재 아이웨어 시착 서비스를 이용하려는 고객이 카테고리 A에 해당하는 고객이라면, 카테고리 A에 속하는 다른 많은 고객들이 선택했던 적어도 하나 이상의 아이웨어를 고객에게 추천할 수 있다.
이를 위해, 추천 처리부(150)는 스캔된 페이스 메시의 데이터를 수치화한 뒤 유형화할 수 있다. 페이스 메시는 일정한 배열로 추출되며 페이스 메시 상의 특정 좌표는 수치의 배열상 항상 같은 위치에 배열될 수 있다. 즉, 고객들간의 페이스 메시 상 특정 좌표의 위치를 비교할 수 있게끔 하여 비교 가능성이 매우 높다. 추천 처리부(150)는 이를 통계학상 군집분석(Cluster Analysis)를 통해 유형화(Categorize) 할 수 있다. 또한, 추천 처리부(150)는 유형화를 활용하여 얼굴의 크기에 따른 유형 분석, 코의 형상 및 크기에 따른 유형 분석, 눈의 형상과 크기에 따른 유형 분석, 눈과 눈사이의 거리에 따른 유형 분석 등 다양한 유형을 생성한 뒤 특정 유형을 가진 사용자들의 그룹을 모아 가장 높은 선호도의 아이웨어를 빅데이터로 수집할 수 있다. 뿐만 아니라, 추천 처리부(150)는 수집한 빅데이터를 이용해서 향후 특정 유형을 가진 사용자들이 선호하는 아이웨어를 추천해 주는 등 다양한 추천 서비스를 제공할 수 있다.
다른 일례로, 추천 처리부(150)는 고객의 특징 데이터에, 고객이 이전 단계에서 선택했던 결과를 더 반영하여 현재 단계에서 아이웨어를 추천할 수 있다.
예를 들어, 추천 처리부(150)는 시착 서비스를 위해 직전의 단계에서 고객이 선택했던 정보들을 아이웨어 추천에 활용할 수 있다. 만약 고객의 이전 단계의 선택들에 기초하여 추론할 때, 고객이 유선형의 테두리를 갖는 아이웨어를 선호하는 경우 앞으로 추천에 유선형의 테두리를 고려할 수 있다.
일실시예에 따른 추천 처리부(150)는 고객의 특징 데이터로 분류되는 카테고리를 결정하여 고객에게 아이웨어를 추천할 수 있다. 이를 위해, 추천 처리부(150)는 카테고리 별로 대응되는 아이웨어의 목록을 기록하는 데이터베이스를 참조하여, 결정된 카테고리에 대응되는 아이웨어들 중에서 선택된 빈도를 고려하여 적어도 하나 이상의 아이웨어를 추천할 수 있다.
예를 들어, 얼굴의 길이와 너비 비율이 거의 비슷하고 넓은 이마와 함께 둥그런 턱 선, 페이스 라인의 고객은 페이스 메시에 기초하여 특정 카테고리로 그룹핑 될 수 있다.
이렇게 특정 카테고리에 해당하는 고객들은 동안의 스타일로서, 추천 처리부(150)는 양 볼이 통통해 보이지 않도록 볼륨감이 과하지 않은 스타일의 아이웨어를 추천할 수 있다. 또한, 추천 처리부(150)는 둥근 얼굴이 좀 더 갸름해 보일 수 있도록 샤프한 라인이 돋보이는 직사각형의 아이웨어나 캣츠 아이형의 디자인을 선택해서 추천할 수 있다.
일례로, 추천 처리부(150)는 페이스 메시를 기준으로 고객들을 카테고리화할 수도 있다. 마찬가지로, 추천 처리부(150)는 카테고리에 해당하는 고객들의 과거 선택들을 확인하여 현재 고객에게 아이웨어를 여러 개 추천하고 선택하도록 할 수 있다.
결국, 본 발명을 이용하면 3D 스캐닝과 시착 서비스 그리고 추천서비스를 제공함으로써, 온라인에서 아이웨어의 쇼핑을 가능하게 한다. 뿐만 아니라, 맞춤형 아이웨어를 제작하고 제공함으로써 고객 만족을 높일 수 있고, 페이스 메시를 활용함으로써, 3D 스캐닝의 정확도를 높일 수 있다. 또한, 페이스 메시로 분류된 카테고리, 고객의 이전 선택, 다른 고객들의 선호도 등을 고려하여 추천 서비스를 제공함으로써, 추천 서비스의 정확도를 높일 수 있다.
도 2a 내지 도 2d는 아이웨어 시착 및 추천 서비스에 대한 실시예를 설명하는 도면이다.
먼저, 도 2a를 살펴보면, 아이웨어 시착 및 추천 서비스 제공 시스템은 고객의 안면에 적외선을 조사하여 안면 스캔할 수 있다(211).
이 과정에서 아이웨어 시착 및 추천 서비스 제공 시스템은 적어도 3만개 이상의 적외선을 고객의 안면에 조사한 후, 조사된 적외선에 대한 응답으로 트루뎁스 카메라를 제어하여 적어도 3만개 이상의 적외선 도트를 수집할 수 있다. 또한, 수집된 적외선 도트에 대한 좌표(x, y, z)에 기초하여 고객의 페이스 메시를 생성할 수 있다(212).
도 2b의 도면부호 221에서 보는 바와 같이, 아이웨어 시착 및 추천 서비스 제공 시스템은 고객이 선호할 것으로 예상되는 아이웨어 모델을 추천할 수 있다. 이때, 앞서 설명한 다양한 방법이 아이웨어 모델의 추천에 활용될 수 있다.
아이웨어 시착 및 추천 서비스 제공 시스템은 도면부호 222과 같이 다양한 알고리즘을 통해 아이웨어 모델을 추천할 수 있다. 아이웨어 시착 및 추천 서비스 제공 시스템은 생성된 페이스 메시를 통해 고객 안면의 사이즈 및 형태를 분석할 수 있다. 이 과정에서 고객의 페이스 메시는 미리 지정된 여러 카테고리들 중에서 특정 카테고리로 분류(categorize)할 수 있다. 또한, 아이웨어 시착 및 추천 서비스 제공 시스템은 분류된 카테고리들 별로 최적의 아이웨어 모델을 추천 해줄 수 있다.
도 2c에서 보는 바와 같이, 아이웨어 시착 및 추천 서비스 제공 시스템은 아이웨어를 이용해서 시착 서비스를 제공할 수 있다(231). 또한, 아이웨어 시착 및 추천 서비스 제공 시스템은 추천된 기본 아이웨어 모델을 고객의 니즈를 반영하여 다양한 형태로 변형할 수 있다(232).
도 2c를 살펴보면, 아이웨어 시착 및 추천 서비스 제공 시스템은 고객의 의도를 니즈 또는 고객의 특징 데이터에 따라 아이웨어의 스펙을 조절할 수 있다(241). 일례로, 아이웨어 시착 및 추천 서비스 제공 시스템은 추천된 아이웨어 모델에서 안경 폭을 조정하거나, 코패드를 조정하거나, 템플길이 또는 좌우 귀 높이를 조정하여 맞춤형 모델링 할 수 있다.
또한, 아이웨어 시착 및 추천 서비스 제공 시스템은 맞춤형 모델링 과정에서 페이스 메시에 맞춤형 모델링된 아이웨어를 시착하여 적절한 피팅이 되는지를 체크할 수도 있다(242).
도 3은 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법을 설명하는 도면이다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 트루뎁스 카메라를 이용하여 고객의 페이스 메시를 생성하고(단계 310), 페이스 메시로부터 특징 데이터를 추출할 수 있다(단계 320).
일례로, 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 특징 데이터를 추출하기 위해, 페이스 메시로부터 측정되는 특정 좌표들을 이용하되, 특정 좌표들 간의 거리, 각도, 및 깊이 중에서 적어도 하나를 이용하여 특징 데이터를 추출할 수 있다.
다음으로, 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 특징 데이터를 반영하여 아이웨어의 스펙을 조절할 수 있다(단계 330).
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 고객의 안면 영상과, 상기 페이스 메시를 매칭시키고(단계 340), 매칭된 상태에서 상기 페이스 메시를 참고하여, 고객의 안면 영상에 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리할 수 있다(단계 350).
도 4는 고객의 페이스 메시(Face Mesh)를 생성하는 방법을 설명하는 도면이다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 페이스 메시를 생성하기 위해, 적어도 3만개 이상의 적외선을 상기 고객의 안면에 조사할 수 있다(단계 410).
또한, 조사된 적외선에 대한 응답으로 트루뎁스 카메라에서 적어도 3만개 이상의 적외선 도트를 수집할 수 있다(단계 420).
또한, 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 수집된 적외선 도트에 대한 좌표에 기초하여 상기 고객의 페이스 메시(Face Mesh)를 생성할 수 있다(단계 430).
생성된 페이스 메시로부터 추출되는 특징 데이터는 아이웨어 추천에 다양하게 활용될 수 있다.
도 5는 페이스 메시에 의해서 분류된 카테고리를 참고하여 아이웨어를 추천하는 방법을 설명하는 도면이다.
일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 고객의 특징 데이터로 분류되는 카테고리를 결정할 수 있다(단계 510).
또한, 일실시예에 따른 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법은 데이터베이스를 참조하여, 결정된 카테고리에 대응되는 아이웨어들을 선별하고(단계 520), 선별된 아이웨어들 중에서, 선택된 빈도를 고려하여 적어도 하나 이상의 아이웨어를 추천할 수 있다(단계 530).
아이웨어를 추천하기 위한 다른 방법으로, 고객의 특징 데이터에, 고객들이 과거에 선택했던 결과를 더 반영하여 상기 고객에 상기 아이웨어를 추천할 수 있다. 뿐만 아니라, 고객의 특징 데이터에 고객이 이전 단계에서 선택했던 결과를 더 반영하여 현재 단계에서 아이웨어를 추천할 수도 있다. 또한, 고객의 특징 데이터에, 고객에 대한 고객 정보를 반영하여 아이웨어를 추천할 수도 있다.
이후, 추천된 이후 고객의 니즈에 맞게 변형된 아이웨어는, 3D 프린팅 제작을 위한 정보로 활용될 수 있다.
또한, 현재 고객이 추천 아이웨어에 반영한 니즈에 기반하여 데이터베이스가 학습될 수 있다. 결국, 고객들의 이용 횟수가 증가할수록 시스템의 정확도는 향상될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.
소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

Claims (19)

  1. 트루뎁스 카메라를 이용하여 생성된 고객의 페이스 메시(Face Mesh)로부터 특징 데이터를 추출하는 특징 데이터 추출부;
    상기 추출된 특징 데이터를 반영하여 아이웨어의 스펙을 조절하여 렌더링 하는 아이웨어 조절부;
    상기 고객의 안면 영상과, 상기 페이스 메시를 매칭시키는 매칭 처리부; 및
    상기 매칭된 상태에서 상기 페이스 메시를 참고하여, 상기 고객의 안면 영상에 상기 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리하는 시착 처리부
    를 포함하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  2. 제1항에 있어서,
    상기 특징 데이터 추출부는,
    적어도 3만개 이상의 적외선을 상기 고객의 안면에 조사한 후, 상기 조사된 적외선에 대한 응답으로 상기 트루뎁스 카메라에서 적어도 3만개 이상의 적외선 도트를 수집하고, 상기 수집된 적외선 도트에 대한 좌표에 기초하여 상기 고객의 페이스 메시(Face Mesh)를 생성하는 것을 특징으로 하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  3. 제1항에 있어서,
    상기 특징 데이터 추출부는,
    상기 페이스 메시로부터 측정되는 특정 좌표들을 이용하되, 상기 특정 좌표들 간의 거리, 각도, 및 깊이 중에서 적어도 하나를 이용하여 상기 특징 데이터를 추출하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  4. 제1항에 있어서,
    상기 특징 데이터 추출부는,
    상기 페이스 메시로부터 측정되는 눈동자와 눈동자 사이 거리, 눈안쪽끝점간의 거리, 눈바깥쪽끝점간의 거리, 코의 높이, 미간과 눈동자의 높이, 얼굴 넓이, 얼굴 길이, 각 귀의 안쪽 주름, 측두골(temporal bone), 쐐기뼈(sphenoid bone), 광대뼈 아치 중에서 적어도 하나의 위치에 기초해서 특징 데이터를 추출하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  5. 제1항에 있어서,
    상기 고객의 특징 데이터를 고려하여 아이웨어를 추천하는 추천 처리부;
    를 더 포함하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  6. 제5항에 있어서,
    상기 추천 처리부는,
    상기 고객의 특징 데이터에, 고객들이 과거에 선택했던 결과를 더 반영하여 상기 고객에 상기 아이웨어를 추천하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  7. 제5항에 있어서,
    상기 추천 처리부는,
    상기 고객의 특징 데이터에, 상기 고객이 이전 단계에서 선택했던 결과를 더 반영하여 현재 단계에서 상기 아이웨어를 추천하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  8. 제5항에 있어서,
    상기 추천 처리부는,
    상기 고객의 특징 데이터에, 상기 고객에 대한 고객 정보를 반영하여 상기 아이웨어를 추천하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  9. 제5항에 있어서,
    상기 추천 처리부는,
    상기 고객의 특징 데이터로 분류되는 카테고리를 결정하고, 카테고리 별로 대응되는 아이웨어의 목록을 기록하는 데이터베이스를 참조하여, 상기 결정된 카테고리에 대응되는 아이웨어들 중에서, 선택된 빈도를 고려하여 적어도 하나 이상의 아이웨어를 추천하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  10. 제1항에 있어서,
    상기 시착 처리부는,
    상기 참고하는 페이스 메시를 투명처리 후 시착 처리하는 것을 특징으로 하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  11. 제1항에 있어서,
    상기 시착 처리부는,
    상기 시착 처리된 영상을 저장하도록 기록매체를 제어하고, 상기 기록된 영상을 상기 고객으로부터 요청된 사용자 단말기로 제공하도록 처리하는 것을 특징으로 하는 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템.
  12. 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법에 있어서,
    트루뎁스 카메라를 이용하여 생성된 고객의 페이스 메시(Face Mesh)로부터 특징 데이터를 추출하는 단계;
    상기 추출된 특징 데이터를 반영하여 아이웨어의 스펙을 조절하여 렌더링 하는 단계;
    상기 고객의 안면 영상과, 상기 페이스 메시를 매칭시키는 단계; 및
    상기 매칭된 상태에서 상기 페이스 메시를 참고하여, 상기 고객의 안면 영상에 상기 렌더링된 아이웨어를 증강현실 방식으로 오버랩하여 시착 처리하는 단계
    를 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  13. 제12항에 있어서,
    상기 특징 데이터를 추출하는 단계는,
    적어도 3만개 이상의 적외선을 상기 고객의 안면에 조사하는 단계;
    상기 조사된 적외선에 대한 응답으로 상기 트루뎁스 카메라에서 적어도 3만개 이상의 적외선 도트를 수집하는 단계; 및
    상기 수집된 적외선 도트에 대한 좌표에 기초하여 상기 고객의 페이스 메시(Face Mesh)를 생성하는 단계
    를 포함하는 것을 특징으로 하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  14. 제12항에 있어서,
    상기 특징 데이터를 추출하는 단계는,
    상기 페이스 메시로부터 측정되는 특정 좌표들을 이용하되, 상기 특정 좌표들 간의 거리, 각도, 및 깊이 중에서 적어도 하나를 이용하여 상기 특징 데이터를 추출하는 단계
    를 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  15. 제12항에 있어서,
    상기 고객의 특징 데이터를 고려하여 아이웨어를 추천하는 단계
    를 더 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  16. 제15항에 있어서,
    상기 아이웨어를 추천하는 단계는,
    상기 고객의 특징 데이터에, 고객들이 과거에 선택했던 결과를 더 반영하여 상기 고객에 상기 아이웨어를 추천하는 단계
    를 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  17. 제15항에 있어서,
    상기 아이웨어를 추천하는 단계는,
    상기 고객의 특징 데이터에, 상기 고객이 이전 단계에서 선택했던 결과를 더 반영하여 현재 단계에서 상기 아이웨어를 추천하는 단계
    를 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  18. 제15항에 있어서,
    상기 아이웨어를 추천하는 단계는,
    상기 고객의 특징 데이터에, 상기 고객에 대한 고객 정보를 반영하여 상기 아이웨어를 추천하는 단계
    를 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
  19. 제15항에 있어서,
    상기 아이웨어를 추천하는 단계는,
    상기 고객의 특징 데이터로 분류되는 카테고리를 결정하는 단계; 및
    카테고리 별로 대응되는 아이웨어의 목록을 기록하는 데이터베이스를 참조하여, 상기 결정된 카테고리에 대응되는 아이웨어들 중에서, 선택된 빈도를 고려하여 적어도 하나 이상의 아이웨어를 추천하는 단계
    를 포함하는 트루뎁스 카메라를 이용하는 아이웨어 시착 및 추천 서비스 제공 시스템의 동작 방법.
PCT/KR2019/009900 2018-08-31 2019-08-07 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법 WO2020045849A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/269,304 US11475648B2 (en) 2018-08-31 2019-08-07 System and method for providing eyewear try-on and recommendation services using truedepth camera
EP19856196.1A EP3846110A4 (en) 2018-08-31 2019-08-07 SYSTEM AND METHOD FOR PROVIDING EYEGLASSES TRYING AND RECOMMENDATION SERVICES USING A TRUE DEPTH CAMERA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0103335 2018-08-31
KR1020180103335A KR102149395B1 (ko) 2018-08-31 2018-08-31 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2020045849A1 true WO2020045849A1 (ko) 2020-03-05

Family

ID=69644477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009900 WO2020045849A1 (ko) 2018-08-31 2019-08-07 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법

Country Status (4)

Country Link
US (1) US11475648B2 (ko)
EP (1) EP3846110A4 (ko)
KR (1) KR102149395B1 (ko)
WO (1) WO2020045849A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598657A (zh) * 2020-05-12 2020-08-28 深圳小佳科技有限公司 一种基于图像处理的商品推荐方法、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488239B2 (en) * 2019-08-26 2022-11-01 Warby Parker Inc. Virtual fitting systems and methods for spectacles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330806A (ja) * 2000-03-17 2001-11-30 Topcon Corp 眼鏡フレーム合成システム及び眼鏡フレーム販売方法
KR20040097200A (ko) * 2002-03-26 2004-11-17 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR20140053647A (ko) * 2012-10-26 2014-05-08 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
KR20150052890A (ko) * 2013-11-06 2015-05-15 주식회사 엘지유플러스 의류 제품 판매 지원 장치와 이와 통신 가능한 의류 제품 정보 관리 서버, 의류 연관 제품 추천 서버 및 의류 제품 정보 제공 방법
JP2015181314A (ja) * 2015-07-16 2015-10-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20170010985A (ko) * 2015-07-21 2017-02-02 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US9470911B2 (en) * 2013-08-22 2016-10-18 Bespoke, Inc. Method and system to create products
WO2016164859A1 (en) * 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
US9996981B1 (en) * 2016-03-07 2018-06-12 Bao Tran Augmented reality system
US10157477B2 (en) 2016-04-27 2018-12-18 Bellus 3D, Inc. Robust head pose estimation with a depth camera
CN109804404A (zh) * 2016-09-06 2019-05-24 耐克创新有限合伙公司 用于个性化购物的系统、平台、装置和方法
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
US11819369B2 (en) * 2018-03-15 2023-11-21 Zoll Medical Corporation Augmented reality device for providing feedback to an acute care provider

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330806A (ja) * 2000-03-17 2001-11-30 Topcon Corp 眼鏡フレーム合成システム及び眼鏡フレーム販売方法
KR20040097200A (ko) * 2002-03-26 2004-11-17 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR20140053647A (ko) * 2012-10-26 2014-05-08 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
KR20150052890A (ko) * 2013-11-06 2015-05-15 주식회사 엘지유플러스 의류 제품 판매 지원 장치와 이와 통신 가능한 의류 제품 정보 관리 서버, 의류 연관 제품 추천 서버 및 의류 제품 정보 제공 방법
JP2015181314A (ja) * 2015-07-16 2015-10-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20170010985A (ko) * 2015-07-21 2017-02-02 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3846110A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598657A (zh) * 2020-05-12 2020-08-28 深圳小佳科技有限公司 一种基于图像处理的商品推荐方法、设备及存储介质

Also Published As

Publication number Publication date
EP3846110A4 (en) 2022-06-08
KR20200025652A (ko) 2020-03-10
US11475648B2 (en) 2022-10-18
US20210217249A1 (en) 2021-07-15
EP3846110A1 (en) 2021-07-07
KR102149395B1 (ko) 2020-08-31

Similar Documents

Publication Publication Date Title
CN107679466B (zh) 信息输出方法和装置
WO2019117563A1 (ko) 대화형 원격 의료를 위한 통합 예측 분석 장치 및 동작 방법
WO2020045849A1 (ko) 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
CN104335252B (zh) 个人识别方法
US20210264204A1 (en) Systems and methods for providing personalized product recommendations using deep learning
WO2019168223A1 (ko) 몰입형 가상피팅 연계 서비스 제공 시스템 및 몰입형 가상피팅 연계 서비스 제공 방법
WO2022039450A1 (ko) 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
KR20200028571A (ko) 인공지능 기반의 피부상태 분석에 의한 피부 분석정보 생성 방법
WO2019045385A1 (ko) 영상 얼라인먼트 방법 및 그 장치
CN108932774A (zh) 信息检测方法和装置
US20200110863A1 (en) User authentication via emotion detection
CN110633677B (zh) 人脸识别的方法及装置
WO2020141754A1 (ko) 안면착용 제품 추천 방법 및 그 장치
WO2021261881A1 (ko) 텍스타일 디자인 3d 모델링 장치 및 방법
WO2019168224A1 (ko) 몰입형 가상피팅 연계 서비스 제공 시스템 및 몰입형 가상피팅 연계 서비스 제공 방법
WO2020242089A2 (ko) 인공 지능 기반의 큐레이팅 방법 및 이러한 방법을 수행하는 장치
WO2023239110A1 (ko) 사용자에게 맞춤형 스타일을 추천하는 가상 체험 장치
DeAndres-Tame et al. How Good is ChatGPT at Face Biometrics? A First Look into Recognition, Soft Biometrics, and Explainability
CN104169977B (zh) 个人识别方法
Wong et al. Interactive quality-driven feedback for biometric systems
JP2020052505A (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
JP7103040B2 (ja) 表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニット
JP6438693B2 (ja) 認証装置、認証方法、およびプログラム
CN110032959B (zh) 一种人脸脸型判断方法及装置
KR20200030137A (ko) 피부 상태 분석정보 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019856196

Country of ref document: EP

Effective date: 20210331