WO2024071828A1 - 헤어 스타일 추천 장치 및 방법 - Google Patents

헤어 스타일 추천 장치 및 방법 Download PDF

Info

Publication number
WO2024071828A1
WO2024071828A1 PCT/KR2023/014372 KR2023014372W WO2024071828A1 WO 2024071828 A1 WO2024071828 A1 WO 2024071828A1 KR 2023014372 W KR2023014372 W KR 2023014372W WO 2024071828 A1 WO2024071828 A1 WO 2024071828A1
Authority
WO
WIPO (PCT)
Prior art keywords
hair
person
image
hairstyle
recommended
Prior art date
Application number
PCT/KR2023/014372
Other languages
English (en)
French (fr)
Inventor
유제정
정재민
이종하
김영신
Original Assignee
주식회사 미러로이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 미러로이드 filed Critical 주식회사 미러로이드
Publication of WO2024071828A1 publication Critical patent/WO2024071828A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • This specification relates to a device for recommending a hair style that will satisfy a customer in consideration of the customer's characteristics, and a method for recommending a hair style using the same.
  • the virtual hair styling experience service is a service that provides the experience as if the experience had been previously done with hair styling by compositing or overlapping a virtually created hair image with the experiencer's face photo and outputting it.
  • the service provider selects a hair style that suits the customer and recommends it to the customer, and among the recommended hairstyles, the customer decides which hair style he likes and experiences it virtually. The decision is made to actually perform the procedure.
  • hairstyles are recommended based on the head or facial features of the person receiving the treatment, but in addition to this, hair features and fashion features need to be taken into consideration when selected/recommended, but there is a problem in that these features are overlooked and recommended.
  • the hairstyle recommendation method includes obtaining an image of a face area, an image of a head area, and an image of a body area from an image of a first person; Preprocessing is performed to input the face region image of the first person into a facial feature extraction model, preprocessing is performed to input the head region image of the first person into the hair feature extraction model, and Performing preprocessing to input body region images into a fashion feature extraction model; A facial feature vector is extracted by inputting the preprocessing result of the face region image of the first person into the facial feature extraction model, and inputting the preprocessing result of the head region image of the first person into the hair feature extraction model to extract a hair feature vector.
  • the deep learning recommendation model may learn the relationship between a hairstyle recommended to a second person with certain characteristics regarding face, hair, and fashion, and the second person's reaction to the hairstyle recommended to the second person. there is.
  • the hairstyle recommendation method and other embodiments may include the following features.
  • the learning process of the deep learning recommendation model may include acquiring a face area image, a head area image, and a body area image from the image of the second person; performing preprocessing to input the face area image of the second person, the head area image of the second person, and the body area image of the second person into a feature extraction model; The preprocessing result of the face area image of the second person is input to the facial feature extraction model to extract the facial feature vector of the second person, and the preprocessing result of the head area image of the second person is input into the hair feature extraction model.
  • extracting a hair feature vector of the second person by inputting a hair feature vector of the second person, and inputting a preprocessing result of the body region image of the second person into the fashion feature extraction model to extract a fashion feature vector of the second person; collecting reaction data of the second person to a recommended hairstyle image output to the device; and inputting the facial feature vector of the second person, the hair feature vector of the second person, the fashion feature vector of the second person, the recommended hairstyle image, and the reaction data of the second person into the deep learning recommendation model. It may include: training the deep learning recommendation model.
  • the hairstyle recommendation device detects facial feature points from an image of the face area, performs preprocessing to cut and align them into the face region, and detects facial feature points from the image of the head region to create a face containing hair. After cutting into regions and subdividing them, preprocessing can be performed to extract partial images for the face region and hair region. After segmenting the image of the body region, preprocessing can be performed to extract partial images for the fashion item region. .
  • the reaction data may include conscious reaction data and unconscious reaction data for the recommended hairstyle
  • the conscious reaction may include an indication of preference for the recommended hairstyle and satisfaction information for the recommended hairstyle.
  • the unconscious response may include the number of clicks on the recommended hairstyle, the number of touches on the recommended hairstyle, and the gaze maintenance time on the recommended hairstyle.
  • the facial feature vector is a latent vector representing a facial feature classification result from a face region image when the facial feature extraction model is used
  • the hair feature vector is a latent vector when the hair feature extraction model represents a facial feature classification result from a face region image.
  • the fashion feature vector may be a latent vector representing a fashion feature classification result from the body region image of the fashion feature extraction model.
  • the hair feature vector includes hairstyle feature information and hair attribute feature information
  • the hairstyle feature information includes hairstyle type information and hair length information
  • the hair attribute feature information may include hair thickness information, hair amount information, and hair type information.
  • the response data may further include satisfaction information of the hair designer who recommended the recommended hairstyle.
  • the device includes a storage unit; and a control unit functionally connected to the storage unit, wherein the storage unit stores data generated by the control unit, a facial feature extraction model, a hair feature extraction model, a fashion feature extraction model, and a deep learning recommendation model,
  • the control unit acquires a face area image, a head area image, and a body area image from the image of the first person, and performs preprocessing to input the face area image of the first person into a facial feature extraction model, Preprocessing is performed to input the head region image of the first person into a hair feature extraction model, and preprocessing is performed to input the body region image of the first person into the fashion feature extraction model, and the face of the first person is performed.
  • the preprocessing result of the body area image of the first person is input to the fashion feature extraction model to extract a fashion feature vector, and the facial feature vector, the hair feature vector, the fashion feature vector, and the recommended hairstyle are input to the deep learning recommendation model.
  • Input to calculate the reaction score of the first person to the recommended hairstyle the deep learning recommendation model is used to calculate the recommended hairstyle for the second person and the second person with certain characteristics regarding face, hair, and fashion. The relationship between the second person's reaction to the recommended hairstyle may be learned.
  • the hair style recommendation device and other embodiments may include the following features.
  • the control unit obtains a face area image, a head area image, and a body area image from the image of the second person, and obtains a face area image of the second person and a head area of the second person.
  • Perform preprocessing to input the image and the body area image of the second person into a feature extraction model, and input the preprocessing result of the face area image of the second person into the facial feature extraction model to identify the facial features of the second person.
  • a vector is extracted, and the preprocessing result of the head area image of the second person is input to the hair feature extraction model to extract the hair feature vector of the second person, and the preprocessing result of the body area image of the second person is inputted into the hair feature extraction model.
  • the deep learning recommendation model can be trained by inputting the second person's hair feature vector, the second person's fashion feature vector, the recommended hairstyle image, and the second person's reaction data into the deep learning recommendation model.
  • control unit detects facial feature points from the image of the face region, performs preprocessing to crop and align the facial feature points into the face region, and detects the facial feature points from the image of the head region and crops them into the face region including hair. After segmentation, preprocessing can be performed to extract partial images for the face and hair regions, and after segmenting the image for the body region, preprocessing can be performed to extract partial images for the fashion item region.
  • the reaction data includes conscious reaction data and unconscious reaction data for the recommended hairstyle, and the conscious reaction data indicates whether there is a preference for the recommended hairstyle and provides satisfaction information for the recommended hairstyle.
  • the unconscious reaction data may include the number of clicks on the recommended hairstyle, the number of touches on the recommended hairstyle, and the gaze retention time on the recommended hairstyle.
  • the facial feature vector is a latent vector representing a facial feature classification result from a face region image when the facial feature extraction model is used
  • the hair feature vector is a latent vector when the hair feature extraction model represents a facial feature classification result from a face region image.
  • the fashion feature vector may be a latent vector representing a fashion feature classification result from the body region image of the fashion feature extraction model.
  • the hair feature vector includes hairstyle feature information and hair attribute feature information
  • the hairstyle feature information includes hairstyle type information and hair length information
  • the hair attribute feature information may include hair thickness information, hair amount information, and hair type information.
  • the response data may further include satisfaction information of the hair designer who recommended the recommended hairstyle.
  • this specification presents a computer program.
  • the computer program may be combined with hardware and stored in a computer-readable recording medium to execute each step included in the hair style recommendation method described above.
  • a hairstyle that will satisfy the customer is created by taking into account the satisfaction and reaction to a specific hairstyle of a large number of customers with similar facial features, hair features, and fashion features, rather than human subjectivity. There is an effect that can be recommended.
  • FIG. 1 is a diagram for explaining a method of recommending a hairstyle according to an embodiment.
  • Figure 2 shows the configuration of a hairstyle recommendation device according to an embodiment.
  • Figure 3 is a flowchart explaining a hairstyle recommendation method according to an embodiment.
  • Figure 4 is a diagram illustrating a facial feature extraction process using a hairstyle recommendation method according to an embodiment.
  • Figure 5 is a diagram briefly illustrating the preprocessing process of a person image for extracting facial feature vectors.
  • Figure 6 is a diagram illustrating a hair feature extraction process by a hair style recommendation method according to an embodiment.
  • Figure 7 is a diagram illustrating an example of segmenting a portrait photo and parsing the hair and face parts to extract hair features.
  • Figure 8 is a diagram illustrating a fashion feature extraction process using a hairstyle recommendation method according to an embodiment.
  • Figure 9 is a diagram illustrating an example of segmenting a portrait photo and parsing fashion items including the face and hair to extract fashion features.
  • Figure 10 shows an example of a deep learning recommendation model used in a hairstyle recommendation method according to an embodiment.
  • the technology disclosed herein can be applied to a hair style recommendation device and method.
  • the technology disclosed in this specification is not limited to this, and can be applied to all devices and methods to which the technical idea of the technology can be applied.
  • first, second, etc. used in this specification may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component without departing from the scope of the present invention.
  • a device or terminal includes a communication terminal or communication device capable of wired or wireless communication with a server or other device.
  • the form of the device or terminal may be various, such as a mobile phone, smartphone, smart pad, laptop computer, desktop computer, smart TV, wearable device, mirror-shaped display device, smart mirror, etc.
  • Wearable devices can be diverse, such as watch-type terminals, glass-type terminals, HMDs, etc. Additionally, the terminal is not limited to this form and can be implemented with various electronic devices.
  • FIG. 1 is a diagram for explaining a method of recommending a hairstyle according to an embodiment.
  • the hairstyle recommendation method extracts facial features from the customer's portrait image (1) through a facial feature extraction model (10) and hair features through a hair feature extraction model (20). Extract and extract fashion features through the fashion feature extraction model (30).
  • the hairstyle recommendation model (40) By predicting the customer's conscious and unconscious reactions to the recommended hairstyle (2), scoring them, and outputting them, the hairstyle with the highest prediction score is recommended to the customer among the database of hairstyles to be recommended to the customer.
  • the hair style recommendation model 40 of the hair style recommendation device 100 uses the hair style recommended for customers with certain facial features, hair features, and fashion features, and The relationship between customer reactions to recommended hairstyles is learned using deep learning. Therefore, if the deep learning-based hair style recommendation model (40) sufficiently learns the reactions of customers to various recommended hairstyles for customers with various characteristics, it provides characteristic information and recommendations for customers with certain facial, hair, and fashion characteristics. When hair style information is input, it is possible to predict the customer's reaction to the recommended hair style.
  • the hairstyle recommendation model 40 is referred to as a deep learning recommendation model.
  • hairstyle recommendation device 100 and its functions according to an embodiment will be described in detail with reference to the attached drawings.
  • Figure 2 shows the configuration of a hairstyle recommendation device according to an embodiment.
  • the hairstyle recommendation device 100 may be configured to include a communication unit 110, a storage unit 120, and a control unit 130.
  • the illustrated components are not essential, and the hairstyle recommendation device 100 may be implemented with more components or fewer components. These components may be implemented in hardware or software, or through a combination of hardware and software.
  • the communication unit 110 can transmit and receive data with an external device through a network.
  • the storage unit 120 may store data generated by the control unit 130 or data received through the communication unit 110. Additionally, the storage unit 120 may store a facial feature extraction model 10, a hair feature extraction model 20, a fashion feature extraction model 30, and a deep learning recommendation model 40.
  • the control unit 130 is functionally connected to the communication unit 110 and the storage unit 120.
  • Figure 3 is a flowchart explaining a hairstyle recommendation method according to an embodiment.
  • the control unit 130 obtains a face area image, a head area image, and a body area image from one input image of the customer (S100), and then obtains the customer's face area image.
  • Perform preprocessing to input into the facial feature extraction model (10) perform preprocessing to input the customer's head area image into the hair feature extraction model (20), and perform preprocessing to input the customer's body area image into the fashion feature extraction model ( Preprocessing for input to 30) is performed (S110).
  • the control unit 130 inputs the preprocessing result of the face region image into the facial feature extraction model 10 to extract a facial feature vector, and inputs the preprocessing result of the head region image into the hair feature extraction model 20 to extract the facial feature vector.
  • a feature vector is extracted, and the preprocessing result of the body area image is input into the fashion feature extraction model 30 to extract the fashion feature vector (S120).
  • the customer's portrait image may be input through the communication unit 110 and an external storage device (not shown), or may be acquired by being photographed by a camera (not shown) provided in the hairstyle recommendation device 100.
  • the feature vector extraction models 10, 20, and 30 may all be MobileNetV2 models.
  • Figure 4 is a diagram illustrating a facial feature extraction process using a hairstyle recommendation method according to an embodiment.
  • Figure 5 is a diagram briefly illustrating the preprocessing process of a person image for extracting facial feature vectors.
  • the control unit 130 detects the face area in the person image 1, extracts the face area image 1-1, and extracts facial feature points from the face area image 1-1. Preprocessing is performed to detect (extract), cut into face areas, and align (S110-1), and input the preprocessing results of the face area image (1-1) into the facial feature extraction model (10) to extract facial feature vectors. .
  • the facial feature extraction model (10) can classify about 40 unique facial features such as “round” and “has a beard.”
  • the data set for training the facial feature extraction model (10) is based on the CelebA data set.
  • the facial feature extraction model (10) is learned with the CelebA data set, and classifiers other than the feature extractor are removed and used. Referring to FIG.
  • the normalized face area image is input to the facial feature extraction model 10.
  • 68 facial keypoints are predicted using Dlib, an image processing tool, and facial features are classified (extracted) based on the predicted facial keypoints.
  • Figure 6 is a diagram illustrating a hair feature extraction process by a hair style recommendation method according to an embodiment.
  • Figure 7 is a diagram illustrating an example of segmenting a portrait photo and parsing the hair and face parts to extract hair features.
  • the control unit 130 detects (extracts) facial feature points from the person image 1, cuts out the image 1-2 of the head area including the face and hair, and , perform preprocessing to extract partial images of the face region and hair region with the background and torso removed by segmenting and parsing the head region image (1-2), and use this as a hair feature extraction model (20).
  • the hair style feature vector is extracted from the hair feature vectors by inputting it into the style feature extraction model (20-1).
  • the control unit 130 removes all parts except the hair region from the segmented and parsed hair region image (1-2) and inputs it to the hair attribute feature extraction model (20-2) among the hair feature extraction models (20). Then, extract the hair attribute feature vector from the hair feature vector.
  • the control unit 130 when extracting hair attribute features, provides optional information about hair attributes, and directly receives optional information about hair attributes from external users, hair designers, customers, etc. It can be used for vector extraction.
  • hairstyle features in order to remove unnecessary noise in the process of recognizing a real person's hairstyle, the body and background are removed, leaving only the hair and face areas through a face parsing model.
  • hair attribute features in order to remove unnecessary noise in the process of recognizing hair attributes of a real person, the body, background, and face are removed while leaving the hair area through a face parsing model. Referring to FIG. 7, an example of parsing hair and face parts using a portrait photo segmentation model is shown.
  • Figure 8 is a diagram illustrating a fashion feature extraction process using a hairstyle recommendation method according to an embodiment.
  • Figure 9 is a diagram illustrating an example of segmenting a portrait photo and parsing fashion items including the face and hair to extract fashion features.
  • the control unit 130 subdivides the body region images 1-3 in the person image 1 to detect and classify the type of top, type of bottom, accessories, shoes, etc. Among them, preprocessing is performed to extract partial images of fashion items such as clothes, accessories, and shoes, and these are input into the fashion feature extraction model 30 to extract fashion feature vectors.
  • the control unit 130 subdivides portrait photos, that is, body area photos (1-3), and then classifies them by fashion item. This result is input into the fashion feature extraction model (30).
  • the above-mentioned facial feature vector is a latent vector representing the facial feature classification result extracted by the facial feature extraction model 10 from the facial region image (1-1), and the hair feature vector is the hair feature extraction model 20. It is a latent vector representing the hair feature classification result extracted from the head region image (1-2), and the fashion feature classification vector represents the fashion feature classification result extracted from the body region image (1-3) by the fashion feature extraction model 30. It is a latent vector.
  • the hair feature vector may include hair style feature information and hair attribute feature information.
  • the hair style feature information includes hair style type information such as perm, cut, and dyeing and hair length information
  • the hair attribute feature information includes It may include hair thickness information, hair amount information, scalp condition and hair type information such as oily, dry, curly, and straight hair.
  • the control unit 130 inputs the extracted facial feature vector, hair feature vector, and fashion feature vector and the hairstyle to be recommended to the customer into the deep learning recommendation model 40 to add the extracted facial feature vector, hair feature vector, and fashion feature vector to the recommended hairstyle.
  • the customer's reaction score is calculated, and a hairstyle with a score higher than a predetermined standard is recommended to the customer (S130).
  • a neural collaborative filtering model can be used as a deep learning recommendation algorithm model, and as described above, the recommended hairstyles and reminders for various people with certain characteristics regarding face, hair, and fashion. It is learned using relationship data of various people's reactions to recommended hairstyles.
  • the response score is calculated based on response data.
  • Reaction data includes the customer's conscious reaction data and unconscious reaction data to the recommended hairstyle.
  • the customer's conscious response data may include an indication of preference, such as selecting "Like” for the recommended hair style, and satisfaction information about the recommended hair style.
  • the customer's unconscious reaction data may include the number of clicks on the recommended hairstyle, the number of touches on the recommended hairstyle, and the gaze retention time on the recommended hairstyle. Additionally, the response data may also include satisfaction information of the hair designer who recommended the recommended hairstyle. By combining these conscious and unconscious reaction data, the customer's interest, likeability, and preference for the recommended hairstyle can be known. If the satisfaction score is also considered, the customer's level of satisfaction with the recommended hairstyle can be clearly determined. become able to judge.
  • steps, processes or operations may be further divided into additional steps, processes or operations, or may be combined into fewer steps, processes or operations, depending on the implementation of the invention. Additionally, some steps, processes, or operations may be omitted, or the order between steps or operations may be switched, as needed. Additionally, each step or operation included in the above-described hairstyle recommendation method may be implemented as a computer program and stored in a computer-readable recording medium, and each step, process, or operation may be executed by a computer device.
  • Figure 10 shows an example of a deep learning recommendation model used in a hairstyle recommendation method according to an embodiment.
  • the deep learning recommendation model 40 is a system for making recommendations by considering factors that can affect hair style as face, hair, and fashion. It is a recommendation system using one existing feature. Unlike the process, all three features must be combined to combine information, so new features are added to the concatenation part. Through this, it can be meaningful to build a suitable system to make recommendations by making maximum use of the resources that can be considered within the image. Additionally, for higher accuracy, hair attributes can be extracted using a model or manually selected by experts or users. Preprocessing used in all processes is a material for delivering accurate information to the recommendation system.
  • Latent vectors that is, facial feature vectors, hair feature vectors, and fashion feature vectors output from each feature extraction model are input into the 'User' part of the deep learning recommendation model (40), and into the 'Item' part.
  • the hairstyle resource to be extracted and the image of the hairstyle are input.
  • the customer's conscious and unconscious information and customer satisfaction are entered into the final 'score', and 'target' refers to the predicted conscious and unconscious information and satisfaction value.
  • control unit 130 acquires a face area image, a head area image, and a body area image from an image of a person, and then acquires the face area image of the person. Preprocessing is performed to input the image, head region image, and body region image into the feature extraction model.
  • control unit 130 inputs the preprocessing result of the face region image into the facial feature extraction model 10 to extract a facial feature vector for the certain person, and uses the preprocessing result of the head region image to model the hair feature extraction model. (20) is input to extract the hair feature vector for the certain person, and the preprocessing result of the body region image is input to the fashion feature extraction model (30) to extract the fashion feature vector for the certain person.
  • control unit 130 collects the reaction data of the person to the recommended hairstyle image output to the device 100, and then collects the person's facial feature vector, the person's hair feature vector, and the person's facial feature vector.
  • the person's fashion feature vector, the recommended hairstyle image, and the person's reaction data are input and learned into the deep learning recommendation model 40, thereby learning the relationship between the input data.
  • Networks disclosed herein include, for example, wireless networks, wired networks, public networks such as the Internet, private networks, Global System for Mobile communication networks (GSM) networks, general packet wireless networks (General Packet Radio Network (GPRN), Local Area Network (LAN), Wide Area Network (WAN), Metropolitan Area Network (MAN), Cellular Network, Public Switched Telephone Network ; PSTN), Personal Area Network, Bluetooth, Wi-Fi Direct, Near Field communication, Ultra-Wide band, combinations thereof, or any It may be a different network, but is not limited to these.
  • GSM Global System for Mobile communication networks
  • GPRN General Packet Radio Network
  • LAN Local Area Network
  • WAN Wide Area Network
  • MAN Metropolitan Area Network
  • PSTN Public Switched Telephone Network
  • PSTN Public Switched Telephone Network
  • Bluetooth Wi-Fi Direct
  • Near Field communication Ultra-Wide band
  • Ultra-Wide band combinations thereof, or any It may be a different network, but is not limited to these.
  • unit e.g., control unit, etc.
  • Part may be used interchangeably with terms such as unit, logic, logical block, component, or circuit, for example.
  • a “part” may be the minimum unit of an integrated part or a part thereof.
  • Part may be the minimum unit or part of one or more functions.
  • the “part” may be implemented mechanically or electronically.
  • a “part” may be an Application-Specific Integrated Circuit (ASIC) chip, Field-Programmable Gate Arrays (FPGAs), or programmable-logic device, known or to be developed in the future, that performs certain operations. It can contain at least one.
  • ASIC Application-Specific Integrated Circuit
  • FPGAs Field-Programmable Gate Arrays
  • programmable-logic device known or to be developed in the future, that performs certain operations. It can contain at least one.
  • At least a portion of the device (e.g., modules or functions thereof) or method (e.g., operations) according to various embodiments may be stored in a computer-readable storage media, e.g., in the form of a program module. It can be implemented with instructions stored in . When the instruction is executed by a processor, the one or more processors may perform the function corresponding to the instruction.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system.
  • Computer-readable storage media/computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), and optical media (e.g.
  • CD-ROM compact disc read only memory, digital versatile disc (DVD), magneto-optical media (e.g., floptical disk), hardware devices (e.g., read only memory (ROM), random disk (RAM)) access memory, or flash memory, etc.), and may also include those implemented in the form of a carrier wave (e.g., transmission via the Internet).
  • program instructions include machine language such as that created by a compiler.
  • code it may include high-level language code that can be executed by a computer using an interpreter, etc.
  • the above-described hardware device may be configured to operate as one or more software modules to perform the operations of various embodiments, and vice versa. Same thing.
  • a module or program module may include at least one of the above-described components, some of them may be omitted, or may further include other additional components. Operations performed by modules, program modules, or other components according to various embodiments may be executed sequentially, in parallel, iteratively, or in a heuristic manner. Additionally, some operations may be executed in a different order, omitted, or other operations may be added.
  • the term “one” is defined as one or more than one. Additionally, the use of introductory phrases such as “at least one” and “one or more” in a claim may mean that the same claim contains introductory phrases such as “at least one” and “one or more” and ambiguous phrases such as “an.” The introduction of another claim element by the ambiguous phrase "a”, if any, shall be construed to mean that any particular claim containing the claim element so introduced is limited to an invention containing only one such element. It shouldn't be.
  • any two components combined to achieve particular functionality may be considered to be “related” to each other such that the desired functionality is achieved, regardless of structure or intervening components.
  • two such associated components may be considered “operably connected” or “operably coupled” to each other to achieve a desired function.
  • a reference to a system containing a specific component should also include scenarios in which the system does not contain the specific component.
  • a reference to a method that includes a specific behavior should also include scenarios in which the method does not include that specific component.
  • a reference to a system configured to perform a specific action should also include scenarios in which the system is not configured to perform a specific task.
  • any method may include at least the operations included in the drawings and/or the specification, or may include only the operations included in the drawings and/or the specification.
  • the word “comprising” does not exclude the presence of elements or acts listed in a claim.
  • a system, apparatus or device referred to in this specification includes at least one hardware component.
  • the hairstyle recommendation technology of the present invention recommends hair styles to random people using a deep learning-based recommendation model that learns the relationship between the people's reactions to the recommended hairstyles for people with facial, hair, and fashion characteristics.
  • the explanation focuses on examples of a hairstyle recommendation device that predicts a random person's reaction to a given hairstyle and a recommendation method using the same, but it can also be applied to various other hairstyle recommendation-related technologies.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 명세서는 헤어 스타일 추천 장치 및 헤어 스타일 추천 방법에 관한 것이다. 상기 헤어 스타일 추천 방법은, 제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득한 뒤, 각 이미지를 전처리하여 각각 얼굴 특징 추출 모델, 헤어 특징 추출 모델 및 패션 특징 추출 모델에 입력하여 특징 벡터를 추출하고, 추출된 각 특징 벡터 및 추천 헤어 스타일을 헤어 및 패션에 대해서 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 예측함으로써, 얼굴 특징, 헤어 특징 및 패션 특징을 가진 다수의 고객의 특정 헤어 스타일에 대한 만족도 및 반응 등을 고려하여 고객이 만족할 만한 헤어 스타일을 추천할 수 있는 효과가 있다.

Description

헤어 스타일 추천 장치 및 방법
본 명세서는 고객의 특징을 고려하여 고객이 만족할 만한 헤어 스타일을 추천하는 장치 및 이에 의한 헤어 스타일 추천 방법에 관한 것이다.
최근 미용 분야에서는 고객이 원하는 여러 가지 헤어스타일을 미리 체험해보고 시술할 헤어스타일을 결정하는 가상 헤어 스타일링 체험 서비스가 제공되고 있다. 가상 헤어 스타일링 체험 서비스는 체험자의 얼굴 사진에 가상으로 생성한 모발 영상을 합성 또는 중첩하여 출력함으로써 체험자에게 미리 헤어스타일을 시술한 것과 같은 체험을 제공하는 서비스이다.
이러한 가상 헤어 스타일링 체험을 고객에게 제공할 때, 서비스 제공자는 고객에게 어울릴 만한 헤어 스타일을 선택하여 고객에게 추천하고, 추천된 헤어 스타일 중에서 고객은 마음에 드는 헤어 스타일을 결정하여 가상 체험을 한 뒤, 이를 실제로 시술하는 결정을 한다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
그러나, 스타일리스트는 본인의 경험에 근거하여 여러 가지 헤어 스타일 샘플들을 살펴본 후, 고객(체험자)에게 어울릴 만한 헤어 스타일을 선택하여 추천하거나, 복수의 헤어 스타일 샘플 중에서 고객이 마음에 드는 헤어 스타일을 직접 선택하는 등의 방법으로 이루어지기 때문에, 추천 헤어 스타일의 선택에 시간이 많이 걸리는 문제점이 있었다.
또한, 헤어 스타일은 시술 받는 사람의 두상 또는 얼굴 특징에 기초하여 추천되지만, 이뿐 아니라 헤어 특징 및 패션 특징도 고려되어 선택/추천될 필요가 있지만 이러한 특징은 간과된 채로 추천되는 문제가 있다.
또한, 전술한 고객의 특징들을 판단할 때, 종래에는 사람의 주관에 의해 판단되어 추천 기준이 안정적이지 못한 문제도 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 헤어 스타일 추천 장치에 의해 수행되는 헤어 스타일 추천 방법을 제시한다. 상기 헤어 스타일 추천 방법은, 제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계; 상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계; 상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하는 단계; 및 상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하는 단계;를 포함하되, 상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것 일 수 있다.
상기 헤어 스타일 추천 방법 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 딥러닝 추천 모델의 학습 과정은, 상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계; 상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계; 상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하는 단계; 상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하는 단계; 및 상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시키는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 헤어 스타일 추천 장치는, 얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고, 머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고, 신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행할 수 있다.
실시 예에 따라, 또한, 상기 반응 데이터는, 추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고, 상기 의식적 반응은 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고, 상기 무의식적 반응은 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함할 수 있다.
실시 예에 따라, 또한, 상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고, 상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고, 상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터일 수 있다.
실시 예에 따라, 또한, 상기 헤어 특징 벡터는, 헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고, 상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고, 상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보 및 모발 타입 정보를 포함할 수 있다.
실시 예에 따라, 또한, 상기 반응 데이터는, 상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함할 수 있다.
한편, 본 명세서는 헤어 스타일 추천 장치를 제시한다. 상기 장치는, 저장부; 및 상기 저장부와 기능적으로 연결되는 제어부;를 포함하되, 상기 저장부는 상기 제어부에 의해 생성된 데이터, 얼굴 특징 추출 모델, 헤어 특징 추출 모델, 패션 특징 추출 모델 및 딥러닝 추천 모델을 저장하고, 상기 제어부는, 제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고, 상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하고, 상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하되, 상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것일 수 있다.
상기 헤어 스타일 추천 장치 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 제어부는, 상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고, 상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하고, 상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하고, 상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시킬 수 있다.
실시 예에 따라, 또한, 상기 제어부는, 얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고, 머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고, 신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행할 수 있다.
실시 예에 따라, 또한, 상기 반응 데이터는, 추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고, 상기 의식적 반응 데이터는 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고, 상기 무의식적 반응 데이터는 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함하는 할 수 있다.
실시 예에 따라, 또한, 상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고, 상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고, 상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터일 수 있다.
실시 예에 따라, 또한, 상기 헤어 특징 벡터는, 헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고, 상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고, 상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보, 모발 타입 정보를 포함할 수 있다.
실시 예에 따라, 또한, 상기 반응 데이터는, 상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함할 수 있다.
또 다른 한편, 본 명세서는 컴퓨터프로그램을 제시한다. 상기 컴퓨터 프로그램은, 하드웨어와 결합되어, 전술한 헤어 스타일 추천 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 고객의 얼굴 특징, 헤어 특징 및 패션 특징을 고려하여, 고객이 만족할 만한 헤어 스타일을 추천할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 사람의 주관이 아니라 유사한 얼굴 특징, 헤어 특징 및 패션 특징을 가진 다수의 고객의 특정 헤어 스타일에 대한 만족도 및 반응 등을 고려하여 고객이 만족할 만한 헤어 스타일을 추천할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 추천된 헤어 스타일에 대한 고객들의 의식적 반응뿐만 아니라 무의식적인 반응까지 고려하여 고객에게 알맞은 헤어 스타일을 추천할 수 있는 효과가 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 헤어 스타일 추천 장치의 구성을 도시한다.
도 3은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하는 순서도이다.
도 4는 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 얼굴 특징 추출 프로세스를 설명하는 도면이다.
도 5는 얼굴 특징 벡터를 추출하기 위한 인물 이미지의 전처리 과정을 간략하게 도시한 도면이다.
도 6은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 헤어 특징 추출 프로세스를 설명하는 도면이다.
도 7은 헤어 특징 추출을 위해서 인물 사진을 세분화하여 헤어 부분과 얼굴 부분을 파싱하는 예를 도시하는 도면이다.
도 8은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 패션 특징 추출 프로세스를 설명하는 도면이다.
도 9는 패션 특징 추출을 위해서 인물 사진을 세분화하여 얼굴 부분, 헤어 부분을 포함한 패션 아이템들을 파싱하는 예를 도시하는 도면이다.
도 10은 일 실시 예에 따른 헤어 스타일 추천 방법에서 사용되는 딥러닝 추천 모델의 예를 도시한다.
본 명세서에 개시된 기술은 헤어 스타일 추천 장치 및 방법에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
명세서 전체에서, 장치 또는 단말은 서버 또는 다른 장치와 유선 또는 무선 통신할 수 있는 통신 단말 또는 통신 장치를 포함한다. 장치 또는 단말의 형태는 휴대전화, 스마트폰, 스마트패드, 랩톱 컴퓨터, 데스크톱 컴퓨터, 스마트티브이, 웨어러블 디바이스, 거울 형태의 디스플레이 장치, 스마트미러 등과 같이 다양한 형태를 가질 수 있다. 웨어러블 디바이스는 워치형 단말기, 글래스형 단말기, HMD 등과 같이 다양할 수 있다. 또한, 단말은 이러한 형태에 한정되지 않고 다양한 전자 장치로 구현될 수 있다.
이하에서는 첨부의 도면을 참조하여 실시 예를 상세하게 설명한다.
도 1은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 실시 예에 따른 헤어 스타일 추천 방법은 고객의 인물 이미지(1)로부터 얼굴 특징 추출 모델(10)을 통해서 얼굴 특징을 추출하고, 헤어 특징 추출 모델(20)을 통해서 헤어 특징을 추출하고, 패션 특징 추출 모델(30)을 통해서 패션 특징을 추출한다. 추출된 얼굴 특징, 헤어 특징 및 패션 특징과, 이러한 특징이 추출된 고객에게 어울릴 것으로 판단되는 추천 헤어 스타일(2)을 함께 헤어 스타일 추천 모델(40)에 입력하면, 헤어 스타일 추천 모델(40)은 추천 헤어 스타일(2)에 대한 해당 고객의 의식적인 반응과 무의식적인 반응을 예측한 뒤 점수화하여 출력함으로써, 고객에게 추천할 헤어 스타일 DB 중에서 가장 예측 점수가 높은 헤어 스타일을 고객에게 추천한다.
이러한 추천을 위해, 실시 예에 따른 헤어 스타일 추천 장치(100)의 헤어 스타일 추천 모델(40)은 어떠한 얼굴 특징, 어떠한 헤어 특징 및 어떠한 패션 특징을 가진 고객들에 대해서, 그 고객에게 추천된 헤어 스타일과 추천된 헤어 스타일에 대한 고객의 반응의 관계를 딥러닝으로 학습한다. 따라서 딥러닝 기반의 헤어 스타일 추천 모델(40)이 다양한 특징을 가지는 고객들에 대해서 다양한 추천 헤어 스타일에 대한 이들 고객들의 반응을 충분히 학습하면, 어떠한 얼굴, 헤어 및 패션 특징을 가지는 고객의 특징 정보와 추천 헤어 스타일 정보가 입력될 때, 추천 헤어 스타일에 대한 고객의 반응을 예측할 수 있게 된다. 이하에서는 상기 헤어 스타일 추천 모델(40)은 딥러닝 추천 모델이라고 지칭된다.
이하에서는 첨부의 도면을 참조하여 실시 예에 따른 헤어 스타일 추천 장치(100) 및 이의 기능을 상세하게 설명한다.
도 2는 일 실시 예에 따른 헤어 스타일 추천 장치의 구성을 도시한다.
도 2를 참조하면, 헤어 스타일 추천 장치(100)는 통신부(110), 저장부(120), 및 제어부(130)를 포함하여 구성될 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 헤어 스타일 추천 장치(100)가 구현될 수도 있다. 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합을 통해서 구현될 수 있다.
통신부(110)는 네트워크를 통해 외부의 장치와 데이터를 송수신할 수 있다.
저장부(120)는 제어부(130)에 의해 생성된 데이터 또는 통신부(110)를 통해 수신된 데이터를 저장할 수 있다. 또한, 저장부(120)는 얼굴 특징 추출 모델(10), 헤어 특징 추출 모델(20), 패션 특징 추출 모델(30) 및 딥러닝 추천 모델(40)을 저장할 수 있다.
제어부(130)는 통신부(110) 및 저장부(120)와 기능적으로 연결된다.
아래에서는 도 2 내지 도 10을 참조하여, 헤어 스타일 추천 장치(100)에 의한 헤어 스타일 추천 방법을 설명한다.
도 3은 일 실시 예에 따른 헤어 스타일 추천 방법을 설명하는 순서도이다.
도 2 내지 도 3을 참조하면, 제어부(130)는 입력된 고객의 인물 이미지 한 장으로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득(S100)한 뒤, 고객의 얼굴 영역 이미지를 얼굴 특징 추출 모델(10)에 입력하기 위한 전처리를 수행하고, 고객의 머리 영역 이미지를 헤어 특징 추출 모델(20)에 입력하기 위한 전처리를 수행하고, 고객의 신체 영역 이미지를 패션 특징 추출 모델(30)에 입력하기 위한 전처리를 수행한다(S110). 다음으로, 제어부(130)는 얼굴 영역 이미지의 전처리 결과를 얼굴 특징 추출 모델(10)에 입력하여 얼굴 특징 벡터를 추출하고, 머리 영역 이미지의 전처리 결과를 헤어 특징 추출 모델(20)에 입력하여 헤어 특징 벡터를 추출하고, 신체 영역 이미지의 전처리 결과를 패션 특징 추출 모델(30)에 입력하여 패션 특징 벡터를 추출한다(S120). 고객의 인물 이미지는 통신부(110) 및 외부 저장 장치(도시하지 않음)를 통해서 입력될 수 있고, 헤어 스타일 추천 장치(100)에 구비된 카메라(도시하지 않음)에 의해서 촬영되어 획득될 수도 있다. 특징 벡터 추출 모델들(10, 20, 30)은 예를 들어 모두 MobileNetV2 모델이 사용될 수 있다.
도 4는 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 얼굴 특징 추출 프로세스를 설명하는 도면이다.
도 5는 얼굴 특징 벡터를 추출하기 위한 인물 이미지의 전처리 과정을 간략하게 도시한 도면이다.
도 2 및 4를 참조하면, 제어부(130)는 인물 이미지(1)에서 얼굴 영역을 검출하여 얼굴 영역의 이미지(1-1)를 추출하고, 얼굴 영역의 이미지(1-1)에서 얼굴 특징점을 검출(추출)하여 얼굴 영역으로 자르고, 정렬하는 전처리를 수행(S110-1)하고, 얼굴 영역 이미지(1-1)의 전처리 결과를 얼굴 특징 추출 모델(10)에 입력하여 얼굴 특징 벡터를 추출한다. 얼굴 특징 추출 모델(10)은 "둥글다", "수염이 있다" 등 40여 가지의 고유의 얼굴 특징을 분류할 수 있다. 얼굴 특징 추출 모델(10)을 학습시키는 데이터 셋으로는 CelebA 데이터 셋을 기반으로 한다. 얼굴 특징 추출 모델(10)은 CelebA 데이터 셋으로 학습되며, 특징 추출기를 제외한 분류기는 제거하여 사용된다. 도 5를 참조하면, 인물 이미지에서 잘라내진 얼굴 부분에서 얼굴 특징점을 검출한 뒤, 정규화를 거친 얼굴 영역 이미지가 얼굴 특징 추출 모델(10)에 입력된다. 여기에서, 이미지 처리 도구인 Dlib를 사용하여 68개의 얼굴 특징점(Keypoint)이 예측되고, 예측된 얼굴 특징점들에 기초하여 얼굴 특징이 분류(추출)된다.
도 6은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 헤어 특징 추출 프로세스를 설명하는 도면이다.
도 7은 헤어 특징 추출을 위해서 인물 사진을 세분화하여 헤어 부분과 얼굴 부분을 파싱하는 예를 도시하는 도면이다.
도 2 및 6을 참조하면, 또한, 제어부(130)는 인물 이미지(1)에서 얼굴 특징점을 검출(추출)하여 얼굴과 헤어(모발)를 포함하는 머리 영역의 이미지(1-2)를 잘라내고, 머리 영역 이미지(1-2)를 세분화 및 파싱(parsing)하여, 배경과 몸통을 제거한 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고, 이를 헤어 특징 추출 모델(20) 중 헤어 스타일 특징 추출 모델(20-1)에 입력하여 헤어 특징 벡터 중 헤어 스타일 특징 벡터를 추출한다. 다음으로, 제어부(130)는 세분화 및 파싱된 머리 영역 이미지(1-2)에서 헤어 영역을 제외한 모든 부분을 제거하여 헤어 특징 추출 모델(20) 중 헤어 속성 특징 추출 모델(20-2)에 입력하여 헤어 특징 벡터 중 헤어 속성 특징 벡터를 추출한다. 한편, 제어부(130)는 헤어 속성 특징을 추출함에 있어서, 헤어 속성에 대한 선택 사항 정보들을 제공하고, 외부의 사용자, 헤어 디자이너, 고객 등으로부터 헤어 속성에 대한 선택 사항 정보를 직접 입력 받아 헤어 속성 특징 벡터의 추출에 사용할 수 있다. 헤어 스타일 특징 분류를 위해 실제 사람이 헤어 스타일을 인식하는 과정에서 불필요한 노이즈를 제거하기 위해서 얼굴 파싱 모델을 통해 헤어와 얼굴 영역을 남기고 몸통과 배경을 제거한다. 헤어 속성 특징 분류를 위해 실제 사람이 헤어 속성을 인식하는 과정에서 불필요한 노이즈를 제거하기 위해서 얼굴 파싱 모델을 통해 헤어 영역을 남기고 몸통과 배경, 얼굴을 제거한다. 도 7을 참조하면, 인물 사진 세분화 모델을 이용하여 헤어 부분과 얼굴 부분을 파싱하는 예가 도시된다.
도 8은 일 실시 예에 따른 헤어 스타일 추천 방법에 의한 패션 특징 추출 프로세스를 설명하는 도면이다.
도 9는 패션 특징 추출을 위해서 인물 사진을 세분화하여 얼굴 부분과 헤어 부분을 포함한 패션 아이템들을 파싱하는 예를 도시하는 도면이다.
도 2 및 8을 참조하면, 또한, 제어부(130)는 인물 이미지(1)에서 신체 영역의 이미지(1-3)를 세분화하여 상의 종류, 하의 종류, 액세서리, 신발 등을 검출하여 분류하고, 이 중에서 옷, 액세서리, 신발 등의 패션 아이템에 대한 부분 이미지를 추출하는 전처리를 수행하고, 이를 패션 특징 추출 모델(30)에 입력하여 패션 특징 벡터를 추출한다. 도 2 및 9를 참조하면, 제어부(130)는 인물 사진, 즉 신체 영역 사진(1-3)을 세분화한 뒤, 패션 아이템 별로 구분하고. 이 결과를 패션 특징 추출 모델(30)에 입력한다.
전술한 얼굴 특징 벡터는 얼굴 특징 추출 모델(10)이 얼굴 영역 이미지(1-1)로부터 추출한 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고, 헤어 특징 벡터는 헤어 특징 추출 모델(20)이 머리 영역 이미지(1-2)로부터 추출한 헤어 특징 분류 결과를 나타내는 잠재 벡터이고, 상기 패션 특징 분류 벡터는 패션 특징 추출 모델(30)이 신체 영역 이미지(1-3)로부터 추출한 패션 특징 분류 결과를 나타내는 잠재 벡터이다. 또한, 헤어 특징 벡터는 헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함할 수 있으며, 헤어 스타일 특징 정보는 펌, 커트, 염색 등 헤어 스타일의 종류 정보와 모발 길이 정보를 포함하고, 헤어 속성 특징 정보는 모발 굵기 정보 및 모발의 양 정보와 지성, 건성, 곱슬머리, 직모 등 두피 상태 및 모발의 타입 정보를 포함할 수 있다.
다시 도 2 및 3을 참조하면, 제어부(130)는 추출된 얼굴 특징 벡터, 헤어 특징 벡터 및 패션 특징 벡터와 고객에게 추천할 헤어 스타일을 딥러닝 추천 모델(40)에 입력하여 추천된 헤어 스타일에 대한 고객의 반응 점수를 산출하고, 미리 정해진 기준 이상의 점수를 가진 헤어 스타일을 고객에게 추천한다(S130). 여기에서 딥러닝 추천 알고리즘 모델로는 뉴럴 협업 필터링 모델(neural collaborative filtering model)이 사용될 수 있으며, 전술한 바와 같이, 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 여러 인물들에게 추천된 헤어 스타일과 상기 여러 인물들에게 추천된 헤어 스타일에 대한 이들의 반응의 관계 데이터를 이용하여 학습된다. 여기에서, 상기 반응 점수는 반응 데이터에 기초하여 산출된다. 반응 데이터는 추천 헤어 스타일에 대한 고객의 의식적 반응 데이터 및 무의식적 반응 데이터를 포함한다. 고객의 의식적 반응 데이터는 추천 헤어 스타일에 대한 "좋아요" 선택 등 선호 여부 표시와 추천 헤어 스타일에 대한 만족도 정보를 포함할 수 있다. 고객의 무의식적 반응 데이터는 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함할 수 있다. 또한, 반응 데이터는, 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보도 포함할 수 있다. 이들 의식적인 반응 데이터와 무의식적인 반응 데이터를 합산하면 추천 헤어 스타일에 대한 고객의 관심과, 호감도, 선호도 등을 알 수 있으며, 만족도 점수까지 같이 고려할 경우, 추천 헤어 스타일에 대한 고객의 만족 정도를 잘 판단할 수 있게 된다.
상술한 설명에서, 단계들, 과정들 또는 동작들은 본 발명의 구현예에 따라서, 추가적인 단계, 과정 또는 동작으로 더 분할되거나, 더 적은 단계, 과정 또는 동작으로 조합될 수 있다. 또한, 일부 단계, 과정 또는 동작은 필요에 따라 생략될 수도 있고, 단계 또는 동작 간의 순서가 전환될 수도 있다. 또한, 전술한 헤어 스타일 추천 방법이 포함하는 각 단계 또는 동작은 컴퓨터프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있으며, 컴퓨터 장치에 의해 각 단계, 과정 또는 동작이 실행될 수도 있다.
도 10은 일 실시 예에 따른 헤어 스타일 추천 방법에서 사용되는 딥러닝 추천 모델의 예를 도시한다.
도 2 및 10을 참조하면, 딥러닝 추천 모델(40)은 헤어 스타일에 영향을 미칠 수 있는 요소를 얼굴, 헤어 및 패션으로 생각하여 추천을 하기 위한 시스템으로, 기존의 한 가지 특징을 이용한 추천 시스템 프로세스와 다르게 세 가지의 특징을 전부 아울러서 정보를 결합시켜야 하기 때문에 연결(concatenation)을 하는 부분에 대해서 새로운 특징을 추가시켜준다. 이를 통해서 이미지 내에서 고려할 수 있는 리소스를 최대한 활용하여 추천을 하기 위해 적합한 시스템을 구축하는데 의미를 가지게 할 수 있다. 추가적으로 더 높은 정확성을 위해 헤어 속성의 경우 모델을 사용해 특징을 추출하거나 전문가 혹은 사용자가 수동적으로 선택하여 사용할 수 있게 한다. 모든 프로세스에 사용되는 전처리는 추천 시스템에 정확한 정보를 전달하기 위한 재료다.
딥러닝 추천 모델(40)의 'User' 부분에는 잠재 벡터(latent vector), 즉, 각각의 특징 추출 모델에서 출력된 얼굴 특징 벡터, 헤어 특징 벡터 및 패션 특징 벡터가 입력되고, 'Item' 부분에는 추출될 헤어 스타일 리소스, 헤어 스타일의 이미지가 입력된다.
최종 'score'에는 고객의 의식적 및 무의식적인 정보와 고객의 만족도가 입력되고 'target'은 예측한 의식적 및 무의식적인 정보와 만족도 값을 의미한다.
상기 딥러닝 추천 모델(40)의 학습 과정을 설명하면, 제어부(130)는 어떤 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득한 뒤, 상기 어떤 인물의 얼굴 영역 이미지, 머리 영역 이미지 및 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행한다.
다음으로, 제어부(130)는 상기 얼굴 영역 이미지의 전처리 결과를 얼굴 특징 추출 모델(10)에 입력하여 상기 어떤 인물에 대한 얼굴 특징 벡터를 추출하고, 상기 머리 영역 이미지의 전처리 결과를 헤어 특징 추출 모델(20)에 입력하여 상기 어떤 인물에 대한 헤어 특징 벡터를 추출하고, 상기 신체 영역 이미지의 전처리 결과를 패션 특징 추출 모델(30)에 입력하여 상기 어떤 인물에 대한 패션 특징 벡터를 추출한다.
다음으로, 제어부(130)는 장치(100)에 출력되는 추천 헤어 스타일 이미지에 대한 상기 어떤 인물의 반응 데이터를 수집한 뒤, 상기 어떤 인물의 얼굴 특징 벡터, 상기 어떤 인물의 헤어 특징 벡터, 상기 어떤 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 어떤 인물의 반응 데이터를 딥러닝 추천 모델(40)에 입력하여 학습시킴으로써, 입력된 데이터들 간의 관계를 학습시킨다.
본 명세서에서 개시되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초광대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
본 명세서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(Application-Specific Integrated Circuit) 칩, FPGAs(Field-Programmable Gate Arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터로 읽을 수 있는 저장매체/컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에 사용된 용어 "하나"는 하나 또는 하나 이상으로 정의된다. 또한, 청구 범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입 문구를 사용하는 것은, 동일한 청구항에 "적어도 하나" 및 "하나 이상"과 같은 도입 문구 및 "하나" 같은 불명료한 문구가 포함되어 있는 경우라 할지라도, 불명료한 문구 "하나"에 의한 다른 청구항 요소의 도입이 그러한 요소를 하나만을 포함하는 발명에 대해 그렇게 도입된 청구항 요소를 포함하는 임의의 특정 청구항을 제한한다는 것을 의미하는 것으로 해석되어서는 안된다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
달리 명시하지 않는 한, "제1" 및 "제2"와 같은 용어는 그러한 용어가 설명하는 요소들을 임의로 구별하는 데 사용된다. 따라서, 이들 용어는 그러한 요소들의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도된 것은 아니며, 특정 수단이 서로 다른 청구항들에 열거되어 있다는 단순한 사실만으로 이러한 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다. 따라서, 이들 용어는 그러한 요소의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도되지는 않는다. 특정 조치가 서로 다른 주장에 인용되었다는 단순한 사실만으로 이러한 조치의 조합이 유용하게 사용될 수 없다는 것을 나타내지는 않는다.
동일한 기능을 달성하기 위한 구성 요소의 배열은 효과적으로 "관련"되어 원하는 기능이 달성된다. 따라서, 특정 기능성을 달성하기 위해 결합된 임의의 2 개의 구성 요소는 구조 또는 중개하는 구성 요소와 관계없이 원하는 기능이 달성되도록 서로 "관련"되는 것으로 간주될 수 있다. 마찬가지로 이와 같이 연관된 두 개의 구성 요소는 원하는 기능을 달성하기 위해 서로 "작동 가능하게 연결"되거나 "작동 가능하게 결합된" 것으로 간주될 수 있다.
또한, 통상의 기술자는 전술한 동작들의 기능성 사이의 경계가 단지 예시적인 것임을 인식할 것이다. 복수의 동작들은 단일 동작으로 결합될 수 있고, 단일 동작은 추가 동작들로 분산될 수 있으며, 동작들은 시간적으로 적어도 부분적으로 겹쳐서 실행될 수 있다. 또한, 대안적인 실시예들은 특정 동작에 대한 복수의 인스턴스들을 포함할 수 있고, 동작들의 순서는 다양한 다른 실시예에서 변경될 수 있다. 그러나, 다른 수정, 변형 및 대안이 또한 가능하다. 따라서, 상세한 설명 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
"X일 수 있다"는 문구는 조건 X가 충족될 수 있음을 나타낸다. 이 문구는 또한 조건 X가 충족되지 않을 수도 있음을 나타낸다. 예를 들어, 특정 구성 요소를 포함하는 시스템에 대한 참조는 시스템이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 예를 들어, 특정 동작을 포함하는 방법에 대한 참조는 해당 방법이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 그러나 또 다른 예를 들면, 특정 동작을 수행하도록 구성된 시스템에 대한 참조는 시스템이 특정 작업을 수행하도록 구성되지 않은 시나리오도 포함해야 한다.
용어 "포함하는", "갖는", "구성된", "이루어진" 및 "본질적으로 이루어진"은 상호 교환적으로 사용된다. 예를 들어, 임의의 방법은 적어도 도면 및/또는 명세서에 포함된 동작을 포함할 수 있으며, 도면 및/또는 명세서에 포함된 동작만을 포함할 수 있다. 또는, "포함하는"이라는 단어는 청구항에 나열된 요소들 또는 동작들의 존재를 배제하지 않는다.
이 명세서에 언급된 시스템, 장치 또는 디바이스는 적어도 하나의 하드웨어 구성 요소를 포함한다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
본 발명의 헤어스타일 추천 기술은 얼굴, 헤어, 패션에 대해서 특징을 가지는 인물들에게 추천된 헤어 스타일에 대한 해당 인물들의 반응의 관계를 학습한 딥러닝 기반의 추천 모델을 이용하여 임의의 인물에게 추천된 헤어스타일에 대한 해당 임의의 인물의 반응을 예측하는 헤어 스타일 추천 장치와 이를 이용한 추천 방법에 적용되는 예를 중심으로 설명하였으나, 이외에도 다양한 헤어스타일 추천 관련 기술에 적용하는 것이 가능하다.

Claims (15)

  1. 헤어 스타일 추천 장치에 의해 수행되는 헤어 스타일 추천 방법에 있어서,
    제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계;
    상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계;
    상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하는 단계; 및
    상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하는 단계;를 포함하되,
    상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것인
    헤어 스타일 추천 방법.
  2. 제1 항에 있어서, 상기 딥러닝 추천 모델의 학습 과정은,
    상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하는 단계;
    상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하는 단계;
    상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하는 단계;
    상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하는 단계; 및
    상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시키는 단계;를 포함하는
    것을 특징으로 하는 헤어 스타일 추천 방법.
  3. 제2 항에 있어서, 상기 헤어 스타일 추천 장치는,
    얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고,
    머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고,
    신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행하는
    것을 특징으로 하는 헤어 스타일 추천 방법.
  4. 제3 항에 있어서, 상기 반응 데이터는,
    추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고,
    상기 의식적 반응은 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고,
    상기 무의식적 반응은 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함하는
    것을 특징으로 하는 헤어 스타일 추천 방법.
  5. 제4 항에 있어서,
    상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고,
    상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고,
    상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터인
    것을 특징으로 하는 헤어 스타일 추천 방법.
  6. 제5 항에 있어서, 상기 헤어 특징 벡터는,
    헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고,
    상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고,
    상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보, 모발 타입 정보를 포함하는
    것을 특징으로 하는 헤어 스타일 추천 방법.
  7. 제4 항에 있어서, 상기 반응 데이터는,
    상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함하는
    것을 특징으로 하는 헤어 스타일 추천 방법.
  8. 저장부; 및
    상기 저장부와 기능적으로 연결되는 제어부;를 포함하되,
    상기 저장부는 상기 제어부에 의해 생성된 데이터, 얼굴 특징 추출 모델, 헤어 특징 추출 모델, 패션 특징 추출 모델 및 딥러닝 추천 모델을 저장하고,
    상기 제어부는,
    제1 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고,
    상기 제1 인물의 얼굴 영역 이미지를 얼굴 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 상기 제1 인물의 머리 영역 이미지를 헤어 특징 추출 모델에 입력하기 위한 전처리를 수행하고, 및 상기 제1 인물의 신체 영역 이미지를 패션 특징 추출 모델에 입력하기 위한 전처리를 수행하고,
    상기 제1 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 얼굴 특징 벡터를 추출하고, 상기 제1 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 헤어 특징 벡터를 추출하고, 및 상기 제1 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 패션 특징 벡터를 추출하고,
    상기 얼굴 특징 벡터, 상기 헤어 특징 벡터, 상기 패션 특징 벡터 및 추천 헤어 스타일을 딥러닝 추천 모델에 입력하여 상기 추천 헤어 스타일에 대한 상기 제1 인물의 반응 점수를 산출하되,
    상기 딥러닝 추천 모델은 얼굴, 헤어 및 패션에 대해서 어떤 특징을 가지는 제2 인물에게 추천된 헤어 스타일과 상기 제2 인물에게 추천된 헤어 스타일에 대한 상기 제2 인물의 반응의 관계를 학습한 것인
    헤어 스타일 추천 장치.
  9. 제8 항에 있어서, 상기 제어부는,
    상기 제2 인물의 이미지로부터 얼굴 영역의 이미지, 머리 영역의 이미지 및 신체 영역의 이미지를 획득하고,
    상기 제2 인물의 얼굴 영역 이미지, 상기 제2 인물의 머리 영역 이미지 및 상기 제2 인물의 신체 영역 이미지를 특징 추출 모델에 입력하기 위한 전처리를 수행하고,
    상기 제2 인물의 얼굴 영역 이미지의 전처리 결과를 상기 얼굴 특징 추출 모델에 입력하여 상기 제2 인물의 얼굴 특징 벡터를 추출하고, 상기 제2 인물의 머리 영역 이미지의 전처리 결과를 상기 헤어 특징 추출 모델에 입력하여 상기 제2 인물의 헤어 특징 벡터를 추출하고, 상기 제2 인물의 신체 영역 이미지의 전처리 결과를 상기 패션 특징 추출 모델에 입력하여 상기 제2 인물의 패션 특징 벡터를 추출하고,
    상기 장치에 출력되는 추천 헤어 스타일 이미지에 대한 상기 제2 인물의 반응 데이터를 수집하고,
    상기 제2 인물의 얼굴 특징 벡터, 상기 제2 인물의 헤어 특징 벡터, 상기 제2 인물의 패션 특징 벡터, 상기 추천 헤어 스타일 이미지 및 상기 제2 인물의 반응 데이터를 상기 딥러닝 추천 모델에 입력하여 상기 딥러닝 추천 모델을 학습시키는
    것을 특징으로 하는 헤어 스타일 추천 장치.
  10. 제9 항에 있어서, 상기 제어부는,
    얼굴 영역의 이미지로부터 얼굴 특징점을 검출하여 얼굴 영역으로 자르고 정렬하는 전처리를 수행하고,
    머리 영역의 이미지로부터 얼굴 특징점을 검출하여 모발을 포함하는 얼굴 영역으로 자른 뒤 세분화하여, 얼굴 영역 및 모발 영역에 대한 부분 이미지를 추출하는 전처리를 수행하고,
    신체 영역의 이미지를 세분화 한 뒤, 패션 아이템에 영역에 대한 부분 이미지를 추출하는 전처리를 수행하는
    것을 특징으로 하는 헤어 스타일 추천 장치.
  11. 제10 항에 있어서, 상기 반응 데이터는,
    추천 헤어 스타일에 대한 의식적 반응 데이터 및 무의식적 반응 데이터를 포함하고,
    상기 의식적 반응 데이터는 추천 헤어 스타일에 대한 선호 여부 표시 및 추천 헤어 스타일에 대한 만족도 정보를 포함하고,
    상기 무의식적 반응 데이터는 추천 헤어 스타일에 대한 클릭 수, 추천 헤어 스타일에 대한 터치 수, 및 추천 헤어 스타일에 대한 시선 유지 시간을 포함하는
    것을 특징으로 하는 헤어 스타일 추천 장치.
  12. 제11 항에 있어서,
    상기 얼굴 특징 벡터는 상기 얼굴 특징 추출 모델이 얼굴 영역 이미지로부터 얼굴 특징 분류 결과를 나타내는 잠재 벡터(latent vector)이고,
    상기 헤어 특징 벡터는 상기 헤어 특징 추출 모델이 머리 영역 이미지로부터 헤어 특징 분류 결과를 나타내는 잠재 벡터이고,
    상기 패션 특징 벡터는 상기 패션 특징 추출 모델이 신체 영역 이미지로부터 패션 특징 분류 결과를 나타내는 잠재 벡터인
    것을 특징으로 하는 헤어 스타일 추천 장치.
  13. 제12 항에 있어서, 상기 헤어 특징 벡터는,
    헤어 스타일 특징 정보 및 헤어 속성 특징 정보를 포함하고,
    상기 헤어 스타일 특징 정보는 헤어 스타일의 종류 정보 및 모발 길이 정보를 포함하고,
    상기 헤어 속성 특징 정보는 모발 굵기 정보, 모발 량 정보 및 모발 타입 정보를 포함하는
    것을 특징으로 하는 헤어 스타일 추천 장치.
  14. 제11 항에 있어서, 상기 반응 데이터는,
    상기 추천 헤어 스타일을 추천한 헤어 디자이너의 만족도 정보를 더 포함하는
    것을 특징으로 하는 헤어 스타일 추천 장치.
  15. 하드웨어와 결합되어,
    제1 항 내지 제7 항 중 어느 한 항에 따른 헤어 스타일 추천 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2023/014372 2022-09-27 2023-09-21 헤어 스타일 추천 장치 및 방법 WO2024071828A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0122740 2022-09-27
KR1020220122740A KR102491291B1 (ko) 2022-09-27 2022-09-27 헤어 스타일 추천 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2024071828A1 true WO2024071828A1 (ko) 2024-04-04

Family

ID=85101762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014372 WO2024071828A1 (ko) 2022-09-27 2023-09-21 헤어 스타일 추천 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102491291B1 (ko)
WO (1) WO2024071828A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491291B1 (ko) * 2022-09-27 2023-01-27 주식회사 미러로이드 헤어 스타일 추천 장치 및 방법
CN116509118A (zh) * 2023-04-26 2023-08-01 深圳市华南英才科技有限公司 一种超高转速吹风机的控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321986A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム
KR101604369B1 (ko) * 2014-11-24 2016-03-17 서원대학교산학협력단 미용실 고객응대 서버의 미용실 고객응대 서비스 제공방법
CN111310616A (zh) * 2020-02-03 2020-06-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
KR102176786B1 (ko) * 2017-07-21 2020-11-10 유은진 온라인 스타일링 시스템 및 온라인 스타일링 제안 방법
KR102375587B1 (ko) * 2021-11-15 2022-03-18 주식회사 버츄어라이브 헤어 이미지 추천 및 합성 방법 및 장치
KR102491291B1 (ko) * 2022-09-27 2023-01-27 주식회사 미러로이드 헤어 스타일 추천 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321986A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム
KR101604369B1 (ko) * 2014-11-24 2016-03-17 서원대학교산학협력단 미용실 고객응대 서버의 미용실 고객응대 서비스 제공방법
KR102176786B1 (ko) * 2017-07-21 2020-11-10 유은진 온라인 스타일링 시스템 및 온라인 스타일링 제안 방법
CN111310616A (zh) * 2020-02-03 2020-06-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
KR102375587B1 (ko) * 2021-11-15 2022-03-18 주식회사 버츄어라이브 헤어 이미지 추천 및 합성 방법 및 장치
KR102491291B1 (ko) * 2022-09-27 2023-01-27 주식회사 미러로이드 헤어 스타일 추천 장치 및 방법

Also Published As

Publication number Publication date
KR102491291B1 (ko) 2023-01-27

Similar Documents

Publication Publication Date Title
WO2024071828A1 (ko) 헤어 스타일 추천 장치 및 방법
Li et al. Person search with natural language description
WO2012060537A2 (ko) 얼굴 및 스타일 인식 기반의 추천 시스템 및 그 방법
CN111190939A (zh) 一种用户画像构建方法及装置
CN108182714B (zh) 图像处理方法及装置、存储介质
TW201909112A (zh) 圖像特徵獲取
JP6029041B2 (ja) 顔印象度推定方法、装置、及びプログラム
WO2017195992A1 (ko) 이모티콘이 함께 제공되는 번역문 제공 방법, 사용자 단말, 서버 및 컴퓨터 프로그램
US10679039B2 (en) Detecting actions to discourage recognition
JP6914562B1 (ja) 情報処理システム
CN108171208A (zh) 信息获取方法和装置
US10692498B2 (en) Question urgency in QA system with visual representation in three dimensional space
CN112364829B (zh) 一种人脸识别方法、装置、设备及存储介质
CN109690556A (zh) 人物中心特性特定照片匹配排名引擎
JPWO2017217314A1 (ja) 応対装置、応対システム、応対方法、及び記録媒体
CN116547721A (zh) 用于分析用户的头部的头发区域的图像的像素数据以生成一个或多个用户特定推荐的数字成像和学习系统及方法
US20180330199A1 (en) Fashion analysis device and fashion analysis method
KR102445747B1 (ko) 피부 분석에 기초하여 토탈 큐레이션 서비스를 제공하기 위한 방법 및 장치
CN109858344A (zh) 婚恋对象推荐方法、装置、计算机设备及存储介质
CN113111264A (zh) 界面内容显示方法、装置、电子设备及存储介质
WO2024085535A1 (ko) 인공지능을 이용하여 이미지를 합성하는 방법 및 이미지 합성에 기반하여 헤어디자이너를 매칭하는 방법
WO2024071884A1 (ko) 민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법
CN109872085A (zh) 客服自动分配方法、装置和计算机可读存储介质
WO2021075742A1 (ko) 딥러닝 기반의 가치 평가 방법 및 그 장치
WO2024051146A1 (en) Methods, systems, and computer-readable media for recommending downstream operator

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872945

Country of ref document: EP

Kind code of ref document: A1