WO2024071884A1 - 민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법 - Google Patents

민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법 Download PDF

Info

Publication number
WO2024071884A1
WO2024071884A1 PCT/KR2023/014604 KR2023014604W WO2024071884A1 WO 2024071884 A1 WO2024071884 A1 WO 2024071884A1 KR 2023014604 W KR2023014604 W KR 2023014604W WO 2024071884 A1 WO2024071884 A1 WO 2024071884A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bald
person
head
face
Prior art date
Application number
PCT/KR2023/014604
Other languages
English (en)
French (fr)
Inventor
유제정
정재민
이종하
김영신
Original Assignee
주식회사 미러로이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 미러로이드 filed Critical 주식회사 미러로이드
Publication of WO2024071884A1 publication Critical patent/WO2024071884A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • This specification relates to an apparatus and method for generating a bald head person image for a virtual hair styling experience, a virtual hair styling experience device including a device for generating the bald person image, and a virtual hair styling method using the same.
  • the virtual hair styling experience service is a service that provides the experience as if the experience had been previously done with hair styling by compositing or overlapping a virtually created hair image with the experiencer's face photo and outputting it.
  • the hair object image was designed by a person using computer graphics, and a virtual experience was provided by superimposing the designed hair object image on the experiencer's face image and adjusting the size and shape as necessary. .
  • the virtual hair image overlaid on the experiencer's existing hair did not naturally overlap the experiencer's head or face, causing awkwardness, and the existing hair protruded below the virtual hair image, which resulted in a very low level of satisfaction with the experience. .
  • the present specification is intended to solve the above-described problem, and an embodiment of the present specification aims to generate a natural bald-headed person image by removing only the hair from the facial image of a person with hair.
  • the purpose of this specification is to solve the problem that virtual hair images superimposed on existing hair do not naturally overlap the customer's head or face, resulting in awkwardness.
  • the purpose of this specification is to provide a method of automatically generating a bald face image of a person by removing only the hair from the human face image through an artificial neural network (AI algorithm).
  • AI algorithm artificial neural network
  • the method of generating a bald person image includes extracting a background mask from which the person object area is removed by segmenting the person image, and filling the background mask with the removed person object area by inpainting to create a background image.
  • generating a face image by extracting a face area from the person image, and inputting the face image into an artificial neural network that generates a head from the face area to generate a bald head image; generating a bald head background image by combining the background image and the bald head image; Extracting a non-hair mask from which hair regions are removed by performing segmentation on the person image; and generating a bald head person image based on the non-hair mask and the bald head background image.
  • the method for generating a bald person image and other embodiments may include the following features.
  • the step of generating a face image by extracting a face area from the person image and inputting the face image into an artificial neural network that generates a head from the face area to generate a bald head image includes: extracting a face image excluding the hair portion based on the feature points of; and generating the bald head image by inputting the face image into an artificial neural network trained to generate a head portion from any input facial image.
  • the face image may be extracted based on a feature point corresponding to the face area among feature points predicted using a Dlib image processing tool.
  • the step of generating a bald person image based on the non-hair mask and the bald head background image may include overlapping the non-hair mask on the bald head background image to form the bald head background image. It may include: generating a person image.
  • the step of generating a bald head person image based on the non-hair mask and the bald head background image may include the hair from the bald head background image based on the non-hair mask. Extracting a bald area corresponding to the area; and generating the bald person image by overlapping the bald area with the person image.
  • the device for generating an image of a bald head person includes: a storage unit; and a control unit functionally connected to the storage unit, wherein the storage unit stores data generated by the control unit, and the control unit performs segmentation on the person image to extract a background mask from which the person object area is removed. , creating a background image by filling in the area from which the person object area was removed in the background mask by inpainting, generating a face image by extracting the face area from the person image, and generating a head from the face area of the face image.
  • a bald head image is generated by inputting it into an artificial neural network, a bald head background image is created by combining the background image and the bald head image, and a non-hair mask is created by segmenting the person image to remove the hair area. may be extracted, and a bald person image may be generated based on the non-hair mask and the bald head background image.
  • the bald person image generating device and other embodiments may include the following features.
  • control unit extracts the face image excluding the hair portion based on the feature point corresponding to the face area among the feature points of the face in the person image and learns to generate the head portion from a random input face image.
  • the bald head image can be generated by inputting the face image into an artificial neural network.
  • control unit may generate the bald person image by overlapping the non-hair mask on the bald head background image.
  • control unit extracts a bald head area corresponding to the hair area from the bald head background image based on the non-hair mask, and overlaps the bald head area with the person image to You can create an image of a person with a bald head.
  • the virtual hair styling experience method includes obtaining a person image from an input image; performing segmentation on the person image to extract a background mask from which the person object area has been removed, and filling a portion of the background mask from which the person object area has been removed by inpainting to create a background image; generating a face image by extracting a face area from the person image, and inputting the face image into an artificial neural network that generates a head from the face area to generate a bald head image; generating a bald head background image by combining the background image and the bald head image; Extracting a non-hair mask from which hair regions are removed by performing segmentation on the person image; generating a bald head person image based on the non-hair mask and the bald head background image; and outputting a virtual hairstyle experience image by combining the selected hairstyle object image with the bald person image.
  • the virtual hair styling experience method and other embodiments may include the following features.
  • the step of generating a bald person image based on the non-hair mask and the bald head background image includes overlapping the non-hair mask on the bald head background image to create the bald person image. It may include a step of generating a.
  • the step of generating a bald head person image based on the non-hair mask and the bald head background image may include the hair from the bald head background image based on the non-hair mask. Extracting a bald area corresponding to the area; and generating the bald person image by overlapping the bald area with the person image.
  • the step of generating a face image by extracting a face area from the person image and inputting the face image into an artificial neural network that generates a head from the face area to generate a bald head image includes, extracting a face image excluding the hair portion based on facial feature points; and generating the bald head image by inputting the face image into the artificial neural network that has been trained to generate a head portion from any input facial image.
  • the step of outputting a virtual hairstyle experience image by combining the selected hairstyle object image with the bald person image may include detecting facial feature points in the bald face image; extracting a center point of each first eye of the bald face image based on the facial feature points; transforming the hairstyle object image based on the center point of each first eye and the center point of each second eye of the person image from which the hairstyle object is extracted included in meta information of the hairstyle object image; and combining the modified hairstyle object image with the bald head person image to output the virtual hairstyle experience image.
  • the hairstyle object image is further modified based on the center point of each first eye and the center point of each second eye of the person image from which the hairstyle object included in the meta information of the hairstyle object image is extracted.
  • the artificial neural network includes a face area image generated by extracting only the face area from a bald person image with a background, and a bald person without a background generated by removing the background of the bald person image with a background using a segmentation model.
  • a random face area image is input as an image set consisting of images, it can be learned to generate a head part in the face area and create a bald head image without a background.
  • Embodiments disclosed in this specification have the effect of creating a natural bald-headed person image by removing only the hair from the facial image of a person with hair.
  • the embodiment disclosed in the present specification has the effect of generating a natural hair composite face image by generating a bald face image from an input person image and then synthesizing the hair object image.
  • the method according to the embodiment disclosed in this specification can extract high-quality hair images from images taken directly of the customer's head, thereby providing a virtual hair styling experience with hair images that naturally overlap the customer's head or face. There is a possible effect.
  • this specification has the effect of automatically outputting a bald image with hair removed from a person's face image through an AI algorithm, thereby reducing the user's sense of heterogeneity in the hair styling experience due to existing hair.
  • FIG. 1 is a diagram conceptually explaining a method of generating a bald person image using a bald person image generating device according to an embodiment.
  • Figure 2 shows an example of training data for a face segmentation deep learning model.
  • Figure 3 shows an example of a facial feature point extraction model.
  • Figure 4 shows an example of a method for generating a training data set for an artificial neural network that generates an image of a bald head.
  • Figures 5 and 6 are flowcharts explaining a method of generating a bald person image using a bald person image generating device according to an embodiment.
  • Figure 7 is a configuration diagram of an apparatus for generating an image of a bald-headed person according to an embodiment.
  • Figure 8 shows a schematic configuration of a virtual hair styling experience device according to an embodiment.
  • FIG. 9 is a diagram illustrating the operation of a virtual hair styling experience device and the concept of a virtual hair styling experience method using the virtual hair styling experience device according to an embodiment.
  • FIG. 10 sequentially shows examples of step-by-step states in which a virtual hair styling experience is performed by a virtual hair styling experience device according to an embodiment.
  • FIG. 11 illustrates an example of a method in which a virtual hair styling experience device combines a hair object image with a bald face image according to an embodiment.
  • Figure 12 shows an example of transforming a hair object image to be synthesized using facial feature points extracted from a face image.
  • Figure 13 is a block diagram of an AI device that can be applied to an embodiment of the present invention.
  • the technology disclosed in this specification can be applied to an apparatus and method for generating a bald person image for a virtual hair styling experience, and a virtual hair styling experience device including a bald person image generating device and a virtual hair styling method using the same.
  • the technology disclosed in this specification is not limited to this, and can be applied to all devices and methods to which the technical idea of the technology can be applied.
  • first, second, etc. used in this specification may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component without departing from the scope of the present invention.
  • a device or terminal includes a communication terminal or communication device capable of wired or wireless communication with a server or other device.
  • the form of the device or terminal may be various, such as a mobile phone, smartphone, smart pad, laptop computer, desktop computer, wearable device, mirror-shaped display device, smart mirror, etc.
  • Wearable devices can be diverse, such as watch-type terminals, glass-type terminals, HMDs, etc. Additionally, the terminal is not limited to this form and can be implemented with various electronic devices.
  • FIG. 1 is a diagram conceptually explaining a method of generating a bald person image using a bald person image generating device according to an embodiment.
  • Figure 2 shows an example of training data for a facial segmentation deep learning model
  • Figure 3 shows an example of a facial feature point extraction model.
  • the bald person image generating device subdivides the person image 10 input into the device into parts, extracts a background mask from which the object area corresponding to the person in the person image is removed, and , the background image 20 is created by filling the background of the extracted background mask with the removed object area using image inpainting.
  • the method of segmenting the input person image 10 into parts can be performed using a face segmentation deep learning model.
  • the face segmentation deep learning model used in the embodiment may be a BiSeNet model that has been pre-trained so that when a face image is input, a mask is generated for each part.
  • CelebAMask shown in FIG. 2 can be used as training data for the BiSeNet model.
  • the bald person image generating device generates a face image 30 by extracting the face area from the person image 10, and then inputs the generated face image 30 into an artificial neural network that generates a head from the face area to create a bald head.
  • Generate a head image 40 the method of generating the face image 30 by extracting the face area from the person image 10 is to predict 68 facial keypoints using Dlib, an image processing tool, as shown in Figure 3.
  • a face image is created by cropping the face area using feature points 0 to 26 among the predicted feature points.
  • the artificial neural network that generates the bald head image 40 can use NVIDIA's pix2pixHD model, called Image to Image Translation technology, as a deep learning model for generating a virtual head from images of the face area.
  • the device for generating a bald head image generates a bald head image 50 with a background by combining the background image 20 and the bald head image 40.
  • the bald person image generating device extracts a non-hair mask 60 by removing the area corresponding to hair (hereinafter referred to as the hair area 61) from the previously segmented person image 10.
  • the device for generating a bald-headed person image may generate a bald-headed person image 70 based on the bald-headed head image 50 with a non-hair mask 60 and a background.
  • the device for generating a bald-headed person image may generate a bald-headed person image 70 by overlapping or combining a non-hair mask 60 and a bald head image 50 with a background.
  • the device for generating a bald head person image may select an area corresponding to the hair area 61 (a head area consisting of only the bald head) from the background image 50 of a bald head with a background based on the non-hair mask 60. corresponds to ) is extracted, and the corresponding area extracted from the background image 50 of the bald head with the background is overlaid on the person image 10 to create a bald person image 70.
  • Figure 4 shows an example of a method for generating a training data set for an artificial neural network that generates an image of a bald head.
  • Figure 5 shows an example of bald face image data used for learning an artificial neural network.
  • the bald person image generating device generates a face area image 81 without a background by extracting only the face area based on the facial feature points described above from the bald person image 80 with a background,
  • the background is removed from the bald person image 80 with the background using the facial segmentation deep learning model to generate a bald person image 82 without the background.
  • an image set consisting of a face area image 81 and a bald head person image 82 without a background is included in the training data for an artificial neural network that generates a bald head image from the face area image.
  • the bald person image generating device trains an artificial neural network to generate a bald head image 40 by generating a head portion from the face area when a random face area image 10 is input with the generated learning data.
  • facial image data of a person with a bald head can be used as the bald person image 80 with a background.
  • the bald person image 80 is an image obtained by photographing the face of a person who was originally bald, that is, the face of a person who was originally bald, and the face images of these people who were originally bald can be collected from bald face image providers such as public data. .
  • the bald face images of the various people are the face images of the originally bald person, that is, the person in the face image acquired from public data is likely to be a relatively old person, the effect of aging in these face images is high. It may be a corrected image with wrinkles, etc. removed.
  • 5 and 6 are flowcharts illustrating a method of generating a bald person image using a bald person image generating device according to an embodiment.
  • an apparatus for generating a bald person image performs segmentation on the person image 10 to extract a background mask from which the person object area is removed, and extracts the person object from the background mask.
  • the background image 20 is created by filling the removed area with inpainting (S100).
  • the device for generating a bald head person image does not directly use the input person image, but uses a face cropping algorithm to produce a face crop image in which only the face part is cut into a rectangle from the input person image as the person image 10. By using it, deep learning performance can be maximized.
  • the bald person image generating device generates a face image 30 by extracting a face area from the person image 10, and inputs the face image 30 into an artificial neural network that generates a head from the face area to create a bald head.
  • a head image 40 is created (S110).
  • the process of generating the bald head image 40 (S110) includes the process of extracting the face image 30 excluding the hair part based on the characteristic points of the face from the person image (S111) and the process of extracting the face image 30 excluding the hair portion from the person image (S111). It may be performed by a method comprising a process (S112) of generating the bald head image 40 by inputting the face image 30 into an artificial neural network trained to generate a head portion from an image.
  • the face image 30 can be extracted from the person image 10 based on the feature points corresponding to the face area among the feature points predicted using the Dlib image processing tool.
  • the artificial neural network consists of a face area image generated by extracting only the face area from a bald person image with a background and a bald person image without a background generated by removing the background of the bald person image with a background using a segmentation model.
  • the bald head person image generating device combines the background image 20 and the bald head image 40 to generate a bald head background image 50 (S120).
  • the bald head background image 50 refers to an image created by combining the background image 20 with the background of the bald head image 40.
  • the device for generating a bald head person image performs segmentation on the person image 10 and then extracts a mask 60 in which only the hair region 61 is removed from the person image 10 (S130).
  • a mask that removes only the hair area from the person image 10 may be called a non-hair mask.
  • the bald person image generating device generates a bald person image 70 based on the non-hair mask 60 and the bald head background image 50 (S140).
  • the bald person image generating device may generate the bald person image 70 by superimposing the non-hair mask 60 on the bald head background image 50.
  • the bald head person image generating device extracts a bald head region corresponding to the hair region 61 from the bald head background image 50 based on the non-hair mask 60, The bald head area may be overlaid on the person image 10 to create the bald person image 70.
  • the device for generating a bald head person image extracts a bald area corresponding to the hair area 61 by superimposing the non-hair mask 60 on the bald head background image 50, and extracts the bald head area corresponding to the hair area 61.
  • the bald head area can be overlaid on the person image 10 to create a bald person image 70.
  • the method of extracting the bald area corresponding to the hair area generates an overlapping image by overlapping the non-hair mask 60 on the bald head background image 50, and then creates an overlapping image in the overlapping image.
  • the bald area corresponding to the hair area 61 can be extracted.
  • the created bald person image 70 is superimposed on the original person image to make the person in the original person image bald. Images can be created.
  • steps, processes or operations may be further divided into additional steps, processes or operations, or may be combined into fewer steps, processes or operations, depending on the implementation example of the invention. Additionally, some steps, processes, or operations may be omitted, or the order between steps or operations may be switched, as needed. Additionally, each step or operation included in the above-described method of generating an image of a bald head person may be implemented as a computer program and stored in a computer-readable recording medium, and each step, process, or operation may be executed by a computer device.
  • Figure 7 is a configuration diagram of an apparatus for generating an image of a bald-headed person according to an embodiment.
  • the device 100 for generating a bald person image may be configured to include a communication unit 110, a storage unit 120, and a control unit 130.
  • the illustrated components are not essential, and the bald person image generating apparatus 100 may be implemented with more components or fewer components. These components may be implemented in hardware or software, or through a combination of hardware and software.
  • the communication unit 110 can transmit and receive data with an external device through a network.
  • the storage unit 120 may store data generated by the control unit 130 or data received through the communication unit 110.
  • the control unit 130 is functionally connected to the communication unit 110 and the storage unit 120.
  • control unit 130 performs segmentation on the person image 10 to extract a background mask from which the person object area has been removed, and fills the background mask with the part from which the person object area has been removed by inpainting the background image 20. ) can be created.
  • control unit 130 extracts the face area from the person image 10 to generate a face image 30, and inputs the face image 30 into an artificial neural network that generates a head from the face area to create a bald head image 40. ) can be created.
  • control unit 130 may generate a bald head background image 50 by combining the background image 20 and the bald head image 40.
  • control unit 130 may perform segmentation on the person image 10 to extract a non-hair mask 60 from which the hair region 61 is removed.
  • control unit 130 generates the bald person image 70 by combining the non-hair mask 60 and the bald head background image 50, or generates the bald head person image 70 based on the non-hair mask 60.
  • a bald head area corresponding to the hair area 61 may be extracted from the bald head background image 50 and the extracted bald area may be overlaid on the person image 10 to generate a bald person image 70.
  • the control unit 130 creates an overlapping image by overlapping the non-hair mask 60 on the bald head background image 50, and extracts the bald area corresponding to the hair area 61 from the overlapping image. You can.
  • the control unit 130 extracts the face image 30 excluding the hair portion based on the feature points corresponding to the face area among the feature points of the face predicted using the Dlib image processing tool in the person image 10, and extracts the face image 30 excluding the hair portion.
  • a bald head image 40 can be generated by inputting the face image 30 into an artificial neural network that has been trained to generate a head part from a random face image.
  • the artificial neural network consists of a face area image created by extracting only the face area from a bald person image with a background and a bald person image without a background created by removing the background of the bald person image with a background using a segmentation model.
  • the control unit 130 learns to create a head part in the face area to create a bald head image.
  • Networks disclosed herein include, for example, wireless networks, wired networks, public networks such as the Internet, private networks, Global System for Mobile communication networks (GSM) networks, general packet wireless networks (General Packet Radio Network (GPRN), Local Area Network (LAN), Wide Area Network (WAN), Metropolitan Area Network (MAN), Cellular Network, Public Switched Telephone Network ; PSTN), Personal Area Network, Bluetooth, Wi-Fi Direct, Near Field communication, Ultra-Wide band, combinations thereof, or any It may be a different network, but is not limited to these.
  • GSM Global System for Mobile communication networks
  • GPRN General Packet Radio Network
  • LAN Local Area Network
  • WAN Wide Area Network
  • MAN Metropolitan Area Network
  • PSTN Public Switched Telephone Network
  • PSTN Public Switched Telephone Network
  • Bluetooth Wi-Fi Direct
  • Near Field communication Ultra-Wide band
  • Ultra-Wide band combinations thereof, or any It may be a different network, but is not limited to these.
  • the bald person image generating device 100 when the face image of a real person with hair is input as input data, the bald person image generating device 100 generates a bald face image of a real person input through an artificial neural network, and allows the user to experience the bald face image. It can be used in a virtual hair styling experience service by overlapping or compositing desired hair object images.
  • the virtual hair styling experience service may be performed by a virtual hair styling experience device, and the virtual hair styling experience device may include the bald person image generating device 100.
  • a hairstyle may refer to hair having a specific shape and color
  • a hair object image may refer to an image of hair having a specific shape and color
  • Figure 8 shows a schematic configuration of a virtual hair styling experience device according to an embodiment.
  • the virtual hair styling experience device 1000 may include all of the components of the bald head person image generating device 100 of FIG. 7 described above. Additionally, the virtual hair styling experience device 1000 may further include a photographing unit 140. The illustrated components are not essential, and a virtual hair styling experience device for providing a virtual hair styling experience service may be implemented with more components or fewer components.
  • the photographing unit 140 may acquire image data of the person including hair by photographing the person.
  • control unit 130 may process the acquired facial image data and data stored in the storage unit 120 according to a user's command or a predetermined method or process.
  • the control unit 130 may execute computer-readable code (eg, software) stored in the storage unit 120 and/or instructions triggered by the control unit 130 .
  • the control unit 130 may be a data processing device implemented in hardware that has a circuit with a physical structure for executing desired operations.
  • the intended operations may include code or instructions included in the program.
  • data processing devices implemented in hardware include microprocessors, central processing units, processor cores, multi-core processors, and multiprocessors.
  • microprocessors central processing units
  • processor cores multi-core processors
  • multiprocessors multiprocessors.
  • ASIC Application-Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the storage unit 120 may store instructions (or programs) that can be executed by the control unit 130.
  • the instructions may include instructions for executing the operation of the control unit 130 and/or the operation of each component of the control unit 130.
  • the storage unit 120 may be implemented as a volatile memory device or a non-volatile memory device.
  • Volatile memory devices may be implemented as dynamic random access memory (DRAM), static random access memory (SRAM), thyristor RAM (T-RAM), zero capacitor RAM (Z-RAM), or twin transistor RAM (TTRAM).
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • T-RAM thyristor RAM
  • Z-RAM zero capacitor RAM
  • TTRAM twin transistor RAM
  • Non-volatile memory devices include EEPROM (Electrically Erasable Programmable Read-Only Memory), flash memory, MRAM (Magnetic RAM), Spin-Transfer Torque (STT)-MRAM (MRAM), and Conductive Bridging RAM (CBRAM). , FeRAM (Ferroelectric RAM), PRAM (Phase change RAM), Resistive RAM (RRAM), Nanotube RRAM (Nanotube RRAM), Polymer RAM (PoRAM), Nano Floating Gate Memory (NFGM), holographic memory, molecular electronic memory device, or insulation resistance change memory.
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • flash memory includes MRAM (Magnetic RAM), Spin-Transfer Torque (STT)-MRAM (MRAM), and Conductive Bridging RAM (CBRAM).
  • FeRAM Feroelectric RAM
  • PRAM Phase change RAM
  • Resistive RAM RRAM
  • Nanotube RRAM Nanotube RRAM
  • Polymer RAM PoRAM
  • NFGM Nano Floating Gate
  • the virtual hair styling experience device 1000 may be configured without including the photographing unit 140.
  • face image data for a person may be retrieved from an internal storage device as separate image data or received from an external device, etc. through the communication network.
  • the communication unit 110 may receive facial image data from the outside through the communication network, or may transmit facial image data processed by the control unit 130 to the outside through the communication network.
  • the virtual hair styling experience device 1000 may be implemented with a printed circuit board (PCB) such as a motherboard, an integrated circuit (IC), or a system on chip (SoC).
  • PCB printed circuit board
  • IC integrated circuit
  • SoC system on chip
  • the virtual hair styling experience device 100 may be implemented with an application processor.
  • the virtual hair styling experience device 1000 may be implemented as a personal computer (PC), a data server, a portable device, or a smart mirror including the PC.
  • PC personal computer
  • data server a data server
  • portable device a portable device
  • smart mirror including the PC
  • Portable devices include laptop computers, mobile phones, smart phones, tablet PCs, mobile internet devices (MIDs), personal digital assistants (PDAs), and enterprise digital assistants (EDAs). , digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book ( It can be implemented as an e-book) or a smart device.
  • a smart device may be implemented as a smart watch, smart band, or smart ring.
  • the communication network used by the communication unit 110 to transmit and receive data with external devices or servers includes, for example, a wireless network, a wired network, a public network such as the Internet, a private network, and a global system for mobile communication networks (Global System for Mobile).
  • communication network GSM
  • GRN General Packet Radio Network
  • LAN Local Area Network
  • WAN Wide Area Network
  • MAN Metropolitan Area Network
  • PSTN Public Switched Telephone Network
  • Bluetooth Wi-Fi Direct
  • Near Field communication ultra-wideband (Ultra-Wide band)
  • FIG. 9 is a diagram illustrating the operation of a virtual hair styling experience device and the concept of a virtual hair styling experience method using the virtual hair styling experience device according to an embodiment.
  • the virtual hair styling experience device 1000 includes the above-described bald person image generating device, and trains an artificial neural network with training data consisting of pairs of bald face images of various people prepared in advance and face area images extracted from the bald face images. It has been ordered.
  • the virtual hair styling experience device 1000 when an experiencer who wants to experience virtual hair styling films himself or herself through the video capture unit of the virtual hair styling experience device 1000 or directly inputs his or her image data, the virtual hair styling experience device 1000 A person image 910 is acquired from the input image data (S901).
  • the virtual hair styling experience device 1000 inputs the acquired person image 910 into the artificial neural network for generating the bald head image described above to generate a bald face image 920 in which hair is removed from the person image 910 of the experiencer.
  • the bald face image 920 may be generated by the bald head person image generation method described in FIG. 1 .
  • the virtual hair styling experience device 1000 transmits the person image data acquired from the person image 910 to the biometric characteristic analysis model to analyze the experiencer's biometric characteristics (S903), and transmits it to the fashion feature analysis model to analyze the experiencer's biometric characteristics. Analyze fashion features (S904).
  • the analyzed biometric characteristic results and fashion characteristic results are input into a preference score prediction model to predict a preference score according to the experiencer's biometric characteristic results and fashion characteristic results (S905), and the virtual hair styling experience device 1000 predicts the preference score prediction result. Accordingly, several hairstyles (930) that are judged to suit the experiencer are recommended (S906).
  • the virtual hair styling experience device 1000 displays the person's skin color and tone, eyebrow shape, beard shape, eye size, pupil size, eye color, ear size, nose size, etc. in the image of the person before being input to the artificial neural network. Analyze biometric characteristics such as face shape, race, age, gender, or fashion characteristics such as clothing type and accessory type, and then recommend at least one hairstyle based on the results of the analysis of biometric characteristics and/or fashion characteristics. You can. Biometric characteristic analysis and fashion feature analysis by the virtual hair styling experience device 1000 may be performed using a biometric feature analysis model and a fashion feature analysis model created using an artificial intelligence model, respectively.
  • the biometric specific analysis model is a CNN-based learning model for numerically expressing the characteristics of facial images, and includes a feature extractor that inputs facial images, learns and outputs biometric information such as age, gender, and skin color. It can be. Additionally, this feature extractor may include a facial feature point extraction model to better capture facial features such as face shape, eye size, and color by regressing the face image into feature points.
  • the fashion feature analysis model is a CNN-based learning model for numerically expressing the fashion features of a person video. It uses human segmentation to classify the person in the input video into arms, legs, face, hair, upper part, and lower part. It is possible to accurately capture the fashion style worn by a person. When a full-body image of a person is input, the model can extract the human mask and extract elements that affect hairstyle, such as tops, bottoms, and accessories.
  • the virtual hair styling experience device 1000 is based on biometric characteristic information of the input face image of the person expressed numerically in the biometric specific analysis model and/or fashion features of the face image of the person expressed numerically in the fashion feature analysis model. Based on the analysis results, at least one hairstyle can be recommended.
  • the virtual hair styling experience device 1000 generates a hair style preference prediction model according to biometric characteristics and fashion characteristics based on preference score information for each hairstyle based on biometric characteristics and fashion characteristics given by experts such as hair stylists.
  • the hairstyle preference prediction model is trained with preference score data for each hairstyle predetermined based on biometric characteristics and fashion features, and a biometric characteristic information analysis model for the person to be predicted is output to the trained hairstyle preference prediction model.
  • a biometric characteristic information analysis model for the person to be predicted is output to the trained hairstyle preference prediction model.
  • the virtual hair styling experience device 1000 synthesizes a hair style selected from among several recommended hair styles 930 on the experiencer's shaved head face image 920 (S907) to create a virtual hair styling experience face image 940. Outputs .
  • the virtual hair styling experience device 1000 may generate a hair object image 950 by extracting only the area corresponding to the hair from the person image 910 (S908).
  • the generated hair object image 950 may be stored in a hair material database and used as a recommended hairstyle for other experiencers.
  • the virtual hair styling experience device 1000 receives at least one hairstyle selected from among at least one recommended hairstyle, then synthesizes the selected at least one hairstyle with the bald face image of the person output from the artificial neural network and outputs it. can do.
  • facial image data of a person captured with a camera was used as facial image data input to the artificial neural network, but the virtual hair styling experience device 1000 without a camera receives it from the outside through a data communication unit or stores it in memory. You can also use the face image data of a person who wants to experience virtual hair styling.
  • FIG. 10 sequentially shows examples of step-by-step states in which a virtual hair styling experience is performed by a virtual hair styling experience device according to an embodiment.
  • the virtual hair styling experience device 1000 inputs the face image data 1010 input into an artificial neural network to determine the original existence of the face image data 1010 for the input person.
  • the bald face image 1020 is created by removing the existing hair 1011, and the hairstyle 1031 selected by the user (experiencer) is composited or overlaid on the bald face image 1020 to create a virtual image with the user-selected hairstyle applied.
  • a face image 1030 is output.
  • the virtual hair styling experience device 1000 when the virtual hair styling experience device 1000 generates a hair style 1031 for the user's experience, that is, a hair object image, the hair object image is based on the center point of each eye of the person from the image of the person from which the hair object is extracted.
  • the hair object image is transformed so that it can be appropriately synthesized into the bald face images of various people.
  • the size of the hair object image may be enlarged or reduced, and the rotation angle, that is, the degree to which the hair object is tilted, may be adjusted.
  • Figure 11 shows an example of a method by which a virtual hair styling experience device according to an embodiment synthesizes a hair object image into a bald face image
  • Figure 12 shows a hair object image to be synthesized using facial feature points extracted from the face image. An example of transformation is shown.
  • the control unit 130 of the virtual hair styling experience device 1000 extracts facial feature points 1102 from the bald face image 1101 and displays them by overlapping them with the bald face image 1101 to create a face.
  • a face image 1103 with a feature point 1102 displayed is generated.
  • the control unit 130 extracts facial feature points 1112 from the face image 1111 of a person with hair and generates a face image 1113 in which the facial feature points 1112 are displayed.
  • the control unit 130 can extract feature points from a face image using the dlib facial feature point detection model.
  • the control unit 130 extracts the hair object 1115 from the face image 1111 of a person with hair.
  • the control unit 130 uses the detected facial feature points to find the center point of the eyes of the person in the bald face image 1101 and the face image 1111 of the person with hair, and determines the coordinates of the center points of the eyes of the two people. Using this, you can find the distance between each person's eyes and the slope of the eyes. Here, the slope of the two eyes can be obtained as the slope of a straight line connecting the center points of the two eyes. Information about the center points of the two eyes extracted from the face image 1111 of a person with hair is stored in the meta information of the extracted hair object image and is used when composited into the hair object image, that is, the bald face image. The center points of the two eyes can be calculated using the facial feature points of FIG. 3. Referring to FIG.
  • the feature points of the left eye are a group 301 composed of points 36 to 41
  • the feature points of the right eye are a group 301 composed of points 36 to 41. Since it is a group 302 composed of (47), the center point of the left eye can be calculated as the average of the coordinates of points 36 to 41, and the center point of the right eye can be calculated as the average of the coordinates of points 42 to 47. It can be calculated as the average of coordinates.
  • the control unit 130 uses the coordinates of the center points of the two eyes extracted by the facial feature point extraction method of FIG. 3 to determine the distance between the two eyes of the bald face image 1101 and the tilt of the two eyes.
  • the hair object image 1115 extracted from the face image 1111 of the person with hair using the distance between the eyes and the tilt of the eyes of the face image 1111 of the person with hair is a bald face image ( 1101), adjust the size and rotation angle of the hair object image so that it overlaps appropriately.
  • the control unit 130 moves the position of the hair object image so that the hair object image accurately overlaps the face image 1111 of the two people using the center points of the two eyes of the two people.
  • a hair composite image 1120 that is, a virtual hair styling experience image, can be generated in which the hair object image extracted from the face image 1111 of a person with hair is appropriately overlapped with the bald face image 1101. there is.
  • FIG. 12(a) is a case where the size of the hair object image 1202 to be synthesized into the bald face image 1201 is smaller than the size of the bald face image 1201, and the enlarged hair object image ( 12(b) shows an example of compositing 1203) into a bald face image 1201, and FIG. 12(b) shows that the size of the hair object image 1205 to be synthesized into the bald face image 1204 is the size of the bald face image 1204.
  • a reduced hair object image 1206 is synthesized with a bald face image 1204 is shown.
  • the artificial neural network, biometric characteristic analysis model, fashion feature analysis model, and preference score prediction model of the virtual hair styling experience device according to the embodiment are based on artificial intelligence.
  • artificial intelligence e.g., a neural network for a virtual hair styling experience
  • an artificial intelligence processing device applicable to the virtual hair styling experience device and method including the learning data generating device.
  • Figure 13 is a block diagram of an AI device that can be applied to an embodiment of the present invention.
  • the AI device 1300 may include an electronic device including an AI module capable of performing AI processing or a server including the AI module.
  • the AI device 1300 is included as at least a portion of the bald head person image generating device 100 and the virtual hair styling experience device 1000 shown in FIGS. 7 and 8 and performs at least some of the AI processing together. It may be equipped to do so.
  • the AI processing procedure of the AI device 1300 includes the bald head person image generating device 100 shown in FIG. 7 and the virtual hair styling experience device 1000 shown in FIG. 8, and all operations/steps related to their control. It can include all operations/steps for generating a bald face image through a field and deep learning network.
  • the bald head person image generating device 100 can AI process the collected and generated learning data set to process/judge and learn, and then generate a bald face image with only the hair removed from the input face image with hair. You can perform any action.
  • the AI device 1300 may be included as a component of the control unit 130 of FIGS. 7 and 8 or may be replaced with the control unit 130.
  • the AI device 1300 may include an AI processor 1301, a memory 1305, and/or a communication unit 1307.
  • the AI device 1300 is a computing device capable of learning a neural network, and may be implemented as various electronic devices such as a server, desktop PC, laptop PC, tablet PC, etc., or may be implemented as a single chip.
  • the AI device 1300 may be a bald head person image generating device 100 and a virtual hair styling experience device 1000 implemented in any one of the various electronic devices.
  • the AI processor 1301 can learn a neural network using a program stored in the memory 1305.
  • the AI processor 1301 can learn a neural network for recognizing device-related data.
  • a neural network for recognizing device-related data may be designed to simulate the structure of the human brain on a computer, and may include a plurality of network nodes with weights that simulate neurons of a human neural network. Multiple network modes can exchange data according to their respective connection relationships to simulate the synaptic activity of neurons sending and receiving signals through synapses.
  • the neural network may include a deep learning model developed from a neural network model. In a deep learning model, multiple network nodes are located in different layers and can exchange data according to convolutional connection relationships.
  • neural network models include deep neural networks (DNN), convolutional deep neural networks (CNN), recurrent neural networks (RNN), Restricted Boltzmann Machine (RBM), and deep trust. It includes various deep learning techniques such as deep belief networks (DBN) and Deep Q-Network, and can be applied to fields such as computer vision (CV), speech recognition, natural language processing, and voice/signal processing. You can.
  • DNN deep neural networks
  • CNN convolutional deep neural networks
  • RNN Restricted Boltzmann Machine
  • DNN deep belief networks
  • DNN deep Q-Network
  • the processor that performs the above-described functions may be a general-purpose processor (e.g., CPU), or may be an AI-specific processor (e.g., GPU) for artificial intelligence learning.
  • a general-purpose processor e.g., CPU
  • an AI-specific processor e.g., GPU
  • the memory 1305 can store various programs and data necessary for the operation of the AI device 1300.
  • the memory 1305 can be implemented as non-volatile memory, volatile memory, flash memory, hard disk drive (HDD), or solid state drive (SDD).
  • the memory 1305 is accessed by the AI processor 1301, and reading/writing/modifying/deleting/updating data by the AI processor 1301 can be performed. Additionally, the memory 1305 may store a neural network model (eg, deep learning model 1306) generated through a learning algorithm for data classification/recognition according to an embodiment of the present invention.
  • a neural network model eg, deep learning model 1306
  • the AI processor 1301 may include a data learning unit 1302 that learns a neural network for data classification/recognition.
  • the data learning unit 1302 can learn standards regarding which learning data to use to determine data classification/recognition and how to classify and recognize data using the learning data.
  • the data learning unit 1302 can learn a deep learning model by acquiring learning data to be used for learning and applying the acquired learning data to the deep learning model.
  • the data learning unit 1302 may be manufactured in the form of at least one hardware chip and mounted on the AI device 1300.
  • the data learning unit 1302 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as part of a general-purpose processor (CPU) or a graphics processor (GPU) to be used in the AI device 1300. It may be mounted.
  • the data learning unit 1302 may be implemented as a software module.
  • the software module When implemented as a software module (or a program module including instructions), the software module may be stored in a non-transitory computer readable media that can be read by a computer. In this case, at least one software module may be provided by an operating system (Operating System) or an application (application program).
  • an operating system Operating System
  • application program application program
  • the data learning unit 1302 may include a learning data acquisition unit 1303 and a model learning unit 1304.
  • the learning data acquisition unit 1303 may acquire learning data required for a neural network model for classifying and recognizing data.
  • the learning data acquisition unit 1303 may acquire image data and/or sample data for bald faces and faces with hair to be input to a neural network model as learning data.
  • the model learning unit 1304 can use the acquired training data to train the neural network model to have a judgment standard on how to classify certain data.
  • the model learning unit 1304 can learn a neural network model through supervised learning that uses at least some of the learning data as a judgment standard.
  • the model learning unit 1304 can learn a neural network model through unsupervised learning, which discovers a judgment standard by learning on its own using training data without guidance.
  • the model learning unit 1304 can learn a neural network model through reinforcement learning using feedback on whether the result of situational judgment based on learning is correct.
  • the model learning unit 1304 may train a neural network model using a learning algorithm including error back-propagation or gradient descent.
  • the model learning unit 1304 may store the learned neural network model in memory.
  • the model learning unit 1304 may store the learned neural network model in the memory of a server connected to the AI device 1300 through a wired or wireless network.
  • the data learning unit 1302 further includes a learning data pre-processing unit (not shown) and a learning data selection unit (not shown) to improve the analysis results of the recognition model or save the resources or time required for generating the recognition model. You may.
  • the learning data preprocessor may preprocess the acquired data so that the acquired data can be used for learning to determine the situation. For example, the learning data preprocessor may process the acquired data into a preset format so that the model learning unit 1304 can use the acquired learning data for learning to recognize image data for the transmitter.
  • the learning data selection unit may select data necessary for learning among the learning data acquired by the learning data acquisition unit 1303 or the learning data pre-processed by the pre-processing unit.
  • the selected learning data may be provided to the model learning unit 1304.
  • the learning data selection unit may recognize a specific field among the data sets collected through the network and select only data included in the specific field as learning data.
  • the data learning unit 1302 may further include a model evaluation unit (not shown) to improve the analysis results of the neural network model.
  • the model evaluation unit inputs evaluation data into the neural network model, and when the analysis result output from the evaluation data does not satisfy a predetermined standard, the model learning unit 1302 can learn again.
  • the evaluation data may be predefined data for evaluating the recognition model.
  • the model evaluation unit may evaluate that, among the analysis results of the learned recognition model for the evaluation data, if the number or ratio of the evaluation data for which the analysis result is inaccurate exceeds a preset threshold, a predetermined standard is not satisfied. .
  • the communication unit 1307 can transmit the results of AI processing by the AI processor 1301 to an external electronic device.
  • the external electronic device may be defined as a bald head person image generating device 100 and a virtual hair styling experience device 1000.
  • the AI device 1300 may be implemented by being functionally embedded in the control unit 130 provided in the bald head person image generating device 100 and the virtual hair styling experience device 1000.
  • the AI device 1300 shown in FIG. 13 has been described as functionally divided into an AI processor 1301, a memory 1305, and a communication unit 1307, but the above-described components are integrated into one module to form an AI module. Please note that it may also be referred to as .
  • unit e.g., control unit, etc.
  • Part may be used interchangeably with terms such as unit, logic, logical block, component, or circuit, for example.
  • a “part” may be the minimum unit of an integrated part or a part thereof.
  • Part may be the minimum unit or part of one or more functions.
  • the “part” may be implemented mechanically or electronically.
  • a “part” may be an Application-Specific Integrated Circuit (ASIC) chip, Field-Programmable Gate Arrays (FPGAs), or programmable-logic device, known or to be developed in the future, that performs certain operations. It can contain at least one.
  • ASIC Application-Specific Integrated Circuit
  • FPGAs Field-Programmable Gate Arrays
  • programmable-logic device known or to be developed in the future, that performs certain operations. It can contain at least one.
  • At least a portion of the device (e.g., modules or functions thereof) or method (e.g., operations) according to various embodiments may be stored in a computer-readable storage media, e.g., in the form of a program module. It can be implemented with instructions stored in . When the instruction is executed by a processor, the one or more processors may perform the function corresponding to the instruction.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system.
  • Computer-readable storage media/computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), and optical media (e.g.
  • CD-ROM compact disc read only memory, digital versatile disc (DVD), magneto-optical media (e.g., floptical disk), hardware devices (e.g., read only memory (ROM), random disk (RAM)) access memory, or flash memory, etc.), and may also include those implemented in the form of a carrier wave (e.g., transmission via the Internet).
  • program instructions include machine language such as that created by a compiler.
  • code it may include high-level language code that can be executed by a computer using an interpreter, etc.
  • the above-described hardware device may be configured to operate as one or more software modules to perform the operations of various embodiments, and vice versa. Same thing.
  • a module or program module may include at least one of the above-described components, some of them may be omitted, or may further include other additional components. Operations performed by modules, program modules, or other components according to various embodiments may be executed sequentially, in parallel, iteratively, or in a heuristic manner. Additionally, some operations may be executed in a different order, omitted, or other operations may be added.
  • the term “one” is defined as one or more than one. Additionally, the use of introductory phrases such as “at least one” and “one or more” in a claim may mean that the same claim contains introductory phrases such as “at least one” and “one or more” and ambiguous phrases such as “an.” The introduction of another claim element by the ambiguous phrase "a”, if any, shall be construed to mean that any particular claim containing the claim element so introduced is limited to an invention containing only one such element. It shouldn't be.
  • any two components combined to achieve particular functionality may be considered to be “related” to each other such that the desired functionality is achieved, regardless of structure or intervening components.
  • two such associated components may be considered “operably connected” or “operably coupled” to each other to achieve a desired function.
  • a reference to a system containing a specific component should also include scenarios in which the system does not contain the specific component.
  • a reference to a method that includes a specific behavior should also include scenarios in which the method does not include that specific component.
  • a reference to a system configured to perform a specific action should also include scenarios in which the system is not configured to perform a specific task.
  • any method may include at least the operations included in the drawings and/or the specification, or may include only the operations included in the drawings and/or the specification.
  • the word “comprising” does not exclude the presence of elements or acts listed in a claim.
  • a system, apparatus or device referred to in this specification includes at least one hardware component.
  • the bald person image generation technology of the present invention has been explained with a focus on examples of application to a bald person image generating device for a virtual hair styling experience and a virtual hair styling experience device based on the bald person image generation technology, but in addition to this, virtual hair styling It is possible to apply it to a variety of devices where you can experience various modifications.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 명세서는 민머리 인물 이미지 생성 장치 및 방법, 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법에 관한 것이다. 상기 민머리 인물 이미지 생성 방법은, 인물 이미지에서 인물 객체 영역을 제거한 배경 마스크를 인페인팅으로 채워 넣어 배경 이미지를 생성하고, 상기 인물 이미지에서 추출한 얼굴 영역을 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하고, 상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성한 뒤, 상기 민머리 두상 배경 이미지와 상기 인물 이미지에서 모발 영역을 제거한 마스크에 기초하여 민머리 인물 이미지를 생성함으로써, 모발이 있는 사람의 얼굴 이미지에서 모발만을 제거한 자연스러운 인물 이미지를 생성할 수 있는 효과가 있다.

Description

민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법
본 명세서는 가상 헤어 스타일링 체험을 위하여 민머리 인물 이미지를 생성하는 장치 및 방법, 그리고 상기 민머리 인물 이미지를 생성하는 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법에 관한 것이다.
최근 미용 분야에서는 고객이 원하는 여러가지 헤어스타일을 미리 체험해보고 시술할 헤어스타일을 결정하는 가상 헤어 스타일링 체험 서비스가 제공되고 있다. 가상 헤어 스타일링 체험 서비스는 체험자의 얼굴 사진에 가상으로 생성한 모발 영상을 합성 또는 중첩하여 출력함으로써 체험자에게 미리 헤어스타일을 시술한 것과 같은 체험을 제공하는 서비스이다. 모발 객체 영상으로는 컴퓨터 그래픽을 이용하여 사람이 디자인한 것을 사용하였으며, 체험자의 얼굴 이미지에 디자인된 모발 객체 영상을 중첩한 뒤, 크기나 형태를 필요에 따라 일부 조정하는 방식으로 가상 체험을 제공하였다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
그러나, 체험자의 기존 모발 위에 중첩되는 가상의 모발 이미지는 체험자의 머리 또는 얼굴에 자연스럽게 중첩되지 않아 어색함이 발생하고, 가상의 모발 이미지 아래로 기존의 모발이 돌출되어 체험 만족감이 매우 낮아지는 문제점이 있었다.
또한, 체험자의 얼굴 이미지에서 기존의 모발을 제거한 뒤에 가상의 모발 이미지를 중첩할 수도 있으나, 기존의 모발을 제거한 얼굴 이미지가 부자연스러워 체험자의 체험 만족감을 낮추는 문제점이 있었다.
본 명세서는 전술한 문제점을 해결하기 위한 것으로서, 본 명세서의 일 실시 예는 모발이 있는 사람의 얼굴 이미지에서 모발만을 제거한 자연스러운 민머리 인물 이미지를 생성하는 것에 목적이 있다.
또한, 본 명세서는 기존의 모발 위에 중첩되는 가상의 모발 이미지는 고객의 머리 또는 얼굴에 자연스럽게 중첩되지 않아 어색함이 발생하는 문제점이 있어 이를 해결하는 것에 목적이 있다.
또한, 본 명세서는 사람의 얼굴 이미지에서 모발만을 제거한 사람의 민머리 얼굴 이미지를 인공 신경망(AI 알고리즘)을 통해 자동으로 생성하는 방법을 제공함에 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 민머리 인물 이미지 생성 장치에 의한 민머리 인물 이미지 생성 방법을 제시한다. 상기 민머리 인물 이미지 생성 방법은, 인물 이미지에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지를 생성하는 단계; 상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계; 상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성하는 단계; 상기 인물 이미지에서 세분화를 실시하여 모발 영역을 제거한 비(非) 모발 마스크를 추출하는 단계; 및 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계;를 포함할 수 있다.
상기 민머리 인물 이미지 생성 방법 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계는, 상기 인물 이미지에서 얼굴의 특징점에 기초하여 모발 부분을 제외한 얼굴 이미지를 추출하는 단계; 및 입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 인공신경망에 상기 얼굴 이미지를 입력하여 상기 민머리 두상 이미지를 생성하는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 얼굴 이미지는, Dlib 이미지 처리 도구를 이용하여 예측된 특징점 중 얼굴 영역에 해당하는 특징점에 기초하여 추출될 수 있다.
실시 예에 따라, 또한, 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는, 상기 비(非) 모발 마스크를 상기 민머리 두상 배경 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는, 상기 비(非) 모발 마스크에 기초하여 상기 민머리 두상 배경 이미지로부터 상기 모발 영역에 대응되는 민머리 영역을 추출하는 단계; 및 상기 민머리 영역을 상기 인물 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함할 수 있다.
한편, 본 명세서는 민머리 인물 이미지 생성 장치를 제시한다. 상기 민머리 인물 이미지 생성 장치는, 저장부; 및 상기 저장부와 기능적으로 연결되는 제어부;를 포함하되, 상기 저장부는 상기 제어부에 의해 생성된 데이터를 저장하고, 상기 제어부는, 인물 이미지에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지를 생성하고, 상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하고, 상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성하고, 상기 인물 이미지에서 세분화를 실시하여 모발 영역을 제거한 비(非) 모발 마스크를 추출하고, 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성할 수 있다.
상기 민머리 인물 이미지 생성 장치 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 제어부는, 상기 인물 이미지에서 얼굴의 특징점 중 얼굴 영역에 해당하는 특징점에 기초하여 모발 부분을 제외한 상기 얼굴 이미지를 추출하고, 입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 인공신경망에 상기 얼굴 이미지를 입력하여 상기 민머리 두상 이미지를 생성할 수 있다.
실시 예에 따라, 또한, 상기 제어부는, 상기 비(非) 모발 마스크를 상기 민머리 두상 배경 이미지에 중첩하여 상기 민머리 인물 이미지를 생성할 수 있다.
실시 예에 따라, 또한, 상기 제어부는, 상기 비(非) 모발 마스크에 기초하여 상기 민머리 두상 배경 이미지로부터 상기 모발 영역에 대응되는 민머리 영역을 추출하고, 상기 민머리 영역을 상기 인물 이미지에 중첩하여 상기 민머리 인물 이미지를 생성할 수 있다.
다른 한편, 본 명세서는 가상 헤어 스타일링 체험 방법을 제시한다. 상기 가상 헤어 스타일링 체험 방법은, 입력된 영상으로부터 인물 이미지를 획득하는 단계; 상기 인물 이미지에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지를 생성하는 단계; 상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계; 상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성하는 단계; 상기 인물 이미지에서 세분화를 실시하여 모발 영역을 제거한 비(非) 모발 마스크를 추출하는 단계; 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계; 및 상기 민머리 인물 이미지에 선택된 헤어 스타일 객체 이미지를 합성하여 가상 헤어 스타일 체험 이미지를 출력하는 단계;를 포함할 수 있다.
상기 가상 헤어 스타일링 체험 방법 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는, 상기 비(非) 모발 마스크를 상기 민머리 두상 배경 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는, 상기 비(非) 모발 마스크에 기초하여 상기 민머리 두상 배경 이미지로부터 상기 모발 영역에 대응되는 민머리 영역을 추출하는 단계; 및 상기 민머리 영역을 상기 인물 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계는, 상기 인물 이미지에서 얼굴의 특징점에 기초하여 모발 부분을 제외한 얼굴 이미지를 추출하는 단계; 및 입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 상기 인공신경망에 상기 얼굴 이미지를 입력하여 상기 민머리 두상 이미지를 생성하는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 민머리 인물 이미지에 선택된 헤어 스타일 객체 이미지를 합성하여 가상 헤어 스타일 체험 이미지를 출력하는 단계는, 상기 민머리 얼굴 이미지에서 얼굴 특징점을 검출하는 단계; 상기 얼굴 특징점에 기초하여 상기 민머리 얼굴 이미지의 제1 각 눈의 중심점을 추출하는 단계; 상기 제1 각 눈의 중심점 및 상기 헤어 스타일 객체 이미지의 메타 정보에 포함된 헤어 스타일 객체를 추출한 인물 이미지의 제2 각 눈의 중심점에 기초하여 상기 헤어 스타일 객체 이미지를 변형하는 단계; 및 상기 민머리 인물 이미지에 상기 변형된 헤어 스타일 객체 이미지를 합성하여 상기 가상 헤어 스타일 체험 이미지를 출력하는 단계;를 포함할 수 있다.
실시 예에 따라, 또한, 상기 제1 각 눈의 중심점 및 상기 헤어 스타일 객체 이미지의 메타 정보에 포함된 헤어 스타일 객체를 추출한 인물 이미지의 제2 각 눈의 중심점에 기초하여 상기 헤어 스타일 객체 이미지를 변형하는 단계는, 상기 제1 각 눈의 중심점에 기초하여 상기 민머리 얼굴 이미지의 두 눈 사이의 거리 및 두 눈의 기울기를 산출하는 단계; 상기 제2 각 눈의 중심점에 기초하여 상기 헤어 스타일 객체를 추출한 인물 이미지의 두 눈 사이의 거리 및 두 눈의 기울기를 산출하는 단계; 상기 민머리 얼굴 이미지의 두 눈 사이의 거리 및 상기 헤어 스타일 객체를 추출한 인물 이미지의 두 눈 사이의 거리에 기초하여 상기 헤어 스타일 객체 이미지의 크기를 상기 민머리 얼굴 이미지에 맞도록 조절하는 단계; 및 상기 민머리 얼굴 이미지의 두 눈의 기울기 및 상기 헤어 스타일 객체를 추출한 인물 이미지의 두 눈의 기울기에 기초하여 상기 헤어 스타일 객체 이미지의 회전 각도를 상기 민머리 얼굴 이미지에 맞도록 조절하는 단계;를 포함할 수 있다.
실시 예에 따라, 상기 인공신경망은, 배경이 있는 민머리 인물 이미지로부터 얼굴 영역만을 추출하여 생성된 얼굴 영역 이미지 및 상기 배경이 있는 민머리 인물 이미지의 배경을 세분화 모델로 제거하여 생성된 배경이 없는 민머리 인물 이미지로 구성되는 이미지 셋으로 임의의 얼굴 영역 이미지가 입력되면 얼굴 영역에서 두상 부분을 생성하여 배경이 없는 민머리의 두상 이미지를 생성하도록 학습될 수 있다.
본 명세서에 개시된 실시 예들은 모발이 있는 사람의 얼굴 이미지에서 모발만을 제거한 자연스러운 민머리의 인물 이미지를 생성할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예는 입력된 인물 영상에서 민머리 얼굴 영상을 생성한 뒤 모발 객체 영상을 합성하여 자연스러운 모발 합성 얼굴 영상을 생성할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예에 따른 방법은 고객의 머리를 직접 촬영한 이미지에서 고품질의 모발 영상을 추출할 수 있으므로, 고객의 머리 또는 얼굴에 자연스럽게 중첩되는 모발 영상으로 가상 헤어 스타일링 체험을 제공할 수 있는 효과가 있다.
또한, 본 명세서는 AI 알고리즘을 통해 사람의 얼굴 이미지에서 머리카락이 제거된 대머리 이미지를 자동으로 출력하여 사용자에게 기존 모발로 인한 헤어 스타일링 체험의 이질감을 낮출 수 있는 효과가 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 일 실시 예에 따른 민머리 인물 이미지 생성 장치에 의한 민머리 인물 이미지 생성 방법을 개념적으로 설명하는 도면이다.
도 2는 얼굴 세분화 딥러닝 모델의 학습 데이터의 예를 도시한다.
도 3은 얼굴 특징점 추출 모델의 예를 도시한다.
도 4는 민머리의 두상 이미지를 생성하는 인공신경망용 학습 데이터 셋을 생성하는 방법의 예를 도시한다.
도 5 내지 도 6은 일 실시 예에 따른 민머리 인물 이미지 생성 장치에 의한 민머리 인물 이미지 생성 방법을 설명하는 순서도이다.
도 7은 일 실시 예에 따른 민머리 인물 이미지 생성 장치의 구성도이다.
도 8은 일 실시 예에 따른 가상 헤어 스타일링 체험 장치의 개략적인 구성을 나타낸다.
도 9는 일 실시예에 따른 가상 헤어 스타일링 체험 장치의 동작 및 가상 헤어 스타일링 체험 장치에 의한 가상 헤어 스타일링 체험 방법의 개념을 설명하는 도면이다.
도 10은 일 실시예에 따른 가상 헤어 스타일링 체험 장치에 의해 가상 헤어 스타일링 체험이 실행되는 단계적 상태의 예를 순서대로 도시한 것이다.
도 11은 일 실시예에 따른 가상 헤어 스타일링 체험 장치가 모발 객체 영상을 민머리 얼굴 영상에 합성하는 방법의 예를 도시한다.
도 12는 얼굴 영상에서 추출된 얼굴 특징점을 이용하여 합성할 모발 객체 영상을 변형하는 예를 도시한다.
도 13은 본 발명의 일 실시예에 적용될 수 있는 AI 장치의 블록도이다.
본 명세서에 개시된 기술은 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 방법, 그리고, 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
명세서 전체에서, 장치 또는 단말은 서버 또는 다른 장치와 유선 또는 무선 통신할 수 있는 통신 단말 또는 통신 장치를 포함한다. 장치 또는 단말의 형태는 휴대전화, 스마트폰, 스마트패드, 랩톱 컴퓨터, 데스크톱 컴퓨터, 웨어러블 디바이스, 거울 형태의 디스플레이 장치, 스마트미러 등과 같이 다양한 형태를 가질 수 있다. 웨어러블 디바이스는 워치형 단말기, 글래스형 단말기, HMD 등과 같이 다양할 수 있다. 또한, 단말은 이러한 형태에 한정되지 않고 다양한 전자 장치로 구현될 수 있다.
이하에서는 첨부의 도면을 참조하여 실시 예들을 상세하게 설명한다.
도 1은 일 실시 예에 따른 민머리 인물 이미지 생성 장치에 의한 민머리 인물 이미지 생성 방법을 개념적으로 설명하는 도면이다. 도 2는 얼굴 세분화 딥러닝 모델의 학습 데이터의 예를 도시하고, 도 3은 얼굴 특징점 추출 모델의 예를 도시한다.
도 1 내지 3을 참조하면, 실시 예에 따른 민머리 인물 이미지 생성 장치는 장치로 입력되는 인물 이미지(10)를 부분별로 세분화 한 뒤, 인물 이미지 속의 인물에 해당하는 객체 영역을 제거한 배경 마스크를 추출하고, 추출된 배경 마스크에서 객체 영역이 제거된 부분을 이미지 인페인팅(inpating)으로 배경을 채워 넣어 배경 이미지(20)를 생성한다. 여기에서, 입력되는 인물 이미지(10)를 부분별로 세분화 하는 방법은 얼굴 세분화 딥러닝 모델을 이용하여 수행될 수 있다. 실시 예에서 사용되는 얼굴 세분화 딥러닝 모델은 얼굴 이미지를 입력하면 부분별로 마스크가 나오도록 미리 학습된 BiSeNet 모델이 사용될 수 있다. 본 실시 예에서는 상기 BiSeNet 모델에 대한 학습 데이터로서 도 2에 도시된 CelebAMask가 사용될 수 있다.
또한, 민머리 인물 이미지 생성 장치는 인물 이미지(10)에서 얼굴 영역을 추출하여 얼굴 이미지(30)를 생성한 다음, 생성된 얼굴 이미지(30)를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리의 두상 이미지(40)를 생성한다. 여기에서, 인물 이미지(10)에서 얼굴 영역을 추출하여 얼굴 이미지(30)를 생성하는 방법은 도 3에 도시한 바와 같은 이미지 처리 도구인 Dlib를 사용하여 68개의 얼굴 특징점(Keypoint)을 예측한 뒤, 민머리를 만드는데 불필요한 노이즈를 제거하기 위해 예측된 특징점 중 0번부터 26번까지의 특징점을 이용하여 얼굴 영역을 잘라내어 얼굴 이미지를 만든다. 한편, 민머리의 두상 이미지(40)를 생성하는 인공신경망은 얼굴 영역에 대한 이미지로부터 가상의 두상을 생성하기 위한 딥러닝 모델로서 Image to Image Translation 기술이라고 불리는 NVIDIA의 pix2pixHD 모델이 사용될 수 있다.
다음으로, 민머리 인물 이미지 생성 장치는 배경 이미지(20)와 민머리의 두상 이미지(40)를 합성하여 배경을 가진 민머리의 두상 이미지(50)를 생성한다.
또한, 민머리 인물 이미지 생성 장치는 앞에서 세분화된 인물 이미지(10)에서 모발에 해당하는 영역(이하에서는 모발 영역(61)이라 부름)을 제거한 비(非) 모발 마스크(60)를 추출한다.
마지막으로, 민머리 인물 이미지 생성 장치는 비(非) 모발 마스크(60)와 배경을 가진 민머리의 두상 이미지(50)에 기초하여 민머리의 인물 이미지(70)를 생성할 수 있다. 예를 들어, 민머리 인물 이미지 생성 장치는 비(非) 모발 마스크(60)와 배경을 가진 민머리의 두상 이미지(50)를 중첩하거나 합성하여 민머리의 인물 이미지(70)를 생성할 수 있다. 다른 예를 들어, 민머리 인물 이미지 생성 장치는 비(非) 모발 마스크(60)에 기초하여 배경을 가진 민머리의 두상 배경 이미지(50)로부터 모발 영역(61)에 대응되는 영역(민머리만으로 구성된 두상 영역에 해당함.)을 추출하고, 배경을 가진 민머리의 두상 배경 이미지(50)에서 추출된 대응 영역을 인물 이미지(10)에 중첩하여 민머리의 인물 이미지(70)를 생성한다.
이하에서는, 첨부의 도면을 참조하여, 민머리의 두상 이미지를 생성하는 인공신경망의 학습 방법에 대해서 설명한다.
도 4는 민머리의 두상 이미지를 생성하는 인공신경망용 학습 데이터 셋을 생성하는 방법의 예를 도시한다. 도 5는 인공신경망의 학습에 사용되는 민머리 얼굴 이미지 데이터의 예를 도시한다.
도 1 및 도 4를 참조하면, 민머리 인물 이미지 생성 장치는 배경이 있는 민머리 인물 이미지(80)로부터 전술한 얼굴 특징점에 기초하여 얼굴 영역만을 추출하여 배경이 없는 얼굴 영역 이미지(81)를 생성하고, 상기 배경이 있는 민머리 인물 이미지(80)에서 전술한 얼굴 세분화 딥러닝 모델로 배경을 제거하여 배경이 없는 민머리 인물 이미지(82)를 생성한다. 이후, 얼굴 영역 이미지(81) 및 배경이 없는 민머리 인물 이미지(82)로 구성되는 이미지 셋을 얼굴 영역의 이미지에서 민머리의 두상 이미지를 생성하는 인공신경망용 학습 데이터에 포함시킨다. 다음으로, 민머리 인물 이미지 생성 장치는 이렇게 생성된 학습 데이터로 임의의 얼굴 영역 이미지(10)가 입력되면 얼굴 영역에서 두상 부분을 생성하여 민머리의 두상 이미지(40)를 생성하도록 인공신경망을 학습시킨다. 여기에서, 배경이 있는 민머리 인물 이미지(80)로서 원래부터 민머리인 사람의 얼굴 이미지 데이터가 사용될 수 있다. 여기에서 민머리 인물 이미지(80)는 원래부터 민머리, 즉 대머리인 사람의 얼굴을 촬영하여 획득한 영상이며, 이들 원래부터 대머리인 사람의 얼굴 영상은 공공데이터 등의 대머리 얼굴 영상 제공처로부터 수집할 수 있다. 상기 다양한 인물들에 대한 민머리 얼굴 영상은 상기 원래부터 대머리인 사람의 얼굴 영상, 즉 공공데이터에서 획득 얼굴 영상의 인물이 비교적 나이가 많은 사람일 가능성이 크므로, 이들 얼굴 영상에서 노화의 영향으로 인한 주름 등을 제거한 보정 영상일 수 있다.
도 5 내지 6은 일 실시 예에 따른 민머리 인물 이미지 생성 장치에 의한 민머리 인물 이미지 생성 방법을 설명하는 순서도이다.
도 1 및 도 5 내지 6을 참조하면, 일 실시 예에 따른 민머리 인물 이미지 생성 장치는 인물 이미지(10)에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지(20)를 생성한다(S100). 여기에서, 민머리 인물 이미지 생성 장치는 입력된 인물 이미지를 바로 사용하지 않고, 얼굴 크롭(crop) 알고리즘을 사용하여 입력된 인물 이미지에서 얼굴 부분만을 직사각형으로 잘라낸 얼굴 크롭 이미지를 상기 인물 이미지(10)로 사용함으로써, 딥러닝 성능을 극대화시킬 수 있다.
다음으로, 민머리 인물 이미지 생성 장치는 상기 인물 이미지(10)에서 얼굴 영역을 추출하여 얼굴 이미지(30)를 생성하고, 상기 얼굴 이미지(30)를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지(40)를 생성한다(S110). 여기에서, 민머리 두상 이미지(40)를 생성하는 과정(S110)은, 상기 인물 이미지에서 얼굴의 특징점에 기초하여 모발 부분을 제외한 얼굴 이미지(30)를 추출하는 과정(S111) 및 입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 인공신경망에 상기 얼굴 이미지(30)를 입력하여 상기 민머리 두상 이미지(40)를 생성하는 과정(S112)을 포함하여 구성되는 방법으로 수행될 수 있다. 여기에서, 상기 얼굴 이미지(30)는 인물 이미지(10)에서 Dlib 이미지 처리 도구를 이용하여 예측된 특징점 중 얼굴 영역에 해당하는 특징점에 기초하여 추출될 수 있다. 또한, 상기 인공신경망은 배경이 있는 민머리 인물 이미지로부터 얼굴 영역만을 추출하여 생성된 얼굴 영역 이미지 및 상기 배경이 있는 민머리 인물 이미지의 배경을 세분화 모델로 제거하여 생성된 배경이 없는 민머리 인물 이미지로 구성되는 이미지 셋으로 임의의 얼굴 영역 이미지가 입력되면 얼굴 영역에서 두상 부분을 생성하여 민머리의 두상 이미지를 생성하도록 학습될 수 있다.
다음으로, 민머리 인물 이미지 생성 장치는 상기 배경 이미지(20) 및 상기 민머리 두상 이미지(40)를 합성하여 민머리 두상 배경 이미지(50)를 생성한다(S120). 여기에서, 민머리 두상 배경 이미지(50)는 상기 배경 이미지(20)가 상기 민머리 두상 이미지(40)의 배경으로 합성되어 생성된 이미지를 의미한다.
다음으로, 민머리 인물 이미지 생성 장치는 상기 인물 이미지(10)에서 세분화를 실시한 뒤, 상기 인물 이미지(10)에서 모발 영역(61) 만을 제거한 마스크(60)를 추출한다(S130). 인물 이미지(10)에서 모발 영역 만을 제거한 마스크는 비(非) 모발 마스크라 불릴 수 있다.
마지막으로, 민머리 인물 이미지 생성 장치는 상기 비(非) 모발 마스크(60)와 상기 민머리 두상 배경 이미지(50)에 기초하여 민머리 인물 이미지(70)를 생성한다(S140). 실시 예에 따르면, 상기 민머리 인물 이미지 생성 장치는 상기 비(非) 모발 마스크(60)를 상기 민머리 두상 배경 이미지(50) 위에 중첩하여 상기 민머리 인물 이미지(70)를 생성할 수 있다. 다른 실시 예에 따르면, 상기 민머리 인물 이미지 생성 장치는 상기 비(非) 모발 마스크(60)에 기초하여 상기 민머리 두상 배경 이미지(50)로부터 상기 모발 영역(61)에 대응되는 민머리 영역을 추출하고, 상기 민머리 영역을 상기 인물 이미지(10)에 중첩하여 상기 민머리 인물 이미지(70)를 생성할 수 있다. 구체적으로 설명하면, 상기 민머리 인물 이미지 생성 장치는 상기 비(非) 모발 마스크(60)를 상기 민머리 두상 배경 이미지(50)에 중첩하여 상기 모발 영역(61)에 대응되는 민머리 영역을 추출하고, 추출된 민머리 영역을 상기 인물 이미지(10)에 중첩하여 민머리 인물 이미지(70)를 생성할 수 있다. 여기에서, 상기 모발 영역에 대응되는 민머리 영역을 추출하는 방법은 상기 비(非) 모발 마스크(60)를 상기 민머리 두상 배경 이미지(50)에 중첩하여 중첩 이미지를 생성한 뒤, 상기 중첩 이미지에서 상기 모발 영역(61)에 대응되는 상기 민머리 영역을 추출할 수 있다.
여기에서, 만약 상기 인물 이미지(10)로서 원본 인물 이미지에서 얼굴 부분만을 잘라낸 얼굴 크롭 이미지를 사용했다면, 생성된 민머리 인물 이미지(70)를 원본 인물 이미지에 중첩하여 원본 인물 이미지 내의 인물을 민머리로 만든 이미지를 생성할 수 있다.
상술한 설명에서, 단계들, 과정들 또는 동작들은 본 발명의 구현 예에 따라서, 추가적인 단계, 과정 또는 동작으로 더 분할되거나, 더 적은 단계, 과정 또는 동작으로 조합될 수 있다. 또한, 일부 단계, 과정 또는 동작은 필요에 따라 생략될 수도 있고, 단계 또는 동작 간의 순서가 전환될 수도 있다. 또한, 전술한 민머리 인물 이미지 생성 방법이 포함하는 각 단계 또는 동작은 컴퓨터 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있으며, 컴퓨터 장치에 의해 각 단계, 과정 또는 동작이 실행될 수도 있다.
이하에서는, 첨부의 도면을 참조하여, 민머리 인물 이미지 생성 장치에 대해서 설명한다.
도 7은 일 실시 예에 따른 민머리 인물 이미지 생성 장치의 구성도이다.
도 1 및 도 7을 참조하면, 민머리 인물 이미지 생성 장치(100)는 통신부(110), 저장부(120), 및 제어부(130)를 포함하여 구성될 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 민머리 인물 이미지 생성 장치(100)가 구현될 수도 있다. 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합을 통해서 구현될 수 있다.
통신부(110)는 네트워크를 통해 외부의 장치와 데이터를 송수신할 수 있다.
저장부(120)는 제어부(130)에 의해 생성된 데이터 또는 통신부(110)를 통해 수신된 데이터를 저장할 수 있다.
제어부(130)는 통신부(110) 및 저장부(120)와 기능적으로 연결된다.
또한, 제어부(130)는 인물 이미지(10)에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지(20)를 생성할 수 있다.
또한, 제어부(130)는 인물 이미지(10)에서 얼굴 영역을 추출하여 얼굴 이미지(30)를 생성하고, 얼굴 이미지(30)를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지(40)를 생성할 수 있다.
또한, 제어부(130)는 배경 이미지(20) 및 민머리 두상 이미지(40)를 합성하여 민머리 두상 배경 이미지(50)를 생성할 수 있다.
또한, 제어부(130)는 인물 이미지(10)에서 세분화를 실시하여 모발 영역(61)을 제거한 비(非) 모발 마스크(60)를 추출할 수 있다.
또한, 제어부(130)는 비(非) 모발 마스크(60) 및 민머리 두상 배경 이미지(50)를 합성하여 민머리 인물 이미지(70)를 생성하거나, 또는 비(非) 모발 마스크(60)에 기초하여 민머리 두상 배경 이미지(50)로부터 모발 영역(61)에 대응되는 민머리 영역을 추출하고, 추출된 상기 민머리 영역을 인물 이미지(10)에 중첩하여 민머리 인물 이미지(70)를 생성할 수도 있다. 여기에서, 제어부(130)는 비(非) 모발 마스크(60)를 민머리 두상 배경 이미지(50)에 중첩하여 중첩 이미지를 생성하고, 중첩 이미지에서 모발 영역(61)에 대응되는 민머리 영역을 추출할 수 있다.
또한, 제어부(130)는 인물 이미지(10)에서 Dlib 이미지 처리 도구를 이용하여 예측된 얼굴의 특징점 중 얼굴 영역에 해당하는 특징점에 기초하여 모발 부분을 제외한 얼굴 이미지(30)를 추출하고, 입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 인공신경망에 얼굴 이미지(30)를 입력하여 민머리 두상 이미지(40)를 생성할 수 있다. 여기에서, 인공신경망은 배경이 있는 민머리 인물 이미지로부터 얼굴 영역만을 추출하여 생성된 얼굴 영역 이미지 및 상기 배경이 있는 민머리 인물 이미지의 배경을 세분화 모델로 제거하여 생성된 배경이 없는 민머리 인물 이미지로 구성되는 이미지 셋(도 4에 대한 설명에서 서술됨)으로 임의의 얼굴 영역 이미지가 입력되면 얼굴 영역에서 두상 부분을 생성하여 민머리의 두상 이미지를 생성하도록 상기 제어부(130)에 의해서 학습된다.
본 명세서에서 개시되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초광대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
한편, 상기 민머리 인물 이미지 생성 장치(100)는 모발이 있는 실제 사람의 얼굴 영상이 입력 데이터로 입력되면 인공신경망을 통해 입력된 실제 사람의 민머리 얼굴 영상을 생성하고, 민머리 얼굴 영상에 사용자가 체험하기를 원하는 모발 객체 영상을 중첩 또는 합성하는 방법으로 가상 헤어 스타일링 체험 서비스에 사용될 수 있다.
상기 가상 헤어 스타일링 체험 서비스는 가상 헤어 스타일링 체험 장치에 의해서 수행될 수 있으며, 상기 가상 헤어 스타일링 체험 장치는 상기 민머리 인물 이미지 생성 장치(100)를 포함할 수 있다.
본 명세서에서는 헤어 스타일은 특정 형태 및 색상을 가진 모발을 의미할 수 있으며, 모발 객체 영상은 특정 형태 및 색상을 가진 모발의 영상을 의미할 수 있다.
도 8은 일 실시 예에 따른 가상 헤어 스타일링 체험 장치의 개략적인 구성을 나타낸다.
가상 헤어 스타일링 체험 장치(1000)는 전술한 도 7의 민머리 인물 이미지 생성 장치(100)의 구성을 모두 포함할 수 있다. 또한, 가상 헤어 스타일링 체험 장치(1000)는 촬영부(140)를 더 포함할 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 가상 헤어 스타일링 체험 서비스 제공을 위한 가상 헤어 스타일링 체험 장치가 구현될 수도 있다.
촬영부(140)는 사람을 촬영하여 모발을 포함하는 인물의 영상 데이터를 획득할 수 있다.
또한, 상기 제어부(130)는 획득한 얼굴 영상 데이터 및 저장부(120)에 저장된 데이터를 사용자의 명령, 미리 결정해 둔 방법 또는 프로세스에 따라 처리할 수 있다. 제어부(130)는 저장부(120)에 저장된 컴퓨터로 읽을 수 있는 코드(예컨대, 소프트웨어) 및/또는 제어부(130)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
제어부(130)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조의 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
저장부(120)는 제어부(130)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 제어부(130)의 동작 및/또는 제어부(130)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
저장부(120)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
실시 예에 따라, 가상 헤어 스타일링 체험 장치(1000)는 촬영부(140)를 포함하지 않고 구성될 수 있다. 이 경우, 사람에 대한 얼굴 영상 데이터는 별도의 영상 데이터로 내부 저장 장치에서 불러오거나 외부의 장치 등으로부터 상기 통신 네트워크를 통해 수신될 수 있다. 통신부(110)는 얼굴 영상 데이터를 상기 통신 네트워크를 통해 외부로부터 수신하거나, 제어부(130)에서 처리된 얼굴 영상 데이터를 상기 통신 네트워크를 통해 외부로 전송할 수 있다.
가상 헤어 스타일링 체험 장치(1000)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board; PCB), 집적 회로(integrated circuit; IC), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 가상 헤어 스타일링 체험 장치(100)는 애플리케이션 프로세서(application processor)로 구현될 수 있다.
또한, 가상 헤어 스타일링 체험 장치(1000)는 PC(personal computer), 데이터 서버, 휴대용 장치, 또는 상기 PC를 포함하여 구성되는 스마트 미러 등으로 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.
통신부(110)가 외부의 장치 또는 서버 등과의 데이터 송수신에 사용하는 통신 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
이하에서는 첨부의 도 9 내지 도 12를 참조하여 가상 헤어 스타일링 체험 장치(1000)에 의한 가상 헤어 스타일링 체험 방법을 상세히 설명한다.
도 9는 일 실시예에 따른 가상 헤어 스타일링 체험 장치의 동작 및 가상 헤어 스타일링 체험 장치에 의한 가상 헤어 스타일링 체험 방법의 개념을 설명하는 도면이다.
가상 헤어 스타일링 체험 장치(1000)는 전술한 민머리 인물 이미지 생성 장치를 포함하고 있어, 미리 준비된 다양한 인물의 민머리 얼굴 영상과 민머리 얼굴 영상에서 추출된 얼굴 영역 영상의 쌍으로 구성된 학습 데이터로 인공 신경망을 학습시킨 상태이다.
도 9를 참조하면, 가상 헤어 스타일링 체험을 하고자 하는 체험자가 가상 헤어 스타일링 체험 장치(1000)의 영상 촬영부를 통해 본인을 촬영하거나 본인의 영상 데이터를 직접 입력하면, 가상 헤어 스타일링 체험 장치(1000)는 입력된 영상 데이터로부터 인물 영상(910)을 획득한다(S901).
다음으로, 가상 헤어 스타일링 체험 장치(1000)는 획득된 인물 영상(910)을 전술한 민머리 영상 생성용 인공 신경망에 입력하여 체험자의 인물 영상(910)에서 모발을 제거한 민머리 얼굴 영상(920)을 생성한다(S902). 여기에서 민머리 얼굴 영상(920)은 도 1에서 설명한 민머리 인물 이미지 생성 방법에 의해 생성될 수 있다.
한편, 가상 헤어 스타일링 체험 장치(1000)는 인물 영상(910)에서 획득한 인물 영상 데이터를 생체 특성 분석 모델로 전달하여 체험자의 생체 특성을 분석하고(S903), 패션 특징 분석 모델로 전달하여 체험자의 패션 특징을 분석한다(S904). 분석된 생체 특성 결과 및 패션 특징 결과는 선호도 점수 예측 모델에 입력되어 체험자의 생체 특성 결과 및 패션 특징 결과에 따른 선호도 점수가 예측되고(S905), 가상 헤어 스타일링 체험 장치(1000)는 선호도 점수 예측 결과에 따라 체험자에게 어울릴 것으로 판단되는 몇 가지 헤어 스타일(930)을 추천한다(S906). 여기에서, 가상 헤어 스타일링 체험 장치(1000)는 인공 신경망에 입력되기 전의 인물의 영상에서 인물의 피부 색 및 톤, 눈썹 형태, 수염 형태, 눈 크기, 눈동자 크기, 눈동자 색, 귀 크기, 코 크기, 얼굴 형태, 인종, 나이, 성별 등의 생체 특성, 또는 복장 종류, 액세서리 종류 등의 패션 특징을 분석한 뒤, 생체 특성 및/또는 패션 특징에 대한 분석 결과에 기초하여 적어도 하나의 헤어 스타일을 추천할 수 있다. 가상 헤어 스타일링 체험 장치(1000)에 의한 생체 특성 분석 및 패션 특징 분석은 각각 인공지능 모델로 만들어진 생체 특징 분석 모델 및 패션 특징 분석 모델에 의해 수행될 수 있다. 상기 생체 특정 분석 모델은 얼굴 영상의 특징을 수치로 표현하기 위한 CNN 기반의 학습 모델로서, 얼굴 영상을 입력해 나이, 성별, 피부 색 등의 생체적 정보를 학습해 출력하는 특징 추출기를 포함하여 구성될 수 있다. 또한, 이 특징 추출기는 얼굴 영상을 입력하면 특징점으로 리그레션(regression)하여 얼굴 형태, 눈동자 크기 및 색상 등의 얼굴의 특징을 잘 포착하기 위한 얼굴 특징점 추출 모델을 포함할 수 있다. 상기 패션 특징 분석 모델은 인물 영상의 패션 특징을 수치로 표현하기 위한 CNN 기반의 학습 모델로서, Human segmentation을 사용해 입력된 영상 내의 인물을 팔, 다리, 얼굴, 모발, 상의 부분, 하의 부분으로 구분하여 인물이 착용한 패션 스타일을 정확하게 포착할 수 있다. 해당 모델은 인물의 전신 영상이 입력되면, human mask를 추출하여 상의, 하의, 액세서리 등 헤어 스타일에 영향을 미치는 요소를 추출할 수 있다.
가상 헤어 스타일링 체험 장치(1000)는 상기 생체 특정 분석 모델에서 수치로 표현된 입력된 인물의 얼굴 영상의 생체 특성 정보 및/또는 상기 패션 특징 분석 모델에서 수치로 표현된 인물의 얼굴 영상의 패션 특징에 대한 분석 결과에 기초하여 적어도 하나의 헤어 스타일을 추천할 수 있다.
가상 헤어 스타일링 체험 장치(1000)는 헤어 스타일 리스트 등의 전문가에 의해 부여된 생체 특성 및 패션 특징에 기초한 헤어 스타일별 선호도 점수 정보에 기초하여 생체 특성 및 패션 특징에 따른 헤어 스타일 선호도 예측 모델을 생성한 뒤, 상기 헤어 스타일 선호도 예측 모델을 생체 특성 및 패션 특징에 기초하여 미리 결정된 헤어 스타일 별 선호도 점수 데이터로 훈련시키고, 훈련된 상기 헤어 스타일 선호도 예측 모델에 예측하고자 하는 인물에 대한 생체 특성 정보 분석 모델 출력 결과 및/또는 패션 특징 분석 모델 출력 결과를 입력하여 상기 헤어 스타일 선호도 예측 모델에서 출력된 선호도 예측 결과에 기초하여 해당 인물에 대한 적어도 하나의 헤어 스타일을 추천할 수 있다.
다음으로, 가상 헤어 스타일링 체험 장치(1000)는 체험자의 민머리 얼굴 영상(920)에 추천된 몇 가지 헤어 스타일(930) 중 선택된 헤어 스타일을 합성하여(S907), 가상 헤어 스타일링 체험 얼굴 영상(940)을 출력한다.
한편, 가상 헤어 스타일링 체험 장치(1000)는 인물 영상(910)에서 모발에 해당하는 영역만을 추출하여(S908), 모발 객체 영상(950)을 생성할 수 있다. 상기 생성된 모발 객체 영상(950)은 모발 소재 데이터베이스로 저장되어 다른 체험자에 대한 추천 헤어 스타일로 사용될 수도 있다. 가상 헤어 스타일링 체험 장치(1000)는 추천된 적어도 하나의 헤어 스타일 중에서 선택된 적어도 하나의 헤어 스타일을 입력 받은 후, 선택된 적어도 하나의 헤어 스타일을 인공 신경망에서 출력된 해당 인물의 민머리 얼굴 영상에 합성하여 출력할 수 있다.
전술한 실시 예에서는 인공 신경망에 입력하는 얼굴 영상 데이터로서 카메라로 촬영된 인물의 얼굴 영상 데이터를 사용하였지만, 카메라가 없는 가상 헤어 스타일링 체험 장치(1000)는 데이터 통신부를 통해 외부에서 수신되거나 메모리에 저장되어 있는 가상 헤어 스타일링 체험을 원하는 체험자의 얼굴 영상 데이터를 사용할 수도 있다.
도 10은 일 실시예에 따른 가상 헤어 스타일링 체험 장치에 의해 가상 헤어 스타일링 체험이 실행되는 단계적 상태의 예를 순서대로 도시한 것이다.
가상 헤어 스타일링 체험 장치(1000)는 어느 인물의 얼굴 영상 데이터(1010)가 입력되면, 인공 신경망에 입력된 얼굴 영상 데이터(1010)를 입력하여 입력된 인물에 대한 얼굴 영상 데이터(1010)에서 원래 존재하던 모발(1011)을 제거하여 민머리 얼굴 영상(1020)을 생성하고, 사용자(체험자)가 선택한 헤어 스타일(1031)이 민머리 얼굴 영상(1020)에 합성 또는 중첩되어 사용자가 선택한 헤어 스타일이 적용된 가상의 얼굴 영상(1030)이 출력된다.
한편, 가상 헤어 스타일링 체험 장치(1000)는 사용자의 체험용 헤어 스타일(1031), 즉 모발 객체 영상을 생성할 때, 모발 객체를 추출한 인물의 영상에서 인물의 각 눈의 중심점에 기초하여 모발 객체 영상이 다양한 인물의 민머리 얼굴 영상에 적합하게 합성될 수 있도록 모발 객체 영상을 변형한다. 이 때, 모발 객체 영상은 크기가 확대되거나 축소될 수도 있고, 회전 각도, 즉 모발 객체가 기울어진 정도도 조절될 수 있다.
도 11은 일 실시예에 따른 가상 헤어 스타일링 체험 장치가 모발 객체 영상을 민머리 얼굴 영상에 합성하는 방법의 예를 도시하고, 도 12는 얼굴 영상에서 추출된 얼굴 특징점을 이용하여 합성할 모발 객체 영상을 변형하는 예를 도시한다.
도 11 및 도 8을 참조하면, 가상 헤어 스타일링 체험 장치(1000)의 제어부(130)는 민머리 얼굴 영상(1101)에서 얼굴 특징점(1102)를 추출하여 민머리 얼굴 영상(1101)에 중첩하여 표시하여 얼굴 특징점(1102)가 표시된 얼굴 영상(1103)을 생성한다. 또한, 제어부(130)는 모발을 가진 인물의 얼굴 영상(1111)에서 얼굴 특징점(1112)를 추출하여 얼굴 특징점(1112)가 표시된 얼굴 영상(1113)을 생성한다. 제어부(130)는 dlib 얼굴 특징점 검출모델을 사용하여 얼굴 영상에서 특징점들을 추출할 수 있다. 제어부(130)는 모발을 가진 인물의 얼굴 영상(1111)에서 모발 객체(1115)를 추출한다.
제어부(130)는 검출된 얼굴 특징점을 이용하여 민머리 얼굴 영상(1101) 내의 인물 및 모발을 가진 인물의 얼굴 영상(1111) 내의 인물의 눈의 중심점을 찾아내고, 두 인물의 눈의 중심점의 좌표를 이용하여 각 인물의 두 눈 사이의 거리와 두 눈의 기울기를 구할 수 있다. 여기에서, 두 눈의 기울기는 두 눈의 중심점을 연결한 직선의 기울기로 구할 수 있다. 모발을 가진 인물의 얼굴 영상(1111)에서 추출된 두 눈의 중심점에 대한 정보는 추출된 모발 객체 영상의 메타 정보에 저장되어 모발 객체 영상, 즉 모발 민머리 얼굴 영상에 합성될 때 사용된다. 상기 두 눈의 중심점은 도 3의 얼굴 특징점을 이용하여 산출할 수 있다. 도 3을 참조하면, 얼굴 영상에서 추출된 얼굴 특징점의 예에서, 왼쪽 눈의 특징점들은 점(36) 내지 점(41)로 구성된 그룹(301)이고, 오른쪽 눈의 특징점들은 점(42) 내지 점(47)로 구성된 그룹(302)이므로, 왼쪽 눈의 중심점은 점(36) 내지 점(41)의 좌표의 평균으로 산출할 수 있고, 오른쪽 눈의 중심점은 점(42) 내지 점(47)의 좌표의 평균으로 산출할 수 있다.
다시 도 11을 참조하면, 제어부(130)는 상기 도 3의 얼굴 특징점 추출 방법으로 추출한 두 눈의 중심점의 좌표를 이용하여, 민머리 얼굴 영상(1101)의 두 눈의 사이의 거리와 두 눈의 기울기 및 모발을 가진 인물의 얼굴 영상(1111)의 두 눈의 사이의 거리와 두 눈의 기울기를 이용하여 모발을 가진 인물의 얼굴 영상(1111)에서 추출된 모발 객체 영상(1115)이 민머리 얼굴 영상(1101)에 적합하게 중첩되도록 상기 모발 객체 영상의 크기와 회전 각도를 조절한다. 이 때, 제어부(130)는 두 인물의 두 눈의 중심점을 이용하여 모발 객체 영상이 인물의 얼굴 영상(1111)에 정확하게 중첩되도록 모발 객체 영상의 위치를 이동한다. 전술한 과정을 통해 민머리 얼굴 영상(1101)에 모발을 가진 인물의 얼굴 영상(1111)에서 추출된 모발 객체 영상이 적합하게 중첩된 모발 합성 영상(1120), 즉 가상 헤어 스타일링 체험 영상이 생성될 수 있다.
도 12를 참조하면, 도 12(a)는 민머리 얼굴 영상(1201)에 합성할 모발 객체 영상(1202)의 크기가 민머리 얼굴 영상(1201)의 크기에 비해 작은 경우로, 확대된 모발 객체 영상(1203)을 민머리 얼굴 영상(1201)에 합성한 예를 도시하고, 도 12(b)는 민머리 얼굴 영상(1204)에 합성할 모발 객체 영상(1205)의 크기가 민머리 얼굴 영상(1204)의 크기에 비해 큰 경우로, 축소된 모발 객체 영상(1206)을 민머리 얼굴 영상(1204)에 합성한 예를 도시한다.
실시 예에 따른 가상 헤어 스타일링 체험 장치의 인공 신경망, 생체 특성 분석 모델, 패션 특징 분석 모델, 및 선호도 점수 예측 모델은 인공 지능에 기반한 것으로, 이하에서는 첨부의 도 13을 참조하여 본 명세서의 실시 예에 따른 가상 헤어 스타일링 체험을 위한 인공 신경망의 학습을 위한 학습 데이터 생성 장치의 및 학습 데이터 생성 방법, 그리고 상기 학습 데이터 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 방법에 적용될 수 있는 인공 지능 처리 장치에 대해서 설명한다.
도 13는 본 발명의 일 실시예에 적용될 수 있는 AI 장치의 블록도이다.
상기 AI 장치(1300)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 상기 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, 상기 AI 장치(1300)는 도 7 및 도 8에 도시된 민머리 인물 이미지 생성 장치(100) 및 가상 헤어 스타일링 체험 장치(1000)의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.
상기 AI 장치(1300)의 AI 프로세싱 절차는, 도 7에 도시된 민머리 인물 이미지 생성 장치(100) 및 도 8에 도시된 가상 헤어 스타일링 체험 장치(1000), 및 이들의 제어와 관련된 모든 동작/단계들 및 딥러닝 네트워크를 통한 민머리 얼굴 영상 생성을 위한 모든 동작/단계들을 포함할 수 있다. 예를 들어, 민머리 인물 이미지 생성 장치(100)는 수집 및 생성된 학습용 데이터 셋을 AI 프로세싱하여 처리/판단 및 학습한 뒤, 모발이 있는 입력된 얼굴 영상에서 모발만 제거한 민머리 얼굴 영상을 생성할 수 있는 동작을 수행할 수 있다. 상기 AI 장치(1300)는 도 7 및 도 8의 제어부(130)의 일부 구성요소로 포함되거나 제어부(130)로 대체될 수 있다.
상기 AI 장치(1300)는 AI 프로세서(1301), 메모리(1305) 및/또는 통신부(1307)를 포함할 수 있다.
상기 AI 장치(1300)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현되거나, 하나의 칩으로 구현될 수 있다. 본원 발명에서 상기 AI 장치(1300)는 상기 다양한 전자 장치 중 어느 하나의 형태로 구현된 민머리 인물 이미지 생성 장치(100) 및 가상 헤어 스타일링 체험 장치(1000)일 수 있다.
AI 프로세서(1301)는 메모리(1305)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(1301)는 디바이스 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 디바이스 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent neural networks), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥러닝 기법들을 포함하며, 컴퓨터비젼(CV), 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.
메모리(1305)는 AI 장치(1300)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(1305)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(1305)는 AI 프로세서(1301)에 의해 액세스되며, AI 프로세서(1301)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(1305)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(1306))을 저장할 수 있다.
한편, AI 프로세서(1301)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(1302)를 포함할 수 있다. 데이터 학습부(1302)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(1302)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.
데이터 학습부(1302)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(1300)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1302)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(1300)에 탑재될 수도 있다. 또한, 데이터 학습부(1302)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 운영체제(Operating System)에 의해 제공되거나, 애플리케이션(응용 프로그램)에 의해 제공될 수 있다.
데이터 학습부(1302)는 학습 데이터 획득부(1303) 및 모델 학습부(1304)를 포함할 수 있다.
학습 데이터 획득부(1303)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터 획득부(1303)는 학습 데이터로서, 신경망 모델에 입력하기 위한 민머리 얼굴 및 모발을 가진 얼굴에 대한 영상 데이터 및/또는 샘플 데이터를 획득할 수 있다.
모델 학습부(1304)는 상기 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(1304)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(1304)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(1304)는 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용한 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(1304)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.
신경망 모델이 학습되면, 모델 학습부(1304)는 학습된 신경망 모델을 메모리에 저장할 수 있다. 모델 학습부(1304)는 학습된 신경망 모델을 AI 장치(1300)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.
데이터 학습부(1302)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.
학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(1304)가 송신부에 대한 영상 데이터 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
또한, 학습 데이터 선택부는, 학습 데이터 획득부(1303)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(1304)에 제공될 수 있다. 예를 들어, 학습 데이터 선택부는, 네트워크를 통해 수집한 데이터 셋 중 특정 필드를 인식함으로써, 특정 필드에 포함된 데이터만을 학습 데이터로 선택할 수 있다.
또한, 데이터 학습부(1302)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.
모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1302)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
통신부(1307)는 AI 프로세서(1301)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 여기서 외부 전자 기기는 민머리 인물 이미지 생성 장치(100) 및 가상 헤어 스타일링 체험 장치(1000)로 정의될 수 있다. 한편, 상기 AI 장치(1300)는 민머리 인물 이미지 생성 장치(100) 및 가상 헤어 스타일링 체험 장치(1000) 내에 구비된 제어부(130)에 기능적으로 임베딩되어 구현될 수도 있다.
한편, 도 13에 도시된 AI 장치(1300)는 AI 프로세서(1301)와 메모리(1305), 통신부(1307) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀 둔다.
본 명세서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(Application-Specific Integrated Circuit) 칩, FPGAs(Field-Programmable Gate Arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터로 읽을 수 있는 저장매체/컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에 사용된 용어 "하나"는 하나 또는 하나 이상으로 정의된다. 또한, 청구 범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입 문구를 사용하는 것은, 동일한 청구항에 "적어도 하나" 및 "하나 이상"과 같은 도입 문구 및 "하나" 같은 불명료한 문구가 포함되어 있는 경우라 할지라도, 불명료한 문구 "하나"에 의한 다른 청구항 요소의 도입이 그러한 요소를 하나만을 포함하는 발명에 대해 그렇게 도입된 청구항 요소를 포함하는 임의의 특정 청구항을 제한한다는 것을 의미하는 것으로 해석되어서는 안된다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
달리 명시하지 않는 한, "제1" 및 "제2"와 같은 용어는 그러한 용어가 설명하는 요소들을 임의로 구별하는 데 사용된다. 따라서, 이들 용어는 그러한 요소들의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도된 것은 아니며, 특정 수단이 서로 다른 청구항들에 열거되어 있다는 단순한 사실만으로 이러한 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다. 따라서, 이들 용어는 그러한 요소의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도되지는 않는다. 특정 조치가 서로 다른 주장에 인용되었다는 단순한 사실만으로 이러한 조치의 조합이 유용하게 사용될 수 없다는 것을 나타내지는 않는다.
동일한 기능을 달성하기 위한 구성 요소의 배열은 효과적으로 "관련"되어 원하는 기능이 달성된다. 따라서, 특정 기능성을 달성하기 위해 결합된 임의의 2 개의 구성 요소는 구조 또는 중개하는 구성 요소와 관계없이 원하는 기능이 달성되도록 서로 "관련"되는 것으로 간주될 수 있다. 마찬가지로 이와 같이 연관된 두 개의 구성 요소는 원하는 기능을 달성하기 위해 서로 "작동 가능하게 연결"되거나 "작동 가능하게 결합된" 것으로 간주될 수 있다.
또한, 통상의 기술자는 전술한 동작들의 기능성 사이의 경계가 단지 예시적인 것임을 인식할 것이다. 복수의 동작들은 단일 동작으로 결합될 수 있고, 단일 동작은 추가 동작들로 분산될 수 있으며, 동작들은 시간적으로 적어도 부분적으로 겹쳐서 실행될 수 있다. 또한, 대안적인 실시예들은 특정 동작에 대한 복수의 인스턴스들을 포함할 수 있고, 동작들의 순서는 다양한 다른 실시예에서 변경될 수 있다. 그러나, 다른 수정, 변형 및 대안이 또한 가능하다. 따라서, 상세한 설명 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
"X일 수 있다"는 문구는 조건 X가 충족될 수 있음을 나타낸다. 이 문구는 또한 조건 X가 충족되지 않을 수도 있음을 나타낸다. 예를 들어, 특정 구성 요소를 포함하는 시스템에 대한 참조는 시스템이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 예를 들어, 특정 동작을 포함하는 방법에 대한 참조는 해당 방법이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 그러나 또 다른 예를 들면, 특정 동작을 수행하도록 구성된 시스템에 대한 참조는 시스템이 특정 작업을 수행하도록 구성되지 않은 시나리오도 포함해야 한다.
용어 "포함하는", "갖는", "구성된", "이루어진" 및 "본질적으로 이루어진"은 상호 교환적으로 사용된다. 예를 들어, 임의의 방법은 적어도 도면 및/또는 명세서에 포함된 동작을 포함할 수 있으며, 도면 및/또는 명세서에 포함된 동작만을 포함할 수 있다. 또는, "포함하는"이라는 단어는 청구항에 나열된 요소들 또는 동작들의 존재를 배제하지 않는다.
이 명세서에 언급된 시스템, 장치 또는 디바이스는 적어도 하나의 하드웨어 구성 요소를 포함한다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
본 발명의 민머리 인물 이미지 생성 기술은 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 민머리 인물 이미지 생성 기술을 기초로 하는 가상 헤어 스타일링 체험 장치에 적용되는 예를 중심으로 설명하였으나, 이외에도 가상으로 헤어스타일을 다양하게 변형하는 체험해 볼 수 있는 다양한 장치에 적용하는 것이 가능하다.

Claims (18)

  1. 민머리 인물 이미지 생성 장치에 의한 민머리 인물 이미지 생성 방법에 있어서,
    인물 이미지에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지를 생성하는 단계;
    상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계;
    상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성하는 단계;
    상기 인물 이미지에서 세분화를 실시하여 모발 영역을 제거한 비(非) 모발 마스크를 추출하는 단계; 및
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계;를 포함하는
    민머리 인물 이미지 생성 방법.
  2. 제1 항에 있어서,
    상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계는,
    상기 인물 이미지에서 얼굴의 특징점에 기초하여 모발 부분을 제외한 얼굴 이미지를 추출하는 단계; 및
    입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 인공신경망에 상기 얼굴 이미지를 입력하여 상기 민머리 두상 이미지를 생성하는 단계;를 포함하는
    민머리 인물 이미지 생성 방법.
  3. 제2 항에 있어서, 상기 인공신경망은,
    배경이 있는 민머리 인물 이미지로부터 얼굴 영역만을 추출하여 생성된 얼굴 영역 이미지 및 상기 배경이 있는 민머리 인물 이미지의 배경을 세분화 모델로 제거하여 생성된 배경이 없는 민머리 인물 이미지로 구성되는 이미지 셋으로 임의의 얼굴 영역 이미지가 입력되면 얼굴 영역에서 두상 부분을 생성하여 배경이 없는 민머리의 두상 이미지를 생성하도록 학습된
    민머리 인물 이미지 생성 방법.
  4. 제3 항에 있어서, 상기 얼굴 이미지는,
    Dlib 이미지 처리 도구를 이용하여 예측된 특징점 중 얼굴 영역에 해당하는 특징점에 기초하여 추출되는
    민머리 인물 이미지 생성 방법.
  5. 제1 항에 있어서,
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는,
    상기 비(非) 모발 마스크를 상기 민머리 두상 배경 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함하는
    민머리 인물 이미지 생성 방법.
  6. 제1 항에 있어서,
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는,
    상기 비(非) 모발 마스크에 기초하여 상기 민머리 두상 배경 이미지로부터 상기 모발 영역에 대응되는 민머리 영역을 추출하는 단계; 및
    상기 민머리 영역을 상기 인물 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함하는
    민머리 인물 이미지 생성 방법.
  7. 저장부; 및
    상기 저장부와 기능적으로 연결되는 제어부;를 포함하되,
    상기 저장부는 상기 제어부에 의해 생성된 데이터를 저장하고,
    상기 제어부는,
    인물 이미지에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지를 생성하고,
    상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하고,
    상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성하고,
    상기 인물 이미지에서 세분화를 실시하여 모발 영역을 제거한 비(非) 모발 마스크를 추출하고,
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는
    민머리 인물 이미지 생성 장치.
  8. 제7 항에 있어서, 상기 제어부는,
    상기 인물 이미지에서 얼굴의 특징점 중 얼굴 영역에 해당하는 특징점에 기초하여 모발 부분을 제외한 상기 얼굴 이미지를 추출하고, 입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 인공신경망에 상기 얼굴 이미지를 입력하여 상기 민머리 두상 이미지를 생성하는
    민머리 인물 이미지 생성 장치.
  9. 제7 항에 있어서, 상기 제어부는,
    상기 비(非) 모발 마스크를 상기 민머리 두상 배경 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는
    민머리 인물 이미지 생성 장치.
  10. 제7 항에 있어서, 상기 제어부는,
    상기 비(非) 모발 마스크에 기초하여 상기 민머리 두상 배경 이미지로부터 상기 모발 영역에 대응되는 민머리 영역을 추출하고, 상기 민머리 영역을 상기 인물 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는
    민머리 인물 이미지 생성 장치.
  11. 제8 항에 있어서, 상기 인공신경망은,
    배경이 있는 민머리 인물 이미지로부터 얼굴 영역만을 추출하여 생성된 얼굴 영역 이미지 및 상기 배경이 있는 민머리 인물 이미지의 배경을 세분화 모델로 제거하여 생성된 배경이 없는 민머리 인물 이미지로 구성되는 이미지 셋으로 임의의 얼굴 영역 이미지가 입력되면 얼굴 영역에서 두상 부분을 생성하여 배경이 없는 민머리의 두상 이미지를 생성하도록 학습된
    것을 특징으로 하는 민머리 인물 이미지 생성 장치.
  12. 입력된 영상으로부터 인물 이미지를 획득하는 단계;
    상기 인물 이미지에서 세분화를 실시하여 인물 객체 영역을 제거한 배경 마스크를 추출하고, 상기 배경 마스크에서 상기 인물 객체 영역이 제거된 부분을 인페인팅으로 채워 넣어 배경 이미지를 생성하는 단계;
    상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계;
    상기 배경 이미지 및 상기 민머리 두상 이미지를 합성하여 민머리 두상 배경 이미지를 생성하는 단계;
    상기 인물 이미지에서 세분화를 실시하여 모발 영역을 제거한 비(非) 모발 마스크를 추출하는 단계;
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계; 및
    상기 민머리 인물 이미지에 선택된 헤어 스타일 객체 이미지를 합성하여 가상 헤어 스타일 체험 이미지를 출력하는 단계;를 포함하는
    가상 헤어 스타일링 체험 방법.
  13. 제12 항에 있어서,
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는,
    상기 비(非) 모발 마스크를 상기 민머리 두상 배경 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함하는
    가상 헤어 스타일링 체험 방법.
  14. 제12 항에 있어서,
    상기 비(非) 모발 마스크 및 상기 민머리 두상 배경 이미지에 기초하여 민머리 인물 이미지를 생성하는 단계는,
    상기 비(非) 모발 마스크에 기초하여 상기 민머리 두상 배경 이미지로부터 상기 모발 영역에 대응되는 민머리 영역을 추출하는 단계; 및
    상기 민머리 영역을 상기 인물 이미지에 중첩하여 상기 민머리 인물 이미지를 생성하는 단계;를 포함하는
    가상 헤어 스타일링 체험 방법.
  15. 제12 항에 있어서,
    상기 인물 이미지에서 얼굴 영역을 추출하여 얼굴 이미지를 생성하고, 상기 얼굴 이미지를 얼굴 영역에서 두상을 생성하는 인공신경망에 입력하여 민머리 두상 이미지를 생성하는 단계는,
    상기 인물 이미지에서 얼굴의 특징점에 기초하여 모발 부분을 제외한 얼굴 이미지를 추출하는 단계; 및
    입력되는 임의의 얼굴 이미지로부터 두상 부분을 생성하도록 학습된 상기 인공신경망에 상기 얼굴 이미지를 입력하여 상기 민머리 두상 이미지를 생성하는 단계;를 포함하는
    가상 헤어 스타일링 체험 방법.
  16. 제11 항에 있어서,
    상기 민머리 인물 이미지에 선택된 헤어 스타일 객체 이미지를 합성하여 가상 헤어 스타일 체험 이미지를 출력하는 단계는,
    상기 민머리 얼굴 이미지에서 얼굴 특징점을 검출하는 단계;
    상기 얼굴 특징점에 기초하여 상기 민머리 얼굴 이미지의 제1 각 눈의 중심점을 추출하는 단계;
    상기 제1 각 눈의 중심점 및 상기 헤어 스타일 객체 이미지의 메타 정보에 포함된 헤어 스타일 객체를 추출한 인물 이미지의 제2 각 눈의 중심점에 기초하여 상기 헤어 스타일 객체 이미지를 변형하는 단계; 및
    상기 민머리 인물 이미지에 상기 변형된 헤어 스타일 객체 이미지를 합성하여 상기 가상 헤어 스타일 체험 이미지를 출력하는 단계;를 포함하는
    가상 헤어 스타일링 체험 방법.
  17. 제16 항에 있어서,
    상기 제1 각 눈의 중심점 및 상기 헤어 스타일 객체 이미지의 메타 정보에 포함된 헤어 스타일 객체를 추출한 인물 이미지의 제2 각 눈의 중심점에 기초하여 상기 헤어 스타일 객체 이미지를 변형하는 단계는,
    상기 제1 각 눈의 중심점에 기초하여 상기 민머리 얼굴 이미지의 두 눈 사이의 거리 및 두 눈의 기울기를 산출하는 단계;
    상기 제2 각 눈의 중심점에 기초하여 상기 헤어 스타일 객체를 추출한 인물 이미지의 두 눈 사이의 거리 및 두 눈의 기울기를 산출하는 단계;
    상기 민머리 얼굴 이미지의 두 눈 사이의 거리 및 상기 헤어 스타일 객체를 추출한 인물 이미지의 두 눈 사이의 거리에 기초하여 상기 헤어 스타일 객체 이미지의 크기를 상기 민머리 얼굴 이미지에 맞도록 조절하는 단계; 및
    상기 민머리 얼굴 이미지의 두 눈의 기울기 및 상기 헤어 스타일 객체를 추출한 인물 이미지의 두 눈의 기울기에 기초하여 상기 헤어 스타일 객체 이미지의 회전 각도를 상기 민머리 얼굴 이미지에 맞도록 조절하는 단계;를 포함하는
    가상 헤어 스타일링 체험 방법.
  18. 제12 항에 있어서, 상기 인공신경망은,
    배경이 있는 민머리 인물 이미지로부터 얼굴 영역만을 추출하여 생성된 얼굴 영역 이미지 및 상기 배경이 있는 민머리 인물 이미지의 배경을 세분화 모델로 제거하여 생성된 배경이 없는 민머리 인물 이미지로 구성되는 이미지 셋으로 임의의 얼굴 영역 이미지가 입력되면 얼굴 영역에서 두상 부분을 생성하여 배경이 없는 민머리의 두상 이미지를 생성하도록 학습된
    가상 헤어 스타일링 체험 방법.
PCT/KR2023/014604 2022-09-27 2023-09-25 민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법 WO2024071884A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0122748 2022-09-27
KR1020220122748A KR102538783B1 (ko) 2022-09-27 2022-09-27 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2024071884A1 true WO2024071884A1 (ko) 2024-04-04

Family

ID=86770544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014604 WO2024071884A1 (ko) 2022-09-27 2023-09-25 민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법

Country Status (2)

Country Link
KR (1) KR102538783B1 (ko)
WO (1) WO2024071884A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102538783B1 (ko) * 2022-09-27 2023-06-01 주식회사 미러로이드 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130029482A (ko) * 2011-09-15 2013-03-25 김보경 헤어스타일 시뮬레이션 시스템, 시뮬레이션 방법 및 시뮬레이션 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터 판단가능한 기록매체
JP2020518051A (ja) * 2017-08-17 2020-06-18 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． 顔姿勢検出方法、装置及び記憶媒体
KR20220051376A (ko) * 2019-08-28 2022-04-26 스냅 인코포레이티드 메시징 시스템에서의 3d 데이터 생성
KR20220081018A (ko) * 2020-12-08 2022-06-15 주식회사 미러로이드 헤어 스타일링 서비스 제공 시스템, 모발 이미지 추출 장치 및 이를 이용한 모발 이미지 추출 방법
KR102538783B1 (ko) * 2022-09-27 2023-06-01 주식회사 미러로이드 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839536B1 (ko) * 2006-12-15 2008-06-19 주식회사 케이티 얼굴 특징점 추출 장치 및 그 방법, 머리카락 추출 장치 및 그 방법, 실사 캐릭터 생성 시스템 및 그 방법
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
KR101997702B1 (ko) * 2017-11-09 2019-10-01 (주)코아시아 쓰리디 시뮬레이션이 가능한 가상헤어스타일피팅미러 장치 및 시스템
KR20190114586A (ko) * 2018-03-30 2019-10-10 정순오 헤어스타일 서비스 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130029482A (ko) * 2011-09-15 2013-03-25 김보경 헤어스타일 시뮬레이션 시스템, 시뮬레이션 방법 및 시뮬레이션 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터 판단가능한 기록매체
JP2020518051A (ja) * 2017-08-17 2020-06-18 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． 顔姿勢検出方法、装置及び記憶媒体
KR20220051376A (ko) * 2019-08-28 2022-04-26 스냅 인코포레이티드 메시징 시스템에서의 3d 데이터 생성
KR20220081018A (ko) * 2020-12-08 2022-06-15 주식회사 미러로이드 헤어 스타일링 서비스 제공 시스템, 모발 이미지 추출 장치 및 이를 이용한 모발 이미지 추출 방법
KR102538783B1 (ko) * 2022-09-27 2023-06-01 주식회사 미러로이드 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIQIAN WU: "HairMapper: Removing Hair from Portraits Using GANs", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 1 June 2022 (2022-06-01) - 24 June 2022 (2022-06-24), pages 4217 - 4226, XP093152876, ISBN: 978-1-6654-6946-3, DOI: 10.1109/CVPR52688.2022.00419 *

Also Published As

Publication number Publication date
KR102538783B1 (ko) 2023-06-01

Similar Documents

Publication Publication Date Title
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
US11114086B2 (en) Text and audio-based real-time face reenactment
WO2019164266A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
WO2019182346A1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
US11093734B2 (en) Method and apparatus with emotion recognition
CN113994384A (zh) 使用机器学习的图像着色
WO2021054706A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
CN110210393A (zh) 人脸图像的检测方法和装置
WO2024071884A1 (ko) 민머리 인물 이미지 생성 장치 및 방법, 및 민머리 인물 이미지 생성 장치를 포함하는 가상 헤어 스타일링 체험 장치 및 이를 이용한 가상 헤어 스타일링 방법
CN112967212A (zh) 一种虚拟人物的合成方法、装置、设备及存储介质
KR101525133B1 (ko) 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체
KR20190099914A (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR20190081243A (ko) 정규화된 표현력에 기초한 표정 인식 방법, 표정 인식 장치 및 표정 인식을 위한 학습 방법
WO2023098912A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2021020810A1 (en) Learning method of ai model and electronic apparatus
WO2019231130A1 (ko) 전자 장치 및 그의 제어방법
CN110072047B (zh) 图像形变的控制方法、装置和硬件装置
CN113723385B (zh) 视频处理方法及装置、神经网络的训练方法及装置
KR102177918B1 (ko) 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치
EP3539056A1 (en) Electronic apparatus and operation method thereof
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN111046759A (zh) 人脸识别方法及相关装置
WO2019142127A1 (en) Method and system of creating multiple expression emoticons
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
WO2023224298A1 (ko) 카메라 모듈을 이용한 클라우드 기반 피부 분석 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23873001

Country of ref document: EP

Kind code of ref document: A1