KR102506606B1 - Makeup thickness prediction algorithm - Google Patents

Makeup thickness prediction algorithm Download PDF

Info

Publication number
KR102506606B1
KR102506606B1 KR1020210142946A KR20210142946A KR102506606B1 KR 102506606 B1 KR102506606 B1 KR 102506606B1 KR 1020210142946 A KR1020210142946 A KR 1020210142946A KR 20210142946 A KR20210142946 A KR 20210142946A KR 102506606 B1 KR102506606 B1 KR 102506606B1
Authority
KR
South Korea
Prior art keywords
cosmetic
thickness
makeup
image
module
Prior art date
Application number
KR1020210142946A
Other languages
Korean (ko)
Inventor
태현철
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020210142946A priority Critical patent/KR102506606B1/en
Application granted granted Critical
Publication of KR102506606B1 publication Critical patent/KR102506606B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/08—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness for measuring thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a makeup simulation method, which may collect cosmetics information, light source information, skin reflectance information, thickness information, and face image information, and learn the information to generate a trained simulation module, so as to output a face image after makeup from a face image before makeup.

Description

메이크업 시뮬레이션 방법{Makeup thickness prediction algorithm}Makeup simulation method {Makeup thickness prediction algorithm}

본 발명은 메이크업 시뮬레이션 방법에 관한 것으로, 본 발명은 연구개발적립금사업의 "[수요기반내부-Track1],　색조화장품 표준색상 맞춤　AI　구축을 위한 알고리즘 개발" 의 연구 개발 결과 도출된 것이다.The present invention relates to a makeup simulation method, and the present invention is derived from the research and development results of "[Demand-based internal-Track 1], 　color cosmetics standard color matching 　AI　development of algorithm" of the R&D reserve project.

사용자가 위치하는 공간, 화장품의 양, 화장품의 종류, 사용자의 피부 반사율에 따라, 메이크업 시뮬레이션의 정도가 달라진다. 또한, 동일한 사용자라도 사용하는 화장품의 양, 화장품의 종류, 사용자의 화장품 바르는 동작 및 방식에 따라 발라지는 두께가 달라지며, 얼굴 부위 별로 도포되는 두께가 달라진다. The degree of makeup simulation varies according to the space where the user is located, the amount of cosmetics, the type of cosmetics, and the reflectance of the user's skin. In addition, even for the same user, the applied thickness varies depending on the amount of cosmetics used, the type of cosmetics, and the operation and method of applying the cosmetics of the user, and the applied thickness varies for each part of the face.

이렇듯, 메이크업의 정도는 사용자의 피부 상태, 화장품의 종류, 화장품의 양 등 다양한 변수에 영향을 받는다. 종래에는, 메이크업 시뮬레이션하는 방법에 대한 인식은 있었으나, 이러한 메이크업 시뮬레이션을 인공지능으로 학습하여 예측하는 것에 대한 인식은 부족하였다.As such, the degree of makeup is affected by various variables such as the user's skin condition, the type of cosmetics, and the amount of cosmetics. Conventionally, although there was awareness of a method of simulating makeup, awareness of predicting by learning such a makeup simulation with artificial intelligence was lacking.

예를 들어, 한국등록특허공보 제10-1748371호는 가상 메이크업 서비스 방법 및 이를 위한 장치에 관한 것으로, 모델 데이터를 기반으로 사용자 별 특성 및 주변 환경을 적용한 가상 메이크업 상태를 제공하는 방법에 관한 것이나, 메이크업 시뮬레이션을 인공지능으로 학습하여 예측하는 것에 대한 인식은 부족하였다.For example, Korean Patent Registration No. 10-1748371 relates to a virtual makeup service method and an apparatus therefor, and relates to a method of providing a virtual makeup state to which user-specific characteristics and surrounding environments are applied based on model data, There was a lack of awareness about learning and predicting makeup simulation with artificial intelligence.

예들 들어, 한국등록특허공보 제10-2200011호는 복수의 인조피부 또는 실제 피부 각각의 색상 정보, 파우더 자체의 색상 정보 및 촬영된 영상의 색상 정보를 이용하여 도포된 파우더의 투과도 및 두께를 추정하고 메이크업 재료가 도포된 표면 색상 시뮬레이션 하는 것에 대한 인식은 있으나, 메이크업 시뮬레이션을 인공지능으로 학습하여 예측하는 것에 대한 인식은 부족하였다.For example, Korea Patent Registration No. 10-2200011 estimates the transmittance and thickness of the applied powder using color information of each of a plurality of artificial skins or real skin, color information of the powder itself, and color information of a photographed image, There is awareness of simulating the color of the surface where makeup materials are applied, but there is a lack of awareness about predicting makeup simulation by learning it with artificial intelligence.

예를 들어, 한국등록특허공보 제10-2167185호는 인공지능을 기반으로 화장료 조성물을 제조하는 방법에 있어서, 광원별 얼굴 이미지를 획득하고, 획득된 이미지를 미리 학습된 신경망에 적용하여 피부 범위를 획득하고, 피부 범위 내의 색상 정보 및 광택도 정보, 피부질 정보 및 입자 정보를 획득하는 것에 대한 인식은 있으나, 피부 테스트를 위하여 미리 학습된 신경망을 이용할 뿐이어서, 메이크업 시뮬레이션을 인공지능으로 학습하여 예측하는 것에 대한 인식은 부족하였다.For example, Korean Patent Registration No. 10-2167185 discloses a method for manufacturing a cosmetic composition based on artificial intelligence, in which a face image for each light source is acquired and the obtained image is applied to a pre-learned neural network to determine the skin range. Although there is awareness of obtaining color information, gloss information, skin quality information, and particle information within the skin range, it only uses pre-learned neural networks for skin testing, so makeup simulation is learned and predicted by artificial intelligence. Awareness of what to do was lacking.

(특허문헌 1) 한국등록특허공보 제10-1748371호(2017.06.12)(Patent Document 1) Korea Patent Registration No. 10-1748371 (2017.06.12)

(특허문헌 2) 한국등록특허공보 제10-2200011호(2021.01.04)(Patent Document 2) Korea Patent Registration No. 10-2200011 (2021.01.04)

(특허문헌 3) 한국등록특허공보 제10-2167185호(2020.10.12)(Patent Document 3) Korea Patent Registration No. 10-2167185 (October 12, 2020)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다. The present invention has been made to solve the above problems.

구체적으로, 본 발명은 화장 전 이미지, 광원 정보, 화장품 정보, 피부 반사율 정보 및 두께 정보를 수집하여 인공지능을 이용하여 학습하여, 화장의 시뮬레이션을 보다 정밀하게 예측하기 위함이다.Specifically, the present invention is to more accurately predict makeup simulation by collecting pre-makeup image, light source information, cosmetics information, skin reflectance information, and thickness information and learning using artificial intelligence.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 학습데이터 수집 모듈(100)이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께와, 그 때의 화장 후 이미지를 수집하는 단계; (b) AI 구축 모듈(200)이 상기 수집된 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 입력 데이터로 하고, 상기 수집된 화장 후 얼굴 이미지를 출력 데이터로 하여, 시뮬레이션 AI 모델을 구축하는 단계; (c) 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력되고, 상기 시뮬레이션 AI 모델이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계; (d) 화장 후 이미지 연산 모듈(500)이 상기 (c)단계에서 출력된 상기 화장 후 얼굴 이미지를 이용하여 화장 후 색 좌표를 연산하고, 상기 화장 후 이미지 연산 모듈(500)은 상기 (c)단계에서 입력된 화장 전 이미지와 상기 (d)단계에서 연산된 화장 후 색 좌표를 이용하여 화장 후 예측 이미지를 생성하는 단계; 및 (e) 출력 모듈(600)은 상기 화장 후 예측 이미지를 출력하는 단계; 를 포함할 수 있다.One embodiment of the present invention for solving the above problems is, (a) the learning data collection module 100 determines the cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and cosmetic thickness, collecting images of when the makeup was done; (b) The AI construction module 200 takes the collected cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness as input data, and the collected facial image after makeup as output data. By doing so, building a simulation AI model; (c) The cosmetic name, cosmetic amount, light source, pre-makeup image, and cosmetic thickness are input to the input module 300, and the simulation AI model generates cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and outputting a face image after makeup using the cosmetic thickness; (d) The after-makeup image calculation module 500 calculates color coordinates after makeup using the after-makeup face image output in step (c), and the after-makeup image calculation module 500 calculates color coordinates after the make-up. generating a prediction image after makeup using the pre-makeup image input in the step and the color coordinates after the make-up calculated in the step (d); and (e) outputting, by the output module 600, the predicted image after makeup; can include

일 실시예에 있어서, 상기 (c)단계는, (c1) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께가 입력되는 단계; (c2) 상기 입력 모듈(300)에 상기 화장품 명칭이 입력되면, 화장품 데이터베이스로부터 상기 화장품 명칭에 대응되는 것으로 미리 저장되어 있는 화장품 점도, 화장품 반사율이 상기 입력 모듈(300)로 전송되는 단계; 및 (c3) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함할 수 있다.In one embodiment, the step (c) may include: (c1) inputting a cosmetic name, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness into the input module 300; (c2) when the cosmetic name is input into the input module 300, transmitting the cosmetics viscosity and cosmetic reflectance stored in advance as corresponding to the cosmetic product name from the cosmetics database to the input module 300; and (c3) outputting a facial image after makeup by using the cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness in the simulation AI model.

일 실시예에 있어서, 상기 (c1)단계는, 상기 입력 모듈(300)에 입력되는 상기 광원은 위치 또는 건물 명칭을 포함하는 정보이어서, 상기 입력 모듈(300)에 상기 위치 또는 건물명칭이 입력되면, 광원 데이터베이스로부터 상기 위치 또는 건물 명칭에 대응되는 것으로 미리 저장되어 있는 파장 데이터가 상기 광원으로서 상기 입력 모듈(300)로 전송되는 단계;를 포함할 수 있다.In one embodiment, in step (c1), when the light source input to the input module 300 is information including a location or building name, the location or building name is input to the input module 300. , transmitting wavelength data stored in advance as corresponding to the location or building name from the light source database to the input module 300 as the light source; may include.

일 실시예에 있어서, 상기 (c)단계는, (c4) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력되는 단계; (c5) 측정 모듈(400)이 상기 시뮬레이션 AI 모델에 입력되는 피부 반사율을 측정하는 단계; 및 (c6) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함할 수 있다.In one embodiment, the step (c) may include: (c4) inputting the name of the cosmetic product, the amount of the cosmetic product, the light source, the image before makeup, and the thickness of the cosmetic product into the input module 300; (c5) measuring, by the measurement module 400, skin reflectance input to the simulation AI model; and (c6) outputting a facial image after makeup by using the cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness in the simulation AI model.

일 실시예에 있어서, 상기 (c)단계는, (c7) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력되는 단계; (c8) 측정 모듈(400)이 상기 시뮬레이션 AI 모델에 입력되는 상기 피부 반사율과 화장품 두께를 측정하는 단계; 및 (c9) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함할 수 있다.In one embodiment, the step (c) may include: (c7) inputting the name of the cosmetic product, the amount of the cosmetic product, the light source, the image before makeup, and the thickness of the cosmetic product into the input module 300; (c8) the measurement module 400 measuring the skin reflectance and cosmetic thickness input to the simulation AI model; and (c9) outputting a facial image after makeup by using the cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness in the simulation AI model.

일 실시예에 있어서, 상기 (c)단계는, (c10) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께가 입력되는 단계; (c11) 미리 학습된 화장품 두께 AI 모델에 의해 화장품 두께를 예측하는 단계; 및 (c12) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함할 수 있다.In one embodiment, the step (c) may include: (c10) inputting the name of the cosmetic product, the amount of the cosmetic product, the light source, the reflectance of the skin, the image before makeup, and the thickness of the cosmetic product into the input module 300; (c11) predicting the cosmetic thickness by using the pre-learned cosmetic thickness AI model; and (c12) outputting a face image after makeup by using the cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness in the simulation AI model.

일 실시예에 있어서, 상기 (c1)단계에서, 상기 입력 모듈(300)에 화장품 명칭이 복수 개 입력되고 복수 개의 화장품의 양의 비율이 입력되면, 연산 모듈은 상기 각 화장품 양의 비율과 각 화장품의 점도를 이용하여 상기 복수 개의 화장품이 혼합된 점도를 연산하는 단계;를 더 포함할 수 있다.In one embodiment, in the step (c1), when a plurality of names of cosmetics are input to the input module 300 and a ratio of the amount of the plurality of cosmetics is input, the calculation module calculates the ratio of the amount of each cosmetic and each cosmetic. Calculating the viscosity of the mixture of the plurality of cosmetics using the viscosity of; may further include.

본 발명에 따른 다른 실시예에서, 화장품 두께 AI 모델을 생성하는 방법으로서, (f) 두께 학습데이터 수집 모듈(1100)이 화장품의 종류 및 화장품의 양을 포함하는 화장품 정보, 동작 정보, 화장 후 얼굴 이미지를 수집하는 단계; (g) 두께 측정 모듈(1200)은 상기 화장 후 얼굴 이미지를 이용하여 도포된 화장품의 두께 정보를 생성하는 단계; (h) 상기 화장품 정보, 상기 동작 정보, 상기 화장 후 얼굴 이미지 및 상기 두께 정보가 두께 학습데이터 생성 모듈(1300)로 전송되고, 상기 두께 학습데이터 생성 모듈(1300)은 상기 화장품 정보, 상기 동작 정보, 상기 얼굴 이미지 및 상기 두께 정보를 이용하여 학습 데이터를 생성하는 단계; 및 (i) 두께 AI 구축 모듈(1400)은 상기 학습 데이터를 이용하여 학습된 화장품 두께 예측 모델을 생성하는 단계; 를 포함하고, 상기 (h)단계는, (h1) 상기 두께 학습데이터 생성 모듈(1300)은 상기 화장 후 얼굴 이미지에서 얼굴 구조와 얼굴 면적을 기설정된 방법으로 판단하여 이들을 포함하는 얼굴 정보를 생성하는 단계; (h2) 상기 두께 학습데이터 생성 모듈(1300)은 상기 화장 후 얼굴 이미지에서 얼굴 부위를 제1 내지 제n 얼굴 부위(n은 1이상의 자연수)로 분할하고, 상기 두께 정보를 이용하여 상기 분할된 제1 내지 제n 얼굴 부위에서 각각의 부위마다 도포된 화장품의 평균 두께를 확인하는 단계; 및 (h3) 상기 두께 학습데이터 생성 모듈(1300)은 상기 얼굴 정보, 상기 화장품 정보 및 상기 동작 정보를 입력 데이터로 하고, 상기 제1 내지 제n 얼굴 부위별 도포된 화장품의 상기 평균 두께를 출력 데이터로 하는 학습 데이터를 생성하는 단계;를 포함하고, 상기 학습된 화장품 두께 예측 모델에 얼굴 이미지, 화장품 정보, 동작 정보가 입력되면 상기 얼굴 부위 별 화장품 두께를 출력할 수 있다.In another embodiment according to the present invention, as a method for generating a cosmetic thickness AI model, (f) the thickness learning data collection module 1100 includes cosmetic information including the type and amount of cosmetics, motion information, and face after makeup collecting images; (g) generating, by the thickness measurement module 1200, thickness information of the applied cosmetics using the face image after the makeup; (h) The cosmetics information, the operation information, the face image after makeup, and the thickness information are transmitted to the thickness learning data generation module 1300, and the thickness learning data generation module 1300 transmits the cosmetics information and the operation information. , generating learning data using the face image and the thickness information; and (i) generating, by the thickness AI construction module 1400, a cosmetic thickness prediction model learned using the learning data; In the step (h), (h1) the thickness learning data generation module 1300 determines the face structure and face area in the face image after makeup using a predetermined method and generates face information including them step; (h2) The thickness learning data generation module 1300 divides the face part in the face image after makeup into first to nth face parts (n is a natural number equal to or greater than 1), and uses the thickness information to divide the face part into the first to nth face parts. Checking the average thickness of cosmetics applied to each part in the first to nth facial parts; and (h3) the thickness learning data generation module 1300 takes the face information, the cosmetics information, and the motion information as input data, and outputs the average thickness of cosmetics applied to the first to nth facial parts as output data. Including, when a face image, cosmetics information, and motion information are input to the learned cosmetics thickness prediction model, the cosmetics thickness for each face part can be output.

일 실시예에 있어서, 상기 동작 정보는, 화장품을 바르는 동작을 포함하고, 상기 화장품을 바르는 동작은, 상기 화장품을 도구를 이용하여 바르는 동작; 및 상기 화장품을 손으로 바르는 동작;을 포함할 수 있다.In one embodiment, the operation information includes an operation of applying cosmetics, and the operation of applying the cosmetics includes an operation of applying the cosmetics using a tool; and applying the cosmetics by hand.

본 발명에 따라, 다음과 같은 효과가 달성된다. According to the present invention, the following effects are achieved.

본 발명에 따르면, 화장 전 이미지, 광원 정보, 화장품 정보, 피부 반사율 정보 및 두께 정보를 수집하여 인공지능을 이용하여 학습하여, 화장의 시뮬레이션을 보다 정밀하게 예측할 수 있다.According to the present invention, it is possible to more accurately predict makeup simulation by collecting pre-makeup image, light source information, cosmetics information, skin reflectance information, and thickness information and learning using artificial intelligence.

도 1은 본 발명에 따른 방법을 설명하기 위한 모식도이다.
도 2은 본 발명에 따른 방법을 설명하기 위한 순서도이다.
도 3은 두께 예측 모델을 생성하는 방법을 설명하기 위한 도면이다. 1 is a schematic diagram for explaining a method according to the present invention.
2 is a flow chart illustrating a method according to the present invention.
3 is a diagram for explaining a method of generating a thickness prediction model.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted or may be shown in block diagram form centering on core functions of each structure and device.

또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, in describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the embodiment of the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.

본 발명에 따른 방법은, 학습데이터 수집 모듈(100), AI 구축 모듈(200), 입력 모듈(300), 측정 모듈(400), 화장 후 이미지 연산 모듈(500) 및 출력 모듈(600)을 포함한다. The method according to the present invention includes a learning data collection module 100, an AI construction module 200, an input module 300, a measurement module 400, an image calculation module 500 after makeup, and an output module 600. do.

학습데이터 수집 모듈(100)이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께와, 그 때의 화장 후 이미지를 수집한다.The learning data collection module 100 collects cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and cosmetic thickness, and post-makeup image at that time.

이 때, 학습데이터 수집 모듈(100)이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께와, 그 때의 화장 후 이미지를 수집하는 방식은 특정한 방식에 제한되는 것은 아니다.At this time, the method in which the learning data collection module 100 collects the cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and cosmetic thickness, and the after-makeup image at that time is not limited to a specific method. no.

화장품 반사율은 화장품의 반사율값을 의미하는 것으로, 학습데이터 수집 모듈(100)은 화장품 명칭에 따라 미리 저장된 화장품의 반사율값을 로딩하는 방식으로 화장품 반사율을 수집할 수 있다. The cosmetic reflectance means the reflectance value of cosmetics, and the learning data collection module 100 may collect the cosmetic reflectance in a manner of loading previously stored cosmetic reflectance values according to cosmetic names.

화장품 점도는 화장품의 점도값을 의미하는 것으로, 학습데이터 수집 모듈(100)은 화장품 명칭에 따라 미리 저장된 화장품의 점도값을 로딩하는 방식으로 화장품 점도를 수집할 수 있다.Cosmetic viscosity means the viscosity value of a cosmetic, and the learning data collection module 100 may collect the viscosity of a cosmetic by loading the previously stored viscosity value of the cosmetic according to the name of the cosmetic.

화장품 양은 사용되는 화장품의 양을 의미하는 것으로, 학습데이터 수집 모듈(100)은 임의의 화장품의 양을 학습한다.The amount of cosmetics means the amount of cosmetics used, and the learning data collection module 100 learns the amount of cosmetics.

광원은 위치 또는 건물 명칭에 따른 광원의 파장 데이터값을 의미한다.A light source means a wavelength data value of a light source according to a location or building name.

피부 반사율은 사용자의 화장하기 전의 피부에서의 반사율값을 의미한다.The skin reflectance means a reflectance value in the skin of the user before putting on makeup.

화장 전 이미지는 사용자가 화장하기 전의 이미지를 의미한다.The image before makeup refers to an image before the user puts on makeup.

화장품 두께는 사용자가 상기의 화장품의 양을 얼굴에 도포하였을 때의 피부에서의 화장품 두께값을 의미한다.Cosmetic thickness means the cosmetic thickness value on the skin when the user applies the amount of the cosmetic to the face.

화장 후 이미지는 전술한 화장품 반사율, 화장품 점도, 화장품의 양, 광원, 피부 반사율을 이용하여 화장된 후의 이미지를 의미하는 것으로, 화장 전 이미지와 동일한 사용자일 것을 가정한다.The image after makeup refers to an image after applying makeup using the aforementioned cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, and skin reflectance, and is assumed to be the same user as the image before makeup.

AI 구축 모듈(200)이 수집된 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 입력 데이터로 하고, 화장 후 얼굴 이미지를 출력 데이터로 하여 시뮬레이션 AI 모델을 구축한다.The AI construction module 200 takes the collected cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and cosmetic thickness as input data, and builds a simulation AI model using the face image after makeup as output data .

AI 구축 모듈(200)은 입력 데이터와 출력 데이터를 이용하여 학습된 시뮬레이션 AI 모델을 생성한다.The AI construction module 200 generates a trained simulated AI model using input data and output data.

AI 구축 모듈(200)은 지도 학습 또는 인공 신경망을 시뮬레이션 AI 모델을 학습할 수 있으나, 학습 방법은 특정한 방법에 제한되는 것은 아니다.The AI building module 200 may learn supervised learning or an artificial neural network simulation AI model, but the learning method is not limited to a specific method.

시뮬레이션 AI 모델에 따르면, 화장품 명칭, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 입력하면, 화장 후 얼굴 이미지를 출력할 수 있다.According to the simulation AI model, a face image after makeup can be output by inputting the cosmetic name, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness.

이 때, 전술한 바와 같이 화장품 명칭에 따라 화장품 반사율과 화장품 점도가 정해진다.At this time, as described above, the cosmetic reflectance and cosmetic viscosity are determined according to the cosmetic name.

학습된 시뮬레이션 AI 모델을 이용하여 화장 후 예측 이미지를 생성하는 방법을 설명한다.A method of generating a predictive image after makeup using a trained simulation AI model is described.

이하, 제1 실시예 내지 제4 실시예에서는 시뮬레이션 AI 모델에 입력되는 데이터를 수집하는 방식에 있어 차이가 있는 바, 공통되는 부분은 제1 실시예에서 함께 설명하기로 한다.Hereinafter, there is a difference in the method of collecting data input to the simulation AI model in the first to fourth embodiments, and common parts will be described together in the first embodiment.

제1 실시예에 따르면, 입력 모듈(300)에 입력되는 정보를 바탕으로 화장 후 예측 이미지를 생성한다.According to the first embodiment, a prediction image after makeup is generated based on information input to the input module 300 .

입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께가 입력된다.The cosmetic name, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness are input to the input module 300 .

입력 모듈(300)은 사용자가 직접 입력할 수 있는 사용자 인터페이스(User Interface, UI)로 제공될 수 있으나, 이에 제한되는 것은 아니다.The input module 300 may be provided as a user interface (UI) through which a user can directly input, but is not limited thereto.

입력 모듈(300)에 화장품 명칭이 입력되면, 화장품 데이터베이스로부터 화장품 명칭에 대응되는 화장품 점도, 화장품 반사율이 입력 모듈(300)로 전송된다.When a cosmetic name is input into the input module 300, the cosmetic viscosity and cosmetic reflectance corresponding to the cosmetic product name are transmitted to the input module 300 from the cosmetic database.

화장품 명칭은 가령, A사의 파운데이션을 입력할 수 있고, 입력 모듈(300)에 화장품 명칭이 입력되면 데이터 베이스에 미리 저장된 정보에 따라, 해당 화장품 명칭에 대응되는 화장품의 점도, 화장품 반사율을 확인할 수 있다.As for the cosmetic name, for example, company A foundation can be entered, and when the cosmetic name is entered into the input module 300, the viscosity and reflectance of the cosmetic corresponding to the corresponding cosmetic name can be checked according to information previously stored in the database. .

또한, 화장품 명칭은 복수개가 입력될 수 있다. In addition, a plurality of cosmetic names may be input.

가령, 화장품 명칭은 A사의 파운데이션과 B사의 파운데이션이 모두 입력될 수도 있다. 이 경우, 화장품 명칭이 단일하게 입력될 때와 동일하게 데이터 베이스에 미리 저장된 정보에 따라, 복수개의 화장품 명칭에 대응되는 화장품의 점도를 확인할 수 있다. 이 때, 복수개의 화장품 명칭의 화장품의 양에 따라 그 비율을 정하여 연산 모듈(미도시)에서 이 때의 점도를 연산할 수도 있다. For example, as for the cosmetic name, both foundation of company A and foundation of company B may be input. In this case, it is possible to check the viscosity of cosmetics corresponding to a plurality of cosmetic names according to information pre-stored in the database in the same way as when a single cosmetic name is input. At this time, the viscosity at this time may be calculated in a calculation module (not shown) by determining the ratio according to the amount of cosmetics of a plurality of cosmetic names.

입력 모듈(300)에 화장품 명칭이 복수 개 입력되면, 연산 모듈은 입력된 화장품 명칭에 따른 화장품 종류를 확인한다.When a plurality of names of cosmetics are input into the input module 300, the calculation module determines the type of cosmetics according to the names of the cosmetics entered.

가령, 연산 모듈은 입력된 화장품 명칭이 가령 C사의 파운데이션과 D사의 파운데이션이면, 동일한 화장품 종류로 확인한다. 또한, 연산 모듈은 입력된 화장품 명칭이 E사의 아이라이너이고, B사의 파운데이션, G사의 아이브로우이면 각각 다른 화장품 종류로 확인할 수 있다.For example, if the input cosmetic names are, for example, C company's foundation and D company's foundation, the calculation module identifies them as the same cosmetic type. In addition, if the name of the entered cosmetic product is E company's eyeliner, B company's foundation, and G company's eyebrow, it can be identified as different types of cosmetics.

이 때, 연산 모듈은 미리 저장된 데이터 베이스와 연결되고, 해당 데이터 베이스에는 각 화장품 명칭에 따라 화장품 종류가 미리 구분되어 있을 수 있고, 해당 데이터베이스는 계속하여 업데이트될 수 있다.At this time, the calculation module is connected to a pre-stored database, and in the corresponding database, cosmetic types may be classified in advance according to each cosmetic name, and the corresponding database may be continuously updated.

화장품의 양은 사용자가 직접 추출하는 화장품의 양을 입력할 수 있다. As for the amount of cosmetics, the user may directly input the amount of cosmetics to be extracted.

가령, 사용자는 파운데이션 2g을 입력할 수 있다.For example, the user may input foundation 2g.

화장품의 양은 사용자가 직접 추출하여 판단되는 화장품의 양으로 판단될 수 있으나 이에 제한되는 것은 아니고, 별도의 이미지 센서에 의해 자동으로 판단될 수 있다. The amount of cosmetics may be determined by the amount of cosmetics directly extracted and determined by the user, but is not limited thereto, and may be automatically determined by a separate image sensor.

광원은 위치 또는 건물에서의 광원 파장 데이터를 의미한다.Light source refers to light source wavelength data in a location or building.

입력 모듈(300)에 위치 또는 건물 명칭이 입력되면, 광원 데이터베이스로부터 해당 위치 또는 건물 명칭에 대응되는 파장 데이터가 입력 모듈(300)로 전송된다.When a location or building name is input into the input module 300 , wavelength data corresponding to the corresponding location or building name is transmitted to the input module 300 from the light source database.

가령, 입력된 광원의 위치가 실외의 특정 위치이면, 실시간으로 기상청이 보유한 해당 위치에서의 파장데이터가 입력 모듈(300)로 전송될 수 있다.For example, if the location of the input light source is a specific outdoor location, wavelength data at the location held by the Korea Meteorological Administration may be transmitted to the input module 300 in real time.

또한, 입력된 광원이 건물 명칭이면, 해당 건물의 용도에 따라 해당 건물에서의 평균 파장 데이터가 입력 모듈(300)로 전송될 수 있고, 데이터베이스에 미리 저장된 정보일 수 있다.Also, if the input light source is the name of a building, average wavelength data of the building may be transmitted to the input module 300 according to the purpose of the building, and may be information previously stored in a database.

이 때, 광원은 사용자가 위치한 또는 선택한 공간의 광원에 대한 정보를 의미하고, 사용자가 희망하는 위치에서의 광원에 대한 정보를 의미한다.In this case, the light source means information about a light source in a space where the user is located or selected, and information about a light source in a location desired by the user.

화장 전 이미지는 사용자의 화장 전 얼굴 이미지를 의미한다.The image before makeup refers to a face image of the user before makeup.

화장 전 이미지는 사용자가 직접 수집한 이미지를 입력하는 방식일 수 있으나, 이에 제한되는 것은 아니고 별도의 이미지 센서로부터 수집된 이미지일 수 있다.The image before makeup may be a method of inputting an image directly collected by the user, but is not limited thereto and may be an image collected from a separate image sensor.

시뮬레이션 AI 모델이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력한다.The simulation AI model outputs a face image after makeup using cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness.

화장 후 이미지 연산 모듈(500)이 화장 후 얼굴 이미지로부터 화장 후 색 좌표를 연산한다. The after-makeup image calculation module 500 calculates color coordinates after make-up from the face image after make-up.

이 때, 시뮬레이션 AI 모델은 전술한 바와 같이 미리 학습되어, 화장 후 얼굴 이미지를 출력할 수 있다.At this time, the simulation AI model may be pre-learned as described above and output a face image after makeup.

화장 후 이미지 연산 모듈(500)은 화장 전 이미지와 화장 후 색 좌표를 이용하여 화장 전 이미지에 합성하여 화장 후 예측 이미지를 생성한다.The after-makeup image calculation module 500 uses the color coordinates of the before-makeup image and the after-makeup color coordinates and synthesizes them into the pre-makeup image to generate a post-makeup prediction image.

화장 후 이미지 연산 모듈(500)은 화장 전 이미지에 화장 후 색 좌표를 겹쳐 화장 후 예측 이미지를 생성할 수 있다.The after-makeup image calculation module 500 may generate a post-makeup prediction image by overlapping the after-makeup color coordinates with the before-makeup image.

출력 모듈(600)은 화장 후 예측 이미지를 출력한다.The output module 600 outputs a prediction image after makeup.

제2 실시예에 따르면, 입력 모듈(300)에 입력되는 정보와 측정 모듈(400)이 측정한 정보를 바탕으로 화장 후 예측 이미지를 생성한다.According to the second embodiment, a prediction image after makeup is generated based on information input to the input module 300 and information measured by the measurement module 400 .

입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력된다.The cosmetic name, cosmetic amount, light source, pre-makeup image, and cosmetic thickness are input to the input module 300 .

측정 모듈(400)이 피부 반사율을 측정한다.The measurement module 400 measures skin reflectance.

측정 모듈(400)이 화장 전 피부 반사율을 포함하는 피부 반사율 정보를 생성한다.The measurement module 400 generates skin reflectance information including skin reflectance before makeup.

제2 실시예에서, 측정 모듈(400)은 피부 반사율을 측정할 수 있는 기기, 어플리케이션 및 시스템을 포함하면 족하고, 특정한 기기나 시스템에 제한되는 것은 아니다.In the second embodiment, the measurement module 400 suffices to include a device, application, and system capable of measuring skin reflectance, and is not limited to a specific device or system.

제3 실시예에서 측정 모듈(400)은 피부 반사율과 화장품 두께를 직접 측정한다.In the third embodiment, the measurement module 400 directly measures the skin reflectance and the cosmetic product thickness.

제3 실시예에서, 측정 모듈(400)은 피부 반사율과 화장품 두께를 측정할 수 있는 기기, 어플리케이션 및 시스템을 포함하면 족하고, 특정한 기기나 시스템에 제한되는 것은 아니다. 측정 모듈(400)은 하나의 기기, 어플리케이션 및 시스템에서 피부 반사율과 화장품 두께를 측정할 수도 있으나, 이에 제한되는 것은 아니고, 각각의 기기, 어플리케이션 및 시스템에서 피부 반사율과 화장품 두께를 측정할 수도 있다.In the third embodiment, the measurement module 400 suffices to include devices, applications, and systems capable of measuring skin reflectance and cosmetic thickness, and is not limited to specific devices or systems. The measurement module 400 may measure skin reflectance and cosmetic thickness in one device, application, and system, but is not limited thereto, and may measure skin reflectance and cosmetic thickness in each device, application, and system.

제4 실시예에서 화장품 두께는 미리 학습된 화장품 두께 AI 모델로부터 예측될 수 있다.In the fourth embodiment, the cosmetics thickness can be predicted from a pre-learned cosmetics thickness AI model.

이하, 제4 실시예에서, 미리 학습된 화장품 두께 AI 모델을 생성하는 방법에 대해 설명한다.Hereinafter, in the fourth embodiment, a method for generating a pre-learned cosmetics thickness AI model will be described.

두께 학습데이터 수집 모듈()이 화장품의 종류 및 화장품의 양을 포함하는 화장품 정보, 동작 정보, 화장 후 얼굴 이미지를 수집한다.The thickness learning data collection module ( ) collects cosmetics information including the type and amount of cosmetics, motion information, and a face image after makeup.

이 때, 두께 학습데이터 수집 모듈()이 화장품의 종류 및 화장품의 양을 포함하는 화장품 정보, 동작 정보, 화장 후 얼굴 이미지를 수집하는 방법은 특정한 방법에 제한되는 것은 아니다.At this time, the method for the thickness learning data collection module ( ) to collect cosmetics information including the type and amount of cosmetics, motion information, and face image after makeup is not limited to a specific method.

화장품의 종류 및 화장품의 양을 포함하는 화장품 정보, 화장 후 얼굴 이미지는 전술한 학습 데이터 수집 모듈(100)에 수집한 정보와 동일하다.Cosmetic information including the type and amount of cosmetics and the face image after makeup are the same as the information collected by the learning data collection module 100 described above.

동작 정보는 사용자가 화장품을 바르는 동작을 의미한다.The motion information refers to a user's motion of applying cosmetics.

동작 정보는 화장품을 도구를 이용하여 바르는 동작과 화장품을 손으로 바르는 동작을 포함할 수 있다.The action information may include an action of applying cosmetics using a tool and an action of applying cosmetics by hand.

화장품을 도구를 이용하여 바르는 동작은 화장품을 브러쉬로 바르는 동작, 화장품을 스펀지로 바르는 동작 등의 도구를 이용하여 화장품을 바르는 동작을 포함한다.The operation of applying cosmetics using a tool includes an operation of applying cosmetics using a tool, such as an operation of applying cosmetics with a brush and an operation of applying cosmetics with a sponge.

또한, 동작 정보는 화장품을 고르게 바르는 동작, 화장품을 고르지 않게 바르는 동작을 포함할 수 있다. 화장품을 고르지 않게 바르는 동작은 화장품을 특정 부위에 집중하여 바르는 동작을 포함할 수 있다.Also, the motion information may include an operation of applying cosmetics evenly and an operation of unevenly applying cosmetics. The operation of applying cosmetics unevenly may include an operation of applying cosmetics intensively to a specific area.

동작 정보는 사용자가 두께 학습데이터 수집 모듈(1100)에 해당 동작 정보를 선택하는 방식 또는 이미지 센서로부터 수집될 수 있으나, 이에 제한되는 것은 아니다.Motion information may be collected from a method in which the user selects the motion information in the thickness learning data collection module 1100 or an image sensor, but is not limited thereto.

두께 학습데이터 수집 모듈(1100)은 화장 후 얼굴 이미지, 화장품 정보와 동작 정보를 두께 학습데이터 생성 모듈(1300)로 전송한다.The thickness learning data collection module 1100 transmits a face image after makeup, cosmetics information, and motion information to the thickness learning data generation module 1300.

두께 측정 모듈(1200)은 두께 학습데이터 수집 모듈(1100)로부터 화장 후 얼굴 이미지를 전송받아, 화장 후 얼굴 이미지를 이용하여 두께 정보를 생성할 수 있다.The thickness measurement module 1200 may receive a face image after makeup from the thickness learning data collection module 1100 and generate thickness information using the face image after makeup.

두께 측정 모듈(1200)은 화장 후 얼굴 이미지를 분석하여 두께 정보를 생성할 수 있다.The thickness measurement module 1200 may generate thickness information by analyzing a face image after makeup.

두께 측정 모듈(1200)이 화장 후 얼굴 이미지를 분석하여 두께 정보를 생성하는 방식은 얼굴 이미지의 명도의 정도에 따라, 두께 정보를 생성할 수 있다.The method in which the thickness measurement module 1200 generates thickness information by analyzing a face image after makeup may generate thickness information according to a degree of brightness of the face image.

가령, 두께 측정 모듈(1200)은 화장 후 얼굴 이미지의 명도가 기설정된 값 이상이 되는 부분을 특정 두께로 하여 두께 정보를 생성할 수 있다.For example, the thickness measurement module 1200 may generate thickness information by setting a portion of the face image having a brightness equal to or greater than a predetermined value as a specific thickness after makeup.

이 때, 본 발명에서 두께 측정 모듈(1200)은 이미지를 분석하여 얼굴 이미지에서 파악되는 두께 정보를 생성하는 것으로 설명하였으나 이에 제한되는 것은 아니고, 두께 정보를 생성할 수 있는 방식이라면 특정한 방식에 제한되는 것은 아니다. 가령, 두께 측정 모듈(1200)은 사용자의 얼굴에 직접 또는 간접 방식으로 화장품의 두께를 측정할 수도 있다.At this time, in the present invention, the thickness measurement module 1200 has been described as generating thickness information identified in a face image by analyzing an image, but is not limited thereto, and if the method capable of generating thickness information is limited to a specific method It is not. For example, the thickness measurement module 1200 may directly or indirectly measure the thickness of cosmetics on the user's face.

두께 측정 모듈(1200)은 생성한 두께 정보를 두께 학습데이터 생성 모듈(1300)로 전송한다.The thickness measurement module 1200 transmits the generated thickness information to the thickness learning data generation module 1300 .

두께 학습데이터 생성 모듈(1300)은 두께 학습데이터 수집 모듈(1100)로부터 전송된 화장 후 얼굴 이미지, 화장품 정보와 동작 정보, 그리고 두께 측정 모듈(1200)로부터 전송된 두께 정보를 이용하여 학습 데이터를 생성한다.The thickness learning data generation module 1300 generates learning data using the face image after makeup, cosmetic information and operation information transmitted from the thickness learning data collection module 1100, and the thickness information transmitted from the thickness measurement module 1200. do.

두께 학습데이터 생성 모듈(1300)은 얼굴 이미지에서 얼굴 구조와 얼굴 면적을 기설정된 방법으로 판단하여 얼굴 정보를 생성한다. The thickness learning data generation module 1300 generates face information by determining a face structure and face area in a face image using a preset method.

두께 학습데이터 생성 모듈(1300)은 얼굴 이미지에서 얼굴의 외곽선을 판단하고, 판단된 외곽선과 기저장된 얼굴 구조 유형 정보와 비교하여 가장 유사한 얼굴 구조 유형으로서 얼굴 구조를 판단한다.The thickness learning data generation module 1300 determines the outline of the face in the face image, compares the determined outline with pre-stored face structure type information, and determines the face structure as the most similar face structure type.

기저장된 얼굴 구조 유형 정보는 계랸형, 사각형, 역삼각형 등과 같은 얼굴 구조 유형이 미리 저장되어 있는 정보를 의미한다.Pre-stored face structure type information refers to information in which face structure types such as a gyenan shape, a rectangle, an inverted triangle, and the like are previously stored.

또한, 두께 학습데이터 생성 모듈(1300)은 거리 센서로부터 전송된 거리 정보를 이용하여 사용자의 얼굴 면적을 판단한다.Also, the thickness learning data generation module 1300 determines the user's face area using distance information transmitted from the distance sensor.

두께 학습데이터 생성 모듈(1300)은 얼굴 이미지와 거리 정보를 이용히여, 거리 정보와 이미지 상의 얼굴 면적의 비율을 조절한다. 즉, 두께 학습데이터 생성 모듈(1300)은 얼굴 이미지를 기설정된 거리에 위치하도록, 얼굴 이미지의 비율을 조절한다.The thickness learning data generation module 1300 uses the face image and the distance information to adjust the ratio of the distance information and the face area on the image. That is, the thickness learning data generation module 1300 adjusts the ratio of the face image so that the face image is located at a preset distance.

가령, 두께 학습데이터 생성 모듈(1300)은 거리 정보의 거리가 기설정된 거리보다 멀도록 측정된 경우, 얼굴 이미지가 기설정된 거리에서 생성된 것과 같이 얼굴 면적이 커지도록 비율을 조절한다. For example, when the distance of the distance information is measured to be greater than the preset distance, the thickness learning data generation module 1300 adjusts the ratio so that the face area becomes larger as if the face image was generated at the preset distance.

또한, 두께 학습데이터 생성 모듈(1300)은 얼굴 이미지에서 사용자의 얼굴 부위를 제1 내지 제n 얼굴 부위(n은 1이상의 자연수)로 분할한다.In addition, the thickness learning data generation module 1300 divides the user's face part in the face image into first to nth face parts (n is a natural number equal to or greater than 1).

두께 학습데이터 생성 모듈(1300)은 두께 정보를 이용하여, 분할된 제1 내지 제n 얼굴 부위에서 각각의 부위마다 평균 두께를 확인한다.The thickness learning data generation module 1300 uses the thickness information to check the average thickness for each part of the divided first to nth facial parts.

두께 학습데이터 생성 모듈(1300)은 얼굴 정보, 화장품 정보 및 동작 정보를 입력 데이터로 하고, 제1 내지 제n 얼굴 부위별 도포된 평균 두께를 출력 데이터로 하는 학습 데이터를 생성한다.The thickness learning data generation module 1300 uses face information, cosmetics information, and motion information as input data, and generates learning data having an average applied thickness for each first to nth face part as output data.

또한, 두께 학습데이터 생성 모듈(1300)은 전술한 화장품 정보에서 입력된 화장품의 종류가 복수 개인 경우, 화장품 양의 비율과 각 화장품의 점도를 이용하여 복수 개의 화장품이 혼합된 점도를 연산하고, 이를 포함한 입력 데이터로 학습 데이터를 생성할 수 있다.In addition, the thickness learning data generation module 1300 calculates the mixed viscosity of a plurality of cosmetics using the ratio of the cosmetic amount and the viscosity of each cosmetic when there are a plurality of types of cosmetics input from the cosmetic information described above. It is possible to generate training data with the included input data.

두께 AI 구축 모듈(1400)은 학습 데이터를 이용하여 학습된 화장품 두께 예측 모델을 생성한다.The thickness AI construction module 1400 uses the learning data to generate a trained cosmetics thickness prediction model.

이 때, 두께 AI 구축 모듈(1400)은 딥러닝하여 화장품 두께 예측 모델을 생성할 수 있으나, 두께 AI 구축 모듈(1400)이 학습하는 방법은 특정한 방법에 제한되는 것은 아니다.At this time, the thickness AI construction module 1400 may generate a cosmetics thickness prediction model by deep learning, but the method for the thickness AI construction module 1400 to learn is not limited to a specific method.

학습된 화장품 두께 예측 모델에 얼굴 이미지, 화장품 정보, 동작 정보가 입력되면, 얼굴 부위 별 화장품 두께가 출력될 수 있다.When a face image, cosmetics information, and motion information are input to the learned cosmetics thickness prediction model, the cosmetics thickness for each face part may be output.

이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.In the above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but this is only exemplary, and those skilled in the art can make various modifications and equivalents from the embodiments of the present invention. It will be appreciated that embodiments are possible. Therefore, the scope of protection of the present invention should be defined by the claims.

100: 학습데이터 수집 모듈
200: AI 구축 모듈
300: 입력 모듈
400: 측정 모듈
500: 화장 후 이미지 연산 모듈
600: 출력 모듈
1100: 두께 학습데이터 수집 모듈
1200: 두께 측정 모듈
1300: 두께 AI 구축 모듈
1400: 두께 학습데이터 생성 모듈100: learning data collection module
200: AI building module
300: input module
400: measurement module
500: post-makeup image operation module
600: output module
1100: thickness learning data collection module
1200: thickness measurement module
1300: Thickness AI building module
1400: thickness learning data generation module

Claims (9)

(a) 학습데이터 수집 모듈(100)이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께와, 그 때의 화장 후 이미지를 수집하는 단계;
(b) AI 구축 모듈(200)이 상기 수집된 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 입력 데이터로 하고, 상기 수집된 화장 후 얼굴 이미지를 출력 데이터로 하여, 시뮬레이션 AI 모델을 구축하는 단계;
(c) 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력되고, 상기 시뮬레이션 AI 모델이 화장품 반사율, 화장품 점도, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;
(d) 화장 후 이미지 연산 모듈(500)이 상기 (c)단계에서 출력된 상기 화장 후 얼굴 이미지를 이용하여 화장 후 색 좌표를 연산하고, 상기 화장 후 이미지 연산 모듈(500)은 상기 (c)단계에서 입력된 화장 전 이미지와 상기 (d)단계에서 연산된 화장 후 색 좌표를 이용하여 화장 후 예측 이미지를 생성하는 단계; 및
(e) 출력 모듈(600)은 상기 화장 후 예측 이미지를 출력하는 단계;를 포함하며,
상기 (c)단계는,
(c1) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께가 입력되는 단계;
(c2) 상기 입력 모듈(300)에 상기 화장품 명칭이 입력되면, 화장품 데이터베이스로부터 상기 화장품 명칭에 대응되는 것으로 미리 저장되어 있는 화장품 점도, 화장품 반사율이 상기 입력 모듈(300)로 전송되는 단계; 및
(c3) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함하는,
방법.
(a) collecting, by the learning data collection module 100, cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and cosmetic thickness, and post-makeup image at that time;
(b) The AI construction module 200 takes the collected cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness as input data, and the collected facial image after makeup as output data. By doing so, building a simulation AI model;
(c) The cosmetic name, cosmetic amount, light source, pre-makeup image, and cosmetic thickness are input to the input module 300, and the simulation AI model generates cosmetic reflectance, cosmetic viscosity, cosmetic amount, light source, skin reflectance, pre-makeup image and outputting a face image after makeup using the cosmetic thickness;
(d) The after-makeup image calculation module 500 calculates color coordinates after makeup using the after-makeup face image output in step (c), and the after-makeup image calculation module 500 calculates color coordinates after the make-up. generating a prediction image after makeup using the pre-makeup image input in the step and the color coordinates after the make-up calculated in the step (d); and
(e) outputting, by the output module 600, a prediction image after the make-up;
In step (c),
(c1) inputting the name of the cosmetic product, the amount of the cosmetic product, the light source, the reflectance of the skin, the image before makeup, and the thickness of the cosmetic product into the input module 300;
(c2) when the cosmetic name is input into the input module 300, transmitting the cosmetics viscosity and cosmetic reflectance stored in advance as corresponding to the cosmetic product name from the cosmetics database to the input module 300; and
(c3) the simulation AI model outputs a face image after makeup using cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness; Including,
method.
 삭제delete 제1항에 있어서,
상기 (c1)단계는,
상기 입력 모듈(300)에 입력되는 상기 광원은 위치 또는 건물 명칭을 포함하는 정보이어서, 상기 입력 모듈(300)에 상기 위치 또는 건물명칭이 입력되면, 광원 데이터베이스로부터 상기 위치 또는 건물 명칭에 대응되는 것으로 미리 저장되어 있는 파장 데이터가 상기 광원으로서 상기 입력 모듈(300)로 전송되는 단계;를 포함하는,
방법.
According to claim 1,
In step (c1),
The light source input to the input module 300 is information including a location or building name, so when the location or building name is input to the input module 300, it is determined to correspond to the location or building name from the light source database. Transmitting pre-stored wavelength data to the input module 300 as the light source; including,
method.
 제1항에 있어서,
상기 (c)단계는,
(c4) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력되는 단계;
(c5) 측정 모듈(400)이 상기 시뮬레이션 AI 모델에 입력되는 피부 반사율을 측정하는 단계; 및
(c6) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함하는,
방법.
According to claim 1,
In step (c),
(c4) inputting a cosmetic product name, a cosmetic amount, a light source, an image before makeup, and a thickness of the cosmetic into the input module 300;
(c5) measuring, by the measurement module 400, skin reflectance input to the simulation AI model; and
(c6) the simulation AI model outputs a face image after makeup using cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness;
method.
 제1항에 있어서,
상기 (c)단계는,
(c7) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 화장 전 이미지 및 화장품 두께가 입력되는 단계;
(c8) 측정 모듈(400)이 상기 시뮬레이션 AI 모델에 입력되는 상기 피부 반사율과 화장품 두께를 측정하는 단계; 및
(c9) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함하는,
방법.
According to claim 1,
In step (c),
(c7) inputting the cosmetic name, cosmetic amount, light source, pre-makeup image, and cosmetic thickness into the input module 300;
(c8) the measurement module 400 measuring the skin reflectance and cosmetic thickness input to the simulation AI model; and
(c9) the simulation AI model outputs a face image after makeup using cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness; Including,
method.
 제1항에 있어서,
상기 (c)단계는,
(c10) 상기 입력 모듈(300)에 화장품 명칭, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께가 입력되는 단계;
(c11) 미리 학습된 화장품 두께 AI 모델에 의해 화장품 두께를 예측하는 단계; 및
(c12) 상기 시뮬레이션 AI 모델은 화장품 점도, 화장품 반사율, 화장품 양, 광원, 피부 반사율, 화장 전 이미지 및 화장품 두께를 이용하여 화장 후 얼굴 이미지를 출력하는 단계;를 포함하는,
방법.
According to claim 1,
In step (c),
(c10) inputting the cosmetic name, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness into the input module 300;
(c11) predicting the cosmetic thickness by using the pre-learned cosmetic thickness AI model; and
(c12) the simulation AI model outputs a face image after makeup using cosmetic viscosity, cosmetic reflectance, cosmetic amount, light source, skin reflectance, pre-makeup image, and cosmetic thickness;
method.
 제1항에 있어서,
상기 (c1)단계에서,
상기 입력 모듈(300)에 화장품 명칭이 복수 개 입력되고 복수 개의 화장품의 양의 비율이 입력되면, 연산 모듈은 상기 각 화장품 양의 비율과 각 화장품의 점도를 이용하여 상기 복수 개의 화장품이 혼합된 점도를 연산하는 단계;를 더 포함하는,
방법.
According to claim 1,
In step (c1),
When a plurality of cosmetic names are input into the input module 300 and the ratio of the amount of the plurality of cosmetics is input, the calculation module uses the ratio of the amount of each cosmetic and the viscosity of each cosmetic to determine the viscosity of the mixture of the plurality of cosmetics. Computing; further comprising,
method.
 제6항에 따른 상기 화장품 두께 AI 모델을 생성하는 방법으로서,
(f) 두께 학습데이터 수집 모듈(1100)이 화장품의 종류 및 화장품의 양을 포함하는 화장품 정보, 동작 정보, 화장 후 얼굴 이미지를 수집하는 단계;
(g) 두께 측정 모듈(1200)은 상기 화장 후 얼굴 이미지를 이용하여 도포된 화장품의 두께 정보를 생성하는 단계;
(h) 상기 화장품 정보, 상기 동작 정보, 상기 화장 후 얼굴 이미지 및 상기 두께 정보가 두께 학습데이터 생성 모듈(1300)로 전송되고, 상기 두께 학습데이터 생성 모듈(1300)은 상기 화장품 정보, 상기 동작 정보, 상기 얼굴 이미지 및 상기 두께 정보를 이용하여 학습 데이터를 생성하는 단계; 및
(i) 두께 AI 구축 모듈(1400)은 상기 학습 데이터를 이용하여 학습된 화장품 두께 예측 모델을 생성하는 단계; 를 포함하고,
상기 (h)단계는,
(h1) 상기 두께 학습데이터 생성 모듈(1300)은 상기 화장 후 얼굴 이미지에서 얼굴 구조와 얼굴 면적을 기설정된 방법으로 판단하여 이들을 포함하는 얼굴 정보를 생성하는 단계;
(h2) 상기 두께 학습데이터 생성 모듈(1300)은 상기 화장 후 얼굴 이미지에서 얼굴 부위를 제1 내지 제n 얼굴 부위(n은 1이상의 자연수)로 분할하고, 상기 두께 정보를 이용하여 상기 분할된 제1 내지 제n 얼굴 부위에서 각각의 부위마다 도포된 화장품의 평균 두께를 확인하는 단계; 및
(h3) 상기 두께 학습데이터 생성 모듈(1300)은 상기 얼굴 정보, 상기 화장품 정보 및 상기 동작 정보를 입력 데이터로 하고, 상기 제1 내지 제n 얼굴 부위별 도포된 화장품의 상기 평균 두께를 출력 데이터로 하는 학습 데이터를 생성하는 단계;를 포함하고,
상기 학습된 화장품 두께 예측 모델에 얼굴 이미지, 화장품 정보, 동작 정보가 입력되면 상기 얼굴 부위 별 화장품 두께를 출력하는,
방법.
A method for generating the cosmetic thickness AI model according to claim 6,
(f) collecting, by the thickness learning data collection module 1100, cosmetics information including the type and amount of cosmetics, operation information, and a face image after makeup;
(g) generating, by the thickness measurement module 1200, thickness information of the applied cosmetics using the face image after the makeup;
(h) The cosmetics information, the operation information, the face image after makeup, and the thickness information are transmitted to the thickness learning data generation module 1300, and the thickness learning data generation module 1300 transmits the cosmetics information and the operation information. , generating learning data using the face image and the thickness information; and
(i) generating, by the thickness AI construction module 1400, a cosmetic thickness prediction model learned using the learning data; including,
In step (h),
(h1) determining, by the thickness learning data generation module 1300, a face structure and a face area in a face image after makeup using a predetermined method and generating face information including them;
(h2) The thickness learning data generation module 1300 divides the face part in the face image after makeup into first to nth face parts (n is a natural number equal to or greater than 1), and uses the thickness information to divide the face part into the first to nth face parts. Checking the average thickness of cosmetics applied to each part in the first to nth facial parts; and
(h3) The thickness learning data generating module 1300 takes the face information, the cosmetics information, and the operation information as input data, and the average thickness of the applied cosmetics for each of the first to nth facial parts as output data. Generating learning data to do; Including,
When face image, cosmetic information, and motion information are input to the learned cosmetic thickness prediction model, the cosmetic thickness for each face part is output,
method.
 제8항에 있어서,
상기 동작 정보는, 화장품을 바르는 동작을 포함하고,
상기 화장품을 바르는 동작은,
상기 화장품을 도구를 이용하여 바르는 동작; 및
상기 화장품을 손으로 바르는 동작;을 포함하는,
방법.
According to claim 8,
The motion information includes an operation of applying cosmetics,
The operation of applying the cosmetic,
Applying the cosmetics using a tool; and
Including, the operation of applying the cosmetic by hand;
method.
KR1020210142946A 2021-10-25 2021-10-25 Makeup thickness prediction algorithm KR102506606B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142946A KR102506606B1 (en) 2021-10-25 2021-10-25 Makeup thickness prediction algorithm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142946A KR102506606B1 (en) 2021-10-25 2021-10-25 Makeup thickness prediction algorithm

Publications (1)

Publication Number Publication Date
KR102506606B1 true KR102506606B1 (en) 2023-03-08

Family

ID=85508277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142946A KR102506606B1 (en) 2021-10-25 2021-10-25 Makeup thickness prediction algorithm

Country Status (1)

Country Link
KR (1) KR102506606B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596741A (en) * 2023-12-08 2024-02-23 东莞莱姆森科技建材有限公司 Intelligent mirror control method and system capable of automatically adjusting light rays

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190116052A (en) * 2018-04-03 2019-10-14 고려대학교 산학협력단 Deep learning based personal color diagnosis and virtual make-up method and apparatus
KR20200028569A (en) * 2018-09-06 2020-03-17 주식회사 비즈모델라인 Method for Recommending Cosmetics Information
KR20200063300A (en) * 2018-11-19 2020-06-05 박보현 Apparatus for providing beauty solution flatform considering private pattern using ai
KR20200092030A (en) * 2019-01-24 2020-08-03 선세리 System and method for analysing and recommending products based on shading pictures of color cosmetics
KR102253750B1 (en) * 2020-11-09 2021-05-18 임호 Makeup recommendation and selling cosmetics platform service using deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190116052A (en) * 2018-04-03 2019-10-14 고려대학교 산학협력단 Deep learning based personal color diagnosis and virtual make-up method and apparatus
KR20200028569A (en) * 2018-09-06 2020-03-17 주식회사 비즈모델라인 Method for Recommending Cosmetics Information
KR20200063300A (en) * 2018-11-19 2020-06-05 박보현 Apparatus for providing beauty solution flatform considering private pattern using ai
KR20200092030A (en) * 2019-01-24 2020-08-03 선세리 System and method for analysing and recommending products based on shading pictures of color cosmetics
KR102253750B1 (en) * 2020-11-09 2021-05-18 임호 Makeup recommendation and selling cosmetics platform service using deep learning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596741A (en) * 2023-12-08 2024-02-23 东莞莱姆森科技建材有限公司 Intelligent mirror control method and system capable of automatically adjusting light rays
CN117596741B (en) * 2023-12-08 2024-05-14 东莞莱姆森科技建材有限公司 Intelligent mirror control method and system capable of automatically adjusting light rays

Similar Documents

Publication Publication Date Title
US20030208345A1 (en) Color matching and simulation of multicolor surfaces
JPH09508768A (en) Method and apparatus for converting color scanner signals into colorimetric values
Pontius et al. Uncertainty in the difference between maps of future land change scenarios
KR102506606B1 (en) Makeup thickness prediction algorithm
KR20190066950A (en) Method for selling cosmetic using image file analysis and all ingredient analysis
JP2019500588A (en) Method for determining the texture parameter of a paint surface
EP3553732A1 (en) A method for selecting a cosmetic product for an intended user
KR20140077322A (en) Method for recommending cosmetic products and apparatus using the method
JP3321794B2 (en) How to predict makeup skin color
KR20150061339A (en) Apparatus and method for makeup color simulation
KR20210032489A (en) Simulation method of rendering of makeup products on the body area
KR20150098130A (en) Apparatus and Method for Recommending Cosmetic based on User Skin Information
KR20190136483A (en) Method for providing beauty contents
JP6323097B2 (en) Color measuring device, color measuring system, color measuring method, and program
US11896114B2 (en) System for managing hair condition information and method for optimizing a cosmetic consultation system
KR20230059887A (en) Determining Method of Makeup mixing ratio
US20080144143A1 (en) Method for color characterization and related systems
KR102595203B1 (en) Makeup thickness prediction algorithm
KR20130141286A (en) Method and appratus for simulation of virtual makeup
EP4097682A1 (en) System and method of lipstick bulktone and application evaluation
KR20220002004A (en) Method for providing personalized beauty information for skin and system using the same
CN107430743B (en) Proposal method of personal customized cosmetic
JP3278547B2 (en) Color matching calculation method and device
Inanici Research Methods in Daylighting and Electric Lighting
US11682151B2 (en) System and method for a personalized and accurate virtual make-up try-on

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant