KR102066892B1

KR102066892B1 - Make-up evaluation system and operating method thereof

Info

Publication number: KR102066892B1
Application number: KR1020180012931A
Authority: KR
Inventors: 권도혁; 김상이; 황도식; 김태성; 박두현; 방기훈; 어태준; 전요한; 황세원
Original assignee: 주식회사 엘지생활건강
Priority date: 2018-02-01
Filing date: 2018-02-01
Publication date: 2020-01-16
Also published as: KR20190093372A

Abstract

본 발명은 얼굴 부위마다 알고리즘을 적용하여 정밀한 메이크업 평가를 수행하기 위한 메이크업 평가 시스템 및 그의 동작 방법에 관한 것으로, 이미지를 촬영하고, 촬영한 이미지를 메이크업 서버로 전송하는 이동 단말기 및 메이크업(make-up) 평가에 사용되는 적어도 하나 이상의 알고리즘을 저장하는 메이크업 DB 관리부, 이미지에서 얼굴 영역을 검출하는 영역 검출부, 검출된 얼굴 영역에 저장된 알고리즘을 적용하여 메이크업을 평가하는 메이크업 분석부, 메이크업을 평가한 결과 정보를 포함하는 평가 결과 신호를 이동 단말기로 전송하는 무선 통신부를 갖는 메이크업 서버를 포함하고, 이동 단말기는 수신된 평가 결과 신호에 따른 평가 결과를 표시할 수 있다.The present invention relates to a makeup evaluation system for performing a precise makeup evaluation by applying an algorithm for each face part and a method of operating the same. A mobile terminal and a make-up for taking an image and transmitting the photographed image to a makeup server ) Makeup DB management unit for storing at least one algorithm used for the evaluation, region detection unit for detecting a face region in the image, makeup analysis unit for applying makeup to the algorithm applied to the detected face region, makeup result information And a makeup server having a wireless communication unit configured to transmit an evaluation result signal including a to the mobile terminal, and the mobile terminal may display the evaluation result according to the received evaluation result signal.

Description

Makeup evaluation system and its operation method {MAKE-UP EVALUATION SYSTEM AND OPERATING METHOD THEREOF}

본 발명은 메이크업 평가 시스템 및 그의 동작 방법에 관한 것이다.The present invention relates to a makeup evaluation system and a method of operation thereof.

뷰티 산업(beauty industry)의 발전에 따라, 사용자의 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있다. 이에 따라, 사용자의 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. With the development of the beauty industry, interest in cosmetics, make-up, and the like of users is increasing. Accordingly, the user's desire for cosmetics, makeup and the like is diversified.

한편, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업에 대한 선택의 어려움을 가질 수 있다. 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.On the other hand, since the user's skin color, facial shape, appearance of the neck and neck vary, the makeup that suits the individual may be different. Therefore, the user may have difficulty in selecting a makeup that is suitable for them. The user may wonder whether the makeup is good after makeup and what parts should be supplemented.

이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지는 개인이 판단해야 하는 한계가 있다. 즉, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.In accordance with this trend, recently, an application for applying virtual makeup to a user's face has been developed. In this case, although it may cause curiosity and interest of the user, there is a limit that an individual must determine which makeup is suitable for the user. That is, it is difficult to provide a personalized service for each user.

한편, 최근에는 기계 학습(Machine Learning, ML) 기술, 특히 딥러닝(Deep Learning, DL) 기술이 급속도로 발전하고 있다.Recently, machine learning (ML) technology, particularly deep learning (DL) technology, is rapidly developing.

기계 학습 기술이란 많은 데이터를 통해 특징을 추출하고, 새로운 데이터가 입력되면 컴퓨터가 스스로 특징에 따라 분류할 수 있는 기술이다.Machine learning technology is a technology that extracts features from a lot of data, and when a new data is input, the computer can classify itself according to the features.

딥러닝 기술은 기계 학습 기술의 일부이다. 딥러닝 기술은 인공지능을 구성하기 위한 인공신경망 ANN(Artificial Neural Networks)을 기반으로, 빅데이터 속에서 패턴을 발견하여 인간이 사물을 구분하듯 컴퓨터가 데이터를 분류하는 기술을 말한다.Deep learning technology is part of machine learning technology. Deep learning technology is based on artificial neural networks (ANNs) for constructing artificial intelligence, and refers to a technology in which computers classify data as humans distinguish objects by finding patterns in big data.

딥러닝 기술을 메이크업 서비스에 적용함으로써, 보다 객관적인 데이터를 바탕으로 사용자에게 맞춤형 메이크업을 제공할 수 있는 것으로 생각된다.By applying deep learning technology to the makeup service, it is thought that it is possible to provide customized makeup to users based on more objective data.

본 발명은 사용자의 메이크업을 평가하는 메이크업 평가 시스템 및 그의 동작 방법을 제공하고자 한다.The present invention is to provide a makeup evaluation system for evaluating a user's makeup and its operation method.

본 발명은 사용자의 메이크업을 평가하여 메이크업의 우수성을 수치로 제공하는 메이크업 평가 시스템 및 그의 동작 방법을 제공하고자 한다.The present invention is to provide a makeup evaluation system and a method of operating the same that evaluates the user's makeup to provide a numerical value of makeup excellence.

본 발명은 사용자의 얼굴 각 부위별로 메이크업을 평가하는 메이크업 평가 시스템 및 그의 동작 방법을 제공하고자 한다.The present invention is to provide a makeup evaluation system and its operation method for evaluating makeup for each part of the user's face.

본 발명의 실시 예에 따른 메이크업 평가 시스템은 이미지를 촬영하고, 촬영한 이미지를 메이크업 서버로 전송하는 이동 단말기 및 메이크업(make-up) 평가에 사용되는 적어도 하나 이상의 평가 알고리즘을 저장하는 메이크업 DB 관리부, 이미지에서 얼굴 영역을 검출하는 영역 검출부, 검출된 얼굴 영역에 저장된 평가 알고리즘을 적용하여 메이크업을 평가하는 메이크업 분석부, 메이크업을 평가한 결과 정보를 포함하는 평가 결과 신호를 이동 단말기로 전송하는 무선 통신부를 갖는 메이크업 서버를 포함하고, 이동 단말기는 수신된 평가 결과 신호에 따른 평가 결과를 표시할 수 있다.Makeup evaluation system according to an embodiment of the present invention is a makeup DB management unit for taking an image, and stores a mobile terminal for transmitting the photographed image to the makeup server and at least one evaluation algorithm used for the make-up evaluation, An area detection unit for detecting a face area in the image, a makeup analyzer for evaluating makeup by applying an evaluation algorithm stored in the detected face area, and a wireless communication unit for transmitting an evaluation result signal including the result of evaluating makeup to the mobile terminal. It includes a make-up server having, the mobile terminal may display the evaluation result according to the received evaluation result signal.

평가 알고리즘은 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 이용하는 알고리즘을 포함할 수 있다.The evaluation algorithm may include an algorithm that uses RGB values of at least one pixel constituting the face area.

평가 알고리즘은 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 Lab 색상값으로 변환하고, 변환된 Lab 색상값을 이용하는 알고리즘을 포함할 수 있다.The evaluation algorithm may include an algorithm that converts RGB values of at least one pixel constituting the face region into Lab color values and uses the converted Lab color values.

영역 검출부는 얼굴 영역 중 제1 영역과 제2 영역을 검출하고, 제1 영역의 Lab 색상값에 대응하는 제1 색상을 획득하고, 제2 영역의 Lab 색상값에 대응하는 제2 색상을 획득하며, 메이크업 분석부는 제1 색상과 제2 색상에 기초하여 메이크업의 색상 조화를 평가할 수 있다.The area detector detects a first area and a second area of the face area, obtains a first color corresponding to a Lab color value of the first area, and obtains a second color corresponding to a Lab color value of the second area. The makeup analyzer may evaluate the color harmony of the makeup based on the first color and the second color.

제1 영역은 코에 대응하는 영역이고, 제2 영역은 볼에 대응하는 영역, 입술에 대응하는 영역 또는 눈 위에 대응하는 영역일 수 있다.The first area may be an area corresponding to the nose, and the second area may be an area corresponding to the ball, an area corresponding to the lips, or an area corresponding to the eye.

메이크업 DB 관리부는 복수개의 제1 샘플 색상과 복수개의 제2 샘플 색상을 포함하며, 복수개의 제1 샘플 색상 중 어느 하나와 복수개의 제2 샘플 색상 중 어느 하나에 맵핑되는 점수 데이터로 구성되는 점수 테이블을 더 저장하고, 메이크업 분석부는 복수개의 제1 샘플 색상 중 제1 색상과 동일한 색상을 결정하고, 복수개의 제2 샘플 색상 중 제2 색상과 동일한 색상을 결정하고, 결정된 색상에 맵핑되는 점수 데이터를 획득할 수 있다.The makeup DB management unit includes a plurality of first sample colors and a plurality of second sample colors, and a score table composed of score data mapped to any one of the plurality of first sample colors and the plurality of second sample colors. Further, the makeup analyzer determines a color that is the same as the first color among the plurality of first sample colors, determines the same color as the second color among the plurality of second sample colors, and score data mapped to the determined color. Can be obtained.

점수 테이블은 메이크업 전문가의 메이크업 평가를 위한 입력에 기초하여 생성된 테이블을 포함할 수 있다.The score table may include a table generated based on input for makeup evaluation of the makeup expert.

영역 검출부는 이미지에서 입술 영역을 검출하고, 메이크업 분석부는 검출된 입술 영역의 크기를 산출하고, 입술 영역 중 R 값이 기 설정된 범위에 포함되는 픽셀로 구성되는 주름 영역을 획득하여 주름 영역의 크기를 산출하고, 입술 영역의 크기와 주름 영역의 크기의 비를 통해 입술 건조도를 평가할 수 있다.The area detector detects a lip area in the image, the makeup analyzer calculates the size of the detected lip area, obtains a wrinkle area composed of pixels in which an R value is included in a predetermined range among the lip areas, and adjusts the size of the wrinkle area. The lip dryness can be evaluated by calculating the ratio between the size of the lip area and the size of the wrinkle area.

영역 검출부는 이미지에서 입술 영역을 검출하고, 메이크업 분석부는 검출된 입술 영역을 구성하는 픽셀의 RGB 값을 Lab 색상값으로 변환하고, L 값이 기 설정된 범위에 포함되는 픽셀로 구성되는 반사 영역을 획득하여 반사 영역의 크기를 산출하고, 입술 영역의 크기와 반사 영역의 크기의 비를 통해 입술 색상을 평가할 수 있다.The area detector detects a lip area in the image, the makeup analyzer converts RGB values of pixels constituting the detected lip area into Lab color values, and acquires a reflection area composed of pixels whose L values are included in a preset range. The size of the reflection area can be calculated, and the lip color can be evaluated based on the ratio of the size of the lip area to the size of the reflection area.

메이크업 분석부는 얼굴 영역 중 일 영역의 Lab 평균값을 통해 피부색을 결정하고, 얼굴 영역을 구성하는 픽셀의 RGB 값을 Lab 색상값으로 변환하고, Lab 색상값과 결정된 피부색의 차에 해당하는 갭 이미지를 획득하고, 갭 이미지를 통해 잡티 대상 영역을 검출하여 잡티 비율을 산출할 수 있다.The makeup analyzer determines the skin color through Lab average values in one area of the face area, converts RGB values of pixels constituting the face area into Lab color values, and obtains a gap image corresponding to the difference between Lab color values and the determined skin color. The blemish ratio may be calculated by detecting a blemish target region through the gap image.

영역 검출부는 눈썹 영역을 검출하고, 메이크업 분석부는 검출된 눈썹 영역 중 적어도 일 지점으로부터 다른 지점까지 거리 또는 각도에 기초하여 눈썹 메이크업을 평가할 수 있다.The area detector detects the eyebrow area, and the makeup analyzer evaluates the eyebrow makeup based on a distance or an angle from at least one point to the other point of the detected eyebrow area.

영역 검출부는 눈썹 영역을 검출하고, 메이크업 분석부는 검출된 눈썹 영역 중 적어도 일 지점을 지나는 수직선에 대응하는 RGB 값을 통해 눈썹 영역의 색상을 평가할 수 있다.The area detector detects the eyebrow area, and the makeup analyzer evaluates the color of the eyebrow area through an RGB value corresponding to a vertical line passing through at least one point of the detected eyebrow area.

영역 검출부는 눈 영역을 검출하고, 메이크업 분석부는 검출된 눈 영역과 소정 거리 이격된 수평선에 대응하는 RGB 값을 통해 다크서클의 커버 정도를 평가할 수 있다.The area detector detects the eye area, and the makeup analyzer evaluates the degree of cover of the dark circle through an RGB value corresponding to the horizontal line spaced apart from the detected eye area by a predetermined distance.

본 발명의 실시 예에 따르면, 얼굴의 각 영역을 검출하여 알고리즘을 적용함으로써 메이크업의 평가가 가능한 이점이 있다. According to an embodiment of the present invention, the makeup may be evaluated by detecting an area of the face and applying an algorithm.

보다 상세하게는, 사용자마다 얼굴의 크기, 모양 등이 상이하여 동일한 메이크업을 하더라도 어울리는 사람이 있고, 어울리지 않는 사람이 있을 수 있다. 따라서, 본 발명에서는 특히 얼굴 각 부위 영역을 추출하고, 추출된 영역에 알고리즘을 적용하여 사용자의 얼굴 특성을 고려하는 메이크업 평가가 수행될 수 있어 정밀한 메이크업 평가가 가능한 이점이 있다.In more detail, even if the user wears the same makeup because the size, shape, etc. of the face is different for each user, there may be a person who suits and a person who does not. Therefore, in the present invention, in particular, each region of the face is extracted, and makeup evaluation considering the characteristics of the user may be performed by applying an algorithm to the extracted region, thereby making it possible to precisely evaluate the makeup.

본 발명의 실시 예에 따르면, 얼굴의 각 부위 영역을 추출하고, 추출된 영역마다 상이한 알고리즘을 적용하여 해당 부위마다 메이크업이 잘 되었는지 평가 가능하며, 얼굴 각 부위를 종합한 전체적인 메이크업 점수를 평가 가능한 이점이 있다.According to an embodiment of the present invention, by extracting each region of the face and applying a different algorithm for each extracted region, it is possible to evaluate whether the makeup is good for each region, and to evaluate the overall make-up score for each region of the face. There is this.

본 발명의 실시 예에 따르면, 영역의 RGB 값을 이용하여 얼굴 영역을 보다 정확하게 인식 가능한 이점이 있다.According to an embodiment of the present invention, there is an advantage that the face area can be recognized more accurately by using the RGB value of the area.

본 발명의 실시 예에 따르면, 디스플레이부의 특성 등과 관계 없이 동일한 값을 나타내는 Lab 값을 이용하여 메이크업을 평가함으로써, 이동 단말기의 모델 등과 같은 평가 매체에 관계없이 객관적인 메이크업 평가가 가능한 이점이 있다. According to an embodiment of the present invention, by evaluating makeup using a Lab value representing the same value regardless of the characteristics of the display unit, an objective makeup evaluation may be performed regardless of an evaluation medium such as a model of a mobile terminal.

본 발명의 실시 예에 따르면, 단순히 메이크업의 색상을 평가할 뿐만 아니라, 색상 조화, 색상의 균일성 등 세밀한 메이크업 평가가 가능한 이점이 있다.According to the exemplary embodiment of the present invention, not only the color of the makeup is evaluated, but also fine makeup evaluation such as color harmony and color uniformity has an advantage of being possible.

도 1은 본 발명의 실시 예에 따른 메이크업 평가 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 3은 본 발명과 관련된 메이크업 서버를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 메이크업 평가 시스템의 동작 방법을 나타내는 래더 다이어그램이다.
도 5 내지 도 9는 본 발명의 실시 예에 따른 눈썹 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 눈썹 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 11 내지 도 12는 본 발명의 실시 예에 따른 다크서클 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 13은 본 발명의 실시 예에 따른 다크서클 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 14 내지 도 18은 본 발명의 실시 예에 따른 색상조화 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 19는 본 발명의 실시 예에 따른 색상조화 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 20은 본 발명의 실시 예에 따른 입술 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 21은 본 발명의 실시 예에 따른 입술 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 22는 본 발명의 실시 예에 따른 잡티 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 23은 본 발명의 실시 예에 따른 잡티 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 24는 본 발명의 실시 예에 따른 메이크업 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.1 is a block diagram showing the configuration of a makeup evaluation system according to an embodiment of the present invention.
2 is a block diagram illustrating a mobile terminal related to the present invention.
3 is a block diagram illustrating a makeup server according to the present invention.
4 is a ladder diagram illustrating a method of operating a makeup evaluation system according to an exemplary embodiment of the present invention.
5 to 9 are diagrams for explaining an evaluation algorithm applied to the evaluation of the eyebrow section according to an embodiment of the present invention.
10 is an exemplary view for explaining a method of displaying an evaluation result of an eyebrow section according to an exemplary embodiment of the present invention.
11 to 12 are diagrams for explaining an evaluation algorithm applied to the evaluation of the dark circle section according to an embodiment of the present invention.
13 is an exemplary view for explaining a method of displaying an evaluation result of a dark circle according to an embodiment of the present invention.
14 to 18 are diagrams for explaining an evaluation algorithm applied when evaluating a color matching section according to an exemplary embodiment of the present invention.
19 is an exemplary diagram for describing a method of displaying an evaluation result of a color matching unit according to an exemplary embodiment of the present invention.
20 is a view for explaining an evaluation algorithm applied to the evaluation of the lips section according to an embodiment of the present invention.
21 is an exemplary diagram for describing a method of displaying an evaluation result of a lip section according to an exemplary embodiment of the present invention.
FIG. 22 is a diagram illustrating an evaluation algorithm applied when evaluating a blemish section according to an embodiment of the present invention. FIG.
FIG. 23 is an exemplary diagram for describing a method of displaying an evaluation result of a blemish portion according to an embodiment of the present invention. FIG.
24 is an exemplary view for explaining a method of displaying a makeup evaluation result according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, and the same or similar components are denoted by the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other. In addition, in describing the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed in the present specification by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다음으로, 도 1 내지 도 24를 참조하여 본 발명의 실시 예에 따른 메이크업(make-up) 평가 시스템 및 그의 동작 방법을 설명한다.Next, a make-up evaluation system and an operation method thereof according to an embodiment of the present invention will be described with reference to FIGS. 1 to 24.

먼저, 도 1은 본 발명의 실시 예에 따른 메이크업 평가 시스템의 구성을 도시한 블록도이다.First, Figure 1 is a block diagram showing the configuration of a makeup evaluation system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 메이크업 평가 시스템은 이동 단말기(10), 어플리케이션 서버(200) 및 메이크업 서버(100)로 구성될 수 있다.Referring to FIG. 1, the makeup evaluation system according to an exemplary embodiment of the present invention may include a mobile terminal 10, an application server 200, and a makeup server 100.

이동 단말기(10)는 메이크업 평가를 요청할 수 있다. 이동 단말기(10)는 적어도 하나의 메이크업 이미지와 관련하여 메이크업 평가를 요청하고, 메이크업 평가 결과를 표시할 수 있다.The mobile terminal 10 may request a makeup evaluation. The mobile terminal 10 may request makeup evaluation in relation to at least one makeup image and display a makeup evaluation result.

어플리케이션 서버(200)는 메이크업 평가를 위한 어플리케이션 작동에 필요한 정보를 저장하고 있을 수 있다.The application server 200 may store information necessary for operating an application for makeup evaluation.

어플리케이션 서버(200)는 메이크업 평가 어플리케이션의 실행에 따라 이동 단말기(10) 및 메이크업 서버(100) 중 적어도 하나 이상과 신호 및 데이터를 송수신할 수 있다.The application server 200 may transmit and receive signals and data with at least one of the mobile terminal 10 and the makeup server 100 according to the execution of the makeup evaluation application.

메이크업 서버(100)는 메이크업 평가에 필요한 데이터를 저장하고 있을 수 있다. 예를 들어, 메이크업 서버(100)는 얼굴의 각 부위를 식별하기 위한 데이터, 메이크업을 평가하기 위한 평가 알고리즘 등을 저장하고 있을 수 있다.The makeup server 100 may store data required for makeup evaluation. For example, the makeup server 100 may store data for identifying each part of the face, an evaluation algorithm for evaluating makeup, and the like.

메이크업 서버(100)는 저장된 데이터에 기초하여 메이크업을 평가하거나, 메이크업 평가에 필요한 정보를 이동 단말기(10) 또는 어플리케이션 서버(200)로 전송할 수 있다. 메이크업 서버(100)는 메이크업의 평가 결과 정보를 포함하는 평가 결과 신호를 이동 단말기(10)로 전송할 수 있다.The makeup server 100 may evaluate makeup based on the stored data or transmit information necessary for makeup evaluation to the mobile terminal 10 or the application server 200. The makeup server 100 may transmit an evaluation result signal including evaluation result information of makeup to the mobile terminal 10.

이동 단말기(10), 어플리케이션 서버(200) 및 메이크업 서버(100)는 상호간에 신호를 송수신할 수 있다. The mobile terminal 10, the application server 200, and the makeup server 100 may transmit and receive signals to each other.

이동 단말기(10)는 어플리케이션 서버(200)로 메이크업 평가 요청 신호를 전송할 수 있고, 어플리케이션 서버(200)는 메이크업 평가 요청 신호를 수신하면, 수신된 메이크업 평가 요청 신호에 대응하는 메이크업 이미지를 메이크업 서버(100)로 전송할 수 있다.The mobile terminal 10 may transmit a makeup evaluation request signal to the application server 200, and when the application server 200 receives the makeup evaluation request signal, the mobile terminal 10 transmits a makeup image corresponding to the received makeup evaluation request signal to the makeup server ( 100).

일 실시 예에 따르면, 메이크업 서버(100)는 메이크업 평가 요청 신호를 수신하면 저장된 데이터에 기초하여 수신된 이미지의 메이크업을 평가하고, 평가 결과를 어플리케이션 서버(200)로 전송할 수 있다. 어플리케이션 서버(200)는 이동 단말기(10)로 평가 결과를 전송할 수 있다.According to an embodiment of the present disclosure, when the makeup server 100 receives the makeup evaluation request signal, the makeup server 100 may evaluate makeup of the received image based on the stored data, and transmit the evaluation result to the application server 200. The application server 200 may transmit the evaluation result to the mobile terminal 10.

그러나, 실시 예에 따라, 어플리케이션 서버(200)와 메이크업 서버(100)는 별개로 분리되지 않고, 하나의 서버로서 이동 단말기(10)와 신호를 송수신할 수 있다. 예를 들어, 어플리케이션 서버(200)는 메이크업 서버(100)에 포함될 수 있다. 이 경우, 이동 단말기(10)는 메이크업 서버(100)에 메이크업 평가 요청 신호를 전송하고, 메이크업 서버(100)는 메이크업을 평가하여 이동 단말기(10)에 평가 결과 데이터를 전송할 수 있다.However, according to an exemplary embodiment, the application server 200 and the makeup server 100 may not be separately separated, and may transmit and receive a signal to and from the mobile terminal 10 as one server. For example, the application server 200 may be included in the makeup server 100. In this case, the mobile terminal 10 may transmit a makeup evaluation request signal to the makeup server 100, and the makeup server 100 may evaluate makeup and transmit evaluation result data to the mobile terminal 10.

다른 실시 예에 따르면, 메이크업 서버(100)는 메이크업 평가 요청 신호를 수신하면 수신된 메이크업 평가 요청 신호와 관련된 데이터를 이동 단말기(10)로 전송하고, 이동 단말기(10)는 수신된 데이터에 기초하여 메이크업을 평가한다.According to another embodiment, when the makeup server 100 receives the makeup evaluation request signal, the makeup server 100 transmits data related to the received makeup evaluation request signal to the mobile terminal 10, and the mobile terminal 10 based on the received data. Evaluate your makeup.

본 명세서에서 설명되는 이동 단말기(10)에는 휴대폰, 스마트 폰(smart phone), 컴퓨터(computer), 노트북 컴퓨터(notebook computer), 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device), 디지털 TV, 디지털 사이니지, 화장품 등과 같은 뷰티 관련 제품을 판매하는 매장에 구비되는 디스플레이 장치, 가정 또는 매장 등에 구비되는 스마트미러 등이 포함될 수 있다. The mobile terminal 10 described herein includes a mobile phone, a smart phone, a computer, a notebook computer, a tablet PC, a wearable device, a digital TV, a digital It may include a display device provided in a store selling beauty related products such as signage, cosmetics, and the like, and a smart mirror provided in a home or a store.

다음으로, 이동 단말기(10) 및 메이크업 서버(100)를 구성하는 각 구성요소를 도 2 내지 도 3을 통해 자세히 설명하기로 한다.Next, each component constituting the mobile terminal 10 and the makeup server 100 will be described in detail with reference to FIGS. 2 to 3.

먼저, 도 2는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.First, FIG. 2 is a block diagram illustrating a mobile terminal related to the present invention.

이동 단말기(10)는 무선 통신부(11), 입력부(12), 카메라(13), 디스플레이부(14), 메모리(15), 전원 공급부(16) 및 제어부(17)를 포함할 수 있다. 이와 같이 도 2에 도시된 구성요소들은 본 발명에 따른 이동 단말기의 이해를 돕기 위해 예시로 든 구성요소로서, 이동 단말기는 위에서 열거된 구성요소들 보다 더 많거나, 또는 더 적은 구성요소들을 가질 수 있다.The mobile terminal 10 may include a wireless communication unit 11, an input unit 12, a camera 13, a display unit 14, a memory 15, a power supply unit 16, and a control unit 17. As such, the components shown in FIG. 2 are exemplified to help understanding of the mobile terminal according to the present invention, and the mobile terminal may have more or fewer components than those listed above. have.

이하, 이동 단말기(10)의 각 구성요소들을 보다 구체적으로 설명한다.Hereinafter, each component of the mobile terminal 10 will be described in more detail.

무선 통신부(11)는 이동 단말기(10)와 다른 이동 단말기(10) 사이, 또는 이동 단말기(100)와 외부 서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 구체적으로, 무선 통신부(11)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나 이상을 포함할 수 있다.The wireless communication unit 11 may include one or more modules that enable wireless communication between the mobile terminal 10 and another mobile terminal 10 or between the mobile terminal 100 and an external server. In detail, the wireless communication unit 11 may include at least one of a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module.

무선 통신부(11)는 다른 이동 단말기(10) 또는 외부 서버와 신호를 송수신할 수 있다. 예를 들어, 무선 통신부(11)는 어플리케이션 서버(200) 및 메이크업 서버(100) 중 적어도 하나 이상과 신호를 송수신할 수 있다.The wireless communication unit 11 may transmit / receive a signal with another mobile terminal 10 or an external server. For example, the wireless communication unit 11 may transmit and receive a signal with at least one of the application server 200 and the makeup server 100.

입력부(12)는 사용자로부터 데이터 또는 명령 등을 수신할 수 있다. 입력부는 푸시키(mechanical key), 터치키(touch key), 음성 인식 등을 통해 입력 신호를 수신할 수 있다. 입력부(12)를 통해 수신된 데이터 또는 명령은 제어명령으로 처리되어, 다른 구성요소로 전달될 수 있다.The input unit 12 may receive data or a command from a user. The input unit may receive an input signal through a mechanical key, a touch key, voice recognition, or the like. The data or command received through the input unit 12 may be processed as a control command and transmitted to other components.

카메라(13)는 영상 신호 입력을 수신할 수 있다. 영상 신호는 사진과 같은 정지 이미지, 동영상 등을 포함한다. 따라서, 카메라(13)는 사진, 동영상 등을 촬영함으로써 영상 신호 입력을 수신할 수 있다. 예를 들어, 카메라(13)는 사용자의 얼굴 이미지를 촬영할 수 있다.The camera 13 may receive an image signal input. The video signal includes a still image such as a picture, a video, and the like. Accordingly, the camera 13 may receive an image signal input by taking a picture, a video, or the like. For example, the camera 13 may capture a face image of the user.

디스플레이부(14)는 이동 단말기(10)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(14)는 사용자에게 제공하는 내용으로, 무선 통신부(11)를 통해 수신되거나 입력부(12)를 통해 입력된 내용 등을 화면에 표시할 수 있다. 또한, 디스플레이부(14)는 이동 단말기(10)에서 구동되는 응용 프로그램의 화면 정보를 표시할 수 있다.The display unit 14 displays (outputs) information processed by the mobile terminal 10. For example, the display unit 14 may provide content to a user and display content received through the wireless communication unit 11 or input through the input unit 12 on the screen. In addition, the display 14 may display screen information of an application program driven in the mobile terminal 10.

또는, 디스플레이부(14)는 카메라(13)를 통해 촬영 중이거나 촬영된 이미지를 표시할 수 있다. 예를 들어, 디스플레이부(14)는 카메라(13)를 통해 촬영된 얼굴 이미지를 표시할 수 있다.Alternatively, the display unit 14 may display an image being photographed or photographed by the camera 13. For example, the display 14 may display a face image photographed through the camera 13.

또한, 디스플레이부(14)는 촬영된 얼굴 이미지에 기초하여 메이크업을 평가한 결과 정보를 표시할 수 있다.In addition, the display 14 may display the result of evaluating the makeup based on the photographed face image.

한편, 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 입력부(12)로써 기능함과 동시에, 이동 단말기(10)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.On the other hand, the display unit 151 may form a mutual layer structure or integrally formed with the touch sensor, thereby implementing a touch screen. Such a touch screen may function as the input unit 12 and provide an output interface between the mobile terminal 10 and the user.

메모리(15)는 이동 단말기(10)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(15)는 이동 단말기(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또는, 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(10)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(10)상에 존재할 수 있다. The memory 15 stores data supporting various functions of the mobile terminal 10. The memory 15 may store a plurality of application programs or applications that are driven by the mobile terminal 10, data for operating the mobile terminal 10, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. Alternatively, at least some of these application programs may exist on the mobile terminal 10 from the time of shipment for basic functions of the mobile terminal 10 (for example, a call forwarding, a calling function, a message receiving, and a calling function). .

한편, 이러한 응용 프로그램 중 적어도 하나는 메이크업 평가를 위한 어플리케이션일 수 있다.Meanwhile, at least one of these application programs may be an application for makeup evaluation.

전원공급부(16)는 외부의 전원 또는 내부의 전원을 인가 받아 이동 단말기(10)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.The power supply unit 16 receives power from an external power source or an internal power source to supply power to each component included in the mobile terminal 10. The power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.

제어부(17)는 이동 단말기(10)의 전반적인 동작을 제어한다. 구체적으로, 제어부(17)는 이동 단말기(10)를 구성하는 각 구성요소들의 동작 또는 응용 프로그램과 관련된 동작을 제어할 수 있다. 제어부(17)는 위 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(15)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 제어부(17)는 위 구성요소들 중 적어도 일부를 제어하거나, 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.The controller 17 controls the overall operation of the mobile terminal 10. In detail, the controller 17 may control an operation related to each component constituting the mobile terminal 10 or an operation related to an application program. The controller 17 may provide or process information or functions appropriate to a user by processing signals, data, information, or the like input or output through the above components or driving an application program stored in the memory 15. The controller 17 may control at least some of the above components or operate at least two or more in combination with each other.

도 2를 통해 설명한 위 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 이동 단말기의 동작, 제어, 또는 제어방법은 메모리(15)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.At least some of the above components described with reference to FIG. 2 may operate in cooperation with each other in order to implement an operation, control, or control method of the mobile terminal according to various embodiments described below. In addition, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 15.

다음으로, 도 3은 본 발명과 관련된 메이크업 서버를 설명하기 위한 블록도이다.Next, Figure 3 is a block diagram for explaining a makeup server associated with the present invention.

메이크업 서버(100)는 메이크업 DB 관리부(110), 메이크업 평가부(120), 제어부(130) 및 무선 통신부(140)로 구성될 수 있다.The makeup server 100 may include a makeup DB manager 110, a makeup evaluator 120, a controller 130, and a wireless communication unit 140.

먼저, 메이크업 DB 관리부(110)를 설명한다.First, the makeup DB management unit 110 will be described.

메이크업 DB 관리부(110)는 메이크업 평가와 관련된 다양한 데이터를 저장하고 있을 수 있다. The makeup DB manager 110 may store various data related to the makeup evaluation.

메이크업 DB 관리부(110)는 메이크업을 평가하기 위해 얼굴 영역에 적용되는 적어도 하나 이상의 평가 알고리즘을 저장하고 있을 수 있다. 여기서, 얼굴 영역은 이미지에 포함된 얼굴 영역으로, 후술하는 영역 검출부(121)에 의해 검출되는 얼굴 영역을 의미할 수 있다. 또한, 얼굴 영역은 얼굴 전체를 포함하는 영역과, 얼굴을 구성하는 얼굴 각 부위 영역을 포함할 수 있다. 예를 들어, 얼굴 영역은 얼굴 전체 영역, 눈썹 영역, 눈 영역, 코 영역, 볼 영역, 이미 영역, 턱 영역 및 입술 영역 등 중 적어도 하나 이상을 포함할 수 있다.The makeup DB manager 110 may store at least one evaluation algorithm applied to the face area to evaluate makeup. Here, the face area is a face area included in the image and may mean a face area detected by the area detector 121 to be described later. In addition, the face area may include an area including the entire face and each area of the face constituting the face. For example, the face area may include at least one or more of an entire face area, an eyebrow area, an eye area, a nose area, a ball area, an image area, a chin area, and a lip area.

평가 알고리즘은 이미지에 포함된 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 이용하는 알고리즘일 수 있다. 즉, 이미지는 RGB 값으로 표현되는 이미지일 수 있고, 평가 알고리즘은 얼굴 영역을 구성하는 픽셀의 RGB 값을 이용하는 알고리즘일 수 있다.The evaluation algorithm may be an algorithm that uses RGB values of at least one pixel constituting the face area included in the image. That is, the image may be an image represented by an RGB value, and the evaluation algorithm may be an algorithm using RGB values of pixels constituting the face area.

또한, 평가 알고리즘은 이미지에 포함된 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 Lab 색상값으로 변환하고, 변환된 Lab 색상값을 이용하는 알고리즘일 수 있다. 즉, 평가 알고리즘은 RGB 값으로 표현되는 이미지를 Lab 색 공간으로 변환하고, Lab 색상값을 통해 메이크업을 평가하는 알고리즘일 수 있다. Lab 색상값은 출력 매체에 따라 색이 달라지지 않기 때문에, Lab 색상값을 이용하는 평가 알고리즘을 적용시 출력 매체와 관계없이 일관된 평가가 가능하여, 메이크업 평가의 신뢰성을 확보 가능한 이점이 있다.In addition, the evaluation algorithm may be an algorithm that converts RGB values of at least one or more pixels constituting the face region included in the image into Lab color values and uses the converted Lab color values. In other words, the evaluation algorithm may be an algorithm for converting an image represented by an RGB value into a Lab color space and evaluating makeup through Lab color values. Since the lab color value does not vary depending on the output medium, when the evaluation algorithm using the lab color value is applied, consistent evaluation is possible regardless of the output medium, thereby ensuring the reliability of makeup evaluation.

또한, 메이크업 DB 관리부(110)는 메이크업 평가에 사용되는 점수 테이블(도 18 참고)을 저장하고 있을 수 있다. 구체적으로, 점수 테이블은 복수개의 제1 샘플 색상과 복수개의 제2 샘플 색상을 포함할 수 있다. 여기서, 제1 샘플 색상은 피부 색상을 대표하는 샘플 색상이고, 제2 샘플 색상은 입술 색상, 블러셔 색상 또는 아이섀도우 색상을 대표하는 샘플 색상일 수 있다.In addition, the makeup DB management unit 110 may store a score table (see FIG. 18) used for makeup evaluation. In detail, the score table may include a plurality of first sample colors and a plurality of second sample colors. Here, the first sample color may be a sample color representing a skin color, and the second sample color may be a sample color representing a lip color, a blusher color, or an eye shadow color.

복수개의 제1 샘플 색상 각각과 복수개의 제2 샘플 색상 각각은 팹핑되어 있을 수 있고, 한 쌍의 제1 샘플 색상과 제2 샘플 색상에는 점수 데이터가 맵핑되어 있을 수 있다. 즉, 점수 테이블은 복수개의 제1 샘플 색상 중 어느 하나와 복수개의 제2 샘플 색상 중 어느 하나에 맵핑되는 점수 데이터들로 구성될 수 있다.Each of the plurality of first sample colors and each of the plurality of second sample colors may be dope, and score data may be mapped to the pair of first sample colors and the second sample colors. That is, the score table may be composed of score data mapped to any one of the plurality of first sample colors and one of the plurality of second sample colors.

이와 같은, 점수 테이블은 메이크업의 색상 조화를 평가하는 경우 사용될 수 있다. 예를 들어, 메이크업 분석부(122)는 사용자의 얼굴 영역에서 제1 색상과, 제2 색상을 검출하고, 제1 색상과 제2 색상에 기초하여 메이크업의 색상 조화를 평가할 수 있다. 구체적으로, 메이크업 분석부(122)는 제1 색상과 동일한 색상을 복수개의 제1 샘플 색상에서 검색하고, 제2 색상과 동일한 색상을 복수개의 제2 샘플 색상에서 검색하고, 검색된 한 쌍의 색상에 맵핑되어 있는 점수를 획득하여 색상 조화를 평가할 수 있다.As such, the score table can be used when evaluating the color harmony of the makeup. For example, the makeup analyzer 122 may detect the first color and the second color in the face region of the user, and evaluate the color harmony of the makeup based on the first color and the second color. In detail, the makeup analyzer 122 searches for the same color as the first color in the plurality of first sample colors, searches for the same color as the second color in the plurality of second sample colors, and applies the searched pair to the colors. The color harmonization can be evaluated by obtaining a score that is mapped.

또한, 일 실시 예에 따르면, 점수 테이블은 메이크업 전문가의 메이크업 평가를 위한 입력에 기초하여 생성된 테이블일 수 있다. 즉, 점수 테이블은 메이크업 전문가들이 미리 색상 조합에 대하여 점수를 입력해둔 테이블일 수 있다.According to an embodiment of the present disclosure, the score table may be a table generated based on an input for makeup evaluation of a makeup expert. That is, the score table may be a table in which makeup experts input scores for color combinations in advance.

후술하는 메이크업 분석부(122)가 메이크업 전문가의 메이크업 평가를 위한 입력에 기초하여 생성된 테이블을 이용하여 메이크업을 평가하는 경우, 전문성에 기반한 메이크업 평가 결과를 사용자에게 제공 가능한 이점이 있다. 이에 따라, 메이크업 평가 시스템의 신뢰도가 증가될 수 있다.When the makeup analysis unit 122 to be described below evaluates makeup using a table generated based on an input for makeup evaluation of a makeup expert, there is an advantage that a makeup evaluation result based on professionalism may be provided to the user. Accordingly, the reliability of the makeup evaluation system can be increased.

다음으로, 메이크업 평가부(120)를 구체적으로 설명한다.Next, the makeup evaluation unit 120 will be described in detail.

메이크업 평가부(120)는 영역 검출부(121) 및 메이크업 분석부(122)로 구성될 수 있다.The makeup evaluator 120 may include a region detector 121 and a makeup analyzer 122.

영역 검출부(121)는 사진 또는 동영상에 포함된 얼굴 이미지를 획득할 수 있다. 구체적으로, 영역 검출부(121)는 무선 통신부(140)를 통해 사진 또는 동영상을 수신하고, 사진 또는 동영상에서 메이크업 평가의 대상이 되는 얼굴 이미지를 검출할 수 있다.The area detector 121 may acquire a face image included in a picture or a video. In detail, the area detector 121 may receive a picture or a video through the wireless communication unit 140, and detect a face image, which is a target of makeup evaluation, from the picture or the video.

또한, 영역 검출부(121)는 얼굴 이미지에서 얼굴의 각 영역을 검출할 수 있다. 예를 들어, 영역 검출부(121)는 눈썹 영역, 눈 영역, 코 영역, 볼 영역, 입 영역 및 턱 영역 중 적어도 하나 이상을 검출할 수 있다.Also, the area detector 121 may detect each area of the face in the face image. For example, the area detector 121 may detect at least one of an eyebrow area, an eye area, a nose area, a ball area, a mouth area, and a jaw area.

예를 들어, 영역 검출부(121)는 얼굴 인식(face recognition) 알고리즘을 통해 얼굴과, 얼굴 각 부위를 검출할 수 있다.For example, the area detector 121 may detect a face and each part of the face through a face recognition algorithm.

또한, 영역 검출부(121)는 얼굴 인식시 딥러닝 기술을 통해 얼굴 및 얼굴 부위를 보다 정확하게 인식 가능한 이점이 있다.In addition, the area detection unit 121 has an advantage of recognizing a face and a part of a face more precisely through a deep learning technique during face recognition.

메이크업 분석부(122)는 영역 검출부(121)가 획득한 얼굴 영역 및 얼굴 각 영역의 메이크업을 분석한다. 예를 들어, 메이크업 분석부(122)는 얼굴 영역 및 얼굴 각 영역을 메이크업 DB 관리부(110)에 저장된 점수 테이블 및 평가 알고리즘에 기초하여 메이크업을 분석할 수 있다. 구체적은 방법은 후술하기로 한다.The makeup analyzer 122 analyzes the makeup of the face area and each face area acquired by the area detector 121. For example, the makeup analyzer 122 may analyze the makeup of the face area and each face area based on a score table and an evaluation algorithm stored in the makeup DB manager 110. A detailed method will be described later.

실시 예에 따라, 메이크업 분석부(122)는 메이크업 분석 결과에 기초하여 얼굴 이미지의 메이크업 점수를 산출한다. 예를 들어, 메이크업 분석부(122)는 메이크업 종합 점수와 얼굴 영역별 점수를 각각 산출할 수 있다.According to an embodiment, the makeup analyzer 122 calculates a makeup score of the face image based on the makeup analysis result. For example, the makeup analyzer 122 may calculate a makeup comprehensive score and a score for each facial region.

제어부(130)는 메이크업 서버(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(130)는 메이크업 DB 관리부(110), 메이크업 평가부(120) 및 무선 통신부(140)의 동작을 제어할 수 있다.The controller 130 controls the overall operation of the makeup server 100. In detail, the controller 130 may control operations of the makeup DB manager 110, the makeup evaluator 120, and the wireless communicator 140.

무선 통신부(140)는 외부와 데이터를 송수신할 수 있다. 예를 들어, 무선 통신부(140)는 이동 단말기(10) 또는 어플리케이션 서버(200)로부터 이미지 데이터를 수신할 수 있다. 무선 통신부(140)는 수신된 이미지 데이터를 메이크업 DB 관리부(110) 또는 메이크업 평가부(120)로 전달할 수 있다.The wireless communication unit 140 may transmit and receive data with the outside. For example, the wireless communication unit 140 may receive image data from the mobile terminal 10 or the application server 200. The wireless communication unit 140 may transfer the received image data to the makeup DB manager 110 or the makeup evaluator 120.

한편, 이하에서 설명하는 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Meanwhile, the embodiments described below may be implemented in a recording medium readable by a computer or a similar device using, for example, software, hardware or a combination thereof.

다음으로, 도 4는 본 발명의 실시 예에 따른 메이크업 평가 시스템의 동작 방법을 나타내는 래더 다이어그램이다.4 is a ladder diagram illustrating a method of operating a makeup evaluation system according to an exemplary embodiment of the present invention.

도 4에서는 설명의 편의를 위해 이동 단말기(10)는 메이크업 서버(100)와 신호를 송수신하고, 도 1에서 설명한 어플리케이션 서버(200)는 메이크업 서버(100)에 포함된 것으로 가정한다.In FIG. 4, for convenience of description, it is assumed that the mobile terminal 10 transmits and receives a signal to and from the makeup server 100, and the application server 200 described in FIG. 1 is included in the makeup server 100.

이동 단말기(10)의 제어부(17)는 이미지를 획득할 수 있다(S11).The controller 17 of the mobile terminal 10 may acquire an image (S11).

제어부(17)는 무선 통신부(11) 또는 카메라(13)를 통해 이미지를 획득할 수 있다. 무선 통신부(11)는 외부로부터 이미지를 수신할 수 있다. 카메라(13)는 사진 또는 동영상을 촬영하여 이미지를 획득할 수 있다.The controller 17 may acquire an image through the wireless communication unit 11 or the camera 13. The wireless communication unit 11 may receive an image from the outside. The camera 13 may acquire an image by taking a picture or a video.

사용자는 메이크업을 평가 받기 위해 메이크업된 얼굴 이미지를 이동 단말기(10)에 전송 또는 입력할 수 있다. 예를 들어, 사용자는 외부에 저장된 이미지를 이동 단말기(10)에 전송하거나, 이동 단말기(10)의 카메라(13)로 메이크업된 얼굴을 촬영할 수 있다.The user may transmit or input the makeup face image to the mobile terminal 10 to evaluate the makeup. For example, the user may transmit an image stored externally to the mobile terminal 10 or take a face photographed by the camera 13 of the mobile terminal 10.

이동 단말기(10)의 제어부(17)는 메이크업 평가 요청명령을 수신할 수 있다(S11).The controller 17 of the mobile terminal 10 may receive a makeup evaluation request command (S11).

제어부(17)는 입력부(12)를 통해 메이크업 평가 요청명령을 수신할 수 있다. 입력부(12)는 적어도 하나 이상의 이미지를 선택하는 명령을 수신한 후 메이크업 평가 요청명령을 수신할 수 있다.The controller 17 may receive a makeup evaluation request command through the input unit 12. The input unit 12 may receive a makeup evaluation request command after receiving a command for selecting at least one image.

사용자는 메이크업 평가를 받고 싶은 이미지를 선택한 후 메이크업 평가 요청을 입력부(12)로 입력할 수 있다.The user may select an image to receive makeup evaluation and input a makeup evaluation request to the input unit 12.

또한, 제어부(17)는 메이크업 평가 요청명령을 수신시 입력부(12)를 통해 메이크업 주제 선택 명령을 더 수신할 수 있다. 메이크업 주제는 내추럴(natural), 러블리(lovely) 또는 스모키(smoky) 등을 포함할 수 있다. 메이크업 주제에 따라 메이크업 평가는 상이할 수 있다. 따라서, 보다 정확한 메이크업 평가를 위해 제어부(17)는 메이크업 평가 요청명령을 수신하는 경우 메이크업 주제를 선택하는 명령을 함께 수신할 수 있다.In addition, the controller 17 may further receive a makeup subject selection command through the input unit 12 when receiving the makeup evaluation request command. Makeup subjects may include natural, lovely or smokey, and the like. The makeup evaluation may differ depending on the makeup subject. Therefore, for more accurate makeup evaluation, the controller 17 may receive a command for selecting a makeup subject when receiving a makeup evaluation request command.

이동 단말기(10)의 제어부(17)는 메이크업 서버(100)로 메이크업 평가 요청신호를 전송할 수 있다(S15).The controller 17 of the mobile terminal 10 may transmit a makeup evaluation request signal to the makeup server 100 (S15).

제어부(17)는 무선 통신부(11)를 통해 메이크업 서버(100)로 메이크업 평가 요청신호를 전송하도록 제어할 수 있다. The controller 17 may control to transmit the makeup evaluation request signal to the makeup server 100 through the wireless communication unit 11.

메이크업 평가 요청신호는 이미지 데이터를 포함할 수 있다. 즉, 제어부(17)는 단계 S11에서 획득한 이미지에 대응하는 이미지 데이터를 포함하는 메이크업 평가 요청신호를 메이크업 서버(100)로 전송할 수 있다.The makeup evaluation request signal may include image data. That is, the controller 17 may transmit the makeup evaluation request signal including the image data corresponding to the image acquired in step S11 to the makeup server 100.

메이크업 평가 요청신호는 이미지 데이터에 따른 이미지에 포함된 얼굴에 대응하는 메이크업 평가를 요청하는 신호일 수 있다.The makeup evaluation request signal may be a signal for requesting makeup evaluation corresponding to a face included in an image according to the image data.

메이크업 서버(100)의 무선 통신부(140)는 메이크업 평가 요청신호를 수신할 수 있다.The wireless communication unit 140 of the makeup server 100 may receive a makeup evaluation request signal.

메이크업 서버(100)의 제어부(130)는 메이크업 평가 요청신호에 포함된 이미지 데이터를 분석할 수 있다. 구체적으로, 메이크업 평가 요청신호에 포함된 이미지 데이터는 이미지 전송을 위해 변조된 데이터일 수 있다. 제어부(130)는 메이크업 평가 요청신호에 포함된 이미지 데이터를 이미지로 복원할 수 있다.The controller 130 of the makeup server 100 may analyze image data included in the makeup evaluation request signal. In detail, the image data included in the makeup evaluation request signal may be data modulated for image transmission. The controller 130 may restore the image data included in the makeup evaluation request signal to the image.

메이크업 서버(100)의 제어부(130)는 메이크업 평가 요청신호를 통해 수신된 이미지에서 기 설정된 영역을 검출할 수 있다(S17).The controller 130 of the makeup server 100 may detect a predetermined area in the image received through the makeup evaluation request signal (S17).

제어부(130)는 메이크업 평가의 대상이 되는 적어도 하나 이상의 평가 부문을 미리 설정하고 있을 수 있다. 제어부(130)는 평가 부문에 대응하는 적어도 하나 이상의 영역을 이미지에서 검출할 수 있다.The controller 130 may preset at least one or more evaluation sections that are the subject of makeup evaluation. The controller 130 may detect at least one or more regions corresponding to the evaluation section in the image.

예를 들어, 제어부(130)는 눈썹(eyebrow) 부문, 다크서클(dark circle) 부문, 색상조화(hue harmony) 부문, 입술(lip) 부문 및 잡티(blemish) 부문 중 적어도 하나 이상을 메이크업 평가의 대상이 되는 평가 부문으로 설정하고 있을 수 있다. 그러나, 앞에서 나열한 평가 부문은 설명의 편의를 위해 예시로 든 것에 불과하므로 이에 제한될 필요는 없다.For example, the controller 130 may determine at least one of the eyebrow section, the dark circle section, the hue harmony section, the lip section, and the blemish section of the makeup evaluation. It may be set as the target evaluation section. However, the evaluation sections listed above are merely examples for convenience of explanation and need not be limited thereto.

제어부(130)는 눈썹 부문을 평가하기 위한 눈썹 영역, 다크서클 부문을 평가하기 위한 다크서클 영역, 색상조화 부문을 평가하기 위한 색상조화 영역, 입술 부문을 평가하기 위한 입술 영역 및 잡티 부문을 평가하기 위한 잡티 영역 중 적어도 하나 이상의 영역을 수신된 이미지에 검출할 수 있다.The controller 130 evaluates the eyebrow area for evaluating the eyebrow section, the dark circle area for evaluating the dark circle section, the color harmonization area for evaluating the color harmony section, the lip area for evaluating the lip section, and the blemish section. At least one or more areas of the blemish area may be detected in the received image.

이 때, 눈썹 영역, 다크서클 영역 등과 같은 각각의 영역은 해당 부위에 제한되지 않으며, 영역별 평가 알고리즘에 따라 적어도 하나 이상의 부위를 포함할 수 있다. 예를 들어, 눈썹 영역은 눈썹 부위에 제한되지 않고 눈썹 부위 및 코 부위 등을 포함할 수 있다. 이는, 눈썹 영역을 평가한다고 하여 눈썹의 모양, 색상 등만을 평가하는 것이 아니라, 눈썹 부위와 얼굴 전체의 조화 등을 고려하여 평가하기 위함이다. 각각의 영역에 대응하는 검출 부위는 후술하는 영역별 평가 알고리즘을 통해 자세히 설명하기로 한다.In this case, each area such as an eyebrow area, a dark circle area, and the like is not limited to the corresponding area, and may include at least one or more areas according to the evaluation algorithm for each area. For example, the eyebrow area is not limited to the eyebrow area and may include an eyebrow area, a nose area, and the like. This is to evaluate the eyebrow area, not only to evaluate the shape, color, etc. of the eyebrows, but also to consider the balance between the eyebrow area and the entire face. The detection part corresponding to each area will be described in detail through an evaluation algorithm for each area which will be described later.

제어부(130)는 검출된 적어도 하나 이상의 영역에 각 영역별 평가 알고리즘을 적용하여 평가할 수 있다(S19).The controller 130 may apply the evaluation algorithm for each region to the detected at least one region (S19).

제어부(130)는 검출된 영역에 따라 상이한 평가 알고리즘을 적용할 수 있다. 예를 들어, 제어부(130)는 눈썹 영역에는 제1 평가 알고리즘을 적용하고, 다크서클 영역에는 제2 평가 알고리즘을 적용할 수 있다.The controller 130 may apply different evaluation algorithms according to the detected areas. For example, the controller 130 may apply the first evaluation algorithm to the eyebrow area and the second evaluation algorithm to the dark circle area.

이와 같이, 본 발명의 실시 예에 따르면 검출된 복수의 영역에 동일한 평가 알고리즘을 적용하여 일관되게 평가하는 것이 아니라, 검출된 영역에 따라 각각 상이한 평가 알고리즘을 적용하여 메이크업을 보다 정밀하게 평가 가능한 이점이 있다.As described above, according to the exemplary embodiment of the present invention, the same evaluation algorithm is not applied to the plurality of detected areas to evaluate the makeup consistently. Instead, the makeup may be evaluated more precisely by applying different evaluation algorithms according to the detected areas. have.

다음으로, 제어부(130)가 단계 S17에서 검출된 영역 각각에 적용하는 적어도 하나 이상의 평가 알고리즘을 설명한다.Next, at least one evaluation algorithm that the control unit 130 applies to each of the areas detected in step S17 will be described.

먼저, 도 5 내지 도 9는 본 발명의 실시 예에 따른 눈썹 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 10은 본 발명의 실시 예에 따른 눈썹 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.First, FIGS. 5 to 9 are diagrams for explaining an evaluation algorithm applied to the evaluation of an eyebrow section according to an embodiment of the present invention, and FIG. 10 is a method for displaying an evaluation result of an eyebrow section according to an embodiment of the present invention. It is an example figure for explanation.

본 발명의 실시 예에 따르면, 메이크업 서버(100)의 메이크업 DB 관리부(110)는 눈썹 부문을 평가하기 위한 평가 알고리즘을 저장하고 있을 수 있다. 제어부(130)는 단계 S17에서 영역 검출부(121)를 통해 눈썹 영역을 검출하고, 메이크업 분석부(122)를 통해 검출된 눈썹 영역에 평가 알고리즘을 적용할 수 있다.According to an embodiment of the present disclosure, the makeup DB manager 110 of the makeup server 100 may store an evaluation algorithm for evaluating an eyebrow section. The controller 130 may detect the eyebrow area through the area detector 121 in step S17, and apply an evaluation algorithm to the eyebrow area detected through the makeup analyzer 122.

눈썹 부문을 평가하기 위한 평가 알고리즘은 복수개의 알고리즘을 포함할 수 있고, 각각의 알고리즘은 눈썹 부문을 상이하게 평가할 수 있다. 예를 들어, 눈썹 부문을 평가하기 위한 평가 알고리즘은 눈썹 길이를 평가하는 알고리즘, 수평 정도를 평가하는 알고리즘, 눈썹 앞길이를 평가하는 알고리즘 및 눈썹 색상의 균일성을 평가하는 알고리즘 등을 포함할 수 있다.The evaluation algorithm for evaluating the eyebrow section may include a plurality of algorithms, and each algorithm may evaluate the eyebrow section differently. For example, the evaluation algorithm for evaluating the eyebrow section may include an algorithm for evaluating eyebrow length, an algorithm for evaluating horizontal degree, an algorithm for evaluating eyebrow length, and an algorithm for evaluating uniformity of eyebrow color. .

메이크업 분석부(122)는 눈썹 영역에 평가 알고리즘을 적용시, 눈썹 길이, 수평 정도, 눈썹 앞길이 및 눈썹 색상의 균일성을 모두 분석 및 평가할 수 있다.When applying the evaluation algorithm to the eyebrow area, the makeup analyzer 122 may analyze and evaluate all the uniformity of the eyebrow length, the horizontal degree, the eyebrow length, and the eyebrow color.

도 5를 참고하여, 제어부(130)가 눈썹 영역의 눈썹 길이를 평가하는 방법을 설명한다.Referring to FIG. 5, a method of evaluating the eyebrow length of the eyebrow region by the controller 130 will be described.

영역 검출부(121)는 이미지에서 어느 하나의 눈의 바깥쪽 끝인 제1 지점(501)과, 코의 바깥쪽 끝인 제2 지점(502)을 검출할 수 있다. 이 때, 영역 검출부(121)는 오른쪽 눈의 바깥쪽 끝 지점을 검출한 경우 코의 오른쪽 끝을 검출하고, 왼쪽 눈의 바깥쪽 끝 지점을 검출한 코의 왼쪽 끝을 검출할 수 있다.The area detector 121 may detect the first point 501, which is the outer end of one eye, and the second point 502, which is the outer end of the nose, in the image. At this time, when detecting the outer end point of the right eye, the area detector 121 may detect the right end of the nose and detect the left end of the nose that detects the outer end point of the left eye.

메이크업 분석부(122)는 제1 지점(501)과 제2 지점(502)을 연결하는 직선(510)을 획득할 수 있다.The makeup analyzer 122 may acquire a straight line 510 connecting the first point 501 and the second point 502.

메이크업 분석부(122)는 눈썹의 바깥쪽 끝인 제3 지점(503)을 검출하고, 제3 지점(503)과 직선(510)과의 거리(d1)를 산출할 수 있다.The makeup analyzer 122 may detect the third point 503, which is an outer end of the eyebrow, and calculate a distance d1 between the third point 503 and the straight line 510.

메이크업 분석부(122)는 산출된 거리(d1)를 통해 눈썹 길이의 적절성을 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 산출된 거리(d1)가 제1 거리 이하이면 눈썹 길이를 '짧음'으로 판단하고, 산출된 거리(d1)가 제1 거리보다 길고 제2 거리 이하이면 눈썹 길이를 '적정'으로 판단하고, 산출된 거리(d1)가 제2 거리보다 길면 눈썹 길이를 '김'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다. The makeup analyzer 122 may determine the appropriateness of the eyebrow length based on the calculated distance d1. For example, the makeup analyzer 122 determines the eyebrow length as 'short' when the calculated distance d1 is less than or equal to the first distance, and when the calculated distance d1 is longer than or equal to the first distance and less than or equal to the second distance. The eyebrow length may be determined as 'titration', and when the calculated distance d1 is longer than the second distance, the eyebrow length may be determined as 'long'. However, such a determination method is merely exemplary and need not be limited thereto.

도 6을 참고하여, 제어부(130)가 눈썹 영역의 수평 정도를 평가하는 방법을 설명한다.Referring to FIG. 6, a method of evaluating the horizontal degree of the eyebrow region by the controller 130 will be described.

영역 검출부(121)는 이미지에서 어느 하나의 눈썹을 기준으로 눈썹의 안쪽 끝인 제1 지점(601)과, 같은 눈썹의 바깥쪽 끝인 제2 지점(602)을 검출할 수 있다.The area detector 121 may detect a first point 601, which is an inner end of the eyebrow, and a second point 602, which is an outer end of the same eyebrow, based on any one eyebrow in the image.

영역 검출부(121)는 제1 지점(601)과 제2 지점(602)을 연결하는 직선(610)을 획득하고, 직선과 수평선(620)과의 각도(θ)를 산출할 수 있다.The area detector 121 may acquire a straight line 610 connecting the first point 601 and the second point 602 and calculate an angle θ between the straight line and the horizontal line 620.

메이크업 분석부(122)는 산출된 각도(θ)를 통해 눈썹의 수평 정도의 적절성을 판단할 수 있다.The makeup analyzer 122 may determine the appropriateness of the horizontal degree of the eyebrows based on the calculated angle θ.

예를 들어, 메이크업 분석부(122)는 산출된 각도(θ)가 제1 각도 이하이면 눈썹의 수평 정도를 '직선형'로 판단하고, 산출된 각도(θ)가 제1 각보보다 크고 제2 각도 이하이면 눈썹의 수평 정도를 '일반형'으로 판단하고, 산출된 각도(θ)가 제2 각도보다 크면 눈썹의 수평 정도를 '아치형'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다.For example, when the calculated angle θ is equal to or less than the first angle, the makeup analyzer 122 determines the horizontal degree of the eyebrows as 'linear', and the calculated angle θ is greater than the first angle beam and the second angle. Below, the horizontal degree of the eyebrows may be determined as the 'normal type', and when the calculated angle θ is greater than the second angle, the horizontal degree of the eyebrows may be determined as the 'arch type'. However, such a determination method is merely exemplary and need not be limited thereto.

또한, 메이크업 분석부(122)는 '직선형', '일반형' 또는 '아치형'과 같은 눈썹의 수평 정도에 따른 눈썹 유형을 판단하고, 판단한 각각의 유형에 따라 눈썹 모양의 점수를 산출할 수 있다. 예를 들어, 눈썹 유형에 따른 눈썹 모양을 나타내는 데이터를 미리 저장하고 있을 수 있고, 메이크업 분석부(122)는 판단한 눈썹 유형에 따른 눈썹 모양 데이터를 이미지에서 획득된 눈썹 모양의 데이터와 비교하고, 비교 결과 저장된 데이터와 이미지에서 획득된 데이터의 차가 작을수록 눈썹 점수를 높게 산출하는 방식으로 점수를 결정할 수도 있다.In addition, the makeup analysis unit 122 may determine the eyebrow type according to the horizontal degree of the eyebrows such as 'straight', 'normal' or 'arch', and calculate the score of the eyebrow shape according to each type determined. For example, the eyebrow shape data according to the eyebrow type may be stored in advance, and the makeup analyzer 122 compares the eyebrow shape data according to the determined eyebrow type with the data of the eyebrow shape obtained from the image, and compares them. As a result, the smaller the difference between the stored data and the acquired data in the image, the higher the eyebrow score, the score may be determined.

도 7을 참고하여, 제어부(130)가 눈썹 영역의 눈썹 앞길이를 평가하는 방법을 설명한다.Referring to Figure 7, the control unit 130 will be described how to evaluate the eyebrow front length of the eyebrow area.

영역 검출부(121)는 이미지에서 어느 하나의 눈썹을 기준으로 눈썹의 안쪽 ?P인 제1 지점(701)과, 코의 바깥쪽 끝인 제2 지점(702)을 검출할 수 있다. 이 때, 영역 검출부(121)는 오른쪽 눈썹의 안쪽 끝 지점을 검출한 경우 코의 오른쪽 끝을 검출하고, 왼쪽 눈썹의 안쪽 끝 지점을 검출한 코의 왼쪽 끝을 검출할 수 있다.The area detector 121 may detect the first point 701, which is the inner? P of the eyebrow, and the second point 702, which is the outer end of the nose, based on any one eyebrow in the image. At this time, the area detector 121 may detect the right end of the nose when detecting the inner end point of the right eyebrow, and may detect the left end of the nose detecting the inner end point of the left eyebrow.

메이크업 분석부(122)는 제2 지점(702)을 수직방향으로 지나는 직선(710)을 획득하고, 직선(710)과 제1 지점(701) 사이의 거리(d2)를 획득할 수 있다.The makeup analyzer 122 may acquire a straight line 710 passing through the second point 702 in the vertical direction, and obtain a distance d2 between the straight line 710 and the first point 701.

메이크업 분석부(122)는 산출된 거리(d2)를 통해 눈썹 앞길이의 적절성을 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 산출된 거리(d2)가 제1 거리 이하이면 눈썹 앞길이를 '짧음'으로 판단하고, 산출된 거리(d2)가 제1 거리보다 길고 제2 거리 이하이면 눈썹 앞길이를 '적정'으로 판단하고, 산출된 거리(d2)가 제2 거리보다 길면 눈썹 앞길이를 '김'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다. The makeup analyzer 122 may determine the adequacy of the eyebrow length based on the calculated distance d2. For example, when the calculated distance d2 is less than or equal to the first distance, the makeup analyzer 122 determines the eyebrow length as 'short', and the calculated distance d2 is longer than or equal to the first distance and less than or equal to the second distance. In this case, the front eyebrow length may be determined as 'titration', and when the calculated distance d2 is longer than the second distance, the front eyebrow length may be determined as 'long'. However, such a determination method is merely exemplary and need not be limited thereto.

도 5 내지 도 7에서 설명한 방법에 따르면, 사람마다 상이한 눈의 크기, 코의 크기 등을 반영한 메이크업 평가가 가능한 이점이 있다. 즉, 눈썹은 5cm가 적당하다고 일관적으로 판단하는 것이 아니라, 사람의 눈의 길이, 코의 길이, 눈썹의 위치 등 사용자마다 상이한 얼굴 특성을 고려하여 메이크업의 평가가 가능한 이점이 있다.According to the method described with reference to FIGS. 5 to 7, there is an advantage in that makeup evaluation reflecting different eye sizes, nose sizes, and the like for each person is possible. That is, the eyebrows are not consistently judged as 5 cm is appropriate, but there is an advantage that the makeup can be evaluated in consideration of different facial features such as the length of the eye, the length of the nose, and the position of the eyebrows for each user.

도 8 내지 도 9를 참고하여, 제어부(130)는 눈썹 영역의 눈썹 색상의 균일성을 평가하는 방법을 설명한다. 눈썹 색상의 균일성은 눈썹의 색상이 고르게 메이크업 되었는지를 나타내는 항목일 수 있다.8 to 9, the controller 130 describes a method of evaluating the uniformity of the eyebrow color of the eyebrow area. The uniformity of the eyebrow color may be an item indicating whether the color of the eyebrows is evenly makeup.

제어부(130)는 눈썹 색상의 균일성을 판단하기 위해 눈썹 판단 동작을 수행할 수 있다.The controller 130 may perform an eyebrow determination operation to determine the uniformity of the eyebrow color.

영역 검출부(121)는 눈썹에서 제1 내지 제5 지점(801 내지 805)을 검출할 수 있다. 구체적으로, 영역 검출부(121)는 눈썹의 바깥쪽 끝인 제1 지점(801)과, 눈썹의 안쪽 끝인 제2 지점(802)을 검출하고, 눈썹 중 제1 지점(801)과 제2 지점(802)의 가운데인 제3 지점(803)을 검출하고, 눈썹 중 제1 지점(801)과 제3 지점(803)의 가운데인 제4 지점(804)과 제2 제점(802)과 제3 지점(803)의 가운데인 제5 지점(805)을 검출할 수 있다.The area detector 121 may detect the first to fifth points 801 to 805 on the eyebrows. Specifically, the area detector 121 detects the first point 801, which is the outer end of the eyebrow, and the second point 802, which is the inner end of the eyebrow, and the first point 801 and the second point 802 of the eyebrows. The third point 803, which is the center of the eyebrows, and the fourth point 804, the second point 802, and the third point 804, which is the center of the first point 801 and the third point 803 of the eyebrows. A fifth point 805 which is the center of 803 may be detected.

도 8(a)에 도시된 바와 같이, 메이크업 분석부(122)는 제1 내지 제5 지점(801 내지 805)을 연결하는 곡선(810)을 획득할 수 있다.As illustrated in FIG. 8A, the makeup analyzer 122 may acquire a curve 810 connecting the first to fifth points 801 to 805.

도 8(b)에 도시된 바와 같이, 메이크업 분석부(122)는 곡선(810)을 따라 곡선의 각 지점에서 수직선(820)을 획득하고, 수직선(820)에서 영상의 값을 추출할 수 있다. 여기서, 영상의 값은 RGB 값을 포함할 수 있고, 수직선(820)은 소정 길이를 갖는 직선일 수 있다.As shown in FIG. 8B, the makeup analyzer 122 may acquire a vertical line 820 at each point of the curve along the curve 810, and extract a value of an image from the vertical line 820. . Here, the value of the image may include an RGB value, and the vertical line 820 may be a straight line having a predetermined length.

메이크업 분석부(122)는 수직선(820)을 따라 추출된 RGB 값 중 최대값을 획득하고, 최대값과, 최대값으로부터 일정 비율 이내의 영상의 값을 갖는 지점을 눈썹으로 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 추출된 영상의 값이 40, 41, 120, 122, 126, 43, 40인 경우 최대값 126을 획득하고, 126으로부터 20% 이내의 영상의 값인 120 및 122인 지점과 126인 지점을 눈썹으로 판단할 수 있다.The makeup analyzer 122 may acquire a maximum value of the RGB values extracted along the vertical line 820, and determine a point having the maximum value and an image value within a predetermined ratio from the maximum value as an eyebrow. For example, the makeup analyzer 122 acquires the maximum value 126 when the value of the extracted image is 40, 41, 120, 122, 126, 43, 40, and 120 and 20 which is a value of the image within 20% from 126. The point of 122 people and the point of 126 can be judged by eyebrows.

메이크업 분석부(122)는 앞에서 설명한 눈썹 판단 동작을 이미지의 gray channel, red channel 및 blue channel에서 각각 수행할 수 있다.The makeup analyzer 122 may perform the eyebrow determination operation described above on the gray channel, the red channel, and the blue channel of the image, respectively.

도 9(a)가 원본 이미지인 경우, 메이크업 분석부(122)는 gray channel에서 눈썹 판단 동작을 수행하여 도 9(b)에 도시된 바와 같이 제1 영역(901)을 눈썹으로 판단할 수 있다. 또한, 메이크업 분석부(122)는 red channel에서 눈썹 판단 동작을 수행하여 도 9(c)에 도시된 바와 같이 제2 영역(902)을 눈썹으로 판단할 수 있다.When FIG. 9 (a) is the original image, the makeup analyzer 122 may determine the first area 901 as the eyebrow by performing the eyebrow determination operation on the gray channel. . In addition, the makeup analyzer 122 may determine the second area 902 as the eyebrow as shown in FIG. 9C by performing the eyebrow determination operation in the red channel.

메이크업 분석부(122)는 제1 영역(901)과 제2 영역(902)의 유사도를 측정할 수 있다. 메이크업 분석부(122)는 제1 영역(901)과 제2 영역(902)의 겹치는 영역의 넓이를 통해 유사도를 측정할 수 있다. 즉, 메이크업 분석부(122)는 제1 영역(901)과 제2 영역(902)의 겹치는 영역의 넓이가 넓을수록 유사도를 높게 산출하고, 겹치는 영역의 넓이가 좁을수록 유사도를 낮게 산출할 수 있다.The makeup analyzer 122 may measure the similarity between the first region 901 and the second region 902. The makeup analyzer 122 may measure the degree of similarity through an area of an overlapping area between the first area 901 and the second area 902. That is, the makeup analyzer 122 may calculate the similarity as the width of the overlapping areas of the first region 901 and the second region 902 is wider, and calculate the similarity as the width of the overlapping areas is narrower. .

메이크업 분석부(122)는 산출된 유사도를 통해 눈썹 균일성을 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 산출된 유사도가 제1 기준값 이하이면 눈썹 균일성을 '불균일'으로 판단하고, 산출된 유사도가 제2 기준값을 초과하면 눈썹 균일성을 '균일'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다.The makeup analyzer 122 may determine the eyebrow uniformity based on the calculated similarity. For example, the makeup analyzer 122 determines eyebrow uniformity as 'nonuniformity' when the calculated similarity is less than or equal to the first reference value, and determines eyebrow uniformity as 'uniformity' when the calculated similarity exceeds the second reference value. can do. However, such a determination method is merely exemplary and need not be limited thereto.

한편, 메이크업 분석부(122)는 red channel에서 눈썹으로 판단한 제2 영역(902)의 넓이가 기준 넓이 이하인 경우에는 blue channel 이미지에서 눈썹 판단 동작을 수행하여 도 9(d)에 도시된 바와 같이 제3 영역(903)을 눈썹으로 판단할 수 있다. 메이크업 분석부(122)는 제1 영역(901)과 제3 영역(903)의 유사도를 축정하여 앞에서 설명한 바와 같이 눈썹 균일성을 판단할 수 있다.Meanwhile, when the width of the second region 902 determined as the eyebrows in the red channel is less than or equal to the reference width, the makeup analyzer 122 performs eyebrow determination in the blue channel image, as shown in FIG. 9 (d). The three regions 903 can be determined as eyebrows. The makeup analyzer 122 may determine the eyebrow uniformity as described above by calculating the similarity between the first region 901 and the third region 903.

무선 통신부(140)는 메이크업을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. The wireless communication unit 140 may transmit the evaluation result signal to the mobile terminal 10 after evaluating the makeup, and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 10은 눈썹 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 눈썹 길이, 수평 정도, 눈썹 앞길이 및 눈썹 균일성에 대한 평가 결과를 표시할 수 있다. 그러나, 도 10에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.FIG. 10 may be an exemplary diagram illustrating a result of evaluating makeup for an eyebrow section. FIG. The display unit 14 may display an evaluation result of the eyebrow length, the horizontal degree, the eyebrow front length, and the eyebrow uniformity. However, the method of showing the evaluation result shown in FIG. 10 is merely exemplary.

다음으로, 도 11 내지 도 12는 본 발명의 실시 예에 따른 다크서클 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 13은 본 발명의 실시 예에 따른 다크서클 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIGS. 11 to 12 are diagrams for explaining an evaluation algorithm applied to the evaluation of the dark circle section according to an embodiment of the present invention, and FIG. 13 shows the evaluation result of the dark circle section according to the embodiment of the present invention. It is an exemplary figure for demonstrating the method.

영역 검출부(121)는 눈 영역에서 복수개의 지점을 검출할 수 있다. 예를 들어, 영역 검출부(121)는 눈 영역에서 제1 내지 제4 지점(1101 내지 1104)을 검출할 수 있고, 제1 지점(1101)은 눈의 바깥쪽 끝 지점이고, 제2 지점(1102)은 눈의 안쪽 끝 지점이고, 제3 지점(1103)은 눈의 위쪽 끝 지점이고, 제4 제점(1104)은 눈의 아래쪽 끝 지점일 수 있다.The area detector 121 may detect a plurality of points in the eye area. For example, the area detector 121 may detect the first to fourth points 1101 to 1104 in the eye area, the first point 1101 is an outer end point of the eye, and the second point 1102. ) May be an inner end point of the eye, the third point 1103 may be an upper end point of the eye, and the fourth point 1104 may be a lower end point of the eye.

메이크업 분석부(121)는 제1 및 제2 지점(1101, 1102)을 연결하는 직선 거리를 측정하여 눈의 수평 거리(l1)를 산출하고, 제3 및 제4 지점(1103, 1104)을 연결하는 직선 거리를 측정하여 눈의 수직 거리(l2)를 산출할 수 있다. The makeup analyzer 121 calculates a horizontal distance l1 of the eye by measuring a straight line connecting the first and second points 1101 and 1102 and connects the third and fourth points 1103 and 1104. The vertical distance l2 of the eye may be calculated by measuring a straight line distance.

메이크업 분석부(121)는 제1 내지 제4 지점(1101 내지 1104)과 수평 거리(l1) 및 수직 거리(l2)에 기초하여 기준선(1110)을 획득할 수 있다. 예를 들어, 메이크업 분석부(121)는 제3 지점(1103)으로부터 수직 거리(l2)만큼 아래로 이격된 위치에 수평 거리(l1)의 소정 비율에 해당하는 길이를 갖는 기준선(1110)을 획득할 수 있다. 기준선(1110)의 길이는 수평 거리(l1)의 80%일 수 있으나, 이는 예시적인 것에 불과하다.The makeup analyzer 121 may acquire the reference line 1110 based on the first to fourth points 1101 to 1104, the horizontal distance l1, and the vertical distance l2. For example, the makeup analyzer 121 acquires a reference line 1110 having a length corresponding to a predetermined ratio of the horizontal distance l1 at a position spaced downward from the third point 1103 by a vertical distance l2. can do. The length of the reference line 1110 may be 80% of the horizontal distance l1, but this is merely exemplary.

도 12을 참고하면, 메이크업 분석부(121)는 기준선(1110)의 좌측 1/3 영역(1111)의 RGB 값 중 최대값을 추출하고, 기준선(1110)의 우측 1/3 영역(1112)의 RGB 값 중 최대값을 추출하고, 기준선(1110)의 중앙 1/2 영역(1113)의 RGB 값 중 최소값을 추출할 수 있다.Referring to FIG. 12, the makeup analyzer 121 extracts a maximum value of the RGB values of the left third region 1111 of the reference line 1110, and extracts the maximum value from the right third region 1112 of the reference line 1110. The maximum value of the RGB values may be extracted, and the minimum value of the RGB values of the center 1/2 region 1113 of the reference line 1110 may be extracted.

메이크업 분석부(121)는 추출된 두 개의 최대값 중 작은 값을 획득하고, 획득된 작은 값과 앞에서 추출된 최소 값의 차이를 산출할 수 있다. 메이크업 분석부(121)는 산출된 차이에 기초하여 다크서클의 진한 정도를 평가할 수 있다.The makeup analyzer 121 may acquire a small value among the two extracted maximum values and calculate a difference between the obtained small value and the minimum value extracted previously. The makeup analyzer 121 may evaluate the darkness of the dark circle based on the calculated difference.

본 발명에 따르면, 제1 내지 제4 지점(1101 내지 1104)와 눈의 거리를 통해 다크서클 대상 영역을 검출할 수 있고, 다크서클 대상 영역에서 양측의 RGB 값을 통해 주변 피부색을 획득하고, 가운데의 RGB 값을 통해 눈 아래에서 가장 진한 부분의 색을 획득하여, 다크서클의 진한 정도를 보다 정밀하게 측정 가능한 이점이 있다. 즉, 단순히 다크서클을 측정하는 것이 아니라, 다크서클이 주변 피부색과 유사하게 잘 커버되도록 메이크업 하였는지 평가 가능한 이점이 있다.According to the present invention, the dark circle target region can be detected through the distance between the first to fourth points 1101 to 1104 and the eye, and the peripheral skin color is obtained through the RGB values of both sides in the dark circle target region, By obtaining the color of the darkest part under the eyes through the RGB value of, there is an advantage that can measure the darkness of the dark circle more precisely. In other words, rather than simply measuring the dark circle, there is an advantage that can be evaluated whether the make-up is covered so that the dark circle is similar to the surrounding skin color.

다음으로, 도 14 내지 도 18은 본 발명의 실시 예에 따른 색상조화 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 19는 본 발명의 실시 예에 따른 색상조화 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIGS. 14 to 18 are diagrams for explaining an evaluation algorithm applied to the evaluation of the color matching section according to an embodiment of the present invention, and FIG. 19 shows the evaluation result of the color matching section according to the embodiment of the present invention. It is an exemplary figure for demonstrating the method.

먼저, 제어부(130)는 피부색을 추출하도록 제어할 수 있다. 구체적으로, 도 14(a)를 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 코 영역(1401)을 검출할 수 있다. 특히, 영역 검출부(121)는 콧등 영역을 검출할 수 있다. 메이크업 분석부(122)는 코 영역(1401)에 포함된 복수의 지점들에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균값을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 피부색으로 추출할 수 있다.First, the controller 130 may control to extract the skin color. Specifically, referring to FIG. 14A, the area detector 121 may detect the nose area 1401 on the face included in the image. In particular, the area detector 121 may detect a dorsal area. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to the plurality of points included in the nose area 1401, and calculate an average value of the extracted RGB color values. The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as the skin color.

메이크업 분석부(122)는 추출된 피부색을 Lab 색 공간에 분포시켜, 추출된 피부색과 가장 가까운 색을 검출하고, 검출된 색을 피부색으로 결정할 수 있다. 도 14(b)에 도시된 바와 같이, 메이크업 DB 관리부(110)는 복수개의 대표 피부 색상을 저장하고 있고, 메이크업 분석부(122)는 검출된 피부색과 가장 가까운 색을 저장된 대표 색상에서 획득할 수 있고, 획득된 색상을 피부색으로 결정할 수 있다. 예를 들어, 도 14에서 메이크업 분석부(122)는 s5를 피부색으로 결정할 수 있다.The makeup analyzer 122 may distribute the extracted skin color in the Lab color space, detect a color closest to the extracted skin color, and determine the detected color as the skin color. As shown in FIG. 14B, the makeup DB manager 110 stores a plurality of representative skin colors, and the makeup analyzer 122 may acquire a color closest to the detected skin color from the stored representative colors. And the acquired color can be determined as the skin color. For example, in FIG. 14, the makeup analyzer 122 may determine s5 as the skin color.

다음으로, 제어부(130)는 입술색을 추출하도록 제어할 수 있다. 구체적으로, 도 15(a)를 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 입술 영역(1501)을 검출할 수 있다. 특히, 영역 검출부(121)는 아랫 입술 영역을 검출할 수 있다. 메이크업 분석부(122)는 입술 영역(1501)에 포함된 복수의 지점들에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 입술색으로 추출할 수 있다.Next, the controller 130 may control to extract the lip color. Specifically, referring to FIG. 15A, the area detector 121 may detect the lip area 1501 from the face included in the image. In particular, the area detector 121 may detect the lower lip area. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to the plurality of points included in the lip region 1501 and calculate an average of the extracted RGB color values. The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as the lip color.

메이크업 분석부(122)는 추출된 입술색을 Lab 색 공간에 분포하여 추출된 입술색과 가장 가까운 색을 검출하고, 검출된 색을 입술색으로 결정할 수 있다. 도 15(b)에 도시된 바와 같이, 메이크업 DB 관리부(110)는 복수개의 대표 입술 색상을 저장하고 있고, 메이크업 분석부(122)는 복수개의 대표 입술 색상 중 검출된 입술색과 가장 가까운 색상을 획득할 수 있고, 획득된 색상을 입술색으로 결정할 수 있다. 예를 들어, 도 15에서 메이크업 분석부(122)는 l7을 입술색으로 결정할 수 있다.The makeup analyzer 122 may detect the color closest to the extracted lip color by distributing the extracted lip color in the Lab color space, and determine the detected color as the lip color. As shown in FIG. 15B, the makeup DB manager 110 stores a plurality of representative lip colors, and the makeup analyzer 122 selects a color closest to the detected lip color among the plurality of representative lip colors. It may be obtained, and the obtained color may be determined as the lip color. For example, in FIG. 15, the makeup analyzer 122 may determine l7 as a lip color.

다음으로, 제어부(130)는 블러셔색을 추출하도록 제어할 수 있다. 구체적으로, 도 16(a)를 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 볼 영역(1601)을 검출할 수 있다. 볼 영역(1601)은 왼쪽 볼 영역과 오른쪽 볼 영역을 모두 포함할 수 있다.Next, the controller 130 may control to extract the bluish color. Specifically, referring to FIG. 16A, the area detector 121 may detect the ball region 1601 in the face included in the image. The ball area 1601 may include both a left ball area and a right ball area.

메이크업 분석부(122)는 블러셔색을 추출하는 경우 장애 제거 동작을 수행할 수 있다. 여기서, 장애 제거 동작은 머리카락 등에 의해 볼 영역이 가려져 블러셔 색상이 잘못 결정되는 경우를 최소화하기 위한 동작일 수 있다. 메이크업 분석부(122)는 장애 제거 동작을 수행하는 경우 이미지를 gray 이미지로 변환한 후 영상의 값이 소정 기준값 보다 작은 영역은 제거할 수 있고, 예를 들어 소정 기준값은 0.35일 수 있으나 이는 예시로 든 것에 불과하므로 이에 제한되지 않는다. 메이크업 분석부(122)는 볼 영역(1601) 중 제거된 영역을 제외한 나머지 영역에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균값을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 블러셔색으로 추출할 수 있다.The makeup analyzer 122 may perform an obstacle removal operation when extracting a bluish color. Here, the obstacle removing operation may be an operation for minimizing the case where the ball region is covered by the hair and the like, and the bluish color is incorrectly determined. The makeup analyzer 122 may remove an area whose image value is smaller than a predetermined reference value after converting the image to a gray image when performing the obstacle removing operation. For example, the predetermined reference value may be 0.35. It is not so limited to just everything. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to the remaining areas except the removed area of the ball area 1601 and calculate an average value of the extracted RGB color values. The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as a bluish color.

메이크업 분석부(122)는 추출된 블러셔색을 Lab 색 공간에 분포하여 추출된 블러셔색과 가장 가까운 색을 검출하고, 검출된 색을 블러셔색으로 결정할 수 있다. 도 16(b)에 도시된 바와 같이, 메이크업 DB 관리부(110)는 복수개의 대표 블러셔 색상을 저장하고 있고, 메이크업 분석부(122)는 복수개의 대표 블러셔 색상 중 검출된 블러셔색과 가장 가까운 색상을 획득할 수 있고, 획득된 색상을 블러셔색으로 결정할 수 있다. 예를 들어, 도 16에서 메이크업 분석부(122)는 b8을 블러셔색으로 결정할 수 있다.The makeup analyzer 122 may detect the color closest to the extracted bluish color by distributing the extracted blusher color in the Lab color space, and determine the detected color as the bluish color. As shown in FIG. 16B, the makeup DB manager 110 stores a plurality of representative blusher colors, and the makeup analyzer 122 selects a color closest to the detected blusher color among the plurality of representative blusher colors. It may be obtained, and the obtained color may be determined as a bluish color. For example, in FIG. 16, the makeup analyzer 122 may determine b8 as a bluish color.

한편, 메이크업 분석부(122)는 볼 영역(1601) 중 Lab 색 공간에서 a 값이 큰 값을 대표 블러셔색으로 결정할 수도 있다.On the other hand, the makeup analyzer 122 may determine a representative bluish color having a large value a in the Lab color space in the ball region 1601.

다음으로, 제어부(130)는 아이섀도우색을 추출하도록 제어할 수 있다.Next, the controller 130 may control to extract the eye shadow color.

구체적으로, 도 17을 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 눈 위 영역(1701)을 검출할 수 있다. 눈 위 영역(1701)은 왼쪽 눈 위 영역과 오른쪽 눈 위 영역을 모두 포함할 수 있다.Specifically, referring to FIG. 17, the area detector 121 may detect an area 1701 above the eye from a face included in the image. The upper eye area 1701 may include both the upper left eye area and the upper right eye area.

메이크업 분석부(122)는 아이섀도우색을 추출하는 경우 앞에서 설명한 바와 같은 장애 제거 동작을 수행할 수 있다. 메이크업 분석부(122)는 눈 위 영역(1601) 중 장애 제거 동작을 통해 제거된 영역을 제외한 나머지 영역에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 아이섀도우색으로 추출할 수 있다. 특히, 메이크업 분석부(122)는 왼쪽 아이섀도우색과 오른쪽 아이섀도우색을 각각 추출할 수 있다. 메이크업 분석부(122)는 추출된 아이섀도우색에 기초하여 대표 섀도우색을 결정할 수 있다. When the makeup analyzer 122 extracts the eye shadow color, the makeup analyzer 122 may perform the obstacle removing operation as described above. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to the remaining areas except for the region removed through the obstacle removing operation in the eye region 1601 and calculate an average of the extracted RGB color values. . The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as an eye shadow color. In particular, the makeup analyzer 122 may extract the left eye shadow color and the right eye shadow color, respectively. The makeup analyzer 122 may determine the representative shadow color based on the extracted eye shadow color.

일 실시 예에 따르면, 메이크업 분석부(122)는 메이크업 주제에 따라 대표 섀도우 색을 상이한 방법으로 결정할 수 있다. 메이크업 분석부(122)는 메이크업 주제가 내추럴(natural) 또는 러블리(lovely)인 경우 추출된 왼쪽 아이섀도우색과 오른쪽 아이섀도우색 중 Lab 색 공간에서 a 값이 큰 값을 대표 섀도우색으로 결정할 수 있다. 메이크업 분석부(122)는 메이크업 주제가 스모키(smoky)인 경우 추출된 왼쪽 아이섀도우색과 오른쪽 아이섀도우색 중 Lab 색 공간에서 L 값이 작은 값을 대표 섀도우색으로 결정할 수 있다. 이는, 메이크업 주제에 따라 추천되는 아이섀도우색이 다르기 때문이며, 메이크업 주제에 따라 상이한 방법으로 대표 섀도우색을 결정함으로써, 메이크업이 잘 되었는지 뿐만 아니라 주제에 맞게 잘 되었는지까지 평가 가능한 이점이 있다.According to an embodiment of the present disclosure, the makeup analyzer 122 may determine the representative shadow color in different ways according to the makeup theme. When the makeup subject is natural or lovely, the makeup analyzer 122 may determine, as a representative shadow color, a value having a larger value in Lab color space among the left eye shadow color and the right eye shadow color extracted. The makeup analyzer 122 may determine, as a representative shadow color, a value having a small L value in a lab color space among the left eye shadow color and the right eye shadow color extracted when the makeup subject is smokey. This is because the recommended eye shadow color is different according to the makeup theme, and by determining the representative shadow color in different ways according to the makeup theme, there is an advantage that can be evaluated whether the makeup is well suited to the theme.

다음으로, 결정된 피부색, 입술색, 블러셔색 및 섀도우색으로 색상 조화를 평가하는 방법을 설명한다.Next, a method of evaluating color harmony with the determined skin color, lip color, blusher color, and shadow color will be described.

메이크업 DB 관리부(110)는 복수개의 제1 샘플 색상과 복수개의 제2 샘플 색상을 포함하며, 복수개의 제1 샘플 색상 중 어느 하나와 복수개의 제2 샘플 색상 중 어느 하나로 구성되는 한 쌍의 샘플 색상에 점수 데이터가 맵핑되는 점수 테이블을 저장하고 있을 수 있다.The makeup DB manager 110 includes a plurality of first sample colors and a plurality of second sample colors, and a pair of sample colors configured by any one of the plurality of first sample colors and the plurality of second sample colors. The score table to which the score data is mapped may be stored.

예를 들어, 도 18(a)를 참조하면, 메이크업 DB 관리부(110)는 복수개의 피부색과 복수개의 입술색을 맵핑하고 그에 대응하는 점수 나타내는 피부-입술 점수 테이블을 저장하고 있을 수 있다. 메이크업 분석부(122)는 결정된 피부색과 결정된 입술색을 피부-입술 점수 테이블에서 검색하고, 검색된 피부색과 입술색에 맵핑된 점수를 획득할 수 있고, 획득된 점수를 피부&입술 조화 점수로 판단할 수 있다.For example, referring to FIG. 18A, the makeup DB manager 110 may map a plurality of skin colors and a plurality of lip colors and store a skin-lip score table indicating scores corresponding thereto. The makeup analyzer 122 may search the determined skin color and the determined lip color in the skin-lip score table, obtain a score mapped to the searched skin color and the lip color, and determine the obtained score as the skin & lips harmony score. Can be.

마찬가지로, 도 18(b)를 참조하면, 메이크업 DB 관리부(110)는 복수개의 피부색과 복수개의 블러셔색을 맵핑하고 그에 대응하는 점수 나타내는 피부-블러셔 점수 테이블을 저장하고 있을 수 있다. 메이크업 분석부(122)는 피부-블러셔 점수 테이블에서 결정된 피부색과 결정된 블러셔색을 검색하고, 검색된 피부색과 블러셔색에 맵핑된 점수를 획득할 수 있고, 획득된 점수를 피부&블러셔 조화 점수로 판단할 수 있다.Similarly, referring to FIG. 18B, the makeup DB manager 110 may store a skin-blusher score table that maps a plurality of skin colors and a plurality of blush colors and indicates corresponding scores. The makeup analyzer 122 may search the determined skin color and the determined blush color in the skin-blusher score table, obtain a score mapped to the searched skin color and the blush color, and determine the obtained score as the skin & blusher harmony score. Can be.

다음으로, 피부&아이섀도우 조화 점수를 판단하는 방법을 설명한다. 메이크업 분석부(122)는 도 17을 통해 설명한 방법으로 결정된 대표 섀도우색과 피부 색의 차를 산출할 수 있다. 구체적으로, 메이크업 분석부(122)는 대표 섀도우색과 피부 색의 a값의 차와 L값의 차를 각각 산출하고, 산출된 a값의 차와 L값의 차에 기초하여 점수를 판단할 수 있다. 마찬가지로, 메이크업 분석부(122)는 메이크업 주제에 따라 점수를 상이하게 판단할 수 있다.Next, a method of determining the skin & eye shadow harmony score will be described. The makeup analyzer 122 may calculate a difference between the representative shadow color and the skin color determined by the method described with reference to FIG. 17. In detail, the makeup analyzer 122 may calculate a difference between the a value of the representative shadow color and the skin color and a difference between the L value, and determine the score based on the calculated difference between the a value and the L value. have. Similarly, the makeup analyzer 122 may determine the score differently according to the makeup subject.

이와 같이, 메이크업 분석부(122)는 아이섀도우의 경우 피부와의 색상 조화 분석을 입술색 및 블러셔의 경우와는 다르게 판단할 수 있다. 이는, 블러셔 또는 입술은 메이크업 주제가 상이하더라도 색상 계열이 유사한 경향이 있으나, 아이섀도우의 경우 메이크업 주제에 따라 색상 계열이 완전히 달라질 수 있기 때문이다. 이에 따라, 메이크업의 색상조화 부문을 판단시 보다 정밀하게 색상조화를 평가 가능한 이점이 있다.As such, the makeup analyzer 122 may determine the color matching analysis with the skin in the case of the eye shadow differently from the case of the lip color and the blusher. This is because the blusher or the lips tend to have a similar color series even though the makeup subjects are different, but the eye shadow may be completely different according to the makeup subject. Accordingly, when judging the color harmony section of the makeup, there is an advantage that the color harmony can be more accurately evaluated.

한편, 메이크업 분석부(122)는 피부색, 입술색, 블러셔색 및 섀도우색 중 적어도 하나 이상을 추출할 때, 색상이 추출되지 않는 피부색의 경우 0점으로 판단할 수 있다. On the other hand, when the makeup analysis unit 122 extracts at least one or more of the skin color, lip color, blush color and shadow color, it can be determined as a zero point for the skin color is not extracted.

무선 통신부(140)는 색상조화 부문을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. The wireless communication unit 140 may transmit the evaluation result signal to the mobile terminal 10 after evaluating the color matching section, and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 14는 색상조화 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 피부&입술 조화, 피부&블러셔 조화 및 피부&아이섀도우 조화에 대한 평가 결과를 표시할 수 있다. 그러나, 도 14에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.14 may be an exemplary diagram illustrating a makeup evaluation result for a color matching unit. The display unit 14 may display evaluation results for skin & lip harmony, skin & blusher harmony and skin & eye shadow harmony. However, the method of showing the evaluation result shown in FIG. 14 is merely exemplary.

다음으로, 도 20은 본 발명의 실시 예에 따른 입술 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 21은 본 발명의 실시 예에 따른 입술 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIG. 20 is a view for explaining an evaluation algorithm applied to the evaluation of the lips section according to an embodiment of the present invention, and FIG. 21 is a view to explain a method for displaying the evaluation result of the lips section according to an embodiment of the present invention. It is an exemplary drawing for.

영역 검출부(121)는 이미지에 포함된 얼굴에서 입술 영역(2001)을 검출할 수 있다. 검출된 입술 영역은 도 20(a)에 도시된 바와 같을 수 있다.The area detector 121 may detect the lip area 2001 from the face included in the image. The detected lip region may be as shown in FIG. 20 (a).

메이크업 평가부(120)는 입술 영역(2001)의 메이크업과 관련하여, 입술 균일성과 입술 건조도를 평가할 수 있다. 여기서, 입술 균일성은 입술 색상의 균일성을 나타내는 것으로 입술에 메이크업이 고르게 잘 되었는지를 나타내는 항목일 수 있다. 입술 건조도는 입술이 촉촉한 상태로 메이크업이 잘 되었는지를 나타내는 항목일 수 있다.The makeup evaluator 120 may evaluate lip uniformity and lip dryness in relation to the makeup of the lip region 2001. Here, the lip uniformity may indicate a uniformity of the lip color and may be an item indicating whether makeup is evenly performed on the lips. Lip dryness may be an item indicating whether makeup is well performed while the lips are moist.

먼저, 메이크업 평가부(120)가 입술 균일성을 평가하는 방법을 설명한다. 메이크업 분석부(122)는 검출된 입술 영역(2001)을 Lab 색 공간으로 변환하고, L 공간에 있는 영상에서 임계값 설정을 통해 입술 영역 중 반사 영역의 영상을 획득할 수 있다. 예를 들어, 메이크업 분석부(122)는 L 공간에 있는 영상에서 L 값이 기 설정된 범위에 포함되는 픽셀들로 구성되는 영역을 검출하고, 검출된 영역을 반사 영역으로 결정할 수 있다.First, the makeup evaluation unit 120 will be described how to evaluate the uniformity of the lips. The makeup analyzer 122 may convert the detected lip region 2001 into a lab color space, and acquire an image of the reflection region of the lip region by setting a threshold value in the image in the L space. For example, the makeup analyzer 122 may detect a region composed of pixels in which an L value is included in a preset range in an image in the L space, and determine the detected region as a reflection region.

도 20(b)는 메이크업 분석부(122)에 의해 결정된 반사 영역을 나타내는 예시 도면일 수 있다. 단계 1에서 반사 영역(2002)의 크기가 가장 크고, 단계 5로 갈수록 반사 영역(2002)의 크기가 감소되도록 도시되어 있다.FIG. 20B may be an exemplary view illustrating a reflection area determined by the makeup analyzer 122. It is shown that the size of the reflective area 2002 is the largest in step 1 and the size of the reflective area 2002 decreases toward step 5.

메이크업 분석부(122)는 도 20(a)에 도시된 바와 같은 이미지에서 입술 영역의 크기를 산출하고, 도 20(b)에 도시된 바와 같은 이미지에서 검출된 반사 영역의 크기를 산출할 수 있다.The makeup analyzer 122 may calculate the size of the lip area in the image as shown in FIG. 20 (a) and calculate the size of the reflection area detected in the image as shown in FIG. 20 (b). .

메이크업 분석부(122)는 입술 영역의 크기 대비 반사 영역의 크기의 비율을 산출할 수 있다. 메이크업 분석부(122)는 산출된 크기의 비율에 기초하여 입술의 균일성을 평가할 수 있다. 즉, 메이크업 분석부(122)는 단계 1에 도시된 입술의 경우 입술의 균일성을 높게 평가하고, 단계 5로 갈수록 입술의 균일성을 낮게 평가할 수 있다.The makeup analyzer 122 may calculate a ratio of the size of the reflective area to the size of the lip area. The makeup analyzer 122 may evaluate the uniformity of the lips based on the ratio of the calculated size. That is, the makeup analyzer 122 may evaluate the uniformity of the lips in the case of the lips shown in step 1, and may evaluate the uniformity of the lips toward the step 5.

유사하게, 메이크업 평가부(120)는 입술 건조도를 평가할 수 있다.Similarly, the makeup evaluator 120 may evaluate a lip dryness.

메이크업 분석부(122)는 입술 영역을 검출하고, 도 20(a)에 도시된 바와 같은 입술 영역 이미지(2001)를 획득할 수 있다.The makeup analyzer 122 may detect a lip region and acquire an lip region image 2001 as illustrated in FIG. 20 (a).

메이크업 분석부(122)는 획득된 입술 영역 이미지에 하이 패스 필터(high pass filter)를 적용한 필터링 이미지를 획득할 수 있다. 메이크업 분석부(122)는 필터링 이미지 중 R 공간에 있는 이미지에서 임계값 설정을 통해 입술 영역의 세로 주름을 나타내는 마스크 이미지를 획득할 수 있다. 즉, 메이크업 분석부(122)는 입술 영역 중 R 값이 기 설정된 범위체 포함되는 필셀로 구성되는 영역을 검출하고, 검출된 영역을 나타내는 주름 영역(2002)으로 결정할 수 잇다. 주름 영역(2002)은 도 20(b)에 도시된 예시와 유사하게 단계적으로 획득될 수 있다.The makeup analyzer 122 may acquire a filtering image in which a high pass filter is applied to the acquired lip region image. The makeup analyzer 122 may acquire a mask image representing the vertical wrinkles of the lip region by setting a threshold value in the image in the R space among the filtered images. That is, the makeup analyzer 122 may detect a region composed of a pill cell having an R range among the lip regions, and determine the wrinkle region 2002 indicating the detected region. The wrinkled area 2002 may be obtained stepwise, similar to the example shown in FIG. 20 (b).

메이크업 분석부(122)는 도 20(a)에 도시된 바와 같은 이미지에서 입술 영역의 크기를 산출하고, 도 20(b)에 도시된 바와 같은 이미지에서 주름 영역(2002)의 크기를 산출할 수 있다.The makeup analyzer 122 may calculate the size of the lip area in the image as shown in FIG. 20 (a) and calculate the size of the wrinkle area 2002 in the image as shown in FIG. 20 (b). have.

메이크업 분석부(122)는 입술 영역의 크기 대비 주름 영역의 크기의 비율을 산출할 수 있다. 메이크업 분석부(122)는 산출된 크기의 비율에 기초하여 입술의 건조도를 평가할 수 있다. 즉, 메이크업 분석부(122)는 단계 1에 도시된 입술의 경우 크기의 비율이 크게 산출되며 입술의 건조도를 높게 평가하고, 단계 5로 갈수록 크기의 비율이 낮게 산출되며 입술의 건조도를 낮게 평가할 수 있다.The makeup analyzer 122 may calculate a ratio of the size of the wrinkle area to the size of the lip area. The makeup analyzer 122 may evaluate the dryness of the lips based on the ratio of the calculated size. That is, the makeup analysis unit 122 calculates a large ratio of the size of the lips in the case of the lips shown in step 1, and evaluates the dryness of the lips high. Can be evaluated

도 20에서 반사 영역(2002)과 주름 영역(2002)이 동일한 것처럼 설명하였으나, 이는 설명의 편의를 위해 하나의 예시를 든 것에 불과하며, 하나의 이미지에서 반사 영역(2002)과 주름 영역(2002)은 상이하게 검출될 수 있고, 이에 따라 입술 균일성과 일술 건조도는 상이하게 평가될 수 있다.In FIG. 20, the reflective region 2002 and the wrinkled region 2002 are described as if they are the same. However, this is merely an example for convenience of description, and the reflective region 2002 and the wrinkled region 2002 in one image are illustrated. Can be detected differently, so that the lip uniformity and dryness can be evaluated differently.

그러나, 앞에서 설명한 입술 부문 평가 방법은 예시로 든 것에 불과하므로 이에 제한될 필요는 없다.However, the method of evaluating the lip section described above is merely an example and need not be limited thereto.

무선 통신부(140)는 입술 부문을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. The wireless communication unit 140 may evaluate the lip section and then transmit the evaluation result signal to the mobile terminal 10, and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 21은 입술 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 입술 균일성에 대한 평가 결과를 표시할 수 있다. 디스플레이부(14)는 입술 균일성에 대응하는 점수와 입술 건조도에 대응하는 점수를 각각 표시할 수 있다. 그러나, 도 21에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.21 may be an exemplary diagram illustrating a result of evaluating makeup for a lip section. The display unit 14 may display an evaluation result of the lip uniformity. The display unit 14 may display a score corresponding to lip uniformity and a score corresponding to lip dryness, respectively. However, the method of showing the evaluation result shown in FIG. 21 is merely exemplary.

다음으로, 도 22는 본 발명의 실시 예에 따른 잡티 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 23은 본 발명의 실시 예에 따른 잡티 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIG. 22 is a view for explaining an evaluation algorithm applied when evaluating a blemish section according to an embodiment of the present invention, and FIG. 23 is a view for explaining a method of displaying an evaluation result of a blemish section according to an embodiment of the present invention. It is an exemplary drawing for.

영상 검출부(121)는 이미지를 획득할 수 있고, 획득한 이미지에 포함된 얼굴 영역을 검출할 수 있다. 예를 들어, 영상 검출부(121)는 도 22(a)에 도시된 바와 같이 얼굴 영역을 검출할 수 있다.The image detector 121 may acquire an image and detect a face region included in the acquired image. For example, the image detector 121 may detect a face region as shown in FIG. 22A.

영상 검출부(121)는 검출된 얼굴 영역에서 볼 영역(2201)을 검출할 수 있고, 볼 영역(2201)은 왼쪽 볼 영역과 오른쪽 볼 영역을 포함할 수 있다. 예를 들어, 영상 검출부(121)는 도 22(b)에 도시된 바와 같이 얼굴 영역에서 볼 영역(2201)을 검출할 수 있다.The image detector 121 may detect the ball area 2201 in the detected face area, and the ball area 2201 may include a left ball area and a right ball area. For example, as illustrated in FIG. 22B, the image detector 121 may detect the ball area 2201 in the face area.

영상 검출부(121)는 검출된 얼굴 영역에서 턱 영역(2202)을 검출할 수 있다. 메이크업 분석부(122)는 턱 영역(2202)에 포함된 모든 픽셀을 Lab 공간으로 변환하고, 변환된 Lab 공간에서 L, a 및 b 각각의 평균값을 산출하여 피부의 평균 Lab 값을 산출할 수 있다. The image detector 121 may detect the jaw region 2202 in the detected face region. The makeup analyzer 122 may convert all pixels included in the jaw region 2202 into a lab space and calculate average values of L, a, and b in the converted lab space to calculate an average Lab value of the skin. .

메이크업 분석부(122)는 평균 Lab 값을 RGB 값으로 변환하여 피부의 RGB 평균값을 산출할 수 있다.The makeup analyzer 122 may calculate an RGB average value of the skin by converting an average Lab value into an RGB value.

다음으로, 메이크업 분석부(122)는 잡티 대상 영역을 설정할 수 있다. 구체적으로, 메이크업 분석부(122)는 얼굴 영역을 포함하는 이미지를 Lab 색공간으로 변환하고, 변환된 Lab와 앞에서 산출한 피부의 평균 Lab 값의 차에 대응하는 갭 이미지를 획득할 수 있다.Next, the makeup analyzer 122 may set the blemish target area. In detail, the makeup analyzer 122 may convert an image including a face region into a lab color space, and acquire a gap image corresponding to a difference between an average Lab value of the transformed Lab and the skin previously calculated.

메이크업 분석부(122)는 갭 이미지에 포함된 복수의 픽셀들 각각을 기준으로 옆(좌측 또는 우측)에 위치한 픽셀간의 차에 대응하는 좌우 갭 이미지를 획득하고, 갭 이미지에 포함된 복수의 픽셀들 각각을 기준으로 위 또는 아래에 위치한 픽셀 간의 차에 대응하는 상하 갭 이미지를 획득할 수 있다.The makeup analyzer 122 acquires a left and right gap image corresponding to a difference between pixels positioned next to each other (left or right) based on each of the plurality of pixels included in the gap image, and the plurality of pixels included in the gap image. An upper and lower gap image corresponding to a difference between pixels positioned above or below each other may be obtained based on each reference.

메이크업 분석부(122)는 좌우 갭 이미지의 픽셀 값을 제곱과 상하 갭 이비지의 픽셀 값을 제곱의 합에 대응하는 색상차 이미지를 획득할 수 있다. 메이크업 분석부(122)는 색상차 이미지에서 픽셀값이 기 설정된 임계값 보다 큰 지점들로 구성되는 대상 영역을 획득할 수 있다.The makeup analyzer 122 may acquire a color difference image corresponding to a sum of squares of pixel values of the left and right gap images and squares of pixel values of the upper and lower gap images. The makeup analyzer 122 may acquire a target area including points at which pixel values are larger than a preset threshold value in the color difference image.

메이크업 분석부(122)는 대상 영역에 모폴로지 연산(morphological operation)을 수행하여 클러스터링(clustering)된 영역을 도 22(d)에 도시된 바와 같이 잡티 대상 영역(2203)으로 설정할 수 있다. The makeup analyzer 122 may set the clustered region as the blemish target region 2203 by performing a morphological operation on the target region, as shown in FIG. 22 (d).

메이크업 분석부(122)는 잡티 대상 영역(2203)에서 픽셀값이 기 설정된 임계값 이상 차이나는 이질점(2213, 2223, 2233)을 획득할 수 있다. 특히, 도 22(e)에 도시된 바와 같이, 메이크업 분석부(122)는 볼 영역(2201) 내부에서 획득되는 이질점(2213, 2223)을 잡티로 인식할 수 있다.The makeup analyzer 122 may acquire heterogeneous points 2213, 2223, and 2233 in which the pixel values differ from the blemish target area 2203 by more than a preset threshold. In particular, as illustrated in FIG. 22E, the makeup analyzer 122 may recognize disparate points 2213 and 2223 acquired inside the ball region 2201 as blemishes.

메이크업 분석부(122)는 볼 영역(2201)의 크기와, 잡티로 인식된 이질점(2213, 2223)의 크기를 각각 검출하고, 볼 영역(2201)의 크기 대비 이질점(2213, 2223)의 크기 비율을 산출할 수 있다. 메이크업 분석부(122)는 산출된 크기 비율에 기초하여 피부 균일성을 평가할 수 있다. 예를 들어, 메이크업 분석부(122)는 크기 비율이 제1 기준값(예를 들어, 0%)에서 제2 기준값(예를 들어, 5%) 사이에 속하면 5점, 제2 기준값(예를 들어, 5%)에서 제3 기준값(예를 들어, 10%) 사이에 속하면 3점, 제3 기준값(예를 들어, 10%)에서 제4 기준값(예를 들어, 20%) 사이에 속하면 1점으로 결정할 수 있다.The makeup analyzer 122 detects the size of the ball area 2201 and the sizes of the heterogeneous points 2213 and 2223 recognized as blemishes, respectively, and compares the sizes of the heterogeneous points 2213 and 2223 to the size of the ball area 2201. The size ratio can be calculated. The makeup analyzer 122 may evaluate skin uniformity based on the calculated size ratio. For example, the makeup analyzer 122 may score 5 points if the size ratio falls between the first reference value (eg, 0%) and the second reference value (eg, 5%). For example, between 5%) and the third reference value (eg, 10%), 3 points, and between the third reference value (eg, 10%) and the fourth reference value (eg, 20%). You can decide by 1 point.

피부 균일성은 얼굴의 피부색이 고르게 메이크업 되었는지를 나타내는 것으로, 잡티, 점 또는 주름 등과 같은 결점이 보이지 않도록 메이크업 커버가 잘 잘되었는지를 나타내는 지표일 수 있다.Skin uniformity indicates whether the skin color of the face is evenly makeup, and may be an index indicating whether the makeup cover is well done so that defects such as blemishes, spots, or wrinkles are not seen.

무선 통신부(140)는 잡티 부문을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. The wireless communication unit 140 may evaluate the blemish section and then transmit an evaluation result signal to the mobile terminal 10, and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 23은 잡티 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 잡티에 대한 평가 결과를 표시할 수 있다. 그러나, 도 23에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.FIG. 23 may be an exemplary diagram illustrating a makeup evaluation result for a blemish section. FIG. The display unit 14 may display an evaluation result for the blemishes. However, the method of showing the evaluation result shown in FIG. 23 is merely exemplary.

다시, 도 4를 설명한다.4 will be described again.

메이크업 서버(100)는 메이크업을 평가한 평가 결과 신호를 이동 단말기(10)로 전송할 수 있다(S21). The makeup server 100 may transmit an evaluation result signal of evaluating makeup to the mobile terminal 10 (S21).

이와 같이 눈썹 부문, 다크서클 부문, 색상조화 부문, 입술 부문, 잡티 부문 등 세부 평가 부문별로 평가된 점수가 합해져서 메이크업 총점이 도출될 수 있다. 실시예에 따라서는 각각의 세부 평가 부문이 총점에 기여하는 비율이 메이크업 주제별로 다르게 설정될 수도 있다. 예를 들어, 메이크업 주제가 내추럴인 경우 총점은 다크서클 부문의 점수가 60%이고, 나머지 눈썹 부문, 색상조화 부문, 입술 부문, 잡티 부문에 대한 점수가 각각 10% 비율로 반영되어 산출되고, 메이크업 주제가 스모키인 경우 총점은 색상조화 부문이 35%이고, 입술 부문이 40%이고, 눈썹 부문이 15%이고, 다크서클 부문이 5%이고, 잡티 부문이 5%인 비율로 반영되어 산출될 수 있다.In this way, the total scores of the eyebrow section, dark circle section, color harmony section, lip section, and blemish section may be combined to derive makeup total scores. According to the exemplary embodiment, the ratio of each detailed evaluation section to the total score may be set differently for each makeup subject. For example, if the makeup theme is natural, the total score is calculated based on 60% of the score of the dark circle and 10% of the scores of the remaining eyebrow, color harmony, lip and blemishes. In the case of Smokey, the total score can be calculated by reflecting 35% of color matching, 40% of lip, 15% of eyebrows, 5% of dark circles, and 5% of blemishes.

이동 단말기(10)의 디스플레이부(14)는 수신된 평가 결과 신호에 기초하여 메이크업 평가결과를 표시할 수 있다(S23).The display unit 14 of the mobile terminal 10 may display the makeup evaluation result based on the received evaluation result signal (S23).

디스플레이부(14)는 도 24에 도시된 바와 같은 메이크업 결과를 표시할 수 있다. The display unit 14 may display the makeup result as shown in FIG. 24.

즉, 디스플레이부(14)는 메이크업 평가 부문 각각에 대한 점수와, 총점을 표시할 수 있다.That is, the display unit 14 may display a score and a total score for each makeup evaluation section.

또는, 디스플레이부(14)는 도 10, 도 13, 도 19, 도 21 및 도 23에 도시된 바와 같이 메이크업 평가결과를 표시할 수 있다. 특히, 디스플레이부(14)는 도 24에 도시된 바와 같은 복수의 평가 부문 중 어느 하나의 부문이 선택되면 선택된 부문에 대한 세부 평가 결과로 도 10, 도 13, 도 19, 도 21 또는 도 23에 도시된 바와 같은 평가 결과를 표시할 수 있다.Alternatively, the display unit 14 may display the makeup evaluation result as shown in FIGS. 10, 13, 19, 21, and 23. In particular, when any one of the plurality of evaluation sectors as shown in FIG. 24 is selected, the display unit 14 may display detailed results of the selected sector as shown in FIG. 10, 13, 19, 21, or 23. Evaluation results as shown can be displayed.

한편, 앞에서는 메이크업 서버(100)가 메이크업 평가를 수행하는 것으로 설명하였으나, 이는 설명의 편의를 위해 예시로 든 것에 불과하다. 이동 단말기(10)가 이미지를 획득하여 메이크업 평가를 직접 수행할 수도 있고, 이 경우 메이크업 서버(100)로부터 메이크업 평가와 관련된 데이터를 수신할 수 있다.In the meantime, the makeup server 100 has been described as performing the makeup evaluation, but this is merely exemplified for convenience of description. The mobile terminal 10 may directly perform makeup evaluation by acquiring an image, and in this case, may receive data related to makeup evaluation from the makeup server 100.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 이동 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer readable codes on a medium in which a program is recorded. The computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. There is this. In addition, the computer may include a controller 180 of the mobile terminal. Accordingly, the above detailed description should not be interpreted as limiting in all aspects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

A mobile terminal for capturing an image and transmitting the photographed image to a make-up server; And
Makeup DB management unit for storing at least one or more algorithms used for the make-up evaluation,
An area detector detecting a face area in the image;
A makeup analyzer for evaluating makeup by applying the stored algorithm to the detected face region;
A makeup server having a wireless communication unit configured to transmit an evaluation result signal including the result information of evaluating the makeup to the mobile terminal,
The mobile terminal
Displays an evaluation result according to the received evaluation result signal,
The makeup analysis unit
And a makeup evaluation system for evaluating the makeup by applying different evaluation algorithms for each of the face regions.

The method of claim 1,
The area detector
Detecting an area corresponding to a first part of the face included in the image and an area corresponding to a second part of the face,
The makeup analysis unit applies a different algorithm to the region corresponding to the first portion and the region corresponding to the second portion.

The method of claim 1,
The algorithm is
And an algorithm using an RGB value of at least one pixel constituting the face area.

The method of claim 3,
The algorithm is
And an algorithm for converting RGB values of at least one pixel constituting the face region to Lab color values and using the converted Lab color values.

The method of claim 4, wherein
The area detector
Detecting a first area and a second area of the face area;
Obtaining a first color corresponding to a Lab color value of the first area, obtaining a second color corresponding to a Lab color value of the second area,
The makeup analysis unit
And a makeup evaluation system for evaluating color harmony of the makeup based on the first color and the second color.

The method of claim 5,
The first area is an area corresponding to the nose,
And the second area is an area corresponding to the ball, an area corresponding to the lip, or an area corresponding to the eye.

The method of claim 5,
The makeup DB management unit
A score including a plurality of first sample colors and a plurality of second sample colors, wherein the score data is mapped to a pair of sample colors including any one of the plurality of first sample colors and any one of the plurality of second sample colors. Save more tables,
The makeup analysis unit
Determining a same color as a first color among the plurality of first sample colors, determining a same color as a second color among the plurality of second sample colors, and obtaining score data mapped to the determined color from the score table. Makeup Evaluation System.

The method of claim 7, wherein
The score table is
A makeup evaluation system comprising a table generated based on input for makeup evaluation of a makeup expert.

The method of claim 3,
The area detector
Detect a lip region in the image,
The makeup analysis unit
Calculating the size of the detected lip area,
Calculating the size of the wrinkle region by acquiring a wrinkle region composed of pixels whose R value is within a predetermined range among the lip regions;
And a makeup evaluation system for evaluating lip dryness through a ratio of the size of the lip region and the size of the wrinkle region.

The method of claim 4, wherein
The area detector
Detect a lip region in the image,
The makeup analysis unit
The RGB value of the pixel constituting the detected lip region is converted into a Lab color value, and the size of the reflective area is calculated by acquiring a reflection area composed of pixels having an L value within a predetermined range from the Lab color value. and,
And a lip color evaluation based on a ratio of the size of the lip region to the size of the reflective region.

The method of claim 4, wherein
The makeup analysis unit
Skin color is determined through Lab average of one of the face areas,
Converts RGB values of pixels constituting the face region to Lab color values, obtains a gap image corresponding to the difference between Lab color values and the determined skin color,
The makeup evaluation system for detecting the blemish target area through the gap image to calculate the blemish ratio.

The method of claim 1,
The area detector
Detect eyebrow area,
The makeup analysis unit
A makeup evaluation system for evaluating eyebrow makeup based on distance or angle from at least one point of the detected eyebrow area to another point.

The method of claim 3,
The area detector
Detect eyebrow area,
The makeup analysis unit
And a makeup evaluation system for evaluating a color of the eyebrow area through an RGB value corresponding to a vertical line passing through at least one point of the detected eyebrow area.

The method of claim 3,
The area detector
Detect eye areas,
The makeup analysis unit
The makeup evaluation system for evaluating the degree of the dark circle through the RGB value corresponding to the horizontal line spaced from the detected eye area and a predetermined distance.