KR102330368B1

KR102330368B1 - Make-up evaluation system and operating method thereof

Info

Publication number: KR102330368B1
Application number: KR1020200002964A
Authority: KR
Inventors: 권도혁; 김상이; 황도식; 김태성; 박두현; 방기훈; 어태준; 전요한; 황세원
Original assignee: 주식회사 엘지생활건강
Priority date: 2018-02-01
Filing date: 2020-01-09
Publication date: 2021-11-23
Also published as: KR20200006157A

Abstract

본 발명은 얼굴 부위마다 알고리즘을 적용하여 정밀한 메이크업 평가를 수행하기 위한 메이크업 평가 시스템 및 그의 동작 방법에 관한 것으로, 이미지를 촬영하고, 촬영한 이미지를 메이크업 서버로 전송하는 이동 단말기 및 메이크업(make-up) 평가에 사용되는 적어도 하나 이상의 알고리즘을 저장하는 메이크업 DB 관리부, 이미지에서 얼굴 영역을 검출하는 영역 검출부, 검출된 얼굴 영역에 저장된 알고리즘을 적용하여 메이크업을 평가하는 메이크업 분석부, 메이크업을 평가한 결과 정보를 포함하는 평가 결과 신호를 이동 단말기로 전송하는 무선 통신부를 갖는 메이크업 서버를 포함하고, 이동 단말기는 수신된 평가 결과 신호에 따른 평가 결과를 표시할 수 있다.The present invention relates to a makeup evaluation system and an operating method thereof for performing precise makeup evaluation by applying an algorithm to each face part, and to a mobile terminal for photographing an image and transmitting the photographed image to a makeup server and a makeup (make-up) system. ) a makeup DB management unit that stores at least one or more algorithms used for evaluation, a region detection unit that detects a face region in an image, a makeup analysis unit that evaluates makeup by applying the algorithm stored in the detected face region, and information on the result of makeup evaluation and a makeup server having a wireless communication unit for transmitting an evaluation result signal including a mobile terminal, wherein the mobile terminal may display an evaluation result according to the received evaluation result signal.

Description

MAKE-UP EVALUATION SYSTEM AND OPERATING METHOD THEREOF

본 발명은 메이크업 평가 시스템 및 그의 동작 방법에 관한 것이다.The present invention relates to a makeup evaluation system and a method of operation thereof.

뷰티 산업(beauty industry)의 발전에 따라, 사용자의 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있다. 이에 따라, 사용자의 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. With the development of the beauty industry, users' interest in cosmetics, make-up, and the like is increasing. Accordingly, the user's desires for cosmetics, makeup, and the like are diversifying.

한편, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업에 대한 선택의 어려움을 가질 수 있다. 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.On the other hand, since each user has different skin color, face shape, appearance of features, etc., makeup suitable for each individual may be different. Accordingly, the user may have difficulty in selecting a makeup suitable for the user. Users may wonder if the makeup went well after makeup and what parts need to be supplemented.

이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지는 개인이 판단해야 하는 한계가 있다. 즉, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.In line with this trend, recently, an application for applying virtual makeup to a user's face has been developed. In this case, although the user's curiosity and interest may be aroused, there is a limit in that an individual must determine which makeup suits the user. That is, it is difficult to provide a customized service for each user.

한편, 최근에는 기계 학습(Machine Learning, ML) 기술, 특히 딥러닝(Deep Learning, DL) 기술이 급속도로 발전하고 있다.Meanwhile, machine learning (ML) technology, particularly deep learning (DL) technology, is rapidly developing in recent years.

기계 학습 기술이란 많은 데이터를 통해 특징을 추출하고, 새로운 데이터가 입력되면 컴퓨터가 스스로 특징에 따라 분류할 수 있는 기술이다.Machine learning technology is a technology that extracts features from a lot of data, and when new data is input, the computer can classify it according to the features on its own.

딥러닝 기술은 기계 학습 기술의 일부이다. 딥러닝 기술은 인공지능을 구성하기 위한 인공신경망 ANN(Artificial Neural Networks)을 기반으로, 빅데이터 속에서 패턴을 발견하여 인간이 사물을 구분하듯 컴퓨터가 데이터를 분류하는 기술을 말한다.Deep learning technology is a part of machine learning technology. Deep learning technology refers to a technology in which a computer classifies data just as a human classifies objects by discovering patterns in big data based on artificial neural networks (ANNs) for constructing artificial intelligence.

딥러닝 기술을 메이크업 서비스에 적용함으로써, 보다 객관적인 데이터를 바탕으로 사용자에게 맞춤형 메이크업을 제공할 수 있는 것으로 생각된다.By applying deep learning technology to makeup services, it is thought that customized makeup can be provided to users based on more objective data.

본 발명은 사용자의 메이크업을 평가하는 메이크업 평가 시스템 및 그의 동작 방법을 제공하고자 한다.An object of the present invention is to provide a makeup evaluation system for evaluating a user's makeup and an operating method thereof.

본 발명은 사용자의 메이크업을 평가하여 메이크업의 우수성을 수치로 제공하는 메이크업 평가 시스템 및 그의 동작 방법을 제공하고자 한다.An object of the present invention is to provide a makeup evaluation system that evaluates a user's makeup and provides the excellence of makeup as a numerical value, and an operating method thereof.

본 발명은 사용자의 얼굴 각 부위별로 메이크업을 평가하는 메이크업 평가 시스템 및 그의 동작 방법을 제공하고자 한다.An object of the present invention is to provide a makeup evaluation system for evaluating makeup for each part of a user's face and an operating method thereof.

본 발명의 실시 예에 따른 메이크업 평가 시스템은 이미지를 촬영하고, 촬영한 이미지를 메이크업 서버로 전송하는 이동 단말기 및 메이크업(make-up) 평가에 사용되는 적어도 하나 이상의 평가 알고리즘을 저장하는 메이크업 DB 관리부, 이미지에서 얼굴 영역을 검출하는 영역 검출부, 검출된 얼굴 영역에 저장된 평가 알고리즘을 적용하여 메이크업을 평가하는 메이크업 분석부, 메이크업을 평가한 결과 정보를 포함하는 평가 결과 신호를 이동 단말기로 전송하는 무선 통신부를 갖는 메이크업 서버를 포함하고, 이동 단말기는 수신된 평가 결과 신호에 따른 평가 결과를 표시할 수 있다.A makeup evaluation system according to an embodiment of the present invention includes a mobile terminal that takes an image and transmits the photographed image to a makeup server, and a makeup DB management unit that stores at least one evaluation algorithm used for make-up evaluation; A region detection unit that detects a face region from an image, a makeup analyzer that evaluates makeup by applying an evaluation algorithm stored in the detected facial region, and a wireless communication unit that transmits an evaluation result signal including information on the result of evaluating makeup to a mobile terminal and a makeup server having a mobile terminal capable of displaying an evaluation result according to the received evaluation result signal.

평가 알고리즘은 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 이용하는 알고리즘을 포함할 수 있다.The evaluation algorithm may include an algorithm using RGB values of at least one or more pixels constituting the face region.

평가 알고리즘은 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 Lab 색상값으로 변환하고, 변환된 Lab 색상값을 이용하는 알고리즘을 포함할 수 있다.The evaluation algorithm may include an algorithm that converts RGB values of at least one or more pixels constituting the face region into Lab color values and uses the converted Lab color values.

영역 검출부는 얼굴 영역 중 제1 영역과 제2 영역을 검출하고, 제1 영역의 Lab 색상값에 대응하는 제1 색상을 획득하고, 제2 영역의 Lab 색상값에 대응하는 제2 색상을 획득하며, 메이크업 분석부는 제1 색상과 제2 색상에 기초하여 메이크업의 색상 조화를 평가할 수 있다.The region detection unit detects a first region and a second region among the face regions, acquires a first color corresponding to the Lab color value of the first region, and acquires a second color corresponding to the Lab color value of the second region, , the makeup analyzer may evaluate the color harmony of the makeup based on the first color and the second color.

제1 영역은 코에 대응하는 영역이고, 제2 영역은 볼에 대응하는 영역, 입술에 대응하는 영역 또는 눈 위에 대응하는 영역일 수 있다.The first region may be a region corresponding to the nose, and the second region may be a region corresponding to the cheek, a region corresponding to the lips, or a region corresponding to the eyes.

메이크업 DB 관리부는 복수개의 제1 샘플 색상과 복수개의 제2 샘플 색상을 포함하며, 복수개의 제1 샘플 색상 중 어느 하나와 복수개의 제2 샘플 색상 중 어느 하나에 맵핑되는 점수 데이터로 구성되는 점수 테이블을 더 저장하고, 메이크업 분석부는 복수개의 제1 샘플 색상 중 제1 색상과 동일한 색상을 결정하고, 복수개의 제2 샘플 색상 중 제2 색상과 동일한 색상을 결정하고, 결정된 색상에 맵핑되는 점수 데이터를 획득할 수 있다.The makeup DB management unit includes a plurality of first sample colors and a plurality of second sample colors, and a score table consisting of score data mapped to any one of a plurality of first sample colors and any one of a plurality of second sample colors further stores, and the makeup analysis unit determines the same color as the first color among the plurality of first sample colors, determines the same color as the second color among the plurality of second sample colors, and obtains score data mapped to the determined color can be obtained

점수 테이블은 메이크업 전문가의 메이크업 평가를 위한 입력에 기초하여 생성된 테이블을 포함할 수 있다.The score table may include a table generated based on an input for makeup evaluation by a makeup expert.

영역 검출부는 이미지에서 입술 영역을 검출하고, 메이크업 분석부는 검출된 입술 영역의 크기를 산출하고, 입술 영역 중 R 값이 기 설정된 범위에 포함되는 픽셀로 구성되는 주름 영역을 획득하여 주름 영역의 크기를 산출하고, 입술 영역의 크기와 주름 영역의 크기의 비를 통해 입술 건조도를 평가할 수 있다.The region detection unit detects a lip region in the image, the makeup analyzer calculates the size of the detected lip region, and obtains a wrinkle region composed of pixels whose R value is included in a preset range among the lip region to determine the size of the wrinkle region It is calculated, and the dryness of the lips can be evaluated through the ratio of the size of the lip area to the size of the wrinkle area.

영역 검출부는 이미지에서 입술 영역을 검출하고, 메이크업 분석부는 검출된 입술 영역을 구성하는 픽셀의 RGB 값을 Lab 색상값으로 변환하고, L 값이 기 설정된 범위에 포함되는 픽셀로 구성되는 반사 영역을 획득하여 반사 영역의 크기를 산출하고, 입술 영역의 크기와 반사 영역의 크기의 비를 통해 입술 색상을 평가할 수 있다.The region detection unit detects a lip region in the image, the makeup analyzer converts the RGB values of pixels constituting the detected lip region into Lab color values, and obtains a reflection region composed of pixels whose L values are included in a preset range Thus, the size of the reflective region can be calculated, and the lip color can be evaluated through the ratio of the size of the lip region to the size of the reflective region.

메이크업 분석부는 얼굴 영역 중 일 영역의 Lab 평균값을 통해 피부색을 결정하고, 얼굴 영역을 구성하는 픽셀의 RGB 값을 Lab 색상값으로 변환하고, Lab 색상값과 결정된 피부색의 차에 해당하는 갭 이미지를 획득하고, 갭 이미지를 통해 잡티 대상 영역을 검출하여 잡티 비율을 산출할 수 있다.The makeup analysis unit determines the skin color through the Lab average value of one of the face regions, converts the RGB values of pixels constituting the face region into Lab color values, and obtains a gap image corresponding to the difference between the Lab color value and the determined skin color. In addition, the blemish rate may be calculated by detecting the blemish target area through the gap image.

영역 검출부는 눈썹 영역을 검출하고, 메이크업 분석부는 검출된 눈썹 영역 중 적어도 일 지점으로부터 다른 지점까지 거리 또는 각도에 기초하여 눈썹 메이크업을 평가할 수 있다.The region detector may detect the eyebrow region, and the makeup analyzer may evaluate the eyebrow makeup based on a distance or angle from at least one point of the detected eyebrow region to another point.

영역 검출부는 눈썹 영역을 검출하고, 메이크업 분석부는 검출된 눈썹 영역 중 적어도 일 지점을 지나는 수직선에 대응하는 RGB 값을 통해 눈썹 영역의 색상을 평가할 수 있다.The region detector may detect the eyebrow region, and the makeup analyzer may evaluate the color of the eyebrow region through RGB values corresponding to a vertical line passing through at least one point among the detected eyebrow regions.

영역 검출부는 눈 영역을 검출하고, 메이크업 분석부는 검출된 눈 영역과 소정 거리 이격된 수평선에 대응하는 RGB 값을 통해 다크서클의 커버 정도를 평가할 수 있다.The region detector may detect the eye region, and the makeup analyzer may evaluate the degree of coverage of the dark circle through RGB values corresponding to a horizontal line spaced apart from the detected eye region by a predetermined distance.

본 발명의 실시 예에 따르면, 얼굴의 각 영역을 검출하여 알고리즘을 적용함으로써 메이크업의 평가가 가능한 이점이 있다. According to an embodiment of the present invention, there is an advantage in that makeup can be evaluated by detecting each region of the face and applying an algorithm.

보다 상세하게는, 사용자마다 얼굴의 크기, 모양 등이 상이하여 동일한 메이크업을 하더라도 어울리는 사람이 있고, 어울리지 않는 사람이 있을 수 있다. 따라서, 본 발명에서는 특히 얼굴 각 부위 영역을 추출하고, 추출된 영역에 알고리즘을 적용하여 사용자의 얼굴 특성을 고려하는 메이크업 평가가 수행될 수 있어 정밀한 메이크업 평가가 가능한 이점이 있다.More specifically, since the size and shape of each user's face is different, there may be a person who suits each user and a person who does not suit even if they wear the same makeup. Therefore, in the present invention, there is an advantage in that accurate makeup evaluation is possible because, in particular, each region of the face is extracted, and an algorithm is applied to the extracted region to perform makeup evaluation in consideration of the user's facial characteristics.

본 발명의 실시 예에 따르면, 얼굴의 각 부위 영역을 추출하고, 추출된 영역마다 상이한 알고리즘을 적용하여 해당 부위마다 메이크업이 잘 되었는지 평가 가능하며, 얼굴 각 부위를 종합한 전체적인 메이크업 점수를 평가 가능한 이점이 있다.According to an embodiment of the present invention, it is possible to extract a region of each part of the face, apply a different algorithm to each of the extracted regions to evaluate whether makeup is done well for each part, and to evaluate the overall makeup score by combining each part of the face There is this.

본 발명의 실시 예에 따르면, 영역의 RGB 값을 이용하여 얼굴 영역을 보다 정확하게 인식 가능한 이점이 있다.According to an embodiment of the present invention, there is an advantage in that the face region can be more accurately recognized using the RGB values of the region.

본 발명의 실시 예에 따르면, 디스플레이부의 특성 등과 관계 없이 동일한 값을 나타내는 Lab 값을 이용하여 메이크업을 평가함으로써, 이동 단말기의 모델 등과 같은 평가 매체에 관계없이 객관적인 메이크업 평가가 가능한 이점이 있다. According to an embodiment of the present invention, by evaluating the makeup using the Lab value indicating the same value regardless of the characteristics of the display unit, there is an advantage in that it is possible to objectively evaluate the makeup regardless of the evaluation medium such as the model of the mobile terminal.

본 발명의 실시 예에 따르면, 단순히 메이크업의 색상을 평가할 뿐만 아니라, 색상 조화, 색상의 균일성 등 세밀한 메이크업 평가가 가능한 이점이 있다.According to an embodiment of the present invention, there is an advantage that not only simply evaluates the color of makeup, but also enables detailed makeup evaluation such as color harmony and color uniformity.

도 1은 본 발명의 실시 예에 따른 메이크업 평가 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 3은 본 발명과 관련된 메이크업 서버를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 메이크업 평가 시스템의 동작 방법을 나타내는 래더 다이어그램이다.
도 5 내지 도 9는 본 발명의 실시 예에 따른 눈썹 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 눈썹 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 11 내지 도 12는 본 발명의 실시 예에 따른 다크서클 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 13은 본 발명의 실시 예에 따른 다크서클 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 14 내지 도 18은 본 발명의 실시 예에 따른 색상조화 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 19는 본 발명의 실시 예에 따른 색상조화 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 20은 본 발명의 실시 예에 따른 입술 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 21은 본 발명의 실시 예에 따른 입술 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 22는 본 발명의 실시 예에 따른 잡티 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이다.
도 23은 본 발명의 실시 예에 따른 잡티 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.
도 24는 본 발명의 실시 예에 따른 메이크업 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.1 is a block diagram illustrating the configuration of a makeup evaluation system according to an embodiment of the present invention.
2 is a block diagram illustrating a mobile terminal related to the present invention.
3 is a block diagram for explaining a makeup server related to the present invention.
4 is a ladder diagram illustrating a method of operating a makeup evaluation system according to an embodiment of the present invention.
5 to 9 are diagrams for explaining an evaluation algorithm applied when evaluating an eyebrow section according to an embodiment of the present invention.
10 is an exemplary view for explaining a method of displaying an evaluation result of an eyebrow section according to an embodiment of the present invention.
11 to 12 are diagrams for explaining an evaluation algorithm applied when evaluating a dark circle sector according to an embodiment of the present invention.
13 is an exemplary view for explaining a method of displaying an evaluation result of a dark circle section according to an embodiment of the present invention.
14 to 18 are diagrams for explaining an evaluation algorithm applied when evaluating a color harmony section according to an embodiment of the present invention.
19 is an exemplary view for explaining a method of displaying an evaluation result of a color harmonization section according to an embodiment of the present invention.
20 is a view for explaining an evaluation algorithm applied when evaluating a lip section according to an embodiment of the present invention.
21 is an exemplary view for explaining a method of displaying an evaluation result of a lip section according to an embodiment of the present invention.
22 is a diagram for explaining an evaluation algorithm applied when evaluating a blemish area according to an embodiment of the present invention.
23 is an exemplary view for explaining a method of displaying an evaluation result of a blemish area according to an embodiment of the present invention.
24 is an exemplary view for explaining a method of displaying a makeup evaluation result according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as "comprises" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다음으로, 도 1 내지 도 24를 참조하여 본 발명의 실시 예에 따른 메이크업(make-up) 평가 시스템 및 그의 동작 방법을 설명한다.Next, a make-up evaluation system and an operating method thereof according to an embodiment of the present invention will be described with reference to FIGS. 1 to 24 .

먼저, 도 1은 본 발명의 실시 예에 따른 메이크업 평가 시스템의 구성을 도시한 블록도이다.First, FIG. 1 is a block diagram illustrating the configuration of a makeup evaluation system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 메이크업 평가 시스템은 이동 단말기(10), 어플리케이션 서버(200) 및 메이크업 서버(100)로 구성될 수 있다.Referring to FIG. 1 , a makeup evaluation system according to an embodiment of the present invention may include a mobile terminal 10 , an application server 200 , and a makeup server 100 .

이동 단말기(10)는 메이크업 평가를 요청할 수 있다. 이동 단말기(10)는 적어도 하나의 메이크업 이미지와 관련하여 메이크업 평가를 요청하고, 메이크업 평가 결과를 표시할 수 있다.The mobile terminal 10 may request a makeup evaluation. The mobile terminal 10 may request a makeup evaluation in relation to at least one makeup image and display a makeup evaluation result.

어플리케이션 서버(200)는 메이크업 평가를 위한 어플리케이션 작동에 필요한 정보를 저장하고 있을 수 있다.The application server 200 may store information required to operate an application for makeup evaluation.

어플리케이션 서버(200)는 메이크업 평가 어플리케이션의 실행에 따라 이동 단말기(10) 및 메이크업 서버(100) 중 적어도 하나 이상과 신호 및 데이터를 송수신할 수 있다.The application server 200 may transmit and receive signals and data with at least one of the mobile terminal 10 and the makeup server 100 according to the execution of the makeup evaluation application.

메이크업 서버(100)는 메이크업 평가에 필요한 데이터를 저장하고 있을 수 있다. 예를 들어, 메이크업 서버(100)는 얼굴의 각 부위를 식별하기 위한 데이터, 메이크업을 평가하기 위한 평가 알고리즘 등을 저장하고 있을 수 있다.The makeup server 100 may store data required for makeup evaluation. For example, the makeup server 100 may store data for identifying each part of the face, an evaluation algorithm for evaluating makeup, and the like.

메이크업 서버(100)는 저장된 데이터에 기초하여 메이크업을 평가하거나, 메이크업 평가에 필요한 정보를 이동 단말기(10) 또는 어플리케이션 서버(200)로 전송할 수 있다. 메이크업 서버(100)는 메이크업의 평가 결과 정보를 포함하는 평가 결과 신호를 이동 단말기(10)로 전송할 수 있다.The makeup server 100 may evaluate makeup based on stored data or transmit information necessary for makeup evaluation to the mobile terminal 10 or the application server 200 . The makeup server 100 may transmit an evaluation result signal including makeup evaluation result information to the mobile terminal 10 .

이동 단말기(10), 어플리케이션 서버(200) 및 메이크업 서버(100)는 상호간에 신호를 송수신할 수 있다. The mobile terminal 10 , the application server 200 , and the makeup server 100 may transmit and receive signals to each other.

이동 단말기(10)는 어플리케이션 서버(200)로 메이크업 평가 요청 신호를 전송할 수 있고, 어플리케이션 서버(200)는 메이크업 평가 요청 신호를 수신하면, 수신된 메이크업 평가 요청 신호에 대응하는 메이크업 이미지를 메이크업 서버(100)로 전송할 수 있다.The mobile terminal 10 may transmit a makeup evaluation request signal to the application server 200, and upon receiving the makeup evaluation request signal, the application server 200 transmits a makeup image corresponding to the received makeup evaluation request signal to the makeup server ( 100) can be transmitted.

일 실시 예에 따르면, 메이크업 서버(100)는 메이크업 평가 요청 신호를 수신하면 저장된 데이터에 기초하여 수신된 이미지의 메이크업을 평가하고, 평가 결과를 어플리케이션 서버(200)로 전송할 수 있다. 어플리케이션 서버(200)는 이동 단말기(10)로 평가 결과를 전송할 수 있다.According to an embodiment, upon receiving the makeup evaluation request signal, the makeup server 100 may evaluate the makeup of the received image based on the stored data, and transmit the evaluation result to the application server 200 . The application server 200 may transmit the evaluation result to the mobile terminal 10 .

그러나, 실시 예에 따라, 어플리케이션 서버(200)와 메이크업 서버(100)는 별개로 분리되지 않고, 하나의 서버로서 이동 단말기(10)와 신호를 송수신할 수 있다. 예를 들어, 어플리케이션 서버(200)는 메이크업 서버(100)에 포함될 수 있다. 이 경우, 이동 단말기(10)는 메이크업 서버(100)에 메이크업 평가 요청 신호를 전송하고, 메이크업 서버(100)는 메이크업을 평가하여 이동 단말기(10)에 평가 결과 데이터를 전송할 수 있다.However, according to an embodiment, the application server 200 and the makeup server 100 are not separately separated, and may transmit and receive signals to and from the mobile terminal 10 as a single server. For example, the application server 200 may be included in the makeup server 100 . In this case, the mobile terminal 10 may transmit a makeup evaluation request signal to the makeup server 100 , and the makeup server 100 may evaluate the makeup and transmit the evaluation result data to the mobile terminal 10 .

다른 실시 예에 따르면, 메이크업 서버(100)는 메이크업 평가 요청 신호를 수신하면 수신된 메이크업 평가 요청 신호와 관련된 데이터를 이동 단말기(10)로 전송하고, 이동 단말기(10)는 수신된 데이터에 기초하여 메이크업을 평가한다.According to another embodiment, upon receiving the makeup evaluation request signal, the makeup server 100 transmits data related to the received makeup evaluation request signal to the mobile terminal 10, and the mobile terminal 10 based on the received data. Evaluate makeup.

본 명세서에서 설명되는 이동 단말기(10)에는 휴대폰, 스마트 폰(smart phone), 컴퓨터(computer), 노트북 컴퓨터(notebook computer), 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device), 디지털 TV, 디지털 사이니지, 화장품 등과 같은 뷰티 관련 제품을 판매하는 매장에 구비되는 디스플레이 장치, 가정 또는 매장 등에 구비되는 스마트미러 등이 포함될 수 있다. The mobile terminal 10 described herein includes a mobile phone, a smart phone, a computer, a notebook computer, a tablet PC, a wearable device, a digital TV, a digital A display device provided in a store that sells beauty-related products such as signage and cosmetics, and a smart mirror provided at home or a store may be included.

다음으로, 이동 단말기(10) 및 메이크업 서버(100)를 구성하는 각 구성요소를 도 2 내지 도 3을 통해 자세히 설명하기로 한다.Next, each component constituting the mobile terminal 10 and the makeup server 100 will be described in detail with reference to FIGS. 2 to 3 .

먼저, 도 2는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.First, FIG. 2 is a block diagram illustrating a mobile terminal related to the present invention.

이동 단말기(10)는 무선 통신부(11), 입력부(12), 카메라(13), 디스플레이부(14), 메모리(15), 전원 공급부(16) 및 제어부(17)를 포함할 수 있다. 이와 같이 도 2에 도시된 구성요소들은 본 발명에 따른 이동 단말기의 이해를 돕기 위해 예시로 든 구성요소로서, 이동 단말기는 위에서 열거된 구성요소들 보다 더 많거나, 또는 더 적은 구성요소들을 가질 수 있다.The mobile terminal 10 may include a wireless communication unit 11 , an input unit 12 , a camera 13 , a display unit 14 , a memory 15 , a power supply unit 16 , and a control unit 17 . As such, the components shown in FIG. 2 are exemplified to help the understanding of the mobile terminal according to the present invention, and the mobile terminal may have more or fewer components than the components listed above. have.

이하, 이동 단말기(10)의 각 구성요소들을 보다 구체적으로 설명한다.Hereinafter, each component of the mobile terminal 10 will be described in more detail.

무선 통신부(11)는 이동 단말기(10)와 다른 이동 단말기(10) 사이, 또는 이동 단말기(100)와 외부 서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 구체적으로, 무선 통신부(11)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나 이상을 포함할 수 있다.The wireless communication unit 11 may include one or more modules that enable wireless communication between the mobile terminal 10 and another mobile terminal 10 or between the mobile terminal 100 and an external server. Specifically, the wireless communication unit 11 may include at least one of a broadcast reception module, a mobile communication module, a wireless Internet module, a short-range communication module, and a location information module.

무선 통신부(11)는 다른 이동 단말기(10) 또는 외부 서버와 신호를 송수신할 수 있다. 예를 들어, 무선 통신부(11)는 어플리케이션 서버(200) 및 메이크업 서버(100) 중 적어도 하나 이상과 신호를 송수신할 수 있다.The wireless communication unit 11 may transmit/receive a signal to/from another mobile terminal 10 or an external server. For example, the wireless communication unit 11 may transmit and receive signals with at least one of the application server 200 and the makeup server 100 .

입력부(12)는 사용자로부터 데이터 또는 명령 등을 수신할 수 있다. 입력부는 푸시키(mechanical key), 터치키(touch key), 음성 인식 등을 통해 입력 신호를 수신할 수 있다. 입력부(12)를 통해 수신된 데이터 또는 명령은 제어명령으로 처리되어, 다른 구성요소로 전달될 수 있다.The input unit 12 may receive data or a command from a user. The input unit may receive an input signal through a mechanical key, a touch key, or voice recognition. Data or commands received through the input unit 12 may be processed as control commands and transmitted to other components.

카메라(13)는 영상 신호 입력을 수신할 수 있다. 영상 신호는 사진과 같은 정지 이미지, 동영상 등을 포함한다. 따라서, 카메라(13)는 사진, 동영상 등을 촬영함으로써 영상 신호 입력을 수신할 수 있다. 예를 들어, 카메라(13)는 사용자의 얼굴 이미지를 촬영할 수 있다.The camera 13 may receive an image signal input. The video signal includes still images such as pictures, moving pictures, and the like. Accordingly, the camera 13 may receive a video signal input by taking a picture, a video, or the like. For example, the camera 13 may capture a face image of the user.

디스플레이부(14)는 이동 단말기(10)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(14)는 사용자에게 제공하는 내용으로, 무선 통신부(11)를 통해 수신되거나 입력부(12)를 통해 입력된 내용 등을 화면에 표시할 수 있다. 또한, 디스플레이부(14)는 이동 단말기(10)에서 구동되는 응용 프로그램의 화면 정보를 표시할 수 있다.The display unit 14 displays (outputs) information processed by the mobile terminal 10 . For example, the display unit 14 may display contents provided to the user, such as contents received through the wireless communication unit 11 or input through the input unit 12 , on the screen. Also, the display unit 14 may display screen information of an application program driven in the mobile terminal 10 .

또는, 디스플레이부(14)는 카메라(13)를 통해 촬영 중이거나 촬영된 이미지를 표시할 수 있다. 예를 들어, 디스플레이부(14)는 카메라(13)를 통해 촬영된 얼굴 이미지를 표시할 수 있다.Alternatively, the display unit 14 may display an image being photographed or photographed through the camera 13 . For example, the display unit 14 may display a face image captured by the camera 13 .

또한, 디스플레이부(14)는 촬영된 얼굴 이미지에 기초하여 메이크업을 평가한 결과 정보를 표시할 수 있다.Also, the display unit 14 may display information as a result of evaluating makeup based on the photographed face image.

한편, 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 입력부(12)로써 기능함과 동시에, 이동 단말기(10)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.On the other hand, the display unit 151 may implement a touch screen by forming a layer structure with the touch sensor or by being integrally formed. Such a touch screen may function as the input unit 12 and provide an output interface between the mobile terminal 10 and the user.

메모리(15)는 이동 단말기(10)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(15)는 이동 단말기(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또는, 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(10)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(10)상에 존재할 수 있다. The memory 15 stores data supporting various functions of the mobile terminal 10 . The memory 15 may store a plurality of application programs (or applications) driven in the mobile terminal 10 , data for operation of the mobile terminal 10 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. Alternatively, at least some of these application programs may exist on the mobile terminal 10 from the time of shipment for basic functions (eg, incoming calls, outgoing functions, message reception, and outgoing functions) of the mobile terminal 10 . .

한편, 이러한 응용 프로그램 중 적어도 하나는 메이크업 평가를 위한 어플리케이션일 수 있다.Meanwhile, at least one of these application programs may be an application for makeup evaluation.

전원공급부(16)는 외부의 전원 또는 내부의 전원을 인가 받아 이동 단말기(10)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.The power supply unit 16 supplies power to each component included in the mobile terminal 10 by receiving external power or internal power. The power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.

제어부(17)는 이동 단말기(10)의 전반적인 동작을 제어한다. 구체적으로, 제어부(17)는 이동 단말기(10)를 구성하는 각 구성요소들의 동작 또는 응용 프로그램과 관련된 동작을 제어할 수 있다. 제어부(17)는 위 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(15)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 제어부(17)는 위 구성요소들 중 적어도 일부를 제어하거나, 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.The controller 17 controls the overall operation of the mobile terminal 10 . Specifically, the controller 17 may control the operation of each component constituting the mobile terminal 10 or the operation related to the application program. The control unit 17 may provide or process information or functions appropriate to the user by processing signals, data, information, etc. input or output through the above components or by driving an application program stored in the memory 15 . The controller 17 may control at least some of the above components or operate at least two or more in combination with each other.

도 2를 통해 설명한 위 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 이동 단말기의 동작, 제어, 또는 제어방법은 메모리(15)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.At least some of the above components described with reference to FIG. 2 may operate in cooperation with each other to implement an operation, control, or control method of a mobile terminal according to various embodiments described below. In addition, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 15 .

다음으로, 도 3은 본 발명과 관련된 메이크업 서버를 설명하기 위한 블록도이다.Next, FIG. 3 is a block diagram for explaining a makeup server related to the present invention.

메이크업 서버(100)는 메이크업 DB 관리부(110), 메이크업 평가부(120), 제어부(130) 및 무선 통신부(140)로 구성될 수 있다.The makeup server 100 may include a makeup DB management unit 110 , a makeup evaluation unit 120 , a control unit 130 , and a wireless communication unit 140 .

먼저, 메이크업 DB 관리부(110)를 설명한다.First, the makeup DB management unit 110 will be described.

메이크업 DB 관리부(110)는 메이크업 평가와 관련된 다양한 데이터를 저장하고 있을 수 있다. The makeup DB management unit 110 may store various data related to makeup evaluation.

메이크업 DB 관리부(110)는 메이크업을 평가하기 위해 얼굴 영역에 적용되는 적어도 하나 이상의 평가 알고리즘을 저장하고 있을 수 있다. 여기서, 얼굴 영역은 이미지에 포함된 얼굴 영역으로, 후술하는 영역 검출부(121)에 의해 검출되는 얼굴 영역을 의미할 수 있다. 또한, 얼굴 영역은 얼굴 전체를 포함하는 영역과, 얼굴을 구성하는 얼굴 각 부위 영역을 포함할 수 있다. 예를 들어, 얼굴 영역은 얼굴 전체 영역, 눈썹 영역, 눈 영역, 코 영역, 볼 영역, 이미 영역, 턱 영역 및 입술 영역 등 중 적어도 하나 이상을 포함할 수 있다.The makeup DB manager 110 may store at least one or more evaluation algorithms applied to the face region in order to evaluate the makeup. Here, the face region is a face region included in the image, and may refer to a face region detected by the region detector 121 to be described later. Also, the face region may include a region including the entire face and a region of each part of the face constituting the face. For example, the face region may include at least one of an entire face region, an eyebrow region, an eye region, a nose region, a cheek region, an image region, a chin region, and a lip region.

평가 알고리즘은 이미지에 포함된 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 이용하는 알고리즘일 수 있다. 즉, 이미지는 RGB 값으로 표현되는 이미지일 수 있고, 평가 알고리즘은 얼굴 영역을 구성하는 픽셀의 RGB 값을 이용하는 알고리즘일 수 있다.The evaluation algorithm may be an algorithm using RGB values of at least one or more pixels constituting the face region included in the image. That is, the image may be an image expressed by RGB values, and the evaluation algorithm may be an algorithm using RGB values of pixels constituting the face region.

또한, 평가 알고리즘은 이미지에 포함된 얼굴 영역을 구성하는 적어도 하나 이상의 픽셀의 RGB 값을 Lab 색상값으로 변환하고, 변환된 Lab 색상값을 이용하는 알고리즘일 수 있다. 즉, 평가 알고리즘은 RGB 값으로 표현되는 이미지를 Lab 색 공간으로 변환하고, Lab 색상값을 통해 메이크업을 평가하는 알고리즘일 수 있다. Lab 색상값은 출력 매체에 따라 색이 달라지지 않기 때문에, Lab 색상값을 이용하는 평가 알고리즘을 적용시 출력 매체와 관계없이 일관된 평가가 가능하여, 메이크업 평가의 신뢰성을 확보 가능한 이점이 있다.Also, the evaluation algorithm may be an algorithm that converts RGB values of at least one or more pixels constituting a face region included in an image into Lab color values and uses the converted Lab color values. That is, the evaluation algorithm may be an algorithm that converts an image expressed in RGB values into a Lab color space and evaluates makeup through Lab color values. Since the color of the Lab color value does not change depending on the output medium, when the evaluation algorithm using the Lab color value is applied, consistent evaluation is possible regardless of the output medium, thereby securing the reliability of makeup evaluation.

또한, 메이크업 DB 관리부(110)는 메이크업 평가에 사용되는 점수 테이블(도 18 참고)을 저장하고 있을 수 있다. 구체적으로, 점수 테이블은 복수개의 제1 샘플 색상과 복수개의 제2 샘플 색상을 포함할 수 있다. 여기서, 제1 샘플 색상은 피부 색상을 대표하는 샘플 색상이고, 제2 샘플 색상은 입술 색상, 블러셔 색상 또는 아이섀도우 색상을 대표하는 샘플 색상일 수 있다.Also, the makeup DB management unit 110 may store a score table (refer to FIG. 18 ) used for makeup evaluation. Specifically, the score table may include a plurality of first sample colors and a plurality of second sample colors. Here, the first sample color may be a sample color representing a skin color, and the second sample color may be a sample color representing a lip color, a blush color, or an eye shadow color.

복수개의 제1 샘플 색상 각각과 복수개의 제2 샘플 색상 각각은 팹핑되어 있을 수 있고, 한 쌍의 제1 샘플 색상과 제2 샘플 색상에는 점수 데이터가 맵핑되어 있을 수 있다. 즉, 점수 테이블은 복수개의 제1 샘플 색상 중 어느 하나와 복수개의 제2 샘플 색상 중 어느 하나에 맵핑되는 점수 데이터들로 구성될 수 있다.Each of the plurality of first sample colors and each of the plurality of second sample colors may be mapped, and score data may be mapped to the pair of first and second sample colors. That is, the score table may be composed of score data mapped to any one of a plurality of first sample colors and any one of a plurality of second sample colors.

이와 같은, 점수 테이블은 메이크업의 색상 조화를 평가하는 경우 사용될 수 있다. 예를 들어, 메이크업 분석부(122)는 사용자의 얼굴 영역에서 제1 색상과, 제2 색상을 검출하고, 제1 색상과 제2 색상에 기초하여 메이크업의 색상 조화를 평가할 수 있다. 구체적으로, 메이크업 분석부(122)는 제1 색상과 동일한 색상을 복수개의 제1 샘플 색상에서 검색하고, 제2 색상과 동일한 색상을 복수개의 제2 샘플 색상에서 검색하고, 검색된 한 쌍의 색상에 맵핑되어 있는 점수를 획득하여 색상 조화를 평가할 수 있다.Such a score table may be used when evaluating color harmony of makeup. For example, the makeup analyzer 122 may detect the first color and the second color in the user's face region, and evaluate the color harmony of the makeup based on the first color and the second color. Specifically, the makeup analysis unit 122 searches for the same color as the first color from the plurality of first sample colors, searches for the same color as the second color from the plurality of second sample colors, and searches for the same color as the first color from the plurality of second sample colors. Color harmony can be evaluated by acquiring a mapped score.

또한, 일 실시 예에 따르면, 점수 테이블은 메이크업 전문가의 메이크업 평가를 위한 입력에 기초하여 생성된 테이블일 수 있다. 즉, 점수 테이블은 메이크업 전문가들이 미리 색상 조합에 대하여 점수를 입력해둔 테이블일 수 있다.Also, according to an embodiment, the score table may be a table generated based on an input for makeup evaluation by a makeup expert. That is, the score table may be a table in which makeup experts have previously input scores for color combinations.

후술하는 메이크업 분석부(122)가 메이크업 전문가의 메이크업 평가를 위한 입력에 기초하여 생성된 테이블을 이용하여 메이크업을 평가하는 경우, 전문성에 기반한 메이크업 평가 결과를 사용자에게 제공 가능한 이점이 있다. 이에 따라, 메이크업 평가 시스템의 신뢰도가 증가될 수 있다.When the makeup analysis unit 122, which will be described later, evaluates makeup using a table generated based on an input for makeup evaluation by a makeup expert, there is an advantage in that it is possible to provide a makeup evaluation result based on expertise to a user. Accordingly, the reliability of the makeup evaluation system may be increased.

다음으로, 메이크업 평가부(120)를 구체적으로 설명한다.Next, the makeup evaluation unit 120 will be described in detail.

메이크업 평가부(120)는 영역 검출부(121) 및 메이크업 분석부(122)로 구성될 수 있다.The makeup evaluation unit 120 may include a region detection unit 121 and a makeup analysis unit 122 .

영역 검출부(121)는 사진 또는 동영상에 포함된 얼굴 이미지를 획득할 수 있다. 구체적으로, 영역 검출부(121)는 무선 통신부(140)를 통해 사진 또는 동영상을 수신하고, 사진 또는 동영상에서 메이크업 평가의 대상이 되는 얼굴 이미지를 검출할 수 있다.The region detector 121 may acquire a face image included in a photo or a video. Specifically, the area detection unit 121 may receive a photo or video through the wireless communication unit 140 , and detect a face image to be subjected to makeup evaluation from the photo or video.

또한, 영역 검출부(121)는 얼굴 이미지에서 얼굴의 각 영역을 검출할 수 있다. 예를 들어, 영역 검출부(121)는 눈썹 영역, 눈 영역, 코 영역, 볼 영역, 입 영역 및 턱 영역 중 적어도 하나 이상을 검출할 수 있다.Also, the region detection unit 121 may detect each region of the face from the face image. For example, the region detector 121 may detect at least one of an eyebrow region, an eye region, a nose region, a cheek region, a mouth region, and a chin region.

예를 들어, 영역 검출부(121)는 얼굴 인식(face recognition) 알고리즘을 통해 얼굴과, 얼굴 각 부위를 검출할 수 있다.For example, the region detector 121 may detect a face and each part of the face through a face recognition algorithm.

또한, 영역 검출부(121)는 얼굴 인식시 딥러닝 기술을 통해 얼굴 및 얼굴 부위를 보다 정확하게 인식 가능한 이점이 있다.In addition, the region detection unit 121 has the advantage of more accurately recognizing a face and a face part through deep learning technology when recognizing a face.

메이크업 분석부(122)는 영역 검출부(121)가 획득한 얼굴 영역 및 얼굴 각 영역의 메이크업을 분석한다. 예를 들어, 메이크업 분석부(122)는 얼굴 영역 및 얼굴 각 영역을 메이크업 DB 관리부(110)에 저장된 점수 테이블 및 평가 알고리즘에 기초하여 메이크업을 분석할 수 있다. 구체적은 방법은 후술하기로 한다.The makeup analyzer 122 analyzes the facial region obtained by the region detection unit 121 and makeup of each facial region. For example, the makeup analyzer 122 may analyze the makeup of the face region and each face region based on a score table and an evaluation algorithm stored in the makeup DB management unit 110 . A specific method will be described later.

실시 예에 따라, 메이크업 분석부(122)는 메이크업 분석 결과에 기초하여 얼굴 이미지의 메이크업 점수를 산출한다. 예를 들어, 메이크업 분석부(122)는 메이크업 종합 점수와 얼굴 영역별 점수를 각각 산출할 수 있다.According to an embodiment, the makeup analysis unit 122 calculates a makeup score of the face image based on the makeup analysis result. For example, the makeup analyzer 122 may calculate a makeup overall score and a score for each face region, respectively.

제어부(130)는 메이크업 서버(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(130)는 메이크업 DB 관리부(110), 메이크업 평가부(120) 및 무선 통신부(140)의 동작을 제어할 수 있다.The controller 130 controls the overall operation of the makeup server 100 . Specifically, the controller 130 may control the operations of the makeup DB management unit 110 , the makeup evaluation unit 120 , and the wireless communication unit 140 .

무선 통신부(140)는 외부와 데이터를 송수신할 수 있다. 예를 들어, 무선 통신부(140)는 이동 단말기(10) 또는 어플리케이션 서버(200)로부터 이미지 데이터를 수신할 수 있다. 무선 통신부(140)는 수신된 이미지 데이터를 메이크업 DB 관리부(110) 또는 메이크업 평가부(120)로 전달할 수 있다.The wireless communication unit 140 may transmit/receive data to/from the outside. For example, the wireless communication unit 140 may receive image data from the mobile terminal 10 or the application server 200 . The wireless communication unit 140 may transmit the received image data to the makeup DB management unit 110 or the makeup evaluation unit 120 .

한편, 이하에서 설명하는 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Meanwhile, the embodiments described below may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof.

다음으로, 도 4는 본 발명의 실시 예에 따른 메이크업 평가 시스템의 동작 방법을 나타내는 래더 다이어그램이다.Next, FIG. 4 is a ladder diagram illustrating a method of operating a makeup evaluation system according to an embodiment of the present invention.

도 4에서는 설명의 편의를 위해 이동 단말기(10)는 메이크업 서버(100)와 신호를 송수신하고, 도 1에서 설명한 어플리케이션 서버(200)는 메이크업 서버(100)에 포함된 것으로 가정한다.In FIG. 4 , for convenience of explanation, it is assumed that the mobile terminal 10 transmits and receives signals to and from the makeup server 100 , and the application server 200 described in FIG. 1 is included in the makeup server 100 .

이동 단말기(10)의 제어부(17)는 이미지를 획득할 수 있다(S11).The controller 17 of the mobile terminal 10 may acquire an image (S11).

제어부(17)는 무선 통신부(11) 또는 카메라(13)를 통해 이미지를 획득할 수 있다. 무선 통신부(11)는 외부로부터 이미지를 수신할 수 있다. 카메라(13)는 사진 또는 동영상을 촬영하여 이미지를 획득할 수 있다.The controller 17 may acquire an image through the wireless communication unit 11 or the camera 13 . The wireless communication unit 11 may receive an image from the outside. The camera 13 may acquire an image by taking a picture or a video.

사용자는 메이크업을 평가 받기 위해 메이크업된 얼굴 이미지를 이동 단말기(10)에 전송 또는 입력할 수 있다. 예를 들어, 사용자는 외부에 저장된 이미지를 이동 단말기(10)에 전송하거나, 이동 단말기(10)의 카메라(13)로 메이크업된 얼굴을 촬영할 수 있다.The user may transmit or input a makeup face image to the mobile terminal 10 in order to evaluate the makeup. For example, the user may transmit an externally stored image to the mobile terminal 10 , or may photograph a makeup face with the camera 13 of the mobile terminal 10 .

이동 단말기(10)의 제어부(17)는 메이크업 평가 요청명령을 수신할 수 있다(S11).The control unit 17 of the mobile terminal 10 may receive a makeup evaluation request command (S11).

제어부(17)는 입력부(12)를 통해 메이크업 평가 요청명령을 수신할 수 있다. 입력부(12)는 적어도 하나 이상의 이미지를 선택하는 명령을 수신한 후 메이크업 평가 요청명령을 수신할 수 있다.The control unit 17 may receive a makeup evaluation request command through the input unit 12 . The input unit 12 may receive a makeup evaluation request command after receiving a command for selecting at least one image.

사용자는 메이크업 평가를 받고 싶은 이미지를 선택한 후 메이크업 평가 요청을 입력부(12)로 입력할 수 있다.After selecting an image for which the user wants to receive a makeup evaluation, the user may input a makeup evaluation request to the input unit 12 .

또한, 제어부(17)는 메이크업 평가 요청명령을 수신시 입력부(12)를 통해 메이크업 주제 선택 명령을 더 수신할 수 있다. 메이크업 주제는 내추럴(natural), 러블리(lovely) 또는 스모키(smoky) 등을 포함할 수 있다. 메이크업 주제에 따라 메이크업 평가는 상이할 수 있다. 따라서, 보다 정확한 메이크업 평가를 위해 제어부(17)는 메이크업 평가 요청명령을 수신하는 경우 메이크업 주제를 선택하는 명령을 함께 수신할 수 있다.In addition, the controller 17 may further receive a makeup subject selection command through the input unit 12 when receiving the makeup evaluation request command. The makeup subject may include natural, lovely, or smokey. The makeup evaluation may be different depending on the makeup topic. Therefore, for more accurate makeup evaluation, when receiving the makeup evaluation request command, the control unit 17 may receive a command for selecting a makeup topic together.

이동 단말기(10)의 제어부(17)는 메이크업 서버(100)로 메이크업 평가 요청신호를 전송할 수 있다(S15).The control unit 17 of the mobile terminal 10 may transmit a makeup evaluation request signal to the makeup server 100 (S15).

제어부(17)는 무선 통신부(11)를 통해 메이크업 서버(100)로 메이크업 평가 요청신호를 전송하도록 제어할 수 있다. The controller 17 may control to transmit a makeup evaluation request signal to the makeup server 100 through the wireless communication unit 11 .

메이크업 평가 요청신호는 이미지 데이터를 포함할 수 있다. 즉, 제어부(17)는 단계 S11에서 획득한 이미지에 대응하는 이미지 데이터를 포함하는 메이크업 평가 요청신호를 메이크업 서버(100)로 전송할 수 있다.The makeup evaluation request signal may include image data. That is, the controller 17 may transmit a makeup evaluation request signal including image data corresponding to the image obtained in step S11 to the makeup server 100 .

메이크업 평가 요청신호는 이미지 데이터에 따른 이미지에 포함된 얼굴에 대응하는 메이크업 평가를 요청하는 신호일 수 있다.The makeup evaluation request signal may be a signal for requesting makeup evaluation corresponding to the face included in the image according to the image data.

메이크업 서버(100)의 무선 통신부(140)는 메이크업 평가 요청신호를 수신할 수 있다.The wireless communication unit 140 of the makeup server 100 may receive a makeup evaluation request signal.

메이크업 서버(100)의 제어부(130)는 메이크업 평가 요청신호에 포함된 이미지 데이터를 분석할 수 있다. 구체적으로, 메이크업 평가 요청신호에 포함된 이미지 데이터는 이미지 전송을 위해 변조된 데이터일 수 있다. 제어부(130)는 메이크업 평가 요청신호에 포함된 이미지 데이터를 이미지로 복원할 수 있다.The control unit 130 of the makeup server 100 may analyze the image data included in the makeup evaluation request signal. Specifically, the image data included in the makeup evaluation request signal may be data modulated for image transmission. The controller 130 may restore image data included in the makeup evaluation request signal to an image.

메이크업 서버(100)의 제어부(130)는 메이크업 평가 요청신호를 통해 수신된 이미지에서 기 설정된 영역을 검출할 수 있다(S17).The control unit 130 of the makeup server 100 may detect a preset area in the image received through the makeup evaluation request signal (S17).

제어부(130)는 메이크업 평가의 대상이 되는 적어도 하나 이상의 평가 부문을 미리 설정하고 있을 수 있다. 제어부(130)는 평가 부문에 대응하는 적어도 하나 이상의 영역을 이미지에서 검출할 수 있다.The controller 130 may preset at least one evaluation section to be subjected to makeup evaluation. The controller 130 may detect at least one region corresponding to the evaluation section from the image.

예를 들어, 제어부(130)는 눈썹(eyebrow) 부문, 다크서클(dark circle) 부문, 색상조화(hue harmony) 부문, 입술(lip) 부문 및 잡티(blemish) 부문 중 적어도 하나 이상을 메이크업 평가의 대상이 되는 평가 부문으로 설정하고 있을 수 있다. 그러나, 앞에서 나열한 평가 부문은 설명의 편의를 위해 예시로 든 것에 불과하므로 이에 제한될 필요는 없다.For example, the controller 130 selects at least one of an eyebrow section, a dark circle section, a hue harmony section, a lip section, and a blemish section of the makeup evaluation. It may be set as a target evaluation section. However, since the evaluation section listed above is merely an example for convenience of explanation, it is not necessary to be limited thereto.

제어부(130)는 눈썹 부문을 평가하기 위한 눈썹 영역, 다크서클 부문을 평가하기 위한 다크서클 영역, 색상조화 부문을 평가하기 위한 색상조화 영역, 입술 부문을 평가하기 위한 입술 영역 및 잡티 부문을 평가하기 위한 잡티 영역 중 적어도 하나 이상의 영역을 수신된 이미지에 검출할 수 있다.The controller 130 evaluates the eyebrow area for evaluating the eyebrow section, the dark circle area for evaluating the dark circle section, the color coordination area for evaluating the color coordination section, the lip area for evaluating the lip section, and the blemishes section At least one or more areas among the blemish areas may be detected in the received image.

이 때, 눈썹 영역, 다크서클 영역 등과 같은 각각의 영역은 해당 부위에 제한되지 않으며, 영역별 평가 알고리즘에 따라 적어도 하나 이상의 부위를 포함할 수 있다. 예를 들어, 눈썹 영역은 눈썹 부위에 제한되지 않고 눈썹 부위 및 코 부위 등을 포함할 수 있다. 이는, 눈썹 영역을 평가한다고 하여 눈썹의 모양, 색상 등만을 평가하는 것이 아니라, 눈썹 부위와 얼굴 전체의 조화 등을 고려하여 평가하기 위함이다. 각각의 영역에 대응하는 검출 부위는 후술하는 영역별 평가 알고리즘을 통해 자세히 설명하기로 한다.In this case, each region such as the eyebrow region and the dark circle region is not limited to the corresponding region, and may include at least one region according to an evaluation algorithm for each region. For example, the eyebrow area is not limited to the eyebrow area and may include an eyebrow area and a nose area. This is to evaluate not only the shape and color of the eyebrows, but also the harmony between the eyebrow region and the entire face when evaluating the eyebrow region. A detection site corresponding to each region will be described in detail through an evaluation algorithm for each region, which will be described later.

제어부(130)는 검출된 적어도 하나 이상의 영역에 각 영역별 평가 알고리즘을 적용하여 평가할 수 있다(S19).The controller 130 may evaluate at least one detected area by applying an evaluation algorithm for each area (S19).

제어부(130)는 검출된 영역에 따라 상이한 평가 알고리즘을 적용할 수 있다. 예를 들어, 제어부(130)는 눈썹 영역에는 제1 평가 알고리즘을 적용하고, 다크서클 영역에는 제2 평가 알고리즘을 적용할 수 있다.The controller 130 may apply a different evaluation algorithm according to the detected region. For example, the controller 130 may apply the first evaluation algorithm to the eyebrow region and apply the second evaluation algorithm to the dark circle region.

이와 같이, 본 발명의 실시 예에 따르면 검출된 복수의 영역에 동일한 평가 알고리즘을 적용하여 일관되게 평가하는 것이 아니라, 검출된 영역에 따라 각각 상이한 평가 알고리즘을 적용하여 메이크업을 보다 정밀하게 평가 가능한 이점이 있다.As such, according to an embodiment of the present invention, instead of consistently evaluating a plurality of detected areas by applying the same evaluation algorithm, different evaluation algorithms are applied according to the detected areas to more precisely evaluate makeup. have.

다음으로, 제어부(130)가 단계 S17에서 검출된 영역 각각에 적용하는 적어도 하나 이상의 평가 알고리즘을 설명한다.Next, at least one or more evaluation algorithms applied by the controller 130 to each of the regions detected in step S17 will be described.

먼저, 도 5 내지 도 9는 본 발명의 실시 예에 따른 눈썹 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 10은 본 발명의 실시 예에 따른 눈썹 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.First, FIGS. 5 to 9 are diagrams for explaining an evaluation algorithm applied when evaluating an eyebrow section according to an embodiment of the present invention, and FIG. 10 is a method of displaying an evaluation result of an eyebrow section according to an embodiment of the present invention. It is an example drawing for description.

본 발명의 실시 예에 따르면, 메이크업 서버(100)의 메이크업 DB 관리부(110)는 눈썹 부문을 평가하기 위한 평가 알고리즘을 저장하고 있을 수 있다. 제어부(130)는 단계 S17에서 영역 검출부(121)를 통해 눈썹 영역을 검출하고, 메이크업 분석부(122)를 통해 검출된 눈썹 영역에 평가 알고리즘을 적용할 수 있다.According to an embodiment of the present invention, the makeup DB management unit 110 of the makeup server 100 may store an evaluation algorithm for evaluating the eyebrow section. The controller 130 may detect the eyebrow area through the area detection unit 121 in step S17 and apply an evaluation algorithm to the eyebrow area detected through the makeup analyzer 122 .

눈썹 부문을 평가하기 위한 평가 알고리즘은 복수개의 알고리즘을 포함할 수 있고, 각각의 알고리즘은 눈썹 부문을 상이하게 평가할 수 있다. 예를 들어, 눈썹 부문을 평가하기 위한 평가 알고리즘은 눈썹 길이를 평가하는 알고리즘, 수평 정도를 평가하는 알고리즘, 눈썹 앞길이를 평가하는 알고리즘 및 눈썹 색상의 균일성을 평가하는 알고리즘 등을 포함할 수 있다.The evaluation algorithm for evaluating the eyebrow segment may include a plurality of algorithms, and each algorithm may differently evaluate the eyebrow segment. For example, the evaluation algorithm for evaluating the eyebrow segment may include an algorithm for evaluating the length of the eyebrows, an algorithm for evaluating the horizontal degree, an algorithm for evaluating the front length of the eyebrows, and an algorithm for evaluating the uniformity of the eyebrow color. .

메이크업 분석부(122)는 눈썹 영역에 평가 알고리즘을 적용시, 눈썹 길이, 수평 정도, 눈썹 앞길이 및 눈썹 색상의 균일성을 모두 분석 및 평가할 수 있다.When the evaluation algorithm is applied to the eyebrow region, the makeup analyzer 122 may analyze and evaluate all of the eyebrow length, the horizontal degree, the front length of the eyebrows, and the uniformity of the eyebrow color.

도 5를 참고하여, 제어부(130)가 눈썹 영역의 눈썹 길이를 평가하는 방법을 설명한다.A method in which the controller 130 evaluates the eyebrow length in the eyebrow region will be described with reference to FIG. 5 .

영역 검출부(121)는 이미지에서 어느 하나의 눈의 바깥쪽 끝인 제1 지점(501)과, 코의 바깥쪽 끝인 제2 지점(502)을 검출할 수 있다. 이 때, 영역 검출부(121)는 오른쪽 눈의 바깥쪽 끝 지점을 검출한 경우 코의 오른쪽 끝을 검출하고, 왼쪽 눈의 바깥쪽 끝 지점을 검출한 코의 왼쪽 끝을 검출할 수 있다.The region detector 121 may detect a first point 501 that is an outer end of any one eye and a second point 502 that is an outer end of a nose in the image. In this case, the region detector 121 may detect the right end of the nose when the outer end of the right eye is detected, and detect the left end of the nose that detects the outer end of the left eye.

메이크업 분석부(122)는 제1 지점(501)과 제2 지점(502)을 연결하는 직선(510)을 획득할 수 있다.The makeup analyzer 122 may obtain a straight line 510 connecting the first point 501 and the second point 502 .

메이크업 분석부(122)는 눈썹의 바깥쪽 끝인 제3 지점(503)을 검출하고, 제3 지점(503)과 직선(510)과의 거리(d1)를 산출할 수 있다.The makeup analyzer 122 may detect the third point 503 that is the outer end of the eyebrow, and calculate the distance d1 between the third point 503 and the straight line 510 .

메이크업 분석부(122)는 산출된 거리(d1)를 통해 눈썹 길이의 적절성을 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 산출된 거리(d1)가 제1 거리 이하이면 눈썹 길이를 '짧음'으로 판단하고, 산출된 거리(d1)가 제1 거리보다 길고 제2 거리 이하이면 눈썹 길이를 '적정'으로 판단하고, 산출된 거리(d1)가 제2 거리보다 길면 눈썹 길이를 '김'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다. The makeup analyzer 122 may determine the appropriateness of the eyebrow length through the calculated distance d1. For example, the makeup analyzer 122 determines that the eyebrow length is 'short' if the calculated distance d1 is less than or equal to the first distance, and if the calculated distance d1 is longer than the first distance and less than or equal to the second distance, The eyebrow length may be determined as 'appropriate', and if the calculated distance d1 is longer than the second distance, the eyebrow length may be determined as 'long'. However, since such a determination method is merely exemplary, it is not necessary to limit it.

도 6을 참고하여, 제어부(130)가 눈썹 영역의 수평 정도를 평가하는 방법을 설명한다.A method for the controller 130 to evaluate the horizontal degree of the eyebrow region will be described with reference to FIG. 6 .

영역 검출부(121)는 이미지에서 어느 하나의 눈썹을 기준으로 눈썹의 안쪽 끝인 제1 지점(601)과, 같은 눈썹의 바깥쪽 끝인 제2 지점(602)을 검출할 수 있다.The region detection unit 121 may detect a first point 601 that is an inner end of an eyebrow and a second point 602 that is an outer end of the same eyebrow in the image based on any one eyebrow.

영역 검출부(121)는 제1 지점(601)과 제2 지점(602)을 연결하는 직선(610)을 획득하고, 직선과 수평선(620)과의 각도(θ)를 산출할 수 있다.The region detection unit 121 may obtain a straight line 610 connecting the first point 601 and the second point 602 , and may calculate an angle θ between the straight line and the horizontal line 620 .

메이크업 분석부(122)는 산출된 각도(θ)를 통해 눈썹의 수평 정도의 적절성을 판단할 수 있다.The makeup analyzer 122 may determine the appropriateness of the horizontal degree of the eyebrows through the calculated angle θ.

예를 들어, 메이크업 분석부(122)는 산출된 각도(θ)가 제1 각도 이하이면 눈썹의 수평 정도를 '직선형'로 판단하고, 산출된 각도(θ)가 제1 각보보다 크고 제2 각도 이하이면 눈썹의 수평 정도를 '일반형'으로 판단하고, 산출된 각도(θ)가 제2 각도보다 크면 눈썹의 수평 정도를 '아치형'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다.For example, if the calculated angle θ is less than or equal to the first angle, the makeup analyzer 122 determines the horizontal degree of the eyebrows as 'linear', and the calculated angle θ is greater than the first angle and the second angle Below, the horizontal degree of the eyebrows may be determined to be 'normal', and if the calculated angle θ is greater than the second angle, the horizontal degree of the eyebrows may be determined to be 'arched'. However, since such a determination method is merely exemplary, it is not necessary to limit it.

또한, 메이크업 분석부(122)는 '직선형', '일반형' 또는 '아치형'과 같은 눈썹의 수평 정도에 따른 눈썹 유형을 판단하고, 판단한 각각의 유형에 따라 눈썹 모양의 점수를 산출할 수 있다. 예를 들어, 눈썹 유형에 따른 눈썹 모양을 나타내는 데이터를 미리 저장하고 있을 수 있고, 메이크업 분석부(122)는 판단한 눈썹 유형에 따른 눈썹 모양 데이터를 이미지에서 획득된 눈썹 모양의 데이터와 비교하고, 비교 결과 저장된 데이터와 이미지에서 획득된 데이터의 차가 작을수록 눈썹 점수를 높게 산출하는 방식으로 점수를 결정할 수도 있다.In addition, the makeup analysis unit 122 may determine the eyebrow type according to the horizontal degree of the eyebrow, such as 'straight line', 'normal type', or 'arched type', and calculate a score for the eyebrow shape according to each determined type. For example, data representing an eyebrow shape according to an eyebrow type may be stored in advance, and the makeup analyzer 122 compares and compares the eyebrow shape data according to the determined eyebrow type with the eyebrow shape data obtained from the image. As a result, the score may be determined in a manner that calculates a higher eyebrow score as the difference between the stored data and the data obtained from the image is smaller.

도 7을 참고하여, 제어부(130)가 눈썹 영역의 눈썹 앞길이를 평가하는 방법을 설명한다.A method in which the controller 130 evaluates the front length of the eyebrows in the eyebrow region will be described with reference to FIG. 7 .

영역 검출부(121)는 이미지에서 어느 하나의 눈썹을 기준으로 눈썹의 안쪽 ?P인 제1 지점(701)과, 코의 바깥쪽 끝인 제2 지점(702)을 검출할 수 있다. 이 때, 영역 검출부(121)는 오른쪽 눈썹의 안쪽 끝 지점을 검출한 경우 코의 오른쪽 끝을 검출하고, 왼쪽 눈썹의 안쪽 끝 지점을 검출한 코의 왼쪽 끝을 검출할 수 있다.The region detector 121 may detect a first point 701 that is an inner ?P of an eyebrow and a second point 702 that is an outer end of the nose, based on any one eyebrow, in the image. In this case, the region detection unit 121 may detect the right end of the nose when the inner end of the right eyebrow is detected, and detect the left end of the nose that detects the inner end of the left eyebrow.

메이크업 분석부(122)는 제2 지점(702)을 수직방향으로 지나는 직선(710)을 획득하고, 직선(710)과 제1 지점(701) 사이의 거리(d2)를 획득할 수 있다.The makeup analyzer 122 may obtain a straight line 710 passing through the second point 702 in a vertical direction, and obtain a distance d2 between the straight line 710 and the first point 701 .

메이크업 분석부(122)는 산출된 거리(d2)를 통해 눈썹 앞길이의 적절성을 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 산출된 거리(d2)가 제1 거리 이하이면 눈썹 앞길이를 '짧음'으로 판단하고, 산출된 거리(d2)가 제1 거리보다 길고 제2 거리 이하이면 눈썹 앞길이를 '적정'으로 판단하고, 산출된 거리(d2)가 제2 거리보다 길면 눈썹 앞길이를 '김'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다. The makeup analyzer 122 may determine the appropriateness of the front length of the eyebrows through the calculated distance d2. For example, if the calculated distance d2 is less than or equal to the first distance, the makeup analyzer 122 determines that the front length of the eyebrow is 'short', and the calculated distance d2 is longer than the first distance and less than or equal to the second distance. In this case, the front length of the eyebrows may be determined as 'appropriate', and if the calculated distance d2 is longer than the second distance, the front length of the eyebrows may be determined as 'long'. However, since such a determination method is merely exemplary, it is not necessary to limit it.

도 5 내지 도 7에서 설명한 방법에 따르면, 사람마다 상이한 눈의 크기, 코의 크기 등을 반영한 메이크업 평가가 가능한 이점이 있다. 즉, 눈썹은 5cm가 적당하다고 일관적으로 판단하는 것이 아니라, 사람의 눈의 길이, 코의 길이, 눈썹의 위치 등 사용자마다 상이한 얼굴 특성을 고려하여 메이크업의 평가가 가능한 이점이 있다.According to the method described with reference to FIGS. 5 to 7 , there is an advantage in that it is possible to evaluate makeup reflecting different eye sizes and nose sizes for each person. That is, it is not consistently determined that 5 cm is appropriate for the eyebrows, but there is an advantage in that it is possible to evaluate the makeup in consideration of different facial characteristics for each user, such as the length of the human eye, the length of the nose, and the position of the eyebrows.

도 8 내지 도 9를 참고하여, 제어부(130)는 눈썹 영역의 눈썹 색상의 균일성을 평가하는 방법을 설명한다. 눈썹 색상의 균일성은 눈썹의 색상이 고르게 메이크업 되었는지를 나타내는 항목일 수 있다.A method for the controller 130 to evaluate the uniformity of the eyebrow color in the eyebrow region will be described with reference to FIGS. 8 to 9 . The eyebrow color uniformity may be an item indicating whether the eyebrow color is uniformly made up.

제어부(130)는 눈썹 색상의 균일성을 판단하기 위해 눈썹 판단 동작을 수행할 수 있다.The controller 130 may perform an eyebrow determination operation to determine the uniformity of the eyebrow color.

영역 검출부(121)는 눈썹에서 제1 내지 제5 지점(801 내지 805)을 검출할 수 있다. 구체적으로, 영역 검출부(121)는 눈썹의 바깥쪽 끝인 제1 지점(801)과, 눈썹의 안쪽 끝인 제2 지점(802)을 검출하고, 눈썹 중 제1 지점(801)과 제2 지점(802)의 가운데인 제3 지점(803)을 검출하고, 눈썹 중 제1 지점(801)과 제3 지점(803)의 가운데인 제4 지점(804)과 제2 제점(802)과 제3 지점(803)의 가운데인 제5 지점(805)을 검출할 수 있다.The region detector 121 may detect first to fifth points 801 to 805 on the eyebrow. Specifically, the region detection unit 121 detects a first point 801 that is the outer end of the eyebrow and a second point 802 that is an inner end of the eyebrow, and the first point 801 and the second point 802 among the eyebrows. ) is detected, and the fourth point 804, the second point 802 and the third point ( A fifth point 805 in the middle of 803 may be detected.

도 8(a)에 도시된 바와 같이, 메이크업 분석부(122)는 제1 내지 제5 지점(801 내지 805)을 연결하는 곡선(810)을 획득할 수 있다.As shown in FIG. 8A , the makeup analyzer 122 may obtain a curve 810 connecting the first to fifth points 801 to 805 .

도 8(b)에 도시된 바와 같이, 메이크업 분석부(122)는 곡선(810)을 따라 곡선의 각 지점에서 수직선(820)을 획득하고, 수직선(820)에서 영상의 값을 추출할 수 있다. 여기서, 영상의 값은 RGB 값을 포함할 수 있고, 수직선(820)은 소정 길이를 갖는 직선일 수 있다.As shown in FIG. 8B , the makeup analyzer 122 may obtain a vertical line 820 at each point of the curve along the curve 810 and extract an image value from the vertical line 820 . . Here, the value of the image may include RGB values, and the vertical line 820 may be a straight line having a predetermined length.

메이크업 분석부(122)는 수직선(820)을 따라 추출된 RGB 값 중 최대값을 획득하고, 최대값과, 최대값으로부터 일정 비율 이내의 영상의 값을 갖는 지점을 눈썹으로 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 추출된 영상의 값이 40, 41, 120, 122, 126, 43, 40인 경우 최대값 126을 획득하고, 126으로부터 20% 이내의 영상의 값인 120 및 122인 지점과 126인 지점을 눈썹으로 판단할 수 있다.The makeup analyzer 122 may obtain the maximum value among the RGB values extracted along the vertical line 820 , and determine a point having the maximum value and an image value within a certain ratio from the maximum value as the eyebrow. For example, the makeup analyzer 122 obtains a maximum value of 126 when the extracted image value is 40, 41, 120, 122, 126, 43, or 40, and obtains a maximum value of 126 from 120, which is an image value within 20% of 126, and Points 122 and 126 can be judged by the eyebrows.

메이크업 분석부(122)는 앞에서 설명한 눈썹 판단 동작을 이미지의 gray channel, red channel 및 blue channel에서 각각 수행할 수 있다.The makeup analyzer 122 may perform the above-described eyebrow determination operation in a gray channel, a red channel, and a blue channel of the image, respectively.

도 9(a)가 원본 이미지인 경우, 메이크업 분석부(122)는 gray channel에서 눈썹 판단 동작을 수행하여 도 9(b)에 도시된 바와 같이 제1 영역(901)을 눈썹으로 판단할 수 있다. 또한, 메이크업 분석부(122)는 red channel에서 눈썹 판단 동작을 수행하여 도 9(c)에 도시된 바와 같이 제2 영역(902)을 눈썹으로 판단할 수 있다.When FIG. 9(a) is the original image, the makeup analyzer 122 may determine the first area 901 as the eyebrow by performing an eyebrow determination operation in the gray channel as shown in FIG. 9(b). . Also, the makeup analyzer 122 may determine the second region 902 as the eyebrow by performing an eyebrow determination operation in the red channel as shown in FIG. 9(c) .

메이크업 분석부(122)는 제1 영역(901)과 제2 영역(902)의 유사도를 측정할 수 있다. 메이크업 분석부(122)는 제1 영역(901)과 제2 영역(902)의 겹치는 영역의 넓이를 통해 유사도를 측정할 수 있다. 즉, 메이크업 분석부(122)는 제1 영역(901)과 제2 영역(902)의 겹치는 영역의 넓이가 넓을수록 유사도를 높게 산출하고, 겹치는 영역의 넓이가 좁을수록 유사도를 낮게 산출할 수 있다.The makeup analyzer 122 may measure the similarity between the first area 901 and the second area 902 . The makeup analyzer 122 may measure the similarity through the area of the overlapping area between the first area 901 and the second area 902 . That is, the makeup analyzer 122 calculates a higher degree of similarity as the overlapping area of the first area 901 and the second area 902 is wider, and lowers the degree of similarity as the area of the overlapping area is narrower. .

메이크업 분석부(122)는 산출된 유사도를 통해 눈썹 균일성을 판단할 수 있다. 예를 들어, 메이크업 분석부(122)는 산출된 유사도가 제1 기준값 이하이면 눈썹 균일성을 '불균일'으로 판단하고, 산출된 유사도가 제2 기준값을 초과하면 눈썹 균일성을 '균일'으로 판단할 수 있다. 그러나, 이와 같은 판단 방법은 예시적인 것에 불과하므로 이에 제한될 필요는 없다.The makeup analyzer 122 may determine the eyebrow uniformity through the calculated similarity. For example, the makeup analyzer 122 determines the eyebrow uniformity as 'non-uniform' if the calculated similarity is less than or equal to the first reference value, and determines the eyebrow uniformity as 'uniform' if the calculated similarity exceeds the second reference value. can do. However, since such a determination method is merely exemplary, it is not necessary to limit it.

한편, 메이크업 분석부(122)는 red channel에서 눈썹으로 판단한 제2 영역(902)의 넓이가 기준 넓이 이하인 경우에는 blue channel 이미지에서 눈썹 판단 동작을 수행하여 도 9(d)에 도시된 바와 같이 제3 영역(903)을 눈썹으로 판단할 수 있다. 메이크업 분석부(122)는 제1 영역(901)과 제3 영역(903)의 유사도를 축정하여 앞에서 설명한 바와 같이 눈썹 균일성을 판단할 수 있다.On the other hand, when the width of the second region 902 determined as the eyebrow in the red channel is equal to or less than the reference width, the makeup analyzer 122 performs the eyebrow determination operation in the blue channel image to obtain the second region 902 as shown in FIG. 9(d). The third region 903 may be determined as an eyebrow. The makeup analyzer 122 may determine the eyebrow uniformity as described above by accumulating the similarity between the first region 901 and the third region 903 .

무선 통신부(140)는 메이크업을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. The wireless communication unit 140 may transmit an evaluation result signal to the mobile terminal 10 after evaluating the makeup, and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 10은 눈썹 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 눈썹 길이, 수평 정도, 눈썹 앞길이 및 눈썹 균일성에 대한 평가 결과를 표시할 수 있다. 그러나, 도 10에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.10 may be an exemplary view showing a makeup evaluation result for an eyebrow section. The display unit 14 may display evaluation results for eyebrow length, horizontal degree, front length of eyebrows, and eyebrow uniformity. However, the method for representing the evaluation result shown in FIG. 10 is merely exemplary.

다음으로, 도 11 내지 도 12는 본 발명의 실시 예에 따른 다크서클 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 13은 본 발명의 실시 예에 따른 다크서클 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIGS. 11 to 12 are diagrams for explaining an evaluation algorithm applied when evaluating a dark circle sector according to an embodiment of the present invention, and FIG. 13 shows an evaluation result of a dark circle sector according to an embodiment of the present invention. It is an exemplary diagram for explaining the method.

영역 검출부(121)는 눈 영역에서 복수개의 지점을 검출할 수 있다. 예를 들어, 영역 검출부(121)는 눈 영역에서 제1 내지 제4 지점(1101 내지 1104)을 검출할 수 있고, 제1 지점(1101)은 눈의 바깥쪽 끝 지점이고, 제2 지점(1102)은 눈의 안쪽 끝 지점이고, 제3 지점(1103)은 눈의 위쪽 끝 지점이고, 제4 제점(1104)은 눈의 아래쪽 끝 지점일 수 있다.The region detector 121 may detect a plurality of points in the eye region. For example, the region detection unit 121 may detect first to fourth points 1101 to 1104 in the eye region, the first point 1101 being the outermost point of the eye, and the second point 1102 . ) may be the inner end of the eye, the third point 1103 may be the upper end of the eye, and the fourth point 1104 may be the lower end of the eye.

메이크업 분석부(121)는 제1 및 제2 지점(1101, 1102)을 연결하는 직선 거리를 측정하여 눈의 수평 거리(l1)를 산출하고, 제3 및 제4 지점(1103, 1104)을 연결하는 직선 거리를 측정하여 눈의 수직 거리(l2)를 산출할 수 있다. The makeup analysis unit 121 measures a straight line distance connecting the first and second points 1101 and 1102 to calculate the horizontal distance l1 of the eye, and connects the third and fourth points 1103 and 1104 . The vertical distance l2 of the eye can be calculated by measuring the straight line distance.

메이크업 분석부(121)는 제1 내지 제4 지점(1101 내지 1104)과 수평 거리(l1) 및 수직 거리(l2)에 기초하여 기준선(1110)을 획득할 수 있다. 예를 들어, 메이크업 분석부(121)는 제3 지점(1103)으로부터 수직 거리(l2)만큼 아래로 이격된 위치에 수평 거리(l1)의 소정 비율에 해당하는 길이를 갖는 기준선(1110)을 획득할 수 있다. 기준선(1110)의 길이는 수평 거리(l1)의 80%일 수 있으나, 이는 예시적인 것에 불과하다.The makeup analyzer 121 may obtain the reference line 1110 based on the first to fourth points 1101 to 1104 and the horizontal distance l1 and the vertical distance l2. For example, the makeup analysis unit 121 acquires a reference line 1110 having a length corresponding to a predetermined ratio of the horizontal distance l1 at a position spaced down by a vertical distance l2 from the third point 1103 . can do. The length of the reference line 1110 may be 80% of the horizontal distance l1 , but this is only exemplary.

도 12을 참고하면, 메이크업 분석부(121)는 기준선(1110)의 좌측 1/3 영역(1111)의 RGB 값 중 최대값을 추출하고, 기준선(1110)의 우측 1/3 영역(1112)의 RGB 값 중 최대값을 추출하고, 기준선(1110)의 중앙 1/2 영역(1113)의 RGB 값 중 최소값을 추출할 수 있다.Referring to FIG. 12 , the makeup analysis unit 121 extracts the maximum value among the RGB values of the left 1/3 region 1111 of the reference line 1110 , and The maximum value among the RGB values may be extracted, and the minimum value among the RGB values of the central 1/2 area 1113 of the reference line 1110 may be extracted.

메이크업 분석부(121)는 추출된 두 개의 최대값 중 작은 값을 획득하고, 획득된 작은 값과 앞에서 추출된 최소 값의 차이를 산출할 수 있다. 메이크업 분석부(121)는 산출된 차이에 기초하여 다크서클의 진한 정도를 평가할 수 있다.The makeup analyzer 121 may obtain a smaller value among the two extracted maximum values, and calculate a difference between the obtained smaller value and the previously extracted minimum value. The makeup analyzer 121 may evaluate the degree of darkness of the dark circles based on the calculated difference.

본 발명에 따르면, 제1 내지 제4 지점(1101 내지 1104)와 눈의 거리를 통해 다크서클 대상 영역을 검출할 수 있고, 다크서클 대상 영역에서 양측의 RGB 값을 통해 주변 피부색을 획득하고, 가운데의 RGB 값을 통해 눈 아래에서 가장 진한 부분의 색을 획득하여, 다크서클의 진한 정도를 보다 정밀하게 측정 가능한 이점이 있다. 즉, 단순히 다크서클을 측정하는 것이 아니라, 다크서클이 주변 피부색과 유사하게 잘 커버되도록 메이크업 하였는지 평가 가능한 이점이 있다.According to the present invention, the dark circle target region can be detected through the distance between the first to fourth points 1101 to 1104 and the eye, and the surrounding skin color is obtained through the RGB values of both sides in the dark circle target region, and the center It has the advantage of being able to measure the depth of dark circles more precisely by acquiring the color of the darkest part under the eyes through the RGB value of That is, there is an advantage in that it is possible to evaluate whether the dark circles are well covered similarly to the surrounding skin color, rather than simply measuring the dark circles.

다음으로, 도 14 내지 도 18은 본 발명의 실시 예에 따른 색상조화 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 19는 본 발명의 실시 예에 따른 색상조화 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIGS. 14 to 18 are diagrams for explaining an evaluation algorithm applied when evaluating the color harmonization sector according to an embodiment of the present invention, and FIG. 19 shows the evaluation result of the color harmonization sector according to the embodiment of the present invention. It is an exemplary diagram for explaining the method.

먼저, 제어부(130)는 피부색을 추출하도록 제어할 수 있다. 구체적으로, 도 14(a)를 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 코 영역(1401)을 검출할 수 있다. 특히, 영역 검출부(121)는 콧등 영역을 검출할 수 있다. 메이크업 분석부(122)는 코 영역(1401)에 포함된 복수의 지점들에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균값을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 피부색으로 추출할 수 있다.First, the controller 130 may control to extract a skin color. Specifically, referring to FIG. 14A , the region detector 121 may detect a nose region 1401 from a face included in an image. In particular, the region detection unit 121 may detect the bridge of the nose. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to a plurality of points included in the nose region 1401 , and calculate an average value of the extracted RGB color values. The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as a skin color.

메이크업 분석부(122)는 추출된 피부색을 Lab 색 공간에 분포시켜, 추출된 피부색과 가장 가까운 색을 검출하고, 검출된 색을 피부색으로 결정할 수 있다. 도 14(b)에 도시된 바와 같이, 메이크업 DB 관리부(110)는 복수개의 대표 피부 색상을 저장하고 있고, 메이크업 분석부(122)는 검출된 피부색과 가장 가까운 색을 저장된 대표 색상에서 획득할 수 있고, 획득된 색상을 피부색으로 결정할 수 있다. 예를 들어, 도 14에서 메이크업 분석부(122)는 s5를 피부색으로 결정할 수 있다.The makeup analyzer 122 may distribute the extracted skin color in the Lab color space, detect a color closest to the extracted skin color, and determine the detected color as the skin color. 14(b) , the makeup DB management unit 110 stores a plurality of representative skin colors, and the makeup analysis unit 122 may obtain a color closest to the detected skin color from the stored representative color. and the obtained color may be determined as the skin color. For example, in FIG. 14 , the makeup analyzer 122 may determine s5 as the skin color.

다음으로, 제어부(130)는 입술색을 추출하도록 제어할 수 있다. 구체적으로, 도 15(a)를 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 입술 영역(1501)을 검출할 수 있다. 특히, 영역 검출부(121)는 아랫 입술 영역을 검출할 수 있다. 메이크업 분석부(122)는 입술 영역(1501)에 포함된 복수의 지점들에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 입술색으로 추출할 수 있다.Next, the controller 130 may control to extract the lip color. Specifically, referring to FIG. 15A , the region detector 121 may detect a lip region 1501 from a face included in an image. In particular, the region detection unit 121 may detect the lower lip region. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to a plurality of points included in the lip region 1501 and calculate an average of the extracted RGB color values. The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as a lip color.

메이크업 분석부(122)는 추출된 입술색을 Lab 색 공간에 분포하여 추출된 입술색과 가장 가까운 색을 검출하고, 검출된 색을 입술색으로 결정할 수 있다. 도 15(b)에 도시된 바와 같이, 메이크업 DB 관리부(110)는 복수개의 대표 입술 색상을 저장하고 있고, 메이크업 분석부(122)는 복수개의 대표 입술 색상 중 검출된 입술색과 가장 가까운 색상을 획득할 수 있고, 획득된 색상을 입술색으로 결정할 수 있다. 예를 들어, 도 15에서 메이크업 분석부(122)는 l7을 입술색으로 결정할 수 있다.The makeup analyzer 122 may distribute the extracted lip color in the Lab color space, detect a color closest to the extracted lip color, and determine the detected color as the lip color. As shown in FIG. 15(b) , the makeup DB management unit 110 stores a plurality of representative lip colors, and the makeup analysis unit 122 selects a color closest to the detected lip color among the plurality of representative lip colors. may be obtained, and the obtained color may be determined as the lip color. For example, in FIG. 15 , the makeup analyzer 122 may determine 17 as the lip color.

다음으로, 제어부(130)는 블러셔색을 추출하도록 제어할 수 있다. 구체적으로, 도 16(a)를 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 볼 영역(1601)을 검출할 수 있다. 볼 영역(1601)은 왼쪽 볼 영역과 오른쪽 볼 영역을 모두 포함할 수 있다.Next, the controller 130 may control to extract the blush color. Specifically, referring to FIG. 16A , the region detector 121 may detect a cheek region 1601 from a face included in an image. The cheek area 1601 may include both a left cheek area and a right cheek area.

메이크업 분석부(122)는 블러셔색을 추출하는 경우 장애 제거 동작을 수행할 수 있다. 여기서, 장애 제거 동작은 머리카락 등에 의해 볼 영역이 가려져 블러셔 색상이 잘못 결정되는 경우를 최소화하기 위한 동작일 수 있다. 메이크업 분석부(122)는 장애 제거 동작을 수행하는 경우 이미지를 gray 이미지로 변환한 후 영상의 값이 소정 기준값 보다 작은 영역은 제거할 수 있고, 예를 들어 소정 기준값은 0.35일 수 있으나 이는 예시로 든 것에 불과하므로 이에 제한되지 않는다. 메이크업 분석부(122)는 볼 영역(1601) 중 제거된 영역을 제외한 나머지 영역에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균값을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 블러셔색으로 추출할 수 있다.The makeup analyzer 122 may perform an obstacle removal operation when extracting a blush color. Here, the obstacle removing operation may be an operation for minimizing a case in which the blush color is incorrectly determined because the cheek area is covered by hair or the like. The makeup analyzer 122 converts the image into a gray image when performing the obstacle removal operation and may remove a region in which the value of the image is smaller than a predetermined reference value, for example, the predetermined reference value may be 0.35, but this is an example. It is not limited thereto, as it is only The makeup analyzer 122 may extract a plurality of RGB color values corresponding to the remaining areas except for the removed area of the cheek area 1601 , and calculate an average value of the extracted RGB color values. The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as a blush color.

메이크업 분석부(122)는 추출된 블러셔색을 Lab 색 공간에 분포하여 추출된 블러셔색과 가장 가까운 색을 검출하고, 검출된 색을 블러셔색으로 결정할 수 있다. 도 16(b)에 도시된 바와 같이, 메이크업 DB 관리부(110)는 복수개의 대표 블러셔 색상을 저장하고 있고, 메이크업 분석부(122)는 복수개의 대표 블러셔 색상 중 검출된 블러셔색과 가장 가까운 색상을 획득할 수 있고, 획득된 색상을 블러셔색으로 결정할 수 있다. 예를 들어, 도 16에서 메이크업 분석부(122)는 b8을 블러셔색으로 결정할 수 있다.The makeup analyzer 122 may distribute the extracted blush color in the Lab color space to detect a color closest to the extracted blush color, and determine the detected color as the blush color. As shown in FIG. 16(b) , the makeup DB management unit 110 stores a plurality of representative blush colors, and the makeup analysis unit 122 selects a color closest to the detected blush color among the plurality of representative blush colors. may be obtained, and the obtained color may be determined as the blush color. For example, in FIG. 16 , the makeup analyzer 122 may determine b8 as the blush color.

한편, 메이크업 분석부(122)는 볼 영역(1601) 중 Lab 색 공간에서 a 값이 큰 값을 대표 블러셔색으로 결정할 수도 있다.Meanwhile, the makeup analyzer 122 may determine a value having a large a value in the Lab color space among the cheek regions 1601 as the representative blush color.

다음으로, 제어부(130)는 아이섀도우색을 추출하도록 제어할 수 있다.Next, the controller 130 may control to extract the eye shadow color.

구체적으로, 도 17을 참조하면, 영역 검출부(121)는 이미지에 포함된 얼굴에서 눈 위 영역(1701)을 검출할 수 있다. 눈 위 영역(1701)은 왼쪽 눈 위 영역과 오른쪽 눈 위 영역을 모두 포함할 수 있다.Specifically, referring to FIG. 17 , the region detector 121 may detect the region 1701 above the eyes in the face included in the image. The upper-eye region 1701 may include both an upper-left region and an upper-right region.

메이크업 분석부(122)는 아이섀도우색을 추출하는 경우 앞에서 설명한 바와 같은 장애 제거 동작을 수행할 수 있다. 메이크업 분석부(122)는 눈 위 영역(1601) 중 장애 제거 동작을 통해 제거된 영역을 제외한 나머지 영역에 대응하는 복수의 RGB 색상값을 추출하고, 추출된 RGB 색상값들의 평균을 산출할 수 있다. 메이크업 분석부(122)는 산출된 RGB 평균값에 대응하는 색상을 아이섀도우색으로 추출할 수 있다. 특히, 메이크업 분석부(122)는 왼쪽 아이섀도우색과 오른쪽 아이섀도우색을 각각 추출할 수 있다. 메이크업 분석부(122)는 추출된 아이섀도우색에 기초하여 대표 섀도우색을 결정할 수 있다. When extracting the eyeshadow color, the makeup analyzer 122 may perform the obstacle removing operation as described above. The makeup analyzer 122 may extract a plurality of RGB color values corresponding to the remaining regions of the upper eye region 1601 except for the region removed through the obstacle removal operation, and calculate an average of the extracted RGB color values. . The makeup analyzer 122 may extract a color corresponding to the calculated RGB average value as an eye shadow color. In particular, the makeup analyzer 122 may extract a left eye shadow color and a right eye shadow color, respectively. The makeup analyzer 122 may determine a representative shadow color based on the extracted eye shadow color.

일 실시 예에 따르면, 메이크업 분석부(122)는 메이크업 주제에 따라 대표 섀도우 색을 상이한 방법으로 결정할 수 있다. 메이크업 분석부(122)는 메이크업 주제가 내추럴(natural) 또는 러블리(lovely)인 경우 추출된 왼쪽 아이섀도우색과 오른쪽 아이섀도우색 중 Lab 색 공간에서 a 값이 큰 값을 대표 섀도우색으로 결정할 수 있다. 메이크업 분석부(122)는 메이크업 주제가 스모키(smoky)인 경우 추출된 왼쪽 아이섀도우색과 오른쪽 아이섀도우색 중 Lab 색 공간에서 L 값이 작은 값을 대표 섀도우색으로 결정할 수 있다. 이는, 메이크업 주제에 따라 추천되는 아이섀도우색이 다르기 때문이며, 메이크업 주제에 따라 상이한 방법으로 대표 섀도우색을 결정함으로써, 메이크업이 잘 되었는지 뿐만 아니라 주제에 맞게 잘 되었는지까지 평가 가능한 이점이 있다.According to an embodiment, the makeup analyzer 122 may determine the representative shadow color in different ways according to the makeup topic. When the makeup subject is natural or lovely, the makeup analyzer 122 may determine a value having a large a value in the Lab color space among the extracted left and right eye shadow colors as the representative shadow color. When the makeup subject is smokey, the makeup analyzer 122 may determine a value having a small L value in the Lab color space among the extracted left and right eye shadow colors as the representative shadow color. This is because recommended eyeshadow colors are different depending on the makeup topic, and by determining the representative shadow color in different ways depending on the makeup topic, there is an advantage in that it is possible to evaluate not only whether the makeup is well done, but also whether the makeup is well suited to the topic.

다음으로, 결정된 피부색, 입술색, 블러셔색 및 섀도우색으로 색상 조화를 평가하는 방법을 설명한다.Next, a method for evaluating color harmony with the determined skin color, lip color, blush color, and shadow color will be described.

메이크업 DB 관리부(110)는 복수개의 제1 샘플 색상과 복수개의 제2 샘플 색상을 포함하며, 복수개의 제1 샘플 색상 중 어느 하나와 복수개의 제2 샘플 색상 중 어느 하나로 구성되는 한 쌍의 샘플 색상에 점수 데이터가 맵핑되는 점수 테이블을 저장하고 있을 수 있다.The makeup DB management unit 110 includes a plurality of first sample colors and a plurality of second sample colors, and a pair of sample colors including any one of a plurality of first sample colors and any one of a plurality of second sample colors. may store a score table to which score data is mapped.

예를 들어, 도 18(a)를 참조하면, 메이크업 DB 관리부(110)는 복수개의 피부색과 복수개의 입술색을 맵핑하고 그에 대응하는 점수 나타내는 피부-입술 점수 테이블을 저장하고 있을 수 있다. 메이크업 분석부(122)는 결정된 피부색과 결정된 입술색을 피부-입술 점수 테이블에서 검색하고, 검색된 피부색과 입술색에 맵핑된 점수를 획득할 수 있고, 획득된 점수를 피부&입술 조화 점수로 판단할 수 있다.For example, referring to FIG. 18A , the makeup DB manager 110 may store a skin-lip score table that maps a plurality of skin colors and a plurality of lip colors and indicates scores corresponding thereto. The makeup analysis unit 122 may search for the determined skin color and the determined lip color in the skin-lip score table, obtain a score mapped to the found skin color and lip color, and determine the obtained score as a skin & lip harmony score. can

마찬가지로, 도 18(b)를 참조하면, 메이크업 DB 관리부(110)는 복수개의 피부색과 복수개의 블러셔색을 맵핑하고 그에 대응하는 점수 나타내는 피부-블러셔 점수 테이블을 저장하고 있을 수 있다. 메이크업 분석부(122)는 피부-블러셔 점수 테이블에서 결정된 피부색과 결정된 블러셔색을 검색하고, 검색된 피부색과 블러셔색에 맵핑된 점수를 획득할 수 있고, 획득된 점수를 피부&블러셔 조화 점수로 판단할 수 있다.Similarly, referring to FIG. 18B , the makeup DB management unit 110 may store a skin-blusher score table that maps a plurality of skin colors and a plurality of blusher colors and indicates scores corresponding thereto. The makeup analysis unit 122 may retrieve the determined skin color and the determined blush color from the skin-blusher score table, obtain a score mapped to the searched skin color and the blush color, and determine the obtained score as a skin & blusher harmonization score. can

다음으로, 피부&아이섀도우 조화 점수를 판단하는 방법을 설명한다. 메이크업 분석부(122)는 도 17을 통해 설명한 방법으로 결정된 대표 섀도우색과 피부 색의 차를 산출할 수 있다. 구체적으로, 메이크업 분석부(122)는 대표 섀도우색과 피부 색의 a값의 차와 L값의 차를 각각 산출하고, 산출된 a값의 차와 L값의 차에 기초하여 점수를 판단할 수 있다. 마찬가지로, 메이크업 분석부(122)는 메이크업 주제에 따라 점수를 상이하게 판단할 수 있다.Next, a method for determining the skin & eyeshadow harmony score will be described. The makeup analyzer 122 may calculate a difference between the representative shadow color and the skin color determined by the method described with reference to FIG. 17 . Specifically, the makeup analysis unit 122 may calculate the difference between the a value and the L value of the representative shadow color and the skin color, respectively, and determine the score based on the calculated difference between the a value and the L value. have. Similarly, the makeup analysis unit 122 may determine the score differently according to the makeup topic.

이와 같이, 메이크업 분석부(122)는 아이섀도우의 경우 피부와의 색상 조화 분석을 입술색 및 블러셔의 경우와는 다르게 판단할 수 있다. 이는, 블러셔 또는 입술은 메이크업 주제가 상이하더라도 색상 계열이 유사한 경향이 있으나, 아이섀도우의 경우 메이크업 주제에 따라 색상 계열이 완전히 달라질 수 있기 때문이다. 이에 따라, 메이크업의 색상조화 부문을 판단시 보다 정밀하게 색상조화를 평가 가능한 이점이 있다.In this way, the makeup analyzer 122 may determine the color harmony analysis with the skin in the case of the eye shadow differently from the case of the lip color and the blusher. This is because blushers or lips tend to have a similar color series even if the make-up subject is different, but in the case of eye shadow, the color series may be completely different depending on the make-up subject. Accordingly, there is an advantage in that it is possible to more precisely evaluate the color harmonization when judging the color harmonization part of the makeup.

한편, 메이크업 분석부(122)는 피부색, 입술색, 블러셔색 및 섀도우색 중 적어도 하나 이상을 추출할 때, 색상이 추출되지 않는 피부색의 경우 0점으로 판단할 수 있다. Meanwhile, when extracting at least one of a skin color, a lip color, a blush color, and a shadow color, the makeup analyzer 122 may determine that a skin color from which a color is not extracted is scored as 0.

무선 통신부(140)는 색상조화 부문을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. The wireless communication unit 140 may transmit the evaluation result signal to the mobile terminal 10 after evaluating the color harmonization section, and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 14는 색상조화 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 피부&입술 조화, 피부&블러셔 조화 및 피부&아이섀도우 조화에 대한 평가 결과를 표시할 수 있다. 그러나, 도 14에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.14 may be an exemplary view showing a makeup evaluation result for a color harmonization section. The display unit 14 may display evaluation results for skin & lip harmony, skin & blusher harmony, and skin & eye shadow harmony. However, the method of representing the evaluation result shown in FIG. 14 is merely exemplary.

다음으로, 도 20은 본 발명의 실시 예에 따른 입술 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 21은 본 발명의 실시 예에 따른 입술 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIG. 20 is a diagram for explaining an evaluation algorithm applied when evaluating a lip section according to an embodiment of the present invention, and FIG. 21 is a method for displaying an evaluation result of a lip section according to an embodiment of the present invention It is an example drawing for

영역 검출부(121)는 이미지에 포함된 얼굴에서 입술 영역(2001)을 검출할 수 있다. 검출된 입술 영역은 도 20(a)에 도시된 바와 같을 수 있다.The region detector 121 may detect the lip region 2001 from the face included in the image. The detected lip region may be as shown in FIG. 20( a ).

메이크업 평가부(120)는 입술 영역(2001)의 메이크업과 관련하여, 입술 균일성과 입술 건조도를 평가할 수 있다. 여기서, 입술 균일성은 입술 색상의 균일성을 나타내는 것으로 입술에 메이크업이 고르게 잘 되었는지를 나타내는 항목일 수 있다. 입술 건조도는 입술이 촉촉한 상태로 메이크업이 잘 되었는지를 나타내는 항목일 수 있다.The makeup evaluation unit 120 may evaluate the lip uniformity and lip dryness in relation to the makeup of the lip region 2001 . Here, the lip uniformity refers to the uniformity of the lip color, and may be an item indicating whether the makeup is well applied to the lips. The dryness of lips may be an item indicating whether makeup is well done with the lips moist.

먼저, 메이크업 평가부(120)가 입술 균일성을 평가하는 방법을 설명한다. 메이크업 분석부(122)는 검출된 입술 영역(2001)을 Lab 색 공간으로 변환하고, L 공간에 있는 영상에서 임계값 설정을 통해 입술 영역 중 반사 영역의 영상을 획득할 수 있다. 예를 들어, 메이크업 분석부(122)는 L 공간에 있는 영상에서 L 값이 기 설정된 범위에 포함되는 픽셀들로 구성되는 영역을 검출하고, 검출된 영역을 반사 영역으로 결정할 수 있다.First, a method for the makeup evaluation unit 120 to evaluate lip uniformity will be described. The makeup analyzer 122 may convert the detected lip region 2001 into a Lab color space, and may obtain an image of a reflective region among the lip region by setting a threshold value in an image in the L space. For example, the makeup analyzer 122 may detect a region composed of pixels having an L value in a preset range in an image in the L space, and determine the detected region as a reflection region.

도 20(b)는 메이크업 분석부(122)에 의해 결정된 반사 영역을 나타내는 예시 도면일 수 있다. 단계 1에서 반사 영역(2002)의 크기가 가장 크고, 단계 5로 갈수록 반사 영역(2002)의 크기가 감소되도록 도시되어 있다.20( b ) may be an exemplary view illustrating a reflection area determined by the makeup analyzer 122 . In step 1, the size of the reflective region 2002 is the largest, and in step 5, the size of the reflective region 2002 is shown to decrease.

메이크업 분석부(122)는 도 20(a)에 도시된 바와 같은 이미지에서 입술 영역의 크기를 산출하고, 도 20(b)에 도시된 바와 같은 이미지에서 검출된 반사 영역의 크기를 산출할 수 있다.The makeup analyzer 122 may calculate the size of the lip area in the image as shown in FIG. 20(a) and calculate the size of the reflective area detected in the image as shown in FIG. 20(b). .

메이크업 분석부(122)는 입술 영역의 크기 대비 반사 영역의 크기의 비율을 산출할 수 있다. 메이크업 분석부(122)는 산출된 크기의 비율에 기초하여 입술의 균일성을 평가할 수 있다. 즉, 메이크업 분석부(122)는 단계 1에 도시된 입술의 경우 입술의 균일성을 높게 평가하고, 단계 5로 갈수록 입술의 균일성을 낮게 평가할 수 있다.The makeup analyzer 122 may calculate a ratio of the size of the lip area to the size of the reflective area. The makeup analyzer 122 may evaluate the uniformity of the lips based on the calculated ratio of sizes. That is, the makeup analyzer 122 may evaluate the uniformity of the lips as high in the case of the lips shown in step 1, and may evaluate the uniformity of the lips as low in the case of the lips shown in step 5.

유사하게, 메이크업 평가부(120)는 입술 건조도를 평가할 수 있다.Similarly, the makeup evaluation unit 120 may evaluate the lip dryness.

메이크업 분석부(122)는 입술 영역을 검출하고, 도 20(a)에 도시된 바와 같은 입술 영역 이미지(2001)를 획득할 수 있다.The makeup analyzer 122 may detect the lip region and acquire an image 2001 of the lip region as shown in FIG. 20A .

메이크업 분석부(122)는 획득된 입술 영역 이미지에 하이 패스 필터(high pass filter)를 적용한 필터링 이미지를 획득할 수 있다. 메이크업 분석부(122)는 필터링 이미지 중 R 공간에 있는 이미지에서 임계값 설정을 통해 입술 영역의 세로 주름을 나타내는 마스크 이미지를 획득할 수 있다. 즉, 메이크업 분석부(122)는 입술 영역 중 R 값이 기 설정된 범위체 포함되는 필셀로 구성되는 영역을 검출하고, 검출된 영역을 나타내는 주름 영역(2002)으로 결정할 수 잇다. 주름 영역(2002)은 도 20(b)에 도시된 예시와 유사하게 단계적으로 획득될 수 있다.The makeup analyzer 122 may obtain a filtered image in which a high pass filter is applied to the obtained lip region image. The makeup analyzer 122 may obtain a mask image representing the vertical wrinkles of the lip region by setting a threshold in the image in the R space among the filtered images. That is, the makeup analyzer 122 may detect a region of the lip region including pixel cells including a preset range body with an R value, and determine it as the wrinkle region 2002 indicating the detected region. The wrinkle region 2002 may be obtained step by step similar to the example shown in FIG. 20(b) .

메이크업 분석부(122)는 도 20(a)에 도시된 바와 같은 이미지에서 입술 영역의 크기를 산출하고, 도 20(b)에 도시된 바와 같은 이미지에서 주름 영역(2002)의 크기를 산출할 수 있다.The makeup analysis unit 122 may calculate the size of the lip area in the image as shown in FIG. 20(a) and calculate the size of the wrinkle area 2002 in the image as shown in FIG. 20(b). have.

메이크업 분석부(122)는 입술 영역의 크기 대비 주름 영역의 크기의 비율을 산출할 수 있다. 메이크업 분석부(122)는 산출된 크기의 비율에 기초하여 입술의 건조도를 평가할 수 있다. 즉, 메이크업 분석부(122)는 단계 1에 도시된 입술의 경우 크기의 비율이 크게 산출되며 입술의 건조도를 높게 평가하고, 단계 5로 갈수록 크기의 비율이 낮게 산출되며 입술의 건조도를 낮게 평가할 수 있다.The makeup analyzer 122 may calculate a ratio of the size of the wrinkle region to the size of the lip region. The makeup analyzer 122 may evaluate the dryness of the lips based on the calculated ratio of sizes. That is, in the case of the lips shown in step 1, the makeup analyzer 122 calculates a large ratio of the size of the lips and evaluates the dryness of the lips as high, and calculates the ratio of the size to a low level and lowers the dryness of the lips in step 5. can be evaluated

도 20에서 반사 영역(2002)과 주름 영역(2002)이 동일한 것처럼 설명하였으나, 이는 설명의 편의를 위해 하나의 예시를 든 것에 불과하며, 하나의 이미지에서 반사 영역(2002)과 주름 영역(2002)은 상이하게 검출될 수 있고, 이에 따라 입술 균일성과 일술 건조도는 상이하게 평가될 수 있다.In FIG. 20, the reflective region 2002 and the wrinkle region 2002 have been described as the same, but this is merely an example for convenience of explanation, and the reflective region 2002 and the wrinkle region 2002 in one image may be detected differently, and accordingly, lip uniformity and dryness in one swipe may be evaluated differently.

그러나, 앞에서 설명한 입술 부문 평가 방법은 예시로 든 것에 불과하므로 이에 제한될 필요는 없다.However, the lip section evaluation method described above is merely an example and need not be limited thereto.

무선 통신부(140)는 입술 부문을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. After evaluating the lip section, the wireless communication unit 140 may transmit an evaluation result signal to the mobile terminal 10 , and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 21은 입술 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 입술 균일성에 대한 평가 결과를 표시할 수 있다. 디스플레이부(14)는 입술 균일성에 대응하는 점수와 입술 건조도에 대응하는 점수를 각각 표시할 수 있다. 그러나, 도 21에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.21 may be an exemplary view showing a makeup evaluation result for a lip part. The display unit 14 may display an evaluation result for lip uniformity. The display unit 14 may display a score corresponding to lip uniformity and a score corresponding to lip dryness, respectively. However, the method of representing the evaluation result shown in FIG. 21 is only exemplary.

다음으로, 도 22는 본 발명의 실시 예에 따른 잡티 부문 평가시 적용되는 평가 알고리즘을 설명하기 위한 도면이고, 도 23은 본 발명의 실시 예에 따른 잡티 부문의 평가결과를 표시하는 방법을 설명하기 위한 예시 도면이다.Next, FIG. 22 is a diagram for explaining an evaluation algorithm applied when evaluating a blemish section according to an embodiment of the present invention, and FIG. 23 is a method for displaying an evaluation result of a blemish section according to an embodiment of the present invention. It is an example drawing for

영상 검출부(121)는 이미지를 획득할 수 있고, 획득한 이미지에 포함된 얼굴 영역을 검출할 수 있다. 예를 들어, 영상 검출부(121)는 도 22(a)에 도시된 바와 같이 얼굴 영역을 검출할 수 있다.The image detector 121 may acquire an image and detect a face region included in the acquired image. For example, the image detector 121 may detect a face region as shown in FIG. 22A .

영상 검출부(121)는 검출된 얼굴 영역에서 볼 영역(2201)을 검출할 수 있고, 볼 영역(2201)은 왼쪽 볼 영역과 오른쪽 볼 영역을 포함할 수 있다. 예를 들어, 영상 검출부(121)는 도 22(b)에 도시된 바와 같이 얼굴 영역에서 볼 영역(2201)을 검출할 수 있다.The image detector 121 may detect the cheek area 2201 from the detected face area, and the cheek area 2201 may include a left cheek area and a right cheek area. For example, the image detector 121 may detect the cheek area 2201 from the face area as shown in FIG. 22(b) .

영상 검출부(121)는 검출된 얼굴 영역에서 턱 영역(2202)을 검출할 수 있다. 메이크업 분석부(122)는 턱 영역(2202)에 포함된 모든 픽셀을 Lab 공간으로 변환하고, 변환된 Lab 공간에서 L, a 및 b 각각의 평균값을 산출하여 피부의 평균 Lab 값을 산출할 수 있다. The image detector 121 may detect a chin region 2202 from the detected face region. The makeup analyzer 122 converts all pixels included in the chin region 2202 into a Lab space, and calculates an average value of each of L, a, and b in the converted Lab space to calculate an average Lab value of the skin. .

메이크업 분석부(122)는 평균 Lab 값을 RGB 값으로 변환하여 피부의 RGB 평균값을 산출할 수 있다.The makeup analyzer 122 may convert the average Lab value into an RGB value to calculate an RGB average value of the skin.

다음으로, 메이크업 분석부(122)는 잡티 대상 영역을 설정할 수 있다. 구체적으로, 메이크업 분석부(122)는 얼굴 영역을 포함하는 이미지를 Lab 색공간으로 변환하고, 변환된 Lab와 앞에서 산출한 피부의 평균 Lab 값의 차에 대응하는 갭 이미지를 획득할 수 있다.Next, the makeup analyzer 122 may set a blemish target area. Specifically, the makeup analyzer 122 may convert an image including the face region into a Lab color space, and obtain a gap image corresponding to a difference between the converted Lab and the previously calculated average Lab value of the skin.

메이크업 분석부(122)는 갭 이미지에 포함된 복수의 픽셀들 각각을 기준으로 옆(좌측 또는 우측)에 위치한 픽셀간의 차에 대응하는 좌우 갭 이미지를 획득하고, 갭 이미지에 포함된 복수의 픽셀들 각각을 기준으로 위 또는 아래에 위치한 픽셀 간의 차에 대응하는 상하 갭 이미지를 획득할 수 있다.The makeup analyzer 122 obtains a left and right gap image corresponding to a difference between pixels located next to (left or right) based on each of a plurality of pixels included in the gap image, and selects the plurality of pixels included in the gap image. An upper-lower gap image corresponding to a difference between pixels positioned above or below each may be obtained.

메이크업 분석부(122)는 좌우 갭 이미지의 픽셀 값을 제곱과 상하 갭 이비지의 픽셀 값을 제곱의 합에 대응하는 색상차 이미지를 획득할 수 있다. 메이크업 분석부(122)는 색상차 이미지에서 픽셀값이 기 설정된 임계값 보다 큰 지점들로 구성되는 대상 영역을 획득할 수 있다.The makeup analyzer 122 may obtain a color difference image corresponding to the sum of the square pixel values of the left and right gap images and the square pixel values of the upper and lower gap images. The makeup analyzer 122 may acquire a target region including points in the color difference image whose pixel value is greater than a preset threshold value.

메이크업 분석부(122)는 대상 영역에 모폴로지 연산(morphological operation)을 수행하여 클러스터링(clustering)된 영역을 도 22(d)에 도시된 바와 같이 잡티 대상 영역(2203)으로 설정할 수 있다. The makeup analyzer 122 may perform a morphological operation on the target area to set the clustered area as the blemish target area 2203 as shown in FIG. 22( d ).

메이크업 분석부(122)는 잡티 대상 영역(2203)에서 픽셀값이 기 설정된 임계값 이상 차이나는 이질점(2213, 2223, 2233)을 획득할 수 있다. 특히, 도 22(e)에 도시된 바와 같이, 메이크업 분석부(122)는 볼 영역(2201) 내부에서 획득되는 이질점(2213, 2223)을 잡티로 인식할 수 있다.The makeup analyzer 122 may acquire heterogeneous points 2213 , 2223 , and 2233 in which pixel values differ by more than a preset threshold in the blemish target region 2203 . In particular, as shown in FIG. 22E , the makeup analyzer 122 may recognize the heterogeneity points 2213 and 2223 obtained inside the cheek area 2201 as blemishes.

메이크업 분석부(122)는 볼 영역(2201)의 크기와, 잡티로 인식된 이질점(2213, 2223)의 크기를 각각 검출하고, 볼 영역(2201)의 크기 대비 이질점(2213, 2223)의 크기 비율을 산출할 수 있다. 메이크업 분석부(122)는 산출된 크기 비율에 기초하여 피부 균일성을 평가할 수 있다. 예를 들어, 메이크업 분석부(122)는 크기 비율이 제1 기준값(예를 들어, 0%)에서 제2 기준값(예를 들어, 5%) 사이에 속하면 5점, 제2 기준값(예를 들어, 5%)에서 제3 기준값(예를 들어, 10%) 사이에 속하면 3점, 제3 기준값(예를 들어, 10%)에서 제4 기준값(예를 들어, 20%) 사이에 속하면 1점으로 결정할 수 있다.The makeup analyzer 122 detects the size of the cheek area 2201 and the size of foreign points 2213 and 2223 recognized as blemishes, respectively, and compares the size of the cheek area 2201 with the foreign points 2213 and 2223. The size ratio can be calculated. The makeup analyzer 122 may evaluate the skin uniformity based on the calculated size ratio. For example, if the size ratio is between the first reference value (eg, 0%) and the second reference value (eg, 5%), the makeup analyzer 122 may give 5 points, a second reference value (eg, 5%). For example, 5%) to a third reference value (eg, 10%) is a score of 3, and a third reference value (eg, 10%) to a fourth reference value (eg, 20%) You can decide with 1 point.

피부 균일성은 얼굴의 피부색이 고르게 메이크업 되었는지를 나타내는 것으로, 잡티, 점 또는 주름 등과 같은 결점이 보이지 않도록 메이크업 커버가 잘 잘되었는지를 나타내는 지표일 수 있다.The skin uniformity indicates whether the skin color of the face is made-up evenly, and may be an index indicating whether the makeup cover is well made so that defects such as blemishes, spots, or wrinkles are not seen.

무선 통신부(140)는 잡티 부문을 평가한 후 평가 결과 신호를 이동 단말기(10)로 전송할 수 있고, 이동 단말기(10)의 디스플레이부(14)는 평가결과를 표시할 수 있다. After evaluating the blemishes section, the wireless communication unit 140 may transmit an evaluation result signal to the mobile terminal 10 , and the display unit 14 of the mobile terminal 10 may display the evaluation result.

도 23은 잡티 부문에 대한 메이크업 평가결과를 나타내는 예시 도면일 수 있다. 디스플레이부(14)는 잡티에 대한 평가 결과를 표시할 수 있다. 그러나, 도 23에 도시된 평가결과를 나타내는 방법은 예시적인 것에 불과하다.23 may be an exemplary view showing a makeup evaluation result for a blemish area. The display unit 14 may display an evaluation result for blemishes. However, the method of representing the evaluation result shown in FIG. 23 is merely exemplary.

다시, 도 4를 설명한다.Again, FIG. 4 will be described.

메이크업 서버(100)는 메이크업을 평가한 평가 결과 신호를 이동 단말기(10)로 전송할 수 있다(S21). The makeup server 100 may transmit an evaluation result signal for evaluating the makeup to the mobile terminal 10 (S21).

이와 같이 눈썹 부문, 다크서클 부문, 색상조화 부문, 입술 부문, 잡티 부문 등 세부 평가 부문별로 평가된 점수가 합해져서 메이크업 총점이 도출될 수 있다. 실시예에 따라서는 각각의 세부 평가 부문이 총점에 기여하는 비율이 메이크업 주제별로 다르게 설정될 수도 있다. 예를 들어, 메이크업 주제가 내추럴인 경우 총점은 다크서클 부문의 점수가 60%이고, 나머지 눈썹 부문, 색상조화 부문, 입술 부문, 잡티 부문에 대한 점수가 각각 10% 비율로 반영되어 산출되고, 메이크업 주제가 스모키인 경우 총점은 색상조화 부문이 35%이고, 입술 부문이 40%이고, 눈썹 부문이 15%이고, 다크서클 부문이 5%이고, 잡티 부문이 5%인 비율로 반영되어 산출될 수 있다.As described above, the total score for makeup can be derived by adding the scores evaluated for each detailed evaluation section, such as the eyebrow section, dark circle section, color coordination section, lip section, and blemish section. According to an exemplary embodiment, the ratio of the contribution of each sub-evaluation section to the total score may be set differently for each makeup topic. For example, if the makeup theme is natural, the total score for the dark circles section is 60%, and the scores for the remaining eyebrows section, color coordination section, lips section, and blemish section are each reflected at a rate of 10%. In the case of smokey, the total score may be calculated by reflecting the proportions of 35% for color harmony, 40% for lips, 15% for eyebrows, 5% for dark circles, and 5% for blemishes.

이동 단말기(10)의 디스플레이부(14)는 수신된 평가 결과 신호에 기초하여 메이크업 평가결과를 표시할 수 있다(S23).The display unit 14 of the mobile terminal 10 may display the makeup evaluation result based on the received evaluation result signal (S23).

디스플레이부(14)는 도 24에 도시된 바와 같은 메이크업 결과를 표시할 수 있다. The display unit 14 may display a makeup result as shown in FIG. 24 .

즉, 디스플레이부(14)는 메이크업 평가 부문 각각에 대한 점수와, 총점을 표시할 수 있다.That is, the display unit 14 may display a score for each makeup evaluation section and a total score.

또는, 디스플레이부(14)는 도 10, 도 13, 도 19, 도 21 및 도 23에 도시된 바와 같이 메이크업 평가결과를 표시할 수 있다. 특히, 디스플레이부(14)는 도 24에 도시된 바와 같은 복수의 평가 부문 중 어느 하나의 부문이 선택되면 선택된 부문에 대한 세부 평가 결과로 도 10, 도 13, 도 19, 도 21 또는 도 23에 도시된 바와 같은 평가 결과를 표시할 수 있다.Alternatively, the display unit 14 may display the makeup evaluation result as shown in FIGS. 10, 13, 19, 21 and 23 . In particular, when any one of a plurality of evaluation categories as shown in FIG. 24 is selected, the display unit 14 displays the detailed evaluation results for the selected category in FIGS. 10, 13, 19, 21 or 23 . An evaluation result as shown may be displayed.

한편, 앞에서는 메이크업 서버(100)가 메이크업 평가를 수행하는 것으로 설명하였으나, 이는 설명의 편의를 위해 예시로 든 것에 불과하다. 이동 단말기(10)가 이미지를 획득하여 메이크업 평가를 직접 수행할 수도 있고, 이 경우 메이크업 서버(100)로부터 메이크업 평가와 관련된 데이터를 수신할 수 있다.Meanwhile, it has been described above that the makeup server 100 performs makeup evaluation, but this is only given as an example for convenience of explanation. The mobile terminal 10 may directly perform makeup evaluation by acquiring an image, and in this case, data related to makeup evaluation may be received from the makeup server 100 .

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 이동 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be implemented as computer-readable code on a medium in which a program is recorded. The computer-readable medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this. In addition, the computer may include the control unit 180 of the mobile terminal. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

a mobile terminal for transmitting the image to the makeup server; and
and a makeup server that evaluates makeup for the face region detected in the image,
the mobile terminal
Displays the evaluation result of the makeup received from the makeup server,
The makeup server
extracting the colors of at least two or more regions from the image, and evaluating the color harmony of the makeup based on the extracted plurality of colors
Makeup rating system.

The method according to claim 1,
The makeup server
Evaluating the color harmony by obtaining a score mapped to the plurality of colors extracted from a score table
Makeup rating system.

3. The method according to claim 2,
The score table is
A table in which scores are mapped to each of the plurality of first sample colors and each of the plurality of second sample colors.
Makeup rating system.

4. The method according to claim 3,
The makeup server
retrieving a color corresponding to each of the plurality of extracted colors from the plurality of first sample colors and the plurality of second sample colors,
The searched colors obtain a mapped score.
Makeup rating system.

The method according to claim 1,
The makeup server
extracting a color corresponding to an average value of color values detected at a plurality of points included in the first area as a color of the first area;
Makeup rating system.

The method according to claim 1,
The makeup server
Before extracting the color, an obstacle removal operation is performed.
Makeup rating system.

7. The method of claim 6,
The makeup server
After converting the image to a gray image, performing the obstacle removal operation of removing a region in which the value of the image is smaller than a predetermined reference value
Makeup rating system.

The method according to claim 1,
The makeup server
Determining any one of a plurality of colors detected in the first area according to a makeup subject and extracting it as a color of the first area
Makeup rating system.

9. The method of claim 8,
The makeup server
Even when the extracted plurality of colors are the same, the score of the color harmony is determined differently according to the makeup theme.
Makeup rating system.

The method according to claim 1,
The makeup server
evaluating at least one of color harmony between the skin and the first area, color harmony between the skin and the second area, and color harmony between the skin and the third area
Makeup rating system.