KR102550632B1 - System for producing customized cosmetic using skin diagnosis information and method thereof - Google Patents

System for producing customized cosmetic using skin diagnosis information and method thereof Download PDF

Info

Publication number
KR102550632B1
KR102550632B1 KR1020200154495A KR20200154495A KR102550632B1 KR 102550632 B1 KR102550632 B1 KR 102550632B1 KR 1020200154495 A KR1020200154495 A KR 1020200154495A KR 20200154495 A KR20200154495 A KR 20200154495A KR 102550632 B1 KR102550632 B1 KR 102550632B1
Authority
KR
South Korea
Prior art keywords
edge
image
manufacturing
skin
wrinkles
Prior art date
Application number
KR1020200154495A
Other languages
Korean (ko)
Other versions
KR20220067819A (en
Inventor
유종완
Original Assignee
주식회사 베이바이오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베이바이오텍 filed Critical 주식회사 베이바이오텍
Priority to KR1020200154495A priority Critical patent/KR102550632B1/en
Publication of KR20220067819A publication Critical patent/KR20220067819A/en
Application granted granted Critical
Publication of KR102550632B1 publication Critical patent/KR102550632B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

실시예에 의한 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법이 개시된다. 상기 맞춤형 화장품 제조 시스템은 피부 상태를 진단하고자 하는 얼굴을 촬영하여 이미지를 획득하는 피부 진단 장치; 상기 획득한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름을 검출하고 상기 검출된 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단하고 상기 진단한 결과로 피부 진단 정보를 생성하는 사용자 단말; 상기 생성된 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 서비스 서버; 및 상기 도출된 제조 성분에 따라 화장품을 제조하는 화장품 제조장치를 포함한다.A customized cosmetics manufacturing system and method using skin diagnosis information according to an embodiment are disclosed. The customized cosmetics manufacturing system includes a skin diagnosis device for acquiring an image by photographing a face whose skin condition is to be diagnosed; A user terminal for detecting wrinkles in pre-classified skin areas within the face using the acquired image, diagnosing a skin condition by calculating a numerical value quantifying the degree of the detected wrinkles, and generating skin diagnosis information as a result of the diagnosis. ; a service server for deriving manufacturing ingredients for manufacturing cosmetics using the generated skin diagnosis information; and a cosmetics manufacturing device for manufacturing cosmetics according to the derived manufacturing ingredients.

Description

피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법{SYSTEM FOR PRODUCING CUSTOMIZED COSMETIC USING SKIN DIAGNOSIS INFORMATION AND METHOD THEREOF}Customized cosmetics manufacturing system and method using skin diagnosis information

실시예는 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법에 관한 것이다.Embodiments relate to a customized cosmetic manufacturing system and method using skin diagnosis information.

글로벌 헬스케어 AI 시장은 해마다 급속히 성장하고 있으며 앞으로도 더욱 크게 성장할 것으로 전망되고 있다 그 중 특히 스마트 뷰티 분야는 시장성이 크고 고 성장산업으로 평가되고 있다 이러한 스마트 뷰티 기술은 크게 디지털 피부 진단 기술과 치료 기술로 나눌 수 있다 디지털 피부 진단 기술은 카메라로 촬영된 영상을 분석하여 피부의 상태를 측정하고 분석하며 주로 접촉식 RGB 카메라 또는 비접촉식 UV 카메라 등이 사용되고 있다.The global healthcare AI market is growing rapidly every year and is expected to grow even more in the future. Among them, the smart beauty field is highly marketable and evaluated as a high-growth industry. These smart beauty technologies are largely divided into digital skin diagnosis technology and treatment technology. Digital skin diagnosis technology measures and analyzes the condition of the skin by analyzing images taken with a camera, and a contact type RGB camera or a non-contact type UV camera is mainly used.

피부 상태를 측정하는 것은 건강의 관점에서 그리고 미용의 관점에서 중요하다.Measuring skin condition is important from a health point of view and from a cosmetic point of view.

일반적으로 사용자의 피부를 청결하고 탄력있게 유지하거나 사용자의 외모에 미감을 부여하기 위해 화장품이 사용되는데, 용도에 따라 각종 화장수, 크림 등의 이른바 기초 화장품 및 가루분, 립스틱, 눈 화장품 등의 메이크업 화장품으로 구분될 수 있다.In general, cosmetics are used to keep the user's skin clean and elastic or to give a sense of beauty to the user's appearance. can be distinguished.

화장품은 평균적인 소비자의 피부특성을 바탕으로 지성, 건성 등 몇 가지 피부 타입으로 간략히 구분해 불특정 다수를 대상으로 화장품 원료 성분의 종류와 그 비율을 제조한 후 용기에 충전하여 판매되고 있으며, 사용자는 시중에 유통되는 수많은 화장품 중 자신의 기호와 피부 상태를 고려하여 적합한 화장품을 선택하여 구매하게 된다.Cosmetics are briefly classified into several skin types such as oily and dry based on the skin characteristics of average consumers, and after manufacturing the types and ratios of cosmetic raw materials for an unspecified number of people, they are filled in containers and sold. Among the many cosmetic products on the market, a person selects and purchases an appropriate cosmetic product in consideration of his/her preference and skin condition.

따라서 사용자 개개인의 피부 상태에 적합한 맞춤형 화장품의 제공이 요구되고 있다.Therefore, there is a demand for providing customized cosmetics suitable for the skin condition of each user.

공개특허공보 제10-2018-0064963호 (2018.06.15.)Publication No. 10-2018-0064963 (2018.06.15.)

실시예는, 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법을 제공할 수 있다.Embodiments may provide a customized cosmetics manufacturing system and method using skin diagnosis information.

실시예에 따른 맞춤형 화장품 제조 시스템은 피부 상태를 진단하고자 하는 얼굴을 촬영하여 이미지를 획득하는 피부 진단 장치; 상기 획득한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름을 검출하고 상기 검출된 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단하고 상기 진단한 결과로 피부 진단 정보를 생성하는 사용자 단말; 상기 생성된 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 서비스 서버; 및 상기 도출된 제조 성분에 따라 화장품을 제조하는 화장품 제조장치를 포함할 수 있다.A customized cosmetic manufacturing system according to an embodiment includes a skin diagnosis device for obtaining an image by photographing a face whose skin condition is to be diagnosed; A user terminal for detecting wrinkles in pre-classified skin areas within the face using the acquired image, diagnosing a skin condition by calculating a numerical value quantifying the degree of the detected wrinkles, and generating skin diagnosis information as a result of the diagnosis. ; a service server for deriving manufacturing ingredients for manufacturing cosmetics using the generated skin diagnosis information; and a cosmetics manufacturing device for manufacturing cosmetics according to the derived manufacturing ingredients.

상기 서비스 서버는 미리 측정된 주름의 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출할 수 있다.The service server may derive the preparation ingredients by using a look-up table in which preparation ingredients are preset according to values quantifying the degree of wrinkles measured in advance and skin conditions.

상기 사용자 단말은 상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고, 상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고, 상기 생성된 에지 이미지로부터 윤곽선을 검출하고, 상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출할 수 있다.The user terminal converts the color space of the image to the HSV color space, extracts brightness information using V of the HSV color space, detects an edge from the image based on the extracted brightness information, and generates an edge image; , Contours may be detected from the generated edge image, the number of detected edges and contours may be calculated, and a wrinkle score quantifying the degree of wrinkles based on the calculated number of edges and contours may be calculated.

상기 사용자 단말은 상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하되, 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행할 수 있다.The user terminal performs histogram equalization on the image based on the extracted brightness information, and divides the image into a plurality of regions to perform histogram equalization.

상기 사용자 단말은 상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고, 상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고, 상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고, 상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고, 상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성할 수 있다.The user terminal generates a horizontal edge image and a vertical edge image by blurring the histogram smoothed image in the horizontal and vertical directions, respectively, to remove noise edges, and the generated horizontal edge image and vertical direction An edge gradient is obtained from each edge image using a sobel edge detector, and an edge having the maximum magnitude is obtained using a Non Maximum Suppression (NMS) algorithm based on the edge gradient A candidate edge is determined as a candidate edge, a threshold is applied to the determined candidate edge to determine whether or not it is a real edge, a morphology open operation is performed on the horizontal direction edge image, and then the edges determined to be the real edge are respectively The edge image may be generated by combining a horizontal edge image and a vertical edge image.

실시예에 따른 맞춤형 화장품 제조 방법은 피부 진단 장치가 피부 상태를 진단하고자 하는 얼굴을 촬영하여 이미지를 획득하는 단계; 사용자 단말이 상기 획득한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름을 검출하고 상기 검출된 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단하고 상기 진단한 결과로 피부 진단 정보를 생성하는 단계; 서비스 서버가 상기 생성된 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 단계; 및 화장품 제조장치가 상기 도출된 제조 성분에 따라 화장품을 제조하는 단계를 포함할 수 있다.A method for manufacturing customized cosmetics according to an embodiment includes the steps of acquiring an image by photographing a face for which a skin condition is to be diagnosed by a skin diagnosis device; The user terminal detects wrinkles in pre-classified skin areas within the face using the acquired image, calculates a value quantifying the degree of the detected wrinkles, diagnoses the skin condition, and generates skin diagnosis information as a result of the diagnosis. doing; Deriving, by a service server, ingredients for manufacturing cosmetics using the generated skin diagnosis information; and preparing, by the cosmetics manufacturing apparatus, cosmetics according to the derived ingredients.

상기 생성하는 단계는 미리 측정된 주름의 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출할 수 있다.In the generating step, the preparation ingredients may be derived using a look-up table in which the preparation ingredients are preset according to a value obtained by quantifying the degree of wrinkles measured in advance and a skin condition.

상기 생성하는 단계는 상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고, 상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고, 상기 생성된 에지 이미지로부터 윤곽선을 검출하고, 상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출할 수 있다.The generating step converts the color space of the image to the HSV color space, extracts brightness information using V of the HSV color space, and detects an edge from the image based on the extracted brightness information to generate an edge image. and detecting contour lines from the generated edge image, calculating the number of detected edges and contour lines, and calculating a wrinkle score quantifying the degree of wrinkles based on the calculated number of edges and contour lines. .

상기 생성하는 단계는 상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하되, 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행할 수 있다.In the generating step, histogram equalization may be performed on the image based on the extracted brightness information, and the histogram equalization may be performed by dividing the image into a plurality of regions.

상기 생성하는 단계는 상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고, 상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고, 상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고, 상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고, 상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성할 수 있다.The generating step generates a horizontal edge image and a vertical edge image by blurring the histogram-smoothed image in horizontal and vertical directions, respectively, to remove noise edges, and generating the horizontal edge image and the vertical edge image. An edge having the maximum magnitude by obtaining an edge gradient from each directional edge image using a sobel edge detector and using a Non Maximum Suppression (NMS) algorithm based on the edge gradient Determines as a candidate edge, determines whether it is a real edge by applying a threshold to the determined candidate edge, performs a morphology open operation on the horizontal edge image, and then determines the edge determined to be the real edge The edge image may be generated by combining a horizontal edge image and a vertical edge image, each of which is included.

실시예에 따르면, 얼굴을 촬영한 RGB 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름의 정도를 정량화한 수치를 산출하여 피부의 상태를 진단하고 진단한 피부의 상태를 기초로 화장품의 제조 성분을 결정하고 결정된 제조 성분에 따라 화장품을 제조하도록 함으로써, 사용자의 피부 상태에 적합한 맞춤형 화장품을 제조하여 제공할 수 있다.According to the embodiment, a numerical value quantifying the degree of wrinkles in a pre-divided skin area within the face is calculated using an RGB image of a face to diagnose the condition of the skin, and a manufacturing component of a cosmetic based on the diagnosed skin condition. By determining and manufacturing cosmetics according to the determined ingredients, it is possible to manufacture and provide customized cosmetics suitable for the user's skin condition.

실시예에 따르면, 맞춤형 화장품 제조가 가능하여 사용자의 만족도를 향상시킬 수 있다.According to the embodiment, it is possible to manufacture customized cosmetics, thereby improving user satisfaction.

도 1은 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 과정을 설명하기 위한 도면이다.
도 3는 도 1에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 피부 진단 방법을 나타내는 도면이다.
도 5a 내지 도 5c는 실시예에 따른 피부 영역 검출 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 주름을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 7은 모바일 앱을 통해 피부 진단 결과를 표시하는 화면을 나타내는 도면이다.
1 is a diagram showing the configuration of a customized cosmetic manufacturing system according to an embodiment of the present invention.
2 is a diagram for explaining a process for manufacturing customized cosmetics according to an embodiment of the present invention.
FIG. 3 is a diagram showing a detailed configuration of a user terminal shown in FIG. 1 .
4 is a diagram showing a skin diagnosis method according to an embodiment of the present invention.
5A to 5C are views for explaining a skin region detection process according to an embodiment.
6 is a diagram illustrating a process of detecting and digitizing wrinkles according to an embodiment of the present invention.
7 is a diagram illustrating a screen displaying skin diagnosis results through a mobile app.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.However, the technical idea of the present invention is not limited to some of the described embodiments, but may be implemented in a variety of different forms, and if it is within the scope of the technical idea of the present invention, one or more of the components among the embodiments can be selectively implemented. can be used by combining and substituting.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in the embodiments of the present invention, unless explicitly specifically defined and described, can be generally understood by those of ordinary skill in the art to which the present invention belongs. It can be interpreted as meaning, and commonly used terms, such as terms defined in a dictionary, can be interpreted in consideration of contextual meanings of related technologies.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.Also, terms used in the embodiments of the present invention are for describing the embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In this specification, the singular form may also include the plural form unless otherwise specified in the phrase, and when described as “at least one (or more than one) of A and (and) B and C”, A, B, and C are combined. may include one or more of all possible combinations.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.Also, terms such as first, second, A, B, (a), and (b) may be used to describe components of an embodiment of the present invention.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.These terms are only used to distinguish the component from other components, and the term is not limited to the nature, order, or order of the corresponding component.

그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.In addition, when a component is described as being 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected to, combined with, or connected to the other component, but also with the component. It may also include the case of being 'connected', 'combined', or 'connected' due to another component between the other components.

또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In addition, when it is described as being formed or disposed on “above (above) or below (below)” of each component, “upper (above)” or “lower (below)” is not only a case where two components are in direct contact with each other, but also one A case in which another component above is formed or disposed between two components is also included. In addition, when expressed as “up (up) or down (down)”, it may include the meaning of not only the upward direction but also the downward direction based on one component.

실시예에서는, 얼굴을 촬영한 RGB 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름의 정도를 정량화한 수치를 산출하여 피부의 상태를 진단하고 진단한 피부의 상태를 기초로 화장품의 제조 성분을 결정하고 결정된 제조 성분에 따라 화장품을 제조하도록 한, 새로운 방안을 제안한다.In the embodiment, a numerical value quantifying the degree of wrinkles in a pre-divided skin area within the face is calculated using an RGB image of a face to diagnose the condition of the skin, and based on the diagnosed skin condition, the manufacturing ingredient of the cosmetic is calculated. Determine and propose a new method to manufacture cosmetics according to the determined ingredients.

여기서 주름은 일정한 두께를 지니는 부위 사이에서 발생하는 피부의 함몰부를 의미한다.Here, the wrinkles refer to depressions in the skin that occur between areas having a certain thickness.

도 1은 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of a customized cosmetic manufacturing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 시스템은 피부 진단 장치(100), 서비스 서버(300), 데이터베이스(database, 400), 화장품 제조장치(500)를 포함할 수 있다.Referring to FIG. 1 , a customized cosmetics manufacturing system according to an embodiment of the present invention may include a skin diagnosis device 100, a service server 300, a database 400, and a cosmetics manufacturing device 500. .

피부 진단 장치(100)는 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 이미지를 획득하고, 획득한 RGB 이미지를 사용자 단말(200)에 제공할 수 있다.The skin diagnosis apparatus 100 may acquire an RGB image by photographing a face using a non-contact RGB camera, and may provide the obtained RGB image to the user terminal 200 .

사용자 단말(200)은 제공받은 RGB 이미지를 이용하여 얼굴 영역을 검출하고 얼굴 영역 내 미리 구분된 피부 영역에서 주름을 검출하되, 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단할 수 있다.The user terminal 200 may diagnose a skin condition by detecting a facial area using the provided RGB image and detecting wrinkles in a skin area pre-divided within the facial area, and calculating a value quantifying the degree of wrinkles.

사용자 단말(200)은 서비스 서버(300)와 연동하고, 진단한 결과로 피부 진단 정보를 서비스 서버에 업로드하여 관리함으로써, 사용자의 얼굴 피부 상태의 이력을 확인할 수 있다.The user terminal 200 may check the history of the user's facial skin condition by interworking with the service server 300 and uploading and managing skin diagnosis information as a diagnosis result to the service server.

서비스 서버(300)는 피부 진단 장치(100)와 연동하고, 피부 진단 장치(100)로부터 주름의 정도를 정량화한 수치, 피부 상태를 포함하는 피부 진단 정보를 제공받아 관리할 수 있다.The service server 300 may interwork with the skin diagnosis device 100 and receive and manage skin diagnosis information including a quantified value of wrinkles and a skin condition from the skin diagnosis device 100 .

서비스 서버(300)는 현재 날짜의 이미지와 이전 날짜의 이미지를 비교하여 사용자의 얼굴 피부 상태가 개선되었는지를 사용자가 확인할 수 있도록 정보를 제공할 수 있다.The service server 300 may provide information so that the user can check whether the user's facial skin condition has improved by comparing the image of the current date with the image of the previous date.

데이터베이스(400)는 사용자별로 제공받은 피부 상태에 대한 정보를 저장할 수 있다. 데이터베이스(400)는 피부 상태뿐 아니라 주름의 정도를 정량화한 수치에 대한 정보도 함께 저장하고, 이러한 정보들은 날짜나 시간별로 순차적으로 저장될 수 있다.The database 400 may store information on skin conditions provided for each user. The database 400 stores not only skin conditions but also information on numerical values quantifying the degree of wrinkles, and such information may be sequentially stored by date or time.

서비스 서버(300)는 사용자의 피부 상태에 대한 정보 즉, 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출할 수 있다. 실시예에서는 피부 진단 정보 즉, 주름의 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 제조 성분을 도출할 수 있다. 여기서, 제조 성분은 원료의 종류, 원료의 혼합 비율 등을 포함할 수 있다.The service server 300 may derive manufacturing ingredients for manufacturing cosmetics by using information about the user's skin condition, that is, skin diagnosis information. In the embodiment, manufacturing ingredients may be derived using a look-up table in which manufacturing ingredients are preset according to skin diagnosis information, that is, numerical values quantifying the degree of wrinkles, and skin conditions. Here, the manufacturing component may include the type of raw material, the mixing ratio of the raw material, and the like.

여기서 서비스 서버(300)는 가장 최근에 측정된 피부 진단 정보를 이용하여 제조 성분을 도출하고 있지만 반드시 이에 한정되지 않고 이전 이력을 모두 고려하여 도출할 수 있다.Here, the service server 300 derives the manufacturing ingredient using the most recently measured skin diagnosis information, but is not necessarily limited thereto and may derive it in consideration of all previous histories.

서비스 서버(300)는 도출된 제조 성분을 화장품 제조장치(500)에 제공할 수 있다.The service server 300 may provide the derived ingredients to the cosmetic manufacturing apparatus 500 .

화장품 제조장치(500)는 서비스 서버(300)와 연동하고, 서비스 서버(300)로부터 제조 성분을 제공받으면, 제공받은 제조 성분에 따라 화장품을 제조할 수 있다. 이렇게 피부 상태에 적합하게 제조된 화장품이 사용자에게 제공될 수 있다.The cosmetics manufacturing device 500 interworks with the service server 300 and, when manufacturing ingredients are provided from the service server 300, can manufacture cosmetics according to the provided ingredients. Cosmetics manufactured in this way suitable for the skin condition may be provided to the user.

도 2는 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 과정을 설명하기 위한 도면이다.2 is a diagram for explaining a process for manufacturing customized cosmetics according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 제1 실시예에 따른 피부 진단 장치는 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다(S201).Referring to FIG. 2 , the skin diagnosis apparatus according to the first embodiment of the present invention may acquire an RGB image by photographing a face using a non-contact RGB camera (S201).

다음으로, 사용자 단말은 획득한 RGB 이미지를 분석하여 그 분석한 결과로 얼굴 영역을 검출하고 얼굴 영역 내 미리 구분된 피부 영역에서 주름을 검출할 수 있다(S202).Next, the user terminal analyzes the acquired RGB image, detects the face area as a result of the analysis, and detects wrinkles in the skin area pre-divided within the face area (S202).

다음으로, 사용자 단말은 주름의 정도를 정량화한 수치를 산출하고, 이를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성할 수 있다(S203).Next, the user terminal may generate skin diagnosis information by calculating a value quantifying the degree of wrinkles and diagnosing a skin condition based thereon (S203).

다음으로, 사용자 단말은 생성된 피부 진단 정보를 화면에 표시할 수 있다(S204). 도 7의 (a)과 같이 사용자 단말은 모바일 어플리케이션을 통해 피부 진단 정보를 시각적으로 표시하고, (b), (c)와 같이 피부 영역별 주름 점수를 보여주고 있다.Next, the user terminal may display the generated skin diagnosis information on the screen (S204). As shown in (a) of FIG. 7 , the user terminal visually displays skin diagnosis information through a mobile application, and shows wrinkle scores for each skin area as shown in (b) and (c).

다음으로, 사용자 단말은 피부 진단 정보를 서비스 서버에 제공하면(S205), 서비스 서버는 제공받은 피부 진단 정보를 데이터베이스에 저장할 수 있다(S206).Next, when the user terminal provides the skin diagnosis information to the service server (S205), the service server may store the provided skin diagnosis information in a database (S206).

다음으로, 서비스 서버는 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하고(S207) 도출된 제조 성분을 화장품 제조장치에 제공할 수 있다(S208).Next, the service server may derive manufacturing ingredients for manufacturing cosmetics using the skin diagnosis information (S207) and provide the derived manufacturing ingredients to the cosmetic manufacturing device (S208).

다음으로, 화장품 제조장치는 제공받은 제조 성분에 따라 화장품을 제조할 수 있다(S209).Next, the cosmetics manufacturing apparatus may manufacture cosmetics according to the provided manufacturing ingredients (S209).

이러한 화장품 제조를 위한 피부 진단 정보를 획득하는 기술을 이하에서 설명한다.A technique for obtaining skin diagnosis information for manufacturing such cosmetics will be described below.

도 3은 도 1에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.FIG. 3 is a diagram showing a detailed configuration of a user terminal shown in FIG. 1 .

도 3을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 제1 통신부(211), 제2 통신부(212), 입력부(213), 제어부(214), 출력부(215), 저장부(216), 표시부(217)를 포함할 수 있다.Referring to FIG. 3 , the user terminal 200 according to an embodiment of the present invention includes a first communication unit 211, a second communication unit 212, an input unit 213, a control unit 214, an output unit 215, A storage unit 216 and a display unit 217 may be included.

제1 통신부(211)는 피부 진단 장치(100)와 연동하고 RGB 이미지를 제공할 수 있다.The first communication unit 211 may interwork with the skin diagnosis device 100 and provide RGB images.

제2 통신부(212)는 서비스 서버(300)와 연동하여 각종 데이터를 송수신할 수 있다.The second communication unit 212 may transmit and receive various types of data in conjunction with the service server 300 .

입력부(213)는 사용자의 메뉴 또는 키 조작에 따른 정보를 입력 받을 수 있다.The input unit 213 may receive information according to a user's menu or key manipulation.

제어부(214)는 RGB 이미지를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역을 미리 정해진 다수의 피부 영역으로 구분하고, 구분된 다수의 피부 영역에서 주름을 검출할 수 있다.The controller 214 may detect a face area using the RGB image, classify the detected face area into a plurality of predetermined skin areas, and detect wrinkles in the plurality of divided skin areas.

제어부(214)는 다수의 피부 영역에서 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단할 수 있다.The controller 214 may diagnose a skin condition by calculating a numerical value obtained by quantifying the degree of wrinkles in a plurality of skin areas.

출력부(215)는 피부 진단 및 피부 상태를 안내하기 위한 오디오를 출력할 수 있다.The output unit 215 may output audio for guiding skin diagnosis and skin conditions.

저장부(216)는 날짜별 RGB 이미지, 피부 영역, 주름의 정도를 정량화한 수치, 피부 상태 등 피부 진단에 관련된 정보를 저장할 수 있다.The storage unit 216 may store information related to skin diagnosis, such as an RGB image by date, a skin area, a quantified value of the degree of wrinkles, and a skin condition.

표시부(217)는 사용자의 얼굴을 촬영한 RGB 이미지, RGB 이미지를 이용한 주름의 정도를 정량화한 수치, 피부 상태 등을 화면에 표시할 수 있다.The display unit 217 may display on the screen an RGB image of the user's face, a value obtained by quantifying the degree of wrinkles using the RGB image, and a skin condition.

도 4는 본 발명의 실시예에 따른 피부 진단 방법을 나타내는 도면이다.4 is a diagram showing a skin diagnosis method according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 제1 실시예에 따른 피부 진단 장치는 피부 진단을 위해 RGB 카메라를 이용하여 사용자의 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다(S410).Referring to FIG. 4 , the skin diagnosis apparatus according to the first embodiment of the present invention may acquire an RGB image by photographing a user's face using an RGB camera for skin diagnosis (S410).

다음으로, 피부 진단 장치를 획득된 RGB 이미지를 사용자 단말에 제공할 수 있다.Next, the RGB image acquired by the skin diagnosis device may be provided to the user terminal.

다음으로, 사용자 단말은 모바일 어플리케이션을 통해 제공받은 RGB 이미지로부터 얼굴 영역을 검출할 수 있다(S420). 이때, 영상 촬영 환경 또는 개개인의 얼굴 특성에 따라 촬영된 영상 내 얼굴 크기 또는 각도 등이 달라질 수 있다. 영상마다 얼굴의 크기나 각도 등이 다를 경우 피부 영역 검출의 정확도가 떨어지게 되어 시스템의 성능이 저하된다. 따라서 균일한 피부 영역을 검출하기 위해서는 촬영 환경 또는 얼굴 특성이 달라지더라도 얼굴 영역을 정밀하게 찾아낼 필요가 있다. 얼굴 영역을 검출하는 방법으로는 공지된 다양한 기술이 사용될 수 있는데, 예컨대, Harr-like feature 기반의 방법, AlexNet 기반의 방법, Cascade 기반 CNN을 이용한 방법, AutoEncoder를 이용한 방법, FAN(Face Alignment Algorithm) 등이 있다.Next, the user terminal may detect the face area from the RGB image provided through the mobile application (S420). In this case, the size or angle of the face in the captured image may vary according to the image capturing environment or individual face characteristics. If the size or angle of the face is different for each image, the accuracy of detecting the skin area is lowered, and the performance of the system is deteriorated. Therefore, in order to detect a uniform skin area, it is necessary to accurately find the face area even if the photographing environment or face characteristics change. As a method for detecting a face region, various known technologies may be used. For example, a Harr-like feature-based method, an AlexNet-based method, a Cascade-based CNN method, an AutoEncoder method, and FAN (Face Alignment Algorithm) etc.

다음으로, 사용자 단말은 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출할 수 있다(S430). 실시예에서는 얼굴 전체 피부에 대한 진단이 아닌 특정 피부 영역에 한정하여 진단이 이루어지는데, 진단 대상별 관심 피부 영역은 달라질 수 있다.Next, the user terminal may detect a predetermined skin region among the detected face regions (S430). In the embodiment, the diagnosis is made limited to a specific skin area rather than the diagnosis of the entire face, but the skin area of interest for each diagnosis subject may be different.

예컨대, 주름은 양 볼, 양 눈 옆을 관심 피부 영역으로 한다.For example, for wrinkles, both cheeks and the sides of both eyes are the skin regions of interest.

도 5a 내지 도 5c는 실시예에 따른 피부 영역 검출 과정을 설명하기 위한 도면이다.5A to 5C are views for explaining a skin region detection process according to an embodiment.

도 5a를 참조하면, 양볼의 경우 사각형으로 영역을 검출 하게 되면 실제 볼 영역과 맞지 않아 볼 이외의 부분 코 경계 또는 입술 경계 등이 포함되거나 실제 볼보다 좁은 영역이 검출 될 수 있다. 이러한 좁은 영역은 주름 검출 시 성능 저하의 원인이 되기 때문에, 볼록 다각형을 구성하여 최대한 볼 영역이 다 포함되도록 해야 한다.Referring to FIG. 5A , in the case of both cheeks, if the area is detected as a rectangle, it does not match the actual cheek area, so that a part other than the cheeks, such as the nose boundary or the lip boundary, may be included or an area narrower than the actual cheek may be detected. Since such a narrow area causes deterioration in performance when detecting wrinkles, convex polygons should be formed to include the entire cheek area as much as possible.

도 5b를 참조하면, 양눈 옆은 눈썹과 눈꺼풀 그리고 눈과 같이 직선 형태의 노이즈들이 주름으로 잘못 검출 될 수 있다. 따라서 검출된 얼굴 영역 좌표에서 눈썹과 눈 좌표를 이용하여 삼각형의 형태로 양 눈 옆 영역을 지정하면서 노이즈가 포함되지 않도록 한다.Referring to FIG. 5B , straight-line noises such as eyebrows, eyelids, and eyes may be incorrectly detected as wrinkles next to both eyes. Therefore, noise is not included while specifying the area next to both eyes in a triangular form using the eyebrow and eye coordinates in the detected face area coordinates.

도 5c를 참조하면, 미간, 양볼, 양눈 옆 영역에 대하여 마스킹 작업을 하여 별도의 이미지 즉, 마스킹 이미지로 저장하여 주름 검출 시 사용할 수 있다.Referring to FIG. 5C , a masking operation is performed on the area next to the glabella, both cheeks, and both eyes, and stored as a separate image, that is, a masking image, which can be used when detecting wrinkles.

다음으로, 피부 진단 장치는 검출된 피부 영역에서 주름을 검출하여 검출된 주름의 정도를 정량화하여 수치화할 수 있다(S450).Next, the skin diagnosis apparatus may detect wrinkles in the detected skin region and quantify the degree of the detected wrinkles (S450).

다음으로, 사용자 단말은 주름을 검출한 결과를 기초로 피부 영역별 피부 상태를 진단하고(S470), 진단한 피부 상태를 화면에 표시할 수 있다(S480).Next, the user terminal may diagnose the skin condition for each skin area based on the wrinkle detection result (S470), and display the diagnosed skin condition on the screen (S480).

도 6은 본 발명의 실시예에 따른 주름을 검출하여 수치화하는 과정을 나타내는 도면이다.6 is a diagram illustrating a process of detecting and digitizing wrinkles according to an embodiment of the present invention.

도 6을 참조하면, 실시예에 따른 사용자 단말은 RGB 이미지의 색 공간을 변환하여 밝기 정보를 추출할 수 있다. 즉, 주름은 주변 피부와의 색 차이가 미미하기 때문에 색 정보가 아닌 밝기 정보를 활용해야 하는데, 밝기 정보를 추출하기 위해서는 RGB 색공간이 아닌 HSV 색공간을 사용해야 한다. 여기서 HSV는 H(Hue, 색조), S(Saturation, 채도), V(Value, 명도)를 나타낸다. 즉, HSV 색 공간에서는 H와 S 값으로 색을 표현하고 V로 밝기를 표현하므로 V를 이용하여 밝기 정보를 추출한다(S610).Referring to FIG. 6 , a user terminal according to an embodiment may extract brightness information by converting a color space of an RGB image. That is, since the color difference between the wrinkles and the surrounding skin is insignificant, brightness information should be used instead of color information. To extract the brightness information, the HSV color space rather than the RGB color space should be used. Here, HSV represents H (Hue), S (Saturation), and V (Value). That is, in the HSV color space, since colors are expressed with H and S values and brightness is expressed with V, brightness information is extracted using V (S610).

다음으로, 사용자 단말은 추출한 밝기 정보를 기초로 이미지에 대해 히스토그램 평활화(Histogram Equalization)를 수행할 수 있다(S612). 히스토그램 평활화를 적용시키면 이미지의 픽셀값이 0~255 범위 내에 골고루 분산되어 이미지의 명암대비가 개선되지만 밝기 분포가 극단적일 경우 일부 영역에서 충분한 명암 대비 개선의 효과를 보기 어렵다. 따라서 실시예에서는 대비 제한 적응 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, CLAHE)를 이용하고자 한다. 이때 CLAHE는 지역적 명암대비 향상 기법으로 영상을 여러 개의 블록으로 나누어 CLAHE를 수행할 수 있다.Next, the user terminal may perform histogram equalization on the image based on the extracted brightness information (S612). When histogram equalization is applied, the pixel values of the image are evenly distributed within the range of 0 to 255 to improve the contrast of the image, but if the brightness distribution is extreme, it is difficult to see sufficient contrast improvement in some areas. Therefore, in the embodiment, Contrast Limited Adaptive Histogram Equalization (CLAHE) is intended to be used. At this time, CLAHE is a local contrast enhancement technique, and CLAHE can be performed by dividing an image into several blocks.

다음으로, 사용자 단말은 미리 정해진 에지 검출 알고리즘을 이용하여 평활화가 수행된 RGB 이미지로부터 에지를 검출하여 에지 이미지를 생성할 수 있다(S620). 여기서 에지 검출 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있는데, 예컨대, canny edge detection일 수 있다.Next, the user terminal may generate an edge image by detecting an edge from the smoothed RGB image using a predetermined edge detection algorithm (S620). Here, various well-known algorithms may be used as the edge detection algorithm, and may be, for example, canny edge detection.

구체적으로 설명하면, 사용자 단말은 에지 검출의 성능을 높이기 위하여 가우시안 필터(Gaussian filter)를 사용하여 이미지를 블러(blur) 시킴으로써 노이즈 에지를 제거할 수 있다.Specifically, the user terminal may remove a noise edge by blurring an image using a Gaussian filter in order to improve edge detection performance.

이때, 사용자 단말은 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로 주름과 세로 주름을 분리 분석하기에 적합한 형태 즉, 가로방향 에지 이미지와 세로방향 에지 이미지를 생성할 수 있다.At this time, the user terminal removes the noise edge by blurring the image in the horizontal and vertical directions, respectively, to generate a shape suitable for separating and analyzing horizontal and vertical wrinkles, that is, a horizontal edge image and a vertical edge image. .

다음으로, 사용자 단말은 노이즈 에지가 제거된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득할 수 있다. 이때, 가로 방향과 세로 방향의 그레디언트를 각각 Gx, Gy라고 할 때, 에지 그레디언트는 다음의 수학식 1과 같다.Next, the user terminal may obtain an edge gradient from each of the horizontal edge image and the vertical edge image from which noise edges are removed by using a sobel edge detector. In this case, when the horizontal and vertical gradients are Gx and Gy, respectively, the edge gradient is expressed in Equation 1 below.

[수학식 1][Equation 1]

Figure 112020123710448-pat00001
,
Figure 112020123710448-pat00002
Figure 112020123710448-pat00001
,
Figure 112020123710448-pat00002

다음으로, 사용자 단말은 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정할 수 있다. 이때 모든 이웃에 대해서 최대인지 판별하는 것이 아니라 에지의 방향을 고려해서 탐색 방향을 결정한다.Next, the user equipment may determine an edge having the maximum magnitude as a candidate edge by using a Non Maximum Suppression (NMS) algorithm based on the edge gradient. At this time, the search direction is determined by considering the direction of the edge, rather than determining whether it is the maximum for all neighbors.

다음으로, 사용자 단말은 결정된 후보 에지가 실제 에지인지 아닌지를 판단할 수 있다. 즉, 에지의 강도가 상위 임계치(upper threshold)보다 크면 에지로 지정하고 하위 임계치(lower thereshold)보다 작으면 에지들을 합성 연결할 때 활용한다.Next, the user terminal may determine whether or not the determined candidate edge is an actual edge. That is, if the strength of an edge is greater than the upper threshold, it is designated as an edge, and if it is less than the lower threshold, it is used when combining the edges.

다음으로, 사용자 단말은 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행할 수 있다. 모폴로지는 영상의 기하학적 형태를 분석하는 기법이다. 기본적인 모폴로지 연산으로는 침식(erosion)과 팽창(dilation) 연산이 있다. 침식은 관심 영역의 크기가 줄어드는 대신 미미한 노이즈가 제거되는 효과가 있다. 팽창은 관심 영역의 크기가 늘어나지만 노이즈의 크기도 같이 늘어날 수 있다. 이때 침식 연산 후 팽창 연산을 하게 되면 물체의 형상과 크기가 보존됨과 동시에 미미한 노이즈를 제거할 수 있다. 이와 같이 침식 연산과 팽창 연산을 순서대로 하는 과정을 오픈 연산이라 하며 작은 노이즈를 제거하는데 많이 사용된다. 가로 방향의 주름은 특히 노이즈가 많기 때문에 실시예에서는 가로방향 에지 이미지에 대해서만 모노폴로지 오픈 연산을 수행하려 한다.Next, the user terminal may perform a morphology open operation on the edge image in the horizontal direction. Morphology is a technique for analyzing the geometric shape of an image. Basic morphological operations include erosion and dilation operations. Erosion reduces the size of the region of interest, but has the effect of removing minor noise. Dilation increases the size of the region of interest, but the size of noise may also increase. At this time, if the dilation operation is performed after the erosion operation, the shape and size of the object can be preserved and insignificant noise can be removed at the same time. This process of sequentially performing erosion and dilation operations is called an open operation and is often used to remove small noise. Since wrinkles in the horizontal direction are particularly noisy, the embodiment tries to perform the monomorphic open operation only on the edge image in the horizontal direction.

다음으로, 사용자 단말은 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 에지 이미지를 생성할 수 있다.Next, the user terminal may generate an edge image by combining a horizontal edge image and a vertical edge image each including an edge determined to be an actual edge.

다음으로, 사용자 단말은 미리 정해진 윤곽선 검출 알고리즘을 이용하여 에지 이미지로부터 윤곽선을 검출할 수 있다(S630). 윤곽선은 동일한 강도를 갖는 모든 연속된 점을 연결하는 곡선이며 형태 분석과 물체 감지 및 인식에 유용한 도구로 사용된다. 이때, 윤관석 검출 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있다.Next, the user terminal may detect the contour line from the edge image using a predetermined contour detection algorithm (S630). A contour is a curve that connects all consecutive points with the same intensity and is used as a useful tool for shape analysis and object detection and recognition. At this time, various known algorithms may be used as the Yoon Kwan-seok detection algorithm.

다음으로, 사용자 단말은 검출된 에지, 윤곽선을 기초로 정량화한 수치를 산출할 수 있다(S640). 즉, 피부 진단 장치는 검출된 에지와 윤곽선의 개수를 산출하고, 산출된 에지와 윤곽선의 개수를 기초로 주름의 정도를 정량화한 수치 또는 점수를 산출할 수 있다.Next, the user terminal may calculate a quantified numerical value based on the detected edge and outline (S640). That is, the skin diagnosis apparatus may calculate the number of detected edges and contour lines, and calculate a value or score quantifying the degree of wrinkles based on the calculated number of edges and contour lines.

먼저, 검출된 에지와 윤곽선 각각의 개수는 다음의 수학식 2, 3과 같이 나타낸다.First, the number of detected edges and contour lines is expressed as in Equations 2 and 3 below.

[수학식 2][Equation 2]

Figure 112020123710448-pat00003
,
Figure 112020123710448-pat00004
Figure 112020123710448-pat00003
,
Figure 112020123710448-pat00004

[수학식 3][Equation 3]

Figure 112020123710448-pat00005
Figure 112020123710448-pat00005

여기서, w는 이미지의 너비, h는 이미지의 높이, n은 검출된 윤곽(contour)의 개수, (xk,1, yk,1)은 k번째 윤곽의 시작점, (xk,2, yk,2)은 k번째 윤곽의 끝점을 나타낸다.Here, w is the width of the image, h is the height of the image, n is the number of detected contours, (x k,1 , y k,1 ) is the starting point of the kth contour, (x k,2 , y k,2 ) represents the end point of the kth contour.

선 형태의 주름은 모든 주름 선을 분석하는 것으로 수학식 2와 같이 검출된 에지들의 개수를 카운트하여 정량화가 가능하고, 굵은 주름(Rhytid)은 주름이 형성하는 영역을 분석하는 것으로 수학식 3과 같이 검출된 윤곽선의 길이의 총 합을 계산하여 정량화가 가능하다.Line-shaped wrinkles can be quantified by counting the number of edges detected as shown in Equation 2 by analyzing all wrinkle lines, and thick wrinkles (Rhytid) analyze the area where wrinkles are formed, as shown in Equation 3 Quantification is possible by calculating the total sum of the lengths of the detected contours.

상기 수학식 2, 3을 이용하여 주름 점수를 구하면, 다음의 수학식 4와 같이 나타낸다.When the wrinkle score is obtained using Equations 2 and 3, it is expressed as in Equation 4 below.

[수학식 4][Equation 4]

Figure 112020123710448-pat00006
,
Figure 112020123710448-pat00007
Figure 112020123710448-pat00006
,
Figure 112020123710448-pat00007

여기서, pm은 해당 화소 위치(i, j)의 마스크를 나타낸다.Here, p m represents the mask of the corresponding pixel position (i, j).

상기 수학식 4와 같이 마스크의 면적을 구하고, 값의 강도를 보정하기 위하여 log를 취한 뒤 마스크 면적 대비 Scorew-line과 Scorew-rhytid의 상대적인 값을 계산한다.The area of the mask is obtained as shown in Equation 4 above, log is taken to correct the strength of the value, and then relative values of Score w-line and Score w-rhytid are calculated relative to the mask area.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~unit' used in this embodiment means software or a hardware component such as a field-programmable gate array (FPGA) or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or further separated into additional components and '~units'. In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: 피부 진단 장치
200: 사용자 단말
300: 서비스 서버
400: 데이터베이스
500: 화장품 제조장치
100: skin diagnosis device
200: user terminal
300: service server
400: database
500: cosmetics manufacturing device

Claims (10)

피부 상태를 진단하고자 하는 얼굴을 촬영하여 이미지를 획득하는 피부 진단 장치;
상기 획득한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름을 검출하고 상기 검출된 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단하고 상기 진단한 결과로 피부 진단 정보를 생성하는 사용자 단말;
상기 생성된 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 서비스 서버; 및
상기 도출된 제조 성분에 따라 화장품을 제조하는 화장품 제조장치를 포함하고,
상기 사용자 단말은,
상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고,
상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하고,
상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고,
상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고,
상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고,
상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고,
상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성하고,
상기 생성된 에지 이미지를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 맞춤형 화장품 제조 시스템.
A skin diagnosis device for obtaining an image by photographing a face whose skin condition is to be diagnosed;
A user terminal for detecting wrinkles in pre-classified skin areas within the face using the acquired image, diagnosing a skin condition by calculating a numerical value quantifying the degree of the detected wrinkles, and generating skin diagnosis information as a result of the diagnosis. ;
a service server for deriving manufacturing ingredients for manufacturing cosmetics using the generated skin diagnosis information; and
Including a cosmetic manufacturing device for manufacturing cosmetics according to the derived manufacturing ingredients,
The user terminal,
Converting the color space of the image to the HSV color space and extracting brightness information using V of the HSV color space;
Performing histogram equalization on the image based on the extracted brightness information;
Creating a horizontal edge image and a vertical edge image by blurring the histogram-smoothed image in horizontal and vertical directions, respectively, to remove noise edges,
Obtaining an edge gradient from each of the generated horizontal edge images and vertical edge images using a sobel edge detector,
Based on the edge gradient, a non-maximum suppression (NMS) algorithm is used to determine an edge having the maximum magnitude as a candidate edge;
Applying a threshold to the determined candidate edge to determine whether or not it is an actual edge;
After performing a morphology open operation on the horizontal edge image, the edge image is generated by combining a horizontal edge image and a vertical edge image each including an edge determined to be the actual edge,
A customized cosmetic manufacturing system for calculating a wrinkle score quantifying the degree of wrinkles based on the generated edge image.
제1항에 있어서,
상기 서비스 서버는,
미리 측정된 주름의 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출하는, 맞춤형 화장품 제조 시스템.
According to claim 1,
The service server,
A customized cosmetic manufacturing system for deriving the manufacturing ingredients using a look-up table in which the manufacturing ingredients are preset according to a value obtained by quantifying the degree of wrinkles measured in advance and a skin condition.
제1항에 있어서,
상기 사용자 단말은,
상기 생성된 에지 이미지로부터 윤곽선을 검출하고,
상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 맞춤형 화장품 제조 시스템.
According to claim 1,
The user terminal,
Detecting a contour line from the generated edge image,
The customized cosmetics manufacturing system that calculates the number of the detected edges and contours, and calculates a wrinkle score quantifying the degree of wrinkles based on the calculated number of edges and contours.
제3항에 있어서,
상기 사용자 단말은,
상기 추출된 밝기 정보를 기초로 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행하는, 맞춤형 화장품 제조 시스템.
According to claim 3,
The user terminal,
A customized cosmetics manufacturing system for dividing the image into a plurality of regions based on the extracted brightness information and performing histogram equalization.
삭제delete 피부 진단 장치가 피부 상태를 진단하고자 하는 얼굴을 촬영하여 이미지를 획득하는 단계;
사용자 단말이 상기 획득한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 주름을 검출하고 상기 검출된 주름의 정도를 정량화한 수치를 산출하여 피부 상태를 진단하고 상기 진단한 결과로 피부 진단 정보를 생성하는 단계;
서비스 서버가 상기 생성된 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 단계; 및
화장품 제조장치가 상기 도출된 제조 성분에 따라 화장품을 제조하는 단계를 포함하고,
상기 생성하는 단계는,
상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고,
상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하고,
상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고,
상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고,
상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고,
상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고,
상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성하고,
상기 생성된 에지 이미지를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 맞춤형 화장품 제조 방법.
Acquiring an image by photographing a face for which a skin condition is to be diagnosed by a skin diagnosis device;
The user terminal detects wrinkles in pre-classified skin areas within the face using the acquired image, calculates a value quantifying the degree of the detected wrinkles, diagnoses the skin condition, and generates skin diagnosis information as a result of the diagnosis. doing;
Deriving, by a service server, ingredients for manufacturing cosmetics using the generated skin diagnosis information; and
A cosmetic manufacturing apparatus comprising the step of manufacturing cosmetics according to the derived manufacturing ingredients,
The generating step is
Converting the color space of the image to the HSV color space and extracting brightness information using V of the HSV color space;
Performing histogram equalization on the image based on the extracted brightness information;
Creating a horizontal edge image and a vertical edge image by blurring the histogram-smoothed image in horizontal and vertical directions, respectively, to remove noise edges,
Obtaining an edge gradient from each of the generated horizontal edge images and vertical edge images using a sobel edge detector,
Based on the edge gradient, a non-maximum suppression (NMS) algorithm is used to determine an edge having the maximum magnitude as a candidate edge;
Applying a threshold to the determined candidate edge to determine whether or not it is an actual edge;
After performing a morphology open operation on the horizontal edge image, the edge image is generated by combining a horizontal edge image and a vertical edge image each including an edge determined to be the actual edge,
Based on the generated edge image, a wrinkle score quantifying the degree of wrinkles is calculated.
제6항에 있어서,
상기 생성하는 단계는,
미리 측정된 주름의 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출하는, 맞춤형 화장품 제조 방법.
According to claim 6,
The generating step is
A method for manufacturing customized cosmetics, wherein the manufacturing components are derived using a look-up table in which the manufacturing components are preset according to a value obtained by quantifying the degree of wrinkles measured in advance and a skin condition.
제6항에 있어서,
상기 생성하는 단계는,
상기 생성된 에지 이미지로부터 윤곽선을 검출하고,
상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 맞춤형 화장품 제조 방법.
According to claim 6,
The generating step is
Detecting a contour line from the generated edge image,
Calculating the number of the detected edges and contours, and calculating a wrinkle score quantifying the degree of wrinkles based on the calculated number of edges and contours.
제8항에 있어서,
상기 생성하는 단계는,
상기 추출된 밝기 정보를 기초로 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행하는, 맞춤형 화장품 제조 방법.
According to claim 8,
The generating step is
A method for manufacturing a customized cosmetic comprising dividing the image into a plurality of regions based on the extracted brightness information and performing histogram equalization.
삭제delete
KR1020200154495A 2020-11-18 2020-11-18 System for producing customized cosmetic using skin diagnosis information and method thereof KR102550632B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200154495A KR102550632B1 (en) 2020-11-18 2020-11-18 System for producing customized cosmetic using skin diagnosis information and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154495A KR102550632B1 (en) 2020-11-18 2020-11-18 System for producing customized cosmetic using skin diagnosis information and method thereof

Publications (2)

Publication Number Publication Date
KR20220067819A KR20220067819A (en) 2022-05-25
KR102550632B1 true KR102550632B1 (en) 2023-07-04

Family

ID=81800675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154495A KR102550632B1 (en) 2020-11-18 2020-11-18 System for producing customized cosmetic using skin diagnosis information and method thereof

Country Status (1)

Country Link
KR (1) KR102550632B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955649B1 (en) 2011-09-30 2019-03-07 이베이 인크. Image feature data extraction and use

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4351001B2 (en) * 2003-08-11 2009-10-28 株式会社インテックシステム研究所 Age-change image generation method and skin smoothing image generation method
EP3564892A4 (en) * 2016-12-01 2020-12-09 LG Household & Health Care Ltd. Customized cosmetics provision system and operating method therefor
KR20180064963A (en) 2016-12-06 2018-06-15 주식회사 엘지생활건강 A method and apparatus for providing customized cosmetics

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955649B1 (en) 2011-09-30 2019-03-07 이베이 인크. Image feature data extraction and use

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enzeng Dong et al., An Improved NMS-Based Adaptive Edge Detection Method and Its FPGA Implementation, Journal of Sensors, Volume 2016, Article ID 1470312, pp. 1~8, 2016*

Also Published As

Publication number Publication date
KR20220067819A (en) 2022-05-25

Similar Documents

Publication Publication Date Title
KR102339915B1 (en) Systems and methods for guiding a user to take a selfie
JP7413400B2 (en) Skin quality measurement method, skin quality classification method, skin quality measurement device, electronic equipment and storage medium
US8218862B2 (en) Automatic mask design and registration and feature detection for computer-aided skin analysis
KR102458615B1 (en) Skin condition measuring apparatus, skin condition measring system and method thereof
US20150190716A1 (en) Generation of avatar reflecting player appearance
EP2685419A1 (en) Image processing device, image processing method, and control program
US9672628B2 (en) Method for partitioning area, and inspection device
US20160092726A1 (en) Using gestures to train hand detection in ego-centric video
WO2014186422A1 (en) Image masks for face-related selection and processing in images
US11232586B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
CN104933669A (en) Person Clothing feature extraction device and
CN105844242A (en) Method for detecting skin color in image
JP6527421B2 (en) Person recognition apparatus and program thereof
CN108323203A (en) A kind of method, apparatus and intelligent terminal quantitatively detecting face skin quality parameter
JP6784261B2 (en) Information processing equipment, image processing system, image processing method and program
US11120578B2 (en) Method of color matching using reference indicators
JP2015094973A (en) Image processor, image processing method, image processing program, and recording medium
Graf et al. Robust recognition of faces and facial features with a multi-modal system
Sheu et al. Automatic generation of facial expression using triangular geometric deformation
KR102550632B1 (en) System for producing customized cosmetic using skin diagnosis information and method thereof
US20220309713A1 (en) Image processing apparatus, image processing method, and storage medium
KR102458614B1 (en) System for diagnosing skin using non-contact type rgb camera and skin diagnosis method thereof
EP3048580B1 (en) Method of extracting the optic disc of a retinal image
CN112712054A (en) Method for detecting facial wrinkles
JP6467817B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant