KR20230052341A - 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법 - Google Patents

민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법 Download PDF

Info

Publication number
KR20230052341A
KR20230052341A KR1020210134965A KR20210134965A KR20230052341A KR 20230052341 A KR20230052341 A KR 20230052341A KR 1020210134965 A KR1020210134965 A KR 1020210134965A KR 20210134965 A KR20210134965 A KR 20210134965A KR 20230052341 A KR20230052341 A KR 20230052341A
Authority
KR
South Korea
Prior art keywords
skin
image
edge
information
manufacturing
Prior art date
Application number
KR1020210134965A
Other languages
English (en)
Inventor
유종완
Original Assignee
주식회사 베이바이오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베이바이오텍 filed Critical 주식회사 베이바이오텍
Priority to KR1020210134965A priority Critical patent/KR20230052341A/ko
Publication of KR20230052341A publication Critical patent/KR20230052341A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Dermatology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

실시예에 의한 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법이 개시된다. 상기 맞춤형 화장품 제조 시스템은 피부 상태를 진단하고자 하는 얼굴을 촬영한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 모공과 주름을 검출하고 미리 작성된 설문지를 통해 설문 정보를 입력 받고, 상기 검출된 모공과 주름, 설문 정보를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성하는 사용자 단말; 및 상기 사용자 단말로부터 피부 진단 정보를 제공받고, 상기 제공받은 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 서비스 서버; 및 상기 서비스 서버로부터 도출된 제조 성분을 제공받고 상기 제공받은 제조 성분에 따라 화장품을 제조하는 화장품 제조장치를 포함하고, 상기 설문 정보는 피부에 대한 민감 정도에 대한 정보이다.

Description

민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법{SYSTEM OF PRODUCING CUSTOMIZED COSMETIC FOR SENSITIVE SKIN AND METHOD THEREOF}
실시예는 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법에 관한 것이다.
글로벌 헬스케어 AI 시장은 해마다 급속히 성장하고 있으며 앞으로도 더욱 크게 성장할 것으로 전망되고 있다 그 중 특히 스마트 뷰티 분야는 시장성이 크고 고 성장산업으로 평가되고 있다 이러한 스마트 뷰티 기술은 크게 디지털 피부 진단 기술과 치료 기술로 나눌 수 있다 디지털 피부 진단 기술은 카메라로 촬영된 영상을 분석하여 피부의 상태를 측정하고 분석하며 주로 접촉식 RGB 카메라 또는 비접촉식 UV 카메라 등이 사용되고 있다.
피부 상태를 측정하는 것은 건강의 관점에서 그리고 미용의 관점에서 중요하다.
일반적으로 사용자의 피부를 청결하고 탄력있게 유지하거나 사용자의 외모에 미감을 부여하기 위해 화장품이 사용되는데, 용도에 따라 각종 화장수, 크림 등의 이른바 기초 화장품 및 가루분, 립스틱, 눈 화장품 등의 메이크업 화장품으로 구분될 수 있다.
화장품은 평균적인 소비자의 피부특성을 바탕으로 지성, 건성 등 몇 가지 피부 타입으로 간략히 구분해 불특정 다수를 대상으로 화장품 원료 성분의 종류와 그 비율을 제조한 후 용기에 충전하여 판매되고 있으며, 사용자는 시중에 유통되는 수많은 화장품 중 자신의 기호와 피부 상태를 고려하여 적합한 화장품을 선택하여 구매하게 된다.
하지만 사람에 따라 피부의 민감도 정도가 달라 이를 만족하기가 쉽지 않다. 따라서 사용자 개개인의 피부 상태에 적합한 맞춤형 화장품의 제공이 요구되고 있다.
실시예는, 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법을 제공할 수 있다.
실시예에 따른 맞춤형 화장품 제조 시스템은 피부 상태를 진단하고자 하는 얼굴을 촬영한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 모공과 주름을 검출하고 미리 작성된 설문지를 통해 설문 정보를 입력 받고, 상기 검출된 모공과 주름, 설문 정보를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성하는 사용자 단말; 및 상기 사용자 단말로부터 피부 진단 정보를 제공받고, 상기 제공받은 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 서비스 서버; 및 상기 서비스 서버로부터 도출된 제조 성분을 제공받고 상기 제공받은 제조 성분에 따라 화장품을 제조하는 화장품 제조장치를 포함하고, 상기 설문 정보는 피부에 대한 민감 정도에 대한 정보일 수 있다.
상기 사용자 단말은 상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출하고, 상기 입력된 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치를 산출하고, 상기 산출된 수치들을 기초로 상기 피부 상태를 진단할 수 있다.
상기 사용자 단말은 상기 이미지로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출하고, 상기 검출된 피부 영역을 포함하는 마스킹 이미지를 생성할 수 있다.
상기 사용자 단말은 상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고, 상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고, 상기 생성된 에지 이미지로부터 윤곽선을 검출하고, 상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출할 수 있다.
상기 사용자 단말은 상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하되, 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행할 수 있다.
상기 사용자 단말은 상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고, 상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고, 상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고, 상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고, 상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성할 수 있다.
상기 서비스 서버는 미리 측정된 모공, 주름의 정도를 정량화한 수치, 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출할 수 있다.
실시예에 따른 맞춤형 화장품 제조 방법은 사용자 단말이 피부 상태를 진단하고자 하는 얼굴을 촬영한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 모공과 주름을 검출하는 단계; 상기 사용자 단말이 미리 작성된 설문지를 통해 설문 정보를 입력 받는 단계; 상기 사용자 단말이 상기 검출된 모공과 주름, 설문 정보를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성하는 단계; 서비스 서버가 상기 사용자 단말로부터 피부 진단 정보를 제공받고, 상기 제공받은 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 단계; 및 화장품 제조장치가 상기 서비스 서버로부터 도출된 제조 성분을 제공받고 상기 제공받은 제조 성분에 따라 화장품을 제조하는 단계를 포함하고, 상기 설문 정보는 피부에 대한 민감 정도에 대한 정보일 수 있다.
상기 생성하는 단계는 상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출하고, 상기 입력된 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치를 산출하고, 상기 산출된 수치들을 기초로 상기 피부 상태를 진단할 수 있다.
상기 검출하는 단계는 상기 이미지로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출하고, 상기 검출된 피부 영역을 포함하는 마스킹 이미지를 생성할 수 있다.
상기 검출하는 단계는 상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고, 상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고, 상기 생성된 에지 이미지로부터 윤곽선을 검출하고, 상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출할 수 있다.
상기 검출하는 단계는 상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하되, 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행할 수 있다.
상기 검출하는 단계는 상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고, 상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고, 상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고, 상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고, 상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성할 수 있다.
상기 도출하는 단계는 미리 측정된 모공, 주름의 정도를 정량화한 수치, 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출할 수 있다.
실시예에 따르면, 얼굴을 촬영한 RGB 이미지를 이용하되, 컬러 특성화를 이용한 색보정 후 피부의 상태를 진단하고 진단한 피부의 상태를 기초로 화장품을 제조하도록 함으로써, 사용자의 피부 상태에 적합한 맞춤형 화장품을 제조하여 제공할 수 있다.
실시예에 따르면, 맞춤형 화장품 제조가 가능하여 사용자의 만족도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 시스템의 구성을 나타내는 도면이다.
도 2는 설문 회귀 통계 기법을 이용한 설문 수치화 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 과정을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 피부 진단 방법을 나타내는 도면이다.
도 6a 내지 도 6b는 실시예에 따른 피부 영역 검출 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 모공을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 주름을 검출하여 수치화하는 과정을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
실시예에서는, 얼굴을 촬영한 RGB 이미지를 이용하되, 컬러 특성화를 이용한 색보정 후 피부의 상태를 진단하고 진단한 피부의 상태를 기초로 화장품을 제조하도록 한다.
컬러 특성화를 이용한 색보정과 관련하여 부연 설명하면, 카메라로 촬영된 영상을 모니터 화면에 디스플레이 하여 원본과 비교해보면 거의 대부분의 경우, 컬러가 바뀐다. 이렇게 전자 장비를 통해서 입력된 영상의 컬러가 바뀌는 현상을 컬러의 왜곡이라고 한다. 이러한 왜곡 현상의 문제점을 해소시키는 방법 중 하나가 카메라 컬러 특성화(또는 모니터 컬러 특성화 등)이다. 카메라에 사용되는 장비 종속적 색공간(device dependent color space)인 RGB를 장비 독립적 색공간(device independent color space)인 CIEXYZ 색공간(color space)으로 변환시킨다. 여기서, 장비 종속적 색공간(device dependent color space)이라 함은 RGB나 CMY 색 공간처럼 사용 중인 장비에서만 활용될 뿐 다른 장비의 색 공간의 좌표들과는 전혀 호환성이 없는 색공간을 말한다. 장비 독립적 색공간(device independent color space)이라 함은 CIEXYZ나 CIE 1976 L*a*b* (또는 CIELAB) 색 공간처럼 다른 장비의 색 공간의 좌표들과 호환성이 있는 ISO CIE 국제 표준에 해당하는 색 공간을 말한다.
도 1은 본 발명의 실시예에 따른 맞춤형 화장품 제조 시스템의 구성을 나타내는 도면이고, 도 2는 설문 회귀 통계 기법을 이용한 설문 수치화 원리를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 맞춤형 화장품 제조 시스템은 사용자 단말(100), 서비스 서버(200), 데이터베이스(300), 화장품 제조장치(400)를 포함할 수 있다.
사용자 단말(100)은 카메라를 내장하고, 내장된 카메라 예컨대, 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 영상 또는 RGB 이미지를 획득할 수 있다.
카메라를 사용하여 촬영된 영상의 각 화소의 컬러를 구성하는 RGB데이터는 인간의 시감 시스템인 CIEXYZ뿐만 아니라 어떠한 컬러 시스템과도 아무런 연관이 없는 단순히 사용 중인 카메라 한정된 RGB데이터이다.
따라서 여러 종류의 컬러들로 구성된 컬러 차트를 카메라로 촬영하고, 이 컬러 차트의 컬러들을 측색 기기를 사용하여 인간의 시감 시스템(CIEXYZ)으로 측색하여, 인간의 시감 시스템과 카메라로 촬영된 RGB 데이터와의 연결 고리를 만들어주는 것이 카메라 컬러 특성화의 기본 원리이다.
인간의 시감 시스템인 CIEXYZ를 표준 색공간인 CIELAB으로 변환하는 이유는 CIEXYZ에 대한 문제점들이 있어 이를 보완하여 개발한 CIELAB으로 변환하는 것으로 이를 응용하여 서로 제조사마다 다른 카메라 특성에 의해 나타나는 컬러왜곡을 보정하여 스마트폰에서 취득 되는 피부 측정요소들의 컬러 왜곡을 개선하고자 한다.
특히 컬러특성화 기술을 통해 측색된 데이터를 바로 읽어들여 변환 모델과 색역(color gamut)을 바로 파악할 있다.
보통 일반적인 영상처리 기법은 종속적인 색공간인 RGB 등에서 영상처리를 하기 때문에, (정확한 기준이 없이) 아무리 정확한 영상처리를 했다 하더라도 다른 장비에서 확인했을 경우 전혀 다른 컬러로 나타나게 된다.
CIELAB은 컬러 학문 분야뿐만 아니라 컬러 관련된 분야에서 전세계적으로 많이 사용하고 있는 표준 색공간이다.
이를 스마트폰 피부측정 기술에 접목하여 별도의 소프트웨어 툴을 적용하고자 한다.
측색 데이터 파일은 필요한 데이터 외에도 다른 측색 데이터가 같이 포함되어 저장되기 때문에, 툴이 없을 경우, 각 컬러 측색 데이터를 수작업을 통해서 필요한 데이터를 찾아서 사용해야 하기 때문에 시간이 오래 걸린다.
컬러 소프트특성화 툴을 통해서 사용한 스마트폰의 변환 모델을 빠르게 파악이 되어 변환 모델을 통해서 CIEXYZ, CIELAB으로 변환을 쉽게 할 수 있다. 이러한 이유는 같은 빨강이더라도 다른 장비에서는 서로 다른 빨강으로 보여지기 때문이다.
서로 다른 카메라에서 촬영된 컬러 영상을 정확한 기준의 컬러로 변환하여 정확하게 확인하기 위해서는 국제적으로 표준으로 채택된 표준 색공간이 CIELAB으로 변환하여 확인할 경우, 정확하게 평가할 수 있는 기준이 되는 것이다.
실시예에서는 민감성 피부 측정을 위한 설문을 실시한다. 즉, 간단한 설문을 통하여 설문의 회귀 통계 기법을 통하여 민감한 피부에 대한 설문 수치화할 수 있다.
사용자 단말(200)은 미리 작성된 설문지를 이용하여 설문 정보를 입력 받고 입력 받은 설문 정보를 기초로 설문의 회귀 통계 기법을 통하여 민감한 피부에 대한 정도를 수치화할 수 있다. 즉, 사용자 단말(200)은 설문지를 이용하여 입력 받은 설문 정보를 기초로 피부에 대한 민감 정도를 정량화한 수치를 산출할 수 있다.
도 2를 참조하면, 사용자 단말(100)은 적어도 하나의 질문을 포함하는 설문지를 화면 상에 표시하고 화면 상에 표시된 설문지를 통해 정보를 입력 받을 수 있다.
예컨대, 질문은 질문1)얼굴에 붉게 돌출된 병변이 발생한 경험이 1개월에 1회 있었나요, 질문2)운동, 스트레스, 음주, 맵거나 뜨거운 음식 섭취시 얼굴과 목이 때때로 붉어 지나요, 질문3)피부관리용 제품 (클렌저, 보습제 색조화장품 )을 사용하면 얼굴에 뾰루지가 나거나 발진, 가려움증 혹은 따끔거리는 경험이 자주 경험 하시나요 등일 수 있다.
이러한 질문들에 대한 모든 경우의 수에 대하여 수치화하고 수치화된 값을 이용하여 민감도를 결정할 수 있다. 예컨대, 4.2 이상은 민감, 4.2 미만은 저항일 수 있다.
사용자 단말(100)은 획득한 RGB 이미지를 이용하여 얼굴 영역을 검출하고 얼굴 영역 내 미리 구분된 피부 영역에서 모공과 주름을 검출하되, 모공과 주름의 정도를 정량화한 수치를 산출하여 산출한 수치를 기초로 피부 상태를 진단할 수 있다. 여기서 수치는 민감 정도를 정량화한 수치와 모공과 주름의 정도를 정량화한 수치를 포함할 수 있다.
사용자 단말(100)은 서비스 서버(200)와 연동하고, 진단한 결과로 피부 진단 정보를 서비스 서버에 업로드하여 관리함으로써, 사용자의 얼굴 피부 상태의 이력을 확인할 수 있다.
서비스 서버(200)는 사용자 단말(100)와 연동하고, 사용자 단말(100)로부터 피부에 대한 민감 정도와 모공, 주름의 정도를 정량화한 수치, 피부 상태를 포함하는 피부 진단 정보를 제공받아 관리할 수 있다.
서비스 서버(200)는 현재 날짜의 이미지와 이전 날짜의 이미지를 비교하여 사용자의 얼굴 피부 상태가 개선되었는지를 사용자가 확인할 수 있도록 정보를 제공할 수 있다.
데이터베이스(300)는 사용자별로 제공받은 피부 상태에 대한 정보를 저장할 수 있다. 데이터베이스(300)는 피부 상태뿐 아니라 피부에 대한 민감 정도와 모공, 주름의 정도를 정량화한 수치에 대한 정보도 함께 저장하고, 이러한 정보들은 날짜나 시간별로 순차적으로 저장될 수 있다.
서비스 서버(200)는 사용자의 피부 상태에 대한 정보 즉, 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출할 수 있다. 실시예에서는 피부 진단 정보 즉, 피부에 대한 민감 정도와 모공, 주름의 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 제조 성분을 도출할 수 있다. 여기서, 제조 성분은 원료의 종류, 원료의 혼합 비율 등을 포함할 수 있다.
여기서 서비스 서버(200)는 가장 최근에 측정된 피부 진단 정보를 이용하여 제조 성분을 도출하고 있지만 반드시 이에 한정되지 않고 이전 이력을 모두 고려하여 도출할 수 있다.
서비스 서버(200)는 도출된 제조 성분을 화장품 제조장치(400)에 제공할 수 있다.
화장품 제조장치(400)는 서비스 서버(200)와 연동하고, 서비스 서버(200)로부터 제조 성분을 제공받으면, 제공받은 제조 성분에 따라 화장품을 제조할 수 있다. 이렇게 피부 상태에 적합하게 제조된 화장품이 사용자에게 제공될 수 있다.
도 3은 본 발명의 일 실시예에 따른 맞춤형 화장품 제조 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 실시예에 따른 사용자 단말은 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다(S301).
다음으로, 사용자 단말은 획득한 RGB 이미지를 분석하여 그 분석한 결과로 얼굴 영역을 검출하고 얼굴 영역 내 미리 구분된 피부 영역에서 모공과 주름을 검출할 수 있다(S302).
다음으로, 사용자 단말은 모공과 주름의 정도를 정량화한 수치를 산출할 수 있다.
다음으로, 사용자 단말은 미리 작성된 설문지를 이용하여 설문 정보를 입력 받고 입력 받은 설문 정보를 기초로 피부에 대한 민감 정도를 정량화한 수치를 산출할 수 있다(S303).
다음으로, 사용자 단말은 모공과 주름의 정보를 정량화한 수치와 민감 정도를 정량화한 수치를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성할 수 있다(S304).
다음으로, 사용자 단말은 생성된 피부 진단 정보를 화면에 표시할 수 있다(S305). 예컨대, 사용자 단말은 모바일 어플리케이션을 통해 피부 진단 정보를 시각적으로 표시할 수 있다.
다음으로, 사용자 단말은 피부 진단 정보를 서비스 서버에 제공하면(S306), 서비스 서버는 제공받은 피부 진단 정보를 데이터베이스에 저장할 수 있다(S307). 이때 서비스 서버는 피부 진단 정보를 웹(web) 등을 통해 사용자에게 제공할 수 있다.
다음으로, 서비스 서버는 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하고(S308) 도출된 제조 성분을 화장품 제조장치에 제공할 수 있다(S309).
이때, 맞춤 성분에 대한 AI 시스템이 구성될 수 있다. 즉, 각 피부특성 여기서 피부특성은 주름, 민감, 색소침착, 주름등의 피부특성을 수치화하여 이를 딥러닝을 이용하여 화장품 용도에 따른 화장품 성분에 대한 AI시스템을 구성하는 것이다.
예) 지성(유분)O, 민감하며(S), 색소침착이 잘되는(P), 주름진 피부(W)이면
클렌저
-살리실산, 알로아베라, 감초추출물 카모마일, 나이아신아미드와 같은 성분을 포함하는 비 자극성 클렌저 사용
-심한 거품이 발생하는 제품 사용 자제(라우릴 황산나트륨(SLS) 같은 자극물질 피해야 함)
앰플
-여드름감소 추천 성분: 살리실산, 녹차오일. 레티놀, 아시아티코사이드
-염증 감소 추천 성분. : 알로에베라. 포도씨추출물, 녹차, 코엔자임, 마데카소사이드
-미백 추천 성분: 알부틴, 나이아신아마이드, 유용성 감초추출물
-주름개선 성분: 비타민Complex, 라스베라톨, 아데노신, matrixyl Acetyl Hexapeptide-8(눈주위주름), Copper Tripeptide-1(주름 및 여드름 효과) 포함
다음으로, 화장품 제조장치는 제공받은 제조 성분에 따라 화장품을 제조할 수 있다(S310).
이러한 화장품 제조를 위한 피부 진단 정보를 획득하는 기술을 이하에서 설명한다.
도 4는 도 1에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(100)은 통신부(111), 촬영부(112), 입력부(113), 제어부(114), 출력부(115), 저장부(116), 표시부(117)를 포함할 수 있다.
통신부(111)는 서비스 서버(200)와 연동하여 각종 데이터를 송수신할 수 있다.
촬영부(112)는 사용자의 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다. 이때, 촬영부(112)는 넓은 영역을 한번에 촬영함과 동시에 낮은 가격을 유지하기 위한 비접촉식 RGB 카메라일 수 있다.
입력부(113)는 사용자의 메뉴 또는 키 조작에 따른 정보를 입력 받을 수 있다.
제어부(114)는 RGB 이미지를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역을 미리 정해진 다수의 피부 영역으로 구분하고, 구분된 다수의 피부 영역에서 모공과 주름을 검출하고, 모공과 주름의 정보를 정량화한 수치를 산출할 수 있다.
제어부(114)는 미리 작성된 설문지를 이용하여 사용자로부터 설문 정보를 입력 받고 입력 받은 설문 정보를 기초로 피부에 대한 민감 정도를 정량화한 수치를 산출할 수 있다.
제어부(114)는 산출된 수치 즉, 모공과 주름의 정도를 정량화한 수치와 민감 정도를 정량화한 수치를 기초로 피부 상태를 진단할 수 있다.
출력부(115)는 피부 진단 및 피부 상태를 안내하기 위한 오디오를 출력할 수 있다.
저장부(116)는 날짜별 RGB 이미지, 피부 영역, 모공과 주름의 정도를 정향화한 수치, 민감 정도를 정량화한 수치, 피부 상태 등 피부 진단에 관련된 정보를 저장할 수 있다.
표시부(117)는 사용자의 얼굴을 촬영한 RGB 이미지, RGB 이미지를 이용한 모공과 주름의 정도를 정량화한 수치, 민감 정도를 정량화한 수치, 피부 상태 등을 화면에 표시할 수 있다.
도 5는 본 발명의 실시예에 따른 피부 진단 방법을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 사용자 단말은 피부 진단을 위해 RGB 카메라를 이용하여 사용자의 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다(S510).
다음으로, 사용자 단말은 획득된 RGB 이미지로부터 얼굴 영역을 검출할 수 있다(S520). 이때, 영상 촬영 환경 또는 개개인의 얼굴 특성에 따라 촬영된 영상 내 얼굴 크기 또는 각도 등이 달라질 수 있다. 영상마다 얼굴의 크기나 각도 등이 다를 경우 피부 영역 검출의 정확도가 떨어지게 되어 시스템의 성능이 저하된다. 따라서 균일한 피부 영역을 검출하기 위해서는 촬영 환경 또는 얼굴 특성이 달라지더라도 얼굴 영역을 정밀하게 찾아낼 필요가 있다. 얼굴 영역을 검출하는 방법으로는 공지된 다양한 기술이 사용될 수 있는데, 예컨대, Harr-like feature 기반의 방법, AlexNet 기반의 방법, Cascade 기반 CNN을 이용한 방법, AutoEncoder를 이용한 방법, FAN(Face Alignment Algorithm) 등이 있다.
다음으로, 사용자 단말은 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출할 수 있다(S530). 실시예에서는 얼굴 전체 피부에 대한 진단이 아닌 특정 피부 영역에 한정하여 진단이 이루어지는데, 진단 대상별 관심 피부 영역은 달라질 수 있다.
예컨대, 모공은 미간, 양 볼이고, 주름은 양 볼, 양 눈 옆을 관심 피부 영역으로 한다.
도 6a 내지 도 6b는 실시예에 따른 피부 영역 검출 과정을 설명하기 위한 도면이다.
도 6a를 참조하면, 미간 영역은 두 눈썹과 두 눈의 좌표를 이용하여 사각형 형태로 검출할 수 있다. 모공 검출 시 피부가 아닌 눈썹이나 눈꺼풀과 같은 노이즈가 들어갈 경우 오검출이 발생할 수 있기 때문에 이를 고려해 눈썹 사이의 미간 영역을 선택할 수 있도록 입술 좌표도 활용할 수 있다.
양볼의 경우 사각형으로 영역을 검출 하게 되면 실제 볼 영역과 맞지 않아 볼 이외의 부분 코 경계 또는 입술 경계 등이 포함되거나 실제 볼보다 좁은 영역이 검출 될 수 있다. 이러한 좁은 영역은 주름 검출 시 성능 저하의 원인이 되기 때문에, 볼록 다각형을 구성하여 최대한 볼 영역이 다 포함되도록 해야 한다.
양눈 옆은 눈썹과 눈꺼풀 그리고 눈과 같이 직선 형태의 노이즈들이 주름으로 잘못 검출 될 수 있다. 따라서 검출된 얼굴 영역 좌표에서 눈썹과 눈 좌표를 이용하여 삼각형의 형태로 양 눈 옆 영역을 지정하면서 노이즈가 포함되지 않도록 한다.
도 6b를 참조하면, 미간, 양볼, 양눈 옆 영역에 대하여 마스킹 작업을 하여 별도의 이미지 즉, 마스킹 이미지로 저장하여 주름 검출 시 사용할 수 있다.
다음으로, 사용자 단말은 검출된 피부 영역에서 모공과 주름을 검출하여 검출된 모공과 주름의 정도를 정량화하여 수치화할 수 있다(S540).
다음으로, 사용자 단말은 미리 작성된 설문지를 이용하여 사용자로부터 설문 정보를 입력 받고(S550) 입력 받은 설문 정보를 기초로 피부에 대한 민감 정도를 정량화한 수치를 산출할 수 있다(S560).
다음으로, 사용자 단말은 산출된 수치를 기초로 피부 영역별 피부 상태를 진단하고(S570), 진단한 피부 상태를 화면에 표시할 수 있다(S580).
도 7은 본 발명의 실시예에 따른 모공을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 7을 참조하면, 사용자 단말은 RGB 이미지를 그레이 이미지로 변환하고(S710), 변환된 그레이 이미지를 임계치를 이용하여 이진화 이미지를 생성할 수 있다(S720).
여기서, 이미지 이진화는 이미지 내 모든 화소에 대하여 화소값이 특정 임계치 이상일 경우 참(true), 그렇지 않을 경우 거짓(false)로 매핑(mapping)하는 기법이다. 이때, 임계치는 모든 피부 영역에 대해 동일하지 않고 다르게 적용될 수 있는데, 예컨대, 미간 영역에는 제1 임계치, 양볼 영역에는 제2 임계치가 적용될 수 있다.
다음으로, 사용자 단말은 이진화 이미지로부터 모공을 검출할 수 있다(S730).
다음으로, 사용자 단말은 검출된 모공을 기초로 정량화한 수치를 산출할 수 있다(S740). 즉, 피부 진단 장치는 검출된 모공을 기초로 모공의 개수를 산출하고, 산출된 모공의 개수를 기초로 모공의 정도를 정량화한 수치 또는 점수를 산출할 수 있다.
먼저, 이진화 이미지에서 거짓인 화소를 모공이라고 정의하고 계수하면 다음의 수학식 1과 같다.
[수학식 1]
Figure pat00001
,
Figure pat00002
여기서, w는 이미지의 너비, h는 이미지의 높이를 나타낸다.
상기 수학식 1을 이용하여 모공 점수를 구하면, 다음의 수학식 2와 같이 나타낸다.
[수학식 2]
Figure pat00003
,
Figure pat00004
여기서, pm은 해당 화소 위치(i, j)의 마스크를 나타낸다.
도 8은 본 발명의 실시예에 따른 주름을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 8을 참조하면, 실시예에 따른 사용자 단말은 RGB 이미지의 색 공간을 변환하여 밝기 정보를 추출할 수 있다. 즉, 주름은 주변 피부와의 색 차이가 미미하기 때문에 색 정보가 아닌 밝기 정보를 활용해야 하는데, 밝기 정보를 추출하기 위해서는 RGB 색공간이 아닌 HSV 색공간을 사용해야 한다. 여기서 HSV는 H(Hue, 색조), S(Saturation, 채도), V(Value, 명도)를 나타낸다. 즉, HSV 색 공간에서는 H와 S 값으로 색을 표현하고 V로 밝기를 표현하므로 V를 이용하여 밝기 정보를 추출한다(S810).
다음으로, 사용자 단말은 추출한 밝기 정보를 기초로 이미지에 대해 히스토그램 평활화(Histogram Equalization)를 수행할 수 있다. 히스토그램 평활화를 적용시키면 이미지의 픽셀값이 0~255 범위 내에 골고루 분산되어 이미지의 명암대비가 개선되지만 밝기 분포가 극단적일 경우 일부 영역에서 충분한 명암 대비 개선의 효과를 보기 어렵다. 따라서 실시예에서는 대비 제한 적응 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, CLAHE)를 이용하고자 한다. 이때 CLAHE는 지역적 명암대비 향상 기법으로 영상을 여러 개의 블록으로 나누어 CLHE를 수행할 수 있다.
다음으로, 사용자 단말은 미리 정해진 에지 검출 알고리즘을 이용하여 평활화가 수행된 RGB 이미지로부터 에지를 검출하여 에지 이미지를 생성할 수 있다(S820). 여기서 에지 검출 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있는데, 예컨대, canny edge detection일 수 있다.
구체적으로 설명하면, 사용자 단말은 에지 검출의 성능을 높이기 위하여 가우시안 필터(Gaussian filter)를 사용하여 이미지를 블러(blur) 시킴으로써 노이즈 에지를 제거할 수 있다.
이때, 사용자 단말은 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로 주름과 세로 주름을 분리 분석하기에 적합한 형태 즉, 가로방향 에지 이미지와 세로방향 에지 이미지를 생성할 수 있다.
다음으로, 사용자 단말은 노이즈 에지가 제거된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득할 수 있다. 이때, 가로 방향과 세로 방향의 그레디언트를 각각 Gx, Gy라고 할 때, 에지 그레디언트는 다음의 수학식 3과 같다.
[수학식 3]
Figure pat00005
,
Figure pat00006
다음으로, 사용자 단말은 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정할 수 있다. 이때 모든 이웃에 대해서 최대인지 판별하는 것이 아니라 에지의 방향을 고려해서 탐색 방향을 결정한다.
다음으로, 사용자 단말은 결정된 후보 에지가 실제 에지인지 아닌지를 판단할 수 있다. 즉, 에지의 강도가 상위 임계치(upper threshold)보다 크면 에지로 지정하고 하위 임계치(lower thereshold)보다 작으면 에지들을 합성 연결할 때 활용한다.
다음으로, 사용자 단말은 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행할 수 있다. 모폴로지는 영상의 기하학적 형태를 분석하는 기법이다. 기본적인 모폴로지 연산으로는 침식(erosion)과 팽창(dilation) 연산이 있다. 침식은 관심 영역의 크기가 줄어드는 대신 미미한 노이즈가 제거되는 효과가 있다. 팽창은 관심 영역의 크기가 늘어나지만 노이즈의 크기도 같이 늘어날 수 있다. 이때 침식 연산 후 팽창 연산을 하게 되면 물체의 형상과 크기가 보존됨과 동시에 미미한 노이즈를 제거할 수 있다. 이와 같이 침식 연산과 팽창 연산을 순서대로 하는 과정을 오픈 연산이라 하며 작은 노이즈를 제거하는데 많이 사용된다. 가로 방향의 주름은 특히 노이즈가 많기 때문에 실시예에서는 가로방향 에지 이미지에 대해서만 모노폴로지 오픈 연산을 수행하려 한다.
다음으로, 사용자 단말은 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 에지 이미지를 생성할 수 있다.
다음으로, 사용자 단말은 미리 정해진 윤곽선 검출 알고리즘을 이용하여 에지 이미지로부터 윤곽선을 검출할 수 있다(S830). 윤곽선은 동일한 강도를 갖는 모든 연속된 점을 연결하는 곡선이며 형태 분석과 물체 감지 및 인식에 유용한 도구로 사용된다. 이때, 윤관석 검출 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있다.
다음으로, 사용자 단말은 검출된 에지, 윤곽선을 기초로 정량화한 수치를 산출할 수 있다(S840). 즉, 피부 진단 장치는 검출된 에지와 윤곽선의 개수를 산출하고, 산출된 에지와 윤곽선의 개수를 기초로 주름의 정도를 정량화한 수치 또는 점수를 산출할 수 있다.
먼저, 검출된 에지와 윤곽선 각각의 개수는 다음의 수학식 4, 5와 같이 나타낸다.
[수학식 4]
Figure pat00007
,
Figure pat00008
[수학식 5]
Figure pat00009
여기서, w는 이미지의 너비, h는 이미지의 높이, n은 검출된 윤곽(contour)의 개수, (xk,1, yk,1)은 k번째 윤곽의 시작점, (xk,2, yk,2)은 k번째 윤곽의 끝점을 나타낸다.
선 형태의 주름은 모든 주름 선을 분석하는 것으로 수학식 2와 같이 검출된 에지들의 개수를 카운트하여 정량화가 가능하고, 굵은 주름(Rhytid)은 주름이 형성하는 영역을 분석하는 것으로 수학식 3과 같이 검출된 윤곽선의 길이의 총 합을 계산하여 정량화가 가능하다.
상기 수학식 2, 3을 이용하여 주름 점수를 구하면, 다음의 수학식 6과 같이 나타낸다.
[수학식 6]
Figure pat00010
,
Figure pat00011
여기서, pm은 해당 화소 위치(i, j)의 마스크를 나타낸다.
상기 수학식 6과 같이 마스크의 면적을 구하고, 값의 강도를 보정하기 위하여 log를 취한 뒤 마스크 면적 대비 Scorew-line과 Scorew-rhytid의 상대적인 값을 계산한다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사용자 단말
200: 서비스 서버
300: 데이터베이스
400: 화장품 제조장치

Claims (14)

  1. 피부 상태를 진단하고자 하는 얼굴을 촬영한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 모공과 주름을 검출하고 미리 작성된 설문지를 통해 설문 정보를 입력 받고, 상기 검출된 모공과 주름, 설문 정보를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성하는 사용자 단말; 및
    상기 사용자 단말로부터 피부 진단 정보를 제공받고, 상기 제공받은 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 서비스 서버; 및
    상기 서비스 서버로부터 도출된 제조 성분을 제공받고 상기 제공받은 제조 성분에 따라 화장품을 제조하는 화장품 제조장치를 포함하고,
    상기 설문 정보는 피부에 대한 민감 정도에 대한 정보인, 맞춤형 화장품 제조 시스템.
  2. 제1항에 있어서,
    상기 사용자 단말은,
    상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출하고,
    상기 입력된 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치를 산출하고,
    상기 산출된 수치들을 기초로 상기 피부 상태를 진단하는, 맞춤형 화장품 제조 시스템.
  3. 제1항에 있어서,
    상기 사용자 단말은,
    상기 이미지로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출하고,
    상기 검출된 피부 영역을 포함하는 마스킹 이미지를 생성하는, 맞춤형 화장품 제조 시스템.
  4. 제1항에 있어서,
    상기 사용자 단말은,
    상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고,
    상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고,
    상기 생성된 에지 이미지로부터 윤곽선을 검출하고,
    상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 맞춤형 화장품 제조 시스템.
  5. 제4항에 있어서,
    상기 사용자 단말은,
    상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하되, 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행하는, 맞춤형 화장품 제조 시스템.
  6. 제5항에 있어서,
    상기 사용자 단말은,
    상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고,
    상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고,
    상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고,
    상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고,
    상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성하는, 맞춤형 화장품 제조 시스템.
  7. 제1항에 있어서,
    상기 서비스 서버는,
    미리 측정된 모공, 주름의 정도를 정량화한 수치, 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출하는, 맞춤형 화장품 제조 시스템.
  8. 사용자 단말이 피부 상태를 진단하고자 하는 얼굴을 촬영한 이미지를 이용하여 얼굴 내 미리 구분된 피부 영역에서 모공과 주름을 검출하는 단계;
    상기 사용자 단말이 미리 작성된 설문지를 통해 설문 정보를 입력 받는 단계;
    상기 사용자 단말이 상기 검출된 모공과 주름, 설문 정보를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성하는 단계;
    서비스 서버가 상기 사용자 단말로부터 피부 진단 정보를 제공받고, 상기 제공받은 피부 진단 정보를 이용하여 화장품을 제조하기 위한 제조 성분을 도출하는 단계; 및
    화장품 제조장치가 상기 서비스 서버로부터 도출된 제조 성분을 제공받고 상기 제공받은 제조 성분에 따라 화장품을 제조하는 단계를 포함하고,
    상기 설문 정보는 피부에 대한 민감 정도에 대한 정보인, 맞춤형 화장품 제조 방법.
  9. 제8항에 있어서,
    상기 생성하는 단계는,
    상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출하고,
    상기 입력된 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치를 산출하고,
    상기 산출된 수치들을 기초로 상기 피부 상태를 진단하는, 맞춤형 화장품 제조 방법.
  10. 제8항에 있어서,
    상기 검출하는 단계는,
    상기 이미지로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출하고,
    상기 검출된 피부 영역을 포함하는 마스킹 이미지를 생성하는, 맞춤형 화장품 제조 방법.
  11. 제8항에 있어서,
    상기 검출하는 단계는,
    상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고,
    상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고,
    상기 생성된 에지 이미지로부터 윤곽선을 검출하고,
    상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 맞춤형 화장품 제조 방법.
  12. 제11항에 있어서,
    상기 검출하는 단계는,
    상기 추출된 밝기 정보를 기초로 상기 이미지에 대해 히스토그램 평활화를 수행하되, 상기 이미지를 다수의 영역으로 구분하여 히스토그램 평활화를 수행하는, 맞춤형 화장품 제조 방법.
  13. 제12항에 있어서,
    상기 검출하는 단계는,
    상기 히스토그램 평활화가 수행된 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로방향 에지 이미지와 세로방향 에지 이미지를 생성하고,
    상기 생성된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득하고,
    상기 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정하고,
    상기 결정된 후보 에지에 임계치를 적용하여 실제 에지인지 아닌지를 판단하고,
    상기 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행한 후 상기 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 상기 에지 이미지를 생성하는, 맞춤형 화장품 제조 방법.
  14. 제8항에 있어서,
    상기 도출하는 단계는,
    미리 측정된 모공, 주름의 정도를 정량화한 수치, 설문 정보를 이용하여 피부에 대한 민감 정도를 정량화한 수치, 피부 상태에 따라 제조 성분이 미리 설정된 룩업 테이블을 이용하여 상기 제조 성분을 도출하는, 맞춤형 화장품 제조 방법.
KR1020210134965A 2021-10-12 2021-10-12 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법 KR20230052341A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210134965A KR20230052341A (ko) 2021-10-12 2021-10-12 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210134965A KR20230052341A (ko) 2021-10-12 2021-10-12 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230052341A true KR20230052341A (ko) 2023-04-20

Family

ID=86143860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210134965A KR20230052341A (ko) 2021-10-12 2021-10-12 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230052341A (ko)

Similar Documents

Publication Publication Date Title
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
EP2685419B1 (en) Image processing device, image processing method, and computer-readable medium
CN101083940B (zh) 皮肤状况诊断系统和美容咨询系统
JP7248820B2 (ja) 美容的皮膚属性を決定するための機器及び方法
KR20200004841A (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
JP7235895B2 (ja) 美容的皮膚特性を視覚化するための装置及び方法
CA2678551C (en) Method and apparatus for simulation of facial skin aging and de-aging
WO2014196532A1 (ja) 透明感評価装置、透明感評価方法および透明感評価プログラム
CN108024719B (zh) 肌肤的光泽评价装置、光泽评价方法及记录介质
Yarlagadda et al. A novel method for human age group classification based on Correlation Fractal Dimension of facial edges
KR20180130778A (ko) 화장품 추천 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 및 화장품 추천 시스템
Seo et al. Face detection and facial feature extraction using color snake
KR20220078231A (ko) 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법
US20160345887A1 (en) Moisture feeling evaluation device, moisture feeling evaluation method, and moisture feeling evaluation program
US10909351B2 (en) Method of improving image analysis
Singh et al. Analysis of face feature based human detection techniques
KR20230052341A (ko) 민감성 피부를 위한 맞춤형 화장품 제조 시스템 및 그 방법
Harville et al. Consistent image-based measurement and classification of skin color
KR102550632B1 (ko) 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법
CN110245590B (zh) 一种基于皮肤图像检测的产品推荐方法及系统
Menotti et al. Fast hue-preserving histogram equalization methods for color image contrast enhancement
KR20230051955A (ko) 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법
CN115699113A (zh) 用于皮肤测试、定制配方和化妆品生产的智能系统
JP6730051B2 (ja) 肌状態評価方法
Wang et al. Real-time moustache detection by combining image decolorization and texture detection with applications to facial gender recognition