KR20230051955A - 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법 - Google Patents

색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR20230051955A
KR20230051955A KR1020210134966A KR20210134966A KR20230051955A KR 20230051955 A KR20230051955 A KR 20230051955A KR 1020210134966 A KR1020210134966 A KR 1020210134966A KR 20210134966 A KR20210134966 A KR 20210134966A KR 20230051955 A KR20230051955 A KR 20230051955A
Authority
KR
South Korea
Prior art keywords
image
skin
pores
detected
contour
Prior art date
Application number
KR1020210134966A
Other languages
English (en)
Inventor
유종완
Original Assignee
주식회사 베이바이오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베이바이오텍 filed Critical 주식회사 베이바이오텍
Priority to KR1020210134966A priority Critical patent/KR20230051955A/ko
Publication of KR20230051955A publication Critical patent/KR20230051955A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

실시예에 의한 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법이 개시된다. 상기 피부 상태 진단 장치는 피부 상태를 진단하고자 하는 얼굴의 미리 정해진 피부 영역에 대한 이미지를 획득하는 카메라; 및 상기 획득된 이미지로부터 모공과 주름의 정도를 각각 정량화한 수치를 산출하고, 상기 획득된 이미지를 색 보정한 후 홍반의 위치를 검출하고, 상기 검출된 수치와 상기 홍반의 위치를 기초로 상기 얼굴의 피부 영역에 대한 피부 상태를 진단하여 피부 진단 정보를 생성하는 제어부를 포함하고, 상기 제어부는 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정한다.

Description

색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법{APPARATUS FOR DIAGNOSING SKIN CONDITION USING COLOR CORRECTION AND METHOD THEREOF}
실시예는 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법에 관한 것이다.
글로벌 헬스케어 AI 시장은 해마다 급속히 성장하고 있으며 앞으로도 더욱 크게 성장할 것으로 전망되고 있다 그 중 특히 스마트 뷰티 분야는 시장성이 크고 고 성장산업으로 평가되고 있다 이러한 스마트 뷰티 기술은 크게 디지털 피부 진단 기술과 치료 기술로 나눌 수 있다 디지털 피부 진단 기술은 카메라로 촬영된 영상을 분석하여 피부의 상태를 측정하고 분석하며 주로 접촉식 RGB 카메라 또는 비접촉식 UV 카메라 등이 사용되고 있다.
피부 상태를 측정하는 것은 건강의 관점에서 그리고 미용의 관점에서 중요하다.
일반적으로 사용자의 피부를 청결하고 탄력있게 유지하거나 사용자의 외모에 미감을 부여하기 위해 화장품이 사용되는데, 용도에 따라 각종 화장수, 크림 등의 이른바 기초 화장품 및 가루분, 립스틱, 눈 화장품 등의 메이크업 화장품으로 구분될 수 있다.
화장품은 평균적인 소비자의 피부특성을 바탕으로 지성, 건성 등 몇 가지 피부 타입으로 간략히 구분해 불특정 다수를 대상으로 화장품 원료 성분의 종류와 그 비율을 제조한 후 용기에 충전하여 판매되고 있으며, 사용자는 시중에 유통되는 수많은 화장품 중 자신의 기호와 피부 상태를 고려하여 적합한 화장품을 선택하여 구매하게 된다.
하지만 사람에 따라 피부의 민감도 정도가 달라 이를 만족하기가 쉽지 않다. 따라서 사용자 개개인의 피부 상태를 정확하게 진단할 수 있는 장치가 요구되고 있다.
실시예는, 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법을 제공할 수 있다.
실시예에 따른 피부 상태 진단 장치는 피부 상태를 진단하고자 하는 얼굴의 미리 정해진 피부 영역에 대한 이미지를 획득하는 카메라; 및 상기 획득된 이미지로부터 모공과 주름의 정도를 각각 정량화한 수치를 산출하고, 상기 획득된 이미지를 색 보정한 후 홍반의 위치를 검출하고, 상기 검출된 수치와 상기 홍반의 위치를 기초로 상기 얼굴의 피부 영역에 대한 피부 상태를 진단하여 피부 진단 정보를 생성하는 제어부를 포함하고, 상기 제어부는 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정할 수 있다.
상기 제어부는 상기 카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정한 후 상기 모공과 주름을 검출하고, 상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출할 수 있다.
상기 제어부는 상기 이미지를 그레이 이미지로 변환하고, 상기 변환된 그레이 이미지에 임계치를 적용하여 이진화 이미지를 생성하고, 상기 생성된 이진화 이미지로부터 모공을 검출하고, 상기 검출된 모공을 기초로 상기 모공의 개수를 산출하고 상기 산출된 모공의 개수를 기초로 상기 모공의 정도를 정량화한 모공 점수를 산출할 수 있다.
상기 제어부는 상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고, 상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고, 상기 생성된 에지 이미지로부터 윤곽선을 검출하고, 상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출할 수 있다.
상기 제어부는 상기 이미지 내 모든 화소의 밝기 값을 이용하여 제1 그레이 이미지를 생성하고, 상기 이미지를 HSV 색 공간으로 변환하여 상기 HSV 색 공간에서의 V 값을 이용하여 제2 그레이 이미지를 생성하고, 상기 제1 그레이 이미지와 제2 그레이 이미지의 차이를 통해 그레이 차이 이미지를 생성하고, 상기 그레이 차이 이미지에 임계치를 적용하여 이진화 이미지를 추출하고, 상기 추출된 이진화 이미지로부터 윤곽을 검출하고, 상기 검출된 윤곽을 필터링하여 노이즈 윤곽을 제거하여 상기 홍반과 그 위치를 검출할 수 있다.
상기 제어부는 상기 윤곽의 크기에 대한 하위 경계(lower bound)와 상위 경계(upper bound)의 범위를 설정하여 상기 설정된 범위를 벗어나는 제1 노이즈 윤곽을 제거하고, 상기 제1 노이즈 윤곽이 제거된 윤곽의 색상에 대한 H 값과 S 값에 대한 임계값을 설정하여 상기 임계값을 벗어나는 제2 노이즈 윤곽을 제거할 수 있다.
실시예에 따른 피부 상태 진단 방법은 피부 상태를 진단하고자 하는 얼굴의 미리 정해진 피부 영역에 대한 이미지를 획득하는 단계; 상기 획득된 이미지로부터 모공과 주름의 정도를 각각 정량화한 수치를 산출하는 단계; 상기 획득된 이미지를 색 보정한 후 홍반의 위치를 검출하는 단계; 및 상기 검출된 모공과 주름을 정량화한 수치와 상기 홍반의 위치를 기초로 상기 얼굴의 피부 영역에 대한 피부 상태를 진단하여 피부 진단 정보를 생성하는 단계를 포함하고, 상기 검출하는 단계는 카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정할 수 있다.
상기 산출하는 단계는 상기 카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정한 후 상기 모공과 주름을 검출하고, 상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출할 수 있다.
상기 획득하는 단계는 상기 이미지로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출하고, 상기 검출된 피부 영역을 포함하는 마스킹 이미지를 생성할 수 있다.
상기 산출하는 단계는 상기 이미지를 그레이 이미지로 변환하고, 상기 변환된 그레이 이미지에 임계치를 적용하여 이진화 이미지를 생성하고, 상기 생성된 이진화 이미지로부터 모공을 검출하고, 상기 검출된 모공을 기초로 상기 모공의 개수를 산출하고 상기 산출된 모공의 개수를 기초로 상기 모공의 정도를 정량화한 모공 점수를 산출할 수 있다.
상기 산출하는 단계는 상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고, 상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고, 상기 생성된 에지 이미지로부터 윤곽선을 검출하고, 상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출할 수 있다.
상기 검출하는 단계는 상기 이미지 내 모든 화소의 밝기 값을 이용하여 제1 그레이 이미지를 생성하고, 상기 이미지를 HSV 색 공간으로 변환하여 상기 HSV 색 공간에서의 V 값을 이용하여 제2 그레이 이미지를 생성하고, 상기 제1 그레이 이미지와 제2 그레이 이미지의 차이를 통해 그레이 차이 이미지를 생성하고, 상기 그레이 차이 이미지에 임계치를 적용하여 이진화 이미지를 추출하고, 상기 추출된 이진화 이미지로부터 윤곽을 검출하고, 상기 검출된 윤곽을 필터링하여 노이즈 윤곽을 제거하여 상기 홍반과 그 위치를 검출할 수 있다.
상기 검출하는 단계는 상기 윤곽의 크기에 대한 하위 경계(lower bound)와 상위 경계(upper bound)의 범위를 설정하여 상기 설정된 범위를 벗어나는 제1 노이즈 윤곽을 제거하고, 상기 제1 노이즈 윤곽이 제거된 윤곽의 색상에 대한 H 값과 S 값에 대한 임계값을 설정하여 상기 임계값을 벗어나는 제2 노이즈 윤곽을 제거할 수 있다.
실시예에 따르면, 얼굴을 촬영한 RGB 이미지를 이용하되, 컬러 특성화를 이용한 색보정 후 피부의 상태를 진단하고 진단한 피부의 상태를 기초로 화장품을 제조하도록 함으로써, 사용자의 피부 상태를 정확히 진단할 수 있다.
실시예에 따르면, 피부 상태에 맞는 관리가 가능하여 사용자의 만족도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 피부 상태 진단 방법을 나타내는 도면이다.
도 2a 내지 도 2b는 실시예에 따른 피부 영역 검출 과정을 설명하기 위한 도면이다.
도 3은 실시예에 따른 카메라 컬러 특성화 기술의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 모공을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 주름을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 홍반의 위치를 검출하는 과정을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 시스템의 개략적인 구성을 나타내는 도면이다.
도 8는 도 7에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 진단 서비스 제공 과정을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
실시예에서는, 얼굴을 촬영한 RGB 이미지를 이용하여 모공, 주름, 홍반을 검출하되, 컬러 특성화 기술을 이용한 색보정 후 홍반을 검출하여 이를 기초로 피부의 상태를 진단하도록 한다.
여기서 모공은 피지선에서 분비되는 피지가 피부 표면으로 흘러나오는 작은 구멍으로 털이 자라나는 입구를 의미한다. 주름은 일정한 두께를 지니는 부위 사이에서 발생하는 피부의 함몰부를 의미한다. 홍반은 피부 겉면의 모세혈관이 확장되고 혈액이 모여 있는 현상의 결과로 생기는 점막과 피부의 발적과 염증을 의미한다.
도 1은 본 발명의 실시예에 따른 피부 상태 진단 방법을 나타내는 도면이고, 도 2a 내지 도 2b는 실시예에 따른 피부 영역 검출 과정을 설명하기 위한 도면이고, 도 3은 실시예에 따른 카메라 컬러 특성화 기술의 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 사용자 단말은 피부 진단을 위해 RGB 카메라를 이용하여 사용자의 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다(S110).
다음으로, 사용자 단말은 획득된 RGB 이미지로부터 얼굴 영역을 검출할 수 있다(S120). 이때, 영상 촬영 환경 또는 개개인의 얼굴 특성에 따라 촬영된 영상 내 얼굴 크기 또는 각도 등이 달라질 수 있다. 영상마다 얼굴의 크기나 각도 등이 다를 경우 피부 영역 검출의 정확도가 떨어지게 되어 시스템의 성능이 저하된다. 따라서 균일한 피부 영역을 검출하기 위해서는 촬영 환경 또는 얼굴 특성이 달라지더라도 얼굴 영역을 정밀하게 찾아낼 필요가 있다. 얼굴 영역을 검출하는 방법으로는 공지된 다양한 기술이 사용될 수 있는데, 예컨대, Harr-like feature 기반의 방법, AlexNet 기반의 방법, Cascade 기반 CNN을 이용한 방법, AutoEncoder를 이용한 방법, FAN(Face Alignment Algorithm) 등이 있다.
다음으로, 사용자 단말은 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출할 수 있다(S130). 실시예에서는 얼굴 전체 피부에 대한 진단이 아닌 특정 피부 영역에 한정하여 진단이 이루어지는데, 진단 대상별 관심 피부 영역은 달라질 수 있다.
예컨대, 모공은 미간, 양 볼, 주름은 양 볼, 양 눈 옆, 홍반은 양볼을 관심 피부 영역으로 한다.
도 2a를 참조하면, 미간 영역은 두 눈썹과 두 눈의 좌표를 이용하여 사각형 형태로 검출할 수 있다. 모공 검출 시 피부가 아닌 눈썹이나 눈꺼풀과 같은 노이즈가 들어갈 경우 오검출이 발생할 수 있기 때문에 이를 고려해 눈썹 사이의 미간 영역을 선택할 수 있도록 입술 좌표도 활용할 수 있다.
양볼의 경우 사각형으로 영역을 검출 하게 되면 실제 볼 영역과 맞지 않아 볼 이외의 부분 코 경계 또는 입술 경계 등이 포함되거나 실제 볼보다 좁은 영역이 검출 될 수 있다. 이러한 좁은 영역은 주름 검출 시 성능 저하의 원인이 되기 때문에, 볼록 다각형을 구성하여 최대한 볼 영역이 다 포함되도록 해야 한다.
양눈 옆은 눈썹과 눈꺼풀 그리고 눈과 같이 직선 형태의 노이즈들이 주름으로 잘못 검출 될 수 있다. 따라서 검출된 얼굴 영역 좌표에서 눈썹과 눈 좌표를 이용하여 삼각형의 형태로 양 눈 옆 영역을 지정하면서 노이즈가 포함되지 않도록 한다.
도 2b를 참조하면, 미간, 양볼, 양눈 옆 영역에 대하여 마스킹 작업을 하여 별도의 이미지 즉, 마스킹 이미지로 저장하여 주름 검출 시 사용할 수 있다.
다음으로, 사용자 단말은 검출된 피부 영역에서 모공과 주름을 검출하여 검출된 모공과 주름의 정도를 정량화하여 수치화할 수 있다(S140).
이때, 사용자 단말은 검출된 피부 영역을 컬러 특성화 기술을 이용한 색보정 후(S150) 홍반의 위치를 검출할 수 있다(S160).
도 3을 참조하면, 카메라 컬러 특성화(Camera Color Characterization)은 카메라의 RGB 데이터와 인간의 시감 시스템과 같은 컬러 측색장비의 측색을 통해서 얻은 컬러 시각 데이터(CIEXYZ)를 이용하여 변환 모델링을 계산해서 감마보정된 RGB에서 CIEXYZ로 변환하는 과정이다.
카메라 컬러 특성화 모델을 적용하여 얻은 CIEXYZ 영상 데이터를 표준색공간(CIELAB)으로 영상 변환 및 시각화 툴 개발이 필요하다.
표준 데이터의 시각화를 통해 스마트폰 카메라의 색역(Color Gamut)을 확인할 수 있다. 색역(Color Gamut)은 컬러를 처리하는 장비에 의해서 생성/재생(produce/reproduce)되는 각종 색들의 범위를 의미한다.
부연 설명하면, 카메라로 촬영된 영상을 모니터 화면에 디스플레이 하여 원본과 비교해보면 거의 대부분의 경우, 컬러가 바뀐다. 이렇게 전자 장비를 통해서 입력된 영상의 컬러가 바뀌는 현상을 컬러의 왜곡이라고 합니다. 이러한 왜곡 현상의 문제점을 해소시키는 방법 중 하나가 카메라 컬러 특성화(또는 모니터 컬러 특성화 등)입니다. 이런 현상은 카메라뿐만 아니라 모니터, 프린터 등 모든 전자 장비에 해당된다.
특정 카메라에 사용되는 장비 종속적 색공간(device dependent color space)인 RGB를 장비 독립적 색공간(device independent color space)인 CIEXYZ 색공간(color space) 으로 변환시키는 변환모델(transformation model)을 만드는 것이다.
장비 종속적 색공간(device dependent color space)은 RGB나 CMY 색 공간처럼 사용 중인 장비에서만 활용될 뿐 다른 장비의 색 공간의 좌표들과는 전혀 호환성이 없는 색공간을 말한다.
장비 독립적 색공간(device independent color space)은 CIEXYZ나 CIE 1976 L*a*b* (또는 CIELAB) 색 공간처럼 다른 장비의 색 공간의 좌표들과 호환성이 있는 ISO CIE 국제 표준에 해당하는 색 공간을 말한다.
기본원리를 설명하면, 카메라를 사용하여 촬영된 영상의 각 화소의 컬러를 구성하는 RGB데이터는, 인간의 시감 시스템인 CIEXYZ뿐만 아니라 어떠한 컬러 시스템과도 아무런 연관이 없는, 단순히, 사용 중인 카메라 한정된 RGB데이터일 뿐입니다. 따라서 여러 종류의 컬러들로 구성된 컬러 차트를 카메라로 촬영하고, 이 컬러 차트의 컬러들을 측색 기기를 사용하여 인간의 시감 시스템(CIEXYZ)으로 측색하여, 인간의 시감 시스템과 카메라로 촬영된 RGB 데이터와의 연결 고리를 만들어주는 것이 카메라 컬러 특성화의 기본 원리입니다.
인간의 시감 시스템인 CIEXYZ를 표준 색공간인 CIELAB으로 변환하는 이유는 CIEXYZ에 대한 문제점들이 있어 이를 보완하여 개발한 CIELAB으로 변환하는 것이다. 이러한 카메라 컬러 특성화 기술은 카메라를 이용해서 촬영된 영상을 표준영상화할 때 사용된다. 출처를 모르거나 알고있는 카메라를 이용할 경우 카메라마다 장비 종속적 색공간이기 때문에, 기준이 되는 표준 컬러로 변환하여 컬러 실험(예, 화질 향상을 위한 정확한 영상처리를 통해 화질 비교 실험 등) 또는 정확한 영상처리를 할 경우에 쓰인다. 컬러 관련된 영상처리를 할 경우 카메라와 모니터 특성화가 이루어져야 한다.
또한 실시예에서는 홍반 영역을 자동으로 검출하기 위한 인공지능 모델을 설계하고자 한다.
홍반 영역 검출에 필요한 특징을 추출하는 합성곱 신경망 기반 백본망 선정, 홍반 영역 검출 결과를 생성하는 분류 및 검출 헤드 설계, 홍반 영역과 비홍반 영역의 특성을 고려한 손실 함수 설계, 및 상기 내용을 종합하여 홍반 영역을 효과적으로 검출하기 위한 인공지능 모델 설계가 이루어져야 한다.
또한 실시예에서는 인공지능 모델을 지도하기 위한 학습용 카메라 영상 데이터셋을 구축하고자 한다.
인공지능 모델을 지도하기 위한 데이터 수집 및 라벨링 방법 정의, 시스템 실사용 환경과 동일한 조건에서 학습용 카메라 영상 데이터 수집, 수집된 데이터의 홍반/비홍반 영역 라벨링, 데이터 및 라벨링 파일의 프로토콜 규격화가 이루어져야 한다.
또한 인공지능 모델 학습 및 홍반 영역 검출 소프트웨어 툴 개발을 하고자 한다.
구축한 데이터셋을 이용하여 설계한 홍반 영역 검출 인공지능 모델을 학습, 학습된 인공지능 모델을 이용한 홍반 영역 검출 소프트웨어 툴 개발이 이루어져야 한다.
이러한 카메라 컬러 특성화 소프트웨어 툴 개발은 소프트웨어 툴을 통해 측색된 데이터를 바로 읽어들여 변환 모델과 색역(color gamut)을 바로 파악할 수 있다. 측색 데이터 파일은 필요한 데이터 외에도 다른 측색 데이터가 같이 포함되어 저장되기 때문에, 툴이 없을 경우, 각 컬러 측색 데이터를 수작업을 통해서 필요한 데이터를 찾아서 사용해야 하기 때문에 시간이 오래 걸린다. 툴을 통해서 사용한 스마트폰의 변환 모델을 빠르게 파악이 되어 변환 모델을 통해서 CIEXYZ, CIELAB으로 변환을 쉽게 할 수 있습니다.
기존의 전통적인 영상처리 알고리즘은 사람이 작성한 규칙(Human-designed rule)을 기반으로 동작한다. 지난 몇 년간, 충분한 분량의 학습데이터와 컴퓨터 연산능력이 주어졌을 때, 이를 인공지능을 이용한 데이터 기반(Data-driven) 접근법으로 대체하여 성능의 향상이 가능하다.
전통적인 영상처리 방법에서는 전처리 과정(색보정, 평활화, 카메라왜곡보정 등)을 별도의 구분된 프로세스로 처리하였다. 다시 말해, 데이터 처리 흐름에서 애플리케이션의 최종 출력과 영상 전처리 과정은 서로 끊어진 상태로 독립적으로 개발되곤 했다. 최근에는 (1)인공지능 네트워크 구조를 가능한 한 엔드투엔드(End-to-end)로 설계하고, (2)목적함수를 비롯한 네트워크 구조를 잘 설계함으로써, 목적함수를 낮추는 방향으로 네트워크가 내부적인(implicit) 전처리를 수행하도록 하는 것이 신호처리 분야에서의 연구 추세입니다.
사용 중인 장비에서만 국한된 장비 종속적인 색공간인 RGB 등에서 영상처리를 하기 때문에, (정확한 기준이 없이) 아무리 정확한 영상처리를 했다 하더라도 다른 장비에서 확인했을 경우 전혀 다른 컬러로 나타나게 된다. 같은 빨강이더라도 다른 장비에서는 서로 다른 빨강으로 보여지기 때문입니다. 서로 다른 카메라에서 촬영된 컬러 영상을 정확한 기준의 컬러로 변환하여 정확하게 확인하기 위해서는 국제적으로 표준으로 채택된 표준색공간이 CIELAB으로 변환하여 확인할 경우, 정확하게 평가할 수 있는 기준이 되는 것이다. CIELAB은 컬러 학문 분야뿐만 아니라 컬러 관련된 분야에서 전세계적으로 많이 사용하고 있는 표준 색공간입니다.
색보정 기술은 홍반 검출 시에 사용하는 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 홍반 검출 이외에도 주름/모공 검출을 위한 전처리 기술로 사용될 수 있다.
다음으로, 사용자 단말은 산출된 수치를 기초로 피부 영역별 피부 상태를 진단하고(S170), 진단한 피부 상태를 화면에 표시할 수 있다(S180).
도 4는 본 발명의 실시예에 따른 모공을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 4를 참조하면, 피부 진단 장치는 RGB 이미지를 그레이 이미지로 변환하고(S410), 변환된 그레이 이미지를 임계치를 이용하여 이진화 이미지를 생성할 수 있다(S420).
여기서, 이미지 이진화는 이미지 내 모든 화소에 대하여 화소값이 특정 임계치 이상일 경우 참(true), 그렇지 않을 경우 거짓(false)로 매핑(mapping)하는 기법이다. 이때, 임계치는 모든 피부 영역에 대해 동일하지 않고 다르게 적용될 수 있는데, 예컨대, 미간 영역에는 제1 임계치, 양볼 영역에는 제2 임계치가 적용될 수 있다.
다음으로, 피부 진단 장치는 이진화 이미지로부터 모공을 검출할 수 있다(S430).
다음으로, 피부 진단 장치는 검출된 모공을 기초로 정량화한 수치를 산출할 수 있다(S440). 즉, 피부 진단 장치는 검출된 모공을 기초로 모공의 개수를 산출하고, 산출된 모공의 개수를 기초로 모공의 정도를 정량화한 수치 또는 점수를 산출할 수 있다.
먼저, 이진화 이미지에서 거짓인 화소를 모공이라고 정의하고 계수하면 다음의 수학식 1과 같다.
[수학식 1]
Figure pat00001
,
Figure pat00002
여기서, w는 이미지의 너비, h는 이미지의 높이를 나타낸다.
상기 수학식 1을 이용하여 모공 점수를 구하면, 다음의 수학식 2와 같이 나타낸다.
[수학식 2]
Figure pat00003
,
Figure pat00004
여기서, pm은 해당 화소 위치(i, j)의 마스크를 나타낸다.
도 5는 본 발명의 실시예에 따른 주름을 검출하여 수치화하는 과정을 나타내는 도면이다.
도 5를 참조하면, 실시예에 따른 사용자 단말은 RGB 이미지의 색 공간을 변환하여 밝기 정보를 추출할 수 있다. 즉, 주름은 주변 피부와의 색 차이가 미미하기 때문에 색 정보가 아닌 밝기 정보를 활용해야 하는데, 밝기 정보를 추출하기 위해서는 RGB 색공간이 아닌 HSV 색공간을 사용해야 한다. 여기서 HSV는 H(Hue, 색조), S(Saturation, 채도), V(Value, 명도)를 나타낸다. 즉, HSV 색 공간에서는 H와 S 값으로 색을 표현하고 V로 밝기를 표현하므로 V를 이용하여 밝기 정보를 추출한다(S510).
다음으로, 사용자 단말은 추출한 밝기 정보를 기초로 이미지에 대해 히스토그램 평활화(Histogram Equalization)를 수행할 수 있다. 히스토그램 평활화를 적용시키면 이미지의 픽셀값이 0~255 범위 내에 골고루 분산되어 이미지의 명암대비가 개선되지만 밝기 분포가 극단적일 경우 일부 영역에서 충분한 명암 대비 개선의 효과를 보기 어렵다. 따라서 실시예에서는 대비 제한 적응 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, CLAHE)를 이용하고자 한다. 이때 CLAHE는 지역적 명암대비 향상 기법으로 영상을 여러 개의 블록으로 나누어 CLHE를 수행할 수 있다.
다음으로, 사용자 단말은 미리 정해진 에지 검출 알고리즘을 이용하여 평활화가 수행된 RGB 이미지로부터 에지를 검출하여 에지 이미지를 생성할 수 있다(S520). 여기서 에지 검출 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있는데, 예컨대, canny edge detection일 수 있다.
구체적으로 설명하면, 사용자 단말은 에지 검출의 성능을 높이기 위하여 가우시안 필터(Gaussian filter)를 사용하여 이미지를 블러(blur) 시킴으로써 노이즈 에지를 제거할 수 있다.
이때, 사용자 단말은 이미지를 가로 방향과 세로 방향에 대하여 각각 블러시켜 노이즈 에지를 제거하여 가로 주름과 세로 주름을 분리 분석하기에 적합한 형태 즉, 가로방향 에지 이미지와 세로방향 에지 이미지를 생성할 수 있다.
다음으로, 사용자 단말은 노이즈 에지가 제거된 가로방향 에지 이미지와 세로방향 에지 이미지 각각으로부터 소벨 에지 검출기(sobel edge detector)를 이용하여 에지 그레디언트(edge gradient)를 획득할 수 있다. 이때, 가로 방향과 세로 방향의 그레디언트를 각각 Gx, Gy라고 할 때, 에지 그레디언트는 다음의 수학식 3과 같다.
[수학식 3]
Figure pat00005
,
Figure pat00006
다음으로, 사용자 단말은 에지 그레디언트를 기초로 NMS(Non Maximum Suppression) 알고리즘을 이용하여 강도(magnitude)가 최대인 에지를 후보 에지로 결정할 수 있다. 이때 모든 이웃에 대해서 최대인지 판별하는 것이 아니라 에지의 방향을 고려해서 탐색 방향을 결정한다.
다음으로, 사용자 단말은 결정된 후보 에지가 실제 에지인지 아닌지를 판단할 수 있다. 즉, 에지의 강도가 상위 임계치(upper threshold)보다 크면 에지로 지정하고 하위 임계치(lower thereshold)보다 작으면 에지들을 합성 연결할 때 활용한다.
다음으로, 사용자 단말은 가로방향 에지 이미지에 대해 모폴로지 오픈(morphology open) 연산을 수행할 수 있다. 모폴로지는 영상의 기하학적 형태를 분석하는 기법이다. 기본적인 모폴로지 연산으로는 침식(erosion)과 팽창(dilation) 연산이 있다. 침식은 관심 영역의 크기가 줄어드는 대신 미미한 노이즈가 제거되는 효과가 있다. 팽창은 관심 영역의 크기가 늘어나지만 노이즈의 크기도 같이 늘어날 수 있다. 이때 침식 연산 후 팽창 연산을 하게 되면 물체의 형상과 크기가 보존됨과 동시에 미미한 노이즈를 제거할 수 있다. 이와 같이 침식 연산과 팽창 연산을 순서대로 하는 과정을 오픈 연산이라 하며 작은 노이즈를 제거하는데 많이 사용된다. 가로 방향의 주름은 특히 노이즈가 많기 때문에 실시예에서는 가로방향 에지 이미지에 대해서만 모노폴로지 오픈 연산을 수행하려 한다.
다음으로, 사용자 단말은 실제 에지라고 판단된 에지를 각각 포함하는 가로방향 에지 이미지와 세로방향 에지 이미지를 결합하여 에지 이미지를 생성할 수 있다.
다음으로, 사용자 단말은 미리 정해진 윤곽선 검출 알고리즘을 이용하여 에지 이미지로부터 윤곽선을 검출할 수 있다(S530). 윤곽선은 동일한 강도를 갖는 모든 연속된 점을 연결하는 곡선이며 형태 분석과 물체 감지 및 인식에 유용한 도구로 사용된다. 이때, 윤관석 검출 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있다.
다음으로, 사용자 단말은 검출된 에지, 윤곽선을 기초로 정량화한 수치를 산출할 수 있다(S540). 즉, 피부 진단 장치는 검출된 에지와 윤곽선의 개수를 산출하고, 산출된 에지와 윤곽선의 개수를 기초로 주름의 정도를 정량화한 수치 또는 점수를 산출할 수 있다.
먼저, 검출된 에지와 윤곽선 각각의 개수는 다음의 수학식 4, 5와 같이 나타낸다.
[수학식 4]
Figure pat00007
,
Figure pat00008
[수학식 5]
Figure pat00009
여기서, w는 이미지의 너비, h는 이미지의 높이, n은 검출된 윤곽(contour)의 개수, (xk,1, yk,1)은 k번째 윤곽의 시작점, (xk,2, yk,2)은 k번째 윤곽의 끝점을 나타낸다.
선 형태의 주름은 모든 주름 선을 분석하는 것으로 수학식 2와 같이 검출된 에지들의 개수를 카운트하여 정량화가 가능하고, 굵은 주름(Rhytid)은 주름이 형성하는 영역을 분석하는 것으로 수학식 3과 같이 검출된 윤곽선의 길이의 총 합을 계산하여 정량화가 가능하다.
상기 수학식 2, 3을 이용하여 주름 점수를 구하면, 다음의 수학식 6과 같이 나타낸다.
[수학식 6]
Figure pat00010
,
Figure pat00011
여기서, pm은 해당 화소 위치(i, j)의 마스크를 나타낸다.
상기 수학식 6과 같이 마스크의 면적을 구하고, 값의 강도를 보정하기 위하여 log를 취한 뒤 마스크 면적 대비 Scorew-line과 Scorew-rhytid의 상대적인 값을 계산한다.
도 6은 본 발명의 실시예에 따른 홍반의 위치를 검출하는 과정을 나타내는 도면이다.
도 6을 참조하면, 실시예에 따른 사용자 단말은 카메라 컬러 특성화 기술을 이용하여 RGB 이미지를 색 보정한 후 그레이 이미지로 변환할 수 있다(S610). 실시예에서는 화소의 밝기 값과 HSV 색 공간에서의 V 채널을 이용하여 두 종류의 그레이 이미지를 생성한다.
먼저, RGB 이미지 내 모든 화소의 밝기 값을 이용하여 제1 그레이 이미지 즉, Y 이미지를 생성할 수 있는데, 각 화소의 밝기는 다음의 수학식 6을 이용하여 계산할 수 있다.
[수학식 6]
Y = (0.2989ХR) + (0.5870ХG) + (0.1140ХB)
또한 HSV 색 공간에서의 V 채널을 이용하여 제2 그레이 이미지 즉, V이미지를 생성할 수 있는데, RGB 이미지로부터 HSV 색 공간으로의 변환 방법은 다음의 수학식 7과 같다.
[수학식 7]
V = max(R, G, B)
이러한 과정을 통해 얻어진 두 개의 그레이 이미지를 활용하면 홍반 후보군을 검출할 수 있다. 도 Y 이미지와 V 이미지를 비교해 보았을 때 동그라미 부분에서 알 수 있듯이 V 이미지에서는 Y 이미지에 비해 홍반 영역이 희미하다. 따라서 실시예에서는 Y 이미지와 V 이미지에서의 이러한 차이를 이용하고자 한다.
사용자 단말은 Y 이미지와 Y 이미지의 차이를 통해 그레이 차이 이미지를 생성할 수 있다(S620). 두 그레이 이미지의 차이로 인해 하이라이팅 되는 것을 알 수 있다. 즉, 그레이 차이 이미지에서 값이 0이 아닌 화소는 홍반일 확률이 높다고 할 수 있다. 이러한 화소들은 ROI(Region Of Interesting)으로 정의한다.
사용자 단말은 그레이 차이 이미지에 임계치를 적용하여 이진화 이미지를 추출할 수 있다(S630). 획득된 ROI에서 실체 홍반인 화소도 있지만 Y-V 차이가 미미한 노이즈도 존재한다. 이러한 노이즈를 제거하기 위하여 특정 임계치 이하의 화소는 ROI에서 제어시키기 위해 그레이 차이 이미지를 이진화시킬 수 있다.
사용자 단말은 이진화 이미지로부터 홍반을 검출할 수 있다(S640).
구체적으로, 도 6e와 같이 피부 진단 장치는 이진화 이미지로부터 다양한 모양 및 크기의 윤곽(contour)을 검출할 수 있다. 이러한 윤곽은 홍반 뿐만 아니라 모공 또는 주름 등과 같은 노이즈가 포함되어 있기 때문에 홍반 검출의 성능을 높이기 위해서는 이러한 노이즈 윤곽(noise contour)을 제거해야 한다.
사용자 단말은 검출된 윤곽을 필터링하여 노이즈 윤곽을 제거함으로써 홍반을 검출할 수 있다. 실시예에서는 제거하고자 하는 노이즈 윤곽을 사이즈(size)에 따른 노이즈와 컬러(color)에 따른 노이즈로 분류하여 필터링을 한다.
일반적인 홍반의 크기보다 윤곽의 크기가 클 경우, 이는 눈, 코, 입 또는 주름 영역에서 검출된 윤곽이라 볼 수 있다. 반대로 윤곽의 크기가 지나치게 작을 경우 모공에서 검출된 윤곽이라 볼 수 있다. 따라서 윤곽 크기에 대한 하위 경계(lower bound)와 상위 경계(upper bound)를 설정하여 이 범위를 벗어나는 윤곽을 제거한다.
홍반은 일반 피부보다 H 값은 더 낮고 S 값은 더 높은 경향을 보인다. 홍반의 이러한 컬러 특성을 반영하여 H, S의 임계값을 설정하고 노이즈 윤곽을 필터링한다.
따라서 이러한 사이즈 필터링과 컬러 필터링을 통과한 최종 홍반 검출 결과를 보여주고 있는데, 필터링 전후를 비교해 보았을 때 대부분의 노이즈 윤곽이 제거되기 때문에 홍반 검출의 성능이 높아지는 것을 확인할 수 있다.
도 7은 본 발명의 실시예에 따른 시스템의 개략적인 구성을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 맞춤형 화장품 제조 시스템은 사용자 단말(100), 서비스 서버(200), 데이터베이스(300)를 포함할 수 있다.
사용자 단말(100)은 카메라를 내장하고, 내장된 카메라 예컨대, 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 영상 또는 RGB 이미지를 획득할 수 있다.
사용자 단말(100)은 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 이미지를 획득하고, 획득한 RGB 이미지를 이용하여 얼굴 영역을 검출하고 얼굴 영역 내 미리 구분된 피부 영역에서 모공, 주름, 홍반을 검출하되, 모공과 주름의 정도를 정량화한 수치를 산출하고 홍반의 위치를 검출하여 피부 상태를 진단할 수 있다.
이때, 사용자 단말은 카메라 컬러 특성화 기술을 이용하여 색 보정할 수 있다.
그 일예로, 사용자 단말(100)은 홍반 검출을 위한 색 보정하되, 얼굴 영역 내 피부 영역에서 모공과 주름을 검출하고, 해당 피부 영역을 색 보정한 후 홍반을 검출할 수 있다.
다른 예로, 사용자 단말(100)은 피부 상태를 위한 색 보정하되, 얼굴 영역 내 모든 피부 영역을 색 보정하고, 해당 피부 영역에서 모공, 주름, 홍반을 검출할 수 있다.
사용자 단말(100)은 서비스 서버(300)와 연동하고, 진단한 결과를 서비스 서버에 업로드하여 관리함으로써, 사용자의 얼굴 피부 상태의 이력을 확인할 수 있다.
서비스 서버(300)는 피부 진단 장치(100)와 연동하고, 피부 진단 장치(100)로부터 모공과 주름의 정도를 정량화한 수치, 홍반의 위치, 피부 상태에 대한 정보를 제공받아 관리할 수 있다.
서비스 서버(300)는 현재 날짜의 이미지와 이전 날짜의 이미지를 비교하여 사용자의 얼굴 피부 상태가 개선되었는지를 사용자가 확인할 수 있도록 정보를 제공할 수 있다.
데이터베이스(400)는 사용자별로 제공받은 피부 상태에 대한 정보를 저장할 수 있다. 데이터베이스(400)는 피부 상태뿐 아니라 모공과 주름의 정도를 정량화한 수치, 홍반의 위치에 대한 정보도 저장하고, 이러한 정보들은 시간별로 저장될 수 있다.
도 8는 도 7에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 통신부(111), 촬영부(112), 입력부(113), 제어부(114), 출력부(115), 저장부(116), 표시부(117)를 포함할 수 있다.
통신부(111)는 서비스 서버(300)와 연동하여 각종 데이터를 송수신할 수 있다.
촬영부(112)는 사용자의 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다. 이때, 촬영부(112)는 넓은 영역을 한번에 촬영함과 동시에 낮은 가격을 유지하기 위한 비접촉식 RGB 카메라일 수 있다.
입력부(113)는 사용자의 메뉴 또는 키 조작에 따른 정보를 입력 받을 수 있다.
제어부(114)는 RGB 이미지를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역을 미리 정해진 다수의 피부 영역으로 구분하고, 구분된 다수의 피부 영역에서 모공과 주름을 검출하고, 모공과 주름의 정보를 정량화한 수치를 산출할 수 있다.
제어부(114)는 해당 피부 영역을 색 보정한 후 홍반의 위치를 검출할 수 있다.
제어부(114)는 산출된 모공과 주름의 정도를 정량화한 수치와 홍반의 위치를 기초로 피부 상태를 진단할 수 있다.
출력부(115)는 피부 진단 및 피부 상태를 안내하기 위한 오디오를 출력할 수 있다.
저장부(116)는 날짜별 RGB 이미지, 피부 영역, 모공과 주름의 정도를 정향화한 수치, 민감 정도를 정량화한 수치, 피부 상태 등 피부 진단에 관련된 정보를 저장할 수 있다.
표시부(117)는 사용자의 얼굴을 촬영한 RGB 이미지, RGB 이미지를 이용한 모공과 주름의 정도를 정량화한 수치, 홍반의 위치, 피부 상태 등을 화면에 표시할 수 있다.
도 9는 본 발명의 실시예에 따른 진단 서비스 제공 과정을 나타내는 도면이다.
도 9를 참조하면, 본 발명의 실시예에 따른 사용자 단말은 비접촉식 RGB 카메라를 이용하여 얼굴을 촬영하여 RGB 이미지를 획득할 수 있다(S901).
다음으로, 사용자 단말은 획득한 RGB 이미지를 분석하여 그 분석한 결과로 얼굴 영역을 검출하고 얼굴 영역 내 미리 구분된 피부 영역에서 모공과 주름을 검출하고, 검출된 모공과 주름의 정도를 정량화한 수치를 산출할 수 있다(S903).
다음으로, 사용자 단말은 해당 피부 영역을 색 보정한 후(S902) 홍반의 위치를 검출할 수 있다(S903).
다음으로, 사용자 단말은 모공과 주름의 정보를 정량화한 수치와 홍반의 위치를 기초로 피부 상태를 진단하여 피부 진단 정보를 생성할 수 있다(S904).
다음으로, 사용자 단말은 생성된 피부 진단 정보를 화면에 표시할 수 있다(S905). 예컨대, 사용자 단말은 모바일 어플리케이션을 통해 피부 진단 정보를 시각적으로 표시할 수 있다.
다음으로, 사용자 단말은 피부 진단 정보를 서비스 서버에 제공하면(S906), 서비스 서버는 제공받은 피부 진단 정보를 데이터베이스에 저장할 수 있다(S907). 이때 서비스 서버는 피부 진단 정보를 웹(web) 등을 통해 사용자에게 제공할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사용자 단말
200: 서비스 서버
300: 데이터베이스

Claims (13)

  1. 피부 상태를 진단하고자 하는 얼굴의 미리 정해진 피부 영역에 대한 이미지를 획득하는 카메라; 및
    상기 획득된 이미지로부터 모공과 주름의 정도를 각각 정량화한 수치를 산출하고, 상기 획득된 이미지를 색 보정한 후 홍반의 위치를 검출하고, 상기 검출된 수치와 상기 홍반의 위치를 기초로 상기 얼굴의 피부 영역에 대한 피부 상태를 진단하여 피부 진단 정보를 생성하는 제어부를 포함하고,
    상기 제어부는,
    카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정하는, 피부 상태 진단 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정한 후 상기 모공과 주름을 검출하고,
    상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출하는, 피부 상태 진단 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 이미지를 그레이 이미지로 변환하고, 상기 변환된 그레이 이미지에 임계치를 적용하여 이진화 이미지를 생성하고,
    상기 생성된 이진화 이미지로부터 모공을 검출하고,
    상기 검출된 모공을 기초로 상기 모공의 개수를 산출하고 상기 산출된 모공의 개수를 기초로 상기 모공의 정도를 정량화한 모공 점수를 산출하는, 피부 상태 진단 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고,
    상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고,
    상기 생성된 에지 이미지로부터 윤곽선을 검출하고,
    상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 피부 상태 진단 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 이미지 내 모든 화소의 밝기 값을 이용하여 제1 그레이 이미지를 생성하고,
    상기 이미지를 HSV 색 공간으로 변환하여 상기 HSV 색 공간에서의 V 값을 이용하여 제2 그레이 이미지를 생성하고,
    상기 제1 그레이 이미지와 제2 그레이 이미지의 차이를 통해 그레이 차이 이미지를 생성하고,
    상기 그레이 차이 이미지에 임계치를 적용하여 이진화 이미지를 추출하고,
    상기 추출된 이진화 이미지로부터 윤곽을 검출하고, 상기 검출된 윤곽을 필터링하여 노이즈 윤곽을 제거하여 상기 홍반과 그 위치를 검출하는, 피부 상태 진단 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 윤곽의 크기에 대한 하위 경계(lower bound)와 상위 경계(upper bound)의 범위를 설정하여 상기 설정된 범위를 벗어나는 제1 노이즈 윤곽을 제거하고,
    상기 제1 노이즈 윤곽이 제거된 윤곽의 색상에 대한 H 값과 S 값에 대한 임계값을 설정하여 상기 임계값을 벗어나는 제2 노이즈 윤곽을 제거하는, 피부 상태 진단 장치.
  7. 피부 상태를 진단하고자 하는 얼굴의 미리 정해진 피부 영역에 대한 이미지를 획득하는 단계; 및
    상기 획득된 이미지로부터 모공과 주름의 정도를 각각 정량화한 수치를 산출하는 단계;
    상기 획득된 이미지를 색 보정한 후 홍반의 위치를 검출하는 단계; 및
    상기 검출된 모공과 주름을 정량화한 수치와 상기 홍반의 위치를 기초로 상기 얼굴의 피부 영역에 대한 피부 상태를 진단하여 피부 진단 정보를 생성하는 단계를 포함하고,
    상기 검출하는 단계는,
    카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정하는, 피부 상태 진단 방법.
  8. 제7항에 있어서,
    상기 산출하는 단계는,
    상기 카메라 컬러 특성화 기술을 이용하여 상기 이미지를 색 보정한 후 상기 모공과 주름을 검출하고,
    상기 검출된 모공과 주름의 정도를 정량화한 수치를 산출하는, 피부 상태 진단 방법.
  9. 제7항에 있어서,
    상기 획득하는 단계는,
    상기 이미지로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역 중 미리 정해진 피부 영역을 검출하고,
    상기 검출된 피부 영역을 포함하는 마스킹 이미지를 생성하는, 피부 상태 진단 방법.
  10. 제7항에 있어서,
    상기 산출하는 단계는,
    상기 이미지를 그레이 이미지로 변환하고, 상기 변환된 그레이 이미지에 임계치를 적용하여 이진화 이미지를 생성하고,
    상기 생성된 이진화 이미지로부터 모공을 검출하고,
    상기 검출된 모공을 기초로 상기 모공의 개수를 산출하고 상기 산출된 모공의 개수를 기초로 상기 모공의 정도를 정량화한 모공 점수를 산출하는, 피부 상태 진단 방법.
  11. 제7항에 있어서,
    상기 산출하는 단계는,
    상기 이미지의 색 공간을 HSV 색 공간으로 변환하여 HSV 색 공간의 V를 이용하여 밝기 정보를 추출하고,
    상기 추출된 밝기 정보를 기초로 상기 이미지로부터 에지를 검출하여 에지 이미지를 생성하고,
    상기 생성된 에지 이미지로부터 윤곽선을 검출하고,
    상기 검출된 에지와 윤곽선의 개수를 산출하고, 상기 산출된 에지와 윤곽선의 개수를 기초로 상기 주름의 정도를 정량화한 주름 점수를 산출하는, 피부 상태 진단 방법.
  12. 제7항에 있어서,
    상기 검출하는 단계는,
    상기 이미지 내 모든 화소의 밝기 값을 이용하여 제1 그레이 이미지를 생성하고,
    상기 이미지를 HSV 색 공간으로 변환하여 상기 HSV 색 공간에서의 V 값을 이용하여 제2 그레이 이미지를 생성하고,
    상기 제1 그레이 이미지와 제2 그레이 이미지의 차이를 통해 그레이 차이 이미지를 생성하고,
    상기 그레이 차이 이미지에 임계치를 적용하여 이진화 이미지를 추출하고,
    상기 추출된 이진화 이미지로부터 윤곽을 검출하고, 상기 검출된 윤곽을 필터링하여 노이즈 윤곽을 제거하여 상기 홍반과 그 위치를 검출하는, 피부 상태 진단 방법.
  13. 제12항에 있어서,
    상기 검출하는 단계는,
    상기 윤곽의 크기에 대한 하위 경계(lower bound)와 상위 경계(upper bound)의 범위를 설정하여 상기 설정된 범위를 벗어나는 제1 노이즈 윤곽을 제거하고,
    상기 제1 노이즈 윤곽이 제거된 윤곽의 색상에 대한 H 값과 S 값에 대한 임계값을 설정하여 상기 임계값을 벗어나는 제2 노이즈 윤곽을 제거하는, 피부 상태 진단 방법.
KR1020210134966A 2021-10-12 2021-10-12 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법 KR20230051955A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210134966A KR20230051955A (ko) 2021-10-12 2021-10-12 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210134966A KR20230051955A (ko) 2021-10-12 2021-10-12 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230051955A true KR20230051955A (ko) 2023-04-19

Family

ID=86142062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210134966A KR20230051955A (ko) 2021-10-12 2021-10-12 색 보정을 이용하여 피부 상태를 진단하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230051955A (ko)

Similar Documents

Publication Publication Date Title
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
WO2017198040A1 (en) Facial image processing apparatus, facial image processing method, and non-transitory computer-readable storage medium
CN109961426B (zh) 一种人脸皮肤肤质的检测方法
EP2685419B1 (en) Image processing device, image processing method, and computer-readable medium
JP3769487B2 (ja) 画像肌色検出における金髪画素除去方法
CN110298297B (zh) 火焰识别方法和装置
KR102458615B1 (ko) 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
JP2004348733A (ja) デジタル画像における赤目領域の検出方法及び装置
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
CN104951742A (zh) 敏感视频的检测方法和系统
CN112712054B (zh) 脸部皱纹检测方法
Monwar et al. Pain recognition using artificial neural network
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
KR20200113853A (ko) 얼굴영상 처리를 이용한 퍼스널 컬러 분석 판별을 위한 장치 및 방법
CN113298753A (zh) 敏感肌的检测方法、图像处理方法、装置及设备
US10909351B2 (en) Method of improving image analysis
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
CN114708237A (zh) 一种用于头发健康状况的检测算法
CN110245590B (zh) 一种基于皮肤图像检测的产品推荐方法及系统
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
KR102550632B1 (ko) 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법
Petrovic Multilevel image fusion
KR101600617B1 (ko) 영상내 사람 검출 방법