KR102530149B1 - 얼굴 피부 진단방법 - Google Patents

얼굴 피부 진단방법 Download PDF

Info

Publication number
KR102530149B1
KR102530149B1 KR1020220081437A KR20220081437A KR102530149B1 KR 102530149 B1 KR102530149 B1 KR 102530149B1 KR 1020220081437 A KR1020220081437 A KR 1020220081437A KR 20220081437 A KR20220081437 A KR 20220081437A KR 102530149 B1 KR102530149 B1 KR 102530149B1
Authority
KR
South Korea
Prior art keywords
skin
type
trouble
skin trouble
area
Prior art date
Application number
KR1020220081437A
Other languages
English (en)
Inventor
김수동
송명호
Original Assignee
김수동
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김수동 filed Critical 김수동
Priority to KR1020220081437A priority Critical patent/KR102530149B1/ko
Application granted granted Critical
Publication of KR102530149B1 publication Critical patent/KR102530149B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하는 얼굴 피부 진단방법에 관한 것으로, 사용자 얼굴사진 수집부(410)에서, 사용자의 얼굴사진인 얼굴이미지정보를 수집하는 단계(S10)와; 피부트러블 종류검출부(420)에서, 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공하는 단계(S20)와; 피부트러블 진단부(430)에서, 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도를 측정하여, 종류별 피부트러블 심각도 측정정보를 생성하는 단계(S30)와; 피부트러블 노화측정부(440)에서, 종류별 피부트러블 심각도 측정정보를 토대로 해당 피부트러블의 피부나이를 나타내는 종류별 피부트러블 피부나이를 측정하는 단계(S40);를 포함한다.

Description

얼굴 피부 진단방법{Diagnostic method of face skin}
본 발명은 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하는 얼굴 피부 진단방법에 관한 것이다.
일반적으로 피부는 우리 몸의 근육과 기관을 덮어 보호하는 상피조직으로 표피, 진피, 피하지방층으로 구성되어 있다. 표피는 피부의 가장 표면에 위치하여 각질을 생성하고 피부를 보호하는 역할하고, 진피는 표피아래 존재하는 조직으로 한선, 피지선, 모낭, 혈관, 림프관, 신경, 근육 등이 포함되어 있다. 또한, 진피 내에 있는 탄력섬유와 교원섬유는 피부의 선과 긴장도를 유지해준다. 피하조직은 진피의 아래층에 존재하는 부분으로 지방조직을 저장하고 절연작용, 충격완화작용, 체온조절 작용을 한다. 피부에는 감각수용체가 있어 촉각, 압각, 온각, 통각에 반응을 하며 특히 손바닥, 발바닥, 입술은 감각수용체가 밀집되어 있는 곳으로 감각에 예민한 부위이다. 이러한 피부는 항상 건강한 상태로 유지할 수 있도록 보살피고 살펴 관리하여야 한다. 따라서 자칫 피부 관리를 소홀히 하게 되면, 세포의 급격한 노화와 더불어 각종 피부 질환을 유발할 수 있다.
이에 따라, 통상의 사람들은 자신의 피부 유형을 잘 알지 못하여 세안 때의 비누, 화장품의 남용, 자외선 노출, 생활 습관 등을 관리하지 못하는 경우가 대부분이다. 따라서 자신의 피부 유형에 따라 관리하는 방법도 달라야 한다.
본 발명과 관련된 선행기술로서, 특허문헌1은 데이터 서버가, 사용자 단말로부터 사용자의 피부 상태를 촬영한 촬영 데이터 및 상기 사용자의 피부 관리 요구를 포함하는 요구 데이터를 수신하는 단계; 수신된 상기 촬영 데이터 및 상기 요구 데이터를 분석하는 단계; 및 분석된 상기 촬영 데이터 및 상기 요구 데이터를 통해 도출된 상기 사용자의 맞춤형 결과 데이터를 상기 사용자 단말에 제공하는 단계가 개시되어 있다.
상기 선행기술은 단순히 사용자의 요구사항에 대응하는 분석결과만 제공할 뿐 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이는 예측하지 못하는 문제점이 있다.
KR 10-1444726 B1
본 발명은 상기 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하는 얼굴 피부 진단방법을 제공하는데 있다.
본 발명을 달성하기 위한 기술적 사상으로 본 발명의 얼굴피부 진단방법은, 사용자 얼굴사진 수집부에서, 사용자의 얼굴사진인 얼굴이미지정보를 수집하는 단계(S10)와; 피부트러블 종류검출부에서, 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공하는 단계(S20)와; 피부트러블 진단부에서, 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도를 측정하여, 종류별 피부트러블 심각도 측정정보를 생성하는 단계(S30)와; 피부트러블 노화측정부에서, 종류별 피부트러블 심각도 측정정보를 토대로 해당 피부트러블의 피부나이를 나타내는 종류별 피부트러블 피부나이를 측정하는 단계(S40)와; 피부트러블 노화측정부에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 있는지 확인하는 단계(S50)와, 피부트러블 노화측정부에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 없는 경우, 적어도 하나의 종류별 피부트러블 피부나이와 해당 사용자와 동 나이 대 일반인의 평균 얼굴 나이를 비교하여 해당 사용자의 피부노화 정도를 나타내는 사용자 피부노화 측정정보를 생성하는 단계(S60)와; 레포트 생성부에서, 해당 사용자의 종류별 피부트러블 영역 마스킹정보, 종류별 피부트러블 심각도 측정정보 및 사용자 피부노화 측정정보를 참조하여, 사용자의 얼굴에 존재하는 피부트러블들을 구분하고, 이를 토대로 피부노화 정도를 안내하는 정보가 이미지 및 텍스트로 구비되는 사용자 피부트러블 진단정보를 생성하여 제공하는 단계(S70);를 포함한다.
본 발명은 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 예측하여 안내하는 효과를 발휘한다.
도 1 및 도 2는 본 발명의 얼굴 피부 진단방법을 구현하는데 필요한 얼굴피부 진단장치의 구성을 나타낸 장치구성도.
도 3 및 도 4는 본 발명의 얼굴피부 진단방법을 나타낸 순서도.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하면서 상세히 설명하기에 앞서, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 하기의 실시예들은 본 발명을 상세히 설명하고자 언급된 것일 뿐이지, 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 각 도면에서 구성요소들은 이해의 편의 등을 고려하여 크기나 두께를 과장되게 표현하거나, 또는 단순화하여 표현하고 있으나 이에 의하여 본 발명의 보호범위가 제한적으로 해석되어서는 아니되며, 동일한 기능을 수행하는 경우에는 가급적 동일한 도면부호를 명기하기로 한다. 이와 더불어, 본 발명에서 사용한 용어는 단지 하기의 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 얼굴 피부 진단방법은 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하여 주도록, 정보입력부(100), 정보출력부(200), DB부(300) 및 제어모듈(400)으로 이루어진 얼굴피부 진단장치가 구비되어야 한다.
먼저, 정보입력부(100)는 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하기 위해, 얼굴피부 진단장치의 동작 제어를 수행하는 부재이다. 이러한 기능을 수행하는 정보입력부(100)에는 키보드, 키패드, 돔스위치(dome switch), 터치패드(정압/정전), 조그휠, 조그 스위치 또는 이들의 조합으로 구성될 수 있다.
상기 정보출력부(200)는 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하기 위해 필요한 각종 정보가 출력되는 부재이다.
이러한 기능을 수행하는 정보출력부(200)에는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스 플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등 다양한 출력부재가 선택 적용되어질 수 있다. 또한, 사용자 피부트러블 진단정보가 인쇄출력되는 프린터도 조합되어 제공될 수 있다.
상기 DB부(300)는 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하기 위해 필요한 각종 정보가 저장관리되는 데이터베이스부재이다.
이러한 기능을 수행하는 DB부(300)에는 사용자정보 DB(310), 사용자별 얼굴이미지정보 DB(320), 사용자별 트러블 리스트정보 DB(330), 사용자별 트러블 심각도 측정정보 DB(340), 연령대별 평균얼굴 나이정보 DB(350), 사용자별 피부노화 측정정보 DB(360) 및 사용자별 피부트러블 진단정보 DB(370)로 이루어진다.
먼저, 사용자정보 DB(310)는 사용자의 성명, 성별, 나이, 전화번호, SNS계정, 이메일과 같은 연락처 및 주소지를 포함하는 신상정보가 저장관리되는 데이터베이스부재이다.
상기 사용자별 얼굴이미지정보 DB(320)는 사용자의 얼굴사진인 얼굴이미지정보가 저장관리되는 데이터베이스부재이다.
여기서, 사용자의 얼굴이미지정보는 사용자의 피부트러블을 진단하는 장소에 비치되는 카메라를 이용하여 직접 촬영하거나 사용자가 촬영한 얼굴이미지정보를 제공받거나 등의 다양한 수단을 통해 수집되어질 수 있다.
상기 사용자별 트러블 리스트정보 DB(330)는 사용자의 얼굴이미지정보에 존재하는 종류별로 구분되는 피부트러블인 종류별 피부트러블이 기록된 트러블 리스트정보가 사용자별로 구분되어 저장관리되는 데이터베이스부재이다.
여기서, 종류별 피부트러블에는 여드름, 주근깨, 주름, 검버섯 등 얼굴 피부에서 발생되는 다양한 피부트러블을 포함하며, 한 명의 사용자가 얼굴 피부에 여드름과 주근깨가 함께 존재한다면 해당 트러블 리스트정보에도 여드림 및 주근께가 각각 기록됨으로써, 사용자의 얼굴피부에 존재하는 다양한 피부트러블을 고려하여 사용자의 실제 얼굴 피부 나이를 진단할 수 있게 안내하여 준다.
또한, 사용자별 트러블 리스트정보 DB(330)에는 사용자의 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보도 사용자별로 구분되어 저장관리되어진다.
상기 사용자별 트러블 심각도 측정정보 DB(340)는 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도가 측정된 종류별 피부트러블 심각도 측정정보가 사용자별로 구분되어 저장관리되는 데이터베이스부재이다.
이때 에도, 사용자의 얼굴피부에 존재하는 피부트러블의 개수만큼 종류별 피부트러블 심각도 측정정보도 구분되어 저장되어진다.
상기 연령대별 평균 얼굴 나이정보 DB(350)는 일반인을 연령대별로 구분하고, 그 구분되는 연령대별 일반인의 얼굴나이를 평균화한 연령대별 일반인 평균 얼굴 나이정보가 저장관리되는 데이터베이스부재이다.
여기서, 연령대별 일반인 평균 얼굴 나이정보는 1살 단위의 연령대별로 구분되어 저장관리되어질 수 있다.
상기 사용자별 피부노화 측정정보 DB(360)는 사용자와 동 나이 대 일반인의 평균 얼굴 나이를 나타내는 연령대별 일반인 평균 얼굴 나이정보와 비교하여 생성된 해당 사용자의 피부노화 정도를 나타내는 사용자 피부노화 측정정보가 저장관리되는 데이터베이스부재이다.
상기 사용자별 피부트러블 진단정보 DB(370)는 사용자의 종류별 피부트러블 영역 마스킹정보, 종류별 피부트러블 심각도 측정정보 및 사용자 피부노화 측정정보를 참조하여, 사용자의 얼굴에 존재하는 피부트러블들을 구분하고, 이를 토대로 피부노화 정도를 안내하는 정보가 이미지 및 텍스트로 기록된 사용자 피부트러블 진단정보가 사용자별로 구분되어 저장관리되는 데이터베이스부재이다.
상기 제어모듈(400)은 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하는데 요구되는 각종 정보의 가공 및 제어하는 제어모듈이다.
이러한 기능을 수행하는 제어모듈(400)에는 사용자 얼굴사진 수집부(410), 피부트러블 종류검출부(420), 피부트러블 진단부(430), 피부트러블 노화측정부(440) 및 레포트 생성부(450)로 이루어진다.
먼저, 사용자 얼굴사진 수집부(410)는 사용자의 얼굴사진인 얼굴이미지정보를 수집하는 제어모듈이다.
이러한 기능을 수행하는 사용자 얼굴사진 수집부(410)는 카메라를 운영하여, 사용자의 얼굴을 직접 촬영하여 얼굴사진인 얼굴이미지정보를 생성하고, 그 생성된 얼굴사진인 얼굴이미지정보를 사용자별 얼굴이미지정보 DB(320)에 저장함으로써, 얼굴사진인 얼굴이미지정보를 수집할 수 있다. 또는 사용자 얼굴사진 수집부(410)는 사용자가 제공하는 얼굴이미지정보를 전송받고, 그 전송된 얼굴이미지정보를 사용자별 얼굴이미지정보 DB(320)에 저장함으로써, 얼굴사진인 얼굴이미지정보를 수집할 수 있다.
상기 피부트러블 종류검출부(420)는 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공(S20)하는 제어모듈이다.
여기서, CNN 기반의 종류별 피부트러블 검출모델들은 여드름, 주근깨, 주름, 검버섯 등 얼굴 피부에서 발생되는 다양한 피부트러블 마다 구분되어 탐색할 수 있다. 즉, 종류별 피부트러블이 여드름인 경우 얼굴이미지정보에 피부트러블이 여드름으로 구분되는 학습데이터를 토대로 기계학습된CNN 기반의 여드름 검출모델을 이용하고, 종류별 피부트러블이 주근깨인 경우 얼굴이미지정보에 피부트러블이 주근깨로 구분되는 학습데이터를 토대로 기계학습된CNN 기반의 주근깨 검출모델을 이용하는 등 개개의 종류별 피부트러블에 특화된 검출모델을 적용하여 피부트러블을 탐색함으로써, 탐색정확도를 극대화시켜주는 이점을 제공한다.
한편, 종류별 피부트러블 영역 마스킹정보에는 탐색된 종류별 피부트러블 영역을 분할 표시하는 마스크, 해당 마스크를 포함하는 것으로, 해당 마스크의 위치를 나타내는 바운딩박스 좌표, 탐색된 종류별 피부트러블 영역의 분할 표시에 대한 신뢰도를 나타내는 분할표시 신뢰도와 같은 정보를 포함한다.
또한, 피부트러블 종류검출부(420)는 사용자의 얼굴이미지정보에 존재하는 종류별로 구분되는 피부트러블인 종류별 피부트러블이 기록된 트러블 리스트정보도 생성한다.
상기 피부트러블 진단부(430)는 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도를 측정하여, 종류별 피부트러블 심각도 측정정보를 생성하는 제어모듈이다.
한편, 피부트러블 진단부(430)는 종류별 피부트러블 심각도 측정정보를 세세하게 구분하여 생성하는데, 먼저, 해당 사용자의 종류별 피부트러블 영역을 분할 표시하는 마스크에 분포하는 해당 피부트러블의 개체 수를 측정하는 개체 수 대비 심각도정보를 생성하고, 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크 간의 면적을 대비하여 면적 비율을 측정하는 면적 대비 심각도정보를 생성하며, 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크의 간의 색상을 대비하여 색상 비율을 측정하는 색상 대비 심각도정보를 생성한다.
상기 피부트러블 노화측정부(440)는 종류별 피부트러블 심각도 측정정보를 토대로 해당 피부트러블의 피부나이를 나타내는 종류별 피부트러블 피부나이를 측정하는 제어모듈이다.
상기 레포트 생성부(450)는 해당 사용자의 종류별 피부트러블 영역 마스킹정보, 종류별 피부트러블 심각도 측정정보 및 사용자 피부노화 측정정보를 참조하여, 사용자의 얼굴에 존재하는 피부트러블들을 구분하고, 이를 토대로 피부노화 정도를 안내하는 정보가 이미지 및 텍스트로 구비되는 사용자 피부트러블 진단정보를 생성하는 제어모듈이다.
이와 같은 구성으로 이루어진 얼굴피부 진단장치를 이용하여 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하고, 그 인지된 각 피부트러블의 심각화 정도를 파악하며, 이를 토대로 실제 사용자의 피부나이를 진단하여 안내하는 과정을 설명하면 다음과 같다.
먼저, 사용자의 얼굴 전체에 발생하는 다양한 피부트러블을 인지하는 과정을 수행하기에 앞서, 제어모듈(400) 중 사용자 얼굴사진 수집부(410)는 사용자의 얼굴사진인 얼굴이미지정보를 수집(S10)하고, 이를 사용자별 얼굴이미지정보 DB(320)에 저장관리한다.
이후, 의료진은 정보입력부(100)를 조작하여 해당 사용자의 얼굴이미지정보의 로딩을 요청하면, 사용자 얼굴사진 수집부(410)는 사용자별 얼굴이미지정보 DB(320)에서 해당 사용자의 얼굴사진인 얼굴이미지정보를 로딩한다.
이후, 제어모듈(400) 중 피부트러블 종류검출부(420)는 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공(S20)하고, 그 가공된 종류별 피부트러블 영역 마스킹정보를 사용자별 트러블 리스트정보 DB(330)에 저장관리되도록 제어한다.
또한, 피부트러블 종류검출부(420)는 사용자의 얼굴이미지정보에 존재하는 종류별로 구분되는 피부트러블인 종류별 피부트러블이 기록된 트러블 리스트정보를 생성하고, 그 생성된 트러블 리스트정보도 사용자별 트러블 리스트정보 DB(330)에 저장관리되도록 제어한다.
이후, 제어모듈(400) 중 피부트러블 진단부(430)는 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도를 측정하여, 종류별 피부트러블 심각도 측정정보를 생성(S30)하는데 그 세부과정은 다음과 같다.
먼저, 피부트러블 진단부(430)는 해당 사용자의 종류별 피부트러블 영역을 분할 표시하는 마스크에 분포하는 해당 피부트러블의 개체 수를 측정하는 개체 수 대비 심각도정보를 생성(S31)한다.
여기서, 해당 사용자의 종류별 피부트러블의 개체의 수는 피부 나이를 결정하는 요소 중 하나이다. 해당 사용자의 종류별 피부트러블의 개체의 수가 증가할수록, 해당 피부 나이는 늙게 측정된다. 이 관계는 하기 수학식으로 표현된다.
[수학식 1]
Figure 112022069093375-pat00001
상기 SPNumber는 얼굴이미지정보에 구비되는 종류별 피부트러블의 개체의 수를 의미한다. 여기서, SPNumber는 얼굴피부 나이에 정비례한다. 따라서 SPNumber가 증가할수록, 얼굴 피부 나이도 증가하게 된다.
한편, 피부트러블 진단부(430)는 하기 수학식을 이용하여 개체 수 대비 심각도정보를 생성한다.
[수학식 2]
Figure 112022069093375-pat00002
상기 SPRumber는 얼굴이미지정보 내 종류별 피부트러블 영역 내에 분포하는 해당 피부트러블의 개체 수인 SPnumber를 고려한 종류별 피부트러블 나이 비율을 의미한다.
상기 MAX_NUMBER는 얼굴이미지정보에 나타날 수 있는 해당 종류별 피부트러블의 개체 수를 의미한다.
만약 SPNum이 MAX_NUMBER보다 작다면, SPNum을 MAX_NUMBER로 나눈 값이 반환된 다. 그리고 만약SPNum이 MAX_NUMBER보다 크다면, 1을 반환하게 된다.
따라서 SPRNumber의 범위는 0~1로, 0에 가깝다면 종류별 피부트러블 개체 수에 대한 개체 수 대비 심각도정보에 따른 피부 나이 비율이 젊게 측정되고, 1에 가깝다면 개체 수 대비 심각도정보에 따른 얼굴 피부 나이 비율이 늙게 측정된다.
또한, 피부트러블 진단부(430)는 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크 간의 면적을 대비하여 면적 비율을 측정하는 면적 대비 심각도정보를 생성(S32)한다.
여기서, 해당 사용자의 종류별 피부트러블의 면적은 피부 나이를 결정하는 요소 중 하나이다. 해당 사용자의 종류별 피부트러블의 면적이 증가할수록, 해당 피부 나이는 늙게 측정된다. 이 관계는 하기 수학식으로 표현된다.
[수학식 3]
Figure 112022069093375-pat00003
상기 SPArea는 얼굴이미지정보 내 종류별 피부트러블의 모든 면적을 의미한다. 이에 따라, SPArea는 0보다 같 거나 크거나 얼굴 전체 면적보다 작다. 또한, SPArea는 얼굴 피부 나이와 정비례한다. 따라서 SPArea가 증가할수록, 얼굴 피부 나이도 증가하게 된다.
한편, 피부트러블 진단부(430)는 하기 수학식을 이용하여 면적 대비 심각도정보를 생성한다.
[수학식 4]
Figure 112022069093375-pat00004
상기 SPRArea는 얼굴이미지정보 내 종류별 피부트러블의 전체 면적인 SPArea을 고려한 피부 나이 비율을 의미한다. SPRArea는 전체 얼굴 면적 중 해당 종류별 피부트러블의 면적 비율을 계산한다. SPRArea의 범위는 0~1로, 0에 가까울수록 해당 종류별 피부트러블의 영역이 작고 피부 나이가 젊게 측정되며, 1에 가까울수록 해당 종류별 피부트러블의 영역이 크고 피부 나이가 늙게 측정된다.
또한, 피부트러블 진단부(430)는 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크의 간의 색상을 대비하여 색상 비율을 측정하는 색상 대비 심각도정보를 생성(S33)한다.
여기서, 해당 사용자의 종류별 피부트러블의 색상은 피부 나이를 결정하는 요소 중 하나이다. 2D의 얼굴이미지정보에서 종류별 피부트러블의 심각도, 깊이, 시각적 특징 등은 색상으로 표현된다. 또한, 각 종류별 피부트러블은 각각의 피부 색상 범위를 갖는다. 따라서, 종류별 피부트러블의 색상이 일반 피부색과 차이가 클수록, 해당 피부 나이는 늙게 측정된다. 이 관계는 하기 수학식으로 표현된다.
[수학식 5]
Figure 112022069093375-pat00005
상기 SPColor는 얼굴이미지정보 내 종류별 피부트러블 영역의 색을 의미한다.
상기 COLORSetSP는 해당 종류별 피부트러블이 나타내는 피부색의 집합을 의미한다.
이를 통해, SPColor는 COLORSetSP의 한 값이고, 일반 피부색(SkinColor)과 SPColor와의 차이는 얼굴 피부 나이와 정비례한다. 따라서, 두 색의 차이가 클수록 해당 얼굴 피부 문제의 심각도가 심하게 평가되며, 얼굴 피부 나이는 늙게 측정된다.
상기 피부트러블 진단부(430)는, 하기 수학식을 이용하여 색상 대비 심각도를 측정한다.
[수학식 6]
Figure 112022069093375-pat00006
상기 SPRColor는 얼굴이미지정보 내 종류별 피부트러블 영역의 색인 SPColor를 고려한 피부 나이 비율을 의미한다.
이에 따라, 해당 종류별 피부트러블의 평균색을 가지고 연산된다. SPRColor는 정상적인 피부색과 SPcolor의 차를 이용한다. 이 둘 사이의 관계에 따라 수학식6은 2가지 방식으로 구분되어진다. 먼저, SPcolor가 정상적인 피부색보다 작은 값일 경우 두 값의 차를 SkinColor로 나눈 값이 연산되고, SPColor가 정상적인 피부색보다 큰 값일 경우, 두 값의 차를 '255-SkinColor'로 나눈 값이 연산된다.
SPRColor의 범위는 0~1로, 0에 가까울수록 해당 피부 문제의 영역이 작고, 피부 나이가 젊게 측정되며, 1에 가까울수록 피부 나이가 늙게 측정된다.
이후, 피부트러블 진단부(430)는 생성된 개체 수 대비 심각도정보, 면적 대비 심각도정보 및 색상 대비 심각도정보를 포함하는 종류별 피부트러블 심각도 측정정보를 사용자별 트러블 심각도 측정정보 DB(340)에 저장(S34)한다.
이후, 제어모듈(400) 중 피부트러블 노화측정부(440)는 종류별 피부트러블 심각도 측정정보를 토대로 해당 피부트러블의 피부나이를 나타내는 종류별 피부트러블 피부나이를 측정(S40)한다.
여기서, 피부트러블 노화측정부(440)는 하기 수학식을 이용하여 종류별 피부트러블 피부나이를 측정한다.
[수학식 7]
Figure 112022069093375-pat00007
상기 FSAge는 종류별 피부트러블 피부나이를 의미한다.
상기 SPRumber는 얼굴이미지정보 내 종류별 피부트러블 영역 내에 분포하는 해당 피부트러블의 개체 수인 SPnumber를 고려한 종류별 피부트러블 나이 비율을 의미한다.
상기 SPRArea는 얼굴이미지정보 내 종류별 피부트러블의 전체 면적인 SPArea을 고려한 피부 나이 비율을 의미한다.
상기 SPRColor는 얼굴이미지정보 내 종류별 피부트러블 영역의 색인 SPColor를 고려한 피부 나이 비율을 의미한다.
이를 통해, FSAge는 MaxAge와 SPRNumber, SPRArea, SPRColor의 곱으로 표현된다. SPR들이 높은 비율로 연산될수록, 해당 얼굴 피부 나이는 최대 나이(MaxAge)에 가깝게 연산된다. MaxAge는 100으로 설정된다.
이후, 제어모듈(400) 중 피부트러블 노화측정부(440)는 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 있는지 확인(S50)한다.
이에 따라, 피부트러블 노화측정부(440)는 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 있는 경우 그 측정되지 않은 종류별 피부트러블을 통해, 해당 피부트러블의 피부나이를 측정가능하도록, 피부트러블 종류검출부(420)에서, 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공하는 S20과정으로 진입하여 반복순환하는 과정을 수행한다.
그리고 피부트러블 노화측정부(440)는 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 없는 경우, 연령대별 평균 얼굴 나이정보 DB(350)에서 해당 사용자와 동 나이 대의 연령대별 일반인 평균 얼굴 나이정보를 추출하고, 하나의 종류별 피부트러블 피부나이와 그 추출된 연령대별 일반인 평균 얼굴 나이정보를 비교하여 해당 사용자의 피부노화 정도를 나타내는 사용자 피부노화 측정정보를 생성(S60)하고, 이를 피부트러블 노화측정부(440)에 저장관리한다. 다시 한번 강조하여, 측정된 종류별 피부트러블 피부나이가 1개인 경우에 해당된다.
또한, 해당 사용자와 실제 나이가 같은 사람들의 피부 나이 평균은 하기 수학식으로 표현된다.
[수학식 8]
Figure 112022069093375-pat00008
상기 FSAGEage는 현재 사용자를 제외한 현재 사용자와 같은 나이의 사람들의 피부 나이를 의미한다. 이 때 FSAGEage안에 있는 피부 나이 개수는 NUM으로 표현한다.
상기 FSAGEage,i는 그 중 i번째 사람의 피부 나이를 나타낸다.
FSAGE_AVGage는 FSAGEage의 평균을 나타낸다.
한편, 피부트러블 노화측정부(440)는 하기 수학식을 이용하여 적어도 하나의 종류별 피부트러블 피부나이와 해당 사용자와 동 나이 대 일반인의 평균 얼굴 나이를 비교하여 해당 사용자의 피부노화 정도를 측정한다.
[수학식 9]
Figure 112022069093375-pat00009
상기 SPAgingRate는 얼굴 피부 노화율을 나타낸다.
상기 FSAgeTarget는 종류별 피부트러블 피부나이를 의미한다.
상기 FSAGE_AVGage는 동 나이 대 일반인의 평균 피부 나이를 의미한다.
상기 MAXAGE는 시스템 내 설정된 최대 나이를 의미하며, 여기서는 100으로 설정다.
여기서, SPAgingRate는 해당 사용자의 피부 나이(FSAgeTarget)와 평균 피부 나이(FSAGE_AVGage)의 차를 통해 계산된다. 즉, 평균 피부 나이가 해당 사용자의 피부나이보다 클 경우, 두 차를 평균 피부나이로 나눈다. 평균 피부나이가 해당 사용자의 피부 나이보다 작을 경우, 두 값의 차를 최대 나이(MAXAGE)에서 평균 피부나이의 차로 나눈다.
사용자 피부노화 측정정보에 해당하는 노화율의 범위는 -1에서 1로 표현된다. 해당 값이 -1에 가까울수록, 해당 사용자는 평균 피부 나이 대비 젊은 피부 나이를 가지며, 1에 가까울수록, 해당 사용자는 늙은 피부 나이를 갖게 된다. 0일 경우, 해당 사람은 같은 나이 사람들의 평균 얼굴 나이와 같은 결과를 갖는 것을 의미한다.
또한, 피부트러블 노화측정부(440)는 측정된 종류별 피부트러블 피부나이가 2개 이상인 경우에는 측정된 모든 종류별 피부트러블 피부나이의 평균치를 계산하여 연산된다.
한편, 피부트러블 노화측정부(440)는 하기 수학식을 이용하여 측정된 종류별 피부트러블 피부나이가 2개 이상인 경우에는 측정된 모든 종류별 피부트러블 피부나이의 평균치를 계산하여 연산하여 해당 사용자의 피부노화 정도를 측정한다.
[수학식 10]
Figure 112022069093375-pat00010
상기 FSAgeTarget는 해당 사용자의 얼굴 피부 나이를 나타낸다.
상기 FSAgeTarget는 측정된 종류별 피부트러블 피부 나이가 n개일 때, 피부 트러블에 대한 피부 나이의 평균값을 나타낸다.
이때, 각 종류별 피부트러블마다 피부 나이 결정에 영향을 미치는 정도가 다르기 때문에 가중치(weight)를 사용하고 측정된 피부 트러블들에 대한 가중치의 총합은 1이다. 각 종류별 피부트러블에 대한 가중치는 1을 측정된 종류별 피부 트러블 수(n)로 나눈 평균으로 설정되되, 각 피부 트러블의 영향도에 따라 따라 가중치 값이 0에서 1 사이의 값으로 할당될 수 있다.
이후, 제어모듈(400) 중 레포트 생성부(450)는 해당 사용자의 종류별 피부트러블 영역 마스킹정보, 종류별 피부트러블 심각도 측정정보 및 사용자 피부노화 측정정보를 참조하여, 사용자의 얼굴에 존재하는 피부트러블들을 구분하고, 이를 토대로 피부노화 정도를 안내하는 정보가 이미지 및 텍스트로 구비되는 사용자 피부트러블 진단정보를 생성하여 레포트 생성부(450)에 저장관리함과 더불어 정보출력부(200) 또는 프린터를 통해 출력하거나 해당 사용자의 SNS계정 또는 이메일을 통해 전송하여 제공(S70)한다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 정보입력부
200 : 정보출력부
300 : DB부
310 : 사용자정보 DB
320 : 사용자별 얼굴이미지정보 DB
330 : 사용자별 트러블 리스트정보 DB
340 : 사용자별 트러블 심각도 측정정보 DB
350 : 연령대별 평균얼굴 나이정보 DB
360 : 사용자별 피부노화 측정정보 DB
370 : 사용자별 피부트러블 진단정보 DB
400 : 제어모듈
410 : 사용자 얼굴사진 수집부
420 : 피부트러블 종류검출부
430 : 피부트러블 진단부
440 : 피부트러블 노화측정부
450 : 레포트 생성부

Claims (11)

  1. 사용자 얼굴사진 수집부(410)에서, 사용자의 얼굴사진인 얼굴이미지정보를 수집하는 단계(S10)와;
    피부트러블 종류검출부(420)에서, 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공하는 단계(S20)와;
    피부트러블 진단부(430)에서, 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도를 측정하여, 종류별 피부트러블 심각도 측정정보를 생성하는 단계(S30)와;
    피부트러블 노화측정부(440)에서, 종류별 피부트러블 심각도 측정정보를 토대로 해당 피부트러블의 피부나이를 나타내는 종류별 피부트러블 피부나이를 측정하는 단계(S40);를 포함하고,
    상기 피부트러블 진단부(430)에서, 종류별 피부트러블 영역 마스킹정보를 이루는 종류별 피부트러블 영역 부위인 마스크의 피부트러블 심각도를 측정하여, 종류별 피부트러블 심각도 측정정보를 생성하는 S30단계는,
    피부트러블 진단부(430)에서, 해당 사용자의 종류별 피부트러블 영역을 분할 표시하는 마스크에 분포하는 해당 피부트러블의 개체 수를 측정하는 개체 수 대비 심각도정보를 생성하는 단계(S31)와;
    피부트러블 진단부(430)에서, 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크 간의 면적을 대비하여 면적 비율을 측정하는 면적 대비 심각도정보를 생성하는 단계(S32)와;
    피부트러블 진단부(430)에서, 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크의 간의 색상을 대비하여 색상 비율을 측정하는 색상 대비 심각도정보를 생성하는 단계(S33)와;
    피부트러블 진단부(430)에서, 생성된 개체 수 대비 심각도정보, 면적 대비 심각도정보 및 색상 대비 심각도정보를 포함하는 상기 종류별 피부트러블 심각도 측정정보를 저장하는 단계(S34);로 이루어진 것을 특징으로 하는 얼굴 피부 진단방법.
  2. 제1항에 있어서,
    상기 피부트러블 종류검출부(420)에서, 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공하는 S20단계에 있어서,
    피부트러블 종류검출부(420)는, 사용자의 얼굴이미지정보에 존재하는 종류별로 구분되는 피부트러블인 종류별 피부트러블이 기록된 트러블 리스트정보를 생성하는 것을 특징으로 하는 얼굴 피부 진단방법.
  3. 제1항에 있어서,
    상기 종류별 피부트러블 영역 마스킹정보에는, 탐색된 종류별 피부트러블 영역을 분할 표시하는 마스크, 해당 마스크를 포함하는 것으로, 해당 마스크의 위치를 나타내는 바운딩박스 좌표, 탐색된 종류별 피부트러블 영역의 분할 표시에 대한 신뢰도를 나타내는 분할표시 신뢰도와 같은 정보를 포함하는 것을 특징으로 하는 얼굴 피부 진단방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 피부트러블 진단부(430)에서, 해당 사용자의 종류별 피부트러블 영역을 분할 표시하는 마스크에 분포하는 해당 피부트러블의 개체 수를 측정하는 개체 수 대비 심각도를 측정하는 S31단계에 있어서,
    상기 피부트러블 진단부(430)는, 하기 수학식을 이용하여 개체 수 대비 심각도를 측정하는 것을 특징으로 하는 얼굴 피부 진단방법.
    [수학식 2]
    Figure 112023025723569-pat00011

    상기 SPRumber는 얼굴이미지정보 내 종류별 피부트러블 영역 내에 분포하는 해당 피부트러블의 개체 수인 SPnumber를 고려한 종류별 피부트러블 나이 비율을 의미한다.
    상기 MAX_NUMBER는 얼굴이미지정보에 나타날 수 있는 해당 종류별 피부트러블의 개체 수를 의미한다.
  6. 제1항에 있어서,
    상기 피부트러블 진단부(430)에서, 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크 간의 면적을 대비하여 면적 비율을 측정하는 면적 대비 심각도를 측정하는 S32단계에 있어서,
    상기 피부트러블 진단부(430)는, 하기 수학식을 이용하여 면적 대비 심각도를 측정하는 것을 특징으로 하는 얼굴 피부 진단방법.
    [수학식 4]
    Figure 112023025723569-pat00012

    상기 SPRArea는 얼굴이미지정보 내 종류별 피부트러블의 전체 면적인 SPArea을 고려한 피부 나이 비율을 의미한다.
  7. 제1항에 있어서,
    상기 피부트러블 진단부(430)에서, 해당 사용자의 일반피부영역(해당 사용자의 종류별 피부트러블 영역을 제외한 얼굴피부영역)과 종류별 피부트러블 영역을 분할 표시하는 마스크의 간의 색상을 대비하여 색상 비율을 측정하는 색상 대비 심각도정보를 생성하는 S33단계에 있어서,
    상기 피부트러블 진단부(430)는, 하기 수학식을 이용하여 색상 대비 심각도를 측정하는 것을 특징으로 하는 얼굴 피부 진단방법.
    [수학식 6]
    Figure 112023025723569-pat00013

    상기 SPRColor는 얼굴이미지정보 내 종류별 피부트러블 영역의 색인 SPColor를 고려한 피부 나이 비율을 의미한다.
  8. 제1항에 있어서,
    상기 피부트러블 노화측정부(440)에서, 종류별 피부트러블 심각도 측정정보를 토대로 해당 피부트러블의 피부나이를 나타내는 종류별 피부트러블 피부나이를 측정하는 S40단계에 있어서,
    상기 피부트러블 노화측정부(440)는, 하기 수학식을 이용하여 종류별 피부트러블 피부나이를 측정하는 것을 특징으로 하는 얼굴 피부 진단방법.
    [수학식 7]
    Figure 112022069093375-pat00014

    상기 FSAge는 종류별 피부트러블 피부나이를 의미한다.
    상기 SPRumber는 얼굴이미지정보 내 종류별 피부트러블 영역 내에 분포하는 해당 피부트러블의 개체 수인 SPnumber를 고려한 종류별 피부트러블 나이 비율을 의미한다.
    상기 SPRArea는 얼굴이미지정보 내 종류별 피부트러블의 전체 면적인 SPArea을 고려한 피부 나이 비율을 의미한다.
    상기 SPRColor는 얼굴이미지정보 내 종류별 피부트러블 영역의 색인 SPColor를 고려한 피부 나이 비율을 의미한다.
  9. 제2항에 있어서,
    피부트러블 노화측정부(440)에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 있는지 확인하는 단계(S50)와,
    피부트러블 노화측정부(440)에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 없는 경우, 적어도 하나의 종류별 피부트러블 피부나이와 해당 사용자와 동 나이 대 일반인의 평균 얼굴 나이를 비교하여 해당 사용자의 피부노화 정도를 나타내는 사용자 피부노화 측정정보를 생성하는 단계(S60)와;
    레포트 생성부(450)에서, 해당 사용자의 종류별 피부트러블 영역 마스킹정보, 종류별 피부트러블 심각도 측정정보 및 사용자 피부노화 측정정보를 참조하여, 사용자의 얼굴에 존재하는 피부트러블들을 구분하고, 이를 토대로 피부노화 정도를 안내하는 정보가 이미지 및 텍스트로 구비되는 사용자 피부트러블 진단정보를 생성하여 제공하는 단계(S70);를 더 포함하는 것을 특징으로 하는 얼굴 피부 진단방법.
  10. 제9항에 있어서,
    상기 피부트러블 노화측정부(440)에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 있는지 확인하는 S50단계에 있어서,
    피부트러블 노화측정부(440)에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 있는 경우 그 측정되지 않은 종류별 피부트러블을 통해, 해당 피부트러블의 피부나이를 측정가능하도록, 상기 피부트러블 종류검출부(420)에서, 얼굴이미지정보에 피부트러블이 종류별로 구분되는 학습데이터를 토대로 기계학습된 CNN 기반의 종류별 피부트러블 검출모델들을 이용하여, 해당 얼굴에 존재하는 피부트러블을 종류별로 탐색하고, 탐색된 종류별로 구분되는 피부트러블인 종류별 피부트러블 영역 부위를 마스킹하여 구분한 종류별 피부트러블 영역 마스킹정보로 가공하는 S20단계로 진입하여 반복순환하는 것을 특징으로 하는 얼굴 피부 진단방법.
  11. 제9항에 있어서,
    상기 피부트러블 노화측정부(440)에서, 상기 트러블 리스트정보에 기록된 종류별 피부트러블 중 마스킹의 피부트러블 심각도 및 해당 사용자의 피부나이를 측정하지 않은 종류별 피부트러블이 없는 경우, 적어도 하나의 종류별 피부트러블 피부나이와 해당 사용자와 동 나이 대 일반인의 평균 얼굴 나이를 비교하여 해당 사용자의 피부노화 정도를 나타내는 사용자 피부노화 측정정보를 생성하는 S60단계에 있어서,
    상기 피부트러블 노화측정부(440)는, 하기 수학식을 이용하여 적어도 하나의 종류별 피부트러블 피부나이와 해당 사용자와 동 나이 대 일반인의 평균 얼굴 나이를 비교하여 해당 사용자의 피부노화 정도를 측정하는 것을 특징으로 하는 얼굴 피부 진단방법.
    [수학식 9]
    Figure 112023025723569-pat00015

    상기 SPAgingRate는 얼굴 피부 노화율을 나타낸다.
    상기 FSAgeTarget는 종류별 피부트러블 피부나이를 의미한다.
    상기 FSAGE_AVGage는 동 나이 대 일반인의 평균 피부 나이를 의미한다.
    상기 MAXAGE는 시스템 내 설정된 최대 나이를 의미한다.
KR1020220081437A 2022-07-01 2022-07-01 얼굴 피부 진단방법 KR102530149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220081437A KR102530149B1 (ko) 2022-07-01 2022-07-01 얼굴 피부 진단방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220081437A KR102530149B1 (ko) 2022-07-01 2022-07-01 얼굴 피부 진단방법

Publications (1)

Publication Number Publication Date
KR102530149B1 true KR102530149B1 (ko) 2023-05-08

Family

ID=86381246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220081437A KR102530149B1 (ko) 2022-07-01 2022-07-01 얼굴 피부 진단방법

Country Status (1)

Country Link
KR (1) KR102530149B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444726B1 (ko) 2012-08-01 2014-09-26 김건식 고객 맞춤형 피부 진단 및 관리 방법, 이를 구현하는 서버, 그 시스템 및 기록매체
KR20200003402A (ko) * 2017-05-31 2020-01-09 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
KR20200142938A (ko) * 2019-06-14 2020-12-23 주식회사 룰루랩 사용자 맞춤형 피부 진단 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444726B1 (ko) 2012-08-01 2014-09-26 김건식 고객 맞춤형 피부 진단 및 관리 방법, 이를 구현하는 서버, 그 시스템 및 기록매체
KR20200003402A (ko) * 2017-05-31 2020-01-09 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
KR20200142938A (ko) * 2019-06-14 2020-12-23 주식회사 룰루랩 사용자 맞춤형 피부 진단 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN114502061B (zh) 使用深度学习的基于图像的自动皮肤诊断
US20240257981A1 (en) Method and apparatus for determining health status
JP4543594B2 (ja) 脳機能検査装置および脳機能検査システム
CA3085436A1 (en) Digital visual acuity eye examination for remote physician assessment
CN108778097A (zh) 用于评估心力衰竭的装置和方法
KR102485256B1 (ko) 맞춤형 피부 진단 및 관리 시스템
CN112957042B (zh) 一种非接触式目标情绪识别的方法及系统
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
KR102175251B1 (ko) 피부 진단 및 피부 미용 정보 제공 방법 및 시스템
KR102165699B1 (ko) 사용자 맞춤형 실시간 피부질환 관리시스템
KR20200046162A (ko) 딥러닝과 빅데이터를 이용한 치주질환관리시스템
KR20220079789A (ko) 생체 측정 장비와 연동 된 질병 발생 예측 시스템
CN113096811A (zh) 一种基于红外热成像的糖尿病足图像处理和风险预警设备
KR20230054286A (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
JP2024100863A (ja) 情報処理装置、制御方法及びプログラム
US20240008785A1 (en) Information processing system, information processing device, information processing method, and information processing program
KR102530149B1 (ko) 얼굴 피부 진단방법
KR102243017B1 (ko) 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법
US20190088365A1 (en) Neuropsychological evaluation screening system
KR102248251B1 (ko) 체열정보를 이용한 의료진단 보조장치
KR102071604B1 (ko) Khtp 이미지 기반으로 한 고령자의 주거 우울 지수 산출 방법 및 장치
JP3721980B2 (ja) 脳機能検査装置
KR20210144208A (ko) 증강현실 기반 인지재활 훈련 시스템 및 방법
KR20200020767A (ko) 피부 상태 평가 방법 및 프로그램

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant