KR20230054286A - 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 - Google Patents
딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230054286A KR20230054286A KR1020220131817A KR20220131817A KR20230054286A KR 20230054286 A KR20230054286 A KR 20230054286A KR 1020220131817 A KR1020220131817 A KR 1020220131817A KR 20220131817 A KR20220131817 A KR 20220131817A KR 20230054286 A KR20230054286 A KR 20230054286A
- Authority
- KR
- South Korea
- Prior art keywords
- skin
- neural network
- image
- artificial neural
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004458 analytical method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000003745 diagnosis Methods 0.000 claims abstract description 115
- 239000011148 porous material Substances 0.000 claims abstract description 75
- 230000037303 wrinkles Effects 0.000 claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 63
- 230000019612 pigmentation Effects 0.000 claims abstract description 53
- 206010015150 Erythema Diseases 0.000 claims abstract description 50
- 231100000321 erythema Toxicity 0.000 claims abstract description 50
- 238000013503 de-identification Methods 0.000 claims abstract description 33
- 238000010191 image analysis Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 25
- 208000024891 symptom Diseases 0.000 claims abstract description 22
- 230000032683 aging Effects 0.000 claims abstract description 17
- 230000001815 facial effect Effects 0.000 claims description 46
- 238000009826 distribution Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 230000002087 whitening effect Effects 0.000 claims description 9
- 238000013434 data augmentation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000009759 skin aging Effects 0.000 claims description 7
- 239000003963 antioxidant agent Substances 0.000 claims description 4
- 230000003078 antioxidant effect Effects 0.000 claims description 4
- 230000003796 beauty Effects 0.000 claims description 4
- 235000006694 eating habits Nutrition 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 claims description 4
- 238000007665 sagging Methods 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 230000002431 foraging effect Effects 0.000 claims 1
- 210000000088 lip Anatomy 0.000 claims 1
- 210000001331 nose Anatomy 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 15
- 206010040954 Skin wrinkling Diseases 0.000 description 52
- 238000011156 evaluation Methods 0.000 description 22
- 239000002537 cosmetic Substances 0.000 description 8
- 230000003712 anti-aging effect Effects 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 235000006708 antioxidants Nutrition 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Chemical compound OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- FPIPGXGPPPQFEQ-UHFFFAOYSA-N 13-cis retinol Natural products OCC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-UHFFFAOYSA-N 0.000 description 1
- 238000012351 Integrated analysis Methods 0.000 description 1
- 208000012641 Pigmentation disease Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229960003471 retinol Drugs 0.000 description 1
- 235000020944 retinol Nutrition 0.000 description 1
- 239000011607 retinol Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Dermatology (AREA)
- Computer Graphics (AREA)
- Radiology & Medical Imaging (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
실시예들은 대상 피부를 촬영하여 안면 이미지를 획득하는 촬영부; 획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 안면인식 모델; 안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 비식별화 모델; 및 주름, 색소침착, 모공, 홍반 및 노화 진단 중 적어도 하나 이상의 항목 각각에 대한 복수의 인공신경망 모델로서, 상기 복수의 인공신경망 모델은 비식별화 처리된 안면 이미지를 입력 받고, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 복수의 인공신경망 모델; 을 포함하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법에 관련된다.
Description
딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법에 관한 것이다.
피부진단은 의학적 용도 외에 화장품 산업 및 관련 연구 분야에서 활발히 활용되고 있으며, 온라인 시장과 개인화 서비스의 발달로 보다 쉽고 정확하게 피부진단을 수행할 수 있는 방법에 대한 수요가 증가하고 있다. 한편, 기존의 다양한 피부 진단 및 측정 방법들은 정확도는 높지만 측정 항목이 제한적이고 고가의 장비를 필요로 한다. 기존의 이미지 분석 기반 피부 진단 방법은 상대적으로 저렴하고 하나의 영상으로 다양한 항목을 측정할 수 있지만 정확도가 낮고 정량적인 세부 데이터를 얻기에 어렵거나 비용이 많이 든다.
또한, 기존의 피부 진단 방법들은 정확도 구현 난이도와 데이터 레이블링(Labeling) 이슈를 회피하기 위하여, 증상에 대한 검출 위치와 정량적 데이터를 제공하지 않거나 증상의 단순 등급 판정으로 구현함으로써 실제 항목별 증상 위치와 정량 정보를 제공하지 않는 문제점이 존재하였다.
또한 기존의 선행기술들은 피부 진단에 활용되는 안면 이미지에 포함된 개인 식별 정보를 제거하는 절차가 포함되지 않아, 분석 처리나 데이터 수집과정에서 개인정보의 관리나 보호 절차가 미비하다는 문제가 있다.
다른 선행 기술들도 이미지를 이용하여 인공지능(AI)을 이용한 피부 진단의 개념만을 정의할 뿐 실제 세부 동작이나 진단에 대한 기술 정의를 포함하지 못하거나 이미지 수집 및 진단 장비를 스마트폰이나 스마트 디바이스 등으로 한정하고 있어, 다양한 이미지 장치에서 수집 환경과 별도의 진단 서비스 구성 조합이 가능한 부분을 고려하지 않아 활용 범위가 제한된다.
본 발명은 상술한 문제점들을 해결하기 위한 것으로서, 인공지능(AI) 기술을 피부 노화 평가 및 피부 병변 평가에 적용하여 안면 피부 노화 등 인지 및 통합 분석이 가능한 진단 기술을 제공한다. 구체적으로, 딥 러닝 학습을 통하여 인공신경망 모델을 제작하여, 피부 이미지에서 각 항목에 따른 증상을 진단 분석하여 실제 피부 증상의 세부 개체 별 위치와 형태, 심화 정도를 정량적으로 도출할 수 있다. 각 증상의 개수나 평균 크기나 형태, 전체적인 면적이나 증상의 강도 등 분석이 가능하며, 얻어진 정보를 활용하여 피부 이미지에 진단 내용을 강조하는 시각화 정보를 제공할 수 있다.
본 발명의 일 측면에 따른 프로세서에 의하여 수행되는 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법으로서, 대상 피부를 촬영하여 피험자의 안면 이미지를 획득하는 단계; 획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 단계; 안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 단계; 및 비식별화 처리된 안면 이미지를 복수의 인공신경망 모델에 각각 입력하여, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 단계; 를 포함하고, 상기 항목은 주름, 색소침착, 모공, 홍반 및 노화 진단 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 안면 이미지를 비식별화 처리하는 단계는: 안면 이미지로부터 특징점 및 배경을 분리하고, 상기 특징점을 포함하는 피부 형태를 제거하는 단계; 상기 특징점이 제거된 안면 이미지를 복수의 패치로 분할하는 단계; 및 상기 복수의 패치를 난수화하여 재배치하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 특징점은 눈썹, 눈, 코 및 입술 중 적어도 하나 이상일 수 있다.
일 실시예에서, 상기 복수의 인공신경망 모델 각각은 복수의 훈련 샘플을 학습데이터로 이용하여 학습되고, 상기의 복수의 훈련 샘플은 데이터 증강(Data Augmentation) 기법을 이용하여 변형된 것을 포함할 수 있다.
일 실시예에서, 상기 데이터 증강 기법은 랜덤 크롭(random crop), 블러(blur) 및 플립(flip) 처리 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에서, 주름 진단을 하는 인공신경망 모델은 주름이 검출된 총 개체수, 주름이 검출된 개체에서 주변 미검출 영역 대비 강도(깊이) 추정, 주름이 검출된 총 면적, 검출된 주름의 길이와 폭을 포함하는 파라미터를 조정하여 학습되고, 주름의 개수, 주름의 강도(깊이), 주름의 면적, 주름의 길이, 주름의 폭, 주름의 강도나 면적, 길이, 폭 별 분포 및 주름 점수 중 적어도 하나 이상 대한 분석 결과를 출력할 수 있다.
일 실시예에서, 색소침착 진단을 하는 인공신경망 모델은 색소침착이 검출된 총 개체수, 색소침착이 검출된 개체에서 주변 미검출 영역 대비 강도 추정, 색소침착이 검출된 총 면적을 포함하는 파라미터를 조정하여 학습되고, 색소침착의 개수, 색소침착의 강도, 색소침착의 면적, 색소침착의 강도나 면적, 길이, 폭 별 분포 및 색소침착 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다.
일 실시예에서, 모공 진단을 하는 인공신경망 모델은 모공이 검출된 총 개체수, 모공이 검출된 개체에서 주변 미검출 영역 대비 강도(깊이) 추정, 모공이 검출된 총 면적, 모공의 길이, 모공의 폭을 포함하는 파라미터를 조정하여 학습되고, 모공의 개수, 모공의 강도(깊이), 모공의 크기, 모공 면적, 모공의 길이, 모공의 폭, 모공의 늘어짐(길이 대 폭의 비율), 모공의 강도나 면적, 길이, 폭, 늘어짐 별 분포 및 모공 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다.
일 실시예에서, 홍반 진단을 하는 인공신경망 모델은 홍반이 검출된 총 개체수, 홍반이 검출된 개체에서 주변 미검출 영역 대비 강도 추정, 홍반이 검출된 총 면적을 포함하는 파라미터를 조정하여 학습되고, 홍반의 개수, 홍반의 강도, 홍반의 면적, 홍반의 강도나 면적별 분포 및 홍반 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다.
일 실시예에서, 노화 진단을 하는 인공신경망 모델은 비식별화 처리된 안면 이미지, 단일 인공신경망 모델의 출력 결과 및 복수의 인공신경망 모델의 출력 결과를 통합한 값 중 적어도 하나를 입력으로 하여, 안면 이미지에서 추정되는 안면 노화 또는 안면 피부 노화에 대한 연령을 예측할 수 있다.
일 실시예에서, 상기 복수의 인공신경망 모델 각각은 U-net 모델 기반의 인코더-디코더(Encoder-Decoder) 구조 모델일 수 있다.
일 실시예에서, 상기 복수의 인공신경망 모델 각각은 ResNet 기반의 imageNet pre-trained weight 형태로 학습될 수 있다.
일 실시예에서, 상기 방법은 상기 항목에 대한 피부 진단 결과를 기초로, 특정 제품에 대한 항산화 효능 및 미백 효능 중 적어도 하나 이상을 평가하는 단계를 더 포함할 수 있다.
일 실시예에서, 비식별화 처리된 안면 이미지를 복수의 인공신경망 모델에 각각 입력하기 전에, 문진을 통해 상기 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득하는 단계를 더 포함하고, 상기 피부 진단 결과는 상기 피험자의 피부 고민 및 라이프 스타일이 연관된 결과일 수 있다.
일 실시예에서, 상기 피부 진단 결과를 기초로, 피험자의 피부 고민 및 라이프 스타일에 맞춤화된 특정 제품을 추천하거나 뷰티 식습관을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 일 측면에 따른 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템은 대상 피부를 촬영하여 안면 이미지를 획득하는 촬영부; 획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 안면인식 모델; 안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 비식별화 모델; 및 주름, 색소침착, 모공 홍반 및 노화 진단 중 적어도 하나 이상의 항목 각각에 대한 복수의 인공신경망 모델로서, 상기 복수의 인공신경망 모델은 비식별화 처리된 안면 이미지를 입력받고, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 복수의 인공신경망 모델; 을 포함할 수 있다.
본 발명의 일 측면에 따른 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법은 얼굴의 위치를 찾는 안면인식 모델, 개인정보 비식별화 처리를 위해 안면 이미지에서 피부 영역만 남기고 난수화 배치를 하는 비식별화 모델, 주름, 색소침착, 모공, 홍반 및 노화 진단을 포함하는 각 진단 증상별 모델 등으로 분리 구성되어있다. 따라서, 각 특성별로 최적화 및 기능 분리나 조절이 가능하여 중첩적인 진단 및 효율적인 시스템 관리와 운영이 가능하다.
획득된 안면이미지에서 비식별화 처리된 일부분의 피부 이미지로도 피부진단이 가능하고 진단 시스템 내에 개인정보를 활용하거나 보관 및/또는 처리하지 않도록 설계되어 있어 시스템 운영과 데이터 수집 부분에서도 개인 정보 유출이나 관리에 선제적으로 대응할 수 있다.
해당 시스템에서 피부 상태 진단을 위해 사용하는 이미지들은 전문 촬영 장비나 일반 카메라, 스마트폰과 같은 이미지에 한정하지 않고, 이미지 조건에 맞추어 각 피부 진단 항목의 특성을 도출하도록 설계되어 이미지의 종류나 형태에 영향을 최소화하여 다양한 목적으로 활용이 가능하다.
항노화 연구와 같이 장기 추적 관찰 분석이 필요한 장기 피부 노화 연구 및 항노화 제품 효능 평가, 미세한 피부 색소의 변화를 분석해야 하는 미백 화장품의 효능 평가에서도 피부 변화와 화장품 효능 평가를 정량적으로 수행할 수 있다. 따라서, 별도의 피부 측정 장비나 분석 준비 없이도 다양한 피부 진단 항목을 빠르고 저렴한 비용으로 수행할 수 있어 장기 추적 관찰이나 대규모 피부 연구와 같은 분야에 유리한 특성을 제공한다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석 기반의 피부 진단 시스템의 블록도이다.
도 2는, 본 발명의 다른 일 실시예에 따른, 이미지 분석 기반의 피부 진단 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른 복수의 인공신경망 모델들의 입출력 과정을 도시하는 개략도이다.
도 4는, 본 발명의 일 실시예에 따른 안면인식 모델이 얼굴의 특징점을 추출하여 위치를 찾고, 비식별화 모델을 통해 피부 영역만을 추출하는 과정을 도시한다.
도 5는, 본 발명의 일 실시예에 따른 비식별화 모델의 안면 이미지의 비식별화 처리 과정을 도시한다.
도 6a 내지 도 6d는, 본 발명의 일 실시예에 따른, 복수의 인공지능 신경망 모델 각각을 학습하기 위하여 전문가에 의하여 복수의 훈련 샘플이 레이블링 되는 과정을 도시한다.
도 7은, 본 발명의 일 실시예에 따른, Unet 기반의 인공지능 신경망 모델을 도시한다.
도 8은, 본 발명의 일 실시예에 따른, 복수의 인공지능 신경망 모델 각각이 피부를 진단하는 주요 항목을 정리한 표이다.
도 9a 내지 도 9d는, 본 발명의 일 실시예에 따른, 비식별화 모델 및 복수의 인공지능 신경망 모델의 각 항목별 진단 결과를 비식별화 전 상태의 이미지에 재구성한 이미지이다.
도 10a 내지 도 10d는, 본 발명의 일 실시예에 따른, 비식별화 모델에 의하여 비식별화 처리를 한 경우의 복수의 인공지능 신경망 모델의 각 항목별 진단 이미지이다.
도 11a 내지 도 11d는, 본 발명의 일 실시예에 따른, 연령 증가에 따른 각 항목의 진단 결과의 상관성을 나타내는 그래프이다.
도 12a 및 도 12b는, 본 발명의 일 실시예에 따른, 본 발명을 이용하여 항노화 제품 평가 연구 결과를 분석한 그래프이다.
도 13a 및 도 13b는, 본 발명의 일 실시예에 따른, 본 발명을 이용하여 미백 제품 평가 연구 결과를 분석한 그래프이다.
도 14는, 본 발명의 일 실시예에 따른, 문진을 통해 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득하는 과정을 도시한다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석 기반의 피부 진단 시스템의 블록도이다.
도 2는, 본 발명의 다른 일 실시예에 따른, 이미지 분석 기반의 피부 진단 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른 복수의 인공신경망 모델들의 입출력 과정을 도시하는 개략도이다.
도 4는, 본 발명의 일 실시예에 따른 안면인식 모델이 얼굴의 특징점을 추출하여 위치를 찾고, 비식별화 모델을 통해 피부 영역만을 추출하는 과정을 도시한다.
도 5는, 본 발명의 일 실시예에 따른 비식별화 모델의 안면 이미지의 비식별화 처리 과정을 도시한다.
도 6a 내지 도 6d는, 본 발명의 일 실시예에 따른, 복수의 인공지능 신경망 모델 각각을 학습하기 위하여 전문가에 의하여 복수의 훈련 샘플이 레이블링 되는 과정을 도시한다.
도 7은, 본 발명의 일 실시예에 따른, Unet 기반의 인공지능 신경망 모델을 도시한다.
도 8은, 본 발명의 일 실시예에 따른, 복수의 인공지능 신경망 모델 각각이 피부를 진단하는 주요 항목을 정리한 표이다.
도 9a 내지 도 9d는, 본 발명의 일 실시예에 따른, 비식별화 모델 및 복수의 인공지능 신경망 모델의 각 항목별 진단 결과를 비식별화 전 상태의 이미지에 재구성한 이미지이다.
도 10a 내지 도 10d는, 본 발명의 일 실시예에 따른, 비식별화 모델에 의하여 비식별화 처리를 한 경우의 복수의 인공지능 신경망 모델의 각 항목별 진단 이미지이다.
도 11a 내지 도 11d는, 본 발명의 일 실시예에 따른, 연령 증가에 따른 각 항목의 진단 결과의 상관성을 나타내는 그래프이다.
도 12a 및 도 12b는, 본 발명의 일 실시예에 따른, 본 발명을 이용하여 항노화 제품 평가 연구 결과를 분석한 그래프이다.
도 13a 및 도 13b는, 본 발명의 일 실시예에 따른, 본 발명을 이용하여 미백 제품 평가 연구 결과를 분석한 그래프이다.
도 14는, 본 발명의 일 실시예에 따른, 문진을 통해 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득하는 과정을 도시한다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도1은 본 발명의 일 실시예에 따른 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템(1)(이하 "피부 진단 시스템")의 블록도이다.
도 1을 참조하면, 피부 진단 시스템(1)은 대상 피부를 촬영하여 안면 이미지를 획득하는 촬영부(10); 획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 안면인식 모델(11); 안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 비식별화 모델(12); 및 주름, 색소침착, 모공 및 홍반 중 적어도 하나 이상의 항목 각각에 대한 복수의 인공신경망 모델로서, 상기 복수의 인공신경망 모델은 비식별화 처리된 안면 이미지를 입력 받고, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 복수의 인공신경망 모델(13, 14, 15 및 16)을 포함할 수 있다. 상기 항목은 주름, 색소침착, 모공 및 홍반 중 적어도 하나 이상을 포함할 수 있다. 또한, 피부 진단 시스템(1)은 비식별화 모델을 포함한 단일 또는 복수의 인공신경망 모델의 출력 결과를 통합한 값을 입력으로 하여, 안면 이미지에서 추정되는 연령을 예측하는 노화 진단 모델(17)을 더 포함할 수 있다.
본 명세서에서 인공신경망 모델은 딥 러닝 모델(deep learning model)을 포함할 수 있는데, 딥 러닝 모델은 인공신경망을 다층 레이어로 쌓은 형태일 수 있다. 딥 러닝 모델(deep learning model)은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 특징(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다.
본 명세서에서 딥 러닝 모델(deep learning model)은 예를 들어 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network) 등을 이용할 수 있으나, 현재 또는 장래 다양한 딥 러닝 모델을 이용할 수 있다.
실시예들에 따른 피부 진단 시스템(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
예를 들어, 상기 피부 진단 시스템(1)의 개념들(예를 들어, 구성요소(10 내지 17)의 동작들)은 (Canfield사(Fairfield, NJ, USA)의 VISIA-CR® 시스템과 같은) 피부 분석용 영상 시스템 또는 컴퓨터용 소프트웨어 또는 고객용 앱으로서 다양한 컴퓨팅 장치(예를 들어, 스마트폰을 포함하는 스마트 장치, 컴퓨터 등)에 통합될 수도 있다. 소프트웨어는 촬영된 대상 피부의 이미지를 처리하도록 설계되고, 그리고 이미지 내 대상 피부를 진단 및 평가하고, 나아가 동작 결과를 사용자에게 제공할 수도 있다.
촬영부(10)는 대상의 피부를 촬영하는 구성요소로서, 본 기술분야에서 사용될 수 있는 다양한 영상 촬영기기로 구현될(implemented) 수도 있다. 일 실시예에서, 촬영부(10)는 대상의 피부 영상을 촬영하여 안면 이미지를 획득하도록 구성된다. 예를 들어, 촬영부(10)는 Canfield사(Fairfield, NJ, USA)의 VISIA-CR® 로 구현될 수도 있다.
촬영부(10)는 대상의 피부 영상 데이터를 다른 구성요소들(11 내지 17)로 제공할 수도 있다. 또한, 촬영부(10)는 대상의 피부 영상의 부분 영역을 추출하는 동작, 예를 들어 크로핑(cropping) 처리 동작을 수행하도록 더 구성될 수도 있다.
상기 피부 진단 시스템(1)이 본 명세서에 명시적으로 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 피부 진단 시스템은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치, 메모리와 같은 저장 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
도2는, 본 발명의 다른 일 실시예에 따른, 이미지 분석 기반의 피부 진단 방법의 흐름도이다.
도 2를 참조하면, 이미지 분석 기반의 피부 진단 방법(이하, "피부 진단 방법")은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 프로세서를 포함한 컴퓨팅 장치는, 예를 들어 상기 피부 진단 시스템(1) 또는 일부 구성요소(예컨대, 촬영부(10), 안면인식모델(11), 비식별화 모델(12) 및/또는 복수의 인공신경망 모델(13 내지 17))에 의해 수행되거나, 또는 다른 컴퓨팅 장치에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해서, 상기 피부 진단 방법이 상기 피부 진단 시스템(1)에 의해 수행되는 실시예들로 본 발명을 보다 상세하게 서술한다.
도2를 참조하면, 피부 진단 방법은: 문진을 통해 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득하는 단계(S20); (예를 들어, 촬영부(10)에 의해) 대상 피부를 촬영하여 피험자의 안면 이미지를 획득하는 단계(S21); (예를 들어, 안면인식 모델(11)에 의해) 획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 단계(S22); (예를 들어, 비식별화 모델(112)에 의해) 안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 단계(S23); (예를 들어, 복수의 인공신경망 모델(13 내지 17)에 의해) 비식별화 처리된 안면 이미지를 복수의 인공신경망 모델에 각각 입력하여, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 단계(S24); 피부 진단 결과를 기초로, 피험자의 피부 고민 및 라이프 스타일에 맞춤화된 특정 제품을 추천하거나 뷰티 식습관을 제공하는 단계(S25); 및 특정 제품에 대한 항산화 효능 및 미백 효능 중 적어도 하나 이상을 평가하는 단계(S26); 를 포함한다.
도 3은, 본 발명의 일 실시예에 따른 복수의 인공신경망 모델들의 입출력 과정을 도시하는 개략도이다.
도 3을 참조하면, 피부 진단 시스템(1)은 얼굴 위치를 찾는 안면인식(Face Detection) 모델, 이미지의 개인정보를 제거하는 비식별화 모델, 색소침착, 모공, 홍반, 주름을 진단하는 각 항목별 진단 모델 등 총 6가지로 이루어져 각각의 특성 최적화 및 기능 분리가 가능하도록 구성되어 있다. 각각의 모델들은 각 항목에 대한 정확한 증상 진단을 위해 학습된다.
주름 진단을 하는 주름 모델은 비식별화된 안면 이미지를 입력으로 하여 주름의 개수, 주름의 강도(깊이), 주름의 면적, 주름의 길이, 주름의 폭, 주름의 강도나 면적, 길이 폭 별 분포, 및 주름 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다. 색소침착 진단을 하는 색소침착 모델은 색소침착의 개수, 색소침착의 강도, 색소침착의 면적, 색소침착의 강도나 면적 별 분포 및 색소침착 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다. 모공 진단을 하는 모공 모델은 모공의 개수, 모공의 강도(깊이), 모공의 크기, 모공의 면적, 모공의 길이, 모공의 폭, 모공의 늘어짐(길이 대 폭의 비율), 모공의 강도나 면적, 길이, 폭 늘어짐 별 분포 및 모공 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다. 홍반 진단을 하는 홍반 모델은 홍반의 개수, 홍반의 강도, 홍반의 면적, 홍반의 강도나 면적 별 분포 및 홍반 점수 중 적어도 하나 이상에 대한 분석 결과를 출력할 수 있다. 상기 주름 점수, 색소침착 점수, 모공 점수 및 홍반 점수 각각은 사전 수집된 데이터를 기초로 개별 피부 항목의 피부 상태에 대한 점수화된 수치를 의미하고, 주름, 색소침착, 모공 및 홍반 각각의 강도 및 총면적과 같은 단일 또는 복수 조합의 데이터를 고려하여 산출된다. 상기 주름 모델, 색소침착 모델, 모공 모델 및 홍반 모델이 출력한 분석 결과는 해당 항목의 증상에 대한 부위에 시각화되어 나타날 수 있다. 또한, 안면 노화 진단을 하는 노화 진단 모델은 비식별화 또는 비식별화 되지 않은 안면 이미지를 입력으로 하여, 안면부 노화 상태 및 안면부 피부 노화상태에 대한 분석 결과를 출력할 수 있다.
도 4는, 본 발명의 일 실시예에 따른 안면인식 모델이 얼굴의 특징점을 추출하여 위치를 찾고, 비식별화 모델을 통해 피부 영역만을 추출하는 과정을 도시한다.
도 4를 참조하면, 안면인식 모델은 획득한 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출할 수 있다. 상기 특징점은 눈썹, 눈, 코 및 입술 중 적어도 하나 이상일 수 있고, 배경을 분리 인식할 수 있다. 일 실시예에서, 안면인식 모델은 피부 진단을 위해 적절한 이미지인지 판단하고, 적절한 이미지라고 판단된 경우에만 피부 분석을 진행시킬 수 있다. 추가적으로, 안면 인식 모델은 안면 이미지에서 비식별화 처리를 한 후 검출된 피부 영역의 크기인 안면 크기를 출력할 수 있다.
도 5는, 본 발명의 일 실시예에 따른 비식별화 모델의 안면 이미지의 비식별화 처리 과정을 도시한다.
도 5를 참조하면, 비식별화 모델은 안면 이미지로부터 특징점 및 배경을 분리하고, 상기 특징점을 포함하는 피부 형태를 제거하는 단계; 상기 특징점이 제거된 안면 이미지를 복수의 패치로 분할하는 단계; 및 상기 복수의 패치를 난수화하여 재배치하는 단계;를 포함할 수 있다.
따라서, 비식별화 모델을 통하여 획득된 안면이미지에서 비식별화 처리된 일부분의 피부 이미지로도 피부진단이 가능하고 진단 시스템 내에 개인정보를 활용하거나 보관 및/또는 처리하지 않도록 설계되어 있어 시스템 운영과 데이터 수집 부분에서도 개인 정보 유출이나 관리에 선제적으로 대응할 수 있다.
도 6a 내지 도 6d는, 본 발명의 일 실시예에 따른, 복수의 인공지능 신경망 모델 각각을 학습하기 위하여 전문가에 의하여 복수의 훈련 샘플이 레이블링 되는 과정을 도시한다.
도 6a 내지 도 6d를 참조하면, 상기 복수의 인공신경망 모델 각각은 복수의 훈련 샘플을 학습데이터로 이용하여 학습될 수 있다. 일 실험예에서, 고해상도 전안촬영기(VISIA-CR, VISIA 등)로 촬영된 한국 남녀의 자사 인체적용 연구 이미지 13,596장을 선정 및 가공하여, 50358개의 이미지 패치를 인공신경망 모델 학습에 사용하고, 1150장의 이미지 패치는 모델 학습 결과의 검증에 사용하였다. 데이터 레이블링의 경우 피부 이미지에서 육안으로 확인 가능한 각 항목의 위치와 형태를 분할(segmentation)하고, 50명 이상의 작업자와 함께 10년 이상 경력의 임상 전문가 3명이상이 작업 데이터를 검수하여 제작하였다. 데이터 레이블링은 개발 목표에 따라 인공지능이 학습할 수 있도록 원본 데이터에 최종 결과나 정보를 표시 가공하는 작업이다. 일 예로, 주름 진단 학습을 위해 주름 모델이 진단할 피부 이미지에서 주름의 정확한 위치를 표시한다. 분할은 이미지 데이터 레이블링 또는 이미지 분석시 특정 목표 영역의 종류와 위치를 분류 표시하는 작업이다.
상기 복수의 훈련 샘플은 데이터 증강(Data Augmentation) 기법을 이용하여 변형될 수 있다. 데이터 증강은 인공지능 학습을 위한 데이터 세트를 여러가지 사실적인 형태로 변형하여 실제 수집한 데이터 이상의 데이터 다양성과 수량을 확보하여, 다양한 데이터 환경에 대한 적응성과 개발 성능을 높이는 기법이다.
일 실시예에서, 상기 데이터 증강 기법은 랜덤 크롭(random crop), 블러(blur) 및 플립(flip) 처리 중 적어도 하나 이상을 포함할 수 있다. 데이터 증강 기법을 통해 다양한 환경에서도 일반적이고, 일관적인 결과를 얻을 수 있도록 하였으며, 이를 통해 학습하지 않은 기기나 환경에서도 유의미하게 동작하도록 하는 효과를 낼 수 있다.
도 7은, 본 발명의 일 실시예에 따른, Unet 기반의 인공지능 신경망 모델을 도시한다.
도 7을 참조하면, 비식별화 모델 및 복수의 인공신경망 모델 각각은 U-net 모델 기반의 인코더-디코더(Encoder-Decoder) 구조 모델일 수 있다. U-net 모델은 Biomedical 분야에서 이미지 분할(Segmentation)을 목적으로 개발된 대표적인 인공신경망 모델 중의 하나이다. . U-net 모델은 U자 형태로 목표 과정의 여러가지 과정을 하나의 신경망을 통해서 재배치하는 프로세스를 가지고 있다. 인코더-디코더 구조 모델은 입력과 출력 데이터 처리를 분리 및 연계 할 수 있도록 설계하여 처리 효율과 품질을 높이는 인공지능 모델이다. 비식별화 모델 및 복수의 인공신경망 모델 각각은 ResNet 기반의 imageNet pre-trained weight 형태로 학습될 수 있다. 학습 기준으로 mIoU(mean Intersection over Union)을 활용하며, 일반적으로 활용하는 Cross-Entropy loss 외 Dice loss, Focal loss 등을 추가적으로 활용할 수 있다.
ResNET 모델은 Microsoft에서 개발한 고성능의 다단계 인공신경망 모델로, 성능향상을 위해 여러 단계의 신경망 형성하는 경우 발생하는 정확도 저하 이슈를 Residual learning이라는 단계별 입력과 출력의 차이를 학습에 활용하는 방식으로 해결한다. ImageNet은 이미지에서 물체를 인식하는 소프트웨어 개발을 위한 대규모 데이터 베이스이고, pre-trained weight는 이 데이터를 기반으로 특정한 조건에 대해 가중치(weights)를 부여할 수 있도록 학습한 초기 인공지능 모델 조건을 의미한다. mIoU(mean Intersection over Union)은 디지털 이미지 분석모델의 평가를 위한 방법론 중 하나로 목표와 예측결과 간의 공통 픽셀 수를 총 픽셀수로 나누어 결과의 일치율을 정량화하는 방법이고, Cross-Entropy loss는 디지털 분석모델의 평가 방법론 중 하나로 엔트로피 기반의 손실 함수를 이용하여 목표 데이터의 확률 분포와 예측된 모델 결과 데이터의 확률 분포 차이를 평가한다. Focal loss는 디지털 분석모델의 평가 방법론 중 하나로 분석이 쉬운 샘플 데이터가 전체 예측 모델 학습에 주는 영향을 감소시키고, 분 석이 어려운 샘플에 집중할 수 있도록 가중치를 주는 매개변수를 활용하여 평가하는 방법이다.
피부의 특성상 대부분의 상황에선 일반적인 피부 영역이 많고, 병변 영역이 적은 환경(imbalanced data)이므로 원활한 학습을 위해 각 레이블의 빈도수(frequency)를 측정해 손실(loss) 계산 시 이를 반영하게 하는 학습 방법을 사용한다. 각 항목별로 진단 모델이 분리됨에 따라 개별 특성 최적화되고 항목별 중첩 진단 등이 가능하다. 추가로 별도의 안면 이미지 비식별화 모델을 적용하여 안면인식 모델만으로 제거하기 힘든 개인 식별 데이터 등 진단 정보에 대한 개인 정보 보호 등 보안 이슈도 대응할 수 있다.
도 8은, 본 발명의 일 실시예에 따른, 복수의 인공신경망 모델 각각이 피부를 진단하는 주요 항목을 정리한 표이다.
도 8을 참조하면, 주름 진단을 하는 주름 모델은 주름이 검출된 총 개체수, 주름이 검출된 개체에서 주변 미검출 영역 대비 강도(깊이) 추정, 주름이 검출된 총 면적 및 검출된 주름의 길이와 폭을 포함하는 파라미터를 조정하여 학습되고, 주름의 개수, 주름의 강도(깊이), 주름의 면적, 주름의 길이와 폭, 주름의 강도나 면적, 길이, 폭 별 분포상태 및 주름 점수에 대한 분석 결과를 출력할 수 있다.
색소침착 진단을 하는 색소침착 모델은 색소침착이 검출된 총 개체수, 색소침착이 검출된 개체에서 주변 미검출 영역 대비 강도 추정, 색소침착이 검출된 총 면적을 포함하는 파라미터를 조정하여 학습되고, 색소침착의 개수, 색소침착의 강도, 색소침착의 면적, 색소침착의 강도나 면적 별 분포 상태 및 색소침착 점수에 대한 분석 결과를 출력할 수 있다.
모공 진단을 하는 모공 모델은 모공이 검출된 총 개체수, 모공이 검출된 개체에서 주변 미검출 영역 대비 강도(깊이) 추정, 모공이 검출된 총 면적 및 모공의 길이, 모공의 폭을 포함하는 파라미터를 조정하여 학습되고, 모공의 개수, 모공의 깊이, 모공의 면적, 모공의 길이와 폭, 모공의 늘어짐(길이 대 폭의 비율), 모공의 강도나 면적, 길이, 폭, 늘어짐 별 분포상태 및 모공 점수에 대한 분석 결과를 출력할 수 있다.
홍반 진단을 하는 홍반 모델은 홍반이 검출된 총 개체수, 홍반이 검출된 개체에서 주변 미검출 영역 대비 강도 추정, 홍반이 검출된 총 면적을 포함하는 파라미터를 조정하여 학습되고, 홍반의 개수, 홍반의 강도, 홍반의 면적, 홍반의 강도나 면적 별 분포상태 및 홍반 점수에 대한 분석 결과를 출력할 수 있다.
노화 진단 모델은 안면 이미지로부터 추정되는 안면 노화 또는 안면 피부의 연령에 대한 분석 결과를 출력할 수 있다.
추가적으로, 안면 인식 모델은 안면 이미지에서 비식별화 처리를 한 후 검출된 피부 영역의 크기인 안면 크기를 출력할 수 있다.
도 9a 내지 도 9d는, 본 발명의 일 실시예에 따른, 비식별화 모델 및 복수의 인공지능 신경망 모델의 각 항목별 진단 결과를 비식별화 전 상태의 이미지에 재구성한 이미지이다.
도 9a 내지 도 9d를 참조하면, 피부 진단 시스템(1)은 피부 이미지에서 각 증상을 진단 분석하여 실제 피부 상태 증상의 세부 개체 별 위치와 형태, 심화 정도를 정량적으로 도출할 수 있고, 각 증상의 개수나 평균 크기나 형태, 전체적인 면적이나 증상의 강도 등을 분석이 가능하며, 얻어진 정보를 활용하여 다시 피부 이미지에 진단 내용을 강조하는 시각화 정보를 제공할 수 있다.
또한, 개인정보 처리 비식별화 모델, 주름, 색소침착, 모공, 홍반을 포함하는 각 진단 증상별 모델 등으로 분리 구성되어 있어, 각 특성별로 최적화 및 기능 분리나 조절이 가능하여 중첩적인 진단 및 효율적인 시스템 관리와 운영이 가능하다.
도 10a 내지 도 10d는, 본 발명의 일 실시예에 따른, 비식별화 모델에 의하여 비식별화 처리를 한 경우의 복수의 인공지능 신경망 모델의 각 항목별 진단 이미지이다.
도 10a 내지 도 10d 각각은 도 9a내지 도 9d 각각의 원본을 비식별화 모델에 의하여 비식별화 처리를 한 후, 색소침착 모델, 모공 모델, 주름 모델 및 홍반 모델을 이용하여 해당 항목의 영역에 시각화한 이미지이다. 도 10a 내지 도 10d 를 참조하면, 비식별화 모델은 원본인 안면 이미지로부터 특징점 및 배경을 분리하고, 상기 특징점을 포함하는 피부 형태를 제거하고, 상기 특징점이 제거된 안면 이미지를 복수의 패치로 분할하는 단계; 및 상기 복수의 패치를 난수화하여 재배치하는 단계;를 포함할 수 있다.
도 11a 내지 도 11d는, 본 발명의 일 실시예에 따른, 연령 증가에 따라 각 피부 진단 항목의 진단 결과의 상관성을 나타내는 그래프이다.
도 11a 내지 도 11d를 참조하면, 다양한 연령대와 피부 조건의 한국인을 대상으로 본 발명의 정합성 및 분석 활용성을 점검하고, 새로운 피부 특성 분석 및 인사이트 도출을 진행하기 위하여 다양한 연령의 안면 피부 이미지를 활용한 연령별 피부 특성 진단 분석하였다. 일 실험예에서, 14 ~ 69세의 한국인 여성을 연령대별 20명, 총 1２0명 안면 이미지 대상으로 하였다. 도 11a를 참조하면, 일반 피부 그룹의 여성 120명 이미지를 분석한 결과, 주름의 경우 주름 수가 모두 연령 증가에 따라 증가하는 상관성을 보이고, 전체적으로 30대, 50대 변화 구간에서 발생이 가속되는 양상을 보였다.
도 11b를 참조하면, 색소침착의 경우 색소침착의 총면적은 연령증가에 따라 증가하는 상관성을 보이고, 30대에 서 크게 증가 후 40대에 정체되었다가 다시 50대 구간에서 발생이 더 증가하는 양상을 보였다.
도 11c를 참조하면, 홍반(트러블)의 경우 평균 크기나 총면적이 연령증가에 따라 감소하는 상관성을 나타냈으며, 전체적으로 낮은 10~20대 등 저연령에서 높게 발생하다가 30~40대까지 감소하다가 이후 일부 증가하는 양상으로 노화보다는 저연령의 일시적 트러블 영향이 큰 것으로 판단되었다.
모공의 경우 모공의 수/평균 크기/총면적은 연령증가에 따라 증가하고, 강도(깊이)는 감소하는 상관성을 나타냈다. 도 11d를 참조하면, 모공 수는 전체적으로 증가하지만 50대에서 정체가 있는 양상을 보였다.
도 12a 및 도 12b는, 본 발명의 일 실시예에 따른, 본 발명을 이용하여 항노화 제품 평가 연구 결과를 분석한 그래프이다.
도 12a 및 도 12b를 참조하면, 피부 진단 시스템(1)은 상기 항목에 대한 피부 진단 결과를 기초로, 특정 제품에 대한 항산화 효능 및 미백 효능 중 적어도 하나 이상을 평가할 수 있다. 피부 진단 시스템(1)은 전문가 평가와 달리 동일한 기준으로 미세한 변화나 대량의 반복적 추적 관찰이 대응 가능하고, 이미지만으로 다양한 항목의 정량적인 평가 및 시각화가 가능하므로 피부 변화 연구 및 화장품의 효능 평가에 활용될 수 있으며, 고객 서비스와 보다 공신력 높은 고객 소통 컨텐츠 제작 등에 유용하게 활용될 수 있을 것이다.
일 실험예에서, 항노화 효능이 입증되었던 레티놀 제품의 장기 피부 추적 연구 결과의 이미지에서 피부진단을 실시한 결과, 4년의 추적 관찰 기간 동안 제품 미사용 군이 색소 침착과 주름 수가 증가하거나 유지된 것에 비해, 제품 사용 군의 유의한 피부 개선 효과를 확인할 수 있었다. 이는 별도의 임상 측정 평가 결과와 동일한 결과로 보다 세분화되고 정량화된 평가 결과를 제공할 수 있게 하였다.
도 13a 및 도 13b는, 본 발명의 일 실시예에 따른, 본 발명을 이용하여 미백 제품 평가 연구 결과를 분석한 그래프이다.
도 13a 및 도 13b를 참조하면, 미백 제품의 효능 평가에 피부 진단 시스템(1)을 적용해본 결과, 3,4,5-trimethoxycinnamatethymolester (TCTE) 함유 제품을 사용한 시험 참여자의 색소 침착의 크기와 면적이 4주 뒤에 유의하게 감소하는 결과를 확인하였으며, 이는 실제 인체적용 시험의 결과와 일치하였다. 따라서 딥 러닝을 이용한 피부 진단은 이미지 촬영만으로도 의약품 평가보다 미세하고 다양한 항목의 변화를 평가해야 하는 화장품의 효능 평가에도 적합하게 사용될 수 있을 것으로 판단되었다
도 14는, 본 발명의 일 실시예에 따른, 문진을 통해 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득하는 과정을 도시한다.
도 14를 참조하면, 피부 진단 시스템(1)은 비식별화 처리된 안면 이미지를 복수의 인공신경망 모델에 각각 입력하는 것과 별도로, 문진을 통해 상기 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득할 수 있다. 피부 진단 결과는 상기 피험자의 피부 고민 및 라이프 스타일이 연관된 결과일 수 있다. 피부 진단 시스템(1)은 문진으로 획득한 정보를 이용하여, 피험자의 피부 관심사에 더 집중 및 구체화하여 진단 결과를 제공할 수 있다.
피부 진단 시스템(1)은 상기 피부 진단 결과를 기초로, 피험자의 피부 고민 및 라이프 스타일에 맞춤화된 특정 제품을 추천하거나 뷰티 식습관을 제공할 수 있다.
일 실시예에서, 피부 진단 시스템(1)은 색소침착, 모공, 홍반, 주름 각 항목별로 피험자의 피부 상태 분석 결과를 제공한다. 또한, 문진을 통해 획득한 정보를 이용하여 피험자의 피부 고민에 대한 코멘트를 제공하고, 클렌징 또는 라이프스타일과 연관된 팁을 제공한다. 피험자의 피부상태에 따른 맞춤형 피부 관리 방법과 함께, 각 피부 상태에 적합한 화장품을 추천할 수 있다.
이러한 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법에 따르면, 안면 위치와 특징점 인식 모델, 개인정보 처리 비식별화 모델, 주름, 색소침착, 모공, 홍반 및 노화 진단을 포함하는 각 진단 증상별 모델 등으로 분리 구성되어 있어, 각 특성별로 최적화 및 기능 분리나 조절이 가능하여 중첩적인 진단 및 효율적인 시스템 관리와 운영이 가능하다.
획득된 안면이미지에서 비식별화 처리된 일부분의 피부 이미지로도 피부진단이 가능하고 진단 시스템 내에 개인정보를 활용하거나 보관 및/또는 처리하지 않도록 설계되어 있어 시스템 운영과 데이터 수집 부분에서도 개인 정보 유출이나 관리에 선제적으로 대응할 수 있다.
해당 시스템에서 피부 상태 진단을 위해 사용하는 이미지들은 전문 촬영 장비나 일반 카메라, 스마트폰과 같은 이미지에 한정하지 않고, 이미지 조건에 맞추어 각 피부 진단 항목의 특성을 도출하도록 설계되어 이미지의 종류나 형태에 영향을 최소화하여 다양한 목적으로 활용이 가능하다.
항노화 연구와 같이 장기 추적 관찰 분석이 필요한 장기 피부 노화 연구 및 항노화 제품 효능 평가, 미세한 피부 색소의 변화를 분석해야 하는 미백 화장품의 효능 평가에서도 피부 변화와 화장품 효능 평가를 정량적으로 수행할 수 있다. 따라서, 별도의 피부 측정 장비나 분석 준비 없이도 다양한 피부 진단 항목을 빠르고 저렴한 비용으로 수행할 수 있어 장기 추적 관찰이나 대규모 피부 연구와 같은 분야에 유리한 특성을 제공한다.
이상에서 설명한 실시예들에 따른 이미지 분석 기반의 피부 진단 시스템 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
Claims (16)
- 프로세서에 의하여 수행되는 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법으로서,
대상 피부를 촬영하여 피험자의 안면 이미지를 획득하는 단계;
획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 단계;
안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 단계; 및
비식별화 처리된 안면 이미지를 복수의 인공신경망 모델에 각각 입력하여, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 단계; 를 포함하고,
상기 항목은 주름, 색소침착, 모공, 홍반 및 노화 진단 중 적어도 하나 이상을 포함하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
상기 안면 이미지를 비식별화 처리하는 단계는:
안면 이미지로부터 특징점 및 배경을 분리하고, 상기 특징점을 포함하는 피부 형태를 제거하는 단계;
상기 특징점이 제거된 안면 이미지를 복수의 패치로 분할하는 단계; 및
상기 복수의 패치를 난수화하여 재배치하는 단계; 를 포함하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
상기 특징점은 눈썹, 눈, 코 및 입술 중 적어도 하나 이상인 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
상기 복수의 인공신경망 모델 각각은 복수의 훈련 샘플을 학습데이터로 이용하여 학습되고,
상기의 복수의 훈련 샘플은 데이터 증강(Data Augmentation) 기법을 이용하여 변형된 것을 포함하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 상기 데이터 증강 기법은 랜덤 크롭(random crop), 블러(blur) 및 플립(flip) 처리 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
주름 진단을 하는 인공신경망 모델은 주름이 검출된 총 개체수, 주름이 검출된 개체에서 주변 미검출 영역 대비 강도(깊이) 추정, 주름이 검출된 총 면적, 검출된 주름의 길이와 폭을 포함하는 파라미터를 조정하여 학습되고,
주름의 개수, 주름의 강도(깊이), 주름의 면적, 주름의 길이, 주름의 폭, 주름의 강도나 면적, 길이, 폭 별 분포 및 주름 점수 중 적어도 하나 이상 대한 분석 결과를 출력하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
색소침착 진단을 하는 인공신경망 모델은 색소침착이 검출된 총 개체수, 색소침착이 검출된 개체에서 주변 미검출 영역 대비 강도 추정, 색소침착이 검출된 총 면적을 포함하는 파라미터를 조정하여 학습되고,
색소침착의 개수, 색소침착의 강도, 색소침착의 면적, 색소침착의 강도나 면적, 길이, 폭 별 분포 및 색소침착 점수 중 적어도 하나 이상에 대한 분석 결과를 출력하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
모공 진단을 하는 인공신경망 모델은 모공이 검출된 총 개체수, 모공이 검출된 개체에서 주변 미검출 영역 대비 강도(깊이) 추정, 모공이 검출된 총 면적, 모공의 길이, 모공의 폭을 포함하는 파라미터를 조정하여 학습되고,
모공의 개수, 모공의 강도(깊이), 모공의 크기, 모공 면적, 모공의 길이, 모공의 폭, 모공의 늘어짐(길이 대 폭의 비율), 모공의 강도나 면적, 길이, 폭, 늘어짐 별 분포 및 모공 점수 중 적어도 하나 이상에 대한 분석 결과를 출력하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
홍반 진단을 하는 인공신경망 모델은 홍반이 검출된 총 개체수, 홍반이 검출된 개체에서 주변 미검출 영역 대비 강도 추정, 홍반이 검출된 총 면적을 포함하는 파라미터를 조정하여 학습되고,
홍반의 개수, 홍반의 강도, 홍반의 면적, 홍반의 강도나 면적별 분포 및 홍반 점수 중 적어도 하나 이상에 대한 분석 결과를 출력하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
노화 진단을 하는 인공신경망 모델은 비식별화 처리된 안면 이미지, 단일 인공신경망 모델의 출력 결과 및 복수의 인공신경망 모델의 출력 결과를 통합한 값 중 적어도 하나를 입력으로 하여, 안면 이미지에서 추정되는 안면 노화 또는 안면 피부 노화에 대한 연령을 예측하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
상기 복수의 인공신경망 모델 각각은 U-net 모델 기반의 인코더-디코더(Encoder-Decoder) 구조 모델인 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
상기 복수의 인공신경망 모델 각각은 ResNet 기반의 imageNet pre-trained weight 형태로 학습되는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
상기 항목에 대한 피부 진단 결과를 기초로, 특정 제품에 대한 항산화 효능 및 미백 효능 중 적어도 하나 이상을 평가하는 단계를 더 포함하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제1항에 있어서,
비식별화 처리된 안면 이미지를 복수의 인공신경망 모델에 각각 입력하기 전에, 문진을 통해 상기 피험자의 피부 고민 및 라이프 스타일에 대한 정보를 획득하는 단계를 더 포함하고,
상기 피부 진단 결과는 상기 피험자의 피부 고민 및 라이프 스타일이 연관된 결과인 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 제14항에 있어서,
상기 피부 진단 결과를 기초로, 피험자의 피부 고민 및 라이프 스타일에 맞춤화된 특정 제품을 추천하거나 뷰티 식습관을 제공하는 단계를 더 포함하는 것을 특징으로 하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 방법.
- 대상 피부를 촬영하여 안면 이미지를 획득하는 촬영부;
획득한 상기 안면 이미지에서 개인을 식별할 수 있는 특징점을 인식하여 안면 구성의 형태 또는 위치 정보를 도출하는 안면인식 모델;
안면 구성의 형태 또는 위치 정보를 기초로, 분석 대상의 개인정보를 식별할 수 없도록 안면 이미지를 비식별화 처리하는 비식별화 모델; 및
주름, 색소침착, 모공 홍반 및 노화 진단 중 적어도 하나 이상의 항목 각각에 대한 복수의 인공신경망 모델로서, 상기 복수의 인공신경망 모델은 비식별화 처리된 안면 이미지를 입력받고, 해당 인공신경망 모델에 대응하는 항목에 대한 피부 진단 결과 및 각 항목별 증상 위치를 시각화하여 제공하는 복수의 인공신경망 모델; 을 포함하는, 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/015586 WO2023063772A1 (ko) | 2021-10-14 | 2022-10-14 | 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210136568 | 2021-10-14 | ||
| KR20210136568 | 2021-10-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230054286A true KR20230054286A (ko) | 2023-04-24 |
Family
ID=86141992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220131817A KR20230054286A (ko) | 2021-10-14 | 2022-10-13 | 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230054286A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117379005A (zh) * | 2023-11-21 | 2024-01-12 | 欣颜时代(广州)技术有限公司 | 美容仪的皮肤检测控制方法、装置、设备和存储介质 |
-
2022
- 2022-10-13 KR KR1020220131817A patent/KR20230054286A/ko unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117379005A (zh) * | 2023-11-21 | 2024-01-12 | 欣颜时代(广州)技术有限公司 | 美容仪的皮肤检测控制方法、装置、设备和存储介质 |
| CN117379005B (zh) * | 2023-11-21 | 2024-05-28 | 欣颜时代(广州)技术有限公司 | 美容仪的皮肤检测控制方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9886758B2 (en) | Annotation of skin image using learned feature representation | |
| Chetoui et al. | Explainable end-to-end deep learning for diabetic retinopathy detection across multiple datasets | |
| CA3046939A1 (en) | System and method for iterative classification using neurophysiological signals | |
| Kar et al. | Retinal vessel segmentation using multi-scale residual convolutional neural network (MSR-Net) combined with generative adversarial networks | |
| Raja et al. | An automated early detection of glaucoma using support vector machine based visual geometry group 19 (VGG-19) convolutional neural network | |
| Alvino et al. | Computerized measurement of facial expression of emotions in schizophrenia | |
| Pampouchidou et al. | Automated facial video-based recognition of depression and anxiety symptom severity: cross-corpus validation | |
| Kavitha et al. | Hierarchical classifier for soft and hard exudates detection of retinal fundus images | |
| Chen et al. | Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis | |
| KR20230054286A (ko) | 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 | |
| Singh et al. | Prediction of pain intensity using multimedia data | |
| CN115439920B (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| Adibuzzaman et al. | Assessment of pain using facial pictures taken with a smartphone | |
| KR20210122560A (ko) | 피부 병변의 원인 분석 방법 및 장치 | |
| Xue et al. | Cracked tongue recognition based on deep features and multiple-instance SVM | |
| Abdullah et al. | Parkinson’s Disease Symptom Detection using Hybrid Feature Extraction and Classification Model | |
| Karthika et al. | Detection of MA based on iris blood vessel segmentation and classification using convolutional neural networks (ConvNets) | |
| WO2023063772A1 (ko) | 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 | |
| Lin et al. | Depression detection by combining eye movement with image semantics | |
| Walczak et al. | Improved gender classification using discrete wavelet transform and hybrid support vector machine | |
| Hammal et al. | Comparing a novel model based on the transferable belief model with humans during the recognition of partially occluded facial expressions | |
| KR20210154291A (ko) | 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 | |
| CN118120023A (zh) | 基于利用深度学习的图像分析的皮肤诊断系统以及方法 | |
| Cascone et al. | Visual and textual explainability for a biometric verification system based on piecewise facial attribute analysis | |
| Gende et al. | High/low quality style transfer for mutual conversion of OCT images using contrastive unpaired translation generative adversarial networks |