KR102634477B1 - 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법 - Google Patents
머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102634477B1 KR102634477B1 KR1020220156218A KR20220156218A KR102634477B1 KR 102634477 B1 KR102634477 B1 KR 102634477B1 KR 1020220156218 A KR1020220156218 A KR 1020220156218A KR 20220156218 A KR20220156218 A KR 20220156218A KR 102634477 B1 KR102634477 B1 KR 102634477B1
- Authority
- KR
- South Korea
- Prior art keywords
- skin
- diagnosis
- image information
- skin image
- unit
- Prior art date
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000010801 machine learning Methods 0.000 title claims abstract description 18
- 210000003491 skin Anatomy 0.000 claims abstract description 244
- 102000011782 Keratins Human genes 0.000 claims abstract description 37
- 108010076876 Keratins Proteins 0.000 claims abstract description 37
- 230000019612 pigmentation Effects 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 210000004927 skin cell Anatomy 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000037303 wrinkles Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 239000011148 porous material Substances 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 3
- 208000012641 Pigmentation disease Diseases 0.000 description 21
- 230000008859 change Effects 0.000 description 9
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004092 self-diagnosis Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- GEHJBWKLJVFKPS-UHFFFAOYSA-N bromochloroacetic acid Chemical compound OC(=O)C(Cl)Br GEHJBWKLJVFKPS-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- -1 skin tone Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Dermatology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 카메라센서로부터 획득된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측지 중 하나로 분류하는 피부판독부 및 상기 일반진단으로 진행하면 피부영상정보의 영역별 밝기 차이를 이용하여 유분을 검출하고, 정밀진단으로 진행하면 피부영상정보에서 색소침착이 미형성된 영역의 분포를 이용하여 각질을 검출하는 피부진단부를 포함하여, 유분이 검출된 유분영상정보 또는 각질이 검출된 각질영상정보를 라벨로 사용하고, 라벨을 사전 학습된 분류기에 매칭시켜 진단 결과를 도출하는 머신러닝기반 2D 피부영상정보 진단 시스템 및 방법을 개시한다.
Description
본 발명은 스마트폰으로 촬영한 2차원의 피부영상정보를 머신러닝 기술을 활용하여 피부를 진단하는 머신러닝기반 2D 피부영상정보 진단 시스템 및 그 방법에 관한 것이다.
일반적으로 피부진단 서비스를 이용하는 사용자들은 보통 주기적으로 본인의 피부상태를 확인하여 관리하고 싶어한다. 이에 따라 일부 사용자들은 진단장비를 구매하여 피부에 대한 자가진단을 받는다. 그러나 종래에는 진단장비가 매우 고가이기 때문에 사용자에게 부담이 될 수 있으므로, 일부 다른 사용자들은 오프라인 매장에 방문하여 자신의 피부상태를 확인하였다. 그러나 이 또한 공간적이나 시간적 그리고 경제적 한계에 부딪혀 피부관리를 잘 하지 못한다.
최근에는 종래의 문제점을 해결하고자 일반인들의 자유로운 피부진단에 대한 욕구를 해소 등 종래의 문제점을 해결하고자 영상처리 기술을 점목한 피부진단 기술은 수차례 연구되고 있고, 선행기술로 기재된 특허문헌과 같이 휴대가 가능한 디바이스에 LED 광원을 탑재하여 광원이 조사된 피부의 상태를 카메라부로 촬영하여 피부영상을 획득한 뒤 피부 상태를 진단하였다.
그러나 종래에는 여전히 아래와 같이 다양한 문제점들이 존재한다.
종래에는 별도의 유분 탭이나 전극을 활용하여 유분을 측정할 수 있으므로, 별도의 장비에 의해 보편성과 보급성 등을 고려한 셀프케어의 방해요소가 되는 문제점이 있다. 더욱 상세하게는 종래에는 유분을 카메라센서로 식별하고 진단을 내릴 수가 없고, 피부의 유분과 같이 눈으로 잘 드러나지 않는 정성적인 요소를 최적화된 별도의 센서가 없이 검출하기 힘들다는 한계점이 있다. 또한 종래에는 ITA 계수를 이용한 각질을 측정하는 기술이 미비하여 각질 측정의 정확도가 감소되는 문제점이 있다.
상기 문제점을 해결하기 위하여 본 발명은 피부영상정보의 영역별 밝기 차이를 이용하여 유분을 검출하고, 정밀진단으로 진행하면 피부영상정보에서 색소침착이 미형성되는 영역의 분포를 이용하여 각질을 검출하는 머신러닝기반 2D 피부영상정보 진단 시스템 및 그 방법을 제공한다.
상기의 해결하고자 하는 과제를 위한 본 발명의 실시예에 따른 머신러닝기반 2D 피부영상정보 진단 시스템은, 카메라센서로부터 획득된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측지 중 하나로 분류하는 피부판독부(200) 및 상기 일반진단으로 진행하면 피부영상정보의 영역별 밝기 차이를 이용하여 유분을 검출하고, 정밀진단으로 진행하면 피부영상정보에서 색소침착이 미형성된 영역의 분포를 이용하여 각질을 검출하는 피부진단부(300)를 포함하여, 상기 피부진단부는 유분이 검출된 유분영상정보 또는 각질이 검출된 각질영상정보를 라벨로 사용하고, 라벨을 사전 학습된 분류기에 매칭시켜 진단 결과를 도출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝기반 2D 피부영상정보 진단 시스템은, 상기 카메라센서로부터 획득된 피부영상정보의 해상도를 재설정하고, 해상도가 재설정된 피부영상정보의 화질을 보정시키는 영상처리부(100) 및 상기 피부진단부의 진달 결과를 수집하여 출력하는 진단결과출력부(400)를 더 포함하고, 상기 영상처리부는 양선형 함수를 이용하여 피부영상정보의 해상도를 재설정하고, 적대적 생성 신경망 기반의 명도 균등화 방법을 이용하여 해상도가 재설정된 피부영상정보의 화질을 보정시키는 것을 특징으로 할 수 있다.
상기 피부진단부는 분류된 용도에 대응하여 피부영상정보를 가공하고, 분류된 용도에 대응하는 진단요소에 대하여 진단을 진행하며, 상기 피부진단부는 일반진단의 용도로 분류되면 명도 균등화, 눈썹 제거 및 진단요소별 관심영역 추출을 포함하여 피부영상정보를 가공하고, 정밀진단의 용도로 분류되면 명도 균등화 및 잡음제거를 포함하여 피부영상정보를 가공하는 것을 특징으로 할 수 있다.
상기 피부진단부는 일반진단으로 진행하면 얼굴 전체 영상으로 구성된 피부영상정보에서 설정된 영역별로 나누어 분할 영상을 생성하고, 각 영역별로 명도 차이에 따른 깊이와 방향성을 검출하며, 깊이와 방향성에 대한 검출값 중에서 설정된 기준 주름값 이상을 주름으로 규정하고, 규정된 주름을 설정된 영역별 가중치에 적용하여 주름에 대한 진단 결과를 도출하는 것을 특징으로 할 수 있다.
상기 피부진단부는 일반진단으로 진행하면 피부영상정보를 구성하는 RGB 채널에 대한 정보를 설정된 커널로 팽창시키고, 팽창된 각 채널에 존재하는 그림자를 제거하며, RGB 채널에서 CIE L*A*B 채널로 변환된 피부영상정보를 생성하고, 피부영상정보의 밝기에 관한 채널을 추출하여 설정된 영역별 밝기 정보를 양극화시키고, 양극화된 이진화 영상에서 질감과 색상 차이를 구분하여 모공 영역을 검출하며, 모공 영역을 점수화하여 모공에 대한 진단 결과를 도출하는 것을 특징으로 할 수 있다.
상기 피부진단부는 일반진단으로 진행하면 얼굴 전체 영상으로 구성된 피부영상정보에서 얼굴 전체 면적의 평균 피부톤과 설정된 영역별 피부톤의 합계를 포함하여 피부톤 측정값을 연산하며, 피부톤 측정값을 피부톤 기준값에 비교하고 피부톤 가중치에 적용하여 피부톤에 대한 진단 결과를 도출하고, 상기 피부톤 기준값은 밝기와 색에 따른 분류된 복수의 계층으로 구성되고, 피부톤 가중치는 각각의 피부톤 측정값에 대응하여 설정된 것을 특징으로 할 수 있다.
상기 피부진단부는 일반진단으로 진행하면 RGB 이미지 기반의 피부영상정보를 XYZ로 변환하여 빛의 파장과 비선형 관계를 가지는 CIE L*A*B 채널을 생성하고, ITA 계수를 이용하여 색소침착이 형성된 영역의 S-I 점수를 도출하며, 사전 학습된 시멘틱 세그멘테이션 모델을 이용하여 S-S 점수를 도출하고, S-I 점수와 S-S 점수에 설정된 색소침착 가중치를 적용하여 색소침착에 대한 진단 결과를 도출하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 머신러닝기반 2D 피부영상정보 진단 시스템을 이용한 진단 방법은, 카메라센서로부터 피부영상정보를 획득하는 단계; 상기 피부영상정보의 해상도를 재설정하는 단계; 해상도가 재설정된 피부영상정보의 화질을 보정시키는 단계; 화질이 보정된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측지 중 하나로 분류하는 단계; 분류된 용도에 대응하여 피부영상정보를 가공하는 단계; 분류된 용도에 대응하는 진단요소에 대하여 진단을 진행하는 단계 및 진단 결과를 수집하여 출력하는 단계를 포함하고, 상기 피부영상정보의 용도를 분류하는 단계는 일반진단 이미지, 정밀진단 이미지 및 결측치 이미지를 포함하는 학습데이터를 기반으로 피부영상정보를 판독하여 피부영상정보의 용도를 분류하는 것을 특징으로 한다.
본 발명은 피부영상정보의 영역별 밝기 차이를 이용하여 유분을 검출함으로써, 별도의 장비가 없이 피부영상정보만으로 유분을 자가 진단할 수 있고, 보편성과 보급성 등을 고려한 셀프케어 서비스를 제공할 수 있다.
본 발명은 피부영상정보에서 ITA 계수를 이용하여 색소침착이 미형성된 영역을 기반으로 각질을 검출함으로써, 각질에 대한 진단 정확도를 더욱 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 진단 시스템을 도시한 블록도이다.
도 2는 피부영상정보의 해상도를 재설정하는 예를 도시한 것이다.
도 3은 적대적 생성 신경망 기반의 명도 균등화 방법을 도시한 예이다.
도 4는 명도 균등화 수식을 도시한 예이다.
도 5는 관심영역을 추출하는 방법을 도시한 예이다.
도 6은 스무딩 과정과 양극화 과정을 신경망 형태로 배치하는 예를 도시한 것이다.
도 7은 스무딩 과정을 도시한 예이다.
도 8은 양극화 과정을 도시한 예이다.
도 9는 RGB 이미지를 XYZ로 변환하는 예를 도시한 것이다.
도 10은 CIE L*A*B 채널을 도시한 예이다.
도 11은 ITA 계수에 따른 색상을 도시한 예이다.
도 12는 색소침착에 대한 진단 과정을 도시한 예이다.
도 13은 색소침착에 대한 진단에 필요한 수식을 도시한 예이다.
도 14는 각질에 대한 진단 과정을 도시한 예이다.
도 15는 본 발명의 실시예에 따른 진단 시스템의 동작 방법을 도시한 흐름도이다.
도 2는 피부영상정보의 해상도를 재설정하는 예를 도시한 것이다.
도 3은 적대적 생성 신경망 기반의 명도 균등화 방법을 도시한 예이다.
도 4는 명도 균등화 수식을 도시한 예이다.
도 5는 관심영역을 추출하는 방법을 도시한 예이다.
도 6은 스무딩 과정과 양극화 과정을 신경망 형태로 배치하는 예를 도시한 것이다.
도 7은 스무딩 과정을 도시한 예이다.
도 8은 양극화 과정을 도시한 예이다.
도 9는 RGB 이미지를 XYZ로 변환하는 예를 도시한 것이다.
도 10은 CIE L*A*B 채널을 도시한 예이다.
도 11은 ITA 계수에 따른 색상을 도시한 예이다.
도 12는 색소침착에 대한 진단 과정을 도시한 예이다.
도 13은 색소침착에 대한 진단에 필요한 수식을 도시한 예이다.
도 14는 각질에 대한 진단 과정을 도시한 예이다.
도 15는 본 발명의 실시예에 따른 진단 시스템의 동작 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 진단 시스템을 도시한 블록도로서, 진단 시스템은 머신러닝기반 피부영상정보를 이용하여 사용자의 셀프케어를 위한 자가 진단을 제공할 수 있다.
피부영상정보는 2D 기반의 이미지이고, 카메라센서(미도시)로부터 획득된 정보이며, 피부진단에 필요한 입력정보이다.
진단 시스템은 촬영 기능이 구비된 단말기를 포함할 수 있고, 대표적으로 스마트폰을 포함한다. 영상처리부(100), 피부판독부(200), 피부진단부(300) 및 진단결과출력부(400)를 포함한다.
도 2는 피부영상정보의 해상도를 재설정하는 예를 도시한 것으로서, 영상처리부(100)는 카메라센서로부터 피부영상정보를 획득하고, 피부영상정보의 해상도를 재설정한다.
영상처리부(100)는 양선형 함수를 이용하여 1440*1080의 해상도의 이미지로 크기를 재설정할 수 있다. 양선형 함수는 양선형 보간법(bilinear interpolation)이라고 불리고, 원본영상에서 인접한 네 개의 픽셀값을 이용하여 실수 좌표 상의 픽셀값을 연산하는 방법이다.
도 2는 원본이미지에서 이미지의 크기를 변경했을 때 변경된 이미지의 각 픽셀들의 값이 변경전의 이미지의 값과 어떻게 매칭되는지에 대한 설명을 하기 위한 도면이다. 도 2에서 보는 실선은 변경전의 이미지이고 점선은 변경후의 이미지를 데이터로 도식화한 것으로서, 도 2는 P(x, y)의 값이 변경전의 이미지데이터와 어떻게 매칭되는지에 대한 설명을 위한 도면이다. 이에 변경후 이미지의 픽셀값 P(x, y)를 x와 y에대해서 올림 및 버림 연산을 해서 변경전의 이미지 중에서 P가 속한 사각형의 꼭짓점에 해당하는 픽셀이 A, B, C, D이다.
A는 x, y 모두를 버림연산한 것이다. B는 x를 올림연산하고, y를 버림연산한 것이다. C는 x를 버림연산하고, y를 올림연산한 것이다. D는 x, y 모두를 올림연산한 것이다. x는 영상데이터를 좌표계에 표현했을때 영상의 가로픽셀 좌표이고, 오른쪽으로 갈수록 값이 증가된다. y는 영상데이터를 좌표계에 표현했을때 영상의 세로픽셀 좌표이고, 아래로 갈수록 값이 증가된다.
d는 P(x, y)가 변경전의 이미지데이터에서 속한 사각형에서 어느 위치해 속해 있는지에 대한 비율로서 픽셀 A, B, C, D와의 거리 비율이라고 정의할 수 있다. 0에서 1사이의 값을 가지며 이 비율은 곧 해당 픽셀의 값을 얼마나 가져올 건지에 대한 가중치로서의 의미를 가지고 있다.
f는 이미지의 크기를 변경할 때 변경 전의 이미지 중 매칭되는 사각형의 꼭지점으로서 A, B, C, D 값의 2차원(양방향)으로 가중치를 둬서 변경후의 픽셀 P(x, y)의 값을 정해주는 함수이다.
현재 보편적으로 사용하는 모바일 폰으로 사진촬영을 했을 때의 평균적인 해상도로 아무리 좋은 방법을 사용하더라도 이미지크기를 재설정(Image Interplation)할 때 데이터 왜곡이 일어날 수 밖에 없다. 따라서 실제로 사용하는 영상의 해상도와 가까운 해상도를 사용하기 위해 1440*1080의 해상도의 이미지로 크기를 재설정하는 것이다.
양선형 함수는 아주 단순한 사칙연산들의 Summation으로 이루어져 있기 때문에 연산량과 연산속도에서 유리하다.
도 3은 적대적 생성 신경망 기반의 명도 균등화 방법을 도시한 예로서, 영상처리부(100)는 해상도가 재설정된 피부영상정보의 화질을 보정한다. 영상처리부(100)는 적대적 생성 신경망 기반의 명도 균등화 방법을 이용하여 해상도가 재설정된 피부영상정보의 화질을 보정시킬 수 있다.
영상처리부(100)는 피부영상정보를 인위적으로 열화시킨 이미지와 명도 균등화 방법을 적대적 생성 신경망으로 학습시킨 모델을 통하여 화질을 보정시킬 수 있다.
적대적 생성 신경망(GAN: Generative Adversarial Network)은 진짜 같은 가짜를 생성하는 모델과 이에 대한 진위를 판별하는 모델의 경쟁을 통해 진짜 같은 가짜 이미지를 만들 수 있다. 적대적 생성 신경망은 기존에 인간이 정제한 데이터를 바탕으로 학습하는 지도 학습 방식에서 벗어나 스스로 답을 찾는 비지도학습 방식을 사용한다.
도 4는 명도 균등화 수식을 도시한 예로서, 명도 균등화는 커널에 레퍼런스 이미지를 입력시키는 과정의 의미하고, 사용자가 피부를 촬영하는 장소마다 명도값이 다르므로, 이러한 일반화 과정은 필수적으로 필요하다. 명도 균등화 방법은 영상처리부(100)뿐만 아니라 후술되는 피부진단부(300)에서 사용될 수 있다.
도 4에 도시된 수식은 누적합을 이용하여 영상 내에서 다양하게 퍼져있는 이미지의 픽셀값들을 균일하게 분포하도록 하는 커널함수로 해당 커널에 통과 된 후에는 픽셀값들이 0~255까지 균일한 분포를 보이게 하는것으로서, 보편적으로 명도를 일반화하기 위해서 사용하기 위한 수식이다.
T는 커널함수로서 기존영상 r을 커널함수에 대입해 명도가 균등화된 영상을 얻기 위함이다. S는 커널함수를 통과한 결과값으로 명도가 균등화된 영상을 의미한다. P는 영상데이터의 밀도함수를 의미한다. L은 이미지의 분해능에 해당하며 본 발명에서는 uint8 intensity를 사용하기 때문에 255의 값을 가질 수 있다.
영상처리부(100)는 해상도와 화질이 개선된 피부영상정보의 화질값이 설정된 기준값을 가지면 피부영상정보를 피부판독부(200)에게 제공하고, 기준값보다 미만이면 새로운 피부영상정보를 획득하기까지 대기하거나 종료할 수 있다.
해상도와 화질이 개선된 피부영상정보의 화질값을 연산하는 방법은, 사전에 선명한 이미지를 인위적으로 열화시켜 열화시킨 이미지와 선명한 이미지를 분류하는 분류기를 인공신경망을 통해 사전학습하고, 사전학습된 분류기로 해상도의 화질이 좋은지 나쁜지에 대한 분류가 이루어 질 수 있다.
피부판독부(200)는 피부영상정보가 일반진단을 해야하는 영상인지 정밀진단을 해야하는 영상인지 아니면 진단을 내리기에는 잡음이 너무 많아 결측치로 분류되어야 하는 영상인지에 이에 대한 분류가 이루어진다.
피부판독부(200)는 해상도와 화질이 개선된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측지 중 하나로 분류한다.
피부판독부(200)는 일반진단 이미지, 정밀진단 이미지 및 결측치 이미지를 포함하는 학습데이터를 기반으로 피부영상정보를 판독하고, ResNet 기반의 CNN 알고리즘을 통해 학습이 이루어져 피부영상정보의 용도를 분류할 수 있다.
피부판독부(200)는 분류기를 포함할 수 있다. 분류기는 일반진단, 정밀진단, 결측치이미지 총 3개의 클래스로 나누어져 학습되며 ResNet 기반의 CNN 알고리즘을 통해서 학습이 이루어질 수 있다.
일반진단에서 사용하는 이미지는 정밀진단에서는 별도로 사용하지 않는다. 본 발명의 피부진단은 일반진단을 위한 촬영과 정밀진단을 위한 촬영이 성공적으로 완료되었을 때 이루어질 수 있다.
ResNet 기반의 CNN 알고리즘은 가장 대중적으로 사용되는 이미지 분류 신경망형태 중 하나로 기존에 사용되던 대표적인 알고리즘 VGG 신경망보다 더욱 깊게 신경망이 형성되어 있어 모델의 표현력은 증가하지만 residual block 이라는 방법을 활용하여 복잡도와 정확도를 더욱 개선된 알고림즘이다.
일반진단을 해야하는 영상은 사용자의 얼굴 전체가 보이는 영상정보이고 휴대폰의 전면 또는 후면 카메라로부터 약 30cm 떨어진 거리에서 얼굴 전체를 촬영한 영상을 기준으로 할 수 있다. 또한, 정밀진단을 해야하는 영상은 15~25 배율의 접사(매크로)렌즈를 핸드폰에 부착하여 촬영한 초근접 영상을 다루며 피부의 표피층의 윤곽선이 선명하게 보일 정도의 영상을 기준으로 할 수 있다. 진단 방법은 이마, 좌측볼, 우측볼, 좌측눈가, 우측눈가에 접사렌즈를 장착한 휴대폰을 갖다 대어 촬영할 수 있다. 해당 영상정보들은 단말기에 설치된 애플리케이션을 통해 수집되고, 서버로 전송될 수 있다. 진단 시스템은 촬영을 위한 단말기와 진단을 위한 서버를 포함할 수 있다.
피부판독부(200)에서 판독된 결과가 일반진단을 해야하는 영상이라면 피부진단부(300) 중에서 일반진단으로 전달되고 정밀진단을 해야하는 초근접 촬영 영상이라면 피부진단부(300) 중에서 정밀진단으로 전달되어 진단이 진행된다. 만약, 결측치로 분류되는 이미지라면 영상처리부(100)로 이동하여 다음 피부영상정보가 획득될 때까지 기다릴 수 있다.
피부진단부(300)는 분류된 용도에 대응하여 피부영상정보를 가공하고, 분류된 용도에 대응하는 진단요소에 대하여 진단을 진행할 수 있다.
피부진단부(300)는 일반진단의 용도로 분류되면 명도 균등화, 눈썹 제거 및 진단요소별 관심영역 추출을 포함하여 피부영상정보를 가공하고, 정밀진단의 용도로 분류되면 명도 균등화 및 잡음제거를 포함하여 피부영상정보를 가공할 수 있다.
도 5는 관심영역을 추출하는 방법을 도시한 예로서, 피부진단부(300)는 볼, 눈가, 이마, 코를 관심영역(ROI)로 두고 해당영역만 잘라내어 새로운 영상정보를 얻는다.
본 발명은 주름, 모공, 피부톤이 기존의 관심영역만을 사용하지만, 유분이나 색소침착에서는 추가로 턱 영역을 추가한 영상정보를 사용되어야 진단을 내릴 수 있다.
피부진단부(300)는 관심영역을 뽑아내어 생성된 새로운 영상정보 중 이마부분의 색채널을 분광시켜 Blue와 Green 영역을 병합하여 눈썹이라 추측되는 영역을 제거할 수 있다.
일반진단에서는 각질을 제외한 5가지 진단요소 즉, 주름, 모공, 피부톤, 유분 및 색소침착을 포함할 수 있고, 가공된 피부영상정보를 활용하여 진단될 수 있다.
주름 검출은 전반적인 피부 상태에서 일반인이 눈으로 확인할 수 있는 정도의 깊이와 방향성을 가진 요소를 검출하는 것을 기본 기재로 한다.
피부진단부(300)는 일반진단으로 진행하면 얼굴 전체 영상으로 구성된 피부영상정보에서 설정된 영역별로 나누어 분할 영상을 생성하고, 각 영역별로 명도 차이에 따른 깊이와 방향성을 검출하며, 깊이와 방향성에 대한 검출값 중에서 설정된 기준 주름값 이상을 주름으로 규정하고, 규정된 주름을 설정된 영역별 가중치에 적용하여 주름에 대한 진단 결과를 도출할 수 있다. 진단 결과는 0에서 100 사의의 값을 가질 수 있다.
모공 검출은 일반적인 피부의 질감 및 색상과 모공에 해당하는 영역의 차이를 구분하고 양극화 시켜 모공의 영역을 검출하는 것을 기본 기재로 한다.
피부진단부(300)는 일반진단으로 진행하면 피부영상정보를 구성하는 RGB 채널에 대한 정보를 설정된 커널로 팽창시키고, 팽창된 각 채널에 존재하는 그림자를 제거하며, RGB 채널에서 CIE L*A*B 채널로 변환된 피부영상정보를 생성하고, 피부영상정보의 밝기에 관한 채널을 추출하여 설정된 영역별 밝기 정보를 양극화시키고, 양극화된 이진화 영상에서 질감과 색상 차이를 구분하여 모공 영역을 검출하며, 모공 영역을 점수화하여 모공에 대한 진단 결과를 도출할 수 있다. 진단 결과는 0에서 100 사의의 값을 가질 수 있다.
피부톤 검출은 얼굴 전체 면적의 평균 피부톤과 영역별 피부톤의 합계를 통해 피부톤 기준값과 유사한 정도를 판단함을 기본 기재로 한다.
피부진단부(300)는 일반진단으로 진행하면 얼굴 전체 영상으로 구성된 피부영상정보에서 얼굴 전체 면적의 평균 피부톤과 설정된 영역별 피부톤의 합계를 포함하여 피부톤 측정값을 연산하며, 피부톤 측정값을 피부톤 기준값에 비교하고 피부톤 가중치에 적용하여 피부톤에 대한 진단 결과를 도출할 수 있다. 피부톤 기준값은 밝기와 색에 따른 분류된 복수의 계층으로 구성되고, 피부톤 가중치는 각각의 피부톤 측정값에 대응하여 설정될 수 있다. 예를 들어 피부톤 기준값은 밝기와 색에 따라 12계층으로 분류된다.
도 6은 스무딩 과정과 양극화 과정을 신경망 형태로 배치하는 예를 도시한 것이고, 도 7은 스무딩 과정을 도시한 예이며, 도 8은 양극화 과정을 도시한 예이다.
유분검출은 별도의 센서기반으로 유분을 측정했던 종래의 기술과는 달리 한 영상 내에서 밝은 부분과 밝지 않은 부분에 대한 차이를 벌려가면서 유분 특유의 번들거림을 검출하는 것을 기본 기재로 한다. 본 발명은 유분을 검출하기 위한 별도의 센서를 사용하지 않고도 유분을 검출할 수 있다는 장점이 있다.
밝은 영역과 밝지 않은 영역이 양극화 될 때 피부영상데이터 값이 범람 하지 않고 원하는 값에 머무르게 하도록 편향을 준다. 본 발명에서는 이 과정을 스무딩(Smoothing)이라고 명명한다.
영상정보 상에서 유분 특유의 번들거림이 잘 검출될 수 있도록 히스토그램 값을 양극화시키는 작업을 하는데 이때 8비트 영상데이터 값을 범람하지 않도록 최적화 시킨 파라미터를 사용한다. 상기 과정을 Polarization이라고 명명한다.
피부진단부(300)는 유분을 진단할 때 스무딩 과정과 양극화 과정을 설정된 신경망 형태로 배치하고, 피부영상정보를 신경망의 입력으로 하여 유분영상정보를 생성하며, 유분영상정보를 설정된 개수의 클래스로 구성된 분류기에 매칭시켜 유분에 대한 진단 결과를 도출할 수 있다.
피부진단부(300)는 신경망 형태로 배치하여 유분 특유의 번들거림을 검출한다. 이 때 두 과정 내부에 파라미터들은 손실함수에 대한 역전파 과정을 통하여 업데이트된 최적의 파라미터들이다.
피부진단부(300)는 유분영상정보를 고가형진단장비로 라벨하여 사전학습한 분류기와 매칭되어 결과값을 출력할 수 있다. 이 때 분류되는 유분에 대한 결과는 상, 중, 하 등 3가지 클래스로 나뉠 수 있다.
도 9는 RGB 이미지를 XYZ로 변환하는 예를 도시한 것이고, 도 10은 CIE L*A*B 채널을 도시한 예이며, 도 11은 ITA 계수에 따른 색상을 도시한 예이고, 도 12는 색소침착에 대한 진단 과정을 도시한 예이며, 도 13은 색소침착에 대한 진단에 필요한 수식을 도시한 예이다.
피부진단부(300)는 일반진단으로 진행하면 RGB 이미지 기반의 피부영상정보를 XYZ로 변환하여 빛의 파장과 비선형 관계를 가지는 CIE L*A*B 채널을 생성하고, ITA 계수를 이용하여 색소침착이 형성된 영역의 S-I 점수를 도출하며, 사전 학습된 시멘틱 세그멘테이션 모델을 이용하여 S-S 점수를 도출하고, S-I 점수와 S-S 점수에 설정된 색소침착 가중치를 적용하여 색소침착에 대한 진단 결과를 도출할 수 있다.
색소침착으로 전달된 피부영상정보에서의 색소침착에 대한 진단은 색공간 변환행렬을 사용하여 RGB이미지를 XYZ로 변환되고, 빛의 파장과 비선형관계를 가지는 CIE L*a*b 색채널이 생성되는데, 피부의 멜라닌을 규정하는 보편적인 지표인 ITA 계수를 기준으로 판단될 수 있다.
색소침착으로 규정짓는 영역은 다크서클을 제외하고 멜라닌의 변형으로 일어난 갈변영역 전체이며 구체으로는 기미, 점, 검버섯, 주근깨 등이 있다.
본 발명에서는 색소침착에 대한 진단은 Semantic Segmantation으로 진단한 S_s 점수와 전술한 ITA 계수에서 구한 점수를 S_i log함수와 가중치 ρ를 섞은 하이브리드형태의 진단을 띄며, 백분율 형태의 진단결과를 도출할 수 있다.
영상처리부(200)에서 피부진단부(300) 중에서 정밀진단으로 전달된 피부영상정보는 개선된 명도 균등화 방법을 통해서 일반화 된다. 사용자가 피부를 촬영하는 장소마다 명도값들이 다르므로 상기 일반화 과정이 필수적이다.
이후에 정밀진단으로 전달되는 피부영상정보는 초근접촬영 특성 상 손의 미세한 움직임에 의해 초점을 잃기 쉽고 핸드폰에 부착된 디바이스에 의한 피부 눌림에 의한 부분적인 화질열화 현상이 일어나기 쉽다. 따라서 모폴로지 연산을 통하여 열화 영역을 검출하고 해당 영역의 잡음을 제거할 수 있다.
도 14는 각질에 대한 진단 과정을 도시한 예로서, 피부진단부(300)는 각질을 진단할 때 ITA 계수를 이용하여 색소침착이 미형성된 영역을 기반으로 각질을 규정하고, 각질에 해당하는 픽셀 수를 전체 피부면적으로 나눈 면적당 각질 분포를 도출하며, 각질 중 잔각질에 해당하는 픽셀 수를 전체 피부면적으로 나눈 면적당 잔각질 분포를 도출하고, 면적당 각질 분포와 잔각질 분포에 관한 특성을 비지도학습 기반으로 군집화시키며, 군집화된 영상정보를 라벨로 사용하여 백분율의 형태로 각질에 대한 진단 결과를 도출할 수 있다.
각질으로 전달된 영상정보에서의 각질에 대한 진단은 색소침착을 판단하는 ITA 계수를 사용하여 진단을 하며, 멜라닌의 변형으로 일어난 색소침착이 전혀 없는 영역을 각질로 검출하는 것을 기본 기재로 한다.
종래의 연구에서는 각질 자체를 하나의 컴포넌트로 두고 검출을 했다면 본 연구에서는 ITA 계수를 사용하여 색소침착이 전혀 일어나지 않아서 하얗게 보이는 영역을 각질이라 규정하여 검출한다는 특징이 있다.
피부진단부(300)는 각질보다 두께가 훨씬 두꺼운 흰색 털을 히스토그램 스트레칭 방법을 통해 검출해내고, 이 영역을 제거하여 각질에 대한 진단을 내리기 위한 새로운 영상정보를 생성할 수 있다.
피부진단부(300)는 이후에 각질에 해당하는 픽셀수를 전체 피부면적으로 나누어 구한 면적당 각질분포와 모폴로지 연산으로 쉽게 지워지는 표피층에 체류하지않고 쉽게 날아가는 가루 형태의 잔각질을 전체 피부면적으로 나누어 구한 면적당 잔각질분포를 뽑아내어 각 특성들을 비지도학습 중 DBSCAN 방법으로 군집화시킨 후 이를 라벨로 사용하여 다시 학습하는 반-지도학습 형태로 분류기를 학습시킨다. 피부진단부(300)는 학습된 분류기를 통하여 백분율 형태의 진단결과를 도출할 수 있다.
진단결과출력부(400)는 피부진단부(300)의 진달 결과를 수집하여 출력한다. 진단결과출력부(400)는 6가지 진단요소가 모두 수집이 완료되었을 경우 최종진단정보를 사용자가 볼 수 있도록 출력할 수 있다.
도 15는 본 발명의 실시예에 따른 진단 시스템의 동작 방법을 도시한 흐름도로서, 진단 시스템은 카메라센서로부터 피부영상정보를 획득하고, 피부영상정보의 해상도를 재설정하며, 해상도가 재설정된 피부영상정보의 화질을 보정시킨다.
진단 시스템은 이후에 화질이 보정된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측지 중 하나로 분류하며, 분류된 용도에 대응하여 피부영상정보를 가공하고, 분류된 용도에 대응하는 진단요소에 대하여 진단을 진행하며, 진단 결과를 수집하여 출력한다.
본 발명은 피부영상정보의 영역별 밝기 차이를 이용하여 유분을 검출함으로써, 별도의 장비가 없이 피부영상정보만으로 유분을 자가 진단할 수 있고, 보편성과 보급성 등을 고려한 셀프케어 서비스를 제공할 수 있다.
본 발명은 피부영상정보에서 ITA 계수를 이용하여 색소침착이 미형성된 영역을 기반으로 각질을 검출함으로써, 각질에 대한 진단 정확도를 더욱 향상시킬 수 있다.
본 발명은 자동적으로 일반진단과 정밀진단을 선택하여 제공할 수 있고, 2가지 진단을 함께 제공하여 사용자의 만족도를 향상시킬 수 있다.
머신러닝은 지도학습, 비지도학습 및 반지도학습 등 기계학습의 원리로서, 본 발명의 영상처리부(1100), 피부판독부(200) 또는 피부진단부(300)에서 사용될 수 있다.
100: 영상처리부 200: 피부판독부
300: 피부진단부 400: 진단결과출력부
300: 피부진단부 400: 진단결과출력부
Claims (8)
- 카메라센서로부터 획득된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측치 중 하나로 분류하는 피부판독부(200) 및
상기 일반진단으로 진행하면 피부영상정보의 영역별 밝기 차이를 이용하여 유분을 검출하고, 정밀진단으로 진행하면 피부영상정보에서 색소침착이 미형성된 영역의 분포를 이용하여 각질을 검출하는 피부진단부(300)를 포함하여,
상기 피부진단부는 유분이 검출된 유분영상정보 또는 각질이 검출된 각질영상정보를 라벨로 사용하고, 라벨을 사전 학습된 분류기에 매칭시켜 진단 결과를 도출하며,
상기 카메라센서로부터 획득된 피부영상정보의 해상도를 재설정하고, 해상도가 재설정된 피부영상정보의 화질을 보정시키는 영상처리부(100) 및
상기 피부진단부의 진달 결과를 수집하여 출력하는 진단결과출력부(400)를 더 포함하고,
상기 영상처리부는 양선형 함수를 이용하여 피부영상정보의 해상도를 재설정하고, 적대적 생성 신경망 기반의 명도 균등화 방법을 이용하여 해상도가 재설정된 피부영상정보의 화질을 보정시키는 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템. - 삭제
- 제1항에 있어서,
상기 피부진단부는 분류된 용도에 대응하여 피부영상정보를 가공하고, 분류된 용도에 대응하는 진단요소에 대하여 진단을 진행하며,
상기 피부진단부는 일반진단의 용도로 분류되면 명도 균등화, 눈썹 제거 및 진단요소별 관심영역 추출을 포함하여 피부영상정보를 가공하고, 정밀진단의 용도로 분류되면 명도 균등화 및 잡음제거를 포함하여 피부영상정보를 가공하는 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템. - 제1항에 있어서,
상기 피부진단부는 일반진단으로 진행하면 얼굴 전체 영상으로 구성된 피부영상정보에서 설정된 영역별로 나누어 분할 영상을 생성하고, 각 영역별로 명도 차이에 따른 깊이와 방향성을 검출하며, 깊이와 방향성에 대한 검출값 중에서 설정된 기준 주름값 이상을 주름으로 규정하고, 규정된 주름을 설정된 영역별 가중치에 적용하여 주름에 대한 진단 결과를 도출하는 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템. - 제1항에 있어서,
상기 피부진단부는 일반진단으로 진행하면 피부영상정보를 구성하는 RGB 채널에 대한 정보를 설정된 커널로 팽창시키고, 팽창된 각 채널에 존재하는 그림자를 제거하며, RGB 채널에서 CIE L*A*B 채널로 변환된 피부영상정보를 생성하고, 피부영상정보의 밝기에 관한 채널을 추출하여 설정된 영역별 밝기 정보를 양극화시키고, 양극화된 이진화 영상에서 질감과 색상 차이를 구분하여 모공 영역을 검출하며, 모공 영역을 점수화하여 모공에 대한 진단 결과를 도출하는 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템. - 제1항에 있어서,
상기 피부진단부는 일반진단으로 진행하면 얼굴 전체 영상으로 구성된 피부영상정보에서 얼굴 전체 면적의 평균 피부톤과 설정된 영역별 피부톤의 합계를 포함하여 피부톤 측정값을 연산하며, 피부톤 측정값을 피부톤 기준값에 비교하고 피부톤 가중치에 적용하여 피부톤에 대한 진단 결과를 도출하고,
상기 피부톤 기준값은 밝기와 색에 따른 분류된 복수의 계층으로 구성되고, 피부톤 가중치는 각각의 피부톤 측정값에 대응하여 설정된 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템. - 제1항에 있어서,
상기 피부진단부는 일반진단으로 진행하면 RGB 이미지 기반의 피부영상정보를 XYZ로 변환하여 빛의 파장과 비선형 관계를 가지는 CIE L*A*B 채널을 생성하고, ITA 계수를 이용하여 색소침착이 형성된 영역의 S-I 점수를 도출하며, 사전 학습된 시멘틱 세그멘테이션 모델을 이용하여 S-S 점수를 도출하고, S-I 점수와 S-S 점수에 설정된 색소침착 가중치를 적용하여 색소침착에 대한 진단 결과를 도출하는 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템. - 영상처리부, 피부판독부 및 피부진단부를 포함하는 머신러닝기반 2D 피부영상정보 진단 시스템의 동작 방법에 있어서,
상기 영상처리부가 카메라센서로부터 피부영상정보를 획득하고, 피부영상정보의 해상도를 재설정하며, 해상도가 재설정된 피부영상정보의 화질을 보정시키는 단계;
상기 피부판독부가 화질이 보정된 피부영상정보를 판독하고, 판독 결과에 기반하여 피부영상정보의 용도를 일반진단, 정밀진단 및 결측치 중 하나로 분류하는 단계 및
상기 피부진단부가 분류된 용도에 대응하여 피부영상정보를 가공하고, 분류된 용도에 대응하는 진단요소에 대하여 진단을 진행하고, 진단 결과를 수집하여 출력하는 단계를 포함하고,
상기 피부판독부는 일반진단 이미지, 정밀진단 이미지 및 결측치 이미지를 포함하는 학습데이터를 기반으로 피부영상정보를 판독하여 피부영상정보의 용도를 분류하며,
상기 머신러닝기반 2D 피부영상정보 진단 시스템은 상기 피부진단부의 진달 결과를 수집하여 출력하는 진단결과출력부(400)를 더 포함하고,
상기 영상처리부는 양선형 함수를 이용하여 피부영상정보의 해상도를 재설정하고, 적대적 생성 신경망 기반의 명도 균등화 방법을 이용하여 해상도가 재설정된 피부영상정보의 화질을 보정시키는 것을 특징으로 하는 머신러닝기반 2D 피부영상정보 진단 시스템의 동작 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220156218A KR102634477B1 (ko) | 2022-11-21 | 2022-11-21 | 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220156218A KR102634477B1 (ko) | 2022-11-21 | 2022-11-21 | 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102634477B1 true KR102634477B1 (ko) | 2024-02-27 |
Family
ID=90058354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220156218A KR102634477B1 (ko) | 2022-11-21 | 2022-11-21 | 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102634477B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120132383A (ko) * | 2011-05-27 | 2012-12-05 | 엘브이엠에이취 러쉐르쉐 | 피부 또는 외피의 톤을 특화하기 위한 방법 |
| KR102190588B1 (ko) | 2020-02-06 | 2020-12-15 | 한국광기술원 | 휴대형 피부 진단 및 치료 장치, 시스템 및 방법 |
| KR20220010381A (ko) * | 2020-07-17 | 2022-01-25 | 주식회사 아트랩 | 피부 변화를 추적하는 전자 장치, 서버, 및 시스템 |
| KR20220078231A (ko) * | 2020-12-03 | 2022-06-10 | 주식회사 베이바이오텍 | 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법 |
| KR20220098869A (ko) * | 2021-01-05 | 2022-07-12 | 주식회사 오션라이트에이아이 | 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템 및 방법 |
-
2022
- 2022-11-21 KR KR1020220156218A patent/KR102634477B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120132383A (ko) * | 2011-05-27 | 2012-12-05 | 엘브이엠에이취 러쉐르쉐 | 피부 또는 외피의 톤을 특화하기 위한 방법 |
| KR102190588B1 (ko) | 2020-02-06 | 2020-12-15 | 한국광기술원 | 휴대형 피부 진단 및 치료 장치, 시스템 및 방법 |
| KR20220010381A (ko) * | 2020-07-17 | 2022-01-25 | 주식회사 아트랩 | 피부 변화를 추적하는 전자 장치, 서버, 및 시스템 |
| KR20220078231A (ko) * | 2020-12-03 | 2022-06-10 | 주식회사 베이바이오텍 | 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법 |
| KR20220098869A (ko) * | 2021-01-05 | 2022-07-12 | 주식회사 오션라이트에이아이 | 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038456B (zh) | 一种人脸识别系统中的防欺骗方法 | |
| KR102041906B1 (ko) | 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진 | |
| JP4335476B2 (ja) | 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 | |
| JP4345622B2 (ja) | 瞳色推定装置 | |
| CN101609500B (zh) | 出入境数字人像相片质量评估方法 | |
| JP4529172B2 (ja) | デジタル画像における赤目領域の検出方法及び装置 | |
| CN111445410B (zh) | 基于纹理图像的纹理增强方法、装置、设备和存储介质 | |
| US7715596B2 (en) | Method for controlling photographs of people | |
| JP4708909B2 (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
| EP3358501B1 (en) | Image processing device, imaging device, image processing method | |
| WO2017198040A1 (en) | Facial image processing apparatus, facial image processing method, and non-transitory computer-readable storage medium | |
| JP3557659B2 (ja) | 顔抽出方法 | |
| CN102576461B (zh) | 评估数字图像的美学质量 | |
| KR20200004841A (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
| CN109086723B (zh) | 一种基于迁移学习的人脸检测的方法、装置以及设备 | |
| US20100172579A1 (en) | Distinguishing Between Faces and Non-Faces | |
| CN107798279B (zh) | 一种人脸活体检测方法及装置 | |
| CN107730446A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
| JP2002109525A (ja) | 画像の顕著性及びアピール性に基づく画像処理パス変更方法 | |
| CN105608700B (zh) | 照片的筛选方法及系统 | |
| CN105139404A (zh) | 一种可检测拍摄质量的证照相机及拍摄质量检测方法 | |
| CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
| CN106650606A (zh) | 人脸图像的匹配及处理方法、人脸图像模型构建系统 | |
| Hadiprakoso et al. | Face anti-spoofing using CNN classifier & face liveness detection | |
| CN111967319A (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |