KR20190104001A - 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법 - Google Patents
피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법 Download PDFInfo
- Publication number
- KR20190104001A KR20190104001A KR1020190024142A KR20190024142A KR20190104001A KR 20190104001 A KR20190104001 A KR 20190104001A KR 1020190024142 A KR1020190024142 A KR 1020190024142A KR 20190024142 A KR20190024142 A KR 20190024142A KR 20190104001 A KR20190104001 A KR 20190104001A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- skin
- feature
- pixel values
- pixel
- Prior art date
Links
- 208000017520 skin disease Diseases 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 206010040882 skin lesion Diseases 0.000 claims abstract description 45
- 231100000444 skin lesion Toxicity 0.000 claims abstract description 45
- 201000001441 melanoma Diseases 0.000 claims abstract description 37
- 238000010801 machine learning Methods 0.000 claims abstract description 26
- 206010027145 Melanocytic naevus Diseases 0.000 claims description 21
- 208000007256 Nevus Diseases 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 16
- 230000002500 effect on skin Effects 0.000 claims description 14
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 210000003491 skin Anatomy 0.000 claims description 11
- 230000037311 normal skin Effects 0.000 claims description 10
- 102000011782 Keratins Human genes 0.000 claims description 9
- 108010076876 Keratins Proteins 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 210000004927 skin cell Anatomy 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 201000010099 disease Diseases 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004207 dermis Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 208000003251 Pruritus Diseases 0.000 description 1
- 208000009443 Vascular Malformations Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000007803 itching Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G06K9/00147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
피부 질환을 촬영한 영상의 화소 특징, 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)과 회색도 연속길이 행렬(GLRLM)로부터 추출된 GLCM 특징 및 GLRLM 특징을 기반으로 흑색종 등의 피부 질환을 높은 정확도로 자동 분류할 수 있는 피부 질환 자동 분류 장치 및 방법, 기록 매체가 개시된다. 본 발명의 실시예에 따른 피부 질환 자동 분류 방법은, 피부 병변을 촬영한 영상에서 화소들의 밝기값들의 히스토그램을 산출하고, 상기 히스토그램을 통계분석하여 화소 특징을 추출하는 단계; 상기 영상의 화소값들을 상기 화소값들 간의 인접성을 나타내는 회색도 동시발생 행렬(GLCM; Gray-Level Co-occurrence Matrix)로 변환하는 단계; 상기 회색도 동시발생 행렬의 화소값들을 기반으로 GLCM 특징을 추출하는 단계; 상기 영상의 화소값들을 상기 화소값들의 연속길이를 나타내는 회색도 연속길이 행렬(GLRLM; Gray Level RunLength Matrix)로 변환하는 단계; 상기 회색도 연속길이 행렬의 화소값들을 기반으로 GLRLM 특징을 추출하는 단계; 및 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 기계학습 모델에 적용하여 피부 질환을 분류하는 단계를 포함한다.
Description
본 발명은 피부 질환 자동 분류 장치 및 방법에 관한 것으로, 보다 상세하게는 피부 질환을 촬영한 영상의 화소 특징, 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)과 회색도 연속길이 행렬(GLRLM)로부터 추출된 GLCM 특징 및 GLRLM 특징을 기반으로 흑색종 등의 피부 질환을 높은 정확도로 자동 분류할 수 있는 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법에 관한 것이다.
최근 생활환경의 변화 및 의료기술의 발전으로 인간의 수명이 점차 연장되고 있으며, 이로 인해 실버 의료 기술이 각광받고 있다. 따라서 고령화 사회에서 면역력 저하로 인하여 발생하는 질환에 대한 조기 대응이 중요하게 되었다. 특히, 노인성 피부질환은 조기 발견이 어렵고, 치료시기를 놓치게 되는 경우 악성 질환으로 진행되어 치료가 어려워지기도 한다. 흑색종(melanoma)은 이러한 노인성 피부질환에서 가장 많이 발생하는 질환중 하나로, 초기에 모반증(nevus)과 유사한 양상(modality)을 가진다. 이 때문에 흑색종은 발병 초기에 발견되기 어려우며 모반증으로 오인되는 경우가 많다. 흑색종은 피부의 진피층에서부터 근육까지 악성 종양이 퍼지는 질환으로서 모반증과 다르게 환부에서 나타나는 양상이 혈관 기형, 멜라닌 색소의 침착 및 기형적인 형태와 같은 증상이 나타나게 된다. 가장 악성도가 높은 악성 흑색종의 경우 가려움이나 통증 같은 자각 증상이 없으며 평범한 검은 반점으로 보이는 특징이 있다.
Abbasi 등은 의사들이 육안으로 임상적인 경험을 기반으로 흑색종을 판별하는 ABCD(Asymmetry, Border, Color, Diameter) 방법을 개발하였다. 그러나 이 방법은 병변(lesion) 부위의 형태를 육안으로 판별하는 방식으로서 전문의의 주관적 판단이 개입되기 때문에 같은 영상이라도 전문의 마다 다르게 진단할 수 있는 단점이 있다. Bowling 등은 기존의 육안으로 확인하던 ABCD 방법을 피부경(dermoscopy)을 이용하여 좀 더 세밀하게 관찰함으로써 발생할 수 있는 오류를 줄이는 방법을 사용하였다. 그러나 기존의 피부경은 일반 카메라에 현미경의 광학렌즈를 부착하는 방식으로서 질환 영역을 확대하여 볼 수 있으나 질환을 판별하는 방식은 기존의 육안으로 판독하는 방식을 사용하는 문제가 있다. 함 등은 피부경 영상에서 SVM(support vector machine)을 이용하여 흑색종과 모반증에 대한 자동 분류를 시도하였으나, 환자 개인마다 발생하는 피부상태와 모발, 광원들을 고려하지 않아 정확한 검출에 어려움이 있었다.
본 발명은 피부 질환을 촬영한 영상의 화소 특징, 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)과 회색도 연속길이 행렬(GLRLM)로부터 추출된 GLCM 특징 및 GLRLM 특징을 기반으로 흑색종 등의 피부 질환을 높은 정확도로 자동 분류할 수 있는 피부 질환 자동 분류 장치 및 방법, 기록 매체를 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 피부 질환 자동 분류 방법은, 피부 병변을 촬영한 영상에서 화소들의 밝기값들의 히스토그램을 산출하고, 상기 히스토그램을 통계분석하여 화소 특징을 추출하는 단계; 상기 영상의 화소값들을 상기 화소값들 간의 인접성을 나타내는 회색도 동시발생 행렬(GLCM; Gray-Level Co-occurrence Matrix)로 변환하는 단계; 상기 회색도 동시발생 행렬의 화소값들을 기반으로 GLCM 특징을 추출하는 단계; 상기 영상의 화소값들을 상기 화소값들의 연속길이를 나타내는 회색도 연속길이 행렬(GLRLM; Gray Level RunLength Matrix)로 변환하는 단계; 상기 회색도 연속길이 행렬의 화소값들을 기반으로 GLRLM 특징을 추출하는 단계; 및 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 기계학습 모델에 적용하여 피부 질환을 분류하는 단계를 포함한다.
상기 화소 특징은 상기 영상의 화소값들의 평균, 표준편차, 스큐(skew), 커토시스(kurtosis), 엔트로피(entropy) 및 제곱평균제곱근(root mean square)을 포함할 수 있다.
상기 GLCM 특징은 상기 회색도 동시발생 행렬의 화소값들의 자가상관관계(auto-correlation), 대조도(contrast), 상관관계(correlation), 비유사도(dissimilarity), 에너지(energy) 및 동질성(homogeneity)을 포함할 수 있다.
상기 GLRLM 특징은 상기 회색도 연속길이 행렬의 화소값들을 기반으로 추출되는 SRE(Short Run Emphasis), LRE(Long Run Emphasis), GLNU(Gray Level Non-Uniformity), RP(Run Percentage), RLNU(Run Length Non-Uniformity) 및 HGLRE(High Gray Level Run Emphasis)를 포함할 수 있다.
상기 기계학습 모델은 서포트 벡터 머신(SVM; Support Vector Machine) 모델을 포함할 수 있다.
본 발명의 실시예에 따른 피부 질환 자동 분류 방법은, 피부경(dermoscopy)을 이용하여 상기 피부 병변을 촬영하여 피부경 영상을 획득하는 단계; 상기 피부경 영상을 이진 영상으로 변환하고, 상기 이진 영상에서 상기 피부 병변보다 작은 크기의 객체를 검출하는 단계; 상기 피부 병변과 상기 객체의 크기 차이를 기반으로 모발 및 피부각질을 포함하는 잡음을 제거하는 단계; 및 상기 피부경 영상에서 정상 피부의 화소값을 0으로 변환하여 피부 병변 만을 포함하는 관심 영역을 추출하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 피부 질환 자동 분류 방법은, 흑색종 영상들 및 모반증 영상들을 포함하는 학습 영상 데이터를 기반으로 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 학습하여 상기 기계학습 모델을 생성하는 단계를 더 포함할 수 있다. 상기 피부 질환을 분류하는 단계는 학습된 상기 기계학습 모델을 기반으로 상기 피부 병변을 흑색종과 모반증 중 어느 하나로 분류하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 피부 질환 자동 분류 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 적어도 하나의 프로세서를 포함하는 피부 질환 자동 분류 장치에 있어서, 상기 적어도 하나의 프로세서는, 피부 병변을 촬영한 영상에서 화소들의 밝기값들의 히스토그램을 산출하고, 상기 히스토그램을 통계분석하여 화소 특징을 추출하고; 상기 영상의 화소값들을 상기 화소값들 간의 인접성을 나타내는 회색도 동시발생 행렬(GLCM; Gray-Level Co-occurrence Matrix)로 변환하고; 상기 회색도 동시발생 행렬의 화소값들을 기반으로 GLCM 특징을 추출하고; 상기 영상의 화소값들을 상기 화소값들의 연속길이를 나타내는 회색도 연속길이 행렬(GLRLM; Gray Level RunLength Matrix)로 변환하고; 상기 회색도 연속길이 행렬의 화소값들을 기반으로 GLRLM 특징을 추출하고; 그리고 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 기계학습 모델에 적용하여 피부 질환을 분류하도록 구성된다.
상기 적어도 하나의 프로세서는, 피부경(dermoscopy)에 의해 상기 피부 병변을 촬영한 피부경 영상을 이진 영상으로 변환하고; 상기 이진 영상에서 상기 피부 병변보다 작은 크기의 객체를 검출하고; 상기 피부 병변과 상기 객체의 크기 차이를 기반으로 모발 및 피부각질을 포함하는 잡음을 제거하고; 그리고 상기 피부경 영상에서 정상 피부의 화소값을 0으로 변환하여 피부 병변 만을 포함하는 관심 영역을 추출하도록 구성될 수 있다.
상기 적어도 하나의 프로세서는, 흑색종 영상들 및 모반증 영상들을 포함하는 학습 영상 데이터를 이용하여 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 학습하여 상기 기계학습 모델을 생성하고; 그리고 상기 학습 영상 데이터를 이용하여 학습된 상기 기계학습 모델을 기반으로 상기 피부 병변을 흑색종과 모반증 중 어느 하나로 분류하도록 구성될 수 있다.
본 발명의 실시예에 의하면, 피부 질환을 촬영한 영상의 화소 특징, 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)과 회색도 연속길이 행렬(GLRLM)로부터 추출된 GLCM 특징 및 GLRLM 특징을 기반으로 흑색종 등의 피부 질환을 높은 정확도로 자동 분류할 수 있는 피부 질환 자동 분류 장치 및 방법, 기록 매체가 제공된다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 개략적인 흐름도이다.
도 2는 본 발명의 실시예에 따른 피부 질환 자동 분류 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 흐름도이다.
도 4는 도 3의 단계 S30의 구체적인 흐름도이다.
도 5는 피부경 영상에서 추출된 객체들의 크기 분포도의 예시도이다.
도 6은 본 발명의 실시예에 따라 피부경 영상을 전처리하는 과정의 예시도이다.
도 7은 본 발명의 실시예에 따른 피부 질환 자동 분류 장치를 구성하는 피부질환 분류부의 구성도이다.
도 8은 본 발명의 실시예에 따라 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)의 예시도이다.
도 9는 본 발명의 실시예에 따라 영상으로부터 변환된 회색도 연속길이 행렬(GLRLM)의 예시도이다.
도 10은 본 발명의 실시예에 따라 기계학습에 사용된 흑색종 영상들(a)과 모반증 영상들(b)의 예시도이다.
도 11은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 피부 질환 분류 정확도 성능을 보여주는 도면이다.
도 2는 본 발명의 실시예에 따른 피부 질환 자동 분류 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 흐름도이다.
도 4는 도 3의 단계 S30의 구체적인 흐름도이다.
도 5는 피부경 영상에서 추출된 객체들의 크기 분포도의 예시도이다.
도 6은 본 발명의 실시예에 따라 피부경 영상을 전처리하는 과정의 예시도이다.
도 7은 본 발명의 실시예에 따른 피부 질환 자동 분류 장치를 구성하는 피부질환 분류부의 구성도이다.
도 8은 본 발명의 실시예에 따라 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)의 예시도이다.
도 9는 본 발명의 실시예에 따라 영상으로부터 변환된 회색도 연속길이 행렬(GLRLM)의 예시도이다.
도 10은 본 발명의 실시예에 따라 기계학습에 사용된 흑색종 영상들(a)과 모반증 영상들(b)의 예시도이다.
도 11은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 피부 질환 분류 정확도 성능을 보여주는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
본 발명의 실시예에 따른 피부 질환 자동 분류 방법은 영상 처리에 의해 피부 질환에 대한 특징들을 추출하고, 추출된 특징들을 기반으로 기계학습 기법의 알고리즘을 통하여 흑색종 등의 피부 질환을 객관적으로 자동 분류할 수 있다. 도 1은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 개략적인 흐름도이다. 도 1을 참조하면, 먼저 피부경(dermoscopy)에 의해 피부 병변을 촬영하여 피부경 영상(dermoscopy image)을 획득하고(S1), 피부경 영상을 전처리한 후(S2), 관심 영역(ROI)을 추출한다(S3). 그리고 나서, 영상의 관심 영역에서 흑색종 등의 피부 질환에 관련된 영상 특징들을 추출한다(S4~S5).
영상 특징들은 화소(pixel) 자체의 정보를 이용한 1차 통계분석에 의해 추출되는 화소 특징들과, 영상으로부터 행렬형태로 변환된 GLCM(Gray-Level Co-occurrence Matrix) 및 GLRLM(Gray Level RunLength Matrix)으로부터 추출된 GLCM 특징들 및 GLRLM 특징들을 포함할 수 있다. 추출된 특징들(화소 특징들, GLCM 특징들 및 GLRLM 특징들)은 서포트 벡터 머신(Support Vector Machine) 등의 기계학습 판별 알고리즘에 적용되어 피부 질환을 분류하는데 활용될 수 있다. 본 발명의 실시예에 의하면, 특히 모반증과 흑색종을 정확하게 자동 분류할 수 있다.
도 2는 본 발명의 실시예에 따른 피부 질환 자동 분류 장치의 구성도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 피부 질환 자동 분류 장치(100)는 제어부(110), 학습부(120), 영상 획득부(130), 영상 전처리부(140), 피부질환 분류부(150) 및 저장부(160)를 포함할 수 있다. 제어부(110)는 적어도 하나의 프로세서를 포함하고, 학습부(120), 영상 획득부(130), 영상 전처리부(140), 피부질환 분류부(150) 및 저장부(160)를 제어하여 피부 질환 자동 분류를 위한 기능(프로그램)을 실행시킨다.
도 3은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 흐름도이다. 도 2 및 도 3을 참조하면, 학습부(120)는 흑색종 영상들 및 모반증 영상들을 포함하는 학습 영상 데이터를 이용하여 피부 질환의 특징들을 학습할 수 있다(S10). 실시예에서, 학습부(120)는 공인된 피부질환 데이터베이스의 영상을 이용하여 흑색종에서 나타나는 특징들을 추출하고, 흑색종과 모반증을 분류하기 위한 기계학습 모델을 생성할 수 있다. 학습부(120)는 피부질환 데이터베이스의 영상의 화소값들로부터 히스토그램을 산출하고, 히스토그램을 통계 분석하여 화소 특징들을 추출할 수 있다. 또한, 학습부(120)는 피부질환 데이터베이스의 영상을 GLCM 및 GLRLM으로 각각 변환한 후, GLCM과 GLRLM으로부터 GLCM 특징들 및 GLRLM 특징들을 추출할 수 있다. 학습부(120)는 추출된 화소 특징들, GLCM 특징들 및 GLRLM 특징들을 학습하여, 기계학습 모델을 생성할 수 있다. 학습부(120)에 의해 생성된 기계학습 모델은 이후의 피부 질환 분류에 활용하기 위하여 저장부(160)에 저장될 수 있다.
영상 획득부(130)는 피부 병변 부위를 촬영하여 영상을 획득할 수 있다(S20). 실시예에서, 영상 획득부(130)는 흑색종으로 의심되는 피부 병변을 촬영하여 피부경 영상을 획득하는 피부경(dermoscopy)을 포함할 수 있다. 영상 획득부(130)에 의해 획득된 영상은 저장부(160)에 저장될 수 있다.
피부경 영상은 촬영하는 전문의마다 영상의 초점과 질병의 위치가 영상 내에서 다르게 나타날 수 있다. 또한, 환자의 피부 상태와 모발로 인하여 영상에서 질환을 제외한 다양한 잡음이 발생하게 된다. 이러한 잡음은 영상에서 특징들을 추출하는데 오류를 발생시킬 수 있다. 이러한 문제점을 방지하기 위하여, 영상 전처리부(140)는 피부경 영상을 이진 영상으로 변환한 후, 모발 및 피부각질 등의 잡음을 제거하고(S30), 피부경 영상에서 피부 병변 만을 포함하는 관심 영역을 추출할 수 있다. 영상 전처리부(140)에 의해 전처리된 영상은 저장부(160)에 저장될 수 있다.
도 4는 도 3의 단계 S30의 구체적인 흐름도이다. 도 2 및 도 4를 참조하면, 영상 전처리부(140)는 피부경 영상을 이진 영상으로 변환한다(S32). 실시예에서, Otsu 기법 등에 의해, 피부경 영상의 화소값들의 히스토그램에서 유사한 값을 가지는 객체들의 집합을 추출하여, 분할 영역간의 분산을 최대화시키는 문턱치값을 만들 수 있다. 전체 분산은 클래스 내의 분산과 클래스들 간의 분산의 합으로 나타낼 수 있으며, 하기의 수식 (1) 내지 (3)과 같이 표현될 수 있다.
[수식 (1) 내지 (3)]
수식 (1) 내지 (3)에서, 
는 클래스 내의 분산, 
는 클래스들 간 분산, 
는 클래스 
에 화소가 포함될 확률의 가중치, 
는 클래스의 평균값이다. 이진 영상에는 피부 질환 분류의 정확성을 떨어뜨리는 불필요한 정보인 잡음이 제거되지 않고 포함될 수 있다. 잡음은 주로 환자의 모발이나 피부 각질 등의 피부 상태에 의하여 발생하게 된다. 이러한 잡음은 피부 병변 부위의 특징을 추출하는데 오류를 발생시키며, 정확도를 저하시키는 문제점을 발생시킨다.
이러한 문제점을 보완하기 위하여, 영상 전처리부(140)는 전처리 과정에서 획득한 이진 영상을 기반으로 잡음을 제거한다. 잡음 정보는 영상에서 피부 질환과 비교하여 크기 정보가 상대적으로 작은 것이 특징이므로, 영상 전처리부(140)는 이러한 잡음의 크기 특징을 이용하여 잡음을 제거하고, 잡음이 제거된 영상을 기반으로 관심 영역을 추출할 수 있다.
도 5는 피부경 영상에서 추출된 객체들의 크기 분포도의 예시도이다. 통상적으로 모발, 피부각질 등의 크기는 피부 병변(Lesion component)(예를 들어, 흑색종)의 크기보다 작기 때문에, 피부 병변과의 크기 차이가 설정값을 초과하는 작은 크기의 객체들을 피부경 영상에서 제거함으로써, 모발이나 피부각질 등의 잡음(noise)을 제거할 수 있다. 피부 병변의 경우 영상에서 가장 많은 화소들을 포함하고 있으며, 상대적으로 잡음은 병변보다 작은 크기의 구성요소를 가지게 된다.
영상 전처리부(140)는 피부 병변 부위 이외의 모발, 정상피부, 피부각질과 같은 잡음을 제거하기 위하여 전처리 과정에서 획득한 이진 영상을 기반으로 구성요소들(객체들)의 크기를 비교할 수 있다. 즉, 영상 전처리부(140)는 이진 영상에서 피부 병변보다 작은 크기의 객체들(예를 들어, 모발, 피부각질 등)을 검출할 수 있다(S34). 영상 전처리부(140)는 피부 병변과 객체 간의 크기 차이를 기반으로 모발 및 피부각질을 포함하는 잡음을 제거한다(S36).
도 6은 본 발명의 실시예에 따라 피부경 영상을 전처리하는 과정의 예시도이다. 도 6의 (a)는 피부경 영상으로부터 변환된 이진 영상, (b)는 잡음 제거된 이진 영상, (c)는 피부 병변 경계를 추출한 결과, (d)는 관심 영역 추출 결과이다. 도 6의 (b)에서, 모발이나 피부각질 등에 의해 발생하는 잡음이 효과적으로 제거된 것을 확인할 수 있다.
이진 영상에서 잡음이 제거되면, 영상 전처리부(140)는 잡음이 제거된 영상을 이용하여 피부 병변 부위에 대한 정보를 추출하고, 추출한 정보를 기반으로 정상 피부에 대한 정보를 최소화하는 영상 재구성을 진행한다. 실시예에서, 영상 전처리부(140)는 피부경 영상에서 정상 피부의 화소값을 0으로 변환하여 피부 병변 만을 포함하는 관심 영역을 추출할 수 있다(S38).
실시예에서, 영상 전처리부(140)는 영상의 피부 병변 부위에 대한 경계선을 추출하고, 추출한 경계선을 기반으로 피부 병변 부위에 대한 크기를 계산할 수 있다. 영상 전처리부(140)는 계산된 피부 병변 부위의 크기를 기반으로 병변 부위에서부터 정상 피부에 대한 정보를 제거하고, 피부 병변 부위를 제외한 영역에서 특징이 추출되는 것을 방지하기 위하여 피부 병변 부위를 제외한 나머지 영역(정상 피부)의 화소 값을 0으로 변환하여 도 6의 (d)에 도시된 바와 같이 관심 영역을 추출할 수 있다. 이에 따라, 정상 피부와 잡음으로 발생하는 특징들의 오류를 최소화할 수 있다.
종래에 전문의는 임상적인 경험을 기반으로 육안으로 피부경 영상을 확인하여 ABCD 방법 등에 의해 질환을 진단하게 되는데, 이러한 주관적인 진단은 오류를 발생시킬 수 있는 문제점이 있다. 이러한 문제점을 보완하기 위하여 본 발명의 실시예에서는 피부경 영상에서 화소 정보를 모두 활용하고, 화소 군집의 유사성을 기반으로 2개의 변환 행렬들을 생성하고, 변환 행렬들로부터 특징들을 추출하여 피부 질환을 분류한다.
도 7은 본 발명의 실시예에 따른 피부 질환 자동 분류 장치를 구성하는 피부질환 분류부의 구성도이다. 도 2, 도 3 및 도 7을 참조하면, 피부질환 분류부(150)는 피부경 영상의 화소들의 밝기값들과 히스토그램, 영상 정보로부터 생성된 2개의 변환 매트릭스들(GLCM, GLRLM)을 통하여, 관심 영역에서 피부 질환과 관련된 다양한 특징들(화소 특징들, GLCM 특징들 및 GLRLM 특징들)을 추출하고(S40~S90), 추출된 특징들을 학습부(120)에 의해 학습된 기계학습 모델(예를 들어, 서포트 벡터 머신 모델)에 적용하여 흑색종 등의 피부 질환을 분류할 수 있다(S100). 실시예에서, 피부질환 분류부(150)는 히스토그램 산출부(151), 화소 특징 추출부(152), GLCM 변환부(153), GLCM 특징 추출부(154), GLRLM 변환부(155), GLRLM 특징 추출부(156) 및 분류기(157)를 포함할 수 있다.
히스토그램 산출부(151)는 피부 병변을 촬영한 영상의 관심 영역에서 화소들의 밝기값들의 히스토그램(Histogram)을 산출한다(S40). 화소 특징 추출부(152)는 화소들의 밝기값들의 히스토그램을 1차 통계분석하여 화소 특징들을 추출한다(S50). 화소 정보만을 이용한 화소 특징들은 화소 고유의 정보와 화소 정보의 빈도수를 이용하는 히스토그램에 관련된 특징들로, 영상의 전체적인 정보를 나타내는 중요한 특징으로 활용될 수 있다.
실시예에서, 화소 특징 추출부(152)는 영상의 화소값들의 평균, 표준편차, 스큐(skew), 커토시스(kurtosis), 엔트로피(entropy) 및 제곱평균제곱근(root mean square)을 포함하는 화소 특징들을 추출할 수 있다. 수식 (4) 내지 (7)은 피부 병변에 대한 특징 추출에 사용되는 화소 특징들의 수식이다.
[수식 (4) 내지 (7)]
수식 (4) 내지 (7)에서, 
는 관심 영역 안의 화소 정보(화소값), 
는 관심 영역 안의 화소에 대한 히스토그램, N은 화소 개수, Ent는 히스토그램의 엔트로피, Kur는 화소값들의 커토시스, RMS는 화소값들의 제곱평균제곱근, STD는 화소값들의 표준편차이다.
수식(4)의 엔트로피(entropy)는 무질서도의 척도로서, 영상 내의 픽셀들의 히스토그램들의 빈도에 관한 특징을 나타낸다. 수식 (5)의 커토시스(kurtosis)는 영상 내의 화소값들의 분포가 특정 값에 얼마나 많이 분포하는지를 확률분포로 알 수 있는 척도를 나타낸다. 수식 (6)과 (7)의 제곱평균제곱근(root mean square)과 표준편차(standard deviation)는 화소값들의 변화 크기에 대한 통계적 척도와 행렬 내의 값들의 산포도에 관련된 화소 특징으로 사용될 수 있다.
GLCM 변환부(153)는 화소의 연속성에 관련된 특징을 추출하기 위하여, 영상의 관심 영역 내 화소값들을 화소값들 간의 인접성을 나타내는 회색도 동시발생 행렬(GLCM; Gray-Level Co-occurrence Matrix)로 변환한다(S60). 도 8은 본 발명의 실시예에 따라 영상으로부터 변환된 회색도 동시발생 행렬(GLCM)의 예시도이다.
GLCM은 인접한 화소들의 화소값들의 빈도를 나타낸 것으로, N×N 크기(N은 전체 화소값들의 개수임)를 갖는 행렬이다. GLCM 변환부(153)는 X번째(X는 N 이하의 정수) 화소값, Y번째(Y는 N 이하의 정수) 화소값에 해당하는 인접 화소군이 발견될 때마다 (X, Y) 픽셀의 값을 1씩 증가시켜 GLCM을 생성할 수 있다. 도 8의 예에서, 화소값 '1'을 가지는 화소들이 연속된 빈도가 1이므로 GLCM의 1행 1열의 성분은 1이고, 화소값 '2'(GLCM의 2번째 행)를 가지는 화소와 화소값 '1'(GLCM의 1번째 열)을 가지는 화소가 연속된 빈도가 2이므로 GLCM의 2행 1열의 성분이 2가 된다. 이렇게 변환된 GLCM을 사용하여, 관심 영역 내의 영상에서 어느 한 화소와 인접 화소와의 연속성에 대한 분석이 가능하게 된다.
GLCM 특징 추출부(154)는 회색도 동시발생 행렬(GLCM)의 화소값들을 기반으로 GLCM 특징들을 추출한다(S70). 실시예에서, GLCM 특징 추출부(154)는 회색도 동시발생 행렬(GLCM)의 화소값들의 자가상관관계(auto-correlation), 대조도(대비도)(contrast), 상관관계(correlation), 비유사도(dissimilarity), 에너지(energy) 및 동질성(균질성)(homogeneity)을 포함하는 GLCM 특징들을 추출할 수 있다. 실시예에서, GLCM 특징 추출부(154)는 하기의 수식 (8) 내지 (10)에 따라 GLCM에서 GLCM 특징들을 추출할 수 있다.
[수식 (8) 내지 (10)]
수식 (8) 내지 (10)에서, Cont는 GLCM의 화소값들의 대조도, Corr은 GLCM의 상관관계, Homo는 GLCM의 동질성, 
와 
는 행렬의 위치, 
는 GLCM의 화소값, 
는 GLCM으로 변환되기 전의 영상의 화소값, 
는 
의 평균값, 
는 GLCM에서 행에 대한 확률, 
는 
의 평균값, 
는 GLCM에서 열에 대한 확률, 
는 
의 표준편차, 
는 
의 표준편차이다.
수식(8)의 대조도(contrast)는 영상 내의 화소의 대비도가 얼마인지에 대한 척도의 특징으로 사용된다. 수식(9)의 상관관계(correlation)는 영상 내의 화소 값들이 서로 얼마나 유사한지에 대한 척도의 특징으로 사용된다. 수식 (10)의 동질성(homogeneity)은 영상의 화소들에 얼마나 유사한 화소값들이 분포되어 있는지에 대한 척도의 특징으로 사용된다.
GLRLM 변환부(155)는 영상의 화소값들을 화소값들의 연속길이를 나타내는 회색도 연속길이 행렬(GLRLM; Gray Level RunLength Matrix)로 변환한다(S80). 도 9는 본 발명의 실시예에 따라 영상으로부터 변환된 회색도 연속길이 행렬(GLRLM)의 예시도이다. GLRLM은 특정 밝기 값을 가진 화소가 얼마나 길게 연속적으로 동일한 값으로 유지되는지(군집성)에 관한 행렬로, 관심 영역 내의 영상에서 화소값이 연속하여 나타나는 빈도를 누적하여 생성될 수 있다. GLRLM의 행은 화소값들이고, 열은 화소값의 연속 횟수이다. GLRLM 변환부(153)는 x번째(x는 N 이하의 정수) 화소값이 y번 연속하여 나타날 때마다, (x, y) 픽셀의 값을 1씩 증가시켜 GLRLM을 생성할 수 있다. 도 9의 예에서, 화소값 '1'(GLRLM의 1행)을 가지는 화소가 연속하여 2번(GLRLM의 2열) 출현한 빈도가 1이므로, 1행 2열 성분값이 1이고, 화소값 '4'(GLRLM의 4행)를 가지는 화소가 연속하여 3번(GLRLM의 3열) 출현한 빈도가 1이므로, 4행 3열 성분값이 1이 된다.
GLRLM 특징 추출부(156)는 회색도 연속길이 행렬의 화소값들을 기반으로 GLRLM 특징들을 추출한다(S90). 실시예에서, GLRLM 특징 추출부(156)는 회색도 연속길이 행렬(GLRLM)의 화소값들을 기반으로 SRE(Short Run Emphasis), LRE(Long Run Emphasis), GLNU(Gray Level Non-Uniformity), RP(Run Percentage), RLNU(Run Length Non-Uniformity) 및 HGLRE(High Gray Level Run Emphasis)를 포함하는 GLRLM 특징들을 추출할 수 있다.
분류기(157)는 화소 특징들, GLCM 특징들 및 GLRLM 특징들을 기계학습 모델에 적용하여 피부 질환을 분류한다(S100). 실시예에서, 기계학습 모델은 서포트 벡터 머신(SVM; Support Vector Machine) 모델을 포함할 수 있다. 본 발명의 실시예에 의하면, 육안으로 판단하기 어려운 객관적 피부 질환 특징들을 추출하여 피부 질환의 분류에 활용함으로써, 높은 정확도로 흑색종, 모반증 등의 피부 질환을 분류할 수 있으며, 주관적 판단을 배제하고 객관적으로 피부 질환을 분류할 수 있다.
본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 피부 질환 분류 성능 및 유효성을 평가하기 위하여, DerMIS와 Dermquest의 공인된 흑색종 데이터 43개와 76개의 영상에 대하여 학습과 테스트를 진행하고, MATLAB R2017a(MathWorks) 환경에서 실험을 수행하여, 동일한 학습데이터와 시험데이터를 이용하여 피부 분류 정확도를 종래 방식과 비교하였다. SVM 학습을 위해, 학습데이터를 전처리하고 관심 영역을 추출한 후, 관심 영역의 영상을 이용하여 화소와 GLCM과 GLRLM 변환을 수행하고, 변환된 행렬들에서 특징 값들을 추출하였다. 도 10은 본 발명의 실시예에 따라 기계학습에 사용된 흑색종 영상들(a)과 모반증 영상들(b)의 예시도이다.
 |
표 1은 학습데이터에 사용된 흑색종(Melanoma)과 모반증(Nevus)에 대한 특징 값들(Pixel features, GLCM features, GLRLM features)을 나타낸다. 표 1로부터, 흑색종과 모반증이 지니는 특징으로 인하여 화소 정보에서 육안으로는 크게 보이지 않던 차이점들이 변환 행렬들(GLCM, GLRLM)로부터 추출된 특징 값들에서 나타나는 것을 확인할 수 있다. 이러한 특징 값들을 이용하여 임의의 테스트 영상을 이용하여 SVM 분류기를 통해 피부 질환 분류를 수행하였다.
도 11은 본 발명의 실시예에 따른 피부 질환 자동 분류 방법의 피부 질환 분류 정확도 성능을 보여주는 도면이다. 도 11에서 Alpha는 ABCD 방법만을 이용하여 흑색종과 모반증을 분류하였을 때의 분류 정확도, Beta는 ABCD 방법과 화소 기반의 특징을 이용한 경우의 분류 정확도, Theta는 ABCD 방법과 화소 특징들 및 GLCM 특징들을 이용한 경우의 분류 정확도, Delta는 ABCD 방법과 화소 특징들, GLCM 특징들 및 GLRLM 특징들을 모두 적용한 경우의 분류 정확도이다.
본 발명의 실시예에 의하면, 육안으로 확인이 어려운 화소의 미세한 정보(화소 특징들)와 인접 화소들의 유사성을 기반으로 한 변환 행렬들 및 변환 행렬들에서 추출한 GLCM/GLRLM 특징들을 적용하여 흑색종의 분류 정확도가 향상되는 것을 확인할 수 있다. 본 발명의 실시예에 따른 피부 질환 자동 분류 방법은 피부 질환 판별에 있어서 정량적이고 객관적인 분석 및 진단에 활용될 수 있으며, 특히 흑색종과 같은 피부 질환에 대한 조기 발견 시스템에 유용하게 활용될 수 있다. 또한, 본 발명의 실시예에 따른 피부 질환 자동 분류 방법은 흑색종 이외의 다른 피부 질환에 대해서도 조직 검사와 같은 침습적인 진단을 진행하기 전에 효과적으로 질환에 대한 정보를 제공하는데 활용될 수 있다.
본 발명의 실시예에 따른 피부 질환 자동 분류 방법은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.
100: 피부 질환 자동 분류 장치
110: 제어부
120: 학습부
130: 영상 획득부
140: 영상 전처리부
150: 피부질환 분류부
151: 히스토그램 산출부
152: 화소 특징 추출부
153: GLCM 변환부
154: GLCM 추출부
155: GLRLM 변환부
156: GLRLM 특징 추출부
157: 분류기
160: 저장부
110: 제어부
120: 학습부
130: 영상 획득부
140: 영상 전처리부
150: 피부질환 분류부
151: 히스토그램 산출부
152: 화소 특징 추출부
153: GLCM 변환부
154: GLCM 추출부
155: GLRLM 변환부
156: GLRLM 특징 추출부
157: 분류기
160: 저장부
Claims (15)
- 피부 병변을 촬영한 영상에서 화소들의 밝기값들의 히스토그램을 산출하고, 상기 히스토그램을 통계분석하여 화소 특징을 추출하는 단계;
상기 영상의 화소값들을 상기 화소값들 간의 인접성을 나타내는 회색도 동시발생 행렬(GLCM; Gray-Level Co-occurrence Matrix)로 변환하는 단계;
상기 회색도 동시발생 행렬의 화소값들을 기반으로 GLCM 특징을 추출하는 단계;
상기 영상의 화소값들을 상기 화소값들의 연속길이를 나타내는 회색도 연속길이 행렬(GLRLM; Gray Level RunLength Matrix)로 변환하는 단계;
상기 회색도 연속길이 행렬의 화소값들을 기반으로 GLRLM 특징을 추출하는 단계; 및
상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 기계학습 모델에 적용하여 피부 질환을 분류하는 단계를 포함하는 피부 질환 자동 분류 방법. - 제1항에 있어서,
상기 화소 특징은 상기 영상의 화소값들의 평균, 표준편차, 스큐(skew), 커토시스(kurtosis), 엔트로피(entropy) 및 제곱평균제곱근(root mean square)을 포함하는 피부 질환 자동 분류 방법. - 제1항에 있어서,
상기 GLCM 특징은 상기 회색도 동시발생 행렬의 화소값들의 자가상관관계(auto-correlation), 대조도(contrast), 상관관계(correlation), 비유사도(dissimilarity), 에너지(energy) 및 동질성(homogeneity)을 포함하는 피부 질환 자동 분류 방법. - 제1항에 있어서,
상기 GLRLM 특징은 상기 회색도 연속길이 행렬의 화소값들을 기반으로 추출되는 SRE(Short Run Emphasis), LRE(Long Run Emphasis), GLNU(Gray Level Non-Uniformity), RP(Run Percentage), RLNU(Run Length Non-Uniformity) 및 HGLRE(High Gray Level Run Emphasis)를 포함하는 피부 질환 자동 분류 방법. - 제1항에 있어서,
상기 기계학습 모델은 서포트 벡터 머신(SVM; Support Vector Machine) 모델을 포함하는 피부 질환 자동 분류 방법. - 제1항에 있어서,
피부경(dermoscopy)을 이용하여 상기 피부 병변을 촬영하여 피부경 영상을 획득하는 단계;
상기 피부경 영상을 이진 영상으로 변환하고, 상기 이진 영상에서 상기 피부 병변보다 작은 크기의 객체를 검출하는 단계;
상기 피부 병변과 상기 객체의 크기 차이를 기반으로 모발 및 피부각질을 포함하는 잡음을 제거하는 단계; 및
상기 피부경 영상에서 정상 피부의 화소값을 0으로 변환하여 피부 병변 만을 포함하는 관심 영역을 추출하는 단계를 더 포함하는 피부 질환 자동 분류 방법. - 제1항에 있어서,
흑색종 영상들 및 모반증 영상들을 포함하는 학습 영상 데이터를 기반으로 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 학습하여 상기 기계학습 모델을 생성하는 단계를 더 포함하고,
상기 피부 질환을 분류하는 단계는 학습된 상기 기계학습 모델을 기반으로 상기 피부 병변을 흑색종과 모반증 중 어느 하나로 분류하는 단계를 포함하는 피부 질환 자동 분류 방법. - 제1항 내지 제7항 중 어느 한 항의 피부 질환 자동 분류 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
- 적어도 하나의 프로세서를 포함하는 피부 질환 자동 분류 장치에 있어서,
상기 적어도 하나의 프로세서는,
피부 병변을 촬영한 영상에서 화소들의 밝기값들의 히스토그램을 산출하고, 상기 히스토그램을 통계분석하여 화소 특징을 추출하고;
상기 영상의 화소값들을 상기 화소값들 간의 인접성을 나타내는 회색도 동시발생 행렬(GLCM; Gray-Level Co-occurrence Matrix)로 변환하고;
상기 회색도 동시발생 행렬의 화소값들을 기반으로 GLCM 특징을 추출하고;
상기 영상의 화소값들을 상기 화소값들의 연속길이를 나타내는 회색도 연속길이 행렬(GLRLM; Gray Level RunLength Matrix)로 변환하고;
상기 회색도 연속길이 행렬의 화소값들을 기반으로 GLRLM 특징을 추출하고; 그리고
상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 기계학습 모델에 적용하여 피부 질환을 분류하도록 구성되는 피부 질환 자동 분류 장치. - 제9항에 있어서,
상기 화소 특징은 상기 영상의 화소값들의 평균, 표준편차, 스큐(skew), 커토시스(kurtosis), 엔트로피(entropy) 및 제곱평균제곱근(root mean square)을 포함하는 피부 질환 자동 분류 장치. - 제9항에 있어서,
상기 GLCM 특징은 상기 회색도 동시발생 행렬의 화소값들의 자가상관관계(auto-correlation), 대조도(contrast), 상관관계(correlation), 비유사도(dissimilarity), 에너지(energy) 및 동질성(homogeneity)을 포함하는 피부 질환 자동 분류 장치. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 GLRLM 특징은 상기 회색도 연속길이 행렬의 화소값들을 기반으로 추출되는 SRE(Short Run Emphasis), LRE(Long Run Emphasis), GLNU(Gray Level Non-Uniformity), RP(Run Percentage), RLNU(Run Length Non-Uniformity) 및 HGLRE(High Gray Level Run Emphasis)를 포함하는 피부 질환 자동 분류 장치. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 기계학습 모델은 서포트 벡터 머신(SVM; Support Vector Machine) 모델을 포함하는 피부 질환 자동 분류 장치. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서는,
피부경(dermoscopy)에 의해 상기 피부 병변을 촬영한 피부경 영상을 이진 영상으로 변환하고;
상기 이진 영상에서 상기 피부 병변보다 작은 크기의 객체를 검출하고;
상기 피부 병변과 상기 객체의 크기 차이를 기반으로 모발 및 피부각질을 포함하는 잡음을 제거하고; 그리고
상기 피부경 영상에서 정상 피부의 화소값을 0으로 변환하여 피부 병변 만을 포함하는 관심 영역을 추출하도록 구성되는 피부 질환 자동 분류 장치. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서는,
흑색종 영상들 및 모반증 영상들을 포함하는 학습 영상 데이터를 이용하여 상기 화소 특징, 상기 GLCM 특징 및 상기 GLRLM 특징을 학습하여 상기 기계학습 모델을 생성하고; 그리고
상기 학습 영상 데이터를 이용하여 학습된 상기 기계학습 모델을 기반으로 상기 피부 병변을 흑색종과 모반증 중 어느 하나로 분류하도록 구성되는 피부 질환 자동 분류 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180024342 | 2018-02-28 | ||
| KR20180024342 | 2018-02-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190104001A true KR20190104001A (ko) | 2019-09-05 |
| KR102208087B1 KR102208087B1 (ko) | 2021-01-27 |
Family
ID=67805902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190024142A KR102208087B1 (ko) | 2018-02-28 | 2019-02-28 | 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102208087B1 (ko) |
| WO (1) | WO2019168381A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102416828B1 (ko) * | 2020-12-28 | 2022-07-05 | 주식회사 래디센 | 실시간 자동 엑스레이 원시 영상 판독 방법 및 시스템 |
| KR102481763B1 (ko) | 2022-03-31 | 2022-12-26 | 한국외국어대학교 연구산학협력단 | 피부 병변 분류 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170107778A (ko) * | 2016-03-16 | 2017-09-26 | 동국대학교 산학협력단 | 피부질환 진단 방법 및 피부질환 진단 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7347365B2 (en) * | 2003-04-04 | 2008-03-25 | Lumidigm, Inc. | Combined total-internal-reflectance and tissue imaging systems and methods |
| KR100948406B1 (ko) * | 2007-11-13 | 2010-03-19 | 성균관대학교산학협력단 | 닭도체의 품질등급 자동 판정 및 중량 산출시스템 |
| KR101436988B1 (ko) * | 2013-01-23 | 2014-09-05 | 경일대학교산학협력단 | 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 |
-
2019
- 2019-02-28 KR KR1020190024142A patent/KR102208087B1/ko active IP Right Grant
- 2019-02-28 WO PCT/KR2019/002438 patent/WO2019168381A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170107778A (ko) * | 2016-03-16 | 2017-09-26 | 동국대학교 산학협력단 | 피부질환 진단 방법 및 피부질환 진단 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| Classifying Cyst and Tumor Lesion Using Support Vector Machine Based on Dental Panoramic Images Texture Features, 2013.02.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102416828B1 (ko) * | 2020-12-28 | 2022-07-05 | 주식회사 래디센 | 실시간 자동 엑스레이 원시 영상 판독 방법 및 시스템 |
| WO2022145898A1 (ko) * | 2020-12-28 | 2022-07-07 | 주식회사 래디센 | 인공지능 기반 실시간 자동 엑스레이 원시 영상 판독 방법 및 시스템 |
| KR102481763B1 (ko) | 2022-03-31 | 2022-12-26 | 한국외국어대학교 연구산학협력단 | 피부 병변 분류 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019168381A1 (ko) | 2019-09-06 |
| KR102208087B1 (ko) | 2021-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Amin et al. | A review on recent developments for detection of diabetic retinopathy | |
| Zhang et al. | Detection of microaneurysms using multi-scale correlation coefficients | |
| Jaworek-Korjakowska | Computer‐aided diagnosis of micro‐malignant melanoma lesions applying support vector machines | |
| Veredas et al. | Binary tissue classification on wound images with neural networks and bayesian classifiers | |
| Lee et al. | Detection of neovascularization based on fractal and texture analysis with interaction effects in diabetic retinopathy | |
| Marques et al. | On the role of texture and color in the classification of dermoscopy images | |
| ALbahbah et al. | Detection of caries in panoramic dental X-ray images using back-propagation neural network | |
| Hatanaka et al. | Improvement of automated detection method of hemorrhages in fundus images | |
| KR102208087B1 (ko) | 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법 | |
| KR102095730B1 (ko) | 딥러닝 기반의 대장 병변 검출 방법 | |
| Zhang et al. | Hierarchical detection of red lesions in retinal images by multiscale correlation filtering | |
| Hernandez-Contreras et al. | Evaluation of thermal patterns and distribution applied to the study of diabetic foot | |
| Alasadi et al. | Diagnosis of malignant melanoma of skin cancer types | |
| CN114170473A (zh) | 基于病理图像的dMMR亚型分类方法及系统 | |
| Sindhu et al. | Automatic detection of colonic polyps and tumor in wireless capsule endoscopy images using hybrid patch extraction and supervised classification | |
| WO2022059596A1 (ja) | 皮表解析装置及び皮表解析方法 | |
| Millenia et al. | Melanoma Detection using Convolutional Neural Network with Transfer Learning on Dermoscopic and Macroscopic Images | |
| Cudek et al. | Automatic system for classification of melanocytic skin lesions based on images recognition | |
| Razazzadeh et al. | A high performance algorithm to diagnosis of skin lesions deterioration in dermatoscopic images using new feature extraction | |
| Audytra et al. | Application of dynamic segmentation in stroke detection software with ANN | |
| Ammal et al. | Texture Feature Analysis in Fundus Image in Screening Diabetic Retinopathy | |
| Mishra et al. | Automatic separation of basal cell carcinoma from benign lesions in dermoscopy images with border thresholding techniques | |
| JP6390458B2 (ja) | 情報処理装置、情報処理システム及び情報処理方法並びに情報処理用プログラム | |
| JP5132559B2 (ja) | デジタル画像のセグメント化方法およびコンピュータ読み取り可能なプログラム記憶装置 | |
| Hiremath et al. | Retracted: Identification of Efficient Features for Detection of diabetes through Iris patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |