KR20140094975A - 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 - Google Patents
투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR20140094975A KR20140094975A KR1020130007696A KR20130007696A KR20140094975A KR 20140094975 A KR20140094975 A KR 20140094975A KR 1020130007696 A KR1020130007696 A KR 1020130007696A KR 20130007696 A KR20130007696 A KR 20130007696A KR 20140094975 A KR20140094975 A KR 20140094975A
- Authority
- KR
- South Korea
- Prior art keywords
- skin
- hemoglobin
- melanin
- pigmentation
- skin region
- Prior art date
Links
- 208000012641 Pigmentation disease Diseases 0.000 title claims abstract description 87
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 56
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 178
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 86
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 45
- 239000000049 pigment Substances 0.000 claims description 82
- 230000008021 deposition Effects 0.000 claims description 57
- 230000019612 pigmentation Effects 0.000 claims description 48
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000012880 independent component analysis Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000007619 statistical method Methods 0.000 claims description 6
- 210000003491 skin Anatomy 0.000 description 154
- 238000005286 illumination Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 14
- 230000037311 normal skin Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 241000212749 Zesius chrysomallus Species 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 206010027146 Melanoderma Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000000516 sunscreening agent Substances 0.000 description 3
- 206010015150 Erythema Diseases 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 231100000321 erythema Toxicity 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- 231100000444 skin lesion Toxicity 0.000 description 2
- 230000036555 skin type Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010001557 Albinism Diseases 0.000 description 1
- 206010004146 Basal cell carcinoma Diseases 0.000 description 1
- 241000021559 Dicerandra Species 0.000 description 1
- 235000010654 Melissa officinalis Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002981 blocking agent Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000000069 hyperpigmentation Diseases 0.000 description 1
- 230000003810 hyperpigmentation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000865 liniment Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 210000002752 melanocyte Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000000475 sunscreen effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/462—Computing operations in or between colour spaces; Colour management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Dermatology (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법에 관한 것으로, 이러한 본 발명은 대상 영상을 입력하는 영상 입력부와, 대상 영상으로부터 피부 영역을 추출하고, 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하며, 상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하고, 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 영상 처리부와, 상기 색소 침착을 판별한 결과를 출력하는 결과 출력부를 포함하는 피부 색소 침착 검출 장치와 이에 따른 방법이 제공된다.
Description
본 발명은 피부 색소 침착 검출 장치 및 방법에 관한 것으로, 보다 상세하게는, 투영 변환 블록 계수를 이용하여 피부 색소 침착 정도를 검출할 수 있는 장치 및 방법에 관한 것이다.
피부는 인체에서 가장 면적이 넓은 기관으로서 색소 침착(pigmentation) 패턴을 변화함으로써 피부의 내외적인 자극들에 대하여 반응한다. 피부 색소 침착은 정상적인 피부와는 다른 색을 띠는 현상을 의미하는데 색소 침착 자체를 건강 이상을 판단하는 인자로 보기는 어렵지만, 흑색종(melanoma), 기저세포암(basal cell carcinoma), 및 편평세포암종(squamous cell carcinoma) 등의 피부질환으로 진행될 수 있다. 따라서 피부 색소 검출은 미용뿐만 아니라 의학적으로도 매우 중요한 역할을 한다.
피부색을 변화하게 하는 주요 원인은 멜라닌(melanin)과 헤모글로빈(hemoglobin) 성분인데, 피부에 포함된 멜라닌 성분의 정도에 따라 피부색이 연노랑, 적갈색 혹은 검게 변하게 되고, 헤모글로빈은 혈액 세포에 산소를 공급하는 역할을 하므로 피부가 붉은색을 띄는 원인이 된다. 따라서 피부에서 멜라닌 및 헤모글로빈 성분의 분포를 분석함으로써 피부 색소의 침착 정도 및 형태를 분석할 수 있는데, 피부 색소 침착 판별에서 가장 많이 활용되는 방법은 육안 검사(visual examination)이다. 이 방법은 의사 및 미용사들이 색소 침착을 판별하는데 가장 많이 활용하지만 검사 결과가 매우 주관적이고 정량적이지 못하다는 단점이 있어, 피부 색소 침착 정도의 정량적 판단 방법에 대한 필요성이 대두되고 있다.
90년대 초부터 디지털 영상 분석 기법이 피부의 색소 침착을 검출하기 위하여 활용되고 있는데, 이는 색소가 침착된 영역 뿐 아니라 색소가 침착된 영역의 크기 및 정도 등을 정량적으로 측정할 수 있다. 컴퓨터 비전 기반의 피부 색소 검출 방법이 제안되었으며, 이 방법에서는 색소 불균형 (skin pigment asymmetry)을 피부 병변(lesion)의 판단 척도로 설정하고 이를 검출하고 정량화하여 색소 침착의 정도를 판단한다. 또한, 색소 침착된 피부 병변의 반점(blotch)을 검출하기 위하여 FCCI (fuzzy co-clustering algorithm for images) 방법이 확장되었고, 반점의 특징을 검출하기 위하여 정규화된 엔트로피 함수(normalized entropy function)가 사용되었다.
기존의 색소 침착 검출 방법에서 신뢰성 있는 정확한 결과들을 도출하기 위해서는 안정적인 조명 및 고성능 피부확대경(dermoscopy)이 피부 영상 획득 과정에 필요하다는 단점이 있다.
상술한 바와 같은 점을 고려한 본 발명의 목적은 상술한 점을 감안한 본 발명의 목적은 기존의 광학적 측정 기술 대신 영상 처리 기술을 사용하여 색소 침착을 검출할 수 있는 장치 및 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 피부 색소 침착 검출 장치는, 대상 영상을 입력하는 영상 입력부; 대상 영상으로부터 피부 영역을 추출하고, 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하며, 상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하고, 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 영상 처리부; 및 상기 색소 침착을 판별한 결과를 출력하는 결과 출력부;를 포함한다.
상기 영상 처리부는 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하고, 형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하여, 상기 피부 영역을 추출하는 것을 특징으로 한다.
상기 영상 처리부는 YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하여 상기 피부 영역을 추출하는 것을 특징으로 한다.
상기 영상 처리부는 ICA(independent component analysis) 알고리즘을 이용하여 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 것을 특징으로 한다.
상기 영상 처리부는 어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여 헤모글로빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 한다.
상기 영상 처리부는 헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 한다.
상기 영상 처리부는 헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는, 상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 피부 색소 침착 검출 방법은, 대상 영상으로부터 피부 영역을 추출하는 단계; 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 단계; 상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하는 단계; 및 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 단계;를 포함한다.
상기 피부 영역을 추출하는 단계는, 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하는 단계; 및 형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하는 단계;를 포함한다.
상기 피부 영역을 추출하는 단계는 YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하는 것을 특징으로 한다.
상기 분리하는 단계는 ICA(independent component analysis) 알고리즘을 이용하여 분리하는 것을 특징으로 한다.
상기 색소 침착을 판별하는 단계는 어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여 헤모글로빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 한다.
상기 색소 침착을 판별하는 단계는 헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 한다.
상기 색소 침착을 판별하는 단계는 헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는 상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 한다.
상술한 바와 같이 본 발명은 색차 성분(Cb, Cr)만을 이용하여 대상 영상으로부터 피부 영역을 도출함으로써, 연산 복잡도를 줄이고, 연산 속도를 줄일 수 있는 이점이 있다. 또한, 피부 색소 침착 검출 방법은 조도 변화에 강인하고, 가시적으로 검출 성능이 우수함을 확인할 수 있다. 또한, 색소 침착 영역 및 정도를 정량화할 수 있는 이점이 있다.
도 1은 피부 조직의 단면 구조를 도시한 단면도이다.
도 2는 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 색소 침착 검출 방법을 설명하기 위한 흐름도이다.
도 4에 다양한 조명 환경에서 촬영된 피부 영상에 대한 Y, Cb, Cr 성분의 분포를 도시한 도면이다.
도 5는 클러스터링된 값들이 넓은 범위를 가지는 세 가지 피부 타입의 반사도(reflectivity)를 도시한 도면이다.
도 6은 GMM-EM 클러스터링 및 형태학적 처리(Morphology Processing) 기반의 피부 검출을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 광 밀도 영역에서 ICA 알고리즘의 동작 원리를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 투영 변환 블록 계수를 설명하기 위한 그래프이다.
도 9는 균일 조도 하에서 얼굴 곡선으로 인한 피부 세기의 불균일성을 설명하기 위한 도면이다.
도 10은 전역 비와 지역 비를 이용한 피부 색소 침착 판정 방법을 도식화한 도면이다.
도 11은 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한 결과를 보이는 화면 예이다.
도 12는 블록의 개수를 가변하면서 투영 변환 블록 계수를 통해 검출된 색소 침착된 영역을 도시하는 도면이다.
도 13은 다양한 조도 환경으로부터 획득된 테스트 영상을 도시하는 도면이다.
도 14는 본 발명의 실시예에 따라 도 13의 테스트 영상에 대한 피부 색소 침착 검출 방법의 조도 변화에 따른 검출 결과를 나타내는 도면이다. 그리고,
도 15는 본 발명의 실시예에 따른 방법과 종래의 방법의 성능을 비교한 그래프이다.
도 2는 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 색소 침착 검출 방법을 설명하기 위한 흐름도이다.
도 4에 다양한 조명 환경에서 촬영된 피부 영상에 대한 Y, Cb, Cr 성분의 분포를 도시한 도면이다.
도 5는 클러스터링된 값들이 넓은 범위를 가지는 세 가지 피부 타입의 반사도(reflectivity)를 도시한 도면이다.
도 6은 GMM-EM 클러스터링 및 형태학적 처리(Morphology Processing) 기반의 피부 검출을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 광 밀도 영역에서 ICA 알고리즘의 동작 원리를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 투영 변환 블록 계수를 설명하기 위한 그래프이다.
도 9는 균일 조도 하에서 얼굴 곡선으로 인한 피부 세기의 불균일성을 설명하기 위한 도면이다.
도 10은 전역 비와 지역 비를 이용한 피부 색소 침착 판정 방법을 도식화한 도면이다.
도 11은 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한 결과를 보이는 화면 예이다.
도 12는 블록의 개수를 가변하면서 투영 변환 블록 계수를 통해 검출된 색소 침착된 영역을 도시하는 도면이다.
도 13은 다양한 조도 환경으로부터 획득된 테스트 영상을 도시하는 도면이다.
도 14는 본 발명의 실시예에 따라 도 13의 테스트 영상에 대한 피부 색소 침착 검출 방법의 조도 변화에 따른 검출 결과를 나타내는 도면이다. 그리고,
도 15는 본 발명의 실시예에 따른 방법과 종래의 방법의 성능을 비교한 그래프이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다. 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
본 발명에서는 주위 조명에 강인하고 피부확대경이 불필요한 디지털 피부 영상의 색소 침착 정도를 검출하고 평가할 수 있는 방법을 제안한다. 본 발명의 실시예에 따르면, 정상 피부와 침착된 피부의 성분 차를 이용하여 색소 침착 정도를 판별하는데, 가우시안 컬러 모델(Gaussian color model) 기반 피부 영역 검출, ICA (independent component analysis)에 의한 헤모글로빈 및 멜라닌 색소 분할, 및 2D 국부 히스토그램(location histogram)에 의한 헤모글로빈 및 멜라닌의 색소 침착 판단 과정으로 구성된다.
일반적으로 색소 침착을 측정하는 방법은 색 좌표계의 특정 성분을 이용하는데 이를 위해서는 피부의 생리 구조와 광학적 특성들에 대하여 연구가 필요하다. 도 1은 피부 조직의 단면 구조를 도시한 단면도이다. 이를 통해 피부의 생리학적(physiological) 구조 및 광학 특성과 색소 침착을 판별할 수 있는 컬러 성분 및 이들의 측정 방법에 대하여 살펴본다.
피부의 색은 피부 조직에 존재하는 멜라닌 및 헤모글로빈 성분의 분포에 의해 결정되는데, 이들은 도 1에서와 같이 표피(Epidermis)와 진피(Dermis)에 각각 존재한다. 멜라닌(Melanin)은 표피층에서 가시광선을 흡수 및 전파하여 피부색을 어둡게 하는 멜라닌 세포(Melanocytes)에 의해 생성되고, 이때 빛의 흡수량은 멜라닌의 단위 부피에 따라 결정되는데 백인, 아시아인, 및 아프리카인의 피부색이 서로 다른 이유가 여기에 있다. 헤모글로빈(Hemoglobin)은 하나의 천연 발색단(chromophore)으로서 혈액 세포(blood cell)에 존재하여 피부가 붉은 색을 띠게 한다. 일반적으로 피부색은 멜라닌과 헤모글로빈에 의해 좌우되는데, 멜라닌 성분이 비정상적으로 과다할 경우 백색증(albinism)과 흑색종(melanoma)이 발병될 수 있고, 헤모글로빈 성분은 홍반(erythematic)이 동반된다.
본 발명에서는 기존의 색소 침착 판별 알고리즘의 문제점들을 개선하고 계산량과 메모리의 감소를 위해 색차 성분(Cb 및 Cr)들만을 이용한 새로운 색소 침착 판별 알고리즘을 제안하며, 이러한 본 발명에 따르면, ICA(independent component analysis) 알고리즘을 통해 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리한 후 국부 히스토그램을 통해 색소 침착 영역의 크기 및 침착 정도를 판정한다. 그러면, 보다 상세히 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법에 대해서 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 피부 색소 침착 검출 장치는 영상 입력부(100), 영상 처리부(200) 및 결과 출력부(300)를 포함한다.
영상 입력부(100)는 피부 색소 침착 검출을 위한 대상 영상을 획득하여, 획득한 대상 영상을 처리부(200)에 제공하기 위한 것이다. 영상 입력부(100)는 다양한 형태로 구현될 수 있다. 예를 들면, 영상 입력부(100)는 카메라 기능을 수행할 수 있는 카메라 모듈이 될 수 있다. 이러한 경우, 영상 입력부(100)는 실제로 대상 영상을 촬영하여, 촬영된 영상을 처리부(200)에 제공할 수 있다. 또는, 영상 입력부(100)는 통신 기능을 가진 통신 모듈로, 통신을 통해 통신이 이루어지는 상대방으로부터 대상 영상을 수신하여, 처리부(200)에 제공할 수도 있다.
영상 처리부(200)는 영상 입력부(100)로부터 대상 영상을 입력 받아, 대상 영상으로부터 피부 영역을 추출하고, 추출된 피부 영역에서 색소 침착을 검출하기 위한 것이다. 이러한 영상 처리부(200)는 피부 영역 추출부(210) 및 색소 침착 검출부(220)를 포함한다. 피부 영상 추출부(210)는 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고 이를 통해 피부 색소 침착을 검출하고자 하는 대상 영상에서 피부 영역을 추출한다. 여기서, 피부 영역 추출부(210)는 가우신안 컬러 모델에 따른 피부 영역 추출 후, 형태학적 처리(morphological processing)를 통해 피부 영역에 존재하는 노이즈를 제거하여, 보다 정확한 피부 영역을 도출할 수 있다.
색소 침착 검출부(220)는 ICA(independent component analysis) 알고리즘을 통해 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하고, 분리된 헤모글로빈 및 멜라닌 성분 각각에 대한 국부 히스토그램(local histogram)을 조사하여 색소 침착 영역 및 크기를 결정한다.
결과 출력부(300)는 색소 침착 검출 결과를 제공하기 위한 것이다. 결과 출력부(300)는 다양한 형태로 구현될 수 있다. 예를 들면, 결과 출력부(300)는 디스플레이 기능을 가지는 디스플레이 모듈로, 영상 처리부(200)로부터 색소 침착 검출 결과를 수신하여 이를 표시하기 위한 것이 될 수 있다. 또는, 결과 출력부(300)는 통신 기능을 가진 통신 모듈로, 영상 처리부(200)로부터 색소 침착 검출 결과를 수신하여 통신을 통해 통신이 이루어지는 상대방에게 네트워크를 통해 색소 침착 검출 결과를 전송할 수도 있다.
도 3은 본 발명의 실시예에 따른 색소 침착 검출 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 먼저, 영상 입력부(100)는 대상 영상을 획득하여 영상 처리부(200)에 입력한다. 예를 들면, 영상 입력부(100)가 카메라 모듈인 경우, 영상 입력부(100)는 실제로 대상 영상을 촬영하여, 촬영된 영상을 처리부(200)에 입력할 수 있다. 또는, 영상 입력부(100)가 통신 모듈인 경우, 영상 입력부(100)는 통신을 통해 통신이 이루어지는 상대방으로부터 대상 영상을 수신하여, 영상 처리부(200)에 입력할 수도 있다.
대상 영상을 입력 받은 영상 처리부(200)는 1 단계에서 피부 영역을 추출한다. 이러한 피부 영역의 추출은 가우시안 컬러 모델을 구축하고, 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하는 처리(1.1 단계)와, 형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하는 처리(1.2 단계)를 포함한다.
다음으로, 영상 처리부(200)는 2 단계에서 ICA 알고리즘을 이용하여 앞서 추출된 피부 영역에서 헤모글로빈과 멜라닌으로 색소 성분들을 분리한다.
이어서, 영상 처리부(200)는 3 단계에서 헤모글로빈과 멜라닌으로 분리된 색소 성분들에 대한 색소 침착을 측정한다. 이러한 색소 침착 측정은 i) 피부 영역을 블록 단위로 구분하였을 때, 각 블록에서 헤모글로빈과 멜라닌의 색소 성분들의 크기를 나타내는 투영 변환 블록 계수를 도출하고(3.1 단계), 전체 헤모글로빈 투영 변환 블록 계수와 멜라닌 투영 변환 블록 계수의 평균 비율인 전역 비와, 특정 블록의 헤모글로빈 투영 변환 블록 계수와 멜라닌 투영 변환 블록 계수의 비율인 지역 비를 이용하여 각 블록에 대한 색소 침착을 검출하는 처리(3.2 단계)를 수행하며, 색소 침착 영역 및 색소 침착 정도를 도출하는 색소 침착 정량화(3.3 단계)를 수행한다.
다음으로, 결과 출력부(300)는 상술한 영상 처리부(200)의 처리 결과를 출력한다.
이하, 상술한 각 단계들에 대해서 보다 상세하게 설명하기로 한다.
1. GMM-EM 기반 피부 영역 추출
1.1 가우시안 컬러 모델 구축 및 피부 영역 추출
본 발명의 실시예에 따른 제안한 방법에서는 피부 색소 검출 전에 피부 영역을 추출하는 전처리 과정이 필요하다. 본 발명의 실시예에 따르면, 다양한 환경에 따라 매개변수를 설정할 수 있는 GMM(Gaussian Mixture Model)-EM(Expectation Maximization) 클러스터링 알고리즘을 이용하여 피부 영역을 추출한다. 이러한 GMM-EM 클러스터링 기반의 피부 영역 추출을 위한 전처리 과정에 대하여 살펴보기로 한다.
도 4에 다양한 조명 환경에서 촬영된 손, 팔, 및 얼굴을 포함하고 있는 200여개의 피부 영상에 대한 Y, Cb, Cr 성분의 분포를 도시한 도면이다. 도 4의 (a)는 YCbCr 좌표계에서 피부 영상들의 Y 성분, 도4의 (b)는 Cb 성분, 도 4의 (c)는 Cr 성분 분포를 나타낸다. 일반적으로 피부색은 주위 조명보다는 색도(chromaticity)에 의해 주로 영향을 받으므로, 도 4에 도시된 바와 같이, 피부 영상들에 대한 색차 성분(Cb 및 Cr)들은 Y 성분에 비해 매우 좁은 분포를 갖게 된다. 이와 같이, YCbCr 색 좌표계의 색차 성분(Cb 및 Cr)이 컬러 군집화에 적합함을 확인할 수 있다. 따라서 전처리 과정에서는 Cb 및 Cr 성분에 대한 적응적 GMM 기반 피부 영역을 추출한다.
GMM-EM 클러스터링은 개 화소의 CbCr 성분 , 이 주어지고, 개 GMM로부터 평균 벡터 가 주어졌을 때, 로그-우도비(Log-Likelihood ratio)가 최대인 변수 집합 를 찾는 것이다. 개 GMM을 위하여, 분포는 가중치 을 가지는 가우시안 분포 의 합으로 정의된다. 여기서 는 , 으로, 개의 평균과 공분산(covariance) 행렬의 변수 집합을 이라 한다.
색차 성분(Cb Cr) 클러스터링 과정에서는, 먼저, 개 GMM들의 초기 변수 , 들을 복수개, 약, 200개 피부 영상(훈련 영상)들로부터 계산한 다음, 초기 우도의 대수값(log-likelihood)을 다음의 수학식 1에 따라 구한다.
1.2 형태학적 처리(morphological processing)를 통해 피부 영역에 존재하는 노이즈를 제거
상술한 바와 같은 방법으로 추출된 피부 영역은 잡음 또는 외부 환경에 의하여 연속되지 않고, 고립된 피부 화소들이 발생될 수 있다. 본 발명의 실시예에서는 재구성에 의한 닫힘 연산(Closing operator by reconstruction)을 사용하여 영역 내부적인 잡음과 돌출된 외부적인 잡음을 제거할 수 있다. 재구성 닫힘 연산에서는 재구성 연산을 위한 시작점을 나타내는 마커(Marker) 와 재구성 연산을 제한하는 마스크(Mask) 이 필요하다. 피부 영역 이진 영상에 침식(erosion) 연산이 수행된 마커 의 초기값을 라 할 때, 번째 연산된 는 다음의 수학식 8과 같다.
여기서 는 3x3 크기의 모폴로지 SE(Structuring element)이고, 는 팽창 (dilation)연산이다. 모폴로지 재구성 연산(형태학적 처리)은 일 때까지 를 팽창한 값과 마스크인 를 비교하여 작은 값을 취한다. 이때 마커 는 을 만족한다. 마스크의 제한 점까지 마커 를 반복적으로 팽창함으로써 이진 영상의 돌출된 부분의 잡음이 제거되고, 이 영상에 역을 수행하여 같은 연산을 수행함으로써 내부의 잡음이 제거된다. 이와 같은 모폴로지 재구성 연산은 열림 연산과 유사하지만, 모양을 유지한다는 장점이 있다.
본 발명의 실시예에 따르면, 수백 장의 얼굴 영상을 가지는 데이터베이스에 대한 실험으로부터 높은 인식률을 가짐을 확인하였다. 이는 대부분 얼굴 영상들은 배경과 피부와의 색상 차이가 매우 크고, 복잡도가 낮기 때문이다. 하지만, 피부 색상과 유사한 색상을 가지는 일부 화소들은 잘못 인식될 수 있다. 문턱치 가 낮게 설정될 경우, 피부의 세기 변화에 매우 민감하여 부정 오류(false negative)로 판정된 화소들이 발생할 수 있다. 반면, 문턱치 가 클 경우, 긍정 오류(false positive)로 판정된 화소들이 발생할 수 있다. 본 발명의 실시예에서는 긍정 오류 판정된 영역이 일련의 처리 과정에서 색소 침착으로 검출되지 않아야 하므로, 문턱치 를 작게 선택하였다. 얼굴 영상 데이터베이스 및 실제 측정 실험으로부터 평균 4% 미만의 부정 오류율과 0.1% 미만의 긍정 오류율이 나타남을 확인하였다.
또한, 본 발명의 실시예에 따르면, 보다 높은 인식률을 확보하기 위하여 세 가지의 피부 타입에 따라 문턱치 를 다르게 설정할 수 있다. 도 5는 클러스터링된 값들이 넓은 범위를 가지는 세 가지 피부 타입의 반사도(reflectivity)를 도시한 도면이다. 피부의 색의 결정하는 반사도는 인종에 따라 분포 범위가 넓기 때문에 다른 인종의 피부색으로 검출되거나 혹은 피부 영역이 피부가 아닌 영역으로 검출될 수 있기 때문에 본 발명의 실시예에서는, 백인, 아시아인, 및 아프리카인('White', 'Normal' 및 'Black')의 피부색 분포에 따라 3가지 피부색으로 군집화하였다. 파장에 따른 각 인종의 피부 반사도는 도 5에 도시된 바와 같다. 이와 같은 문턱치에 의하여 피부 인식률이 향상됨과 동시에 배경에 대한 긍정 오류율이 낮아진다.
도 6은 GMM-EM 클러스터링 및 형태학적 처리(Morphology Processing) 기반의 피부 검출을 도시한 도면이다. 도 6의 (a)의 원 영상에 대한 GMM-EM 클러스터링 기반 피부 검출 영역인 도 6의 (b)를 살펴보면, 연속적이지 않은 고립된 화소들이 일부 나타남을 볼 수 있다. 그러나 재구성에 의한 닫힘 연산인 형태학적 처리에 의하여 처리된 피부 검출 영역인 도 6의 (c)를 살펴보면, 고립된 화소들이 제거됨을 볼 수 있다. 최종 검출된 피부영역인 도 6의 (d)를 살펴보면, 피부 영역과 비-피부 영역들이 잘 분리됨을 볼 수 있다.
2. 피부 색소 분할
본 발명의 실시예에서는 ICA(independent component analysis) 알고리즘을 이용하여 앞서 추출된 피부 영역에서 헤모글로빈과 멜라닌의 색소 성분들을 분리한다. 도 7은 본 발명의 실시예에 따른 광 밀도 영역에서 ICA 알고리즘의 동작 원리를 설명하기 위한 도면이다. 여기서, ICA 알고리즘은 각 성분들에 대한 사전 정보(a priori information)가 없어도 서로 독립적인(independent) 성분들로 구성된 신호로부터 예측된 신호들의 통계적인 독립성(statistical independence)을 최대화함으로써 도 7에서와 같이 각 성분들을 추출할 수 있는 장점이 있다.
본 발명에 따르면, ICA를 컬러 피부 영상에 적용하기 위하여 다음과 같은 3가지 가정을 설정한다. 1) 피부색은 헤모글로빈 및 멜라닌 성분들에 의해 결정된다. 2) 피부 영역에서 헤모글로빈과 멜라닌의 분포는 서로 독립적이다. 3) 피부 영상과 헤모글로빈 및 멜라닌의 양은 광 밀도(optical density) 영역에서 선형성(linearity)을 갖는다.
여기서 은 전치 행렬을 의미하고, , , 및 는 각각 RGB 색 좌표계에서 R, G, 및 B 성분의 화소값이다. 그리고 나머지 2가지 가정에 의해 광 밀도 벡터 는 다음의 수학식 10과 같이 표현될 수 있다.
여기서 및 는 각각 멜라닌 및 헤모글로빈의 밀도 벡터이고, 및 는 각각 멜라닌 및 헤모글로빈 성분의 크기 값이며, 는 다른 피부 조직에 의해 영향을 받는 공간 정상 벡터(spatially stationary vector)를 나타낸다. 따라서 피부 영상의 벡터 은 다음의 수학식 11과 같이 표현될 수 있다.
이때 두 성분의 크기는 다음의 수학식 12와 같다.
여기서 는 의 예측치를 의미하고, 및 는 합성 인자 (synthesis parameter)를 나타낸다. 본 발명의 실시예에서는 멜라닌 및 헤모글로빈에 대하여 및 와 같이 각각 설정한다. 도 6은 광 밀도 영역에서의 헤모글로빈 및 멜라닌 성분 크기를 보여준다. 위와 같은 방법에 의하여 크기의 피부 영역에서 각 위치에 대한 멜라닌 성분 크기 과 헤모글로빈 성분 크기 를 각각 구할 수 있다.
본 발명에 따르면, 헤모글로빈과 멜라닌 성분이 동시에 존재하는 피부 영역에서 멜라닌 색소의 분포는 헤모글로빈 색소로부터 영향을 받지 않고, 작은 화소값을 갖는 피부 영역은 멜라닌 성분에 의해 색소 침착이 발생됨을 알 수 있다.
3. 색소 침착 측정
3.1. 투영 변환 블록 계수 도출
도 8은 본 발명의 실시예에 따른 투영 변환 블록 계수를 설명하기 위한 그래프이다. 도 8을 참조하면, 본 발명의 실시예에서는 헤모글로빈 및 멜라닌 성분이 존재하는 위치를 파악하기 위하여 이들의 투영 변환 블록 계수를 구한다. 투영 변환 블록 계수는 가로축 X 및 세로축 Y의 이산 구간별로 투영된 평균값을 나타낸 것이다. 두 축 상에서 분할된 이산 구간들은 블록으로 나타내어지며, 하나의 블록은 두 축에 투영된 2개의 계수들로 구성된 투영 변환 블록 계수를 가진다.
본 발명에 따르면, 피부 영역을 블록 단위로 나누어 X 및 Y축 방향으로 투영된 멜라닌 크기 및 헤모글로빈 크기 에 대한 투영 변환 블록 계수를 구한다. 피부 영역의 해상도가 이고, 블록의 크기가 일 때, 각 축에 대한 분할된 이산 구간의 개수는 , 이고, 블록의 개수는 이다. 멜라닌 크기 에 대한 번째 이산 구간의 X축 투영 계수 와 번째 이산구간의 Y축 투영 계수 는 다음의 수학식 14 및 수학식 15와 같이 정의된다.
이와 마찬가지로, 헤모글로빈 투영 변환 블록 계수는 다음의 수학식 17과 같다.
즉, 상술한 바와 같이, 투영 변환 블록 계수는 피부 영역을 블록 단위로 나누어 X 및 Y축 방향으로 투영된 멜라닌 크기 및 헤모글로빈 크기 를 반영하며, 구해진 투영 변환 블록 계수는 Z축의 강도(intensity)값으로 표현된다. 이러한 Z축의 강도(intensity)값은 헤모글로빈 및 멜라닌 성분에 대한 해당 블록에 속해 있는 화소들의 평균값이 될 수 있다.
도 8에 피부 영역에 대한 헤모글로빈 및 멜라닌의 투영 변환 블록 계수가 도시되었다(도 8의 (a)는 헤모글로빈 성분, (b)는 멜라닌 성분의 투영 변환 블록 계수). 블록 계수 및 색소 침착 측정은 블록의 개수에 따라 달라진다. 일반적으로 정상 피부는 주변 영역보다 높은 계수를 가지나, 색소 침착은 낮은 계수를 가진다. 이와 같은 성질을 이용함으로써 색소 침착이 검출될 수 있다. 본 발명의 실시예에 따르면, 블록 개수를 조정하여 색소 침착 검출률을 조절할 수 있다.
3.2. 색소 침착 검출
도 9는 균일 조도 하에서 얼굴 곡선으로 인한 피부 세기의 불균일성을 설명하기 위한 도면이다. 일반적으로 피부 표면은 균일하지 않기 때문에 빛을 흡수하는 피부 표면의 방향에 따라 동일한 조명 조건에서도 피부 영상은 서로 다른 밝기 값을 갖게 된다. 즉, 얼굴 또는 몸은 평탄하지 않으므로, 도 9에서와 같이 피부 세기는 균일 조도 하에서도 일정하지 않다. 이러한 영향은 헤모글로빈 및 멜라닌 영역에 동시에 작용한다. 이와 같은 불균일한 피부 세기 분포에서도 색소 침착은 피부의 전 영역에서 검출되어야 한다. 본 발명의 실시예에 따르면, 곡선에 의한 불균일성을 최소화하면서 색소 침착을 판별하기 위하여 헤모글로빈과 멜라닌 성분에 대한 전역 비(global ratio) 를 다음의 수학식 18과 같이 설정하고, 블록 내의 지역 비(local ratio) 을 다음의 수학식 19와 같이 설정한다.
는 번째 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내고, 는 전체 블록에 대한 두 성분의 투영 변환 블록 계수 크기의 평균 비율을 나타낸다. 본 발명의 실시예에 따르면, 지역 비 를 전역 비 와 비교함으로써 블록 내의 색소 침착 발생 여부를 다음의 수학식 20과 같이 판정할 수 있다.
도 10은 전역 비와 지역 비를 이용한 피부 색소 침착 판정 방법을 도식화한 도면이다. 도 10을 참조하면, 전역 비 의 값이 지역 비 와 문턱치 의 합한 값 보다 크면 홍점(red spot)이라고 판정하고, 가 지역 비 에서 문턱치 를 차감한 값 보다 작으면 흑점(black spot)으로 판정한다.
본 발명의 실시예에서는 균일한 조명 환경에서 정상 피부 영역의 지역 비는 전역 비와 거의 유사하며, 이 두 비율들은 색소 침착에 의해서만 영향을 받는다고 가정한다. 이와 같은 가정 하에 색소 침착 영상들의 헤모글로빈과 멜라닌 성분들을 비교하면, 색소 침착 영역의 지역 국부 비와 정상 피부 영역의 국부 비의 차이가 약 35에 가까우면, 가시적으로 두 영역들 간의 차이가 작으며, 반대로 두 비율의 차이가 60 이상이면 가시적으로 현격한 차이가 나타남을 확인할 수 있다. 또한, 본 발명의 실시예에서는 색소 침착 영역과 정상 피부 영역과의 일반적인 차이에 따라 문턱치를 결정하였다.
3.3. 색소 침착 정량화
위에서 구한 투영 변환 블록 계수에 의하여 획득된 색소 침착은 영역과 정도(degree)로 정량화될 수 있다. 색소 침착의 영역 은 헤모글로빈 및 멜라닌으로 판별된 블록들의 면적 비율로 다음의 수학식 21과 같이 계산되어진다.
여기서 는 헤모글로빈 또는 멜라닌으로 판별된 블록들의 개수를 나타낸다. 색소 침착 정도는 정상 피부와의 표준 편차로 계산되어진다. 헤모글로빈 또는 멜라닌 색소 침착으로 판별된 임의의 블록 내의 색소 침착 정도는 해당 블록 내의 화소값 와 색소 침착으로 판별되지 않은 블록들의 평균 화소값 에 대한 표준 편차 로 다음의 수학식 22와 같이 정의된다.
이는 색소 침착된 영역의 화소와 정상 피부의 화소와의 차이를 나타내는 척도로서, 화장(make-up) 전후의 색소 침착의 개선을 측정하는 용도로도 사용될 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따르면, 피부 색소 침착 검출 방법은 1. 피부 영역 추출, 2. 헤모글로빈 및 멜라닌 성분으로의 피부 영상 분할, 및 3. 색소 침착 측정 단계로 구성된다.
1 단계인 피부 영역 추출 단계에서는 사람의 손, 팔, 얼굴 등을 포함하는 200개의 피부 영상을 분석하여 GMM-EM 클러스터링 기반 피부 영역을 추출하였다.
2 단계인 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한다. 도 11은 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한 결과를 보이는 화면 예이다. 도 11의 (a)는 흑점(black spot)을 가지는 피부이며, 이에 대한 (b) 멜라닌과 (c) 헤모글로빈 성분, (d)는 홍점(red spot)을 가지는 피부이며, 이에 대한 (e) 멜라닌과 (f) 헤모글로빈 성분을 나타낸다. 보인 바와 같이, 흑점 및 홍점의 다른 색소 침착 영상에 대한 멜라닌 및 헤모글로빈 성분을 분리한 예를 보여준다. 이로부터 제안한 방법이 두 성분의 색소 침착을 정확하게 검출함을 알 수 있다.
3 단계에서는 분리된 헤모글로빈 및 멜라닌 성분에 대한 투영 변환 블록 계수를 계산한다. 본 실험으로부터 정상 피부에서는 전역 비 와 지역 비 가 유사한 값을 가짐을 확인하였고, 흑점 및 홍점을 포함하고 있는 피부에서는 서로 상이한 값을 가짐을 확인하였다. 도 12는 블록의 개수를 30x30과 100x100으로 가변하면서 투영 변환 블록 계수를 통해 검출된 색소 침착된 영역을 도시하는 도면이다. 도 12에서 색소 침착으로 판별된 블록들은 녹색으로 표시되어 있다.
도 13은 다양한 조도 환경으로부터 획득된 테스트 영상을 도시하는 도면이며, 도 14는 본 발명의 실시예에 따라 도 13의 테스트 영상에 대한 피부 색소 침착 검출 방법의 조도 변화에 따른 검출 결과를 나타내는 도면이다. 조도 변화에 대한 검출 평가를 위하여, 도 13에 보인 바와 같이, 단일 광원, 다중 광원, 및 태양광에 대한 6개의 조도 환경으로부터 생성된 60개의 테스트 영상들을 사용하였다. 테스트 영상들은 자동 화이트 Nikon D90 카메라로부터 획득된 것이다. 테스트 영상으로부터 검출된 결과는 도 14와 같으며, 녹색으로 표기된 블록은 색소 침착으로 판별된 것이다. 각 조도 환경에 대한 색소 침착의 영역과 그 정도들은 다음의 표 1과 같다.
|
Dark shadow |
Medium shadow | Light shadow |
Lights | Sun | Specular |
Detected area | 6.95% | 11.52% | 7.54% | 9.68% | 8.14% | 4.97% |
Standard deviation | 17.04 | 18.07 | 15.54 | 20.07 | 16.61 | 8.54 |
Error rate | 22.85% | 52.79% | 1.28% | 0% | 1.19% | 48.7% |
표 1에 보인 바와 같이, 본 발명의 실시예에 따른 피부 색소 침착 검출 방법은 조도 변화에 강인하고, 가시적으로 검출 성능이 우수함을 확인할 수 있다.
본 발명에 따른 색소 침착 검출 방법은 자외선 차단제의 성능 평가에 적용될 수 있다. 이를 위하여 실험을 통해 피부 색소 침착을 감추는 기능을 가지는 3개 브랜드에서 생산되는 자외선 차단제에 대하여 성능을 평가하였다. 실험 평가에서는 색소 침착된 피부에 차단제의 약 0.05ml 정도를 바른 후, 색소 침착의 정도를 측정하였고, 또한 차단제가 적용된 영역을 정상 피부 영역 및 색소 침착된 영역과 가시적으로 비교하였다. 이 때 자외선 차단제가 적용된 피부 색상은 정상 피부에 가깝다. 다음의 표 2는 3 종의 자외선 차단제에 대한 평가 결과를 보인다.
색소 침착 없는 피부 | 색소 침착이 있는 피부 | 테스트 샘플 1 | 테스트 샘플 2 | 테스트 샘플 3 | |
브랜드 및 아이템 | - | - | H사. primer base | M사 blemish cover balm |
E사 BB magic cream |
검출된 영역 | 0.00% | 9.68% | 0.12% | 0.00% | 0.15% |
표준 편차 | 7.61 | 20.07 | 9.17 | 7.72 | 8.98 |
표 2로부터, 자외선 차단제이 적용된 피부 영상에서 색소 침착의 영역이 매우 작았으며, 샘플 2의 표준 편차가 제일 작음을 확인하였다. 이 표준 편차는 정상 피부 영역에 가까움을 나타낸다.
도 15는 본 발명의 실시예에 따른 방법과 종래의 방법의 성능을 비교한 그래프이다. 종래의 방법(J. Lu, J. H. Manton, E. Kazmierczak, and R. Sinclair, "Erythema detection in digital skin images," Image Processing (ICIP), pp. 2545-2548. Sep. 2010.)에서는 히스토그램 기반 베이즈 분류기(Bayesian classifier)에 의해 피부 영역을 분리하고, ICA 알고리즘에 기반하여 멜라닌 및 헤모글로빈 성분들을 추출한 후 멜라닌 및 헤모글로빈에 대한 SVM(support vector machine)을 통해 홍반 영역(erythema regions)을 검출한다. 이 방법은 기본적으로, 콘트라스트가 낮은 영상에서도 색소 침착을 검출할 수 있는 장점이 있지만, 처리 시간 및 주위 조명에 한계가 있고 색소 침착 정도를 정량화하지 못한다는 단점이 있다. 피부 영역 분할 및 색소 침착 판별에서는 색 좌표계의 3가지 성분들의 특징들을 분석하는 방법이 일반적으로 사용되는데, 이는 알고리즘의 수행 시간이 긴 단점이 있다. 성능 비교 실험에서는 본 발명의 방법과 종래의 방법의 검출 시간 및 검출률에 대하여 비교 평가하였다. 이때, 해상도가 다른 200개의 피부 영상에 대한 색소 침착 검출 시간과 검출률을 측정하여 이를 도 15에 나타내었다. 종래의 방법은 색소 침착 분할만 가능하며, 색소 침착의 양을 측정하지는 못하므로 검출 시간 및 검출률에 대한 성능 비교만 가능하다. 해상도별 평균 검출 시간 결과는 도 15의 (a)의 그래프와 같다. 종래의 방법은 3개 채널의 색상 정보 기반으로 색소 침착을 검출하며, 본 발명의 방법은 CbCr의 2개 채널의 색상 정보와 공간 영역 상의 투영 변환 블록 계수에 의하여 색소 침착을 검출한다. 따라서 본 발명은 채널 감소로 인하여 검출 시간이 종래의 방법보다 다소 감소된다. 특히 해상도가 클수록 제안한 방법의 검출 시간이 종래의 방법보다 0.5-2배 감소됨을 확인할 수 있다.
색소 침착 검출 방법에서는 피부 영역 추출 과정에서 피부가 아닌 영역이 피부 영역으로 잘못 추출될 수 있다는 점과 헤모글로빈 및 멜라닌 색소 분리 과정에서 조명의 영향을 일반적으로 고려해야 한다. 제안한 방법에서는 투영 변환 블록 계수의 전역 비와 지역 비를 사용함으로써 조명의 영향을 최소화한다. 제안한 방법과 종래의 방법의 색소 침착 검출률은 그림 14(b)에서와 같다. 이 결과 도 15를 살펴보면, 중간 밝기에서는 두 방법 모두 100%에 가까운 검출률을 나타내었다. 그러나 어둡거나 밝은 밝기에서는 본 발명의 방법이 종래(Lu)의 방법보다 최대 25% 이상의 높은 검출률을 나타내었다.
본 발명의 실시예에 따른 색소 침착 검출 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
100: 영상 입력부 200: 영상 처리부
210: 피부 영역 추출부 220: 색소 침착 검출부
300: 결과 출력부
210: 피부 영역 추출부 220: 색소 침착 검출부
300: 결과 출력부
Claims (14)
- 피부 색소 침착 검출 장치에 있어서,
대상 영상을 입력하는 영상 입력부;
대상 영상으로부터 피부 영역을 추출하고, 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하며,
상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하고, 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 영상 처리부; 및
상기 색소 침착을 판별한 결과를 출력하는 결과 출력부;를 포함하는 것을 특징으로 하는 피부 색소 침착 검출 장치. - 제1항에 있어서,
상기 영상 처리부는
훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하고,
형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하여,
상기 피부 영역을 추출하는 것을 특징으로 하는
피부 색소 침착 검출 장치. - 제1항에 있어서,
상기 영상 처리부는
YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하여 상기 피부 영역을 추출하는 것을 특징으로 하는 피부 색소 침착 검출 장치. - 제1항에 있어서,
상기 영상 처리부는
ICA(independent component analysis) 알고리즘을 이용하여 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 것을 특징으로 하는
피부 색소 침착 검출 장치. - 제1항에 있어서,
상기 영상 처리부는
어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여
헤모글라빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 하는
피부 색소 침착 검출 장치. - 제1항에 있어서,
상기 영상 처리부는
헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 하는
피부 색소 침착 검출 장치. - 제1항에 있어서,
상기 영상 처리부는
헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는
상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 하는
피부 색소 침착 검출 장치. - 피부 색소 침착 검출 방법에 있어서,
대상 영상으로부터 피부 영역을 추출하는 단계;
상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 단계; 및
상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하는 단계; 및
상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 단계;를 포함하는 것을 특징으로 하는
피부 색소 침착 검출 방법. - 제8항에 있어서,
상기 피부 영역을 추출하는 단계는
훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하는 단계; 및
형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하는 단계;를 포함하는 것을 특징으로 하는
피부 색소 침착 검출 방법. - 제8항에 있어서,
상기 피부 영역을 추출하는 단계는
YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하는 것을 특징으로 하는
피부 색소 침착 검출 방법. - 제8항에 있어서,
상기 분리하는 단계는
ICA(independent component analysis) 알고리즘을 이용하여 분리하는 것을 특징으로 하는
피부 색소 침착 검출 방법. - 제8항에 있어서,
상기 색소 침착을 판별하는 단계는
어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여
헤모글라빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 하는
피부 색소 침착 검출 방법. - 제8항에 있어서,
상기 색소 침착을 판별하는 단계는
헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 하는
피부 색소 침착 검출 방법. - 제8항에 있어서,
상기 색소 침착을 판별하는 단계는
헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는 상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 하는
피부 색소 침착 검출 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130007696A KR101436988B1 (ko) | 2013-01-23 | 2013-01-23 | 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130007696A KR101436988B1 (ko) | 2013-01-23 | 2013-01-23 | 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140094975A true KR20140094975A (ko) | 2014-07-31 |
KR101436988B1 KR101436988B1 (ko) | 2014-09-05 |
Family
ID=51740444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130007696A KR101436988B1 (ko) | 2013-01-23 | 2013-01-23 | 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101436988B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016117969A3 (ko) * | 2015-01-23 | 2016-09-22 | 김용한 | 병변 영상 분석을 통한 광 치료 장치,이에 이용되는 병변 영상 분석에 의한 병변 위치 검출방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체 |
WO2019168381A1 (ko) * | 2018-02-28 | 2019-09-06 | 경북대학교 산학협력단 | 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법 |
CN111836575A (zh) * | 2018-06-21 | 2020-10-27 | 松下知识产权经营株式会社 | 皮肤评价装置、皮肤评价系统、皮肤评价方法及保存有用于皮肤评价的程序的计算机可读取的记录介质 |
CN112221021A (zh) * | 2020-11-02 | 2021-01-15 | 中南大学湘雅三医院 | 一种皮肤科智能激光祛斑控制系统及控制方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200055884A (ko) | 2018-11-14 | 2020-05-22 | 이시은 | 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법 |
-
2013
- 2013-01-23 KR KR1020130007696A patent/KR101436988B1/ko not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016117969A3 (ko) * | 2015-01-23 | 2016-09-22 | 김용한 | 병변 영상 분석을 통한 광 치료 장치,이에 이용되는 병변 영상 분석에 의한 병변 위치 검출방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체 |
US10525276B2 (en) | 2015-01-23 | 2020-01-07 | Ilooda Co., Ltd. | Light treatment device using lesion image analysis, method of detecting lesion position through lesion image analysis for use therein, and computing device-readable recording medium having the same recorded therein |
WO2019168381A1 (ko) * | 2018-02-28 | 2019-09-06 | 경북대학교 산학협력단 | 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법 |
CN111836575A (zh) * | 2018-06-21 | 2020-10-27 | 松下知识产权经营株式会社 | 皮肤评价装置、皮肤评价系统、皮肤评价方法及保存有用于皮肤评价的程序的计算机可读取的记录介质 |
CN112221021A (zh) * | 2020-11-02 | 2021-01-15 | 中南大学湘雅三医院 | 一种皮肤科智能激光祛斑控制系统及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101436988B1 (ko) | 2014-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Olugbara et al. | Segmentation of melanoma skin lesion using perceptual color difference saliency with morphological analysis | |
Kharazmi et al. | Automated detection and segmentation of vascular structures of skin lesions seen in Dermoscopy, with an application to basal cell carcinoma classification | |
Waheed et al. | An efficient machine learning approach for the detection of melanoma using dermoscopic images | |
Ramezani et al. | Automatic detection of malignant melanoma using macroscopic images | |
KR100889014B1 (ko) | 그래프 기반 접근 방법을 이용한 설진 영역 추출 방법 | |
CN111524080A (zh) | 脸部皮肤特征的识别方法、终端及计算机设备 | |
KR101436988B1 (ko) | 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 | |
Ramakanth et al. | Approximate nearest neighbour field based optic disk detection | |
Marques et al. | On the role of texture and color in the classification of dermoscopy images | |
US20190298252A1 (en) | Imaging-based methods and apparatuses for assessing skin pigmentation | |
Lu et al. | Erythema detection in digital skin images | |
Goel et al. | Skin cancer detection using glcm matrix analysis and back propagation neural network classifier | |
AlDera et al. | A model for classification and diagnosis of skin disease using machine learning and image processing techniques | |
Abbes et al. | High-level features for automatic skin lesions neural network based classification | |
Ichim et al. | Advanced processing techniques for detection and classification of skin lesions | |
Pathan et al. | Classification of benign and malignant melanocytic lesions: A CAD tool | |
Paul et al. | PCA based geometric modeling for automatic face detection | |
George et al. | Pixel-based skin segmentation in psoriasis images | |
Madhankumar et al. | Characterization of skin lesions | |
Glaister | Automatic segmentation of skin lesions from dermatological photographs | |
Barata et al. | 1 Toward a Robust Analysis of Dermoscopy Images Acquired under Different | |
Rahman et al. | Skin lesions classification based on color plane-histogram-image quality analysis features extracted from digital images | |
Prigent et al. | Spectral analysis and unsupervised svm classification for skin hyper-pigmentation classification | |
Xiong et al. | Modeling of human skin by the Use of Deep Learning | |
Sheha et al. | Pigmented skin lesion diagnosis using geometric and chromatic features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170619 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |