KR20140094975A - 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 - Google Patents

투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 Download PDF

Info

Publication number
KR20140094975A
KR20140094975A KR1020130007696A KR20130007696A KR20140094975A KR 20140094975 A KR20140094975 A KR 20140094975A KR 1020130007696 A KR1020130007696 A KR 1020130007696A KR 20130007696 A KR20130007696 A KR 20130007696A KR 20140094975 A KR20140094975 A KR 20140094975A
Authority
KR
South Korea
Prior art keywords
skin
hemoglobin
melanin
pigmentation
skin region
Prior art date
Application number
KR1020130007696A
Other languages
English (en)
Other versions
KR101436988B1 (ko
Inventor
권성근
Original Assignee
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단 filed Critical 경일대학교산학협력단
Priority to KR1020130007696A priority Critical patent/KR101436988B1/ko
Publication of KR20140094975A publication Critical patent/KR20140094975A/ko
Application granted granted Critical
Publication of KR101436988B1 publication Critical patent/KR101436988B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443Evaluating skin constituents, e.g. elastin, melanin, water
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Dermatology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법에 관한 것으로, 이러한 본 발명은 대상 영상을 입력하는 영상 입력부와, 대상 영상으로부터 피부 영역을 추출하고, 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하며, 상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하고, 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 영상 처리부와, 상기 색소 침착을 판별한 결과를 출력하는 결과 출력부를 포함하는 피부 색소 침착 검출 장치와 이에 따른 방법이 제공된다.

Description

투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법{Method and Apparatus of Skin Pigmentation Detection Using Projection Transformed Block Coefficient}
본 발명은 피부 색소 침착 검출 장치 및 방법에 관한 것으로, 보다 상세하게는, 투영 변환 블록 계수를 이용하여 피부 색소 침착 정도를 검출할 수 있는 장치 및 방법에 관한 것이다.
피부는 인체에서 가장 면적이 넓은 기관으로서 색소 침착(pigmentation) 패턴을 변화함으로써 피부의 내외적인 자극들에 대하여 반응한다. 피부 색소 침착은 정상적인 피부와는 다른 색을 띠는 현상을 의미하는데 색소 침착 자체를 건강 이상을 판단하는 인자로 보기는 어렵지만, 흑색종(melanoma), 기저세포암(basal cell carcinoma), 및 편평세포암종(squamous cell carcinoma) 등의 피부질환으로 진행될 수 있다. 따라서 피부 색소 검출은 미용뿐만 아니라 의학적으로도 매우 중요한 역할을 한다.
피부색을 변화하게 하는 주요 원인은 멜라닌(melanin)과 헤모글로빈(hemoglobin) 성분인데, 피부에 포함된 멜라닌 성분의 정도에 따라 피부색이 연노랑, 적갈색 혹은 검게 변하게 되고, 헤모글로빈은 혈액 세포에 산소를 공급하는 역할을 하므로 피부가 붉은색을 띄는 원인이 된다. 따라서 피부에서 멜라닌 및 헤모글로빈 성분의 분포를 분석함으로써 피부 색소의 침착 정도 및 형태를 분석할 수 있는데, 피부 색소 침착 판별에서 가장 많이 활용되는 방법은 육안 검사(visual examination)이다. 이 방법은 의사 및 미용사들이 색소 침착을 판별하는데 가장 많이 활용하지만 검사 결과가 매우 주관적이고 정량적이지 못하다는 단점이 있어, 피부 색소 침착 정도의 정량적 판단 방법에 대한 필요성이 대두되고 있다.
90년대 초부터 디지털 영상 분석 기법이 피부의 색소 침착을 검출하기 위하여 활용되고 있는데, 이는 색소가 침착된 영역 뿐 아니라 색소가 침착된 영역의 크기 및 정도 등을 정량적으로 측정할 수 있다. 컴퓨터 비전 기반의 피부 색소 검출 방법이 제안되었으며, 이 방법에서는 색소 불균형 (skin pigment asymmetry)을 피부 병변(lesion)의 판단 척도로 설정하고 이를 검출하고 정량화하여 색소 침착의 정도를 판단한다. 또한, 색소 침착된 피부 병변의 반점(blotch)을 검출하기 위하여 FCCI (fuzzy co-clustering algorithm for images) 방법이 확장되었고, 반점의 특징을 검출하기 위하여 정규화된 엔트로피 함수(normalized entropy function)가 사용되었다.
기존의 색소 침착 검출 방법에서 신뢰성 있는 정확한 결과들을 도출하기 위해서는 안정적인 조명 및 고성능 피부확대경(dermoscopy)이 피부 영상 획득 과정에 필요하다는 단점이 있다.
상술한 바와 같은 점을 고려한 본 발명의 목적은 상술한 점을 감안한 본 발명의 목적은 기존의 광학적 측정 기술 대신 영상 처리 기술을 사용하여 색소 침착을 검출할 수 있는 장치 및 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 피부 색소 침착 검출 장치는, 대상 영상을 입력하는 영상 입력부; 대상 영상으로부터 피부 영역을 추출하고, 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하며, 상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하고, 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 영상 처리부; 및 상기 색소 침착을 판별한 결과를 출력하는 결과 출력부;를 포함한다.
상기 영상 처리부는 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하고, 형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하여, 상기 피부 영역을 추출하는 것을 특징으로 한다.
상기 영상 처리부는 YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하여 상기 피부 영역을 추출하는 것을 특징으로 한다.
상기 영상 처리부는 ICA(independent component analysis) 알고리즘을 이용하여 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 것을 특징으로 한다.
상기 영상 처리부는 어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여 헤모글로빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 한다.
상기 영상 처리부는 헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 한다.
상기 영상 처리부는 헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는, 상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 피부 색소 침착 검출 방법은, 대상 영상으로부터 피부 영역을 추출하는 단계; 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 단계; 상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하는 단계; 및 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 단계;를 포함한다.
상기 피부 영역을 추출하는 단계는, 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하는 단계; 및 형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하는 단계;를 포함한다.
상기 피부 영역을 추출하는 단계는 YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하는 것을 특징으로 한다.
상기 분리하는 단계는 ICA(independent component analysis) 알고리즘을 이용하여 분리하는 것을 특징으로 한다.
상기 색소 침착을 판별하는 단계는 어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여 헤모글로빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 한다.
상기 색소 침착을 판별하는 단계는 헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 한다.
상기 색소 침착을 판별하는 단계는 헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는 상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 한다.
상술한 바와 같이 본 발명은 색차 성분(Cb, Cr)만을 이용하여 대상 영상으로부터 피부 영역을 도출함으로써, 연산 복잡도를 줄이고, 연산 속도를 줄일 수 있는 이점이 있다. 또한, 피부 색소 침착 검출 방법은 조도 변화에 강인하고, 가시적으로 검출 성능이 우수함을 확인할 수 있다. 또한, 색소 침착 영역 및 정도를 정량화할 수 있는 이점이 있다.
도 1은 피부 조직의 단면 구조를 도시한 단면도이다.
도 2는 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 색소 침착 검출 방법을 설명하기 위한 흐름도이다.
도 4에 다양한 조명 환경에서 촬영된 피부 영상에 대한 Y, Cb, Cr 성분의 분포를 도시한 도면이다.
도 5는 클러스터링된 값들이 넓은 범위를 가지는 세 가지 피부 타입의 반사도(reflectivity)를 도시한 도면이다.
도 6은 GMM-EM 클러스터링 및 형태학적 처리(Morphology Processing) 기반의 피부 검출을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 광 밀도 영역에서 ICA 알고리즘의 동작 원리를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 투영 변환 블록 계수를 설명하기 위한 그래프이다.
도 9는 균일 조도 하에서 얼굴 곡선으로 인한 피부 세기의 불균일성을 설명하기 위한 도면이다.
도 10은 전역 비와 지역 비를 이용한 피부 색소 침착 판정 방법을 도식화한 도면이다.
도 11은 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한 결과를 보이는 화면 예이다.
도 12는 블록의 개수를 가변하면서 투영 변환 블록 계수를 통해 검출된 색소 침착된 영역을 도시하는 도면이다.
도 13은 다양한 조도 환경으로부터 획득된 테스트 영상을 도시하는 도면이다.
도 14는 본 발명의 실시예에 따라 도 13의 테스트 영상에 대한 피부 색소 침착 검출 방법의 조도 변화에 따른 검출 결과를 나타내는 도면이다. 그리고,
도 15는 본 발명의 실시예에 따른 방법과 종래의 방법의 성능을 비교한 그래프이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다. 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
본 발명에서는 주위 조명에 강인하고 피부확대경이 불필요한 디지털 피부 영상의 색소 침착 정도를 검출하고 평가할 수 있는 방법을 제안한다. 본 발명의 실시예에 따르면, 정상 피부와 침착된 피부의 성분 차를 이용하여 색소 침착 정도를 판별하는데, 가우시안 컬러 모델(Gaussian color model) 기반 피부 영역 검출, ICA (independent component analysis)에 의한 헤모글로빈 및 멜라닌 색소 분할, 및 2D 국부 히스토그램(location histogram)에 의한 헤모글로빈 및 멜라닌의 색소 침착 판단 과정으로 구성된다.
일반적으로 색소 침착을 측정하는 방법은 색 좌표계의 특정 성분을 이용하는데 이를 위해서는 피부의 생리 구조와 광학적 특성들에 대하여 연구가 필요하다. 도 1은 피부 조직의 단면 구조를 도시한 단면도이다. 이를 통해 피부의 생리학적(physiological) 구조 및 광학 특성과 색소 침착을 판별할 수 있는 컬러 성분 및 이들의 측정 방법에 대하여 살펴본다.
피부의 색은 피부 조직에 존재하는 멜라닌 및 헤모글로빈 성분의 분포에 의해 결정되는데, 이들은 도 1에서와 같이 표피(Epidermis)와 진피(Dermis)에 각각 존재한다. 멜라닌(Melanin)은 표피층에서 가시광선을 흡수 및 전파하여 피부색을 어둡게 하는 멜라닌 세포(Melanocytes)에 의해 생성되고, 이때 빛의 흡수량은 멜라닌의 단위 부피에 따라 결정되는데 백인, 아시아인, 및 아프리카인의 피부색이 서로 다른 이유가 여기에 있다. 헤모글로빈(Hemoglobin)은 하나의 천연 발색단(chromophore)으로서 혈액 세포(blood cell)에 존재하여 피부가 붉은 색을 띠게 한다. 일반적으로 피부색은 멜라닌과 헤모글로빈에 의해 좌우되는데, 멜라닌 성분이 비정상적으로 과다할 경우 백색증(albinism)과 흑색종(melanoma)이 발병될 수 있고, 헤모글로빈 성분은 홍반(erythematic)이 동반된다.
본 발명에서는 기존의 색소 침착 판별 알고리즘의 문제점들을 개선하고 계산량과 메모리의 감소를 위해 색차 성분(Cb 및 Cr)들만을 이용한 새로운 색소 침착 판별 알고리즘을 제안하며, 이러한 본 발명에 따르면, ICA(independent component analysis) 알고리즘을 통해 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리한 후 국부 히스토그램을 통해 색소 침착 영역의 크기 및 침착 정도를 판정한다. 그러면, 보다 상세히 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법에 대해서 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 피부 색소 침착 검출 장치는 영상 입력부(100), 영상 처리부(200) 및 결과 출력부(300)를 포함한다.
영상 입력부(100)는 피부 색소 침착 검출을 위한 대상 영상을 획득하여, 획득한 대상 영상을 처리부(200)에 제공하기 위한 것이다. 영상 입력부(100)는 다양한 형태로 구현될 수 있다. 예를 들면, 영상 입력부(100)는 카메라 기능을 수행할 수 있는 카메라 모듈이 될 수 있다. 이러한 경우, 영상 입력부(100)는 실제로 대상 영상을 촬영하여, 촬영된 영상을 처리부(200)에 제공할 수 있다. 또는, 영상 입력부(100)는 통신 기능을 가진 통신 모듈로, 통신을 통해 통신이 이루어지는 상대방으로부터 대상 영상을 수신하여, 처리부(200)에 제공할 수도 있다.
영상 처리부(200)는 영상 입력부(100)로부터 대상 영상을 입력 받아, 대상 영상으로부터 피부 영역을 추출하고, 추출된 피부 영역에서 색소 침착을 검출하기 위한 것이다. 이러한 영상 처리부(200)는 피부 영역 추출부(210) 및 색소 침착 검출부(220)를 포함한다. 피부 영상 추출부(210)는 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고 이를 통해 피부 색소 침착을 검출하고자 하는 대상 영상에서 피부 영역을 추출한다. 여기서, 피부 영역 추출부(210)는 가우신안 컬러 모델에 따른 피부 영역 추출 후, 형태학적 처리(morphological processing)를 통해 피부 영역에 존재하는 노이즈를 제거하여, 보다 정확한 피부 영역을 도출할 수 있다.
색소 침착 검출부(220)는 ICA(independent component analysis) 알고리즘을 통해 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하고, 분리된 헤모글로빈 및 멜라닌 성분 각각에 대한 국부 히스토그램(local histogram)을 조사하여 색소 침착 영역 및 크기를 결정한다.
결과 출력부(300)는 색소 침착 검출 결과를 제공하기 위한 것이다. 결과 출력부(300)는 다양한 형태로 구현될 수 있다. 예를 들면, 결과 출력부(300)는 디스플레이 기능을 가지는 디스플레이 모듈로, 영상 처리부(200)로부터 색소 침착 검출 결과를 수신하여 이를 표시하기 위한 것이 될 수 있다. 또는, 결과 출력부(300)는 통신 기능을 가진 통신 모듈로, 영상 처리부(200)로부터 색소 침착 검출 결과를 수신하여 통신을 통해 통신이 이루어지는 상대방에게 네트워크를 통해 색소 침착 검출 결과를 전송할 수도 있다.
도 3은 본 발명의 실시예에 따른 색소 침착 검출 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 먼저, 영상 입력부(100)는 대상 영상을 획득하여 영상 처리부(200)에 입력한다. 예를 들면, 영상 입력부(100)가 카메라 모듈인 경우, 영상 입력부(100)는 실제로 대상 영상을 촬영하여, 촬영된 영상을 처리부(200)에 입력할 수 있다. 또는, 영상 입력부(100)가 통신 모듈인 경우, 영상 입력부(100)는 통신을 통해 통신이 이루어지는 상대방으로부터 대상 영상을 수신하여, 영상 처리부(200)에 입력할 수도 있다.
대상 영상을 입력 받은 영상 처리부(200)는 1 단계에서 피부 영역을 추출한다. 이러한 피부 영역의 추출은 가우시안 컬러 모델을 구축하고, 훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하는 처리(1.1 단계)와, 형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하는 처리(1.2 단계)를 포함한다.
다음으로, 영상 처리부(200)는 2 단계에서 ICA 알고리즘을 이용하여 앞서 추출된 피부 영역에서 헤모글로빈과 멜라닌으로 색소 성분들을 분리한다.
이어서, 영상 처리부(200)는 3 단계에서 헤모글로빈과 멜라닌으로 분리된 색소 성분들에 대한 색소 침착을 측정한다. 이러한 색소 침착 측정은 i) 피부 영역을 블록 단위로 구분하였을 때, 각 블록에서 헤모글로빈과 멜라닌의 색소 성분들의 크기를 나타내는 투영 변환 블록 계수를 도출하고(3.1 단계), 전체 헤모글로빈 투영 변환 블록 계수와 멜라닌 투영 변환 블록 계수의 평균 비율인 전역 비와, 특정 블록의 헤모글로빈 투영 변환 블록 계수와 멜라닌 투영 변환 블록 계수의 비율인 지역 비를 이용하여 각 블록에 대한 색소 침착을 검출하는 처리(3.2 단계)를 수행하며, 색소 침착 영역 및 색소 침착 정도를 도출하는 색소 침착 정량화(3.3 단계)를 수행한다.
다음으로, 결과 출력부(300)는 상술한 영상 처리부(200)의 처리 결과를 출력한다.
이하, 상술한 각 단계들에 대해서 보다 상세하게 설명하기로 한다.
1. GMM-EM 기반 피부 영역 추출
1.1 가우시안 컬러 모델 구축 및 피부 영역 추출
본 발명의 실시예에 따른 제안한 방법에서는 피부 색소 검출 전에 피부 영역을 추출하는 전처리 과정이 필요하다. 본 발명의 실시예에 따르면, 다양한 환경에 따라 매개변수를 설정할 수 있는 GMM(Gaussian Mixture Model)-EM(Expectation Maximization) 클러스터링 알고리즘을 이용하여 피부 영역을 추출한다. 이러한 GMM-EM 클러스터링 기반의 피부 영역 추출을 위한 전처리 과정에 대하여 살펴보기로 한다.
도 4에 다양한 조명 환경에서 촬영된 손, 팔, 및 얼굴을 포함하고 있는 200여개의 피부 영상에 대한 Y, Cb, Cr 성분의 분포를 도시한 도면이다. 도 4의 (a)는 YCbCr 좌표계에서 피부 영상들의 Y 성분, 도4의 (b)는 Cb 성분, 도 4의 (c)는 Cr 성분 분포를 나타낸다. 일반적으로 피부색은 주위 조명보다는 색도(chromaticity)에 의해 주로 영향을 받으므로, 도 4에 도시된 바와 같이, 피부 영상들에 대한 색차 성분(Cb 및 Cr)들은 Y 성분에 비해 매우 좁은 분포를 갖게 된다. 이와 같이, YCbCr 색 좌표계의 색차 성분(Cb 및 Cr)이 컬러 군집화에 적합함을 확인할 수 있다. 따라서 전처리 과정에서는 Cb 및 Cr 성분에 대한 적응적 GMM 기반 피부 영역을 추출한다.
GMM-EM 클러스터링은
Figure pat00001
개 화소의 CbCr 성분
Figure pat00002
,
Figure pat00003
이 주어지고,
Figure pat00004
개 GMM로부터 평균 벡터
Figure pat00005
가 주어졌을 때, 로그-우도비(Log-Likelihood ratio)가 최대인 변수 집합
Figure pat00006
를 찾는 것이다.
Figure pat00007
개 GMM을 위하여,
Figure pat00008
분포는 가중치
Figure pat00009
을 가지는 가우시안 분포
Figure pat00010
의 합으로 정의된다. 여기서
Figure pat00011
Figure pat00012
,
Figure pat00013
으로,
Figure pat00014
개의 평균과 공분산(covariance) 행렬의 변수 집합을
Figure pat00015
이라 한다.
색차 성분(Cb Cr) 클러스터링 과정에서는, 먼저,
Figure pat00016
개 GMM들의 초기 변수
Figure pat00017
,
Figure pat00018
들을 복수개, 약, 200개 피부 영상(훈련 영상)들로부터 계산한 다음, 초기 우도의 대수값(log-likelihood)을 다음의 수학식 1에 따라 구한다.
Figure pat00019
그리고
Figure pat00020
번째 반복 횟수에서
Figure pat00021
Figure pat00022
번째 가우시안 분포에 포함될 확률
Figure pat00023
을 다음의 수학식 2에 따라 구한다.
Figure pat00024
그런 다음,
Figure pat00025
+1번째 횟수에서의 변수
Figure pat00026
, 을 다음의 수학식 3 및 수학식 4와 같이 예측한다.
Figure pat00028
Figure pat00029
그리고
Figure pat00030
+1번째 우도의 대수값(log-likelihood)을 다음의 수학식 5와 같이 구한다.
Figure pat00031
그런 다음,
Figure pat00032
일 때까지 위의 과정을 반복 수행함으로써 최종 변수 집합
Figure pat00033
들을 구한다. 실시예에서는
Figure pat00034
=7개의 GMM 기반 피부 클러스터들로 설정하였다.
피부 훈련 영상으로부터 구한 GMM-EM 클러스터에 의한 피부 분할 방법은 다음과 같이 구현된다.
Figure pat00035
(
Figure pat00036
이 주어졌을 때, GMM 확률밀도함수
Figure pat00037
을 다음의 수학식 6과 같이 구한다.
Figure pat00038
그리고
Figure pat00039
가 문턱치
Figure pat00040
보다 클 경우
Figure pat00041
는 피부 색소로 간주되어, 가장 가까운 GMM 클러스터
Figure pat00042
로 다음의 수학식 7과 같이 분류된다.
Figure pat00043
그렇지 않을 경우,
Figure pat00044
는 피부 색소로 간주되지 않는다. 위와 같은 방법에 의하여 임의의 영상에서 피부 영역이 추출된다.
1.2 형태학적 처리(morphological processing)를 통해 피부 영역에 존재하는 노이즈를 제거
상술한 바와 같은 방법으로 추출된 피부 영역은 잡음 또는 외부 환경에 의하여 연속되지 않고, 고립된 피부 화소들이 발생될 수 있다. 본 발명의 실시예에서는 재구성에 의한 닫힘 연산(Closing operator by reconstruction)을 사용하여 영역 내부적인 잡음과 돌출된 외부적인 잡음을 제거할 수 있다. 재구성 닫힘 연산에서는 재구성 연산을 위한 시작점을 나타내는 마커(Marker)
Figure pat00045
와 재구성 연산을 제한하는 마스크(Mask)
Figure pat00046
이 필요하다. 피부 영역 이진 영상에 침식(erosion) 연산이 수행된 마커
Figure pat00047
의 초기값을
Figure pat00048
라 할 때,
Figure pat00049
번째 연산된
Figure pat00050
는 다음의 수학식 8과 같다.
Figure pat00051
여기서
Figure pat00052
는 3x3 크기의 모폴로지 SE(Structuring element)이고,
Figure pat00053
는 팽창 (dilation)연산이다. 모폴로지 재구성 연산(형태학적 처리)은
Figure pat00054
일 때까지
Figure pat00055
를 팽창한 값과 마스크인
Figure pat00056
를 비교하여 작은 값을 취한다. 이때 마커
Figure pat00057
Figure pat00058
을 만족한다. 마스크의 제한 점까지 마커
Figure pat00059
를 반복적으로 팽창함으로써 이진 영상의 돌출된 부분의 잡음이 제거되고, 이 영상에 역을 수행하여 같은 연산을 수행함으로써 내부의 잡음이 제거된다. 이와 같은 모폴로지 재구성 연산은 열림 연산과 유사하지만, 모양을 유지한다는 장점이 있다.
본 발명의 실시예에 따르면, 수백 장의 얼굴 영상을 가지는 데이터베이스에 대한 실험으로부터 높은 인식률을 가짐을 확인하였다. 이는 대부분 얼굴 영상들은 배경과 피부와의 색상 차이가 매우 크고, 복잡도가 낮기 때문이다. 하지만, 피부 색상과 유사한 색상을 가지는 일부 화소들은 잘못 인식될 수 있다. 문턱치
Figure pat00060
가 낮게 설정될 경우, 피부의 세기 변화에 매우 민감하여 부정 오류(false negative)로 판정된 화소들이 발생할 수 있다. 반면, 문턱치
Figure pat00061
가 클 경우, 긍정 오류(false positive)로 판정된 화소들이 발생할 수 있다. 본 발명의 실시예에서는 긍정 오류 판정된 영역이 일련의 처리 과정에서 색소 침착으로 검출되지 않아야 하므로, 문턱치
Figure pat00062
를 작게 선택하였다. 얼굴 영상 데이터베이스 및 실제 측정 실험으로부터 평균 4% 미만의 부정 오류율과 0.1% 미만의 긍정 오류율이 나타남을 확인하였다.
또한, 본 발명의 실시예에 따르면, 보다 높은 인식률을 확보하기 위하여 세 가지의 피부 타입에 따라 문턱치
Figure pat00063
를 다르게 설정할 수 있다. 도 5는 클러스터링된 값들이 넓은 범위를 가지는 세 가지 피부 타입의 반사도(reflectivity)를 도시한 도면이다. 피부의 색의 결정하는 반사도는 인종에 따라 분포 범위가 넓기 때문에 다른 인종의 피부색으로 검출되거나 혹은 피부 영역이 피부가 아닌 영역으로 검출될 수 있기 때문에 본 발명의 실시예에서는, 백인, 아시아인, 및 아프리카인('White', 'Normal' 및 'Black')의 피부색 분포에 따라 3가지 피부색으로 군집화하였다. 파장에 따른 각 인종의 피부 반사도는 도 5에 도시된 바와 같다. 이와 같은 문턱치에 의하여 피부 인식률이 향상됨과 동시에 배경에 대한 긍정 오류율이 낮아진다.
도 6은 GMM-EM 클러스터링 및 형태학적 처리(Morphology Processing) 기반의 피부 검출을 도시한 도면이다. 도 6의 (a)의 원 영상에 대한 GMM-EM 클러스터링 기반 피부 검출 영역인 도 6의 (b)를 살펴보면, 연속적이지 않은 고립된 화소들이 일부 나타남을 볼 수 있다. 그러나 재구성에 의한 닫힘 연산인 형태학적 처리에 의하여 처리된 피부 검출 영역인 도 6의 (c)를 살펴보면, 고립된 화소들이 제거됨을 볼 수 있다. 최종 검출된 피부영역인 도 6의 (d)를 살펴보면, 피부 영역과 비-피부 영역들이 잘 분리됨을 볼 수 있다.
2. 피부 색소 분할
본 발명의 실시예에서는 ICA(independent component analysis) 알고리즘을 이용하여 앞서 추출된 피부 영역에서 헤모글로빈과 멜라닌의 색소 성분들을 분리한다. 도 7은 본 발명의 실시예에 따른 광 밀도 영역에서 ICA 알고리즘의 동작 원리를 설명하기 위한 도면이다. 여기서, ICA 알고리즘은 각 성분들에 대한 사전 정보(a priori information)가 없어도 서로 독립적인(independent) 성분들로 구성된 신호로부터 예측된 신호들의 통계적인 독립성(statistical independence)을 최대화함으로써 도 7에서와 같이 각 성분들을 추출할 수 있는 장점이 있다.
본 발명에 따르면, ICA를 컬러 피부 영상에 적용하기 위하여 다음과 같은 3가지 가정을 설정한다. 1) 피부색은 헤모글로빈 및 멜라닌 성분들에 의해 결정된다. 2) 피부 영역에서 헤모글로빈과 멜라닌의 분포는 서로 독립적이다. 3) 피부 영상과 헤모글로빈 및 멜라닌의 양은 광 밀도(optical density) 영역에서 선형성(linearity)을 갖는다.
상기 3)의 선형성 가정에 기반하여 RGB 색좌표계의 광 밀도 벡터
Figure pat00064
는 다음의 수학식 9와 같이 표현함으로써 피부 영역에서 헤모글로빈 및 멜라닌 성분을 분리할 수 있다.
Figure pat00065
여기서
Figure pat00066
은 전치 행렬을 의미하고,
Figure pat00067
,
Figure pat00068
, 및
Figure pat00069
는 각각 RGB 색 좌표계에서 R, G, 및 B 성분의 화소값이다. 그리고 나머지 2가지 가정에 의해 광 밀도 벡터
Figure pat00070
는 다음의 수학식 10과 같이 표현될 수 있다.
Figure pat00071
여기서
Figure pat00072
Figure pat00073
는 각각 멜라닌 및 헤모글로빈의 밀도 벡터이고,
Figure pat00074
Figure pat00075
는 각각 멜라닌 및 헤모글로빈 성분의 크기 값이며,
Figure pat00076
는 다른 피부 조직에 의해 영향을 받는 공간 정상 벡터(spatially stationary vector)를 나타낸다. 따라서 피부 영상의 벡터
Figure pat00077
은 다음의 수학식 11과 같이 표현될 수 있다.
Figure pat00078
이때 두 성분의 크기는 다음의 수학식 12와 같다.
Figure pat00079
그리고
Figure pat00080
는 다음의 수학식 13과 같다.
Figure pat00081
여기서
Figure pat00082
Figure pat00083
의 예측치를 의미하고,
Figure pat00084
Figure pat00085
는 합성 인자 (synthesis parameter)를 나타낸다. 본 발명의 실시예에서는 멜라닌 및 헤모글로빈에 대하여
Figure pat00086
Figure pat00087
와 같이 각각 설정한다. 도 6은 광 밀도 영역에서의 헤모글로빈 및 멜라닌 성분 크기를 보여준다. 위와 같은 방법에 의하여
Figure pat00088
크기의 피부 영역에서 각 위치에 대한 멜라닌 성분 크기
Figure pat00089
과 헤모글로빈 성분 크기
Figure pat00090
를 각각 구할 수 있다.
본 발명에 따르면, 헤모글로빈과 멜라닌 성분이 동시에 존재하는 피부 영역에서 멜라닌 색소의 분포는 헤모글로빈 색소로부터 영향을 받지 않고, 작은 화소값을 갖는 피부 영역은 멜라닌 성분에 의해 색소 침착이 발생됨을 알 수 있다.
3. 색소 침착 측정
3.1. 투영 변환 블록 계수 도출
도 8은 본 발명의 실시예에 따른 투영 변환 블록 계수를 설명하기 위한 그래프이다. 도 8을 참조하면, 본 발명의 실시예에서는 헤모글로빈 및 멜라닌 성분이 존재하는 위치를 파악하기 위하여 이들의 투영 변환 블록 계수를 구한다. 투영 변환 블록 계수는 가로축 X 및 세로축 Y의 이산 구간별로 투영된 평균값을 나타낸 것이다. 두 축 상에서 분할된 이산 구간들은 블록으로 나타내어지며, 하나의 블록은 두 축에 투영된 2개의 계수들로 구성된 투영 변환 블록 계수를 가진다.
본 발명에 따르면, 피부 영역을 블록 단위로 나누어 X 및 Y축 방향으로 투영된 멜라닌 크기
Figure pat00091
및 헤모글로빈 크기
Figure pat00092
에 대한 투영 변환 블록 계수를 구한다. 피부 영역의 해상도가
Figure pat00093
이고, 블록의 크기가
Figure pat00094
일 때, 각 축에 대한 분할된 이산 구간의 개수는
Figure pat00095
,
Figure pat00096
이고, 블록의 개수는
Figure pat00097
이다. 멜라닌 크기
Figure pat00098
에 대한
Figure pat00099
번째 이산 구간의 X축 투영 계수
Figure pat00100
Figure pat00101
번째 이산구간의 Y축 투영 계수
Figure pat00102
는 다음의 수학식 14 및 수학식 15와 같이 정의된다.
Figure pat00103
Figure pat00104
Figure pat00105
번째 블록
Figure pat00106
은 X축 및 Y축에 투영된 계수
Figure pat00107
을 가지며, 이를 투영 변환 블록 계수라 한다. 따라서 멜라닌 투영 변환 블록 계수는 다음의 수학식 16과 같다.
Figure pat00108
이와 마찬가지로, 헤모글로빈 투영 변환 블록 계수는 다음의 수학식 17과 같다.
Figure pat00109
Figure pat00110
Figure pat00111
와 같은 방법으로 헤모글로빈 크기 값
Figure pat00112
에 의하여 구하여진다.
즉, 상술한 바와 같이, 투영 변환 블록 계수는 피부 영역을 블록 단위로 나누어 X 및 Y축 방향으로 투영된 멜라닌 크기
Figure pat00113
및 헤모글로빈 크기
Figure pat00114
를 반영하며, 구해진 투영 변환 블록 계수는 Z축의 강도(intensity)값으로 표현된다. 이러한 Z축의 강도(intensity)값은 헤모글로빈 및 멜라닌 성분에 대한 해당 블록에 속해 있는 화소들의 평균값이 될 수 있다.
도 8에 피부 영역에 대한 헤모글로빈 및 멜라닌의 투영 변환 블록 계수가 도시되었다(도 8의 (a)는 헤모글로빈 성분, (b)는 멜라닌 성분의 투영 변환 블록 계수). 블록 계수 및 색소 침착 측정은 블록의 개수에 따라 달라진다. 일반적으로 정상 피부는 주변 영역보다 높은 계수를 가지나, 색소 침착은 낮은 계수를 가진다. 이와 같은 성질을 이용함으로써 색소 침착이 검출될 수 있다. 본 발명의 실시예에 따르면, 블록 개수를 조정하여 색소 침착 검출률을 조절할 수 있다.
3.2. 색소 침착 검출
도 9는 균일 조도 하에서 얼굴 곡선으로 인한 피부 세기의 불균일성을 설명하기 위한 도면이다. 일반적으로 피부 표면은 균일하지 않기 때문에 빛을 흡수하는 피부 표면의 방향에 따라 동일한 조명 조건에서도 피부 영상은 서로 다른 밝기 값을 갖게 된다. 즉, 얼굴 또는 몸은 평탄하지 않으므로, 도 9에서와 같이 피부 세기는 균일 조도 하에서도 일정하지 않다. 이러한 영향은 헤모글로빈 및 멜라닌 영역에 동시에 작용한다. 이와 같은 불균일한 피부 세기 분포에서도 색소 침착은 피부의 전 영역에서 검출되어야 한다. 본 발명의 실시예에 따르면, 곡선에 의한 불균일성을 최소화하면서 색소 침착을 판별하기 위하여 헤모글로빈과 멜라닌 성분에 대한 전역 비(global ratio)
Figure pat00115
를 다음의 수학식 18과 같이 설정하고, 블록 내의 지역 비(local ratio)
Figure pat00116
을 다음의 수학식 19와 같이 설정한다.
Figure pat00117
Figure pat00118
Figure pat00119
Figure pat00120
번째 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내고,
Figure pat00121
는 전체 블록에 대한 두 성분의 투영 변환 블록 계수 크기의 평균 비율을 나타낸다. 본 발명의 실시예에 따르면, 지역 비
Figure pat00122
를 전역 비
Figure pat00123
와 비교함으로써 블록 내의 색소 침착 발생 여부를 다음의 수학식 20과 같이 판정할 수 있다.
Figure pat00124
도 10은 전역 비와 지역 비를 이용한 피부 색소 침착 판정 방법을 도식화한 도면이다. 도 10을 참조하면, 전역 비
Figure pat00125
의 값이 지역 비
Figure pat00126
와 문턱치
Figure pat00127
의 합한 값 보다 크면 홍점(red spot)이라고 판정하고,
Figure pat00128
가 지역 비
Figure pat00129
에서 문턱치
Figure pat00130
를 차감한 값 보다 작으면 흑점(black spot)으로 판정한다.
본 발명의 실시예에서는 균일한 조명 환경에서 정상 피부 영역의 지역 비는 전역 비와 거의 유사하며, 이 두 비율들은 색소 침착에 의해서만 영향을 받는다고 가정한다. 이와 같은 가정 하에 색소 침착 영상들의 헤모글로빈과 멜라닌 성분들을 비교하면, 색소 침착 영역의 지역 국부 비와 정상 피부 영역의 국부 비의 차이가 약 35에 가까우면, 가시적으로 두 영역들 간의 차이가 작으며, 반대로 두 비율의 차이가 60 이상이면 가시적으로 현격한 차이가 나타남을 확인할 수 있다. 또한, 본 발명의 실시예에서는 색소 침착 영역과 정상 피부 영역과의 일반적인 차이에 따라 문턱치를 결정하였다.
3.3. 색소 침착 정량화
위에서 구한 투영 변환 블록 계수에 의하여 획득된 색소 침착은 영역과 정도(degree)로 정량화될 수 있다. 색소 침착의 영역
Figure pat00131
은 헤모글로빈 및 멜라닌으로 판별된 블록들의 면적 비율로 다음의 수학식 21과 같이 계산되어진다.
Figure pat00132
여기서
Figure pat00133
는 헤모글로빈 또는 멜라닌으로 판별된 블록들의 개수를 나타낸다. 색소 침착 정도는 정상 피부와의 표준 편차로 계산되어진다. 헤모글로빈 또는 멜라닌 색소 침착으로 판별된 임의의 블록
Figure pat00134
내의 색소 침착 정도는 해당 블록 내의 화소값
Figure pat00135
와 색소 침착으로 판별되지 않은 블록들의 평균 화소값
Figure pat00136
에 대한 표준 편차
Figure pat00137
로 다음의 수학식 22와 같이 정의된다.
Figure pat00138
이는 색소 침착된 영역의 화소와 정상 피부의 화소와의 차이를 나타내는 척도로서, 화장(make-up) 전후의 색소 침착의 개선을 측정하는 용도로도 사용될 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따르면, 피부 색소 침착 검출 방법은 1. 피부 영역 추출, 2. 헤모글로빈 및 멜라닌 성분으로의 피부 영상 분할, 및 3. 색소 침착 측정 단계로 구성된다.
1 단계인 피부 영역 추출 단계에서는 사람의 손, 팔, 얼굴 등을 포함하는 200개의 피부 영상을 분석하여 GMM-EM 클러스터링 기반 피부 영역을 추출하였다.
2 단계인 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한다. 도 11은 ICA 알고리즘을 이용하여 피부 영역으로부터 헤모글로빈 및 멜라닌 성분을 분리한 결과를 보이는 화면 예이다. 도 11의 (a)는 흑점(black spot)을 가지는 피부이며, 이에 대한 (b) 멜라닌과 (c) 헤모글로빈 성분, (d)는 홍점(red spot)을 가지는 피부이며, 이에 대한 (e) 멜라닌과 (f) 헤모글로빈 성분을 나타낸다. 보인 바와 같이, 흑점 및 홍점의 다른 색소 침착 영상에 대한 멜라닌 및 헤모글로빈 성분을 분리한 예를 보여준다. 이로부터 제안한 방법이 두 성분의 색소 침착을 정확하게 검출함을 알 수 있다.
3 단계에서는 분리된 헤모글로빈 및 멜라닌 성분에 대한 투영 변환 블록 계수를 계산한다. 본 실험으로부터 정상 피부에서는 전역 비
Figure pat00139
와 지역 비
Figure pat00140
가 유사한 값을 가짐을 확인하였고, 흑점 및 홍점을 포함하고 있는 피부에서는 서로 상이한 값을 가짐을 확인하였다. 도 12는 블록의 개수를 30x30과 100x100으로 가변하면서 투영 변환 블록 계수를 통해 검출된 색소 침착된 영역을 도시하는 도면이다. 도 12에서 색소 침착으로 판별된 블록들은 녹색으로 표시되어 있다.
도 13은 다양한 조도 환경으로부터 획득된 테스트 영상을 도시하는 도면이며, 도 14는 본 발명의 실시예에 따라 도 13의 테스트 영상에 대한 피부 색소 침착 검출 방법의 조도 변화에 따른 검출 결과를 나타내는 도면이다. 조도 변화에 대한 검출 평가를 위하여, 도 13에 보인 바와 같이, 단일 광원, 다중 광원, 및 태양광에 대한 6개의 조도 환경으로부터 생성된 60개의 테스트 영상들을 사용하였다. 테스트 영상들은 자동 화이트 Nikon D90 카메라로부터 획득된 것이다. 테스트 영상으로부터 검출된 결과는 도 14와 같으며, 녹색으로 표기된 블록은 색소 침착으로 판별된 것이다. 각 조도 환경에 대한 색소 침착의 영역과 그 정도들은 다음의 표 1과 같다.

Dark
shadow
Medium shadow Light
shadow
Lights Sun Specular
Detected area 6.95% 11.52% 7.54% 9.68% 8.14% 4.97%
Standard deviation 17.04 18.07 15.54 20.07 16.61 8.54
Error rate 22.85% 52.79% 1.28% 0% 1.19% 48.7%
표 1에 보인 바와 같이, 본 발명의 실시예에 따른 피부 색소 침착 검출 방법은 조도 변화에 강인하고, 가시적으로 검출 성능이 우수함을 확인할 수 있다.
본 발명에 따른 색소 침착 검출 방법은 자외선 차단제의 성능 평가에 적용될 수 있다. 이를 위하여 실험을 통해 피부 색소 침착을 감추는 기능을 가지는 3개 브랜드에서 생산되는 자외선 차단제에 대하여 성능을 평가하였다. 실험 평가에서는 색소 침착된 피부에 차단제의 약 0.05ml 정도를 바른 후, 색소 침착의 정도를 측정하였고, 또한 차단제가 적용된 영역을 정상 피부 영역 및 색소 침착된 영역과 가시적으로 비교하였다. 이 때 자외선 차단제가 적용된 피부 색상은 정상 피부에 가깝다. 다음의 표 2는 3 종의 자외선 차단제에 대한 평가 결과를 보인다.
색소 침착 없는 피부 색소 침착이 있는 피부 테스트 샘플 1 테스트 샘플 2 테스트 샘플 3
브랜드 및 아이템 - - H사. primer base M사 blemish
cover balm
E사 BB
magic cream
검출된 영역 0.00% 9.68% 0.12% 0.00% 0.15%
표준 편차 7.61 20.07 9.17 7.72 8.98
표 2로부터, 자외선 차단제이 적용된 피부 영상에서 색소 침착의 영역이 매우 작았으며, 샘플 2의 표준 편차가 제일 작음을 확인하였다. 이 표준 편차는 정상 피부 영역에 가까움을 나타낸다.
도 15는 본 발명의 실시예에 따른 방법과 종래의 방법의 성능을 비교한 그래프이다. 종래의 방법(J. Lu, J. H. Manton, E. Kazmierczak, and R. Sinclair, "Erythema detection in digital skin images," Image Processing (ICIP), pp. 2545-2548. Sep. 2010.)에서는 히스토그램 기반 베이즈 분류기(Bayesian classifier)에 의해 피부 영역을 분리하고, ICA 알고리즘에 기반하여 멜라닌 및 헤모글로빈 성분들을 추출한 후 멜라닌 및 헤모글로빈에 대한 SVM(support vector machine)을 통해 홍반 영역(erythema regions)을 검출한다. 이 방법은 기본적으로, 콘트라스트가 낮은 영상에서도 색소 침착을 검출할 수 있는 장점이 있지만, 처리 시간 및 주위 조명에 한계가 있고 색소 침착 정도를 정량화하지 못한다는 단점이 있다. 피부 영역 분할 및 색소 침착 판별에서는 색 좌표계의 3가지 성분들의 특징들을 분석하는 방법이 일반적으로 사용되는데, 이는 알고리즘의 수행 시간이 긴 단점이 있다. 성능 비교 실험에서는 본 발명의 방법과 종래의 방법의 검출 시간 및 검출률에 대하여 비교 평가하였다. 이때, 해상도가 다른 200개의 피부 영상에 대한 색소 침착 검출 시간과 검출률을 측정하여 이를 도 15에 나타내었다. 종래의 방법은 색소 침착 분할만 가능하며, 색소 침착의 양을 측정하지는 못하므로 검출 시간 및 검출률에 대한 성능 비교만 가능하다. 해상도별 평균 검출 시간 결과는 도 15의 (a)의 그래프와 같다. 종래의 방법은 3개 채널의 색상 정보 기반으로 색소 침착을 검출하며, 본 발명의 방법은 CbCr의 2개 채널의 색상 정보와 공간 영역 상의 투영 변환 블록 계수에 의하여 색소 침착을 검출한다. 따라서 본 발명은 채널 감소로 인하여 검출 시간이 종래의 방법보다 다소 감소된다. 특히 해상도가 클수록 제안한 방법의 검출 시간이 종래의 방법보다 0.5-2배 감소됨을 확인할 수 있다.
색소 침착 검출 방법에서는 피부 영역 추출 과정에서 피부가 아닌 영역이 피부 영역으로 잘못 추출될 수 있다는 점과 헤모글로빈 및 멜라닌 색소 분리 과정에서 조명의 영향을 일반적으로 고려해야 한다. 제안한 방법에서는 투영 변환 블록 계수의 전역 비와 지역 비를 사용함으로써 조명의 영향을 최소화한다. 제안한 방법과 종래의 방법의 색소 침착 검출률은 그림 14(b)에서와 같다. 이 결과 도 15를 살펴보면, 중간 밝기에서는 두 방법 모두 100%에 가까운 검출률을 나타내었다. 그러나 어둡거나 밝은 밝기에서는 본 발명의 방법이 종래(Lu)의 방법보다 최대 25% 이상의 높은 검출률을 나타내었다.
본 발명의 실시예에 따른 색소 침착 검출 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
100: 영상 입력부 200: 영상 처리부
210: 피부 영역 추출부 220: 색소 침착 검출부
300: 결과 출력부

Claims (14)

  1. 피부 색소 침착 검출 장치에 있어서,
    대상 영상을 입력하는 영상 입력부;
    대상 영상으로부터 피부 영역을 추출하고, 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하며,
    상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하고, 상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 영상 처리부; 및
    상기 색소 침착을 판별한 결과를 출력하는 결과 출력부;를 포함하는 것을 특징으로 하는 피부 색소 침착 검출 장치.
  2. 제1항에 있어서,
    상기 영상 처리부는
    훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하고,
    형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하여,
    상기 피부 영역을 추출하는 것을 특징으로 하는
    피부 색소 침착 검출 장치.
  3. 제1항에 있어서,
    상기 영상 처리부는
    YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하여 상기 피부 영역을 추출하는 것을 특징으로 하는 피부 색소 침착 검출 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는
    ICA(independent component analysis) 알고리즘을 이용하여 상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 것을 특징으로 하는
    피부 색소 침착 검출 장치.
  5. 제1항에 있어서,
    상기 영상 처리부는
    어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여
    헤모글라빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 하는
    피부 색소 침착 검출 장치.
  6. 제1항에 있어서,
    상기 영상 처리부는
    헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 하는
    피부 색소 침착 검출 장치.
  7. 제1항에 있어서,
    상기 영상 처리부는
    헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는
    상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 하는
    피부 색소 침착 검출 장치.
  8. 피부 색소 침착 검출 방법에 있어서,
    대상 영상으로부터 피부 영역을 추출하는 단계;
    상기 추출된 피부 영역을 헤모글로빈 및 멜라닌 성분으로 분리하는 단계; 및
    상기 피부 영역을 블록 단위로 구분하였을 때 각 블록에서 상기 헤모글로빈 및 멜라닌 성분 각각에 대한 크기를 나타내는 투영 변환 블록 계수를 산출하는 단계; 및
    상기 산출된 투영 변환 블록 계수를 이용하여 색소 침착을 판별하는 단계;를 포함하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
  9. 제8항에 있어서,
    상기 피부 영역을 추출하는 단계는
    훈련 영상(training image)의 통계적 분석을 통해 피부 영역에 대한 가우시안 컬러 모델을 구축하고, 구축된 가우시안 컬러 모델을 이용하여 대상 영상으로부터 피부 영역을 추출하는 단계; 및
    형태학적 처리(morphological processing)를 통해 상기 추출된 피부 영역에 존재하는 노이즈를 제거하는 단계;를 포함하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
  10. 제8항에 있어서,
    상기 피부 영역을 추출하는 단계는
    YCbCr 색좌표계의 색차 성분(Cb 및 Cr)만을 이용하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
  11. 제8항에 있어서,
    상기 분리하는 단계는
    ICA(independent component analysis) 알고리즘을 이용하여 분리하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
  12. 제8항에 있어서,
    상기 색소 침착을 판별하는 단계는
    어느 하나의 블록의 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 비율을 나타내는 지역 비와, 전체 블록에 대한 멜라닌과 헤모글로빈의 투영 변환 블록 계수 크기의 평균 비율을 나타내는 전역 비를 이용하여
    헤모글라빈 색소 침착 또는 멜라닌 색소 침착을 판별하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
  13. 제8항에 있어서,
    상기 색소 침착을 판별하는 단계는
    헤모글로빈 및 멜라닌 색소 침착으로 판별된 블록들의 면적 비율로 색소 침착의 영역을 정량화하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
  14. 제8항에 있어서,
    상기 색소 침착을 판별하는 단계는
    헤모글로빈 또는 멜라닌 색소 침착으로 판별된 블록 내의 색소 침착 정도는 상기 판별된 블록 내의 화소값과 색소 침착으로 판별되지 않은 블록들의 평균 화소값에 대한 표준 편차로 산출하는 것을 특징으로 하는
    피부 색소 침착 검출 방법.
KR1020130007696A 2013-01-23 2013-01-23 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법 KR101436988B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130007696A KR101436988B1 (ko) 2013-01-23 2013-01-23 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130007696A KR101436988B1 (ko) 2013-01-23 2013-01-23 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140094975A true KR20140094975A (ko) 2014-07-31
KR101436988B1 KR101436988B1 (ko) 2014-09-05

Family

ID=51740444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130007696A KR101436988B1 (ko) 2013-01-23 2013-01-23 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101436988B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117969A3 (ko) * 2015-01-23 2016-09-22 김용한 병변 영상 분석을 통한 광 치료 장치,이에 이용되는 병변 영상 분석에 의한 병변 위치 검출방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2019168381A1 (ko) * 2018-02-28 2019-09-06 경북대학교 산학협력단 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법
CN111836575A (zh) * 2018-06-21 2020-10-27 松下知识产权经营株式会社 皮肤评价装置、皮肤评价系统、皮肤评价方法及保存有用于皮肤评价的程序的计算机可读取的记录介质
CN112221021A (zh) * 2020-11-02 2021-01-15 中南大学湘雅三医院 一种皮肤科智能激光祛斑控制系统及控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055884A (ko) 2018-11-14 2020-05-22 이시은 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117969A3 (ko) * 2015-01-23 2016-09-22 김용한 병변 영상 분석을 통한 광 치료 장치,이에 이용되는 병변 영상 분석에 의한 병변 위치 검출방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
US10525276B2 (en) 2015-01-23 2020-01-07 Ilooda Co., Ltd. Light treatment device using lesion image analysis, method of detecting lesion position through lesion image analysis for use therein, and computing device-readable recording medium having the same recorded therein
WO2019168381A1 (ko) * 2018-02-28 2019-09-06 경북대학교 산학협력단 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법
CN111836575A (zh) * 2018-06-21 2020-10-27 松下知识产权经营株式会社 皮肤评价装置、皮肤评价系统、皮肤评价方法及保存有用于皮肤评价的程序的计算机可读取的记录介质
CN112221021A (zh) * 2020-11-02 2021-01-15 中南大学湘雅三医院 一种皮肤科智能激光祛斑控制系统及控制方法

Also Published As

Publication number Publication date
KR101436988B1 (ko) 2014-09-05

Similar Documents

Publication Publication Date Title
Olugbara et al. Segmentation of melanoma skin lesion using perceptual color difference saliency with morphological analysis
Kharazmi et al. Automated detection and segmentation of vascular structures of skin lesions seen in Dermoscopy, with an application to basal cell carcinoma classification
Waheed et al. An efficient machine learning approach for the detection of melanoma using dermoscopic images
Ramezani et al. Automatic detection of malignant melanoma using macroscopic images
KR100889014B1 (ko) 그래프 기반 접근 방법을 이용한 설진 영역 추출 방법
CN111524080A (zh) 脸部皮肤特征的识别方法、终端及计算机设备
KR101436988B1 (ko) 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법
Ramakanth et al. Approximate nearest neighbour field based optic disk detection
Marques et al. On the role of texture and color in the classification of dermoscopy images
US20190298252A1 (en) Imaging-based methods and apparatuses for assessing skin pigmentation
Lu et al. Erythema detection in digital skin images
Goel et al. Skin cancer detection using glcm matrix analysis and back propagation neural network classifier
AlDera et al. A model for classification and diagnosis of skin disease using machine learning and image processing techniques
Abbes et al. High-level features for automatic skin lesions neural network based classification
Ichim et al. Advanced processing techniques for detection and classification of skin lesions
Pathan et al. Classification of benign and malignant melanocytic lesions: A CAD tool
Paul et al. PCA based geometric modeling for automatic face detection
George et al. Pixel-based skin segmentation in psoriasis images
Madhankumar et al. Characterization of skin lesions
Glaister Automatic segmentation of skin lesions from dermatological photographs
Barata et al. 1 Toward a Robust Analysis of Dermoscopy Images Acquired under Different
Rahman et al. Skin lesions classification based on color plane-histogram-image quality analysis features extracted from digital images
Prigent et al. Spectral analysis and unsupervised svm classification for skin hyper-pigmentation classification
Xiong et al. Modeling of human skin by the Use of Deep Learning
Sheha et al. Pigmented skin lesion diagnosis using geometric and chromatic features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee