KR101015369B1

KR101015369B1 - Computer Aided Diagnosis System for Malignant Melanoma using Image Analysis

Info

Publication number: KR101015369B1
Application number: KR1020070073754A
Authority: KR
Inventors: 오칠환; 문종섭; 김민기; 이건우; 박상용; 하승한; 이언석
Original assignee: 고려대학교 산학협력단
Priority date: 2007-07-23
Filing date: 2007-07-23
Publication date: 2011-02-22
Also published as: KR20090010555A

Abstract

본 발명은 영상분석을 이용한 악성흑색종 진단 시스템에 관한 것으로, 더욱 구체적으로 더모스코피(Dermoscopy)를 통해 얻어진 색소성 피부질환의 영상을 이용하여 악성흑생종의 특징점을 검출하고 서포트 벡터 머신(SVM)을 통해 학습시켜 악성흑색종의 판단기준을 마련하여 동일한 방법으로 특징점을 추출한 영상의 악성흑색종의 여부를 판단하는 시스템에 관한 것이다.The present invention relates to a system for diagnosing malignant melanoma using image analysis, and more specifically, to detect a characteristic point of malignant melanoma using an image of pigmented skin disease obtained through dermoscopy and support vector machine (SVM). The present invention relates to a system for determining whether or not malignant melanoma in an image extracted from a feature point by preparing a criterion for malignant melanoma by learning through the same method.

악성흑색종, 더모스코피, RGB, 영상분석, 색체분석, 형태분석, 진단시스템Malignant melanoma, dermoscopy, RGB, image analysis, color analysis, morphology analysis, diagnostic system

Description

Computer Aided Diagnosis System for Malignant Melanoma using Image Analysis}

악성흑색종(malignant melanoma)는 전 세계적으로 발생빈도가 빠르게 증가 하고 있는 피부암 중 하나로 종양의 두께가 4㎜이상일 경우 5년 생존율이 24% 밖에 되지 않는 피부암 중 가장 예후가 좋지 않은 종양이다. 현재 그 발생기전은 확실치 않으나 유전적인 요인과 자외선 노출 같은 환경적 요인 등이 주요 요인으로 알려져 있다. 특히 환경적 요인은 현대사회에서의 환경오염 등으로 인한 지구상의 오존층 소실 등으로 인해 유해자외선양이 증가됨으로써 더욱 우리에게 위협적일 수 있다. 또한 피부색이 희고 푸른 눈과 금색 또는 붉은 모발을 가진 사람들에게만 주로 발병했던 과거와 달리 최근에는 거의 모든 인종에서 발병률이 증가하고 있어 우리나라의 경우도 간과할 수 없는 질환 중 하나이다 [1].
일반적으로 악성흑색종의 진단은 피부과의사의 육안평가와 생검(biopsy)을 이용한 병리 조직학적 접근으로 이루어진다. 이중 육안평가의 경우 보통 ABCD Rule (Asymmetry, Border irregularity, Color variegation, Diameter of the skin lesion)을 기반으로 하게 되는데 진단의 정확도가 65∼80% 정도로 높지 않다 [1-7]. 그래서 최근에는 더모스코피를 이용한 진단법이 전세계적으로 많이 연구되고 있다.
더모스코피(Dermoscopy)[동의어: Epiluminescence Microscopy, incident light microscopy, skin surface microscopy]를 이용한 진단방법은 피부과적 질환에 있어 비침습적(non-invasive) 진단과 in vivo 관찰을 가능하게 하는 유용한 기법으로 알려져 있다. 더모스코피는 피부표면에 미네랄오일(mineral oil), 알코올(alcohol), 물 등을 도포한 후 그 위에 렌즈를 직접 접하게 하여 병변 부위를 관찰하게 되는데, 이때의 피부표면에 도포된 액체는 피부표면에서의 반사율을 줄이고 빛의 투과는 더 깊게 하여 일반적인 육안평가에서 볼 수 없는 부분을 볼 수 있도록 한다. 피부표면에 용액을 도포하지 않고 측정하는 광학장치의 경우 빛이 표피층 정도 밖에 투과하지 못하지만 dermoscopy의 경우 상부 진피층까지 투과하게 되는 것이 이러한 이유 때문이다 (도 35 참조)[8-10].
병변의 표면뿐만 아니라 그 속까지 함께 볼 수 있는 더모스코피의 장점은 단순히 육안으로 진단하였던 과거의 방식에 비해 더욱 많은 정보를 줄 수 있어 진단의 정확도를 높이는데 크게 기여할 수 있고 실제 악성흑색종과 같은 진단 정확도가 비교적 낮은 질환에 있어서 많은 도움을 주게 된다. 하지만 빛의 더 깊은 투과로 인해 생겨나는 많은 정보들은 육안평가에서 만들어 졌던 병변의 특징보다 더 많은 특징들을 만들어 내어 고전적인 육안평가법에만 익숙하거나 더모스코피를 이용한 진단에 숙련된 자가 아니면 새롭게 생겨난 특징들을 진단에 제대로 활용할 수 없어 진단의 정확도를 높이는데 전혀 도움을 줄 수 없다. 결국 새로이 더모스코피를 이용한 진단법을 학습하여야 한다는 문제가 생기게 되고 이는 많은 의사들의 접근을 어렵게 하였다. 이에 이러한 접근을 용이하게 하기 위하여 특히 악성흑색종의 경우 ABCD Rule of dermatoscopy, Menzies scoring method, 7-point checklist와 같은 더모스코피를 이용한 진단법에 관한 몇 가지 주요 진단알고리즘들이 개발되었다. 이 주요 알고리즘은 다음과 같이 기준을 가지고 진단하게 된다 [5,8-9,11,22].
먼저 ABCD Rule of dermatoscopy의 경우 육안평가에서 주요하게 이용된 진단법인 ABCD 진단법의 변형으로써 병변의 대칭성, 경계면의 명확성, 색채의 수, 그리고 병변의 구조적인 형태를 기준으로 각각의 기준에 가중치를 적용해 더한 값인 TDS(Total Dermotoscopy Scores)의 정도에 따라 악성흑색종의 가능성을 판단한다. ABCD Rule of dermatoscopy에서는 육안평가의 경우보다 많은 정보를 줄 수 있는 dermoscopy의 이용으로 종래의 ABCD 진단법보다 병변 내의 구조적인 형태를 추가적으로 평가할 수 있게 되었다.
둘째, Menzies scoring method의 경우 비대칭적인 패턴과 두 가지 이상의 색채 그리고 9가지의 positive feature 중 한 가지 이상이 모두 관찰될 경우 악성흑색종으로 진단하게 된다. 이 진단 알고리즘의 경우 특별한 가중치 없이 각 특징의 존재유무만을 관찰하게 되며 색채수를 계산함에 있어 흰색은 포함시키지 않는 특징을 가진다.
마지막으로 7-point checklist의 경우 major criteria와 minor criteria로 나누어 ABCD Rule of dermatoscopy에서와 같이 가중치를 적용해 평가하게 되는데 major criteria의 경우 2점, minor criteria의 경우 1점의 가중치를 두어 총 3점 이상이 되면 악성흑색종으로 진단한다. 이 진단법에서는 병변 내의 피부색에 대해 major criteria와 minor criteria에서 나누어 관찰하게 되는데 major criteria에서는 비규칙적인 그물형태의 피부색 분포를 관찰하며 minor criteria에서는 피부색의 균일도를 관찰한다.
이 세 개의 주요 진단 알고리즘을 보면 크게 피부색분포 및 색채 그리고 병변의 구조적 형태를 중심으로 평가하는 것을 알 수 있고, 각각의 진단 알고리즘에서 중요시하는 특징점 또한 비슷함을 알 수 있다. 하지만 이러한 특징점들은 유무 및 정도를 판단하는데 있어 관찰자의 주관이 포함될 수 있어 동일 병변이라 하더라도 관찰자에 따라 결과가 달라질 수 있어 문제점이 있다.
이에, 본 발명자들은 더모스코피를 이용한 진단에 이용되는 병변의 색체와 형태에 대한 특징을 정량적으로 분석하여 이를 양성병변과 비교하여 객관적인 차이를 알아보았으며, 이러한 정량화된 정보를 이용하여 악성흑색종 진단 정확도를 높일 수 있음을 확인하고, 본　발명을 완성하게 되었다.Malignant melanoma is one of the most frequently occurring skin cancers worldwide, and the most prognosis among skin cancers with a 5-year survival rate of only 24% when the tumor is more than 4 mm thick. The mechanism of its occurrence is currently unclear, but genetic factors and environmental factors such as UV exposure are known as major factors. In particular, environmental factors may be more threatening to us due to the increase of harmful ultraviolet rays due to the loss of the ozone layer on the earth due to environmental pollution in modern society. In addition, unlike the past, when the skin color was mainly caused only by people with white, blue eyes and gold or red hair, the incidence rate is increasing in almost all races in recent years, which is one of the diseases that cannot be overlooked in Korea.
In general, the diagnosis of malignant melanoma consists of a gross evaluation by a dermatologist and a histopathologic approach using biopsy. In the case of gross evaluation, it is usually based on ABCD Rule (Asymmetry, Border irregularity, Color variegation, Diameter of the skin lesion), and the accuracy of diagnosis is not as high as 65 ~ 80% [1-7]. Therefore, in recent years, diagnostic methods using the thermoscopy have been studied around the world.
Diagnosis using dermoscopy (synonym: epiluminescence microscopy, incident light microscopy, skin surface microscopy) is known as a useful technique for non-invasive diagnosis and in vivo observation in dermatological diseases. have. Dermo scopy is applied to the skin surface with mineral oil, alcohol, water, etc. and then directly contact the lens on the skin to observe the lesion area, the liquid applied to the skin surface at this time This reduces the reflectance of the light and deepens the light transmission, allowing the user to see parts that are not visible in the general visual evaluation. In the case of the optical device measuring without applying a solution on the skin surface, light transmits only about the epidermal layer, but dermoscopy transmits the light to the upper dermis layer (see FIG. 35) [8-10].
The advantage of DermoScopy, which can be seen not only on the surface of a lesion, but also inside it, can give more information than the previous method, which was diagnosed by the naked eye, which can greatly contribute to improving the accuracy of diagnosis. This is very helpful in diseases with relatively low diagnostic accuracy. However, much of the information generated by the deeper transmission of light produces more features than the lesions made by visual evaluation, so that new features can be created unless you are familiar with classical visual evaluation methods or are skilled in diagnosing with thermography. It can't be used for diagnosis, and it can't help to improve the accuracy of diagnosis. As a result, there is a problem that a new diagnosis method using the thermoscopy has to be learned, which makes it difficult for many doctors to access. To facilitate this approach, several major diagnostic algorithms have been developed, especially for malignant melanoma, for diagnostic methods using thermoscopy such as ABCD Rule of dermatoscopy, Menzies scoring method, and 7-point checklist. This main algorithm is diagnosed with the criteria as follows [5,8-9,11,22].
The ABCD Rule of dermatoscopy is a variation of the ABCD diagnostic method, which is the main diagnostic method used for visual evaluation, and weights each criterion based on the symmetry of the lesion, the clarity of the interface, the number of colors, and the structural shape of the lesion. The probability of malignant melanoma is determined according to the degree of TDS (Total Dermotoscopy Scores). In the ABCD Rule of dermatoscopy, the use of dermoscopy, which can give more information than in the case of visual evaluation, enables the evaluation of structural forms in lesions more than the conventional ABCD diagnosis.
Second, in the menzies scoring method, malignant melanoma is diagnosed when asymmetric patterns, two or more colors, and one or more of nine positive features are observed. In this diagnostic algorithm, only the presence or absence of each feature is observed without particular weights, and the white color is not included in calculating the number of colors.
Lastly, the 7-point checklist is divided into major criteria and minor criteria to be weighted, as in the ABCD Rule of dermatoscopy, with a weight of 2 points for major criteria and 1 point for minor criteria. It is diagnosed as malignant melanoma. In this diagnosis, the skin color in the lesion is divided into major criteria and minor criteria. In the major criteria, the irregular distribution of skin color is observed. In the minor criteria, the skin color uniformity is observed.
The three major diagnostic algorithms can be used to evaluate skin color distribution, color, and the structural form of the lesion, and similar features of each diagnostic algorithm are also similar. However, these feature points may include subjectivity of the observer in determining the presence and degree of the problem, even though the same lesion may have different results depending on the observer.
Thus, the present inventors quantitatively analyzed the characteristics of the color and shape of the lesion used for the diagnosis using Dermoscopy and compared it with the benign lesion to find out the objective difference, and malignant melanoma using the quantified information. It was confirmed that the diagnostic accuracy can be improved, and the present invention has been completed.

삭제delete

따라서, 본 발명의 주된 목적은 더모스코피를 이용하여 피부영상 정보를 얻고 이러한 정보를 색체 및 형태적으로 분석하여 정량화된 데이터를 분석함으로써 악성흑색종 여부를 진단하기 위한 시스템을 제공하는 데 있다.Therefore, the main object of the present invention is to provide a system for diagnosing malignant melanoma by analyzing the quantitative data by obtaining the skin image information using the morphology, color and morphological analysis of the information.

본 발명의 한 양태에 따르면, 본 발명은 환자의 피부를 촬영하기 위한 더모스코피(dermoscopy), 상기 더모스코피를 통해 얻어진 색소성 피부질환의 영상에 대해 색채분석 및 형태분석을 실시하여 악성흑색종의 특징점을 도출하고 서포트 벡터 머신(SVM)을 통해 학습시켜 마련한 악성흑색종의 판단기준 저장부, 및 상기 환자의 피부영상으로부터 상기와 동일한 색채분석 및 형태분석 방법으로 추출한 특징점을 상기 판단기준에 적용하여 악성흑색종의 여부를 판단하는 판단부를 포함하는 영상분석을 이용한 악성흑색종 진단 시스템을 제공한다.
상기 악성흑색종는 멜라닌세포가 악성으로 변하면서 발생된다. 멜라닌세포는 보통 피부색에 많은 영향을 주는 것으로 알려져 있는 색소세포로 위치에 따라 피부표면에서 보여지는 색채가 달라지는데 위치에 따라 나타나는 색채는 black, gray, brown, blue로 알려져 있다. 하지만 멜라닌의 위치에 따른 색채는 육안으로 쉽게 구분이 될 만큼 뚜렷한 차이를 보이지 않고 미세한 변화를 가지면서 분포해 있어 육안으로 쉽게 구별할 수 없으며 정량화된 분석 값을 얻기가 어렵다. 이러한 문제점은 악성흑색종를 비롯하여 멜라닌세포에 영향을 받는 질환들에서 공통적으로 나타나게 되는데 색채에 대한 정량적인 분석을 위해서는 전체 표현색상에 대해 비교 가능한 기준을 설정하는 것이 우선 되어야한다.
이를 위해 본 발명에서는 악성흑색종으로 판명된 영상을 기준으로 8-bit 팔레트 구성하여 각각의 영상을 256가지 색상으로 제한하여 표현하였다. 팔레트를 구성하는 방법에는 적응양자화방법이 사용되었는데, 이는 전체 색채계를 일정한 간격으로 나눈 고정양자화방법과 달리 영상 내 빈도수가 높은 색채를 중심으로 팔레트를 구성하는 방법으로 고정양자화방법에 비해 영상의 손실을 줄이고 영상이 특정 색채군에 밀집되어 있는 경우 밀집된 부분을 중심으로 구성되어 주로 red, brown, black의 색채로 구성되어 있는 악성흑색종 영상의 경우 유리하다. 그리고 일반적으로 팔레트를 구성할 경우 흔히 색채 해상도를 높이기 위하여 디더링 기법을 사용하게 되는데 이는 영상을 손실을 가져오게 된다. 본 발명에서는 병변의 색상이 변하는 것을 줄이고, dot와 pseudopods와 같이 섬세한 특징들의 보전을 위하여 디더링 기법을 사용하지 않았다. 이렇게 구성된 palette는 표현되는 색상이 256가지로 제한되어 각각의 영상에서의 색채 값을 정량적으로 비교할 수 있는 기준이 되었으며 객관적인 분석을 가능하게 했다.
하지만 적응양자화방법을 통한 256색채의 사용은 육안식별에 있어서는 큰 장점이 되지는 못했다. 멜라닌으로 인해 brown, black, red 계열의 특정색상들로 주로 분포된 악성흑색종에서는 육안식별이 용이한 수준이 되기 위해서는 색채수의 축소가 추가적으로 이루어져야 가능할 것이다. 하지만 이 경우 영상의 손실이 커지게 되어 객관적이고 정량적인 분석에 영향을 미칠 수 있어 영상의 손실을 최소화하는 적은 수의 팔레트 구성이 요구된다.
구성된 팔레트를 통한 정량적 분석의 방법으로 병변내의 색채수를 측정하였다. 이를 위해 팔레트 내의 유사 색채들을 묶어 색채군을 형성하였는데 악성흑색종을 통해 구성된 팔레트 내의 색채들이 red, brown, black에 세분화되어 육안으로 군을 나누는 것은 쉽지 않았다. 이에 육안 식별을 용이하게 하기 위하여 RGB 색체계의 팔레트를 HSI 색체계로 변환한 후 색채의 saturation을 100%로 고정하여 hue값을 기준으로 10개의 군으로 분류하였다. 그리고 분류된 색채군을 이용하여 3% 이상 검출된 색채를 1개의 색채로 하여 색채수를 분석하였다. 그 결과 4개 이하의 색채수에서는 양성 색소성 피부질환이 많이 분포했으며 5개 이상의 색채수에서는 악성흑색종이 많이 분포함을 보였는데 이는 고전적인 더모스코피 진단 알고리즘에서 multicolor를 규정하는 기준을 5개 이상의 색채로 두는 것과 일치한다는 점에서 의미가 있다.
본 발명의 악성흑색종 진단 시스템에서, 상기 색체분석은 색채수 분석, 블루-화이트 베일(Blue-White veil) 분석 또는 균일도 분석을 이용하여 수행되는 것을 특징으로 한다.
상기 색채수 분석은 RGB 색채계로 구성된 8-bit 팔레트를 HSI 색채계로 변환한 후 Hue 값에 따른 색채군에의 분포를 계산하는 것; 상기 블루-화이트 베일 분석은 악성흑색종과 연관된 블루-화이트 베일 색채를 추출하고 그 추출된 색채의 백분율을 계산하는 것; 그리고 상기 균일도 분석은 R, G, B의 미분값과 표준편차를 이용하여 피부색의 균일도를 계산하는 것을 특징으로 한다.
본 발명의 악성흑색종 진단 시스템에서, 상기 형태분석은 대칭성 분석, 원형도 분석, 경계면 분석, 도트(dot) 또는 글로뷸(globule) 분석, 또는 스트릭(streak) 분석을 이용하여 수행되는 것을 특징으로 한다.
상기 대칭성 분석은 병변을 8등분하여 2개 부분씩 총 4개영역으로 나누어 각 영역의 대칭성을 측정하는 것; 상기 원형도 분석은 병변의 중심점을 지나는 장축에 대한 단축의 백분율을 계산하는 것; 상기 경계면 분석은 병변의 경계면을 중심으로 좌우 일정거리에서의 intensity 값의 차이를 계산하는 것; 상기 도트와 글로뷸 분석은 병변의 영상을 그레이스케일(gray scale)로 변환하여 intensity 값으로 표현한 후 threshold 값을 이용하여 도트와 글로뷸의 분포를 계산하는 것; 그리고 상기 스트릭(streak) 분석은 병변의 영상을 그레이스케일로 변환하고 sharpening과 equalization을 거친 후 threshold 값을 이용하여 정상부위와 병변을 분리하는 것을 특징으로 한다.
구체적으로 본 발명에서는, 상기 구성된 팔레트를 이용하여 악성흑색종의 색채특징인 blue-white veil을 분석하였다. 분석방법으로는 명확히 판별되는 blue-white veil을 가진 영상 20장을 기반으로 blue-white veil의 색채를 검색하여 각각의 병변에서의 분포를 분석하였다. 그 결과 악성흑색종의 경우 0.1% 이상 검출되는 비율이 양성 색소성 피부질환에 비해 높았는데 이는 팔레트를 이용한 정량적인 기준이 만들어졌기에 가능한 분석이었다.
이와 달리 피부색의 균일도 측정에서는 팔레트를 이용하지 않았다. 이는 팔레트의 구성으로 색채의 수가 줄면서 단계화된 색채로 나타나게 되어 실제 영상의 색채 변화량을 변화시키기 때문이다. 상기 피부색의 균일도 측정은 두 가지 방법으로 이루어 졌는데, 미분을 이용해 R, G, B 각각의 변화량의 평균으로 측정하는 방법과 표준편차를 이용하는 방법을 이용하였다.
먼저, 미분을 이용한 균일도 측정은 sobel 연산을 통한 R, G, B 미분값에 대한 평균을 최대 변화량인 255에 대한 백분율로 나타내었다. 이 방법은 각 픽셀간의 변화량을 이용하기에 인접 픽셀에 대한 차이 분석에는 적합하지만 일정한 낮은 변화량을 가지는 영상의 경우 거리가 멀어지면 색채 역시 큰 차이를 가지게 됨에도 낮은 변화량을 가지는 것으로 측정될 수 있는 문제점이 있어 병변 전체에 대한 피부색 균일도 측정에는 부적합하였다. 그렇지만 10미만의 변화에서는 악성흑색종에서 높았으며 20이상의 변화량에서는 양성 색소성 피부질환에서 높아 악성흑색종의 경우 병변 내에서 피부색 변화가 양성 색소성 피부질환에 비해 완만함을 알 수 있다.
두 번째 방법인 표준편차를 이용한 방법은 R, G, B값을 평균값을 이용한 표준편차와 각 R, G, B 값에 대한 표준편차를 이용하는 방법으로 분석하였다. 표준편차는 평균값에 대한 퍼짐 정도를 나타내는 것으로 그 값이 적을수록 피부색의 변화가 적다고 할 수 있는데 전반적으로 악성흑색종에 비해 양성 색소성 피부질환이 낮은 것을 알 수 있었다. 특히 R, G, B 각각에 대한 표준편차에서 red 값의 표준편차가 다른 표준편차의 분포와 달리 30이상의 표준편차 값에서 45%로 양성 색소성 피부질환의 2배 이상으로 피부색 균일도 분석에선 red 값이 많은 영향을 주고 있음을 알 수 있었다.
또한, 악성흑색종는 멜라닌세포에 의한 피부색 분포 외에도 병변의 형태가 여타의 모반성 질환과는 다른 많은 특징들을 가진다. 본 발명에서는 악성흑색종의 형태적 특징을 전체 병변의 대칭성과 원형도, 경계면의 명확도, dot와 globule, 그리고 streak로 나누어 분석하였다.
먼저, 대칭성의 경우 고전적인 더모스코피 알고리즘과 육안평가에서는 2개의 축을 이용하여 병변을 육안으로 대칭정도를 분석하였다. 이는 주관적인 관점에서 대칭정도를 분석하는 방법으로 객관적인 기준이 없어 명확한 대칭성이 보이지 않는 경우 관찰자의 주관이 크게 작용하게 된다. 이에 본 발명에서는 객관적 대칭정도를 나타내기 위하여 영상을 8등분한 후 4개영역으로 나누어서 각 영역내의 대칭정도에 대해 백분율로 나타내었다. 백분율로 나타낸 각 영역의 대칭정도는 70%, 80%, 90%로 나누어 대칭성을 판단하였는데 전체적으로 양성 색소성 피부 질환군에서 더 높은 대칭성을 보였으며 70% 대칭성에 있어서는 악성흑색종군과 양성 색소성 피부질환군의 차이가 크게 나타났는데 양성 색소성 피부질환군의 경우 3개 이상의 영역에서 일치하는 경우가 66.2%였다. 특히 4개영역 모두 일치하는 경우가 44.6%로 악성흑색종군의 17.1% 와 비교하여 약 2.6배의 차이를 나타내었다. 그렇지만 분석결과 모든 영역이 100% 일치되는 병변은 발견되지 않았으며 90% 이상의 대칭성에 대해서도 4영역에서 모두 대칭되는 영상이 악성흑색종군과 양성 색소성 피부 질환군에서 모두 존재하지 않았다. 이는 대칭성을 육안으로 명확히 구분할 수 있는 경우가 흔치 않음을 의미한다.
또한 원형성에 대한 분석은, 대칭성에 대한 보조적인 분석으로 두 가지 방법으로 분석되었는데 대부분의 모반이 원의 형태임에 착안하여 원의 면적과 원주, 그리고 장축과 단축의 비를 각각 계산하여 셋 간의 평균을 나타내는 분석과 circularity ratio를 이용한 분석을 하였다. 먼저 축과 면적, 그리고 둘레를 이용한 원형성 분석결과 85% 이상의 원형성에서 악성흑색종군의 경우 25.6%, 양성 색소성 피부질환군의 경우 67.6%로 약 2.6배의 차이를 보여 70% 대칭성에서 4개 영역이 모두 대칭인 경우와 같은 비율차를 나타내었다. 그리고 circularity ratio를 이용한 원형성 분석은 병변의 실제 둘레의 길이와 그 둘레의 길이를 갖는 원의 면적의 비를 분석한 것으로 분석결과 45.95%의 양성 색소성 피부질환에서 80% 이상의 원형성을 보인 반면 악성흑색종에서는 12.19%로 낮은 원형성을 나타내었다. 이 두가지 원형도 분석을 통해 악성흑색종의 경우 양성 색소성 피부질환의 경우보다 낮은 원형성을 가지는 것을 알 수 있었다. 원형성에 대한 분석은 종래의 악성흑색종 진단에서 사용되지 않은 방법으로써 원형인 경우가 많은 모반성 질환과의 차이는 진단에 큰 도움을 줄 것으로 예측된다.
경계면에 대한 분석으로는, 병변의 경계면을 중심으로 병변과 정상부위의 피부색의 차이를 비교하여 병변의 경계가 어느 정도 뚜렷한지에 대하여 분석하였다. 고전적인 방법인 ABCD 방법론에서는 병변을 8등분하여 육안적 판단으로 경계가 뚜렷한 영역의 수를 평가하였다. 이 방법은 단순히 병변의 경계를 8등급으로 나누어 평가할 뿐 객관적인 기준이 없으며 대부분 red와 brown 계열로 이루어진 피부에서 병변과 정상부위의 차이를 육안으로 판단하는 것은 적절하지 못하다. 본 발명에서는 병변의 경계를 중심으로 일정 간격에서 병변과 정상부위의 피부색 차이를 intensity를 이용해 구했으며 병변의 중점을 중심으로 회전시키면서 경계면 전체에 대한 피부색 차이를 분석하였다. 분석결과 intensity 차이가 15이내인 낮은 피부색 차이에서는 악성흑색종군에서 9.76%, 양성 색소성 피부질환군에서는 44.59%로 양성 색소성 피부질환군이 약 4.57배 많았으며, 40이상의 높은 피부색 차이에서는 악성흑색종군에서는 54.88%, 양성 색소성 피부질환군에서는 18.92%로 악성흑색종군이 약 3.06배 많아 악성흑색종의 경우 양성 색소성 피부질환에 비해 경계면의 차이가 심한 것을 알 수 있었다. 이 방법의 경우 전체 병변의 경계면을 비교할 수 있고 수치화된 정보로 객관화 할 수 있는 장점이 있다. 하지만 경계면이 모호한 경우와 streak와 같은 병변의 경계면이 매끄럽지 못한 경우 정확한 수치를 얻기 어려운 문제점이 나타났다. 보다 정확한 정보를 위해서는 정확한 병변의 분리가 이루어져야 될 것으로 생각된다.
이외 형태학적인 분석에는 dot와 globule 그리고 streak가 분석되었다. 이는 악성흑색종 병변의 부분적인 특징들로서 미세한 형태로 나타난다. dot와 globule의 경우 멜라닌이 부분적으로 축척되어 점의 형태로 나타나게 되는데, 본 발명에서는 10×10의 픽셀 사이즈를 기준으로 dot와 globule을 분리하였으며, gray scale의 영상에서 threshold를 이용하여 검출하였다. 그러나 검출결과 악성흑색종과 양성 색소성 피부질환 간의 특별한 차이점을 발견할 수 없었는데 이는 육안평가 시 보여지는 dot와 globule의 경우 단순히 black 색채로만 이루어진 것이 아니고 다양한 색채로 이루어져 있어 획일적으로 intensity를 이용해 검출하는 것은 부적절했다. 그리고 streak의 경우 악성흑색종의 빠른 성장을 나타내는 특징으로 악성흑색종을 진단하는데 있어 중요한 요소가 된다. 하지만 이 특징의 경우 더모스코피를 이용한 확대 영상에서조차 육안으로 그 특징을 찾기 힘든 경우가 많다. 본 발명에서는 sharpening을 통해 영상을 강조하고 equalization을 통해 명암대비를 높여 검출을 시도하였지만 특별한 결론을 얻을 수 없었다.
본 발명의 악성흑색종 진단 시스템에서, 상기 판단기준은 SVM의 학습과정에서 얻어진 최적의 분리 경계면을 갖는 의사결정함수인 것을 특징으로 한다.
구체적으로, 악성흑색종의 피부 색채분포와 색채 그리고 형태적인 분석을 통한 여러 객관적 수치들은 SVM을 이용하여 종합적으로 분석하였다. SVM은 통계적 학습이론으로서 학습과정에서 얻어진 확률분포를 이용하여 최적의 분리 경계면을 갖는 의사결정함수를 추정한 후 데이터를 이원 분류하는 것으로, 본 발명의 실시예에서는 50예의 악성흑색종과 50예의 양성 색소성 피부질환을 통해 학습하여, 32예의 악성흑색종과 24예의 양성 색소성 피부질환을 대상으로 진단 결과를 보았는데, 그 결과 총 56예의 병변에서 91.07%의 정확도를 보였다 (표 13 참조). 이는 육안평가시의 65∼80% 보다 높은 수치로서 객관적인 기준에 의한 영상처리 진단법이 육안 평가보다 우수함을 입증하였으며 앞으로 악성흑색종의 진단에 있어 영상처리방법을 통한 진단의 가능성을 보여주었다.
이하, 본 발명의 악성흑색종 진단 시스템을 보다 구체적으로 설명한다.
1. 악성흑색종의 색채적 특징에 대한 객관적 분석을 위해 8-bit 팔레트를 구성하였다. 구성된 팔레트는 영상내의 높은 빈도수의 색채를 중심으로 구성하는 적응양자화방법을 이용하였으며, 이를 이용하여 병변내의 색채수 분석과 blue-white veil에 대한 분석을 정략적이고 객관적으로 할 수 있었다.
2. 병변내의 피부색 균일도에 대한 분석에서는 미분에 의한 변화량과 표준편차를 통한 산도를 기준으로 분석하였다. 그러나 미분에 의한 변화량은 병변 전체의 균일도를 분석하는 데는 적합하지 않았으며, 표준편차를 이용한 분석에서는 red 값이 병변의 균일도에 가장 큰 반응을 함을 알 수 있었다.
3. 악성흑색종의 형태적 특징은 대칭성과 원형성, 경계면의 명확도, 그리고 dot와 globule, streak를 대상으로 분석되었다. 대칭성에 대해서는 병변을 4개영역으로 나누어 영역별 일치도를 기준으로 분석하여 기존의 육안평가를 객관화할 수 있었으며, 원형성은 축의 길이 비, 면적의 비, 둘레의 비의 평균과 circularity ratio를 통하여 정량화할 수 있었다. 그리고 경계면의 명확도는 경계면을 기준으로 정상부위와 병변의 intensity 차이를 전체 경계면을 대상으로 측정하여 기존의 병변을 8등분하여 육안으로 판단하던 방식을 정량적으로 수치화할 수 있었다.
4. 악성흑색종과 양성 색소성 피부질환의 수치화된 정보를 바탕으로 SVM을 통해 악성흑색종 여부를 진단하여 56장의 영상을 대상으로 91.07%의 진단 정확도를 보였다.
이상의 결과로 더모스코피 영상의 악성흑색종 진단에 있어 영상분석방법은 고전적인 육안평가법을 객관화 할 수 있었으며 정량화된 정보를 이용하여 진단 정확도를 높일 수 있음을 보였다.According to an aspect of the present invention, the present invention is a malignant black color by performing color analysis and morphology analysis of dermoscopy for imaging the skin of the patient, the image of the pigmented skin disease obtained through the dermoscopy The criteria for storing malignant melanoma prepared by deriving the feature points of the species and learning them through a support vector machine (SVM), and the feature points extracted from the skin images of the patient by the same color analysis and shape analysis method as described above. The present invention provides a diagnosis system for malignant melanoma using image analysis including a determination unit for determining whether malignant melanoma.
The malignant melanoma is generated when the melanocytes turn into malignant. Melanocytes are pigment cells that are known to affect skin color. The color seen on the skin surface varies depending on the location, and the color that appears according to the location is known as black, gray, brown, and blue. However, the color according to the position of melanin is not visible enough to be easily distinguished by the naked eye, but is distributed with minute changes, so it is difficult to distinguish the naked eye and it is difficult to obtain a quantitative analysis value. This problem is common in malignant melanoma and other diseases affected by melanocytes. For the quantitative analysis of colors, it is necessary to first establish a comparable standard for all expression colors.
To this end, in the present invention, an 8-bit palette is configured based on the image identified as malignant melanoma, and each image is limited to 256 colors. The adaptive quantization method is used to construct the palette. Unlike the fixed quantization method in which the entire color system is divided at regular intervals, the palette is organized around colors with high frequency in the image. If the image is concentrated in a specific color group, it is advantageous in the case of malignant melanoma image, which is composed mainly of the dense part and mainly composed of the colors of red, brown, and black. In general, when a palette is constructed, dithering techniques are often used to increase color resolution, which causes loss of image. In the present invention, dithering techniques are not used to reduce the color change of the lesion and to preserve delicate features such as dots and pseudopods. This palette is limited to 256 colors, which makes it a standard for quantitative comparison of color values in each image and enables an objective analysis.
However, the use of 256 colors through adaptive quantization method has not been a big advantage in visual identification. In malignant melanoma, which is mainly distributed as a specific color of brown, black, and red due to melanin, further reduction of the color number may be possible for visual identification. However, in this case, the loss of the image is increased, which may affect the objective and quantitative analysis, and requires a small number of palettes to minimize the loss of the image.
The number of colors in the lesion was measured by the method of quantitative analysis through the constructed palette. For this purpose, color groups were formed by grouping similar colors in the palette. Colors in the palette composed of malignant melanoma were subdivided into red, brown, and black. For easy identification, the RGB color system palette was converted to HSI color system, and the color saturation was fixed at 100% and classified into 10 groups based on hue values. And the number of colors detected by using the color group classified as more than 3% as one color was analyzed. As a result, a number of benign pigmented skin diseases were distributed in less than 4 colors, and malignant melanoma was distributed in more than 5 colors. It is meaningful in that it matches with the above color.
In the malignant melanoma diagnosis system of the present invention, the color analysis is characterized in that it is performed using the chromaticity analysis, blue-white veil analysis or uniformity analysis.
The color number analysis may be performed by converting an 8-bit palette composed of RGB color systems into an HSI color system and calculating distribution of color groups according to Hue values; The blue-white veil analysis comprises extracting a blue-white veil color associated with malignant melanoma and calculating the percentage of the extracted color; And the uniformity analysis is characterized by calculating the uniformity of the skin color using the derivative value and standard deviation of R, G, B.
In the malignant melanoma diagnosis system of the present invention, the morphology analysis is performed using symmetry analysis, circularity analysis, interface analysis, dot or globule analysis, or streak analysis do.
The symmetry analysis may be performed by dividing the lesion into eight equal parts and dividing the lesion into four regions, each of which measures symmetry of each region; The circularity analysis may comprise calculating a percentage of short axis relative to the long axis past the center point of the lesion; The interface analysis may be performed by calculating a difference in intensity values at left and right distances from a boundary surface of a lesion; The dot and globule analysis may be performed by converting an image of a lesion into a gray scale and expressing the intensity value and calculating a distribution of dots and globules using a threshold value; The streak analysis is characterized in that the image of the lesion is converted to grayscale and subjected to sharpening and equalization to separate the normal region from the lesion using a threshold value.
Specifically, blue-white veil, a color characteristic of malignant melanoma, was analyzed using the palette. As a method of analysis, the distribution of each lesion was analyzed by searching the colors of blue-white veils based on 20 images with clearly distinguished blue-white veils. As a result, the rate of detection of more than 0.1% of malignant melanoma was higher than that of benign pigmented skin disease, which was possible because of the quantitative criteria using the palette.
In contrast, the palette was not used to measure skin color uniformity. This is because the color of the palette changes the amount of color change in the actual image as the number of colors decreases. The uniformity of the skin color was measured by two methods, the method of measuring the average of the change amount of each of the R, G, B using the derivative and the method using the standard deviation.
First, the uniformity measurement using the derivative is expressed as a percentage of the maximum change of 255 as the average of the R, G, and B differential values through the sobel calculation. This method is suitable for analyzing the difference between adjacent pixels because it uses the amount of change between each pixel, but in case of an image having a constant low amount of change, the color can also be measured as having a low amount of change even if the distance becomes far. It was not suitable for measuring skin color uniformity over the entire lesion. However, less than 10 changes were higher in malignant melanoma and more than 20 changes in benign pigmented skin disease. In malignant melanoma, the skin color change in the lesion was slower than that of benign pigmented skin disease.
In the second method, the standard deviation was analyzed using R, G and B values using standard deviation using the mean and standard deviation for each R, G and B value. The standard deviation represents the spread of the mean value, and the smaller the value, the less the change in skin color. Overall, it was found that the benign pigmented skin disease was lower than that of malignant melanoma. In particular, the standard deviation of the red value in the standard deviation of R, G, and B is different from the distribution of the standard deviation, which is 45% of the standard deviation value of 30 or more. It was found that this has a lot of influence.
In addition, malignant melanoma has many features in addition to the skin color distribution by melanocytes, the shape of the lesion is different from other nevus diseases. In the present invention, the morphological characteristics of malignant melanoma were analyzed by dividing the lesion into symmetry and circularity, clarity of interface, dot and globule, and streak.
First, in the case of symmetry, the symmetry of the lesion was visually analyzed using two axes in the classical thermoscopy algorithm and visual evaluation. This is a way of analyzing the degree of symmetry from the subjective point of view. If there is no objective criterion and no clear symmetry is seen, the observer's subjectivity becomes large. Thus, in the present invention, the image is divided into eight regions and then divided into four regions to express the objective symmetry. The symmetry in each region is expressed as a percentage. The symmetry of each area in percentage was divided into 70%, 80%, and 90% to determine the symmetry. Overall, the symmetry was higher in the benign pigmented skin disease group. The difference in the disease group was large, and 66.2% of the patients with benign pigmented skin disease matched in three or more areas. In particular, 44.6% of all four regions matched about 2.6 times compared to 17.1% of malignant melanoma group. However, as a result of the analysis, no lesions were found to be 100% identical in all regions, and there was no symmetry in all four regions in the malignant melanoma group and the benign pigmented skin disease group even for more than 90% symmetry. This means that symmetry cannot be clearly distinguished with the naked eye.
In addition, the analysis of circularity, as an auxiliary analysis of symmetry, was analyzed in two ways. Since most of the birthmarks were in the form of circles, the area of the circle, the circumference, and the ratio of the major axis and minor axis were calculated, respectively. Analyzes using mean and circularity ratio were used. First, the circularity analysis using the axis, area, and circumference showed a difference of about 2.6 times in the malignant melanoma group and 67.6% in the benign pigmented skin disease group in the circularity of 85% or more. The same ratio difference is shown when all three regions are symmetrical. Circularity analysis using circularity ratio analyzed the ratio of the actual circumference of the lesion to the area of the circle with the circumference of the lesion. The analysis showed more than 80% circularity in 45.95% of benign pigmented skin diseases. In malignant melanoma, 12.19% showed low circularity. From these two circularity analysis, it was found that malignant melanoma has lower circularity than that of benign pigmented skin disease. The analysis of circularity is a method not used in the diagnosis of malignant melanoma, and it is expected that the difference from the nevus disease, which is often circular, will greatly help diagnosis.
In the analysis of the interface, the difference between the skin color of the lesion and the normal area was compared with the boundary of the lesion to determine how clear the boundary of the lesion was. In the classical ABCD methodology, lesions were divided into eight and the number of areas with clear boundaries was evaluated by visual judgment. This method simply evaluates the boundaries of lesions into 8 grades, and there are no objective criteria. It is not appropriate to visually determine the difference between lesions and normal areas in the skin of mostly red and brown series. In the present invention, the skin color difference between the lesion and the normal area was calculated using the intensity at regular intervals around the boundary of the lesion, and the difference in the skin color of the entire interface was analyzed while rotating around the center of the lesion. As a result, the low skin color difference of less than 15 intensity was 9.76% in malignant melanoma group, 44.59% in benign pigmented skin disease group, and 4.57 times more in benign pigmented skin disease group. 54.88% of the tumors and 18.92% of the benign pigmented skin disease group had 3.06 times more malignant melanoma group, and malignant melanoma showed more severe interface difference than the benign pigmented skin disease. This method has the advantage of being able to compare the boundaries of the entire lesion and objectify it with digitized information. However, it is difficult to obtain accurate values when the interface is ambiguous and when the interface between lesions such as streak is not smooth. For more accurate information, accurate separation of lesions should be considered.
Other morphological analyzes included dot, globule, and streak. This is a partial feature of malignant melanoma lesions and appears in fine form. In the case of dot and globule, melanin is partially accumulated and appears in the form of a dot. In the present invention, dot and globule are separated based on a pixel size of 10 × 10, and detected using a threshold on a gray scale image. However, as a result of detection, no special difference could be found between malignant melanoma and benign pigmented skin disease. Dot and globule, which are shown during visual evaluation, are not simply black, but are composed of various colors. It was inappropriate. In addition, streak is a characteristic that shows the rapid growth of malignant melanoma and is an important factor in diagnosing malignant melanoma. However, this feature is often difficult to find by the naked eye even in an enlarged image using Dermoscopy. In the present invention, the image was emphasized through sharpening and the contrast was increased by equalization, but no specific conclusion was obtained.
In the malignant melanoma diagnosis system of the present invention, the criterion is a decision function having an optimal separation boundary obtained in the learning process of the SVM.
Specifically, various objective values through skin color distribution, color and morphological analysis of malignant melanoma were analyzed comprehensively using SVM. SVM is a statistical learning theory that estimates the decision function with the optimal separation interface using the probability distribution obtained in the learning process, and then classifies the data in binary. In the embodiment of the present invention, 50 cases of malignant melanoma and 50 cases are positive. We learned through pigmented skin disease, and diagnosed 32 cases of malignant melanoma and 24 cases of benign pigmented skin disease. The results showed 91.07% accuracy in 56 lesions (see Table 13). This is higher than 65-80% of visual evaluation, which proved that the diagnostic method based on objective criteria is superior to visual evaluation, and showed the possibility of diagnosis through the image processing method in the diagnosis of malignant melanoma.
Hereinafter, the malignant melanoma diagnosis system of the present invention will be described in more detail.
1. An 8-bit palette was constructed for the objective analysis of the color characteristics of malignant melanoma. The constructed palette used the adaptive quantization method which consists of high frequency colors in the image, and it was able to analyze color number and blue-white veil in lesions systematically and objectively.
2. The analysis of skin color uniformity in lesions was based on the change by derivative and acidity through standard deviation. However, the amount of change due to differentiation was not suitable for analyzing the uniformity of the entire lesion. In the analysis using the standard deviation, the red value showed the greatest response to the uniformity of the lesion.
3. Morphological features of malignant melanoma were analyzed for symmetry, circularity, clarity of interface, dot, globule and streak. In terms of symmetry, the lesions were divided into four areas and analyzed based on the degree of concordance for each area to objectively evaluate the existing visual evaluation. Could. In addition, the clarity of the interface was quantitatively quantified by visually dividing the existing lesions into eight by measuring the difference in intensity between the normal and the lesions on the entire boundary.
4. Based on the numerical information of malignant melanoma and benign pigmented skin disease, SVM was used to diagnose malignant melanoma and the diagnostic accuracy was 91.07% for 56 images.
As a result, the image analysis method was able to objectiveize the classical visual evaluation method for the diagnosis of malignant melanoma of the Dermoscopy image and showed that the accuracy of diagnosis could be improved by using the quantified information.

삭제delete

이하, 실시예를 통하여 본 발명을 더욱 상세히 설명하기로 한다. 이들 실시예는 단지 본 발명을 예시하기 위한 것이므로, 본 발명의 범위가 이들 실시예에 의해 제한되는 것으로 해석되지는 않는다.
분석대상
본 발명은 82예의 악성흑색종과 74예의 양성 색소성 피부질환 병변에 대한 영상을 대상으로 진행되었다. 모든 영상은 더모스코피(dermoscopy)를 통해 얻어진 영상으로, 해상도는 713×454이며 파일형식은 jpeg로 하였다.
분석방법
1. Computer Aided Diagnosis(CAD) System의 구성
영상을 통한 악성흑색종의 진단을 위해 SVM(Support Vector Machine)을 이용하여 CAD system을 구성하였다. SVM은 학습데이터와 범주 정보의 학습진단을 대상으로 학습과정에서 얻어진 확률분포를 이용하여 의사결정함수를 추정한 후 이 함수에 따라 새로운 데이터를 이원 분류하는 통계학습이론이다[14].
본 발명의 CAD system은 학습과정과 진단과정으로 구성된다. 학습과정은 악성흑색종 여부에 대한 진단이 내려진 영상을 대상으로 색채분석과 형태분석을 통해 수치화된 특징점을 도출하였다. 그리고 도출된 데이터는 SVM의 학습데이터로 사용되어 악성흑색종의 여부 진단을 위한 의사결정함수를 추정하였다. 그리고 진단과정은 학습과정에 사용되지 않은 영상을 대상으로 하였다. 진단대상이 되는 영상은 학습과정과 동일한 방법으로 색채분석과 형태분석을 통해 특징점을 도출하였으며, 도출된 데이터는 학습과정에서 추정된 의사결정함수에 따라 악성흑색종 여부를 진단하게 된다 (도 1 참조).
2. 색채분석
더모스코피를 이용한 영상에서 색채는 헤모글로빈과 멜라닌에 의해 발생된다. 헤모글로빈에 영향을 받을 경우에는 red와 red-blue의 색채가 나타나게 되고, 멜라닌의 영향을 받을 경우에는 멜라닌의 위치에 따라 다른 색채를 나타나게 되는데, 각질층(stratum corneum)에 위치한 경우 black을 나타내고 진피표피 이음부(dermoepidermal junction)에 위치한 경우 brown, 그리고 진피 (dermis)에 위치한 경우 gray 또는 blue의 색채를 나타내게 된다 (도 2 참조)[6,8-9,15-19]. 그러나 이러한 색채는 주로 black, gray, brown, blue의 제한된 색채 내에서 미세한 차이를 보이는 것이기에 육안으로 구별 해내기 어려운 문제점을 가지고 있어 다음과 같은 방법으로 분석하였다.
2-1. 컬러 팔레트(Color palette)
컴퓨터 시각(computer vision)을 비롯하여 영상처리에서 컬러영상을 표시하는 대표적인 방법으로 빛의 삼원색인 적색, 녹색, 청색을 기본값으로 하는 RGB색채계에 따라 물체의 색채를 0에서 1사이의 밝기 값으로 표현하는 방법과 대표적인 몇 개의 색채만을 추출하여 이들로 인접한 색채를 대표하는 팔레트(palette)를 구성하는 방법이 있다. 전자의 경우 사용되는 목적에 따라 YCbCr, CMY, YIQ, HSI 등이 사용되기도 하는데 특별한 제한 없이 24-bit full color라고 부르는 대부분의 색채를 표현할 수 있다. 이와 달리 몇 개의 대표 색채로 구성된 palette를 이용한 경우 24-bit color를 8-bit이하의 제한된 색채로 구성한다. 이 방법은 화질 저하가 생겨날 수 우려가 있으나 용량이 적고, 적은 수의 색채나 유사색채로 구성된 영상의 경우에는 대조도를 높일 수 있는 장점이 있다[18].
본 발명의 분석에 사용된 영상들은 24-bit true color를 사용하는 jpeg 형식의 영상으로 16,777,216개의 색채를 가지고 있다. 이는 육안으로 식별하기에 어려움이 있을 뿐만 아니라 유사한 색상에 대한 비교 분석에 있어 객관적 기준을 가지기 어려운 문제점을 가지게 된다.
이에 본 발명에서는, 악성흑색종으로 진단이 된 영상을 이용하여 256개의 색채를 가지는 8-bit palette를 구성하였다(도 3 참조). palette 구성에 있어 병변으로 의심되는 부위뿐만 아니라 정상부위까지 포함하여 구성함으로써 정상부위와 병변부위와의 차이에 대해서도 알 수 있게 하였다.
palette 구성은 일반적으로 고정 양자화(fixed quantization)와 적응 양자화(adaptive quantization)의 두 가지로 분류된다(도 4 참조). 고정양자화의 경우 uniform 방법을 쓰게 되는데 이는 색채계를 동일한 간격으로 나누어 palette를 구성하게 되며 적응 양자화방법은 경우 주어진 영상에서 빈도수를 측정하여 높은 빈도수의 색채들을 중심으로 palette를 구성하게 된다 [18].
본 발명에서는 적응 양자화방법을 이용하였는데, 주어진 영상에서 빈도수를 측정하여 높은 빈도의 색채를 중심으로 palette를 구성하므로 특정 색채군의 빈도수가 특히 높은 경우 해당 색채군을 세분화하여 palette를 구성할 수 있다. 더모스코피를 이용한 악성흑색종의 영상은 red, brown, black의 색채에 높은 빈도수를 가지고 있어 적응 양자화방법을 이용한 palette 구성이 적합하였다. 그리고 일반적으로 palette를 구성함에 있어 컬러 해상도를 높이기 위해 디더링 기법을 이용하게 되는데 본 발명에서는 영상을 손실을 줄이기 위하여 디더링 기법은 사용하지 않았다.
2-2. 유사 색채군 형성
palette를 구성함으로써 16,777,216개의 색채의 수는 256개로 줄게 되지만 256가지의 색채가 각각 뚜렷하게 구별된다고 볼 수 없다. 특히 원본 영상의 색채분포가 red, brown, black 등의 특정 색채에서 높은 빈도수를 가지고 있기 때문에 구성되어진 palette 역시 원본 영상에서 빈도가 높았던 색채를 중심으로 세분화 되어있다. 그러므로 palette를 구성하는 256개의 색채가 각각 육안으로 분리할 수 있을 만큼의 독립된 색채를 가지고 있다고 볼 수 없다. 병변에서의 색채의 수를 측정을 위해서는 육안 식별에 있어 유사한 색채로 인식 될 수 있게 256개 색채를 몇 개의 색채군으로 나누어 분류하여야 한다.
색채군을 나누기 위하여 먼저 RGB 색채계를 기준으로 구성된 palette를 HSI 색채계의 값으로 변환하였다. HSI 색채계는 인간의 시각 특성을 고려하여 hue(색상), saturation(채도), intensity(명도)로 나타나는 색채계이다. 실제로 인간의 시각이 색채를 인식하는 것은 R, G, B의 3가지 기본 색채값을 직접 인식한다기보다는 3가지 색채의 조합형태인 밝기 값과 각 색채가 가지는 채도 및 색조를 인식한다는 것이 옳다. 주관적인 색채표현으로서 따뜻한 색채라거나, 차가운 혹은 부드러운 느낌을 주는 색채 등의 색채에 대한 표현은 명확한 어떤 수치에 의해 나타낼 수 없는 것이지만, RGB 색채계를 사용하는 경우 이에 대한 표현은 더욱 모호하다. 그러나 HSI 색채계에서의 표현은 위와 같은 색채에 대한 주관적 표현을 근사화할 수 있다. 특히 HSI 색채계를 구성하는 3가지 값 중에서 색채들을 구분하는 결정적인 역할을 하는 것은 hue이다. 하기 식 1과 같은 변환식으로 RGB 색채계는 HSI 색체계의 값으로 변환 될 수 있다 [18,20-21].
[식 1]

본 발명에서는 각 색채의 hue 값을 중심으로 saturation 값을 100%로 두어 saturation에 따른 변화를 제거한 상태에서 유사한 색채군을 결정하였다. saturation이 100%인 경우는 흰색이 전혀 포함되지 않은 순수한 색채가 된다. 추가적으로 유사 색채군과 함께 악성흑색종의 색채와 연관된 특징인 blue-white veil의 색채를 분류하였다 [4,8-9,11-12,22]. Blue-white veil에 해당하는 색채에 대한 분류는 blue-white veil의 특징이 명확한 20장의 사진으로 해당 색채를 분류하였다.
2-3. 병변 내 피부색의 균일도에 관한 분석
멜라닌 세포에 의해 발생되는 질환의 경우 병변의 색채는 멜라닌 분포에 크게 의존된다. 이러한 병변들은 멜라닌세포에 의한 피부색 분포가 여러 질환에서 다양하게 나타나게 되는데 균일한 피부색 분포의 경우 양성 색소성 병변의 특징으로 정의되기도 할 정도로 양성병변에서 특징적으로 나타난다. 이에 반해 악성인 질환의 경우에는 병변내 피부색의 분포가 균일 하지 못한 특징을 지니게 되는데 악성흑색종의 경우에도 균일하지 못한 병변내 피부색 분포를 가지고 있다. 특히 침습흑색종(invasive melanoma)의 경우 균일한 병변내 피부색 분포를 가지는 경우가 거의 없는 것으로 알려져 있다(도 5 참조)[4,8-9,13].
피부색의 균일도 분석은 피부과 의사에 의해 분리된 악성흑색종으로 의심되는 병변을 대상으로 미분값과 표준편차를 이용하여 분석하였다. 첫째, 미분값을 이용한 균일도 분석방법은 병변이 분리된 영상에 sobel 연산을 하여 R, G, B 값에 대한 변화량을 검출하였다. sobel 연산자는 하기 식 2와 같은 1차 미분을 이용한 연산자로 에지를 검출하는데 민감한 특징을 가지는 연산자이다 [20-21].
[식 2]

여기서, dx=dy=1 일 때 변화량은 다음과 같다.
[식 3]

sobel 연산자를 이용한 각축별(x, y축) 차이를 구하는 방법은 다음과 같다.
[식 4]

전체의 차이 gradient는 다음과 같이 구한다.
[식 5]

각 차이의 방향은 다음과 같이 구해진다.
[식 6]

sobel 연산을 통해 변화량을 계산한 영상은 각 픽셀의 R, G, B 값에 대한 미분값의 평균을 이용하여 intensity가 아닌 실제 변화량을 나타내는 gray scale 영상으로 변환하였다. 그리고 변환된 gray scale 영상의 각 pixel값들은 최대 변화량인 255에 대한 백분율로 표시하여 전체 병변에서의 평균값을 구해 병변내 피부색 균일도를 나타내었다 (도 6 참조).
[식 7]

여기서 r', g', b' 는 R, G, B 각각의 미분값을 나타낸다.
둘째, 표준 편차를 이용한 균일도 분석방법은 R, G, B의 평균값인 intensity에 대한 표준편차, R, G, B 각각의 값에 대한 표준편차와 그 평균을 이용하여 분석하였다. 표준편차는 각 데이터가 평균과 얼마나 차이를 가지는지를 나타내는 것으로 표준편차가 작을수록 각 데이터들이 평균값에 가까이 있음을 의미한다. 표준편차의 수식은 하기 식 8과 같다.
[식 8]

여기서 VAR는 분산, X는 확률변수, E[X]는 평균, STD는 표준편차를 나타낸다.
3. 형태학적 분석
3-1. 대칭성에 관한 분석
우리 몸에서 흔히 볼 수 있는 일반적인 점들은 양성 모반으로 대부분 그 형태가 구형이거나 타원형으로 대칭적인 형태를 가지고 있다. 그러나 이와 반대로 그 형태가 대칭적이지 못한 경우에는 육안평가에서 악성흑색종으로 의심될 수 있다. 이러한 비대칭적인 형태는 더모스코피를 통한 확대영상에서는 더욱 확실히 보여지며 육안평가에서 대칭적으로 보여진 병변도 확대된 영상에서는 비대칭적으로 보여지는 경우가 있다 (도 7 참조)[1,4,5,8,9,22].
본 발명에서는 병변의 대칭성을 분석하기 위하여 축을 중심으로 한 대칭성 측정과 병변의 원형성을 측정하였다. 두 측정을 위하여 먼저 더모스코피 이미지에서 병변으로 의심되는 부분을 피부과 의사를 통해 정상부위와 분리하였으며 분리된 영상을 이진화를 이용하여 나타내었다 (도 8 참조)[20-21].
첫 번째 대칭성 분석 방법인 축을 중심으로 한 대칭성 측정은 이진화된 영상에서 먼저 병변의 중심점을 하기 식 9와 같이 영상의 평균값을 이용하여 산출하였다.
[식 9]

중심값을 산출한 이진화 영상은 하기 식 10을 이용하여 중심점을 중심으로 반시계 방향으로 회전하여 중심점을 지나는 장축이 x축에 오도록 하였다.
[식 10]

역변환식은 하기 식 11과 같다.
[식 11]

중심점을 산출하여 장축을 x축으로 위치시킨 영상(도 9 참조)은 중심점을 중심으로 전체 병변을 도 10과 같이 동일한 각도로 8등분 하였다. 그리고 나누어진 부분들은 2개 부분씩 총 4개영역이 되도록 하여 각각의 영역에서 x축 혹은 y축을 기준으로 포개어지는 정도를 백분율로 나타내어 대칭성의 정도를 수치화 하였다.
두 번째 대칭성 분석방법인 원형성에 대한 측정은 다음과 같은 2가지 방법으로 측정되었다. 첫 번째 방법은 병변내의 축 길이와 면적 그리고 둘레의 길이를 이용하여 원형성을 측정하였다. 먼저 축 길이에 대한 비교는 중심점을 지나는 가장 긴축과 가장 짧은 축을 찾아 긴축에 대한 짧은 축의 비를 백분율로 나타내었다. 그리고 면적의 비교는 이진화된 영상의 중심점을 지나는 가장 긴축과 짧은 축의 평균을 통한 평균축의 길이를 계산하고 평균축의 길이에 대한 원의 넓이를 이진화영상의 크기와 비교하여 백분율로 나타내었다. 마지막으로 둘레의 길이에 대한 비교는 평균축의 길이에 대한 원둘레의 길이를 계산하여 실제 영상의 둘레의 길이와 비교하여 백분율로 나타내었다. 두 번째 방법은 원형비율(circularity ratio)을 이용하여 원형성을 측정하였다. circularity ratio는 병변의 실제 둘레의 길이와 그 둘레의 길이를 갖는 원의 면적의 비로 정의되며 수식은 하기 식 12와 같다.
[식 12]

3-2. 경계면에 관한 분석
병변의 경계가 뚜렷한지에 대한 평가는 고전적 육안평가방법인 ABCD 방법론의 한 요소로서, 일반적으로 영상을 8등분하여 차이가 뚜렷한 영역의 개수를 0에서 8까지의 수치로 평가하였다. 현재 알려진 바로는 악성흑색종의 경우 3에서 8까지의 수치를 보이며 악성흑색종이 아닌 멜라닌세포성 모반의 경우 4 보다 큰 경우가 10% 정도인 것으로 알려져 있다 [8-9,22]. 하지만 8등분한 영상을 이용해 각 영역을 1 또는 0으로 평가하는 것에 대한 명확한 기준이 없고 전체병변을 단순히 8영역으로 나누는 것으로는 전체병변에 대한 경계면의 명확도를 정확히 측정했다고 볼 수 없다. 이에 본 발명에서는 피부과 의사에 의해 병변이 분리된 영상을 이용하여 병변의 경계면을 따라 전체병변에서 병변과 정상부위 간의 피부색 차이가 어느 정도인지에 대한 분석을 채택함으로써 8등분하여 영역을 개수를 평가하는 고전적인 과거방법을 개선하였다. 경계면에서 병변과 정상부위와의 피부색을 비교하는 방법은 경계의 명확도를 알아보는 것이 그 목적이므로, R, G, B를 이용한 색채영역이 아닌 피부색의 강도(intensity)를 이용하였다. 우선 영상의 중심점을 찾고 그 중심점을 기준으로 영상을 회전 시키면서 경계면을 중심으로 좌우 L만큼의 거리에서의 intensity 값의 차이를 경계면에서의 피부색 차이로 나타내었다 (도 11 참조).
3-3. Dot와 Globule에 관한 분석
도 12에서와 같이, 악성흑색종을 비롯한 많은 색소질환(pigmented lesion)에서 원형의 도트(dot)와 글로불(globule)이 나타나게 되는데, 이는 각질층에서 부분적으로 멜라닌이 축척되었을 경우 나타난다. 크기에 따라 작은 것은 도트(dot), 큰 것은 글로불(globule)로 부르게 되는데 크기의 차이를 제외하고 특별한 차이점은 없다 [4,8-10,22]. 이에 본 발명에서는 dot와 globule을 동일한 방법으로 추출하였다. dot와 globule의 추출은 우선 피부과 의사에 의해 의심되는 병변을 영상에서 분리한 후 분리된 영상을 그레이스케일(gray scale)로 변환하여 intensity 값으로 표현하였다(도 13 참조). 그리고 intensity 값으로 표현된 영상에 threshold 값을 자동으로 선정하여 dot와 globule을 추출하였다. threshold 값을 이용하는 방법은 영상 f(x,y) threshold 값 T를 선택하여 f(x,y) >= T 인 모든 점(x,y)을 객체점(object point), 그렇지 않으면 배경점(background point)으로 구분하는 방법(하기 식 13 참조)이다.
[식 13]

이 경우 1로 레이블링된 화소들은 객체에 해당하고, 0으로 레이블링된 화소들은 배경에 해당한다. threshold 값을 자동으로 선정하는 방법은 히스토그램을 기반으로 하는 방법인 Otsu의 방법을 이용하여 계산되었다. 정규화된 히스토그램은 하기 식 14와 같은 이산확률분포로 나타난다.
[식 14]

여기서 n은 영상의 총 화소 수, n_q는 밝기 레벨 r_q를 갖는 화소 수, L은 영상의 가능한 밝기 레벨의 총수를 나타낸다. 여기서 C₀가 레벨 [0, 1, .........., k - 1]을 가지는 화소들의 집합이고, C₁이 레벨[k, k+1, ........., L-1]을 갖는 화소들의 집합이 되도록 threshold k가 선택된다고 가정할 경우 하기 식 15로 정의되는 between-class variance, σ² _B를 최대화시키는 threshold k를 선택한다.
[식 15]

여기서,
[식 16]

계산 된 threshold 값은 0.0과 1.0 사이의 정규화 된 값으로 변환된다[20].
이렇게 추출된 dot와 globule은 10×10의 픽셀크기를 기준으로 기준이하의 경우 dot, 기준초과의 경우 globule로 분류하였다. 그리고 dot의 경우 병변의 중심점을 지나는 가장 긴축과 짧은 축의 평균값을 구하여 그 평균값을 기준으로, 도 14와 같이 세 영역으로 병변을 분리하여 최외각 영역에 존재하는 dot의 분포를 계산하여 분석하였다. 최외각에서의 dot의 분포는 specificity가 92%로 양성 색소성 피부질환에서는 8% 정도만 검출되는 것으로 알려져 있다[8].
3-4. Streak에 관한 분석
더모스코피를 이용한 악성흑색종 영상의 일부에서 병변의 가장자리에 존재하는 방사형의 점 또는 선을 발견할 수 있다. 이는 악성흑색종이 방사형으로 빠르게 성장하고 있을 때 나타나는 현상으로 점과 유사한 것은 슈도포드(pseudopods), 선과 유사한 것은 라디칼 스트리밍(radial streaming)으로 불려진다(도 15 참조)[4,7,8-10,22]. 그렇지만 이 특징은 더모스코피를 이용한 확대영상에서조차 미세하게 나타나는 경우 많아 영상분석을 이용하여 streak의 존재 여부에 대한 판단하기는 쉽지 않다. 이에 본 발명에서는 pseudopods와 radial streaming을 구분하지 않고 분리된 병변의 가장자리에서 정상부위와 병변간의 비를 이용하여 streak의 존재 여부를 판단하였다. 병변의 추출은 피부과 의사에 의해 의심부위를 분리하여 gray 영상으로 변환한 후 영상에서 상세한 부분을 강조하기 위해 하기 식 17과 같은 마스크를 이용하여 샤프닝(sharpening)을 하였다.
<식 17>

도 16에서와 같이, sharpening을 통해 강조된 영상은 평활화(equalization)를 통하여 밝기값을 고르게 분포시켜 명암대비를 높여주었으며 threshold를 이용하여 정상부위와 병변을 분리하였다. 이 경우 정상 부위는 흰색으로 표현되며 병변은 검은색으로 표현 된다. equalization을 통할 경우, intensity의 값의 변화가 생길 수는 있지만 가장자리의 미세한 변화인 streak를 검출하는데 있어 정상부위와 병변을 더욱 명확히 하는 장점이 있다 [20-21].
streak가 존재하는 영역은 도 17과 같이, 흰점으로 표시되는 부분이 생기게 되는데 병변의 가장자리에서 검은 부분에 대한 흰부분의 면적을 하기 식 18과 같이 백분율로 나타내어 streak의 존재유무를 판단하였다.
[식 18]

4. 서포트 벡터 머신 (Support Vector Machine, SVM)
서포트 벡터 머신(SVM)은 기본적으로 두가지 특성을 가진 객체들을 분류하는 통계적 학습이론으로서 학습데이터와 범주 정보의 학습 진단을 대상으로 학습과정에서 얻어진 확률분포를 이용하여 의사결정함수를 추정한 후, 이 함수에 따라 새로운 데이터를 이원 분류하는 것으로 VC (Vapnik-Chervonenkis) 이론이라고도 한다.
두 클래스에 속하는 학습 벡터의 집합을 선형적으로 분리가능 하도록 하는 문제를 생각해 보면, 가중치 벡터 w와 바이어스 b로 구성되는 (w₀ ^T·x) + b₀ = 0의 분리면(경계면, hyperplane)을 가지도록 학습 데이터 집합(training data set) (x_i , d_i)^N _i-1을 학습시키는 것을 나타내며, 여기서 x_i는 입력 패턴이고, d_i는 목표값이 된다. 경계면 (w₀ ^T·x) + b₀ = 0은 하기 식 19를 만족하면 된다.
[식 19]

상기 식 19에서 등호의 조건을 만족하는 입력패턴들 중에서 결정 표면(decision surface)에 가장 가까이 위치한 패턴들을 서포트 벡터(support vector)라고 하며, 개념적으로 이 벡터들은 경계면에 가장 가까이 위치하여 분류하기가 어려운 벡터들이다. 따라서 분류를 위한 학습은 제약조건인 하기 식 20을 만족하는 최적의 경계면을 찾는 것이다. 이것은 제약조건을 가지는 최적화 문제로 훈련 데이터 셋 (x_i,d_i)N_i-1이 주어질 때 최적의 경계면을 위한 최적의 파라미터 w와 b를 찾는 Quadratic 문제이다.
[식 20]

여기서 최적은 최대 마진(margin)을 가지는 것이며, 최대 마진 경계면은 최적으로 두 개의 클래스를 분리할 수 있는 경계면이다. 결국 최적의 선형 분리 경계면을 g(x) = (w₀ ^T·x) + b₀로 놓으면, support vector와 g(x)의 거리를 1/∥w∥로 나타낼 수 있으며, 입력패턴을 최적으로 분류하는 경계면은 하기 식 21과 같이 비용함수 Φ(w)를 최소화 한다.
[식 21]

상기 식 21의 비용함수는 w의 블록함수이며, 제약조건인 식 20은 w에 선형임을 확인할 수 있다. 지금까지 서술된 분류를 위한 SVM을 정리하면, 학습 패턴이 주어질 때 제약조건 식 20을 만족하는 가중치 벡터 w와 바이어스 b를 찾는 최적화 문제로 생각할 수 있으며, 이때 ∥w∥²를 최소화하여 분리 간격을 최대화하도록 하여 최적 분리면을 찾아낸다. 이 최적화 문제를 해결하기 위하여 라그랑제(Lagrange) 계수법을 이용하면 하기 식 24와 같은 라그랑제 함수 L(x,b,a)을 얻을 수 있다.
<식 22>

식 22에서 a_i는 라그랑제 계수들이며, 최적화 문제에 대한 해는 x와 b에 대해서는 최소화되며, a_i≥0에 대해서는 최대화되어야 한다. 따라서 x와 b에 대한 L(x, b, a)의 최소는 그 각각에 대한 미분으로 얻어질 수 있다.
[식 23]

상기 식 23에서 a_i를 구하기 위해 기본 문제에 대한 라그랑제 함수 L(x,b,a)을 이원문제(Dual problem)의 목적함수 Q(a)로 표현하면 하기 식 24와 같이 나타낸다.
[식 24]

상기 식 24의 목적함수는 일반적으로 Quadratic Programming 문제의 형태로 학습 패턴의 항으로만 구성되며, 이때 커널함수는 K(x_i,x_j) = (Φ(x_i),Φ(x_j))로 표현된다. 그러므로 분류문제를 상기 식 24의 이원문제로 생각하면, 이는 학습패턴 (x_i,d_i)N_i-1이 주어질 때, 제약조건

와 a_i≥0 (i=1,2,...,n)을 만족하는 목적함수 상기 식 24를 최대화하는 라그랑제 계수 a_i를 찾는 것이다. 그러므로 Quadratic Programming 알고리즘에 따라 제약조건 식 20에서 목적함수 식 24를 최대로 하는 최적의 라그랑제 계수 a_i를 찾으면 최적의 가중치 벡터 w는 식 23에 의하여 계산될 수 있고, 최적의 바이어스 b는 support vector로부터 계산될 수 있다. 가중치 벡터와 바이어스에 대한 계산식은 하기 식 25와 같이 나타낸다.
[식 25]

여기서 x_r과 x_s는 하기 식 26의 조건을 만족하는 support vector들이다.
[식 26]

이때, SVM에 의한 분류식을 정리하면 하기 식 27이 선형의 결정면을 가짐을 알 수 있다.
[식 27]

여기서 sgn(·)의 ·이 양수이면 ±1이고, 그렇지 않으면 -1을 갖는 함수이며, 상기 식 27에서 정의된 커널함수는 다음과 같은 함수 중 선택될 수 있다[14].
* Dot kernel : x와 y의 내적
- k(x,y)=x*y
* Polynomial kernel : d의 degree를 가짐
- k(x,y)=(x*y+1)^d
* Radial kernel : 파라미터 T를 가짐
- k(x,y)=exp(-T∥x - y∥2)
* Neural kernel : 파라미터 a, b를 가짐(MLP)
- k(x,y)=tanh(ax*y+b)
분석결과
1. 색체 분석
1-1. Color palette의 구성
더모스코피(Dermoscopy)로 획득된 영상은 jpeg 형식으로 16,777,216가지의 색채로 표현되는데, 이를 객관적인 비교 분석이 가능하도록 8-비트 팔레트(8-bit palette)를 구성하여 256가지의 제한된 색채로 표현하였다 (도 18-20). 구성된 8-비트 팔레트는 악성흑색종으로 판명된 영상을 기초로 적응양자화방법을 이용하였으며, 병변과 정상부위가 함께 포함 되도록 하여 구성하였다.
1-2. 색상군 형성
RGB 색채계로 구성된 팔레트를 HSI 색체계로 변환하여 hue값, saturation값, 그리고 intensity값을 계산하였다. 도 21에서와 같이, 구성된 팔레트에서 hue값은 0∼60°, 300∼360°에서 많이 분포하여 악성흑색종의 경우 주로 red와 brown 계열에서 hue 빈도가 높으며, saturation은 55% 이하에서 intensity는 55% 이상에서 많이 분포함을 알 수 있다.
HSI 색채계로 변환한 팔레트는 saturation을 100%로 두고 도 22에서와 같은 색채군을 만들었다. 만들어진 색채군은 0°, 7°, 27°, 40°, 60°, 90°, 180°, 280°, 338°, 347°에서 나누어 졌으며 hue 값이 정의되지 않는 gray 값들은 따로 하나의 군을 형성하여 총 10개의 군으로 나누어졌다.
1-3. 색채수 분석결과
색채수 분석은 구성된 색채군을 기준으로 분석되었으며 3%이상 검출된 색채군을 1개 색채로 인정하였다.
표 1 및 도 23에서와 같이, 분석결과 색채수가 4개 이하인 경우 악성흑색종에 비해 양성 색소성 피부질환에서 높은 수치를 보였으며 5이상의 경우 악성흑색종에서 더 높은 수치를 보였다.
[표 1]. 병변내의 색채수 분석

1-4. 블루-화이트 베일 분석결과
Blue-white veil 분석은 특징이 명확한 20장의 사진을 이용하여 해당 색채를 추출하였으며, 각 영상에서 추출된 색채의 검출되는 정도에 대한 백분율로 나타내었다.
표 2 및 도 24와 같이, 분석결과 0.1% 미만으로 검출되는 경우 악성흑색종보다 양성 색소성 피부질환에서 높게 나타났으며 0.1% 이상 검출되는 경우에는 양성 색소성 피부질환보다 악성흑색종에서 높게 나타났다.
[표 2]. Blue-White veil의 분포

1-5. 병변 내 피부색의 균일도에 관한 분석
병변내 피부색 균일도에 대한 분석은 R, G, B의 미분값과 표준편차를 이용하여 나타내었다. 표 3 및 도 25에서와 같이, 미분값을 이용한 방법은 인접픽셀간의 변화량에 대한 평균을 최대변화량인 255에 대한 백분율로 나타낸 것으로 악성흑색종의 경우 양성 색소성 피부질환에 비해 인접 픽셀 간에 작은 변화를 보임을 알 수 있었다. 하지만 이 값은 전체적인 병변의 변화에 대한 정보를 얻을 수 없어 전체 피부색의 균일도는 알 수 없었다.
[표 3]. 미분에 의한 피부색 균일도

그리고 표준편차를 이용한 방법은 R, G, B 값의 평균인 intensity에 대한 표준편차, R, G, B 각각의 표준편차와 그 평균을 분석하였다.
분석결과 표 4와 도 26, 그리고 표 5와 도 27에서와 같이, 20 미만의 표준편차에서는 악성흑색종이 높은 분포를 보였으며 30이상의 표준편차에서는 양성 색소성 피부질환이 높은 수치를 보여 전체적으로 악성흑색종이 양성 색소성 피부질환에 비해 더 큰 표준편차를 가지고 있음을 알 수 있었다. 특징점은 악성흑색종과 양성 색소성 피부질환 모두 20∼30정도의 표준편차에서 50%이상의 분포를 가지고 있으나 악성흑색종의 red 값에서는 표준편차가 커짐에 따라 그 분포가 증가해 30이상의 표준편차를 가지는 경우가 45%를 넘으며 양성 색소성 피부질환의 2배 이상의 분포를 가진다. 이는 악성흑색종의 피부색 균일도에 red 값의 변화가 많은 영향을 준다는 것을 의미한다.
[표 4]. Intensity의 표준편차

[표 5]. R, G, B에서의 표준편차

2. 형태학적 분석
2-1. 대칭성에 관한 분석결과
병변의 중심점을 중심으로 영상을 4영역으로 총 8등분하여 각 영역에서의 70%, 80%, 90%의 대칭성을 가지는 영역의 수로써 대칭성을 분석하였으며, 영상 내에 병변이 완전히 들어 있지 않는 영상은 비대칭성으로 간주하였다.
분석결과 표 6 및 도 28에서와 같이, 90%이상의 대칭성에서는 1.35%의 양성 색소성 피부질환만이 3개의 영역에서 일치했으며 80%이상의 대칭성에서는 악성흑색종의 경우 17.08%에서 양성 색소성 피부질환에서는 37.84%에서 3개 이상의 영역이 일치했다. 그리고 70%이상의 대칭성에서는 악성흑색종의 경우 39%에서 양성 색소성 피부질환에서는 66.21%에서 3개 이상의 영역이 일치 했다. 특히 양성 색소성 피부질환의 경우 44.59%에서 4개영역에서 모두 일치하여 악성흑색종에 비해 양성 색소성 피부질환에서 대칭성이 높은 것으로 나타났다.
[표 6]. 각 비율별로 일치하는 영역의 수

2-2. 원형성에 관한 분석결과
병변의 원형성의 분석은 두 가지 방법을 이용하여 분석되었다. 첫 번째 방법은 원의 넓이와 원주, 그리고 중심을 지나는 장축과 단축간의 비를 계산하여 셋 간의 평균으로 나타내었으며, 영상 내에 병변이 완전히 들어있지 않는 영상은 비대칭성으로 간주하였다.
분석결과 표 7 및 도 29에서와 같이, 67.57%의 양성 색소성 피부질환에서 85% 이상의 원형성을 보인 반면, 악성흑색종에서는 25.61%로 낮은 원형성을 나타내었다.
[표 7]. 병변의 원형도

두 번째 방법은 circularity ratio를 이용한 방법으로 병변의 실제 둘레의 길이와 그 둘레의 길이를 갖는 원의 면적의 비를 분석하였다.
분석결과 표 8 및 도 30에서와 같이, 45.95%의 양성 색소성 피부질환에서 80% 이상의 원형성을 보인 반면, 악성흑색종에서는 12.19%로 낮은 원형성을 나타내었다.
[표 8]. 병변의 circularity ratio

2-3. 경계면에 관한 분석 결과
경계면에 대한 분석은 경계면을 중심으로 정상부위와 병변부위간의 피부색 차이로 나타내었으며, 분석 결과 표 9 및 도 31에서와 같이, intensity 값이 15이하의 경우에서는 악성흑색종이 non-melanoma에 비해 4.57배 높게 나타났으며, 35이상의 경우에서는 양성 색소성 피부질환이 악성흑색종의 경우 보다 2.9배 높게 나타났다. 이는 악성흑색종의 경우 양성 색소성 피부질환에 비해 정상부위와 병변간의 피부색의 차이가 뚜렷함을 알 수 있다.
[표 9]. 병변의 경계면 분석

2-4. Dot와 Globule에 관한 분석 결과
Dot와 globule의 분석은 동일한 방법을 사용하여 검출한 후 픽셀 크기가 10×10을 기준으로 초과된 것은 globule, 그 이하인 것은 dot로 간주하였다. 크기가 큰 globule의 경우 위치와 관계없이 병변 내에 개수로서 분석하였다.
분석결과 표 10과 도 32에서와 같이, 양성 색소성 피부질환의 경우 75.67%에서 globule이 1개 이하로 존재하였고, 악성흑색종의 경우 53.66%에서 1개 이하로 존재함을 보였다.
[표 10]. 병변내 globule의 개수

그리고 표 11과 도 33에서와 같이, dot의 경우 병변의 평균 반지름을 3등분하여 최외곽의 영역에 존재하는 dot의 분포를 분석하였으나 분석결과 특이점이 발견되지 않았다.
[표 11]. 병변외곽의 Dot 분포 분석

2-5. Streak에 관한 분석 결과
streak는 병변의 가장자리에 나타나는 특징으로, 본 발명에서는 threshold를 이용하여 white와 black의 비율로써 수치화하였으나, 분석결과 표 12 및 도 34에서와 같이, 악성흑색종과 양성 색소성 피부질환 간의 특이점이 발견되지 않았다.
[표 12]. 병변내 streak 정도 분석

3. SVM에 대한 결과
색채와 형태학적인 분석을 통한 수치들을 이용하여 SVM을 통해 진단하였다. 50예의 악성흑색종과 50예의 양성 색소성 피부질환을 training군으로 하여 학습되었다.
하기 표 13에서와 같이, 32예의 악성흑색종과 24예의 양성 색소성 피부질환을 대상으로 진단한 결과, 총 56예의 병변에서 91.07%의 정확도를 보였다. 세부적으로는 악성흑색종에서는 87.5%의 진단 정확도가 있었으며 양성 색소성 피부질환에서는 95.83%의 진단 정확도를 보였다.
[표 13]. SVM을 통한 진단 정확도

이상에서와 같이, SVM을 통한 진단은 육안평가시의 65∼80% 보다 높은 수치로서 객관적인 기준에 의한 영상처리 진단법이 육안 평가보다 우수함을 입증하였으며, 향후 악성흑색종의 진단에 있어 영상처리방법을 통한 진단의 가능성을 보여주었다.Hereinafter, the present invention will be described in more detail with reference to Examples. These embodiments are only for illustrating the present invention, and thus the scope of the present invention is not construed as being limited by these embodiments.
Analysis target
The present invention was performed on images of 82 malignant melanoma and 74 cases of benign pigmented skin disease. All images were obtained through dermoscopy, and the resolution was 713 × 454 and the file format was jpeg.
Analysis method
1. Composition of Computer Aided Diagnosis (CAD) System
CAD system was constructed using SVM (Support Vector Machine) to diagnose malignant melanoma through imaging. SVM is a statistical learning theory that estimates decision-making functions using probability distributions obtained from learning process for learning diagnosis of learning data and category information and then classifies new data according to this function [14].
The CAD system of the present invention is composed of a learning process and a diagnosis process. In the learning process, numerical features were derived from color and morphological analysis of images diagnosed with malignant melanoma. The derived data was used as learning data of SVM to estimate decision function for diagnosing malignant melanoma. And the diagnosis process was for the image that was not used in the learning process. The image to be diagnosed was derived from the color and morphological analysis in the same way as the learning process, and the derived data was diagnosed as malignant melanoma according to the decision function estimated in the learning process (see Fig. 1). ).
2. Color Analysis
Colors are generated by hemoglobin and melanin in the image using the thermoscopy. When affected by hemoglobin, the colors of red and red-blue appear, and when affected by melanin, they appear different colors according to the position of melanin. When located in the stratum corneum, it shows black and the epidermal joint If it is located in the dermoepidermal junction (brown), and if it is located in the dermis (dermis) it will show the color of gray or blue (see Fig. 2) [6,8-9,15-19]. However, these colors have a small difference in the limited colors of mainly black, gray, brown, and blue, so it is difficult to distinguish them with the naked eye.
2-1. Color palette
A representative method of displaying color images in image processing, including computer vision, and expresses the color of an object as a brightness value between 0 and 1 according to the RGB color system that defaults to the three primary colors of light, red, green, and blue. And a few representative colors and a palette representing adjacent colors. In the former case, YCbCr, CMY, YIQ, HSI, etc. may be used depending on the purpose of use, and most colors called 24-bit full colors can be expressed without particular limitation. In contrast, when using a palette consisting of several representative colors, the 24-bit color consists of limited colors of 8-bit or less. This method may cause deterioration in image quality, but it has the advantage of increasing the contrast in the case of the image having a small capacity and a small number of colors or similar colors [18].
The images used in the analysis of the present invention are jpeg format images using 24-bit true color and have 16,777,216 colors. This is not only difficult to identify with the naked eye, but also has a problem that it is difficult to have an objective standard in comparative analysis of similar colors.
Accordingly, in the present invention, an 8-bit palette having 256 colors was configured using an image diagnosed as malignant melanoma (see FIG. 3). In addition to the suspected lesions as well as the normal areas in the palette, the difference between the normal and the lesions was also known.
The palette configuration is generally classified into two types, fixed quantization and adaptive quantization (see FIG. 4). In the case of fixed quantization, the uniform method is used, and the palette is composed by dividing the color system at equal intervals. In the case of the adaptive quantization method, the palette is composed around colors of high frequency by measuring the frequency in a given image [18].
In the present invention, the adaptive quantization method is used. Since the frequency is measured in a given image and a palette is formed around colors of a high frequency, when the frequency of a specific color group is particularly high, the palette can be configured by subdividing the color group. The images of malignant melanoma using the thermoscopy have high frequency in the colors of red, brown, and black, so the palette configuration using the adaptive quantization method is suitable. In general, a dithering technique is used to increase color resolution in constructing a palette. In the present invention, a dithering technique is not used to reduce an image loss.
2-2. Similar color group formation
By constructing a palette, the number of 16,777,216 colors is reduced to 256, but 256 colors cannot be distinguished from each other. In particular, since the color distribution of the original image has a high frequency in certain colors such as red, brown, and black, the palette that is composed is also broken down around the colors that were frequently in the original image. Therefore, the 256 colors that make up the palette cannot be regarded as independent colors that can be separated by the naked eye. In order to measure the number of colors in the lesion, 256 colors should be divided into several color groups so that they can be recognized as similar colors for visual identification.
In order to divide the color group, first, the palette consisting of the RGB color system is converted into the value of the HSI color system. The HSI color system is a color system represented by hue, saturation, and intensity in consideration of human visual characteristics. In fact, it is true that the human visual perception recognizes colors rather than directly recognize the three basic color values of R, G, and B, and recognizes the brightness value, which is a combination of the three colors, and the saturation and hue of each color. As a subjective color expression, the expression of colors such as warm colors, colors that give a cold or soft feeling cannot be expressed by certain numbers, but the expressions are more vague when using the RGB color system. However, the expression in the HSI color system can approximate the subjective expression of the above colors. In particular, hue plays a decisive role in distinguishing colors among the three values constituting the HSI color system. The RGB color system may be converted to a value of the HSI color system by the conversion equation as shown in Equation 1 below [18,20-21].
[Equation 1]

In the present invention, the saturation value is set to 100% based on the hue value of each color to determine a similar color group in a state in which the change due to saturation is removed. A saturation of 100% results in pure color with no white at all. In addition, the color of the blue-white veil, which is associated with the color of malignant melanoma, together with the similar color group, was classified [4,8-9,11-12,22]. The color classification for the blue-white veil was classified into 20 pictures in which the characteristics of the blue-white veil were clearly identified.
2-3. Analysis of Skin Color Uniformity in Lesions
For diseases caused by melanocytes, the color of the lesion is highly dependent on the melanin distribution. These lesions have various skin color distributions caused by melanocytes in various diseases. In the case of uniform skin color distribution, the lesions are characteristic of benign lesions so that they are defined as characteristic of benign pigmented lesions. In contrast, in the case of malignant diseases, the distribution of skin color in the lesion is not uniform. In the case of malignant melanoma, the skin color distribution in the lesion is not uniform. In particular, it is known that invasive melanoma rarely has a uniform intra-lesion skin color distribution (see FIG. 5) [4,8-9,13].
The uniformity of skin color was analyzed by using differential value and standard deviation of lesions suspected of malignant melanoma isolated by dermatologist. First, the uniformity analysis method using the derivative value detects the change amount of the R, G, and B values by performing a sobel operation on the image from which the lesion is separated. The sobel operator is an operator having a sensitive characteristic for detecting edges using an operator using first-order derivatives such as Equation 2 [20-21].
[Equation 2]

Here, the change amount when dx = dy = 1 is as follows.
[Equation 3]

The method for calculating the difference of each axis (x, y axis) using the sobel operator is as follows.
[Equation 4]

The overall difference gradient is calculated as
[Equation 5]

The direction of each difference is obtained as follows.
[Equation 6]

The image of the change calculated through the sobel operation was converted to a gray scale image representing the actual change amount, not intensity, using the average of the derivative values for the R, G, and B values of each pixel. Each pixel value of the converted gray scale image was expressed as a percentage with respect to the maximum change amount of 255 to obtain an average value of the entire lesion and showed skin color uniformity within the lesion (see FIG. 6).
[Equation 7]

Here, r ', g', b 'represents the derivative value of each of R, G, and B.
Second, the uniformity analysis method using the standard deviation was analyzed using the standard deviation for the intensity, the mean of R, G, and B, and the standard deviation and the mean for each of the values of R, G, and B. The standard deviation is how much each data differs from the mean. The smaller the standard deviation, the closer each data is to the mean value. The formula of the standard deviation is shown in Equation 8.
[Equation 8]

Where VAR is the variance, X is the random variable, E [X] is the mean, and STD is the standard deviation.
3. Morphological Analysis
3-1. Analysis of symmetry
Common points commonly seen in our bodies are benign nevi, most of which are spherical or elliptical in symmetry. On the contrary, if the form is not symmetrical, it can be suspected as malignant melanoma in visual evaluation. This asymmetric shape is more clearly seen in the magnified image through the morphology, and lesions seen symmetrically in the visual evaluation may also appear asymmetrically in the magnified image (see Fig. 7) [1, 4, 5, 8,9,22].
In the present invention, the symmetry of the axis and the circularity of the lesion were measured to analyze the symmetry of the lesion. For the two measurements, the suspected lesion in the thermoscopy image was first separated from the normal site by a dermatologist, and the separated image was shown using binarization (see Fig. 8) [20-21].
The first symmetry analysis, the axis-based symmetry measurement, was calculated using the mean value of the image as shown in Equation 9 below.
[Equation 9]

The binarized image having the center value rotated counterclockwise around the center point by using Equation 10 so that the long axis passing through the center point was on the x axis.
[Equation 10]

The inverse transform equation is represented by the following formula (11).
[Equation 11]

The center point was calculated and the long axis was positioned on the x-axis (see FIG. 9). The entire lesion was divided into eight equal parts at the same angle as shown in FIG. 10. The divided parts were divided into four areas, each of which was divided into two parts, and the degree of symmetry was quantified by expressing the degree of overlap in each area based on the x-axis or y-axis as a percentage.
The second symmetry analysis method, circularity, was measured in two ways. In the first method, circularity was measured using the axial length, area, and circumference of the lesion. First, a comparison of the axis lengths was performed by finding the longest axis and the shortest axis passing through the center point and expressing the ratio of the short axis to the long axis as a percentage. The area comparison was calculated by calculating the average axis length through the average of the longest axis and the shortest axis passing through the center point of the binarized image, and comparing the area of the circle with the length of the average axis to the size of the binarized image. Finally, the comparison of the circumference of the circumference is calculated as a percentage of the circumference of the actual image by calculating the length of the circumference of the average axis length. The second method measures the circularity using the circularity ratio. The circularity ratio is defined as the ratio of the actual circumferential length of the lesion to the area of the circle having the circumferential length.
[Equation 12]

3-2. Boundary analysis
Evaluation of lesion boundaries is an element of the ABCD methodology, which is a classic visual assessment method. In general, the image is divided into 8 parts and the number of distinct areas is evaluated from 0 to 8. It is known that malignant melanoma shows a number of 3 to 8 and about 10% of melanocyte nevus which is not malignant melanoma is larger than 4 [8-9,22]. However, there is no definite criterion for evaluating each area as 1 or 0 using 8-division images, and simply dividing the entire lesion into 8 regions does not accurately measure the clarity of the boundary for the entire lesion. Therefore, the present invention adopts an analysis of the extent of skin color difference between the lesion and the normal area in the entire lesion along the boundary of the lesion using an image of the lesion separated by a dermatologist to evaluate the number of regions by dividing into eighths. The classic past method was improved. Since the purpose of comparing the skin color between the lesion and the normal area at the interface was to determine the clarity of the boundary, the intensity of the skin color was used instead of the color gamut using R, G, and B. First, the center point of the image was found, and the difference in intensity values at distances of left and right L from the boundary plane was shown as the skin color difference at the boundary plane while rotating the image around the center point (see FIG. 11).
3-3. Analysis of Dot and Globule
As shown in FIG. 12, circular dots and globules appear in many pigmented lesions including malignant melanoma, which occur when melanin is partially accumulated in the stratum corneum. Depending on the size, the smaller one is called a dot and the larger one is called a globule. There are no special differences except for the difference in size [4,8-10,22]. In the present invention, the dot and globule were extracted in the same way. In the extraction of dots and globules, the lesions suspected by the dermatologist were first separated from the images, and the separated images were converted into gray scales and expressed as intensity values (see FIG. 13). And the dot and globule were extracted by automatically selecting the threshold value in the image represented by the intensity value. Using the threshold value selects the image f (x, y) threshold value T so that every point (x, y) where f (x, y)> = T is the object point, otherwise the background point. point) (see Equation 13 below).
[Formula 13]

In this case, pixels labeled 1 correspond to an object, and pixels labeled 0 correspond to a background. The method of automatically selecting threshold values was calculated using Otsu's method, which is a histogram-based method. The normalized histogram is represented by a discrete probability distribution as shown in Equation 14.
[Equation 14]

Where n is the total number of pixels in the image, n_qThe brightness level r_qThe number of pixels with L denotes the total number of possible brightness levels of the image. Where C₀Is a set of pixels having levels [0, 1, .........., k-1], and C_OneAssuming that threshold k is selected to be a set of pixels with this level [k, k + 1, ........., L-1], between-class variance, σ² _BSelect the threshold k that maximizes.
[Formula 15]

here,
[Equation 16]

The calculated threshold is converted to a normalized value between 0.0 and 1.0 [20].
The dot and globule extracted as above are classified as dot below the reference point and globule above the reference point based on the pixel size of 10 × 10. In the case of dot, the average value of the longest axis and the shortest axis passing through the center point of the lesion was obtained, and based on the average value, the lesion was divided into three regions as shown in FIG. 14 to calculate the distribution of dot in the outermost region. The distribution of dots at the outermost part is known to be detected in 92% of specificity and only 8% of benign pigmented skin diseases [8].
3-4. Analysis of Streak
Some of the malignant melanoma images using thermoscopy can find radial spots or lines on the edges of the lesion. This is a phenomenon that occurs when malignant melanoma is rapidly growing radially, and similar to dots are called pseudopods, and similar to lines are called radial streaming (see Fig. 15) [4,7,8-10, 22]. However, this feature often appears fine even in magnified images using Dermoscopy, and it is not easy to determine the presence of streak using image analysis. Therefore, in the present invention, the presence of streak was determined using the ratio between the normal site and the lesion at the edge of the separated lesion without distinguishing between pseudopods and radial streaming. The lesion was extracted by a dermatologist, converted into a gray image, and then sharpened using a mask as shown in Equation 17 to emphasize the detailed part of the image.
<Eq. 17>

As shown in FIG. 16, the image emphasized by sharpening distributed the brightness values evenly through equalization to increase the contrast and separated the normal region from the lesion using the threshold. In this case, the normal area is expressed in white and the lesion is expressed in black. Although equalization may cause a change in intensity value, it has the advantage of clarifying normal areas and lesions in detecting streak, which is a slight change in edge [20-21].
In the region where streak exists, as shown in FIG. 17, a portion represented by a white point is formed. The presence of streak was determined by expressing the area of the white portion of the black portion at the edge of the lesion as a percentage as shown in Equation 18 below.
[Equation 18]

4 . Support Vector Machine (SVM)
The support vector machine (SVM) is basically a statistical learning theory that classifies objects with two characteristics, and after estimating the decision function using probability distributions obtained in the learning process for learning diagnosis of learning data and category information, Binary classification of new data by function, also called VC (Vapnik-Chervonenkis) theory.
Considering the problem of linearly separable sets of learning vectors belonging to two classes, (w is composed of weight vector w and bias b₀ ^TX) + b₀ Training data set (x) with a split plane of 0 = hyperplane_i , d_i)^N _i-1To learn, where x_iIs the input pattern, d_iBecomes the target value. Interface (w₀ ^TX) + b₀ = 0 should just satisfy | fill Formula 19 below.
[Equation 19]

Among the input patterns satisfying the condition of the equal sign in Equation 19, the patterns located closest to the decision surface are called a support vector, and conceptually, these vectors are located closest to the boundary and difficult to classify. Vectors Therefore, learning for classification is to find the optimal interface that satisfies the constraint (20). This is an optimization problem with constraints._i, d_i) N_i-1Given this is the quadratic problem of finding the optimal parameters w and b for the optimal interface.
[Equation 20]

Here, the optimal is to have the maximum margin, and the maximum margin is the boundary that can separate the two classes optimally. Eventually, the optimal linear separation boundary is g (x) = (w₀ ^TX) + b₀In this case, the distance between the support vector and g (x) can be expressed as 1 / ∥w∥, and the boundary that optimally classifies the input pattern minimizes the cost function Φ (w) as shown in Equation 21 below.
Formula 21

It can be seen that the cost function of Equation 21 is a block function of w, and Equation 20, which is a constraint, is linear to w. Summarizing the SVMs for classification described so far, it can be thought of as an optimization problem to find the weight vector w and the bias b that satisfy the constraint equation 20 given the learning pattern, where ∥w∥²Find the optimal separation surface by minimizing the maximum separation interval. In order to solve this optimization problem, using the Lagrange coefficient method, the Lagrange function L (x, b, a) can be obtained.
(Eq. 22)

A in equation 22_iAre Lagrangian coefficients, the solution to the optimization problem is minimized for x and b, and a_iFor ≥ 0 it should be maximized. Thus, the minimum of L (x, b, a) for x and b can be obtained as the derivative for each of them.
Formula 23

A in Equation 23_iThe Lagrangian function L (x, b, a) for the basic problem is expressed as the objective function Q (a) of the dual problem to obtain the following equation.
Formula 24

The objective function of Equation 24 is generally composed of terms of the learning pattern in the form of quadratic programming problem, and the kernel function is K (x_i, x_j) = (Φ (x_i), Φ (x_jIs expressed as)). Therefore, if we consider the classification problem as the binary problem of Eq. 24, it is the learning pattern (x_i, d_i) N_i-1Given this, constraint

With a_iObjective function satisfying ≥0 (i = 1,2, ..., n) Lagrangian coefficient a maximizing Equation 24_iTo find. Therefore, according to the Quadratic Programming Algorithm, the optimal Lagrangian coefficient a that maximizes the objective function 24 in constraint equation 20_iThe optimal weight vector w can be calculated by Equation 23, and the optimal bias b can be calculated from the support vector. The equation for the weight vector and the bias is expressed as in Equation 25 below.
[Equation 25]

Where x_rAnd x_sAre support vectors satisfying the condition of Equation 26 below.
Formula 26

At this time, if the classification formula by the SVM is summarized, it can be seen that Equation 27 has a linear crystal plane.
[Equation 27]

Where sgn (·) is a positive number, ± 1, otherwise -1, and the kernel function defined in Equation 27 may be selected from the following functions [14].
Dot kernel: dot product of x and y
k (x, y) = x * y
* Polynomial kernel: has degree of d
k (x, y) = (x * y + 1)^d
Radial kernel with parameter T
k (x, y) = exp (-T∥x-y∥2)
Neural kernel with parameters a and b (MLP)
k (x, y) = tanh (ax * y + b)
Analysis
1. Color Analysis
1-1. Color palette
The images acquired by Dermoscopy are expressed in 16,777,216 colors in jpeg format, which is represented in 256 limited colors by constructing an 8-bit palette for objective comparison and analysis. (Figs. 18-20). The 8-bit palette was composed of adaptive quantization methods based on the images identified as malignant melanoma.
1-2. Color group formation
The hue, saturation, and intensity values were calculated by converting the palette consisting of the RGB color system into the HSI color system. As shown in FIG. 21, in the palette configured, hue values are widely distributed at 0 to 60 ° and 300 to 360 °, and malignant melanoma has a high hue frequency mainly in the red and brown series, and saturation is 55% or less in intensity. It can be seen that the distribution is much above%.
The palette converted to the HSI color system made the color group as shown in FIG. 22 with saturation at 100%. The color group created is divided into 0 °, 7 °, 27 °, 40 °, 60 °, 90 °, 180 °, 280 °, 338 °, and 347 °. Gray values for which hue value is not defined are separately selected. It was formed and divided into 10 groups.
1-3. Color analysis result
Color number analysis was based on the color group that was configured and recognized as one color color group detected more than 3%.
As shown in Table 1 and FIG. 23, the result of the analysis showed that the number of color less than 4 showed higher values in benign pigmented skin disease than in malignant melanoma, and in the case of 5 or more, higher values in malignant melanoma.
TABLE 1 Color analysis in the lesion

1-4. Blue-White Veil Assay
In the blue-white veil analysis, the corresponding colors were extracted using 20 well-characterized pictures and expressed as a percentage of the detected degree of the extracted colors in each image.
As shown in Table 2 and FIG. 24, when less than 0.1% is detected, it was higher in benign pigmented skin disease than malignant melanoma, and when detected more than 0.1%, it was higher in malignant melanoma than benign pigmented skin disease. .
TABLE 2 Distribution of Blue-White veil

1-5. Analysis of Skin Color Uniformity in Lesions
Intralesional skin color uniformity was expressed using the derivatives of R, G, and B and standard deviation. As shown in Table 3 and FIG. 25, the method using the derivative value represents the average of the change amount between adjacent pixels as a percentage of the maximum change amount of 255. In the case of malignant melanoma, the small change between adjacent pixels in comparison with benign pigmented skin disease is shown. I could see that. However, this value could not provide information on the change of the overall lesion, so the uniformity of the entire skin color was unknown.
TABLE 3 Skin color uniformity by differentiation

In the standard deviation method, the standard deviation of intensity, the mean of R, G, and B, and the standard deviation of each of R, G, and B were analyzed.
As shown in Tables 4 and 26, and Tables 5 and 27, malignant melanoma was highly distributed in the standard deviation of less than 20, and benign pigmented skin disease was high in the standard deviation of 30 or more. Species were found to have a greater standard deviation than benign pigmented skin diseases. The characteristic point is that malignant melanoma and benign pigmented skin disease have more than 50% distribution in the standard deviation of 20-30, but the distribution of red malignant melanoma increases as the standard deviation increases, resulting in more than 30 standard deviations. Eggplant has more than 45% of the cases, and more than twice the distribution of benign pigmented skin disease. This means that the change of red value has a significant effect on the skin color uniformity of malignant melanoma.
TABLE 4 Standard Deviation of Intensity

TABLE 5 Standard Deviation at R, G, and B

2. Morphological Analysis
2-1. Analysis result on symmetry
The symmetry was analyzed by dividing the image into eight regions, centered on the center of the lesion, into eight regions, with the number of symmetrical regions of 70%, 80%, and 90% in each region. Considered asymmetry.
As shown in Table 6 and FIG. 28, only 1.35% of the benign pigmented skin diseases matched the three regions at 90% symmetry, and 17.08% of the malignant melanoma at 80% symmetry. In 37.84%, three or more regions matched. In more than 70% of symmetry, 3 or more regions coincide in 39% of malignant melanoma and 66.21% of benign pigmented skin disease. In particular, 44.59% of benign pigmented skin diseases were consistent in all four areas, indicating higher symmetry in benign pigmented skin diseases than malignant melanoma.
TABLE 6 The number of matching regions for each ratio

2-2. Results of Analysis on Prototype
The analysis of the circularity of the lesions was analyzed using two methods. The first method calculates the ratio between the width and circumference of the circle, and the long axis and short axis passing through the center, and represents the average between the three. The image that does not contain the lesion completely is considered as asymmetry.
As shown in Table 7 and FIG. 29, 67.57% of the benign pigmented skin diseases showed 85% or more circularity, while malignant melanoma showed a low circularity of 25.61%.
TABLE 7 Circularity of the lesion

The second method uses the circularity ratio to analyze the ratio of the actual circumference of the lesion to the area of the circle with the circumference.
As shown in Table 8 and FIG. 30, 45.95% of the benign pigmented skin disease showed circularity of 80% or more, while malignant melanoma showed a low circularity of 12.19%.
TABLE 8 Circularity ratio of lesion

2-3. Analysis result about interface
As for the analysis of the interface, the skin color difference between the normal and the lesion was shown around the interface. As shown in Table 9 and FIG. 31, malignant melanoma was 4.57 times higher than the non-melanoma when the intensity value was 15 or less. In 35 or more cases, benign pigmented skin disease was 2.9 times higher than in malignant melanoma. This suggests that the malignant melanoma has a clear skin color difference between the normal and the lesion, as compared to benign pigmented skin disease.
TABLE 9 Boundary analysis of lesions

2-4. Analysis Results for Dot and Globule
Dot and globule analysis was detected using the same method, and the pixel size exceeded 10 × 10 based on the globule, and the dot was less than that. Large globules were counted in the lesions regardless of their location.
As shown in Table 10 and FIG. 32, there were less than one globule in 75.67% of benign pigmented skin diseases, and less than one in 53.66% of malignant melanoma.
TABLE 10. Number of globule in the lesion

And as shown in Table 11 and Figure 33, in the case of dot was analyzed the distribution of the dot in the outermost region by dividing the average radius of the lesion by three, but no singularity was found as a result of the analysis.
TABLE 11 Dot distribution analysis outside the lesion

2-5. Analysis results about Streak
Streak is a feature that appears at the edge of the lesion, in the present invention was quantified by the ratio of white and black using the threshold, as shown in Table 12 and Figure 34, the specificity between malignant melanoma and benign pigmentation skin disease found It wasn't.
TABLE 12. Intralesional streak analysis

3. Results for SVM
Diagnosis was made through SVM using numerical values through color and morphological analysis. Fifty cases of malignant melanoma and 50 cases of benign pigmented skin disease were trained.
As shown in Table 13, the diagnosis was performed on 32 malignant melanoma and 24 cases of benign pigmented skin disease. As a result, the accuracy was 91.07% in 56 lesions. In detail, the diagnosis accuracy was 87.5% in malignant melanoma and 95.83% in benign pigmented skin disease.
TABLE 13 Diagnostic accuracy with SVM

As mentioned above, the diagnosis by SVM is higher than 65 ~ 80% of visual evaluation, and it is proved that the objective diagnosis method is superior to the visual evaluation. Showed the possibility of diagnosis.

삭제delete

악성흑색종의 진단에 유용한 더모스코피를 이용한 진단방법에서 특징점들을 도출하여 정량화함으로 종래의 주관적인 판단기준들을 객관적으로 판단할 수 있도록 하였으며, 정량화된 특징점들을 이용하여 이원화된 결과를 도출함으로써 악성흑색종의 발병여부를 알 수 있어 진단을 용이하게 한다.
[참고문헌]

Derivation and quantification of feature points in the diagnostic method using Dermoscopy, which is useful for the diagnosis of malignant melanoma, enables the objective determination of conventional subjective criteria. It is possible to know whether the disease is easy to diagnose.
[references]

도 1은 악성흑색종 진단을 위한 CAD system을 나타낸다.
도 2는 악성흑색종이 멜라닌 위치에 따라 각질층, 표피층 및 진피층에서 각각 다른 색채를 나타내는 것을 설명하고 있다.
도 3은 팔레트를 이용한 영상 입출력의 예를 보여준다.
도 4는 고정양자화와 적응양자화에 의해 구성된 팔레트를 비교한 것이다.
도 5는 병변 내 피부색의 분포가 균일 및 비균일한 것을 비교한 것이다.
도 6은 sobel 연산을 통해 변화량을 계산한 영상과 원본영상을 비교한 것이다.
도 7은 대칭적 모양의 병변과 비대칭적 모양의 병변을 비교한 것이다.
도 8은 더모스코피 영상에서 병변으로 의심되는 부분을 분리하여 이진화 영상으로 나타낸 것이다.
도 9는 대칭성 분성을 위해 장축을 x축으로 위치시킨 영상을 나타낸다.
도 10은 8등분한 영상을 이용한 대칭성 분석방법을 나타낸다.
도 11은 병변에서 경계면의 명확도를 측정하는 방법을 도시한 것이다.
도 12는 악성흑색종에 나타나는 dot와 globule을 설명하고 있다.
도 13은 병변을 분리한 영상을 gray scale로 변환하여 intensity 값으로 표현한 것이다.
도 14는 평균반지름을 통한 3영역으로 분리된 병변을 나타낸다.
도 15는 악성흑색종에서 슈도포드와 라디칼 스트리밍을 나타낸 것이다.
도 16은 원본영상을 각각 gray 영상 변환, Sharpening, Equalization, 및 Threshold로 영상처리한 후의 영상을 보여주고 있다.
도 17은 도 16에서 영상 처리된 streak을 나타낸다.
도 18은 본 발명에 따른 8-bit 컬러 팔레트의 구성을 나타낸다.
도 19는 본 발명에 따른 팔레트의 RGB 구성을 나타낸다.
도 20은 본 발명에 따른 팔레트 적용전과 후의 영상을 비교한 것이다.
도 21은 본 발명에 따른 팔레트의 HSI 구성을 나타낸다.
도 22는 HSI 색채계로 변환한 팔레트에서 나타나는 10개의 색체군이다.
도 23은 병변에서의 색체수를 분석한 결과이다.
도 24는 악성흑색종과 양성 색소성 피부질환에서 Blue-White Veil의 분포를 분석한 결과이다.
도 25는 악성흑색종과 양성 색소성 피부질환에서 미분에 의해 피부색 균일도를 분석한 결과이다.
도 26은 악성흑색종과 양성 색소성 피부질환에서 Intensity의 표준편차에 의해 피부색 균일도를 분석한 결과이다.
도 27은 악성흑색종과 양성 색소성 피부질환에서 R, G, B 값의 표준편차와 평균에 의해 피부색 균일도를 분석한 결과이다.
도 28은 병변에서 영상을 4개영역으로 각각 70%, 80%, 90%의 대칭성으로 일치하는 영역 수를 분석한 결과이다.
도 29는 악성흑색종과 양성 색소성 피부질환에서 병변의 원형도를 분석한 결과이다.
도 30은 악성흑색종과 양성 색소성 피부질환에서 병변의 circularity ratio를 분석한 결과이다.
도 31은 악성흑색종과 양성 색소성 피부질환에서 병변의 경계면에서 피부색 차이를 분석한 결과이다.
도 32는 악성흑색종과 양성 색소성 피부질환에서 병변 내 gloubule의 개수를 분석한 결과이다.
도 33은 악성흑색종과 양성 색소성 피부질환의 병변 외곽에서 Dot의 분포를 분석한 결과이다.
도 34는 악성흑색종과 양성 색소성 피부질환에서 병변 내 streak 정도를 분석한 결과이다.
도 35는 더모스코피를 이용한 피부표면 영상이 얻어지는 원리를 설명한다.1 shows a CAD system for diagnosing malignant melanoma.
2 illustrates that malignant melanoma exhibits different colors in the stratum corneum, epidermal layer and dermal layer depending on the melanin position.
3 shows an example of image input and output using a palette.
Figure 4 compares the palette constructed by fixed quantization and adaptive quantization.
5 compares that the distribution of skin color in the lesion is uniform and non-uniform.
FIG. 6 compares an image obtained by calculating a change amount using a sobel operation and an original image.
7 compares symmetrical shaped lesions with asymmetrical shaped lesions.
8 shows a binary image by separating a suspected lesion from a thermoscopy image.
9 shows an image in which the long axis is positioned on the x axis for symmetry division.
10 illustrates a symmetry analysis method using an image divided into eight.
11 illustrates a method of measuring the clarity of the interface in a lesion.
12 illustrates dot and globule in malignant melanoma.
FIG. 13 illustrates an image obtained by converting the lesion into a gray scale and representing the intensity value.
14 shows lesions separated into three regions through the average radius.
15 shows pseudopods and radical streaming in malignant melanoma.
FIG. 16 shows an image after processing an original image with gray image conversion, sharpening, equalization, and threshold, respectively.
FIG. 17 illustrates streak images processed in FIG. 16.
18 shows the configuration of an 8-bit color palette according to the present invention.
19 shows an RGB configuration of a palette according to the present invention.
20 is a comparison of the image before and after applying the palette according to the present invention.
21 shows an HSI configuration of a pallet according to the present invention.
22 is a group of ten colors shown in a palette converted to an HSI color system.
Fig. 23 shows the results of analyzing the number of colors in the lesion.
24 is a result of analyzing the distribution of Blue-White Veil in malignant melanoma and benign pigmented skin disease.
25 is a result of analyzing skin color uniformity by differentiation in malignant melanoma and benign pigmented skin disease.
FIG. 26 is a result of analyzing skin color uniformity by standard deviation of intensity in malignant melanoma and benign pigmented skin disease.
27 is a result of analyzing skin color uniformity by the standard deviation and mean of R, G, B values in malignant melanoma and benign pigmented skin disease.
FIG. 28 shows the result of analyzing the number of regions where the image is matched with four regions in symmetry of 70%, 80%, and 90%, respectively.
29 shows the results of analyzing the circularity of lesions in malignant melanoma and benign pigmented skin disease.
30 is a result of analyzing the circularity ratio of lesions in malignant melanoma and benign pigmented skin disease.
31 is a result of analyzing the skin color difference at the interface of lesions in malignant melanoma and benign pigmented skin disease.
32 is a result of analyzing the number of gloubule in the lesion in malignant melanoma and benign pigmented skin disease.
33 is a result of analyzing the distribution of Dot outside the lesion of malignant melanoma and benign pigmented skin disease.
34 is a result of analyzing the degree of streak in lesions in malignant melanoma and benign pigmented skin disease.
35 illustrates the principle of obtaining a skin surface image using Dermoscopy.

Claims

Dermoscopy for imaging the patient's skin;

For the image of the pigmented skin disease obtained through the thermoscopy, color analysis, color symmetry analysis, circularity analysis, and the like, which are carried out using color number analysis, blue-white veil analysis and uniformity analysis, Morphological analysis is performed using boundary analysis, dot or globule analysis, and streak analysis to derive the characteristic points of malignant melanoma and learn them through a support vector machine (SVM). Criteria storage unit of malignant melanoma; And

Malignant melanoma diagnosis system using an image analysis comprising a determination unit for determining whether malignant melanoma by applying the feature points extracted from the skin image of the patient by the same color analysis and morphology analysis method as described above.

delete

According to claim 1, The color analysis is a malignant melanoma diagnosis system, characterized in that to calculate the distribution in the color group according to the color (Hue) after converting the 8-bit palette consisting of the RGB color system to the HSI color system .

The system of claim 1, wherein the blue-white veil analysis extracts a blue-white veil color associated with malignant melanoma and calculates a percentage of the extracted color.

The malignant melanoma diagnosis system according to claim 1, wherein the uniformity analysis calculates the uniformity of skin color using differential values of R, G, and B and standard deviation.

delete

The malignant melanoma diagnosis system according to claim 1, wherein the symmetry analysis measures the symmetry of each region by dividing the lesion into eight equal parts and dividing the lesion into four regions.

2. The malignant melanoma diagnosis system according to claim 1, wherein the circularity analysis calculates a percentage of the short axis with respect to the long axis passing through the center point of the lesion.

The malignant melanoma diagnosis system according to claim 1, wherein the interface analysis calculates a difference in intensity values at a predetermined distance from the left and right at the boundary surface of the lesion.

The method of claim 1, wherein the dot and globule analysis is performed by converting an image of a lesion into a gray scale and expressing it as an intensity value, and then calculating a distribution of dots and globules using a threshold value. Malignant melanoma diagnostic system, characterized in that.

The method of claim 1, wherein the streak analysis is performed by converting an image of the lesion into grayscale, sharpening and smoothing, and then separating the normal region from the lesion using a threshold value. Malignant melanoma diagnostic system characterized by.

2. The malignant melanoma diagnosis system according to claim 1, wherein the criterion is a decision function having an optimal separation interface obtained in the learning process of the support vector machine (SVM).