KR102407248B1

KR102407248B1 - 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템

Info

Publication number: KR102407248B1
Application number: KR1020200091636A
Authority: KR
Inventors: 조현종; 이신애
Original assignee: 강원대학교산학협력단
Priority date: 2020-07-23
Filing date: 2020-07-23
Publication date: 2022-06-08
Also published as: KR20220012628A

Abstract

본 발명은 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템으로서, 학습 데이터를 소정의 알고리즘을 적용하여 데이터를 증대하는 1단계; 상기 1단계 데이터의 이미지를 분할하는 2단계; 상기 2단계의 분할된 이미지 데이터로 분류데이터를 생성하는 3단계; 및 테스트 데이터를 분할하여 위 병변 존재여부를 판정하는 4단계;로 이루어지고, 상기 1단계는, CIFAR-10 정책을 사용하여 데이터를 증대하고, Inception-V3, Resnet-101, Xception 및 Inception-Resnet 4개의 네트워크를 사용하여 데이터를 학습하며, 상기 2단계는, SLIC 슈퍼 픽셀(SLIC superpixel) 알고리즘 및 FRFCM 알고리즘을 사용하여 이미지를 분할하는 것을 특징으로 한다.

Description

데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템{Deep Learning based Gastric Classification System using Data Augmentation and Image Segmentation}

본 발명은 딥러닝 기술을 활용하여 의료 영상을 분류하고 병변을 판정하는 기술이며, 더 구체적으로는 위 내시경으로 촬영한 영상을 데이터 증대 및 이미지 분할 기법을 활용하여 위 병변(위암) 여부를 판정하는 기술에 대한 것이다.

세계 암 연구기관인 International Agency for Research on Cancer(IARC)에서 2018년에 발표한 전 세계 위암 발생률 통계에 따르면 10만 명당 기준 연령 표준화 발생률(Age-Stan- dardized incidence Rate, ASR) 기준으로 한국이 세계 1위를 차지하는 것을 알 수 있다. 2위는 몽골, 3위는 일본, 4위 중국으로 주로 아시아 나라에서 위암 발생률이 높다는 것을 볼 수 있다.

위암의 원인이 되는 전암성 병변들은 위염, 위궤양, 위출혈 등으로 밝혀져 있다. 이러한 위 질환 대부분은 위암으로 진행되기 전까지 무증상이기 때문에 발견이 어렵다. 또한, 이미 위암으로 진행이 되었어도 초기 위암은 특징적인 증상이 없다. 위암의 전암성 병변들을 정확하게 진단하고 치료하기 위해서는 정기적인 내시경 검진이 필수적이다. 현재 내시경은 다양한 고성능, 고화질의 장비를 통하여 진단되고 있다.

하지만 내시경 장비로 촬영된 영상의 수가 점점 증가하고 고품질화가 됨에 따라 이를 육안에 의존하여 진단을 내리는 의사는 피로도가 증가하게 되며, 전문의의 숙련도에 따라 진단의 차이가 존재하게 된다. 이러한 오진을 줄이기 위해서 컴퓨터 보조 진단(Computer-aided Diagnosis, CADx) 시스템이 많이 연구되고 있는데 이 CADx 시스템은 전문의에게 놓칠 수 있는 병변을 찾아주거나 보조 진단 의견을 제시하여 오진율을 낮출 수 있게 도와준다.

현재 딥러닝을 이용한 CADx 시스템 연구가 활발히 진행되고 있다. 하지만 딥러닝 연구에 있어 가장 중요한 부분이 될 수 있는 데이터는 수집 과정이 어려워 여전히 문제로 남아있다. 특히 의료영상 수집은 환자의 개인정보 보호를 위해 임상시험 심사 위원회(Institutional Review Board, IRB) 승인이 있어야 하는 등 매우 많은 단계와 비용과 시간이 소모된다. 이를 보완하기 위한 데이터의 증대와 함께 이미지를 분할 등의 방법이 필요하다.

본 발명은 CNN 방식을 사용하여 비정상 위 내시경 영상을 암 병변여부로 분류하기 위해 자동화 방법을 제공하는 것이며, 이를 위해 본 발명은 데이터 보강을 위한 증대(autoaugment) 방법과 더불어 SLIC superpixel 및 FRFCM의 분할 알고리즘이라는 두 가지 접근 방식을 제시하는 것을 목적으로 한다.

본 발명은, 학습 데이터를 소정의 알고리즘을 적용하여 데이터를 증대하는 1단계; 상기 1단계 데이터의 이미지를 분할하는 2단계; 상기 2단계의 분할된 이미지 데이터로 분류데이터를 생성하는 3단계; 및 테스트 데이터를 분할하여 위 병변 존재여부를 판정하는 4단계;로 이루어진다.

상기 1단계는, CIFAR-10 정책을 사용하여 데이터를 증대하는 1-1단계;를 포함하고, 상기 1-1단계는 데이터를 25개의 새로운 이미지로 증대하는 방법을 사용하였다. 그리고, Inception-V3, Resnet-101, Xception 및 Inception-Resnet 4개의 네트워크를 사용하여 학습하도록 하였다.

상기 2단계는, SLIC 슈퍼 픽셀(SLIC superpixel) 알고리즘 및 FRFCM 알고리즘을 사용하여 이미지를 9개 영역으로 분할하도록 하였다.

SLIC 슈퍼 픽셀 알고리즘은, 간격 S를 갖는 이미지에서 클러스터 중심좌표의 위치를 균일하게 배열하는 단계를 포함하며, S는 아래 식(1)로 계산된다.

식(1)

중심 좌표를 클러스터 중심좌표에 가장 가까운 3X3 픽셀의 가장 낮은 위치로 이동하고, 중심 좌표 배열이 완료되면 모든 픽셀의

,

를 아래 식(2)와 식(3)을 이용하여 계산한다.

식 (2)

식 (3)

여기서,

는 j번째 클러스터(cluster) 중심좌표의 CIELAB 색상 정보를 나타내며,

는 i번째 이미지 픽셀의 CIELAB 색상 정보를 나타내며,

는 j번째 클러스터 중심 좌표이며,

는 i번째 픽셀 좌표이고,

는 2S 범위 내에서 클러스터

와 픽셀 i 사이의 CIELAB 컬러 거리이고,

는 2S 범위 내에서 클러스터

와 픽셀 i 사이의 거리이다.

총 거리 D는 식 (4)와 같이 계산하고, 여기서 m은 가중치 매개 변수이며,

식 (4)

모든 픽셀에 대해 모든 클러스터 할당이 완료된 후, 클러스터링을 최적화하기 위해 모든 클러스터의

와

의 정보를 업데이트 하고, j번째 클러스터의

는 j-클러스터에 할당된 픽셀의 i의 평균값

로 업데이트 되고,

는 j번째 클러스터에 할당된 픽셀의 무게 i의 무게중심으로 변경되며, 이 과정을 모든 클러스터의

와

가 변경되지 않을 때까지 반복한다.

FRFCM 알고리즘은, FRFCM의 목적함수를 식 (5)로 정의한다.

식 (5)

여기서, 매개 변수

은 클러스터 k에 대한 fuzzy 멤버쉽 그레이값

를 의미하고,

은 그레이 레벨이다.

그리고, 라그랑주 승수법을 사용하여 식 (6)과 같은 최적화 문제로 변환하는

식 (6)

식 (5)를 최소화함으로서, 다음 식 (7)과 식 (8)과 같은 해를 구하게 된다.

식 (7)

식 (8)

상기 식 (7)에 의해 맵버쉽 파티션 행렬

을 얻고, 안정적인 U를 얻기 위해서

이 만족될 때까지 식(7)과 식(8)을 반복 계산하는 단계; 원본 이미지에 해당하는 새로운 멤버쉽 파티션 행렬

을 얻는 단계; 및 알고리즘의 수렴속도를 높이기 위해 중간필터로 아래 식 (9)를 사용하는 단계;를 포함한다.

식 (9)

본 발명은 상기와 같은 데이터 증대 및 이미지 분할 방식을 사용함으로써 비정상 위 내시경 영상을 암 병변여부로 분류하기 위해 자동화 방법을 제공하고 이를 통해 암 병변 여부를 자동으로 선별하는 기법을 제공하게 된다.

도 1은 본 발명에서 사용한 증대 방법의 프로세서이며,
도 2는 본 발명에 사용된 Inception-V3 네트워크의 모듈이며,
도 3은 본 발명에 사용된 Resnet의 Residual 모듈이며,
도 4는 본 발명에 사용된 Inception 모듈의 Extreme 버전이며,
도 5는 본 발명에 사용된 컨볼루션 방법 비교한 그림이며,
도 6는 본 발명에 사용된 Inception-Resnet 모듈이며,
도 7은 본 발명에 따른 컴퓨터 보조 진단 시스템의 구조도이며,
도 8은 본 발명에 따른 증대 정책과 네트워크 성능 비교표이며,
도 9는 본 발명에서의 슈퍼 픽셀로 클러스터 되는 모습이며
도 10은 본 발명에 따른 데이터 증대 및 분할 과정을 보여주며,
도 11은 본 발명에 따른 시스템의 전체적인 흐름도이며,
도 12는 위 암의 이미지로서 본 발명에 따른 이미지 분할과정을 보여주고 있으며,
도 13은 데이터 증대만을 수행한 경우, 본 발명에 따른 SLIC superpixel 이미지 분할과정을 함께 수행한 경우 등등의 ROC 커브 곡선 결과를 보여주며,
도 14는 데이터 증대만을 수행한 경우, 본 발명에 따른 FRFCM 이미지 분할과정을 함께 수행한 경우 등등의 ROC 곡선 결과를 보여준다.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 또한, 사용된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들이며 이는 사용자 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

I. 데이터 증대[AutoAugment]

데이터 증대 방법으로 적용한 방법은 ImageNet, SVHN, CIFAR-10과 같은 검증된 데이터 세트의 최적의 증대 방법을 제공해준다. 딥러닝에 데이터를 사용할 때 과적합을 피하고 성능을 향상시키기 위해 데이터를 증대하는데 이때 증대 방법을 강화학습을 통하여 찾아내는 알고리즘이며, 도 1과 같은 프로세서이다. 본 증대 기법 정책을 결정하는 Controller인 RNN과 Controller가 생성한 Child Network를 통하여 여러 가지로 구성된 증대 정책들을 데이터 세트에 적용을 시키면서 그에 대한 성능 정확도인 R을 얻고 Controller에 R을 업데이트함으로써 최상의 정책을 찾아내는 알고리즘이라 할 수 있다.

총 25가지 Augment 정책으로 제시가 되어 있으며 1개의 정책은 2가지의 작업을 순서대로 진행한다. 이때 정책에 적용되는 작업 기법은 ShearX/Y, TranslateX/Y, Rotate, AutoContrast, Invert, Equalize, Solarize, Posterize, Contrast, Color, Brightness, Sharpness, Cutout, Sample Pairing으로 정의되어 있다. 이러한 작업 기법을 조절하는 파라미터는 2개로 이뤄져 있는데 해당 작업 기법이 정책에 적용할 가능성을 호출하는 확률값, 그리고 작업 기법이 적용되는 기 값으로 이루어진다. 하나의 작업 기법과 적용되는 2개의 파라미터로 정해질 수 있는 정책은 모두

개다.

학습이 진행되면서 이 정책들을 임의로 선택하여 트레이닝 데이터에 적용하여 학습을 하고 분류를 반복하면서 향상된 성능을 가지는 증대 정책을 찾아가며 최적의 정책을 찾게 된다.

ImageNet은 주로 색상과 빛에 대한 기반 변환을 특징으로 갖는데 이는 CIFAR-10의 정책과 비슷하다고 볼 수 있고, SVHN의 정책과는 다르다는 것을 알 수 있다. SVHN의 정책은 이미지를 비틀거나 색상을 반전시키는 것과 같은 변형 기법을 정책으로 가진다.

ImageNet 데이터 셋은 약 140만 개의 이미지가 사람, 동물, 악기, 스포츠 등의 21,841개의 클래스로 이루어져 있다. 마찬가지로 CIFAR-10 데이터 셋은 항공기, 자동차, 새, 고양이 등을 포함하여 5만 개의 훈련 이미지를 가지고 있다. 또한, 73,257개의 학습 데이터를 가지고 있는 SVHN 데이터 집합은 무작위로 실험 대상으로 선택되었다. SVHN은 실제 이미지 데이터 집합이며 Google Street View에서 집 번호 이미지를 잘라내어 구성된 데이터 셋이다.

이미지 분류에 강점을 가진 합성곱 신경망인CNN(Convolu- tional Neural Network)을 본 연구에 적용하였다. 사용한 네트워크는 Inception-V3과 Xception, Resnet-101, Inception-Res-net이다.

[Inception-V3]

Inception-V3는 기존 신경망의 망이 깊어짐에 따라 발생하는 문제를 보완하기 위해서 나온 네트워크이다. 신경망의 망이 깊어질수록 성능은 향상되지만 깊어질수록 과적합과 Gradient vanishing이 발생하는 문제가 있는데, Inception-V3는 이를 해결하기 위하여 도 2과 같은 Inception 모듈을 9개를 연결하여 구성된 네트워크이다. Inception 모듈은 이미지 특징맵을 추출하기 위하여 Convolution층을 1x1, 3x3, 5x5로 구성하여 연결하였고, Max pooling을 이용하여 연산을 수행한다. 네트워크를 깊게 쌓음으로써 많아진 연산량을 Inception 모듈의 1x1 Convolution을 통하여 차원을 감소시키고 3x3, 5x5 Convolution을 지나면서 차원을 다시 확장하는 방법으로 네트워크를 구성하여 많아진 연산의 양을 축소하면서도 떨어지지 않는 성능을 가진다.

[Resnet-101 Network]

Resnet은 과적합 문제와는 다르게 모델이 깊어지면 얕은 모델보다 성능이 더 나빠지는 현상인 Degradation 문제를 해결하기 위한 네트워크이다. 해당 문제를 해결하기 위해 Residual 학습이라는 방법을 제안한 네트워크인데 도 3과 같이 입력에서 출력으로 연결되는 skip-connection을 추가하여 네트워크를 구성하였다. skip-connection은 이전 층에서 전이되는 미미한 변화율이 학습을 중단시키는 것을 방지한다. 이러한 방법을 identify shortcut이라고 칭하며 해당 방법을 통하면 깊은 망에서도 쉽게 최적화가 가능하며 깊은 망에 발생하는 다양한 문제에 대하여 문제를 개선 시킬 수 있다.

[Xception Network]

Xception은 기존 도 2의 Inception 모듈을 도 4와 같이 변형하여 입력에 대하여 1x1 Convolution Layer를 거친 후 모든 채널을 분리해 각각의 채널을 모두 별개로 3x3 Convolution을 거쳐 각 채널당 특징맵을 연산을 하는 모듈이다. Xception 네트워크는 이렇게 변형한 Extreme Inception 모듈을 구성하여 Depth-wise separable Convolution 연산을 하게 되는데, 도 5에서 보듯이, 기존 Convolution은 모든 채널과 지역 정보를 고려하여 하나의 특징맵을 만든 것이라면 Depth-wise separable Convolution은 색상 채널 별로 각각의 특징맵을 하나씩 만들고 그 다음 1x1 Convolution 연산을 수행하여 출력되는 특징맵 수를 조정하는 차이점이 존재하며 성능을 향상 시킨 네트워크이다.

[Inception-Resnet network]

Inception 네트워크에 Resnet 네트워크를 적용한 것이 Inception-Resnet 네트워크이다. 해당 네트워크는 도 6과 같이, 기존 Inception 연산량보다 2배의 메모리와 연산 비용을 가진다고 밝힌 네트워크이다. 각각의 여러 개의 Inception 모듈로 이뤄진 Inception Network를 수정하였는데 Inception 모듈 끝단에 Residual network를 달아 Skip connection을 추가하여 구성한 네트워크로 Resnet의 특성과 Inception 모듈의 장점을 가진다.

본 발명에서는 CIFAR-10, ImageNet, SVHN의 25가지 정책을 사용하여 훈련 데이터를 증대하고 학습과 테스트를 실시한다. 그리고, 학습시에는 4개의 네트워크를 사용하였다. 사용된 네트워크는 Inception-V3, Resnet-101, Xception, Inception-Resnet이다. 수집된 데이터 중 정상 데이터 493장과 비정상 데이터 250장으로 743장의 학습 데이터는 18575장으로 증대되었고 각 4개의 네트워크를 통해 학습되었다. 세 개의 데이터 세트가 각각 네 개의 네트워크에서 연구되었기 때문에 총 12개의 모델이 생성된다. 우리의 CADx 시스템은 입력 데이터를 정상과 비정상으로 분류한다. 도 7은 이러한 본 발명의 컴퓨터 보조 진단 시스템의 구조도에 따른 학습과 테스트 방법을 나타내고 있다. 우리는 각 모델의 성능을 비교하기 위해 평가 지표인 ROC 커브를 사용하였고 커브의 아래 면적인 Az값으로 비교하였다.

정상, 비정상 분류 성능 결과에서, 증대하지 않은 데이터로 학습시킨 결과를 보면, Inception-Res- net-V2, Xception, Resnet-101, Inception-V3의 성능은 각각 Az 값 0.80, 0.83, 0.82, 0.82이고, Xception 네트워크에서 가장 높은 성능을 나타내었다.

본 발명과 같이, 3가지 정책을 적용한 4가지 네트워크의 성능을 보면, 도 8에서 나타난 증대 정책과 네트워크 성능 비교표와 같다. Xception 네트워크를 사용하고 CIFAR-10의 정책을 적용하였을 때가 0.88로 제일 높은 성능을 나타낸 것을 알 수 있었다. 같은 네트워크에서 증대를 적용하지 않은 데이터로 학습한 모델의 성능은 증대 정책을 적용하였을 때 모두 성능이 향상된 것을 볼 수 있다.

2. 이미지 분할 방법(Segmentation method)

슈퍼픽셀은 이미지분할(또는 영상분할) 및 Object Tracking 분야에서 자주 사용되는 방법이며, 영상분할은 입력영상으로부터 물체에 해당하는 영역을 추출하는 과정으로 영상해석을 위한 필수적인 단계라고 할 수 있다. 이러한 영상분할을 하기 위한 접근방법으로는 화소기반(pixel-based), 영역기반(Area-based), 에지기반(edge-based) 분할방법으로 크게 나눌 수 있고, 슈퍼픽셀을 이용하여 원 영상에서특성이 비슷한 화소들을 묶음으로 표현할 수 있다.

슈퍼픽셀은 원영상을 특징이 비슷한 작은 균일한 영역으로 잘게 나누고 이 작은 영역들을 기본단위로 하여 영상처리를 하는데, 여기서 작게 나누어 진 균일영역을 슈퍼픽셀이라고 한다. 슈퍼픽셀은 밀집성(Compactness), 경계일치도(Boundary precision/recall), 과소분할(under segmentation)의 최소화, 균일성(uniformity) 등의 특징이 요구된다. 슈퍼픽셀을 구하는 방법에 따라 그래프 기반 방법과 기울기 기반 방법이 있다. 여기서 소개하는 방법은 기울기 기반 방법으로 SLIC(simple linear iterative clustering) 방법이 있다.

[SLIC superpixel]

SLIC 슈퍼 픽셀은 상당히 빠른 클러스팅 방법이다. 빠른 계산의 이유는 전체 이미지 클러스터 정보를 요구하지 않고 특정 영역 내에서 클러스터 정보만 사용하여 클러스터링을 수행하기 때문이다. 따라서, 이미지 픽셀은 도 9와 동일한 절차를 사용하여 K개의 슈퍼 픽셀로 클러스터 된다. 사용자가 k 클러스터를 입력할 때 SLIC 슈퍼픽셀은 도 9(a)에 도시 된 바와 같이 간격 S를 갖는 이미지에서 클러스터 중심좌표의 위치를 균일하게 배열한다. 여기서, S는 아래 식(1)로 계산되며, 여기서 N은 이미지의 픽셀 수이다.

식(1)

슈퍼 픽셀 알고리즘의 장점은 클러스터 엣지의 정보를 유지한다는 것이다. 만약 클러스터 중심좌표의 위치를 일정 간격으로 설정하면 중심 좌표가 엣지와 겹치므로 엣지 정보가 손실될 수 있다. 이 문제를 해결하기 위해 이미지의 색 공간을 CIELAB 색 공간으로 변환하고 1D 그라디언트 커널(gradient kernel), [-1,01] 및

를 사용하여 그라디언트 이미지를 얻는다. 중심 좌표를 클러스터 중심좌표에 가장 가까운 3X3 픽셀의 가장 낮은 위치로 이동한다. 중심 좌표 배열이 완료되면 모든 픽셀의

,

를 계산한다.(식(2), 식(3))

식 (2)

식 (3)

여기서

는 j번째 클러스터(cluster) 중심좌표의 CIELAB 색상정보를 나타낸다.

는 i번째 이미지 픽셀의 CIELAB 컬러 정보를 나타낸다.

는 j번째 클러스터 중심 좌표이다.

는 i번째 픽셀 좌표이다.

는 도 9(b)에 도시된 바와 같이 2S 범위 내에서 클러스터

와 픽셀 i 사이의 CIELAB 컬러 거리이다.

는 2S 범위 내에서 클러스터

와 픽셀 i 사이의 거리이다.

그리고

가 획득되면, 총 거리 D는 식 (4)와 같이 계산 될 수 있다.

식 (4)

여기서 m은 가중치 매개 변수이다. 픽셀i는 범위 내 클러스터 중에서 계산된 D값이 가장 작은 클러스터에 할당된다. 모든 픽셀에 대해 모든 클러스터 할당이 완료된 후, 클러스터링을 최적화하기 위해 모든 클러스터의

와

의 정보를 업데이트 한다. j번째 클러스터의

는 j-클러스터에 할당된 픽셀의 i의 평균값

로 업데이트 되고,

는 j번째 클러스터에 할당된 픽셀의 무게 i의 무게중심으로 변경된다. 이것을 모든 클러스터의

와

가 변경되지 않을 때까지 반복한다.

[FRFCM]

fuzzy C-mean(FCM) 알고리즘은 이미지 분할(image segmentation)에 효과적인 알고리즘이다. 그리고, fast and robust fuzzy C-mean(FRFCM) 알고리즘은 다른 FCM 알고리즘보다 진보된 것으로 국소 공간 및 그레이(gray) 정보를 통합함으로서 이미지 분할을 위한 새로운 빠르고 강력한 FCM 프레임 워크이다. FRFCM의 목적함수는 식 (5)로 정의된다.

식 (5)

매개 변수

은 클러스터 k에 대한 fuzzy 멤버쉽 그레이값

를 의미하고,

은 그레이 레벨이다. 라그랑주 승수법을 사용하여 최적화 문제를 식 (6)과 같이 제한되지 않은 최적화 문제로 변환 할 수 있다.

식 (6)

매개 변수

는 라그랑주 승수이다. 따라서, 최소화 문제는 안장점(saddle point)을 찾고 매개 변수 즉,

그리고

에 대하여 라그랑주

의 유도를 취하는 것으로 변환된다. 식 (5)를 최소화함으로서, 다음과 같은 대응하는 해를 구했다.

식 (7)

식 (8)

삭제

[평가방법(Evaluation Methods)]

전처리 단계로서, 이미지는 위에서 설명한 데이터 증대 방법과 SLIC 슈퍼 픽셀 이미지 분할 방법에 의해 각각 증대 및 분할된다. 첫 번째로, 각 이미지는 CIFAR-10 증대 정책을 사용하여 25개의 새로운 이미지로 증대된다. 두 번째로 25개의 이미지 각각은 SLIC 슈퍼 픽셀 및 FRFCM 알고리즘을 사용하여 9개 영역으로 분할한다. 분할된 영역의 Ground-truth 정보는 의사에 의해 제공된다.

도 10은 본 발명에 따른 데이터 증대 및 분할 과정을 보여준다. 위 병변 크기는 상당히 다를 수 있으며 모든 세그먼트 영역 또는 절반만 포함 할 수 있다. 분류(classification)는 식 (12)를 사용하며 분류 임계값은 실험을 통해 결정된다.

식 (12)

도 11은 본 발명에 따른 시스템의 전체적인 흐름도이며, 먼저, 분류데이터를 생성하기 위해 학습 데이터가 증대 및 분할된다. 그런 다음, 테스트 데이터는 분할 되어 특정 이미지가 암인지 암이 아닌지를 결정하게 된다.

도 12는 위 암의 이미지로서 본 발명에 따른 이미지 분할과정을 보여주고 있으며, 도 13은 데이터 증대만을 수행한 경우, 본 발명에 따른 SLIC superpixel 이미지 분할과정을 함께 수행한 경우 등등의 ROC 곡선 결과를 보여주며, 도 14는 데이터 증대만을 수행한 경우, 본 발명에 따른 FRFCM 이미지 분할과정을 함께 수행한 경우 등등의 ROC 곡선 결과를 보여준다.

실제 의료 이미지 분석 시, 적은량의 트레이닝 데이터는 항상 제한적인 문제이다. 내시경 이미지에서는 다양한 크기의 병변을 찾을 수 있다. 따라서, 증강 및 분할이 불충분한 모델은 다른 위 질환과 위암을 구별하고 분류하기 쉽지 않다. 따라서, 도 11에 도시된 바와 같이 데이터 증강과 두 개의 이미지 분할 알고리즘을 사용하여 위 병변 진단을 위한 CADx 시스템을 만들 것을 개발한 것이다. 데이터 증대가 이루어진 모델에서 총 25개의 증대 하위 정책이 적용되었으며 하나의 하위 정책이 두 가지 작업을 순서대로 진행한다. 분할 된 모델에서는 SLIC 슈퍼 픽셀과 FRFCM을 사용하여 이미지를 분할하고 분할 된 영역에 대한 전문의의 검증 자료를 바탕으로 학습을 수행하였다. 이미지 당 분할 영역 수는 9개로 설정하였다. 도 12는 두가지 다른 세분화 방법에 따른 세분화 결과를 나타낸다. 도 12(a)는 원래 내시경 검사 이미지이며 파란선은 내과의에 정의된 검증자료에 의거하여 병변부위를 나타낸다. 도 12(b) 와 (c)는 각각 SLIC 슈퍼 픽셀과 FRFCM 분할이 적용된 이미지이다. 두 가지 분할법의 결과는 명확히 다르게 나타난다. SLIC 슈퍼 픽셀 분할은 클러스팅 공간에 제한이 있지만 FRFCM에는 영역제한이 없어 클러스팅 패치가 매우 길고 넓은 모양을 가질 수 있으며 완전히 따로 분리 될 수 있다.

두 알고리즘이 있는 경우와 해당 알고리즘이 없는 경우의 성능 비교는 도 13과 14에서 나타나있다. 즉, 오리지널 데이터와 함께 증대 데이터를 사용한 경우, 오리지널 데이터와 함께 분할 데이터만 사용한 경우, 오리지널데이터와 함께 증대 및 분할 데이터 둘 다 사용한 경우를 보여준다. ROC 곡선 아래 넓이(Az)는 원본 데이터의 경우 0.90, 데이터 증대를 추가 시 0.92, SLIC 슈퍼 픽셀 이미지 분할만 추가 시 0.94, FRFCM 이미지 분할만 추가 시 0.92, 증대 데이터와 SLIC 슈퍼픽셀 분할 데이터 둘 다 추가 시 0.96, 증대데이터와 FRFCM 분할 둘 다 추가시 0.94이다. ROC 곡선에서 볼 수 있듯 제안된 알고리즘이 가장 잘 작동한다.

본 발명에서 원본 데이터의 훈련 데이터를 사용하여 100세대를 훈련시키는데 1시간 정도 소요되었다. 증대된 데이터의 훈련 데이터를 통해 100세대를 훈련시키는데 1일 정도 소요되었다. 분할된 데이터의 훈련 데이터를 통해 훈련할 경우 3시간 정도 소요되었다. 증대 및 분할된 데이터로 훈련 시 10일 정도 소요되었으며 47000회를 반복 훈련하였다. 미니 배치(Mini batch)의 사이즈는 60에 반복학습 속도는 0.001이다.

상기 결과를 보면 알 수 있듯이, 데이터 증대 및 이미지 분할을 사용하여 학습된 모델이 그렇지 않은 모델보다 성능이 우수하다. 이는 데이터량에 크게 의존하는 의료 이미지 분석에서 딥 러닝의 가장 큰 문제 중 하나에 대한 솔루션을 제공한다. 도 13과 도 14에서 Az값이 두 개의 분할 알고리즘이 증대된 알고리즘보다 크거나 같았다. 이것이 가능한 이유 중 하나는 분할을 통한 네트워크로의 병변위치 정보 전송이 더 효과적이기 때문이다. 도 13과 도 14는, SLIC 슈퍼 픽셀의 결과가 FRFCM의 결과보다 높다는 것을 보여준다. 이 연구에서 SLIC 슈퍼 픽셀은 전반적으로 더 나은 성능을 보여준다. 이 방법은 471 X 407 이미지를 0.29초 만에 분할하는 가장 빠른 방법이며, 반면 FRFCM은 11.32초이며 거의 대부분의 메모리를 절약한다.

이는 FRFCM 방식의 분할 된 형태가 이미지에서 널리 퍼지는 동안 탁월한 경계 고착을 보여준다. SLIC 슈퍼 픽셀 분할 모양은 FRFCM의 보다 병변에 더 중점을 둔다. 도 12와 같이 클러스팅 영역에 제한이 있는 SLIC 슈퍼 픽셀은 병변이 있는 이미지를 선택하기 위해 약 4개의 패치를 선택할 수 있지만 FRFCM에서는 5개 이상의 패치를 선택해야한다. 위 내시경 이미지에서, SLIC 슈퍼 픽셀 방법은 암이 여러 곳이 아니 한 곳에서 널리기 퍼지기 때문에 암 탐지에 더 적합했다. 이것이 SLIC 슈퍼 픽셀이 FRFCM보다 나은 이유 중 하나 일 수 있다. SLIC 슈퍼 픽셀은 사용하기 쉽고 필요한 슈퍼 픽셀의 수가 유일한 매개 변수이다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

학습 데이터를 소정의 알고리즘을 적용하여 데이터를 증대하는 1단계;
상기 1단계 데이터의 이미지를 분할하는 2단계;
상기 2단계의 분할된 이미지 데이터로 분류데이터를 생성하는 3단계; 및
테스트 데이터를 분할하여 위 병변 존재여부를 판정하는 4단계;로 이루어지는,
데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제1항에 있어서,
상기 1단계는, CIFAR-10 정책을 사용하여 데이터를 증대하는 1-1단계;를 포함하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제2항에 있어서,
상기 1-1단계는 데이터를 25개의 새로운 이미지로 증대하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제1항에 있어서,
Inception-V3, Resnet-101, Xception 및 Inception-Resnet 4개의 네트워크를 사용하여 학습하는 학습단계;를 더 포함하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제1항에 있어서,
상기 2단계는, SLIC 슈퍼 픽셀(SLIC superpixel) 알고리즘 및 FRFCM 알고리즘을 사용하여 분할하는 2-1단계;를 포함하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제5항에 있어서,
상기 2-1단계는, 이미지를 9개 영역으로 분할하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제5항에 있어서, SLIC 슈퍼 픽셀 알고리즘은,
간격 S를 갖는 이미지에서 클러스터 중심좌표의 위치를 균일하게 배열하는 단계를 포함하며, S는 아래 식(1)로 계산되는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.

식(1)
여기서 N은 이미지의 픽셀 수임.
제7항에 있어서, SLIC 슈퍼 픽셀 알고리즘은,
중심 좌표를 클러스터 중심좌표에 가장 가까운 3X3 픽셀의 가장 낮은 위치로 이동하고, 중심 좌표 배열이 완료되면 모든 픽셀의
,
를 아래 식(2)와 식(3)을 이용하여 계산하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.

식 (2)

식 (3)
여기서,
는 j번째 클러스터(cluster) 중심좌표의 CIELAB 색상 정보를 나타내며,
는 i번째 이미지 픽셀의 CIELAB 색상 정보를 나타내며,
는 j번째 클러스터 중심 좌표이며,
는 i번째 픽셀 좌표이고,
는 2S 범위 내에서 클러스터
와 픽셀 i 사이의 CIELAB 컬러 거리이고,
는 2S 범위 내에서 클러스터
와 픽셀 i 사이의 거리임.
제8항에 있어서, SLIC 슈퍼 픽셀 알고리즘은,
총 거리 D는 식 (4)와 같이 계산하고, 여기서 m은 가중치 매개 변수이며,

식 (4)
모든 픽셀에 대해 모든 클러스터 할당이 완료된 후, 클러스터링을 최적화하기 위해 모든 클러스터의
와
의 정보를 업데이트 하고, j번째 클러스터의
는 j-클러스터에 할당된 픽셀의 i의 평균값
로 업데이트 되고,
는 j번째 클러스터에 할당된 픽셀의 무게 i의 무게중심으로 변경되며, 이 과정을 모든 클러스터의
와
가 변경되지 않을 때까지 반복하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.
제5항에 있어서, FRFCM 알고리즘은,
FRFCM의 목적함수를 식 (5)로 정의하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.

식 (5)
여기서, 매개 변수
은 클러스터 k에 대한 fuzzy 멤버쉽 그레이값
를 의미하고,
은 그레이 레벨임.
제10항에 있어서, FRFCM 알고리즘은,
라그랑주 승수법을 사용하여 식 (6)과 같은 최적화 문제로 변환하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.

식 (6)
여기서, 매개 변수
는 라그랑주 승수임.
제11항에 있어서, FRFCM 알고리즘은,
식 (5)를 최소화함으로서, 다음 식 (7)과 식 (8)과 같은 해를 구하는 것을 특징으로 하는, 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템.

식 (7)

식 (8)
삭제
삭제