KR102058348B1

KR102058348B1 - 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치 및 방법

Info

Publication number: KR102058348B1
Application number: KR1020170155628A
Authority: KR
Inventors: 홍헬렌; 이한상
Original assignee: 서울여자대학교 산학협력단
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2019-12-24
Also published as: KR20190058036A

Abstract

본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치는, 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf) 및 투명세포 신세포암(ccRCC) 각각을 포함하는 작은 신장 종양(SRM)에 대한 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF)을 추출하고, SRM에 대한 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF)을 추출하기 위한 핸드-크라프트 특징 추출부; 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF)을 추출하고, 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF)을 추출하기 위한 심층 특징 추출부; 및 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 분류 모델을 생성하며, 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 작은 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하기 위한 분류부를 포함한다.

Description

컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치 및 방법{APPARATUS AND METHOD FOR CLASSIFICATION OF ANGIOMYOLIPOMA WIHTOUT VISIBLE FAT AND CLEAR CELL RENAL CELL CARCINOMA IN CT IMAGES USING DEEP LEARNING AND SAHPE FEATURES}

본 발명은 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치 및 방법에 관한 것이다.

신세포암(RCC: Renal Cell Carcinoma)은 전 세계적으로 9번째로 흔한 암이다. RCC의 85%는 직경이 40mm 미만인 작은 신장 종양(SRM: Small Renal Masses)으로 보고되었다. SRM에서 20-40%는 낭종과 혈관 지방종(AML: Angiomyolipoma) 같은 양성 종양으로 판명되었다. 이러한 양성 종양과 악성 RCC를 구별하는 것은 양성 종양에 대한 불필요한 수술을 피하기 위한 임상적으로 중요한 일이다. 일반적으로 대부분의 AML 케이스는 CT 영상에서 보이는 지방의 존재로 인해 RCC와 쉽게 구별된다. 그러나 지방종의 약 5%를 차지하는 '육안식별 지방이 포함되지 않는 혈관근지방종(AMLwvf: AML without visible fat)'에서는 이러한 지방의 존재가 육안으로 확인되지 않기 때문에 다른 신세포암과의 육안구분이 어렵다. AMLwvf는 CT 영상에서 RCC와 시각적으로 유사하다; 도시된 바와 같이, 양 종양은 조영 증강된(CE: contrast-enhanced) CT 영상에서 신장보다 더 어두운 밝기값을 나타내며, 종양 내부의 질감 불균일성 및 신장 표면에 부분적으로 침투하는 원형 모양 또한 두 가지 유형의 종양 모두에서 관찰될 수 있다. 다수의 임상 연구는 두 종의 종양 사이에서 질감 또는 신장으로의 침입 형상의 불균일성에 어느 정도 차이가 있음을 제시했다. 그러나 그 차이는 시각적으로 구별하기에 충분하지 않다. 따라서 CT 영상에서 RCC와 AMLwvf를 구별하는 것은 어려운 것으로 간주되어 왔다.

표 1에 요약된 바와 같이 핸드-크라프트 특징(HCF: Hand-Crafted Features)을 사용하여 CT 영상에서 AMLwvf와 RCC를 구별하기 위한 많은 연구가 제안되었다. 이러한 HCF 연구에서 질병에 대한 방사선 전문가의 전문 지식에 기반하여 몇 가지 사전 정의된 특징들이 선정되고 평가되었다. 이러한 평가 및 검증 과정에서, 질감 불균일성 및 종양 형상과 관련된 특징이 SRM들을 차별화하기 위한 주요 특징으로 제시되었다; ccRCC는 일반적으로 질감면에서 더 큰 비균질성을 갖는 것으로 알려져 있으며, AMLwvf와 비교할 때 형상면에서 보다 둥근 모양을 갖는다. HCF의 장점은 사전 정의된 다양한 특징들 중에서 주어진 문제에 적합한 특징들을 선택함으로써 전문 지식을 반영하는 특징들을 분석할 수 있다는 것이다. 그러나 이처럼 사전정의된 HCF는 일반적인 문제를 전제로 고안된 만큼 특정 문제의 개별적인 특성을 반영하는 데에 한계가 있다. 기존 연구에서는 환자 정보, 영상 간의 증강패턴, 질감 및 형상과 같은 다양한 HCF들과 신장암의 종류 간의 통계적인 연관성의 추론이 주로 이루어졌다. 서로 다른 종양 간의 영상적 분류에 관한 연구에서는 주로 질감 관련 HCF가 이용되었다.

표 1에서, NE CT는 un-enhanced CT, MP CT는 multi-phase CT, CE CT는 contrast-enhanced CT, pRCC는 papillary RCC, chRCC는 chromophobe RCC, RO는 renal oncocytoma, LR은 logistic regression, ANN은 artificial neural network의 약어이다.

최근 심층신경망 기반의 딥러닝(DL: Deep Learning) 기술이 다양한 의료영상 애플리케이션에 응용되고 있다. DL의 중요한 측면 중 하나는 주어진 문제에 적응할 수 있는 특징을 생성하기 위해 심층 신경망을 사용하는 특징 학습 과정을 포함한다는 것이다. DL은 주어진 데이터에서 직접 특징을 학습하기 때문에 일반적으로 데이터 양이 증가함에 따라 HCF를 사용하는 기존의 학습 방법보다 성능이 우수하다.

따라서 DL는 의료영상 문제 중에서 비교적 대용량 데이터베이스가 구축된 폐 CT영상에서의 결절 탐지나 유방 X선영상에서의 종양 검출과 같은 문제에서 기존의 HCF 기법을 추월하는 높은 성능을 보여주었다.

그러나 대부분의 의료 영상 작업은 일반적으로 제한된 크기의 데이터베이스가 제공되기 때문에 DL의 성능이 HCF에 비해 우수한 결과를 보이리라 보장하기에 한계가 있다. 최근 작은 크기의 데이터베이스에 대해 별도의 학습과정 없이 다른 대용량 데이터베이스에서 학습된 DL 특징(DF: Deep Feature)을 추출하고, 이들을 고전적인 기계학습(ML: Machine Learning) 기법을 통해 학습시키는 DL특징분류(DFC: Deep Feature Classification) 기법이 고안되었다. DFC는 DL에서의 특징학습 과정을 생략했기 때문에 기존의 DL이 갖고 있던 데이터베이스의 크기에 의한 제약에서 비교적 자유로울 뿐만 아니라, 다른 대용량 데이터베이스에서 학습된 양질의 특징을 사용하기 때문에 기존의 HCF보다 향상된 성능을 보여, 두 기법의 한계점을 보완하고 장점을 모두 취할 수 있는 대안으로 주목받고 있다. DFC는 폐 방사선영상에서의 결절 분류 및 전립선 영상에서의 암 진단 등 비교적 소규모 데이터베이스가 제공된 문제에서 유망한 성능을 보여줬다.

[1] Jonasch E, Gao J, Rathmell WK. Renal cell carcinoma. BMJ. 2014;349:g4794. [2] Jayson M, Sanders H. Increased incidence of serendipitously discovered renal cell carcinoma. Urology. 1998;51:203-205. [3] Ball MW, Bezerra SM, Gorin MA, et al. Grade heterogeneity in small renal masses: potential implications for renal mass biopsy. J Urology. 2015;193:36-40. [4] Hafron J, Fogarty JD, Hoenig DM, Li M, Berkenblit R, Ghavamian R. Imaging characteristics of minimal fat renal angiomyolipoma with histologic correlations. Urology. 2005;66:1155-1159. [5] Huang WC, Atoria CL, BjurlinM, et al. Management of small kidney cancers in the new millennium: contemporary trends and outcomes in a population-based cohort. JAMA Surg. 2015;150:664-672. [6] Chaudhry H, Davenport MS, Nieman CM, Ho LM, Neville AM. Histogram analysis of small solid renal masses: differentiating minimal fat angiomyolipoma from renal cell carcinoma. Am J Roentgenol. 2012;198:377-383. [7] Yang CW, Shen SH, Chang YH, et al. Are there useful CT features to differentiate renal cell carcinoma from lipid-poor renal angiomyolipoma? AmJ Roentgenol. 2013;201:1017-1028. [8] Yan L, Liu Z, Wang G, et al. Angiomyolipoma with minimal fat: differentiation from clear cell renal cell carcinoma and papillary renal cell carcinoma by texture analysis on CT images. Acad Radiol. 2015;22:1115-1121. [9] Takahashi N, Leng S, Kitajima K, et al. Small (<4 cm) renal masses: differentiation of angiomyolipoma without visible fat from renal cell carcinoma using unenhanced and contrast-enhanced CT. Am J Roentgenol. 2015;205:1194-1202. [10] Pierorazio PM, Hyams ES, Tsai S, et al. Multiphasic enhancement patterns of small renal masses on preoperative computed tomography: utility for distinguishing subtypes of renal cell carcinoma, angiomyolipoma, and oncocytoma. Oncology. 2013;81:1265-1271. [11] Kim MH, Lee J, Cho G, Cho KS, Kim J, Kim JK. MDCT-based scoring system for differentiating angiomyolipoma with minimal fat from renal cell carcinoma. Acta Radiol. 2013;54:1201-1209. [12] Zhang YY, Luo S, Liu Y, Xu RT. Angiomyolipoma with minimal fat: Differentiation from papillary renal cell carcinoma by helical CT. Clinic Radiol. 2013;68:365-370. [13] WooS, Cho JY, Kim SH, Kim SY. Angiomyolipoma with minmal fat and non-clear cell renal cell carcinoma: Differentiation on MDCT using classification and regression tree analysis-based algorithm. Acta Radiol. 2014;55:1258-1269. [14] Schieda N, Hodgdon T, El-Khodary M, Flood TA, McInnes MD. Unenhanced CT for the diagnosis of minimal-fat renal angiomyolipoma. Am J Roentgenol. 2014;203:1236-1241. [15] Lee-Felker SA, Felker ER, Tan N, et al. Qualitative and quantitative MDCT features for differentiating clear cell renal cell carcinoma from other solid renal cortical masses. Am J Roentgenol. 2014;203:516-524. [16] Sung CK, Kim SH, Woo S, et al. Angiomyolipoma with minimal fat: differentiation of morphological and enhancement features from renal cell carcinoma at CT imaging. Acta Radiol. 2015;57:1114-1122. [17] Ishigami K, Pakalniskis MG, Leite LV, Lee DK, Holanda DG, Raiput M. Characterization of renal cell carcinoma, oncocytoma, and lipid-poor angiomyolipoma by unenhanced, nephrographic, and delayed phase contrast-enhanced computed tomography. Clin Imaging. 2015;39:76-84. [18] Lee Y, Kim JK, Shim W, et al. Does computer-aided diagnosis permit differentiation of angiomyolipoma without visible fat from renal cell carcinoma on MDCT? Am JRoentgenol. 2015;205:305-312. [19] Kim SH, Kim CS, Kim MJ, Cho JY, Cho SH. Differentiation of clear cell renal cell carcinoma from other subtypes and fat-poor angiomyolipoma by use of quantitative enhancement measurement during threephase MDCT. Am J Roentgenol. 2016;206:21-28. [20] Xie P, Yang Z, Yuan Z. Lipid-poor renal angiomyolipoma: differentiation from clear cell renal cell carcinoma using wash-in and washout characteristics on contrast-enhanced computed tomography. Oncol Lett. 2016;11:2327-2331. [21] Hodgdon T, McInnes MD, Schieda N, Flood TA, Lamb L, Thornhill RE. Can quantitative CT texture analysis be used to differentiate fatpoor renal angiomyolipoma from renal cell carcinoma on unenhanced CT images? Radiology. 2015;276:787-796. [22] LeeHS, Hong H, Jung DC, Park S, Kim J. Differentiation of fat-poor angiomyolipoma from clear cell renal cell carcinoma in contrast-enhanced MDCT images using quantitative feature classification. Med Phys. 2017;10.1002/mp.12258. [23] Shen W, Zhou M, Yang F, Yang C, Tian J. Multi-scale convolutional neural networks for lung nodule classification. Proc Intl Conf Info Process Med Imag. 2015;9123:588-599. [24] Dhungel N, Carneiro G, Bradley AP. The automated learning of deep features for breast mass classification from mammograms. Proc Intl Conf Med Imag Comp Comput Aided Interven. 2016;9901:106-114. [25] Le MH, Chen J, Wang L, Liu W, Cheng KT, Yang X. Automated diagnosis of prostate cancer in multi-parametric MRI based on multimodal convolutional neural networks. Phys Med Biol. 2017; 10.1088/1361-6560/aa7731. [26] Wang C, Elazab A, Wu J, Hu Q. Lung nodule classification using deep feature fusion in chest radiography. Comp Med Imag Graph. 2017;57:10-18. [27] Collewet G, Strzelecki M, Mariette F. Influence of MRI acquisition protocols and image intensity normalization methods on texture classification. Magn Reson Imaging 2004;22(1):81-91. [28] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. CoRR 2014;http://arxiv.org/abs/1409.1556 [29] Vedaldi A, Lenc K. MatConvNet ??Convolutional neural networks for MATLAB. CoRR 2014;http://arxiv.org/abs/1412.4564 [30] van der Maaten LJP, Hinton GE. Visualizing high-dimensional data using t-SNE. J Mach Learn Res 2008;9:2579-2605. [31] Shin HC, Roth HR, Gao M, Lu L, Xu Z, Nogues I, Yao J, Mollura D, Summers RM. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning. IEEE Trans Med Imag 2016;35(5):1285-1298.

본 발명이 해결하고자 하는 과제는 조영 증강된 컴퓨터 단층 촬영 영상에서 혈관근지방종과 투명세포 신세포암의 분류 성능을 향상시킬 수 있는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 조영 증강된 컴퓨터 단층 촬영 영상에서 혈관근지방종과 투명세포 신세포암의 분류 성능을 향상시킬 수 있는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치는,

육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat) 및 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma) 각각을 포함하는 작은 신장 종양(SRM: Small Renal Masses)에 대한 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하고, 작은 신장 종양(SRM: Small Renal Masses)에 대한 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하기 위한 핸드-크라프트 특징 추출부;

상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하고, 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하기 위한 심층 특징 추출부; 및

상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 분류 모델을 생성하며, 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 작은 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하기 위한 분류부를 포함한다.

본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서, 상기 핸드-크라프트 특징 추출부는,

입력되는 컴퓨터 단층 촬영 영상에서 상기 SRM 영상 영역을 분할하기 위한 SRM 영역 분할부; 및

상기 SRM 영역 분할부에 의해 분할된 SRM 영상 영역에서 질감 및 형상에 대한 핸드-크래프트 특징들을 추출하기 위한 질감 및 형상 특징 추출기를 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서. 상기 질감 특징들은 히스토그램과 질감 행렬을 포함하는 64차원 질감 특징들을 포함하고, 상기 형상 특징들은 둥근 정도와 곡률을 포함하는 7차원 형상 특징들을 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서, 상기 형상 특징들 중 하나는,

상기 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat)이 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma)보다 덜 둥근 모양으로 되어 있고, 상기 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat)과 신장의 접촉면이 쐐기 형상인 특징을 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서, 상기 심층 특징 추출부는,

원본 이미지 패치 영상으로부터 작은 신장 종양(SRM) 윤곽선 내부의 임의의 SRM 영역을 추출하는 동작, 상기 추출된 SRM 영역을 소정 크기의 빈 정사각형 패치의 임의의 위치에 배치하는 동작, 및 상기 SRM 영역 추출 동작 및 상기 배치 동작을 반복적으로 수행하여 이미지 영역 간의 일부 중복을 허용하여 빈 패치의 나머지 배경을 채우는 동작을 수행하여 상기 질감 이미지 패치들(TIP: Texture Image Patches)을 생성하는 질감 이미지 패치 생성부; 및

사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하기 위한 심층 특징 추출기를 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서, 상기 질감 이미지 패치들(TIP: Texture Image Patches)의 수를 증가시키기 위하여, 상기 추출된 SRM 영역을 다양한 각도로 회전시켜 상기 빈 정사각형 패치의 임의의 위치에 배치할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서, 상기 심층 특징들(DF: Deep Features)은 대량의 자연 이미지에 기반하여 사전 훈련된 신경망 모델을 사용하여 추출될 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치는, 상이한 환자들의 컴퓨터 단층 촬영 영상들 간의 밝기값 변화를 줄이기 위하여, 상기 컴퓨터 단층 촬영 영상 각각에 대해 밝기값 정규화를 수행하는 밝기값 정규화부를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에 있어서, 상기 트레이닝 컴퓨터 단층 촬영 영상들 및 상기 테스트 컴퓨터 단층 촬영 영상들은 조영 증강된 컴퓨터 단층 촬영 영상일 수 있다.

상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법은,

(a) 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat) 및 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma) 각각을 포함하는 작은 신장 종양(SRM: Small Renal Masses)에 대한 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하는 단계;

(b) 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계;

(c) 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 분류 모델을 생성하는 단계;

(d) 작은 신장 종양(SRM: Small Renal Masses)에 대한 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하는 단계;

(e) 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계; 및

(f) 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 작은 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하는 단계를 포함한다.

본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 단계 (a) 및 단계 (d)에서 상기 핸드-크라프트 특징들은,

입력되는 컴퓨터 단층 촬영 영상에서 상기 SRM 영상 영역을 분할하는 단계; 및

상기 분할된 SRM 영상 영역에서 질감 및 형상에 대한 핸드-크래프트 특징들을 추출하는 단계에 의해 추출될 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 질감 특징들은 히스토그램과 질감 행렬을 포함하는 64차원 질감 특징들을 포함하고, 상기 형상 특징들은 둥근 정도와 곡률을 포함하는 7차원 형상 특징들을 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 형상 특징들 중 하나는,

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 단계 (b) 및 단계 (e)에서 상기 심층 특징들은,

원본 이미지 패치 영상으로부터 작은 신장 종양(SRM) 윤곽선 내부의 임의의 SRM 영역을 추출하는 단계, 상기 추출된 SRM 영역을 소정 크기의 빈 정사각형 패치의 임의의 위치에 배치하는 단계, 및 상기 SRM 영역 추출 단계 및 상기 배치 단계를 반복적으로 수행하여 이미지 영역 간의 일부 중복을 허용하여 빈 패치의 나머지 배경을 채우는 단계를 수행하여 상기 질감 이미지 패치들(TIP: Texture Image Patches)을 생성하는 단계; 및

사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계에 의해 추출될 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 질감 이미지 패치들(TIP: Texture Image Patches)의 수를 증가시키기 위하여, 상기 추출된 SRM 영역을 다양한 각도로 회전시켜 상기 빈 정사각형 패치의 임의의 위치에 배치할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 심층 특징들(DF: Deep Features)은 대량의 자연 이미지에 기반하여 사전 훈련된 신경망 모델을 사용하여 추출될 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법은, 상기 단계 (a) 이전에, 상이한 환자들의 컴퓨터 단층 촬영 영상들 간의 밝기값 변화를 줄이기 위하여, 상기 컴퓨터 단층 촬영 영상 각각에 대해 밝기값 정규화를 수행하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에 있어서, 상기 트레이닝 컴퓨터 단층 촬영 영상들 및 상기 테스트 컴퓨터 단층 촬영 영상들은 조영 증강된 컴퓨터 단층 촬영 영상일 수 있다.

본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치 및 방법에 의하면, 적은 수의 트레이닝 데이터 세트를 가지고도 조영 증강된 컴퓨터 단층 촬영 영상에서 혈관근지방종과 투명세포 신세포암의 분류 성능을 향상시킬 수 있다.

도 1은 컴퓨터 단층 촬영 영상(CT)에서 보여지는 (a) 예시적인 AMLwvf, (b)예시적인 ccRCC를 도시한 도면.
도 2는 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법의 개념도.
도 3은 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치의 블록도.
도 4는 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법의 흐름도.
도 5는 본 발명의 데이터세트에서 (a) SRM 직경의 분포 및 (b) AMLwvf와 ccRCC에 대한 그들의 박스플롯을 도시한 도면.
도 6은 (a) AMLwvf 및 (b) ccRCC에 대한 OIP(상단 줄) 및 TIP(하단 줄)의 예를 도시한 도면.
도 7은 tSNE 방법에 의한 2D 서브스페이스 상의 특징 가시화를 도시한 도면으로, (a) HCF-T, (b) HCF-TS, (c) DF-OIP, (d) DF-TIP, 그리고 (e) 본 발명에서 제안된 연결된 특징들을 도시한 도면.
도 8은 (a) 이전의 연구에서의 방법들, (b) 다양한 특징들과 SVM 분류기를 사용한 본 발명의 방법들, 그리고 (c) 다양한 특징들과 RF 분류기를 사용한 본 발명의 방법들에 의한 AMLwvf-ccRCC 분류 결과들의 ROC 커브를 도시한 도면.
도 9는 (상단 줄에서부터) HCF-T, HCF-TS, DF-OIP, DF-TIP 그리고 본 발명에서 제안된 특징들에 따른 분류 결과들의 예시적인 SRM ROI를 도시한 도면.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.

본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.

또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.

이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.

본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법에서는 DFC 프레임 워크를 기반으로 복부 CT 영상에서 ccRCC와 AMLwvf를 구별하기 위한 자동화된 분류 방법을 제안한다. 본 발명의 방법은 질감과 형상의 핸드-크라프트 특징들(HCF: Hand-Crafted Features)과 질감 이미지 패치가 있는 심층 특징들(DF: deep features)을 사용한다. 본 발명의 일 실시예에서는 질감의 비균질성과 두 가지 유형의 종양 사이의 침입 형태 특성의 차이에 대한 전문가의 지식을 반영하기 위해 질감과 형상의 핸드-크라프트 특징들(HCF)을 추출했다. 사전 훈련된 딥러닝 모델로부터의 심층 특징 추출 과정에서 본 발명의 일 실시예는 종양의 크기 편향에 대한 강력한 학습을 위해 질감 이미지 패치를 제안했다. 마지막으로 본 발명의 일 실시예는 두 가지 특징을 서로 보완하고 분류기의 학습 효과를 향상시킬 수 있도록 핸드-크라프트 특징들(HCF)과 심층 특징들(DF)을 연결하고 연결된 특징들에 대해 고전적인 SVM 및 RF 분류기를 훈련시켰다.

자료 및 방법

도 2는 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법의 개념도이다.

도 2를 참조하면, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법은 (1) 핸드-크라프트 특징(HCF) 추출(202), (2) 심층 특징(DF) 추출(204), 그리고 (3) 연결된 특징 분류(206)의 세 가지 주요 단계로 구성된다.

HCF 추출 단계(202)에서 테스트 영상 및 트레이닝 영상들에서 SRM 관심 영역(ROI: region of interest)을 분할하고(208) 분할된 SRM ROI로부터 질감과 형태 정보를 포함하는 사전 정의된 71차원 특징을 추출한다(210).

심층 특징(DF) 추출 단계(204)에서는 테스트 영상 및 트레이닝 영상들에서 질감 이미지 패치를 생성하여(212) 종양의 크기 변화에 강인한 특징을 추출하고, 사전 훈련된 컨볼루션 신경망(CNN: Convolutional Neural Network) 모델을 통해 추출한 4,096 차원의 특징을 사용한다(214). 특징 분류 단계(206)에서 두 가지 특징인 HCF와 DF를 결합하고 두 가지 특징을 보완하고 분류 성능을 향상시키기 위해 SVM 및 RF 분류기를 훈련시킨다.

이하 도 3 내지 도 6을 참조하여, 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치 및 방법에 대해 더 상세히 설명하기로 한다.

도 3에 도시된 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치는, 상이한 환자들의 컴퓨터 단층 촬영 영상들 간의 밝기값 변화를 줄이기 위하여, 상기 컴퓨터 단층 촬영 영상 각각에 대해 밝기값 정규화를 수행하는 밝기값 정규화부(300), 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat) 및 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma) 각각을 포함하는 작은 신장 종양(SRM: Small Renal Masses)에 대한 밝기값 정규화된 조영 증강된 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하고, 작은 신장 종양(SRM: Small Renal Masses)에 대한 밝기값 정규화된 조영 증강된 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하기 위한 핸드-크라프트 특징 추출부(302), 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 딥러닝 특징들인 심층 특징들(DF: Deep Features)을 추출하고, 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 딥러닝 특징들인 심층 특징들(DF: Deep Features)을 추출하기 위한 심층 특징 추출부(304), 및 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 머신 러닝에 기반한 분류 모델을 생성하며, 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 작은 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하기 위한 분류부(306)를 포함한다.

상기 핸드-크라프트 특징 추출부(302)는, 입력되는 컴퓨터 단층 촬영 영상에서 상기 SRM 영상 영역을 분할하기 위한 SRM 영역 분할부(308), 및 상기 SRM 영역 분할부(308)에 의해 분할된 SRM 영상 영역에서 질감 및 형상에 대한 핸드-크래프트 특징들을 추출하기 위한 질감 및 형상 특징 추출기(310)를 포함한다.

상기 심층 특징 추출부(304)는, 원본 이미지 패치 영상으로부터 작은 신장 종양(SRM) 윤곽선 내부의 임의의 SRM 영역을 추출하는 동작, 상기 추출된 SRM 영역을 소정 크기의 빈 정사각형 패치의 임의의 위치에 배치하는 동작, 및 상기 SRM 영역 추출 동작 및 상기 배치 동작을 반복적으로 수행하여 이미지 영역 간의 일부 중복을 허용하여 빈 패치의 나머지 배경을 채우는 동작을 수행하여 상기 질감 이미지 패치들(TIP: Texture Image Patches)을 생성하는 질감 이미지 패치 생성부(312), 및 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하기 위한 심층 특징 추출기(314)를 포함한다.

상기 질감 이미지 패치들(TIP: Texture Image Patches)의 수를 증가시키기 위하여, 상기 추출된 SRM 영역을 다양한 각도로 회전시켜 상기 빈 정사각형 패치의 임의의 위치에 배치하는 것이 바람직하다.

한편, 도 4에 도시된 본 발명의 일 실시예에 의한 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법은, 상이한 환자들의 컴퓨터 단층 촬영 영상들 간의 밝기값 변화를 줄이기 위하여, 조영 증강된 테스트 컴퓨터 단층 촬영 영상 및 조영 증강된 트레이닝 영상들 각각에 대해 밝기값 정규화를 수행하는 단계(단계 S400), 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat) 및 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma) 각각을 포함하는 작은 신장 종양(SRM: Small Renal Masses)에 대한 조영 증강된 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하는 단계(단계 S402), 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계(단계 S404), 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 머신 러닝에 기반한 분류 모델을 생성하는 단계(단계 S406), 작은 신장 종양(SRM: Small Renal Masses)에 대한 조영 증강된 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하는 단계(단계 S408), 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계(단계 S410), 및 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 작은 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하는 단계(단계 S412)를 포함한다.

자료

본 발명의 일 실시예에서 사용된 데이터 세트에는 복부 CT 스캔을 시행한 39명의 AMLwvf 환자와 41명의 ccRCC 환자의 데이터가 포함되어있다. 본 발명의 일 실시예에서 사용된 데이터 세트에서 AMLwvf 케이스는 2년간의 추적 기간동안 종양이 성장하지 않은 양성 질환만을 포함하며 ccRCC 케이스는 외과적 절제술 후 병리학적 보고에서 분명하게 진단된 악성 종양이었다. 본 발명의 일 실시예에서는 복부 CT 선별 검사에서 가장 널리 사용되는 조영 증강된(CE: contrast-enhanced) CT 영상을 사용했다.

CE CT 획득 단계(미도시)에서 비이온성 이온 조영제(Xenetics, Iobitridol, Seoul, Korea) 2ml/kg을 3ml/s의 속도로 정맥 주사하였고 스캔은 100초 내지 120초 사이에서 획득되었다. 모든 스캔은 단일 기관으로부터의 멀티-디텍터 시스템(Siemens Healthcare의 SOMATOM Sensation 64, 독일, Forchheim; GE Healthcare의 LightSpeed VCT, 미국 위스콘신 주 밀워키; GE Healthcare의 GE Discovery CT 750 HD, 미국, 위스콘신 주, 밀워키; Philips Healthcare의 Ingenuity CT, 네덜란드, Best; Siemens Healthcare의 SOMATOM Definition Flash, 독일, Forchheim; GE Healthcare의 Revolution CT, 미국, 위스콘신 주, 밀워키)에 의해 획득되었다.

모든 이미지는 1.0-3.0㎜의 슬라이스 두께, 512×512 픽셀의 해상도 및 0.66×0.66㎣ 내지 0.77×0.77㎣의 픽셀 크기로 축면에서 획득되었다. 모든 스캔에서 종양의 중앙 슬라이스에서 SRM에 대한 2D 윤곽선들이 전문가에 의해 수동으로 그려졌다. 이들 SRM 윤곽선들은 관심 영역(ROI) 정의 및 특징 추출 프로세스에 사용되었다.

도 5는 분할된 SRM ROI로부터 추정된 직경의 분포를 보여준다.

AMLwvf (16.2±5.3㎜)의 평균 크기가 ccRCC (23.6±7.2㎜)의 평균 크기보다 작음을 관찰할 수 있다. 더욱이, ccRCC는 30㎜보다 큰 직경을 갖는 다수의 큰 SRM을 포함하지만, AMLwvf는 큰 SRM을 갖지 않을 뿐만 아니라 직경이 10㎜ 미만인 몇 개의 작은 SRM을 가지고 있다. 그러나 직경이 15~25㎜인 중형 크기의 SRM의 경우 AMLwvf와 ccRCC가 균등하게 분포되어 있어 종양 크기로만 성능을 분류하는데 제한이 있다. 따라서 종양의 크기 변화에 강인한 특징들을 추출하고 분류할 필요가 있다.

질감과 형상의 핸드 - 크라프트 특징

이전의 연구에서 두 가지 주요 특징인 질감과 형상이 두 가지 유형의 종양 분류에서 중요한 역할을 하는 것으로 나타났다. 질감과 관련하여, AMLwvf는 ccRCC와 비교하여 종양 내부에서 더 낮은 조직 불균일성을 나타내는 것으로 알려져 있다. 형상면에서 AMLwvf는 ccRCC보다 덜 둥근 모양으로 알려져 있으며 그 형상은 일반적으로 신장과의 접촉면이 쐐기 모양과 유사하다. 질감과 형상의 SRM에 대한 전문 지식을 반영하기 위해 히스토그램과 질감 행렬을 포함한 64차원 질감 특징과 둥근 정도와 곡률을 포함한 7차원 형상 특징을 추출했다. SRM 영상들로부터 추출된 핸드-크라프트 특징들(HCF)의 간략한 목록이 표 2에 요약되어있다.

전처리 단계로서, 단계 S400에서, 밝기값 정규화부(300)는 CT 밝기값의 정규화를 수행하여 각기 다른 환자 CT 영상 간의 밝기값 변화를 줄인다. 각 CT 스캔에 대해, HU 강도는 μ±3σ 사이에서 정규화되는데, μ는 SRM 윤곽선 내부의 평균 밝기값이고 σ는 표준 편차이다. μ-3σ와 μ+3σ 간의 밝기값 레벨은 SRM 영상들에서 노이즈를 줄이기 위해 64개의 그레이 레벨로 다시 스케일링되고 양자화되었다.

그 다음, 단계 S402 및 S408에서, 핸드 크라프트 특징 추출부(302)의 SRM 영역 분할부(308)는 입력되는 컴퓨터 단층 촬영 영상에서 SRM 영상 영역을 분할하고, 질감 및 형상 특징 추출기(310)는 상기 SRM 영역 분할부(308)에 의해 분할된 SRM 영상 영역에서 질감 및 형상에 대한 핸드-크래프트 특징들을 추출한다.

질감 및 형상 특징 추출기(310)는 상기한 바와 같이 히스토그램과 질감 행렬을 포함한 64차원 질감 특징과 둥근 정도와 곡률을 포함한 7차원 형상 특징을 추출한다.

64차원 질감 HCF에서는 질감 불균일성을 포함한 질감 성질과 관련된 다양한 특징들이 추출된다. 본 발명의 질감 HCF는 평균, 표준 편차, 최소 및 최대 밝기값, 왜곡, 첨도 및 엔트로피와 같은 7가지 히스토그램 특징, 특정 임계값을 초과하는 픽셀의 6개의 퍼센티지, 5개의 백분위수 밝기값, 14개의 GLCM, 22개의 GLRLM 및 10개의 LBP 특징을 포함한다. 이러한 질감 HCF는 ccRCC와 AMLwvf 사이에 의미 있는 차이가 있는 것으로 보고되었지만, AMLwvf는 지방 함량이 낮아 RCC와 시각적으로 거의 구별되지 않는다.

7차원 형상 HCF에서 둥근 정도와 곡률을 포함하는 종양의 형상과 관련된 특징들이 추출된다. HCF 형상은 신장의 침입 정도와 같은 신장과 종양 사이의 관계의 특정 특성을 반영하여 종양에 대한 중요한 정보를 제공한다. 본 발명에서 사용되는 형상 HCF는 면적/둘레 비율, 볼록 영역, 이심률, 장축 길이, 단축 길이, 둘레 및 견고성을 포함한다.

본 발명에서 제안된 질감 HCF는 질감 불균일성 정보를 반영하므로 분류부(306)는 두 종양 사이의 질감 패턴의 차이를 학습할 수 있다. 또한, 본 발명에서 제안된 형상 HCF는 종양의 둥근 형상 정보를 반영하여 두 종양 간의 형상 차이를 더 자세히 학습함으로써 분류부(306)의 분류 성능을 향상시킬 수 있다.

질감 이미지 패치가 있는 심층 특징

단계 S404와 단계 S410에서, 심층 특징 추출부(304)는 사전 훈련된 CNN 모델을 통해 SRM 영상에서 심층 특징들(DF: Deep Features)을 추출한다. SRM 윤곽선을 입력으로 하는 HCF와는 달리, 심층 특징 추출 CNN은 일반적으로 도 6의 (a)와 (b)의 맨 윗줄에 표시된 것처럼 SRM을 포함하는 정사각형 이미지 패치를 입력 데이터로 받는다.

이러한 원본 이미지 패치(OIP: Original Image Patches)를 사용하여 DF를 추출하면, DF는 데이터 세트의 종양 크기 변동 때문에 종양 크기에 크게 의존하는 경향이 있다. 본 발명에서 사용되는 데이터는 직경이 40㎜보다 작아야 하는 크기 제한으로 선택되었기 때문에 데이터 세트의 크기 경향은 실제 모집단의 의미 있는 차이가 아니라 데이터 세트와 연관된 편향성이 더 크다는 것이 확인되었다. 따라서 본 발명의 일 실시예에서는 크기 편항의 학습 줄이기 위해 질감 이미지 패치(TIP: Texture Image Patches)를 이용한 심층 특징(DF) 추출을 제안한다.

DF 추출 단계에서 가장 인기있는 사전 훈련된 CNN 모델인 ImageNet 사전 훈련된 VGGNet이 4,096 차원 DF를 계산하는 데 사용된다. VGGNet에는 10개의 연결된 컨볼루션 레이어가 있으며 두 개의 컨볼루션 레이어 뒤에는 맥스-풀링 레이어가 이어진다. 이러한 컨볼루션 파트 다음에는 3개의 완전히 연결된 레이어가 이어지며,이 레이어는 길이가 4,096, 4,096 및 1,000인 도메인 적응형 특징 벡터를 생성한다. 본 발명은 ImageNet 사전 훈련된 모델을 사용하여 1,000개의 클래스와 150,000 이상의 이미지가 있는 자연 이미지 데이터베이스에서 훈련을 받았다. 대규모 자연 이미지 데이터베이스로 사전 훈련된 CNN 모델을 사용하여 작은 데이터 세트에서 고품질 이미지 특징을 추출할 수 있다.

그 다음 단계 S404 및 S410에서, 심층 특징 추출부(304)의 질감 이미지 패치 생성부(312)는 심층 특징 추출기(314)인 CNN 모델의 입력으로 질감 이미지 패치(TIP)를 생성한다.

먼저, 질감 이미지 패치 생성부(312)는 OIP 영상으로부터 SRM 윤곽선 내부의 SRM 영역을 추출한다. 그 다음 질감 이미지 패치 생성부(312)는 자른 SRM 영역을 빈 64×64 정사각형 패치의 임의의 위치에 배치한다. 이 과정을 반복하여 이미지 영역 간의 일부 중복을 허용하여 빈 패치의 나머지 배경을 채운다. 이 과정은 패치의 모든 배경 픽셀이 채워질 때까지 반복된다. 생성된 TIP에서 도 6의 하단에 표시된 바와 같이 종양 이미지 영역이 사각형 패치 내부에 반복적으로 표시된다. 이러한 TIP는 종양 크기에 관계없이 DF 추출을 위한 SRM의 내부 질감 정보를 반영한다.

도 6은 여러 환자의 OIP 및 TIP의 예를 보여준다. OIP에서는 종양의 크기가 너무 작으면 종양 내부의 질감 정보를 얻기가 어렵다. 또한 DF는 신장에 대한 종양의 위치와 같은 종양의 외부 정보에 지나치게 의존적일 수 있다. 반면, TIP는 주로 종양 크기에 관계없이 종양 내에 질감 패턴을 제공하여 종양 크기 변동성과 관련하여 OIP의 한계를 완화한다. TIP를 사용하여 심층 특징 추출기(314)인 ImageNet의 사전 훈련된 VGGNet은 내부 종양의 질감 정보를 반영하는 고품질 DF를 추출한다.

특징 연결 및 분류

단계 S406에서 분류부(306)는 트레이닝 영상들의 SRM 영역에서 추출된 HCF와 DF를 연결하여 SRM을 AMLwvf와 ccRCC로 분류하기 위한 분류 모델을 생성하고, 단계 S412에서 분류부(306)는 테스트 영상의 SRM 영역에서 추출된 HCF와 DF를 분류 모델에 적용하여 SRM을 AMLwvf와 ccRCC로 분류하는데, 이것은 특징 연결과 머신 러닝 분류를 통해 수행된다. HCF에서 질감과 형태는 의미있는 것으로 판명된 SRM에 대한 전문 지식을 반영한다. 그러나 이 특징은 시각적으로 비슷한 두 종양을 구별할 정도로 민감하지 않으며 HCF의 성능은 제한적이다.

심층 특징 추출부(304)는 종양의 크기 변화에 상관없이 종양의 질감 정보를 반영하기 위해 사전에 자연 영상에 대해 검증된 고품질의 특징을 TIP에서 추출했다. 그러나 종양 형상 정보가 TIP에서 제거되었으므로 DF의 성능이 제한된다. 본 발명에서 제안된 방법에서, 분류부(306)는 HCF와 DF를 연결하여 두 특징의 정보를 연결하여 두 특징을 서로 보완함으로써 분류 성능을 향상시킨다.

분류기의 측면에서 SRM을 분류하기 위해 두 개의 가장 잘 알려진 머신 러닝 분류기인 서포트 벡터 머신(SVM: Support Vector Machine)과 랜덤 포레스트(RF: Random Forest)가 연결된 특징으로 훈련되도록 선택되었다. SVM은 차별화된 데이터 간의 마진을 최대화하여 특징 공간에 대한 초평면을 생성한다. 실험에서 방사 기반 특징(RBF: radial basis function) 커널이 사용되었다. 과대 적합(overfitting) 없이 더 높은 차원에서 분류를 수행하기 위해 RF는 여러 개의 무작위 결정 트리(RDT: multiple random decision trees)를 처리한다. 실험에서 RF를 구성하는 RDT의 수는 실험적으로 100으로 결정되었다. 이 두 가지 분류기는 고차원 DF를 사용한 분류에서 최첨단 성능을 나타내는 것으로 알려져 있다.

결과

AMLwvf와 ccRCC를 구별할 수 있는 능력을 평가하기 위해 본 발명에서 제안된 방법이 데이터 세트에 대해 테스트되었다. 실험은 단일 잔류(leave-one-out) 교차 검증 방법을 통해 검증되었다. 분류기의 과대 적합을 피하기 위해, HCF와 DF 추출 모두에 대해 무작위 로테이션, 변환 및 스케일링을 사용하여 트레이닝 이미지에 대한 데이터 증가가 수행되었다. 무작위 회전과 관련하여, 패치는 -10과 +10도 사이의 일정한 임의의 각도를 사용하여 회전되었다. 랜덤 변환에서 패치는 x축과 y축 모두에서 -3과 +3 픽셀 사이의 균일한 무작위 픽셀로 변환되었다. 랜덤 스케일링에서, 패치는 ×0.9에서 ×1.1 사이의 균일한 랜덤 스케일을 사용하여 무작위로 스케일링되었다. 증강된 트레이닝 데이터 인스턴스의 수는 실험적으로 2,000(1,000 AMLwvf 및 1,000 ccRCC)으로 결정되었다. 본 발명에서 사용된 CNN 모델은 MatConvNet에서 구현되었다.

본 발명의 일 실시예에 의한 방법의 유효성을 검증하기 위해 내부적으로나 외부적으로 여러 가지 비교 방법과 비교하였다. 먼저, 본 발명의 일 실시예에 의한 방법에서 여러 변수들을 수정하여, 예를 들어 특징들과 분류기들의 선택에 의해 내부 비교 방법을 구축했다. 특징의 관점에서 (1) 질감의 핸드-크라프트 특징들(HCF-T), (2) 질감 및 형상의 핸드 크라프트 특징들(HCF-TS), (3) 원본 이미지 패치들의 심층 특징들(DF-OIP), 및 (4) 질감 이미지 패치들의 심층 특징들(DF-TIP)을 갖는 네 가지 비교 방법들이 설계되었다. 분류기의 관점에서, 앞서 언급한 네 가지 비교 특징들 및 본 발명에서 제안된 특징을 포함하여 다섯 가지 특징 조합에 대해 SVM과 RF의 두 분류기의 결과가 비교되었다.

또한 데이터 세트에 최첨단 방법을 적용하고 결과를 본 발명의 제안된 방법의 결과와 비교함으로써 외부 비교를 수행하였다. Hodgdon et al.과 Lee et al.에 의한 최근의 두 가지 최첨단 방법이 외부 비교 방법으로 포함되었다. Hodgdon et al.의 방법에서는 히스토그램 평균, GLCM 각도 2차 모멘트 및 GLCM 합 엔트로피의 3가지 질감 특징을 추출한 다음 SVM 분류기를 사용하여 종양을 차별화했다. 이 연구는 원래 NE CT 영상에서 종양을 분류하기 위해 제안되었지만 CE CT 영상에 대한 연구가 너무 적기 때문에 기준 비교를 위해 이 방법을 CE CT 데이터 세트에 적용했다. Lee 등의 방법에서는 본 발명에서의 HCF-T와 동일한 64차원 질감 특징에 대해, 20차원 특징 및 머신 러닝 분류기, 즉 kNN 및 SVM에 대한 ReliefF 특징 선택을 사용하여 종양 분류가 수행되었다. 교차 검증 및 데이터 증가를 포함하여 본 발명의 제안된 방법에서 사용된 것과 동일한 조건 하에서 이들 방법들을 데이터 세트에 적용하고 그 결과를 본 발명의 제안된 방법의 결과와 비교했다.

결과는 질적 및 양적 평가를 통해 평가되었다. 질적 평가에서 본 발명의 제안된 방법과 비교된 방법 사이의 특징 분포의 변화가 관찰되었다. 특징 분포를 관찰하기 위해 t-분포 확률적 이웃-임베딩(tSNE) 기법을 사용하여 증강된 특징 값들을 2D 좌표로 투영했다. 대표적으로 널리 사용되는 특징 시각화 방법 중 하나인 tSNE는 유사한 형식의 데이터가 서로 아주 근접하게 삽입될 수 있도록 데이터 간의 거리를 기반으로 2D 평면에 고차원 특징을 투영한다. 특징 분석 동안, 특징 표현의 질적 평가를 위한 두 가지 기준이 고려되었다: (1) 밀도가 높은 특징 포인트가 동일한 클래스(클래스 내 밀도) 내에 있는지, (2) 다른 클래스들의 특징 포인트들이 쉽게 분리될 수 있도록 얼마나 멀리 떨어져 있는지(클래스 간 분리 가능성). 정량적 평가에서는 정확도(Acc.), 민감도(Sens.), 특이도(Spec.), 양성 예측치(PPV), 음성 예측치(NPV), 수신기 동작 특성 곡선(AUC) 아래 영역의 6개의 평가 기준이 측정되었다.

도 7은 다양한 특징들이 tSNE 방법에 의해 2D 서브스페이스에 투영된 특징 시각화 결과를 보여준다. 전체 특징 분포로부터 AMLwvf와 ccRCC 간의 차별화는 (1) 클러스터링을 어렵게 하는 널리 분산된 클래스 내 특징(클래스 내 밀도가 낮음)과 (2) 분류를 복잡하게 하는 상당히 중첩된 클래스 간 특징(낮은 클래스 간 분리 가능성)으로 인해 어려움이 있음을 알 수 있다. 그러나 세부적으로는 특징 유형 간에 약간의 차이가 있을 수 있다. 클래스 내 특징의 관점에서, HCF-T와 DF-OIP의 특징 점들은 전체 서브스페이스에 분산되어 있는데, 그들을 클러스터링하는 것을 거의 의미가 없다. 제안된 형상 특징과 TIP의 도움으로 인해, HCF-TS와 DF-TIP은 각각 HCF-T와 DF-OIP보다 훨씬 높은 클래스 간 밀도 레벨을 나타낸다. HCF-TS 및 DF-TIP를 연결한 본 발명의 제안된 특징은 HCF-TS 및 DF-TIP에 대한 특징 분포들이 혼합되어 특징을 나타낼 수 있다. 클래스 내 밀도의 관점에서, 본 발명의 제안된 특징은 DF-TIP보다 훨씬 더 높은 밀도 레벨을 나타내지만 HCF-TS보다 낮은 밀도 레벨을 나타낸다.

클래스 간 특징의 측면에서 볼 때, HCF-T와 DF-OIP가 서로 다른 클래스의 특징들이 얽혀 있고 사실상 분리될 수 없는 방식으로 분포한다는 것을 알 수 있다. 본 발명에서 제안된 형상 특징으로 인하여, HCF-TS는 HCF-T와 비교할 때 상당히 분리 가능한 분포를 보이지만, 도 7b의 왼쪽 하단 부분에서 볼 수 있듯이 상이한 클래스들의 특징점들이 일부 클러스터들에 완전히 중첩된다는 점에서 그것은 제한적이다. 반면, 본 발명에서 제안된 TIP를 통해, DF-TIP는 DF-OIP에 비해 현저하게 개선된 클래스 간 분리 가능성을 보여 주지만, 여전히 상이한 클래스들 간에 어느 정도 중첩되어있다. 클래스 내 밀도와 마찬가지로, 본 발명에서 제안된 연결 특징들은 또한 클래스 간 분리성의 관점에서 HCF-TS 및 DF-TIP의 특성들을 혼합하여 보여준다. 그러나 이 경향은 클래스 내 밀도와 반대인데, 본 발명에서 제안된 연결 특징들은 DF-TIP보다 클래스 간 분리 가능성이 낮지만 HCF-TS보다 클래스 간 분리 가능성이 높다. 따라서 본 발명에서 제안된 연결된 특징들은 DF-TIP의 클래스 내 밀도를 향상시키면서 동시에 HCF-TS의 클래스 간 분리성을 향상시킨다는 것을 확인할 수 있다. 따라서 이러한 결과는 제안된 방법이 기존의 HCF 및 DF 방법에 비해 클래스 내 밀도와 클래스 간 분리 가능성을 모두 향상시킨 고품질 특징들을 추출했다는 것을 입증한다.

정량적 평가에서 제안된 방법과 비교 방법의 AMLwvf-ccRCC 분류 결과에 대한 6가지 성능 기준이 평가되었다. 표 3은 실험 결과의 성능 평가를 요약한 것이다.

표 3은 제안된 방법과 비교 방법들의 AMLwvf-ccRCC 분류 결과의 성능 평가를 나타낸 것으로, 최상의 성능 값들은 굵게 표시되었다.

이전 연구에서, Hodgdon et al.은 질감 특징 분류로 NE CT에서 높은 성능을 달성했지만 CE CT 영상에서 56.3%의 정확도로 제한된 성능을 보였다. Lee et al.은 Hodgdon et al.에 비해 상대적으로 높은 성능을 보였지만, kNN과 SVM에 대해 각각 62.5%와 58.8%의 제한된 정확도를 여전히 달성했다. 이들 방법들은 질감 패턴의 차이에만 의존하여 두 종양을 분류하려고 시도한다. 그러나 질감 단독 분석은 (1) 질감만으로 두 종양을 구별하기에는 차이가 크지 않으며 (2) 종양이 너무 작으면 질감 정보를 올바르게 추출할 수 없기 때문에 제한된 성능을 나타낸다.

제안된 방법에서, 성능 추세는 특징 및 분류기의 관점에서 분석될 수 있다. 특징면에서 HCF-T는 제한적인 성능을 보였으나 단지 질감-특징만 사용한 Lee 등의 방법으로 얻은 결과와 유사하다. 제안된 형상 특징을 추가하여, HCF-TS는 HCF-T에 비해 RF를 기반으로 한 정확도면에서 5%p 향상된 성능을 보였다. DF는 전반적으로 HCF를 능가했다. DF-OIP는 HCF-T에 비해 정확도가 3.7%p 향상되었지만 HCF-TS에 비해 정확도는 1.3%p 감소했다. 제안된 TIP로 인해, DF-TIP는 DF-OIP에 비해 정확도가 7.5%p가 향상되었다. 특히 제안된 특징들, HCF-TS와 DF-TIP는 기존의 특징들에 비해 크게 향상된 특이성을 보였다. 두 개의 개선된 특징들을 연결하여, 제안된 연결 특징들은 HCF-TS 및 DF-TIP보다 각각 정확도가 10.0% 및 3.8% 뛰어났다. 분류기에 대해, RF는 일반적으로 DF-OIP 케이스를 제외하고는 SVM 보다 성능이 우수하다. 마지막으로, 연결된 특징들과 RF를 사용한 제안된 방법은 76.3%의 정확도로 가장 우수한 분류 성능을 보였다.

도 8은 제안된 방법과 비교 방법들의 ROC 곡선을 보여준다. 특징 측면에서, 제안된 형상 특징은 HCF를 향상시키고 제안된 TIP는 DF를 향상시켰다. HCF-TS와 DF-TIP를 연결한 제안된 특징은 사용된 분류기에 상관없이 다른 특징 선택보다 성능이 우수했다. 분류기의 관점에서, SVM은 DF와 HCF 사이에서 중요한 성능 편차를 보였으나, RF는 비교적 안정적이고 일반적으로 더 나은 성능을 보였다. 최종적으로 도 8a와 같이 연결된 특징과 RF를 포함하는 제안된 방법이 다른 내부 비교 방법들 뿐만 아니라 외부 비교 방법들보다 우수함이 관찰되었다.

논의

본 발명에서는 복부 조영 증강된 컴퓨터 단층 촬영 영상에서 AMLwvf와 ccRCC를 핸드-크라프트 특징과 심층 특징을 조합한 특성과 머신 러닝 분류를 이용하여 구별하는 DFC 방법을 제안하였다. 핸드-크라프트 특징에서 64차원 질감 특징들과 7차원 형상 특징들이 SRM ROI의 중앙 슬라이스에서 추출되었다. 심층 특징에서 질감 이미지 패치(TIP)를 사용하여 ImageNet 사전 훈련된 CNN 모델에서 4,096차원 특징들이 추출되었다. 특징 분류 단계에서, SVM 및 RF 분류기는 핸드-크라프트 특징과 심층 특징을 연결하여 훈련되었다. 실험에서, 특징 분포의 정성적인 분석을 하였고, (1) 제안된 형상 특징이 질감의 핸드-크라프트 특징의 클래스 내 밀도를 향상시켰으며, (2) 제안된 TIP가 클래스 간 분리 가능성을 향상시켰고, (3) 제안된 연결 특징이 가장 개선된 특징 분포를 보였음을 발견하였다. 정량적 평가에서, (1) 제안된 연결 특징은 제안된 핸드-크라프트 특징과 TIP를 사용한 심층 특징의 결과로 최상의 성능을 얻었고, (2) RF 분류기는 SVM 보다 성능이 좋았다.

제안된 방법은 여러 가지 기여를 한다. 첫째, DFC 프레임워크가 처음으로 문제에 적용되었다. SRM 분류에 관한 대부분의 이전 연구는 방사선 학자에 의한 시각적 평가와 함께 주로 kNN, SVM 및 RF와 같은 고전적인 머신 러닝(ML) 방법을 사용하여 HCF 분석에 의존하여 SRM을 분류했다. 지난 10년 동안, 딥러닝(DL)은 ML 애플리케이션의 넓은 영역에서 중요한 역할을 했다. DL의 가장 강력한 특징은 주어진 데이터로부터 문제에 적합한 특징들을 러닝하는 특징 러닝 프로세스에 있다. 이 특징 러닝 측면은 또한 DL에 다른 ML 방법 중에서도 데이터 크기에 매우 민감한 특성을 부여한다. DL은 일반적으로 대규모 데이터로 다른 ML 방법들을 압도하지만, 데이터 크기가 작을수록 러닝 효과와 성능이 크게 감소한다. DFC는 이러한 작은 데이터 작업에 새로 적용되었다. DFC에서는 특징 러닝을 생략하고 고전적인 ML 방법을 훈련하기 위해 다른 대규모 데이터베이스로 사전 훈련된 DL 모델을 통해 DF를 추출한다. DFC는 고전적인 ML 방법을 채택함으로써 작은 데이터 세트로 안정적인 러닝을 가능하게 할 뿐만 아니라 대규모 자연 영상에서 사전 검증된 고품질의 DF를 빌림으로써 HCF를 사용하는 고전적인 ML보다 우수한 성능을 달성한다. 특징 러닝 과정이 없기 때문에, DF는 주어진 데이터와 문제에 대해 충분히 적합하지 않다. 본 발명에서는 SRM을 구별하기 위한 전문 지식을 반영한 HCF를 추가하여 DF를 보완함으로써 이러한 어려움을 극복했다.

둘째, 본 발명에서는 HCF에서 형상 HCF를 추가하여 기존의 질감 HCF를 개선했다. HCF 분석을 수반하는 이전의 연구들에서, 성별, 나이, 히스토그램, 질감, 감쇠 패턴, 증강 패턴, 위치 및 형상을 포함하여, SRM을 구별하기 위해 몇 가지 유형의 특징들이 제안 및 평가되었다. 이러한 특징들 중 MP CT 스캔에서는 서로 다른 위상 영상들 간의 증강 패턴이 주로 분석되었지만 단일 NE 또는 CE CT 영상에서는 질감 및 형상 특징이 중요하다는 것이 발견되었다. 질감 측면에서, AMLwvf는 ccRCC보다 낮은 불균일성을 갖는 것으로 밝혀졌다. 형상면에서 AMLwvf는 ccRCC 만큼 둥글지 않고 날카롭게 신장에 침범하는 것으로 밝혀졌다. 그러나 이러한 다양한 특징들은 주로 질병과의 개별적인 통계 연관성에 대해 평가되어 왔고, 특징 기반 분류기를 구성하여 실제로 두 가지 유형의 종양을 분류한 연구에서는 질감 특징만이 사용되었다. 본 발명에서 제안된 방법은 질감의 HCF 특성에 형상 특징을 추가함으로써 임상적으로 입증된 전문 지식을 반영하는 HCF를 구성할 뿐만 아니라 분류 성능의 관점에서 HCF의 특징 품질을 향상시켰다.

셋째, DF에서, 제안된 TIP를 사용하여 특징 품질을 향상시켰다. 대부분의 DL 관련 연구에서는 원본 이미지의 일부를 잘라내서 OIP를 신경망 입력으로 사용했다. OIP에는 ROI 객체 외에도 신장과 같은 일부 배경 영역이 포함된다. 이러한 배경 영역을 포함하는 OIP는 자연 영상의 대부분의 분석에서 배경과 물체 간의 컨텍스트 정보가 물체 정보 자체만큼 중요하기 때문에 DL에서 허용되었다. 그러나 본 발명에서, 이 컨텍스트 정보를 러닝하면 소량의 데이터로 인해 바람직하지 않은 편향의 위험이 발생한다. 예를 들어, 본 발명에서 사용된 데이터 세트에서 AMLwvf의 크기는 평균적으로 ccRCC의 크기보다 작아서, DF-OIP는 종양 크기에 매우 민감하다. 이러한 바람직하지 않은 편향을 피하고 종양들 간의 내부 질감 차이를 강조하기 위해, 본 발명에서 제안된 방법은 질감 중심의 DF를 추출하도록 TIP를 생성하였고, 분류 성능의 관점에서 제안된 TIP가 DF의 특징 품질을 향상시킨 것으로 확인되었다.

실험에서, 또한 특징 분포의 정성적 평가와 정량적 평가를 통해 제안된 방법의 효과가 관찰되고 분석되었다. 이러한 관찰 외에도, 분류 결과의 비주얼 평가를 통해 분류 결과가 분석되었다. 도 9는 TP, FP, TN 및 FN이 진양성, 위양성, 진음성, 및 위음성을 각각 나타내는 5개의 특징 유형에 따른 4개의 분류 결과 그룹의 예시적인 이미지를 도시한 것이다. 분류 결과에서 양성은 AMLwvf를, 음성은 ccRCC를 나타낸다.

HCF-T에서, 질감의 불균일성 정도에 따라 두 종양 간의 분류가 수행되었다. 따라서, 불균일성이 많은 AMLwvf와 불균일성이 적은 ccRCC의 경우가 FN과 FP에 각각 포함되어 있음을 알 수 있다. HCF-TS에서, 분류기는 종양 모양이 둥근 지 여부에 따라 종양을 결정하는 경향이 있다. 따라서 둥근 AMLwvf 및 둥글지 않은 ccRCC 케이스는 잘못 분류된다. DF-OIP는 주로 OIP의 컨텍스트 정보를 고려하여 종양 형태나 크기에 따라 종양을 결정하는 경향이 있기 때문에, HCF-TS와 유사한 경향을 보인다. 결과적으로 크고 둥근 AMLwvf와 작고 둥글지 않은 ccRCC 사례가 잘못 분류되었다. TIP의 경우, DF-TIP는 질감 정보에 초점을 맞추어 HCF-T와 유사한 분류 경향을 만들어 냈다. 그 결과, 불균일한 AMLwvf 및 균일한 ccRCC 케이스가 잘못 분류된 것을 관찰할 수 있다. 마지막으로, 제안된 방법이 HCF-TS의 형상 정보와 DF-TIP의 질감 정보를 모두 사용했기 때문에 위의 오류 케이스는 상당히 감소되었다. 잘못 분류된 나머지 케이스들에서, 둥근 비균질 AMLwvf와 둥글지 않은 균질 ccRCC가 포함되어 있으며, 이들 케이스들은 질감과 형상의 관점에서 반대되는 클래스 특성을 가지고 있다. 이러한 관찰을 통해, 제안된 방법이 목적에 부합하는 의미 있는 결과와 한계를 보여줌으로써 태스크에 적절하게 작동함을 확인할 수 있었다.

결론

본 발명은 복부 종영 증강된 CT 영상에서 ccRCC와 AMLwvf를 구별하기 위한 DFC 방법을 제안하였다. 먼저, SRM 영상들로부터 질감과 형상의 HCF를 추출하여 SRM의 질감 균질성과 둥근 형상의 정도를 평가하였다. 두 번째로 질감 정보를 강조하고 종양의 크기 변화를 줄이기 위해 TIP를 생성하여 ImageNet 사전 훈련된 CNN 모델로 DF를 추출했다. 세 번째로, 이들을 연결하여 특징들을 결합하고 AMLwvf와 ccRCC를 분류하기 위해 연결된 특징들에 기반하여 분류기(SVM 및 RF)를 훈련시켰다. 실험에서, (1) 제안된 형상 특징들이 질감 HCF의 클래스 내 밀도를 향상시켰고, (2) 제안된 TIP가 DF의 클래스 간 분리 가능성을 향상시켰으며, (3) 제안된 연결 특징들이 가장 개선된 특징 품질을 나타내었음이 확인되었다. 특징 분류 단계에서, RF는 일반적으로 HCF와 DF 모두에서 SVM 보다 성능이 우수하다. 결과적으로 제안된 연결 특징에 기반하여 트레이닝된 RF의 결과는 76.3%의 정확도를 나타내어, 최상의 성능을 달성하였다.

이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.

202 : 핸드-크라프트 특징 추출 204 : 심층 특징 추출
206 : 특징 연결 및 분류 208 : SRM 분할
210 : 질감 및 형상 특징 추출 212 : 질감 이미지 패치 생성
214 : 심층 특징 추출 300 : 밝기값 정규화부
302 : 핸드-크라프트 추출부 304 : 심층 특징 추출부
306 : 분류부 308 : SRM 영역 분할부
310 : 질감 및 형상 특징 추출기 312 : 질감 이미지 패치 생성부
314 : 심층 특징 추출기

Claims

육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat) 및 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma) 각각을 포함하는 신장 종양(SRM: Small Renal Masses)에 대한 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하고, 신장 종양(SRM: Small Renal Masses)에 대한 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하기 위한 핸드-크라프트 특징 추출부;
상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하고, 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하기 위한 심층 특징 추출부; 및
상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 분류 모델을 생성하며, 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하기 위한 분류부를 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 1에 있어서,
상기 핸드-크라프트 특징 추출부는,
입력되는 컴퓨터 단층 촬영 영상에서 SRM 영상 영역을 분할하기 위한 SRM 영역 분할부; 및
상기 SRM 영역 분할부에 의해 분할된 SRM 영상 영역에서 질감 및 형상에 대한 핸드-크래프트 특징들을 추출하기 위한 질감 및 형상 특징 추출기를 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 2에 있어서,
상기 질감에 대한 핸드-크라프트 특징들은 히스토그램과 종양 내부의 밝기값과 관련한 질감 행렬을 포함하는 64차원 질감 특징들을 포함하고, 상기 형상에 대한 핸드-크라프트 특징들은 곡률을 포함하는 7차원 형상 특징들을 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 3에 있어서,
상기 형상에 대한 핸드-크라프트 특징들 중 하나는,
상기 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat)과 신장의 접촉면이 쐐기 형상인 특징을 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 1에 있어서,
상기 심층 특징 추출부는,
원본 이미지 패치 영상으로부터 신장 종양(SRM) 윤곽선 내부의 임의의 SRM 영역을 추출하는 동작, 상기 추출된 SRM 영역을 소정 크기의 빈 정사각형 패치의 임의의 위치에 배치하는 동작, 및 상기 SRM 영역 추출 동작 및 상기 배치 동작을 반복적으로 수행하여 이미지 영역 간의 일부 중복을 허용하여 빈 패치의 나머지 배경을 채우는 동작을 수행하여 상기 질감 이미지 패치들(TIP: Texture Image Patches)을 생성하는 질감 이미지 패치 생성부; 및
사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하기 위한 심층 특징 추출기를 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 5에 있어서,
상기 질감 이미지 패치들(TIP: Texture Image Patches)의 수를 증가시키기 위하여, 상기 추출된 SRM 영역을 다양한 각도로 회전시켜 상기 빈 정사각형 패치의 임의의 위치에 배치하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 6에 있어서,
상기 심층 특징들(DF: Deep Features)은 복수의 자연 이미지에 기반하여 사전 훈련된 신경망 모델을 사용하여 추출되는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 1에 있어서,
상이한 환자들의 컴퓨터 단층 촬영 영상들 간의 밝기값 변화를 줄이기 위하여, 상기 컴퓨터 단층 촬영 영상 각각에 대해 밝기값 정규화를 수행하는 밝기값 정규화부를 더 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
청구항 1에 있어서,
상기 트레이닝 컴퓨터 단층 촬영 영상들 및 상기 테스트 컴퓨터 단층 촬영 영상들은 조영 증강된 컴퓨터 단층 촬영 영상인, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치.
컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 장치에서 수행되는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법으로서,
(a) 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat) 및 투명세포 신세포암(ccRCC: clear cell Renal Cell Carcinoma) 각각을 포함하는 신장 종양(SRM: Small Renal Masses)에 대한 트레이닝 컴퓨터 단층 촬영 영상들에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하는 단계;
(b) 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계;
(c) 상기 트레이닝 컴퓨터 단층 촬영 영상들에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하여 분류 모델을 생성하는 단계;
(d) 신장 종양(SRM: Small Renal Masses)에 대한 테스트 컴퓨터 단층 촬영 영상에서 핸드-크라프트 특징들(HCF: Hand-Crafted Features)을 추출하는 단계;
(e) 상기 테스트 컴퓨터 단층 촬영 영상에서 질감 이미지 패치들(TIP: Texture Image Patches)을 생성한 후 사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계; 및
(f) 상기 테스트 컴퓨터 단층 촬영 영상에서 추출된 핸드-크라프트 특징들과 심층 특징들을 연결하고 상기 분류 모델에 기반하여 상기 테스트 컴퓨터 단층 촬영 영상의 신장 종양(SRM)을 육안식별 지방이 포함되지 않는 혈관근지방종 또는 투명세포 신세포암으로 분류하는 단계를 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 10에 있어서,
상기 단계 (a) 및 단계 (d)에서 상기 핸드-크라프트 특징들은,
입력되는 컴퓨터 단층 촬영 영상에서 SRM 영상 영역을 분할하는 단계; 및
상기 분할된 SRM 영상 영역에서 질감 및 형상에 대한 핸드-크래프트 특징들을 추출하는 단계에 의해 추출되는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 11에 있어서,
상기 질감에 대한 핸드-크라프트 특징들은 히스토그램과 종양 내부의 밝기값과 관련한 질감 행렬을 포함하는 64차원 질감 특징들을 포함하고, 상기 형상에 대한 핸드-크라프트 특징들은 곡률을 포함하는 7차원 형상 특징들을 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 12에 있어서,
상기 형상에 대한 핸드-크라프트 특징들 중 하나는,
상기 육안식별 지방이 포함되지 않는 혈관근지방종(AMWwvf: AML without visible fat)과 신장의 접촉면이 쐐기 형상인 특징을 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 10에 있어서,
상기 단계 (b) 및 단계 (e)에서 상기 심층 특징들은,
원본 이미지 패치 영상으로부터 신장 종양(SRM) 윤곽선 내부의 임의의 SRM 영역을 추출하는 단계, 상기 추출된 SRM 영역을 소정 크기의 빈 정사각형 패치의 임의의 위치에 배치하는 단계, 및 상기 SRM 영역 추출 단계 및 상기 배치 단계를 반복적으로 수행하여 이미지 영역 간의 일부 중복을 허용하여 빈 패치의 나머지 배경을 채우는 단계를 수행하여 상기 질감 이미지 패치들(TIP: Texture Image Patches)을 생성하는 단계; 및
사전 훈련된 신경망 모델을 사용하여 심층 특징들(DF: Deep Features)을 추출하는 단계에 의해 추출되는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 14에 있어서,
상기 질감 이미지 패치들(TIP: Texture Image Patches)의 수를 증가시키기 위하여, 상기 추출된 SRM 영역을 다양한 각도로 회전시켜 상기 빈 정사각형 패치의 임의의 위치에 배치하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 15에 있어서,
상기 심층 특징들(DF: Deep Features)은 복수의 자연 이미지에 기반하여 사전 훈련된 신경망 모델을 사용하여 추출되는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 10에 있어서,
상기 단계 (a) 이전에,
상이한 환자들의 컴퓨터 단층 촬영 영상들 간의 밝기값 변화를 줄이기 위하여, 상기 컴퓨터 단층 촬영 영상 각각에 대해 밝기값 정규화를 수행하는 단계를 더 포함하는, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.
청구항 10에 있어서,
상기 트레이닝 컴퓨터 단층 촬영 영상들 및 상기 테스트 컴퓨터 단층 촬영 영상들은 조영 증강된 컴퓨터 단층 촬영 영상인, 컴퓨터 단층 촬영 영상에서 딥러닝 특징과 형상 특징을 이용한 혈관근지방종과 투명세포 신세포암 분류 방법.