KR101927481B1

KR101927481B1 - 흉부 ct 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법 및 장치

Info

Publication number: KR101927481B1
Application number: KR1020170099552A
Authority: KR
Inventors: 홍헬렌; 이선영; 정주립
Original assignee: 서울여자대학교 산학협력단
Priority date: 2017-08-07
Filing date: 2017-08-07
Publication date: 2018-12-11

Abstract

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법은, (a) 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하는 단계; (b) 상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하는 단계; 및 (c) 상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하는 단계를 포함한다.

Description

흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법 및 장치{METHOD AND APPARATUS FOR CLASSIFICATION OF GROUND-GLASS OPACITY NODULES WITH SMALL SOLID COMPONENTS USING MULTIVIEW IMAGES AND TEXTURE ANALYSIS IN CHEST CT IMAGES}

본 발명은 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법 및 장치에 관한 것이다.

간유리음영 결절(ground-glass opacity nodule; GGN)은 흉부 컴퓨터단층촬영(computed tomography; CT) 영상에서 폐 실질보다 상대적으로 밝기값이 높고 흐릿한 영역으로 나타나며 결절 내부에 고형 성분(solid component)을 포함하지 않고 간유리음영 성분(ground-glass opacity; GGO)만을 가지는 순수 간유리음영 결절(pure GGN)과 결절 내부에 고형 성분과 간유리음영 성분을 모두 포함하는 혼합 간유리음영 결절(part-solid GGN)로 분류된다[1].

혼합 간유리음영 결절은 순수 간유리음영 결절보다 악성도가 높은 것으로 알려져 있고, 폐암의 조기발견과도 관련이 있기 때문에 간유리음영 결절을 분류하는 것이 중요하다[2-3]. 그러나 고형 성분의 크기가 작은 혼합 간유리음영 결절의 경우 순수 간유리음영 결절과 유사하게 보이기 때문에 두 결절을 분류하는 것이 어렵다.

도 1은 흉부 CT 영상에서 나타나는 폐 결절 유형별 영상으로 도 1(a)의 고형 결절에 비해 도 1(b)의 순수 간유리음영 결절은 간유리음영 성분이 상대적으로 어두운 밝기값을 보이고, 도 1(c)의 혼합 간유리음영 결절은 흐릿하게 나타나는 간유리음영 성분과 내부에 밝게 나타나는 고형 성분을 함께 가지고 있다. 도 1(d)의 혼합 간유리음영 결절은 내부에 작은 고형 성분을 포함하고 있으나 그 크기가 작아 도 1(b)의 순수 간유리음영 결절과 유사한 밝기값 특성을 보인다.

2D 단면 상에서 결절의 텍스처 정보를 이용한 연구는 폐 결절에 대한 연구와 폐 간유리음영 결절에 대한 연구로 나누어 볼 수 있다. 폐 결절의 특성을 분석하고 분류한 기존 연구는 다음과 같다. Shewaye 등은 폐 결절의 기하학적 특징과 텍스처 특징을 이용하여 악성 폐 결절과 양성 폐 결절을 분류하였다[4]. Kumar 등은 인공 신경망의 종류 중 하나인 오토인코더(autoencoder)로부터 추출된 딥 피쳐(deep feature)를 이용하여 악성 폐 결절과 양성 폐 결절을 분류하였다[5]. Dilger 등은 폐 결절에서 추출된 결절의 형태 정보와 텍스처 특징, 폐 결절 주변의 폐 실질에서 추출된 경계 정보와 텍스처 특징 그리고 폐 내 결절의 위치, 폐엽 등의 정보를 이용하여 악성 폐 결절과 양성 폐 결절을 분류하였다[6]. Kamiya 등은 폐 결절 영역의 히스토그램으로부터 얻어진 텍스처 특징인 첨도, 왜도를 이용하여 악성 폐 결절과 양성 폐 결절을 분류하였다[7].

순수/혼합 간유리음영 결절의 특성과 악성도 간 관계를 분석하고 분류한 기존 연구는 다음과 같다. Chae 등은 간유리음영 결절 영역의 밝기값 평균, 표준편차와 첨도, 왜도, 엔트로피, 백분위 CT 밝기값 등의 텍스처 특징, 부피, 지름, 표면적 등의 체적 특징 그리고 구형도, 경도 등 형태학적 특징과 명암도 동시발생 행렬 기반의 텍스처 특징을 이용하여 간유리음영 결절의 특징을 분석하였다[8]. Mattonen 등은 간유리음영 결절의 텍스처 특징을 이용하여 폐암 발생 가능성에 대해 분석하였다[9]. Son 등은 간유리음영 결절의 크기, 부피, 백분위 CT 밝기값, 엔트로피, 균일성 등 결절의 형태 정보와 텍스처 특징을 이용하여 악성 병변으로 진단된 간유리음영 결절의 특성을 분석하였다[10][11]. Lee 등은 간유리음영 결절의 밝기값 평균, 표준편차, 첨도, 왜도, 엔트로피 그리고 명암도 동시발생 행렬을 이용한 텍스처 특징을 이용하여 순수 간유리음영 결절과 혼합 간유리음영 결절을 분류하였다[12]. 대부분의 폐 결절 연구에서는 텍스처 특징 정보와 형상 정보를 이용해 악성 폐 결절과 양성 폐 결절을 분류하였다.

간유리음영 결절 연구의 경우 대부분 특징 분석만 수행하였으며 혼합 간유리음영 결절 내부의 고형 성분이 5㎜ 미만으로 작은 경우에 대해서는 거의 다루고 있지 않다. 또한, 고형 성분의 크기가 작은 결절의 경우 2D 대표 단면을 사용하더라도 고형 성분을 표현하는 정보량이 적어 순수 간유리음영 결절과의 분류 정확도가 낮을 수 있다는 한계점이 있다.

[1] C.I. Henschke, D.F. Yankelevitz, R. Mirtcheva, G. McGuinness, D. McCauley, and O.S. Miettinen, "CT screening for lung cancer: frequency and significance of partsolid and nonsolid nodules," Am. J. Roentgenol. Vol. 178, No.5, pp. 1053-1057, 2002. [2] K.H. Lee, J.M. Goo, S.J. Park, J.Y. Wi, D.H. Chung, H. Go, H.S. Park, C.M. Park, and S.M. Lee, "Correlation between the size of the solid component on thin-section CT and the invasive component on pathology in small lung adenocarcinomas manifesting as ground-glass nodules," J Thorac Oncol, Vol. 9, No. 1, pp. 74-82, 2014. [3] J.H. Lee, C.M. Park, S.M. Lee, H. Kim, H.P. McAdams, and J.M. Goo, "Persistent pulmonary subsolid nodules with solid portions of 5mm or smaller: Their natural course and predictors of interval growth," European radiology, vol. 26, no. 6, pp. 1529-1537, 2015. [4] T.N. Shewaye, and A.A. Mekonnen, "Benign-Malignant Lung Nodule Classification with Geometric and Appearance Histogram Features," arXiv preprint arXiv:1605.08350, 2016. [5] D. Kumar, A. Wong, and D.A. Clausi, "Lung nodule classification using deep features in CT images," Computer and Robot Vision (CRV), 2015 12th Conference on, pp. 133-138, 2015. [6] S.K. Dilger, J. Uthoff, A. Judisch, E. Hammond, S.L. Mott, B.J. Smith, et al., "Improved pulmonary nodule classification utilizing quantitative lung parenchyma features," Journal of Medical Imaging, Vol. 2, No. 4, pp. 041004-041004, 2015. [7] A. Kamiya, S. Murayama, H. Kamiya, T. Yamashiro, Y. Oshiro, and N. Tanaka, "Kurtosis and skewness assessments of solid lung nodule density histograms: differentiating malignant from benign nodules on CT," Japanese journal of radiology, Vol. 32, No. 1, pp. 14-21, 2014. [8] H.D. Chae, C.M. Park, S.J. Park, S.M. Lee, K.G. Kim, and J.M. Goo, "Computerized texture analysis of persistent part-solid ground-glass nodules: differentiation of preinvasive lesions from invasive pulmonary adenocarcinomas," Radiology, Vol. 273, No. 1, pp. 285-293, 2014. [9] S.A. Mattonen, D.A. Palma, C.J. Haasbeek, S. Senan, and A.D. Ward, "Early prediction of tumor recurrence based on CT texture changes after stereotactic ablative radiotherapy (SABR) for lung cancer," Medical physics, Vol. 41, No. 3, 2014. [10] J.Y. Son, H.Y. Lee, K.S. Lee, J.H. Kim, J. Han, J.Y. Jeong, et al., "Quantitative CT analysis of pulmonary ground-glass opacity nodules for the distinction of invasive adenocarcinoma from pre-invasive or minimally invasive adenocarcinoma," PLoS One, Vol. 9, No. 8, p.e104066, 2014. [11] J.Y. Son, H.Y. Lee, J.H. Kim, J. Han, J.Y. Jeong, K.S. Lee, et al, "Quantitative CT analysis of pulmonary ground-glass opacity nodules for distinguishing invasive adenocarcinoma from non-invasive or minimally invasive adenocarcinoma: the added value of using iodine mapping," European radiology, Vol. 26, No. 1, pp. 43-54, 2016. [12] S.Y. Lee, J. Jung, H.S. Lee, and H.Hong, "Pulmonary Ground-glass Opacity Nodules with Small Solid Portions Classification using Texture Analysis in Chest CT Images", The 2016 Fall Conference of Korea Multimedia Soceity, pp. 234-236, 2016. [13] J. Jung, and H. Hong, "Automatic Segmentation of Ground-glass Opacity Nodule using Multi-phase Deformable Model with Intensity Constraint in Chest CT Images," Journal of KIISE : Software and Applications, Vol. 40, No. 10, pp. 582-591, 2013. [14] R.M. Haralick, and K. Shanmugam, "Texture features for image classification," IEEE Transactions on system, man, and cybernetics, Vol. 3, No. 6, pp. 610-621, 1973. [15] X. Tang, "Texture information in run-length matrices," IEEE transactions on image processing, Vol. 7, No. 11, pp. 1602-1609, 1998. [16] M. Robnik-ikonja, and I. Kononenko, "Theoretical and empirical analysis of ReliefF and RReliefF," Machine learning, Vol. 53, No. 1-2, pp. 23-69, 2003. [17] C. Cortes, and V. Vapnik, "Support-vector networks," Machine learning, Vol. 20, No. 3, pp. 273-297, 1995.

본 발명이 해결하고자 하는 과제는 순수 간유리음영 결절과 고형 성분이 작은 혼합 간유리음영 결절을 높은 분류 성능으로 분류할 수 있는 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 순수 간유리음영 결절과 고형 성분이 작은 혼합 간유리음영 결절을 높은 분류 성능으로 분류할 수 있는 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치를 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법은,

(a) 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하는 단계;

(b) 상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하는 단계; 및

(c) 상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하는 단계를 포함한다.

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법에 있어서, 상기 다중 뷰 영상은,

xy축, zx축 및 yz축을 고려하는 3개의 2D 축상면, 관상면, 시상면 평면의 영상 및 xyz축을 모두 고려하는 6개의 평면의 영상을 포함하는 9개의 다중 뷰 영상을 포함하고,

각 평면을 두 축으로 이루어진 평면과 다른 한 축과의 각으로 나타내는 경우, 상기 3개의 2D 평면들은 xy-z(0°), zx-y(0°), yz-x(0°)이고, 상기 6개의 평면은 yz-x(45°), yz-x(135°), zx-y(45°), zx-y(135°), xy-z(45°), xy-z(135°)일 수 있다.

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법에 있어서, 상기 단계 (b)에서 추출된 특징 벡터들은,

픽셀의 밝기값을 고려하는 8개의 히스토그램 특징 벡터, 12개 초과임계값(above thresholding value), 5개의 백분위 CT 밝기값(percentile CT attenuation value), 픽셀의 밝기값과 위치 정보를 고려하는 명암도 동시발생 행렬(GLCM; gray level co-occurrence matrix) 기반의 56개 하랄릭(Haralick) 특징 벡터들, 및 픽셀의 밝기값과 연속성을 고려하는 명암도 작용길이 행렬(GLRLM; gray level run-length matrix) 기반의 88개 특징 벡터들을 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법에 있어서, 상기 선별된 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들은, 상기 훈련 영상으로부터 생성된 상기 9개의 다중 뷰 영상으로부터 각각 169개씩 추출된 총 1521개의 특징 벡터들 중 ReliefF 특징 선별 기법을 이용하여 선별된 상위 10개의 특징 벡터들을 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법에 있어서, 상기 선별된 10개의 특징 벡터들은,

xy-z(135°) 영상에서 최대 밝기값, xy-z(135°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 에너지, zx-y(45°) 영상에서 최대 밝기값, yz-x(45°) 영상에서 최대 밝기값, yz-x(135°) 영상에서 97.5th CT 밝기값, xy-z(135°) 영상에서 초과 임계값 600(HU), yz-x(135°) 영상에서 최대 밝기값, 및 yz-x(0°) 영상에서 16 레벨 135° 방향의 LRLGE(Long Run Low Gray-Level Emphasis)를 포함하고,

상기 단계 (c)는,

상기 대상 영상에서 추출된 상기 선별된 10개의 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법은, 상기 단계 (a) 이전에,

(a-1) 흉부 컴퓨터단층촬영(CT) 영상에서 밝기값 히스토그램을 이용한 적응적 임계값을 산정하여 초기 간유리음영 결절 영역을 추출하는 단계; 및

(a-2) 밝기값 제약을 사용해 제안한 변형모델을 이용하여 상기 초기 간유리음영 결절 영역을 최종 분할하여 상기 분할된 간유리음영 결절 영역을 포함하는 훈련 영상 및 대상 영상을 획득하는 단계를 더 포함할 수 있다.

상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치는,

분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하기 위한 다중 뷰 영상 생성부;

상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하기 위한 특징 추출 및 선별부; 및

상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 분류부를 포함한다.

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치에 있어서, 상기 다중 뷰 영상은,

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치에 있어서, 상기 추출된 특징 벡터들은,

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치에 있어서, 상기 선별된 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들은, 상기 훈련 영상으로부터 생성된 상기 9개의 다중 뷰 영상으로부터 각각 169개씩 추출된 총 1521개의 특징 벡터들 중 ReliefF 특징 선별 기법을 이용하여 선별된 상위 10개의 특징 벡터들을 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치에 있어서, 상기 선별된 10개의 특징 벡터들은,

상기 분류부는, 상기 대상 영상에서 추출된 상기 선별된 10개의 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 고형 성분이 작은 폐 간유리음영 결절을 분류하는 동작을 수행할 수 있다.

또한, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치는, 흉부 컴퓨터단층촬영(CT) 영상에서 밝기값 히스토그램을 이용한 적응적 임계값을 산정하여 초기 간유리음영 결절 영역을 추출하고, 밝기값 제약을 사용해 제안한 변형모델을 이용하여 상기 초기 간유리음영 결절 영역을 최종 분할하여 상기 분할된 간유리음영 결절 영역을 포함하는 훈련 영상 및 대상 영상을 획득하기 위한 분할부를 더 포함할 수 있다.

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법 및 장치에 의하면, 순수 간유리음영 결절과 고형 성분이 작은 혼합 간유리음영 결절을 높은 분류 성능으로 분류할 수 있다.

도 1은 흉부 CT 영상에서 나타나는 간유리음영 결절의 유형별 영상을 도시한 도면으로, 도 1(a)는 고형 결절, 도 1(b)는 순수 간유리음영 결절, 도 1(c)는 혼합 간유리음영 결절, 도 1(d)는 고형 성분이 작은 혼합 간유리음영 결절을 도시한 도면.
도 2는 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법의 흐름도.
도 3은 흉부 CT 영상에서 순수 간유리음영 결절과 혼합 간유리음영 결절을 분할한 결과를 도시한 도면으로, 도 3(a)는 순수 간유리음영 결절, 도 3(b)는 혼합 간유리음영 결절을 도시한 도면.
도 4는 생성된 멀티 뷰 영상의 예를 도시한 도면.
도 5는 특징 선별의 예를 도시한 도면으로, 도 5(a)는 멀티 뷰 영상 중 시상면 영상에서 추출되는 특징들의 히트맵, 도 5(b)는 도 5(a)의 특징들 중 선별된 특징들의 히트맵을 도시한 도면.
도 6은 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치의 블록도.
도 7은 특징들의 히트맵을 도시한 도면으로, 도 7(a)는 축상면 뷰 영상에서 추출된 전체 169개의 특징의 히트맵, 도 7(b)는 축상면 뷰 영상에서 추출된 전체 특징들 중 특징 선별 기법을 이용하여 선별한 상위 5개 특징의 히트맵, 도 7(c)는 다중 뷰 영상에서 추출된 전체 1521개 특징의 히트맵, 도 7(d)는 다중 뷰 영상에서 추출된 전체 특징들 중 특징 선별 기법을 이용하여 선별한 상위 10개 특징의 히트맵을 도시한 도면.
도 8은 SVM 분류기로부터 오분류된 간유리음영 결절을 도시한 도면으로, 도 8(a)는 축상면 뷰 영상에서 상위 5개 특징으로부터 오분류된 간유리음영 결절, 도 8(b)는 멀티 뷰 영상에서 상위 10개 특징으로부터 오분류된 간유리음영 결절을 도시한 도면.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.

본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.

또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.

이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.

본 발명에서는 5㎜ 이하의 작은 고형 성분을 가지는 혼합 간유리음영 결절과 순수 간유리음영 결절을 분류하기 위해 다중 뷰 영상을 생성하여 여러 2D 단면의 정보를 고려한 텍스처 분석과 주요 특징 선별을 통해 분류하는 방법을 제안한다. 다중 뷰 영상을 이용하여 하나의 대표 단면만 고려할 때 보다 결절의 모양, 위치 등의 정보를 다양하게 고려하고, 특징 선별 기법을 이용하여 결절 타입을 분류하는데 의미 있는 특징값을 선별한다.

도 2는 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법의 흐름도이다.

도 2를 참조하면, 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법은, 복수의 흉부 컴퓨터단층촬영(CT) 영상으로부터 간유리음영 결절 영역을 분할하고 상기 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상을 획득하는 단계(단계 S200), 상기 흉부 컴퓨터단층촬영(CT) 영상으로부터 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하는 단계(단계 S202), 상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하는 단계(단계 S204), 및 상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하는 단계(단계 S206)를 포함한다.

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법에서는 간유리음영 결절 영역의 텍스처 분석 및 분류를 위해 간유리음영 결절 자동분할을 수행하고(단계 S200) 분할된 볼륨 데이터로부터 다양한 정보를 이용하기 위하여 다중 뷰 영상을 생성하며(단계 S202), 생성된 다중 뷰 영상으로부터 결절 영역의 특징벡터를 추출 및 선별하여(단계 S204) 머신 러닝 기반의 분류기를 이용한 결절 분류를 수행한다(단계 S206).

간유리음영 결절 분할(단계 S200) 및 다중 뷰 영상 생성(단계 S202)

단계 S200에서, 간유리음영 결절의 정보를 이용하여 순수 간유리음영 결절과 혼합 간유리음영 결절의 특성을 분석하기 위해 복수의 흉부 CT 영상으로부터 간유리음영 결절 영역을 분할하여 상기 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상을 획득한다.

구체적으로, 단계 S200에서는 간유리음영 결절을 분할하기 위하여 밝기값 히스토그램 모델링과 밝기값 제약 기반의 변형모델을 제안한 Jung의 방법을 이용하여 결절의 자동분할을 수행한다[13]. 첫째, 간유리음영 결절은 간유리음영 성분의 흐린 정도에 따라 밝기값이 다양하기 때문에 각 데이터마다 적합한 임계값을 산정하기 위해 밝기값 히스토그램을 이용한 적응적 임계값을 산정하여 초기 간유리음영 결절 영역을 추출한다. 둘째, 흐릿한 간유리음영 성분과 폐 실질을 잘 분리할 수 있도록 밝기값 제약을 사용해 제안한 변형모델을 이용하여 간유리음영 결절을 최종 분할한다. 도 3은 흉부 CT 영상에서 순수 간유리음영 결절과 혼합 간유리음영 결절을 분할한 결과이다.

단계 S202에서, 분할된 결절 영역의 다양한 평면으로부터 특징을 분석하기 위해 다중 뷰 영상을 생성한다.

구체적으로, 단계 S202에서는 분할된 결절 영역의 정보를 보다 많이 이용하기 위하여 축상면 뷰 영상(axial view image) 외에 다중 뷰 영상을 생성한다. 다중 뷰 영상은 도 4와 같이 왼쪽 상단에서부터 오른쪽 하단으로 xy, zx, yz축을 고려하는 3개의 2D 축상면, 관상면, 시상면 평면과 xyz축을 모두 고려하는 6개의 평면들로 총 9개의 영상으로 이루어져 있다. 간유리음영 결절의 무게중심을 중앙점(center point; c. p.)으로 하는 정육면체를 생성한다. 각 평면을 xy-z(0°)와 같이 두 축으로 이루어진 평면과 다른 한 축 과의 각으로 나타내면 도 4에서 위 3개의 2D 평면들은 축상면 평면을 xy-z(0°), 관상면 평면을 zx-y(0°), 시상면 평면을 yz-x(0°)로 나타낼 수 있고, 아래 6개의 2.5D 평면들은 왼쪽부터 오른쪽으로 순서대로 yz-x(45°), yz-x(135°), zx-y(45°), zx-y(135°), xy-z(45°), xy-z(135°)으로 나타낼 수 있다.

이처럼 간유리음영 결절 영역을 폐 실질 영역으로부터 분할하고, 분할된 간유리음영 결절로부터 다중 뷰 영상을 생성함으로써 간유리음영 결절의 모양이나 위치의 영향을 고려하여 결절의 특성을 분석할 수 있다.

특징벡터 추출 및 선별(단계 S204)

단계 S204에서는, 단계 S202에서 생성된 다중 뷰 영상으로부터 결절 타입을 분류하는 데 의미 있는 특징을 찾아내기 위하여 각 영상 별 특징벡터를 추출 및 선별한다. 각 영상 별 추출되는 특징 벡터는 표 1과 같이 픽셀의 밝기값을 고려하는 8개 히스토그램 특징벡터, 12개 초과임계값(above thresholding value), 5개 백분위 CT 밝기값(percentile CT attenuation value), 픽셀의 밝기값과 위치정보를 고려하는 명암도 동시발생 행렬(gray level co-occurrence matrix; GLCM) 기반의 56개 Haralick 특징벡터 그리고 픽셀의 밝기값과 연속성을 고려하는 명암도 작용길이 행렬(gray level run-length matrix; GLRLM) 기반의 88개 특징벡터로 총 169개이다[14][15]. 텍스처 특징을 추출하기 전에 3071~1024(HU) 밝기값 범위의 영상을 0~255범위의 8비트 값으로 정규화하고, GLCM 특징과 GLRLM 특징 계산 시에는 영상의 밝기값 레벨을 16레벨과 32레벨로 정규화하여 특징을 추출한다.

9개의 다중 뷰 영상으로부터 각각 169개씩 추출된 총 1521개의 특징 중 결절의 타입을 분류하는 데 중요한 특징을 찾아내기 위하여 ReliefF 특징 선별 기법을 이용하여 특징을 선별한다[16]. 특징 선별 기법에는 ReliefF, SFS 등이 있으나 ReliefF 기법이 이진 분류에서 많이 쓰이는 방법 중 하나이고, 다항식 차수가 낮아 시간 효율성이 높으며, 잡음에 예민하게 반응하지 않는 특성이 있기 때문에 본 발명에서는 ReliefF 기법을 적용하여 상위 특징을 선별한다.

ReliefF 특징 선별 기법에서는 분류에 우수한 특징일수록 높은 가중치를 가지기 때문에 높은 가중치를 가지는 특징 순으로 상위 특징을 선별할 수 있다. 도 5는 특징 벡터 히트맵으로 추출된 특징의 수치를 시각화하여 보여주며, 히트맵 오른쪽의 컬러바는 특징의 수치를 0부터 1까지 정규화한 후 대치된 색을 보여준다. 분류하려는 데이터 그룹 간 특징이 다르게 나타날수록 그 특징을 이용했을 때 분류 성능이 우수하므로 분류하려는 데이터 그룹 간 색이 다르게 나타날수록 분류 성능에 우수한 특징이라는 것을 시각적으로 확인할 수 있다.

도 5(a)는 시상면 영상에서 추출된 전체 169개 특징의 히트맵이고, 도 5(b)는 ReliefF 특징 선별 기법을 이용하여 전체 특징으로부터 선별된 의미 있는 상위 10개 특징의 히트맵이다.

X축은 특징 벡터를 나타내므로 도 5(a)에서 시상면 영상에서 추출된 총 169개의 특징과 도 5(b)에서 전체 특징으로부터 ReliefF 특징 선별 기법을 이용해 선별된 총 10개의 특징을 나타내고, Y축은 데이터를 나타내는데 상위 10개 데이터는 순수 간유리음영 결절이고 하위 10개 데이터는 혼합 간유리음영 결절이다. 도 5(b)가 상대적으로 도 5(a)보다 순수/혼합 간유리음영 결절 간 특징 대조가 상대적으로 극명하게 나타나는 것을 알 수 있다. 이는 특징 선별 기법을 이용하면 결절을 분류하는데 의미 있는 특징들을 찾아낼 수 있음을 보여준다.

상기 선별된 10개의 특징 벡터들은, xy-z(135°) 영상에서 최대 밝기값, xy-z(135°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 에너지, zx-y(45°) 영상에서 최대 밝기값, yz-x(45°) 영상에서 최대 밝기값, yz-x(135°) 영상에서 97.5th CT 밝기값, xy-z(135°) 영상에서 초과 임계값 600(HU), yz-x(135°) 영상에서 최대 밝기값, 및 yz-x(0°) 영상에서 16 레벨 135° 방향의 LRLGE(Long Run Low Gray-Level Emphasis)를 포함한다.

SVM 기반의 간유리음영 결절 분류(단계 S206)

단계 S206에서는 간유리음영 결절을 분류하기 위하여 서포트 벡터 머신(support vector machine; SVM) 분류기를 이용한다. SVM은 주어진 특징 벡터를 이용해 학습하며 데이터를 서로 다른 클래스로 나누는 초평면을 만드는 이진 분류기이다[17]. 복수의 훈련 영상을 학습 데이터로 사용하여 분류기를 학습시킨 후, 테스트 데이터를 이용해 분류기의 분류 성능을 확인할 수 있다. 또한, 대상 영상에서 상기 선별된 10개의 특징 벡터를 추출한 후, 추출된 특징 벡터들을 사용하여 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류한다. 커널 함수로는 원형기반함수(radial basis function; RBF)를 사용해 분류 모델의 학습을 수행한다.

한편, 도 6은 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치의 블록도이다.

도 6에 도시된 본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치는, 복수의 흉부 컴퓨터단층촬영(CT) 영상으로부터 간유리음영 결절 영역을 분할하고 상기 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상을 획득하기 위한 분할부(600), 상기 흉부 컴퓨터단층촬영(CT) 영상으로부터 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하기 위한 다중 뷰 영상 생성부(602), 상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하기 위한 특징 추출 및 선별부(604), 및 상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 분류부(606)를 포함한다.

상기 분할부(600)는, 상기 흉부 컴퓨터단층촬영(CT) 영상에서 밝기값 히스토그램을 이용한 적응적 임계값을 산정하여 초기 간유리음영 결절 영역을 추출하고, 밝기값 제약을 사용해 제안한 변형모델을 이용하여 상기 초기 간유리음영 결절 영역을 최종 분할하여 상기 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상을 획득한다.

상기 다중 뷰 영상은, xy축, zx축 및 yz축을 고려하는 3개의 2D 축상면, 관상면, 시상면 평면의 영상 및 xyz축을 모두 고려하는 6개의 평면의 영상을 포함하는 9개의 다중 뷰 영상을 포함하고, 각 평면을 두 축으로 이루어진 평면과 다른 한 축과의 각으로 나타내는 경우, 상기 3개의 2D 평면들은 xy-z(0°), zx-y(0°), yz-x(0°)이고, 상기 6개의 평면은 yz-x(45°), yz-x(135°), zx-y(45°), zx-y(135°), xy-z(45°), xy-z(135°)이다.

상기 추출된 특징 벡터들은, 픽셀의 밝기값을 고려하는 8개의 히스토그램 특징 벡터, 12개 초과임계값(above thresholding value), 5개의 백분위 CT 밝기값(percentile CT attenuation value), 픽셀의 밝기값과 위치 정보를 고려하는 명암도 동시발생 행렬(GLCM; gray level co-occurrence matrix) 기반의 56개 하랄릭(Haralick) 특징 벡터들, 및 픽셀의 밝기값과 연속성을 고려하는 명암도 작용길이 행렬(GLRLM; gray level run-length matrix) 기반의 88개 특징 벡터들을 포함한다.

상기 선별된 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들은, 상기 훈련 영상으로부터 생성된 상기 9개의 다중 뷰 영상으로부터 각각 169개씩 추출된 총 1521개의 특징 벡터들 중 ReliefF 특징 선별 기법을 이용하여 선별된 상위 10개의 특징 벡터들을 포함한다.

상기 선별된 10개의 특징 벡터들은, xy-z(135°) 영상에서 최대 밝기값, xy-z(135°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 에너지, zx-y(45°) 영상에서 최대 밝기값, yz-x(45°) 영상에서 최대 밝기값, yz-x(135°) 영상에서 97.5th CT 밝기값, xy-z(135°) 영상에서 초과 임계값 600(HU), yz-x(135°) 영상에서 최대 밝기값, 및 yz-x(0°) 영상에서 16 레벨 135° 방향의 LRLGE(Long Run Low Gray-Level Emphasis)를 포함하고, 상기 분류부(606)는, 상기 대상 영상에서 추출된 상기 선별된 10개의 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 고형 성분이 작은 폐 간유리음영 결절을 분류하는 동작을 수행한다.

실험 및 결과

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법을 평가하기 위하여 10개의 순수 간유리음영 결절과 10개의 혼합 간유리음영 결절 총 20개의 간유리음영 결절이 나타나는 흉부 CT 영상을 이용해 실험하였고, 혼합 간유리음영 결절의 경우 고형 성분의 직경이 5mm 이하인 결절만 전문의에 의해 선별되었다. 실험 영상으로는 서울대학교병원 영상의학과에서 SIEMENS Sensation 16 CT Scanner와 Philips Brilliance 64 CT Scanner로 촬영한 데이터를 사용하였으며, SIEMENS CT Scanner에서 사용된 커널은 B30f, B50f, B60f이고 Philips CT Scanner에서 사용된 커널은 YC이다. 영상 해상도는 512×512, 화소 크기는 0.50×0.50㎜∼0.76×0.76㎜, 슬라이스 간격은 1㎜이다.

분류기의 학습 및 검증을 위해 학습 데이터집합과 테스트 데이터집합으로 단일잔류(leave-one-out) 교차검증(cross validation) 방법을 통해 SVM 분류 모델의 학습 및 테스트를 수행하고, 분류 정확도 검증을 위하여 수학식 1을 이용해 혼합 간유리음영 결절 기준으로 정확도(accuracy), 민감도(sensitivity), 특이도(specificity), 양성예측도(positive predictive value, PPV) 그리고 음성예측도(negative predictive value, NPV)를 측정한다.

이때, TP는 실제 양성이 실험결과 양성으로 옳게 예측된 샘플의 수, TN은 실제 음성이 실험결과 음성으로 옳게 예측된 샘플의 수, FP는 실제 음성이 실험결과 양성으로 잘못 예측된 샘플의 수 그리고 FN은 실제 양성이 실험결과 음성으로 잘못 예측된 샘플의 수이다.

도 7은 특징 벡터 히트맵으로 도 7(a) 내지 도 7(d)는 순서대로 축상면 뷰 영상에서 추출된 전체 169개 특징의 히트맵, 축상면 뷰 영상에서 추출된 전체 특징들 중 특징 선별 기법을 이용하여 선별한 상위 5개 특징의 히트맵, 다중 뷰 영상에서 추출된 전체 1521개 특징의 히트맵 그리고 다중 뷰 영상에서 추출된 전체 특징들 중 특징 선별 기법을 이용하여 선별한 상위 10개 특징의 히트맵이다.

축상면 뷰 영상에서 추출된 169개 특징을 특징 선별 기법을 이용하여 가중치가 급격히 떨어지지 않는 상위 특징들을 분석한 결과 상위 5개 특징이 선별되었고, 다중 뷰 영상에서 추출된 1521개 특징에 대해서도 동일한 방법으로 상위 10개 특징이 선별되었다.

X축은 특징 벡터를 나타내므로 도 7(a)에서 축상면 영상에서 추출된 총 169개 특징, 도 7(b)에서 축상면 영상에서 추출된 169개 특징 중 선별된 상위 5개 특징, 도 7(c)에서 다중 뷰 영상에서 추출된 총 1521개 특징, 도 7(d)에서 다중 뷰 영상에서 추출된 총 1521개 특징 중 선별된 상위 10개 특징을 나타내고, Y축은 데이터를 나타내며 상위 10개 데이터는 순수 간유리음영 결절, 하위 10개 데이터는 혼합 간유리음영 결절이다. 도 7(a)보다 도 7(b)가 순수/혼합 간유리음영 결절 간 특징 값 대조를 잘 보여주고 있고, 도 7(c)보다 도 7(d)가 순수/혼합 간유리음영 결절 간 특징 값 대조를 잘 보여주고 있으며, 도 7(b)보다 도 7(d)에서 상대적으로 특징 값이 더 대조되어 보인다. 이러한 특징 히트맵을 통해 도 7(a)의 경우보다 도 7(b)가, 도 7(c)의 경우보다 도 7(d)가, 그리고 도 7(b)의 경우보다 도 7(d)가 특징 값 대조가 크므로 순수/혼합 간유리음영 결절 분류에 더 우수한 성능을 보이는 특징 집합이라고 볼 수 있다.

표 2는 선별된 특징을 나타낸다.

축상면 뷰 영상에서의 상위 5개 특징은 에너지, 엔트로피, 분산, 97.5 CT 밝기값, 최대 밝기값이고, 다중 뷰 영상에서의 상위 10개 특징은 xy-z(135°) 영상에서 최대 밝기값, xy-z(135°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 에너지, zx-y(45°) 영상에서 최대 밝기값, yz-x(45°) 영상에서 최대 밝기값, yz-x(135°) 영상에서 97.5th CT 밝기값, xy-z(135°) 영상에서 초과 임계값 600(HU), yz-x(135°) 영상에서 최대 밝기값 그리고 yz-x(0°) 영상에서 16레벨 135° 방향의 LRLGE이다.

축상면 뷰 영상에서 선별된 상위 5개 특징과 다중 뷰 영상에서 선별된 상위 10개 특징에는 히스토그램 특징인 분산, 에너지, 엔트로피, 최대 밝기값, 초과임계값인 600(HU), 백분위 CT 밝기값인 97.5th, 텍스처 특징인 LRLGE가 있다.

분산은 영상 밝기값의 분산된 정도를 나타내므로 고형 성분을 가지는 혼합 간유리음영 결절이 밝기값 범위가 넓게 나타나 상대적으로 순수 간유리음영 결절보다 높은 수치를 보였다.

에너지는 영상에서 동일한 밝기값 빈도가 높을수록 큰 값을 가지므로 영상의 패턴이 복잡한 혼합 간유리음영 결절이 상대적으로 영상 패턴이 단순한 순수 간유리음영 결절보다 낮은 수치를 보였다.

엔트로피는 에너지와 반대로 밝기값 빈도가 다양할수록 큰 값을 가지므로 영상의 패턴이 복잡한 혼합 간유리음영 결절이 상대적으로 순수 간유리음영 결절보다 높은 수치를 보였으며 최대 밝기값은 혼합 간유리음영 결절이 간유리음영 성분보다 밝기값이 높은 고형 성분을 포함하고 있으므로 높은 최대 밝기값 수치를 보였다.

초과임계값 수치인 600(HU)는 밝기값 수치가 600(HU)이상인 픽셀의 수를 의미하는데 혼합 간유리음영 결절의 간유리음영 영역이 순수 간유리음영 결절의 간유리음영 영역보다 상대적으로 밝은 값을 가지는 경향이 있어 높은 수치를 보였다.

백분위 CT 밝기값 수치인 97.5th는 히스토그램에서 밝기값 범위 상위 97.5%에 해당하는 밝기값을 의미하는데 혼합 간유리음영 결절이 밝기값이 높은 고형 성분을 포함하고 있으므로 상대적으로 순수 간유리음영 결절보다 높은 수치를 보였다.

텍스처 특징인 LRLGE는 GLRLM 특징 중 하나로 낮은 밝기값이 연속적으로 나오는 정도를 나타내므로 혼합 간유리음영 결절이 상대적으로 패턴이 단순하고 고형 성분을 포함하지 않아 어두운 밝기값을 가지는 순수 간유리음영 결절보다 낮은 수치를 보였다.

표 3은 각 축상면 뷰 영상에서 추출된 전체 특징 벡터, 선별된 특징 벡터를 이용해 분류한 정확도 수치, 다중 뷰 영상에서 추출된 전체 특징 벡터, 선별된 특징 벡터를 이용해 분류한 정확도 수치이다.

특징 선별 기법을 사용하지 않았을 때 축상면 뷰 영상의 특징만을 사용했을 때보다 다중 뷰 영상에서 추출된 특징을 사용했을 때 10% 더 높은 분류 성능을 보이는 것을 확인할 수 있었고 축상면 뷰 영상에서 특징 선별 기법을 사용하지 않았을 때보다 사용했을 때 25% 더 높은 분류 성능을 보이고 다중 뷰 영상에서 특징 선별 기법을 사용하지 않았을 때보다 사용했을 때 40% 더 높은 분류 성능을 보이는 것을 확인할 수 있었다.

이는 축상면 뷰 영상만을 사용할 때 보다 다중 뷰 영상을 사용할 때 간유리음영 결절의 더 많은 정보를 이용할 수 있고, 특징을 선별하지 않고 모두 사용할 때 보다 특징 선별 기법을 통해 선별된 특징을 사용할 때 간유리음영 결절로부터 추출된 특징 중 순수 간유리음영 결절과 혼합 간유리음영 결절의 특징 간 차이가 큰 특징들이 선별되기 때문에 분류 성능을 높일 수 있다는 것을 보여준다.

도 8(a)는 축상면 뷰 영상에서 선별된 상위 5개 특징을 이용해 분류를 수행했을 때 오분류된 데이터, 도 8(b)는 다중 뷰 영상에서 선별된 상위 10개 특징을 이용해 분류를 수행했을 때 오분류된 데이터의 영상이다. 도 8(a)의 8개 오분류된 데이터 중 대다수가 도 8(b)에서는 옳게 분류되었으나 3개 데이터는 여전히 오분류 되었다. 도 8(b)의 첫 번째 데이터와 두 번째 데이터는 모두 순수 간유리음영 결절이며 세 번째 데이터는 혼합 간유리음영 결절이다. 도 8(b)에서 오분류된 첫 번째 데이터는 타 순수 간유리음영 결절에 비해 상대적으로 밝기값과 엔트로피가 높고, 두 번째 데이터는 타 순수 간유리음영 결절에 비해 결절 중심부의 밝기값과 밀도가 상대적으로 높아 특징 벡터가 혼합 간유리음영 결절과 유사하게 나타나는 것을 알 수 있었고 세 번째 데이터는 타 혼합 간유리음영 결절에 비해 고형 성분의 크기가 상대적으로 작아 특징 벡터가 순수 간유리음영 결절과 유사하게 나타나는 것을 알 수 있었다.

결론

본 발명의 일 실시예에 의한 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법 및 장치에서는 순수 간유리음영 결절과 고형 성분이 5㎜ 미만으로 작은 혼합 간유리음영 결절을 분류하기 위하여 다중 뷰 영상에서 텍스처 특징 추출 및 특징 선별 기법을 통해 SVM 분류기를 학습시키고 분류 성능을 평가하였다. 분류 정확도는 다중 뷰 영상으로부터 추출된 특징을 선별해 상위 10개 특징으로 분류하였을 때 85%로 가장 높은 분류 성능을 보였다. 결과적으로 텍스처를 분석하여 간유리음영 결절을 분류할 때, 하나의 2D 대표단면만 사용했을 때 보다 다중 뷰 영상을 사용했을 때 상대적으로 높은 분류 성능을 보이고, 모든 특징을 이용했을 때 보다 특징 선별 기법을 통해 상위 특징을 이용했을 때 상대적으로 높은 분류 성능을 보이는 것을 확인할 수 있었다.

이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.

600 : 분할부 602 : 다중 뷰 영상 생성부
604 : 특징 추출 및 선별부 606 : 분류부

Claims

(a) 다중 뷰 영상 생성부가, 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하는 단계;
(b) 특징 추출 및 선별부가, 상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하는 단계; 및
(c) 분류부가, 상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하는 단계를 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법.
청구항 1에 있어서,
상기 다중 뷰 영상은,
xy축, zx축 및 yz축을 고려하는 3개의 2D 축상면, 관상면, 시상면 평면의 영상 및 xyz축을 모두 고려하는 6개의 평면의 영상을 포함하는 9개의 다중 뷰 영상을 포함하고,
각 평면을 두 축으로 이루어진 평면과 다른 한 축과의 각으로 나타내는 경우, 상기 3개의 2D 평면들은 xy-z(0°), zx-y(0°), yz-x(0°)이고, 상기 6개의 평면은 yz-x(45°), yz-x(135°), zx-y(45°), zx-y(135°), xy-z(45°), xy-z(135°)인, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법.
청구항 2에 있어서,
상기 단계 (b)에서 추출된 특징 벡터들은,
픽셀의 밝기값을 고려하는 8개의 히스토그램 특징 벡터, 12개 초과임계값(above thresholding value), 5개의 백분위 CT 밝기값(percentile CT attenuation value), 픽셀의 밝기값과 위치 정보를 고려하는 명암도 동시발생 행렬(GLCM; gray level co-occurrence matrix) 기반의 56개 하랄릭(Haralick) 특징 벡터들, 및 픽셀의 밝기값과 연속성을 고려하는 명암도 작용길이 행렬(GLRLM; gray level run-length matrix) 기반의 88개 특징 벡터들을 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법.
청구항 3에 있어서,
상기 선별된 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들은, 상기 훈련 영상으로부터 생성된 상기 9개의 다중 뷰 영상으로부터 각각 169개씩 추출된 총 1521개의 특징 벡터들 중 ReliefF 특징 선별 기법을 이용하여 선별된 상위 10개의 특징 벡터들을 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법.
청구항 4에 있어서,
상기 선별된 10개의 특징 벡터들은,
xy-z(135°) 영상에서 최대 밝기값, xy-z(135°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 에너지, zx-y(45°) 영상에서 최대 밝기값, yz-x(45°) 영상에서 최대 밝기값, yz-x(135°) 영상에서 97.5th CT 밝기값, xy-z(135°) 영상에서 초과 임계값 600(HU), yz-x(135°) 영상에서 최대 밝기값, 및 yz-x(0°) 영상에서 16 레벨 135° 방향의 LRLGE(Long Run Low Gray-Level Emphasis)를 포함하고,
상기 단계 (c)는,
상기 분류부가, 상기 대상 영상에서 추출된 상기 선별된 10개의 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하는 단계를 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법.
청구항 1에 있어서,
상기 단계 (a) 이전에,
(a-1) 분할부가, 흉부 컴퓨터단층촬영(CT) 영상에서 밝기값 히스토그램을 이용한 적응적 임계값을 산정하여 초기 간유리음영 결절 영역을 추출하는 단계; 및
(a-2) 상기 분할부가, 밝기값 제약을 사용해 제안한 변형모델을 이용하여 상기 초기 간유리음영 결절 영역을 최종 분할하여 상기 분할된 간유리음영 결절 영역을 포함하는 훈련 영상 및 대상 영상을 획득하는 단계를 더 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 방법.
분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상으로부터 다중 뷰 영상을 생성하기 위한 다중 뷰 영상 생성부;
상기 생성된 다중 뷰 영상으로부터 간유리음영 결절 영역의 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들 중 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들을 선별하기 위한 특징 추출 및 선별부; 및
상기 선별된 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 상기 대상 영상에서 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 분류부를 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치.
청구항 7에 있어서,
상기 다중 뷰 영상은,
xy축, zx축 및 yz축을 고려하는 3개의 2D 축상면, 관상면, 시상면 평면의 영상 및 xyz축을 모두 고려하는 6개의 평면의 영상을 포함하는 9개의 다중 뷰 영상을 포함하고,
각 평면을 두 축으로 이루어진 평면과 다른 한 축과의 각으로 나타내는 경우, 상기 3개의 2D 평면들은 xy-z(0°), zx-y(0°), yz-x(0°)이고, 상기 6개의 평면은 yz-x(45°), yz-x(135°), zx-y(45°), zx-y(135°), xy-z(45°), xy-z(135°)인, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치.
청구항 8에 있어서,
상기 추출된 특징 벡터들은,
픽셀의 밝기값을 고려하는 8개의 히스토그램 특징 벡터, 12개 초과임계값(above thresholding value), 5개의 백분위 CT 밝기값(percentile CT attenuation value), 픽셀의 밝기값과 위치 정보를 고려하는 명암도 동시발생 행렬(GLCM; gray level co-occurrence matrix) 기반의 56개 하랄릭(Haralick) 특징 벡터들, 및 픽셀의 밝기값과 연속성을 고려하는 명암도 작용길이 행렬(GLRLM; gray level run-length matrix) 기반의 88개 특징 벡터들을 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치.
청구항 9에 있어서,
상기 선별된 고형 성분이 작은 폐 간유리음영 결절을 분류하기 위한 특징 벡터들은, 상기 훈련 영상으로부터 생성된 상기 9개의 다중 뷰 영상으로부터 각각 169개씩 추출된 총 1521개의 특징 벡터들 중 ReliefF 특징 선별 기법을 이용하여 선별된 상위 10개의 특징 벡터들을 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치.
청구항 10에 있어서,
상기 선별된 10개의 특징 벡터들은,
xy-z(135°) 영상에서 최대 밝기값, xy-z(135°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 97.5th CT 밝기값, yz-x(45°) 영상에서 에너지, zx-y(45°) 영상에서 최대 밝기값, yz-x(45°) 영상에서 최대 밝기값, yz-x(135°) 영상에서 97.5th CT 밝기값, xy-z(135°) 영상에서 초과 임계값 600(HU), yz-x(135°) 영상에서 최대 밝기값, 및 yz-x(0°) 영상에서 16 레벨 135° 방향의 LRLGE(Long Run Low Gray-Level Emphasis)를 포함하고,
상기 분류부는, 상기 대상 영상에서 추출된 상기 선별된 10개의 특징 벡터들을 이용한 머신 러닝 기반의 분류기에 기반하여 고형 성분이 작은 폐 간유리음영 결절을 분류하는 동작을 수행하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치.
청구항 7에 있어서,
흉부 컴퓨터단층촬영(CT) 영상에서 밝기값 히스토그램을 이용한 적응적 임계값을 산정하여 초기 간유리음영 결절 영역을 추출하고, 밝기값 제약을 사용해 제안한 변형모델을 이용하여 상기 초기 간유리음영 결절 영역을 최종 분할하여 상기 분할된 간유리음영 결절 영역을 포함하는 복수의 훈련 영상 및 대상 영상을 획득하기 위한 분할부를 더 포함하는, 흉부 CT 영상에서 다중 뷰 영상과 텍스처 분석을 통한 고형 성분이 작은 폐 간유리음영 결절 분류 장치.