KR102332032B1

KR102332032B1 - 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법

Info

Publication number: KR102332032B1
Application number: KR1020190100357A
Authority: KR
Inventors: 홍헬렌; 김현진; 나군호
Original assignee: 서울여자대학교 산학협력단; 연세대학교 산학협력단
Priority date: 2019-08-16
Filing date: 2019-08-16
Publication date: 2021-11-29
Also published as: KR20210020619A

Abstract

복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법이 제공된다. 상기 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법은, 복부 장기가 포함된 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여. 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)이 분할된 복수의 예측맵(prediction map)을 생성하는 단계; 상기 생성된 복수의 예측맵을 다수 투표(majority voting)를 이용하여 상기 관심 영역이 분할된 2차원 분할 결과 데이터를 생성하는 단계; 상기 2차원 분할 결과 데이터에서 상기 관심 영역을 crop하고 상기 크롭한 2차원 분할 결과 데이터를 리사이징(resizing)함으로써 3차원 이미지를 생성하는 단계; 및 상기 3차원 이미지를 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역이 분할된 3차원 분할 결과 데이터를 획득하는 단계;를 포함할 수 있다.

Description

복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법{ABDOMINAL ORGAN STATUS DIAGNOSIS BASED ON ABNOMINAL ORGAN VOLUME CHANGE ANALYSIS USING ABNOMINAL ORGAN AUTOMATIC SEGMENTATION}

본 발명은 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 측정 방법에 관한 것으로, 보다 자세하게는 복부 장기를 분할한 결과를 모니터링하여 복부 장기의 상태를 판단하는 방법 및 시스템에 관한 것이다.

최근 신장암 조기진단율이 상승함으로 인해 발견되는 종양의 크기가 작아지고, 암환자의 생존율뿐만 아니라 기능적 삶의 질도 중요해지는 가운데 신장조직을 최대한 보존하면서 종양을 제거하는 부분신장절제술(RPN: renal partial nephrectomy)이 치료의 표준으로 여겨지고 있다.

그러나 조영된 복부 CT 영상에서 신실질 자동 분할은 영상 특성상 다음과 같은 문제점을 갖는다. 도 1 (a) 및 (b)와 같이 신장은 피질(cortex), 수질(medulla)의 밝기값이 유사하여 구분하기 어렵고, 우측 신장은 주변 기관인 간(liver)과 인접해 있고, 좌측 신장은 비장(spleen)과 인접해 있을 뿐 아니라 이들 기관은 신장과 유사한 밝기값인 50-160HU(Hounsfield Unit)을 갖는다. 또한, 부분신장절제술(Renal Parenchyma Segmentation)이 시행된 신장의 경우 자체적으로 신기능을 높이기 위해 신장의 대측성 비대(사구체 증가)가 발생하므로 도 (c)와 같이 부피가 변화한다.

한편, 기존에는 부분신장절제술(Renal Parenchyma Segmentation)이 시행된 신장의 예후를 판단하는 방법으로 6개월 단위로 4년간 신장의 eGFR 체크하여 eGFR의 수치변화를 모니터링하여 eGFR의 수치가 증가하는 경우 신기능이 향상된 것으로 보았으며, 이는 단순히 신기능 향상을 예측하는 정도로 활용할 뿐 신기능 향상을 정확히 단정하기에는 한계가 있었다.

D. Kim, Y. Jang, J. Lee, H. Hong, K. Kim, T. Shin, D. Jung, Y. Choi, and K. Rha, "Two-year analysis for predicting renal function and contralateral hypertrophy after robot-assisted partial nephrectomy: A three-dimensional segmentation technology study," International Journal of Urology, vol. 22, pp. 1105-1111, Aug. 2015 O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," MICCAI 2015, vol. 9351, pp. 234-241, Nov. 2015.

Φ. iηek, A. Abdulkadir, S.S. Lienkamp, T. Brox, and O. Ronneberger, "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation," MICCAI 2016, vol. 9901, pp. 424-432, Oct. 2016

본 발명이 해결하고자 하는 과제는 다단면도의 해부 정보를 이용하여 관심 영역에 해당하는 복부 장기와 밝기값이 유사하게 나타나는 주변기관의 경계부위에서 정확하게 분할하는 복부 장기 자동분할 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 신기능을 담당하는 신실질(renal parenchyma)인 피질(renal cortex)과 수질(renal medulla)을 정확히 분할함으로써 부분신장절제술 후 수술 부위의 신실질 및 반대측 신실질의 부피 변화 관찰을 통한 신기능 분석을 하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법은 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)이 분할된 복수의 예측맵(prediction map)을 생성하는 단계; 상기 생성된 복수의 예측맵을 다수 투표(majority voting)를 이용하여 상기 관심 영역이 분할된 2차원 분할 결과 데이터를 생성하는 단계; 상기 2차원 분할 결과 데이터에서 상기 관심 영역을 crop하고 상기 크롭한 2차원 분할 결과 데이터를 리사이징(resizing)함으로써 3차원 이미지를 생성하는 단계; 및 상기 3차원 이미지를 3차원 딥 뉴럴 네트워크에 입력하여 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역이 분할된 3차원 분할 결과 데이터를 획득하는 단계;를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

본 발명은 다단면도의 해부 정보를 이용하여 관심 영역에 해당하는 복부 장기와 밝기값이 유사하게 나타나는 주변기관의 경계부위에서 정확하게 분할할 수 있다.

또한, 본 발명은 부분신장절제술 후 수술 부위의 신실질 및 반대측 신실질의 부피 변화 관찰을 통한 신기능 분석할 수 있고, 장기간 추적 관찰가능하게 할 수 있다.

또한, 본 발명은 신기능 예측뿐만 아니라 반대측 신장의 보상성 비대(contralateral hypertrophy)를 예측하여 부분신장절제술의 치료 근거를 마련하고 치료 대상자를 선별할 수 있게 한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 신장 분할의 문제점을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 복부장기 상태 판단 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 복부장기 상태 판단 방법을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 2D U-Net 및 3D U-Net 을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 복부장기 상태 판단 방법을 설명하기 위한 테이블이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

의미적 영상 분할(sementic segmentation)은 일반적인 영상 분할과 같이 단순히 어떤 특징이나 계산된 속성의 관점에서 유사한 영역으로 나누는데 그치는 것이 아니라, 의미적으로 같은 부분까지 나누고 그 부분이 어떠한 범주에 속하는지 판별하는 기술을 말한다.

즉, 영상의 모든 픽셀에 대해서 미리 정의된 범주안에서 어떤 범주에 속하는지 분류하는 기술에 상응할 수 있고, 픽셀단위 분류(pixelwise classification)에 상응할 수도 있다.

의미적 영상 분할하는 방법은 크게 2가지 분류로 나뉜다. 첫째는 입력된 영상에서 수제 특징(Hand-craft features)를 뽑아서 수퍼 픽셀(Super-pixel) 단위로 분할한 뒤, 의미기반으로 영상을 분할하는 기법이다. 보다 상세하게는, 주어진 영상 데이터를 분석하여 단서가 될 수 있는 특징(Feature)들을 사용자가 직접 설계하여 추출할 수 있다. 이후 추출된 특징들의 패턴을 근거로 수퍼 픽셀 단위로 세그맨테이션을 수행할 수 있다. 이 과정은 정확도와 속도의 향상을 이끌어 낼 수 있다. 이후, 각각의 수퍼 픽셀 단위로 서포트 벡터 머신 (Support Vector Machine)을 이용하여 의미적 영상 분할을 진행하여 해당하는 픽셀 혹은 수퍼 픽셀이 어떤 분류에 속하는 지 판단할 수 있다. 이러한 방법은 시스템에 입력되는 영상의 종류가 달라지면 그에 맞는 수제 특징을 매번 다시 설계해야 하기 때문에 시스템 활용 범위에 제한이 있다는 단점이 있으며, 수제 특징 추출은 처리 속도가 느리다는 단점도 있다.

둘째는 딥 러닝(Deep Learning)을 이용하여 특징(Features)를 추출한 뒤, 이것을 기반으로 픽셀(pixel) 단위로 분류(Classification)하는 기법이다. 딥 러닝(Deep Learning) 기반 분류의 성능이 우수함이 입증됨에 따라 의미 기반 영상 분할에서도 콘볼루션 인공신경망(Convolutional Neutral Network, CNN) 구조를 이용한 접근법이 제시되고 있다. 이러한 CNN 구조를 변경한 FCN(Fully Convolutional Networks)는 영상 분할(Image Segmentation)에도 뛰어난 성능을 보인다. 수퍼픽셀 단위의 분할을 진행한 후, 학습 데이터셋을 이용하여 CNN 필터를 학습하고 영상을 분할한 후 CRF (Conditional Random Field)와 같은 후 처리를 거칠 수 있다.

이하에서, 본 발명에서 설명하는 분할은 의미적 영상 분할을 의미할 수 있고, 딥 러닝에 기반한 의미적 영상 분할 방법이 적용될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 복부장기 상태 판단 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 복부장기 상태 판단 방법을 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 2D U-Net 및 3D U-Net 을 설명하기 위한 예시도이다. 도 5는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다. 도 7은 본 발명의 일 실시 예에 따른 복부장기 상태 판단 방법을 설명하기 위한 테이블이다.

본 발명의 의미론적 분할은 도 3에 도시된 바와 같이 coarse segment(1)와 fine segment(2)로 이루어질 수 있다.

본 발명은 복부 장기 자동분할 시스템으로 구현될 수 있고, 영상 편집부, 영상 입력부, 2차원 딥러닝부, 다중 투표 연산부, 3차원 이미지 생성부, 3차원 딥러닝부 및 복부 장기 기능 판단부를 포함할 수 있다.

도 2 내지 도 4를 참조하면, 도면에는 도시되지 않았지만, 동작 21 이전에 영상 편집부는 학습 데이터 세트(10, 의료 영상)에 강도 평준화(30, Intensity normalization) 및 공간 평준화(30, spacing normalization)를 수행할 수 있다. 강도 평준화(Intensity normalization)는 빛의 강도가 가장 약한 곳과 가장 강한 곳의 가우시안 가중치 평균값(Gaussian weighted average)을 사용하여 이러한 노이즈를 제거할 수 있고, 복수의 슬라이스의 공간을 조정할 수 있다.

일 실시 예에서, 동작 21에서, 영상 입력부는 복부 장기가 포함된 의료 영상(100)의 복수의 축상(Axial) 이미지(110), 복수의 관상(Coronal) 이미지(120) 및 복수의 시상(Sagittal) 이미지(130)를 2차원 딥 뉴럴 네트워크(200)에 입력할 수 있다. 예를 들어, 2차원 딥 뉴럴 네트워크(200)는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함할 수 있다. 예를 들어, 의료 영상은 2차원 의료 영상(예: x-ray 이미지) 및/또는 3차원 의료 영상(예: CT 이미지, MRI, PET 이미지)을 포함하며, 의료 영상이라면 특별한 제한은 없다. "영상"은 전산화 단층 촬영(CT; computed tomography), 자기 공명 영상(MRI; magnetic resonance imaging), 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 피검체(subject)의 의료 영상일 수 있다. 의료 영상(100)은 복셀 데이터로서, 복수의 슬라이스 즉, 복수 개의 단위 이미지들로 이루어진다.

일 실시 예에서, 동작 22에서, 2차원 딥러닝부는 2차원 딥 뉴럴 네트워크(200)를 통해 관심 영역(region of interest)의 복수의 예측맵(310, 320, 330, prediction map)을 생성할 수 있다. 예를 들어, 관심 영역은 복부 장기 중 어느 하나의 장기(예: 신장)가 배치된 영역일 수 있다. 여기서 복수의 예측맵(310, 320, 330)은 관심 영역에 색상이 부가될 수 있다.

일 실시 예에서, 도 4에 도시된 2D 및 3D U-net은 “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016. 에서 제안하는 콘볼루션 네트워크 구조에 상응할 수 있다. 예를 들어, 3D U-Net은 왼쪽에 도시된 수축 경로(40, contracting path) 및 오른쪽에 도시된 팽창 경로(50, expansive path)를 포함할 수 있다. 수축 경로는 합성곱 신경망의 전형적인 구조를 따르고 있는바, 이는 2번의 3x3 합성곱(unpadded convolutions; 패딩되지 않은 합성곱)의 반복적 적용을 포함하는데, 그 각각의 합성곱에는 보정 선형 유닛(rectified linear unit; ReLU) 및 다운샘플링(downsampling)을 위한 스트라이드(stride) 2의 2x2 최대 풀링 연산이 뒤따른다. 각각의 다운샘플링 단계에 있어서 특징 채널(feature channel)들의 개수는 2배가 취해진다. 팽창 경로에 있어서의 모든 단계는 특징 맵(feature map)의 업샘플링(upsampling) 및 이에 뒤따르는 특징 채널들의 개수를 절반으로 줄이는 2x2 합성곱(“up-convolution”), 이에 대응되도록 절단된(cropped) 수축 경로로부터의 특징 맵과의 결합(concatenation), 및 2번의 3x3 합성곱으로 구성되는데, 2번의 3x3 합성곱 각각에는 ReLU가 뒤따른다. 전술한 절단은 모든 합성곱에 있어서의 경계선 픽셀들(border pixels)의 손실 때문에 필수적이다. 최종 층(final layer)에서 1x1 합성곱이 각각의 64 차원(64-component) 특징 벡터를 원하는 개수의 클래스(class)에 맵핑하는 데에 이용된다. 이 예시적 신경망에서는 모두 22개의 합성곱 층들이 포함되었는데, 이개수는 임의적인 것이다. 출력으로 나오는 분할 맵(segmentation map)이 깔끔하게 이어지도록, 모든 2x2 최대 풀링 연산(max-pooling operation)이 짝수의 x 크기 및 y 크기를 가지는 층에 적용되도록 입력 타일의 크기(input tile size)를 선택하는 것이 중요하다는 것을 통상의 기술자는 이해할 수 있을 것이다.

일 실시 예에서, 복수의 예측맵(310, 320, 330)의 생성은 컨볼루션 신경망(Convolution Neural Network, CNN)을 사용할 수 있으나, 이에 한정되지 않으며 심층 신경망(Deep Neural Network, DNN), 순환 신경망(Recurrent Neural Network, RNN)등 영상처리장치의 사용 목적에 따라 달라질 수 있다.

일 실시 예에서, 동작 23에서, 다중 투표 연산부는 생성된 복수의 예측맵(310, 320, 330) 내 확률값에 대해 다수 투표(400, majority voting)를 이용하여 관심 영역이 분할된 2차원 분할 결과 데이터(500)를 생성할 수 있다. 예를 들어, 2차원 분할 결과 데이터(500)는 의료 영상(100)에서 영역을 구분하고 물체를 검출하는데 의미 있는 정보를 포함할 수 있으며 예컨대, 의료 영상(100)의 광도, 색채, 윤곽 등을 포함할 수 있다.

예를 들어, 2차원 분할 결과 데이터(500)는 다수 투표(400)가 구현된 하기 수학식 1에 의하여 연산되고,

[수학식 1]

S_mv는 다수 투표에 따른 2차원 분할 결과 데이터(500)이고, S_A는 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵(310)이고, S_B는 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 (320)이고, S_C는 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵 (330)이다.

따라서, 2차원 분할 결과 데이터(500)는 3 종류의 예측맵(310, 320, 330)의 확률의 합이 2 이상인 예측맵들만을 결합함으로써 생성될 수 있다.

일 실시 예에서, 동작 24에서, 영상 편집부는 2차원 분할 결과 데이터(500)에서 관심 영역을 crop(600)하고 3차원 이미지 생성부는 크롭한 2차원 분할 결과 데이터를 리사이징(600, resizing)함으로써 3차원 이미지(700)를 생성할 수 있다. 여기서 3차원 이미지(700)는 관심 영역을 지역화(localization)한 큐빅 형태의 3D 이미지일 수 있다. 즉 3차원 이미지(700)는 3차원 딥 뉴럴 네트워크(800)의 연산 과정을 줄이기 위해 관심 영역의 일부가 crop되고 리사이징될 수 있다. 예를 들어, 밝기값 정보를 이용하여 신장과 주변 기관들이 갖는 밝기값 정보와 전혀 다른 경계 부분을 crop할 수 있다.

일 실시 예에서, 동작 25에서, 영상 입력부는 3차원 이미지(700)를 3차원 딥 뉴럴 네트워크(800)에 입력할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크(800)는 3D U-net을 포함할 수 있다. 3D U-net은 앞서 설명한 도 4의 내용과 중복되므로 생략한다.

일 실시 예에서, 동작 26에서, 3차원 딥러닝부는 3차원 딥 뉴럴 네트워크(800)를 통해 관심 영역이 분할된 3차원 분할 결과 데이터(40)를 획득할 수 있다. 여기서 3차원 분할 결과 데이터(40)는 관심 영역에 해당하는 특정 장기가 분할된 영상일 수 있다.

일 실시 예에서, 동작 27에서, 영상 편집부는 3차원 분할 결과 데이터(40)를 decrop(900)함으로써 관심 영역이 분할된 최종 레이블데이터(50)를 획득할 수 있다.

일 실시 예에서, 동작 28에서, 복부 장기 기능 판단부는 기 저장된 복부장기의 볼륨(volume)과 최종 레이블 데이터(50)에서 획득한 관심 영역의 볼륨을 비교함으로써 비교 결과에 기반하여 복부장기의 기능 향상 여부를 판단할 수 있다.

예를 들어, 부분신장절제술(Renal Parenchyma Segmentation)이 시행된 신장의 경우 자체적으로 신기능을 높이기 위해 신장의 대측성 비대(사구체 증가)가 발생하게 되므로 동작 28을 주기적으로 수행하여 신장의 볼륨이 지속적으로 증가하는 것을 확인할 경우, 신장의 상태가 개선되고 있다고 판단할 수 있다. 따라서, 본 발명은 복부 장기 자동 분할을 통해 손쉽게 장기의 볼륨 변화 및 장기의 상태를 확인할 수 있다.

또한, 본 발명은 2차원 딥 뉴럴 네트워크를 통해 관심영역이 배치된 복부 장기 영역의 전체 맥락 정보를 고려하고, 3차원 의료 영상을 통해 관심 영역이 위치한 지역 맥락 정보를 파악함으로써 복부 장기 분할의 속도와 정확도를 높일 수 있다.

한편, 본 발명의 효과를 확인하기 위해 사용된 데이터 세트는 수술 후 6개월부터 1년 단위로 4년까지 추척한 11,837의 슬라이스 이미지이고, 이미지의 픽셀 간격과 슬라이스 두께는 0.67 내지 0.98 mm 및 2.5 내지 3.27 mm일 수 있다.

도 5에서, (a)는 원본 이미지(Original image), (b)는 축상 단면을 고려하여 2차원 분할 네트워크를 이용한 분할 결과(Renal parenchyma segmentation using 2D segmentation network considering axial plane), (c)는 2.5D 분할 네트워크를 이용한 분할 결과(Renal parenchyma segmentation using 2.5D segmentation network considering axial, coronal, and sagittal planes), (d)는 본 발명의 분할 방법이 적용된 분할 결과(Proposed renal parenchyma segmentation combining 2D and 3D segmentation networks), (e)는 각각의 분할 결과가 적용된 컬러맵(3D color map showing the error distance difference between the proposed segmentation network result and ground-truth)이다. 도 5에서 확인한 바와 같이 본 발명의 분할 방법이 적용된 (d)가 각각의 데이터 1 내지 4에서 모두 신장을 가장 명확하게 분할한다.

도 6에서 정확성 평가를 위해 방법별 분할 결과를 다이스 유사계수(Dice similarity coefficient, DSC), 민감도(Sensitivity, Sens), 양성 예측치(PPV)를 수학식 2를 통해 계산하여 비교하였다.

[수학식2]

이때, TP(True Positive)는 수동 분할한 장기 영역에서 자동 분할된 영역의 화소 개수, TN(True Negative)는 수동 분할한 장기 영역이 아닌 영역에서 자동 분할되지 않은 영역의 화소 개수, FP(False Positive)는 수동 분할한 장기 영역이 아닌 곳에서 자동 분할된 영역의 화소 개수, FN(False Negative)는 수동 분할한 장기 영역에서 자동 분할되지 않은 영역의 화소 개수를 의미한다.

예를 들어, 방법 A는 2D network with axial plane이고, 방법 B는 2D network with coronal plane이고, 방법 C는 2D network with sagittal plane이고, 방법 D는 2.5D network이고, 방법 E는 본 발명의 분할 방법인 2.5D network + 3D network이다.

본 발명의 방법 E의 DSC는 각 축 방향을 고려한 2D 세그멘테이션 네트워크의 분할 방법보다 19.27 %, 6.61 %, 36.71 %, 2.32 %, 25.95 %, 4.30 %, 35.88 % 및 0.58 % 각각 높은 98.00 % 및 97.17 %이 높다. 이외에도 방법 E는 민감도와 양성 예측치에서도 다른 방법들보다 개선된 수치를 보이고 있다. 이는 본 발명의 방법이 인접한 장기로의 누출을 줄이고 3D U-net으로 공간 정보를 고려하기 때문에 다른 방법들보다 세부 정보를 얻기 때문이다.

한편, 도 7에서 부분신장절제술이 시행된 신장의 대측성 비대를 추척한 결과 1년부터 4년까지 꾸준히 증가함과 동시에 eFGR 수치도 꾸준히 개선되는 것을 확인할 수 있었다. 따라서, eFGR 수치를 측정하지 않아도 신장의 부피 변화량을 측정함으로서 신장의 개선 정도를 판단할 수 있다.

본 발명의 일 실시예에 따른 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법은, 복부 장기가 포함된 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여. 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)이 분할된 복수의 예측맵(prediction map)을 생성하는 단계; 상기 생성된 복수의 예측맵을 다수 투표(majority voting)를 이용하여 상기 관심 영역이 분할된 2차원 분할 결과 데이터를 생성하는 단계; 상기 2차원 분할 결과 데이터에서 상기 관심 영역을 crop하고 상기 crop한 2차원 분할 결과 데이터를 리사이징(resizing)함으로써 3차원 이미지를 생성하는 단계; 및 상기 3차원 이미지를 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역이 분할된 3차원 분할 결과 데이터를 획득하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 3차원 분할 결과 데이터를 decrop함으로써 상기 관심 영역이 분할된 최종 레이블 데이터를 획득하는 단계를 더 포함할 수 있다.

다양한 실시 예에 따르면, 기 저장된 복부장기의 볼륨(volume)과 상기 최종 레이블 데이터에서 획득한 관심 영역의 볼륨을 비교하는 단계; 및 상기 비교 결과에 기반하여 상기 복부장기의 기능 향상 여부를 판단하는 단계를 더 포함할 수 있다.

다양한 실시 예에 따르면, 상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역일 수 있다.

다양한 실시 예에 따르면, 상기 2차원 분할 결과 데이터는 상기 다수 투표가 구현된 하기 수학식 1에 의하여 연산되고,

[수학식 1]

Smv는 다수 투표에 따른 2차원 분할 결과 데이터이고, SA는 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵이고, SB는 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵이고, SC는 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵일 수 있다.

다양한 실시 예에 따르면, 상기 2차원 딥 뉴럴 네트워크는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 3차원 딥 뉴럴 네트워크는 3D U-net을 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 의료영상
200 : 2차원 딥 뉴럴 네트워크
310,320,330: 예측맵
400: 다수 투표
500: 2차원 분할 결과 데이터
700: 3차원 이미지
800: 3차원 딥 뉴럴 네트워크

Claims

복부 장기 자동분할 시스템에 의해 수행되는 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법에 있어서,
의료 영상에 대해 강도 평준화(Intensity normalization) 및 공간 평준화(spacing normalization)를 수행하는 단계-상기 강도 평준화(Intensity normalization)는 빛의 강도가 가장 약한 곳과 가장 강한 곳의 가우시안 가중치 평균값(Gaussian weighted average)을 사용하여 노이즈를 제거하고, 복수의 슬라이스의 공간을 조정하는 것인-;
복부 장기가 포함된 상기 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여, 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)이 분할된 복수의 예측맵(prediction map)을 생성하는 단계;
상기 생성된 복수의 예측맵을 다수 투표(majority voting)를 이용하여 상기 관심 영역이 분할된 2차원 분할 결과 데이터를 생성하는 단계-상기 2차원 분할 결과 데이터는 상기 의료 영상의 광도, 색채, 윤곽 중 적어도 하나의 정보를 포함함-;
상기 2차원 분할 결과 데이터에서 상기 관심 영역을 크롭(crop)하고 상기 크롭(crop)한 2차원 분할 결과 데이터를 리사이징(resizing)함으로써 3차원 이미지를 생성하는 단계-상기 3차원 이미지는, 관심 영역을 지역화(localization)한 큐빅 형태의 3D 이미지인-;
상기 3차원 이미지를 3차원 딥 뉴럴 네트워크에 입력하여, 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역이 분할된 3차원 분할 결과 데이터를 획득하는 단계;
상기 3차원 분할 결과 데이터를 디크롭(decrop)함으로써 상기 관심 영역이 분할된 최종 레이블 데이터를 획득하는 단계;
기 저장된 복부장기의 볼륨(volume)과 상기 최종 레이블 데이터에서 획득한 관심 영역의 볼륨을 비교하는 단계; 및
상기 비교 결과에 기반하여 상기 복부장기의 기능 향상 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법.
삭제
삭제
제1 항에 있어서,
상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역인 것을 특징으로 하는 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법.
제1 항에 있어서,
상기 2차원 분할 결과 데이터는 상기 다수 투표가 구현된 하기 수학식 1에 의하여 연산되고,
[수학식 1]

Smv는 다수 투표에 따른 2차원 분할 결과 데이터이고, SA는 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵이고, SC는 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵이고, SS는 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵인 것을 특징으로 하는 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법.
제1 항에 있어서,
상기 2차원 딥 뉴럴 네트워크는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함하는 것을 특징으로 하는 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법.
제1 항에 있어서,
상기 3차원 딥 뉴럴 네트워크는 3D U-net을 포함하는 것을 특징으로 하는 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법.
하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 실행시키기 위하여 매체에 저장된, 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 프로그램.