KR102267219B1 - 혈관 세그멘테이션 방법 - Google Patents

Abstract

본 발명은 혈관 세스멘테이션 방법에 관한 것이다. 보다 상세하게는 복수의 2차원 혈관 단층 영상을 딥런닝 방법에 의해 처리하여 혈관 영역을 세그멘테이션 하는 방법에 관한 것이다.
본 발명에 따른 혈관 영역 세그멘테이션 방법이 제공된다. 본 발명에 따른 세그멘테이션 방법은, 복수의 2차원 단층 영상을 입력받는 단계와, 입력받은 복수의 2차원 단층 영상을 전처리하여 혈관이 위치하는 영역을 표시하여 학습 이미지 데이타를 생성하는 단계와, 생성된 학습 이미지 데이타로 학습하여 혈관 특징 이미지 예측 모델을 생성하는 단계와, 복수의 2차원 단층 이미지를 상기 생성된 혈관 특징 이미지 예측 모델에 입력하여 혈관 특징 표시 복수의 2차원 단층 이미지를 출력 받는 단계를 포함한다.

Description

혈관 세그멘테이션 방법{Method for Blood Vessel Segmentation}

본 발명은 혈관 세그멘테이션 방법에 관한 것이다. 보다 상세하게는 복수의 2차원 혈관 단층 영상을 딥런닝 방법에 의해 처리하여 혈관 영역을 세그멘테이션 하는 방법에 관한 것이다.

의료 영상 처리 장치는 비침습적으로 인체의 내부 구조를 보여줄 수 있는 영상을 취득하는 장치이다. 의료 영상 처리 장치에서 출력되는 의료 영상을 분석하여 환자의 질병 진단에 이용할 수 있다.

의료 영상을 촬영 및 처리하기 위한 장치로는 자기공명영상 (MRI, Magnetic Resonance Imaging), 컴퓨터 단층촬영(CT, Computed Tomography), 단일광자 단층촬영(SPECT, Single Photon Emission Computed Tomography), 양전자 단층촬영(PET, Positron Emission Tomography) 및 초음파(Ultrasound) 등이 있다.

뇌혈관 질환의 진단에는 CT와 MRI가 많이 이용되고 있는데, 뇌혈관 질환은 발생 원인이 다양하고 환자에 따라 치료방법과 예후가 달라질 수 있기 때문에 정확한 원인의 분석, 적절한 치료방법의 결정, 그리고 예후의 예측을 위한 다양한 영상화기법들이 개발되고 있다.

CT를 이용한 방법은 뇌경색의 범위를 정확하게 알지 못하고 방사선 노출과 조영제를 사용해야 하는 단점이 있고, MRI는 더 정확한 뇌경색의 범위를 알 수 있지만 영상을 얻는데 비교적 많은 시간이 걸려 급성 뇌경색과 같이 응급을 요하는 상황에서 제한적일 수 있으며 환자의 움직임에 매우 민감하고 CT 보다는 상대적으로 안전하지만 역시 조영제가 필요할 수 있다는 단점이 있다.

뇌경색 또는 뇌출혈이나 관상 동맥 협착과 같은 혈관의 병변을 진단하고 분석하기 위하여는 복수의 2차원 단층 이미지를 처리하여 혈관의 3차원 형상 모델을 생성하기 위한 세그멘테이션이 필요하다. 특히 정확하고, 신속한 진단을 위하여는 정확하고 신속하게 혈관 영역을 세그멘테이션하는 방법이 필요하다.

최근 딥런닝(DeepLearning) 또는 기계학습(Maching learning) 기법을 활용한 의료영상처리 기술이 개발되고 있다. 특히, X-ray, 초음파, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Positron Emission Tomography) 등의 기기들로부터 획득된 의료 영상에 딥런닝 기법을 적용하여 질병을 진단하고자 하는 개발이 진행되고 있다. 즉, 딥런닝 기법을 이용하여 의료 영상에 나타난 조직이 정상인지 비정상인지, 종양의 경우 양성인지 음성인지 분류하는보조 진단시스템이 개발되어 있으며, 영상의학과 의사가 영상을 판독하는 수준까지 발전된 것으로 알려져 있다.

이러한 병변의 유무를 자동으로 분류하기 위한 알고리즘으로 naive bayes, SVM(Support Vector Machine), ANN(Artificial Neural Network), HMM(Hidden Markov Model) 등의 알고리즘이 알려져 있다. 또한, 이러한 분류에 기계학습(machine learning) 알고리즘을 사용할 수 있으며, 기계학습 알고리즘은 크게 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning) 알고리즘으로 분류 된다.

딥 런닝 또는 기계학습 알고리즘을 이용하여 의료 영상을 처리하여 정확하고 신속하게 혈관 영역을 세그멘테이션하는 기술이 요구되고 있다. 본 발명은 복수의 단층 의료 영상을 처리하여 혈관 영역을 세그멘테이션 하는 방법을 제공하는 것을 목적으로 한다.

본 발명은 혈관 영역 세그멘테이션 방법을 제공한다. 본 발명에 따른 세그멘테이션 방법은, 복수의 2차원 단층 영상을 입력받는 단계와, 입력받은 복수의 2차원 단층 영상을 전처리하여 혈관이 위치하는 영역을 표시하여 학습 이미지 데이타를 생성하는 단계와, 생성된 학습 이미지 데이타로 학습하여 혈관 특징 이미지 예측 모델을 생성하는 단계와, 복수의 2차원 단층 이미지를 상기 생성된 혈관 특징 이미지 예측 모델에 입력하여 혈관 특징 표시 복수의 2차원 단층 이미지를 출력 받는 단계를 포함한다.

상기 혈관 특징 이미지 예측모델을 학습하는 단계는 U-net 알고리즘을 사용하는 것이 바람직하다.

또한, 상기 혈관 특징 이미지 예측모델을 학습하는 단계는 GAN 알고리즘을 사용하고, GAN 알고리즘에 있어서 생성자 모듈로 U-net 알고리즘을 사용하는 것이 보다 바람직하다.

또한, 상기 혈관 특징 이미지 예측모델을 학습하는 단계는 GAN 알고리즘을 사용하고, GAN 알고리즘에 있어서 생성자 모듈로 U-net 알고리즘을 사용하고, 먼저 U-net을 초동학습하고, U-net의 초동학습이 완료되면 U-net에서 출력된 MR segmentation 영상을 fake image로 간주하여, 검수자 모듈과 동시에 학습하는 것이 보다 바람직하다.

본 발명에 따르면, 심혈관 또는 뇌혈관 질환과 같은 혈관의 병변을 정확하고 신속하게 진단하고 분석할 수 있도록 복수의 2차원 단층 이미지를 처리하여 혈관 영역을 세그멘테이션 하는 방법이 제공된다.

도 1은 종래의 혈관 모델링 방법의 개략도
도 2는 (a) 원본 이미지, (b) 학습을 위한 이미지, (c) 원본 이미지 전처리결과, (d) 학습 이미지 전처리 결과를 나타내는 MRI 이미지
도 3은 본 발명에 따른 U-net 학습 알고리즘의 개략도
도 4는 예측 모델을 이용하여 예측된 뇌혈관 출력 이미지
도 5는 본 발명의 Windowing 기법을 이용한 뇌혈관 target 방법의 개략도
도 6은 본 발명에 따른 U-net 아키텍처의 개략도
도 7은 본 발명에 따른 GAN 알고리즘의 개략도
도 8은 본 발명에 따른 GAN 알고리즘 적용시의 확률분포의 변화도
도 9는 본 발명에 따른 GAN 알고리즘의 일실시예의 개략도

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3차원 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 MRI 또는 CT 촬영 장치 에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다. 또한, "대상체"는 팬텀(phantom)을 포함할 수도 있다. 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미하는 것으로, 신체와 유사한 성질을 갖는 구형(sphere)의 팬텀을 포함할 수 있다.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다. CT 영상은 심혈관, 뇌혈관 영상일 수 있으나, 이에 한정되지 않고, 혈관을 포함하는 복수의 단층 촬영 영상이면 어느 것이나 가능하다. 본 발명의 상세한 설명에서 실시예로 뇌 MRA 영상을 이용하였으나, 예시적인 것으로 이해되어야 한다.

도 1에는 종래의 뇌혈관 3차원 모델링 방법이 도시되어 있다. 먼저, 상용 medical image viewer MRA data(DICOM 파일)를 입력받아 2~3 백장의 2차원 영상을 axial view로 출력한다. 다음으로, 출력된 axial view 영상의 intensity 임계값을 조절하여 뇌혈관과, 뇌혈관 intensity와 비슷한 조직들을 일차적으로 분할한다. 다음으로, 분할된 뇌혈관 형상에서 매뉴얼 작업에 따라 협착(stenosis) 구현, 끊어진 혈관 연결, 혈관 이외의 조직들 제거 등을 수행한다. 이 경우에 작업자에게는 segmentation know-how 및 해부학적 지식이 요구된다. 다음으로, 메시를 생성하여 컴퓨터 시뮬레이션을 위해 격자를 완성한다.

본 발명에 따른 혈관의 혈관 영역의 세그멘테이션 방법은 복수의 2차원 단층 영상을 딥런링 기법을 이용하여 세그멘테이션하는 방법이다.

도 2에는 본 발명에 따른 세그멘테이션 방법에 따라 학습을 위한 이미지가 도시되어 있다. 도 2(a)는 원본 이미지, 도 2(b)는 학습을 위해 혈관 영역을 표시한 이미지(Ground Truth), 도 2(c)는 원본 이미지를 전처리한 이미지, 도 2(d)는 학습 이미지를 전처리한 MRI 이미지이다.

도 4에는 본 발명에 따른 일실시예의 인공지능 시스템을 통해 예측한 MR 영상에서 뇌혈관 영역을 자동 추출한 결과로, 초록색 부분이 뇌혈관 영역을 나타낸다.

이하에서는 본 발명에 따른 세그멘테이션 방법을 상세히 설명한다.

본 발명에 따른 세그멘테이션 방법은, 복수의 2차원 단층 영상을 입력받는 단계와, 입력받은 복수의 2차원 단층 영상을 전처리하여 혈관이 위치하는 영역을 표시하여 학습 이미지 데이타를 생성하는 단계와, 생성된 학습 이미지 데이타로 학습하여 혈관 특징 이미지 예측 모델을 생성하는 단계와, 복수의 2차원 단층 이미지를 상기 생성된 혈관 특징 이미지 예측 모델에 입력하여 혈관 특징 표시 복수의 2차원 단층 이미지를 출력 받는 단계를 포함한다.

먼저, 혈관의 영역이 표시된 2차원 단층 영상으로 기계학습을 하여 혈관 영역이 표시된 2차원 단층 영상을 얻을 수 있는 모델을 학습한다. 모델 학습에는 FCN(Fully Convolutional Network) 알고리즘이 이용된다. FCN 모델은 convolutional 하단 pooling layer의 값들을 upsampling해 적절히 mix하는 방법을 사용해 출력을 class 값이 아닌 pixel heat map이 나오도록 하는 방법을 사용한다. FCN 모델 기반으로 입력(raw CT image)과 결과(임상 검증 된 뇌혈관 분할 image)로 이루어지는 쌍의 데이터를 이용해 학습시켜서 전역 최적함수에 근접하는 알고리즘을 구현한다.

상기 혈관 특징 이미지 예측모델을 학습하는 단계는 U-net 알고리즘을 사용하는 것이 바람직하다.

<U-net 알고리즘>

기계학습 알고리즘으로 U-net 알고리즘을 사용할 수도 있다. U-net 알고리즘은 FCN을 기반으로 개발된 알고리즘으로, 적은 데이터를 가지고도 더욱 정확한 segmentation 결과를 얻을 수 있는 특징이 있다. U-net은 도 3에 도시된 것과 같이, 모양이 U자 형태를 띄우기 때문에 붙여진 이름으로, network의 중심을 기준으로 왼쪽을 contracting path, 오른쪽을 expansive path 라고 한다. 도 3에서 파란색 박스는 multi channel feature map을 의미하고 각각의 화살표는 색 마다 서로 다른 operation을 의미한다. 붉은색 화살표는 max pooling, 노란색 화살표는 up-convolution, 녹색은 copy and crop으로 skip connection의 개념이라 할 수 있다.

skip connection을 사용하는 이유는 딥런닝 특성상 층이 깊어질수록 local feature의 정보는 잃고, global feature의 정보가 우세해지는 데 결과적으로 MRA 영상으로부터 뇌혈관의 위치는 잘 찾아내지만, 혈관의 면적을 세밀하고 정확하게 추출하지 못할 가능성이 커지기 때문이다. U-net의 구조에서 contracting path는 영상의 context를 포착할 수 있도록 도와주며, expansive path는 feature map을 up-sampling하고 이를 contracting path에서 포착한 feature map의 context와 결합하여 더욱 정확한 localization을 수행한다. 본 발명에 있어서 이러한 특징이 U-net의 주요한 idea이며, 기존 FCN 알고리즘과 다른 중요한 점은 up-sampling 과정에서 feature channel 수가 더 많다는 것이다.

도 4는 U-net 알고리즘을 적용하여 생성된 뇌혈관 영역을 나타내는 하나의 이미지이다. 뇌혈관은 머리의 상부에서부터 하부로 연결되는 3차원 구조물이기 때문에 낱장의 MR 영상에서만 뇌혈관 위치를 판단하여 영역화하기보다, 영역화하고자 하는 해당 영상의 전후를 모두 고려하여 뇌혈관 분포에 대한 정보를 학습에 적용하였다.학습에 사용되는 뇌혈관 1 case에 포함된 150여장의 MR 영상을 머리의 상부에서 하부로 이동하는 단면을 보여주는 영상의 모음이라 가정한다. 따라서 낱장의 MR 영상이 아니라 여러 장의 MR 영상을 묶어 context 정보를 개발 네트워크에 입력시켜 반복되는 구조 없이도 데이터를 학습하도록 하는 윈도윙(windowing) 기법을 사용하였다. 표지 대상인 단일 MR 영상과 함께 해당 영상의 +Z축 방향 영상 k장과 -Z축 방향 영상 k장을 함께 쌓아 스택(stack)을 구성하였다. MR 영상 X축, Y축 방향 크기를 각각 x, y로 정의할 경우 이 스택은(x, y, 2k+1)차원의 텐서로 구성된다. 따라서 U-net 알고리즘에는 단일 MR 영상이 아니라 윈도우 스택이 입력되며, 신경망 입력부의 채널 크기를 2k+1로 가지게 된다. 구체적으로 뇌혈관은 단절되는 구역이 없이 상부에서 하부로 연결되는 구조체로, 윈도우를 구성하는 연속된 영상을 통해 비교할 경우 반드시 겹쳐지는 구간이 발생하게 된다. 이 구간의 분포를 중첩할 경우 도 5에 나타난 분포도(stacked-distribution)와 같이 영역화 대상인 뇌혈관 영역만이 두드러지게 나타난다.

본 발명에 따른 U-net의 contracting path는 일반적인 convolutional network를 따르며, down-sampling을 위해 stride 2, 2x2 max pooling연산과 Relu 함수를 포함해 두 번의 반복된 3x3 convolution 연산을 수행한다. 정리하면, 3x3convolution - Relu - 2x2max pooling - 3x3convolution - Relu - 2x2max pooling 순으로 연산되며, down-sampling 과정에서 feature map channel의 수는 두 배로 증가한다. 이를 expansive path에서 생성된 feature map과 contracting path에서 생성된 feature map과 concatenation 시킨다.

본 발명에 따른 U-net 모델은 gradient descent 알고리즘 중에서 ADAM(Adaptive Moment Estimation)을 사용하여 cross entropy를 최소화하는 변수를 찾기 위한 학습을 진행한다. cross entropy란 동일 사건을 기술하는 서로 다른 두 개의 확률분포를 표현하는 값으로, 인공지능 학습 과정에서 모델의 확률분포가 실제 label의 확률분포와 얼마나 근사한지를 보여주는 척도이다.

본 발명에 따라서 개발된 시스템은, 일실시예로, 인공지능 시스템의 학습을 진행하기 위하여 총 70 case 데이터를 가공하였다. 이 중 50 case MR 영상을 360 case로 증폭하여 학습에 사용하고, 15 case를 검증 데이터로 사용하였다. 또한, U-net을 학습하기 위하여 총 100,000번의 iteration을 진행하였으며, 여러 가지 변수들을 실험하여 뇌혈관 영역화에 최적화 된 parameter 값을 확보하였다. 딥런닝에 있어서, weight(가중치) 및 bias(편향) 값은 스스로 학습하여 최적의 신경망을 구성하고, 다음의 변수(hyperparameter)를 튜닝하였다.

- Learning rate : Learning rate는 결과의 오차를 학습에 얼마나 반영할지를 결정하는 변수임. 학습률이 높으면 결과가 수렴되지 않고 진동할 가능성이 있으며, 학습률이 낮으면 학습속도가 느려지며 local minimum에 수렴하게 될 가능성이 있다.

- Cost function : Cost function은 입력에 따른 기대 값과 실제 값의 차이를 계산하는 함수임. 인공지능으로 해결하고자 하는 문제를 효율적으로 학습할 수 있게 여러 가지 cost function 중 사용할 함수를 개발자가 결정함. 대표적으로는 평균 제곱 오차, 교차 엔트로피 오차 등이 있다.

- Mini-batch 크기 : 모든 데이터의 cost function을 계산하려면 많은 시간이 걸리기 때문에 데이터 중 일부를 사용하여 가중치를 갱신한다. 이 때 mini-batch의 크기가 크면 학습 속도를 높일 수 있고, 크기가 작으면 더 자주 가중치 갱신을 할 수 있어 신경망 정확도가 달라질 수 있다.

- Training 반복 횟수 : Training 횟수가 너무 많으면 overfitting되어 학습 시 정확도를 높아져도 test 데이터에 대한 실제 정확도는 떨어질 수 있다.

- Hidden unint 개수 : Hidden layer의 unit의 개수가 많으면 네트워크로 표현력이 넓어져 더 좋은 성능을 낼 수도 있지만, overfitting이 될 수 있는 문제점이 있으며, 반대로 너무 적으면 underfitting이 될 수 있다.

- Dropout : Dropout은 네트워크의 일부를 생략하는 것임. 무작위로 일부 네트워크 의 뉴런을 생략하여 overfitting의 가능성을 줄여줌. 생략하는 뉴런의 비율에 따라 신경망 성능의 차이가 발생한다.

이 외에도, regularization parameter, 가중치 초기화 방법 등을 시행착오를 통하여 설정한다.

또한, 상기 혈관 특징 이미지 예측모델을 학습하는 단계는 GAN 알고리즘을 사용하고, GAN 알고리즘에 있어서 생성자 모듈로 U-net 알고리즘을 사용하는 것이 보다 바람직하다. 또한, 상기 혈관 특징 이미지 예측모델을 학습하는 단계는 GAN 알고리즘을 사용하고, GAN 알고리즘에 있어서 생성자 모듈로 U-net 알고리즘을 사용하고, 먼저 U-net을 초동학습하고, U-net의 초동학습이 완료되면 U-net에서 출력된 MR segmentation 영상을 fake image로 간주하여, 검수자 모듈과 동시에 학습하는 것이 보다 바람직하다.

<GAN 알고리즘>

U-net의 성능을 한 단계 더 향상하기 위해서 GAN 알고리즘을 사용하였다.

GAN은 생성자(generator)와 검수자(discriminator)로 구성되는 한 쌍의 수학적 모델로 생성자와 검수자는 서로 적대적으로 대립하며 서로의 성능을 점차 개선해나가는 방법이다. 생성자는 일종의 지폐 위조범과 같이 데이터를 위조해 검수자를 속이려 하고, 검수자는 위조된 데이터를 실제 데이터와 감별하기 위한 노력을 통해 성능이 향상되는 방법이다.

본 발명에 따른 GAN 모델의 생성자 모듈은 U-Net이 되며, 검수자 모듈은 입력받은 데이터가 U-Net의 출력물인지 실제 데이터인지 확률 값을 추정하도록 구성한다. GAN 알고리즘을 구성하는 두 개의 모듈 사이의 관계는 다음의 수식으로 표현된다.

검수자 모듈의 함수 D에 실제 데이터 x 를 입력한 D(x)는 1이 되도록 학습을 진행하고, 임의의 노이즈 확률분포인 z 를 생성자 함수 G를 통해 출력된 결과물인 G(z)를 검수자 모듈의 함수 D에 입력하여 값이 D(G(z))는 0이 되도록 학습을 진행한다. 이 과정에서 생성자 모듈은 검수자 모듈이 실수할 확률을 증가시키려 하고, 반대로 검수자 모듈은 생성자 모듈이 생성한 모조품을 거짓으로 잘 판별하여 생성자 모듈의 성능을 감소시키려 한다. 두 모듈의 경쟁이 계속되면 생성자의 데이터 위조 능력과 검수자의 데이터 판별 능력이 서로 점차 향상되고, 이로 인하여 생성자의 능력이 한 단계 더 향상하게 된다.

도 8에서 파란색 점선은 검수자의 확률분포를 나타내며, 검정색 점선이 실제 데이터 분포, 녹색 실선은 생성자로부터 생성한 가짜 데이터 분포를 나타낸다. 도 8에 나타난 것과 같이 학습을 진행할수록 생성자 성능이 점점 좋아져 녹색 선이 검은색 점선과 구분할 수 없는 수준이 되면 검수자 확률분포인 파란색 점선이 수평이 되어 실제와 가짜 데이터를 구분할 수 없게 된다. 이 지점에서 모델의 학습을 종료하고 생성자만을 활용하여 실제 데이터와 유사한 위조 데이터를 생성하게 된다.

일반적인 GAN 모델은 처음부터 두 네트워크 모델인 생성자 모듈과 검수자 모듈을 동시에 학습시키며, 검수자의 gradient를 생성자에 적용해 cross entropy를 최소로 하는 weight 및 bias 변수를 수정해 나간다. 그러나 본 발명에 따른 GAN 알고리즘은 두 단계로 분리하여 학습을 진행한다.

도 9에는 본 발명에 따른 GAN 알고리즘의 일실시예의 개략도가 도시되어 있다. 먼저, U-net을 초동학습 하여 출력된 MR segmentation 영상을 fake image로 간주하여, 즉 U-net을 GAN의 생성자 모듈로 적용하여 학습을 진행한다. 초동학습 단계에서는 생성자는 검수자의 gradient를 입력받지 않고 독립적으로 학습하여 뇌혈관의 위치를 찾기 위한 기능을 수행한다. 초동학습이 종료된 이후에는 검수자와 동시에 학습을 진행하는데, 여기서 생성자는 검수자의 gradient를 입력받아 weight와 bias 변수를 다시 수정한다. 이 과정에서 이미 수렴하여 더 이상의 성능 향상을 기대할 수 없던 생성자 모듈에 추가적인 성능 향상이 이루어지게 된다. 검수자 모듈에서는 MR 원본 영상과 영역화가 완료된 데이터를 한 세트로 입력받아, 입력받은 영역화된 영상이 실제 데이터인지 생성자로부터 출력된 모조품인지를 판별하게 된다. MRA 영상과 영역화된 영상을 각각 다층의 convolution layer와 pooling layer를 통과시켜 압축한다. 이때 각각의 convolution layer에는 zero-padding 기법을 적용해 커널 사이즈와 관계없이 영상의 원본 크기를 보존하도록 한다. 따라서 Convolutional-Relu-Pooling 단계에서 입력받은 이미지를 정확히 가로, 세로를 1/2크기로 압축하여 다음 layer에 전달하게 된다. 검수자 모듈을 거친 MRA 영상과 영역화 영상은 1/32크기로 압축된 피쳐맵으로 변환되고, 압축된 MRA 영상의 피처맵과 영역화가 진행된 피처맵이 합쳐져 완전 연결층(fully connected layer)로 전달된다. 일실시예에 있어서, 완전 연결층은 총 4개로 구성하였으며 활성 함수(activation function)는 모두 Relu 함수를 사용하였다. 이 모든 네트워크를 거쳐 real 영상인지 생성자에서 출력된 fake 영상인지를 판단하게 된다.

본 발명에 따른 GAN 모델은 상기 설명된 내용과 같이 다음의 수식을 이용하여 구현한다.

검수자 모듈은 D(Xct,Ygt)와 D(Xct,S(ct))의 격차를 벌리는 방향으로 학습되며, 생성자 모듈은 Ygt와 S(Xct)의 격차가 줄어들어 최종적으로 D(Xct,Ygt)와 D(Xct,S(ct))가 서로 동일해지는 방향으로 학습된다. 위 식의

는 U-Net 초동학습 시 cross entropy 로만 최적화 되었으므로 도함수 내에서 극소점이 아닐 가능성이 크다. 따라서 초동학습 이후 GAN 학습 과정은 짧은 학습 구간마다 성능 변화를 확인해가며,

가 cross entropy의 극소 부근에 머무르면서 위의 식의 gradient에 따라 미세조정 한다. 테스트를 통해 초동학습에 비해 굉장히 적은 수의 변수 업데이트만으로

를 수렴하는 것이 가능하며, 검수자 모듈은 상대적으로 짧게 수행되는 전이학습 구간에서는 파라미터의 변화가 크지 않게 된다.

결과적으로, GAN 알고리즘을 통해 성능이 향상된 신경망의 weight 및 bias를 저장하고, 이를 이용해 MRA 데이터를 입력하였을 때 뇌혈관 영역을 segmentation하는 네트워크 개발을 완료하게 된다.

Claims (4)

1. 컴퓨터 시스템을 이용하여 복수의 2차원 단층 영상을 처리하여 혈관 영역을 세그멘테이션하는 방법으로,
   상기 컴퓨터 시스템에서 상기 복수의 2차원 단층 영상을 입력받는 단계와,
   상기 컴퓨터 시스템에서 상기 입력된 복수의 2차원 단층 영상을 전처리하여 혈관이 위치하는 영역이 표시된 학습 이미지 데이타를 생성하는 단계와,
   상기 컴퓨터 시스템에서 상기 생성된 학습 이미지 데이타로 학습하여 혈관 특징 이미지 예측 모델을 생성 단계와,
   상기 컴퓨터 시스템으로 새로이 입력된 복수의 2차원 단층 이미지를 상기 생성된 혈관 특징 이미지 예측 모델에 입력하여 혈관 영역 표시 복수의 2차원 단층 이미지를 출력하는 단계를 포함하고,
   상기 혈관 특징 이미지 예측모델을 생성하는 단계는 GAN 알고리즘을 사용하고, 상기 GAN 알고리즘은 생성자 모듈로 U-net 알고리즘을 사용하고, 먼저 U-net으로 초동학습하고, U-net의 초동학습이 완료되면 U-net에서 출력된 MR segmentation 영상을 fake image로 간주하여, 검수자 모듈과 생성자 모듈을 동시에 학습하는 혈관 영역 세그멘테이션 방법.
2. 삭제
3. 삭제
4. 삭제

Images