KR20220121141A - 혈액을 전달하는 신체 구성요소를 분할하는 방법 및 장치 - Google Patents

Abstract

실시예들은 3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 입력된 2차원 절편 영상 각각에서의 혈액을 전달하는 신체 구성요소의 영역을 예측하는 단계를 포함한, 혈액을 전달하는 신체 구성요소를 분할하는 방법 및 이를 수행하기 위한 장치에 관한 것이다. 여기서, 상기 분할 모델은, 각각 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함한다.

Description

혈액을 전달하는 신체 구성요소를 분할하는 방법 및 장치{METHOD AND DEVICE FOR SEMGNETING BODY COMPONENT FOR CONVEYING FLUID}

본 발명은 의료 영상에서 신체 구성요소를 분할하는 기술에 관한 것으로서, 보다 상세하게는, 혈관과 같이 혈액을 전달하는 신체 부분을 의료 영상으로부터 분할하는 방법 및 장치에 관한 것이다.

혈관 분할(Blood vessel segmentation)은 수술 계획 및 질병 진단과 같은 광범위한 임상 절차를 지원하는데 필수적인 작업이다. 예를 들어, 혈관 분할 작업은 방사선 전문의가 허혈성 뇌졸중과 같은 심각한 뇌혈관 질환을 진단하는데 도움이 된다. 이러한 혈관 분할 작업은 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 자기 공명 혈관 조영(MRA)과 같은 다양한 영상 촬영 방식을 활용하여 수행된다.

혈관은 다른 신체 기관 대비 복잡하고 좁은 구조를 고유한 해부학적 특성으로 가진다. 때문에, 혈관 분할 작업을 사람이 수동으로 수행하는 것은 매우 어렵다. 최근 기계학습 기술의 발전으로 인해 혈관 분할 작업을 딥러닝 모델을 사용하여 자동으로 수행하려는 시도가 있다.

예를 들어, 비특허문헌 1(nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation)은, 3차원 컨볼루션 연산을 통해 체적 특징을 추출하는 3차원 U-Net구조의 딥러닝 모델을 사용하여 3차원 영상으로부터 3차원 혈관 모델을 분할한다.

혈관을 3차원으로 분할되는 3차원 원본 영상은 일 축을 따르는 다수의 2차원 절편 영상(slice images)의 스택으로 구현된다. 이러한 2차원 절편 영상에서 혈관 부분은 해당 영상의 전체 면적 대비 매우 작은 부분이다. 일반적으로 3차원 영상에서 혈관은 2차원 절편의 1% 미만의 영역으로 표현된다.

때문에, 이러한 특성을 갖는 2차원 절편 영상들을 통해 딥러닝 모델이 3차원혈관 데이터에 대한 체적 특징을 일반적인 기계학습 기법으로 학습하면, 딥러닝 모델의 혈관 추출 성능은 높지 않다. 2차원 절편 각각에서의 비-혈관 픽셀 정보와 혈관 픽셀 정보 사이의 정보량 불균형으로 인해 클래스 훈련 단계가 비-혈관 영역에 의해 지배되기 때문이다.

또한, 딥러닝 모델을 학습시키는데 매우 많은 용량의 3차원 훈련 영상(training image)이 요구되어, 메모리 용량이 많이 요구되는 한계가 있다.

Fabian Isensee et al., nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation (2018.09.27.)

실시예들에 따르면 3차원 훈련 영상의 용량을 효율적으로 사용하여, 혈관과 같이 혈액을 전달하는 신체 부분을 의료 영상으로부터 보다 정확하게 분할하는 장치 및 방법을 제공한다.

이 외에도, 상기 방법을 수행하게 하는 명령어들을 기록한 컴퓨터 판독가능한 기록매체를 제공할 수도 있다.

본 발명의 일 측면에 따른 실시예들에서는, 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 혈액을 전달하는 신체 구성요소를 분할하는 방법에 있어서, 3차원 훈련 체적을 이루는 복수의 2차원 훈련 절편 영상을 포함한 훈련 데이터 세트를 사용하여, 분할 모델을 학습하는 단계; 및 3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 입력된 2차원 절편 영상 각각에서의 상기 신체 구성요소의 영역을 예측하는 단계를 포함하되, 상기 분할 모델은 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하는 방법을 제공한다.

일 실시예에서, 각 베이스라인 모델 내 인코더는 네트워크의 유닛 간의 연결이 순환적인 서브 네트워크를 적어도 하나의 컨볼루션 레이어로서 포함할 수도 있다. 상기 서브 네트워크는 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및 GRU 중 하나 이상을 포함한다.

일 실시예예서, 상기 인코더는 공간 특징 및 절편 사이 연결성을 상기 신체 구성요소의 특징으로 추출할 수도 있다. 상기 디코더는 상기 공간 특징 및 절편 사이 연결성에 기초하여 개별 베이스라인 모델에 입력된 2차원 절편 영상에서의 상기 신체 구성요소의 영역을 예측하도록 구성될 수도 있다. 상기 공간 특징은 자신의 베이스라인 모델에 입력된 영상에서 추출된 특징이다. 상기 절편 사이 연결성은 자신의 베이스라인 모델에 입력된 영상과 인접한 복수의 다른 영상 사이의 연속 정보에 기초한 맥락이다.

일 실시예예서, 상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것일 수도 있다. 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 컨볼루션 레이어를 포함한다. 상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것일 수도 있다. 상기 제2 데이터 처리 경로는 인접한 복수의 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성된 것이다.

일 실시예예서, 상기 방법은: 상기 2차원 절편 영상별 예측 결과에 기초하여 2차원 절편 영상별 분할 마스크를 생성하는 단계; 및 상기 분할 마스크에 기초하여 3차원 상기 신체 구성요소의 모델을 생성하는 단계를 더 포함할 수도 있다.

일 실시예에서, 상기 분할 모델을 학습하는 단계는, 3차원 훈련 체적을 이루는, N₁개의 2차원 훈련 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 분할 모델에 포함된 복수의 베이스라인 모델의 수로 설정된 하이퍼 파라미터T에 기초하여 지정됨; 및 N₁개의 2차원 훈련 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다. 상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S_L의 값 만큼 이동한 값일 수도 있다.

일 실시예예서, 상기 하이퍼 파라미터 S_L은 상기 하이퍼 파라미터 T 보다 작은 값으로 설정될 수도 있다.

일 실시예에서, 상기 신체 구성요소의 영역을 예측하는 단계는, 상기 3차원 대상 체적을 이루는, N₂개의 2차원 대상 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 상기 하이퍼 파라미터 T에 기초하여 지정됨; 및 N₂개의 2차원 대상 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다. 상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S_P의 값 만큼 이동한 값일 수도 있다.

일 실시예예서, 상기 하이퍼 파라미터 S_P는 상기 하이퍼 파라미터 T와 동일한 값으로 설정된 것일 수도 있다.

또한 본 발명의 다른 일 측면에 따른 실시예들에서는, 전술한 방법을 수행하게 하는 명령어를 저장하는 컴퓨터 판독가능 저장매체를 제공한다.

또한 본 발명의 또 다른 일 측면에 따른 실시예들에서는, 혈액을 전달하는 신체 구성요소를 분할하는 장치에 있어서, 3차원 대상 체적을 이루는 복수의 2차원 대상 절편 영상을 포함한, 3차원 의료 영상을 획득하는 영상 획득부; 및 상기 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 각 2차원 대상 절편 영상별 상기 신체 구성요소의 영역을 예측하는 분할 처리부;를 포함하되, 상기 분할 모델은, 각각 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하는 장치를 제공한다.

본 발명의 일 측면에 따른 장치는 분할 모델을 사용하여, 입력 영상에서의 공간 특징과 함께 절편 사이 연결성에 기초하여 보다 정확한 확률 맵을 생성하고 보다 정확하게 혈관 영역을 예측한다.

또한, 상기 장치는 상기 분할 모델의 보다 효율적인 학습을 위해 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다.

또한, 상기 장치는 상기 분할 모델의 보다 신속한 예측을 위해, 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 혈관 분할 장치의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 분할 모델의 네트워크 아키텍처의 개략도이다.
도 3은, 본 발명의 일 실시예에 따른, 베이스라인 모델의 개략도이다.
도 4는, 본 발명의 일 실시예에 따른, 학습을 위해 영상 시퀀스를 입력하는 과정의 개략도이다.
도 5는, 본 발명의 일 실시예에 따른, 혈관 영역 예측을 위해 영상 시퀀스를 입력하는 과정의 개략도이다.
도 6은, 본 발명의 일 실시예에 따른, 혈액을 전달하는 신체 구성요소를 분할하는 방법의 흐름도이다.
도 7a 내지 도 7c는, 도 2의 분할 모델을 사용한 3차원 혈관 모델과 상기 비특허문헌 1의 딥러닝 모델을 사용한 3차원 혈관 모델을 도시한다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

본 발명의 일 측면에 따른 혈관 분할 장치는 3차원 체적을 표현한 3차원 의료 영상을 획득하고, 3차원 의료 영상을 이루는 각 2차원 절편 영상에서 사용자가 원하는 대상 객체를 표현한 영역을 예측한다. 또한, 각 2차원 절편 영상에 대한 다수의 예측 결과에 기초하여 상기 대상 객체의 3차원 모델을 생성할 수 있다. 이로 인해, 3차원 체적으로부터 대상 객체를 3차원으로 분할할 수 있다.

본 명세서에서 사용자가 분할을 원하는 대상 객체는 3차원 체적의 축 절편들(axial slices) 사이로 혈액을 운반하는 신체 구성요소이다. 특정 실시예들에서, 분할 대상 객체는 혈관 및/또는 혈액 공급 장기를 포함한다.

혈관은 혈액을 운반하는 대표적인 신체 구성요소로서, 관 형태를 가진다. 상기 혈액 공급 장기는 혈관은 아니지만 혈액의 순환 경로를 형성하는 장기로서, 예를 들어 심실 및/또는 심방을 포함한다. 이하, 설명의 명료성을 위해서, 분할 대상이 혈관인 실시예들로 본 발명을 서술하나, 본 명세서에서 분할 대상은 해부학적 혈관에 제한되지 않는 것으로 이해되는 것이 통상의 기술자에게 명백할 것이다.

도 1은, 본 발명의 일 실시예에 따른, 혈액을 전달하는 신체 구성요소를 3차원으로 분할하는 장치의 블록도이다.

도 1을 참조하면, 상기 혈액을 전달하는 신체 구성요소를 3차원으로 분할하는 장치(100)는 영상 획득부(110), 분할 처리부(130)를 포함한다. 특정 실시예들에서, 상기 장치(100)는 3차원 모델 생성부를 더 포함할 수도 있다.

전술한 바와 같이 상기 혈액을 전달하는 신체 구성요소는 혈관일 수도 있으므로, 설명의 명료성을 위해서, 상기 장치(100)를 혈관 분할 장치로 지칭하여 본 발명을 보다 상세하게 서술한다.

실시예들에 따른 상기 혈관 분할 장치(100)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

영상 획득부(110)는 3차원 체적을 표현한 3차원 영상을 획득한다. 특정 실시예들에서, 3차원 영상은 전술한 분할 대상 객체(예컨대, 혈관)를 포함한 3차원 의료 영상일 수도 있다. 상기 3차원 의료 영상은 3차원 투과 영상으로서, 예를 들어, CT(Computed Tomography) 데이터, MRI(Magnetic Resonance Imaging) 데이터, MRA(Magnetic Resonance Angiography) 데이터, PET(Positron Emission Tomography) 데이터, PET-CT(Positron Emission Tomography-Computed Tomography) 데이터, 또는 PET-MRI(Positron Emission Tomography-Magnetic Resonance Imaging) 데이터일 수도 있다.

상기 영상 획득부(110)는 이러한 3차원 의료 영상을 촬영하는 의료기기 또는 상기 의료기기로부터 3차원 의료 영상 데이터를 수신하는 통신 모듈로 구현될 수도 있다.

상기 3차원 의료 영상은 복수의 2차원 절편 영상으로 이루어진다. 상기 복수의 2차원 절편 영상은 3차원 체적을 갖는 입체 형상을 일 축에 따라 촬영한 것이다. 2차원 절편 영상을 이루는 평면 축이 x축, y축일 경우, 상기 복수의 2차원 절편 영상의 공통 일 축은 z축으로 지칭될 수도 있다.

상기 3차원 의료 영상을 이루는 복수의 2차원 절편 영상의 일부 또는 전부는 각 2차원 절편 영상별로 동일 또는 유사한 공간 특징(spatial features)을 공유하는 연속된 영상들인, 영상 시퀀스일 수도 있다. 3차원 체적이 특정 신체 부분일 경우, 특정 신체 부분 내의 혈관 중 일부 또는 전부는 동일 또는 유사한 해부학적 구조를 갖기 때문이다. 상기 복수의 2차원 절편 영상 각각은 z축을 기준으로 시퀀스 인덱스가 할당될 수도 있다.

상기 영상 획득부(110)는 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 처리부(130)로 공급한다.

분할 처리부(130)는 영상 획득부(110)로부터 수신한 복수의 2차원 절편 영상을 미리 학습된 분할 모델에 적용하여 복수의 2차원 절편 영상 각각에서 표현된 분할 대상 객체의 영역(이하, “혈관 영역”)을 예측한다. 분할 처리부(130)는 예측된 혈관 영역에 기초하여 복수의 2차원 절편 영상 각각의 분할 마스크를 생성한다.

상기 분할 모델은 단일 2차원 절편 영상에서 혈관을 결정하기 위한 특징(features)을 추출하도록 구성된다. 또한, 상기 분할 모델은 상기 단일 2차원 절편 영상에 인접한 복수의 다른 2차원 절편 영상들 사이의 연속 데이터의 맥락(context)을 포착하도록 구성된다. 상기 분할 모델은 포착된 맥락 및 추출된 특징에 기초하여 혈관 영역을 보다 정확하게 예측할 수 있다. 상기 분할 모델에 대해서는 아래의 도 2 내지 도 5를 참조하여 보다 상세하게 서술한다.

도 2는, 본 발명의 일 실시예예 따른, 분할 모델의 네트워크 아키텍처의 개략도이다.

도 2를 참조하면, 분할 모델은 복수의 베이스라인 모델(B)을 포함한다. 상기 분할 모델은 상기 3차원 체적을 이루는 복수의 2차원 절편 영상 전체 중 일부 또는 전부의 영상 시퀀스를 입력 받으면, 복수의 베이스라인 모델(B)에 의해 이를 처리하여 입력된 각 2차원 절편 영상에서의 혈관 영역을 한 번에 예측한다. 즉, 상기 분할 모델은 입력된 다수의 2차원 절편 영상을 한 번에 처리하여 각 2차원 절편 영상별 혈관 영역을 예측한다.

일 실시예에서, 입력된 영상 시퀀스의 2차원 절편 영상 각각은 각 베이스라인 모델(B)에 입력된다. 분할 모델이 한 번에 처리 가능한 영상 시퀀스의 규모는 분할 모델에 포함된 베이스라인 모델의 수에 의존한다. 3차원 체적의 2차원 절편 영상 전체의 수가 베이스라인 모델(B)의 수 보다 클 경우, 상기 분할 모델에 입력되는 영상 시퀀스는 3차원 체적의 2차원 절편 영상 전체 중 일부일 수도 있다.

입력된 영상 시퀀스는 z축을 따르는 다수의 2차원 절편 영상의 집합이므로, 복수의 베이스라인 모델(B)에는 z축을 따른 순서로 다수의 2차원 절편 영상이 각각 입력된다.

일부 실시예들에서, 상기 분할 모델은 복수의 베이스라인 모델(B)이 3차원 체적의 z축에 대응한 일 축(예컨대, z축)을 따라 평행하게 쌓인 구조를 가질 수도 있다. 그러면, 복수의 베이스라인 모델(B)은 적층 인덱스를 가질 수도 있다. 분할 모델에 영상 시퀀스가 입력되면, 영상 시퀀스의 2차원 절편 영상 각각은 자신의 시퀀스 인덱스에 대응한 적층 인덱스를 갖는 베이스라인 모델(B) 각각에 입력된다.

도 3은, 본 발명의 일 실시예에 따른, 베이스라인 모델의 개략도이다.

도 3을 참조하면, 상기 베이스라인 모델(B)은 인코더; 및 디코더를 포함한다.

인코더는 복수의 컨볼루션 레이어 및 복수의 풀링 레이어를 포함한다.

인코더에서 컨볼루션 레이어는 입력 데이터에 대해 컨볼루션 연산하도록 구성된다. 예를 들어, 컨볼루션 레이어는 입력 데이터에 대해 컨볼루션 연산하는, 복수의 컨볼루션 필터를 포함할 수도 있다. 상기 복수의 컨볼루션 필터는 3*3 컨볼루션 필터를 포함할 수도 있으나, 이에 제한되진 않는다.

컨볼루션 레이어의 출력 데이터는 컨볼루션 필터의 수에 따른 채널을 가진다. 상기 인코더의 컨볼루션 레이어는 입력 데이터의 채널을 증가시키도록 구성된다.

상기 베이스라인 모델(B)은 복수의 계층 레벨의 깊이 구조를 가진다. 상기 베이스라인 모델(B)에서 계층 레벨이 깊어질수록 더 많은 채널을 갖는 데이터로 출력된다.

도 3에서 레이어에서 출력되는 데이터 위의 숫자는 그 데이터의 차원(즉, 레이어에 포함된 필터의 수)을 가리킨다. 도 3에서 베이스라인 모델(B)은 예시적으로 각 계층 레벨별로 64, 128, 196, 256, 512의 필터를 갖는 레이어를 포함한다.

또한, 상기 인코더는 네트워크의 유닛 간의 연결이 서브 네트워크를 포함한다. 상기 인코더는 특정 깊이 계층 레벨의 컨볼루션 레이어로서 상기 순환적인 네트워크를 갖는 컨볼루션 레이어를 포함한다.

이러한 순환 구조는 시변적 동적 특징을 모델링하기 위해 시퀀스 형태의 입력을 처리하도록 구성된다. 상기 서브 네트워크를 갖는 컨볼루션 레이어는, 예를 들어 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및/또는 GRU을 포함할 수도 있으나, 이에 제한되진 않는다.

특정 실시예들에서, 상기 서브 네트워크를 갖는 컨볼루션 레이어는 그 출력 데이터가 디코더의 입력단으로 진행하는 위치에 배치될 수도 있다. 도 3에 도시된 바와 같이, 상기 서브 네트워크를 갖는 컨볼루션 레이어(예컨대 도3의 LSTM)는 가장 깊은 계층 레벨에 배치될 수도 있다. 가장 깊은 계층 레벨의 LSTM의 출력 데이터는 디코더로 입력된다.

일 실시예에서, 도 3에 도시된 바와 같이, 상기 복수의 베이스라인 모델(B) 내 인코더의 가장 깊은 계층 레벨에는 동일한 서브 네트워크의 컨볼루션 레이어(예컨대, 도 3의 LSTM)이 배치될 수도 있다.

다른 실시예들에서, 상기 복수의 베이스라인 모델(B)의 일부와 다른 일부는 서로 다른 서브 네트워크의 컨볼루션 레이어가 가장 깊은 계층 레벨에 배치된 인코더를 포함할 수도 있다.

이와 같이, 컨볼루션 레이어들과 LSTM 등의 서브 네트워크가 단일 인코더 내에 포함되어 있으므로, 컨볼루션 레이어들의 출력이 LSTM에 입력되는 것과 같은, 컨볼루션 레이어들과 LSTM이 분리되어 있지 않는다. 따라서, 두 개의 개별 특징 추출기 보다 더 최적의 워크 플로우를 가진다.

풀링 레이어는 입력 데이터의 사이즈를 축소시키도록 구성된다. 특정 실시예들에서, 상기 풀링 레이어는 맥스 풀링 레이어(max pooling layer)일 수도 있다. 상기 맥스 풀링 레이어는 입력 해상도를 감소시킨다. 예를 들어, 맥스 풀링 레이어는 입력 영상의 해상도를 50% 감소시킬 수도 있다. 이러한 풀링 레이어에 의해, 인코더는 다운-샘플링 동작을 수행한다.

일 실시예에서, 상기 맥스 풀링 레이어는 계층 레벨의 끝 단에 배치될 수도 있다. 그러면, 베이스라인 모델(B)의 입력 데이터는 계층 레벨을 따라서 계속적으로 다운-샘플링될 수도 있다.

인코더에서 처리된 출력 데이터는 디코더로 전달된다. 상기 디코더는 복수의 컨볼루션 레이어 및 복수의 디컨볼루션 레이어를 포함한다.

상기 디코더의 컨볼루션 레이어는 입력 데이터의 채널을 감소시키도록 구성된다. 도 3에 도시된 바와 같이, 디코더의 컨볼루션 레이어는 입력 데이터의 채널을 128로부터 64로 감소시킬 수도 있다. 일부 실시예들에서, 상기 디코더의 컨볼루션 레이어는 상기 인코더의 컨볼루션 레이어와 동일한 사이즈의 필터를 가질 수도 있다.

디컨볼루션 레이어는 입력 데이터를 업-샘플링하도록 구성된다. 상기 디컨볼루션 레이어는 대상 픽셀 주위에 (예컨대, 제로-패딩과 같은) 패딩 픽셀을 추가하여 컨볼루션 연산 처리하도록 구성된다.

상기 디코더는 인코더에서 다운-샘플링된 영상의 해상도를 복원한다.

또한, 디코더는 확률 레이어를 포함한다. 상기 확률 레이어는 베이스라인 모델(B)의 출력단에 배치된다. 상기 확률 레이어는 자신의 베이스라인 모델(B)의 입력 영상의 각 픽셀이 혈관인지 여부를 나타낸 확률 맵을 생성한다. 상기 확률 레이어는 소프트맥스 함수를 사용하여 입력 영상 내 각 픽셀이 혈관인지를 나타낸 확률을 계산할 수도 있으나, 이에 제한되진 않는다.

또한, 디코더는 확률 값에 기초하여 분할 마스크를 생성할 수도 있다. 디코더는 확률 맵의 확률 값이 미리 설정된 임계 확률 보다 큰 픽셀로 이루어진 분할 마스크를 생성할 수도 있다. 예를 들어, 임계 확률이 0.5일 경우, 확률 맵 중에서 0.5 보다 큰 확률 값을 가진 픽셀로 이루이진 분할 마스크가 생성될 수도 있다.

일 실시예에서, 상기 베이스라인 모델(B)은, 복수의 컨볼루션 레이어를 포함하기 위해, 복수의 기본 유닛 블록을 포함할 수도 있다. 각 기본 유닛 블록은 컨볼루션 레이어를 각각 포함한다. 일부 실시예들에서, 각 기본 유닛 블록은 정류 선형 유닛(RLU, Rectified Linear Unit) 및/또는 배치 정규화 레이어를 더 포함할 수도 있다. 즉, 각 기본 유닛 블록은 컨볼루션 레이어, 정류 선형 유닛(RLU, Rectified Linear Unit) 및 배치 정규화 레이어 중에서 적어도 컨볼루션 레이어를 포함한다.

상기 복수의 기본 유닛 블록은 복수의 계층 레벨 중 일부 계층 레벨에 배치된다. 도 3에 도시된 바와 같이, 복수의 기본 블록 유닛은, 서브 네트워크의 컨볼루션 레이어가 배치되는 가장 깊은 계층 레벨을 제외한 나머지 계층 레벨 각각에 배치된다.

동일한 계층 레벨에 배치된 다수의 기본 블록 유닛 중 일부는 인코더에 포함되고, 나머지는 디코더에 포함된다. 도 3에 도시된 바와 같이, 동일한 계층 레벨 상에 인코더 측에는 2개의 기본 유닛 블록, 1개의 맥스 풀링 레이어가 배치되고 디코더 측에는 2개의 기본 유닛 블록, 1개의 디컨볼루션 레이어가 배치될 수도 있다.

상기 인코더에서 컨볼루션 연산 처리를 통해 다양한 입력 해상도로부터 풍부하고 충분한, 혈액을 전달하는 신체 구성요소의 특징이 추출된다. 상기 특징은 픽셀이 상기 신체 구성요소의 특징(예컨대, 혈관 특징)인지 여부를 결정하는데 사용 가능한, 적어도 하나의 2차원 영상으로부터 획득 가능한 특징(features)이다.

특정 실시예들에서, 상기 신체 구성요소의 특징은 공간 특징(spatial features) 및 절편 사이 연결성(inter-slice connectivity)을 포함할 수도 있다.

상기 공간 특징은 자신의 베이스라인 모델(B)에 입력된 단일 2차원 절편 영상으로부터 추출 가능한 기하학적 특징으로서, 예를 들어 엣지, 포인트, 및/또는 굴곡(curvates) 등을 포함한다. 상기 공간 특징은, CNN과 같은 일반적인 딥러닝 모델에서 입력 영상으로부터 추출되는 특징에 대응한다.

상기 절편 사이 연결성은 자신의 베이스라인 모델(B)에 입력된 2차원 절편 영상과 인접한 다른 베이스라인 모델(B)에 입력된, 인접한 다른 2차원 절편 영상 사이의 연속 데이터의 맥락이다. 혈관의 주된 해부학적 역할은 누출 없이 혈액을 전달하는 것이다. 때문에, 혈관은 강력한 절편 사이 연결성(inter-slice connectivity)을 가진다. 분할 모델에 입력되는 영상 시퀀스는 어느 하나의 촬영 신체 지점으로부터 인접한 다음 촬영 신체 지점까지의 혈관의 연속 정보를 포함한다.

다시 도 2를 참조하면, 베이스라인 모델(B₀, …B_T-1)로 이루어진 네트워크 아키텍처를 포함한 분할 모델은 제1 데이터 처리 경로 및 제2 데이터 처리 경로를 가진다.

분할 모델에 영상 시퀀스가 입력되면, 상기 영상 시퀀스의 다수의 2차원 절편 영상 각각은 각 베이스라인 모델(B₀, …B_T-1)에 의해 처리된다.

개별 베이스라인 모델(B₀, …B_T-1)은 해당 입력 영상을 제1 데이터 처리 경로에 따라 처리하여 각 입력 영상별 공간 특징을 획득한다. 즉, 공간 특징은 제1 데이터 처리 경로를 통해 획득된다.

개별 베이스라인 모델(B₀, …B_T-1)은 해당 입력 영상을 제2 데이터 처리 경로에 따라 처리하여 각 입력 영상별 절편 사이 연결성을 획득한다. 즉, 절편 사이 연결성은 제2 데이터 처리 경로를 통해 획득된다.

상기 제1 데이터 처리 경로는 베이스라인 모델(B)의 인코더의 입력 단으로부터 디코더의 출력단으로 형성된 경로이다. 상기 제1 데이터 처리 경로는 일반적인 딥러닝 분야에서 활용되는 단일 인코더-디코더 구조 하에서의 데이터 처리 경로이다.

복수의 베이스라인 모델(B) 내 인코더는 분할 모델에 입력된 영상 시퀀스를 제1 데이터 처리 경로를 따라 처리하여 일련의 혈관의 공간 특징을 추출한다. 일련의 혈관의 공간 특징은 날실 가닥들(warp threads)처럼 나란히 복수의 인코더의 출력단으로부터 출력되어, 디코더로 입력된다.

상기 제2 데이터 처리 경로는 각 베이스라인 모델(B)의 서브 네트워크(예컨대, LSTM)를 통합하여 구현된다. 상기 제2 데이터 처리 경로는 분할 모델 내 복수의 베이스라인 모델(B₀, …B_T-1)의 서브 네트워크(예컨대, LSTM) 간에 양방향으로 형성된 경로를 포함한다.

상기 제2 데이터 처리 경로는 어느 하나의 베이스라인 모델(B)의 서브 네트워크의 입력단과 인접한 다른 하나의 베이스라인 모델(B)의 입력단 사이에 형성된다. 분할 모델의 입력 영상 시퀀스의 연속 영상으로부터 추출되어 출력되는, 제1 데이터 처리 경로가 생성한 정보의 흐름(즉, 날실 가닥들의 정보 흐름)을 가로질러 제2 데이터 처리 경로가 형성된다. 상기 양방향의 제2 데이터 처리 경로를 통해서 각 베이스라인 모델(B)의 인코더는 자신의 입력 영상에서의 공간 특징과 함께 인접한 다른 입력 영상들의 절편 사이 연결성을 추출한다.

도 2 및 도 3에서, 개별 베이스라인 모델(B₀, B₁…, B_T-1) 내 인코더는 가장 얕은 계층 레벨부터 가장 깊은 계층 레벨로 이루어진다. 각 인코더에서는 가장 얕은 계층 레벨(예컨대, 도 3의 제1 계층 레벨)로부터 가장 깊은 계층 레벨의 직전 계층 레벨(예컨대, 도 3의 제4 계층 레벨)까지의 제1 데이터 처리 경로의 일부를 통해 각 베이스라인 모델에 입력된 영상의 특징이 추출된다.

그러면, 가장 깊은 계층 레벨(예컨대, 도 3의 제5 계층 레벨의 서브 네트워크(예컨대, B_X의 LSTM))는 제1 데이터 처리 경로를 따라 진행한 이전 계층 레벨에서 출력된 데이터를 입력 받아, 자신의 베이스레벨 모델(B_X)의 입력 영상에서의 공간 특징을 최종적으로 추출한다.

그리고, 절편 사이 연결성을 추출하기 위해, 제5 계층 레벨의 서브 네트워크(예컨대, B_X의 LSTM)는 제2 데이터 처리 경로를 따라 진행한, 복수의 인접한 다른 베이스라인 모델의 이전 계층 레벨에서 출력된 데이터를 추가로 입력 받는다. 여기서, 복수의 인접한 다른 베이스라인 모델은, 제1 데이터 처리 경로와 제2 데이터 처리 경로를 통해 데이터를 획득하는 관심 베이스라인 모델(예컨대, B_X)을 기준으로 이전/이후의 복수의 다른 베이스라인 모델을 지칭한다. 다른 베이스라인 모델의 이전 계층 레벨은 최하위 계층 레벨의 직전 계층 레벨을 지칭한다. 인접한 다른 베이스라인 모델들의 전체 수(즉, M)는 아래에서 서술하는 하이퍼 파라미터 T의 값에 의존한다. 인접한 복수의 다른 베이스라인 모델의 규모는 T-1의 값을 가진다 (즉 M=T-1).

예를 들어, 하이퍼 파라미터 T가 5로 지정되면, 관심 절편 1개를 제외한 나머지 4개가 인접한 다른 절편들의 범위이다. 관심 베이스라인 모델은 이전의 다른 2개의 베이스라인 모델 및 이후의 다른 2개의 베이스라인 모델로부터 제2 데이터 처리 경로를 따라 절편 사이 연결성을 위한 데이터를 추가로 획득한다. 관심 베이스라인 모델(예컨대, B_X)에서 제5 계층 레벨의 서브 네트워크(예컨대, B_X의 LSTM)는, 베이스라인 모델(B_X)를 기준으로, (T-1)/2장의 이전 절편들이 입력되는 다른 베이스라인 모델들(예컨대, B_X-M/2, …, B_X-1)의 이전 계층 레벨에서 출력된 데이터 및 (T-1)/2장의 이전 절편들이 입력되는 다른 베이스라인 모델들(예컨대, B_X+1, …, B_X+M/2)의 이전 계층 레벨에서 출력된 데이터를 입력 받는다.

그러면, 현재의 관심 절편(예컨대, x번째 절편)이 입력되는 베이스라인 모델(예컨대, B_X)은 관심 절편을 기준으로 T-1개의 인접한 다른 베이스라인 모델들의 이전 계층 레벨에서 출력된 데이터를 입력 받아, 자신의 베이스레벨 모델(B_X)의 입력 영상에 대한 절편 사이 연결성을 최종적으로 추출함으로써, 베이스라인 모델(예컨대, B_X)이 다른 절편들에 대한 절편 사이 연관성을 학습하게 한다.

상기 절편 사이 연결성은 자신의 베이스라인 모델(B_X)의 서브 네트워크에 입력될 데이터(즉, B_X의 제4 계층 레벨의 출력 결과) 및 인접한 베이스라인 모델(B_X-M/2 내지 B_X+M/2)의 서브 네트워크에 입력될 데이터, 즉 B_X-M/2 내지 B_X+M/2 각각의 제4 계층 레벨의 출력 결과에 기초한다.

각 베이스라인 모델(B)의 디코더는 제1 데이터 처리 경로를 통해 획득된 공간 특징 그리고 제2 데이터 처리 경로를 통해 획득된 절편 사이 연결성에 기초하여 자신의 베이스라인 모델에 입력 2차원 절편 영상에서의 혈관 영역을 예측하도록 구성된다.

상기 제2 데이터 처리 경로를 형성하는 서브 네트워크는 인코더의 일부이다. 즉, 인코더 자체가 추출하는 전역 특징이 직접 확장된다. 상기 분할 모델은 전역 특징을 확장시키기 위해 인코더 외부의 추가적인 컨볼루션 레이어가 요구되지 않는다.

디코더는 입력 영상에서의 공간 특징과 함께 절편 사이 연결성에 기초하여 보다 정확한 확률 맵을 생성하고 보다 정확하게 혈관 영역을 예측한다. 디코더는 상기 확률 맵에 기초하여 입력 영상별 분할 마스크를 생성한다. 상기 분할 마스크의 영상은 2차원 절편 영상에서 혈관 영역을 필터링한, 2차원 혈관 영상에 대응한다.

일 실시예에서, 상기 분할 모델은 인코더와 디코더 사이의 스킵 연결(skip connections)을 더 포함할 수도 있다.

스킵 연결은 동일한 계층 레벨에 배치된 인코더 부분과 디코더 부분을 서로 연결한다. 스킵 연결은 인코더의 각 계층 레벨로부터 디코더의 각 계층 레벨로 영상 특징을 통과시킨다.

일 실시예에서, 스킵 연결은 복수의 계층 레벨 중에서 일부 계층 레벨에서의 인코더 부분과 디코더 부분을 서로 연결할 수도 있다. 도 3에 도시된 바와 같이, 베이스라인 모델(B)의 스킵 연결은 가장 깊은 계층 레벨을 제외한 나머지 계층 레벨의 인코더 부분과 디코더 부분을 각각 서로 연결한다.

상기 스킵 연결로 인해, 디코더의 혈관 예측 성능이 보다 향상될 수도 있다.

상기 분할 모델은 훈련 데이터 세트를 사용하여 입력 영상의 픽셀이 혈관인지를 예측하도록 학습되거나, 및/또는 예측 결과에 기초하여 분할 마스크를 생성하도록 학습된다. 이를 위해, 일부 실시예들에서, 상기 혈관 분할 장치(100)는 분할 모델을 학습하기 위한 학습부(200)를 더 포함할 수도 있다.

상기 훈련 데이터 세트는 복수의 훈련 샘플(training samples)을 포함한다. 각 훈련 샘플은 훈련 영상 데이터 및 해당 훈련 영상 데이터의 레이블을 포함한다. 상기 레이블은 해당 훈련 영상에서 픽셀이 혈관인지를 가리킨다.

상기 분할 모델의 파라미터는 분할 모델의 비용 함수가 최소가 되는 방향으로 학습된다. 여기서, 비용 함수는 모델이 산출한 결과 값과 실제 결과 값의 차이를 나타낸다.

이러한 파라미터의 학습은 통상적으로 최적화로 지칭된다. 파라미터의 최적화 방식은, 예를 들어 역전파(backpropagation), ADAM(Adaptive Moment Estimation), Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp, 다양한 경사 하강(gradient descent) 방식을 포함할 수도 있다.

또한, 상기 훈련 데이터 세트는 다수의 서브 세트를 포함할 수도 있다. 각 서브 세트는 3차원 체적 영상의 일부 또는 전부를 이루는 2차원 절편 영상을 훈련 영상으로 각각 포함한다.

일 실시예에서, 상기 서브 세트별 3차원 체적 영상은 두개골 체적 영상, 심장 체적 영상, 및/또는 간 체적 영상을 포함할 수도 있다.

일부 실시예들에서, 상기 훈련 데이터 세트는 동일한 신체 부분에 대한 다수의 서브 세트만을 포함할 수도 있다. 이 훈련 데이터 세트를 사용하여 분할 모델이 학습되면, 해당 분할 모델은 특정 체적에 위치한 특정 혈관을 분할하는데 특화된다. 예를 들어, 두개골 체적 영상만을 포함한 훈련 데이터 세트를 사용하면, 해당 분할 모델은 두개골 체적 영상에서 두개 내 동맥(intracranial artery)을 정확하게 분할할 수도 있다.

상기 훈련 데이터 세트가 적용된 분할 모델은 제1 데이터 처리 경로만을 통해 획득되는 특징을 사용하여 혈관 영역을 예측하기 위한 공간 특징을 학습한다. 또한, 상기 훈련 데이터 세트가 적용된 분할 모델은 상기 제2 데이터 처리 경로를 통해 획득되는 특징을 사용하여 혈관 영역을 예측하기 위한 절편 사이 연결성을 학습한다.

그러면, 상기 훈련 데이터 세트가 적용된 분할 모델 내부의 일련의 디코더는 공간 특징 및 절편 사이 연결성에 기초하여 혈관 영역을 예측하도록 학습된다.

일부 실시예에서, 상기 훈련 데이터 세트가 적용된 분할 모델 내부의 일련의 디코더는 공간 특징 및 절편 사이 연결성에 기초하여 분할 마스크를 예측하도록 학습될 수도 있다. 예를 들어, 임계 확률 값이 상기 훈련 데이터 세트를 사용하여 학습될 수도 있다.

상기 디코더의 디컨볼루션 레이어의 파라미터는 학습이 완료되면, 분할 마스크를 보다 잘 예측하도록 동적으로 최적화된 값을 가진다. 도 2의 일련의 베이스라인 모델(B₀, …B_T-1)은 학습이 완료되면 파라미터를 복수의 베이스라인 모델(B) 간에 서로 공유한다.

이와 같이, 상기 분할 모델의 파라미터는 단순히 제1 데이터 처리 경로를 통해 획득되는, 2차원 절편 영상 자체의 공간 특징에만 기초하여 혈관 영역을 예측하지 않는다. 상기 분할 모델은 대신에 제2 데이터 처리 경로를 통해 획득되는, 인접한 2차원 절편 영상들 사이의 특징인, 절편 사이 연결성에 추가로 기초하여 혈관 영역을 예측하도록 학습된다. 이로 인해, 분할 모델이 일정한 범위의 체적 영상에서 추출하는 특징을 2차원 평면 상의 특징으로부터 z축을 따른 특징까지 확장되어, 보다 정확한 혈관 영역의 학습 및 예측이 가능하다.

추가적으로, 상기 분할 모델은 하이퍼 파라미터 T, S를 가진다. 혈관 분할 장치(100)는 하이퍼 파라미터 T, S에 기초하여 분할 모델에 입력할 영상 시퀀스를 설정한다.

하이퍼 파라미터 T는 3차원 의료 영상에 표현된 3차원 체적을 이루는, N개의 2차원 절편 영상 전체 중에서 분할 모델이 한 번에 처리 가능한 영상 시퀀스의 규모를 나타낸다. 도 2에서 전술한 바와 같이, 영상 시퀀스를 이루는 2차원 절편 영상 각각이 복수의 베이스라인 모델(B)에 각각 입력되므로, T는 베이스라인 모델(B)의 수에 대응한다. 일 예시에서, 상기 하이퍼 파라미터 T의 값이 5로 설정되면, 5개의 2차원 절편 영상으로 이루어진 입력 영상 시퀀스가 한번에 입력되어 학습 및 예측을 위해 처리된다. 상기 일 예시에서, 5개의 2차원 절편 영상으로 이루어진 입력 영상 시퀀스가 한번에 입력되어 처리된 결과는 역전파되어 분할 모델의 파라미터가 업데이트된다.

한편, 하이퍼 파라미터 S는 이미 입력된 영상 시퀀스 다음에 입력될, 다음 영상 시퀀스에 포함될 2차원 절편 영상의 범위를 설정하기 위한 스트라이드 하이퍼 파라미터(stride hyperparameter)이다. 상기 하이퍼 파라미터S가 설정되면, 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S의 값 만큼 이동한 값이다.

상기 일 예시에서, 하이퍼 파라미터 T가 5로 설정된 분할 모델이 전체가 100장의 2차원 절편 영상으로 이루어진 3차원 체적에서 혈관 영역을 예측하는 상황을 가정해보자(여기서, 100장 중 가장 첫번째 영상의 인덱스는 1로 지정되었음). 첫 영상 시퀀스가 입력되면, 분할 모델은 첫 번째부터 다섯 번째까지의 2차원 절편 영상을 처리한다. 그 다음 입력되는 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스의 값은 1+S를 가지고, 그 다음 입력되는 영상 시퀀스의 마지막 2차원 절편 영상의 인덱스의 값은 1+S+T(즉, 1+S+5)를 가진다.

대안적인 실시예들에서, 상기 하이퍼 파라미터 S의 값은 학습 과정과 예측 과정별로 상이한 값으로 설정될 수도 있다. 분할 모델은 하이퍼 파라미터 S로서 학습 과정에서 활용되는 S_L, 예측 과정에서 활용되는 S_P를 가질 수도 있다.

도 4는, 본 발명의 일 실시예에 따른, 학습을 위해 영상 시퀀스를 입력하는 과정의 개략도이다.

학습부(200)는 보다 효율적인 학습을 위해 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다.

도 4를 참조하면, 상기 학습 과정에서의 하이퍼 파라미터 S_L의 값은 절편 사이 연결성에 관한 정보 량이 동일한 3차원 체적의 전체 범위 내에서 보다 증가하기 위한 값으로 설정된다.

일 실시예들에서, 상기 학습 과정에서의 하이퍼 파라미터 S_L의 값은 하이퍼 파라미터 T의 값 보다 작은 값으로 설정된다. 상기 일 예시에서, 하이퍼 파라미터 S_L의 값은 이미 설정된 하이퍼 파라미터 T의 값인 5 보다 적은 3으로 설정될 수도 있다. 그러면, 분할 모델에 입력되는 두 번째 영상 시퀀스의 첫번째 2차원 절편 영상는 인덱스 4를 가지고, 두 번째 영상 시퀀스의 마지막 2차원 절편 영상은 인덱스 8을 가진다.

이와 같이, 학습 과정에서 분할 모델은 3차원 체적을 이루는 전체 2차원 절편 영상 중 일부를 중복으로 입력 받는다. 그 결과, 분할 모델에 입력되는 절편 사이 연결성에 관한 정보가 일정한 3차원 체적 범위 내에서 보다 증가한다. 그러면, 클래스 훈련 단계가 비-혈관 영역에 의해 지배되는 것을 방지하고, 결국 비-혈관 픽셀이 혈관 클래스로 분류되는 분류되는 거짓-양성(false-negative) 경향이 감소된다.

도 5는, 본 발명의 일 실시예에 따른, 혈관 영역 예측을 위해 영상 시퀀스를 입력하는 과정의 개략도이다.

분할 처리부(130)는 보다 신속한 예측을 위해, 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다.

도 5를 참조하면, 상기 예측 과정에서의 하이퍼 파라미터 S_P의 값은 분할 모델이 3차원 체적에서 혈관 영역을 보다 신속하게 예측하기 위한 값으로 설정된다.

일 실시예에서, 상기 예측 과정에서의 하이퍼 파라미터 S_P의 값은 하이퍼 파라미터 T의 값과 동일한 값으로 설정될 수도 있다. 그러면, 전체 N개의 2차원 절편 영상으로 이루어진 3차원 체적을 최대한 빨리 처리할 수 있다.

또한, 분할 처리부(130)는 3차원 체적을 이루는 복수의 2차원 절편 영상 각각에 대한 분할 마스크를 생성하고, 이를 3차원 모델 생성부(150)로 공급할 수도 있다.

디 모델 생성부(150)는 일련의 분할 마스크에 기초하여 3차원 체적에서 분할된 혈관을 3차원으로 구현한, 3차원 혈관 모델을 생성한다.

3차원 모델 생성부(150)는 삼선형 보간법 기법을 통해 다수의 혈관 마스크로부터 3차원 혈관 모델을 생성할 수도 있으나, 이에 제한되진 않으며 다른 3차원 영상 모델링 기법을 통해 3차원 혈관 모델을 생성할 수도 있다.

상기 3차원 혈관 분할 장치(100)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 3차원 혈관 분할 장치(100)는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 3차원 의료 영상 구획화 방법은 프로세서를 포함한 컴퓨팅 장치(예를 들어, 도 1의 장치(100))에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해, 상기 도 1의 장치(100)에 의해 수행되는 실시예들에 기초하여 본 발명을 보다 상세하게 서술한다.

도 6은, 본 발명의 일 실시예에 따른, 혈액을 전달하는 신체 구성요소를 분할하는 방법의 흐름도이다.

도 6을 참조하면, 혈액을 전달하는 신체 구성요소를 분할하는 방법(이하, 혈관 분할 방법)은: 3차원 훈련 체적을 이루는 복수의 2차원 훈련 절편 영상을 포함한 훈련 데이터 세트를 사용하여, 분할 모델을 학습하는 단계(S610)를 포함한다. 상기 3차원 체적은 혈관 및/또는 혈액 공급 장기를 포함한다. 복수의 2차원 절편 영상은 CT(Computed Tomography) 데이터, MRI(Magnetic Resonance Imaging) 데이터, MRA(Magnetic Resonance Angiography) 데이터, PET(Positron Emission Tomography) 데이터, PET-CT(Positron Emission Tomography-Computed Tomography) 데이터, 또는 PET-MRI(Positron Emission Tomography-Magnetic Resonance Imaging) 데이터일 수도 있다.

단계(S610)에서 복수의 2차원 훈련 절편 영상의 일부 또는 전부가 영상 시퀀스로 입력된다.

상기 분할 모델은 복수의 베이스라인 모델(B)을 포함한다. 각 베이스라인 모델(B)은 인코더 및 디코더를 포함한다. 인코더는 복수의 컨볼루션 레이어 및 복수의 풀링 레이어를 포함한다. 디코더는 복수의 컨볼루션 레이어 및 복수의 디컨볼루션 레이어를 포함한다.

일 실시예에서, 각 베이스라인 모델(B) 내 인코더는 네트워크의 유닛 간의 연결이 순환적인 서브 네트워크를 적어도 하나의 컨볼루션 레이어로서 포함할 수도 있다. 상기 서브 네트워크를 갖는 컨볼루션 레이어는, 예를 들어 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및/또는 GRU을 포함할 수도 있다.

또한, 상기 서브 네트워크를 갖는 컨볼루션 레이어는 그 컨볼루션 레이어의 출력 데이터가 디코더의 입력단으로 진행하는 위치에 배치될 수도 있다.

일 실시예에서, 상기 인코더는 공간 특징 및 절편 사이 연결성을 혈관 특징으로 추출할 수도 있다. 단계(S610)의 학습을 통해 인코더의 파라미터는 공간 특징 및 절편 사이 연결성을 추출하는데 보다 적합한 값으로 업데이트된다.

상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 일부 컨볼루션 레이어를 포함한다. 제1 데이터 처리 경로를 통해 처리된 데이터(예컨대, 이전 계층 레벨에서의 특징)가 인코더 내 서브 네트워크로 적용되어 공간 특징이 출력된다.

상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제2 데이터 처리 경로는 인접한 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성된다. 자신의 베이스라인 모델(B)의 제1 데이터 처리 경로를 통해 처리된 데이터 및 인접한 다른 베이스라인 모델(B) 간의 제2 데이터 처리 경로를 통해 전달된 데이터가 인코더 내 서브 네트워크로 적용되면 상기 절편 사이 연결성이 출력된다.

일 실시예에서, 상기 디코더는 공간 특징 및 절편 사이 연결성에 기초하여 입력 영상별 혈관 영역을 예측할 수도 있다. 단계(S610)의 학습을 통해 디코더의 파라미터는 공간 특징 및 절편 사이 연결성에 기초하여 입력 영상별 혈관 영역을 예측하는데 보다 적합한 값으로 업데이트된다.

일 실시예에서, 상기 디코더는 예측 결과(즉, 예측된 혈관 영역)에 기초하여 분할 마스크를 생성할 수도 있다. 단계(S610)의 학습을 통해 디코더의 파라미터는 입력 영상별 예측 결과에 기초하여 분할 마스크를 생성하는데 보다 적합한 값으로 업데이트될 수도 있다.

분할 모델 및 개별 베이스라인 모델(B)에 대해서는 도 2 및 도 3을 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다.

일 실시예에서, 상기 단계(S610)는: 훈련 3차원 체적을 이루는, N1개의 2차원 훈련 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 하이퍼 파라미터 T에 기초하여 지정됨; 및 N1개의 2차원 훈련 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다.

여기서, 하이퍼 파라미터 T는 분할 모델에 포함된 복수의 베이스라인 모델(B)의 수로 설정될 수도 있다.

단계(S610)에서 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S_L의 값 만큼 이동한 값이다. 단계(S610)에서 영상 시퀀스의 범위의 이동 및 입력은 복수의 2차원 훈련 절편 영상이 모두 분할 모델에 입력될 때까지 계속된다.

일 실시예에서, 상기 하이퍼 파라미터 S_L은 T 보다 작은 값으로 설정될 수도 있다. 이러한 하이퍼 파라미터 S_L에 대해서는 도 4를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다.

상기 혈관 분할 방법은: 3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여, 혈관 특징을 추출하고 입력된 2차원 절편 영상 각각에서의 혈관 영역을 예측하는 단계(S630)를 포함한다.

일 실시예에서, 상기 혈관 특징은 공간 특징 및 절편 사이 연결성을 포함할 수도 있다. 단계(S630)에서 사용되는 공간 특징은 제1 데이터 처리 경로를 통해 획득된 것이고, 절편 사이 연결성은 제2 데이터 처리 경로를 통해 획득된 것이다.

그러면, 학습이 완료된 분할 모델의 복수의 디코더 각각은 공간 특징 및 절편 사이 연결성에 기초하여 2차원 대상 절편 영상에서 혈관 영역을 예측한다.

일 실시예에서, 상기 혈관 분할 방법은: 복수의 베이스라인 모델(B)의 디코더에 의해 예측 결과에 기초하여 일련의 분할 마스크를 생성하는 단계(S640)를 더 포함할 수도 있다. 이 경우, 디코더는 예측 결과에 기초하여 분할 마스크를 생성하도록 더 구성된다.

일 실시예에서, 상기 단계(S630)는: 3차원 대상 체적을 이루는, N2개의 2차원 대상 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 상기 하이퍼 파라미터 T에 기초하여 지정됨; 및 N2개의 2차원 대상 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다.

상기 3차원 대상 체적을 이루는 2차원 대상 절편 영상의 개수N2는 상기 3차원 훈련 체적을 이루는 2차원 훈련 절편 영상의 개수 N1과 반드시 동일할 필요가 없다.

단계(S630)에서 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S_P의 값 만큼 이동한 값이다. 단계(S630)에서 영상 시퀀스의 범위의 이동 및 입력은 복수의 2차원 대상 절편 영상이 모두 분할 모델에 입력될 때까지 계속된다.

일 실시예에서, 상기 하이퍼 파라미터 S_P은 T 와 동일한 값으로 설정될 수도 있다. 이러한 하이퍼 파라미터 S_P에 대해서는 도 5를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다.

일 실시예에서, 상기 혈관 분할 방법은: 복수의 2차원 대상 절편 영상별 분할 마스크의 적어도 일부에 기초하여 3차원 대상 체적의 적어도 일부의 3차원 모델을 생성하는 단계(S650)를 더 포함할 수도 있다.

도 7a 내지 도 7c는, 도 2의 분할 모델을 사용한 3차원 혈관 모델과 상기 비특허문헌 1의 딥러닝 모델을 사용한 3차원 혈관 모델을 도시한다.

도 7a 내지 도 7c의 좌측 영상은 입력되는 3차원 대상 영상에 표현된 3차원 대상 체적을 도시한다. 도 7a 내지 도 7c의 가운데 영상은 비특허문헌 1의 3D U-Net 모델을 사용한 3차원 혈관 모델에 의한 분할 결과를 도시한다. 도 7a 내지 도 7c의 우측 영상은 도 2의 분할 모델을 사용하여 생성된 3차원 혈관 모델에 의한 분할 결과를 도시한다. 도 7에서 노란색은 참-양성(true-positive), 빨간색은 거짓-양성(false-positive), 파란색은 거짓-음성(false-negative)을 각각 나타낸다. 도 7에서 괄호의 숫자는 DSC(dice similarity coefficient) 및 IoU(Intersection-over-union)에 대한 평균 값이다.

도 7a는 뇌 MRA 혈관 레이블을 갖는 3차원 의료 영상을 두 모델에 입력한 결과이다. 도 7b는 복부 CT의 혈관 레이블을 갖는 3차원 의료 영상을 두 모델에 입력한 결과이다. 도 7c는 심장 MRI의 심실벽 레이블을 갖는 3차원 의료 영상을 두 모델에 입력한 결과이다.

도 7에서 노란색의 비율이 높을수록 분할 성능이 더 정확한 모델이다. 분할 성능이 더 정확한 모델이 보다 높은 DSC, IoU 값을 가진다. 도 7a 내지 도 7c에 도시된 바와 같이, 도 2의 분할 모델은 종래의 3D U-Net 모델 보다 더 정확한 3차원 혈관 모델을 생성한다. 도 2의 분할 모델은 공간 특징 및 절편 사이 연결성과 같이 확장된 전역 특징들을 학습 및 예측 동작에 사용함으로써, 혈관 영역 또는 심실벽 영역을 보다 정확하게 예측할 수 있다.

이상에서 설명한 실시예들에 따른 3차원 혈관 분할 장치 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (15)

1. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 혈액을 전달하는 신체 구성요소를 분할하는 방법에 있어서,
   3차원 훈련 체적을 이루는 복수의 2차원 훈련 절편 영상을 포함한 훈련 데이터 세트를 사용하여, 분할 모델을 학습하는 단계; 및
   3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 입력된 2차원 절편 영상 각각에서의 상기 신체 구성요소의 영역을 예측하는 단계를 포함하되,
   상기 분할 모델은 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하는 것을 특징으로 하는 방법.
   
2. 제1항에 있어서, 각 베이스라인 모델 내 인코더는 네트워크의 유닛 간의 연결이 순환적인 서브 네트워크를 적어도 하나의 컨볼루션 레이어로서 포함하며,
   상기 서브 네트워크는 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및 GRU 중 하나 이상을 포함하는 것을 특징으로 하는 방법.
   
3. 제2항에 있어서,
   상기 인코더는 공간 특징 및 절편 사이 연결성을 상기 신체 구성요소의 특징으로 추출하고,
   상기 디코더는 상기 공간 특징 및 절편 사이 연결성에 기초하여 개별 베이스라인 모델에 입력된 2차원 절편 영상에서의 상기 신체 구성요소의 영역을 예측하도록 구성되며,
   상기 공간 특징은 자신의 베이스라인 모델에 입력된 영상에서 추출된 특징이고,
   상기 절편 사이 연결성은 자신의 베이스라인 모델에 입력된 영상과 인접한 복수의 다른 영상 사이의 연속 정보에 기초한 맥락인 것을 특징으로 하는 방법.
   
4. 제3항에 있어서,
   상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 컨볼루션 레이어를 포함하고,
   상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제2 데이터 처리 경로는 인접한 복수의 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성되는 것을 특징으로 하는 방법.
   
5. 제1항에 있어서,
   상기 2차원 절편 영상별 예측 결과에 기초하여 2차원 절편 영상별 분할 마스크를 생성하는 단계; 및
   상기 분할 마스크에 기초하여 3차원 상기 신체 구성요소의 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
   
6. 제1항에 있어서, 상기 분할 모델을 학습하는 단계는,
   3차원 훈련 체적을 이루는, N₁개의 2차원 훈련 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 분할 모델에 포함된 복수의 베이스라인 모델의 수로 설정된 하이퍼 파라미터T에 기초하여 지정됨; 및
   N₁개의 2차원 훈련 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함하고,
   상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S_L의 값 만큼 이동한 값인 것을 특징으로 하는 방법.
   
7. 제6항에 있어서,
   상기 하이퍼 파라미터 S_L은 상기 하이퍼 파라미터 T 보다 작은 값으로 설정되는 것을 특징으로 하는 방법.
   
8. 제1항에 있어서, 상기 신체 구성요소의 영역을 예측하는 단계는,
   상기 3차원 대상 체적을 이루는, N₂개의 2차원 대상 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 상기 하이퍼 파라미터 T에 기초하여 지정됨; 및
   N₂개의 2차원 대상 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함하고,
   상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S_P의 값 만큼 이동한 값인 것을 특징으로 하는 방법.
   
9. 제8항에 있어서,
   상기 하이퍼 파라미터 S_P는 상기 하이퍼 파라미터 T와 동일한 값으로 설정된 것을 특징으로 하는 방법.
   
10. 제1항 내지 제9항 중 어느 하나의 항에 따른 방법을 수행하게 하는 명령어를 저장하는 컴퓨터 판독가능 저장매체.
    
11. 혈액을 전달하는 신체 구성요소를 분할하는 장치에 있어서,
    3차원 대상 체적을 이루는 복수의 2차원 대상 절편 영상을 포함한, 3차원 의료 영상을 획득하는 영상 획득부; 및
    상기 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 각 2차원 대상 절편 영상별 상기 신체 구성요소의 영역을 예측하는 분할 처리부;를 포함하되,
    상기 분할 모델은, 각각 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하는 것을 특징으로 하는 장치.
    
12. 제11항에 있어서, 상기 3차원 의료 영상은,
    CT(Computed Tomography) 데이터, MRI(Magnetic Resonance Imaging) 데이터, MRA(Magnetic Resonance Angiography) 데이터, PET(Positron Emission Tomography) 데이터, PET-CT(Positron Emission Tomography-Computed Tomography) 데이터, 또는 PET-MRI(Positron Emission Tomography-Magnetic Resonance Imaging) 데이터인 것을 특징으로 하는 장치.
    
13. 제11항에 있어서, 상기 분할 처리부는,
    상기 복수의 디코더에 의해, 2차원 대상 절편 영상별 예측 결과에 기초하여 분할 마스크를 생성하도록 더 구성되는 것을 특징으로 하는 장치.
    
14. 제13항에 있어서,
    상기 2차원 대상 절편 영상별 분할 마스크에 기초하여 3차원 상기 신체 구성요소의 모델을 생성하는 모델 생성부를 더 포함하는 것을 특징으로 하는 장치.
    
15. 제11항에 있어서,
    상기 신체 구성요소는 혈관 및 혈액 공급 장기 중 적어도 하나를 포함하며,
    상기 혈액 공급 장기는 심실 및 심방 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.

Images