KR20220092687A

KR20220092687A - 인공지능을 이용한 심근 영역 자동 분할 방법

Info

Publication number: KR20220092687A
Application number: KR1020200183000A
Authority: KR
Inventors: 이송이; 권기욱; 박지용; 이규형
Original assignee: 주식회사 팬토믹스
Priority date: 2020-12-24
Filing date: 2020-12-24
Publication date: 2022-07-04

Abstract

본 발명은 심장 영상에서 심근 영역의 분할 방법에 관한 것으로 본 발명에 따른 인공지능을 이용한 심근 영역 자동 분할 방법은 RF(Radio Frequency) 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는 단계; 및 상기 T1 맵 내 심근 영역을 분할하고자 하는 기준 영역에 따라 분할하는 신경망을 이용하여 분할(Segmentation) 결과를 출력하는 단계를 포함하고, 상기 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습된 것이 바람직하다. 본 발명에 따르면 신경망을 이용하여 심장 영역을 정확하고 신속하게 심장 내 심근 영역을 분할함으로써, 영상 판독에 이용되는 리소스를 줄일 수 있다.

Description

인공지능을 이용한 심근 영역 자동 분할 방법{Method for segmentation myocardium region using Artificial Intelligence}

본 발명은 심장 영상에서 심장 영역의 분할 방법에 관한 것이다.

다양한 분자영상기술(molecular imaging techniques) 중에서 자기공명영상(magnetic resonance imaging; MRI)은 조직 주변(lattice)을 둘러싸고 있는 분자들과 수소원자(proton) 간의 상호작용(interaction)에 기반하여 매우 우수한 해부학적 영상을 제공해 줄 수 있기 때문에 가장 강력하고 비-침습적인 진단 수단중의 하나로 여겨지고 있다.

최근의 자기공명영상은 기존의 해부학적 단층 영상 뿐 아니라 생체 물리량을 정량적으로 측정할 수 있도록 영상기술들이 개발되고 있다. MRI에서 측정할 수 있는 생체 물리량은 인체 조직에서의 고주파 펄스에 따른 수소 원자의 자기회복 시간, 혈류속도, 확산, 관류 등이 대표적이며 비침습적으로 안전하고 정확하게 측정이 가능하다.

이 중 자기회복의 성분 별 특징 통해 조직간의 대조도를 만들 수 있는데 이러한 회복 시간의 차이는 분자수준에서 조직의 질병을 정량적으로 평가할 수 있는 생체 물리량으로서 적극 활용되고 있다.

또한, 이때의 물리량의 차이에 추가적인 특징을 반영하여 다양화 함으로써 각 질병에 특화된 영상을 생성하는 것도 가능하다.

예를 들어, 심장에 대하여 심장 자기공명영상(cardiac magnetic resonance imaging) 촬영을 통해 심장 수축기와 이완기의 움직임을 볼 수 있으며, 전체적인 심장의 기능 뿐만 아니라 국소적인 심장의 기능을 평가할 수 있다.

다만, 이러한 영상을 통한 진단을 위해서는 추가적인 작업이 필요한데 예를 들어 심장의 경우 심근 영역을 영상 내에서 판독하여 구분할 필요가 있다. 또한, 보다 정확한 진단을 위해서는 심장의 해부학적 위치 및 다양한 촬영 각도에 따라 촬영된 복수의 영상에 대하여 공통된 영역의 구분이 필요하며 따라서 작업자의 숙련도에 따라 진단 결과가 영향을 받게 되는 문제가 있다.

이상 본 발명에 따른 심근 영역 자동 분할 방법은 딥러닝 기반의 학습된 신경망을 통해 심장의 영역을 분할하는 방법을 제안하는 것을 목적으로 한다.

또한, 본 발명은 보다 높은 예측율을 갖도록 심장 영역의 분할을 위한 신경망의 구체적인 학습 방법을 제안하는 것을 목적으로 한다.

또한, 본 발명은 심장 진단에 활용되는 MRI 영상을 이용하여 신경망의 학습 데이터를 확보하는 방법을 제안하는 것을 목적으로 한다.

또한, 본 발명은 학습된 신경망을 통해 심장 관련 질환을 진단할 수 있는 방법을 제안하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능을 이용한 심근 영역 자동 분할 방법은 RF(Radio Frequency) 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는 단계; 및 상기 T1 맵 내 심근 영역을 분할하고자 하는 기준 영역에 따라 분할하는 신경망을 이용하여 분할(Segmentation) 결과를 출력하는 단계를 포함하고, 상기 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습된 것이 바람직하다.

상기 신경망은 입력 영상 내 픽셀 값에 대한 컨볼루션 연산을 통해 특징 값을 산출하는 제1 네트워크와, 상기 산출된 특징 값에 대한 디컨볼루션 연산을 통해 상기 입력 영상 크기의 분할 결과 값을 산출하는 제2 네트워크로 구성되는 것이 바람직하다.

상기 제1 및 제2 네트워크는 컨볼루션 또는 디컨볼루션 연산 단계에 따라 상호 대칭 구조를 가지며, 상기 제2 네트워크는 디컨볼루션 출력 값과 대응되는 상기 제1 네트워크의 컨볼루션 단계의 출력값을 합성(concatenate)하여 특징 맵을 생성하는 것이 바람직하다.

상기 T1 맵은 심박의 주기와 상기 RF 펄스의 인가 시점을 동기화하고, 상기 RF 펄스의 인가 후 심박의 주기에 따라 복수의 중간 맵을 획득하고 상기 획득된 중간 맵을 이용하여 심장 조직의 회복 시간을 픽셀 단위로 정규화된 곡선으로 커브 피팅함으로써 생성되는 것이 바람직하다.

상기 T1 세트는 상기 T1 맵 또는 상기 중간 맵의 픽셀 값을 양성자(proton) 밀도 값으로 변환된 양성자 밀도 맵을 더 포함한다.

상기 T1 세트는 상기 픽셀 별 커브 피팅된 곡선을 이용하여 임의의 회복률에 따른 회복 시간을 픽셀 단위로 매핑하여 생성된 추가 맵을 더 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능을 이용한 심근 영역 자동 분할 장치는 RF 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는 T1 맵 입력부; 및 상기 T1 맵 내 심근 영역을 분할하는 신경망을 이용하여 분할 결과를 출력하는 심근 영역 분할부를 포함하고, 상기 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습된 것이 바람직하다.

상기 분할 결과로 세그멘테이션 맵을 입력으로 심근 질환 관련 진단 결과를 출력하는 진단부를 더 포함하고, 상기 진단부는 상기 신경망의 세그멘테이션 맵의 특징에 따른 분류(Classification) 결과를 출력하도록 학습된 추가 뉴럴 네트워크 또는 신경망을 포함한다.

상기 T1 맵은 심박의 주기와 상기 RF 펄스의 인가 시점을 동기화하고, 상기 RF 펄스의 인가 후 심박의 주기에 따라 복수의 중간 맵을 획득하고 상기 획득된 중간 맵을 이용하여 심장 조직의 회복 시간을 픽셀 단위로 정규화된 곡선으로 커브 피팅함으로써 생성하는 것이 바람직하다.

본 발명에 따르면 신경망을 이용하여 심장 영역을 정확하고 신속하게 심장 내 심근 영역을 분할함으로써, 영상 판독에 이용되는 리소스를 줄일 수 있다.

또한, 본 발명은 영상을 판독하는 작업자의 숙련도와 무관하게 통일된 심장 영역 분할 결과를 획득하고, 이를 통해 진단 과정을 간소화할 수 있으며 진단의 신뢰도를 높일 수 있다.

또한, 본 발명은 MRI 촬영 과정에서 획득되는 다양한 영상을 학습에 이용함으로 써 신경망의 학습 성능을 높이고 외부 환경 변화에 강인한 성능을 갖도록 한다.

도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 심근 영역 자동 분할 시스템을 개략적으로 도시하는 도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 심근 영역 자동 분할 방법의 흐름을 도시하는 도이다.
도 3 내지 4는 본 발명의 일 실시예에 따른 인공지능을 이용한 심근 영역 자동 분할 방법을 수행하는 신경망의 구성을 예시하는 도이다.
도 5는 본 발명의 일 실시예에 따른 심근 영역 자동 분할을 위한 신경망의 학습 방법의 흐름을 도시하는 도이다.
도 6 내지 9는 본 발명의 일 실시예에 심근 영역 자동 분할을 위한 신경망의 학습 데이터를 예시하는 도이다.
도 10은 본 발명의 일 실시예에 따른 심근 영역 자동 분할 장치를 나타내는 도이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

자기공명영상(magnetic resonance imaging; MRI), 즉 MRI는 자기장에 의해 종축자화된 원자를 반전회복 RF 펄스를 사용하여 반전시킨 이후 지수곡선 형태로 회복되는 회복 과정상의 성분을 구분하여 성분에 따른 회복 시간을 산출할 수 있다. 피검체로부터 발생되는 신호를 k 공간(k - space)에서 스캔하여 MRI 신호를 획득하고, 위 획득한 MRI 신호를 변환하여 MRI 영상을 획득한다.

구체적으로 자기회복의 성분 별 특징을, 가해지는 RF(Radio Frequency) 펄스에 대한 변수로 예를 들어 TR(Time to repetition), TE(Time to echo))를 조절하는 것을 통해 강조할 수 있다.

이때, TR은 RF 펄스의 반복 시간을 말한다. TR은 공명 신호를 얻기 위해 사용되는 RF 펄스를 생성하는 시간 간격을 말하고, 주로 종축 완화(longitudinal relaxation, 스핀-격자(Spin-Lattice))량을 결정한다.

TE는 신호 발생 시간으로 RF 펄스를 출력한 뒤 에코 신호를 얻기까지의 시간을 말한다. TE는 횡축 평면 상으로 회복되는 스핀의 분산(탈위상)의 정도(스핀-스핀(Spin-Spin))를 결정한다.

이때, T1은 RF 펄스가 주입된 후 반전된 이후 처음 상태의 63%의 평균자화가 종축 방향으로 형성될 때까지의 시간을 T1이완 시간으로 정의된다.

T2는 횡축 평면의 평균자화가 탈위상(Dephasing)에 의해 처음의 37%까지 감소하는데 걸리는 시간으로 정의된다.

즉, 이상의 시간을 RF 펄스의 TR과 TE를 다양하게 하여 측정함으로써 T1 강조(Weighted) 이미지 또는 T2 강조 이미지를 생성할 수 있다.

구체적으로 본 발명에서는 T1 강조 이미지로 생성된 T1 맵 및 TR에 따라 촬영된 복수의 중간 맵을 이용하여 내 심장의 영역을 신경망을 통해 분할하는 방법에 대하여 설명한다.

이하, 도 1을 참조하여 보다 상세히 설명한다.

도 1을 참조하면, 본 실시예에 따른 신경망(200)을 통한 심근 영역 자동 분할 방법을 수행하는 심근 분할 장치(100)는 MRI 장치(1000)와 연동되어 구성될 수 있다.

MRI 장치(1000)는 상술한 바와 같이 자기장과 RF 펄스를 촬영자(10)의 인체에 가하게 되며 수소 원자의 특정 축방향의 자화 및 반전 후의 회복 과정 상 특징을 추출한다. MRI 장치(1000)는 회복 과정에서 수신되는 신호를 이용하여 MRI 영상을 생성함으로 써 비침습 영상 획득 및 진단이 가능하도록 한다.

본 실시예에서 심근 분할 장치(100)는 T1 맵 입력부와 심근 영역 분할(Segmentation)부로 구성될 수 있다.

즉, MRI 장치(1000)는 자기장의 방향에 따라 종축자화된 원자를 반전회복 RF 펄스를 사용하여 반전시킨 이후 지수곡선 형태로 회복되는 스핀-격자 회복 과정상의 회복률에 따른 T1 회복 시간을 산출할 수 있다. 촬영자(10)의 심장으로부터 발생되는 T1 값을 k 공간에서 스캔하여 MRI 신호로 획득하고, 획득한 MRI 신호를 픽셀 단위로 매핑하여 T1 맵을 생성한다.

T1 맵 입력부는 생성된 T1 맵을 입력 받거나, 직접 T1 시간을 통해 T1 맵을 생성하는 것도 가능하다.

T1 맵을 통해 심장 질환의 진단을 위해서는 영상내 심장(심근, myocardium) 영역 분할이 중요하며, 따라서 완벽한 정량적 분석을 위해서는 많은 수의 영상을 정확히 분할해야 한다.

다만, 이러한 분할 과정은 판독자의 숙련도와 집중도에 따라 영향을 받으므로 자동화를 통해 보다 공통된 기준으로 정확한 분할을 수행할 필요가 있다.

따라서, 본 실시예에서 심근 영역 분할부는 T1 맵을 신경망(200)의 입력으로 심근 영역을 분할한다. 신경망(200)은 보다 정확한 분할을 위해 다양한 학습 데이터를 통해 학습을 수행하고 이를 통해 심근 영역의 예측 성능을 높인다.

이하, 도 2를 참조하여 본 실시예에 따른 신경망(200)을 통한 심장 영역 분할 방법에 대하여 보다 상세히 설명한다.

먼저, RF(Radio Frequency) 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는다(S100).

상술한 바와 같이 T1 맵은 촬영자의 심장으로부터 발생되는 T1 값을 k 공간에서 스캔하여 MRI 신호로 획득하고, 위 획득한 MRI 신호를 픽셀 단위로 매핑하여 T1 맵을 생성한다.

이때, 심장의 조직 별 회복 시간을 픽셀단위로 측정하는 경우 심장의 심박에 따른 심근의 자연적인 움직임이 영향을 미칠 수 있으므로 본 실시예에서는 조직 별 회복에 따른 신호를 심박 주기와 동기화 하여 신호를 획득할 수 있다. 구체적으로 ECG 신호의 피크를 기준으로 할 수 있으며 이에 대해서는 후술하여 보다 상세히 설명한다.

다음 획득된 T1 맵을 이용하여 T1 맵 내 심근 영역을 분할(Segmetation) 하는 신경망(200)을 이용하여 분할 결과를 출력한다(S200).

도 3을 참조하면, 본 실시예에서 신경망(200)은 합성곱 연산을 수행하는 레이어의 적층 구조로 구성된 CNN(Convolution Neural Network) 모델로 구현될 수 있다.

CNN 모델 내부의 컨볼루션 레이어들은 입력된 T1 맵(210) 내의 특징 값 들과 레이어 내 필터를 합성곱 하며 이를 통해 분할하고자 하는 객체가 갖는 특징들을 강조하여 출력한다. 출력된 특징 맵에 대해서는 다시 업 샘플링 과정을 통해 입력 T1 맵 영상 크기에 따른 픽셀 단위의 객체 위치 정보를 출력함으로써 분할 결과(220)를 출력한다.

구체적으로 본 실시예에서 신경망(200)은 분할 결과를 보다 높은 해상도로 출력하기 위하여 컨볼루션을 수행하는 제1 네트워크와 업 샘플링을 수행하는 제2 네트워크로 구성하되 각 네트워크의 단계를 상호 대칭 구조로 구성할 수 있다.

네트워크의 세부 구조에 대해서는 도 4를 참조하여 보다 상세히 설명한다.

도 4를 참조하면, 본 실시예에 따른 신경망(200)은 입력 영상 내 픽셀 값에 대한 컨볼루션 연산을 통해 특징 값을 산출하는 제1 네트워크와, 상기 산출된 특징 값에 대한 디컨볼루션 연산을 통해 상기 입력 영상 크기의 분할 결과 값을 산출하는 제2 네트워크로 구성될 수 있다.

이때 제1 네트워크는 입력된 T1 맵(210)에 대하여 심근 영역의 특성이 컨볼루션 연산을 통해 강조된 특징 맵을 단계적으로 출력한다. 또한, 특징 맵은 맥스 풀링(Max-pooling)에 의해 크기가 축소될 수 있으며 채널의 수는 연산되는 필터에 따라 확장될 수 있다.

최종적으로 제1 네트워크에서 생성된 특징맵은 상호 대칭 구조를 갖는 제2 네트워크를 통해서 다시 재 확장될 수 있다.

제2 네트워크는 채널의 수를 축소시키는 대신에 영상의 크기를 디(업)컨볼루션을 통하여 확장시킬 수 있다.

이때 제2 네트워크의 각 단계는 디컨볼루션을 통해 확장된 크기의 영상과 제1 네트워크의 대응되는 단계의 출력값을 이용하여, 컨볼루션 연산을 수행하고 단계별 특징 맵을 생성한다.

즉, 제2 네트워크는 디컨볼루션 결과값과 대응되는 상기 제1 네트워크의 컨볼루션 단계의 출력값을 합성(concatenate)하고, 합성된 영상에 대해 컨볼루션 연산을 수행하여 특징맵을 생성한다.

이상의 과정 역시, 제1 네트워크에 대응되는 단계 마다 반복 수행될 수 있으며 바람직하게는 입력 T1 맵의 크기와 제2 네트워크에서 출력되는 특징맵의 크기가 동일해질 때까지 수행될 수 있다. 제2 네트워크의 최종 특징맵은 2가지 영역의 분할 결과를 출력할 수 있으며, 구체적으로 본 실시예에서 신경망(200)은 심장의 조직을 심근의 내측과 외측 영역으로 구분하여, 분할 결과를 세그멘테이션 맵(220)으로 출력할 수 있다.

나아가, 본 실시예에서 신경망(200)은 다양한 학습 데이터의 확보를 위해 T1 맵 외 T1 맵의 생성에 이용되는 중간 맵들을 학습 데이터 세트인 T1 세트로 구성할 수 있다.

이하, 본 실시예에 따른 신경망(200)의 학습에 대하여 설명한다.

본 실시예에서 신경망(200)은 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습될 수 있다.

따라서, 도 5를 참조하면 본 실시예에서는 심장 박동 주기와 RF 펄스 동기화에 따른 복수의 중간 맵을 획득한다(S10).

즉, 심장의 경우 심전도(ECG, electrocardiogram)라는 심장에서 발생하는 전기적 신호를 측정하여 심박의 운동 주기를 측정할 수 있는데, 예를 들어 ECG 신호 중 특정 파형을 중심으로 박동 주기를 판단할 수 있다. 구체적으로는 QRS 군 중에서 최고점을 나타내는 R파를 이용하여 R파와 다음 신호의 R파의 간격으로 정의도는 RR 간격을 단위로 중간 맵을 획득함으로써, 심박의 영향을 최소화하여 영상을 획득할 수 있다.

구체적으로 도 6을 참조하면 RF 펄스가 가해진 후 RR 간격의 특정 시점의 신호를 복수로 측정할 수 있다.

첫 번째 RF 펄스가 가해진 후 제1 반전이 발생하면, RR 간격에 따라 반복하여 심장 조직 내 원자들의 종축 방향의 회복 신호를 측정함으로써 복수의 부분 이미지를 획득할 수 있다.

이때, 획득되는 이미지의 개수(5개)는 미리 결정될 수 있으며, 이미지 획득 후 회복 구간을 통해 원자들이 회복되었음을 전제로 2차 RF 펄스를 가하고 제2 반전이 발생하면 RR 간격에 따라 복수의 부분 이미지(3개)들을 T1 생성을 위한 중간 맵으로 획득할 수 있다.

다음, 획득된 부분 이미지들을 이용하여 T1 맵을 생성한다(S20).

구체적으로 도 7를 참조하면, 도 7에 따라 복수로 획득된 8장의 부분 이미지(A~E)(72) 들 내의 심장 조직들의 회복 시간을 픽셀 단위로 매핑하고, 회복 시간을 정규화된 곡선(74)으로 피팅할 수 있다.

반전회복(IR) 펄스를 사용하여 수소 원자들이 평형 상태인 +M0에서 180도 회전하여 -M0로 반전된다. 이 후 촬영 후 영상 획득을 시작하는 시간 간격으로 TI(inversion time)를 조절하는데 TI시간에 따라서 반전 수소 원자들이 +M0로 회복하는 정도가 달라지며 MRI 영상들의 대조도가 달라진다.

즉, 심장 조직 내 수소 원자들의 반전 후의 종축 회복량을 복수의 부분 이미지 내 픽셀 단위로 측정하고, 이를 지수함수의 형태로 피팅할 수 있다.

커브 피팅을 위한 곡선은 3개의 파라미터(A,B,T1) 모델로 정의될 수 있다. 곡선은 T1에 따른 시간 값 t를 지수 함수의 입력으로 갖고, 시간 t에 따른 수소 원자의 상태 S(t)는 아래의 수학식 1로 정의된다.

[수학식 1]

S(t)= A-Bexp(-t/T₁)

이상의 수학식으로 산출된 곡선을 통해 각 심장 조직의 기준 회복률에 따른 회복 시간을 K-공간 내에 픽셀로 매핑하여 최종 T1 맵을 생성할 수 있다.

이때, T1 맵과 T1 맵의 생성에 이용된 중간 맵들은 모두 동일한 심장에 대하여 촬영된 이미지 이므로 하나의 학습 세트로 구성하여 심장 영역의 분할을 수행하는 신경망(200)의 학습 데이터로 이용한다.

또한, 영상의 특징을 다각화하기 위해 추가적인 영상 처리를 통해 학습 데이터의 증강(augmentation)시키는 것도 가능하다.

도 8을 참조하면, 학습 데이터로 T1 세트는 상기 T1 맵 또는 상기 중간 맵의 픽셀 값을 양성자(proton) 밀도 값으로 변환된 양성자 밀도 맵을 생성할 수 있다(S30).

또한, 도 9를 참조하면 T1 맵의 생성을 위해 피팅된 곡선을 이용하여 임의의 추가 맵들을 더 생성하는 것도 가능하다.

예를 들어 기준 회복률을 63%로 정의하여, 이때 소요되는 시간을 T1 맵으로 정의하는 것 뿐만 아니라 다양한 회복률에 따른 시간들을 측정함으로써 추가 중간 맵(92)들을 생성하고 추가 맵 내의 심근 영역을 레이블링 함으로써 학습 데이터를 증강시킬 수 있다.

또한, 본 실시예에서 중간 맵 또는 추가 맵들의 획득 주기를 ECG 신호를 기준으로 동기화 함으로써 동일하거나 유사한 간격으로 획득할 수 있도록 하고, 따라서 레이블링의 오차를 줄임으로 써 학습 데이터의 생성 과정에 소요되는 시간과 비용을 줄일 수 있다.

이상의 과정을 통해 생성된 다양한 중간 맵 및 추가 맵에 대한 심근 영역의 레이블링 결과를 학습 데이터로 T1 세트를 구성하고, 신경망(200)을 학습시킨다(S40). 따라서 학습된 신경망(200)은 다양한 환자 별 심장 영상에 대해서도 강인한 성능을 가질 수 있으며 또한, 기기 별 특징을 반영하도록 촬영된 영상을 영상 처리를 통해 학습 데이터로 활용함으로 써 MRI 촬영 기기 별 특징이 반영된 심장 영상에 대해서도 강인한 성능을 갖도록 한다.

이하, 도 10을 참조하여 본 실시예에 따른 심장 분할 방법을 수행하는 장치에 대하여 설명한다.

본 실시예에 따른 심장 분할 장치는 T1 맵 입력부(110), 심근 영역 분할부(120) 및 진단부(130)를 포함한다.

T1 맵 입력부(110)는 RF 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는다.

심근 영역 분할부(120)는 상기 T1 맵 내 심근 영역을 분할하는 신경망을 이용하여 분할 결과를 출력한다.

본 실시예서 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습될 수 있다.

즉 T1 맵의 생성을 위해 심장 내 수소 원자를 포함하는 조직들의 회복 시간 별 회복율을 소정의 시간 간격에 따라 촬영한 중간 맵과, 조직들의 회복 시간을 지수함수 형태로 수식화 함으로써 각 조직의 기준 회복률에 따른 회복 시간 T1을 추정하여 생성한 T1 맵을 하나의 학습 세트로 이용하여 신경망을 학습시킬 수 있다.

따라서, 별도의 학습 데이터의 수집 없이 T1 맵의 생성에 이용되는 영상들을 그대로 활용하여 신경망의 학습에 이용할 수 있다.

또한 추가적으로 본 실시예에서는 T1 맵의 영상 처리를 통하여 픽셀의 특징을 변화시킴으로 써 다양한 학습데이터를 증강시킬 수 있다.

예를 들어, T1 세트는 상기 T1 맵 또는 상기 중간 맵의 픽셀 값을 양성자(proton) 밀도 값으로 변환된 양성자 밀도 맵을 더 포함할 수 있으며, T1 맵의 생성을 위해 피팅 된 곡선을 이용하여 임의의 추가 맵들을 더 생성하는 것도 가능하다

진단부(130)는 분할된 심근 영역의 특징을 이용하여 심근 관련 질환을 판단할 수 있다. 또한 진단부는 별도의 신경망을 이용하여 분할된 세그멘테이션 맵을 입력으로 심근 영역의 특징이나 변화를 파악함으로 써 진단 결과를 출력할 수 있으며, 또는 상술한 신경망에 추가적인 제3 네트워크 형태로 완전 연결 네트워크 및 소프트 맥스 함수를 통해 진단 분류에 따른 분류(Classification)를 출력하도록 구성되는 것도 가능하다.

이상 본 발명에 따르면 신경망을 이용하여 심장 영역을 정확하고 신속하게 심장 내 심근 영역을 분할함으로써, 영상 판독에 이용되는 리소스를 줄일 수 있다.

나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

RF(Radio Frequency) 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는 단계; 및
상기 T1 맵 내 심근 영역을 분할하고자 하는 기준 영역에 따라 분할하는 신경망을 이용하여 분할(Segmentation) 결과를 출력하는 단계를 포함하고,
상기 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습된 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법.
제 1 항에 있어서,
상기 신경망은 입력 영상 내 픽셀 값에 대한 컨볼루션 연산을 통해 특징 값을 산출하는 제1 네트워크와, 상기 산출된 특징 값에 대한 디컨볼루션 연산을 통해 상기 입력 영상 크기의 분할 결과 값을 산출하는 제2 네트워크로 구성되는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법.
제 2 항에 있어서,
상기 제1 및 제2 네트워크는 컨볼루션 또는 디컨볼루션 연산 단계에 따라 상호 대칭 구조를 가지며,
상기 제2 네트워크는 디컨볼루션 출력 값과 대응되는 상기 제1 네트워크의 컨볼루션 단계의 출력값을 합성(concatenate)하여 특징 맵을 생성하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법.
제 1 항에 있어서,
상기 T1 맵은 심박의 주기와 상기 RF 펄스의 인가 시점을 동기화하고,
상기 RF 펄스의 인가 후 심박의 주기에 따라 복수의 중간 맵을 획득하고 상기 획득된 중간 맵을 이용하여 심장 조직의 회복 시간을 픽셀 단위로 정규화된 곡선으로 커브 피팅함으로써 생성되는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법.
제 4 항에 있어서,
상기 T1 세트는 상기 T1 맵 또는 상기 중간 맵의 픽셀 값을 양성자(proton) 밀도 값으로 변환된 양성자 밀도 맵을 더 포함하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법.
제 4 항에 있어서,
상기 T1 세트는 상기 픽셀 별 커브 피팅된 곡선을 이용하여 임의의 회복률에 따른 회복 시간을 픽셀 단위로 매핑하여 생성된 추가 맵을 더 포함하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법.
RF 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는 T1 맵 입력부; 및
상기 T1 맵 내 심근 영역을 분할하는 신경망을 이용하여 분할 결과를 출력하는 심근 영역 분할부를 포함하고,
상기 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습된 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 장치.
제 7 항에 있어서,
상기 분할 결과로 세그멘테이션 맵을 입력으로 심근 질환 관련 진단 결과를 출력하는 진단부를 더 포함하고,
상기 진단부는 상기 신경망의 세그멘테이션 맵의 특징에 따른 분류(Classification) 결과를 출력하도록 학습된 추가 뉴럴 네트워크 또는 신경망을 포함하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 장치.
제 7 항에 있어서,
상기 T1 맵은 심박의 주기와 상기 RF 펄스의 인가 시점을 동기화하고,
상기 RF 펄스의 인가 후 심박의 주기에 따라 복수의 중간 맵을 획득하고 상기 획득된 중간 맵을 이용하여 심장 조직의 회복 시간을 픽셀 단위로 정규화된 곡선으로 커브 피팅함으로써 생성하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 장치.
제 9 항에 있어서,
상기 T1 세트는 상기 T1 맵 또는 상기 중간 맵의 픽셀 값을 양성자(proton) 밀도 값으로 변환된 양성자 밀도 맵을 더 포함하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 장치.
제 10 항에 있어서,
상기 T1 세트는 상기 픽셀 별 커브 피팅된 곡선을 이용하여 임의의 회복률에 따른 회복 시간을 픽셀 단위로 매핑하여 생성된 추가 맵을 더 포함하는 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 장치.
RF 펄스로 반전된 심장 조직 내 양성자의 기준 회복률에 따른 회복 시간을 2차원 공간 내 픽셀 단위로 매핑하여 생성된 T1 맵을 입력 받는 단계; 및
상기 T1 맵 내 심근 영역을 분할하고자 하는 기준 영역에 따라 분할하는 신경망을 이용하여 분할(Segmentation) 결과를 출력하는 단계를 포함하고,
상기 신경망은 상기 T1 맵 및 상기 T1 맵의 생성을 위해 심박의 주기를 단위로 복수 촬영하여 획득된 중간 맵으로 구성된 T1 세트를 이용하여 학습된 것을 특징으로 하는 인공지능을 이용한 심근 영역 자동 분할 방법을 수행하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체.