KR20220127958A

KR20220127958A - 두 단계 비지도 학습 기반 뉴럴 네트워크를 이용한 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치

Info

Publication number: KR20220127958A
Application number: KR1020210032380A
Authority: KR
Inventors: 예종철; 정형진; 차은주; 선우준
Original assignee: 한국과학기술원; 서울대학교병원
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2022-09-20
Also published as: KR102514709B1

Abstract

두 단계 비지도 학습 기반 뉴럴 네트워크를 이용한 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 방법은 아티팩트를 포함하는 자기공명혈관의 코로날(coronal) 영상들을 수신하는 단계; 최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성하는 단계; 상기 재구성된 3차원 볼륨을 이용하여 액시얼(axial) 영상들을 생성하는 단계; 및 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 단계를 포함한다.

Description

두 단계 비지도 학습 기반 뉴럴 네트워크를 이용한 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치 {3D TIME-OF-FLIGHT MAGNETIC RESONANCE ANGIOGRAPHY IMAGE PROCESSING METHOD USING NEURAL NETWORK BASED ON TWO-STAGE UNSUPERVISED LEARNING AND APPARATUS THEREFOR}

본 발명은 3차원 비행시간 자기공명혈관영상(TOF-MRA) 처리 기술에 관한 것으로, 보다 구체적으로는 두 단계 비지도 학습 기반의 뉴럴 네트워크를 이용하여 3차원 비행시간 자기공명혈관영상의 품질을 향상시킬 수 있는 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치에 관한 것이다.

비행시간 자기공명 혈관촬영술(TOF-MRA)은 조영제 주입 없이도 혈액 흐름을 시각화하는 임상 상황에서 널리 사용된다. 여기서 스핀이 영상 슬라이스로 들어가는 플로우 관련 강화 현상을 이용하여 혈관과 주변 조직 사이의 대비를 증폭시킨다.

2D TOF에서는 플로우 보정 경사-에코 시퀀스를 사용하여 여러 개의 얇은 영상 슬라이스를 획득하는 반면, 3D TOF에서는 슬라이스 선택 방향으로 위상 부호화하여 영상 볼륨을 동시에 획득한다. 이 영상들은 기존의 혈관촬영술과 유사한 혈관의 3D 영상을 얻을 수 있도록 최대 강도 투사법(MIP)을 사용하여 결합할 수 있다. 따라서, TOF-MRA는 두개 내 동맥(intracranial arteries)의 협착이나 폐색 감지를 위해 엄청나게 유용한 생리학적 정보를 제공한다.

TOF-MRA 스캔을 할 때 k-공간을 완전히 포착하는 것은 고통스러울 정도로 시간이 많이 소요되며, 특히 큰 볼륨을 커버해야 하는 3D 스캔의 경우 더욱 그렇다. 또한 늘어난 스캔 시간 동안 환자가 움직이면 영상에 아티팩트가 발생한다. 따라서 MR 스캔을 가속화하면 환자 처리량이 증가하고 모션 아티팩트의 문제가 해결된다.

긴 스캔 시간을 줄이기 위해 k-공간을 하위 샘플링할 수 있지만 k-공간 언더 샘플링은 이후 앨리어싱(aliasing) 아티팩트를 야기한다. 이 문제를 해결하기 위해 여러 수신기 코일을 활용하여 서로 다른 수신기 코일의 정보를 병합하여 k-공간 데이터가 누락된 것을 보상할 수 있다. 이러한 병렬 MRI(pMRI) 기법은 임상 실습에서 일상적으로 사용된다.

TOF-MRA의 경우, 압축 감지(CS) 알고리즘도 혈관촬영도의 고유 특성인 원본 영상 영역의 희소성(sparsity)을 이용하여 광범위하게 연구되어 왔다. 더욱이, pMRI와 연계한 CS의 적용은 광범위하게 조사되었다. CS-MRI는 MRI 재구성에 있어 그 효과를 보였지만, 이 방법의 반복적인 성질은 느리고 연산 비용이 올라가게 된다. 게다가 주어진 데이터 분포로부터 학습하지 못하는 것도 단점이다.

최근, 계산 시간을 현저히 줄이면서 CS-MRI에 비해 우수한 성능을 보이는 MR 재구성을 위해 수많은 딥 러닝 알고리즘이 제안되었다. 적대적 생성망(GAN)도 MR 재구성 컨텍스트에서 재구성 품질을 더 강화하기 위해 주로 조사되었다.

그럼에도 불구하고 대부분의 딥 러닝 접근방식은 뉴럴 네트워크를 제대로 트레이닝시키기 위해 대량의 일치된 완전 샘플링 스캔이 제공되어야 하는 지도 학습 프레임워크이다. 이는 일치된 완전한 샘플링 참조 데이터를 동일한 조건에서 획득해야 하기 때문에 뉴럴 네트워크 트레이닝에서 근본적인 도전을 부과하는데, 이는 임상 환경에서 항상 가능한 것이 아니다.

본 발명의 실시예들은, 두 단계 비지도 학습 기반의 뉴럴 네트워크를 이용하여 3차원 비행시간 자기공명혈관영상의 품질을 향상시킬 수 있는 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 자기공명혈관영상 처리 방법은 아티팩트를 포함하는 자기공명혈관의 코로날(coronal) 영상들을 수신하는 단계; 최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성하는 단계; 상기 재구성된 3차원 볼륨을 이용하여 액시얼(axial) 영상들을 생성하는 단계; 및 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 단계를 포함한다.

상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크 각각은 비매칭 데이터를 포함하는 트레이닝 데이터셋을 이용하여 학습될 수 있다.

상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크 각각은 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.

상기 최종 3차원 볼륨을 재구성하는 단계는 상기 생성된 액시얼 영상들 중 깊이 방향에 따라 미리 설정된 개수의 액시얼 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 상기 액시얼 영상들에 남아있는 아티팩트를 제거하여 상기 최종 3차원 볼륨을 재구성할 수 있다.

나아가, 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 방법은 상기 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성하는 단계를 더 포함할 수 있다.

본 발명의 다른 일 실시예에 따른 자기공명혈관영상 처리 방법은 아티팩트를 포함하는 자기공명혈관의 제1 플레인 영상들을 수신하는 단계; 최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 제1 플레인 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 제1 플레인 영상들을 생성하여 3차원 볼륨을 재구성하는 단계; 상기 재구성된 3차원 볼륨을 이용하여 제2 플레인 영상들을 생성하는 단계; 및 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 제2 플레인 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 단계를 포함한다.

상기 최종 3차원 볼륨을 재구성하는 단계는 상기 생성된 제2 플레인 영상들 중 깊이 방향에 따라 미리 설정된 개수의 제2 플레인 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 상기 제2 플레인 영상들에 남아있는 아티팩트를 제거하여 상기 최종 3차원 볼륨을 재구성할 수 있다.

나아가, 본 발명의 다른 일 실시예에 따른 자기공명혈관영상 처리 방법은 상기 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 자기공명혈관영상 처리 장치는 아티팩트를 포함하는 자기공명혈관의 코로날(coronal) 영상들을 수신하는 수신부; 최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성하는 제1 복원부; 상기 재구성된 3차원 볼륨을 이용하여 액시얼(axial) 영상들을 생성하는 생성부; 및 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 제2 복원부를 포함한다.

상기 제2 복원부는 상기 생성된 액시얼 영상들 중 깊이 방향에 따라 미리 설정된 개수의 액시얼 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 상기 액시얼 영상들에 남아있는 아티팩트를 제거하여 상기 최종 3차원 볼륨을 재구성할 수 있다.

상기 제2 복원부는 상기 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성할 수 있다.

본 발명의 실시예들에 따르면, 두 단계 비지도 학습 기반의 뉴럴 네트워크를 이용하여 3차원 비행시간 자기공명혈관영상의 품질을 향상시킬 수 있다. 즉, 본 발명은 3차원 자기공명혈관조영술 영상의 영상 가속화를 위해 두 단계로 최적운송기반(Optimal Trnasport) cycleGAN(OT-cycleGAN)을 적용할 수 있으며, 비지도 학습이 가능하기에 가속화되지 않은 정답 영상이 많이 필요하지 않다는 장점이 있다.

본 발명의 실시예들에 따르면, 자기공명혈관 근원영상(MRA source image)뿐만 아니라 최대강도투사영상(Maximum intensity projection image: MIP image)의 질도 향상시키기 위해 투사 판별기(projection discriminator)를 추가로 제공함으로써, 영상의 질을 비약적으로 높일 수 있다.

본 발명의 실시예들에 따르면, 자기공명 혈관조영술을 촬영하는 장비에 직접적으로 탑재하여 영상 획득 속도를 비약적으로 높이면서도 영상의 질을 크게 저해하지 않은 상태로 좋은 영상의 질을 획득할 수 있으며, 이러한 본 발명은 MRI, CT 등 3차원 영상 재구성에도 적용이 가능한 일반적인 기술로, 여러 의료영상 분야에서 응용할 수 있다.

본 발명의 실시예들에 따르면, 뉴럴 네트워크를 이용한 영상 재구성 기법이기에 기존에 여러 의료기기에서 이용되고 있는 압축 센싱 기법에 비해 영상 재구성에 걸리는 시간을 현저히 단축할 수 있으며, 특정 가속화 이상으로 했을 때 영상의 질이 저해되는 문제로 인해 가속화에 제약이 있던 부분을 본 발명을 통해 해결할 수 있고, 더 높은 가속화 조건에서도 높은 질의 영상을 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 비지도 학습에 대한 기하학적 뷰를 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 가속화에 따른 언더 샘플리에서 사용되는 샘플링 마스크에 대한 일 예시도를 나타낸 것이다.
도 4는 본 발명의 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 방법에서 사용되는 두 단계의 트레이닝 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 두 단계에서 사용되는 생성기에 대한 뉴럴 네트워크 아키텍처에 대한 일 예시도를 나타낸 것이다.
도 7은 두 단계에서 사용되는 판별기에 대한 뉴럴 네트워크 아키텍처에 대한 일 예시도를 나타낸 것이다.
도 8은 본 발명의 방법에 의한 최대강도투사 영상에 대한 일 예시도를 나타낸 것이다.
도 9는 기존 방법과 본 발명의 방법에 의한 재구성 결과를 비교한 일 예시도를 나타낸 것이다.
도 10은 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 장치에 대한 구성을 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예들은, 두 단계 비지도 학습 기반의 뉴럴 네트워크를 이용하여 3차원 비행시간 자기공명혈관영상의 품질을 향상시키는 것을 그 요지로 한다.

여기서, 본 발명은 아티팩트 예를 들어, 앨리어싱 아티팩트를 포함하는 자기공명혈관의 코로날(coronal) 영상들이 수신되면, 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 뉴럴 네트워크(이하, "제1 뉴럴 네트워크"라 칭함)를 이용하여 수신된 코로날 영상들 즉, 코로날 슬라이스 영상들에 포함된 아티팩트를 제거한 후 3차원 볼륨을 재구성하며, 재구성된 3차원 볼륨을 이용하여 액시얼 영상들 즉, 액시얼 슬라이스 영상들을 생성한 후 이렇게 생성된 액시얼 영상들에 남아 있는 아티팩트를 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 뉴럴 네트워크(이하, "제2 뉴럴 네트워크"라 칭함)를 이용하여 제거함으로써, 자기공명혈관 영상에 대한 최종 3차원 볼륨을 재구성할 수 있다.

본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크, 풀링(pooling) 계층과 언풀링(unpooling) 계층을 포함하는 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있으며, 이 뿐만 아니라 본 발명에 적용 가능한 다양한 종류의 뉴럴 네트워크를 포함할 수 있다.

컨볼루션 프레임렛은 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 의미하는 것으로, 딥 컨볼루션 뉴럴 네트워크의 블랙박스 특성을 밝히기 위해 딥 컨볼루션 프레임렛의 새로운 수학 이론에 대한 연구(Ye, JC., Han, Y., Cha, E.: Deep convolutional framelets: a general deep learning framework for inverse problems. SIAM Journal on Imaging Sciences 11(2), 991-1048(2018))에 상세하게 설명되어 있다.

최근 연구에서는 최적 운송 이론을 이용하여 일반 역 문제에 대해 다양한 유형의 비지도 학습 아키텍처를 설계하기 위한 체계적 프레임워크를 제안하였으며, 희소성 Fourier 샘플에서 단일 코일 2D MR 재구성에 대한 예비 결과도 제공하였다. 그 결과 네트워크 아키텍처는 cycleGAN과 유사하지만, 영상물리학에 대한 지식은 네트워크 아키텍처와 트레이닝 계획을 상당히 단순화할 수 있다.

본 발명은 이 아이디어를 확장함으로써, 샘플링되지 않은 3D TOF-MRA 스캔의 재구성을 목표로 하는 새로운 다중 평면 딥러닝 기법을 제공한다. 3D 학습을 위한 대규모 GPU 메모리와 트레이닝 데이터 요건을 극복하기 위해, 본 발명은 2D 공간에서 연속적인 두 번의 비지도 트레이닝 단계로 구성된 새로운 아키텍처를 제공할 수 있다. 첫 번째 단계는 복잡한 다중 코일 데이터를 트레이닝 계획에 통합하여 슬라이스별로 수행하는 코로날 플레인에서 MRA 스캔을 재구성하는 것이다. 재구성의 두 번째 단계에서는 새로 도입된 투사 판별기와 함께 스택형 3D 재구성을 통해 특히 최대강도 투사(MIP) 영상의 측면에서 재구성의 품질을 더욱 높이는 것이다. 본 발명의 2단계 비지도 학습 계획의 중요한 장점 중 하나는 각 뉴럴 네트워크가 서로 다른 세트의 짝이 아닌 트레이닝 데이터로 트레이닝될 수 있다는 것이며, 이는 트레이닝 목적에 사용할 수 있는 데이터의 효용성을 최대화한다는 것이다.

따라서, 본 발명의 기여는 다음과 같이 요약할 수 있다.

(1) 코로날 플레인과 액시얼 플레인에서 각각 3D 재구성을 위한 2단계 비지도 학습 과정이 제공되며, 이러한 순차적 학습 과정은 특히 4차원(3개 공간, 1개 코일)이 있는 3D MR 가속화에 유용하다.

(2) 볼륨 및 최대 풀 영상 분포를 모두 학습하는 투사 판별기가 제공된다. 이 판별기는 재구성의 2단계에서 사용되며, 특히 MIP 영상의 측면에서 영상의 품질을 크게 향상시키는 것을 증명한다.

(3) 최적 운송 이론을 이용하여 네트워크 아키텍처를 도출함으로써, GAN형 알고리즘에서 흔히 관찰되는 원하지 않는 아티팩트 형상을 탑다운 방식으로 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 방법은 아티팩트 예를 들어, 앨리어싱 아티팩트를 포함하는 자기공명혈관의 제1 플레인 영상들 예를 들어, 코로날(coronal) 영상들을 수신하고, 최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성한다(S110, S120).

단계 S120에 의해 3차원 볼륨이 재구성되면, 재구성된 3차원 볼륨을 이용하여 제2 플레인 영상들 예를 들어, 액시얼(axial) 영상들을 생성하고, 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성한다(S130, S140).

여기서, 본 발명의 방법에서 제1 뉴럴 네트워크와 제2 뉴럴 네트워크 각각은 비매칭 데이터를 포함하는 트레이닝 데이터셋을 이용하여 학습될 수 있으며, 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.

이 때, 단계 S140은 생성된 제2 플레인 영상들 중 깊이 방향에 따라 미리 설정된 개수 예를 들어, 7개의 제2 플레인 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 제2 플레인 영상들에 남아있는 아티팩트를 제거하여 최종 3차원 볼륨을 재구성할 수 있다.

나아가, 본 발명의 방법은 단계 S140에 의해 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성할 수도 있다.

이러한 본 발명의 방법에 대하여 도 2 내지 도 9를 참조하여 상세히 설명하면 다음과 같다.

CycleGAN의 기하학

아래 <수학식 1>의 측정 모델을 고려한다.

[수학식 1]

Y = Fx

여기서, y ∈ Y와 x ∈ X는 각각 측정값과 알 수 없는 영상을 의미하며, F: X→Y는 알 수 있거나 부분적으로 알 수 있거나 완전히 알 수 없는 영상 연산자를 의미할 수 있다.

영상 x와 측정 y 쌍의 관계를 배우는 것이 목표인 지도 학습과는 대조적으로, 비지도 학습 프레임 워크에서는 일치하는 영상 측정 쌍이 없다. 그러나, 본 발명은 영상 세트와 손상되지 않은 측정값을 가질 수 있으므로, 비지도 학습은 도 2에 도시된 바와 같이 각 개별 샘플이 아닌 확률 분포와 일치시키는 것이다. 이는 두 공간 사이에 확률 측정치를 전송하는 운송 맵을 찾으면 된다.

최적운송기반 cycleGAN은, 매칭되는 데이터가 있을 때만 적용할 수 있는 지도학습(supervised learning)과는 다르게, 매칭되는 데이터가 없을 때에도 일반적으로 적용이 가능하다는 장점이 있으며, 특히 자기공명영상 재구성의 경우에는, cycleGAN에 이용하는 생성기 하나를, 자기공명영상의 물리적 특징을 이용해 결정된 하나의 연산으로 대체할 수 있다는 장점이 있어, 트레이닝에 필요한 어려움은 줄이고 트레이닝에 필요한 데이터에 대한 의존성을 낮춘 채 좋은 성능을 얻을 수 있다는 장점이 있다.

그런 점에서 최적 운송(OT; optimal transport)은 CycleGAN에 의한 비지도 학습의 기하학을 이해하기 위한 엄격한 수학적 도구를 제공한다. 최적 운송 이론에서 비지도 학습에 대한 기하학적 관점은 도 2와 같다. 여기서 목표 영상 공간 X에는 확률 측정값 μ이 있는 반면, 원래 영상 공간 Y에는 확률 측정값 ν가 갖추어 있다. 짝으로 이루어진 데이터가 없기 때문에 비지도 학습의 목표는 각 개별 샘플이 아닌 확률 분포를 일치시키는 것이다. 측정값 μ를 ν로 전송하는 운송 맵을 찾거나 그 반대를 찾으면 된다.

보다 구체적으로, 측정 공간 (Y, ν)에서 다른 측정 공간 (X, μ)로의 운송은 θ에 파라미터화된 딥 뉴럴 네트워크에 의해 구현되는

생성기에 의해 수행된다. 그런 다음, 생성기 G_θ는 Y에서 측정 ν를 대상 공간 X의 측정 μ_θ로 밀고 나간다. 마찬가지로, (X, μ)에서 (Y, ν)로의 운송은 다른 뉴럴 네트워크 생성기 F_φ에 의해 수행되므로, 생성기 F_φ가 X에서 측정 μ를 원래 공간 Y의 측정 ν_φ로 밀고 나간다. 그런 다음, 비지도 학습을 위한 최적 운송 맵은 μ와 μ_G 사이의 통계적 거리 dist(μ, μ_G) 및 ν와 ν_F 사이의 통계 거리 dist(ν, ν_F)를 최소화함으로써 달성될 수 있으며, 본 발명은 Wasserstein-1 메트릭을 통계적 거리를 측정하기 위한 수단으로 사용할 수 있다.

보다 구체적으로, X에서 메트릭 d(x, x') = ||x-x'||를 선택하는 경우, μ와 μ_G 사이의 Wasserstein-1 메트릭은 아래 <수학식 2>와 같이 계산될 수 있다.

[수학식 2]

여기서

는 각각 X와 Y의 한계 분포가 μ 및 ν인 공동 측정값의 집합을 의미할 수 있다.

마찬가지로, ν와 ν_F 사이의 메트릭은 아래 <수학식 3>과 같이 계산될 수 있다.

[수학식 3]

공동분포 π로 대표되는 운송 맵을 찾는 것이 목표이므로 상기 수학식 2와 수학식 3의 별도 최소화는 바람직하지 않다. 대신, 동일한 공동분포 π과 함께 최소화해야 하며, 아래 <수학식 4>와 같이 나타낼 수 있다.

[수학식 4]

여기서, 운송 비용은 아래 <수학식 5>와 같이 나타낼 수 있다.

[수학식 5]

이 때, 상기 수학식 4에서 비지도 학습의 원시적 공식화가 운송 비용과 함께 아래 <수학식 6> 및 <수학식 7>과 같이 이중 공식으로 나타낼 수 있다.

[수학식 6]

[수학식 7]

여기서, λ > 0은 하이퍼 파리미터를 의미하며, 사이클 일관성 항의 손실은 아래 <수학식 8>과 같이 나타낼 수 있고, 판별기 항의 손실은 아래 <수학식 9>와 같이 나타낼 수 있다.

[수학식 8]

[수학식 9]

여기서, φ와 ψ는 종종 Kantorovich 포텐셜이라고 불리며 1-Lipschitz 조건인 아래 수학식을 만족시킬 수 있다.

또한 포워드 연산자 F가 알려진 경우 상기 수학식 6의 F에 대한 최적화는 더 이상 필요하지 않으며, 이는 아래 <수학식 10>과 같은 단순화된 판별기 항의 손실로 나타낼 수 있다.

[수학식 10]

본 발명의 방법은 2단계 재구성 방법에 이 두 가지 형태의 최적 운송 구동 사이클 GAN(OT-CycleGAN)이 유용하다는 것을 보여준다.

포워드 모델

가장 널리 사용되는 3D TOF 기법 중 하나는 MOTSA로, MOTSA는 Multiple Overlapping Thin Slab Acquisition을 의미한다. MOTSA는 겹치는 여러 3D 볼륨(또는 슬래브(slabs))의 순차적 포착을 포함한다. 각 슬래브에는 비교적 적은 수의 슬라이스가 포함되어 있어 포화 효과로 인한 신호 손실은 상대적으로 제한적이다. 그러나 포화 효과로 인해 신호의 일부 변동은 여전히 엔드 슬라이스에서 발생하므로 MOTSA는 MRA 투사로 처리할 최종 데이터셋을 구성하기 위해 중복 획득 각각에 대한 중앙 부분만 추출한다. 엔드 슬라이스는 일반적으로 폐기되거나 인접한 MOTSA 섹션의 슬라이스와 함께 평균화된다.

가속 MOTSA 획득에서 3D 스캔은 코로날 플레인에서 볼 때 도 3에 도시된 바와 같이 동일한 샘플링 마스크를 가지고 있다. 판독 방향을 따라 푸리에 변환을 수행하면 아래 <수학식 11>과 같은 포워드 문제가 발생한다.

[수학식 11]

여기서, x는 아래 <수학식 12>과 같이 정의될 수 잇다.

[수학식 12]

여기서, C는 코일 수를 의미하고,

는 2D 공간 푸리에 변환을 의미하며,

는 도 3과 같은 샘플링 마스크

의 투사 연산자를 의미할 수 있다.

2단계 비지도 3D TOF 재구성

도 3과 같이 코로날 플레인을 따라 샘플링 계획을 통해 얻은 상기 수학식 11의 주어진 포워드 모델의 경우, 재구성은 코로날 플레인 방향에서도 수행되어야 한다. 하지만, 이는 방사선사가 일반적으로 액시얼 플레인에서 영상을 검토하며 재구성 평면이 방사선사가 보는 평면과 정렬되지 않기 때문에 문제를 일으키므로 코로날 플레인 방향에서 남아 있는 재구성 아티팩트가 진단 성능을 저하시킬 수 있다. 이를 3D 학습으로 해결할 수 있지만 3D 뉴럴 네트워크 트레이닝을 위한 메모리 요건은 사용을 금지하는 표준 GPU 메모리보다 훨씬 크다.

따라서, 본 발명의 방법은 2단계 접근방식으로, 1단계 재구성은 도 4a에 도시된 바와 같이 코로날 방향을 따라 수행되며, 2단계에서 액시얼 방향 미세화가 이루어진다. 이 때, 1단계에서 코로날 방향에 따라 수행된 영상은 그 사이즈가 조절되어 2단계가 이루어질 수 있다. 특히, 네트워크 설계에 유용한, 일치된 참조 데이터 없이 이 두 단계 재구성을 수행하는 것이 강조하고 싶은 점이다.

명제 1. 상기 수학식 4의 원시 OT 문제에 대한 운송 비용은 아래 <수학식 13>과 같이 계산된다고 가정한다.

[수학식 13]

여기서,

는 결정론적 선형(또는 비선형) 연산자를 의미하고, b와 c는 결정론적 선형(또는 비선형) 함수를 의미한다. 즉 b_x: X→R과 b_y: Y→R이다. 그 후, 해당 이중 OT 문제는 아래 <수학식 14> 및 <수학식 15>와 같이 나타낼 수 있다.

[수학식 14]

[수학식 15]

이 때, 사이클 일관성 항의 손실은 아래 <수학식>과 같이 나타낼 수 있고, 판별기 항의 손실은 아래 <수학식 16>과 같이 나타낼 수있다.

[수학식 16]

1-Lipschitz 함수 φ, ψ와 함께 마지막 두 항은 아래 <수학식>과 같이 주어질 수 있다.

1단계: 코로날 플레인 재구성

명제 1을 사용하여 본 발명의 방법을 도출할 수 있다. 첫째, X와 Y의 차원을 동일하게 만들기 위해 상기 수학식 11의 포워드 모델은 먼저 역 푸리에 변환을 취함으로써 영상 영역 포워드 공식으로 변환될 수 있으며, 아래 <수학식 17>과 같이 나타낼 수 있다.

[수학식 17]

여기서,

을 의미하고,

은 역 푸리에 변환을 의미할 수 있다. 그런 다음 운송 비용은 아래 <수학식 18>과 같이 정의될 수 있다.

[수학식 18]

여기서, α와 β는 적합한 하이퍼 파라미터를 의미하고,

는 다중 코일 데이터에 대해 제곱합 제곱근(SSOS; square-root of sum of squares) 연산 z =

(X)로 정의될 수 있다. 이 때, 벡터 z의 n번째 성분이 공식적으로 아래 <수학식 19>와 같이 정의될 수 있다.

[수학식 19]

운송 비용 c(x, y;G, F)는 더 논의할 가치가 있다. 구체적으로, 상기 수학식 18의 첫 번째 항과 두 번째 항은 OT cycleGAN의 항들과 직접 관련이 있지만, 영상 비교를 코일 민감도 맵에 덜 의존하게 만들기 위해 SSOS를 취한 후에 손실을 계산한다. 한편, 아이덴티티(ID) 손실인 상기 수학식 18의 세번째 항은 이미 Y 영역에 있는 영상을 변경하지 않도록 뉴럴 네트워크에 정규화를 강제하고, 상기 수학식 18의 마지막 항은 k-공간 영역의 데이터 충실도 항을 말한다. 각 코일에 대해 본질적으로 복잡한 영역에서 획득되는 k-공간 데이터에 데이터 일관성을 적용하기 위해 Frobenius norm을 사용하여 k-공간 손실을 계산한다.

그리고, 본 발명의 운송비가 명제 1의 이중 공식을 사용하기 위하여 아래 <수학식 20> 및 <수학식 21>과 같이 설정하면, 상기 수학식 13과 동일하다는 것을 알 수 있다.

[수학식 20]

[수학식 21]

더구나 k-공간 샘플링 마스크

는 이미 알려져 있기 때문에 F와 ψ의 경쟁은 필요없고 G와 해당 판별기 φ만 추정하면 된다. 각각 매개변수

와

를 가진 뉴럴 네트워크로 모델링함으로써, 아래 <수학식 23> 및 <수학식 24>와 같은 손실 함수를 얻을 수 있다.

[수학식 22]

[수학식 23]

여기서, γ, α, β는 하이퍼 파라미터를 의미하고, 사이클 일관성 항의 손실, 판별기 항의 손실, 아이덴티티 항의 손실과 주파수 항의 손실은 아래 <수학식 24>, <수학식 25>, <수학식 26> 및 <수학식 27>과 같이 나타낼 수 있다.

[수학식 24]

[수학식 25]

[수학식 26]

[수학식 27]

2단계: 액시얼 재구성

첫 번째 단계를 통해 재구성한 후에는 출력이 함께 쌓여 단일 슬래브를 형성한다. 그러나 액시얼 플레인에 있는 영상을 보면 영상이 흐릿하고, 적절한 질감이 결여된 경향이 있다. 이에 따라 MIP를 실시할 때 얇은 혈관 구조가 생략되거나 분리되어 혈관 협착증 등 오진될 수 있다.

따라서, 본 발명은 특히 MIP 영상의 품질을 향상시키기 위해 또 다른 비지도 뉴럴 네트워크를 이용하는 액시얼 영상 증강 방법을 제공한다. 좀 더 구체적으로, 도 4b에 도시된 바와 같이, 코로날 플레인에서 재구성한 후, 각 슬래브에 대해 3D 볼륨을 구성하는데, 이 볼륨은 액시얼 영상 개선 네트워크 입력으로 사용된다. 누적된 볼륨을 입력으로 사용하는 근거는 다음과 같다. 첫째, 볼륨 데이터를 사용하여 볼륨에 MIP를 수행함으로써, 네트워크가 부분적으로 투사된 영상의 분포를 학습할 수 있도록 한다. 둘째, 인접 슬라이스에서 유추할 수 있기 때문에 네트워크는 경계 슬라이스에서 정보를 이용할 수 있다. 여기서, 한 가지 유의할 점은 2단계에서 입력과 출력 영역 간의 관계가 잘 정의되어 있지 않다는 점이다. 구체적으로, 약간의 표기법을 사용하여, 단계 I를 통해 재구성된 SSOS 영상의 3D 볼륨의 분포를 Y로 하고, 원하는 SSOS 영상 분포의 3D 볼륨을 X로 한다. 생성기 중 하나를 알려진 포워드 연산자로 교체할 수 있는 단계 I과는 달리, SSOS 작동과 볼륨 스택화로 인해 이 경우에는

의 닫힌 형태 매핑이 존재하지 않는다. 이 상황은 정방향 및 역방향 연산자를 모두 알 수 없는 OT-cycleGAN 공식에 해당된다. 구체적으로는

에 의해 매개변수화된 뉴럴 네트워크 관점에서 포워드 연산자 F를 정의함으로써, 아래 <수학식 28>과 같은 운송 비용을 정의할 수 있다.

[수학식 28]

그 다음, 해당 OT-cycleGAN 공식은 상기 수학식 6에서 Kantorovich 이중 공식으로 주어지는데, 여기서 l_cycle와 l_Disc는 각각 상기 수학식 8과 상기 수학식 9로 대표되는 사이클 일관성 손실과 Wasserstein GAN 손실이다. 결과적인 네트워크 아키텍처는 도 5b와 같을 수 있다.

두 번째 단계의 주요 특징 중 하나는 상기 수학식 9의 판별기 φ의 설계에서 나온다. 좀 더 구체적으로, OT-cycleGAN이 되기 위해, 판별기 φ는 아래 <수학식 29>의 1-Lipschitz 조건을 만족시켜야 한다.

[수학식 29]

본 발명에서의 판별기 아키텍처는 도7b와 같이 같이 PatchGAN으로부터 얻어질 수 있다. 단, X는 3D 슬래브로 구성되므로 주의해야 한다. 따라서, 슬라이스 방향은 채널 차원에 쌓여서 PatchGAN의 2D 컨볼루션을 직접 활용할 수 있다. 첫 번째 경로에서 도 7a와 같이 볼륨 데이터는 PatchGAN에 대한 입력으로 직접 사용된다. 두 번째 경로에서 최대 풀링이 슬라이스 방향을 따라 적용되어 2D 영상을 생성하며, 이 영상은 도 7a에 도시된 바와 같이 PatchGAN의 입력으로 사용된다. 이는 사실상 각 슬래브의 MIP 영상에 PatchGAN을 적용하는 것과 동등하며, MIP의 분포를 학습하는 데 필요하다. MIP 영상의 품질은 MIP 영상이 주로 혈관 병리학자를 위해 사용된다는 점에서 중요하다. 그리고, 소스 영상은 대개 보조 도구 역할을 한다.

수학적으로 결과 판별기 φ는 아래 <수학식 30>과 같이 나타낼 수 있다.

[수학식 30]

여기서, φ₁과 φ₂ ^max는 각각 원본 볼륨과 최대 파라미터 영상의 판별기를 의미하고, λ₁과 λ₂는 적절한 하이퍼 파라미터를 의미할 수 있다. 그 후 상기 수학식 9의 결과 판별기 손실 함수는 아래 <수학식 31>과 같이 분해할 수 있다.

[수학식 31]

여기서, 생성기 G와 F는 각각

및

에 의해 매개변수화된 뉴럴 네트워크를 사용하여 구현될 수 있고, 반면 판별기는

이며 φ는 각각 가중치

와

를 갖는 뉴럴 네트워크를 사용하여 실현될 수 있다.

스택 볼륨의 분포를 학습하는 판별기 집합과 MIP 영상의 분포를 학습하는 MIP 판별기를 공동으로 최적화함으로써, 본 발명의 방법은 소스 영상의 무결성을 유지하면서 MIP 영상의 품질을 크게 향상시킬 수 있다. 단계 II 재구성의 전체 아키텍처는 도 5b에 도시된 바와 같다.

트레이닝 데이터셋

스캔에 자원한 환자들 예를 들어, 10명의 환자들로부터 3T Philips Ingenia 스캐너로 생체내 데이터 19세트를 획득할 수 있다.

뉴럴 네트워크를 트레이닝시키는 데 사용되는 슬라이스 수로 보면, 단계 I 뉴럴 네트워크를 트레이닝시키는 데 총 18343개의 완전 포착 슬라이스와 18356개의 언더 샘플 슬라이스가 사용될 수 있다. 단계 II 트레이닝에서는 완전 포착 540개의 슬라이스와 540개의 언더 샘플 슬라이스를 사용하여 뉴럴 네트워크를 트레이닝시킬 수 있다.

모든 스캔은 180 × 180 mm의 시야(FOV)로 전체 뇌를 덮고 있는 영역에 지정될 수 있고, 스캔에 대한 특정 매개변수는 다음과 같이 정의될 수 있다. 반복 시간(TR) = 23.00ms, 에코 시간(TE) = 3.45ms, FA = 18.00°. 더욱이 부분 푸리에 인수는 주파수 인코딩 방향에 적용될 수 있다. 각 세트는 6개의 슬래브로 구성된 MOTSA를 통해 획득되었으며, k-공간 매트릭스 크기는 774 × 359 × 21과 30개의 코일로 구성될 수 있다. k-공간 데이터가 채워지면 최종 재구성은 0 패딩과 중앙 자르기가 있는 512 × 512 × 45 매트릭스 크기로 얻는다. 트레이닝에는 12세트의 환자 데이터가 사용될 수 있고, 시뮬레이션 연구와 생체내 연구에 7세트의 환자 데이터가 사용될 수 있다.

언더 샘플링 마스크

의 경우, Philips Ingenia 스캐너에서 MR 스캔을 가속화하기 위해 사용되는 것과 동일한 마스크가 수정 없이 사용될 수 있다. 따라서 결정된 두 개의 마스크는 각각 ×4 가속도와 ×8 가속도에 사용될 수 있다.

생성기 아키텍처

단계 I 트레이닝에 사용되는 단일 생성기의 경우, 본 발명은 수정 U-Net 아키텍처를 사용할 수 있다. 수정된 U-Net 아키텍처는 도 6에 도시된 바와 같이, 4개의 컨볼루션 계층, ReLU 활성화, 그룹 정규화로 구성된다. 풀링과 언풀링 작업은 각각 스트라이드 2인 3 × 3 컨볼루션, 이선 보간 업스케일링으로 구성될 수 있다. 컨볼루션 필터 채널은 단계 I에서 64개로 설정될 수 있고, 각 단계마다 2배씩 증가하여 마지막 단계에서 1024개에 이를 수 있다. 복잡한 MR 데이터의 본질에 대처하기 위해, 본 발명은 채널 차원에 실제와 가상의 부품을 쌓음으로써 전통적인 개념을 고수한다. 따라서, 입력 채널의 차원은 60(30 코일 × 2 = 60)으로 설정될 수 있다.

더욱이 네트워크의 표현력을 향상시키는 것으로 알려진 비선형 주의 모듈을 활용할 수도 있다. 단계 I의 G에 대해서는, 입력과 원하는 분포의 큰 불일치 때문에, 주의 모듈과 동일한 도 6a의 네트워크 아키텍처를 이용할 수 있다. 더욱이

에서는 하나의 11개의 컨볼루션 계층을 주의 모듈로 활용할 수 있다.

단계 II 트레이닝에서, 매핑

와

를 위해 두 개의 별도 아키텍처를 사용할 수 있다. 중요한 생성기

에 대해서는 도 6a에 도시된 바와 같이 U-Net 아키텍처를 채택하고 초기 필터 길이를 3단계로 32로 설정할 수 있다. 네트워크 입력은 복수의 슬라이스 영상으로 구성된 3D 볼륨으로, 채널 방향을 따라 쌓는다. 네트워크 출력은 동일한 수의 슬라이스로 3D 볼륨을 향상시킨다. 7의 슬라이스 깊이를 사용할 수 있다. 생성기

의 경우 초기 필터 길이를 2단계만으로 8로 설정하여 네트워크의 표현력을 제한할 수 있다. 규모에 따라 두 네트워크를 차별화하면 동일한 두 네트워크를 사용했을 때보다 효율적이고 안정적인 트레이닝이 이루어질 수 있다. 다시 F의 입출력 역시 3차원 볼륨으로, 각 슬라이스가 채널 방향을 따라 쌓인다.

판별기 아키텍처

2단계에 사용되는 판별기는 기존 연구에서 사용되는 판별기를 사용할 수 있으며, 트레이닝 과정을 안정화하도록 수정될 수 있다. 구체적으로는 3단계의 4 × 4 컨볼루션 커널을 가진 patchGAN이 사용될 수 있다. 각 단계는 도 7b에 도시된 바와 같이 컨볼루션층, 인스턴스 정규화 및 리키(leaky) ReLU 활성화 기능으로 구성될 수 있다. 또한 안정성을 위해 각 층에 스펙트럼 정규화를 적용할 수 있다.

단계 II 트레이닝에서 판별기 아키텍처는 도 7b에 도시된 바와 같다. 주어진 볼륨 데이터의 경우

는 입력으로 직접 볼륨을 수신하는

과 최대풀링 연산에서 획득한 단일 슬라이스 영상을 수집하는

의 두 경로를 가진다.

과

는 도 7b에 도시된 바와 같이 이중 헤드 판별기

로 볼 수 있다.

네트워크 트레이닝

첫 번째 트레이닝 단계에서는 상기 수학식 23의 첫번째 항과 두번째 항의 하이퍼 파라미터가

= 100, α = 0.5, β= 1로 설정될 수 있고, 최적화를 위해 RAdam 옵티마이저를 lookahead 옵티마이저와 함께 사용할 수 있다. RAdam의 매개변수는 β1 = 0.5, β2 = 0.999로 설정될 수 있고, lookahead에 대한 파라미터는 k = 5, α = 0.5로 설정될 수 있다. 초기의 학습율은 0.0001로 설정될 수 있으며, 100epoch을 목표로 트레이닝될 수 있다. 60epoch의 트레이닝에서 학습률은 0.1의 정도로 감쇄할 수 있다.

2단계 트레이닝의 경우 상기 수학식 31의 하이퍼 파라미터는 λ1 = 5 및 λ2 = 3으로 설정될 수 있고, 두 번째 단계에서는 파라미터 β1 = 0.5, β2 = 0.999로 아담 옵티마이저를 사용할 수 있으며, 0.0001의 일관된 학습율로 100epoch의 트레이닝을 실시할 수 있다.

도 8은 본 발명의 방법에 의한 최대강도투사 영상에 대한 일 예시도를 나타낸 것으로, 도 8a는 지도학습을 이용한 두 단계 학습 결과를 나타낸 것이고, 도 8b는 비지도 학습 중 첫번째 단계만을 이용하여 학습 결과를 나타낸 것이며, 도 8c는 비지도 학습 두 단계를 모두 이용한 학습 결과를 나타낸 것이고, 도 8d는 가속화되지 않은 실제 영상을 나타낸 것이다.

도 8을 통해 알 수 있듯이, 본 발명의 방법의 첫번째 단계와 두번째 단계 모두 이용했을 때, 두 단계를 모두 이용하는 방식이 최대강도투사 영상에서 특히 혈관을 더 잘 보이게 하고 영상의 질을 향상시키는 데에 도움을 주는 것을 확인할 수 있다. 또한, 지도학습으로 학습한 결과와 비교해봐도, 매칭되는 데이터 없이 학습한 본 발명의 방법이 더 좋은 결과를 보이는 것을 확인할 수 있다. 그리고, 도 8의 각 영상에 표기되어있는 두 숫자는 첨두 신호 대 잡음비(Peak signal to noise ratio: PSNR)와 구조적 유사성(Structural similarity: SSIM)으로, 숫자가 더 높으면 원본 영상과 유사하다는 의미로, 이러한 절대적인 지표 역시 본 발명의 방법에서 가장 높은 것을 확인할 수 있다.

도 9는 기존 방법과 본 발명의 방법에 의한 재구성 결과를 비교한 일 예시도를 나타낸 것으로, 8배로 가속화한 영상을 재구성할 때, 기존 벤더의 영상 기기에 내장되어있는 압축센싱 알고리즘을 통해 얻어진 영상(a)과 본 발명의 방법으로 재구성한 영상(b)을 비교한 결과를 나타낸 것이다.

도 9를 통해 알 수 있듯이, 본 발명의 방법이 기존 내장 압축센싱 알고리즘과 비교하여 신호대잡음비가 눈에 띄게 향상한 것을 볼 수 있으며, 보이지 않던 혈관들이 보이는 등 영상 질이 크게 향상된 것을 알 수 있다.

상술한 바와 같이, 본 발명의 방법은 최적운송기반 cycleGAN을 두 단계에 걸쳐 이용하고, 투사 판별기(projection discriminator)를 이용하여 3차원 비행시간법 자기공명혈관조영술 영상의 획기적인 가속화와 기존에 사용하던 알고리즘에 비해 현저하게 영상 해상도를 증가시키는 비지도학습(Unsupervised learning) 기반 딥러닝 기법을 제공할 수 있다.

이러한 본 발명의 방법은 도 5와 같은 영상 재구성을 두 단계로 나누는 것으로, 코로날 플레인(coronal plane)에서는 자기공명영상의 측정 연산자를 활용한 최적운송기반 cycleGAN을 통해 영상 재구성을 진행하고, 이후에, 모든 코로날 플레인의 데이터를 합쳐 3차원 볼륨 영상을 만들게 되며, 이 때 제곱합 제곱근(SSOS) 연산을 통해 여러 코일에서 얻은 정보를 하나로 합치게 된다. 다음 단계에서의 영상 재구성은 임상적으로 중요한 영역인 액시얼 플레인(axial plane)에서 이루어진다. 액시얼 플레인에서 최적운송기반 cycleGAN을 구성할 때에는, 2차원 데이터를 이용하는 것이 아닌, 얇은 3차원 데이터를 이용해서, 3D 영상의 분포만 학습하는 것이 아닌 투사 영상(projection image)의 분포를 학습 가능하게 한다. 이 때, 일반적인 적대적 생성 뉴럴 네트워크의 판별기(discriminator)를 이용하는 것이 아닌 새로운 투사 판별기를 이용한다. 투사 판별기는 두 가지 방법으로 주어진 영상이 사실적인지를 판단하는데, 하나는 주어진 3차원 영상이 얼마나 사실적인지 판별하는 방법과, 또 다른 하나는 최대투사영상(Maxpooled image)을 얼마나 사실적인지 판별하는 방법이다. 이러한 판별기를 사용하는 이유는 다음과 같다. 임상에서 자기공명혈관조영술 영상을 이용해 판단을 할 때, 자기공명혈관 근원영상(MRA source image)을 보기 전 먼저 확인하는 것이, 최대강도투사(Maximum Intensity Projection:MIP) 영상이다. 최대강도투사 영상은 3차원으로 자기공명혈관 근원영상을 쌓아서, 정해진 방향으로 가장 큰 값만을 투사시키는 방법이다. 이를 통해 신호의 세기가 센 혈관만을 가시화할 수 있고, 따라서 혈관에 어떤 문제가 있는지 판별하고자 할 때 가장 먼저 이용할 수 있는 방법이다. 이와 같이, 임상에서 우선적으로 최대강도투사 영상을 이용한다는 점에서 착안하여, 위 투사 영상 판별기를 이용하면 자기공명혈관 근원영상과 최대강도투사영상 모두에서 큰 개선을 얻을 수 있다.

이와 같이, 본 발명의 실시예에 따른 방법은 두 단계 비지도 학습 기반의 뉴럴 네트워크를 이용하여 3차원 비행시간 자기공명혈관영상의 품질을 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 방법은 자기공명혈관 근원영상(MRA source image)뿐만 아니라 최대강도투사영상(Maximum intensity projection image: MIP image)의 질도 향상시키기 위해 투사 판별기(projection discriminator)를 추가로 제공함으로써, 영상의 질을 비약적으로 높일 수 있다.

또한, 본 발명의 실시예에 따른 방법은 자기공명 혈관조영술을 촬영하는 장비에 직접적으로 탑재하여 영상 획득 속도를 비약적으로 높이면서도 영상의 질을 크게 저해하지 않은 상태로 좋은 영상의 질을 획득할 수 있으며, 이러한 본 발명은 MRI, CT 등 3차원 영상 재구성에도 적용이 가능한 일반적인 기술로, 여러 의료영상 분야에서 응용할 수 있다.

도 10은 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 9의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 자기공명혈관영상 처리 장치(1000)는 수신부(1010), 제1 복원부(1020), 생성부(1030) 및 제2 복원부(1040)를 포함한다.

수신부(1010)는 아티팩트 예를 들어, 앨리어싱 아티팩트를 포함하는 자기공명혈관의 제1 플레인 영상들 예를 들어, 코로날(coronal) 영상들을 수신한다.

제1 복원부(1020)는 최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성한다.

이 때, 제1 뉴럴 네트워크는 비매칭 데이터를 포함하는 트레이닝 데이터셋을 이용하여 학습될 수 있으며, 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.

생성부(1030)는 재구성된 3차원 볼륨을 이용하여 제2 플레인 영상들 예를 들어, 액시얼(axial) 영상들을 생성한다.

제2 복원부(1040)는 최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성한다

이 때, 제2 복원부(1040)는 생성된 제2 플레인 영상들 중 깊이 방향에 따라 미리 설정된 개수 예를 들어, 7개의 제2 플레인 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 제2 플레인 영상들에 남아있는 아티팩트를 제거하여 최종 3차원 볼륨을 재구성할 수 있다.

이 때, 제2 뉴럴 네트워크는 비매칭 데이터를 포함하는 트레이닝 데이터셋을 이용하여 학습될 수 있으며, 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.

나아가, 제2 복원부(1040)는 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성할 수도 있다.

비록, 도 10의 장치에서 그 설명이 생략되었더라도, 도 10을 구성하는 각 구성 수단은 도 1 내지 도 9에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

아티팩트를 포함하는 자기공명혈관의 코로날(coronal) 영상들을 수신하는 단계;
최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성하는 단계;
상기 재구성된 3차원 볼륨을 이용하여 액시얼(axial) 영상들을 생성하는 단계; 및
최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 단계
를 포함하는 자기공명혈관영상 처리 방법.
제1항에 있어서,
상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크 각각은
비매칭 데이터를 포함하는 트레이닝 데이터셋을 이용하여 학습되는 것을 특징으로 하는 자기공명혈관영상 처리 방법.
제1항에 있어서,
상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크 각각은
컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 자기공명혈관영상 처리 방법.
제1항에 있어서,
상기 최종 3차원 볼륨을 재구성하는 단계는
상기 생성된 액시얼 영상들 중 깊이 방향에 따라 미리 설정된 개수의 액시얼 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 상기 액시얼 영상들에 남아있는 아티팩트를 제거하여 상기 최종 3차원 볼륨을 재구성하는 것을 특징으로 하는 자기공명혈관영상 처리 방법.
제1항에 있어서,
상기 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성하는 단계
를 더 포함하는 것을 특징으로 하는 자기공명혈관영상 처리 방법.
아티팩트를 포함하는 자기공명혈관의 제1 플레인 영상들을 수신하는 단계;
최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 제1 플레인 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 제1 플레인 영상들을 생성하여 3차원 볼륨을 재구성하는 단계;
상기 재구성된 3차원 볼륨을 이용하여 제2 플레인 영상들을 생성하는 단계; 및
최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 제2 플레인 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 단계
를 포함하는 자기공명혈관영상 처리 방법.
제6항에 있어서,
상기 최종 3차원 볼륨을 재구성하는 단계는
상기 생성된 제2 플레인 영상들 중 깊이 방향에 따라 미리 설정된 개수의 제2 플레인 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 상기 제2 플레인 영상들에 남아있는 아티팩트를 제거하여 상기 최종 3차원 볼륨을 재구성하는 것을 특징으로 하는 자기공명혈관영상 처리 방법.
제6항에 있어서,
상기 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성하는 단계
를 더 포함하는 것을 특징으로 하는 자기공명혈관영상 처리 방법.
아티팩트를 포함하는 자기공명혈관의 코로날(coronal) 영상들을 수신하는 수신부;
최적운송(OT; optimal transport) 이론에 기초하여 생성된 비지도 학습 기반의 제1 뉴럴 네트워크를 이용하여 상기 수신된 코로날 영상들에 포함된 아티팩트를 제거함으로써, 아티팩트가 제거된 코로날 영상들을 생성하여 3차원 볼륨을 재구성하는 제1 복원부;
상기 재구성된 3차원 볼륨을 이용하여 액시얼(axial) 영상들을 생성하는 생성부; 및
최적운송(OT) 이론에 기초하여 생성된 비지도 학습 기반의 제2 뉴럴 네트워크를 이용하여 상기 액시얼 영상들에 남아있는 아티팩트를 제거함으로써, 최종 3차원 볼륨을 재구성하는 제2 복원부
를 포함하는 자기공명혈관영상 처리 장치.
제9항에 있어서,
상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크 각각은
비매칭 데이터를 포함하는 트레이닝 데이터셋을 이용하여 학습되는 것을 특징으로 하는 자기공명혈관영상 처리 장치.
제9항에 있어서,
상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크 각각은
컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 자기공명혈관영상 처리 장치.
제9항에 있어서,
상기 제2 복원부는
상기 생성된 액시얼 영상들 중 깊이 방향에 따라 미리 설정된 개수의 액시얼 영상들을 상기 제2 뉴럴 네트워크로 입력함으로써, 상기 액시얼 영상들에 남아있는 아티팩트를 제거하여 상기 최종 3차원 볼륨을 재구성하는 것을 특징으로 하는 자기공명혈관영상 처리 장치.
제9항에 있어서,
상기 제2 복원부는
상기 재구성된 최종 3차원 볼륨을 이용하여 최대강도 투사 영상을 생성하는 것을 특징으로 하는 자기공명혈관영상 처리 장치.