KR20230129195A

KR20230129195A - 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소

Info

Publication number: KR20230129195A
Application number: KR1020237029365A
Authority: KR
Inventors: 그렉 자할척; 존 엠. 폴리; 엔하오 공
Original assignee: 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티
Priority date: 2017-04-25
Filing date: 2018-04-24
Publication date: 2023-09-06
Also published as: US11844636B2; JP7179757B2; US20220327700A1; JP2023025056A; EP3616097A4; CN110753935A; EP3616097A1; KR20190137913A; WO2018200493A1; US11361431B2; KR102574256B1; JP2020517946A; US20200311914A1

Abstract

본 발명은 방사선 이미징 방식 및 핵의학을 위한 방사선량을 감소시키는 방법으로서, 저선량 핵의학 이미지로부터 표준 선량 핵의학 이미지를 생성하기 위해 컨볼루션 네트워크를 사용하는 단계로서, 네트워크가 N 개의 컨볼루션 신경망(CNN) 스테이지를 포함하고, 각각의 스테이지는 K x K 개의 커널을 갖는 M 개의 컨볼루션 레이어를 포함하고, 네트워크는 상응하는 CNN 스테이지 사이에 대칭 이어붙임 연결(symmetry concatenate connection)을 갖는 인코더-디코더 구조(encoder-decoder structure)를 추가로 포함하는 단계; 풀링(pooling)을 사용하는 다운샘플링(downsampling) 및 스테이지 사이에 쌍선형 보간(bilinear interpolation)을 사용하는 업샘플링(upsampling) 단계로서, 네트워크가 저선량 이미지로부터 다중 스케일 및 고수준 피쳐를 추출하여 고선량 이미지를 시뮬레이션하는 단계; 및 고선량 이미지의 로컬 정보 및 해상도를 보존하기 위해 저선량 이미지에 이어붙임 연결을 추가하는 단계로서, 고선량 이미지는 환자의 방사성 트레이서의 1과 동일한 선량 감소 인자(DRF)를 포함하며, 저선량 PET 이미지는 환자의 방사성 트레이서의 적어도 4의 DRF를 포함하는 단계를 포함하는 방법에 관한 것이다.

Description

딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소{DOSE REDUCTION FOR MEDICAL IMAGING USING DEEP CONVOLUTIONAL NEURAL NETWORKS}

본 발명은 일반적으로 의료 이미징에 관한 것이다. 보다 구체적으로, 본 발명은 환자에 대한 위험을 낮추기 위한 선량 감소를 목적으로 하는 의료 이미징 기술에 관한 것이다.

양전자 방출 단층촬영(PET)은 세포 수준 이미징 및 높은 특이성의 능력으로, 암 진단, 종양 검출 및 신경 질환의 조기 진단과 같은 광범위한 임상 용도를 갖는다. 진단 목적으로 고품질 PET 이미지를 얻으려면 대상체에 표준 선량의 방사성 트레이서가 주입되어야 하는데, 이는 방사선 노출에 의한 손상 위험을 높아지게 할 것이다. 일반적으로 PET 스캔 또는 PET/MR 및 PET/CT 스캔은 CT만 사용하는 스캔보다 훨씬 더 많은 이온화 방사선으로 환자를 노출시킬 수 있다. 이러한 위험을 최소화하기 위해 널리 알려져 있는 ALARA의 원리(합리적으로 달성 가능한 한 낮은)가 임상 실무에 채택된다.

이 문제를 해결하기 위해, 저선량 PET 이미지의 이미지 품질을 개선하기 위한 많은 알고리즘이 제안되었다. 일반적으로 이러한 알고리즘은 (1) 반복 재구성 알고리즘, (2) 이미지 필터링 및 사후 처리 및 (3) 기계 학습의 세 가지 범주로 분류될 수 있다.

반복 재구성 알고리즘은 저선량 재구성 문제를 획득된 데이터(즉, 사이노그램(sinogram) 또는 리스트모드(listmode))의 통계 모델과 잡음을 억제하기 위한 정규화 항을 결합한 볼록 최적화 문제(convex optimization problem)로서 공식화하였다. 이전에 제안된 것은 다른 광자 수로 합성 방출 팬텀의 잡음을 줄이기 위해 TV(총 변형) 정규화를 사용하는 반복 알고리즘이다. 반복 재구성 알고리즘은 원시 카운트 정보(raw count information)를 직접 고려하기 때문에 잠재적으로 가장 정확하지만 세 가지 주요 약점도 있다. 첫째, 획득된 모든 데이터와 상호 작용함으로써 발생하는 상당한 계산 비용으로 인해 이러한 종류의 방법의 대부분은 시간이 많이 걸린다. 둘째, 반복적인 방법은 전형적으로 공급 업체별로 상이한데, 왜냐하면 상이한 스캐너가 원시 데이터에 크게 영향을 주는, 다른 기하학적 구성, 데이터 형식(예를 들어, 비행 시간(time-of-Flight)(TOF) 및 상호작용 깊이(depth-of-interaction)(DOI)) 및 데이터 수정 절차를 채택할 수 있기 때문이다. 끝으로, 이러한 방법들에서, 미리 정의된 정규화 용어가 필요하며, 이는 바람직하지 않은 과잉 스무딩(over-smoothing), 아티팩트(artifact) 또는 환각 텍스처(hallucinated texture)를 야기할 수 있다.

이미지 처리 방법에 관해서는, NLM(nonlocal means) 및 BM3D(block-matching 3D)와 같은 몇몇 범용 이미지 노이즈 제거 알고리즘이 PET 이미지 노이즈 제거에 도입된다. 또한, 어느 한 시도에서는 PET 이미지를 노이즈 제거하기 위해 단일 값 임계화 방법(singular value thresholding method)과 편향되지 않은 위험 추정치를 결합하였다. 다중 스케일 커브렛 및 웨이블릿 분석(multi-scale Curvelet and Wavelet analysis)을 기반으로 하여, 어느 한 그룹은 이미지 해상도 및 정량화를 유지하면서 PET 이미지를 노이즈 제거하는 방법을 제안하였다.

또 다른 중요한 범주는 매핑 기반 스파스 표현(mapping-based sparse representation), 반-감시 삼중 사전(semi-supervised tripled dictionary) 및 다단계 정식 상관 분석(multilevel canonical correlation analysis)과 같은 데이터 기반 기계식 러닝(learning) 방법이다. 저선량 PET 이미지를 직접 노이즈 제거하는 대신 기계식 러닝 방법은 쌍을 이룬 저선량 및 표준 선량 이미지를 사용하여 저선량 입력으로부터 표준 선량 이미지를 예측할 수 있는 모델을 트레이닝한다.

최근에 딥 러닝(deep learning)은 컴퓨터 비전 응용 프로그램에서 많은 관심을 끌었으며, 기존 방법에 비해 훨씬 더 나은 결과를 얻었고 이미지 분류 및 얼굴 검증과 같은 일부 작업에서 인간 수준의 성능을 달성하였다. 딥 러닝 방법의 성공에 기여하는 몇 가지 주요 요소는 다음과 같다: (1) 많은 양의 파라미터로 모델을 트레이닝할 수 있는 최신의 강력한 GPU로 인한 병렬 계산 가속화, (2) 더 큰 데이터세트가 방출되어 예를 들어 ImageNet의 더 많은 오픈 소스 연구 및 트레이닝을 촉진함, 및 (3) 새로운 효율적인 신경망 구조, 예를 들어 가중치 공유 및 로컬(local) 연결을 이용하는 컨볼루션 신경망(convolution neural network)(CNN). 추가로, 딥 러닝 방법은 또한 이미지 노이즈 제거, 초해상도 및 이미지 복원 등의 저수준 비전(low-level vision) 문제의 범주에 성공적으로 적용되어 최신 결과를 달성한다.

이들 방법은 주로 자연 이미지 처리에 중점을 두지만, 이러한 유망한 방법을 의료 이미지 분석에 적용하기 위해 몇몇 노력이 있었다. U-Net은 의료 이미지 세분화를 위한 완전한 컨볼루션 네트워크로, 상이한 해상도로 피쳐(feature)를 추출하기 위한 확장 경로 및 수축 경로를 포함한다. 손실된 해상도 정보를 다시 얻기 위해 U-Net은 또한 스킵 연결(skip connection)을 사용하여 상응하는 수축 및 확장 단계를 이어붙인다. U-Net에 의해 영향을 받아, 한 그룹은 잔차 러닝(residual learning)을 사용하여 스파스-뷰 CT 이미지(sparse-view CT image)에서 줄무늬 아티팩트를 제거하기 위해 다중 스케일 CNN을 제안하였다. 저선량 X-선 CT 재구성에도 사용되는 WaveNet은 입력 데이터를 위한 피쳐 확대로서 다중 스케일 웨이블릿 변환(wavelet transformation)과 결합된 유사한 구조를 채택한다. 저선량 PET 재구성 분야에서는, 저선량 CT 재구성과 비교하여 딥 러닝 방법을 이용하는 저선량 PET 이미지 노이즈 제거에 대한 연구는 거의 없다. 또 다른 그룹은 자동 컨텍스트 컨볼루션 네트워크를 사용하여 저선량 PET 이미지 및 상응하는 MR T1 이미지로부터 표준 선량 PET 이미지를 예측하는 딥 러닝 방법을 제안하였으며, 이는 예측 결과를 단계별로 개선하려고 하였다.

동시 PET/MRI 시스템의 최근 개발로 MRI로부터 추가 정보를 활용하여 감쇠 보정, 동작 보정 및 부분 볼륨 보정을 포함하여 PET 보정에서 이미지 품질을 향상시킬 수 있다. 또한, 구조적 T1 이미지 및 DTI 관련 콘트라스트를 포함하는 다중 콘트라스트 MRI는 저선량 PET 재구성에 유리한 것으로 제시된다.

선량 감소 인자(dose reduction factor)(DRF)와 관련하여, 표준 선량 이미지의 노이즈를 제거하기 위해 종래의 방법이 사용되었고(DRF = 1), 1/4 선량 이미지로부터 표준 선량 이미지를 재구성하기 위해 다른 종래의 방법이 사용되었다(DRF = 4).

초저선량 이미지로부터 표준 선량 PET 이미지를 재구성하기 위한 딥 러닝 방법이 필요하다.

(특허문헌 1) US 7480365 B1

발명의 개요

당업계의 요구를 해결하기 위해, 방사선 이미징 방식 및 핵의학 적용을 위한 방사선량을 감소시키는 방법으로서, 컨볼루션 네트워크를 사용하여 저선량의 핵의학 이미지로부터 표준 선량의 핵의학 이미지를 생성하는 단계로서, 컨볼루션 네트워크는 N 개의 컨볼루션 신경망(CNN) 스테이지를 포함하고, 각 CNN 스테이지는 K x K 개의 커널(kernel)을 갖는 M 개의 컨볼루션 레이어를 포함하고, 컨볼루션 네트워크는 상응하는 CNN 스테이지 사이에 대칭 이어붙임 연결(symmetry concatenate connection)을 갖는 인코더-디코더 구조(encoder-decoder structure)를 추가로 포함하는 단계; 풀링(pooling)을 사용하는 다운샘플링(downsampling) 및 스테이지 사이에 쌍선형 보간(bilinear interpolation)을 사용하는 업샘플링(upsampling) 단계로서, 네트워크가 저선량 이미지로부터 다중 스케일 및 고수준 피쳐를 추출하여 고선량 이미지를 시뮬레이션하는 단계; 및 고선량 이미지의 로컬 정보 및 해상도를 보존하기 위해 저선량 이미지에 이어붙임 연결을 추가하는 단계로서 고선량 이미지는 환자의 방사성 트레이서의 1과 동일한 선량 감소 인자(DRF)를 포함하며, 저선량 PET 이미지는 환자의 방사성 트레이서의 적어도 4와 동일한 DRF를 포함하는 단계를 포함하는 방법이 제공된다.

본 발명의 일 양태에 따르면, DRF는 4 내지 200의 범위 내이다.

본 발명의 다른 양태에서, 표준 선량 핵의학 이미지는 저선량 핵의학 이미지 및 상응하는 다중 콘트라스트 MR 이미지로부터 다중 방식 입력(multi-modality input)으로 생성된다.

본 발명의 추가의 양태에서, 핵의학 이미지는 CT, PET, PET/CT, PET/MR, SPECT를 포함하는 방법 또는 그 밖의 핵의학 이미징 방법을 사용하여 생성된다.

본 발명의 일 양태에 따르면, 저선량 핵의학 이미지에서 신호 대 잡음비(signal-to-noise-ratio)(SNR)가 이어붙임 스킵 연결을 갖는 인코더-디코더 잔차 딥 네트워크를 사용하여 증가되며, 스킵 연결은 상기 방법의 입력 이미지로부터 출력 이미지로의 잔차 연결, 또는 상응하는 인코더와 디코더 레이어 사이의 이어붙임 연결을 포함한다.

본 발명의 또 다른 양태에서, 저선량 핵의학 이미지는 입력으로서 다중 슬라이스(multiple slice) 및 다중 콘트라스트 이미지(multiple contrast image)의 조합을 더 포함한다. 여기서, 다중 슬라이스 및 다중 콘트라스트 이미지의 조합은 T1w MR 이미지, T2w MR 이미지, FLAIR MR 이미지, 확산 MR 이미지, 관류 MRI 이미지, 감수성 MR 이미지, MR 기반 감쇠 보정 맵, MR 수-지방 이미지(MR water-fat image), CT 이미지 또는 CT 기반 감쇠 보정 맵을 포함할 수 있고, 관류 MRI 이미지는 동맥 스핀 라벨링 시퀀스(Arterial Spin Labeling sequences)를 포함한다.

본 발명의 또 다른 양태에서, 이 방법은 얼마나 많은 입력 슬라이스 및 어느 입력 콘트라스트가 상기 방법에 가장 기여하는지를 결정하는 알고리즘을 추가로 포함하며, 여기서 알고리즘은 얼마나 많은 입력 슬라이스 및 입력 콘트라스트를 사용할지를 적응적으로 결정한다.

본 발명의 다른 양태에 따르면, L1/평균 절대 오차, 구조적 유사성 손실, 또는 적응형 트레이닝 손실(adaptive trained loss)을 포함할 수 있는 혼합 비용 함수가 사용되며, 여기서 적응형 트레이닝 손실은 네트워크 모델을 이용한 생성적인 적대적 네트워크 손실(generative adversarial network loss) 및 지각 손실(perceptual loss) 함수를 포함한다.

일 구체예에 따르면, 본 발명은 저방사선량 샘플로부터 방사선 이미징 방식 및 핵의학 적용을 위한 고품질 이미지를 생성하는 시스템으로서, 저방사선량 이미지, 또는 시스템 입력으로서 다수의 2 차원 이미지 또는 3 차원 이미지의 적층으로서 함께 획득한 저방사선량 이미지 및 다중 콘트라스트 이미지의 다중 슬라이스를 촬영하기 위해 의료 이미저(medical imager)를 사용하고, 입력 이미지에 딥 네트워크 기반 회귀 작업을 적용하는 것을 포함하며; 딥 네트워크 기반 회귀 작업은 N 개의 CNN(convolution neural network) 스테이지로서, 각 CNN 스테이지는 K x K 개의 커널을 갖는 M 개의 컨볼루션 레이어를 포함하고, CNN은 상응하는 CNN 스테이지 사이에 대칭 이어붙임 연결을 갖는 인코더-디코더 구조를 포함하는 스테이지; 이어붙임 스킵 연결을 갖는 인코더-디코더 잔차 딥 네트워크로서, 스킵 연결은 입력 이미지로부터 출력 이미지로의 잔차 연결을 포함하는 네트워크; 표준 방사선량 이미지로서의 이미지 품질을 갖는 출력 방사선 또는 핵의학 이미지로서, 이미지 품질은 저방사선량 입력으로부터 개선된 해상도, 콘트라스트 및 신호 대 잡음비를 포함하는 이미지를 포함하는 시스템을 포함한다.

도 1은 본 발명에 따른 정상 선량 및 상이한 수준의 선량 감소, (1A) 표준 선량, (1B) 1/4 선량, (1C) 1/20 선량 및 (1D) 1/200 선량의 PET 이미지를 나타낸다.
도 2a-2b는 본 발명에 따른 딥 러닝을 이용한 저선량 PET 재구성을 위한 네트워크 방법 및 시스템 아키텍처 워크 플로우의 전체 아키텍처를 나타낸다.
도 3A-3D는 본 발명에 따른, (3A) 표준 선량, (3B) 200x 저선량, (3C) 단일 슬라이스 입력을 사용한 재구성된 결과 및 (3D) 다중 슬라이스 입력(3개의 슬라이스)을 사용한 재구성 결과를 사용한 다중 슬라이스 입력의 효과를 나타낸다.
도 4a-4c는 본 발명에 따른, 마름모꼴이 평균을 나타내는 저선량 재구성을 위한 상이한 방법의 평균 성능 및 유사성 메트릭(similarity metric)의 비교를 나타낸다.
도 5a-5c는 본 발명의 시스템 및 방법, 및 LOOCV를 사용한 이전 방법 간의 정량적 비교를 나타낸다.
도 6A-6G는 (6A) 표준 선량, (6B) 저선량, (6C) NLM, (6D) BM3D, (6E) AC-Net, (6F) ResUNet 및 (6G) ResUNet + MR의 비교를 위한 다른 방법의 결과를 나타낸다.
도 7A-7G는 도 6A-6G의 확대된 부분을 나타내며, (7A) 표준 선량, (7B) 저선량, (7C) NLM, (7D) BM3D, (7E) AC-Net, (7F) ResUNet 및 (7G) ResUNet + MR이 도시된다.
도 8a-8c는 본 발명에 따른, 상이한 유형의 스킵 연결을 갖는 네트워크의 유사성 메트릭을 나타내며, R은 잔차 연결을 의미하고, C는 이어붙임 연결을 의미한다.
도 9A-9F는 본 발명에 따른 다중 슬라이스 입력에서 다른 설정을 갖는 모델을 사용한 기준, 입력 및 재구성 결과를 나타내며, (9A) 표준 선량, (9B) 저선량, (9C) 단일 슬라이스, (9D) 3개의 슬라이스, (9E) 5개의 슬라이스 및 (9F) 7개의 슬라이스가 도시된다.
도 10a-10c는 본 발명에 따른, 상이한 수의 입력 슬라이스로 트레이닝된 네트워크에 대한 유사성 메트릭을 나타낸다.
도 11a-11c는 본 발명에 대한 연구에서 9명의 대상자 모두에 대해 평균 NRMSE, PSNR 및 SSIM으로 평가된 상이한 깊이가 없는 네트워크의 성능을 나타낸다.
도 12는 본 발명에 따른, PET 예측을 위한 딥 러닝 워크플로우를 이용한 실험 결과를 나타낸다.
도 13은 본 발명에 따른, FDG-PET 예측의 시각화를 나타낸다.
도 14는 본 발명의 일 구체예에 따른, MRI로부터의 합성된 아밀로이드-PET를 나타낸다.
도 15는 본 발명의 일 구체예에 따른 프로세스의 흐름도를 나타낸다.

상세한 설명

양전자 방출 단층촬영(PET)은 암 진단, 심장병 및 신경 질환을 포함하는 다양한 임상 용도로 널리 사용된다. PET 이미징에 방사성 트레이서를 사용하면 방사선 노출 위험으로 인한 우려가 높아진다. PET 이미징에서 이러한 잠재적 위험을 최소화하기 위해 방사성 트레이서 사용량을 줄이기 위한 노력이 있었다. 그러나 선량을 낮추면 신호대 잡음비(SNR)가 낮아지고 정보가 손실되며, 이 둘 모두는 임상 진단에 큰 영향을 미칠 것이다. 또한, 저용량 PET 이미지 재구성의 잘못된 컨디셔닝은 반복적인 재구성 알고리즘에 있어서 어려운 문제가 된다. 이전에 제안된 방법은 전형적으로 복잡하고 느리고, 상당히 낮은 선량에서는 여전히 만족스러운 결과를 얻을 수 없다. 본 발명은 이어붙임 스킵 연결을 갖는 인코더-디코더 잔차 딥 네트워크로 이 문제를 해결하기 위한 딥 러닝 방법을 제공한다. 실험은 본 발명이 저선량 PET 이미지를 표준 선량의 200분의 1만 사용하여 표준 선량 품질로 재구성함을 보여준다. 트레이닝 모델에 대한 상이한 비용 함수가 기술된다. 네트워크에 더 많은 구조적 정보를 제공하고 노이즈에 대해 보다 견고하게 하기 위해 다중 슬라이스 입력 구체예가 기술된다. 또한, 동시 PET/MRI로부터 획득한 다중 콘트라스트 MRI가 성능 향상을 위해 네트워크에 제공된다. 초저용량 임상 데이터에 대한 평가는 본 발명이 최신 방법보다 더 나은 결과를 달성하고, 원래 정규 용량의 0.5%만을 사용하여 유사한 품질로 이미지를 재구성함을 보여준다.

본 발명에 따르면, 다중 콘트라스트 MRI는 본 발명의 모델의 한 양태의 성능을 향상시키기 위해 채택된다. 완전 컨볼루션 인코더-디코더 잔차 딥 네트워크 모델을 사용하여 초저용량 이미지(99.5% 감소 또는 DRF = 200)로부터 표준 용량 PET 이미지를 재구성하기 위해 딥 러닝 방법이 사용된다. 이는 높은 감소 인자 및 생체 내 PET 데이터세트로 초저용량 PET 재구성을 가능케하는 데 유리하다.

추가로 기술하기 위해, 표준 용량의 18F-플루오로데옥시글루코스(FDG)(370 MBq)로 동시 비행 시간 가능 PET/MRI 시스템(SIGNA, GE Healthcare)에서 획득된, 교모세포종(GBM) 환자 8명의 PET/MRI 이미지를 설정하는 예시적인 데이터세트 및 실험이 기술된다. 주사 후 45분에 시작하여 약 40분 동안 이미지를 획득하였다. 원시 카운트 리스트모드 데이터세트(raw count listmode dataset)는 각각의 스캔에 대해 저장된 후, 전체 획득 기간에 걸쳐 균일하게 분산된 카운트 이벤트(count event)의 0:5%를 단순히 무작위로 선택함으로써 DRF = 200에서 합성된 저선량 원시 데이터를 생성한다. 이후, 표준 OSEM 방법(28개 서브세트, 2회 반복)을 사용하여 DRF = 1(표준 완전 선량) 및 DRF = 200(목표 저선량)에서 획득된 데이터로부터 PET 이미지를 재구성하였다. 본 발명에 따른 시스템은 4배 감소를 넘어 10배, 100배 내지 200배 감소를 넘어서거나 심지어 방사선을 완전히 제거하고 MRI로부터 제로 선량 이미지를 생성함을 주목한다.

각 환자는 세 번의 독립적인 스캔을 받았다. 재구성된 각 3D PET 데이터의 크기는 25625689이다. 상단과 하단에 공기의 슬라이스가 있으며, 이는 제거된다. 과도한 피팅을 피하기 위해, 트레이닝 과정 동안 데이터 확대가 채택되어 더 큰 데이터세트를 시뮬레이션한다. 네트워크에 공급되기 전에 이미지는 x 및 y 축을 따라 무작위로 뒤집히고, 바뀐다.

딥 러닝 기반 저선량 PET 재구성을 위해, 본 발명은 DRF = 200 이미지로부터 DRF = 1 재구성으로 재구성하는 것을 러닝하도록 모델을 트레이닝시키기 위해 제공된다.

도 2a는 상응하는 스테이지 사이에 대칭 이어붙임 연결을 갖는 인코더-디코더 구조를 기반으로 하는 완전 컨볼루션 네트워크의 일 구체예를 나타낸다. 제공된 네트워크 구조는 세분화 작업 대신 이미지 합성 작업에 대한 수정을 사용함으로써 UNet 구조와 구별된다. 특히, 각 스테이지는 3x3 개의 커널을 갖는 컨볼루션, 배치 정규화(batch normalization) 및 정류 선형 단위(rectified linear unit)(ReLU)를 포함하는 잔차 블록이다. 스테이지 사이의 다운샘플링 및 업샘플링은 각각 2x2 최대 풀링 및 쌍선형 보간에 의해 수행된다. 이미지 다운샘플링 및 이후 업샘플링에 의해, 네트워크는 이미지로부터 다중 스케일 및 고급 수준 피쳐를 추출할 수 있다. 저선량 PET 이미지 재구성 작업은 저수준 비전 문제의 범주 내에 있으며 인코딩-디코딩 절차만 사용하는 경우 해상도 손실에 취약한 이미지 노이즈 제거와 유사하다. 따라서 이미지의 로컬 정보 및 해상도를 유지하기 위해 이어붙임 연결이 추가된다.

도 2b는 저선량 PET 이미지 및 상응하는 다중 콘트라스트 MR 이미지로부터 다중 방식 입력으로서 표준 선량 PET 이미지를 생성하도록 트레이닝된 딥 네트워크를 나타낸다. 도시된 바와 같이, N 개의 CNN 스테이지가 있으며, 각 스테이지는 K x K 개의 커널을 갖는 M 개의 컨볼루션 레이어를 포함하는 블록이다. 결과는 N = 7, M = 2, K = 3인 설정이 제시된 것이다. 이미지 다운샘플링 및 이후 업샘플링에 의해 네트워크가 이미지로부터 다중 스케일 및 고수준 피쳐를 추출할 수 있다. 대칭적 이어붙임 연결은 고해상도 정보를 보존하고 네트워크 성능을 향상시키는 데 사용된다.

고도의 딥 CNN을 트레이닝할 때 성능 저하를 피하기 위한 기술로서 잔차 러닝이 CNN에 처음 도입되었다. 그것은 실체 및 잔여 부분을 분리함으로써 신경망이 보다 효과적이고 효율적으로 트레이닝될 수 있음을 보여준다. 원래 잔차 러닝은 이미지 인식 작업에 사용되었으며 나중에 잔차 러닝을 사용하는 최초의 노이즈 제거 컨볼루션 네트워크인 DnCNN이 제안되었다. 지속적인 상동성 분석을 사용하여 CT 아티팩트의 잔차 매니폴드가 훨씬 간단한 구조를 갖는 것으로 나타났다. 본 발명의 네트워크는 입력으로부터 출력으로 직접 잔차 연결을 추가함으로써, 즉 표준 선량 PET 이미지를 직접 생성하는 것을 러닝하는 대신에, 네트워크가 표준 선량 이미지 출력과 저선량 이미지 입력 간의 차이를 러닝하고자 시도하는 잔차 러닝 기술을 사용한다. 본 발명의 일 양태는 잔차 러닝이 또한 저선량 PET 재구성 문제에 대한 네트워크 성능의 상당한 개선을 초래할 수 있음을 보여준다.

본 발명의 일부 구체예에서, 다중 슬라이스는 시스템에 대한 입력으로서 사용될 수 있다. 이는 신경망에 대한 입력으로서 저선량 이미지 만을 사용하는 것이 표준 선량 이미지를 재구성하기에 충분한 정보를 제공하지 않을 수 있기 때문에 유리하다. 도 1에 도시된 바와 같이, 네트워크가 뇌 구조와 잡음을 구별하기에 불충분한 정보를 가질 수 있기 때문에 선량 감소로 인한 잡음이 네트워크에 의해 완전히 제거되지 않을 수 있다. 이 문제를 해결하기 위해, 단일 슬라이스 입력 대신 다중 슬라이스 입력이 사용된다. 즉, 인접한 슬라이스가 다른 입력 채널로 적층된다. 일반적으로 다중 슬라이스 입력은 일종의 피쳐 확대로 간주될 수 있다. 뇌의 구조는 확정적이므로, 인접한 슬라이스가 다른 노이즈를 가지면서도 랜덤인 유사한 구조를 공유할 수 있다. 따라서 입력으로서 다른 슬라이스를 결합하면 일관된 구조와 랜덤 노이즈를 구분하는 데 사용할 수 있는 2.5D 구조 정보를 네트워크에 제공할 수 있다. 임의의 수의 인접한 슬라이스가 사용될 수 있다. 예를 들어, 적어도 2개, 3개, 4개, 5개, 6개, 7개, 8개, 9개, 10개 또는 그 초과의 인접한 슬라이스가 입력으로서 이용될 수 있다. 일례가 도 3에 도시되어 있으며, 저선량 PET 이미지에서, 확대된 부분에는 블랙 노이즈가 있으며, 이는 제거될 수 없지만 단일 슬라이스 입력으로 트레이닝된 네트워크에 의해 구조로서 착각될 수 있다. 그러나, 3-슬라이스 입력으로 트레이닝된 네트워크는 도 3(D)에 도시된 바와 같이 더 나은 결과를 달성할 수 있다. 2.5D 다중-슬라이스 입력을 트레이닝하는 것은 3D 컨볼루션 네트워크를 사용하는 트레이닝과 다른데, 왜냐하면 이전 솔루션이 파라미터가 더 적고 효율이 더 높은 3D 컨볼루션의 깊이별 조작을 제공하기 때문이다.

다중 콘트라스트 MRI를 사용하기 위해, 2개의 상이한 MR 콘트라스트, T1 및 FLAIR가 본 발명의 일 구체예에서 사용된다. 동시에 획득한 PET 및 MR 이미지는 동일한 좌표계에 있지만 해상도가 다를 수 있다.

이 문제를 해결하기 위해, MR 이미지는 아핀(affine) 등록을 사용하여 상응하는 PET 이미지에 등록된다. 다중 콘트라스트 MRI는 채널 축을 따라 하기 기술되는 다중 슬라이스 입력에 이어붙여진다. 다중 콘트라스트 이미지는 T1w MR 이미지, T2w MR 이미지, FLAIR MR 이미지, 확산 MR 이미지, 관류 MRI 이미지(동맥 스핀 라벨링 시퀀스와 같은), 감수성 MR 이미지, MR 기반 감쇠 보정 맵, MR 수-지방 이미지, CT 이미지 및 CT 기반 감쇠 보정 맵을 포함하나, 이로 제한되는 것은 아니다.

손실 함수의 선택과 관련하여, 평균 제곱 오차(MSE) 또는 L2 손실은 여전히 이미지 복구 문제, 예를 들어, 초고해상도 또는 잡음 제거에 대한 트레이닝 네트워크에서 손실 함수의 가장 보편적인 선택이다. 손실 함수로서 MSE를 사용하는 것은 부가적인 백색 가우스 잡음의 가정 하에 있으며, 이는 이미지의 로컬 피쳐와 무관해야 한다. 그러나, 이것은 일반적으로 저선량 PET 재구성에는 유효하지 않다. PET 이미지의 강도는 대상체에서 트레이서의 활동 분포를 반영하고 노이즈는 각 검출기의 계수와 관련된 선량 감소로 인해 발생하므로 노이즈 및 공간 정보는 독립적이지 않다. 또한, MSE 손실은 인간 시각 시스템과 거의 관련이 없고 더렵혀진 아티팩트를 생성하기 때문에 임상 평가와 관련된 작업에 적합하지 않을 수 있다.

기존의 MSE 외에도, 재구성된 이미지와 그라운드-트루쓰 이미지(ground-truth image) 사이의 이미지 유사성을 측정하는 데 사용될 수 있는 다른 손실 함수가 있다. L1 손실은 두 이미지의 평균 절대 오차이며 다음과 같이 정의될 수 있다:

상기 식에서, N, M은 각각 이미지의 행 및 열의 수이고, x _ij 및 y _ij 는 두 이미지의 픽셀(i; j)에서의 강도를 나타낸다. 구조적 및 지각적 유사성을 측정하기 위해 구조적 유사성 지수(structural similarity index)(SSIM) 및 다중 스케일 구조적 유사성 지수(multi-scale the structural similarity index)(MS-SSIM)가 제안되며, 다음과 같이 추정될 수 있다:

상기 식에서,

C1 및 C2는 상수이다. μ _x , μ _y , σ _x , σ _y , 및 σ _xy 는 픽셀(i; j)을 중심으로하는 패치에서 계산된 이미지 통계이다. K는 다중 스케일 수준의 수이다.

최근의 연구에서는 L1, SSIM, MSSSIM이 이미지 생성 모델에서 더 지각적으로 바람직하다고 제안하였다. 이들 세 가지 대안 중 L1 손실은 L2 손실로 인한 고르지 않은 아티팩트를 피할 수 있을 뿐만 아니라 SSIM 및 MS-SSIM에 비해 역전파에 오버헤드(overhead)를 거의 추가하지 않을 수 있다. 따라서 L1 손실은 하기 예시적인 실험에서 트레이닝 절차에 대한 손실 함수로서 선택된다.

계산 환경 및 하드웨어 설정과 관련하여, 모든 계산 작업은 2개의 NVIDIA GTX 1080Ti GPU가 설치된 Ubuntu 서버에서 수행되었다. 본 발명의 네트워크는 TensorFlow에서 구현된다. RMSprop 옵티마이저가 1 X 10^-3으로 초기화된 러닝 속도로 실험에서 사용되며, 러닝 속도는 2:5 X 10^-4로 서서히 감소한다. 네트워크는 120 에포크(epoch) 동안 트레이닝되었다. 컨볼루션 커널은 평균이 0이고 표준 편차가 0.02인 잘린 가우시안 분포로 초기화되었다. 모든 바이어스(bias)는 0으로 초기화된다.

본 발명의 방법의 성능을 평가하고 새로운 데이터세트, 특히 다른 병리를 갖는 새로운 환자 데이터에 대한 일반화를 입증하기 위해, LOOCV(Leave-One-Out Cross Validation)가 사용되었다. 각각의 환자 데이터세트에 대해, 다른 8명의 환자에 대해서만 트레이닝된 모델을 사용하여 완전 선량 재구성이 생성되었다. LOOCV 결과의 통계는 본 발명의 일 구체예에 따른 모델의 일반화 오차를 정량화하는데 사용되었다. 이미지 품질을 정량적으로 평가하기 위해 정규화된 근 평균 제곱 오차(normalized root mean square error)(NRMSE), 피크 신호 대 잡음비(PSNR) 및 SSIM을 포함하여 3가지 유사성 메트릭이 본 발명의 실험에 사용된다. SSIM은 식 4에 정의되어 있으며, NRMSE와 PSNR은 다음과 같이 정의된다.

상기 식에서, MAX는 이미지의 피크 강도이다. 메트릭 계산을 실제 임상 평가에 더 잘 맞추기 위해, 이미지 지원을 사용하여 추정된 뇌 마스크를 적용한 후 모든 유사성 메트릭을 계산하였다.

이제 다른 방법들과의 비교로 시작하여, 결과들을 다시 살펴보면, 본 발명의 방법을 NLM, BM3D 및 자동-콘텍스트 네트워크(auto-context network)(AC-Net)를 포함하는 저선량 PET 재구성에서의 3가지 최신 노이즈 제거 방법과 비교하였다. 이들 방법을 평가하기 위해 교차 검증이 수행된다.

도 4는 모든 대상자의 NRMSE, PSNR 및 SSIM의 평균 성능을 나타낸 반면, 도 5는 하나 남기기 테스트(leave one-out testing)에서 9명의 대상자 모두에 대해 이 세 가지 메트릭의 점수를 제공한다.

지각적인 이미지 품질을 조사하기 위해, 두 가지 대표적인 슬라이스가 다른 대상자로부터 선택된다. 선택된 슬라이스의 NRMSE, PSNR 및 SSIM에 관한 정량적 메트릭이 표 I에 열거된다. 재구성 결과, 확대된 종양이 도 6 및 도 7에 시각적으로 도시되어 있다.

표 I

대표적인 슬라이스에 대해 상이한 알고리즘과 결합된 정량적 결과

일부 구체예에서, 네트워크는 스킵 연결 구성요소를 이용할 수 있다. 네트워크는 동일한 유형일 수도 아닐 수도 있는 하나 이상의 스킵 연결 구성요소를 이용할 수 있다. 예를 들어, 네트워크에는 두 가지 유형의 스킵 연결이 있을 수 있다. 하나는 입력에서 출력으로의 잔차 연결이고 다른 하나는 상응하는 인코더와 디코더 레이더 사이의 이어붙임 연결이다. 이 두 가지 유형의 스킵 연결이 네트워크 성능에 미치는 영향을 평가하기 위해, 4개의 상이한 모델, 즉 (1) 두 가지 유형의 스킵 연결로, (2) 이어붙임 연결 만으로, (3) 잔차 연결 만으로, 및 (4) 어떠한 스킵 연결도 없이 트레이닝되고, 테스트된다. 도 7은 트레이닝 동안 이들 4개의 모델의 상이한 테스트 손실을 나타내고, 교차 검증의 정량적 결과가 도 8에 도시된다.

상기 언급된 바와 같이, 다중 슬라이스 입력은 인접한 슬라이스의 정보를 결합하여 네트워크에서 노이즈와 아티팩트가 적은 재구성을 보다 정확하게 생성하면서 원래의 구조와 세부 사항을 강력하게 보존할 수 있도록 사용되었다.

이 기술의 한계를 연구하기 위해, 상이한 수의 입력 슬라이스(1, 3, 5, 7)를 갖는 네트워크가 트레이닝되고, 그 결과가 도 9A-9F에 도시된 바와 같이 비교된다.

도 10은 상이한 수의 슬라이스로 트레이닝된 네트워크의 3개의 유사성 메트릭의 결과를 네트워크에서 2.5D 입력으로서 나타낸다. 3개의 메트릭의 진전은 모두 더 많은 입력 슬라이스 수를 사용하여 본 발명의 방법의 성능 이득을 입증한다. 단일 슬라이스 입력과 비교할 때 3-슬라이스 입력이 상당히 더 나은 결과를 제공할 수 있다. 그러나 3개 초과의 슬라이스를 지속적으로 추가하는 것에 의한 네트워크의 성능 향상은 그리 중요하지 않다. 유사한 현상이 도 9A-9F에서 볼 수 있다. 도 9D-9F는 도 9C에서 누락되거나 흐릿한 세부 사항을 포함한다. 그러나, 9D-9F는 지각적으로 유사하다.

네트워크의 깊이와 관련하여, 본 발명의 네트워크를 최적화하기 위해, 본 발명의 모델의 깊이가 네트워크 성능에 미치는 영향을 평가하기 위한 실험이 수행된다. 이 네트워크의 깊이, 즉 풀링 레이어 수(np) 및 두 풀링 간의 컨볼루션 수(nc)를 제어하기 위해 두 개의 하이퍼-파라미터(hyper-parameter)가 사용된다. 그리드 검색 전략이 채택된다. 예시적인 실험에서, np는 2 내지 5에서 달라지고 nc는 1 내지 3에서 달라진다. 결과가 도 11에 나타나며, 이는 이 예에서 np = 3 및 nc = 2가 가장 적합한 아키텍처임을 제안한다.

샘플 테스트가 제공되며, SUV에 대해 하기와 같다:

형성되는 이미지의 지각적인 이미지 품질에 접근하기 위해 숙련된 방사선과 전문의가 이미지의 품질 및 해상도에 따라 이미지를 평가하도록 초대되었다. 각 이미지는 1-5 등급(높음=보다 우수)로 평가되었다. 이미지 등급을 1-3 또는 4-5로 이분법화하고, 4-5 등급의 이미지의 백분율을 각각의 이미지 유형(II)에 대해 계산하였다. 높은 등급의 비율 차이에 대해 95% 신뢰 구간(III)을 구성하고 구간의 하한을 -15% 포인트의 비열등성 한계(non-inferiority margin)와 비교함으로써 합성된 이미지 대 고선량 이미지의 비열등성 테스트를 수행하였다. 이는 합성된 이미지에 대한 높은 등급의 비율이 고선량 이미지에 대한 비율보다 15% 포인트 이하로 더 낮은지의 여부를 테스트하였다(0.05의 유의 수준으로). Stata 15.1(StataCorp LP, College Station, TX) 및 R 버전 3.3.1(r-project.org)을 ExactCIdiff" 패키지의 버전 1.3과 함께 사용하여 통계 분석을 수행하였다.

표 II

각각의 이미지 유형에 대한 이미지 등급 4 또는 5의 비율

표 III

표준 선량과 합성된 것 간의 비율 차이에 대한 신뢰 구간

본 발명에 따른 방법의 임상 진단에 대한 효과를 연구하기 위해, 병변에 대한 세분화 테스트가 또한 수행되었다. 8명의 대상자 중 7명이 이 테스트에 포함되었는데, 왜냐하면 남은 대상자에게서는 고온 병변이 관찰되지 않았기 때문이다. 종양의 윤곽선은 DRF = 100인 딥 러닝(MR이 있거나 없는) 재구성된 이미지인, 표준 선량 이미지에서 방사선과 전문의에 의해 표지되었다. 표준 선량 이미지에 대한 세분화 결과가 이 테스트에서 그라운드 트루쓰로서 제공되었다. 표준 선량 이미지에 대한 윤곽선 재테스트는 최초 표지 후 3주간 동일한 방사선과 전문의에 의해 수행되었다. DICE, 정밀도, 리콜(recall) 및 면적 차이를 포함하여 여러 가지 지수가 계산되며 표 IV에 나열되어 있다. 추가로, T-테스트가 DICE 계수, 정밀도, 리콜 및 면적 차이에 기초하여 수행되었다.

표 IV

T-테스트 결과

도 4 및 도 5의 정량적 결과는 제안된 방법이 테스트된 다른 방법과 비교하여 데이터 세트에서 9명의 대상자 모두에서 최상의 성능을 나타냈음을 보여준다. 시각적 결과로부터, 또한 본 발명의 방법이 가장 높은 이미지 품질을 가짐을 시사한다. NLM은 도 6C에 도시된 바와 같이 이미지에서 고르지 않은 아티팩트를 생성한다. BM3D 및 AC-Net 둘 모두 저선량 이미지에서 노이즈를 완전히 제거할 수 없으며, 도 6D 및 6E에 도시된 바와 같이 중요한 세부 사항을 복구하지 않고 이미지를 과도하게 흐리게 하는 경향이 있다. 또한, 도 8의 오류 맵으로부터 동일한 결론이 도출될 수 있다. 또한, 본 발명의 방법은 도 7에 도시된 바와 같이 GBM 영역에서 최상의 지각 결과를 달성할 수 있다.

계산 비용 측면에서, 딥 러닝에는 오랜 시간 트레이닝이 필요하지만, Tensorflow를 통한 효율적인 구현 및 GPU에서의 병렬화로 인해 추론 효율성이 기존 방법보다 쉽게 뛰어날 수 있다. 256 X 256 이미지에 대한 각 방법의 시간 소비가 표 V에 나열되어 있다. 다른 방법과 비교하여, 본 발명에 의한 솔루션은 보다 정확할 뿐만 아니라 더욱 효율적이다.

표 V

각각의 방법에 대한 테스트 시간(이미지 당)

AC-Net에 사용되는 단일 스케일 모델과 비교하여, 인코더-디코더 구조가 네트워크가 더 많은 파라미터 및 채널을 채택하여 더 높은 레벨의 피쳐를 추출하고 계산 시간을 단축할 수 있도록 한다.

도 8a-8f에 도시된 결과로서, 두 유형의 스킵 연결을 갖는 모델은 분명히 최고의 성능을 달성한다. 그러나, 스킵 연결 유형이 하나뿐인 모델의 경우, 그 성능이 스킵 연결이 없는 모델의 성능과 비슷하거나, 심지어 더 나쁘다. 이들 결과는 이들 두 종류의 연결이 독립적이지 않음을 나타낸다.

다중 슬라이스 입력의 결합에 상이한 옵션을 사용하는 정량적 및 정성적 둘 모두의 재구성의 비교가 제공된다. 도 9C의 상세한 구조는 노이즈 제거 프로세스 동안 흐려지지만, 도 9D-9F에서는 보존되며, 이는 다중 슬라이스 입력의 이점을 보여준다.

z축 방향을 따라 3D PET 데이터의 해상도가 축 이미지 내에서보다 더 나쁘기 때문에 z축을 따라 몇 개의 슬라이스를 적층하면 3D 공간 관계를 복구할 수 있다. 여기에서는 3개의 슬라이스만을 사용함으로써 확대된 2.5D 슬라이스의 성능이 크게 향상되었지만, 입력으로서 더 많은 슬라이스를 사용함으로써 성능이 더 향상되지는 않는 것으로 보여진다. 이 결과는 서로 다른 슬라이스의 구조적 유사성이 거리로 인해 슬라이스들 사이에서 활용할 수 있는 관계와 중복성이 결국 사라질 때까지 지속된다는 가정과 일치한다.

본원에 제공되는 바와 같이, 다중 스케일 인코더-디코더 아키텍처, 이어붙임 연결 및 잔차 러닝이 채택되는 초저선량 PET 재구성을 위해 완전 컨볼루션의 딥 네트워크가 제시되었다.

결과는 본 발명의 방법이 고품질 PET 이미지를 재구성하고 정상 선량 PET 이미지와 유사한 품질을 생성하는 데 탁월한 성능을 가짐을 보여 주었다. 본 방법은 해상도 및 세부 구조를 강력하게 보존하면서 노이즈를 크게 줄인다.

또한, 본 발명의 방법의 상이한 구성요소가 개선된 성능에 어떻게 기여하는지를 설명한다: 손실 함수의 설계, 2.5D 다중 슬라이스 입력 및 이어붙임 및 잔차 스킵 연결 등. 세부적인 정량적 및 정성적 비교는 본 발명의 방법이 구조를 보다 잘 보존하고 노이즈 및 아티팩트로 인한 환각을 피할 수 있음을 입증하였다.

광범위한 비교를 통해, 본 발명의 방법은 정규 용량의 0:5%의 초저선량 PET 데이터로부터의 이전 방법과 비교하여 상당히 더 우수한 재구성을 달성하여, 잠재적으로 더 안전하고 보다 효율적인 PET 스캔을 가능하게 한다.

상기에서 언급된 바와 같이, MRI는 콘트라스트 또는 방사선 없이 연조직을 구별하는데 큰 임상적 가치를 갖는다. MRI 및 PET로부터의 하이브리드-방식 정보를 사용함으로써, 본 발명은 콘트라스트가 없는 다중-콘트라스트 MRI 이미지로부터 대사 활성 맵핑(PET에서 측정된)을 예측하는 딥 러닝 시스템 및 방법을 제공한다. 하기에서 FDG-PET/MRI 및 아밀로이드-PET/MRI 임상 데이터세트에 대한 임상 데이터세트가 입증되고 검증된다. 이 기술은 딥 러닝을 사용하여 보다 효율적이고 저렴한 다중 트레이서 기능 이미징에 사용될 수 있다. 이 방법에 대해, 동시 PET/MRI 데이터 세트(FDG-PET/MRI 및 아밀로이드-PET/MRI)가 동시 비행 시간 지원 3.0 Tesla PET/MRI 시스템(Signa, GE Healthcare, Waukesha, WI)을 사용하여 신경 검사에서 획득되었다. 데이터세트는 FDG-PET/MRI에 대한 10개의 교모세포종(GBM) 환자 및 아미노이드-PET/MRI에 대한 다른 20명의 대상자(건강한 대조군 및 AD 환자 둘 모두 포함)에서 수집된다. 여기서, 딥 러닝 모델이 도 12에 도시되며, 여기서 PET 이미지에서와 같이 대사 정보를 예측하기 위해, ASL, FLAIR, T1w 및 T2w MR 이미지를 포함하는, 콘트라스트 없는 MRI 스캔에서 획득된 이미지의 서브세트가 사용되었다. ASL 및 그 밖의 해부학적 MRI 스캔을 입력으로 사용함으로써, PET에서 그라운드-트루쓰 기준으로 측정된 표준화된 대사 활동을 통해 U-Net 딥 네트워크 모델은 근사화된 대사 신호를 출력하도록 트레이닝되었다. 또한, 5배 교차 검증에 의한 평가를 사용하여 모델이 대상자의 80% 서브세트에 대해 트레이닝되고 나머지 20% 데이터세트에 적용되는 성능을 정량화하였다. PSNR, SSIM 및 표준화된 상호 정보(MI)와 같은 정량적 유사성 메트릭을 사용하여 성능을 평가하였다.

표 VI는 FDG-PET을 사용하여 원래 측정된 그라운드-트루쓰 대사 활성화, 본 발명의 방법 및 시스템을 사용한 추정 대사 맵, 및 모든 원시 MRI 이미지 간의 정량적 유사성 메트릭을 나타낸다.

표 VI

도 13은 GBM 저온-병변을 갖는 축 방향 슬라이스의 시각화된 결과를 나타내며, 대사 활성화를 정확하게 예측할 수 있는 본 발명의 제안된 시스템 및 방법을 나타낸다. 평균적으로, 추정된 FDG-활성화 유사 대사는 PSNR에서 34.3±1.5dB, SSIM에서 0.97±0.01 및 상호 정보에서 0.85±0.13으로 양호한 근사치를 달성한다. 비교를 위해, PET와 가장 유사한 MRI 콘트라스트인 ASL-MRI 신호 회귀로부터의 메트릭은 PSNR에 대해 23.5dB이고, SSIM에 대해 0.78이고, MI에 대해 0.51이다. MRI를 사용하여 아밀로이드-PET에서와 같이 정보를 매핑한 경우에도 비슷한 결과가 나타난다. 도 13은 MRI로부터의 아밀로이드-PET에 대해 정확히 근사함을 나타내는 예시적 슬라이스를 보여준다. 본 발명의 시스템 및 방법으로, PSNR의 10dB 초과 증가 및 0.3 SSIM 초과의 개선을 달성할 수 있다.

도 14는 본 발명의 일 구체예에 따른 MRI로부터 합성된 아밀로이드-PET를 나타낸다. 도 15는 본 발명의 일 구체예에 따른 프로세스의 흐름도를 나타낸다.

동시 PET/MRI를 사용하여, 본 발명은 콘트라스트가 없는 MRI 이미지로부터 다중-트레이서 대사 바이오마커를 실현 가능하게 추정하는 것으로 입증되었다. 본 발명은 보다 효율적이고 저렴한 다중 트레이서 기능 이미징, 해부학적 기능 관계 탐색 및 워크플로우 개선에 사용될 수 있다.

본 발명은 이제 제한적인 것이 아니라 모든 양태에서 예시적인 것으로 의도 된 몇몇 예시적인 구체예에 따라 설명되었다. 따라서, 본 발명은 상세한 구현에서 많은 변형이 가능하며, 이는 당업자에 의해 본원에 포함된 설명으로부터 도출될 수 있다.

이러한 모든 변형은 다음의 청구 범위 및 이의 법적 등가물에 의해 정의된 바와 같이 본 발명의 범위 및 사상 내에 있는 것으로 간주된다.

Claims

방사선 이미징 방식 및 핵의학 적용을 위한 방사선량을 감소시키는 방법으로서,
a) 컨볼루션 네트워크(convolutional network)를 사용하여 저선량의 핵의학 이미지로부터 표준 선량의 핵의학 이미지를 생성하는 단계로서, 상기 컨볼루션 네트워크는 N 개의 컨볼루션 신경망(convolution neural network)(CNN) 스테이지를 포함하고, 각각의 상기 CNN 스테이지는 K x K 개의 커널(kernel)을 갖는 M 개의 컨볼루션 레이어(layer)를 포함하고, 상기 컨볼루션 네트워크는 상응하는 상기 CNN 스테이지 사이에 대칭 이어붙임 연결(symmetry concatenate connection)을 갖는 인코더-디코더 구조(encoder-decoder structure)를 추가로 포함하는 단계;
b) 풀링(pooling)을 사용하는 다운샘플링(downsampling) 및 상기 스테이지 사이에 쌍선형 보간(bilinear interpolation)을 사용하는 업샘플링(upsampling) 단계로서, 상기 네트워크가 상기 저선량 이미지로부터 다중 스케일 및 고수준 피쳐(feature)를 추출하여 고선량 이미지를 시뮬레이션하는 단계; 및
c) 상기 고선량 이미지의 로컬 정보 및 해상도를 보존하기 위해 상기 저선량 이미지에 이어붙임 연결을 추가하는 단계로서, 상기 고선량 이미지는 환자의 방사성 트레이서의 1과 동일한 선량 감소 인자(dose reduction factor)(DRF)를 포함하며, 상기 저선량 PET 이미지는 상기 환자의 상기 방사성 트레이서의 적어도 4와 동일한 DRF를 포함하는 단계를 포함하는 방법.
제1항에 있어서, 상기 DRF가 4 내지 200의 범위 내인 방법.
제1항에 있어서, 상기 표준 선량 핵의학 이미지가 상기 저선량 핵의학 이미지 및 상응하는 다중 콘트라스트 MR 이미지로부터 다중 방식 입력(multi-modality input)으로서 생성되는 방법.
제1항에 있어서, 상기 핵의학 이미지가 CT, PET, PET/CT, PET/MR, SPECT 및 그 밖의 핵의학 이미징 방법으로 이루어진 군으로부터 선택된 방법을 사용하여 생성되는 방법.
제1항에 있어서, 상기 저선량 핵의학 이미지에서 신호 대 잡음비(signal-to-noise-ratio)(SNR)가 이어붙임 스킵 연결(concatenate skip connection)을 갖는 인코더-디코더 잔차 딥 네트워크(encoder-decoder residual deep network)를 사용하여 증가되며, 상기 스킵 연결은 상기 방법의 입력으로부터 출력으로의 잔차 연결, 또는 상응하는 인코더와 디코더 레이어 사이의 이어붙임 연결을 포함하는 방법.
제1항에 있어서, 상기 저선량 핵의학 이미지가 입력으로서 다중 슬라이스(multiple slice) 및 다중 콘트라스트 이미지(multiple contrast image)의 조합을 추가로 포함하는 방법.
제6항에 있어서, 상기 다중 슬라이스 및 상기 다중 콘트라스트 이미지의 상기 조합이 T1w MR 이미지, T2w MR 이미지, FLAIR MR 이미지, 확산 MR 이미지, 관류 MRI 이미지, 감수성 MR 이미지, MR 기반 감쇠 보정 맵, MR 수-지방 이미지(MR water-fat image), CT 이미지 및 CT 기반 감쇠 보정 맵으로 이루어진 군으로부터 선택되고, 상기 관류 MRI 이미지는 동맥 스핀 라벨링 시퀀스(Arterial Spin Labeling sequences)를 포함하는 방법.
제1항에 있어서, 얼마나 많은 입력 슬라이스 및 어느 입력 콘트라스트가 방법에 가장 기여하는지를 결정하는 알고리즘을 추가로 포함하며, 상기 알고리즘은 얼마나 많은 상기 입력 슬라이스 및 상기 입력 콘트라스트를 사용할지를 적응적으로 결정하는 방법.
제1항에 있어서, L1/평균 절대 오차, 구조적 유사성 손실, 및 적응형 트레이닝 손실(adaptive trained loss)로 이루어진 군으로부터 선택된 혼합 비용 함수가 사용되며, 상기 적응형 트레이닝 손실은 네트워크 모델을 이용하는 생성적인 적대적 네트워크 손실(generative adversarial network loss) 및 지각 손실(perceptual loss) 함수를 포함하는 방법.
저방사선량 샘플로부터 방사선 이미징 방식 및 핵의학 적용을 위한 고품질 이미지를 생성하는 시스템으로서,
a) 저방사선량 이미지, 또는 시스템 입력으로서 다수의 2 차원 이미지 또는 3 차원 이미지의 적층으로서 함께 획득한 저방사선량 이미지 및 다중 콘트라스트 이미지의 다중 슬라이스를 촬영하기 위해 의료 이미저(medical imager)를 사용하고;
b) 상기 입력 이미지에 딥 네트워크 기반 회귀 작업을 적용하는 것을 포함하며, 상기 딥 네트워크 기반 회귀 작업은
i. N 개의 컨볼루션 신경망(CNN) 스테이지로서, 각각의 상기 CNN 스테이지는 K x K 개의 커널을 갖는 M 개의 컨볼루션 레이어를 포함하고, 상기 CNN은 상응하는 상기 CNN 스테이지 사이에 대칭 이어붙임 연결을 갖는 인코더-디코더 구조를 포함하는 스테이지;
ii. 이어붙임 스킵 연결을 갖는 인코더-디코더 잔차 딥 네트워크로서, 상기 스킵 연결은 입력 이미지로부터 출력 이미지로의 잔차 연결을 포함하는 네트워크; 및
iii. 표준 방사선량 이미지로서의 이미지 품질을 갖는 출력 방사선 또는 핵의학 이미지로서, 상기 이미지 품질은 저방사선량 입력으로부터 개선된 해상도, 콘트라스트 및 신호 대 잡음비를 포함하는 이미지를 포함하는, 시스템.