KR20220067543A - 저 도스 체적 대조 강화 mri를 개선하기 위한 시스템 및 방법 - Google Patents

저 도스 체적 대조 강화 mri를 개선하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220067543A
KR20220067543A KR1020227012551A KR20227012551A KR20220067543A KR 20220067543 A KR20220067543 A KR 20220067543A KR 1020227012551 A KR1020227012551 A KR 1020227012551A KR 20227012551 A KR20227012551 A KR 20227012551A KR 20220067543 A KR20220067543 A KR 20220067543A
Authority
KR
South Korea
Prior art keywords
image
images
medical
reformatted
predicted
Prior art date
Application number
KR1020227012551A
Other languages
English (en)
Inventor
조나단 타미르
벤카타 스리바트사 파수마르티
타오 장
엔하오 공
Original Assignee
서틀 메디컬, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서틀 메디컬, 인크. filed Critical 서틀 메디컬, 인크.
Priority claimed from PCT/US2020/052123 external-priority patent/WO2021061710A1/en
Publication of KR20220067543A publication Critical patent/KR20220067543A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5601—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution involving use of a contrast agent for contrast manipulation, e.g. a paramagnetic, super-paramagnetic, ferromagnetic or hyperpolarised contrast agent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

모델 견고성 및 일반화 가능성을 개선하기 위한 방법 및 시스템이 제공된다. 방법은, 의료 이미징 장치를 사용하여 피험자의 의료 이미지를 획득하는 단계; 다수의 스캐닝 방향으로 피험자의 의료 이미지를 리포맷하는 단계; 의료 이미지에 딥 네트워크 모델을 적용하여 의료 이미지의 품질을 개선하는 단계; 및 의사에 의한 분석을 위해 피험자의 개선된 품질 이미지를 출력하는 단계를 포함할 수 있다.

Description

저 도스 체적 대조 강화 MRI를 개선하기 위한 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 그 내용이 본 명세서에 그 전체가 포함된, 2019년 9월 25일에 출원된 미국 특허 가출원 제62/905,689호에 대한 우선권을 주장한다.
연방 지원 연구에 관한 진술
이 발명은 국립 보건원(National Institutes of Health)에 의해 수여된 보조금 번호 R44 EB027560에 따라 정부 지원으로 이루어졌다. 정부는 본 발명에 대해 소정의 권리를 갖는다.
예를 들어, 가돌리늄 기반 대조 작용제(Gadolinium-based contrast agent; GBCA)와 같은 대조 작용제는 광범위한 임상 적용에 필수적인 이미지 대조를 생성하기 위해 전 세계적으로 자기 공명 이미징(Magnetic Resonance imaging; MRI) 검사의 약 1/3에 사용되었지만, 신부전 환자에게 건강상의 위험을 초래하고 정상적인 신장 기능을 가진 환자의 경우 뇌와 신체에 침착되는 것으로 알려져 있다. 최근에 딥 러닝 기술은 체적 대조 강화(volumetric contrast-enhanced) MRI에서 GBCA 도스(dose)를 줄이는 데 사용되었지만 현장(sites) 내 및 현장들 간에 스캐너 하드웨어 및 임상 프로토콜의 가변성으로 인해 일반화 가능성(generalizability)의 문제가 남아 있다.
본 개시는, 위에서 인식된 것을 포함하여, 종래의 시스템들의 다양한 단점들을 해결할 수 있는 개선된 이미징 시스템 및 방법을 제공한다. 본 명세서에 기술된 바와 같은 방법 및 시스템은 예를 들어, 가돌리늄 기반 대조 작용제(GBCA)와 같은 감소된 도스 수준의 대조 작용제로 이미지 품질을 개선할 수 있다. 특히, 일반화된 딥 러닝(deep learning; DL) 모델을 활용하여 상이한 현장들 및 스캐너들에서 대조 도스 감소로 대조 강화 이미지를 예측한다.
전통적으로, 예를 들어, 가돌리늄 기반 대조 작용제(GBCA) 및 기타와 같은 대조 작용제는 병리학을 검사하고 예후를 예측하며 신경교종, 다발성 경화증(multiple sclerosis; MS), 알츠하이머 병(Alzheimer’s disease; AD) 등의 치료 반응을 평가하기 위해 예를 들어, 자기 공명 이미징(MRI), 또는 핵 자기 공명 이미징과 같은 광범위한 대조 강화 의료 이미징에 사용되었다. GBCA는 또한 예를 들어, 관상 동맥 질환(coronary artery disease; CAD) 평가, 폐 덩어리의 특성화, 간세포 암종(hepatocellular carcinoma; HCC) 진단, 척추 전이성 질환의 이미징과 같은 다른 임상 응용에 널리 사용된다. 2006년에 GBCA 투여와 신장 기능이 손상된 환자에서 신인성 전신 섬유증(nephrogenic systemic fibrosis; NSF)의 발병 사이의 연관성이 확인되었다. 신기능이 정상인 피험자에서 GBCA의 다른 급성 부작용으로는 과민증, 메스꺼움 및 흉통이 있다. 그 후 2017년에 미국 FDA는 가돌리늄 정체(retention)와 관련된 경고 및 안전 조치를 발표했으며 캐나다, 호주 및 기타 국가의 규제 기관은 유사한 경고를 발표했다. 안전 권고 외에도 유럽 의약품청(European Medicines Agency)은 선형 GBCA 사용을 중단했다. 가돌리늄 정체는 비강화(non-enhanced) T1W MRI에서 초강도 형태로 CNS 조직에서 보고되었을 뿐만 아니라 신체의 다른 부분에서도 보고되었다. 가돌리늄이 새로운 수질 오염 물질이기 때문에 환경적 지속 가능성에 대한 우려도 제기되고 있다. 대조 강화 스캔의 다른 단점으로는 정맥 주사 시 환자의 불편함, 스캔 시간 연장, 및 전반적인 이미징 비용 증가 등이 있다. GBCA는 약물감시 안전성 프로파일이 우수하지만 위에서 언급한 안전성 문제 및 우려로 인해 도스 감소가 분명히 필요하다. 특히, 이미징 품질을 손상시키거나 추가적인 안전 문제를 야기하지 않고 대조 작용제의 특성 또는 유형에 관계없이 대조 도스가 감소될 수 있는 안전한 이미징 기술을 제공하는 것이 바람직하다.
딥 러닝(Deep learning; DL) 또는 머신 러닝(machine learning; ML) 기술의 최근 발전으로 이를 대조 도스의 사용에 대한 잠재적인 대안으로 사용할 수 있다. DL/ML은 잡음 제거, 예를 들어, MRI에서 CT로, T1에서 T2로의 초 해상도 및 모달리티 변환(modality conversion)을 포함하는, 의료 이미징에서 다양한 응용을 발견했다. DL 모델은 표준 도스의 작은 분율(fraction)과 대조 전 이미지(pre-contrast images)를 사용하여 대조 강화 이미지를 생성하는 데 사용될 가능성이 있다. 이러한 방법은 열등하지 않은 이미지 품질을 유지하면서 도스 수준을 감소시킬 수 있지만, DL 강화 이미지는 종종 예를 들어, 리포맷 이미지(reformat image)(예컨대, 다른 평면, 방향 또는 각도에서 본 리포맷된 체적 이미지 또는 재구성된 3D 이미지) 상의 줄무늬(streaks) 와 같은 아티팩트를 겪는다.
예를 들어, 상이한 스캐너 벤더들, 스캔 프로토콜들, 환자 인구 통계들 및 임상 징후들과 같은 다양한 임상 설정에 대해 일반화되는 (때로는 이 임상 설정에 애그노스틱(agnostic)한) 견고한 DL 모델을 제공할 필요가 있다. 이러한 모델은 아티팩트가 없는 이미지를 생성하고 예를 들어, 3D 이미지의 경사 시각화(oblique visualizations)를 위한 다중 평면 리포맷(multiplanar reformat; MPR)과 같은 다양한 임상 사용 사례를 지원하여, 표준 임상 작업 흐름 내에서 모델이 배포되고 통합될 수 있도록 하는 데에도 필요하다.
여기에 설명된 시스템 및 방법은 기존 솔루션의 위에서 언급한 단점을 해결할 수 있다. 특히, 제공된 시스템 및 방법은 모델 견고성 및 일반화 가능성을 개선하는 고유한 알고리즘 및 방법 세트를 포함하는 DL 모델을 포함할 수 있다. 알고리즘 및 방법은, 예를 들어, 대응하는 대조-강화된 이미지를 예측하는 모델에 앞서 입력 사전-대조 및 저 도스 이미지를 사전-처리하는데 사용되는 사전-처리 알고리즘뿐만 아니라, 다중 평면 재구성, 2.5D 딥 러닝 모델, 강화-가중화된 L1, 지각적 및 적대적 손실(perceptual and adversarial losses) 알고리즘 및 방법을 포함할 수 있다.
일 양상에서, 감소된 도스의 대조 작용제로 이미지 품질을 개선하기 위한 컴퓨터로 구현되는 방법(computer-implemented method)이 제공된다. 이 방법은, 의료 이미징 장치를 사용하여 감소된 도스의 대조 작용제로 피험자의 의료 이미지를 획득하는 단계; 피험자의 의료 이미지를 다수의 방향으로 리포맷하여 복수의 리포맷 의료 이미지를 생성하는 단계; 및 복수의 리포맷 의료 이미지에 딥 네트워크 모델을 적용하여 개선된 품질을 갖는 예측된 의료 이미지를 생성하는 단계를 포함한다.
관련되지만 분리된 양상에서, 비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 동작들을 수행하게 하는 명령어를 포함한다. 동작들은, 의료 이미징 장치를 사용하여 감소된 도스의 대조 작용제로 피험자의 의료 이미지를 획득하는 동작; 피험자의 의료 이미지를 다수의 방향으로 리포맷하여 복수의 리포맷 의료 이미지를 생성하는 동작; 및 복수의 리포맷 의료 이미지에 딥 네트워크 모델을 적용하여 개선된 품질을 갖는 예측된 의료 이미지를 생성하는 동작을 포함한다.
일부 실시예에서, 의료 이미징 장치는 변형(transforming) 자기 공명(MR) 디바이스이다. 일부 실시예에서, 의료 이미지는 2.5D 체적 이미지이다.
일부 실시예에서, 다수의 방향은 스캐닝 평면의 방향이 아닌 적어도 하나의 방향을 포함한다. 일부 실시예에서, 방법 또는 동작들은 복수의 리포맷 의료 이미지 각각을 다양한 각도로 회전시켜 복수의 회전된 리포맷 의료 이미지를 생성하는 단계를 더 포함한다. 일부 경우에, 복수의 회전된 리포맷 의료 이미지에 딥 네트워크 모델을 적용하여 복수의 예측 이미지를 출력한다. 딥 네트워크 모델의 출력으로서의 복수의 예측 이미지는 스캐닝 평면에 정렬되도록 회전된다. 일부 예시에서, 방법 또는 동작들은 스캐닝 평면에 정렬되도록 회전된 후의 복수의 예측 이미지를 평균화하여 개선된 품질을 갖는 예측 의료 이미지를 생성하는 단계를 더 포함한다. 일부 실시예에서, 개선된 품질을 갖는 예측 의료 이미지는 복수의 리포맷 의료 이미지에 대응하는 복수의 예측 의료 이미지를 평균화함으로써 획득된다.
추가적으로, 본 개시의 방법 및 시스템은, 기저 인프라구조의 변경의 필요성 없이 기존 시스템에 적용될 수 있다. 특히, 제공된 방법 및 시스템은 하드웨어 컴포넌트의 추가 비용 없이 대조 작용제의 도스 수준을 줄일 수 있으며 기저 인프라의 구성 또는 사양에 관계없이 배포할 수 있다.
본 개시의 추가 양상들 및 이점들은, 본 개시의 예시적인 실시예들만이 도시되고 설명되는 이하의 상세한 설명으로부터 당업자에게 쉽게 명백해질 것이다. 알게 될 바와 같이, 본 개시는 다른 및 상이한 실시예들이 가능하고, 그 몇몇 세부사항들은 모두 본 개시로부터 벗어나지 않고 다양하고 명백한 관점들에서 수정될 수 있다. 따라서, 도면들 및 설명들은 본질적으로 예시적이며 제한적이지 않은 것으로 간주되어야 한다.
참조에 의한 통합
본 명세서에 언급된 모든 간행물들, 특허들, 및 특허 출원들은, 각각의 개별 간행물, 특허, 또는 특허 출원이 참조로서 포함되도록 구체적이고 개별적으로 표시된 것과 동일한 정도로 참조로서 본원에 통합된다. 참고로 포함된 간행물 및 특허 또는 특허 출원이 본 명세서에 포함된 개시와 모순되는 한, 본 명세서는 임의의 그러한 모순되는 자료를 대체하고 그리고/또는 이러한 자료에 우선한다.
본 발명의 신규한 피처들(features)은 첨부된 청구항들에 구체적으로 제시된다. 본 발명의 원리들이 사용되는 예시적인 실시예들을 제시하는 이하의 상세한 설명을 참조하여 본 발명의 피처들 및 이점들의 더 나은 이해가 달성될 것이며, 첨부 도면들(또한, 본원에서 "도면" 및 "도")은 다음과 같다.
도 1은 자기 공명 이미징(MRI) 체적 이미지 데이터를 처리하고 재구성하기 위한 작업 흐름의 예를 도시한다.
도 2는 두 개의 상이한 현장들로부터 수집된 데이터의 예를 보여 준다.
도 3은 연구의 분석 결과를 도시한다.
도 4는, 본 개시의 이미징 강화기(imaging enhancer)가 구현될 수 있는 자기 공명 이미징(MRI) 시스템을 개략적으로 도시한다.
도 5는 연구에서 실험 데이터를 수집하는 데 사용되는 스캔 절차 또는 스캔 프로토콜의 예를 도시한다.
도 6은 종래의 방법을 사용해 생성된 리포맷 MRI 이미지보다 품질이 개선된 리포맷 MPR 재구성 이미지의 예를 도시한다.
도 7은 본 명세서의 일부 실시예에 따른 전처리 방법의 예를 도시한다.
도 8은 본 명세서의 일부 실시예에 따른 U-Net 스타일 인코더-디코더 네트워크 아키텍처의 예를 도시한다.
도 9는 본 명세서의 일부 실시예에 따른 판별기의 예를 도시한다.
도 10은 3개의 기관, 3개의 다른 제조업체 및 8개의 다른 스캐너 모델의 연구 데이터세트의 데이터 분포 및 이질성을 포함하는 실험을 도시한다.
도 11은 이미지 품질을 단조롭게(monotonically) 개선하는 데 사용되는 시스템 및 방법을 개략적으로 도시한다.
도 12는 대조 전(pre-contrast), 저 도스, 완전 도스 실측 자료(full-dose ground truth) 이미지 데이터 및 합성 이미지의 예를 상이한 현장들 및 스캐너들의 사례에 대한 정량적 메트릭(metrics)과 함께 도시한다.
도 13은 MPR의 회전각 수가 출력 이미지의 품질과 처리 시간에 미치는 영향을 보여주는 예를 도시한다.
본 발명의 다양한 실시예들이 본원에 도시되고 설명되지만, 그러한 실시예들이 예시에 의해서만 제공된다는 점이 당업자에게 명백해질 것이다. 본 발명으로부터 벗어나지 않고 당업자에게 다양한 변형들, 변경들, 및 대체들이 일어날 수 있다. 본원에서 설명되는 본 발명의 실시예들에 대한 다양한 대안들이 활용될 수 있다는 점을 이해해야 한다.
가돌리늄 기반 대조 작용제(GBCA)는 자기 공명 이미징(MRI) 검사에 널리 사용되며 혈관조영술, 다발성 경화증 및 종양 검출을 비롯한 수많은 응용 분야에서 치료를 모니터링하고 병리학을 조사하는 데 필수적이어 왔다. 최근 뇌와 신체 내 장기간 가돌리늄 침착이 확인되면서 GBCA 사용에 대한 안전성 문제가 제기되었다. GBCA 도스를 줄이면 침착 정도가 감소하지만 대조 강화와 종양 선명도도 저하된다. 따라서 대조 강화를 유지하는 감소된 도스 검사는 반복적인 대조 투여(contrast administration)가 필요한 환자(예컨대, 다발성 경화증 환자)와 가돌리늄 침착 위험이 높은 환자(예컨대, 어린이)에게 매우 적합하다.
MRI, 가돌리늄 기반 대조 작용제, MRI 데이터 예가 여기에서 주로 제공되지만, 본 접근 방식은 다른 이미징 모달리티 상황 및/또는 다른 대조 강화 이미징에서 사용될 수 있음을 이해해야 한다. 예를 들어, 현재 설명된 접근 방식은 CT(computed tomography), SPECT(single photon emission computed　tomography) 스캐너, PET(Positron Emission Tomography), fMRI(functional magnetic resonance imaging), 또는 대조를 강화시키기 위해 대조 작용제가 사용될 수 있는 다양한 다른 유형의 이미징 스캐너 또는 기술을 포함하지만 이에 국한되지 않는 다른 유형의 단층 촬영 스캐너에 의해 획득된 데이터에 사용될 수 있다.
딥 러닝(DL) 프레임워크는 GBCA 도스 수준을 줄이는 동시에 체적 MRI에 대한 이미지 품질과 대조 강화를 유지하는 데 사용되었다. 예를 들어, DL 모델은 저 도스 대조 이미지로부터 이미지 대조를 강화시키기 위해 U-net 인코더-디코더 아키텍처를 사용할 수 있다. 그러나 기존의 DL 모델은 상이한 임상 작업 흐름들을 갖는 상이한 현장들에 대한 일반화 가능성을 고려하지 않고 단일 임상 현장으로부터의 스캔과만 잘 동작할 수 있다. 또한, 기존의 DL 모델은 임상의가 예를 들어, 혈관 및 종양과 같은 복잡한 3D 강화 구조를 다양한 각도 또는 방향에서 시각화하기 위해 체적 이미지를 자주 요구하더라도 3D 체적의 개별 2D 슬라이스에 대한 이미지 품질을 평가할 수 있다.
본 개시는, 위에서 인식된 것을 포함하여, 종래의 시스템들의 다양한 단점들을 해결할 수 있는 시스템 및 방법을 제공한다. 본 개시의 방법 및 시스템은 실제 임상 환경에서 모델 견고성 및 배치를 개선할 수 있다. 예를 들어, 제공된 방법 및 시스템은 각각 상이한 MRI 스캐너 하드웨어 및 이미징 프로토콜들을 사용하는 상이한 임상 현장들에 적응할 수 있다. 또한, 제공된 방법 및 시스템은 임상의 작업 흐름을 유지하고 복잡한 강화 미세 구조의 경사 시각화를 가능하게 하는 다중 평면 리포맷(multi-planar reformat; MPR) 능력을 유지하면서 개선된 성능을 제공할 수 있다.
본 개시의 방법 및 시스템은 임상 설정의 실제 가변성을 다루기 위해 DL 모델에 대한 강화를 제공할 수 있다. DL 모델은 상이한 스캔 평면들, 스캔 시간들, 및 해상도들을 가지며 GBCA를 관리하기 위한 상이한 메커니즘들을 갖는 상이한 MRI 플랫폼들에서 상이한 병원들로부터의 환자 스캔에 대해 트레이닝되고 테스트되었다. DL 모델의 견고성은 데이터의 이질성에 걸쳐 개선된 일반화 가능성과 함께 이러한 설정에서 개선될 수 있다.
다중 평면 리포맷(MPR)
기존 DL 파이프라인에서 3D 체적으로부터의 2D 슬라이스는 표준 2D 데이터 증강(예컨대, 회전 및 뒤집기)으로 별도로 처리되고 트레이닝될 수 있다. 2D 모델의 선택은 종종 트레이닝 중 메모리 제한과 추론 중 성능 요건에 의해 동기가 부여된다. 일부 경우에, DL 프레임워크는 다수의 인접 슬라이스가 네트워크에 입력되고 중앙 슬라이스가 예측되는 "2.5D" 방식으로 데이터를 처리할 수 있다. 그러나 2D 및 2.5D 처리 모두는 획득의 실제 체적 특성을 무시할 수 있다. 3D 체적은 일반적으로 임상 작업 흐름(예컨대, 경사 뷰, 스캐닝 평면/방향에 대해 경사진 방향/각도로부터의 뷰) 동안에 임의의 평면으로 리포맷되고, 현장은 자신의 MRI 프로토콜의 일부로서 다른 스캐닝 방향을 사용할 수 있으므로, 2D 처리는 리포맷(예컨대, 스캐닝 평면에 직교하는 평면으로 리포맷) 체적 이미지에 줄무늬 아티팩트가 있는 이미지를 초래할 수 있다.
여기에 설명된 방법 및 시스템은 리포맷 이미지에서 아티팩트(예컨대, 줄무늬 아티팩트)를 유리하게 제거함으로써 감소된 대조 도스로 이미지 품질을 강화할 수 있다. 위에서 설명된 것처럼 3D 체적 이미지를 리포맷하여 다수의 평면(예컨대, 직교 또는 경사 평면)에서 이미지를 보는 것은 표준 임상 작업 흐름에서 일반적이다. 일부 경우에, 2.5D 이미지를 강화하기 위해 모델을 트레이닝하는 것은 획득 평면에서 줄무늬 아티팩트를 감소시킬 수 있지만, 다른 방향으로 리포맷하는 것은 줄무늬 아티팩트를 여전히 야기할 수 있다. 여기에 설명된 방법 및 시스템은 임의의 선택된 평면 또는 보기 방향(예컨대, 경사 뷰)에서 아티팩트 없는 시각화를 가능하게 할 수 있다. 또한, 모델은 예를 들어, 혈관이나 종양과 같은 복잡하거나(intricate) 복잡한(complex) 3D 강화 구조를 학습하도록 트레이닝될 수 있다.
도 1은 MRI 체적 이미지 데이터를 처리하고 재구성하기 위한 작업 흐름의 예를 도시한다. 예에 도시된 바와 같이, 입력 이미지(110)는 대조 작용제 없이(예컨대, 대조 전 이미지 슬라이스(101)) 그리고/또는 감소된 대조 도스(예컨대, 저 도스 이미지 슬라이스(103))로 획득된 이미지 슬라이스일 수 있다. 일부 경우에, 원시 입력 이미지는 2D 이미지 슬라이스일 수 있다. 추론 결과(112)를 예측하기 위해 예를 들어, U-net 인코더-디코더(111) 모델과 같은 딥 러닝(DL) 모델이 사용될 수 있다. DL 모델(111)은 각 슬라이스 내에서 강화된 이미지를 생성하도록 트레이닝된 2D 모델일 수 있지만, 이 모델은 이미지 리포맷에서 예를 들어, 줄무늬 아티팩트와 같은 슬라이스에 걸쳐 일관되지 않은 이미지 강화를 생성할 수 있다. 예를 들어, 추론 결과가 리포맷(113)되어 직교 방향(114)의 리포맷 이미지를 생성할 때, 입력된 2D 이미지(110)가 스캐닝 평면과 일치하기 때문에, 리포맷 이미지(114)는 예를 들어, 직교 방향의 줄무늬 아티팩트와 같은 리포맷 아티팩트를 포함할 수 있다.
이러한 리포맷 아티팩트는 다중 평면 리포맷(MPR) 방법(120)을 채택하고 2.5D 트레이닝된 모델(131)을 사용함으로써 완화될 수 있다. MPR 방법은 다수의 방향에서 입력 체적 데이터를 유리하게 증강시킬 수 있다. 도 1에 도시된 바와 같이, 선택된 수의 대조 전 또는 저 도스 이미지(110)의 입력 슬라이스는 2.5D 체적 입력 이미지를 생성하기 위해 채널별로 적층될 수 있다. 2.5D 체적 입력 이미지를 형성하기 위한 입력 슬라이스의 수는 예를 들어, 2개, 3개, 4개, 5개, 6개, 7개, 8개, 9개, 10개와 같이 임의의 개수일 수 있고, 이들 슬라이스는 적층될 수 있다. 일부 경우에, 아티팩트가 없는 체적 이미지가 매우 요구되는 미세 구조와 같은 관심 영역에서 생리학적 또는 생화학적으로 중요한 구조에 기초해 입력 슬라이스의 수가 결정될 수 있다. 예를 들어, 입력 슬라이스의 수는 미세 구조(예컨대, 혈관 또는 종양)가 입력 2.5D 체적 이미지에 대부분 포함될 수 있도록 선택될 수 있다. 대안적으로 또는 추가적으로, 슬라이스의 수는 경험적 데이터에 기초하여 결정되거나 사용자에 의해 선택될 수 있다. 일부 경우에, 슬라이스의 수는 컴퓨팅 시스템의 연산 능력 및/또는 메모리 저장에 따라 최적화될 수 있다.
다음으로, 입력된 2.5D 체적 이미지는 다수의 리포맷된 체적 이미지(121)를 생성하기 위해 예를 들어, 주축(예컨대, 시상, 관상 및 축상)과 같은 다수의 축으로 리포맷될 수 있다. 2.5D 체적 이미지를 리포맷하기 위한 다수의 방향은 주축에 정렬될 필요가 없는 임의의 적절한 방향일 수 있다. 추가로, 체적 이미지를 리포맷하기 위한 방향들의 수는, 다수의 리포맷된 체적 이미지들 중 적어도 하나가 스캐닝 평면에 대해 경사지거나 직교하는 방향을 따르는 한, 1, 2, 3, 4, 5 등보다 큰 임의의 수일 수 있다.
추론 단계에서, 다수의 리포맷된 체적 이미지 각각은 일련의 각도만큼 회전되어 복수의 회전된 리포맷 체적 이미지(122)를 생성함으로써 입력 데이터를 추가로 증강시킬 수 있다. 예를 들어, 3개의 재구성된 체적 이미지(121)(예컨대, 시상, 관상 및 축상) 각각은 0°내지 90°사이에서 5개의 등간격 각도만큼 회전되어 15개의 체적 이미지(122)를 생성할 수 있다. 각도 간격(step) 및 각도 범위는 임의의 적절한 범위에 있을 수 있다. 예를 들어, 각도 간격은 일정하지 않을 수 있으며 회전각의 수는 상이한 응용들, 사례들 또는 배포 시나리오들에 따라 달라질 수 있다. 또 다른 예에서, 체적 이미지는 0°내지 90°보다 크거나 작거나 0°내지 90°와 부분적으로 중첩되는 임의의 각도 범위를 가로질러 회전될 수 있다. 예측된 MPR 이미지에 대한 회전각의 수의 영향은 본 명세서에서 후술된다.
그런 다음, 복수의 회전된 체적 2.5D 이미지(122)는 추론을 위해 2.5D 트레이닝된 모델(131)에 공급될 수 있다. 2.5D 트레이닝된 모델의 출력은 복수의 대조 강화 2.5D 체적 이미지를 포함한다. 일부 경우에, "MPR 재구성"이라고 지칭되는 최종 추론 결과(132)는 원래의 획득/스캐닝 평면으로 다시 회전한 후의 복수의 대조 강화 2.5D 체적 이미지의 평균일 수 있다. 예를 들어, 15개의 강화된 2.5D 체적 이미지는 스캐닝 평면에 정렬되도록 다시 회전될 수 있으며 이러한 체적 이미지의 평균은 MPR 재구성 또는 최종 추론 결과(132)이다. 복수의 예측된 2.5D 체적 이미지는 복수의 2.5D 체적 이미지의 평균이 계산될 수 있도록 원래의 스캐닝 평면 또는 동일한 방향에 정렬되도록 회전될 수 있다. 복수의 강화된 2.5D 체적 이미지는 원래 스캐닝 평면에 있거나 없을 수 있는 동일한 방향으로 정렬되도록 회전될 수 있다. MPR 재구성 방법은 2D 프로세싱의 성능 이득으로부터 이익을 얻으면서 네트워크에 3D 컨텍스트를 추가하는 것을 유익하게 허용한다.
도 1에 도시된 바와 같이, MPR 재구성 이미지(132)가 원래 획득 평면에 직교하는 평면으로 리포맷될 때(133), 리포맷 이미지(135)는 줄무늬 아티팩트를 나타내지 않는다. 예측된 MPR 재구성 이미지의 품질은 예를 들어, 피크 신호 대 잡음비(peak signal to noise ratio; PSNR) 및 구조적 유사성(structural similarity; SSIM)과 같은 정량적 이미지 품질 메트릭에 의해 정량화될 수 있다. 기존 모델(111)과 제시 모델(131)에 대한 이미지 품질 메트릭이 계산되며, 리포맷 이미지(114, 135) 및 실측 자료(140)의 품질을 보여주는 결과의 일례가 도 3에 도시되어 있다.
데이터 수집
예를 들어, IRB 승인 및 환자 동의 하에 스캐닝 프로토콜이 두 현장에서 구현되었다. 도 2는 두 개의 현장들로부터 수집된 데이터의 예를 보여 준다. 24명의 환자(16회의 트레이닝, 8회의 테스트)는 현장 1로부터 모집되었고 28명의 환자(23회의 트레이닝, 5회의 테스트)는 현장 2로부터 모집되었다. 스캐너 하드웨어와 프로토콜 간의 차이점은 표 1에 강조 표시되어 있다. 특히 두 현장은 상이한 스캐너 하드웨어를 사용했으며 스캔 프로토콜의 변동성이 컸다. 특히, 현장 1은 GBCA를 투여하기 위해 파워 주입(power injection)을 사용한 반면, 현장 2는 수동 주입(manual injection)을 사용하여 강화 시간과 강도의 차이로 이어졌다.
모델을 트레이닝하기 위한 데이터 수집의 예로서, 완전 도스 스캔뿐만 아니라 감소된 도스 수준의 다수의 스캔들이 수행될 수 있다. 감소된 도스 수준의 다수의 스캔들은 예를 들어, 저 도스(예컨대, 10%) 대조 강화 MRI를 포함할 수 있으며 대조 전(예컨대, 제로 대조)가 수행될 수 있다. 예를 들어, 각 참가자에 대해 2개의 3D T 1-가중화된 이미지가 얻어졌다: 대조 전 및 10% 도스(0.01 mmol/kg) 후 대조. 트레이닝 및 임상 검증을 위해 표준 대조 도스(완전 도스 등가물, 100% 도스)의 잔여 90%가 투여되었고 세 번째 3D T 1-가중화된 이미지(100%-도스)가 얻어졌다. 신호 정규화는 상이한 스캐너 플랫폼들과 병원 현장들에서 상이한 획득들 간에 신호 강도 변화를 야기했었을 수 있는 체계적인 차이(예컨대, 송신 및 수신 이득)를 제거하기 위해 수행된다. 그런 다음, 도스 전, 10% 도스, 및 100% 도스 이미지 간의 비선형 아핀 공동 등록(nonlinear affine co-registration)이 수행된다. DL 모델은 대조 전 이미지와 저 도스 대조 강화 이미지 간의 대조 관련 신호가 완전 도스 대조 이미지로 비선형적으로 스케일링되었다는 기본 가정과 함께 U-Net 인코더-디코더 아키텍처를 사용했다. 또한, T 2 및 T 2-FLAIR와 같은 다른 대조로부터의 이미지를 입력의 일부로 포함하여 모델 예측을 개선할 수 있다.
도 5는 도 2, 3, 및 10 내지 12에 도시된 연구 또는 실험을 위한 데이터를 수집하기 위해 사용되는 스캔 절차 또는 스캐닝 프로토콜(500)의 예를 도시한다. 예시된 스캔 프로토콜에서 각 환자는 단일 이미징 세션에서 3회의 스캔을 받았다. 스캔 1은 대조 전 3D T 1-가중화된 MRI였으며, 이어서 스캔 2는 0.1 mmol/kg의 표준 도스의 10%를 사용했다. 스캔 1과 스캔 2로부터의 이미지는 DL 네트워크에 대한 입력으로서 사용되었다. 대조 도스(즉, 완전 도스)의 잔여 90%를 투여한 후 스캔 3으로부터 실측 자료 이미지가 얻어졌다.
추론하는 동안, 제공된 시스템을 배포한 후 대조 작용제 없이 한 번만 스캔(예컨대, 스캔 1과 유사함)하거나 감소된 대조 대조를 사용한 스캔(예컨대, 스캔 2와 유사함)만 수행될 수 있다. 그런 다음 이러한 입력 이미지 데이터는 트레이닝된 모델에 의해 처리되어 강화된 대조를 갖는 예측된 MPR 재구성된 이미지를 출력할 수 있다. 일부 경우에, 모델을 임상 현장에 배포한 후, 사용자(예컨대, 의사)가 의료 이미지 데이터를 획득하기 위해 0% 내지 30% 범위의 임의 수준이 될 수 있는 감소된 도스 수준을 선택하도록 허용될 수 있다. 실제 구현 및 사용자가 원하는 도스 감소 수준에 따라, 감소된 도스 수준은 30%보다 큰 범위의 임의의 숫자일 수 있다는 것에 유의해야 한다.
현장 간 일반화 가능성
기존 모델은 동일한 스캐닝 프로토콜을 사용하여 단일 현장으로부터 환자를 평가함으로써 제한될 수 있다. 실제 임상 환경에서, 각 현장은 스캐너 하드웨어 및 표준 절차의 능력에 기초해 프로토콜을 테일러링(tailoring)할 수 있다. 예를 들어, 현장 2에서 트레이닝된 모델은 현장 1의 사례에서 제대로 수행되지 않을 수 있다(도 2, 중간).
제공된 DL 모델은 개선된 일반화 가능성을 가질 수 있다. DL 모델은 독점 트레이닝 파이프라인으로 트레이닝될 수 있다. 예를 들어, 트레이닝 파이프라인은 먼저 각 이미지를 1 mm3의 공칭 해상도 및 256x256의 평면 내 행렬 크기로 스케일링한 다음 MPR 처리를 적용하는 것을 포함할 수 있다. DL 모델은 완전 컨볼루션이므로 재샘플링 없이 획득의 기본 해상도에서 추론이 실행될 수 있다.
정성적 및 정량적 결과에 기초해, MPR 처리, 해상도 재샘플링, 및 현장 간 트레이닝을 추가하여 모델 견고성 및 일반화 가능성이 크게 개선되었다. 선택적인 실시예에서, 모델은 완전한 3D 모델일 수 있다. 예를 들어, 모델은 MPR 처리 및 메모리 사용을 모두 완화할 수 있는 3D 패치 기반 모델일 수 있다. 제공된 트레이닝 방법 및 모델 프레임워크는 상이한 스캐너 플랫폼들을 사용하는 상이한 현장들에, 그리고/또는 상이한 MRI 공급업체에 적용될 수 있다.
네트워크 아키텍처 및 프로세스
도 6은 종래의 방법(611)을 사용하여 예측된 MRI 이미지에 비해 개선된 품질을 갖는 MPR 재구성 이미지(624)의 또 다른 예를 개략적으로 도시한다. MRI 체적 이미지 데이터(623) 및 리포맷 MPR 재구성 이미지(624)를 처리 및 재구성하기 위한 작업 흐름(600)은 도 1에서 설명한 바와 동일할 수 있다. 예를 들어, 입력 이미지(610)는 대조 작용제 없이(예컨대, 대조 전 이미지 슬라이스) 그리고/또는 감소된 대조 도스(예컨대, 저 도스 이미지 슬라이스)로 획득된 복수의 2D 이미지 슬라이스를 포함할 수 있다. 입력 이미지는 스캐닝 평면(예컨대, 축상)에서 또는 스캐닝 방향을 따라 획득될 수 있다. 선택된 수의 이미지 슬라이스는 위에서 설명된 바와 같이 다중 평면 재구성(MPR) 방법(620)을 사용하여 추가 처리되는 2.5D 체적 입력 이미지를 형성하도록 적층된다.
예를 들어, 입력된 2.5D 체적 이미지는 다수의 리포맷된 체적 이미지(예컨대, SAG, AX, COR)를 생성하기 위해 예를 들어, 주축(예컨대, 시상, 관상 및 축상)과 같은 다수의 축으로 리포맷될 수 있다. 2.5D 체적 이미지는 기본 축과 정렬되거나 정렬되지 않을 수 있는 임의의 방향으로 리포맷될 수 있다.
다수의 리포맷된 체적 이미지 각각은 일련의 각도만큼 회전되어 복수의 회전된 리포맷 이미지를 생성할 수 있다. 예를 들어, 3개의 리포맷된 체적 이미지(예컨대, 시상, 관상 및 축상) 각각은 0°내지 90°사이에서 5개 각도로 회전되어 15개의 회전된 리포맷 체적 이미지가 생성될 수 있다. 다수의 리포맷된 체적 이미지(예컨대, 시상, 관상, 및 축상)는 동일한 각도로 회전되거나 동일한 수의 방향으로 회전되지 않을 수 있다.
그런 다음, 복수의 회전된 체적 이미지(122)는 복수의 강화된 체적 이미지를 생성하기 위해 트레이닝된 모델(621)에 의해 처리될 수 있다. 일부 경우에, MPR 재구성 이미지(623) 또는 추론 결과 이미지는 원래의 획득 평면으로 다시 회전한 후의 복수의 추론 체적의 평균이다. MPR 재구성 이미지가 선택된 방향(예컨대, 스캐닝 평면에 대해 직교/경사짐)에서 보여지도록 리포맷될 때, 리포맷 이미지(624)는 단일 추론 방법(611) 및/또는 단일 추론 모델을 사용하여 획득된 리포맷 이미지와 비교하여 줄무늬 아티팩트를 포함하지 않을 수 있다.
네트워크 아키텍처 및 데이터 처리
다중 평면 재구성(MPR) 기술을 사용하여 딥 러닝 모델은 예를 들어, 다수의 방향(예컨대, 3개의 주축)으로부터와 같은 체적 이미지(예컨대, 증강 2.5D 이미지)로 트레이닝될 수 있다. 모델은 감소된 대조 도스를 사용하여 획득된 체적 MRI 이미지의 품질을 강화하기 위해 트레이닝된 딥 러닝 모델일 수 있다. 일부 실시예에서, 이 모델은, 피드포워드 뉴럴 네트워크, 방사형 기저 함수 네트워크(radial basis function network), 회귀 뉴럴 네트워크(recurrent neural network), 컨볼루션 뉴럴 네트워크, 딥 잔차 러닝 네트워크 등과 같은 임의의 유형의 뉴럴 네트워크 모델을 활용할 수 있는, 인공 뉴럴 네트워크(artificial neural network)를 포함할 수 있다. 일부 실시예들에서, 머신 러닝 알고리즘은 컨볼루션 뉴럴 네트워크(convolutional neural network; CNN)와 같은 딥 러닝 알고리즘을 포함할 수 있다. 머신 러닝 알고리즘들의 예들은, 서포트 벡터 머신(support vector machine; SVM), 나이브 베이즈 분류(naive Bayes classification), 무작위 포레스트(random forest), 예를 들어, 뉴럴 네트워크와 같은 딥 러닝 모델, 또는 다른 지도식 러닝 알고리즘(supervised learning algorithm) 또는 비지도식 러닝 알고리즘(unsupervised learning algorithm)을 포함할 수 있다. 모델 네트워크는 예를 들어, 다수의 계층을 포함할 수 있는 CNN과 같은 딥 러닝 네트워크일 수 있다. 예를 들어, CNN 모델은 적어도 입력 계층, 다수의 은닉 계층들 및 출력 계층을 포함할 수 있다. CNN 모델은 임의의 총수의 계층들, 및 임의의 수의 은닉 계층들을 포함할 수 있다. 뉴럴 네트워크의 가장 간단한 아키텍처는 입력 계층으로 시작하여 중간 또는 은닉 계층들의 시퀀스로 이어지고, 출력 계층으로 끝난다. 은닉된 또는 중간 계층은 러닝가능 피처 추출기(learnable feature extractor)로서 역할 할 수 있는 반면, 이 예에서의 출력 계층은 강화된 품질(예컨대, 강화된 대조)을 갖는 2.5D 체적 이미지를 제공한다. 뉴럴 네트워크의 각각의 계층은 다수의 뉴런(neuron)들(또는 노드들)을 포함할 수 있다. 뉴런은 입력 데이터(예컨대, 저품질 이미지 데이터, 감소된 대조 도스로 획득된 이미지 데이터 등) 또는 다른 뉴런의 출력에서 직접 오는 입력을 수신하고, 예를 들어, 합산과 같은 특정 동작을 수행한다. 일부 경우들에서, 입력으로부터 뉴런으로의 접속이 가중치(또는 가중 계수)와 연관된다. 일부 경우들에서, 뉴런은 모든 입력들의 쌍들의 곱(product)들과 이들의 연관된 가중치들을 합산할 수 있다. 일부 경우들에서, 가중된 합은 바이어스(bias)로 오프셋된다. 일부 경우들에서, 뉴런의 출력은 문턱값 또는 활성화 함수(activation function)를 사용하여 게이팅(gating)될 수 있다. 활성화 함수는 선형 또는 비선형일 수 있다. 활성화 함수는, 예를 들어, 정류된 선형 유닛(rectified linear unit; ReLU) 활성화 함수 또는 예를 들어, 포화 쌍곡선 탄젠트(saturating hyperbolic tangent), 아이덴티티(identity), 이진 단계(binary step), 로지스틱(logistic), 아크탄젠트(arcTan), 소프트사인(softsign), 파라미터 정류된 선형 유닛(parameteric rectified linear unit), 지수 선형 유닛(exponential linear unit), 소프트플러스(softPlus), 벤트 아이덴티티(bent identity), softExponential, Sinusoid, Sinc, Gaussian, 시그모이드 함수(sigmoid function)들, 또는 이들의 임의의 조합과 같은 다른 함수들일 수 있다.
일부 실시예에서, 네트워크는 인코더-디코더 네트워크 또는 U-net 인코더-디코더 네트워크일 수 있다. U-net은 네트워크의 인코더 절반(encoder-half)으로부터의 출력이 네트워크의 디코더 절반에 있는 미러링된 대응물과 연쇄(concatenate)되는 자동 인코더이다. U-net은 연산자를 업샘플링하여 풀링 동작을 대체하여 출력 해상도를 증가시킬 수 있다.
일부 실시예에서, 체적 이미지 품질을 강화하기 위한 모델은 지도식 러닝을 사용하여 트레이닝될 수 있다. 예를 들어, 딥 러닝 네트워크를 트레이닝하기 위해, 입력으로서 대조 전 이미지와 저 도스 이미지의 쌍과, 다수의 피험자, 스캐너, 임상 현장 또는 데이터베이스로부터의 실측 자료가 트레이닝 데이터세트로서 제공될 수 있다.
일부 경우에, 입력 데이터세트는 트레이닝 또는 추론 전에 사전 처리될 수 있다. 도 7은 본 명세서의 일부 실시예에 따른 전처리 방법(700)의 예를 도시한다. 예시에 도시된 바와 같이, 원시 대조 전 이미지, 저 도스 이미지, 및 완전 도스 이미지(즉, 실측)를 포함하는 입력 데이터는 전처리된 이미지 데이터(710)를 생성하기 위해 순차적으로 전처리될 수 있다. 원시 이미지 데이터는 DICOM 기반 소프트웨어 애플리케이션 또는 기타 이미징 소프트웨어 애플리케이션과 같이, 표준 임상 작업 흐름으로부터 수신될 수 있다. 예를 들어, 입력 데이터(701)는 도 5에서 설명한 스캔 프로토콜을 사용하여 획득될 수 있다. 예를 들어, 제로 대조 도스를 갖는 제1 스캔, 감소된 도스 수준을 갖는 제2 스캔, 및 완전 대조를 갖는 제3 스캔을 포함하는 3개의 스캔이 동작될 수 있다. 그러나 모델을 트레이닝하기 위해 사용되는 감소된 도스 이미지 데이터는 예를 들어, 1%, 5%, 10%, 15%, 20% 이하, 20% 초과 또는 1% 미만, 또는 그 사이의 임의의 수와 같이 다양한 감소된 도스 수준에서 획득한 이미지를 포함할 수 있다. 예를 들어, 입력 데이터는 실측 자료 데이터로서의 완전 도스 스캔 및 감소된 수준(예컨대, 제로 도스 또는 위에서 설명된 임의의 수준)에서의 쌍 스캔을 포함하는 2개의 스캔으로부터 획득된 이미지 데이터를 포함할 수 있다. 대안적으로, 입력 데이터는 상이한 수준들의 대조 도스에서 다수의 스캔으로 3개보다 많은 스캔을 사용하여 획득될 수 있다. 추가적으로, 입력 데이터는 시뮬레이션으로부터 획득된 증강 데이터세트를 포함할 수 있다. 예를 들어, 임상 데이터베이스로부터의 이미지 데이터를 사용하여 감소된 대조 도스로 획득된 이미지 데이터를 모방한 저품질 이미지 데이터를 생성할 수 있다. 예에서, 감소된 대조 도스로 획득된 이미지로부터 재구성된 이미지 데이터를 모방하기 위해 원시 이미지 데이터에 아티팩트가 추가될 수 있다.
도시된 예에서, 예를 들어, 두개골 제거(703)와 같은 전처리 알고리즘은 DL 기반 라이브러리를 사용하여 두개외 조직 및 비뇌 조직으로부터의 신호를 제거함으로써 두개 또는 비뇌 조직으로부터 뇌 이미지를 분리하기 위해 수행될 수 있다. 조직, 장기 및 용도에 기초해, 다른 적절한 전처리 알고리즘을 채택하여 진단의 처리 속도와 정확도를 개선할 수 있다. 일부 경우에, 3개의 스캔 사이의 환자 움직임을 설명하기 위해, 저 도스 및 완전 도스 이미지가 대조 전 이미지(705)에 공동 정합될(co-registered) 수 있다. 일부 경우에, 송신 이득 및 수신 이득이 상이한 획득에 대해 달라질 수 있다는 점을 감안할 때, 히스토그램 등화(707)를 통해 신호 정규화가 수행될 수 있다. 스캔 내 이미지 정규화를 위해 대조 전, 저 도스, 및 완전 도스 간에 상대 강도 스케일링이 수행될 수 있다. 다중 기관 데이터세트가 상이한 복셀 및 행렬 크기들을 갖는 이미지들을 포함하기 때문에, 3D 체적은 0.5mm3의 등방성 해상도로 보간될 수 있고, 적용 가능한 경우, 각 슬라이스에서 제로-패딩된 이미지들은 512 × 512의 치수로 보간될 수 있다. 이미지 데이터는 DL 네트워크가 예를 들어, 병변 및 전이와 같은 작은 강화 구조를 학습할 수 있도록 충분히 높은 해상도를 가질 수 있다. 일부 경우에, 스케일링 및 등록 파라미터는 해골이 제거된 이미지에서 추정된 다음, 원본 이미지(709)에 적용될 수 있다. 두개골이 벗겨진 뇌로부터 추정된 전처리 파라미터는 전처리된 이미지 체적(710)을 얻기 위해 원본 이미지에 적용될 수 있다.
다음으로, 전처리된 이미지 데이터(710)는 대조 강화 이미지를 재구성하기 위해 인코더-디코더 네트워크를 트레이닝하는데 사용된다. 네트워크는 완전 도스의 대조 신호가 저 도스 이미지와 대조 전 이미지 간의 노이즈가 있는 대조 흡수(noisy contrast uptake)의 비선형적으로 스케일링된 버전이라는 가정으로 트레이닝될 수 있다. 모델은 저 도스와 대조 전 간의 차이 이미지를 명시적으로 요구하지 않을 수 있다.
도 8은 본 명세서의 일부 실시예에 따른 U-Net 스타일 인코더-디코더 네트워크 아키텍처(800)의 예를 도시한다. 예시된 예에서, 각각의 인코더 블록은 ReLU를 갖는 3개의 2D 컨볼루션 계층(3x3)을 갖고, 그 다음에 피처 공간을 2배 다운샘플링하기 위한 최대풀(maxpool)(2 × 2)을 갖는다. 디코더 블록은 최대풀이 업샘플 계층으로 대체된 유사한 구조를 가지고 있다. 다운샘플링 동안 손실된 공간 정보를 복원하고 해상도 손실을 방지하기 위해 디코더 계층은 스킵 접속을 사용해 대응 인코더 계층의 피처와 연쇄된다. 네트워크는 L1(평균 절대 오차)과 구조적 유사성 지수(structural similarity index; SSIM) 손실의 조합으로 트레이닝될 수 있다. 이러한 U-Net 스타일 인코더-디코더 네트워크 아키텍처는 강화 신호와 함께 노이즈를 선택하지 않고 저 도스와 제로 도스 사이의 대조 흡수의 선형 10x 스케일링을 생성할 수 있다.
도 8에 도시된 바와 같이, 네트워크로의 입력 데이터는 전술된 바와 같이 MPR 방법을 사용하여 생성된 복수의 증강된 체적 이미지일 수 있다. 이 예에서, 대조 전 이미지 및 저 도스 이미지 각각 7개의 슬라이스가, 중앙의 완전 도스 슬라이스(803)를 예측하도록 모델을 트레이닝하게끔 14-채널 입력 체적 데이터를 생성하기 위해 채널별로 적층된다.
강화 및 가중화된 L1 손실
일부 상황에서는 신호 정규화 및 스케일링을 적용한 후에도 저 도스 이미지와 대조 전 이미지 간의 차이가 강화와 같은 노이즈 섭동을 가질 수 있어 이 네트워크의 트레이닝을 오도할 수 있다. 네트워크가 실제 강화 영역에 더 많은 주의를 기울이도록 하기 위해 L1 손실이 강화 마스크로 가중화될 수 있다. 마스크는 본질적으로 연속적이며 0과 1 사이에서 정규화된 저 도스 이미지와 대조 전 이미지 간의 두개골 제거 차이로부터 계산된다. 강화 마스크는 대조 흡수의 정규화된 평활 버전(normalized smooth version)으로서 간주될 수 있다.
지각적 및 적대적 손실
확신하는 진단 결정을 내리는 데 중요한 고주파수 및 질감 세부 사항뿐만 아니라 강화 영역의 구조적 정보에 초점을 맞추도록 네트워크를 트레이닝하는 것이 바람직하다. L1과 구조적 유사성 지수(SSIM) 손실의 단순한 조합은 고주파 신호 정보를 억제하는 경향이 있으며, 획득된 결과는 이미지 해상도의 손실로 인식되는 더 평활화된 외관을 가질 수 있다. 이 문제를 해결하기 위해, 컨볼루션 네트워크(예컨대, 6개의 컨볼루션 계층, 3개의 완전 접속 계층, 5개의 MaxPool 계층 및 ImageNet 데이터세트에서 사전 트레이닝된 1개의 SoftMax 계층을 포함하는 19개의 계층으로 구성된 VGG-19 네트워크)로부터 지각적 손실이 사용된다. 지각적 손실은 스타일 전달 및 초해상도 작업에 효과적이다. 예를 들어, 지각적 손실은 VGG-19 네트워크의 제3 블록(예컨대, block3 conv3)의 제3 컨볼루션 계층으로부터, 실측 자료 및 예측에 대한 계층 활성화의 평균 제곱 오차(mean squared error; MSE)를 취하여 계산될 수 있다.
일부 경우에, 전반적인 지각적 품질을 더욱 개선하기 위해, 인코더-디코더 네트워크와 병렬로 트레이닝된 판별기를 통해 적대적 손실이 도입되어 생성된 이미지가 w잔짜인지 가짜인지를 예측한다. 도 9는 본 개시의 일부 실시예에 따른 판별기(900)의 예를 도시한다. 판별기(900)는 누출(Leaky) ReLU 활성화를 갖는 일련의 스펙트럼 정규화 컨볼루션 계층을 갖고 32 × 32 패치를 예측한다. 이진 값(예컨대, 0은 가짜, 1은 진짜)을 예측하는 기존의 판별기와 달리 "패치 판별기"(900)는 트레이닝 프로세스의 안정성과 더 빠른 수렴에 도움이 되는 확률 행렬을 예측한다. 스펙트럼 정규화 컨볼루션 계층은 판별기 트레이닝을 더욱 안정화하기 위해 가중치 정규화 기술을 사용한다. 패치 판별기는 도 9에 도시된 바와 같이 MSE 손실로 트레이닝될 수 있으며, 평활 수렴을 위해 입력에 가우시안 잡음이 추가될 수 있다.
네트워크 모델을 구성하는 함수는 다음과 같이 공식화될 수 있다.
G* = argminG[λGANLGAN(G) + λL1LL1(Menh.G) + λSSIMLSSIM(G) + λVGGLVGG(G)]
여기서 Menh는 강화 마스크이고 적대적 손실 LGAN은 LGAN = maxDLGAN(G, D)로 쓸 수 있으며, 여기서 G는 U-Net 생성기이고 D는 패치 판별기이다. 손실 가중치 λL, λSSIM, λVGG 및 λGAN은 경험적으로 결정될 수 있다. 위에서 언급된 프로세스와 방법을 통해 단일 모델이 다양한 기관 및 스캐너로부터의 이미지에 대한 정확한 예측을 수행하도록 트레이닝된다.
예:
도 3은 제공된 모델의 일반화 가능성과 정확성을 평가하기 위한 연구의 분석 결과의 예를 도시한다. 도시된 예시에서 결과는 현장 1로부터의 테스트 케이스에 대한 실측 자료(좌측), 원본 모델(중앙) 및 제안된 모델(우측) 추론 결과의 비교를 도시한다(적색 화살표는 병변이 뚜렷함을 나타냄). 기존 모델은 현장 2의 데이터에 대해서만 트레이닝되었다. 이 예는 도 2에 도시된 MRI 스캐닝 데이터와 일치한다. 제공된 모델은 두 현장으로부터 데이터에 대해 트레이닝되었으며 MPR 처리 및 해상도 재샘플링을 사용했다. 이 연구에서 결과는 테스트 세트로부터의 한 예에 대한 MPR 처리의 효과를 정성적으로 보여 준다. 많은 MPR 재구성 결과를 평균화함으로써 거짓 강화로서 나타나는 줄무늬 아티팩트가 억제된다. 도 3에 도시된 바와 같이, 실측 자료 대조 강화 이미지의 한 슬라이스(좌측)는 현장 2에서 트레이닝된 모델(가운데)과 현장 1과 2에서 동시에 트레이닝된 모델(우측)의 추론 결과와 비교된다. 해상도 및 기타 프로토콜 편차의 차이를 고려하여, 제공된 모델은 일반화 가능성의 정성적 개선을 보여준다. 모든 기존 모델과 제시된 모델에 대해 예를 들어, 피크 신호 대 잡음비(peak signal to noise ratio; PSNR) 및 구조적 유사성(structural similarity; SSIM)과 같은 정량적 이미지 품질 메트릭이 계산되었다. 기존 모델과 제시된 모델에 대한 테스트 세트의 평균 PSNR과 SSIM은 각각 32.81 dB(38.12 dB) 및 0.872(0.951)이었다. 본 개시의 방법 및 시스템을 사용하여 더 나은 이미지 품질이 달성될 수 있다.
도 3에 도시된 바와 같은 연구에서, 본원의 다른 곳에서 설명된 딥 러닝(DL) 프레임워크는 저 도스(예컨대, 10%) 대조 강화 MRI에 적용된다. 각 참가자에 대해 2개의 3D T 1-가중화된 이미지가 얻어졌다: 대조 전 및 10% 도스(0.01 mmol/kg) 후 대조. 트레이닝 및 임상 검증을 위해 표준 대조 도스(완전 도스 등가물, 100% 도스)의 잔여 90%가 투여되었고 세 번째 3D T 1-가중화된 이미지(100%-도스)가 얻어졌다. 신호 정규화가 수행되어, 상이한 스캐너 플랫폼들과 병원 현장들에서 상이한 획득들 간에 신호 강도 변화를 야기했었을 수 있는 체계적인 차이(예컨대, 송신 이득 및 수신 이득)를 제거하였다. 그런 다음, 도스 전 이미지, 10% 도스 이미지, 및 100% 도스 이미지 간의 비선형 아핀 공동 등록이 수행되었다. DL 모델은 대조 전 이미지와 저 도스 대조 강화 이미지 간의 대조 관련 신호가 완전 도스 대조 이미지로 비선형적으로 스케일링되었다는 기본 가정과 함께 U-Net 인코더-디코더 아키텍처를 사용했다. 예를 들어, T 2 및 T 2-FLAIR와 같은 다른 대조로부터의 이미지를 입력의 일부로 포함하여 모델 예측을 개선할 수 있다.
도 10 내지 도 13과 관련된 실험의 또 다른 예로서, 3개의 기관들, 3개의 상이한 제조업체들, 및 8개의 상이한 스캐너 모델들의 연구 데이터세트의 데이터 분포 및 이질성이 도 10에 도시된다. 이 연구는, 상이한 이미징 평면들, 필드 강도들(field strengths), 복셀 크기들, 행렬 크기들, 지방 억제 사용, 대조 작용제 및 주입 방법을 포함한 상이한 기관 스캔 프로토콜들을 사용하여 3개의 기관, 3개의 스캐너 제조업체, 및 8개의 스캐너 모델로부터 임상 뇌 MRI 검사를 받은, 640명의 환자(323명의 여성; 52 ± 16세)를 후향적으로 식별했다. 임상 징후는 의심되는 종양, 수술 후 종양 추적, 일상적인 뇌, 및 GBCA로 MRI 검사가 필요한 다른 것을 포함하였다. 각 피험자는 3D 대조 전 T1w 이미징을 받은 후 표준 도스(0.1 mmol/kg)의 10%(0.01 mmol/kg)로 저 도스 대조 강화 T1w 스캔을 받았다. 트레이닝 및 평가를 위해 완전 도스의 잔여 90%(0.09 mmol/kg)를 사용하여 제3 3D T1w 이미지가 획득되었으며, 이는 실측 자료로서 간주되었다. 3개의 모든 획득은 단일 이미징 세션에서 이루어졌으며 환자는 표준 프로토콜과 비교하여 임의의 추가 가돌리늄 도스를 투여받지 않았다.
640개의 사례 중에, 도 11에 도시된 바와 같은 모델은 56개의 사례로 트레이닝되었고, 13개의 검증 사례를 사용하여 하이퍼-파라미터(hyper-parameter)를 미세 조정(fine-tune)하고 최적의 손실 가중치 조합을 경험적으로 찾았다. 모델이 현장과 공급업체 전반에 걸쳐 잘 일반화되도록 하기 위해 트레이닝 및 검증 세트는 모든 기관 및 스캐너 제조업체로부터의 거의 동일한 수의 연구로 구성되었다(도 10 참조). 잔여 571개의 사례는 테스트 및 모델 평가를 위해 보류되었다. 이 모델은 텐서플로 백엔트(Tensorflow backend)를 가진 케라스(Keras)를 사용하여 파이썬 3.5에서 구현되었으며 배치(batch) 크기가 8인 100개의 에포크(epochs) 동안 엔비디아 테슬라 V100(SXM2 32GB) GPU에서 트레이닝되었다. 모델 최적화는 학습률이 0.001인 아담 최적화기(Adam optimizer)를 사용하여 수행되었다.
모델은 복수의 메트릭을 사용하여 정량적으로 평가된다. 피크 신호 대 잡음비(PSNR)는 픽셀 단위 차이의 스케일링된 버전인 반면, 구조적 유사성 지수(SSIM)는 로컬 구조의 변화에 민감하므로 실측 자료와 관련하여 예측된 이미지의 구조적 양상을 캡처한다. 571개의 테스트 사례를 사용하여 모델은 PSNR 메트릭 및 SSIM 메트릭을 사용하여 정량적으로 평가되었으며 실제 완전 도스 이미지와 합성 이미지 사이에서 계산되었다. 이 값은 저 도스 이미지와 완전 도스 이미지 간의 PSNR 값 및 SSIM 값과 비교되었다. 현장별 및 스캐너별 메트릭도 계산되어 모델 일반화 가능성을 증명하기 위해 비교되었다.
테스트 세트로부터, 상이한 유형들 및 등급들의 종양 사례 강화(수술 전 또는 후)를 사용한 26명의 환자(남성 13명, 58 ± 15세)로부터 이미지의 서브세트가 식별되었고 모델 성능에 대한 심층 평가에 사용되었다. 이러한 종양 사례 강화는 이질성 측면에서 트레이닝 데이터세트와 유사했고 도 5에 도시된 것과 동일한 스캐닝 프로토콜을 사용하여 획득되었다. 강화 패턴이 임의의 거짓 양성 또는 거짓 음성 없이 동의되는지(agreed) 알아보기 위해 (참인(true) 완전 도스 이미지를 참조로서 사용해) 이진 평가가 수행되었다. 존재하는 경우, 합성된 이미지의 이미지 아티팩트가 기록되었고 제공된 모델의 도움으로 이미지 아티팩트가 감소된 것으로 증명되었다.
모델 예측이 완전 도스 실측 자료와 유사했다는 것을 추가로 검증하기 위해, 26개의 종양 사례 강화에 대해 자동적 종양 세분화가 수행된다. 적용된 모델의 변형은 대조 후 이미지만 사용하여 종양 코어를 세분화했다. 세분화 모델의 요건에 따라, 실측 자료 이미지와 예측된 완전 도스 이미지는 두개골이 제거되었고 1 mm3 해상도로 보간되었고 해부학적 템플릿에 공동 정합되었다. 평가는 실측 자료의 세분화된 마스크와 합성된 이미지를 사용하여 생성된 마스크 사이에서 예측된 종양 코어의 다이스 점수(Dice score)를 계산하여 수행된다.
도 11은 이미지 품질을 단조롭게 개선하는 데 사용되는 시스템 및 방법을 개략적으로 도시한다. 이 예는 강화되는 전두 종양을 가진 시상적으로 획득된 MR 이미지에 대해 도시된다. 패널 a에 도시된 바와 같이 2.5D 모델 결과의 축 리포맷에서 수직 줄무늬가 보일 수 있으며 패널 b에 도시된 바와 같이 MPR 트레이닝 및 추론으로 수정(fix)되었다. 지각적 및 적대적 손실을 추가하면 패널 c에 도시된 바와 같이 종양 내부의 질감이 더욱 개선되고 전반적인 지각적 품질이 복원된다. 또한, 패널 d에 도시된 바와 같이, 평활 강화 마스크로 L1 손실을 가중화하는 것은 강화 패턴을 실측 자료의 것과 일치시켰다. (패널 e에 도시된 바와 같이) 실측 자료에 대한 메트릭의 단조로운 증가도 모델의 개선을 보여준다. 아래 표는 26개의 종양 사례 강화에 대해 제안된 각 기술 솔루션에 대한 모델 개선을 보여준다.
메트릭 UNet 2D(35) UNet 2.5D + MPR + VGG & GAN + 강화 마스크*
PSNR(dB) 31.84±4.88 32.38±4.67 33.56±5.19 34.28±4.88 35.22±4.79
SSIM 0.88±0.06 0.89±0.06 0.90±0.06 0.92±0.05 0.93±0.04
도 12는 대조 전 이미지, 저 도스 이미지, 완전 도스 실측 자료 이미지, 및 합성 이미지를 상이한 현장들 및 스캐너들로부터의 사례에 대한 정량적 메트릭과 함께 도시한다. 메트릭은 제안된 기술 개선을 갖는 모델이 원래 모델(메트릭 31.84±4.88 dB, 0.88±0.06을 가짐)보다 더 양호하게 수행되는 것을 보여준다. 가장 성능이 좋은 모델은 SSIM, 지각, 적대, 및 강화 가중화된 L1 손실의 조합으로 5개의 회전으로 MPR을 사용했다. 512 × 512 × 300 체적의 경우, GeForce RTX 2080(16GB) GPU에서 최상의 모델을 전처리하고 추론하는 데 약 135초가 소요되었다. 도 13은 다른 회전 수와 이미지 품질 및 성능에 대한 대응 효과의 예를 도시한다. 도 13에 도시된 바와 같이 MPR에서 회전각의 수의 효과는 각도의 수가 클수록 종양 내부의 수평 줄무늬를 감소시킬 있는(더 나은 품질) 반면에, 추론 시간도 증가시킬 수 있는 것을 제공한다. 트레이닝된 모델을 물리적 현장에 배포할 때 원하는 이미지 품질 및 배포 환경(예컨대, 연산 능력, 메모리 저장소 등)에 따라 회전 수 및 상이한 각도들이 결정될 수 있다.
시스템 개요
저 도스 대조 강화 MRI를 위한 제공된 DL 프레임워크는 대조 강화 MRI를 위한 GBCA의 도시지(dosage)를 감소시키는 동시에 이미지 품질을 유지하고 대조 강화의 저하를 회피할 수 있다. DL 모델의 견고성과 일반화 가능성이 개선되어 이질적인 환자 및 현장 모집단에 걸쳐 다양한 응용에 대한 개선된 적응이 가능하다. 도 4는, 본 개시의 이미징 강화기(440)가 구현될 수 있는 자기 공명 이미징(MRI) 시스템(400)을 개략적으로 도시한다. MRI 시스템(400)은 자기 시스템(403), 자기 시스템에 접속된 환자 이송 테이블(405), 및 자기 시스템에 동작 가능하게 접속된 제어기(401)를 포함할 수 있다. 일례에서, 환자가 환자 이송 테이블(405) 위에 누울 수 있고 자기 시스템(403)이 환자 주위를 지나갈 것이다. 제어기(401)는, 자기 시스템(403)에 의해 제공되는 자기장 및 무선 주파수(radio frequency; RF) 신호들을 제어할 수 있고 자기 시스템(403) 내의 검출기들로부터 신호들을 수신할 수 있다.
MRI 시스템(400)은, 네트워크(430)를 통해 제어기(401)에 동작 가능하게 결합된 컴퓨터 시스템(410) 및 하나 이상의 데이터베이스를 더 포함할 수 있다. 컴퓨터 시스템(410)은 체적 MR 이미징 강화기(440)를 구현하기 위해 사용될 수 있다. 체적 MR 이미징 강화기(440)는 본 명세서에 설명된 DL 프레임워크 및 방법을 구현할 수 있다. 예를 들어, 체적 MR 이미징 강화기는 MPR 재구성 방법 및 다양한 다른 트레이닝 알고리즘, 및 여기에 설명된 데이터 처리 방법을 사용할 수 있다. 컴퓨터 시스템(410)은 트레이닝 데이터세트들을 사용하여 이미징 강화기를 생성하기 위해 사용될 수 있다. 도시된 도면이 제어기 및 컴퓨터 시스템을 분리된 컴포넌트들로서 도시하지만, 제어기 및 컴퓨터 시스템은 단일 컴포넌트로 통합될 수 있다.
컴퓨터 시스템(410)은 랩탑 컴퓨터, 데스크탑 컴퓨터, 중앙 서버, 분산형 컴퓨팅 시스템 등을 포함할 수 있다. 프로세서는 예를 들어, 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphic processing unit; GPU), 범용 처리 장치(단일 코어 또는 다중 코어 프로세서일 수 있음), 또는 병렬 처리를 위한 복수의 프로세서와 같은 하드웨어 프로세서일 수 있다. 프로세서는, 예를 들어, 컴퓨팅 플랫폼들 또는 마이크로프로세서들, 논리 디바이스들 등과 같은 임의의 적절한 집적 회로들일 수 있다. 본 개시가 프로세서를 참조하여 설명되지만, 다른 유형들의 집적 회로들 및 논리 디바이스들이 또한 적용 가능하다. 프로세서들 또는 머신들은 데이터 동작 능력들에 의해 제한되지 않을 수 있다. 프로세서들 또는 머신들은 512 비트, 256 비트, 128 비트, 64 비트, 32 비트, 또는 16 비트 데이터 동작들을 수행할 수 있다.
MRI 시스템(400)은 임의의 적절한 데이터베이스 기술을 사용할 수 있는 하나 이상의 데이터베이스(420)를 포함할 수 있다. 예를 들어, 구조화된 쿼리 언어(structured query language; SQL) 또는 "NoSQL" 데이터베이스는 재구성된/리포맷 이미지 데이터, 원시 수집 데이터, 트레이닝 데이터세트, 트레이닝된 모델(예컨대, 하이퍼 파라미터), 가중화 계수, 회전각, 회전 수, 리포맷 재구성을 위한 방향 등을 저장하는 데 활용될 수 있다. 데이터베이스들 중 일부는 예를 들어, 어레이, 해시(hash), (링크된) 리스트, 구조, 구조화된 텍스트 파일(예컨대, XML), 테이블, JSON, NOSQL 및/또는 등과 같은 다양한 표준 데이터 구조들을 사용하여 구현될 수 있다. 그러한 데이터 구조들은 메모리에 그리고/또는 (구조화된) 파일들에 저장될 수 있다. 다른 대안에서, 객체-지향형 데이터베이스가 사용될 수 있다. 객체 데이터베이스들은 공통 속성들에 의해 함께 그룹화되고 그리고/또는 링크된 다수의 객체 컬렉션(object collection)들을 포함할 수 있고; 이들은 어떤 공통 속성들에 의해 다른 객체 컬렉션들에 관련될 수 있다. 객체 지향형 데이터베이스들은, 객체들이 단지 데이터의 조각(piece)들이 아니라 주어진 객체 내에 캡슐화된 다른 유형들의 기능을 가질 수 있는 점을 제외하고 관계형 데이터베이스들과 유사하게 수행될 수 있다. 본 개시의 데이터베이스가 데이터 구조로서 구현되면, 본 개시의 데이터베이스의 사용은 예를 들어, 본 발명의 컴포넌트와 같은 또 다른 컴포넌트에 통합될 수 있다. 또한, 데이터베이스는 데이터 구조들, 객체들, 및 관계형 구조들의 혼합(mix)으로서 구현될 수 있다. 데이터베이스들은 표준 데이터 프로세싱 기술들을 통해 다양하게 통합될 수 있고 그리고/또는 배포될 수 있다. 데이터베이스들의 부분들, 예를 들어, 테이블들은 내보내(export)질 수 있고 그리고/또는 가져와(import)질 수 있고 따라서 분산(decentralize)되고 그리고/또는 통합될 수 있다.
네트워크(430)는 MRI 플랫폼 내의 컴포넌트들 간의 접속들 및 MRI 시스템의 외부 시스템들로의 접속을 확립할 수 있다. 네트워크(430)는, 무선 통신 시스템 및/또는 유선 통신 시스템 둘 다를 사용하는 근거리 통신망 및/또는 원거리 통신망의 임의의 조합을 포함할 수 있다. 예를 들어, 네트워크(430)는 모바일 전화 네트워크들 뿐만 아니라 인터넷을 포함할 수 있다. 일 실시예에서, 네트워크(430)는 표준 통신 기술들 및/또는 프로토콜을 사용한다. 따라서, 네트워크(430)는, 예를 들어, 이더넷, 802.11, WiMAX(worldwide interoperability for microwave access), 2G/3G/4G/5G 통신 프로토콜들, InfiniBand, PCI 익스프레스 고급 스위칭(Express Advanced Switching) 등과 같은 기술들을 사용하는 링크들을 포함할 수 있다. 네트워크(430) 상에서 사용되는 다른 네트워킹 프로토콜들은, MPLS(multiprotocol label switching), TCP/IP(transmission control protocol/Internet protocol), UDP(User Datagram Protocol), HTTP(hypertext transport protocol), SMTP(simple mail transfer protocol), FTP(file transfer protocol) 등을 포함할 수 있다. 네트워크를 통해 교환되는 데이터는, 이진 형태(예를 들어, PNG(Portable Networks Graphics)), HTML(hypertext markup language), XML(extensible markup language) 등의 이미지 데이터를 포함하는 기술들 및/또는 형식들을 사용하여 나타내어질 수 있다. 또한, 링크들 중 일부 또는 모두는 SSL(secure sockets layer), TLS(transport layer security), IPsec(Internet Protocol security) 등과 같은 종래의 암호화 기술들을 사용하여 암호화될 수 있다. 다른 실시예에서, 네트워크 상의 엔티티(entity)들은 위에서 설명된 것들 대신에 또는 위에서 설명된 것들에 추가하여 맞춤형(custom) 및/또는 전용 데이터 통신 기술들을 사용할 수 있다.
용어 "적어도", "초과", 또는 "이상"이 일련의 2개 이상의 수치값들에서 첫번째 수치값 앞에 올 때마다, 용어 "적어도", "초과", 또는 "이상"은 그 일련의 수치값들에서의 수치값들 각각에 적용한다. 예를 들어, 1, 2, 또는 3 이상은 1 이상, 2 이상, 또는 3 이상과 균등하다.
용어 "~ 보다 많지 않은", "미만", 또는 "이하"가 일련의 2개 이상의 수치값들에서 첫번째 수치값 앞에 올 때마다, 용어 "~ 보다 많지 않은", "미만", 또는 "이하"는 그 일련의 수치값들에서의 수치값들 각각에 적용한다. 예를 들어, 3, 2, 또는 1 이하는 3 이하, 2 이하, 또는 1 이하와 균등하다.
본원에서 사용되는 바와 같이 A 및/또는 B는, A 또는 B 중 하나 이상, 및 예를 들어, A 및 B와 같은 이들의 조합들을 망라한다. 다양한 요소들, 컴포넌트들, 영역들 및/또는 섹션들을 설명하기 위해 용어들 "제 1", "제 2", "제 3" 등이 본원에서 사용되지만, 이들 요소들, 컴포넌트들, 영역들 및/또는 섹션들이 이 용어들에 의해 제한되어서는 안된다는 점이 이해될 것이다. 이 용어들은 하나의 요소, 컴포넌트, 영역 또는 섹션을 또 다른 요소, 컴포넌트, 영역 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 본원에서 논의되는 제 1 요소, 컴포넌트, 영역 또는 섹션은 본 발명의 교시들로부터 벗어나지 않고 제 2 요소, 컴포넌트, 영역 또는 섹션으로 칭해질 수 있다.
여기서 사용되는 용어는 단지 특정 실시예를 설명하는 목적을 위한 것이고, 제한하는 것으로 의도되지 않는다. 여기서 사용되는 바와 같이, 단수형들, "하나의"와 "그"는, 문맥이 명백히 달리 지시하지 않는 한 복수 형태들을 포함하는 것으로 의도된다. 용어들 "포함하는" 및/또는 "포함한" 또는 "함유하는" 및/또는 "함유한"은, 본 명세서에서 사용될 때, 언급된 피처들, 영역들, 정수(integer)들, 단계들, 동작들, 요소들 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 피처, 영역, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 제외하지 않는다는 점이 또한 이해될 것이다.
"일부 실시예들", 또는 "실시예"에 대한 본 명세서 전반에 걸친 참조는, 실시예와 연관하여 설명되는 특정 피처, 구조물, 또는 피처가, 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 위치들에서의 문구 "일부 실시예에서", 또는 "실시예에서"의 등장들이 반드시 모두 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정 피처들, 구조물들, 또는 피처들이 하나 이상의 실시예에서 임의의 적절한 방식으로 조합될 수 있다.
본 발명의 바람직한 실시예들이 본원에 도시되고 설명되지만, 그러한 실시예들이 예시에 의해서만 제공된다는 점이 당업자에게 명백해질 것이다. 본 발명이 본 명세서 내에 제공된 특정 예들에 의해 제한되는 것으로 의도되는 것은 아니다. 본 발명이 이전에 언급된 명세서를 참조하여 설명되었지만, 본원의 실시예들의 설명들 및 예시들이 제한적인 의미로 해석되는 것을 의미하는 것은 아니다. 이제 본 발명으로부터 벗어나지 않고 당업자에게 다양한 변형들, 변경들, 및 대체들이 일어날 것이다. 또한, 본 발명의 모든 양상들이 다양한 조건들 및 변수들에 의존하는 본원에서 제시된 특정 묘사들, 구성들 또는 상대적 비율들에 제한되는 것은 아니라는 점이 이해되어야 한다. 본원에서 설명되는 본 발명의 실시예들에 대한 다양한 대안들이 본 발명에 참여하는데 활용될 수 있다는 점이 이해되어야 한다. 따라서 본 발명이 또한 임의의 그러한 대안들, 수정들, 변형들 또는 균등물들을 커버할 것이라는 점이 고려되어야 한다. 아래의 청구항들이 본 발명의 범위를 정의하고 이 청구항들의 범위 내의 방법들 및 구조물들과 그들의 균등물들이 이에 의해 커버되는 것으로 의도된다.

Claims (20)

  1. 감소된 도스(dose)의 대조 작용제(contrast agent)로 이미지 품질을 개선하기 위한 컴퓨터로 구현되는 방법(computer-implemented method)에 있어서,
    (a) 의료 이미징 장치를 사용하여, 감소된 도스의 대조 작용제로 피험자의 의료 이미지를 획득하는 단계;
    (b) 상기 피험자의 의료 이미지를 다수의 방향으로 리포맷(reformat)하여 복수의 리포맷 의료 이미지를 생성하는 단계; 및
    (c) 상기 복수의 리포맷 의료 이미지에 딥 네트워크 모델(deep network model)을 적용하여 개선된 품질을 갖는 예측된 의료 이미지를 생성하는 단계
    를 포함하는, 감소된 도스의 대조 작용제로 이미지 품질을 개선하기 위한 컴퓨터로 구현되는 방법.
  2. 제1항에 있어서, 상기 의료 이미징 장치는 변형(transforming) 자기 공명(magnetic resonance; MR) 디바이스인 것인, 컴퓨터로 구현되는 방법.
  3. 제1항에 있어서, 상기 의료 이미지는 2.5D 체적 이미지(volumetric image)인 것인, 컴퓨터로 구현되는 방법.
  4. 제1항에 있어서, 상기 다수의 방향은 스캐닝 평면의 방향이 아닌 적어도 하나의 방향을 포함하는 것인, 컴퓨터로 구현되는 방법.
  5. 제1항에 있어서, 상기 복수의 리포맷 의료 이미지 각각을 다양한 각도로 회전시켜 복수의 회전된 리포맷 의료 이미지를 생성하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  6. 제5항에 있어서, 상기 복수의 회전된 리포맷 의료 이미지에 상기 딥 네트워크 모델을 적용하여 복수의 예측된 이미지를 출력하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  7. 제6항에 있어서, 상기 복수의 예측된 이미지는 스캐닝 평면에 정렬되도록 회전되는 것인, 컴퓨터로 구현되는 방법.
  8. 제7항에 있어서, 상기 스캐닝 평면에 정렬되도록 회전된 후의 상기 복수의 예측된 이미지를 평균화하여 개선된 품질을 갖는 상기 예측된 의료 이미지를 생성하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  9. 제1항에 있어서, 개선된 품질을 갖는 상기 예측된 의료 이미지는, 상기 복수의 리포맷 의료 이미지에 대응하는 복수의 예측된 의료 이미지를 평균화함으로써 획득되는 것인, 컴퓨터로 구현되는 방법.
  10. 제1항에 있어서, 상기 딥 러닝 모델의 파라미터는 지각적 손실(perceptual loss) 또는 적대적 손실(adversarial loss)에 적어도 부분적으로 기초하여 조정(tune)되는 것인, 컴퓨터로 구현되는 방법.
  11. 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 동작을 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작은,
    (a) 의료 이미징 장치를 사용하여, 감소된 도스의 대조 작용제로 피험자의 의료 이미지를 획득하는 동작;
    (b) 상기 피험자의 의료 이미지를 다수의 방향으로 리포맷하여 복수의 리포맷 의료 이미지를 생성하는 동작; 및
    (c) 상기 복수의 리포맷 의료 이미지에 딥 네트워크 모델을 적용하여 개선된 품질을 갖는 예측된 의료 이미지를 생성하는 동작
    을 포함하는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  12. 제11항에 있어서, 상기 의료 이미징 장치는 변형 자기 공명(MR) 디바이스인 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  13. 제11항에 있어서, 상기 의료 이미지는 2.5D 체적 이미지인 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  14. 제1항에 있어서, 상기 다수의 방향은 스캐닝 평면의 방향이 아닌 적어도 하나의 방향을 포함하는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  15. 제1항에 있어서, 상기 동작은, 상기 복수의 리포맷 의료 이미지 각각을 다양한 각도로 회전시켜 복수의 회전된 리포맷 의료 이미지를 생성하는 동작을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  16. 제15항에 있어서, 상기 동작은, 상기 복수의 회전된 리포맷 의료 이미지에 상기 딥 네트워크 모델을 적용하여 복수의 예측된 이미지를 출력하는 동작을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  17. 제16항에 있어서, 상기 복수의 예측된 이미지는 스캐닝 평면에 정렬되도록 회전되는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  18. 제17항에 있어서, 상기 동작은, 상기 스캐닝 평면에 정렬되도록 회전된 후의 상기 복수의 예측된 이미지를 평균화하여 상기 동작들은 개선된 품질을 갖는 상기 예측된 의료 이미지를 생성하는 동작을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  19. 제11항에 있어서, 개선된 품질을 갖는 상기 예측된 의료 이미지는, 상기 복수의 리포맷 의료 이미지에 대응하는 복수의 예측 의료 이미지를 평균화함으로써 획득되는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
  20. 제11항에 있어서, 상기 딥 러닝 모델의 파라미터는 지각적 손실 또는 적대적 손실에 적어도 부분적으로 기초하여 조정되는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020227012551A 2019-09-25 2020-09-23 저 도스 체적 대조 강화 mri를 개선하기 위한 시스템 및 방법 KR20220067543A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962905689P 2019-09-25 2019-09-25
US62/905,689 2019-09-25
PCT/US2020/052123 WO2021061710A1 (en) 2019-09-25 2020-09-23 Systems and methods for improving low dose volumetric contrast-enhanced mri

Publications (1)

Publication Number Publication Date
KR20220067543A true KR20220067543A (ko) 2022-05-24

Family

ID=74802618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012551A KR20220067543A (ko) 2019-09-25 2020-09-23 저 도스 체적 대조 강화 mri를 개선하기 위한 시스템 및 방법

Country Status (9)

Country Link
US (2) US11624795B2 (ko)
EP (1) EP4035124A4 (ko)
JP (2) JP2022550688A (ko)
KR (1) KR20220067543A (ko)
CN (1) CN112470190A (ko)
AU (1) AU2020352531A1 (ko)
BR (1) BR112022005559A2 (ko)
CA (1) CA3151320A1 (ko)
IL (1) IL291551A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727087B2 (en) * 2021-04-05 2023-08-15 Nano-X Ai Ltd. Identification of a contrast phase depicted in a medical image
CN113450296B (zh) * 2021-07-12 2022-09-06 首都医科大学附属北京天坛医院 一种医学图像生成方法、装置、电子设备及存储介质
WO2023055721A1 (en) * 2021-09-29 2023-04-06 Subtle Medical, Inc. Systems and methods for contrast dose reduction
CN117693770A (zh) * 2021-10-15 2024-03-12 伯拉考成像股份公司 训练机器学习模型以用于在医学成像应用中模拟在较高剂量造影剂下的图像
KR20240019639A (ko) * 2022-08-04 2024-02-14 메디컬아이피 주식회사 비조영영상을 조영영상으로 변환하는 방법 및 그 장치
WO2024097700A1 (en) * 2022-11-02 2024-05-10 Subtle Medical, Inc. Systems and methods for adaptive deep learning mr image enhancement with property constrained unrolled network
WO2024107695A1 (en) * 2022-11-16 2024-05-23 Subtle Medical, Inc. Systems and methods for arbitrary level contrast dose simulation in mri
CN116071401B (zh) * 2023-01-28 2023-08-01 中日友好医院(中日友好临床医学研究所) 基于深度学习的虚拟ct图像的生成方法及装置
CN116612206B (zh) * 2023-07-19 2023-09-29 中国海洋大学 一种利用卷积神经网络减少ct扫描时间的方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006001681B4 (de) * 2006-01-12 2008-07-10 Wismüller, Axel, Dipl.-Phys. Dr.med. Verfahren und Vorrichtung zur Darstellung mehrkanaliger Bilddaten
EP2790583B1 (en) * 2011-12-13 2016-05-18 Koninklijke Philips N.V. Dose optimization based on outcome quality
US9266891B2 (en) * 2012-11-16 2016-02-23 Boehringer Ingelheim International Gmbh Substituted [1,2,4]triazolo[4,3-A]pyrazines that are BRD4 inhibitors
US10070828B2 (en) * 2013-03-05 2018-09-11 Nview Medical Inc. Imaging systems and related apparatus and methods
US9384528B2 (en) * 2014-05-28 2016-07-05 EchoPixel, Inc. Image annotation using a haptic plane
DE102014203463B3 (de) * 2014-02-26 2015-07-09 Siemens Aktiengesellschaft Patientenabhängige Optimierung der Kontrastmittelmenge
WO2016033458A1 (en) * 2014-08-29 2016-03-03 The University Of North Carolina At Chapel Hill Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr)
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
US10096109B1 (en) * 2017-03-31 2018-10-09 The Board Of Trustees Of The Leland Stanford Junior University Quality of medical images using multi-contrast and deep learning
EP3694413A4 (en) * 2017-10-09 2021-06-30 The Board of Trustees of the Leland Stanford Junior University CONTRAST DOSE REDUCTION FOR MEDICAL IMAGING USING DEEP LEARNING
GB201912701D0 (en) * 2019-09-04 2019-10-16 Univ Oxford Innovation Ltd Method and apparatus for enhancing medical images
WO2021061710A1 (en) 2019-09-25 2021-04-01 Subtle Medical, Inc. Systems and methods for improving low dose volumetric contrast-enhanced mri

Also Published As

Publication number Publication date
EP4035124A4 (en) 2023-10-11
CN112470190A (zh) 2021-03-09
EP4035124A1 (en) 2022-08-03
JP2022550688A (ja) 2022-12-05
BR112022005559A2 (pt) 2022-06-21
US20230296709A1 (en) 2023-09-21
JP2024116114A (ja) 2024-08-27
US11624795B2 (en) 2023-04-11
CA3151320A1 (en) 2021-04-01
IL291551A (en) 2022-05-01
US20220334208A1 (en) 2022-10-20
AU2020352531A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11624795B2 (en) Systems and methods for improving low dose volumetric contrast-enhanced MRI
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
Zhang et al. Improving CBCT quality to CT level using deep learning with generative adversarial network
US11756160B2 (en) ML-based methods for pseudo-CT and HR MR image estimation
WO2021061710A1 (en) Systems and methods for improving low dose volumetric contrast-enhanced mri
Pasumarthi et al. A generic deep learning model for reduced gadolinium dose in contrast‐enhanced brain MRI
Koshino et al. Narrative review of generative adversarial networks in medical and molecular imaging
WO2022257959A1 (en) Multi-modality and multi-scale feature aggregation for synthesizing spect image from fast spect scan and ct image
US20240249395A1 (en) Systems and methods for contrast dose reduction
Tavse et al. A systematic literature review on applications of GAN-synthesized images for brain MRI
US20240221115A1 (en) Ultra-high resolution ct reconstruction using gradient guidance
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
Poonkodi et al. 3D-MedTranCSGAN: 3D medical image transformation using CSGAN
Lee et al. Improvement of megavoltage computed tomography image quality for adaptive helical tomotherapy using cycleGAN‐based image synthesis with small datasets
Lee et al. Study on Optimal Generative Network for Synthesizing Brain Tumor‐Segmented MR Images
Iddrisu et al. 3D reconstructions of brain from MRI scans using neural radiance fields
Yang et al. Quasi-supervised learning for super-resolution PET
Raza et al. CycleGAN with mutual information loss constraint generates structurally aligned CT images from functional EIT images
Sun et al. Clinical ultra‐high resolution CT scans enabled by using a generative adversarial network
Longuefosse et al. Lung CT Synthesis Using GANs with Conditional Normalization on Registered Ultrashort Echo-Time MRI
WO2024044476A1 (en) Systems and methods for contrast-enhanced mri
Ding et al. Medical Image Quality Assessment
Dong et al. Fproi‐GAN with Fused Regional Features for the Synthesis of High‐Quality Paired Medical Images
Galli et al. Generative adversarial networks for domain translation in unpaired breast dce-mri datasets
Kumar et al. [Retracted] CNN‐Based Cross‐Modal Residual Network for Image Synthesis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal