KR20210038903A - 자기 공명 이미지 재구성을 위한 딥 러닝 기술 - Google Patents

자기 공명 이미지 재구성을 위한 딥 러닝 기술 Download PDF

Info

Publication number
KR20210038903A
KR20210038903A KR1020217005259A KR20217005259A KR20210038903A KR 20210038903 A KR20210038903 A KR 20210038903A KR 1020217005259 A KR1020217005259 A KR 1020217005259A KR 20217005259 A KR20217005259 A KR 20217005259A KR 20210038903 A KR20210038903 A KR 20210038903A
Authority
KR
South Korea
Prior art keywords
neural network
data
spatial frequency
image
model
Prior art date
Application number
KR1020217005259A
Other languages
English (en)
Inventor
지이 왕
프란틱 쿤두
로라 사콜릭
미첼 소프카
조나단 엠 로스버그
조 슐렘퍼
카롤 라자러스
하드리엔 에이 다이보네
라파엘 오할로란
살레히 세이드 사데흐 모셴
Original Assignee
하이퍼파인 리서치, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하이퍼파인 리서치, 인크. filed Critical 하이퍼파인 리서치, 인크.
Publication of KR20210038903A publication Critical patent/KR20210038903A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4818MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G01R33/4824MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space using a non-Cartesian trajectory
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5611Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • G06F17/142Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G06K9/4628
    • G06K9/6274
    • G06K9/72
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • G06T5/60
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

자기 공명 이미징(MRI) 시스템은: MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석; MRI 시스템에 그래디언트 자계를 제공하도록 구성되는 그래디언트 코일; 및 자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일을 포함하는 자기 시스템; 비 데카르트 샘플링을 사용하여 MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록; 그리고 제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 획득된 MR 공간 주파수 데이터로부터 MR 이미지를 생성하도록 구성되는 컨트롤러를 포함하고, 제1 신경망 블록은 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성된다.

Description

자기 공명 이미지 재구성을 위한 딥 러닝 기술
[관련 출원과의 교차 참조]
본 출원은, 35 USC §119(e) 하에서, 2018년 7월 30일자로 출원되고 발명의 명칭이 "DEEP LEARNING TECHNIQUES FOR MAGNETIC RESONANCE IMAGE RECONSTRUCTION"이며 대리인 관리 번호가 제O0354.70028US00호인 미국 가출원 일련 번호 제62/711,895호, 2018년 9월 27일자로 출원되고 발명의 명칭이 "DEEP LEARNING TECHNIQUES FOR MAGNETIC RESONANCE IMAGE RECONSTRUCTION"이며 대리인 관리 번호가 제O0354.70028US01호인 미국 가출원 일련 번호 제62/737,524호, 2018년 10월 11일자로 출원되고 발명의 명칭이 "DEEP LEARNING TECHNIQUES FOR MAGNETIC RESONANCE IMAGE RECONSTRUCTION"이며 대리인 관리 번호가 제O0354.70028US02호인 미국 가출원 일련 번호 제62/744,529호, 및 2019년 3월 18일자로 출원되고 발명의 명칭이 "END-TO-END LEARNABLE MR IMAGE RECONSTRUCTION"이며 대리인 관리 번호가 제O0354.70039US00호인 미국 가출원 일련 번호 제62/820,119호에 대한 우선권을 주장하는데, 이들의 각각은 참조에 의해 그 전체가 통합된다.
자기 공명 이미징(magnetic resonance imaging; MRI)은 많은 응용 분야에 중요한 이미징 양식(imaging modality)을 제공하며, 인체 내부의 이미지를 생성하기 위해 임상 및 연구 환경에서 널리 활용되고 있다. MRI는, 인가된 전자기장으로부터 유래하는 상태 변화에 응답하여 원자에 의해 방출되는 전자기파인 자기 공명(magnetic resonance; MR) 신호를 검출하는 것에 기반을 둔다. 예를 들면, 핵 자기 공명(nuclear magnetic resonance; NMR) 기술은, 이미지화되고 있는 오브젝트(object) 내의 원자(예를 들면, 인체의 조직 내의 원자)의 핵 스핀의 재정렬 또는 이완시 여기 원자의 핵으로부터 방출되는 MR 신호를 검출하는 것을 수반한다. 검출된 MR 신호는, 의학적 응용의 맥락에서, 진단, 치료 및/또는 연구 목적을 위해 체내의 내부 구조 및/또는 생물학적 프로세스의 조사를 허용하는 이미지를 생성하도록 프로세싱될 수도 있다.
MRI는, 다른 양식의 안전 염려 없이(예를 들면, 피실험자(subject)를 이온화 방사선, 예컨대 x 선에 노출시킬 필요 없이, 또는 신체에 방사성 물질을 도입할 필요 없이) 상대적으로 높은 분해능 및 콘트라스트를 갖는 비침습성 이미지를 생성하는 자신의 능력에 기인하여 생물학적 이미징을 위한 매력적인 이미징 양식을 제공한다. 추가적으로, MRI는 연조직 콘트라스트(soft tissue contrast)를 제공하기에 특히 적합하며, 이것은 다른 이미징 양식이 만족스럽게 이미지화할 수 없는 피실험 재료(subject matter)를 이미지화하는 데 활용될 수 있다. 또한, MR 기술은, 다른 양식이 획득할 수 없는 구조체 및/또는 생물학적 프로세스에 대한 정보를 포획할 수 있다. 그러나, 종래의 MRI 기술에는, 주어진 이미징 애플리케이션에 대해, 상대적으로 높은 비용의 기기, 제한된 가용성(예를 들면, 임상 MRI 스캐너에 대한 액세스를 획득함에 있어서의 어려움 및 비용), 및 이미지 획득 프로세스의 길이를 포함할 수도 있는 다수의 결점이 있다.
이미징 품질을 높이기 위해, 임상 및 연구 MRI에서의 추세는 MRI 스캐너의 자계 강도(field strength)를 증가시켜 스캔 시간, 이미지 해상도, 및 이미지 콘트라스트 중 하나 이상의 명세를 향상시키는 것이었는데, 이것은 결국 MRI 이미징의 비용을 증가시킨다. 설치된 MRI 스캐너의 대다수는, 스캐너의 메인 자기장(B0)의 자계 강도를 가리키는 적어도 1.5 또는 3 테슬라(T)를 사용하여 동작한다. 임상 MRI 스캐너에 대한 대략적인 비용 추산액은 테슬라당 대략 백만 달러인데, 이것은, 심지어, 그러한 MRI 스캐너를 동작시키는 데 수반되는 실질적인 운영, 서비스, 및 유지 보수 비용도 고려하지 않은 것이다. 추가적으로, 종래의 고자계(high-field) MRI 시스템은, 통상적으로, 강하고 균일한 정적 자기장(static magnetic field)(B0) - 그 안에서 피실험자(예를 들면, 환자)가 이미지화됨 - 을 생성하기 위해, 대형의 초전도 자석 및 관련된 전자기기를 필요로 한다. 초전도 자석은 도체를 초전도 상태로 유지하기 위해 극저온 기기를 추가로 필요로 한다. 그러한 시스템의 사이즈는, MRI 시스템의 자기 컴포넌트를 격리하기 위한 특별히 차폐된 공간을 비롯하여, 자기 컴포넌트, 전자기기, 열 관리 시스템, 및 제어 콘솔 영역에 대한 다수의 방(room)을 포함하는 통상적인 MRI 설치에서 상당하다. MRI 시스템의 사이즈 및 비용은, 일반적으로, 그들을 구매하고 유지하기 위한 충분한 공간과 리소스를 갖는 병원이나 학술 연구 센터와 같은 시설로 그 사용을 제한한다. 고자계 MRI 시스템의 높은 비용과 상당한 공간 요건은, MRI 스캐너의 제한된 가용성으로 나타난다. 그러한 만큼, MRI 스캔이 유익할 것이지만, 그러나 상기에서 설명된 한계에 기인하여 그리고 하기의 추가적인 설명에서 설명되는 바와 같이 비실용적이거나 또는 불가능한 임상 상황이 자주 있다.
몇몇 실시형태는 다음의 것을 포함하는 방법에 관한 것이다: 공간 주파수 도메인 데이터를 프로세싱하도록 구성되는 제1 신경망 서브 모델; 및 이미지 도메인 데이터를 프로세싱하도록 구성되는 제2 신경망 서브 모델:을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것.
몇몇 실시형태는, 적어도 하나의 컴퓨터 하드웨어 프로세서; 및 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 시스템에 관한 것인데, 프로세서 실행 가능 명령어는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금: 신경망 모델을 사용하여 MR 공간 주파수 데이터로부터 자기 공명(MR) 이미지를 생성하는 것을 수행하게 한다. 신경망은: 공간 주파수 도메인에서 데이터를 프로세싱하도록 구성되는 제1 신경망 부분; 및 이미지 도메인에서 데이터를 프로세싱하도록 구성되는 제2 신경망 부분을 포함하는 것을 포함한다.
몇몇 실시형태는, 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것인데, 프로세서 실행 가능 명령어는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금: 신경망 모델을 사용하여 MR 공간 주파수 데이터로부터 자기 공명(MR) 이미지를 생성하는 것을 수행하게 한다. 신경망 모델은 공간 주파수 도메인에서 데이터를 프로세싱하도록 구성되는 제1 신경망 부분; 및 이미지 도메인에서 데이터를 프로세싱하도록 구성되는 제2 신경망 부분을 포함한다.
몇몇 실시형태는 다음의 것을 포함하는 방법에 관한 것이다: 공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것.
몇몇 실시형태는 시스템에 관한 것으로, 시스템은: 적어도 하나의 프로세서; 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는데, 프로세서 실행 가능 명령어는, 실행시, 적어도 하나의 프로세서로 하여금: 공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 수행하게 한다.
적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체는 프로세서 실행 가능 명령어를 저장하는데, 프로세서 실행 가능 명령어는, 실행시, 적어도 하나의 프로세서로 하여금: 공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 수행하게 한다.
몇몇 실시형태는, 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는데, 프로세서 실행 가능 명령어는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의한 실행시, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금: 제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 포함하는 방법을 수행하게 하고, 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 Fourier(푸리에) 변환을 사용하여 데이터 일관성 프로세싱(data consistency processing)을 수행하도록 구성된다.
몇몇 실시형태는 다음의 것을 포함하는 자기 공명 이미징(MRI) 시스템을 제공한다: MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석; MRI 시스템에 그래디언트 자계(gradient field)를 제공하도록 구성되는 그래디언트 코일(gradient coil); 및 자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일을 포함하는 자기 시스템(magnetics system); MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록; 공간 주파수 도메인에서 데이터를 프로세싱하도록 구성되는 제1 신경망 부분; 및 이미지 도메인에서 데이터를 프로세싱하도록 구성되는 제2 신경망 부분:을 포함하는 신경망 모델을 사용하여 MR 공간 주파수 데이터로부터 MR 이미지를 생성하도록: 구성되는 컨트롤러.
몇몇 실시형태는 다음의 것을 포함하는 자기 공명 이미징(MRI) 시스템을 제공한다: MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석; MRI 시스템에 그래디언트 자계를 제공하도록 구성되는 그래디언트 코일; 및 자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일을 포함하는 자기 시스템; MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록; 공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하도록 구성되는 컨트롤러.
몇몇 실시형태는 방법을 제공하는데, 방법은: 제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 포함하고, 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성된다.
몇몇 실시형태는 시스템을 제공하는데, 시스템은: 적어도 하나의 컴퓨터 하드웨어 프로세서; 및 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 프로세서 실행 가능 명령어는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의한 실행시, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금: 제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 포함하는 방법을 수행하게 하고, 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성된다.
몇몇 실시형태는 자기 공명 이미징(MRI) 시스템을 제공하는데, 자기 공명 이미징(MRI) 시스템은: MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석; MRI 시스템에 그래디언트 자계를 제공하도록 구성되는 그래디언트 코일; 및 자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일을 포함하는 자기 시스템; 비 데카르트 샘플링 궤적(non-Cartesian sampling trajectory)을 사용하여 MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록; 그리고 제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 획득된 MR 공간 주파수 데이터로부터 MR 이미지를 생성하도록 구성되는 컨트롤러를 포함하고, 제1 신경망 블록은 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성된다.
전술한 내용은 첨부된 청구범위에 의해 정의되는 본 발명의 비제한적인 개요이다.
개시된 기술의 다양한 양태 및 실시형태가 다음의 도면을 참조하여 설명될 것이다. 도면은 반드시 일정한 비율로 그려지는 것은 아니다는 것이 인식되어야 한다.
도 1a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 예시적인 신경망 모델의 아키텍쳐를 예시한다.
도 1b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델의 아키텍쳐를 예시한다.
도 1c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 또 다른 예시적인 신경망 모델의 아키텍쳐를 예시한다.
도 2a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 신경망 모델을 사용하여 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 예시적인 프로세스(200)의 플로우차트이다.
도 2b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 출력 공간 주파수 데이터를 획득하기 위해, 예시적인 프로세스(200)의 일부일 수도 있는, 공간 주파수 도메인에서 MR 공간 주파수 데이터를 프로세싱하기 위한 예시적인 프로세스의 플로우차트이다.
도 2c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, MR 이미지를 생성하기 위해, 예시적인 프로세스(200)의 일부일 수도 있는, 공간 주파수 도메인 데이터를 프로세싱하기 위한 예시적인 프로세스의 플로우차트이다.
도 2d는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, MR 이미지를 생성하기 위해, 예시적인 프로세스(200)의 일부일 수도 있는, 이미지 도메인 데이터를 프로세싱하기 위한 다른 예시적인 프로세스의 플로우차트이다.
도 3은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 공간 주파수 도메인의 데이터에 대해 동작하기 위한 로컬하게 연결된 레이어를 구비한 신경망 모델을 사용하여 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 본원에서 설명되는 기술의 성능을 예시한다.
도 4는, 본원에서 설명되는 신경망 모델의 상이한 실시형태를 사용하여 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 본원에서 설명되는 기술의 성능을 예시한다.
도 5a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델의 아키텍쳐를 예시한다.
도 5b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델의 아키텍쳐를 예시한다.
도 5c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델의 아키텍쳐를 예시한다.
도 6a 내지 도 6c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 공간 주파수 도메인 데이터를 프로세싱하도록 구성되는 신경망 서브 모델에서 완전히 연결된 네트워크 레이어의 가중치의 분포를 예시한다.
도 7은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 본원에서 설명되는 기술 및 제로 패딩된 역 푸리에 변환(zero-padded inverse Fourier transform)을 사용하여, 비 데카르트 샘플링 궤적을 사용하여 샘플링되는 언더샘플링된(under-sampled) 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하는 것의 결과를 예시한다.
도 8은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델을 트레이닝시키는 것의 양태를 예시한다.
도 9a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델을 트레이닝시키기 위한 합성 복소 값 이미지(synthetic complex-valued image)를 생성하는 것의 양태를 예시한다.
도 9b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델을 트레이닝시키기 위해 사용될 수도 있는, 공간 주파수 및 이미지 도메인 성분을 갖는 손실 함수(loss function)를 예시한다.
도 10의 (a) 내지 (h)는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 전이 학습(transfer learning)을 사용하여 트레이닝되는 그리고 전이 학습을 사용하지 않고 트레이닝되는, 제로 패딩된 역 이산 푸리에 변환(discrete Fourier transform; DFT)을 사용하여 그리고 신경망 모델을 사용하여 생성되는 재구성된 MR 이미지를 예시한다.
도 11은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델 중 몇몇의 성능을 예시한다.
도 12는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델 중 몇몇의 성능을 추가로 예시한다.
도 13a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 예시적인 신경망 모델의 예시적인 아키텍쳐의 다이어그램이다.
도 13b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 도 13a의 신경망 모델의 블록의 아키텍쳐의 하나의 타입의 다이어그램이다.
도 13c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 도 13b에서 도시되는 블록의 일부일 수도 있는 데이터 일관성 블록의 예시적인 아키텍쳐의 다이어그램이다.
도 13d는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 도 13b에서 도시되는 블록의 일부일 수도 있는 컨볼루션 신경망 블록(convolutional neural network block)의 예시적인 아키텍쳐의 다이어그램이다.
도 13e는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 도 13a의 신경망 모델의 블록의 아키텍쳐의 다른 타입의 다이어그램이다.
도 14는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 비 데카르트 샘플링을 사용하여 획득되는 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위해 신경망 모델을 사용하기 위한 예시적인 프로세스(1400)의 플로우차트이다.
도 15a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 종래의 신경망 모델 및 신경망 모델을 사용하는 것에 의해 재구성되는 T1 가중 MR 이미지(T1-weighted MR image)를 예시한다.
도 15b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 종래의 신경망 모델 및 신경망 모델을 사용하는 것에 의해 재구성되는 T2 가중 MR 이미지를 예시한다.
도 15c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 신경망 모델에 의한 프로세싱의 상이한 스테이지에서의 재구성된 MR 이미지를 예시한다.
도 16은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 저자계 MRI 시스템의 개략적인 예시이다.
도 17a 및 도 17b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, B0 자석에 대한 이중 평면 영구 자석 구성(bi-planar permanent magnet configuration)을 예시한다.
도 18a 및 도 18b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 휴대용 MRI 시스템의 뷰를 예시한다.
도 18c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 머리의 스캔을 수행하는 휴대용 MRI 시스템을 예시한다.
도 18d는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 무릎의 스캔을 수행하는 휴대용 MRI 시스템을 예시한다.
도 19는, 본원에서 설명되는 실시형태가 구현될 수도 있는 예시적인 컴퓨터 시스템의 다이어그램이다.
종래의 자기 공명 이미징 기술은, 환자의 해부학적 구조(anatomy)의 고해상도 단면 이미지를 획득하기 위해 좁은 챔버에 있는 환자에 대한 시간 소모적인 MRI 스캔을 필요로 한다. 긴 스캔 지속 기간은, MR 스캐너를 사용하여 스캔될 수 있는 환자 수를 제한하고, 환자의 불편을 야기하고, 스캐닝의 비용을 증가시킨다. 본 발명자들은 더 짧은 지속 기간의 MRI 스캔으로부터 의학적으로 관련되고 임상적으로 용인되는 MRI 이미지를 생성하기 위한 기술을 개발하였고, 그에 의해, 종래의 MRI 기술을 향상시켰다.
MRI 스캔의 지속 기간은 공간 주파수 도메인(때때로 "k 공간"으로 지칭됨)으로부터 획득되는 데이터 포인트의 수에 비례한다. 따라서, 스캔의 지속 기간을 감소시키는 한 가지 방식은 더 적은 데이터 포인트를 획득하는 것이다. 예를 들면, 주파수 인코딩 방향, 위상 인코딩 방향, 또는 주파수 및 위상 인코딩 방향 둘 모두에서 더 적은 샘플이 획득될 수도 있다. 그러나 공간 Nyquist(나이퀴스트) 기준(이것은 종종 "언더샘플링" k 공간으로 지칭됨)에 의해 요구되는 것보다 더 적은 데이터 포인트가 획득되는 경우, 역 푸리에 변환에 의해 수집된 데이터 포인트로부터 생성되는 MR 이미지는 앨리어싱(aliasing)에서 기인한 아티팩트(artifact)를 포함한다. 결과적으로, 비록 공간 주파수 도메인에서 언더샘플링에 의해 스캐닝 시간이 단축되지만, 결과적으로 나타나는 MRI 이미지는 불량한 품질을 가지며 사용 불가능할 수도 있는데, 그 이유는 도입된 아티팩트가 이미지 품질, 충실도, 및 해석 가능성을 심각하게 저하시킬 수도 있기 때문이다.
언더샘플링된 k 공간 데이터로부터 MR 이미지를 재구성하기 위한 종래의 기술도 또한 결점의 문제를 겪는다. 예를 들면, 비가간섭성 앨리어싱(incoherent aliasing)을 생성하는 랜덤화된 k 공간 언더샘플링 궤적을 사용하는 것에 의해 언더샘플링된 공간 주파수 데이터로부터 MR 이미지를 생성하는 것의 문제에 압축 감지 기술이 적용되었는데, 비가간섭성 앨리어싱은 결국에는 반복적 이미지 재구성 프로세스를 사용하여 제거된다. 그러나, 반복적 재구성 기술은 많은 양의 계산 리소스를 필요로 하고, 광범위한 경험적 파라미터 조정 없이는 잘 작동하지 않으며, 종종 손실된 세부 사항을 갖는 더 낮은 해상도의 MR 이미지로 나타난다.
딥 러닝 기술은 언더샘플링된 k 공간 데이터로부터 MR 이미지를 재구성하기 위해 또한 사용되었다. 그러한 기술의 기초가 되는 신경망 파라미터는 완전히 샘플링된 데이터(나이퀴스트 기준이 위반되지 않도록 공간 주파수 공간을 샘플링하는 것에 의해 수집되는 데이터)를 사용하여 추정될 수도 있고, 비록 그러한 모델을 트레이닝시키는 것이 시간 소모적일 수도 있지만, 트레이닝된 모델은 획득 동안 실시간으로 적용될 수도 있는데, 그 이유는 이미지 재구성에 대한 신경망 기반의 접근법이, 압축 감지 컨텍스트에서 활용되는 반복적 재구성 기술보다 계산적으로 훨씬 더 효율적이기 때문이다.
본 발명자들은 종래의 딥 러닝 MR 이미지 재구성 기술이 향상될 수도 있다는 것을 인식하였다. 예를 들면, 종래의 딥 러닝 MR 이미지 재구성 기술은 순전히 이미지 도메인 또는 공간 주파수 도메인 중 어느 하나에서 동작하고, 그러한 만큼, 공간 주파수 도메인 및 이미지 도메인 둘 모두에서 상관 구조를 고려하지 못한다. 다른 예로서, 종래의 딥 러닝 MR 이미지 재구성 기술 중 어느 것도(또는 상기에서 설명되는 압축 감지 기술도), MRI 획득을 가속화하기 위해 일반적으로 사용되며 피실험자에 의한 모션에도 또한 강건한 비 데카르트(예를 들면, 방사형, 나선형, 로제트(rosette), 가변 밀도, Lissajou(리사주), 등등) 샘플링 궤적과 함께 작동하지 않는다. 대조적으로, 본 발명자들은: (1) 공간 주파수 도메인 및 이미지 도메인 둘 모두에서 동작하며; (2) 비 데카르트 샘플링 궤적으로부터 MR 이미지의 재구성을 가능하게 하는, 언더샘플링된 공간 주파수 데이터로부터 고품질 MR 이미지를 생성하기 위한 새로운 딥 러닝 기술을 개발하였다. 본원에서 설명되는 바와 같이, 본 발명자들에 의해 개발된 딥 러닝 기술은 종래의 MR 이미지 재구성 기술(압축 감지 및 딥 러닝 기술 둘 모두를 포함함)을 향상시키고 고품질 MR 이미지를 생성하면서 스캔의 지속 기간을 감소시키는 것에 의해 MR 스캐닝 기술을 향상시킨다.
본원에서 설명되는 몇몇 실시형태는, 본 발명자들이 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 종래의 기술에서 인식한 상기에서 설명된 문제 모두를 다룬다. 그러나, 하기에서 설명되는 모든 실시형태가 이들 문제 모두를 다루는 것은 아니며, 몇몇 실시형태는 그들 중 어느 것도 다루지 않을 수도 있다. 그러한 만큼, 본원에서 제공되는 기술의 실시형태는 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 종래 기술의 상기에서 설명된 문제의 모두 또는 그 중 임의의 문제를 다루는 것으로 제한되지는 않는다는 것이 이해되어야 한다.
따라서, 몇몇 실시형태는 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 방법을 제공하는데, 방법은: (1) 공간 주파수 도메인 데이터를 프로세싱하도록 구성되는 제1 신경망 서브 모델; 및 (2) 이미지 도메인 데이터를 프로세싱하도록 구성되는 제2 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 포함한다. 이러한 방식으로, 본원에서 설명되는 기술은 공간 주파수 도메인 및 이미지 도메인 둘 모두에서 동작한다.
몇몇 실시형태에서, 제1 신경망 서브 모델은 제2 신경망 서브 모델 이전에 적용된다. 이러한 방식으로, 공간 주파수 도메인 데이터에서 상관 구조를 활용하기 위해, 공간 주파수 도메인 데이터를 이미지 도메인으로 변환하기 이전에, 공간 주파수 도메인 데이터에 신경망이 적용한다. 따라서, 몇몇 실시형태에서, MR 이미지를 생성하는 것은 다음의 것을 포함할 수도 있다: (1) 출력 MR 공간 주파수 데이터를 획득하기 위해 제1 신경망 서브 모델을 사용하여 입력 MR 공간 주파수 데이터를 프로세싱하는 것; (2) 입력 이미지 도메인 데이터를 획득하기 위해 출력 MR 공간 주파수 데이터를 이미지 도메인으로 변환하는 것; 및 (3) MR 이미지를 획득하기 위해 제2 신경망 서브 모델을 사용하여 입력 이미지 도메인 데이터를 프로세싱하는 것.
몇몇 실시형태에서, 제1 신경망 서브 모델은 하나 이상의 컨볼루션 레이어를 포함할 수도 있다. 몇몇 실시형태에서, 컨볼루션 레이어 중 하나 이상(예를 들면, 모두)은, 공간 주파수 데이터의 다운샘플링을 제공할 수도 있는 1보다 더 큰 스트라이드(stride)를 가질 수도 있다. 몇몇 실시형태에서, 제1 신경망 서브 모델은, 공간 주파수 데이터의 업샘플링을 제공할 수도 있는 하나 이상의 전치된 컨볼루션 레이어(transposed convolutional layer)를 포함할 수도 있다. 추가적으로 또는 대안적으로, 제1 신경망 서브 모델은 적어도 하나의 로컬하게 연결된 레이어(locally-connected layer), 적어도 하나의 데이터 일관성 레이어(data consistency layer), 및/또는 적어도 하나의 복소 공액 대칭 레이어(complex-conjugate symmetry layer)를 포함할 수도 있다. 몇몇 실시형태에서, 로컬하게 연결된 레이어는 MR 공간 주파수 데이터의 각각의 데이터 포인트에 대한 파라미터 값의 각각의 세트를 포함할 수도 있다.
몇몇 실시형태에서, 제1 신경망 서브 모델은 적어도 하나의 컨볼루션 레이어, 로컬하게 연결된 레이어, 및 적어도 하나의 전치된 컨볼루션 레이어를 포함하고, 제1 신경망 서브 모델을 사용하여 입력 MR 공간 주파수 데이터를 프로세싱하는 것은 다음의 것을 포함할 수도 있다: (1) 적어도 하나의 컨볼루션 레이어를 입력 MR 공간 주파수 데이터에 적용하는 것; (2) 적어도 하나의 컨볼루션 레이어의 출력을 사용하여 획득되는 데이터에 로컬하게 연결된 레이어를 적용하는 것; 및 (3) 로컬하게 연결된 레이어의 출력을 사용하여 획득되는 데이터에 적어도 하나의 전치된 컨볼루션 레이어를 적용하는 것. 그러한 실시형태에서, 제1 신경망 서브 모델은, 다운샘플링 경로("U"자의 왼쪽 팔 - 일련의 컨볼루션 레이어(이들 중 하나 이상은 1보다 더 큰 스트라이드를 가짐)을 사용하여 구현됨), 로컬하게 연결된 레이어("U" 자의 저부), 및 업샘플링 경로("U"자의 오른쪽 팔 - 일련의 전치된 컨볼루션 레이어를 사용하여 구현됨)로 구성되는 "U"자 구조체를 갖는 것으로 생각될 수도 있다.
몇몇 실시형태에서, 전치된 컨볼루션 레이어(이것은 때때로 단편적으로 슬라이딩하는 컨볼루션 레이어 또는 디컨볼루션 레이어(deconvolutional layer)로 지칭됨)를 사용하는 것은 업샘플링된 출력에서 체커보드 아티팩트(checkerboard artifact)로 이어질 수도 있다. 이 문제를 대처하기 위해, 몇몇 실시형태에서, 업샘플링은, "서브픽셀" 컨볼루션 레이어로 생각될 수도 있는, 스트라이드 길이에 의해 커널 사이즈가 나누어질 수 있는 컨볼루션 레이어에 의해 수행될 수도 있다. 대안적으로, 다른 실시형태에서, 더 높은 해상도로의 업샘플링은, 그렇게 하기 위해, 순전히 컨볼루션 레이어에 의존하지 않고도 수행될 수도 있다. 예를 들면, 업샘플링은 (예를 들면, 이중 선형 보간(bilinear interpolation) 또는 최근접 이웃 보간(nearest-neighbor interpolation)과 같은 보간을 사용하여) 입력 이미지의 사이즈를 조정하고 컨볼루션 레이어에 의해 이 동작을 따르는 것에 의해 수행될 수도 있다. 그러한 접근법은 전치된 컨볼루션 레이어 대신 또/또는 그와 연계하여 본원에서 설명되는 실시형태 중 임의의 것에서 사용될 수도 있다는 것이 인식되어야 한다.
몇몇 실시형태에서, 제1 신경망 서브 모델은 복소 공액 대칭 레이어를 포함하는 것에 의해 공간 주파수 데이터의 복소 공액 대칭을 추가로 고려한다. 그러한 몇몇 실시형태에서, 복소 공액 대칭 레이어는, 제1 신경망 서브 모델을 사용하여 입력 MR 공간 주파수 데이터를 프로세싱하는 것이 적어도 하나의 전치된 컨볼루션 레이어의 출력을 사용하여 획득되는 데이터에 복소 공액 대칭 레이어를 적용하는 것을 포함하도록 전치된 컨볼루션 레이어의 출력에서 적용될 수도 있다.
몇몇 실시형태에서, 제1 신경망 서브 모델은, 공간 주파수 데이터에 대한 제1 신경망 서브 모델의 적용이 MR 스캐너에 의해 획득되는 공간 주파수 데이터의 값을 변경하지 않는다는 것을 보장하기 위한 데이터 일관성 레이어를 더 포함한다. 이러한 방식에서, 데이터 일관성 레이어는, 언더샘플링된 공간 주파수 데이터 그 자체를 교란시키지 않으면서 언더샘플링된 공간 주파수 데이터에서 누락되는 데이터를 보간할 것을 제1 신경망 서브 모델에게 강제한다. 몇몇 실시형태에서, 데이터 일관성 레이어는 복소 공액 대칭 레이어의 출력에 적용될 수도 있다.
몇몇 실시형태에서, 제1 신경망 서브 모델은 잔차 연결(residual connection)을 포함한다. 몇몇 실시형태에서, 제1 신경망 서브 모델은 하나 이상의 비선형 활성화 레이어를 포함한다. 몇몇 실시형태에서, 제1 신경망 서브 모델은 정류 선형 유닛 활성화 레이어(rectified linear unit activation layer)를 포함한다. 몇몇 실시형태에서, 제1 신경망 서브 모델은 누출 정류 선형 유닛 활성화 레이어(leaky rectified linear unit activation layer)를 포함한다.
본 발명자들은 또한, 종래의 MR 이미지 재구성 기술에서 흔히 행해지는 것처럼, 공간 주파수 데이터를 그리드화하지(gridding) 않고도, 공간 주파수 데이터 샘플로부터 MR 이미지를 직접적으로 생성하는 것에 의해 향상된 MR 이미지 재구성이 달성될 수도 있다는 것을 인식하였다. 그리드화에서, 획득된 공간 주파수 데이터 포인트는 이차원(2D) 데카르트 그리드로 매핑되고(예를 들면, 각각의 그리드 포인트에서의 값은 임계 거리 내의 데이터 포인트로부터 보간됨) 2D 이산 푸리에 변환(DFT)은 그리드 값으로부터 이미지를 재구성하기 위해 사용된다. 그러나, 그러한 로컬 보간은 재구성 오차를 도입한다.
본 발명자들은 비 데카르트 샘플링 궤적을 사용하여 획득되는 데이터로부터 MR 이미지를 재구성하기 위한 다중 딥 러닝 기술을 개발하였다. 기술 중 몇몇은, MRI 시스템에 의해 획득되는 (그리드화되지 않은) 공간 주파수 데이터와의 데이터 일관성을 촉진하기 위해, 신경망 모델의 다수의 블록 부분의 각각에서 불균일 푸리에 변환(예를 들면, 불균일 고속 푸리에 변환(non-uniform fast Fourier transformation; NuFFT))을 사용하는 것을 수반한다. 그러한 데이터 일관성 프로세싱은 다수의 상이한 방식으로 수행될 수도 있지만, 각각은 불균일 푸리에 변환(예를 들면, 본원에서 설명되는 순방향 연산자(A)에 의해 표현됨) 및 입력 MR 공간 주파수 데이터(y)를 사용할 수도 있다. 예를 들면, 몇몇 실시형태에서, 블록 내의 MR 재구성이 MRI 시스템에 의해 획득되는 공간 주파수 데이터와 비교될 수도 있도록, 블록 내의 MR 재구성을 나타내는 이미지 도메인 데이터를 공간 주파수 데이터로 변환하기 위해, 신경망 모델 블록에서 불균일 푸리에 변환이 사용될 수도 있다. 이 접근법을 구현하는 신경망 모델은 불균일 변분 네트워크(non-uniform variational network; NVN)로 칭해질 수도 있으며 도 13a 내지 도 13d를 참조하는 것을 포함하여 본원에서 설명된다.
다른 예로서, 몇몇 실시형태에서, 불균일 푸리에 변환은 공간 주파수 데이터에 적용될 수도 있고, 그 결과는 공간 주파수 데이터로부터 MR 이미지를 재구성하기 위한 신경망 모델의 하나 이상의 신경망 블록의 각각에 대한 입력으로서 제공될 수도 있다. 이들 혁신은 비 데카르트 샘플링 궤적을 사용하여 획득되는 공간 주파수 데이터로부터 MR 이미지를 재구성하는 최첨단 딥 러닝 기술을 제공한다. 이 접근법을 구현하는 신경망 모델은 일반화된 불균일 변분 네트워크(generalized non-uniform variational network; GNVN)로 칭해질 수도 있으며, 도 13a, 도 13d, 및 도 13e를 참조하는 것을 포함하여 본원에서 설명된다.
따라서, 몇몇 실시형태는, 제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 방법을 제공하는데, 여기서 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 푸리에 변환(예를 들면, 불균일 고속 푸리에 변환(NuFFT))를 사용하여 데이터 일관성 프로세싱을 수행하도록 구성된다. MR 공간 주파수 데이터는, 본원에서 그 예가 제공되는 비 데카르트 샘플링 궤적을 사용하여 획득되었을 수도 있다. 몇몇 실시형태에서, 신경망 모델은, 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 각각 구성되는 다수의 블록을 포함할 수도 있다.
몇몇 실시형태에서, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 방법은 다음의 것을 포함한다: 입력 MR 공간 주파수 데이터를 획득하는 것; 불균일 푸리에 변환을 사용하여 입력 MR 공간 주파수 데이터로부터 초기 이미지를 생성하는 것; 및 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하기 위해, 적어도 부분적으로, 제1 신경망 블록을 사용하는 것에 의해 신경망 모델을 초기 이미지에 적용하는 것.
몇몇 실시형태에서, 데이터 일관성 프로세싱은 데이터에 데이터 일관성 블록을 적용하는 것을 수반할 수도 있는데, 이것은 데이터에 불균일 푸리에 변환을 적용하여 데이터를 이미지 도메인으로부터 공간 주파수 도메인으로 변환할 수도 있고, 여기서 데이터는 입력 MR 공간 주파수 데이터에 대해 비교될 수도 있다. 다른 실시형태에서, 데이터 일관성 프로세싱은 입력 MR 공간 주파수 데이터에 딸림 불균일 푸리에 변환(adjoint non-uniform Fourier transformation)을 적용하는 것 및 결과를 하나 이상의 신경망 블록의 각각에 대한 입력으로서(예를 들면, 전체 신경망 모델의 하나 이상의 컨볼루션 신경망 블록의 각각에 대한 입력으로서) 제공하는 것을 수반할 수도 있다.
몇몇 실시형태에서, 제1 신경망 블록은, 그리드화 보간 변환(gridding interpolation transformation), 고속 푸리에 변환(fast Fourier transformation), 및 디아포다이제이션 변환(de-apodization transformation)을 데이터에 적용함으로써, 적어도 부분적으로, 데이터에 대해 불균일 푸리에 변환을 수행하는 것에 의해, 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성된다. 이러한 방식으로, 불균일 푸리에 변환(A)은,
Figure pct00001
이도록 하는 세 개의 변환 - 그리드화 보간 변환(G), 고속 푸리에 변환(Fs), 및 디아포다이제이션 변환(D) - 의 합성으로서 표현되고, 데이터에 A를 적용하는 것은 데이터에 대해 변환(D, Fs 및 G)을 (예를 들면, 도 13c에서 도시되는 바와 같이) 그 순서대로 적용하는 것에 의해 수행될 수도 있다. 그리드화 보간 변환은 초기 MR 입력 데이터를 획득하기 위해 사용되는 비 데카르트 샘플링 궤적에 기초하여 결정될 수도 있다. 몇몇 실시형태에서, 데이터에 그리드화 보간 변환을 적용하는 것은 희소(sparse) 그래픽 프로세싱 유닛(graphical processing unit; GPU) 매트릭스 곱셈을 사용하여 수행될 수도 있다. 이들 구성 변환의 예시적인 실현이 본원에서 설명된다.
몇몇 실시형태에서, 공간 주파수 데이터로부터 MR 이미지를 재구성하기 위한 신경망 모델은 다수의 신경망 블록을 포함할 수도 있는데, 다수의 신경망 블록의 각각은 다음의 것을 포함한다: (1) 데이터 일관성 프로세싱을 수행하도록 구성되는 데이터 일관성 블록; 및 (2) 하나 이상의 컨볼루션 레이어(예를 들면, 하나 이상의 컨볼루션 및/또는 전치 컨볼루션 레이어를 구비한, U-net 구조를 갖는, 등등)를 포함하는 컨볼루션 신경망 블록. 그러한 신경망 모델은, 본원에서, 불균일 변분 네트워크(NVN)으로서 칭해질 수도 있다.
몇몇 실시형태에서, 데이터 일관성 블록은 제1 MR 공간 주파수 데이터를 획득하기 위해 데이터 일관성 블록에 대한 입력으로서 제공되는 제1 이미지에 불균일 푸리에 변환을 적용하도록; 그리고 제1 MR 공간 주파수 데이터와 입력 MR 공간 주파수 데이터 사이의 차이에 딸림 불균일 푸리에 변환을 적용하도록 구성된다. 몇몇 실시형태에서, 불균일 푸리에 변환을 제1 이미지 도메인 데이터에 적용하는 것은 다음의 것을 포함한다: 제1 이미지 도메인 데이터에, 디아포다이제이션 변환, 후속하여, 푸리에 변환, 그리고 후속하여 그리드화 보간 변환을 적용하는 것.
몇몇 실시형태에서, 제1 신경망 블록을 이미지 도메인 데이터에 적용하는데, 적용하는 것은 다음의 것을 포함한다: 제1 출력을 획득하기 위해 데이터 일관성 블록을 이미지 도메인 데이터에 적용하는 것; 제2 출력을 획득하기 위해 복수의 컨볼루션 레이어를 이미지 도메인 데이터에 적용하는 것; 및 제1 및 제2 출력의 선형 조합을 결정하는 것.
몇몇 실시형태에서, 공간 주파수 데이터로부터 MR 이미지를 재구성하기 위한 신경망 모델은 다수의 신경망 블록을 포함할 수도 있는데, 다수의 신경망 블록의 각각은 입력으로서 다음의 것을 수신하도록 구성되는 복수의 컨볼루션 레이어를 포함한다: (1) (예를 들면, MR 데이터의 네트워크 현재 재구성을 나타내는) 이미지 도메인 데이터; 및 (2) 입력 MR 공간 주파수 데이터에 딸림 불균일 푸리에 변환을 적용하는 것에 의해 획득되는 출력. 그러한 신경망 모델은 본원에서 불균일 변분 네트워크(GNVN)로서 칭해질 수도 있다. 몇몇 실시형태에서, 복수의 컨볼루션 레이어는 또한, 입력으로서 다음의 것을 수신하도록 구성된다: 이미지 도메인 데이터에 불균일 푸리에 변환 및 딸림 불균일 푸리에 변환을 적용하는 것에 의해 획득되는 출력.
입력 MR 공간 주파수 데이터로부터, 그러나 그리드화를 사용하지 않으면서, MR 이미지를 재구성하기 위한 본 발명자들에 의해 개발된 다른 접근법은 공간 주파수 도메인에서 적어도 하나의 완전히 연결된 레이어(fully-connected layer)를 사용하는 것이다. 따라서, 몇몇 실시형태에서, 제1 신경망 서브 모델은 스캐너에 의해 획득되는 공간 주파수 데이터 포인트에 직접 적용될 적어도 하나의 완전히 연결된 레이어를 포함할 수도 있다. 데이터 포인트는, 적어도 하나의 완전히 연결된 레이어의 적용 이전에, (그리드화 및/또는 임의의 다른 타입의 로컬 보간을 통해) 그리드로 매핑되지 않는다. 몇몇 실시형태에서, 데이터 포인트는 적어도 하나의 완전히 연결된 레이어의 적용 이전에 불규칙적으로 이격될 수도 있다.
제1 신경망 서브 모델이 완전히 연결된 레이어를 포함하는 몇몇 실시형태에서, 완전히 연결된 레이어는 공간 주파수 도메인 데이터의 실수 부분에 적용되고, 동일한 완전히 연결된 레이어는 공간 주파수 도메인 데이터의 허수 부분에 적용된다. 다시 말하면, 데이터는 채널화되고 동일한 완전히 연결된 레이어가 실수 및 허수 데이터 채널 둘 모두에 적용된다.
대안적으로, 제1 신경망 서브 모델이 완전히 연결된 레이어를 포함하는 몇몇 실시형태에서, 제1 신경망 서브 모델은 공간 주파수 도메인 데이터의 실수 부분에 적용하기 위한 제1 완전히 연결된 레이어 및 공간 주파수 도메인 데이터의 허수 부분에 적용하기 위한 제2 완전히 연결된 레이어를 포함한다. 몇몇 실시형태에서, 제1 및 제2 완전히 연결된 레이어는 적어도 몇몇 파라미터 값(예를 들면, 가중치)을 공유한다. 몇몇 실시형태에서, 제1 및 제2 완전히 연결된 레이어의 출력은 푸리에 변환(예를 들면, 이차원 역 이산 푸리에 변환)을 사용하여 변환되어 이미지 도메인 데이터를 획득한다. 이어서, 이미지 도메인 데이터는 제2 신경망 서브 모델에 대한 입력으로서 제공될 수도 있다.
앞선 단락에서 2D 푸리에 변환의 언급은, 본원에서 설명되는 기술이 이차원 데이터에 대해(예를 들면, 뇌 "슬라이스"의 2D MR 이미지에 대응하는 공간 주파수 도메인 및/또는 이미지 도메인 데이터에 대해) 동작하는 것으로 제한된다는 것을 암시하는 것으로 간주되지 않아야 한다. 몇몇 실시형태에서, 본원에서 설명되는 기술은 3D 데이터(예를 들면, 상이한 각각의 뇌 슬라이스의 2D MR 이미지의 스택에 대응하는 공간 주파수 도메인 및/또는 이미지 도메인 데이터)에 적용될 수도 있다.
몇몇 실시형태에서, 이미지 도메인 데이터를 획득하기 위해 푸리에 변환을 사용하기 이전에 완전히 연결된 레이어(들)의 출력에 배치 정규화(batch normalization)가 적용될 수도 있다.
몇몇 실시형태에서, 제2 신경망 서브 모델은 적어도 하나의 컨볼루션 레이어 및 적어도 하나의 전치된 컨볼루션 레이어를 포함한다. 몇몇 실시형태에서, 제2 신경망 서브 모델은 신경망 레이어의 각각의 세트를 포함하는 일련의 블록을 포함하는데, 복수의 블록의 각각은 적어도 하나의 컨볼루션 레이어 및 적어도 하나의 전치된 컨볼루션 레이어를 포함한다. 몇몇 실시형태에서, 복수의 블록의 각각은 다음의 것을 더 포함한다: 푸리에 변환 레이어, 데이터 일관성 레이어, 및 역 푸리에 변환 레이어.
몇몇 실시형태에서, 언더샘플링된 공간 주파수 데이터로부터 MR 이미지를 생성하기 위해 사용되는 신경망 모델은, 공간 주파수 도메인 손실 함수 및 이미지 도메인 손실 함수를 포함하는 손실 함수를 사용하여 트레이닝될 수도 있다. 몇몇 실시형태에서, 손실 함수는 공간 주파수 도메인 손실 함수 및 이미지 도메인 손실 함수의 가중된 합이다. 몇몇 실시형태에서, 공간 주파수 도메인 손실 함수는 평균 제곱 오차(mean-squared error)를 포함한다.
몇몇 실시형태에서, 언더샘플링된 공간 주파수 데이터로부터 MR 이미지를 생성하기 위해 사용될 수도 있는 본원에서 설명되는 기술은, 제한이 아닌 예로서, 본원에서 그리고 발명의 명칭이 "ELECTROMAGNETIC SHIELDING FOR MAGNETIC RESONANCE IMAGING METHODS AND APPARATUS"인 미국 특허 출원 번호 제2018/0164390호 - 이 가출원은 참조에 의해 그 전체가 본원에 통합됨 - 에서 설명되는 저자계 MR 시스템 중 임의의 것을 비롯한, 저자계 MRI 시스템을 사용하여 수집되는 공간 주파수 데이터에 대한 적용을 위해 적응될 수도 있다.
본원에서 사용되는 바와 같이, "고자계(high-field)"는 임상 환경에서 현재 사용 중인 MRI 시스템, 및 특히, 비록 0.5 T와 1.5 T 사이에서 동작하는 임상 시스템이 종종 "고자계"로서 또한 종종 특성 묘사되기는 하지만, 1.5 T 이상의 메인 자기장(즉, B0 자계)에서 동작하는 MRI 시스템을 가리킨다. 대략 0.2 T와 0.5 T 사이의 자계 강도는 "중간 자계"로서 특성 묘사되었으며, 고자계 체계(regime)에서의 자계 강도가 계속 증가됨에 따라, 0.5 T와 1 T 사이의 범위 내의 자계 강도도 또한 중간 자계로서 특성 묘사되었다. 대조적으로, "저자계"는, 고자계 체계의 하이 엔드에서의 증가된 자계 강도의 결과로서 비록 0.2 T와 대략 0.3 T 사이의 B0 자계를 갖는 시스템이 저자계로서 종종 특성 묘사되기는 하지만, 대략 약 0.2 T 이하의 B0 자계에서 동작하는 MRI 시스템을 일반적으로 가리킨다. 저자계 체계 내에서, 0.1 T 미만의 B0 자계에서 동작하는 저자계 MRI 시스템은, 본원에서, "매우 낮은 자계(very low-field)"로 지칭되며, 10 mT 미만의 B0 자계에서 동작하는 저자계 MRI 시스템은 본원에서 "초저자계"로 지칭된다.
저자계 MRI 시스템에 의해 획득되는 (예를 들면, 언더샘플링된) 공간 주파수 데이터로부터 MR 이미지를 생성하도록 본원에서 설명되는 신경망 모델을 트레이닝시키기 위해, 저자계 MRI 시스템을 사용하여 획득되는 트레이닝 데이터가 필요로 된다. 그러나, 시장에는 저자계 MRI 스캐너가 거의 없으며 그러한 신경망 모델을 트레이닝시키기 위해 이용 가능한 저자계 MRI 데이터가 거의 없다. 이러한 한계를 다루기 위해, 본 발명자들은 저자계 MRI 시스템으로부터 획득되는 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델을 트레이닝시키기 위한 신규의 2 스테이지 트레이닝 기술을 개발하였다. 제1 스테이지에서, 신경망 모델(예를 들면, 제1 및 제2 신경망 서브 모델을 갖는 본원에서 설명되는 신경망 모델 중 임의의 것)은 "고자계" 또는 "중자계" MR 시스템을 사용하여 획득되는 이미지의 세트를 사용하여 트레이닝되고, 후속하여, 저자계 MRI 시스템을 사용하여 획득되는 이미지의 세트를 사용하는 것에 의해 적응된다.
공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 방법 및 장치에 관련되는 다양한 개념, 및 그 방법 및 장치의 실시형태의 더욱 상세한 설명이 하기에서 이어진다. 본원에서 설명되는 다양한 양태는 다양한 방식 중 임의의 것으로 구현될 수도 있다는 것이 인식되어야 한다. 특정한 구현의 예가 단지 예시적인 목적만을 위해 본원에서 제공된다. 또한, 하기의 실시형태에서 설명되는 다양한 양태는 단독으로 또는 임의의 조합으로 사용될 수도 있으며, 본원에서 명시적으로 설명되는 조합으로 제한되지는 않는다.
도 1a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 예시적인 신경망 모델의 아키텍쳐를 예시한다. 도 1a에서 도시되는 바와 같이, 신경망 모델(100)은, 공간 주파수 도메인 데이터를 프로세싱하도록 구성되는 제1 신경망 서브 모델(102), 공간 주파수 도메인 데이터를 이미지 도메인 데이터로 변환하도록 구성되는 역 고속 푸리에 변환(inverse fast Fourier transform; IFFT) 레이어(112), 및 이미지 도메인 데이터를 프로세싱하도록 구성되는 제2 신경망 서브 모델(120)을 포함한다. 초기 공간 주파수 MR 데이터가 MR 스캐너를 사용하여(예를 들면, 본원에서 설명되는 저자계 MR 스캐너 중 임의의 것 또는 임의의 다른 적절한 타입의 MR 스캐너를 사용하여) 획득된 이후, 출력 MR 공간 주파수 데이터(111)를 획득하기 위해 초기 공간 주파수 MR 데이터는 제1 신경망 서브 모델(102)을 사용하여 프로세싱될 수도 있다. 그 다음, MR 공간 주파수 데이터(111)는 입력 이미지 도메인 데이터(113)를 획득하기 위해 IFFT 레이어(112)에 의해 변환되는데, 이것은 제2 신경망 서브 모델(120)에 의해 프로세싱되어 MR 이미지(127)를 획득한다.
도 1a에서 도시되는 바와 같이, 제1 신경망 서브 모델(102)은, 하나 이상의 컨볼루션 레이어(104), 로컬하게 연결된 레이어(106), 하나 이상의 전치된 컨볼루션 레이어(108), 잔차 연결(109), 복소 공액 대칭 레이어(105) 및 데이터 일관성 레이어(110)를 포함한다.
제1 신경망 서브 모델(102)이 초기 MR 공간 주파수 데이터에 적용되는 경우, 초기 MR 공간 주파수 데이터는 먼저 하나 이상의 컨볼루션 레이어(104)에 의해, 그 다음, 로컬하게 연결된 레이어(106)에 의해, 그 다음, 전치된 컨볼루션 레이어(108)에 의해 프로세싱된다. 몇몇 실시형태에서, 컨볼루션 레이어(들)(104)는 데이터를 다운샘플링하기 위해 사용될 수도 있고, 전치된 컨볼루션 레이어는 데이터를 업샘플링하기 위해 사용될 수도 있다. 그러한 실시형태에서, 이들 세 개의 프로세싱 단계는 "U"자 형상의 신경망 아키텍쳐를 제공하는 것으로 간주될 수도 있는데, 여기서 컨볼루션 레이어(들)(104)는 다운샘플링 경로("U"자의 왼쪽 팔)를 제공하고, 로컬하게 연결된 레이어(106)는 "U"자의 저부이고, 전치된 컨볼루션 레이어(108)는 업샘플링 경로("U"자의 오른쪽 팔)를 제공한다.
도 1a의 예시된 실시형태에서, 컨볼루션 레이어(들)(104)는 m0 개의 컨볼루션 레이어를 포함한다. 몇몇 실시형태에서, m0은 1 개, 2 개, 3 개, 4 개, 5 개 또는 1 개와 20 개 사이의 레이어 중 임의의 수의 레이어일 수도 있다. 몇몇 실시형태에서, m0 개의 컨볼루션 레이어 중 하나 이상은 하나 이상의 스트라이드를 가질 수도 있다. 몇몇 실시형태에서, m0 개의 컨볼루션 레이어 중 하나 이상은 1보다 더 큰 스트라이드를 가지는데, 이것은 그러한 레이어에 의한 프로세싱을 통해 데이터를 다운샘플링하는 것 또는 풀링하는(pooling) 것을 제공한다.
도 1a의 예시된 실시형태에서, 전치된 컨볼루션 레이어(들)(108)는 m0 개의 전치된 컨볼루션 레이어를 포함한다. 도 1a의 예시된 실시형태에서, 컨볼루션 레이어(들)(104)의 수 및 전치된 컨볼루션 레이어(들)(108)의 수는 동일하지만, 그러나 다른 실시형태에서 컨볼루션 및 전치된 컨볼루션 레이어의 수는 상이할 수도 있다.
몇몇 실시형태에서, 로컬하게 연결된 레이어(106)는 K 공간과의 로컬 상관(local correlation)을 활용하기 위해 제공된다. 몇몇 실시형태에서, 로컬하게 연결된 레이어(106)는 컨볼루션 레이어가 아니지만(이 경우 가중치의 동일한 세트가 데이터의 상이한 부분에 걸쳐 적용됨), 그러나 대신 공간 주파수 도메인 데이터 내의 각각의 데이터 포인트에 대한 가중치의 각각의 세트를 갖는다. 도 1a의 예시된 실시형태에서, 로컬하게 연결된 레이어는 "U"자 구조체의 저부에서 다운샘플링 경로와 업샘플링 경로 사이에서 배치되고, 그 결과, (데이터의 해상도가 이 지점에서 가장 낮기 때문에) 그것이 더 적은 파라미터를 가질 것인데, 이것은 트레이닝 동안 학습되어야 하는 파라미터의 수를 감소시킨다.
몇몇 실시형태에서, 로컬하게 연결된 레이어는 공간 주파수 도메인에서 에너지 밀도 변동(예를 들면, 공간 주파수 도메인의 중심 영역은 주변 영역보다 더 높은 에너지 밀도를 가짐)을 고려할 수도 있다. 도 1a의 예시적인 실시형태에서, 로컬하게 연결된 레이어(106)는 공간 주파수 도메인에서 동작하고 공간 주파수 도메인에서 (언더샘플링으로 인한) 누락 데이터를 직접적으로 보간하도록 작동한다. 실제로, 완전히 연결된 레이어보다 훨씬 더 적은 파라미터를 가지지만, 그러나 컨볼루션 레이어보다 더 많은 파라미터를 갖는 로컬하게 연결된 레이어는, 공간 주파수 도메인 데이터의 로컬 컨텍스트에 맞는 상관(local contextual correlation)을 사용하여 누락 데이터 포인트를 보간하는 능력과 트레이닝 시간 사이에서 양호한 밸런스를 제공한다.
공간 주파수 도메인에서 에너지 밀도 변화를 고려하기 위해 로컬하게 연결된 레이어를 사용하는 것은 본 발명자들에 의해 개발되는 신규의 접근법이다는 것이 인식되어야 한다. 이전 접근법은 공간 주파수 도메인을 세 개의 정사각형 영역으로 분할하고, 세 개의 영역의 각각 내의 데이터는 컨볼루션 레이어의 스택으로 구성되는 별개의 모델(따라서 세 개의 상이한 정사각형 영역에 대한 세 개의 별개의 모델)에 입력되었다. 대조적으로, 로컬하게 연결된 레이어를 사용하는 것은 k 공간을 세 개의 정사각형 영역으로 분할하는 것을 수반하지 않으며, 대신, 각각의 부호 픽셀에 대한 독립적인 가중치를 할당하는 것을 수반하는데, 이것은 이전 접근법보다 더 일반적이고 유연한 방식으로 다양한 에너지 밀도를 고려하고, 결과적으로 성능 향상으로 나타난다.
도 3은 로컬하게 연결된 레이어를 구비한 신경망 모델을 사용하여 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하는 것에 의해 획득되는 성능 향상을 예시한다. 도 3의 중간 열(column)에서 알 수 있는 바와 같이, 로컬하게 연결된 레이어가 없는 컨볼루션 레이어 모델로부터 생성되는 MR 이미지는 이미지 품질을 저하시키는 아티팩트(인공 줄무늬)를 생성한다. 대조적으로, 도 3의 우측 열에서 도시되는 바와 같이, 로컬하게 연결된 레이어(예를 들면, 로컬하게 연결된 레이어(106))가 있는 서브 모델을 갖는 신경망 모델을 사용하는 것은 그러한 아티팩트를 제거하고 평균 제곱 오차의 관점에서 원본 이미지(도 3의 좌측 열)에 더 가까운 이미지를 생성한다.
다시 도 1a로 돌아가면, 데이터가 레이어(104, 106, 및 108)에 의해 프로세싱된 이후, 데이터는, 그 출력이 데이터 일관성 레이어(110)에 대한 입력으로 제공되는, k 공간 대칭 레이어로 또한 칭해지는 복소 공액 대칭 레이어(105)로 제공된다. 그 다음, 또한 제1 신경망 서브 모델의 출력인 데이터 일관성 레이어(110)의 출력은 IFFT 레이어(112)에 대한 입력으로서 제공된다.
몇몇 실시형태에서, 복소 공액 대칭 레이어(105)는 공간 주파수 도메인에서의 복소 공액 대칭에 기초하여 보간을 수행한다(그에 의해 S(x, y) = S'(-x, -y)인데, (x, y)는 데이터 포인트의 좌표이고 S'은 S의 복소 공액을 나타냄) 몇몇 실시형태에서, 공간 주파수 도메인 데이터에 복소 공액 대칭 레이어(105)를 적용하는 것은 현존하는 샘플로부터 임의의 누락 포인트를 대칭적으로 매핑하는 것을 수반한다. 예를 들면, 포인트 (x, y)에 대해 값이 획득되었지만, 그러나 포인트 (-x, -y)에 대해 대응하는 값이 획득되지 않은 경우, 포인트 (x, y)에 대한 획득된 값의 복소 공액으로서 포인트 (-x, -y)에 대한 값을 제공하기 위해 복소 공액 대칭 레이어가 사용될 수도 있다. 복소 공액 대칭 레이어(105)를 사용하는 것은, 도 4의 우측 패널에서 예시되는 바와 같이, 신경망 모델 트레이닝의 수렴을 가속화하고 신경망 모델에 의해 생성되는 이미지의 품질이 향상시킨다. 실제로 도 4의 우측 패널에서 도시되는 바와 같이, 복소 공액 대칭 레이어를 사용하는 것은, 향상된 모델 성능을 획득하면서 신경망 모델을 트레이닝시킬 때 더 적은 트레이닝 에포크(training epoch)가 사용되는 것을 허용하는데, 향상된 모델 성능은, 이 예시적인 예에서는, 모델 재구성 이미지와 완전히 샘플링된 이미지 사이의 이미지의 중심 영역에서 상대적 픽셀 강도 변동에 의해 측정된다.
몇몇 실시형태에서, 데이터 일관성 레이어(110)는, 공간 주파수 데이터에 대한 제1 신경망 서브 모델의 적용이 MR 스캐너에 의해 획득되는 공간 주파수 데이터의 값을 변경하지 않는다는 것을 보장하기 위해 사용될 수도 있다. 임의의 그러한 값이 제1 신경망 서브 모델 내의 다른 레이어에 의해(예를 들면, 컨볼루션 레이어(들)(104), 로컬하게 연결된 레이어(106), 및 전치된 컨볼루션 레이어(들)(108)에 의해) 수정된 경우, 수정된 값이 원래의 값에 의해 대체된다. 이러한 방식에서, 데이터 일관성 레이어는, 언더샘플링된 공간 주파수 데이터 그 자체를 교란시키지 않으면서 언더샘플링된 공간 주파수 데이터에서 누락되는 데이터를 보간할 것을 제1 신경망 서브 모델에 강제한다.
몇몇 실시형태에서, 신경망 레이어 중 임의의 것은, 비선형적일 수도 있는 활성화 함수를 포함할 수도 있다. 몇몇 실시형태에서, 활성화 함수는 정류 선형 유닛(rectified linear unit; ReLU) 활성화 함수, 누설 ReLU 활성화 함수, 쌍곡선 탄젠트, 시그모이드(sigmoid), 또는 임의의 다른 적절한 활성화 함수일 수도 있는데, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다. 예를 들면, 컨볼루션 레이어(들)(104) 중 하나 이상은 활성화 함수를 포함할 수도 있다.
공간 주파수 데이터가 데이터 일관성 레이어(110)에 의해 프로세싱된 이후, 데이터는 IFFT 레이어(112)에 대한 입력으로서 제공되는데, IFFT 레이어(112)는 공간 주파수 데이터를 이미지 도메인으로 변환한다 - 출력은 초기 이미지 도메인 데이터(113)이다. 변환은, 몇몇 실시형태에서, 고속 푸리에 변환을 사용하여 구현될 수도 있는 이산 푸리에 변환을 사용하여 수행될 수도 있다. IFFT 레이어(112)에 의해 출력되는 초기 이미지 도메인 데이터(113)는 제2 신경망 서브 모델(120)에 대한 입력으로서 제공된다.
도 1a에서 도시되는 바와 같이, 제2 신경망 서브 모델(120)은 다수의 컨볼루션 블록(122, 124, 및 126)을 포함한다. 컨볼루션 블록(122)은 하나 이상의 컨볼루션 레이어(128), FFT 레이어(130), 복소 공액 대칭 레이어(105), 데이터 일관성 레이어, IFFT 레이어(134) 및 잔차 연결을 포함할 수도 있다. 블록(122, 124, 및 126)의 각각은 동일한 신경망 아키텍쳐를 가질 수도 있지만(예를 들면, 이들 블록은 동일한 시퀀스로 배열되는 동일한 타입의 레이어를 가질 수도 있음), 레이어에 대한 다양한 파라미터 값은 변할 수도 있다(예를 들면, 블록(122)에서의 컨볼루션 레이어의 가중치는 블록(124)의 것과는 상이할 수도 있음). 도 1a의 예시적인 실시형태에서, 제2 신경망 서브 모델(120)이 세 개의 컨볼루션 블록을 포함하지만, 이것은 예인데, 다른 실시형태에서 제2 신경망 서브 모델(120)이 임의의 적절한 수의 컨볼루션 블록(예를 들면, 1 개, 2 개, 4 개, 5 개, 6 개, 7 개, 8 개, 9 개, 10 개, 11 개, 12 개, 13 개, 14 개 또는 15 개)을 포함할 수도 있기 때문이며, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다.
IFFT 블록(112)의 출력에서 획득되는 초기 이미지 도메인 데이터(113)에 제2 신경망 서브 모델(120)이 적용되는 경우, 컨볼루션 블록(122, 124, 및 126)은 그 순서대로 초기 이미지 도메인 데이터(113)에 적용된다. 컨볼루션 블록(122)의 적용은 다음에 설명되며, 컨볼루션 블록(124 및 126)은, 그들에게 입력으로서 제공되는 이미지 도메인 데이터에 유사한 방식으로 적용될 수도 있다는 것이 인식되어야 한다.
도 1a에서 도시되는 바와 같이, 컨볼루션 블록(122)은 적어도 하나의 컨볼루션 레이어(128), 후속되는 FFT 레이어(130), 복소 공액 대칭 레이어(105), 데이터 일관성 레이어(132), 및 IFFT 레이어(134)를 포함한다.
몇몇 실시형태에서, 컨볼루션 블록(128)은 이미지를 다운샘플링하기 위한 1보다 더 큰(예를 들면, 2 이상) 스트라이드를 갖는 하나 이상의 컨볼루션 레이어를 포함하고, 이미지를 그 원래의 사이즈로 업샘플링하기 위한, 1보다 더 큰(예를 들면, 2 이상) 스트라이드를 갖는 하나 이상의 전치된 컨볼루션 레이어가 후속된다. 업샘플링이 후속되는 다운샘플링의 이 구조는 동작이 상이한 해상도에서 수행되는 것을 허용하는데, 이것은 신경망 모델이 로컬 및 글로벌 피쳐 둘 모두를 포획하는 것을 돕는다. 결과적으로, 이것은 공간 주파수 도메인에서 언더샘플링으로부터 유래할 수도 있는 이미지 아티팩트를 제거하는 것을 돕는다. 이 예시적인 실시형태에서, 컨볼루션 레이어는, 상당한 양의 메모리를 소비할 수도 있는 스킵 연결을 포함하지 않는다. 예를 들면, 몇몇 실시형태에서, 컨볼루션 블록(128)은, 필터의 수가 각각 16 개, 32 개, 64 개, 32 개, 및 2 개인 다섯 개의 레이어를 갖는다. 몇몇 실시형태에서, 필터의 각각은 누설 ReLU 활성화를 갖는 3×3 필터일 수도 있지만, 다른 실시형태에서 상이한 사이즈 필터 및/또는 상이한 활성화 함수가 사용될 수도 있다.
가변 해상도 레이어(variable resolution layer)의 영향은 도 4의 좌측 패널에서 도시된다. 실제로 도 4의 좌측 패널에서 도시되는 바와 같이, 가변 해상도 레이어를 사용하는 것은, 향상된 모델 성능을 획득하면서 신경망 모델을 트레이닝시킬 때 더 적은 트레이닝 에포크가 사용되는 것을 허용하는데, 향상된 모델 성능은, 이 예시적인 예에서는, 모델 재구성 이미지와 완전히 샘플링된 이미지 사이의 이미지의 중심 영역에서 상대적 픽셀 강도 변동에 의해 측정된다.
도 1a의 예시적인 실시형태에서 도시되는 바와 같이, 컨볼루션 블록(122)의 컨볼루션 레이어가 적용된 이후, 복소 공액 대칭 및 데이터 일관성 블록이 적용될 수도 있고 - 그 이후 데이터는 이미지 도메인으로 다시 변환됨 - , 하나 이상의 다른 컨볼루션 블록이 적용될 수도 있도록, 데이터는 공간 주파수 도메인으로 변환될 수도 있다.
도 1a에서 예시되는 실시형태에서, 컨볼루션 블록(122, 124, 및 126)의 각각은 복소 공액 대칭 및 데이터 일관성 블록을 포함한다. 그러나, 다른 실시형태에서, 제2 신경망 서브 모델(120)의 컨볼루션 블록 중 하나 이상(또는 모두)은 이들 블록 중 어느 하나 또는 둘 모두를 가지지 않을 수도 있는데, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다.
도 1b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델(140)의 아키텍쳐를 예시한다. 신경망 모델(140)은 (예를 들면, 로컬하게 연결된 레이어(106)를 갖는 모델(100)의 제1 신경망 서브 모델(102)과는 대조적으로) 로컬하게 연결된 레이어 대신 컨볼루션 레이어(146)를 갖는 제1 신경망 서브 모델(142)을 갖는다. 컨볼루션 레이어(142)가 로컬하게 연결된 레이어(106)보다 트레이닝 동안 학습할 더 적은 파라미터를 가지기 때문에, 그러한 실시형태는 유리할 수도 있다. 다른 양태에서, 신경망 모델(140 및 100)은 동일하다.
도 1c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 또 다른 예시적인 신경망 모델(150)의 아키텍쳐를 예시한다. 신경망 모델(150)은, 컨볼루션 블록(154) 및 전치된 컨볼루션 블록(158)을 갖는 제1 신경망 서브 모델(152)을 갖는다. 그러나, 신경망 모델(100)의 대응하는 컨볼루션 블록(104) 및 전치된 컨볼루션 블록(108)과는 달리, 컨볼루션 블록(154 및 158)은 1의 스트라이드를 사용하는 컨볼루션(및 전치된 컨볼루션) 레이어를 포함한다. 결과적으로, 제1 신경망 서브 모델(152)은 업샘플링 또는 다운샘플링을 수행하지 않는다. 그러한 아키텍쳐는 이용 가능한 큰 볼륨의 트레이닝 데이터가 존재하는 경우 유리할 수도 있다.
도 2a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 신경망 모델을 사용하여 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 예시적인 프로세스(200)의 플로우차트이다. 프로세스(200)는 도 1a 내지 도 1c 및 도 5a 내지 도 5c를 참조하여 설명되는 신경망 아키텍쳐 중 임의의 것을 포함하는 본원에서 설명되는 임의의 적절한 신경망 아키텍쳐를 사용하여 구현될 수도 있다. 프로세스(200)는 임의의 적절한 컴퓨팅 디바이스(들)를 사용하여 실행될 수도 있는데, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다. 예를 들면, 몇몇 실시형태에서, 프로세스(200)는 MR 이미징 시스템에 또는 그 일부에 통신 가능하게 커플링되는 컴퓨팅 디바이스에 의해 실행될 수도 있다.
프로세스(200)는 공간 주파수 도메인 데이터가 획득되는 액트(act; 202)에서 시작된다. 몇몇 실시형태에서, 공간 주파수 도메인 데이터는 본원에서 설명되는 MR 스캐너 중 임의의 것을 포함하는 MR 스캐너를 사용하는 것에 의해 획득될 수도 있다. 다른 실시형태에서, 공간 주파수 도메인 데이터는 프로세스(200)의 실행 이전에 MR 스캐너에 의해 획득되어 저장되었을 수도 있고, 저장된 데이터는 액트(202) 동안 액세스될 수도 있다.
몇몇 실시형태에서, 공간 주파수 도메인 데이터는 나이퀴스트 샘플링 기준에 비해 언더샘플링될 수도 있다. 예를 들면, 몇몇 실시형태에서, 공간 주파수 도메인 데이터는, 나이퀴스트 기준에 의해 요구되는 데이터 샘플의 수의 90 % 미만(또는 80 % 미만, 또는 75 % 미만, 또는 70 % 미만, 또는 65 % 미만, 또는 60 % 미만, 또는 55 % 미만, 또는 50 % 미만, 또는 40 % 미만, 또는 35 % 미만, 또는 25와 100 사이의 임의의 백분율)을 포함할 수도 있다.
액트(202)에서 획득되는 공간 주파수 도메인 데이터는 임의의 적절한 펄스 시퀀스 및 샘플링 스킴(scheme)을 사용하여 MR 스캐너에 의해 획득될 수도 있다(또는 획득되었을 수도 있다). 예를 들면, 몇몇 실시형태에서, 공간 주파수 도메인 데이터는 데카르트 샘플링 스킴을 사용하여 수집될 수도 있다. 다른 실시형태에서, 공간 주파수 도메인 데이터는 비 데카르트 샘플링 스킴(예를 들면, 방사형, 나선형, 로제트, 리사주, 등등)을 사용하여 수집될 수도 있다.
다음으로, 프로세스(200)는 액트(204)로 진행하는데, 여기서 액트(202)에서 획득되는 MR 공간 주파수 데이터는 제1 신경망 서브 모델(예를 들면, 도 1a를 참조하여 설명되는 서브 모델(102), 서브 모델(142), 도 1b를 참조하여 설명되는 서브 모델(142), 도 1c를 참조하여 설명되는 서브 모델(152), 도 5a를 참조하여 설명되는 서브 모델(502), 도 5b를 참조하여 설명되는 서브 모델(522), 및 도 5c를 참조하여 설명되는 서브 모델(532))을 사용하여 프로세싱된다. 액트(204)가 어떻게 구현될 수도 있는지의 예시적인 예가 도 2b 및 도 2c를 참조하여 설명된다.
다음으로, 프로세스(200)는 액트(206)로 진행하는데, 여기서, 액트(204)의 완료시 획득되는 공간 주파수 도메인 데이터는 (예를 들면, 푸리에 변환을 사용하여) 변환되어 초기 이미지 도메인 데이터를 획득한다.
다음으로, 프로세스(200)는 액트(208)로 진행하는데, 여기서, 액트(206)의 완료시 획득되는 초기 이미지 도메인 데이터는 제2 신경망 서브 모델(예를 들면, 도 1a를 참조하여 설명되는 서브 모델(120), 도 5a를 참조하여 설명되는 서브 모델(510))을 사용하여 프로세싱되어 MR 이미지를 생성한다. 액트(208)가 어떻게 구현될 수도 있는지의 예시적인 예가 도 2d를 참조하여 설명된다.
도 2b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 출력 공간 주파수 데이터를 획득하기 위해, 예시적인 프로세스(200)의 일부일 수도 있는, 공간 주파수 도메인에서 MR 공간 주파수 데이터를 프로세싱하기 위한 예시적인 프로세스의 플로우차트이다. 특히, 도 2b는 프로세스(200)의 액트(204)를 구현하기 위한 예시적인 실시형태를 도시한다.
도 2b에서 도시되는 바와 같이, 액트(204)는 액트(212-218)을 사용하여 구현될 수도 있다. 액트(212)에서, 하나 이상의 컨볼루션 레이어가 액트(202)에서 획득되는 공간 주파수 도메인 데이터에 적용될 수도 있다. 몇몇 실시형태에서, 액트(212)에서 적용되는 컨볼루션 레이어(들)는 도 1a를 참조하여 설명되는 블록(104) 또는 도 1c를 참조하여 설명되는 블록(154)의 일부일 수도 있다. 몇몇 실시형태에서, 컨볼루션 레이어(들)는 1-20 개의 레이어의 범위 내의 임의의 수의 레이어를 포함하는 임의의 적절한 수의 레이어를 포함할 수도 있다. 몇몇 실시형태에서, 컨볼루션 레이어(들)는 데이터를 다운샘플링하기 위해 1보다 더 큰(예를 들면, 2) 스트라이드를 사용하여 구현될 수도 있다. 다른 실시형태에서, 컨볼루션 레이어(들)는 1의 스트라이드를 사용하여 구현될 수도 있다.
다음으로, 액트(214)에서, 액트(212)의 완료시 획득되는 공간 주파수 도메인 데이터에 로컬하게 연결된 레이어가 적용된다. 몇몇 실시형태에서, 로컬하게 연결된 레이어는 도 1a를 참조하여 설명되는 로컬하게 연결된 레이어(106)일 수도 있다. 몇몇 실시형태에서, 로컬하게 연결된 레이어는 공간 주파수 도메인 데이터에서의 각각의 데이터 포인트에 대한 가중치의 각각의 세트를 갖는다.
다음으로, 액트(216)에서, 하나 이상의 전치된 컨볼루션 레이어가 액트(214)의 완료시 획득되는 공간 주파수 도메인 데이터에 적용된다. 몇몇 실시형태에서, 전치된 컨볼루션 레이어(들)는 도 1a를 참조하여 설명되는 블록(108) 또는 도 1c를 참조하여 설명되는 블록(158)의 전치된 컨볼루션 레이어(들) 부분일 수도 있다. 몇몇 실시형태에서, 전치된 컨볼루션 레이어(들)는 데이터를 업샘플링할 수도 있다.
다음으로, 액트(218)에서, 복소 공액 대칭 레이어가 액트(216)의 완료시 출력되는 공간 주파수 도메인 데이터에 적용된다. 몇몇 실시형태에서, 복소 공액 대칭 레이어는 도 1a를 참조하여 설명되는 복소 공액 대칭 레이어(105)일 수도 있다. 본원에서 설명되는 바와 같이, 공간 주파수 도메인 데이터에 복소 공액 대칭 레이어(105)를 적용하는 것은 현존하는 샘플로부터 임의의 누락 포인트를 대칭적으로 매핑하는 것을 수반할 수도 있다. 예를 들면, 포인트 (x, y)에 대해 값이 획득되었지만, 그러나 포인트 (-x, -y)에 대해 대응하는 값이 획득되지 않은 경우, 포인트 (x, y)에 대한 획득된 값의 복소 공액으로서 포인트 (-x, -y)에 대한 값을 제공하기 위해 복소 공액 대칭 레이어가 사용될 수도 있다.
다음으로, 액트(220)에서, 데이터 일관성 레이어가 액트(218)의 완료시 출력되는 공간 주파수 도메인 데이터에 적용된다. 몇몇 실시형태에서, 데이터 일관성 레이어는 도 1a를 참조하여 설명되는 데이터 일관성 레이어(110)일 수도 있다. 본원에서 설명되는 바와 같이, 데이터 일관성 레이어는, 공간 주파수 데이터에 대한 제1 신경망 서브 모델의 적용이 MR 스캐너에 의해 획득되는 공간 주파수 데이터의 값을 변경하지 않는다는 것을 보장하기 위해 사용될 수도 있다.
도 2c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, MR 이미지를 생성하기 위해, 예시적인 프로세스(200)의 일부일 수도 있는, 공간 주파수 데이터를 프로세싱하기 위한 예시적인 프로세스의 플로우차트이다. 특히, 도 2c는 프로세스(200)의 액트(204)을 구현하기 위한 다른 예시적인 실시형태를 도시한다.
도 2c에서 도시되는 바와 같이, 액트(204)는 액트(222 및 224)를 사용하여 구현될 수도 있다. 액트(222)에서, 하나 이상의 완전히 연결된 레이어가 액트(202)에서 획득되는 공간 주파수 데이터에 적용된다. 몇몇 실시형태에서, 액트(222)에서 적용되는 완전히 연결된 레이어(들)는 도 5a를 참조하여 설명되는 완전히 연결된 레이어(502)일 수도 있다. 본원에서 설명되는 바와 같이, 완전히 연결된 레이어는 데이터로부터의 비 데카르트 좌표로부터 데카르트 좌표로의 학습된 매핑을 나타내는데, 이것은 MR 이미지가, 종래의 그리드화 또는 다른 보간 스킴에 의존하지 않으면서, 데이터에 종속되지 않는 비 데카르트 샘플로부터 재구성되는 것을 허용한다.
몇몇 실시형태에서, 액트(222)에서, 액트(202)에서 획득되는 공간 주파수 데이터는 실수 및 허수 부분으로 분할되고 동일한 완전히 연결된 레이어는 두 개의 부분의 각각에 적용된다. 동등하게, 이들 데이터를, 실수 및 허수 채널에 대한 공유된 가중치를 갖는 완전히 연결된 레이어에 제공되는 것으로 간주할 수도 있다. 그러한 가중치 공유 스킴은 동일한 보간 동작이 실수 및 허수 채널 둘 모두에 적용된다는 것을 보장하는데, 이것은 프로세스 전반에 걸쳐 기저의 공간 주파수 도메인 대칭을 유지한다. 또한, 실수 부분과 허수 부분 사이에서 가중치를 공유하는 것은, 모델에서의 트레이닝 가능한 파라미터의 수를 2 배만큼 감소시킨다. 그러나, 다른 실시형태에서, 공간 주파수 데이터는 실수 채널과 허수 채널 사이에서 가중치를 부분적으로 공유하는 또는 가중치를 공유하지 않는 완전히 연결된 레이어에 공급될 수도 있다.
다음으로, 액트(224)에서, 후속하는 레이어가 실질적으로 0 평균 및 실질적인 단위(또는 임의의 다른 적절한 상수) 분산을 갖는 입력을 수신하도록 배치 정규화가 적용된다.
도 2c의 프로세스는 예시적이다는 것 및 변동이 있다는 것이 인식되어야 한다. 예를 들면, 몇몇 실시형태에서, 배치 정규화는 생략될 수도 있다.
도 2d는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, MR 이미지를 생성하기 위해, 예시적인 프로세스(200)의 일부일 수도 있는, 이미지 도메인 데이터를 프로세싱하기 위한 다른 예시적인 프로세스의 플로우차트이다. 특히, 도 2d는 프로세스(200)의 액트(208)를 구현하기 위한 예시적인 실시형태를 도시한다.
도 2d에서 도시되는 바와 같이, 액트(208)는 액트(230-236) 및 결정 블록(238)을 사용하여 구현될 수도 있다. 특히, 액트(230)에서, 공간 주파수 도메인 데이터를 이미지 도메인으로 변환하는 것에 의해 액트(206)에서 획득되는 이미지 도메인 데이터에 하나 이상의 컨볼루션 레이어가 적용된다. 몇몇 실시형태에서, 액트(230)에서 적용되는 컨볼루션 레이어(들)는 도 1a에서 도시되는 블록(128) 또는 도 5a에서 도시되는 블록(512)의 일부일 수도 있다. 몇몇 실시형태에서, 컨볼루션 레이어(들)는 1-20 개의 레이어의 범위 내의 임의의 수의 레이어를 포함하는 임의의 적절한 수의 레이어를 포함할 수도 있다. 몇몇 실시형태에서, 컨볼루션 레이어(들)는 데이터를 다운샘플링하기 위해 1보다 더 큰(예를 들면, 2) 스트라이드를 사용하여 구현될 수도 있다. 다른 실시형태에서, 컨볼루션 레이어(들)는 1의 스트라이드를 사용하여 구현될 수도 있다.
다음으로, 액트(232)에서, 액트(230)의 완료시 출력되는 이미지 도메인 데이터에 하나 이상의 전치된 컨볼루션 레이어가 적용될 수도 있다. 몇몇 실시형태에서, 액트(232)에서 적용되는 전치된 컨볼루션 레이어(들)는 도 1a에서 도시되는 전치 블록(128) 또는 도 5a에서 도시되는 블록(512)의 일부일 수도 있다. 몇몇 실시형태에서, 컨볼루션 레이어(들)는 1-20 개의 레이어의 범위 내의 임의의 수의 레이어를 포함하는 임의의 적절한 수의 레이어를 포함할 수도 있다. 몇몇 실시형태에서, 전치된 컨볼루션 레이어(들)는 (예를 들면, 분수 스트라이드(fractional stride)를 사용하여) 데이터를 업샘플링하기 위해 구현될 수도 있다.
다음으로, 액트(234)에서, 복소 공액 대칭 레이어가 데이터에 적용될 수도 있다. 공간 주파수 도메인에서 복소 공액 대칭 레이어가 적용됨에 따라, 액트(232)의 완료시 출력되는 이미지 도메인 데이터는 복소 공액 대칭 레이어의 적용 이전에 공간 주파수 도메인으로 변환된다. 몇몇 실시형태에서, 복소 공액 대칭 레이어는 도 1a를 참조하여 설명되는 복소 공액 대칭 레이어(105)일 수도 있다.
다음으로, 액트(236)에서, 데이터 일관성 레이어가 데이터에 적용될 수도 있다. 몇몇 실시형태에서, 데이터 일관성 레이어는 액트(234)의 완료시에 출력되는 공간 주파수 도메인 데이터에 적용될 수도 있다. 다른 실시형태에서, 액트(234)가 생략된 경우, 액트(232)의 완료시 출력되는 이미지 도메인 데이터는 공간 주파수 도메인으로 변환될 수도 있고 데이터 일관성 레이어가 그것에 적용될 수도 있다. 몇몇 실시형태에서, 데이터 일관성 레이어는 도 1a를 참조하여 설명되는 데이터 일관성 레이어(110)일 수도 있다.
다음으로, 결정 블록(238)에서, 하나 이상의 추가적인 이미지 도메인 프로세싱 블록이 적용될지의 여부에 대한 결정이 이루어진다. 적용될 추가적인 블록이 없다는 것이 결정되면, 프로세스는 완료된다. 그렇지 않으면, 프로세스는 "예(YES)" 분기를 통해, 액트(230)로 복귀하고, 액트(230-236) 및 결정 블록(238)이 반복된다. 예를 들면, 도 1a에서 도시되는 바와 같이, 블록(122)이 이미지 도메인 데이터에 적용된 이후, 블록(124)이 데이터에 적용될 것이다는 것이 결정될 수도 있다.
도 2d의 프로세스는 예시적이다는 것 및 변동이 있다는 것이 인식되어야 한다. 예를 들면, 몇몇 실시형태에서, 이미지 도메인 데이터는, 복소 공액 대칭 레이어 및 데이터 일관성 레이어의 적용 없이, 순전히 이미지 도메인에서 프로세싱될 수도 있다.
도 5a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델(500)의 아키텍쳐를 예시한다.
도 5a에서 도시되는 바와 같이, 신경망 모델(500)은, 공간 주파수 도메인 데이터를 프로세싱하도록 구성되는 제1 신경망 서브 모델(502), 공간 주파수 도메인 데이터를 이미지 도메인 데이터로 변환하도록 구성되는 역 고속 푸리에 변환(IFFT) 레이어(508), 및 이미지 도메인 데이터를 프로세싱하도록 구성되는 제2 신경망 서브 모델(510)을 포함한다. 초기 공간 주파수 MR 데이터가 MR 스캐너를 사용하여(예를 들면, 본원에서 설명되는 저자계 MR 스캐너 중 임의의 것 또는 임의의 다른 적절한 타입의 MR 스캐너를 사용하여) 획득된 이후, 출력 MR 공간 주파수 데이터(511)를 획득하기 위해 초기 공간 주파수 MR 데이터는 제1 신경망 서브 모델(502)을 사용하여 프로세싱될 수도 있다. 그 다음, MR 공간 주파수 데이터(511)는 IFFT 레이어(508)에 의해 변환되어 초기 이미지 도메인 데이터(513)를 획득하는데, 이것은 제2 신경망 서브 모델(510)에 의해 프로세싱되어 MR 이미지(518)를 획득한다.
도 5a에서 도시되는 바와 같이, 초기 공간 주파수 도메인 MR 데이터는 실수 부분(504)(예를 들면, 복소 값 데이터의 크기) 및 허수 부분(506)(예를 들면, 복소 값 데이터의 위상)으로 분할된다. 제1 신경망 서브 모델(502)은, 실수 부분(504) 및 허수 부분(506)에 대해 동작하는 완전히 연결된 레이어를 포함한다. 도 5a에서 도시되는 실시형태에서, 완전히 연결된 레이어는 실수 채널과 허수 채널 사이에서 가중치를 공유한다. 그러한 만큼, 완전히 연결된 레이어는 실수 및 허수 채널 둘 모두에 동일한 동작을 적용하는데, 이것은 프로세스 전반에 걸쳐 기저의 공간 주파수 도메인 대칭을 유지한다. 또한, 실수 부분과 허수 부분 사이에서 가중치를 공유하는 것은, 모델에서의 트레이닝 가능한 파라미터의 수를 2 배만큼 감소시킨다. 그러나, 다른 실시형태(예를 들면, 도 5c의 실시형태)에서, 공간 주파수 데이터는 실수 채널과 허수 채널 사이에서 가중치를 부분적으로 공유하는 또는 가중치를 공유하지 않는 완전히 연결된 레이어에 공급될 수도 있다.
몇몇 실시형태에서, 완전히 연결된 레이어를 포함하는 신경망 모델이 동일한 샘플 궤적을 사용하여 생성되는 입력 MR 이미지를 사용하여 트레이닝될 때, 완전히 연결된 레이어는 비 데카르트 좌표로부터 데카르트 좌표로의 데이터 종속적인 매핑을 학습하는데, 이것은 비 데카르트 시퀀스에 따라 작동하는 MR 스캐너에 의해 생성될 수도 있는 비 데카르트 공간 주파수 데이터의 데이터 종속적인 그리드화를 수행하기 위해 사용될 수 있다. 이것은 도 6a 내지 도 6c에서 추가로 예시된다.
도 6a는 공간 주파수 도메인의 각각의 데이터 포인트가 128×128 출력 k 공간의 각각의 위치에 대한 가중치를 갖는 대응하는 128×128 가중치 매트릭스를 가지며, 비 로컬 보간을 생성하는 예시적인 실시형태를 도시한다. 세 개의 공간 주파수 도메인 데이터 포인트(#300, #2800, 및 #5000)에 대한 가중치의 분포는 도 6b에서 도시되어 있다. 이들 동일한 세 개의 데이터 포인트의 2D 분포는, 가중치 분포의 세부 사항을 도시하는 줌인된 뷰를 갖는 도 6c에서 도시된다.
도 6b 내지 도 6c의 1D 및 2D 가중치 분포에서 도시되는 바와 같이, 특정한 공간 주파수 도메인 데이터 포인트의 이차원 가중치 맵을 플로팅할 때, 무시 가능하지 않는 값을 갖는 것은, 주로, 데이터 포인트의 로컬 이웃에서의 가중치인데, 다른 가중치는 제로에 가까운 값을 갖는다. 가중치 분포는 완전히 연결된 레이어에 의해 수행되는 매핑이 로컬 보간을 수행한다는 것을 나타낸다. 제1 신경망 서브 모델(502)은 데이터 일관성 레이어를 포함하지 않는다는 것을 유의해야 하는데, 이것은 제1 신경망 서브 모델(502)이 비 데카르트 샘플을 프로세싱하는 것을 허용한다.
도 5a로 돌아가면, 공간 주파수 데이터가 제1 신경망 모델(502)에 의해 프로세싱된 이후, 데이터는, 공간 주파수 데이터를 이미지 도메인으로 변환하는 IFFT 레이어(508)에 대한 입력으로서 제공된다 - 출력은 초기 이미지 도메인 데이터(513)임 - . 변환은, 몇몇 실시형태에서, 고속 푸리에 변환을 사용하여 구현될 수도 있는 이산 푸리에 변환을 사용하여 수행될 수도 있다. IFFT 레이어(508)에 의해 출력되는 초기 이미지 도메인 데이터(513)는 제2 신경 서브 모델(510)에 대한 입력으로서 제공된다.
도 5a에서 도시되는 바와 같이, 제2 신경망 서브 모델(510)은 다수의 컨볼루션 블록(512, 514, 및 516)을 포함한다. 컨볼루션 블록(512)은 하나 이상의 컨볼루션 레이어 및 잔차 연결을 포함할 수도 있다. 컨볼루션 블록(512, 514, 및 516)의 각각은 동일한 신경망 아키텍쳐를 가질 수도 있지만(예를 들면, 이들 블록은 동일한 시퀀스로 배열되는 동일한 타입의 레이어를 가질 수도 있음), 레이어에 대한 다양한 파라미터 값은 변할 수도 있다(예를 들면, 블록(512)에서의 컨볼루션 레이어의 가중치는 블록(514)의 것과는 상이할 수도 있음). 도 5a의 예시적인 실시형태에서, 제2 신경망 서브 모델(510)이 세 개의 컨볼루션 블록을 포함하지만, 이것은 예인데, 다른 실시형태에서 제2 신경망 서브 모델(510)이 임의의 적절한 수의 컨볼루션 블록(예를 들면, 1 개, 2 개, 4 개, 5 개, 6 개, 7 개, 8 개, 9 개, 10 개, 11 개, 12 개, 13 개, 14 개 또는 15 개)을 포함할 수도 있기 때문이며, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다.
IFFT 블록(508)의 출력에서 획득되는 초기 이미지 도메인 데이터(513)에 제2 신경망 서브 모델(510)이 적용되는 경우, 컨볼루션 블록(512, 514, 및 516)은 그 순서대로 초기 이미지 도메인 데이터(513)에 적용된다. 컨볼루션 블록(512)의 적용은 다음에 설명되며, 컨볼루션 블록(514 및 516)은, (전술한 블록으로부터 출력된 이후) 그들에게 입력으로서 제공되는 이미지 도메인 데이터에 유사한 방식으로 적용될 수도 있다는 것이 인식되어야 한다.
몇몇 실시형태에서, 컨볼루션 블록(512)은 이미지를 다운샘플링하기 위한 1보다 더 큰(예를 들면, 2 이상) 스트라이드를 갖는 하나 이상의 컨볼루션 레이어를 포함하고, 이미지를 그 원래의 사이즈로 업샘플링하기 위한, 1보다 더 큰(예를 들면, 2 이상) 스트라이드를 갖는 하나 이상의 전치된 컨볼루션 레이어가 후속된다. 업샘플링이 후속되는 다운샘플링의 이 구조는 동작이 상이한 해상도에서 수행되는 것을 허용하는데, 이것은 신경망 모델이 로컬 및 글로벌 피쳐 둘 모두를 포획하는 것을 돕는다. 결과적으로, 이것은 공간 주파수 도메인에서 언더샘플링으로부터 유래할 수도 있는 이미지 아티팩트를 제거하는 것을 돕는다.
예를 들면, 몇몇 실시형태에서, 컨볼루션 블록(512)은 두 개의 순차적 컨볼루션 레이어(스트라이드 2를 갖는, 두 개의 각각의 레이어에서의 32 개의 3×3 및 64 개의 3×3 필터를 가짐), 후속되는 두 개의 전치된 컨볼루션 레이어(스트라이드 2를 갖는, 두 개의 각각의 레이어에서의 128 개의 3×3 및 64 개의 3×3 필터), 후속되는 최종 컨볼루션 레이어(스트라이드 1을 갖는 2 개의 3×3 필터)를 포함할 수도 있다. 비선형 활성화(예를 들면, ReLU 또는 누설 ReLU 활성화)는, 최종 컨볼루션 레이어를 제외한 처음 네 개의 레이어의 각각에서 적용될 수도 있다. 그러나, 다른 실시형태에서, 상이한 사이즈 필터 및/또는 상이한 활성화 함수가 사용될 수도 있다는 것이 이해되어야 하는데, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다.
도 5b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델(520)의 아키텍쳐를 예시한다. 신경망(520)은, 완전히 연결된 레이어의 적용에 후속하여 그리고 제1 신경망 서브 모델(522)로부터 IFFT 레이어(508)로의 데이터 출력 이전에, 배치 정규화 레이어(507)를 갖는 제1 신경망 서브 모델(522)을 갖는다. 이 시점에서의 배치 정규화 레이어를 도입하는 것은, 신경망의 성능을 향상시키고 트레이닝에 필요한 시간을 감소시킬 수도 있다. 다른 양태에서, 신경망 모델(520 및 500)은 동일하다.
도 5c는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 다른 예시적인 신경망 모델(530)의 아키텍쳐를 예시한다. 신경망(530)은, 획득된 MR 데이터의 실수 부분과 허수 부분 사이에서 가중치 공유를 사용하지 않는 완전히 연결된 레이어를 포함하는 제1 신경망 서브 모델(532)을 갖는다. 다른 양태에서, 신경망 모델(530 및 500)은 동일하다.
본 발명자들은, 가능한 한 많은 정보를 유지하면서, 공간 도메인 데이터의 획득을 가속화하기 위해 신규의 비 데카르트 샘플링 궤적을 개발하였다. 샘플링 궤적은 전체 공간 주파수 도메인을 균등하게 언더샘플링하기 위한 구조화되지 않은 삼각형 및 사면체 메쉬(mesh), 및 가우스 커널에 의해 생성되는 k 공간 중심의 전체 샘플링 그리드로 구성되는데, 낮은 신호 대 노이즈 비(signal-to-noise ratio; SNR)를 갖는 이미지의 재구성에 k 공간 중심의 전체 커버리지가 중요하기 때문이다. K 공간에 있어서 (상기에서 설명되는 바와 같이, 비록, 샘플링 궤적이, 예를 들면, 25-100 범위 내의 임의의 백분율, 예컨대 35 %, 40 %, 45 %, 50 %, 55 %, 60 %, 65 %, 70 %, 75 %, 80 %, 등등을 비롯한, 본원에서 설명되는 임의의 다른 백분율과 함께 사용될 수도 있지만), 이 샘플링 궤적은, 나이퀴스트 기준을 충족하는 것을 필요로 하는 공간 주파수 도메인 샘플의 33 %를 샘플링한다. 도 7은, 신규의 비 데카르트 샘플링 궤적(패널(702)), 패널(702)의 궤적을 사용하여 획득되는 샘플로부터 재구성되는 이미지 및 제로 패딩된 역 고속 푸리에 변환(패널(704)), 패널(702)의 궤적을 사용하여 획득되는 샘플로부터 재구성되는 이미지 및 도 5b를 참조하여 설명되는 신경망 모델(패널(706)), 및 원래의 MR 이미지를 예시한다. 패널(704 및 706)로부터 알 수 있는 바와 같이, 제로 패딩 IFFT를 사용하여 획득되는 MR 이미지는 블러링되고(blurred) 아티팩트를 가지며, 한편, 도 5b의 신경망 모델을 사용하여 획득되는 MR 이미지에는 이들 결점의 문제를 겪지 않는다.
본 발명자들은 본원에서 설명되는 신경망 모델을 트레이닝시키기 위한 특수 기술을 개발하였다. 트레이닝 프로시져는 복소 이미지 데이터(complex image data)를 생성하는 것, 복소 이미지 데이터를 언더샘플링하는 것, 및 임의의 적절한 트레이닝 기술(예를 들면, 확률론적 그래디언트 하강법(stochastic gradient descent) 및 역전파(back-propagation))을 사용하여 신경망 모델을 트레이닝시키기 위해 언더샘플링된 복소 이미지 데이터 및 완전히 샘플링된 복소 이미지 데이터의 쌍을 사용하는 것을 수반한다. 복소 이미지 데이터를 생성하기 위해, 하기에서 설명되는 바와 같이, 크기 이미지(magnitude image)가 사용되어 위상 정보를 합성하였다.
도 8은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델을 트레이닝시키는 것의 양태를 예시한다. 도 8에서 도시되는 바와 같이, 트레이닝 프로세스는 입력 크기 이미지를 사용하여 위상 정보를 합성하는 것을 수반한다. 복소 이미지 데이터를 구성하는 크기 및 위상 정보는 데카르트 또는 비 데카르트(예를 들면, 방사형, 등등) 샘플링 궤적을 사용하여 공간 주파수 도메인에서 소급하여 언더샘플링될 수 있다. 언더샘플링된 데이터는 트레이닝되고 있는 신경망 모델에 대한 입력으로서 사용될 것이고, 한편, 완전 샘플링된 이미지는 모델의 출력일 것이다.
많은 공개적으로 이용 가능한 MR 이미지 데이터세트가 이용 가능할 것이지만, 그들은 통상적으로 크기 이미지만을 포함한다. MR 스캐너에 의해 획득되는 바와 같은 복소 데이터를 시뮬레이팅하기 위해, 본 발명자들은 크기 이미지에 추가할 위상 정보를 생성하기 위한 기술을 개발하였다. 따라서, 몇몇 실시형태에서, 위상 정보는 구형 고조파 기저 함수(spherical harmonic basis function)의 가중된 합을 사용하여 생성된다. 이들 함수의 조합은, B0의 비균질성(inhomogeneity), 온도에 따른 자기장 드리프트, 그래디언트 와전류(gradient eddy current), 공간적으로 변화하는 RF 코일 감도 필드, 시퀀스의 그래디언트 자계의 부정확성 및/또는 위상 변동에 기여할 수도 있는 다른 효과로부터 유도되는 자기장 변동을 특성 묘사할 수 있다. 구형 고조파를 사용하여 위상 정보를 생성하는 프로세스는 도 9a에서 예시된다.
몇몇 실시형태에서, 비 데카르트 언더샘플링을 시뮬레이팅하기 위해, 불균일 FFT(NuFFT)가 사용되어 MR 이미지를 공간 주파수 도메인으로 변환하였는데, 여기서 비 데카르트 언더샘플링 마스크가 적용되었다. 이어서, 언더샘플링된 공간 주파수 데이터는 역(역방향으로 또한 지칭됨) NuFFT를 사용하여 이미지 도메인으로 변환될 수 있는데, 이것은 이미지 도메인 서브 모델에 대한 입력으로 제공될 수 있다. 이러한 방식으로, NuFFT의 사용은, 실제로 비 데카르트 샘플링을 고도로 닮은 불균일 K 공간 샘플링을 수행하는 것을 가능하게 한다.
몇몇 실시형태에서, 이용 가능한 트레이닝 데이터는, 개개의 슬라이스에 아핀 변환(affine transformation)을 적용하여 상이한 방위 및 사이즈를 갖는 이미지를 생성하는 것, 노이즈를 추가하여 상이한 SNR을 갖는 이미지를 생성하는 것, 모션 아티팩트를 도입하는 것, 위상 및/또는 신호 변조를 에코 트레인(echo train)과 같은 더 많은 복소 시퀀스를 위해 위상 및/또는 신호를 통합하는 것, 및/또는 신호의 탈위상화를 모델링하여 확산 가중된 이미징과 같은 시퀀스에 모델을 적응시키는 것에 의해 증강되었다.
본원에서 설명되는 신경망 모델이 공간 주파수 도메인 및 이미지 도메인 둘 모두에서 동작함에 따라, 본 발명자들은 그러한 혼합 도메인 신경망 모델(mixed-domain neural network model)의 트레이닝을 용이하게 하기 위해 새로운 손실 함수를 개발하였다. 새로운 손실 함수는 (예를 들면, 성능의 주어진 레벨을 달성하는 데 필요한 트레이닝 에포크의 수를 감소시키는 것에 의해) 본원에서 설명되는 신경망 모델을 트레이닝시키는 프로세스를 가속하였다.
몇몇 실시형태에서, 손실 함수는 공간 주파수 도메인에서 오차를 포획하기 위한 제1 손실 함수 및 이미지 도메인에서 오차를 포획하기 위한 제2 손실 함수를 포함한다. 예를 들면, 도 9b에서 도시되는 바와 같이, 제1 신경망 서브 모델("서브넷 1 k 공간(Subnet 1 k-Space)"으로 라벨링됨)의 출력은 공간 주파수 도메인에서 지상 검증(ground truth)에 비교되어 공간 주파수 도메인에서의 오차의 제1 척도(예를 들면, 평균 제곱 오차, "MSE 손실 1(MSE Loss 1)"로 라벨링됨)를 획득할 수도 있고, 제2 신경망 서브 모델("서브넷 2 이미지 도메인(Subnet 2 Image domain)"으로 라벨링됨)의 출력은 이미지 도메인에서 지상 검증에 비교되어 이미지 도메인에서의 오차의 제2 척도(예를 들면, 평균 제곱 오차, "MSE 손실 2(MSE Loss 2)"로 라벨링됨)를 획득할 수도 있다. 오차의 제1 및 제2 척도는 (예를 들면, 가중된 조합을 통해) 결합되어 오차의 전체 척도를 생성할 수도 있는데, 이것은 트레이닝 프로세스 동안 최소화되어야 한다. 예를 들면, 도 9의 예시적인 예에서, 두 개의 손실 함수는, 전체 손실 함수가 손실 1+λ*손실 2에 의해 주어지도록, λ < 1의 가중치를 사용하여 결합되었다.
본원에서 설명되는 바와 같이, 본 발명자들에 의해 개발된 신경망 모델을 트레이닝하여 저자계 MRI 시스템으로부터 획득되는 언더샘플링된 공간 주파수 데이터로부터 MR 이미지를 생성하기 위해서는, 저자계 MRI 시스템을 사용하여 획득되는 트레이닝 데이터가 필요로 된다. 그러나, 본원에서 설명되는 모델의 모든 파라미터를 학습하기 위한 충분한 볼륨의 그러한 데이터가 없을 수도 있다.
따라서, 몇몇 실시형태에서, 신경망 모델은, 먼저, 하나 이상의 "고자계" 및/또는 "중자계" MR 시스템을 사용하여 획득되는 이미지를 사용하여 트레이닝되고, 그 다음, 저자계 MRI 시스템을 사용하여 획득되는 하나 이상의 MR 이미지를 사용하는 것에 의해 트레이닝된 신경망 모델을 "저자계" 컨텍스트에 적응시키기 위해 전이 학습이 사용된다.
도 10의 (a) 내지 (h)는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 전이 학습을 사용하여 트레이닝되는 또는 전이 학습 없이 트레이닝되는 신경망 모델을 사용하여 그리고 제로 패딩된 역 DFT를 사용하여 생성되는 MR 이미지를 예시한다. 결과는, 전이 학습(이 예시적인 예에서 100 에포크)을 사용하는 것이 저자계 MR 이미지에 대한 모델의 성능을 향상시킨다는 것을 나타낸다. 특히, 도 10의 (a) 내지 (d)는, 제로 패딩된 역 FFT, 전이 학습 없이 트레이닝되는 도 5b의 신경망 모델, 전이 학습을 사용하여 트레이닝되는 도 5b의 신경망뿐만 아니라, 완전히 샘플링된 데이터를 사용하여 각각 획득되는 재구성된 MR 이미지를 도시한다. 도 10의 (e) 내지 (g)는, 재구성된 MR 이미지와 완전히 샘플링된 MR 이미지 사이의 절대 차이를 도시하며, 한편 도 10의 (h)는 언더샘플링 마스크를 도시한다.
도 11은, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델 중 몇몇의 성능을 예시한다. 특히, 도 11의 제2 행은 도 1a를 참조하여 설명되는 신경망 모델(100)의 성능을 도시하고, 도 11의 제3 행은 도 5b를 참조하여 설명되는 신경망 모델(520)의 성능을 도시한다. 모델 둘 모두에 대해, 도 11은 각각의 제1 및 제2 서브 모델(서브 모델(102 및 120), 및 서브 모델(522 및 510))의 성능을 도시한다. 도 11의 제1 행은 언더샘플링된 이미지 및 완전히 샘플링된 이미지(크기 및 위상 둘 모두)를 도시한다. 도 11로부터 알 수도 있는 바와 같이, 신경망 모델(100)의 제1 서브 모델(중간 행의 처음 두 열)의 출력은 더 적은 아티팩트를 갖는 향상된 품질을 가지는데, 이것은 또한 증가된 피크 SNR(peak SNR; PSNR)에 의해 나타내어진다. 신경망 모델(100)의 제2 서브 모델(중간 행의 마지막 두 열)의 출력은, 크기 이미지의 콘트라스트를 증가시키는 것 및 완전히 샘플링된 이미지의 것에 더 가까운 더 평활한 위상 맵을 생성하는 것에 의해 제2 서브 모델이 재구성을 추가로 향상시킨다는 것을 도시한다. 신경망 모델(520)의 경우, 제2 서브 모델은, PSNR에 의해 반영되는 바와 같은 향상에 제1 서브 모델보다 덜 기여한다. 이 상황은 제1 신경망 서브 모델의 경우 반대로 된다.
도 12는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 언더샘플링된 공간 주파수 도메인 데이터로부터 MR 이미지를 생성하기 위한 신경망 모델 중 몇몇의 성능을 추가로 예시한다. 특히, 도 12는, 나이퀴스트 샘플링 레이트에 의해 필요로 되는 샘플의 수의 33 %까지 언더샘플링되는 이미지에 대한 본원에서 개발되는 신경망 중 일부의 성능을 다른 기술과 관련하여 예시한다. 신경망 모델(100 및 520)(도 12의 제4 및 네 번째 및 다섯 번째 열에서 도시됨)의 성능은, (정규화 파라미터 = 5e-3인 ADMM 정규화기를 사용하여 구현되며, 도 12의 두 번째 열에서 도시되는) 압축 감지 및 제1 서브 모델이 없는 신경망 모델(100)(도 12의 세 번째 열에서 도시됨)의 것에 비교되었다. 정규화된 평균 제곱 오차 및 피크 SNR이 측정되어 출력 이미지의 차이를 정량화하였다. 도 12에서 도시되는 바와 같이, 언더샘플링은 블러링과 비균질한 아티팩트를 도입한다. 압축 감지 접근법은 아티팩트를 제거하지만, 그러나 이미지를 과도하게 평활화하고 위상 이미지를 변경한다. 자신의 제1 서브 모델이 없는 모델(100)은 이미지를 복구하지 못하였다. 대조적으로, 신경망 모델(100 및 520)은, 경쟁 방법보다 더 높은 PSNR 및 더 낮은 정규화된 MSE에 의해 반영되는 바와 같이, 크기 및 위상 둘 모두에서 완전히 샘플링된 이미지에 훨씬 더 가까운 MR 이미지를 출력하였다.
본원에서 논의되는 바와 같이, 본 발명자들은 비 데카르트 샘플링 궤적을 사용하여 획득되는 공간 주파수 데이터로부터 MR 이미지를 재구성하기 위한 신경망 모델을 개발하였다.
도 13a는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위한 예시적인 신경망 모델(1310)의 예시적인 아키텍쳐의 다이어그램이다. 도 13a에서 도시되는 바와 같이, 신경망 모델(1310)은 입력 MR 공간 주파수 데이터를 단계적으로 프로세싱하는 것에 의해 입력 MR 공간 주파수 데이터(1305)로부터 출력 MR 이미지(1315)를 재구성한다. 먼저, 입력 MR 공간 주파수 데이터(1305)는 초기 프로세싱 블록(1312)을 사용하여 프로세싱되어 초기 이미지(1314)를 생성하고, 그 다음, 초기 이미지(1314)는 일련의 신경망 블록(1316-1, 1316-2, ..., 1316-n)에 의해 프로세싱된다.
몇몇 실시형태에서, 블록(1316-1, 1316-2, ..., 1316-n) 중 하나 이상은 이미지 도메인에서 동작할 수도 있다. 몇몇 실시형태에서, 블록(1316-1, 1316-2, ..., 1316-n) 중 하나 이상은 입력 데이터를, 공간 주파수 도메인을 포함하는 그러나 이들로 제한되지는 않는 상이한 도메인으로 변환할 수도 있고, 상이한 도메인에서 프로세싱(예를 들면, 재구성 프로세싱)을 수행하고, 후속하여 이미지 도메인으로 다시 변환할 수도 있다.
몇몇 실시형태에서, 초기화기 블록(initializer block)은 신경망 모델(1310)에 의한 후속하는 프로세싱을 위한 초기 이미지를 생성하기 위해 입력 MR 공간 주파수 데이터를 이미지 도메인으로 변환한다. 초기화기 블록은 임의의 적절한 방식으로 구현될 수도 있다. 예를 들면, 몇몇 실시형태에서, 초기화기 블록은 입력 MR 공간 주파수 데이터에 딸림 불균일 푸리에 변환을 적용하여 초기 이미지를 획득할 수도 있다. 다른 예로서, 몇몇 실시형태에서, 초기화기 블록은 입력 MR 공간 주파수 데이터에 그리드화 재구성을 적용하여 초기 이미지를 획득할 수도 있다.
신경망 블록(1316)의 예시적인 아키텍쳐는 (불균일 변분 네트워크에 대응하는) 도 13b 및 (일반화된 불균일 변분 네트워크에 대응하는) 도 13e에서 도시되어 있다. 따라서, 몇몇 실시형태에서, 블록(1316-1, 1316-2, ..., 1316-n) 중 적어도 하나, 적어도 일부, 또는 모두는 도 13b에서 예시적인 블록(1316-i)에 대해 도시되는 바와 같은 아키텍쳐를 가질 수도 있다. 도 13b에서 도시되는 바와 같이, 신경망 블록(1316-i)은 데이터 일관성 블록(1320), 및 컨볼루션 신경망 블록(1350)을 포함하는데, 이들 둘 모두는 1321로 라벨링되는 입력(
Figure pct00002
)에 적용된다. 입력(
Figure pct00003
)은 (i-1) 번째 신경망 블록 완료시 신경망(1310)에 의해 생성되는 MR 이미지 재구성을 나타낼 수도 있다. 이 예에서, 블록(1316-i)의 출력(1335)은 데이터 일관성 블록(1320)을 입력(
Figure pct00004
)에 적용하여 제1 결과를 획득하는 것, 컨볼루션 신경망 블록(1350)을
Figure pct00005
에 적용하여 제2 결과를 획득하는 것, 및
Figure pct00006
로부터 제1 결과 및 제2 결과의 선형 조합을 감산하는 것에 의해 획득되는데, 여기서 선형 조합은 블록별 가중치(λi)를 사용하여 계산된다.
데이터 일관성 블록(1320)은 임의의 다양한 방식으로 구현될 수도 있다. 몇몇 실시형태에서, 데이터 일관성 블록(1320)은,
Figure pct00007
에 의해 표현되는 입력 이미지를 불균일 푸리에 변환을 사용하여 공간 주파수 도메인으로 변환하는 것, 그 결과를 초기 MR 공간 주파수 데이터(1305)와 비교하는 것, 및 불균일 푸리에 변환의 딸림(adjoint)을 사용하여 그 둘 사이의 차이를 다시 이미지 도메인으로 변환하는 것에 의해 데이터 일관성 프로세싱을 수행할 수도 있다.
데이터 일관성 블록(1320)의 예시적인 구현예가 도 13c에서 도시되어 있다. 도 13c의 예시적인 구현예에서, 이미지 도메인 입력(1322)(이것은 중간 재구성(intermediate reconstruction)
Figure pct00008
(1321)일 수도 있음)은 일련의 세 개의 변환(1324, 1326, 및 1328) - 이들의 합성은 이미지 도메인으로부터 공간 주파수 도메인으로의 불균일 고속 푸리에 변환을 구현하기 위해 사용됨 - 을 통해 공간 주파수 도메인으로 변환된다. 특히, 변환(1324)은 디아포다이제이션 및 제로 패딩 변환(D)이고, 변환(1326)은 오버샘플링된 FFT 변환(Fs)이고, 변환(1328)은 그리드화 보간 변환(G)이다. 본원에서 설명되는 바와 같이, 불균일 고속 푸리에 변환(A)은 다음의 것에 따른 이들 변환의 합성에 의해 표현된다:
Figure pct00009
. 이들 구성 변환의 예시적인 실현이 본원에서 설명된다.
이미지 도메인 입력(1322)이 공간 주파수 도메인으로 변환된 이후, 그것은 초기 MR 공간 주파수 데이터(1305)와 비교되고, 그 둘 사이의 차이는 변환(1330, 1332, 및 1334)을 차례로 사용하여 이미지 도메인으로 다시 변환된다. 변환(1330)은 그리드화 보간 변환(1328)의 딸림이다. 변환(1332)은 오버샘플링된 FFT 변환(1326)의 딸림이다. 변환(1334)은 디아포다이제이션 변환(1324)의 딸림이다. 이러한 방식으로,
Figure pct00010
로서 표기될 수도 있는 변환(1330, 1332, 1334)의 합성은 불균일 푸리에 변환(
Figure pct00011
)의 딸림(
Figure pct00012
)을 나타낸다.
컨볼루션 신경망 블록(1350)은 다수의 방식 중 임의의 것에서 구현될 수도 있다. 몇몇 실시형태에서, 블록(1350)은, 하나 이상의 컨볼루션 레이어 및 하나 이상의 전치 컨볼루션 레이어를 비롯한, 다수의 컨볼루션 레이어를 가질 수도 있다. 몇몇 실시형태에서, 블록(1350)은 U-net 구조체를 가질 수도 있는데, 그에 의해, 예를 들면, 블록(1350)에 대한 도 13d의 예시적인 U-net 아키텍쳐에서 도시되는 바와 같이, 다수의 컨볼루션 레이어는 데이터를 다운샘플링하고 후속하는 전치 컨볼루션 레이어는 데이터를 업샘플링한다.
도 13d에서 도시되는 바와 같이, 컨볼루션 네트워크 블록(1350)에 대한 입력은 업샘플링 경로를 따르는 다운샘플링 경로에 의해 프로세싱된다. 다운샘플링 경로에서, 입력은 3×3 커널을 갖는 두 개의 컨볼루션의 반복적인 적용에 의해 프로세싱되는데, 두 개의 컨볼루션의 각각에서는, 다운샘플링을 위한 스트라이드 2를 갖는 평균 2×2 풀링 동작인 비선형성(예를 들면, 정류 선형 유닛 또는 ReLU)의 적용이 후속된다. 각각의 다운샘플링 단계에서, 피쳐 채널의 수는 64에서 128로 256으로 두 배가 된다. 업샘플링 경로에서, 데이터는, 피쳐 채널의 수를 이등분하는 평균 언풀링 단계(average unpooling step), 다운샘플링 경로로부터의 대응하는 피쳐 맵과의 사슬 연결, 및 비선형성(예를 들면, ReLU)의 적용이 각각 후속되는 두 개의 3×3 컨볼루션을 사용하여 피쳐 맵의 반복된 업샘플링에 의해 프로세싱된다.
도 13e는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 도 13a의 신경망 모델의 블록의 아키텍쳐의 다른 타입의 다이어그램이다. 도 13e에서 도시되는 것과 같은 아키텍쳐를 갖는 블록을 갖는 신경망 모델은 "일반화된 불균일 변분 네트워크" 또는 "GNVN"으로 지칭될 수도 있다. 그것은, 데이터 일관성 블록이 직접적으로 사용되지는 않지만, 그러한 블록에 의해 생성되는 이미지 피쳐와 유사한 피쳐는 신경망 모델로 통합되는 데 유용할 수도 있다는 점에서 "일반화된다".
도 13e에서 도시되는 바와 같이, i 번째 GNVN 블록(1360-i)은 입력으로 다음의 것을 취한다: (1) 1362로서 라벨링되는 이미지 도메인 데이터(
Figure pct00013
); 및 (2) 초기 MR 공간 주파수 데이터(1364). 입력(
Figure pct00014
)은 (i-1) 번째 GNVN 블록(1360-(i-1))의 완료시 신경망(1310)에 의해 생성되는 MR 이미지 재구성을 나타낼 수도 있다. 그 다음, 블록(1360-i)에 대한 이들 입력은 블록(1360-i)의 컨볼루션 신경망 블록(1372) 부분에 대한 입력을 생성하기 위해 사용된다. 이어서, 이들 입력으로부터, CNN 블록(1372)은
Figure pct00015
에 의해 나타내어지는 다음 번 MR 이미지 재구성을 생성한다.
도 13e의 실시형태에서, 입력(1362 및 1364)은 CNN 블록(1372)에 대한 세 개의 입력을 생성하기 위해 사용된다: (1) 재구성(
Figure pct00016
) 그 자체는 CNN 블록에 대한 입력으로서 제공됨; (2) 재구성(
Figure pct00017
)에, 불균일 푸리에 변환(1366), 후속하여 공간 주파수 도메인 컨볼루션 신경망(1368), 후속하여 딸림 불균일 푸리에 변환(1370)을 적용하는 것의 결과; 및 (3) 초기 MR 공간 주파수 데이터(1364)에, 공간 주파수 도메인 컨볼루션 신경망(1368), 후속하여 딸림 불균일 푸리에 변환(1370)을 적용하는 것의 결과.
몇몇 실시형태에서, 불균일 푸리에 변환(1366)은,
Figure pct00018
가 되도록 하는 다음의 세 개의 변환의 합성으로서 표현되는 변환(
Figure pct00019
)일 수도 있다: 디아포다이제이션 변환(
Figure pct00020
), 오버샘플링된 푸리에 변환(
Figure pct00021
), 및 로컬 그리드화 보간 변환(
Figure pct00022
). 이들 구성 변환의 예시적인 실현이 본원에서 설명된다.
공간 주파수 도메인 CNN(1368)은 임의의 적절한 타입의 컨볼루션 신경망일 수도 있다. 예를 들면, CNN(1368)은 잔차 연결을 갖는 5 레이어 컨볼루션 신경망일 수도 있다. 그러나, 다른 실시형태에서, 공간 주파수 도메인 네트워크(1368)는 임의의 다른 타입의 신경망(예를 들면, 완전 컨볼루션 신경망(fully convolutional neural network), 순환 신경망(recurrent neural network), 및/또는 임의의 다른 적절한 타입의 신경망)일 수도 있는데, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다.
도 13a 내지 도 13e에서 예시되는 신경망 모델과 같은, 비 데카르트 데이터로부터 MR 이미지 재구성을 위한 신경망 모델의 추가적인 양태 및 세부 사항의 논의는 다음에서 계속된다. 먼저, 몇몇 표기법이 도입된다.
Figure pct00023
가, N = NxNy인 벡터로서 표현되는, 재구성될 복소 값 MR 이미지를 나타내고, 여기서 Nx와 Ny는 이미지의 폭과 높이라고 하자.
Figure pct00024
가 복소 값 MR 이미지(x)가 재구성될 언더샘플링된 k 공간 측정치를 나타낸다고 하자. y로부터 x를 재구성하는 것은 다음에 따라 제약이 없는 최적화 문제로서 공식화될 수도 있는데:
Figure pct00025
,
여기서 연산자(A)는 불균일 푸리에 샘플링 연산자이고, R은 x에 대한 정규화 항을 표현하며, λ는 노이즈 레벨과 관련되는 하이퍼파라미터(hyper-parameter)이다. 데카르트 샘플링 궤적을 사용하여 k 공간 측정치(y)가 획득되는 경우, 연산자(A)는 다음의 것:
Figure pct00026
에 따라 표현될 수도 있는데, 여기서
Figure pct00027
은 샘플링 마스크이고,
Figure pct00028
는 이산 푸리에 변환이다. 비 데카르트 샘플링 궤적의 경우, 측정치는 균일한 k 공간 그리드 상에 더 이상 속하지 않으며 샘플링 연산자(
Figure pct00029
)는, 이제, 타입
Figure pct00030
의 불균일 이산 푸리에 변환에 의해 주어지는데:
Figure pct00031
여기서 (
Figure pct00032
가 아니라)
Figure pct00033
이다. 상기의 순방향 모델의 효율적인 구현예는 소위 불균일 고속 푸리에 변환(non-uniform Fast Fourier Transform; NUFFT)을 사용하여 구현될 수도 있다. 아이디어는 다음의 분해(decomposition):
Figure pct00034
에 의해 수학식 2를 근사하는 것인데, 여기서
Figure pct00035
는 그리드화 보간 커널이고,
Figure pct00036
는 s의 오버샘플링 계수를 갖는 고속 푸리에 변환(FFT)이고,
Figure pct00037
는 디아포다이제이션 가중치이다. 이 분해는 하기에서 더 상세하게 설명된다.
대조적으로,
Figure pct00038
의 역(inversion)은 상당히 더 많이 수반된다. (대략) 완전히 샘플링된 경우, 직접적인 역
Figure pct00039
또는 형태 xgridding =
Figure pct00040
를 갖는 더욱 계산 효율적인 그리드화 재구성을 고려할 수 있는데, 여기서
Figure pct00041
는 불균일하게 이격된 측정의 밀도 보상을 위해 사용되는 대각선 매트릭스이다. 언더샘플링된 경우에 대해, 역은 해를 구하기 어려우며(ill-posed) 수학식 1은 반복 알고리즘에 의해 풀려야 한다.
본 발명자들은 수학식 1의 최적화 문제에 대한 해를 근사하기 위해 새로운 딥 러닝 알고리즘을 개발하였다. 그 접근법은, 초기화 및 후속하는 반복을 위해 다음의 수학식에 의해 명시되는, 수학식 1에 대한 로컬하게 최적인 해를 제공하는 그래디언트 하강법 알고리즘(gradient descent algorithm)을 고려하는 것에 의해 시작되는데:
Figure pct00042
여기서 finit는 초기화기이고, α는 단계 사이즈이고, ▽f는 다음에 의해 주어지는 목적 함수(objective functional)의 그래디언트이다:
Figure pct00043
몇몇 실시형태에서, 초기화기는 딸림
Figure pct00044
재구성 또는 그리드화 재구성
Figure pct00045
로서 선택될 수도 있다. 수학식 1을 풀기 위한 딥 러닝 접근법은 수학식 4의 순차적 업데이트를 피드포워드 모델로 펼치는 것, 및 일련의 트레이닝 가능한 컨볼루션(또는 다른 타입의 신경망) 레이어 및 비선형성에 의해 그래디언트 항(
Figure pct00046
)을 근사하는 것을 수반한다. 이 접근법은 다음에 의해 주어지는 Nit 블록을 갖는 단대단 트레이닝 가능 네트워크(end-to-end trainable network)로 나타나는데:
Figure pct00047
여기서 학습 가능한 파라미터는
Figure pct00048
이다. 단계 사이즈(αi)는 학습 가능한 파라미터에서 흡수된다는 것을 유의한다. 이러한 방식으로, (예를 들면, 전문가 분야 모델(Fields-of-Experts model) 대신) 일반적인 비 볼록 정규화 함수(non-convex regularization functional)가 사용되고, 정규화 함수는 컨볼루션 신경망에 의해 근사화될 수 있다. 실제로, 도 13a 내지 도 13d에서 예시되는 신경망 모델은 수학식 6 및 7에 따라 구현된다. 예를 들면, 데이터 일관성 항(DC-i)의 구현은 도 13c에 도시되고 CNN-i 항의 구현은 도 13d에 도시된다.
본 발명자들은, A가 저장할 많은 메모리를 많이 차지할 수 있는 큰 복소 값 매트릭스이기 때문에, 그러한 접근법의 계산 복잡도는 순방향 연산자(
Figure pct00049
)가 구현되는 방식의 함수이다는 것을 인식하였다. 본원에서 설명되는 바와 같이, 데카르트 경우와는 대조적으로,
Figure pct00050
Figure pct00051
로서 표현된다. 2D의 경우, 이것은 GPU 메모리의 많은 부분을 소비하는 큰 매트릭스일 수 있다(예를 들면, N = 1922 및 M = 10,000(즉,
Figure pct00052
3×가속도)의 경우, 복소 값 매트릭스를 저장하는 것 단독으로 이미 3GB의 메모리를 점유함). 이 도전 과제를 극복하기 위해, 본 발명자들은 희소 GPU 매트릭스 곱셈으로서 그리드화 보간 변환(
Figure pct00053
i)을 구현하였다.
Figure pct00054
는 효율적인 GPU 구현이 이용 가능한 FFT이다. 마지막으로,
Figure pct00055
는 대각선 매트릭스인데, 이것은 매트릭스의 아다마르(Hadamard) 곱으로서 구현될 수 있다. 딸림은
Figure pct00056
로서 유사하게 구현될 수 있는데, 여기서 .H는 복소 공액 전치이다.
순방향 연산자(
Figure pct00057
)의 분해의 더 많은 세부 사항이 다음에 설명된다. 첫째, 몇몇 예비 사항. 공간 주파수 도메인(때때로 k 공간으로 지칭됨)은 이차원 또는 삼차원 좌표(예를 들면, (kx, ky) 또는 (kx, ky, kz))를 사용하여 인덱싱될 수도 있다. 이러한 방식으로, 입력 MR 공간 주파수 데이터를 나타내는 벡터(y)의 각각의 엔트리는 k 공간에서의 특정한 좌표에 관련되는 값을 나타낸다. k 공간에서의 규칙적인 그리드는, 인덱싱될 수 있는 각각의 k 공간 좌표 사이에 고정된 거리(Δ)가 있도록 k 공간의 포인트의 규칙적으로 이격된 그리드를 가리킨다. 일반적으로, 입력 MR 공간 주파수 데이터(y)는 규칙적인 그리드 상에서 이격되는 또는 불규칙적으로 이격되는 k 공간 샘플을 포함할 수도 있다. 규칙적으로 이격된 포인트는 때때로 데카르트 데이터 포인트로 지칭된다. 불규칙적으로 이격된 포인트는 때때로 비 데카르트(데이터) 포인트로 지칭된다.
보간 변환(
Figure pct00058
)은 비 데카르트 센서 데이터(y)를 규칙적인 k 공간 그리드 상으로 보간하도록 동작한다. 변환이 매트릭스(
Figure pct00059
)로서 표현되는 경우, 매트릭스에서의 각각의 행은 k 공간에서의 특정한 규칙적인 그리드 포인트에 대응하고, 행 i에서의 엔트리 j(즉, 엔트리
Figure pct00060
ij)는 i 번째 규칙적인 그리드와 j 번째 k 공간 샘플 사이에서 얼마나 많은 가중치가 관련되지를 표현한다.
몇몇 실시형태에서, 보간 매트릭스 엔트리는 다음의 네 개의 함수 중 임의의 하나에 의해 계산될 수도 있는데:
Figure pct00061
2 항 코사인
Figure pct00062
Figure pct00063
3 항 코사인:
Figure pct00064
Figure pct00065
가우시안:
Figure pct00066
Figure pct00067
Kaiser-Bessel(카이저-베셀):
Figure pct00068
여기서 u는 i 번째 규칙적인 그리드 포인트와 j 번째 비 데카르트 데이터 좌표 사이의 거리이다. 파라미터(α, β, W, σ)는 유저에 의해 명시되는 자유 설계 파라미터이며, I0은 제1 종류의 0 차 수정 Bessel(베셀) 함수이다. 그러나, 상기에서 나열되는 예시적인 네 개의 함수 대신에 또는 그에 추가하여 보간 매트릭스 엔트리를 계산하기 위해 임의의 다른 함수가 사용될 수도 있다는 것이 인식되어야 한다.
몇몇 실시형태에서, 보간 가중치 매트릭스의 엔트리는 최적화 접근법을 사용하여 계산될 수도 있다. 예를 들면, 엔트리는, 참조에 의해 그 전체가 본원에 통합되는 [Fessler, J. A., Sutton B. P.: Non-uniform fast Fourier transforms using min-max interpolation. IEEE Transactions of Signal Processing 51(2), 560-574 (2003)]의 수학식 16 및 21에서 나타내어지는 바와 같이, 최소-최대 최적화 문제를 푸는 것에 의해 계산될 수도 있다. 몇몇 실시형태에서, 푸리에 변환(
Figure pct00069
)은 오버샘플링된 푸리에 매트릭스(
Figure pct00070
)에 의해 표현될 수도 있는데, 이것은 각각의 엔트리가 인덱스에 의존하는 γ에 대한 형태 e의 복소 지수인 조밀한 매트릭스이다. 이 매트릭스의 역할은 푸리에 변환을 수행하는 것이다. 몇몇 실시형태에서,
Figure pct00071
는 오버샘플링 인자(s)를 갖는 고속 푸리에 변환을 사용하여 구현될 수도 있다. 예를 들면, 재구성될 이미지(x)가 N×N 픽셀이면, 그러면, 이미지 사이즈 sN×sN에 대해 오버샘플링 FFT가 수행된다.
몇몇 실시형태에서, 디아포다이제이션 변환은 주어진 분해를 사용하여 A를 근사하는 것의 보간 오차를 감소시키기 위해 이미지의 각각의 픽셀을 대응하는 가중치에 의해 가중할 매트릭스(
Figure pct00072
)에 의해 표현될 수도 있다. 몇몇 실시형태에서, 이것은 이미지 도메인에서 중간 재구성의 픽셀 단위 가중화(pixel-wise weighting)를 통해 구현될 수도 있다. 예를 들면, 픽셀 단위 가중화는 공간적으로 변화하는 저차 평활 다항식을 사용하여 구현될 수도 있다. 몇몇 실시형태에서, 매트릭스(D)는, [Fessler, J. A., Sutton B. P.: Non-uniform fast Fourier transforms using min-max interpolation. IEEE Transactions of Signal Processing 51(2), 560-574 (2003)]의 섹션 IV-C에서 논의되는 바와 같이 설정될 수도 있다.
본 발명자들은 도 13a 내지 도 13d의 네트워크가 각각의 반복의 끝에서 병목 현상을 강제한다는 것을 또한 인식하였다. 그러나, 대안적인 관점은, 네트워크가, 단순히, 데이터 일관성(DC-i) 블록에 의해 주어지는 이미지 피쳐로부터 이점을 누릴 수도 있다는 것이다. 이 관찰은, 데이터 일관성 블록을 사용하는 대신, 도 13a 내지 도 13d의 모델에 있는 각각의 CNN-i 블록이 다음 입력의 사슬 연결을 제공받는 일반화된 접근법을 동기 부여한다: 중간 재구성(
Figure pct00073
), 자체 딸림(
Figure pct00074
), 및 입력의 딸림(
Figure pct00075
). 더구나, 샘플링 궤적을 따라 정보를 활용하기 위해 그리고 불필요한 정보(예를 들면, 분리 가능한 아티팩트 또는 노이즈)를 제거하기 위해,
Figure pct00076
를 사용하여 원시 감각 도메인(raw sensory domain)에서 1D 컨볼루션을 적용하는 것을 또한 고려할 수 있다. 도 13a, 13d 및 13e에서 도시되는 결과적으로 나타나는 네트워크는 다음에 의해 주어지는데:
Figure pct00077
,
여기서 학습 가능한 파라미터는
Figure pct00078
이다. 본원에서 설명되는 바와 같이, 이러한 타입의 신경망 모델은 일반화된 불균일 변분 네트워크(GNVN)로 지칭된다.
본 발명자들은, 본원에서 설명되는 신경망 아키텍쳐의 몇몇 실시형태가 다음에 따라 표현될 수도 있는 신경망 모델의 실시형태로서 간주될 수도 있다는 것을 인식하였다:
Figure pct00079
.
이러한 일반적인 타입의 신경망 모델은, 입력으로서, 순방향 연산자(
Figure pct00080
)와 원시 공간 주파수 도메인 데이터(
Figure pct00081
)의 조합인 입력뿐만 아니라, 임의의 차원일 수 있는 추가적인 학습 가능한 파라미터(
Figure pct00082
)를 수용할 수도 있다. 파라미터(
Figure pct00083
)는 트레이닝 프로세스 동안 조정될 수도 있다.
수학식 8의 신경망에 대한 입력은 MRI 시스템의 하나의 또는 다수의 RF 코일에 의해 획득되는 데이터일 수도 있는데, 본원에서 설명되는 기술의 양태가 단일의 RF 코일에 의해 수집되는 데이터로부터 이미지를 재구성하는 것으로 제한되지는 않기 때문이다. 추가적으로, 입력 데이터(y)는(예를 들면, 반복 시간(TR), 에코 시간(TE), 플립 각도(θ), 또는 등등을 변경하는 것에 의해) 획득 파라미터의 상이한 세트 및/또는 다수의 콘트라스트를 사용하여 획득될 수도 있다. 몇몇 실시형태에서, 네트워크로의 입력은 원시 데이터(y)일 수도 있지만, 그러나 이들로 제한되지는 않는다. 추가적으로 또는 대안적으로, 네트워크에 대한 입력은 딸림 재구성(
Figure pct00084
)일 수도 있는데, 여기서 (.)H는 매트릭스의 공액 전치이다.
데이터(y)가 다수의 RF 코일에 의해 수집되는 데이터를 포함하는 몇몇 실시형태에서, 이들 데이터(y)는
Figure pct00085
(i = 1, ..., Ncoil)로 표기되는 Ncoil 개의 별개의 데이터 세트로 분할될 수도 있다. Ncoil은 임의의 숫자(예를 들면, 8 또는 9 또는 10과 같은, 예를 들면, 2 내지 20의 범위 내의 임의의 숫자)일 수 있다. 그러한 몇몇 실시형태에서, 신경망 입력은 각각의 코일 이미지의 딸림 재구성일 수도 있고(
Figure pct00086
),
Figure pct00087
(i = 1, ..., Ncoil)는 함께 쌓여 네트워크에 대한(예를 들면, 네트워크의 컨볼루션 레이어 부분에 대한) 입력을 형성할 수 있다.
몇몇 실시형태에서, 원시 데이터(y)는 하나 이상의 RF 코일의 각각에 의해 획득되는 다수의 측정치를 포함할 수도 있다. 예를 들면, 데이터가 다수 회, 예컨대 Navg 회 측정되는 경우, 그러면, 이들 데이터, 또는 이들 데이터의 딸림 재구성, 또는 이들 데이터 측정 및 순방향 연산자(A)의 임의의 다른 함수가 신경망에 대한 입력을 형성할 수도 있다. 예를 들면, 신호 평균화(signal averaging)를 위해 및/또는 상이한 콘트라스트를 갖는 이미지를 획득하는 것의 일부로서 다수의 측정치가 획득될 수도 있다.
몇몇 실시형태에서, 상기에서 설명되는 바와 같이, 수학식 8의 신경망에 대한 입력도 또한 A 및/또는 y에 기초한 임의의 함수일 수도 있다. 예를 들면, 몇몇 실시형태에서, 그리드화 재구성은 네트워크에 대한 입력일 수도 있다. 그리드화 재구성은
Figure pct00088
의 형태를 가질 수도 있는데, 여기서
Figure pct00089
는, 벡터(
Figure pct00090
)의 각각의 엘리먼트를 스케일링하는 매트릭스인 샘플 밀도 보상 가중치로 칭해진다.
샘플 밀도 보상 가중치(
Figure pct00091
)를 계산하기 위해 수많은 기술 중 임의의 것이 사용될 수도 있다. 예를 들면, 몇몇 실시형태에서, 가중치(
Figure pct00092
)는 다음의 것에 따라 계산될 수도 있는데:
Figure pct00093
, 여기서
Figure pct00094
은 1의 벡터이다. 다른 예로서, 가중치(
Figure pct00095
)는 임의의 적절한 유저 정의 함수일 수도 있다. 또 다른 예로서, 가중치(
Figure pct00096
)는 신경망 트레이닝 동안 학습되고 조정될 수도 있는데, 이 경우 가중치는 학습된 샘플 밀도 보상 가중치로서 지칭될 수도 있다. 몇몇 실시형태에서, 네트워크에 대한 입력은, 순방향 연산자(
Figure pct00097
)의 사용 없이, 학습된 것이든 또는 고정 학습 가능한 것이든 간에, 가중치(
Figure pct00098
) 및
Figure pct00099
의 조합일 수도 있다.
신경망은 원시 데이터(y)에 대해 동작할 필요가 없으며, 몇몇 실시형태에서 이들 데이터는 사전 프로세싱될 수도 있다는 것이 또한 인식되어야 한다. 예를 들면, 몇몇 실시형태에서 이들 데이터는 간섭 제거, 노이즈 제거, 필터링, 평활화, 이미지 사전 백색화(image prewhitening), 등등과 같은 동작을 수행하도록 사전 프로세싱될 수도 있다. 더 일반적으로는, 네트워크는 형태 f(y,
Figure pct00100
, θ)를 갖는다.
신경망 가중치(
Figure pct00101
)와 관련하여, 이들 가중치는 트레이닝 프로시져의 일부로서 임의의 적절한 방식으로 초기화될 수도 있다. 예를 들면, 가중치는 (예를 들면, [He, K., et al.: Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). pp. 1026-1034 (2015)]에서의 수학식 12를 따르는 He 초기화를 사용하여) 랜덤하게 초기화될 수도 있다. 다른 예로서, 네트워크 가중치는 유저에 의해 제공되는 설정에 따라 초기화될 수도 있다. 다른 예로서, 네트워크 가중치는 학습된 샘플링 밀도 가중치를 포함할 수도 있다(예를 들면, 학습된 샘플링 밀도 가중치는 네트워크 가중치의 서브세트일 수도 있고, 네트워크 가중치는 학습된 샘플링 밀도 가중치를 사용하여 초기화될 수도 있으며, 모든 가중치는, 후속하여, 트레이닝 동안 조정될 수도 있다).
수학식 8에서의 신경망의 출력(
Figure pct00102
)과 관련하여, 출력은 각각의 RF 코일마다 하나 이상의 이미지를 포함할 수도 있다. 예를 들면, 입력 데이터가 Ncoil 개의 RF 코일의 각각으로부터의 데이터를 포함하면, 출력은 각각의 그러한 RF 코일에 대한 하나의 MR 이미지 또는 (예를 들면, 각각의 코일이, 예를 들면, 상이한 콘트라스트를 사용하여, 다수의 획득을 수행하는 경우) 각각의 그러한 코일에 대한 다수의 MR 이미지를 포함할 수도 있다.
몇몇 실시형태에서, 수학식 8에서 명시되는 타입의 다수의 신경망이 활용될 수도 있고, 이들 네트워크의 출력은, 다수의 신경망이 앙상블(ensemble)로서 활용되도록 결합될 수도 있다. 조합은 평균, 가중된 평균화(weighted averaging), 이상점 거부(outlier rejection)를 갖는 평균화, 및 유저 정의 기준(예를 들면, 수동 검사, 정량적 메트릭 예컨대 자동화된 선택 예컨대 신호 대 노이즈 비, 지각 메트릭(perceptual metric), 및/또는 임의의 다른 적절한 메트릭에 기초한 자동화된 선택)에 따른 "최상의" 재구성의 선택을 포함하는, 그러나 이들로 제한되지는 않는 임의의 적절한 타입의 집성(aggregation)을 사용하여 수행될 수도 있다. 대안적으로, 몇몇 실시형태에서, 개개의 신경망으로부터의
Figure pct00103
의 다수의 인스턴스는 함께 쌓일 수도 있고, 네트워크의 출력으로서 간주될 수도 있다.
상기에서 설명되는 바와 같이, 다음과 같은 본원에서 설명되는 실시형태를 포함하는, 그러나 이들로 제한되지는 않는 수학식 8의 신경망 공식화의 다수의 가능한 실시형태가 존재한다: (1) 도 13a 내지 도 13d를 참조하는 것을 포함하여 본원에서 설명되는 바와 같은 불균일 변분 네트워크(NVN); (2) 도 13a, 도 13d 및 도 13e를 참조하여 본원에서 설명되는 바와 같은 일반화된 불균일 변분 네트워크(GNVN); (3) 도 1a 내지 도 1c를 참조하는 것을 포함하여 본원에서 설명되는 바와 같은 심층 K 공간 보간 재구성(Deep K-space Interpolation Reconstruction; DKIR) 네트워크; 및 (4) 도 5a 내지 도 5c를 참조하는 것을 포함하여 본원에서 설명되는 바와 같은 심층 비 로컬 재구성(Deep non-local reconstruction; DNR) 네트워크.
상기 설명된 네트워크 아키텍쳐 중 몇몇은 컨볼루션 신경망 블록을 포함하지만, 예를 들면, 잔차 네트워크(residual network), 조밀하게 연결된 네트워크, 또는 스퀴즈 및 엑시테이션 네트워크(squeeze and excitation network)를 포함하는 컨볼루션 신경망 블록에 추가하여 또는 그 대신 다른 타입의 블록이 사용될 수도 있다는 것을 유의해야 한다.
몇몇 실시형태에서, 상기에서 설명되는 네트워크 중 임의의 하나는 평균 제곱 오차를 사용하여 트레이닝될 수도 있다. 예를 들면, 몇몇 실시형태에서, NVN(예를 들면, 블록(1316-i)) 또는 GNVN(예를 들면, 블록(1360-i)) 아키텍쳐의 재구성 블록의 각각은 다음에 따라 평균 제곱 오차 기준을 사용하여 트레이닝될 수도 있다:
Figure pct00104
.
몇몇 실시형태에서, 재구성 블록은 각각의 코일 가중된 이미지(xc)를 개별적으로 또는 공동으로 재구성될 수 있다. 또한, 그것은 각각의 신호(navg = 1, ..., Navg)를 공동으로 또는 개별적으로 재구성하려고 시도할 수 있다.
도 14는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 비 데카르트 샘플링을 사용하여 획득되는 입력 MR 공간 주파수 데이터로부터 MR 이미지를 생성하기 위해 신경망 모델을 사용하기 위한 예시적인 프로세스(1400)의 플로우차트이다. 몇몇 실시형태에서, 프로세스(1400)는 불균일 변분 네트워크(예를 들면, 도 13a 내지 도 13d를 참조하여 설명되는 신경망), 일반화된 불균일 변분 네트워크(예를 들면, 도 13a, 도 13d, 및 도 13e를 참조하여 설명되는 신경망), 또는 임의의 다른 적절한 타입의 신경망 모델을 사용하여 수행될 수도 있다.
몇몇 실시형태에서, 예시적인 프로세스(1400)는 임의의 적절한 컴퓨팅 디바이스를 사용하여 수행될 수도 있다. 예를 들면, 몇몇 실시형태에서, 프로세스(1400)는, 피실험자를 이미지화하는 것에 의해 입력 MR 공간 주파수 데이터를 획득한 MRI 시스템과 (예를 들면, 동일한 방에) 병치되는 컴퓨팅 디바이스에 의해 수행될 수도 있다. 다른 예로서, 몇몇 실시형태에서, 프로세스(1400)는 피실험자를 이미지화하는 것에 의해 입력 공간 주파수 데이터를 획득한 (예를 들면, 클라우드 컴퓨팅 환경의 일부로서) MRI 시스템으로부터 원격에 위치되는 하나 이상의 프로세서에 의해 수행될 수도 있다.
프로세스(1400)는 입력 MR 공간 주파수 데이터가 획득되는 액트(1402)에서 시작한다. 몇몇 실시형태에서, 입력 MR 공간 주파수 데이터는 MRI 시스템에 의해 이전에 획득되었고 후속하는 분석을 위해 저장되었으며, 그 결과, 그것은 액트(1402)에서 액세스된다. 다른 실시형태에서, 입력 MR 공간 주파수 데이터는 프로세스(1400)의 일부로서 MRI 시스템(본원에서 설명되는 임의의 MRI 시스템 포함함)에 의해 획득될 수도 있다. 입력 MR 공간 주파수 데이터를 획득하기 위해 MRI 시스템이 이미징을 수행한 때와 관계없이, 데이터는 비 데카르트 샘플링 궤적을 사용하여 획득되었을 수도 있는데, 그 예가 본원에서 제공된다.
다음으로, 프로세스(1400)는 액트(1404)로 진행하는데, 여기서 입력 MR 공간 주파수 데이터는 초기 이미지 재구성을 획득하기 위해 사전 프로세싱될 수도 있다. 예를 들면, 몇몇 실시형태에서, 입력 MR 공간 주파수 데이터는 불균일 푸리에 변환을 사용하는 것에 의해 이미지 도메인으로 변환될 수도 있다. 예를 들면, 입력 MR 공간 주파수 데이터(y)는 본원에서 설명되는 딸림 연산자(
Figure pct00105
)를 사용하여(예를 들면,
Figure pct00106
를 계산하는 것에 의해) 이미지 도메인으로 변환될 수도 있다. 다른 예로서, 입력 MR 공간 주파수 데이터는
Figure pct00107
와 같은 그리드화 재구성을 사용하여 이미지 도메인으로 변환될 수도 있는데, 여기서, 매트릭스(W)는 다음의 것이 될 수 있는 샘플링 밀도 보상 매트릭스이다: 매트릭스(
Figure pct00108
) - 여기서
Figure pct00109
은 1의 벡터임 - , 유저 명시 매트릭스, 트레이닝 동안 학습되는 매트릭스, 및/또는 이들의 임의의 적절한 조합. 도 13a의 예시적인 예에서, 사전 프로세싱은 초기 프로세싱 블록(1312)에 의해 수행될 수도 있다.
몇몇 실시형태에서, 초기화기 블록은 신경망 모델(1310)에 의한 후속하는 프로세싱을 위한 초기 이미지를 생성하기 위해 입력 MR 공간 주파수 데이터를 이미지 도메인으로 변환한다. 초기화기 블록은 임의의 적절한 방식으로 구현될 수도 있다. 예를 들면, 몇몇 실시형태에서, 초기화기 블록은 입력 MR 공간 주파수 데이터에 딸림 불균일 푸리에 변환을 적용하여 초기 이미지를 획득할 수도 있다. 다른 예로서, 몇몇 실시형태에서, 초기화기 블록은 입력 MR 공간 주파수 데이터에 그리드화 재구성을 적용하여 초기 이미지를 획득할 수도 있다.
다음으로, 프로세스(1400)는 액트(1406)로 진행하는데, 여기서, 신경망 모델의 블록은 액트(1404)에서 획득되는 초기 이미지에(또는 하나 이상의 신경망 블록이 초기 이미지에 이미 적용된 이후 결정 블록(1408)으로부터의 리턴 경로 상에서 액트(1406)가 실행되고 있을 때 현재의 이미지 데이터에) 적용된다. 몇몇 실시형태에서, 신경망 모델의 블록은 액트(1402)에서 획득되는 초기 MR 공간 주파수 데이터를 고려하기 위해, 불균일 푸리에 변환을 사용하는 것에 의해 데이터 일관성 프로세싱을 수행하도록 구성될 수도 있다. 이것은 임의의 적절한 방법으로 행해질 수도 있다. 예를 들면, 몇몇 실시형태에서, 데이터 일관성 프로세싱은 도 13b를 참조하여 설명되는 블록(1316-i)과 같은 데이터 일관성 블록에 의해 수행될 수도 있다. 그러한 블록에서, 데이터 일관성 프로세싱은, 불균일 푸리에 변환을 사용하여 공간 주파수 도메인으로 변환되는 중간 재구성을 변환하는 것 및 그 결과를 입력 MR 공간 주파수 데이터에 비교하는 것을 수반한다. 다른 예로서, 몇몇 실시형태에서, 데이터 일관성 프로세싱은, 예를 들면, 도 13e를 참조하여 설명되는 신경망 블록(1360-i)에서 행해지는 바와 같이, 불균일 푸리에 변환을 사용하여 입력 MR 공간 주파수 데이터를 이미지 도메인으로 변환하는 것 및 그 결과를 하나 이상의 컨볼루션 블록에 대한 입력으로서 제공하는 것에 의해 수행될 수도 있다.
다음으로, 프로세스(1400)는 결정 블록(1408)로 진행하는데, 여기서, 다른 신경망 블록이 적용될지의 여부가 결정된다. 다른 블록이 적용될 것이다는 것이 결정되면, 프로세스(1400)는 액트(1406)로 복귀하는데, 여기서 다른 신경망 블록은 블록(1406)의 마지막 반복의 완료시 생성되는 이미지 데이터에 적용된다. 그렇지 않으면, 이 이미지 데이터는 액트(1410)에서 최종 재구성된 MR 이미지로서 출력된다.
본 발명자들은 현실 세계 MR 이미지에 대한 도 13a 내지 도 13e 및 14를 참조하는 것을 포함하여 본원에서 설명되는 신경망 아키텍쳐의 성능을 평가하였다. 이들 실험의 세부 사항은 다음에서 설명된다.
실험의 일부로서, Human Connectome Project(https:///www.humanconnectome.org/study/hcp-young-adult/document/1200-subjects-data-release)로부터 640 개의 랜덤하게 선택된 T1 가중(T1-weighted) 및 T2 가중 뇌 이미지가 획득되었다. 이미지 중 육백 개는 신경망을 트레이닝시키기 위해 사용되었고, 한편 이미지 중 40 개는 트레이닝된 신경망의 성능을 평가하기 위해 사용되었다. 현실적인 시뮬레이션을 수행하기 위해, 다수의 사전 프로세싱 단계가 수행되었다. 첫째, Human Connectome Project로부터 단지 크기 이미지만이 제공되었기 때문에, 랜덤하게 샘플링된 낮은 차수 계수를 갖는 이차원 푸리에 베이스(Fourier base)를 사용하여 크기 데이터에 위상 정보를 추가하는 것에 의해 복소 값의 이미지가 생성되었다. 둘째, 이미지는, MRI RF 코일의 분석 모델로부터 유도된, 공간적으로 국소화된 복소 코일 감도 프로파일로 승산되었다. 마지막으로, 병렬 이미지 획득의 경우에 관찰 가능한 현실적인 양의 노이즈가 이미지에 추가되었다. 실험을 위해, 이미지는, 매트릭스 사이즈 643, 1283, 및 1923로 각각 귀결되는 3.4×3.4×3.4 mm3, 1.7×1.7×1.7 mm3 및 1.15×1.15×1.15 mm3의 등방적 해상도를 갖는 180×180×180 mm3의 시야(field of view; FOV)로 재샘플링되었다.
이들 실험에서, 불균일 MR 데이터 재구성의 거동을 연구하기 위해, 단일의 코일 재구성이 평가된다. MR 데이터는 2D 불균일 가변 밀도를 사용하여 언더샘플링되었는데, 여기서 샘플링 밀도는 2차 속도로 k 공간 중심으로부터 감쇠한다. 각각의 매트릭스 사이즈에 대해, 목표 가속도 인자(R∈{2, 4})를 갖는 샘플링 궤적이 생성되었다. 평가를 위해, 평균 제곱 오차(MSE), 구조적 유사도 지수 측정(structural similarity index measurement; SSIM), 및 피크 신호 대 노이즈 비(peak signal-to-noise ratio; PSNR)를 측정하였다.
본원에서 개발되는 기술은 다음의 것을 포함하는 불균일 MR 데이터에 적용되었던 다수의 종래 기술을 사용하여 개발되었다: (1) AUTOMAP(Zhu B., et al.: Image reconstruction by domain-transform manifold learning. Nature 555(7697), 487 (2018)); (2) 이미지 도메인 U-net(Han, Y., et al.: Deep learning with domain adaptation for acceleration projection-reconstruction MR. Magnetic resonance in medicine 80(3), 118-1205 (2018)); 및 (3) k 공간 도메인 U-net). 모든 딥 러닝 방법은 MSE를 사용하여 트레이닝되었다. 그것의 높은 GPU 메모리 요건에 기인하여, AUTOMAP은 64×64의 매트릭스 사이즈에 대해서만 트레이닝되었다. 도 13a 내지 도 13d에서 도시되는 아키텍쳐를 갖는 NVN 접근법의 경우, 각각의 컨볼루션 서브 블록에 대해 3 개 레벨의 다운샘플링(예를 들면, 도 13d 참조)을 갖는 U-net이다. 블록 수에 대해서는 Nit = 5 개의 블록이 사용되었고, finit에 대해서는 딸림(
Figure pct00110
)이 사용되었다. GNVN 접근법의 경우, 5 레이어 컨볼루션 신경망이 사용되었다(fsensor-cnn). 각각의 네트워크는 α = 10-4, β1 = 0.9, β2 = 0.999를 갖는 Adam(아담) 최적화기(optimizer)를 사용하여 8,000 에포크 동안 트레이닝되었다. 모든 메소드는 TensorFlow에서 구현되었다.
평가의 결과는 하기의 표 1에서 요약된다. 발명자들이 개발한 NVN 및 GNVN 접근법은 가속 요인 둘 모두에 대한 기준 접근법(baseline approach)을 지속적으로 능가하였다. AUTOMAP 및 k 공간 U-net 둘 모두는 다른 방법과 비교하여 성능이 낮았다.
Figure pct00111
표 1. 가속 인자(R)(2 및 4)에 대한 정량적 결과. 각각의 메트릭에 대해, 평균 및 표준 편차가 계산된다. 평균 제곱 오차(MSE)의 경우, 값은 103만큼 스케일링되었다.
NVN과 GNVN 접근법 사이에서와 같이, NVN 접근법이 더 높은 데이터 충실도(더 낮은 평균 제곱 오차)를 보였지만, GNVN 접근법은 PSNR 및 SSIM에 대해 더 나은 값을 제공하였다. R = 2에 대한 T1 가중된 이미지 및 R = 4에 대한 T2 가중된 이미지의 샘플 재구성은 각각 도 15a 및 도 15b에서 도시된다. U-net, NVN 및 GNVN 사이의 전체적인 차이가 작았지만, NVN 및 GNVN으로부터의 재구성은, 데이터 일관성 프로세싱 때문에, 더 낮은 오차로 나타났다. GNVN은 가장 낮은 전체 오차로 나타났고 세밀한 세부 사항을 더 많이 보존하였다. 그럼에도 불구하고, 추가된 노이즈에 기이하여, 모든 이미지에서 소정 레벨의 블러링(blurriness)이 관찰될 수 있다. 다시, 단일의 코일에 대한 U-net(k 공간)은 품질면에서 차선의 재구성으로 나타났다. 도 15c에서는, 각각의 블록에서의 NVN 및 GNVN의 출력을 시각화한다. 흥미롭게도, 압축된 감지 방법과는 달리, 중간 이미지는 최종 이미지와는 다를 수 있다. 그러한 거동을 강제하기 위한 어떠한 제약도 없었기 때문에, 이것은 놀라운 일이 아니다. NVN의 경우, 각각의 블록의 대부분의 출력은, 아마도 DC-i 및 CNN-i 블록의 출력이 명시적으로 결합되기 때문에, 지상 검증에 더 가깝게 보인다. 대조적으로, GNVN은, 주로 고주파 정보를 강조하는 모든 중간 스테이지에서 더 흥미로운 피쳐를 보여주었다.
이들 실험에서, 파라미터의 수는, AUTOMAP(64×64), U-net, NVN, GNVN에 대해, 각각, 128.1M, 22.0M, 6.6M 및 7.3M이었다. 재구성 속도는, AUTOMAP(이미지 사이즈 643의 경우), U-net, U-net(k 공간), NVN 및 GNVN(각각 이미지 사이즈 1923의 경우)의 경우에, 5.928 ± 0.020 ms, 19.145 ± 0.072 ms, 19.459 ± 0.077 ms, 44.934 ± 0.088 ms 및 65.520 ± 0.100 ms이었다.
도 16은 MRI 시스템(1600)의 예시적인 컴포넌트의 블록도이다. 도 16의 예시적인 예에서, MRI 시스템(1600)은, 워크스테이션(1604), 컨트롤러(1606), 펄스 시퀀스 저장소(pulse sequences store; 1608), 전력 관리 시스템(1610), 및 자기 컴포넌트(1620)를 포함한다. 시스템(1600)은 예시적인 것이다는 것 및 MRI 시스템은 도 16에서 예시되는 컴포넌트에 추가하여 또는 그 컴포넌트 대신 임의의 적절한 타입의 하나 이상의 다른 컴포넌트를 구비할 수도 있다는 것이 인식되어야 한다.
도 16에서 예시되는 바와 같이, 자기 컴포넌트(1620)는 B0 자석(1622), 심 코일(shim coil; 1624), RF 송신 및 수신 코일(1626), 및 그래디언트 코일(1628)을 포함한다. B0 자석(1622)은, 적어도 부분적으로, 메인 자기장(B0)을 생성하기 위해 사용될 수도 있다. B0 자석(1622)은, 메인 자기장(예를 들면, 대략 0.2T 이하의 저자계 강도)을 생성할 수 있는 임의의 적절한 타입의 자석일 수도 있고, 하나 이상의 B0 코일, 보정 코일, 등등을 포함할 수도 있다. 심 코일(1624)은, 자석(1622)에 의해 생성되는 B0 자계의 균질성(homogeneity)을 향상시키도록 자기장(들)에 기여하기 위해 사용될 수도 있다. 그래디언트 코일(1628)은 그래디언트 자계를 제공하도록 배열될 수도 있고, 예를 들면, MR 신호가 유도되는 곳을 국소화하기 위해 세 개의 실질적으로 직교하는 방향(X, Y, Z)의 자기장에서 그래디언트를 생성하도록 배열될 수도 있다.
RF 송신 및 수신 코일(1626)은 자기장(B1)을 유도하기 위해 RF 펄스를 생성하도록 사용될 수도 있는 하나 이상의 송신 코일을 포함할 수도 있다. 송신/수신 코일(들)은, 피실험자에서 MR 응답을 여기하도록 그리고 방출되는 결과적으로 나타나는 MR 신호를 검출하도록 구성되는 임의의 적절한 타입의 RF 펄스를 생성하도록 구성될 수도 있다. RF 송신 및 수신 코일(1626)은 하나의 또는 다수의 송신 코일 및 하나의 또는 다수의 수신 코일을 포함할 수도 있다. 송신/수신 코일의 구성은 구현예에 따라 다르며 송신 및 수신 둘 모두를 위한 단일의 코일, 송신 및 수신을 위한 별개의 코일, 송신 및/또는 수신을 위한 다수의 코일, 또는 단일의 채널 또는 병렬 MRI 시스템을 달성하기 위한 임의의 조합을 포함할 수도 있다. 따라서, 송신/수신 자기 컴포넌트는 MRI 시스템의 송신 및 수신 컴포넌트에 대한 다양한 구성을 일반적으로 지칭하기 위해 종종 Tx/Rx 또는 Tx/Rx 코일로 지칭된다.
자기 컴포넌트(1620)의 각각은 임의의 적절한 타입일 수도 있고 임의의 적절한 방식으로 구성될 수도 있다. 예를 들면, 몇몇 실시형태에서, B0 자석(1622)은 (예를 들면, 도 17a 및 도 17b 및 18a 및 도 18b를 참조하여 아래에 설명되는 바와 같이) 전자석 또는 영구 자석일 수도 있다. 다른 예로서, 몇몇 실시형태에서, 하나 이상의 자기 컴포넌트(1620)(예를 들면, 심 코일(1624) 및/또는 그래디언트 코일(1628))은 라미네이트 기술(laminate technique)을 사용하여 제조될 수도 있다.
전력 관리 시스템(1610)은 저자계 MRI 시스템(1600)의 하나 이상의 컴포넌트에 동작 전력을 제공하기 위한 전자기기를 포함한다. 예를 들면, 전력 관리 시스템(1610)은 하나 이상의 전력 공급부(power supply), 그래디언트 전력 증폭기(gradient power amplifier), 송신 코일 증폭기 및/또는 저자계 MRI 시스템(1600)의 컴포넌트를 활성화하고 동작시키기 위해 적절한 동작 전력을 제공하는 데 필요한 임의의 다른 적절한 전력 전자기기를 포함할 수도 있다.
도 16에서 예시되는 바와 같이, 전력 관리 시스템(1610)은 전력 공급부(1612), 증폭기(들)(1614), 송신/수신 스위치(1616), 및 열 관리 컴포넌트(1618)를 포함한다. 전력 공급부(1612)는 저자계 MRI 시스템(1600)의 자기 컴포넌트(1620)에 동작 전력을 제공하기 위한 전자기기를 포함한다. 예를 들면, 몇몇 실시형태에서, 전력 공급부(1612)는, 저자계 MRI 시스템에 대한 메인 자기장을 생성하기 위한 하나 이상의 B0 코일(예를 들면, B0 자석(1622)), 하나 이상의 심 코일(1624), 및/또는 하나 이상의 그래디언트 코일(1628)에 동작 전력을 제공하기 위한 전자기기를 포함할 수도 있다. 몇몇 실시형태에서, 전력 공급부(1612)은 단극의(unipolar) 연속파(continuous wave; CW) 전력 공급부일 수도 있지만, 그러나, 임의의 적절한 전력 공급부가 사용될 수도 있다. 송신/수신 스위치(1616)는 RF 송신 코일이 동작되고 있는지 또는 RF 수신 코일이 동작되고 있는지의 여부를 선택하기 위해 사용될 수도 있다.
몇몇 실시형태에서, 증폭기(들)(1614)는, 하나 이상의 RF 수신 코일(예를 들면, 코일(1624))에 의해 검출되는 MR 신호를 증폭하는 하나 이상의 RF 수신(Rx) 전치 증폭기(pre-amplifier), 하나 이상의 RF 송신 코일(예를 들면, 코일(1626))에 전력을 제공하도록 구성되는 하나 이상의 RF 송신(Tx) 증폭기, 하나 이상의 그래디언트 코일(예를 들면, 그래디언트 코일(1628))에 전력을 제공하도록 구성되는 하나 이상의 그래디언트 전력 증폭기, 및/또는 하나 이상의 하나 이상의 심 코일(예를 들면, 심 코일(1624))에 전력을 제공하도록 구성되는 하나 이상의 심 증폭기(shim amplifier)를 포함할 수도 있다.
몇몇 실시형태에서, 열 관리 컴포넌트(1618)는 저자계 MRI 시스템(1600)의 컴포넌트에 대해 냉각을 제공하고, 그들 컴포넌트로부터 멀어지는 저자계 MRI 시스템(1600)의 하나 이상의 컴포넌트에 의해 생성되는 열 에너지의 전달을 가능하게 하는 것에 의해 그렇게 하도록 구성될 수도 있다. 열 관리 컴포넌트(1618)는, B0 코일, 그래디언트 코일, 및/또는 송신/수신 코일을 포함하는 그러나 이들로 제한되지는 않는 열을 발생시키는 MRI 컴포넌트와 통합될 수도 있는 또는 그 MRI 컴포넌트에 근접하여 배열될 수도 있는, 물 기반의(water-based) 또는 공기 기반의 냉각을 수행하기 위한 컴포넌트를, 제한 없이, 포함할 수도 있다. 열 관리 컴포넌트(1618)는 저자계 MRI 시스템(1600)의 컴포넌트로부터 멀어지게 열을 전달하기 위해, 공기 및 물을 포함하는 그러나 이들로 제한되지는 않는 임의의 적절한 열 전달 매체를 포함할 수도 있다.
도 16에서 예시되는 바와 같이, 저자계 MRI 시스템(1600)은, 전력 관리 시스템(1610)으로 명령어를 전송하고 전력 관리 시스템(1610)으로부터 정보를 수신하는 제어 전자기기를 갖는 컨트롤러(1606)(콘솔로 또한 지칭됨)를 포함한다. 컨트롤러(1606)는, 자기 컴포넌트(1620)를 소망되는 시퀀스로 동작시키기 위해 전력 관리 시스템(1610)으로 전송되는 명령어를 결정하기 위해 사용되는 하나 이상의 펄스 시퀀스를 구현하도록 구성될 수도 있다. 예를 들면, 컨트롤러(1606)는 균형 잡힌 정상 상태 자유 세차 운동(balanced steady-state free precession; bSSFP) 펄스 시퀀스, 저자계 그래디언트 에코 펄스 시퀀스(low-field gradient echo pulse sequence), 저자계 스핀 에코 펄스 시퀀스(low-field spin echo pulse sequence), 저자계 반전 회복 펄스 시퀀스(low-field inversion recovery pulse sequence), 동맥 스핀 라벨링(arterial spin labeling), 확산 가중 이미징(diffusion weighted imaging; DWI), 및/또는 임의의 다른 적절한 펄스 시퀀스에 따라 자기 컴포넌트(1620)를 동작시키기 위해 전력 관리 시스템(1610)을 제어하도록 구성될 수도 있다. 컨트롤러(1606)는, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 임의의 적절한 조합으로서 구현될 수도 있는데, 본원에서 제공되는 본 개시의 양태가 이 점에서는 제한되지 않기 때문이다.
몇몇 실시형태에서, 컨트롤러(1606)는, 하나 이상의 펄스 시퀀스의 각각에 대한 정보를 저장하는 펄스 시퀀스 저장소(1608)로부터 펄스 시퀀스에 관한 정보를 획득하는 것에 의해 펄스 시퀀스를 구현하도록 구성될 수도 있다. 특정한 펄스 시퀀스에 대한 펄스 시퀀스 저장소(1608)에 의해 저장되는 정보는, 컨트롤러(1606)가 특정한 펄스 시퀀스를 구현하는 것을 허용하는 임의의 적절한 정보일 수도 있다. 예를 들면, 펄스 시퀀스에 대한 펄스 시퀀스 저장소(1608)에 저장되는 정보는, 펄스 시퀀스에 따라 자기 컴포넌트(1620)를 동작시키기 위한 하나 이상의 파라미터(예를 들면, RF 송신 및 수신 코일(1626)을 동작시키기 위한 파라미터, 그래디언트 코일(1628)을 동작시키기 위한 파라미터, 등등), 펄스 시퀀스에 따라 전력 관리 시스템(1610)을 동작시키기 위한 하나 이상의 파라미터, 컨트롤러(1606)에 의한 실행시, 컨트롤러(1606)로 하여금 펄스 시퀀스에 따라 동작하도록 시스템(1600)을 제어하게 하는 명령어를 포함하는 하나 이상의 프로그램, 및/또는 임의의 다른 적절한 정보 포함할 수도 있다. 펄스 시퀀스 저장소(1608)에 저장되는 정보는 하나 이상의 비일시적 저장 매체 상에 저장될 수도 있다.
도 16에서 예시되는 바와 같이, 몇몇 실시형태에서, 컨트롤러(1606)는 수신된 MR 데이터(이것은, 몇몇 실시형태에서, 공간 주파수 도메인 MR 데이터일 수도 있음)를 프로세싱하도록 프로그래밍되는 컴퓨팅 디바이스(1604)와 상호 작용할 수도 있다. 예를 들면, 컴퓨팅 디바이스(1604)는, 공간 주파수 MR 데이터로부터 MR 이미지를 생성하기 위해 신경망 모델을 사용하는 본원에서 설명되는 기술 중 임의의 것을 사용하는 것을 포함하는 임의의 적절한 이미지 재구성 프로세스(들)를 사용하여 하나 이상의 MR 이미지를 생성하기 위해 수신된 MR 데이터를 프로세싱할 수도 있다. 예를 들면, 컴퓨팅 디바이스(1604)는 도 2a, 도 2b, 도 2c, 도 2d, 및 도 14를 참조하여 본원에서 설명되는 프로세스 중 임의의 것을 수행할 수도 있다. 컨트롤러(1606)는, 컴퓨팅 디바이스에 의한 데이터의 프로세싱을 위해 컴퓨팅 디바이스(1604)에 하나 이상의 펄스 시퀀스에 관한 정보를 제공할 수도 있다. 예를 들면, 컨트롤러(1606)는 하나 이상의 펄스 시퀀스에 관한 정보를 컴퓨팅 디바이스(1604)에 제공할 수도 있고 컴퓨팅 디바이스는 제공된 정보에 적어도 부분적으로 기초하여 이미지 재구성 프로세스를 수행할 수도 있다.
몇몇 실시형태에서, 컴퓨팅 디바이스(1604)는 획득된 MR 데이터를 프로세싱하도록 그리고 이미지화되고 있는 피실험자의 하나 이상의 이미지를 생성하도록 구성되는 임의의 전자 디바이스 또는 디바이스일 수도 있다. 몇몇 실시형태에서, 컴퓨팅 디바이스(1604)는 데스크탑 컴퓨터, 서버, 랙 장착형 컴퓨터, 또는 MR 데이터를 프로세싱하도록 그리고 이미지화되고 있는 피실험자의 하나 이상의 이미지를 생성하도록 구성될 수도 있는 임의의 다른 적절한 고정식 전자 디바이스와 같은 고정식 전자 디바이스를 포함할 수도 있다. 대안적으로, 컴퓨팅 디바이스(1604)는, 스마트폰, 개인 휴대형 정보 단말(personal digital assistant), 랩탑 컴퓨터, 태블릿 컴퓨터, 또는 MR 데이터를 프로세싱하도록 그리고 이미지화되고 있는 피실험자의 하나 이상의 이미지를 생성하도록 구성될 수도 있는 임의의 다른 휴대용 디바이스와 같은 휴대용 디바이스일 수도 있다. 몇몇 실시형태에서, 컴퓨팅 디바이스(1304)는 임의의 적절한 타입의 다수의 컴퓨팅 디바이스를 포함할 수도 있는데, 본원에서 설명되는 본 기술의 양태가 이 점에서는 제한되지 않기 때문이다.
몇몇 실시형태에서, 유저(1602)는, 저자계 MR 시스템(1600)의 양태를 제어하기 위해(예를 들면, 특정한 펄스 시퀀스에 따라 동작하도록 시스템(1600)을 프로그래밍하기 위해, 시스템(1600)의 하나 이상의 파라미터를 조정하기 위해, 및 등등을 위해) 및/또는 저자계 MRI 시스템(1600)에 의해 획득되는 이미지를 보기 위해, 컴퓨팅 디바이스(1604)와 상호 작용할 수도 있다. 몇몇 실시형태에 따르면, 컴퓨팅 디바이스(1604) 및 컨트롤러(1606)는 단일의 컨트롤러를 형성하고, 한편, 다른 실시형태에서, 컴퓨팅 디바이스(1604) 및 컨트롤러(1606) 각각은 하나 이상의 컨트롤러를 포함한다. 컴퓨팅 디바이스(1604) 및 컨트롤러(1606)에 의해 수행되는 기능성(functionality)은 하나 이상의 컨트롤러의 임의의 조합을 통해 임의의 방식으로 분산될 수도 있다는 것이 이해되어야 하는데, 본원에서 설명되는 기술의 양태가 임의의 특정한 구현예 또는 아키텍쳐와의 사용에 대해 제한되지 않기 때문이다.
도 17a 및 도 17b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, B0 자석에 대한 이중 평면 영구 자석 구성을 예시한다. 도 17a는, 몇몇 실시형태에 따른, 영구 B0 자석(2100)을 예시한다. 예시된 실시형태에서, B0 자석(2100)은 이중 평면 기하학적 형상(bi-planar geometry)으로 배열되는 영구 자석(2110a 및 2110b) 및 영구 자석에 의해 생성되는 전자기 플럭스(electromagnetic flux)를 포획하고 플럭스를 대향하는 영구 자석으로 전달하여 영구 자석(2110a와 2110b) 사이의 플럭스 밀도를 증가시키는 요크(2120)에 의해 형성된다. 영구 자석(2110a 및 2110b)의 각각은 복수의 동심의 영구 자석 링(concentric permanent magnet ring)으로부터 형성된다. 특히, 도 17a에서 보이는 바와 같이, 영구 자석(2110b)은 영구 자석(2114a)의 외부 링, 영구 자석(2114b)의 중간 링, 영구 자석(2114c)의 내부 링, 및 중심에 있는 영구 자석 디스크(2114d)를 포함한다. 네 개의 동심 영구 자석 링과 함께 도시되지만, 영구 자석(2110b)(및 영구 자석(2110a))은 임의의 적절한 수의 영구 자석 링을 가질 수도 있는데, 본원에서 설명되는 기술의 양태가 이 점에서는 제한되지 않기 때문이다. 영구 자석(2110a)은 영구 자석(2110b)과 실질적으로 동일하게 형성될 수도 있고, 예를 들면, 영구 자석(2110b)과 동일한 세트의 영구 자석 링을 포함할 수도 있다.
사용되는 영구 자석 재료는 시스템의 설계 요건에 따라 선택될 수도 있다. 예를 들면, 몇몇 실시형태에 따르면, 영구 자석(또는 그 어떤 부분)은, 일단 자화되면 재료의 단위 볼륨당 상대적으로 높은 자기장을 갖는 자기장을 생성하는 NdFeB로 만들어질 수도 있다. 몇몇 실시형태에서, SmCo 재료는 영구 자석, 또는 그 어떤 부분을 형성하기 위해 사용된다. NdFeB는 더 높은 자계 강도를 생성하지만(그리고 일반적으로 SmCo보다 덜 고가임), SmCo는 더 적은 열 드리프트를 나타내며 따라서 온도 변동의 직면시 더 안정적인 자기장을 제공한다. 다른 타입의 영구 자석 재료(들)도 또한 사용될 수도 있는데, 본원에서 설명되는 본 기술의 양태가 이 점에서는 제한되지 않기 때문이다. 일반적으로, 활용되는 영구 자석 재료의 타입 또는 타입은, 주어진 B0 자석 구현예의 자계 강도, 온도 안정성, 중량, 비용 및/또는 사용 요건의 용이성에 적어도 부분적으로 의존할 것이다.
몇몇 실시형태에서, 영구 자석 링은 영구 자석(2110a 및 2110b) 사이의 이미징 영역(시야)에서 소망되는 강도의 균질한 자계를 생성하도록 사이즈가 정해지고 배열된다. 도 17a에서 예시되는 예시적인 실시형태에서, 각각의 영구 자석 링은 복수의 세그먼트를 포함하는데, 각각의 세그먼트는 반경 방향에서 적층되며 각각의 링을 형성하기 위해 주변에 대해 서로 인접하게 위치되는 복수의 영구 자석 블록을 사용하여 형성된다. 본 발명자들은 각각의 영구 자석의 (링에 접하는 방향에서의) 폭을 변경하는 것에 의해, 더 적은 재료를 사용하면서 유용한 공간의 더 적은 낭비가 달성될 수도 있다는 것을 인식하였다. 예를 들면, 유용한 자기장을 생성하지 않는 스택 사이의 공간은 블록의 폭을 변경하는 것에 의해, 예를 들면, 블록의 반경 위치의 함수로서, 감소될 수 있고, 더 가까운 적합이 낭비되는 공간을 감소시키는 것 및 주어진 공간에서 생성될 수 있는 자기장의 양을 최대화하는 것을 허용할 수 있다. 블록의 치수는 소망되는 강도 및 균질성의 자기장 생성을 용이하게 하기 위해 임의의 소망되는 방식으로 또한 변경될 수도 있다. 예를 들면, 몇몇 실시형태에서, 상이한 링의 블록의 높이는 서로 상이할 수도 있고 및/또는 특정한 링 내의 하나 이상의 블록의 높이는 소망되는 강도 및 균질성의 자기장을 달성하기 위해 서로 상이할 수도 있다.
도 17a에서 도시되는 바와 같이, B0 자석(2100)은 영구 자석(2110a 및 2110b)에 의해 생성되는 자속(magnetic flux)을 포획하도록 그리고 그것을 B0 자석의 반대 쪽으로 지향시켜 영구 자석(2110a 및 2110b) 사이의 자속 밀도를 증가시키도록, 그에 의해 B0 자석의 시야 내에서 자계 강도를 증가시키도록 구성 및 배열되는 요크(2120)를 더 포함한다. 자속을 포획하고 그것을 영구 자석(2110a 및 2110b) 사이의 영역으로 지향시키는 것에 의해, 소망되는 자계 강도를 달성하기 위해 더 적은 영구 자석 재료가 사용될 수 있으며, 따라서 B0 자석(2100)의 사이즈, 중량 및 비용을 감소시킬 수 있다. 대안적으로, 주어진 영구 자석의 경우, 자계 강도는 증가될 수 있고, 따라서 증가된 양의 영구 자석 재료를 사용하지 않고도 시스템의 SNR을 향상시킬 수 있다. 예시적인 B0 자석(2100)의 경우, 요크(2120)는 프레임(2122) 및 플레이트(2124a 및 2124b)를 포함한다. 플레이트(2124a 및 2124b)는 영구 자석(2110a 및 2110b)에 의해 생성되는 자속을 포획하고 그것을 프레임(2122)으로 지향시켜 요크의 자기 복귀 경로(magnetic return path)를 통해 순환되게 하여 B0 자석의 시야에서 자속 밀도를 증가시킬 수도 있다. 요크(2120)는, 요크에 대한 소망되는 자기 속성을 제공하기 위해, 임의의 소망되는 강자성 재료(ferromagnetic material), 예를 들면, 저탄소 강, CoFe 및/또는 실리콘 강, 등등으로 구성될 수도 있다. 몇몇 실시형태에서, 플레이트(2124a 및 2124b)(및/또는 프레임(2122) 또는 그 일부)는, 그래디언트 코일이 와전류를 가장 널리 유도할 수 있는 영역에서 실리콘 강 또는 등등으로 구성될 수도 있다.
예시적인 프레임(2122)은 플레이트(2124a 및 2124b)에 각각 부착되는 암(2123a 및 2123b), 및 영구 자석에 의해 생성되는 플럭스에 대한 자기 복귀 경로를 제공하는 지지부(2125a 및 2125b)를 포함한다. 암은 일반적으로, 영구 자석에 의해 생성되는 자속에 대한 복귀 경로에 대한 충분한 단면을 제공하면서 영구 자석을 지지하는 데 필요한 재료의 양을 감소시키도록 설계된다. 프레임(2122)은 B0 자석에 의해 생성되는 B0 자계에 대한 자기 복귀 경로 내에 두 개의 지지부를 가지고 있다. 지지부(2125a 및 2125b)는 그들 사이에서 형성되는 갭(2127)을 가지고 생성되어, 영구 자석에 의해 생성되는 자속에 대한 충분한 단면을 제공하면서 프레임에 대한 안정성 및/또는 구조체에 대한 가벼움의 방책을 제공한다. 예를 들면, 자속의 복귀 경로에 대해 필요로 되는 단면은 두 개의 지지 구조체 사이에서 분할될 수 있고, 따라서 프레임의 구조적 무결성을 증가시키면서 충분한 복귀 경로를 제공할 수 있다.
도 17b는, 몇몇 실시형태에 따른, B0 자석(2200)을 예시한다. B0 자석(2200)은 도 17a에서 예시되는 B0 자석(2100)과 설계 컴포넌트를 공유할 수도 있다. 특히, B0 자석(2200)은 영구 자석에 의해 생성되는 전자기 플럭스를 포획하도록 그리고 플럭스를 대향하는 영구 자석으로 전달하여 영구 자석(2210a와 2210b) 사이의 플럭스 밀도를 증가시키도록 영구 자석에 커플링되는 요크(2220)를 가지고 이중 평면 기하학적 형상으로 배열되는 영구 자석(2210a 및 2210b)에 의해 형성된다. 영구 자석(2210a 및 2210b)의 각각은, 영구 자석(2214a)의 외부 링, 영구 자석(2214b)의 중간 링, 영구 자석(2214c)의 내부 링, 및 중심에 있는 영구 자석 디스크(2214d)를 포함하는 영구 자석(2210b)에 의해 도시되는 바와 같이, 복수의 동심의 영구 자석으로부터 형성된다. 영구 자석(2210a)은 영구 자석(2210b)과 동일한 세트의 영구 자석 엘리먼트를 포함할 수도 있다. 사용되는 영구 자석 재료는 시스템의 설계 요건에 따라 선택될 수도 있다(예를 들면, 소망되는 속성에 따라 NdFeB, SmCo, 등등).
영구 자석 링은 영구 자석(2210a 및 2210b) 사이의 중앙 영역(시야)에서 소망되는 강도의 균질한 자계를 생성하도록 사이즈가 정해지고 배열된다. 도 17b의 예시적인 실시형태에서, 각각의 영구 자석 링은, 소망되는 B0 자기장을 생성하도록 사이즈가 정해지고 배치되는 복수의 원호 세그먼트(circular arc segment)를 포함한다. 도 17a에서 예시되는 요크(2120)와 유사한 방식으로, 요크(2220)는 영구 자석(2210a 및 2210b)에 의해 생성되는 자속을 포획하도록 그리고 그것을 B0 자석의 반대 쪽으로 지향시켜 영구 자석(2210a 및 2210b) 사이의 자속 밀도를 증가시키도록 구성 및 배열된다. 그에 의해, 요크(2220)는 더 적은 영구 자석 재료를 사용하여 B0 자석의 시야 내에서 자계 강도를 증가시키고, B0 자석의 사이즈, 중량 및 비용을 감소시킨다. 요크(2220)는 또한, 요크(2220)와 관련하여 상기에서 설명되는 것과 유사한 방식으로, 영구 자석(2210a)에 의해 그리고 요크의 자기 복귀 경로를 통해 생성되는 자속을 포획 및 순환시켜, B0 자석의 시야에서 자속 밀도를 증가시키는 프레임(2222) 및 플레이트(2224a 및 2224b)를 포함한다. 요크(2220)의 구조체는, 영구 자석에 의해 생성되는 그리고 예를 들면, B0 자석의 비용 및 중량을 감소시키기 위해 사용되는 재료의 양을 감소시키면서, 충분한 안정성을 제공하는 자속을 수용하기에 충분한 재료를 제공하기 위해, 상기에서 설명되는 것과 유사할 수도 있다.
영구 B0 자석이, 일단 자화되면, 그 자신의 지속적인 자기장을 생성할 것이기 때문에, 영구 B0 자석을 동작시켜 그것의 자기장을 생성하는 데 전력은 필요로 되지 않는다. 결과적으로, (예를 들면, 전력을 필요로 하는 전자석과는 대조적으로) 영구 자석의 사용을 통해 MRI 시스템의 전체 전력 소비에 대한 상당한(종종 지배적인) 기여자가 제거되어, (예를 들면, 표준 벽 콘센트 또는 일반적인 대용량 가전 제품 콘센트(common large household appliance outlet)를 통한) 메인 전기를 사용하여 전력을 공급받을 수 있는 MRI 시스템의 개발을 용이하게 한다. 상기에서 설명되는 바와 같이, 본 발명자들은, 실질적으로 임의의 환경에서 배치될 수 있는 그리고 이미징 프로시져를 겪게 될 환자에게 가져갈 수 있는 저전력의 휴대용 저자계 MRI 시스템을 개발하였다. 이러한 방식으로, 응급실, 중환자실(intensive care unit), 수술실 및 많은 다른 위치에 있는 환자는, 종래에는 MRI가 이용 가능하지 않았던 상황에서 MRI로부터의 이점을 누릴 수 있다.
도 18a 및 도 18b는, 본원에서 설명되는 기술의 몇몇 실시형태에 따른, 휴대용 MRI 시스템(3800)의 뷰를 예시한다. 휴대용 MRI 시스템(3800)은, 이미징 영역 내의 자속 밀도를 증가시키기 위해 요커(3820)가 커플링된 상부 자석(3810a) 및 하부 자석(3810b) 의해 부분적으로 형성되는 B0 자석(3810) 포함한다. B0 자석(3810)은 그래디언트 코일(3815)(예를 들면, 참조에 의해 그 전체가 본원에 통합되는, 2015년 9월 4일자로 출원되고 발명의 명칭이 "Low Field Magnetic Resonance Imaging Methods and Apparatus"인 미국 특허 출원 번호 제14/845,652호에서 설명되는 그래디언트 코일 중 임의의 것)과 함께 자석 하우징(3812)에 내에 수용될 수도 있다. 몇몇 실시형태에서, B0 자석(3810)은 전자석을 포함한다. 몇몇 실시형태에서, B0 자석(3810)은 영구 자석(예를 들면, 참조에 의해 그 전체가 본원에 통합되는, 2017년 6월 30일자로 출원된 발명의 명칭이 "LOW-FIELD MAGNETIC RESONANCE IMAGING METHODS AND APPARATUS"인 미국 출원 번호 제15/640,369호에서 설명되는 임의의 영구 자석)을 포함한다. 예를 들면, 몇몇 실시형태에서, B0 자석(3810)은 도 17a를 참조하여 설명되는 영구 자석(2100) 또는 도 17b를 참조하여 설명되는 영구 자석(2200)일 수도 있다.
예시적인 휴대용 MRI 시스템(3800)은 MRI 시스템을 동작시키는 전자기기를 수용하는 베이스(3850)를 더 포함한다. 예를 들면, 베이스(3850)은, 하나 이상의 그래디언트 전력 증폭기, 온 시스템 컴퓨터(on-system computer), 전력 분배 유닛, 하나 이상의 전력 공급부, 및/또는 (예를 들면, 표준 벽 콘센트 및/또는 대형 가전 제품 콘센트에 대한 연결을 통한) 메인 전기를 사용하여 MRI 시스템을 동작시키도록 구성되는 임의의 다른 전력 컴포넌트를 포함하는, 그러나 이들로 제한되지는 않는 전자기기를 수용할 수도 있다. 예를 들면, 베이스(3870)는 본원에서 설명되는 것들과 같은 저전력 컴포넌트를 수용할 수도 있어서, 적어도 부분적으로, 휴대용 MRI 시스템이 쉽게 이용 가능한 벽 콘센트로부터 전력을 공급받는 것을 가능하게 할 수도 있다. 따라서, 휴대용 MRI 시스템(3800)을 환자에게 가져가서 그의 또는 그녀의 근처의 벽 콘센트에 플러그를 꽂을 수 있다.
휴대용 MRI 시스템(3800)은, 다양한 구성으로 개폐되고 및 배치될 수 있는 이동 가능한 슬라이드(3860)를 더 포함한다. 슬라이드(3860)는, 휴대용 MRI 시스템의 동작 환경에서 전자기 노이즈를 감쇠시키기 위한 이동 가능한 차폐물을 형성하여 적어도 어떤 전자기 노이즈로부터 이미징 영역을 차폐하기 위해, 임의의 적절한 전도성 또는 자성 재료로 제조될 수 있는 전자기 차폐물(3865)을 포함한다. 본원에서 사용될 때, 용어 전자기 차폐물은 주목하는 스펙트럼에서 전자기장을 감쇠시키도록 구성되는 또는 주목하는 공간, 오브젝트 및/또는 컴포넌트를 차폐하도록 배치되는 배열되는 전도성 또는 자성 재료를 지칭한다. MRI 시스템의 맥락에서, 전자기 차폐물은, MRI 시스템의 전자 컴포넌트(예를 들면, 전력 컴포넌트, 케이블, 등등)를 차폐하기 위해, MRI 시스템의 이미징 영역(예를 들면, 시야)을 차폐하기 위해, 또는 둘 모두를 위해 사용될 수도 있다.
전자기 차폐물로부터 달성되는 감쇠의 정도는 사용되는 타입 재료, 재료 두께, 전자기 차폐가 소망되는 또는 요구되는 주파수 스펙트럼, 전자기 차폐물에서의 어퍼쳐의 사이즈 및 형상(예를 들면, 전도성 메쉬의 공간의 사이즈, 차폐물에서의 갭 또는 차폐되지 않은 부분의 사이즈, 등등) 및/또는 입사 전자기장에 대한 어퍼쳐의 방위를 포함하는 다수의 요인에 의존한다. 따라서, 전자기 차폐물은, 적어도 어떤 전자기 방사선을 감쇠시키도록 역할을 하는 그리고 적어도 어떤 전자기 방사선을 감쇠시키는 것에 의해 주어진 공간, 오브젝트 또는 컴포넌트를 적어도 부분적으로 차폐하도록 배치되는 임의의 전도성 또는 자기 배리어를 일반적으로 지칭한다.
차폐(전자기장의 감쇠)가 소망되는 주파수 스펙트럼은 차폐되고 있는 것에 따라 상이할 수도 있다는 것이 인식되어야 한다. 예를 들면, 소정의 전자 컴포넌트에 대한 전자기 차폐물은 MRI 시스템의 이미징 영역에 대한 전자기 차폐물과는 상이한 주파수를 감쇠하도록 구성될 수도 있다. 이미징 영역에 관하여, 주목하는 스펙트럼은, MR 반응을 자극하고 검출하는 MRI 시스템의 능력에 영향을 끼치는, 영향을 주는 및/또는 저하시키는 주파수를 포함한다. 일반적으로, MRI 시스템의 이미징 영역에 대한 주목하는 스펙트럼은, 수신 시스템이 검출하도록 구성되는 또는 검출할 수 있는 주어진 B0 자기장 강도에서 공칭 동작 주파수(즉, Larmor(라머) 주파수)에 대한 주파수에 대응한다. 이 스펙트럼은 본원에서 MRI 시스템에 대한 동작 스펙트럼으로서 지칭된다. 따라서, 동작 스펙트럼에 대한 차폐를 제공하는 전자기 차폐물은, MRI 시스템의 이미징 영역의 적어도 일부에 대한 적어도 동작 스펙트럼 내에서 주파수를 감쇠시키도록 배열되는 또는 배치되는 전도성 또는 자성 재료를 가리킨다.
도 18a 및 도 18b에서 예시되는 휴대용 MRI 시스템(3800)에서, 이동 가능한 차폐물은, 환자를 수용하기 위해, 환자에 대한 액세스를 제공하기 위해, 및/또는 주어진 이미징 프로토콜에 따라 필요시 조정될 수 있는 상이한 배열에서 차폐를 제공하도록 구성 가능하다. 예를 들면, 뇌 스캔과 같은 이미징 프로시져의 경우, 일단 환자가 배치되면, 슬라이드(3960)는, 환자의 상부 몸통(upper torso)을 수용하는 개구를 제외하면, 이미징 영역 주위에서 전자기 차폐(3965)를 제공하기 위해, 예를 들면, 핸들(3862)을 사용하여 닫힐 수 있다. 다른 예로서, 무릎 스캔과 같은 이미징 프로시져의 경우, 슬라이드(3960)는 환자의 다리 또는 다리들을 수용하기 위해 양쪽에서 개구를 가지도록 배열될 수도 있다. 따라서, 이동 가능한 차폐물은, 차폐물이, 이미징 프로시져에 적합한 배열에서 구성되는 것 및 이미징 영역 내에 환자를 적절하게 배치하는 것을 용이하게 하는 것을 허용한다.
몇몇 실시형태에서, 차단되지 않은 또는 차폐물(3865)에 의해 충분히 감쇠되지 않은 전자기 노이즈의 적어도 일부를 억제하기 위해, 하나 이상의 노이즈 감소 및/또는 보상 기술을 포함하는 노이즈 감소 시스템이 수행될 수도 있다. 특히, 본 발명자들은, MRI 시스템이 위치되는 동작 환경에서 전자기 노이즈를 억제, 방지 및/또는 거부하도록 구성되는 노이즈 감소 시스템을 개발하였다. 몇몇 실시형태에 따르면, 이들 노이즈 억제 기술은, 슬라이드가 배열될 수도 있는 다양한 차폐 구성에서 동작을 용이하게 하기 위해, 이동 가능한 차폐물과 연계하여 작동한다. 예를 들면, 슬라이드(3960)가 개방되는 경우, 증가된 레벨의 전자기 노이즈가 개구를 통해 이미징 영역으로 들어갈 가능성이 있을 것이다. 결과적으로, 노이즈 억제 컴포넌트는 증가된 전자기 노이즈 레벨을 검출하고 그에 따라 노이즈 억제 및/또는 방지 응답을 적응시킬 것이다. 본원에서 설명되는 노이즈 억제 및/또는 방지 기술의 동적 성질에 기인하여, 노이즈 감소 시스템은 이동 가능한 차폐물의 상이한 배열로부터 유래하는 것들을 비롯하여, 변화하는 노이즈 조건에 응답하도록 구성된다. 따라서, 몇몇 실시형태에 따른 노이즈 감소 시스템은, 실질적으로 차폐물이 없는 구성(예를 들면, 이동 가능한 차폐물이 없는 구성)을 비롯하여, 활용될 수도 있는 차폐 구성 중 임의의 것에서 MRI 시스템의 동작 환경에서 전자기 노이즈를 억제하기 위해, 이동 가능한 차폐물과 협력하여 동작하도록 구성될 수도 있다.
슬라이드가 배치되는 배열에 관계없이 이동 가능한 차폐물이 차폐를 제공한다는 것을 보장하기 위해, 이동 가능한 차폐물의 주변을 따라 연속적인 차폐를 제공하도록 전기 개스킷(electrical gasket)이 배열될 수도 있다. 예를 들면, 도 18b에서 도시되는 바와 같이, 전기 개스킷(3867a 및 3867b)은 이 인터페이스를 따라 연속적인 차폐를 계속 제공하기 위해, 슬라이드(3860)와 자석 하우징 사이의 인터페이스에서 제공될 수도 있다. 몇몇 실시형태에 따르면, 전기 개스킷은, 슬라이드(3860)가 이미징 영역에 대해 소망되는 위치로 이동하는 동안 그리고 그 이후에, 차폐물(3865)과 접지 사이에서 전기적 연결을 유지하는 베릴륨 핑거(beryllium finger) 또는 베릴륨-구리 핑거(beryllium-copper finger), 또는 등등(예를 들면, 알루미늄 개스킷)이다.
운반을 용이하게 하기 위해, 예를 들면, MRI 시스템 상에서 또는 MRI 시스템으로부터 원격에서 제공되는 조이스틱 또는 다른 제어 메커니즘과 같은 제어부를 사용하여, 휴대용 MRI 시스템이 한 위치에서 다른 위치로 구동되는 것을 허용하기 위해 전동 컴포넌트(3880)가 제공된다. 이러한 방식으로, 휴대용 MRI 시스템(3800)은 환자에게 운반될 수 있고 이미징을 수행하기 위해 침대 옆으로 이동될 수 있다.
본원에서 설명되는 휴대용 MRI 시스템은, 노트패드, 태블릿, 스마트폰, 등등과 같은 휴대용 전자 디바이스로부터 동작될 수도 있다. 예를 들면, 태블릿 컴퓨터(3875)는 소망되는 이미징 프로토콜을 실행하도록 그리고 결과적으로 나타나는 이미지를 보도록 휴대용 MRI 시스템을 동작시키기 위해 사용될 수도 있다. 태블릿 컴퓨터(3875)는 데이터 공유, 원격 의료, 및/또는 데이터 세트에 대한 딥 러닝을 위해 이미지를 전송하기 위해 보안 클라우드에 연결될 수도 있다. 참조에 의해 그 전체가 본원에 통합되는 2015년 9월 4일자로 출원된 발명의 명칭이 "Automatic Configuration of a Low Field Magnetic Resonance Imaging System"인 미국 출원 번호 제14/846158호에서 설명되는 네트워크 연결성을 활용하는 기술 중 임의의 것이 본원에서 설명되는 휴대용 MRI 시스템과 관련하여 활용될 수도 있다.
상기에서 논의되는 바와 같이, 도 18c는 뇌 스캔을 수행하기 위해 환자의 침대 옆으로 운반된 휴대용 MRI 시스템(3900)을 예시한다. 도 18d는 환자 무릎의 스캔을 수행하기 위해 환자의 침대 옆으로 운반된 휴대용 MRI 시스템(3900)을 예시한다. 도 18d에서 도시되는 바와 같이, 차폐물(3960)은 전기 개스킷(3867c)을 갖는다.
도 18a 내지 도 18d에서 예시되는 전자기 차폐물은 예시적이며 MRI 시스템에 대한 차폐물을 제공하는 것은 본원에서 설명되는 예시적인 전자기 차폐로 제한되지는 않는다는 것이 인식되어야 한다. 전자기 차폐물은 임의의 적절한 재료를 사용하여 임의의 적절한 방식으로 구현될 수 있다. 예를 들면, 전자기 차폐물은 이미징 영역을 차폐하기 위해 이동 가능한 "커튼"을 제공할 수 있는 전도성 메쉬, 직물, 등등을 사용하여 형성될 수도 있다. 전자기 차폐물은 전자기 간섭으로부터 이미징 영역을 차폐하기 위해 고정된, 이동 가능한 또는 구성 가능한 컴포넌트 중 어느 하나로서 MRI 시스템에 커플링되는 하나 이상의 전도성 스트랩(예를 들면, 전도성 재료의 하나 이상의 스트립)을 사용하여 형성될 수도 있는데, 그 몇몇 예는 하기에서 더 상세하게 설명된다. 전자기 차폐물은 도어, 슬라이드, 또는 하우징의 임의의 이동 가능한 또는 고정된 부분에 재료를 임베딩하는 것에 의해 제공될 수도 있다. 전자기 차폐물은 고정된 또는 이동 가능한 컴포넌트로서 배치될 수도 있는데, 그 양태가 이와 관련하여 제한되지 않기 때문이다.
도 19는, 본원에서 설명되는 실시형태가 구현될 수도 있는 예시적인 컴퓨터 시스템의 다이어그램이다. 본원에서 제공되는 개시의 실시형태 중 임의의 것과 관련하여 사용될 수도 있는 컴퓨터 시스템(1900)의 예시적인 구현예가 도 19에서 도시된다. 예를 들면, 도 2a 내지 도 2d 및 도 14를 참조하여 설명되는 프로세스는 컴퓨터 시스템(1900) 상에서 및/또는 그것을 사용하여 구현될 수도 있다. 다른 예로서, 컴퓨터 시스템(1900)은 본원에서 설명되는 신경망 통계 모델 중 임의의 것을 트레이닝하기 위해 및/또는 사용하기 위해 사용될 수도 있다. 컴퓨터 시스템(1900)은 하나 이상의 프로세서(1910) 및 비일시적 컴퓨터 판독 가능 저장 매체(예를 들면, 메모리(1920) 및 하나 이상의 비휘발성 저장 매체(1930))를 포함하는 하나 이상의 제조 물품을 포함할 수도 있다. 프로세서(1910)는 임의의 적절한 방식으로 메모리(1920) 및 비휘발성 저장 디바이스(1930)에 대한 데이터 기록 및 그로부터의 데이터 판독을 제어할 수도 있는데, 본원에서 제공되는 본 개시의 그 양태가 이와 관련하여 제한되지 않기 때문이다. 본원에서 설명되는 기능성 중 임의의 것을 수행하기 위해, 프로세서(1910)는, 프로세서(1910)에 의한 실행을 위한 프로세서 실행 가능 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체로서 기능할 수도 있는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체(예를 들면, 메모리 1920)에 저장되는 하나 이상의 프로세서 실행 가능 명령어를 실행할 수도 있다.
따라서, 본 개시에서 기술되는 기술의 여러 가지 양태 및 실시형태를 설명하였지만, 기술 분야의 숙련된 자라면 다양한 변경예, 수정예 및 향상예를 쉽게 떠올릴 수 있다는 것이 인식되어야 한다. 그러한 변경예, 수정예 및 향상예는, 본원에서 설명되는 기술의 취지 및 범위 내에 있는 것으로 의도된다. 예를 들면, 기술 분야에서 통상의 지식을 가진 자는, 본원에서 설명되는 하나 이상의 이점 및/또는 결과를 획득하기 위한 및/또는 기능을 수행하기 위한 다양한 다른 수단 및/또는 구조를 쉽게 구상할 것이고, 그러한 변형예 및/또는 수정예의 각각은 본원에서 설명되는 실시형태의 범위 내에 있는 것으로 간주된다. 기술 분야의 숙련된 자는, 일상적인 실험만을 사용하여, 본원에서 설명되는 특정한 실시형태에 대한 많은 등가예를 인식할 것이고, 또는 확인할 수 있을 것이다. 따라서, 전술한 실시형태는 단지 예로서 제시된다는 것, 및, 첨부된 청구 범위 및 그 등가물의 범위 내에서, 본 발명의 실시형태는 구체적으로 설명된 것과는 다르게 실시될 수도 있다는 것이 이해되어야 한다. 또한, 본원에서 설명되는 둘 이상의 피쳐, 시스템, 물품, 재료, 키트, 및/또는 방법의 임의의 조합은, 이러한 피쳐, 시스템, 물품, 재료, 키트, 및/또는 방법이 상호 불일치하지 않는 경우, 본 개시의 범위 내에 포함된다.
상기에서 설명된 실시형태는 임의의 다양한 방식으로 구현될 수 있다. 프로세스 또는 방법의 수행을 수반하는 본 개시의 하나 이상의 양태 및 실시형태는, 그 프로세스 또는 방법을 수행하기 위해, 또는 그 프로세스 또는 방법의 수행을 제어하기 위해, 디바이스(예를 들면, 컴퓨터, 프로세서, 또는 다른 디바이스)에 의해 실행 가능한 프로그램 명령어를 활용할 수도 있다. 이와 관련하여, 다양한 독창적인 개념이, 하나 이상의 컴퓨터 또는 다른 프로세서 상에서의 실행시, 상기에서 설명되는 다양한 실시형태 중 하나 이상을 구현하는 방법을 수행하는 하나 이상의 프로그램으로 인코딩되는 컴퓨터 판독 가능 저장 매체(또는 다수의 컴퓨터 판독 가능 저장 매체)(예를 들면, 컴퓨터 메모리, 하나 이상의 플로피 디스크, 컴팩트 디스크, 광학 디스크, 자기 테이프, 플래시 메모리, 필드 프로그래머블 게이트 어레이 또는 다른 반도체 디바이스에서의 회로 구성, 또는 다른 유형의(tangible) 컴퓨터 저장 매체)로서 구체화될 수도 있다. 컴퓨터 판독 가능 매체 또는 매체들은, 그 상에 저장되는 프로그램 또는 프로그램들이 하나 이상의 상이한 컴퓨터 또는 다른 프로세서 상에 로딩되어 상기에서 설명되는 양태 중 다양한 양태를 구현할 수 있도록, 운반 가능할 수 있다. 몇몇 실시형태에서, 컴퓨터 판독 가능 매체는 비일시적 매체일 수도 있다.
용어 "프로그램" 또는 "소프트웨어"는, 상기에서 설명되는 바와 같은 다양한 양태를 구현하기 위해 컴퓨터 또는 다른 프로세서를 프로그래밍하도록 활용될 수 있는 임의의 타입의 컴퓨터 코드 또는 컴퓨터 실행가능 명령어의 세트를 가리키기 위한 일반적인 의미로 본원에서 사용된다. 추가적으로, 하나의 양태에 따르면, 실행시 본 개시의 방법을 수행하는 하나 이상의 컴퓨터 프로그램은, 단일의 컴퓨터 또는 프로세서 상에 상주할 필요는 없고, 다수의 상이한 컴퓨터 또는 프로세서 사이에서 모듈 방식으로 분산되어 본 개시의 다양한 양태를 구현할 수도 있다는 것이 인식되어야 한다.
컴퓨터 실행 가능 명령어는, 하나 이상의 컴퓨터 또는 다른 디바이스에 의해 실행되는, 프로그램 모듈과 같은 많은 형태로 존재할 수도 있다. 일반적으로, 프로그램 모듈은, 특정한 작업을 수행하는 또는 특정 추상 데이터 타입을 구현하는, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 등등을 포함한다. 통상적으로, 프로그램 모듈의 기능성은 다양한 실시형태에서 소망되는 대로 결합 또는 분산될 수도 있다.
또한, 데이터 구조는, 임의의 적절한 형태로 컴퓨터 판독 가능 매체에 저장될 수도 있다. 예시의 간략화를 위해, 데이터 구조는, 데이터 구조에서의 위치를 통해 관련되는 필드를 갖는 것으로 보일 수도 있다. 그러한 관계는, 필드 사이의 관계를 전달하는 컴퓨터 판독 가능 매체 내에서의 위치를 가지고 필드에 대한 저장을 할당하는 것에 의해 마찬가지로 달성될 수도 있다. 그러나, 포인터, 태그 또는 데이터 요소 사이의 관계를 확립하는 다른 메커니즘의 사용을 통하는 것을 비롯하여, 데이터 구조의 필드에 있는 정보 사이의 관계를 확립하기 위해 임의의 적절한 메커니즘이 사용될 수도 있다.
소프트웨어로 구현되는 경우, 소프트웨어 코드는, 단일 컴퓨터에서 제공되든 또는 다수의 컴퓨터 사이에서 분산되든 간에, 임의의 적절한 프로세서 또는 프로세서의 콜렉션 상에서 실행될 수 있다.
또한, 컴퓨터는, 비제한적인 예로서, 랙 탑재형 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 또는 태블릿 컴퓨터와 같은 다수의 형태 중 임의의 형태로 구현될 수도 있다는 것이 인식되어야 한다. 추가적으로, 컴퓨터는, 개인 휴대형 정보 단말(Personal Digital Assistant; PDA), 스마트 폰 또는 임의의 다른 적절한 휴대형 또는 고정식 전자 디바이스를 비롯한, 일반적으로 컴퓨터로 간주되지 않는 그러나 적절한 프로세싱 성능을 갖는 디바이스에 임베딩될 수도 있다.
또한, 컴퓨터는 하나 이상의 입력 및 출력 디바이스를 구비할 수도 있다. 이들 디바이스는, 다른 것들 중에서도, 유저 인터페이스를 제시하기 위해 사용될 수 있다. 유저 인터페이스를 제공하기 위해 사용될 수 있는 출력 디바이스의 예는, 출력의 시각적 표현을 위한 프린터 또는 디스플레이 스크린 및 출력의 가청의 표현을 위한 스피커 또는 다른 소리 발생 디바이스를 포함한다. 유저 인터페이스를 위해 사용될 수 있는 입력 디바이스의 예는, 키보드, 및 포인팅 디바이스, 예컨대 마우스, 터치 패드, 및 디지타이징 태블릿을 포함한다. 다른 예로서, 컴퓨터는 음성 인식을 통해 또는 다른 가청 포맷으로 입력 정보를 수신할 수도 있다.
그러한 컴퓨터는, 근거리 통신망 또는 광역 네트워크, 예컨대 기업 네트워크, 및 지능형 네트워크(intelligent network; IN) 또는 인터넷을 비롯한, 임의의 형태의 하나 이상의 네트워크에 의해 상호 접속될 수도 있다. 그러한 네트워크는 임의의 적절한 기술에 기초할 수도 있으며, 임의의 적절한 프로토콜에 따라 동작할 수도 있고, 무선 네트워크, 유선 네트워크 또는 광섬유 네트워크를 포함할 수도 있다.
또한, 상기에서 설명되는 바와 같이, 몇몇 양태는 하나 이상의 방법으로서 구현될 수도 있다. 방법의 일부로서 수행되는 액트는 임의의 적절한 방식으로 순서가 정해질 수도 있다. 따라서, 예시된 것과는 상이한 순서로 액트가 수행되는 실시형태가 구성될 수도 있는데, 그 상이한 순서는, 비록 예시적인 실시형태에서는 순차적인 액트로서 나타내어지지만, 몇몇 액트를 동시에 수행하는 것을 포함할 수도 있다.
본원에서 정의되고 사용되는 바와 같은 모든 정의는, 사전적 정의, 참조에 의해 통합되는 문헌에서의 정의, 및/또는 정의된 용어의 일반적인 의미를 제어하는 것으로 이해되어야 한다.
본원의 본 명세서 및 청구의 범위에서 사용되는 바와 같은 부정 관사 "a(한)" 및 "an(한)"은, 그렇지 않다고 명확하게 나타내어지지 않는 한, "적어도 하나"를 의미하는 것으로 이해되어야 한다.
본원의 본 명세서 및 청구의 범위에서 사용되는 바와 같은 어구 "및/또는"은, 그렇게 결합되는 엘리먼트, 즉 몇몇 경우에 접속적으로(conjunctively) 존재하는 그리고 다른 경우에 이접적으로(disjunctively) 존재하는 엘리먼트의 "어느 하나 또는 둘 다"를 의미하는 것으로 이해되어야 한다. "및/또는"과 함께 열거되는 다수의 엘리먼트는, 동일한 방식으로 해석되어야 한다, 즉, 그렇게 결합되는 엘리먼트 중 "하나 이상"을 의미하는 것으로 해석해야 한다. 명시적으로 식별되는 그들 엘리먼트에 관련되든 또는 관련되지 않든 간에, "및/또는" 절에 의해 명시적으로 식별되는 엘리먼트 이외의 다른 엘리먼트가 옵션 사항으로(optionally) 존재할 수도 있다. 따라서, 비제한적인 예로서, "A 및/또는 B"에 대한 언급은, "포함하는(comprising)"과 같은 확장 가능한 언어(open-ended language)와 연계하여 사용되는 경우, 하나의 실시형태에서는, A만을(옵션 사항으로 B 이외의 엘리먼트를 포함함); 다른 실시형태에서는, B만을(옵션 사항으로 A 이외의 엘리먼트를 포함함); 또 다른 실시형태에서는, A 및 B 둘 다를(옵션 사항으로 다른 엘리먼트를 포함함); 등등을 가리킬 수 있다.
본원의 본 명세서 및 청구의 범위에서 사용되는 바와 같이, 하나 이상의 엘리먼트의 목록에 대한 참조에서 어구 "적어도 하나"는, 엘리먼트의 목록 내의 엘리먼트 중 임의의 하나 이상으로부터 선택되는 적어도 하나의 엘리먼트를 의미하는 것으로 이해되어야 하지만, 그러나 엘리먼트의 목록 내에서 명시적으로 열거되는 각각의 그리고 모든 엘리먼트 중 적어도 하나를 반드시 포함하는 것은 아니며 엘리먼트의 목록 내의 엘리먼트의 임의의 조합을 배제하는 것은 아니다. 이 정의는 또한, 명시적으로 식별되는 그들 엘리먼트에 관련되든 또는 관련되지 않든 간에, 어구 "적어도 하나"가 참조하는 엘리먼트의 목록 내에서 명시적으로 식별되는 엘리먼트 이외의 엘리먼트가 옵션 사항으로 존재할 수도 있다는 것을 허용한다. 따라서, 비제한적인 예로서, "A 및 B 중 적어도 하나"(또는, 등가적으로, "A 또는 B 중 적어도 하나", 또는, 등가적으로 "A 및/또는 B 중 적어도 하나")는, 하나의 실시형태에서는, B는 없이(그리고 옵션 사항으로 B 이외의 엘리먼트를 포함함), 옵션 사항으로 하나보다 많은 A를 포함하는 적어도 하나의 A; 다른 실시형태에서는, A는 없이(그리고 옵션 사항으로 A 이외의 엘리먼트를 포함함), 옵션 사항으로 하나보다 많은 B를 포함하는 적어도 하나의 B; 또 다른 실시형태에서는, 옵션 사항으로 하나보다 많은 A를 포함하는 적어도 하나의 A, 및 옵션 사항으로 하나보다 많은 B를 포함하는 적어도 하나의 B(및 옵션 사항으로 다른 엘리먼트를 포함함); 등등을 가리킬 수 있다.
청구범위에서 뿐만 아니라, 상기의 명세서에서, "포함하는(comprising)", "포함하는(including)", "지니는(carrying)", "구비하는(having)", "함유하는(containing)", "수반하는(involving)", "보유하는(holding)", "로 구성되는(composed of)", 및 등등과 같은 모든 이행 어구(transitional phrase)는 개방형인 것으로, 즉 포함하지만 제한되지는 않는 것을 의미하도록 이해되어야 한다. 오로지 이행 어구 "로 구성되는(consisting of)" 및 "본질적으로 ~로 구성되는(consisting essentially of)"만이, 각각, 폐쇄형 또는 반폐쇄형 이행 어구(semi-closed transitional phrase)일 수 있을 것이다.
용어 "대략" 및 "약"은 몇몇 실시형태에서 목표 값의 ±20 % 이내, 몇몇 실시형태에서 목표 값의 ±10 % 이내, 몇몇 실시형태에서 목표 값의 ±5 % 이내, 몇몇 실시형태에서 목표 값의 ±2 % 이내를 의미하기 위해 사용될 수도 있다. 용어 "대략" 및 "약"은 목표 값을 포함할 수도 있다.

Claims (60)

  1. 방법으로서,
    신경망 모델(neural network model)을 사용하여 입력 자기 공명(magnetic resonance; MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 단계를 포함하고, 상기 신경망 모델은:
    공간 주파수 도메인 데이터를 프로세싱하도록 구성되는 제1 신경망 서브 모델; 및
    이미지 도메인 데이터를 프로세싱하도록 구성되는 제2 신경망 서브 모델을 포함하는, 방법
  2. 제1항에 있어서,
    상기 생성하는 단계는:
    출력 MR 공간 주파수 데이터를 획득하기 위해 상기 제1 신경망 서브 모델을 사용하여 상기 입력 MR 공간 주파수 데이터를 프로세싱하는 단계;
    입력 이미지 도메인 데이터를 획득하기 위해 상기 출력 MR 공간 주파수 데이터를 상기 이미지 도메인으로 변환하는 단계; 및
    상기 MR 이미지를 획득하기 위해 상기 제2 신경망 서브 모델을 사용하여 상기 입력 이미지 도메인 데이터를 프로세싱하는 단계를 포함하는, 방법
  3. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 1보다 더 큰 스트라이드(stride)를 갖는 적어도 하나의 컨볼루션 레이어(convolutional layer)를 포함하는, 방법
  4. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 적어도 하나의 전치된 컨볼루션 레이어(transposed convolutional layer)를 포함하는, 방법
  5. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 적어도 하나의 로컬하게 연결된 레이어(locally-connected layer)를 포함하는, 방법
  6. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 적어도 하나의 데이터 일관성 레이어(data consistency layer)를 포함하는, 방법
  7. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 적어도 하나의 복소 공액 대칭 레이어(complex-conjugate symmetry layer)를 포함하는, 방법
  8. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 잔차 연결(residual connection)을 포함하는, 방법
  9. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 정류 선형 유닛 활성화 레이어(rectified linear unit activation layer)를 포함하는, 방법
  10. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 누출 정류 선형 유닛 활성화 레이어(leaky rectified linear unit activation layer)를 포함하는, 방법
  11. 제2항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 적어도 하나의 컨볼루션 레이어, 로컬하게 연결된 레이어, 및 적어도 하나의 전치된 컨볼루션 레이어를 포함하고,
    상기 제1 신경망 서브 모델을 사용하여 상기 입력 MR 공간 주파수 데이터를 프로세싱하는 단계는:
    상기 적어도 하나의 컨볼루션 레이어를 상기 입력 MR 공간 주파수 데이터에 적용하는 단계;
    상기 적어도 하나의 컨볼루션 레이어의 출력을 사용하여 획득되는 데이터에 상기 로컬하게 연결된 레이어를 적용하는 단계; 및
    상기 로컬하게 연결된 레이어의 출력을 사용하여 획득되는 데이터에 상기 적어도 하나의 전치된 컨볼루션 레이어를 적용하는 단계를 포함하는, 방법.
  12. 제11항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 복소 공액 대칭 레이어를 포함하고, 상기 제1 신경망 서브 모델을 사용하여 상기 입력 MR 공간 주파수 데이터를 프로세싱하는 단계는:
    상기 적어도 하나의 전치된 컨볼루션 레이어의 출력을 사용하여 획득되는 데이터에 상기 복소 공액 대칭 레이어를 적용하는 단계를 포함하는, 방법.
  13. 제11항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 데이터 일관성 레이어를 포함하고, 상기 제1 신경망 서브 모델을 사용하여 상기 입력 MR 공간 주파수 데이터를 프로세싱하는 단계는:
    상기 공액 복소수 대칭 레이어의 출력을 사용하여 획득되는 데이터에 상기 데이터 일관성 레이어를 적용하는 단계를 포함하는, 방법.
  14. 제11항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 적어도 하나의 컨볼루션 레이어의 각각의 컨볼루션 레이어는 1보다 더 큰 스트라이드를 갖는, 방법.
  15. 제11항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 로컬하게 연결된 레이어는 상기 MR 공간 주파수 데이터의 각각의 데이터 포인트에 대한 파라미터 값의 각각의 세트를 포함하는, 방법.
  16. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 적어도 하나의 완전히 연결된 레이어(fully-connected layer)를 포함하는, 방법.
  17. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 완전히 연결된 레이어를 포함하고, 상기 방법은:
    상기 공간 주파수 도메인 데이터의 실수 부분에 상기 완전히 연결된 레이어를 적용하는 단계;
    상기 공간 주파수 도메인 데이터의 허수 부분에 상기 완전히 연결된 레이어를 적용하는 단계를 더 포함하는, 방법.
  18. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 서브 모델은 제1 완전히 연결된 레이어 및 제2 완전히 연결된 레이어를 포함하고, 상기 방법은:
    상기 공간 주파수 도메인 데이터의 실수 부분에 상기 제1 완전히 연결된 레이어를 적용하는 단계;
    상기 공간 주파수 도메인 데이터의 허수 부분에 상기 제2 완전히 연결된 레이어를 적용하는 단계를 더 포함하는, 방법.
  19. 제18항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 및 제2 완전히 연결된 레이어는 적어도 일부 가중치를 공유하는, 방법.
  20. 제18항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    이미지 도메인 데이터를 획득하기 위해 Fourier(푸리에) 변환을 사용하여 상기 제1 및 제2 완전히 연결된 레이어의 출력을 변환하는 단계; 및
    상기 이미지 도메인 데이터를 상기 제2 신경망 서브 모델에 대한 입력으로 제공하는 단계를 더 포함하는, 방법.
  21. 제20항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    이미지 도메인 데이터를 획득하기 위해 상기 푸리에 변환을 사용하기 이전에 상기 제1 및 제2 완전히 연결된 레이어의 출력에 배치 정규화(batch normalization)를 적용하는 단계를 더 포함하는, 방법.
  22. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 공간 주파수 도메인 데이터에서의 포인트는 불규칙하게 이격되는, 방법.
  23. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 공간 주파수 도메인 데이터에서의 포인트는 Cartesian(데카르트) 그리드 상에 없는, 방법.
  24. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 MR 이미지를 생성하는 단계는 상기 공간 주파수 도메인 데이터를 그리드화하지(gridding) 않고 수행되는, 방법.
  25. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제2 신경망 서브 모델은 적어도 하나의 컨볼루션 레이어 및 적어도 하나의 전치된 컨볼루션 레이어를 포함하는, 방법.
  26. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제2 신경망 서브 모델은 신경망 레이어의 각각의 세트를 포함하는 일련의 블록을 포함하고, 상기 복수의 블록의 각각은 적어도 하나의 컨볼루션 레이어 및 적어도 하나의 전치된 컨볼루션 레이어를 포함하는, 방법.
  27. 제26항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 복수의 블록의 각각은: 푸리에 변환 레이어, 데이터 일관성 레이어, 및 역 푸리에 변환 레이어(inverse Fourier transformation layer)를 더 포함하는, 방법.
  28. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    공간 주파수 도메인 손실 함수(loss function) 및 이미지 도메인 손실 함수를 포함하는 손실 함수를 사용하여 상기 신경망 모델을 트레이닝시키는 단계를 더 포함하는, 방법.
  29. 제28항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 손실 함수는 상기 공간 주파수 도메인 손실 함수 및 상기 이미지 도메인 손실 함수의 가중된 합(weighted sum)인, 방법.
  30. 제29항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 공간 주파수 도메인 손실 함수는 평균 제곱 오차(mean-squared error)를 포함하는, 방법.
  31. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    제1 트레이닝된 신경망 모델을 획득하기 위해 고자계 이미지(high-field image)의 세트를 사용하여 상기 신경망 모델을 트레이닝시키는 단계; 및
    저자계 이미지(low-field image)의 세트를 사용하는 것에 의해 상기 제1 신경망 모델을 적응시키는 단계를 더 포함하는, 방법.
  32. 제1항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 공간 주파수 도메인 데이터는 Nyquist(나이퀴스트) 기준에 비해 언더샘플링되는(under-sampled), 방법.
  33. 시스템으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서; 및
    프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로세서 실행 가능 명령어는, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    신경망 모델을 사용하여 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 수행하게 하고, 상기 신경망 모델은:
    공간 주파수 도메인에서 데이터를 프로세싱하도록 구성되는 제1 신경망 부분; 및
    이미지 도메인에서 데이터를 프로세싱하도록 구성되는 제2 신경망 부분을 포함하는, 시스템.
  34. 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 프로세서 실행 가능 명령어는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    신경망 모델을 사용하여 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 수행하게 하고, 상기 신경망 모델은:
    공간 주파수 도메인에서 데이터를 프로세싱하도록 구성되는 제1 신경망 부분; 및
    이미지 도메인에서 데이터를 프로세싱하도록 구성되는 제2 신경망 부분을 포함하는, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
  35. 자기 공명 이미징(magnetic resonance imaging; MRI) 시스템으로서,
    자기 시스템 - 상기 자기 시스템은:
    상기 MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석;
    상기 MRI 시스템에 대한 그래디언트 자계(gradient field)를 제공하도록 구성되는 그래디언트 코일; 및
    자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일
    을 포함함 - ;
    컨트롤러 - 상기 컨트롤러는:
    MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록;
    신경망 모델을 사용하여 MR 공간 주파수 데이터로부터 MR 이미지를 생성하도록 구성됨 -
    를 포함하고,
    상기 신경망 모델은:
    공간 주파수 도메인에서 데이터를 프로세싱하도록 구성되는 제1 신경망 부분; 및
    이미지 도메인에서 데이터를 프로세싱하도록 구성되는 제2 신경망 부분을 포함하는, 자기 공명 이미징(MRI) 시스템.
  36. 방법으로서,
    공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 단계를 포함하는, 방법.
  37. 시스템으로서,
    적어도 하나의 프로세서;
    프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로세서 실행 가능 명령어는, 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 수행하게 하는, 시스템.
  38. 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 프로세서 실행 가능 명령어는, 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 것을 수행하게 하는, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
  39. 자기 공명 이미징(MRI) 시스템으로서,
    자기 시스템 - 상기 자기 시스템은:
    상기 MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석;
    상기 MRI 시스템에 대한 그래디언트 자계를 제공하도록 구성되는 그래디언트 코일; 및
    자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일
    을 포함함 - ;
    컨트롤러 - 상기 컨트롤러는:
    MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록;
    공간 주파수 도메인 데이터를 프로세싱하도록 구성되며 로컬하게 연결된 신경망 레이어를 구비한 신경망 서브 모델을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하도록
    구성됨 - 를 포함하는, 자기 공명 이미징(MRI) 시스템.
  40. 제35항 또는 제39항에 있어서,
    상기 B0 자석은 영구 자석인, 자기 공명 이미징(MRI) 시스템.
  41. 방법으로서,
    제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 단계를 포함하고,
    상기 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 푸리에 변환(non-uniform Fourier transformation)을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성되는, 방법.
  42. 제41항에 있어서,
    상기 신경망 모델은, 상기 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 각각 구성되는 다수의 신경망 블록을 포함하는, 방법.
  43. 제41항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 입력 MR 공간 주파수 데이터를 획득하는 단계;
    상기 불균일 푸리에 변환을 사용하여 상기 입력 MR 공간 주파수 데이터로부터 초기 이미지를 생성하는 단계; 및
    상기 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하기 위해, 적어도 부분적으로, 상기 제1 신경망 블록을 사용하는 것에 의해, 상기 초기 이미지에 상기 신경망 모델을 적용하는 단계를 더 포함하는, 방법.
  44. 제41항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 블록은, 그리드화 보간 변환(gridding interpolation transformation), 고속 푸리에 변환(fast Fourier transformation), 및 디아포다이제이션 변환(de-apodization transformation)을 데이터에 적용함으로써, 적어도 부분적으로, 상기 데이터에 대해 불균일 푸리에 변환을 수행하는 것에 의해, 상기 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성되는, 방법.
  45. 제44항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 그리드화 보간 변환을 데이터에 적용하는 것은 희소(sparse) 그래픽 프로세싱 유닛(graphical processing unit; GPU) 매트릭스 곱셈을 사용하여 수행되는, 방법.
  46. 제41항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 블록은:
    상기 데이터 일관성 프로세싱을 수행하도록 구성되는 데이터 일관성 블록; 및
    복수의 컨볼루션 레이어를 포함하는, 방법.
  47. 제46항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 데이터 일관성 블록은:
    제1 MR 공간 주파수 데이터를 획득하기 위해, 상기 데이터 일관성 블록에 대한 입력으로서 제공되는 제1 이미지에 상기 불균일 푸리에 변환을 적용하도록; 그리고
    상기 제1 MR 공간 주파수 데이터와 상기 입력 MR 공간 주파수 데이터 사이의 차이에 딸림 불균일 푸리에 변환(adjoint non-uniform Fourier transformation)을 적용하도록 구성되는, 방법.
  48. 제47항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 불균일 푸리에 변환을 상기 제1 이미지 도메인 데이터에 적용하는 것은:
    상기 제1 이미지 도메인 데이터에, 디아포다이제이션 변환, 후속하여, 푸리에 변환, 그리고 후속하여 그리드화 보간 변환을 적용하는 것을 포함하는, 방법.
  49. 제46항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 복수의 컨볼루션 레이어는 하나 이상의 컨볼루션 레이어 및 하나 이상의 전치 컨볼루션 레이어를 포함하는, 방법.
  50. 제46항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 복수의 컨볼루션 레이어는 "U"자 구조체를 갖는, 방법.
  51. 제46항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 블록을 이미지 도메인 데이터에 적용하는 단계를 더 포함하고, 상기 적용하는 단계는:
    제1 출력을 획득하기 위해 상기 데이터 일관성 블록을 이미지 도메인 데이터에 적용하는 단계;
    제2 출력을 획득하기 위해 상기 복수의 컨볼루션 레이어를 상기 이미지 도메인 데이터에 적용하는 단계; 및
    상기 제1 및 제2 출력의 선형 조합을 결정하는 단계를 포함하는, 방법.
  52. 제41항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 블록은:
    입력으로서:
    이미지 도메인 데이터; 및
    상기 입력 MR 공간 주파수 데이터에 딸림 불균일 푸리에 변환을 적용하는 것에 의해 획득되는 출력
    을 수신하도록 구성되는 복수의 컨볼루션 레이어를 포함하는, 방법.
  53. 제52항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 복수의 컨볼루션 레이어는 또한, 입력으로서:
    상기 불균일 푸리에 변환 및 상기 딸림 불균일 푸리에 변환을 상기 이미지 도메인 데이터에 적용하는 것에 의해 획득되는 출력
    을 수신하도록 구성되는, 방법.
  54. 제41항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 제1 신경망 블록을 이미지 도메인 데이터에 적용하는 단계를 더 포함하고, 상기 적용하는 단계는:
    제1 출력을 획득하기 위해, 상기 이미지 도메인 데이터에, 상기 불균일 푸리에 변환, 후속하여 딸림 불균일 푸리에 변환을 적용하는 단계;
    제2 출력을 획득하기 위해 상기 입력 MR 공간 주파수 데이터에 상기 딸림 불균일 푸리에 변환을 적용하는 단계; 및
    상기 복수의 컨볼루션 레이어에 대한 입력으로서, 상기 이미지 도메인 데이터, 상기 제1 출력, 및 상기 제2 출력을 제공하는 단계를 포함하는, 방법.
  55. 제54항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    중간 출력을 획득하기 위해 상기 이미지 도메인 데이터에 상기 불균일 푸리에 변환을 적용한 것의 결과에 컨볼루션 신경망을 적용하는 단계; 및
    상기 제1 출력을 획득하기 위해 상기 중간 출력에 상기 딸림 불균일 푸리에 변환을 적용하는 단계를 더 포함하는, 방법.
  56. 제41항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 입력 MR 공간 주파수 데이터에서의 포인트는 비 데카르트 샘플링 궤적(non-Cartesian sampling trajectory)을 사용하여 획득된, 방법.
  57. 제56항 또는 임의의 다른 선행하는 어느 한 항에 있어서,
    상기 불균일 푸리에 변환은, 적어도 부분적으로, 상기 비 데카르트 샘플링 궤적을 사용하는 것에 의해 결정되는, 방법.
  58. 프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 프로세서 실행 가능 명령어는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 단계
    를 포함하는 방법을 수행하게 하고,
    상기 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성되는, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
  59. 시스템으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서; 및
    프로세서 실행 가능 명령어를 저장한 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로세서 실행 가능 명령어는, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 입력 자기 공명(MR) 공간 주파수 데이터로부터 MR 이미지를 생성하는 단계
    를 포함하는 방법을 수행하게 하고,
    상기 제1 신경망 블록은, 이미지 도메인 데이터를 공간 주파수 도메인 데이터로 변환하기 위한 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성되는, 시스템.
  60. 자기 공명 이미징(MRI) 시스템으로서,
    자기 시스템 - 상기 자기 시스템은:
    상기 MRI 시스템에 B0 자계를 제공하도록 구성되는 B0 자석;
    상기 MRI 시스템에 대한 그래디언트 자계를 제공하도록 구성되는 그래디언트 코일; 및
    자기 공명(MR) 신호를 검출하도록 구성되는 적어도 하나의 RF 코일
    을 포함함 - ;
    컨트롤러 - 상기 컨트롤러는:
    비 데카르트 샘플링 궤적을 사용하여 MR 공간 주파수 데이터를 획득하기 위해 자기 시스템을 제어하도록; 그리고
    제1 신경망 블록을 포함한 하나 이상의 신경망 블록을 포함하는 신경망 모델을 사용하여 상기 획득된 MR 공간 주파수 데이터로부터 MR 이미지를 생성하도록
    구성됨 - 를 포함하고,
    상기 제1 신경망 블록은 불균일 푸리에 변환을 사용하여 데이터 일관성 프로세싱을 수행하도록 구성되는, 자기 공명 이미징(MRI) 시스템.
KR1020217005259A 2018-07-30 2019-07-29 자기 공명 이미지 재구성을 위한 딥 러닝 기술 KR20210038903A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862711895P 2018-07-30 2018-07-30
US62/711,895 2018-07-30
US201862737524P 2018-09-27 2018-09-27
US62/737,524 2018-09-27
US201862744529P 2018-10-11 2018-10-11
US62/744,529 2018-10-11
US201962820119P 2019-03-18 2019-03-18
US62/820,119 2019-03-18
PCT/US2019/043927 WO2020028257A2 (en) 2018-07-30 2019-07-29 Deep learning techniques for magnetic resonance image reconstruction

Publications (1)

Publication Number Publication Date
KR20210038903A true KR20210038903A (ko) 2021-04-08

Family

ID=67659966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217005259A KR20210038903A (ko) 2018-07-30 2019-07-29 자기 공명 이미지 재구성을 위한 딥 러닝 기술

Country Status (9)

Country Link
US (3) US11300645B2 (ko)
EP (1) EP3830596A2 (ko)
JP (1) JP2021532875A (ko)
KR (1) KR20210038903A (ko)
CN (1) CN113795764A (ko)
AU (1) AU2019313334A1 (ko)
CA (1) CA3107326A1 (ko)
TW (1) TW202011893A (ko)
WO (1) WO2020028257A2 (ko)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX366786B (es) 2014-09-05 2019-07-23 Hyperfine Res Inc Metodos y aparato de supresion de ruido.
WO2016077417A1 (en) 2014-11-11 2016-05-19 Hyperfine Research, Inc. Low field magnetic resonance methods and apparatus
CA2967337C (en) 2014-11-11 2022-05-10 Hyperfine Research, Inc. Pulse sequences for low field magnetic resonance
US10281540B2 (en) 2015-04-13 2019-05-07 Hyperfine Research, Inc. Magnetic coil power methods and apparatus
WO2016183284A1 (en) 2015-05-12 2016-11-17 Hyperfine Research, Inc. Radio frequency coil methods and apparatus
KR102320584B1 (ko) 2016-03-22 2021-11-04 하이퍼파인, 인크. 자기장 시밍을 위한 방법들 및 장치
TWI667487B (zh) 2016-09-29 2019-08-01 美商超精細研究股份有限公司 射頻線圈調諧方法及裝置
KR20190087455A (ko) 2016-11-22 2019-07-24 하이퍼파인 리서치, 인크. 자기 공명 이미지들에서의 자동화된 검출을 위한 시스템들 및 방법들
US10627464B2 (en) 2016-11-22 2020-04-21 Hyperfine Research, Inc. Low-field magnetic resonance imaging methods and apparatus
US10539637B2 (en) 2016-11-22 2020-01-21 Hyperfine Research, Inc. Portable magnetic resonance imaging methods and apparatus
KR20210005626A (ko) 2018-04-20 2021-01-14 하이퍼파인 리서치, 인크. 휴대용 자기 공명 영상 장치용의 전개 가능한 가드
CN112384818A (zh) 2018-05-21 2021-02-19 海珀菲纳研究股份有限公司 低场mri系统所用的射频线圈信号链
CA3098461A1 (en) 2018-05-21 2019-11-28 Hyperfine Research, Inc. B0 magnet methods and apparatus for a magnetic resonance imaging system
TW202015621A (zh) 2018-07-19 2020-05-01 美商超精細研究股份有限公司 在磁共振成像中患者定位之方法及設備
TW202011893A (zh) 2018-07-30 2020-04-01 美商超精細研究股份有限公司 用於核磁共振影像重建之深度學習技術
TW202012951A (zh) 2018-07-31 2020-04-01 美商超精細研究股份有限公司 低場漫射加權成像
JP2021534852A (ja) 2018-08-15 2021-12-16 ハイパーファイン,インコーポレイテッド 磁気共鳴画像においてアーティファクトを抑制するためのディープラーニング技術
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
US11640519B2 (en) * 2018-10-31 2023-05-02 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using cross-domain batch normalization
US11494612B2 (en) 2018-10-31 2022-11-08 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using domain classifier
WO2020131250A2 (en) 2018-12-19 2020-06-25 Hyperfine Research, Inc. System and methods for grounding patients during magnetic resonance imaging
US20220075017A1 (en) * 2018-12-21 2022-03-10 Cornell University Machine learning for simultaneously optimizing an under-sampling pattern and a corresponding reconstruction model in compressive sensing
US11605455B2 (en) * 2018-12-22 2023-03-14 GE Precision Healthcare LLC Systems and methods for predicting outcomes using raw data
MX2021007856A (es) 2018-12-28 2021-10-26 Hyperfine Inc Corrección de histéresis en la formación de imágenes por resonancia magnética.
KR20210137142A (ko) 2019-03-12 2021-11-17 하이퍼파인, 인크. 영아들의 자기 공명 촬영을 위한 시스템들 및 방법들
US11344219B2 (en) 2019-03-14 2022-05-31 Hyperfine Operations, Inc. Deep learning techniques for alignment of magnetic resonance images
US11313933B2 (en) * 2019-03-20 2022-04-26 The Board Of Trustees Of The Leland Stanford Junior University Diffusion-weighted MRI with magnitude-based locally low-rank regularization
US11599774B2 (en) * 2019-03-29 2023-03-07 International Business Machines Corporation Training machine learning model
US20200320449A1 (en) * 2019-04-04 2020-10-08 Rylti, LLC Methods and Systems for Certification, Analysis, and Valuation of Music Catalogs
US11181598B2 (en) * 2019-04-25 2021-11-23 Siemens Healthcare Gmbh Multi-contrast MRI image reconstruction using machine learning
MX2021013066A (es) 2019-04-26 2021-12-10 Hyperfine Inc Tecnicas para el control dinamico de un sistema de formacion de imagenes por resonancia magnetica.
CA3139281A1 (en) 2019-05-07 2020-11-12 Hyperfine, Inc. Systems, devices, and methods for magnetic resonance imaging of infants
US11416653B2 (en) * 2019-05-15 2022-08-16 The Mitre Corporation Numerical model of the human head
CN110246137B (zh) * 2019-06-19 2021-12-03 东软医疗系统股份有限公司 一种成像方法、装置及存储介质
WO2021030722A1 (en) 2019-08-15 2021-02-18 Hyperfine Research, Inc. Eddy current mitigation systems and methods
US20210081790A1 (en) * 2019-09-12 2021-03-18 Zasti Inc. Local interpretability using autoencoder
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
JP2022552833A (ja) 2019-10-07 2022-12-20 ボストン ポーラリメトリックス,インコーポレイティド 偏光による面法線計測のためのシステム及び方法
WO2021081309A2 (en) 2019-10-25 2021-04-29 Hyperfine Research, Inc. Artefact reduction in magnetic resonance imaging
CN110807492B (zh) * 2019-11-06 2022-05-13 厦门大学 一种磁共振多参数同时定量成像方法及系统
WO2021108216A1 (en) 2019-11-27 2021-06-03 Hyperfine Research, Inc. Techniques for noise suppression in an environment of a magnetic resonance imaging system
US11120585B2 (en) * 2019-11-28 2021-09-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
EP3828581B8 (de) * 2019-11-28 2024-02-21 Siemens Healthineers AG Verfahren zur erzeugung wenigstens eines bilddatensatzes und eines referenzbilddatensatzes, computerprogrammprodukt sowie magnetresonanzanlage
WO2021108002A1 (en) * 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11275137B2 (en) 2019-12-10 2022-03-15 Hyperfine, Inc. Permanent magnet assembly for magnetic resonance imaging with non-ferromagnetic frame
US11422213B2 (en) 2019-12-10 2022-08-23 Hyperfine Operations, Inc. Ferromagnetic frame for magnetic resonance imaging
US11415651B2 (en) 2019-12-10 2022-08-16 Hyperfine Operations, Inc. Low noise gradient amplification components for MR systems
USD912822S1 (en) 2019-12-10 2021-03-09 Hyperfine Research, Inc. Frame for magnets in magnetic resonance imaging
USD932014S1 (en) 2019-12-10 2021-09-28 Hyperfine, Inc. Frame for magnets in magnetic resonance imaging
US11537901B2 (en) * 2019-12-31 2022-12-27 Robert Bosch Gmbh System and method for unsupervised domain adaptation with mixup training
US11763134B2 (en) * 2020-01-22 2023-09-19 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
EP3855200A1 (en) * 2020-01-22 2021-07-28 Siemens Healthcare GmbH Artifact and/or noise reduction for magnetic resonance fingerprinting data based on a neural network
CN111324861B (zh) * 2020-02-28 2022-05-03 厦门大学 一种基于矩阵分解的深度学习磁共振波谱重建方法
CN113359076B (zh) * 2020-03-06 2022-09-27 上海联影医疗科技股份有限公司 磁共振成像方法、装置、计算机设备和存储介质
CN111445547B (zh) * 2020-03-20 2023-05-09 中国科学院深圳先进技术研究院 一种基于神经网络的网格化磁共振图像重建方法和装置
TWI791979B (zh) * 2020-04-28 2023-02-11 長庚醫療財團法人林口長庚紀念醫院 三維醫學影像的建立方法
CN112184845B (zh) * 2020-09-02 2023-05-05 东软医疗系统股份有限公司 弥散加权图像重建模型的生成方法及装置
CN112561888B (zh) * 2020-12-18 2024-04-16 中国科学院深圳先进技术研究院 基于流形优化的用于磁共振动态成像的深度学习方法
CN112786273B (zh) * 2020-12-31 2022-09-02 中国科学院合肥物质科学研究院 一种基于立方体永磁体块的仿星器磁体及其优化布置方法
CN112884851B (zh) * 2021-01-27 2022-06-14 武汉大学 基于展开迭代优化算法的深度压缩感知网络的构建方法
WO2022169626A1 (en) 2021-02-02 2022-08-11 Hyperfine, Inc. Systems and methods for dynamically extending magnetic resonance imaging of a subject
US11147454B1 (en) 2021-02-19 2021-10-19 Omniscient Neurotechnology Pty Limited Medical imaging with functional architecture tracking
US11756197B2 (en) * 2021-03-10 2023-09-12 GE Precision Healthcare LLC Systems and methods of processing magnetic resonance images using phase-sensitive structural similarity index measure
US11846692B2 (en) * 2021-04-29 2023-12-19 University Of Virginia Patent Foundation Motion compensation for MRI imaging
CN113344993B (zh) * 2021-06-04 2022-06-03 成都玻尔兹曼智贝科技有限公司 侧貌模拟方法
CN113506258B (zh) * 2021-07-02 2022-06-07 中国科学院精密测量科学与技术创新研究院 多任务复值深度学习的欠采样肺部气体mri重建方法
CN113376172B (zh) * 2021-07-05 2022-06-14 四川大学 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法
CN113569795A (zh) * 2021-08-06 2021-10-29 中国矿业大学 一种基于机器视觉的煤矸石识别方法及系统
WO2023038910A1 (en) * 2021-09-07 2023-03-16 Hyperfine, Inc. Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction
US20230084413A1 (en) * 2021-09-13 2023-03-16 Siemens Healthcare Gmbh Deep learning-based realtime reconstruction
CN113940638B (zh) * 2021-10-22 2023-09-19 上海理工大学 基于频域双特征融合的脉搏波信号识别分类方法
US11334976B1 (en) 2021-11-16 2022-05-17 Omniscient Neurotechnology Pty Limited Medical imaging with functional architecture tracking
CN114581550B (zh) * 2021-12-31 2023-04-07 浙江大学 基于跨域网络的磁共振成像降采样和重建方法
CN114444337B (zh) * 2022-04-11 2022-06-07 西南交通大学 防止仿星器三维模块化线圈因受电磁力而变形的设计方法
WO2023244980A1 (en) * 2022-06-13 2023-12-21 Hyperfine Operations, Inc. Electromagnetic interference suppression techniques for magnetic resonance imaging
EP4345479A1 (de) * 2022-09-29 2024-04-03 Siemens Healthineers AG Verfahren zur iterativen rekonstruktion von bilddaten aus mittels einer magnetresonanzanlage aufgenommenen messdaten
CN116071268B (zh) * 2023-03-01 2023-06-23 中国民用航空飞行学院 基于对比学习的图像去光照模型及其训练方法
CN116596061B (zh) * 2023-05-16 2023-12-12 北京航空航天大学 一种基于迁移学习的功率放大器谐波预测方法
CN117078785B (zh) * 2023-08-18 2024-04-23 厦门大学 一种快速非笛卡尔磁共振智能成像方法
CN117333571B (zh) * 2023-10-25 2024-03-26 烟台大学 磁共振图像的重建方法、系统、设备及介质

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517122A (en) * 1993-11-04 1996-05-14 The Regents Of University Of California T2 restoration and noise suppression of hybrid MR images using Wiener and linear prediction techniques
EP0990169A1 (en) 1998-04-17 2000-04-05 Koninklijke Philips Electronics N.V. Magnetic resonance imaging method and apparatus
US7019524B2 (en) 2002-05-17 2006-03-28 Ge Medical Systems Global Technology Company, Llc Method, system and computer product for k-space correction of gradient non-linearities
WO2005047919A1 (en) 2003-11-12 2005-05-26 Invivo Corporation Method for generating fast magnetic resonance images
US8874477B2 (en) 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
US20070249928A1 (en) 2006-04-19 2007-10-25 General Electric Company Method and system for precise repositioning of regions of interest in longitudinal magnetic resonance imaging and spectroscopy exams
US7881511B2 (en) 2007-01-19 2011-02-01 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm
US7602183B2 (en) 2007-02-13 2009-10-13 The Board Of Trustees Of The Leland Stanford Junior University K-T sparse: high frame-rate dynamic magnetic resonance imaging exploiting spatio-temporal sparsity
ATE542196T1 (de) 2007-02-19 2012-02-15 Wisconsin Alumni Res Found Verfahren zur lokalisierten und stark eingeschränkten bildrekonstruktion
WO2009067691A1 (en) 2007-11-21 2009-05-28 Brigham And Women's Hospital, Inc. K-space sample density compensation for magnetic resonance image reconstruction
EP2283373B1 (en) 2008-04-28 2021-03-10 Cornell University Accurate quantification of magnetic susceptibility in molecular mri
US7688068B2 (en) 2008-05-06 2010-03-30 General Electric Company System and method for using parallel imaging with compressed sensing
US8692549B2 (en) 2009-05-27 2014-04-08 Siemens Aktiengesellschaft Method for reconstructing images of an imaged subject from a parallel MRI acquisition
US8354844B2 (en) 2009-12-23 2013-01-15 Universitaetsklinikum Freiburg Method for data acquisition acceleration in magnetic resonance imaging (MRI) with N-dimensional spatial encoding using two or more receiver coil arrays and non-linear phase distributions
US8384383B2 (en) 2010-03-23 2013-02-26 Max-Planck-Gesellschaft zur Foerferung der Wissenschaften E.V. Method and device for reconstructing a sequence of magnetic resonance images
WO2012154260A2 (en) 2011-02-17 2012-11-15 The Johns Hopkins University Multiparametric non-linear dimension reduction methods and systems related thereto
US9008462B2 (en) 2011-02-17 2015-04-14 The Johns Hopkins University Methods and systems for registration of radiological images
US10073160B2 (en) 2011-04-21 2018-09-11 Koninklijke Philips N.V. Magnetic resonance imaging of object in motion
WO2012174177A2 (en) 2011-06-15 2012-12-20 Chunlei Liu Systems and methods for imaging and quantifying tissue magnetism with magnetic resonance imaging
WO2013159044A1 (en) 2012-04-19 2013-10-24 New York University System, method and computer-accessible medium for highly-accelerated dynamic magnetic resonance imaging using golden-angle radial samplng and compressed sensing
US9396562B2 (en) 2012-09-26 2016-07-19 Siemens Aktiengesellschaft MRI reconstruction with incoherent sampling and redundant haar wavelets
US9269127B2 (en) 2013-01-31 2016-02-23 Ohio State Innovation Foundation De-noising of real-time dynamic magnetic resonance images by the combined application of karhunen-loeve transform (KLT) and wavelet filtering
US9224210B2 (en) 2013-02-06 2015-12-29 University Of Virginia Patent Foundation Systems and methods for accelerated dynamic magnetic resonance imaging
EP2976654A2 (en) 2013-03-21 2016-01-27 Koninklijke Philips N.V. Mr image reconstruction using compressed sensing
WO2015085008A1 (en) 2013-12-03 2015-06-11 Viewray Incorporated Single-and multi-modality alignment of medical images in the presence of non-rigid deformations using phase correlation
JP6513336B2 (ja) 2014-03-25 2019-05-15 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置及び画像処理装置
US10149987B2 (en) 2014-05-04 2018-12-11 Spectronic Ab Method and system for generating synthetic electron density information for dose calculations based on MRI
US10436869B2 (en) * 2014-06-27 2019-10-08 Koninklijke Philips N.V. Positioning of a magnetic resonance imaging antenna within the homogeneous field zone
JP6452994B2 (ja) 2014-08-26 2019-01-16 キヤノンメディカルシステムズ株式会社 画像処理装置及び磁気共鳴イメージング装置
MX366786B (es) 2014-09-05 2019-07-23 Hyperfine Res Inc Metodos y aparato de supresion de ruido.
US9770223B2 (en) 2014-09-09 2017-09-26 Wisconsin Alumni Research Foundation System and method for accelerated, time-resolved imaging
US9922272B2 (en) 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
EP3201643B1 (en) 2014-10-01 2021-01-27 MRIguidance B.V. Magnetic resonance imaging with enhanced bone visualization
CA2967337C (en) 2014-11-11 2022-05-10 Hyperfine Research, Inc. Pulse sequences for low field magnetic resonance
WO2016077417A1 (en) 2014-11-11 2016-05-19 Hyperfine Research, Inc. Low field magnetic resonance methods and apparatus
AU2016218479B2 (en) 2015-02-10 2021-12-09 Voxelgrids Innovations Private Limited Method for constructing image from MRI data
US10593035B2 (en) 2015-03-18 2020-03-17 University Of South Florida Image-based automated measurement model to predict pelvic organ prolapse
WO2016161120A1 (en) * 2015-04-02 2016-10-06 The General Hospital Corporation Systems and methods for low field magnetic resonance elastography
US10281540B2 (en) 2015-04-13 2019-05-07 Hyperfine Research, Inc. Magnetic coil power methods and apparatus
WO2016183284A1 (en) 2015-05-12 2016-11-17 Hyperfine Research, Inc. Radio frequency coil methods and apparatus
US10534059B2 (en) 2015-05-20 2020-01-14 Ohio State Innovation Foundation Bayesian model for highly accelerated phase-contrast MRI
US10274563B2 (en) 2015-05-28 2019-04-30 Samsung Electronics Co., Ltd. Magnetic resonance imaging apparatus and method
WO2017040538A1 (en) 2015-08-31 2017-03-09 The Board Of Trustees Of The Leland Stanford Junior University Compressed sensing high resolution functional magnetic resonance imaging
WO2017083849A1 (en) * 2015-11-13 2017-05-18 Rensselaer Polytechnic Institute Simultaneous interior mri x-ray imaging system (mrx)
KR102320584B1 (ko) 2016-03-22 2021-11-04 하이퍼파인, 인크. 자기장 시밍을 위한 방법들 및 장치
WO2018009673A1 (en) 2016-07-08 2018-01-11 Biogen Ma Inc. Methods for improved measurements of brain volume and changes in brain volume
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN109863512B (zh) 2016-09-01 2023-10-20 通用医疗公司 用于通过流形近似进行自动变换的系统和方法
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
TWI667487B (zh) 2016-09-29 2019-08-01 美商超精細研究股份有限公司 射頻線圈調諧方法及裝置
KR20190087455A (ko) 2016-11-22 2019-07-24 하이퍼파인 리서치, 인크. 자기 공명 이미지들에서의 자동화된 검출을 위한 시스템들 및 방법들
US10627464B2 (en) 2016-11-22 2020-04-21 Hyperfine Research, Inc. Low-field magnetic resonance imaging methods and apparatus
US10585153B2 (en) 2016-11-22 2020-03-10 Hyperfine Research, Inc. Rotatable magnet methods and apparatus for a magnetic resonance imaging system
US10539637B2 (en) 2016-11-22 2020-01-21 Hyperfine Research, Inc. Portable magnetic resonance imaging methods and apparatus
US10089722B2 (en) * 2016-12-30 2018-10-02 Toshiba Medical Systems Corporation Apparatus and method for reducing artifacts in MRI images
US20180197317A1 (en) 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction
US10133964B2 (en) 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
WO2018187005A1 (en) 2017-04-07 2018-10-11 Regents Of The University Of Minnesota Methods for scan-specific k-space interpolation reconstruction in magnetic resonance imaging using machine learning
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10698063B2 (en) 2017-11-01 2020-06-30 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US10573031B2 (en) 2017-12-06 2020-02-25 Siemens Healthcare Gmbh Magnetic resonance image reconstruction with deep reinforcement learning
US11449759B2 (en) 2018-01-03 2022-09-20 Siemens Heathcare Gmbh Medical imaging diffeomorphic registration based on machine learning
WO2019161043A1 (en) 2018-02-15 2019-08-22 GE Precision Healthcare LLC System and method for synthesizing magnetic resonance images
US10489943B2 (en) 2018-02-28 2019-11-26 General Electric Company System and method for sparse image reconstruction
US11024025B2 (en) 2018-03-07 2021-06-01 University Of Virginia Patent Foundation Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
EP3543722A1 (en) 2018-03-20 2019-09-25 Koninklijke Philips N.V. Magnetic resonance imaging using corrected k-space trajectories calculated from current sensor data
EP3550515A1 (en) 2018-04-05 2019-10-09 Siemens Healthcare GmbH Cross-modality image synthesis
US11403529B2 (en) 2018-04-05 2022-08-02 Western Digital Technologies, Inc. Noise injection training for memory-based learning
KR20210005626A (ko) 2018-04-20 2021-01-14 하이퍼파인 리서치, 인크. 휴대용 자기 공명 영상 장치용의 전개 가능한 가드
CN112384818A (zh) 2018-05-21 2021-02-19 海珀菲纳研究股份有限公司 低场mri系统所用的射频线圈信号链
CA3098461A1 (en) 2018-05-21 2019-11-28 Hyperfine Research, Inc. B0 magnet methods and apparatus for a magnetic resonance imaging system
TW202015621A (zh) 2018-07-19 2020-05-01 美商超精細研究股份有限公司 在磁共振成像中患者定位之方法及設備
TW202011893A (zh) 2018-07-30 2020-04-01 美商超精細研究股份有限公司 用於核磁共振影像重建之深度學習技術
CN113348518A (zh) 2018-07-31 2021-09-03 海珀菲纳股份有限公司 医学成像装置消息传送服务
TW202012951A (zh) 2018-07-31 2020-04-01 美商超精細研究股份有限公司 低場漫射加權成像
US10635943B1 (en) 2018-08-07 2020-04-28 General Electric Company Systems and methods for noise reduction in medical images with deep neural networks
US10831997B2 (en) 2018-08-09 2020-11-10 CloudMinds Technology, Inc. Intent classification method and system
JP2021534852A (ja) 2018-08-15 2021-12-16 ハイパーファイン,インコーポレイテッド 磁気共鳴画像においてアーティファクトを抑制するためのディープラーニング技術
CN109325985B (zh) 2018-09-18 2020-07-21 上海联影智能医疗科技有限公司 磁共振图像重建方法、装置和计算机可读存储介质
US11175365B2 (en) 2018-10-02 2021-11-16 General Electric Company System and method for sparse image reconstruction utilizing null data consistency
US10842445B2 (en) 2018-11-08 2020-11-24 General Electric Company System and method for unsupervised deep learning for deformable image registration
WO2020131250A2 (en) 2018-12-19 2020-06-25 Hyperfine Research, Inc. System and methods for grounding patients during magnetic resonance imaging
CN109658471B (zh) 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
MX2021007856A (es) 2018-12-28 2021-10-26 Hyperfine Inc Corrección de histéresis en la formación de imágenes por resonancia magnética.
US10712416B1 (en) 2019-02-05 2020-07-14 GE Precision Healthcare, LLC Methods and systems for magnetic resonance image reconstruction using an extended sensitivity model and a deep neural network
US10705170B1 (en) 2019-02-15 2020-07-07 GE Precision Healthcare LLC Methods and systems for removing spike noise in magnetic resonance imaging
US10950014B2 (en) 2019-03-01 2021-03-16 Canon Medical Systems Corporation Method and apparatus for adaptive compressed sensing (CS) to correct motion artifacts in magnetic resonance imaging (MRI)
KR20210137142A (ko) 2019-03-12 2021-11-17 하이퍼파인, 인크. 영아들의 자기 공명 촬영을 위한 시스템들 및 방법들
US11344219B2 (en) 2019-03-14 2022-05-31 Hyperfine Operations, Inc. Deep learning techniques for alignment of magnetic resonance images
MX2021013066A (es) 2019-04-26 2021-12-10 Hyperfine Inc Tecnicas para el control dinamico de un sistema de formacion de imagenes por resonancia magnetica.
CA3139281A1 (en) 2019-05-07 2020-11-12 Hyperfine, Inc. Systems, devices, and methods for magnetic resonance imaging of infants

Also Published As

Publication number Publication date
AU2019313334A1 (en) 2021-02-04
US11300645B2 (en) 2022-04-12
WO2020028257A3 (en) 2020-03-05
CA3107326A1 (en) 2020-02-06
WO2020028257A2 (en) 2020-02-06
US20220214417A1 (en) 2022-07-07
EP3830596A2 (en) 2021-06-09
US20200034998A1 (en) 2020-01-30
TW202011893A (zh) 2020-04-01
JP2021532875A (ja) 2021-12-02
US20200033431A1 (en) 2020-01-30
CN113795764A (zh) 2021-12-14
US11467239B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
US11467239B2 (en) Deep learning techniques for magnetic resonance image reconstruction
US11681000B2 (en) Self ensembling techniques for generating magnetic resonance images from spatial frequency data
EP3837636B1 (en) Deep learning techniques for suppressing artefacts in magnetic resonance images
US9482732B2 (en) MRI reconstruction with motion-dependent regularization
US20220107378A1 (en) Deep learning methods for noise suppression in medical imaging
CN116745803A (zh) 用于医学成像中的噪声抑制的深度学习方法