KR20190138107A - 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치 - Google Patents

뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR20190138107A
KR20190138107A KR1020180064261A KR20180064261A KR20190138107A KR 20190138107 A KR20190138107 A KR 20190138107A KR 1020180064261 A KR1020180064261 A KR 1020180064261A KR 20180064261 A KR20180064261 A KR 20180064261A KR 20190138107 A KR20190138107 A KR 20190138107A
Authority
KR
South Korea
Prior art keywords
neural network
image
magnetic resonance
equation
image data
Prior art date
Application number
KR1020180064261A
Other languages
English (en)
Other versions
KR102215702B1 (ko
Inventor
예종철
한요섭
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180064261A priority Critical patent/KR102215702B1/ko
Priority to US16/431,608 priority patent/US20190369190A1/en
Publication of KR20190138107A publication Critical patent/KR20190138107A/ko
Application granted granted Critical
Publication of KR102215702B1 publication Critical patent/KR102215702B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography

Abstract

뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법은 자기공명영상 데이터를 수신하는 단계; 및 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치{METHOD FOR PROCESSING INTERIOR COMPUTED TOMOGRAPHY IMAGE USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}
본 발명은 자기공명영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 자기공명 영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치에 관한 것이다.
자기공명영상(Magnetic Resonance Image, MRI)은 전산단층 촬영 영상(Computed Tomography, CT)과 더불어 인체의 단층영상을 획득할 수 있는 대표적인 의료영상기기이다. 특히, 자기공명영상 장치는 이미지 공간의 단층영상에 대응되는 푸리에 공간(k-space) 계수를 획득한 후, 이를 역-푸리에 연산자를 통해 이미지 공간 계수로 변환함으로써 단층영상을 시각화 한다. 하지만, 푸리에 공간 계수를 획득함에 있어 긴 획득시간이 요구되어 피실험자들로 하여금 불편을 야기하게 된다. 특히, 불편으로 인하여 피실험자들이 획득 시간 내에 움직임이 발생하게 되고 이로 인하여 푸리에 공간 계수 상에 왜곡이 발생하게 된다. 이는 단층영상 내에 노이즈로 발현되어 영상의 화질을 저하 시키는 요인이 된다. 이를 극복하기 위해, 푸리에 공간 계수를 간헐적으로 획득함으로써 촬영시간을 단축한 후, 미획득된 정보를 반복적 복원기법을 통해 단층영상의 복원을 수행해 왔다.
최근, 분류 및 저레벨 컴퓨터 비젼 문제에서 딥 러닝의 성공에 영감을 얻은 연구원들은 다양한 생의학 영상 복원 문제에 대한 딥 러닝 기법을 조사하고, 상당한 성능 향상을 입증하였다. MR 문헌에서, 압축 센싱 MRI(CS-MRI)에 대해 딥 러닝 기법을 적용한 연구가 가장 먼저 수행되었으며, 예를 들어, 딥 러닝 재구성을 초기화 텀 또는 정규화 텀(regularization term)으로 사용하였다. 종래 일 실시예 기술은 언폴디드 반복 압축 센싱(unfolded iterative compressed sensing) 알고리즘을 사용한 딥 네트워크 구조가 제안되었으며, 해당 종래 기술은 수작업으로 만들어진 정규화기 대신 변화하는 프레임워크에서 정규화기 세트를 학습하고자 하였다. 다중 레이어 퍼셉트론(multilayer perceptron)은 가속 병렬 MRI에 대해 도입되었으며, 해당 기술은 딥 잔여 러닝(deep residual learning), 데이터 일관성 레이어(data consistency layers), 주기적 일관성(cyclic consistency)를 사용한 새로운 확장을 하였다. AUtomated TransfOrm by Manifold APproximation(AUTOMAP)라고 불리는 극단적인 형태의 뉴럴 네트워크는 완전 연결 레이어를 사용하여 푸리에 변환 자체를 평가하였다. 이러한 기존 연구들은 압축 센싱 기법보다 낮은 런타임 계산 복잡성으로 우수한 재구성 성능을 보여주고 있다. 복원 문제에 대한 딥 러닝 기법에 의한 성능 향상에도 불구하고, 이론적인 성공의 기원은 이해가 되지 않고 있다. 가장 일반적인 설명은 변화 최적 프레임워크(variation optimization framework)에서 풀리지 않는 반복적인 단계(unrolled iterative steps)로 딥 네트워크를 해석하거나 생성 모델 또는 매니폴드 러닝의 초록 형식(abstract form)으로 간주된다. 그러나, 어느 기법도 딥 네트워크의 블랙박스 특성을 완전히 밝히지 못하고 있다. 예를 들어, 복소 값의 MR 데이터 세트를 처리하는 최적의 방법은 무엇인지, 복소 값에 대한 정류 선형 유닛(ReLU)과 같은 비선형성의 역할은 무엇인지, 얼마나 많은 채널이 필요한지 등과 같은 MR-관련 질문에 대한 완전한 답변을 가지고 있지 않다.
또한, MR 커뮤니티에서 가장 문제가 되는 이슈는 고전적인 MR 영상 복원 기법에 대한 링크가 아직 완전히 이해되지 않았다는 것이다. 예를 들어, 압축 센싱 이론은 희소성(sparsity)를 부여함으로써, 언더 샘플링된 k-공간 샘플들로부터 MR 영상 복원하기 위해 광범위하게 연구되었다. 구조화된 낮은 랭크 행렬 완료 알고리즘은 성능 향상을 위해 CS-MRI의 최신 알고리즘으로 제안된 바 있다. 특히, 소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)은 희소성을 이용하여 CS-MRI 문제를 k-공간 보간 문제로 변환한다. 그러나, 아직까지 누락된 k-공간 데이터를 완전히 데이터 중심 방식으로 직접 보간할 수 있는 딥 러닝 알고리즘은 없다.
도 1a와 도 1b는 가장 일반적인 뉴럴 네트워크를 이용한 자기공명영상 복원기법으로써, 이미지 공간에서의 학습에 기반을 두고 있으며, 영상 도메인 후처리의 형태이거나 케스케이드 네트워크를 사용하여 k-공간과 영상 도메인 간의 반복적인 업데이트를 수행하는 형태이다. 즉, 획득된 푸리에 공간 계수에 대한 반영이 되지 않기 때문에 후처리 영상복구에 가깝다. 그리고 도 1c는 푸리에 공간 계수로부터 직접적으로 단층영상을 복원하는 뉴럴 네트워크를 나타낸 것으로, 이는 AUtomated TransfOrm by Manifold APproximation(AUTOMAP)이라 불린다. AUTOMAP과 같은 단대단 복구 기법은 누락된 k-공간 샘플들을 보간하지 않고 영상을 직접 복구할 수 있지만, 완전 연결 레이어에 대한 거대한 메모리 요구로 인하여 작은 크기의 단층영상 복원만을 수행할 수 있다. 여기서, 요구되는 메모리 크기는 k-공간에서의 샘플들 수와 영상 도메인 픽셀들 수를 곱한 값으로 결정될 수 있다.
본 발명의 실시예들은, 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 자기공명영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
구체적으로, 본 발명의 실시예들은, 미획득된 푸리에 공간 계수를 뉴럴 네트워크를 이용하여 보간을 수행하고 역 푸리에 연산을 통해 영상 공간 계수로 변환하여 단층영상을 획득함으로써, 자기공명영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 자기공명영상 데이터를 수신하는 단계; 및 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 영상 처리 방법은 상기 수신된 자기공명영상 데이터에 대한 리그리딩을 수행하는 단계를 더 포함하고, 상기 영상을 복원하는 단계는 상기 리그리딩된 자기공명영상 데이터의 푸리에 공간을 상기 뉴럴 네트워크를 이용하여 보간함으로써, 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
상기 영상을 복원하는 단계는 미리 설정된 낮은 랭크 행켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
상기 영상을 복원하는 단계는 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있으며, 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 처리 방법은 자기공명영상 데이터를 수신하는 단계; 및 낮은 랭크 행켈 행렬 기법(low-rank Hankel matrix approach)과 컨볼루션 프레임렛(convolution framelet)에 기반한 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 처리 장치는 자기공명영상 데이터를 수신하는 수신부; 및 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 복원부를 포함한다.
상기 복원부는 상기 수신된 자기공명영상 데이터에 대한 리그리딩을 수행하고, 상기 리그리딩된 자기공명영상 데이터의 푸리에 공간을 상기 뉴럴 네트워크를 이용하여 보간함으로써, 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
상기 복원부는 미리 설정된 낮은 랭크 행켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
상기 복원부는 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있으며, 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
본 발명의 실시예들에 따르면, 미획득된 푸리에 공간 계수를 뉴럴 네트워크를 이용하여 보간을 수행하고 역 푸리에 연산을 통해 영상 공간 계수로 변환하여 단층영상을 획득함으로써, 자기공명영상을 고품질의 영상으로 복원할 수 있다.
본 발명의 실시예들에 따르면, 뉴럴 네트워크 연산 시 최소한의 메모리만 요구되기에 상용화되고 있는 자기공명영상의 해상도에서도 충분히 수행될 수 있으며, 자기공명영상에서 다루기 힘들었던 복소 데이터 형식의 조작에 관한 불확실성과 뉴럴 네트워크에서 흔히 사용되는 활성화 함수인 ReLU(Rectified Linear Unit)와 채널에 관한 정의에 관하여 기술함으로써, 뉴럴 네트워크가 직접적으로 푸리에 공간에서의 보간을 수행할 수 있다.
본 발명의 실시예들에 따르면, 다운 샘플링된 푸리에 공간 계수를 획득한 자기공명영상을 복원하는 기술로, 다운 샘플링 패턴에는 직교(Cartesian) 패턴과 비직교(non-Cartesian) 패턴 예를 들어, 방사형(radial)과 나선형(spiral) 패턴이 존재하며, 모든 다운 샘플링 패턴에 대하여 복원 성능을 향상시킬 수 있다. 즉, 본 발명은 단순히 다운 샘플링된 푸리에 공간을 보간하는 것 뿐만 아니라 환자의 움직임으로 인해 왜곡, 또는 자기공명장치에 의해 야기된 왜곡(예를 들어, herringbone, zipper, ghost, dc artifacts 등)과 같이 푸리에 공간 계수의 왜곡을 보정할 수도 있다.
다운 샘플링된 푸리에 공간을 보간하거나 왜곡된 푸리에 공간 계수를 보정하기 위해 주로 반복적 복원기법(Iterative reconstruction method)를 이용한 연구가 주를 이루었지만, 반복적 복원기법의 경우 복원 시간이 오래 걸린다는 한계가 존재하여 실제로 의료장비에 삽입되어 시판되기엔 무리가 있다. 본 발명은 뉴럴 네트워크를 이용한 영상 복원을 수행함으로써, 그 복원시간이 굉장히 짧고 복원 성능이 우수하기에 시장성이 있다. 특히, 자기공명영상의 경우 그 촬영시간이 오래 걸리기 때문에 1일 당 촬영 가능한 환자수에 많지 않지만 본 발명을 이용하는 경우 그 촬영 시간을 상당히 감축시킬 수 있기 때문에 촬영 가능한 환자수를 충분히 늘릴 수 있고, 따라서 환자들은 짧은 시간 안에 촬영을 할 수 있어 빠른 진료를 받을 수 있음과 동시에 장비를 사용하는 의사들은 1일 당 촬영 수를 늘림으로써 수익을 증대시킬 수 있다.
도 1은 가속 MRI에 대한 딥 러닝 프레임워크에 대한 예시도들을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 자기공명영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 ALOHA와 딥 컨볼루션 프레임렛에 기반한 뉴럴 네트워크에 대한 예시도들을 나타낸 것이다.
도 4는 자기공명영상에 대한 딥 러닝 네트워크 구조를 나타낸 것이다.
도 5는 직교 궤적에서 본 발명에 따른 방법과 기존 방법에 의한 복원 결과를 비교한 일 예시도를 나타낸 것이다.
도 6은 방사형 궤적에서 본 발명에 따른 방법과 기존 방법에 의한 복원 결과를 비교한 일 예시도를 나타낸 것이다.
도 7은 나선형 궤적에서 본 발명에 따른 방법과 기존 방법에 의한 복원 결과를 비교한 일 예시도를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 자기공명영상 처리 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 자기공명영상을 고품질의 영상으로 복원하는 것을 그 요지로 한다.
이 때, 본 발명은 미획득된 푸리에 공간 계수를 뉴럴 네트워크를 이용하여 보간을 수행하고 역 푸리에 연산을 통해 영상 공간 계수로 변환하여 단층영상을 획득할 수 있다.
나아가, 본 발명의 네트워크는 추가적인 리그리딩(regridding) 레이어를 단순히 추가함으로써 비직교(non-Cartesian) k-공간 궤적에 쉽게 적용할 수 있다
본 발명의 뉴럴 네트워크는 도 1d에 도시된 바와 같이 미획득된 푸리에 공간 계수를 직접적으로 뉴럴 네트워크를 이용하여 보간을 수행하고 역 푸리에 연산을 통해 영상 공간 계수로 변환하여 단층영상을 획득할 수 있다. 즉, 본 발명의 딥 러닝 기법은 누락된 k-공간 데이터를 직접 보간하기 때문에 보간된 k-공간 데이터의 푸리에 변환을 간단히 취함으로써, 정확한 복원을 획득할 수 있다.
최근 딥 컨볼루션 프레임렛 이론은 인코더-디코더 네트워크가 데이터 중심 낮은 랭크 행켈 행렬 분해로부터 나타나고, 이러한 랭크 구조는 필터 채널들의 수에 의해 제어된다. 이러한 발견은 k-공간 보간에 대하여 성공적인 딥 러닝 기법을 개발하는데 중요한 단서를 제공하며, 본 발명은 k-공간 보간에 대한 딥 러닝 기법이 방사형, 나선형 등과 같은 직교 궤적(Cartesian trajectory)을 넘어서 일반적인 k-공간 샘플링 패턴을 처리할 수 있다. 또한, 모든 네트워크는 완전 연결 레이어를 필요로 하지 않는 컨볼루션 뉴럴 네트워크 형태로 구현되고, GPU 메모리 요구량은 최소화될 수 있다.
본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다. 나아가, 다중 해상도 뉴럴 네트워크는 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
상술한 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식으로, 이에 대해 설명하면 다음과 같다.
컨볼루션 프레임렛은 입력신호 f에 대하여 국소 기저(
Figure pat00001
)와 비국소 기저 (
Figure pat00002
)를 이용하여 표현한 것으로, 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00003
여기서,
Figure pat00004
는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,
Figure pat00005
Figure pat00006
는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.
이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터
Figure pat00007
와
Figure pat00008
를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 2>와 같이 정의될 수 있다.
[수학식 2]
Figure pat00009
상기 수학식 2를 이용하면 컨볼루션 프레임렛은 아래 <수학식 3>과 같이 표현할 수 있다.
[수학식 3]
Figure pat00010
Figure pat00011
여기서,
Figure pat00012
는 행켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며,
Figure pat00013
는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.
컨볼루션 프레임렛 계수
Figure pat00014
는 듀얼 기저 벡터
Figure pat00015
를 적용하여 본래의 신호로 복원될 수 있다. 신호 복원 과정은 아래 <수학식 4>와 같이 나타낼 수 있다.
[수학식 4]
Figure pat00016
이와 같이, 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다.
표기법(notations)
본 발명에서 행렬은 굵은 대문자 예를 들어, A, B로 표시되고, 벡터는 굵은 소문자 예를 들어, x, y로 표시된다. 게다가,
Figure pat00017
는 행렬 A의 (i, j)번째 요소를 의미하고,
Figure pat00018
는 벡터 x의 j번째 요소를 의미한다. 벡터
Figure pat00019
에 대한 표기
Figure pat00020
는 뒤집힌 버전(flipped version) 즉, 벡터 V의 인덱스들이 거꾸로 된 것을 의미한다.
Figure pat00021
항등 행렬(identity matrix)은
Figure pat00022
으로 표시되고,
Figure pat00023
은 1의 N 차원 벡터를 의미한다. 행렬 또는 벡터에 대한 위 첨자 T와
Figure pat00024
는 각각 전치와 에르미트 전치(Hermitian transpose)를 의미한다.
Figure pat00025
과
Figure pat00026
는 각각 실수와 허수 필드를 의미하고,
Figure pat00027
은 음이 아닌 실수를 의미한다.
가속 MRI에 대한 포워드 모델(Forward Model for Accelerated MRI)
임의의 평활 함수(smooth function)
Figure pat00028
의 공간 푸리에 변환은 아래 <수학식 5>과 같이 정의될 수 있다.
[수학식 5]
Figure pat00029
여기서,
Figure pat00030
는 공간 주파수를 의미하고,
Figure pat00031
일 수 있다.
어떤 정수
Figure pat00032
에 대하여,
Figure pat00033
를 나이퀴스트 샘플링 레이트를 확인하는 k-공간의 샘플링 포인트들의 유한 수의 모음(collection)이라 하면, 이산화된 k-공간 데이터
Figure pat00034
는 아래 <수학식 6>와 같이 나타낼 수 있다.
[수학식 6]
Figure pat00035
가속 MR 획득을 위한 주어진 언더 샘플링 패턴
Figure pat00036
에 대해, 다운 샘플링 연산자
Figure pat00037
는 아래 <수학식 7>과 같이 정의될 수 있다.
[수학식 7]
Figure pat00038
언더 샘플링된 k-공간 데이터는 아래 <수학식 8>와 같이 나타낼 수 있다.
[수학식 8]
Figure pat00039
ALOHA
CS-MRI는 어떤 희소한 변환 도메인(sparsifying transform domain)에서 최소 비제로 서포트(non-zero support)를 가지는 실현 가능한 솔루션을 찾으려고 시도한다. 이는 아래 <수학식 9>와 같이 평활 함수
Figure pat00040
를 찾음으로써, 이루어질 수 있다.
[수학식 9]
Figure pat00041
여기서,
Figure pat00042
는 영상 도메인 희소 변환을 의미할 수 있으며,
Figure pat00043
는 아래 <수학식 10>과 같이 나타낼 수 있다.
[수학식 10]
Figure pat00044
이런 최적화 문제는
Figure pat00045
의 이산 후 k-공간과 영상 도메인 간 반복적인 업데이트를 요구한다.
비록 ALOHA가 영상 도메인 희소 변환을 기존의 CS-MRI 알고리즘으로 활용하고 있지만, CS-MRI 기법과 달리 ALOHA는 직접 k-공간 보간에 관심이 있다. 보다 구체적으로,
Figure pat00046
를 k-공간 측정
Figure pat00047
로부터 구성된 행켈 행렬이라 하면, d는 행렬 펜슬(pencil) 크기를 의미할 수 있다. ALOHA 이론에 따르면, 영상 도메인에서 기본 신호(underlying signal)
Figure pat00048
이 희소하고 레이트 s를 가지는 유한 레이트 혁신(finite rate of innovations, FRI) 신호로 기술되며,
Figure pat00049
를 가지는 관련된 행켈 행렬
Figure pat00050
는 낮은 랭크가 된다.
따라서, k-공간 데이터의 일부가 누락되는 경우 누락된 요소들이 아래 <수학식 11>과 같은 낮은 랭크 행켈 행렬 완성 기법을 이용하여 복구되도록, 누락된 요소들이 있는 적절한 가중치 행켈 행렬(appropriate weighted Hankel matrix)을 구성할 수 있다.
[수학식 11]
Figure pat00051
낮은 랭크 행켈 행렬 완성 문제(P)는 다양한 방법으로 풀 수 있고, ALOHA는 행렬 인수 분해 기법들(matrix factorization approaches)을 이용할 수 있다.
ALOHA는 가속 MR 획득 뿐만 아니라 MR 아티팩트 보정에도 매우 유용하며, 또한 많은 낮은 레벨 컴퓨터 비젼 문제에도 사용될 수 있다. 그러나, 주요 기술적인 혼란은 행렬 인수 분해에 대한 상대적으로 큰 계산적인 복잡성과 행켈 행렬을 저장하기 위한 메모리 요구 사항이다. 비록 여러가지 새로운 기법들이 이러한 문제들을 해결하기 위하여 제안되었지만, 딥 러닝 기법이 행렬 분해를 완전히 데이터 중심적이고 표현적으로 만듦으로써, 이러한 문제를 해결할 수 있는 새롭고 효율적인 방법이다.
도 2는 본 발명의 일 실시예에 따른 자기공명영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 자기공명영상 처리 방법은 자기공명영상 데이터를 수신하는 단계(S210)와 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 자기공명영상 데이터에 대한 영상을 복원하는 단계(S220)를 포함한다.
여기서, 단계 S220은 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
나아가, 단계 S220은 미리 설정된 낮은 랭크 행켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
더 나아가, 단계 S220은 자기공명영상 데이터에 대한 리그리딩을 수행한 후 리그링된 자기공명영상 데이터의 푸리에 공간을 뉴럴 네트워크를 이용하여 보간함으로써, 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
본 발명에서 사용되는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
여기서, 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식을 의미할 수 있다.
나아가, 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
본 발명은 압축센싱(compressed sensing) 기반 신호 복원 관점에서 ALOHA 기법을 통해 신호의 희소성(sparsity)이 듀얼 공간에서 신호에 대한 행켈 구조 행렬에서의 낮은 랭크(low-rankness)를 나타내고, 딥 컨볼루션 프레임렛 이론을 통해 행켈 구조 행렬의 기저 함수를 국소 기저 함수와 광역 기저 함수로 분해될 수 있으며, 이는 뉴럴 네트워크의 컨볼루션(convolution)과 풀링(pooling)의 역할을 수행할 수 있다.
이렇듯 본 발명의 뉴럴 네트워크는 소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수 있다.
도 3은 ALOHA와 딥 컨볼루션 프레임렛에 기반한 뉴럴 네트워크에 대한 예시도들을 나타낸 것으로, 신호의 희소성을 보장하기 위한 방법에 따른 두 가지 뉴럴 네트워크 구조를 나타낸 것이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 뉴럴 네트워크는 압축센싱 기반 연산 시 수행되었던 가중치 방법(a)과 뉴럴 네트워크에서 수행되는 스킵된 연결(skipped connection을) 이용한 잔여 학습(residual learning) 방법(b)이다.
이러한 본 발명에 따른 방법에 대해 도 3 내지 도 7을 참조하여 설명한다.
학습된 낮은 랭크 기저를 가지는 ALOHA(ALOHA with Learned Low-Rank Basis)
낮은 랭크 행켈 행렬 제약 조건(constraint) 하에서 다음 <수학식 12>와 같은 영상 회귀 문제를 고려한다.
[수학식 12]
Figure pat00052
여기서, s는 추정된 랭크를 의미할 수 있다.
상기 수학식 12의 첫 번째 줄에 기재된 비용은 영상 도메인에서 오류를 최소화하기 위한 영상 도메인으로 정의될 수 있고, 상기 수학식 12의 두 번째와 세 번째 줄에 기재된 낮은 랭크 행켈 행렬 제약 조건은 k-공간 가중화 이후 k-공간에 부과될 수 있다.
실수 도메인에서 구현되는 딥 러닝 기법에 대한 링크를 찾기 위하여, 본 발명은 상기 수학식 12의 복소 값 제약 조건을 실수 값 제약 조건으로 변환한다. 이에 대해, 연산자
Figure pat00053
는 아래 <수학식 13>와 같이 정의될 수 있다.
[수학식 13]
Figure pat00054
여기서, Re()과 Im()는 실수부와 허수부를 의미할 수 있다.
동일하게 본 발명은 상기 수학식 13의 역 연산자
Figure pat00055
를 아래 <수학식 14>와 같이 정의할 수 있다.
[수학식 14]
Figure pat00056
여기서,
Figure pat00057
이면, 아래 <수학식 15>와 같이 나타낼 수 있다.
[수학식 15]
Figure pat00058
따라서, 상기 수학식 12는 실수 값 제약 조건을 가지는 최적화 문제로 변환될 수 있으며, 아래 <수학식 16>과 같이 나타낼 수 있다.
[수학식 16]
Figure pat00059
비록, 이런 형태의 낮은 랭크 제약 조건 최적화 문제가 전형적인 낮은 랭크 행켈 행렬 기법에서 단일 값 감소(singular value shrinkage) 또는 행렬 인수 분해를 통해 해결되었지만, 딥 컨볼루션 프레임렛에서 가장 중요한 발견 중 하나는 학습 기반 신호 표현을 사용하여 이러한 문제를 해결할 수 있다는 것이다.
보다 구체적으로, 어떤
Figure pat00060
에 대하여, 행켈 구조화된 행렬
Figure pat00061
이 단일 값 분해
Figure pat00062
를 가진다 하면,
Figure pat00063
와
Figure pat00064
는 각각 좌측 단일 벡터 기저 행렬과 우측 단일 벡터 기저 행렬을 의미하고,
Figure pat00065
는 단일 값들을 가지는 대각선 행렬(diagonal matrix)를 의미한다. 낮은 랭크 투영 제약 조건을 만족하는 행렬 쌍
Figure pat00066
를 고려하면, 행렬 쌍은 아래 <수학식 17>과 같이 나타낼 수 있고, 낮은 랭크 투영 제약 조건은 아래 <수학식 18>과 같이 나타낼 수 있다.
[수학식 17]
Figure pat00067
[수학식 18]
Figure pat00068
여기서,
Figure pat00069
는 V의 범위 공간에 대한 투영 행렬을 의미할 수 있다.
본 발명은 아래 <수학식 19>의 조건을 만족시키는 일반화된 풀링 행렬과 언풀링 행렬
Figure pat00070
을 사용한다.
[수학식 19]
Figure pat00071
상기 수학식 18과 수학식 19를 이용하여, 아래 <수학식 20>과 같은 행렬 동치(matrix equality)를 얻을 수 있다.
[수학식 20]
Figure pat00072
여기서,
Figure pat00073
를 의미할 수 있다.
행켈 행렬의 일반화된 역행렬을 취함으로써, 상기 수학식 20은 프레임렛 계수 C를 갖는 프레임렛 기저 표현으로 변환될 수 있다. 또한, 상기 수학식 20에서 프레임렛 기저 표현은 단일 레이어 인코더-디코더 컨볼루션 아키텍처에 의해 등가적으로 표현될 수 있으며, 아래 <수학식 21>과 같이 표현될 수 있다.
[수학식 21]
Figure pat00074
여기서,
Figure pat00075
는 다중 채널 입력 다중 채널 출력 컨볼루션을 의미할 수 있다.
상기 수학식 21의 첫 번째 부분과 두 번째 부분은 대응 컨볼루션 필터
Figure pat00076
과
Figure pat00077
을 갖는 인코더 레이어와 디코더 레이어에 대응된다. 여기서, 대응 컨볼루션 필터는 아래 <수학식 22>와 같이 나타낼 수 있다.
[수학식 22]
Figure pat00078
대응 컨볼루션 필터는 상기 수학식 17의 행렬
Figure pat00079
과
Figure pat00080
를 재정렬함으로써, 얻을 수 있다. 특히,
Figure pat00081
는 i 번째 채널 출력을 생성하는 k-공간 데이터의 실수(resp. 허수) 컴포넌트에 적용되는 d-탭 인코더 컨볼루션 필터를 의미할 수 있다. 게다가,
Figure pat00082
는
Figure pat00083
의 재정렬 버전이며,
Figure pat00084
는 i 번째 채널 입력과 컨볼루션 함으로써, k-공간 데이터의 실수(resp. 허수) 컴포넌트를 생성하기 위한 d-탭 디코더 컨볼루션 필터를 의미할 수 있다.
상기 수학식 21은 다음과 같다. 먼저, k-공간 데이터
Figure pat00085
는 각각 실수 컴포넌트와 허수 컴포넌트를 갖는 두 채널로 분할된다. 그런 다음, 인코더 필터는 다중 채널 컨볼루션을 이용하여 두 채널 입력들로부터 Q-채널 출력들을 생성한 다음
Figure pat00086
에 의해 정의된 풀링 동작이 각 Q-채널 출력에 적용된다. 출력 결과인 Q-채널 특성 맵은 컨볼루션 프레임렛 계수에 대응된다. 디코더에서, Q-채널 특성 맵은
Figure pat00087
에 의해 표현되는 언풀링 레이어를 사용하여 처리되며, 디코더 필터와 컨볼루션되어 추정된 k-공간 데이터의 실수 채널과 영상 채널을 생성한다. 마지막으로, 복소 값 k-공간 데이터는 두 채널 출력으로부터 형성된다. 추정된 행켈 행렬의 랭크 구조는 필터 채널의 수 즉, Q로 고정된다.
상기 수학식 21이 랭크-Q 행켈 구조화된 행렬과 관련된 신호의 일반적인 형태이기 때문에 이를 k-공간 보간에 대한 기조를 추정하는데 사용한다. 이를 위해 필터들
Figure pat00088
는 트레이닝 데이터에 의해 추정될 수 있다. 특히, 컨볼루션 프레임렛 기저에 기초한 신호 공간
Figure pat00089
를 고려하며, 신호 공간
Figure pat00090
는 아래 <수학식 23>과 같이 나타낼 수 있다.
[수학식 23]
Figure pat00091
ALOHA 공식
Figure pat00092
는 아래 <수학식 24>와 같이 등가적으로 표현될 수 있다.
[수학식 24]
Figure pat00093
트레이닝 데이터 세트
Figure pat00094
가 주어진다 가정한다. 여기서,
Figure pat00095
는 언더 샘플링된 k-공간 데이터를 의미하고,
Figure pat00096
는 해당 실측 영상(ground-truth image)을 의미할 수 있다. 상기 수학식 24의
Figure pat00097
로부터 아래 <수학식 25>와 같은 필터 추정 공식을 얻을 수 있다.
[수학식 25]
Figure pat00098
여기서, 연산자
Figure pat00099
는 매핑
Figure pat00100
관점에서 아래 <수학식 26>과 같이 정의될 수 있으며, C는 아래 <수학식 27>과 같이 나타낼 수 있다.
[수학식 26]
Figure pat00101
[수학식 27]
Figure pat00102
네트워크가 완전히 트레이닝된 후, 다운 샘플링된 k-공간 데이터
Figure pat00103
로부터 영상 추론은
Figure pat00104
에 의해 간단하게 수행되는 반면, 보간된 k-공간 샘플들은 아래 <수학식 28>에 의해 얻어질 수 있다.
[수학식 28]
Figure pat00105
딥 ALOHA( DeepALOHA )
본 발명은 다중 레이어 딥 컨볼루션 프레임렛 확장으로 확장될 수 있다. 특히, 인코더와 디코더 컨볼루션 필터
Figure pat00106
가 아래 <수학식 29>와 같이 작은 길이 필터들의 케스케이드된 컨볼루션으로 표현될 수 있다 가정한다.
[수학식 29]
Figure pat00107
여기서,
Figure pat00108
와
Figure pat00109
는 각각 j 번째 레이어에 대한 필터 길이, 입력 채널 수와 출력 채널 수를 의미하고, 복합 필터
Figure pat00110
과
Figure pat00111
에 대하여 상기 수학식 18의 조건을 만족할 수 있다.
딥 컨볼루션 프레임렛 확장은 선형 표현이기 때문에 상기 수학식 23의 신호 공간
Figure pat00112
을 제한하여 음이 아닌 행렬 인수 분해(nonnegative matrix factorization, NMF)와 유사한 부분별 표현을 가능하게 하는 컨볼루션 프레임렛 기저의 원추형 선체(conic hull)에 신호가 존재하게 되고, 이를 아래 <수학식 30>과 같이 재귀적으로 정의할 수 있다.
[수학식 30]
Figure pat00113
여기서,
Figure pat00114
는 아래 <수학식 31>과 같이 정의될 수 있다.
[수학식 31]
Figure pat00115
이런 포지티비티 제약 조건(positivity constraint)은 트레이닝 동안 ReLU(rectified linear unit)를 사용하여 구현될 수 있으며, 본 발명에서는 ReLU와 풀링 레이어를 갖는 일반화된 버전을 딥 ALOHA라 할 수 있다.
희소화 ( Sparsification )
본 발명은 구조화된 행렬 완성 기법의 성능을 향상시키기 위하여, 영상 x(r)이 희소하지 않더라도 결과적인 혁신 신호
Figure pat00116
이 FRI 신호가 되도록 화이트닝 필터(whitening filter)
Figure pat00117
에 의해 표현되는 쉬프트-불변 변환(shift-invariant transform)을 사용하여 영상 x(r)이 혁신 신호(innovation signal)로 변환될 수 있다. 예를 들어, 많은 MR 영상들은 유한 차분(finite difference)을 사용하여 희소하게 될 수 있다. 이 경우,
Figure pat00118
가 낮은 랭크가 되기 때문에 가중치 k-공간 데이터로부터 행켈 행렬이 낮은 랭크가 된다. 여기서, 가중치
Figure pat00119
는 유한 차분 또는 Haar 웨이블릿 변환으로부터 결정될 수 있다. 따라서, 딥 뉴럴 네트워크가 누락된 스펙트럴 데이터
Figure pat00120
를 추정하기 위하여 가중치 k-공간 데이터에 적용된 후 오리지널 k-공간 데이터는 동일한 가중치로 나눔으로써, 획득된다. 즉,
Figure pat00121
이 된다. 필터
Figure pat00122
의 스펙트럴 널(null)에 있는 신호
Figure pat00123
의 경우 해당 요소들은 MR 획득에서 쉽게 수행될 수 있는 샘플링된 측정 값으로 획득될 수 있다. 이하, 모든 i에 대하여
Figure pat00124
인 것으로 가정한다. 딥 ALOHA에서는 도 3a에 도시된 바와 같이 가중치 레이어와 비가중치 레이어를 사용하여 쉽게 구현할 수 있다.
딥 ALOHA는 신호를 희소하기 만드는 다른 방법을 허용한다. 완전 샘플링된 k-공간 데이터
Figure pat00125
는 아래 <수학식 32>와 같이 표현될 수 있다.
[수학식 32]
Figure pat00126
여기서,
Figure pat00127
는 상기 수학식 8에서 언더 샘플링된 k-공간 측정 값을 의미하고,
Figure pat00128
는 추정된 k-공간 데이터의 잔여 부분(residual part)을 의미할 수 있다.
실제로, DC 컴포넌트를 포함하는 k-공간 데이터의 저주파수 부분의 일부는 잔여 k-공간 데이터
Figure pat00129
로부터의 영상 컴포넌트가 고주파수 신호이고 희소하기에, 언더 샘플링된 측정 값으로부터 획득된다. 따라서,
Figure pat00130
는 딥 뉴럴 네트워크를 이용하여 효과적으로 처리할 수 있는 낮은 랭크 행켈 해열 구조를 가지고 있다. 이는 도 3b에 도시된 바와 같이 딥 뉴럴 네트워크 전에 스킵된 연결(skipped connection)을 이용하여 쉽게 구현될 수 있다. 이러한 두 개의 희소화 스킴(scheme)은 더 나은 성능 향상을 위해 결합될 수도 있다.
전반적인 아키텍처(Overall Architecture)
ALOHA의 행켈 행렬 공식은 직교 좌표를 가정하기 때문에 k-공간 가중치 레이어의 앞에 추가 리그리딩(regridding) 레이어를 추가함으로써, 비직교 샘플링 궤적(non-Cartesian sampling trajectories)을 다룰 수 있다. 구체적으로, 방사형 및 나선형 궤적의 경우 비균일 고속 푸리에 변환(non-uniform fast Fourier transform, NUFFT)이 직교 좌표에 대한 리그리딩을 수행하기 위해 사용될 수 있다. 직교 샘플링 궤적의 경우, NUFFT를 이용한 리그리딩 레이어는 필요하지 않으며 최근적 이웃 보간(nearest neighborhood interpolation)을 수행하여 초기에 획득되지 않은 k-공간 영역을 채울 수 있다.
네트워크 백본(network backbone)
도 4는 자기공명영상에 대한 딥 러닝 네트워크 구조를 나타낸 것으로, 도 4에 도시된 바와 같이, 자기공명영상에 대한 딥 러닝 네트워크 구조는 U-Net 구조를 따르며, 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결(contracting path connection with concatenation)을 포함한다. 여기서, 입력과 출력은 복소 값 k-공간 데이터이며, 도 4에 도시된
Figure pat00131
과
Figure pat00132
은 각각 복소 값 입력을 2 채널 실수 값 신호로 변환하는 상기 수학식 13의 연산자와 상기 수학식 13의 역 연산자인 상기 수학식 14의 연산자를 의미할 수 있다. 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 기본 연산자를 포함한다. 각 풀링 레이어 후에 채널 수는 두 배가 되며, 계층들의 크기를 4배로 감소시킨다. 여기서, 풀링 레이어는 2 × 2 평균 풀링 레이어일 수 있고, 언풀링 레이어는 2 × 2 평균 언풀링 레이어일 수 있으며, 풀링 레이어와 언풀링 레이어는 각 스테이지들 사이에 위치할 수 있다. 스킵과 연쇄 레이어(skip + Concat)는 스킵과 연쇄 연산자일 수 있다. 1 × 1 커널을 갖는 컨볼루션 레이어(1 × 1 Conv)는 다중 채널 데이터로부터 보간된 k-공간 데이터를 생성하는 컨볼루션 연산자일 수 있다. 각 컨볼루션 레이어에 대한 채널 수는 도 4에 도시되어 있다.
또한, 도 4에 도시된 네트워크는 평균 풀링 레이어와 평균 언풀링 레이어를 비국소 기저로 이용 또한 바이패스 연결 레이어(bypass connection layer)를 통해 입력부의 신호를 출력부로 전달해주는 역할을 한다. U-Net은 저해상도 신호에 재귀적으로 적용되는데, 여기서, 입력은 국소 컨볼루션 필터로 필터링되고, 풀링 연산을 사용하여 절반 크기의 근사 신호로 감소될 수 있으며, 바이패스 연결은 풀링 중에 손실된 고주파를 보상할 수 있다.
네트워크 트레이닝
본 발명은 트레이닝을 위해
Figure pat00133
의 영상 도메인에서 l2 로스를 사용한다. 이를 위해 푸리에 변환 연산자는 보간된 k-공간 데이터를 복수 값 영상 도메인으로 변환하여 로스 값이 재구성된 영상에 대해 계산되도록 마지막 레이어 배치된다. 본 발명의 네트워크는 확률적 경사 하강법(stochastic gradient descent, SGD)에 의해 트레이닝될 수 있다. 역 푸리에 변환(IFT) 레이어의 경우 확률적 경사 하강법(SGD)의 수반 연산(adjoint operation) 또한 푸리에 변환일 수 있다. 미니 배치의 크기는 4이고, 에포크(epoch)의 수는 300개이다. 초기 학습 레이트(learning rate)는 10-5이며, 이는 10-6까지 점진적으로 떨어지고, 정규화 파라미터(regularization parameter)는
Figure pat00134
이다.
네트워크에 대한 라벨은 완전 샘플링된 k-공간 데이터로부터 직접 푸리에 역 변환(direct Fourier inversion)에 의해 생성된 영상일 수 있다. 네트워크의 입력 데이터는 직교, 방사형 및 나선형 궤적으로부터 리그리드되고 다운 샘플링된 k-공간 데이터이며, 각 궤도마다 네트워크를 별도로 트레이닝할 수 있다. 네트워크는 MATLAB2015a 환경에서 MatConvNet toolbox를 사용하여 구현될 수 있다.
도 5는 직교 궤적에서 본 발명에 따른 방법과 기존 방법에 의한 복원 결과를 비교한 일 예시도를 나타낸 것이고, 도 6은 방사형 궤적에서 본 발명에 따른 방법과 기존 방법에 의한 복원 결과를 비교한 일 예시도를 나타낸 것이며, 도 7은 나선형 궤적에서 본 발명에 따른 방법과 기존 방법에 의한 복원 결과를 비교한 일 예시도를 나타낸 것이다.
여기서, 도 5는 4배 감소된 직교 샘플에서의 복원 영상 결과를 나타낸 것이고, 도 6은 6배 감소된 방사형 샘플에서의 복원 영상 결과를 나타낸 것이며, 도 7은 4배 감소된 나선형 샘플에서의 복원 영상 결과를 나타낸 것으로, 왼쪽부터 원본 영상, 다운 샘플링된 영상, 영상 공간 학습 복원 영상과 본 발명에 따른 복원 영상을 나타낸 것이며, 아래쪽 영상 중 좌측 영상은 원본 영상과 복원 영상 간 차이 영상을 나타내고, 아래쪽 영상 중 우측 영상은 상부 영상의 박스 영역을 확대한 영상을 나타낸 것이다. 그리고, 영상에 쓰여진 숫자는 평균 제곱 오류(normalized mean squares error, NMSE) 값을 나타낸 것이다.
도 5 내지 도 7를 통해 알 수 있듯이, 영상 공간 학습을 이용한 복원 기법의 경우 영상 내에 뭉개짐 현상이 존재함과 동시에 정교한 구조적 형태가 손실된 것을 알 수 있는 반면, 본 발명에 따른 방법의 경우 실제와 같은 질감과 더불어 뭉개짐 현상이 거의 없는 것을 알 수 있다. 더욱이, 다운 샘플링된 영상 내에서 찾아볼 수 없던 단서임에도 불구하고, 푸리에 공간에서 직접적으로 보간을 수행하기 때문에 정교한 구조가 명확히 복원되는 것을 알 수 있다. 또한, NMSE 값을 통해 알 수 있듯이, 본 발명에 따른 방법의 NMSE 값이 기존 방법의 NMSE 값보다 낮은 것을 알 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 미획득된 푸리에 공간 계수를 뉴럴 네트워크를 이용하여 보간을 수행하고 역 푸리에 연산을 통해 영상 공간 계수로 변환하여 단층영상을 획득함으로써, 자기공명영상을 고품질의 영상으로 복원할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 뉴럴 네트워크 연산 시 최소한의 메모리만 요구되기에 상용화되고 있는 자기공명영상의 해상도에서도 충분히 수행될 수 있으며, 자기공명영상에서 다루기 힘들었던 복소 데이터 형식의 조작에 관한 불확실성과 뉴럴 네트워크에서 흔히 사용되는 활성화 함수인 ReLU(Rectified Linear Unit)와 채널에 관한 정의에 관하여 기술함으로써, 뉴럴 네트워크가 직접적으로 푸리에 공간에서의 보간을 수행할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 직교(Cartesian) 패턴과 비직교(non-Cartesian) 패턴 예를 들어, 방사형(radial)과 나선형(spiral) 패턴을 포함하는 모든 다운 샘플링 패턴에 대하여 복원 성능을 향상시킬 수 있다. 즉, 본 발명에 따른 방법은 단순히 다운 샘플링된 푸리에 공간을 보간하는 것 뿐만 아니라 환자의 움직임으로 인해 왜곡, 또는 자기공명장치에 의해 야기된 왜곡(예를 들어, herringbone, zipper, ghost, dc artifacts 등)과 같이 푸리에 공간 계수의 왜곡을 보정할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 자기공명영상 처리 장치에 대한 구성을 나타낸 것으로, 상기 도 1 내지 도 7의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 자기공명영상 처리 장치(800)는 수신부(810) 및 복원부(820)를 포함한다.
수신부(810)는 자기공명영상 데이터를 수신하다.
여기서, 수신부(810)는 언더 샘플링된 자기공명영상 데이터를 수신할 수 있다.
복원부(820)는 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원한다.
이 때, 복원부(820)는 상기 수신된 자기공명영상 데이터에 대한 리그리딩을 수행하고, 상기 리그리딩된 자기공명영상 데이터의 푸리에 공간을 상기 뉴럴 네트워크를 이용하여 보간함으로써, 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
나아가, 복원부(820)는 미리 설정된 낮은 랭크 행켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
더 나아가, 복원부(820)는 잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원할 수 있다.
뉴럴 네트워크는 소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수 있다.
뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있으며, 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
비록, 도 8의 장치에서 그 설명이 생략되었더라도, 도 7을 구성하는 각 구성 수단은 도 1 내지 도 7에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 자기공명영상 데이터를 수신하는 단계; 및
    푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 수신된 자기공명영상 데이터에 대한 리그리딩(regridding)을 수행하는 단계
    를 더 포함하고,
    상기 영상을 복원하는 단계는
    상기 리그리딩된 자기공명영상 데이터의 푸리에 공간을 상기 뉴럴 네트워크를 이용하여 보간함으로써, 상기 자기공명영상 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 영상을 복원하는 단계는
    미리 설정된 낮은 랭크 행켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 영상을 복원하는 단계는
    잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 뉴럴 네트워크는
    소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제1항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 뉴럴 네트워크는
    풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 제7항에 있어서,
    상기 뉴럴 네트워크는
    상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 자기공명영상 데이터를 수신하는 단계; 및
    낮은 랭크 행켈 행렬 기법(low-rank Hankel matrix approach)과 컨볼루션 프레임렛(convolution framelet)에 기반한 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
  10. 자기공명영상 데이터를 수신하는 수신부; 및
    푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 복원부
    를 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 복원부는
    상기 수신된 자기공명영상 데이터에 대한 리그리딩을 수행하고, 상기 리그리딩된 자기공명영상 데이터의 푸리에 공간을 상기 뉴럴 네트워크를 이용하여 보간함으로써, 상기 자기공명영상 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  12. 제10항에 있어서,
    상기 복원부는
    미리 설정된 낮은 랭크 행켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  13. 제10항에 있어서,
    상기 복원부는
    잔여 학습(residual learning)에 의해 학습된 학습 모델의 뉴럴 네트워크를 이용하여 상기 자기공명영상 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  14. 제10항에 있어서,
    상기 뉴럴 네트워크는
    소멸 필터 기반 낮은 랭크 행켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  15. 제10항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  16. 제10항에 있어서,
    상기 뉴럴 네트워크는
    풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 뉴럴 네트워크는
    상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 장치.
KR1020180064261A 2018-06-04 2018-06-04 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치 KR102215702B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180064261A KR102215702B1 (ko) 2018-06-04 2018-06-04 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
US16/431,608 US20190369190A1 (en) 2018-06-04 2019-06-04 Method for processing interior computed tomography image using artificial neural network and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180064261A KR102215702B1 (ko) 2018-06-04 2018-06-04 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190138107A true KR20190138107A (ko) 2019-12-12
KR102215702B1 KR102215702B1 (ko) 2021-02-16

Family

ID=68692888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064261A KR102215702B1 (ko) 2018-06-04 2018-06-04 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20190369190A1 (ko)
KR (1) KR102215702B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075826A (ko) * 2019-12-13 2021-06-23 한양대학교 산학협력단 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법
WO2021162176A1 (ko) * 2020-02-13 2021-08-19 주식회사 에어스 메디컬 자기 공명 영상 처리 장치 및 그 방법
KR102384083B1 (ko) 2020-10-07 2022-04-07 단국대학교 산학협력단 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법
WO2022124473A1 (ko) * 2020-12-10 2022-06-16 주식회사 에어스 메디컬 K-space 도메인에 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법
WO2022145557A1 (ko) * 2020-12-30 2022-07-07 이마고웍스 주식회사 딥러닝을 이용한 ct 영상의 악안면골 자동 분할 방법
KR102429284B1 (ko) * 2021-08-04 2022-08-04 주식회사 에어스메디컬 컴바인이 적용되는 자기 공명 영상 처리 장치 및 그 방법
KR20220118692A (ko) * 2021-02-19 2022-08-26 한국과학기술원 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치
WO2022203119A1 (ko) * 2021-03-25 2022-09-29 주식회사 에어스 메디컬 의료 영상 복원 및 전송 시스템 및 그 방법
WO2023017963A1 (ko) * 2021-08-12 2023-02-16 주식회사 에어스 메디컬 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037330B2 (en) * 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
JP7206073B2 (ja) * 2018-08-21 2023-01-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム
US11164067B2 (en) * 2018-08-29 2021-11-02 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging
US11776171B2 (en) * 2018-09-18 2023-10-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for magnetic resonance image reconstruction
CN109658471B (zh) * 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
US20220075017A1 (en) * 2018-12-21 2022-03-10 Cornell University Machine learning for simultaneously optimizing an under-sampling pattern and a corresponding reconstruction model in compressive sensing
US10705170B1 (en) * 2019-02-15 2020-07-07 GE Precision Healthcare LLC Methods and systems for removing spike noise in magnetic resonance imaging
CN110246137B (zh) * 2019-06-19 2021-12-03 东软医疗系统股份有限公司 一种成像方法、装置及存储介质
CN111127575A (zh) * 2019-12-12 2020-05-08 深圳先进技术研究院 图像重建方法、计算机可读介质及计算机设备
CN111311703B (zh) * 2020-01-21 2023-11-21 浙江工业大学 一种基于深度学习的电阻抗断层图像重构方法
WO2021184350A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 一种基于神经网络的网格化磁共振图像重建方法和装置
CN111667444B (zh) * 2020-05-29 2021-12-03 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN112258410B (zh) * 2020-10-22 2022-09-06 福州大学 一种可微分的低秩学习网络图像修复方法
US20220165002A1 (en) * 2020-11-25 2022-05-26 Siemens Healthcare Gmbh Iterative hierarchal network for regulating medical image reconstruction
CN112508957B (zh) * 2020-12-08 2023-12-01 深圳先进技术研究院 图像分割方法和装置、电子设备、机器可读存储介质
US11790598B2 (en) * 2020-12-16 2023-10-17 Nvidia Corporation Three-dimensional tomography reconstruction pipeline
US20220244333A1 (en) * 2021-01-26 2022-08-04 Ohio State Innovation Foundation High-dimensional fast convolutional framework (hicu) for calibrationless mri
WO2022212244A1 (en) * 2021-03-28 2022-10-06 The General Hospital Corporation Distortion-free diffusion and quantitative magnetic resonance imaging with blip up-down acquisition of spin- and gradient-echoes
KR20230069501A (ko) 2021-11-12 2023-05-19 한국과학기술원 스코어 기반의 확산 모델을 이용한 자기공명영상 복원 방법 및 그 장치
CN113869503B (zh) * 2021-12-02 2022-03-01 北京建筑大学 一种基于深度矩阵分解补全的数据处理方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160110759A (ko) * 2015-03-11 2016-09-22 한국과학기술원 소멸필터를 이용한 고속 mr 영상 복원 알고리듬 개발
KR101659578B1 (ko) * 2015-09-01 2016-09-23 삼성전자주식회사 자기 공명 영상 처리 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160110759A (ko) * 2015-03-11 2016-09-22 한국과학기술원 소멸필터를 이용한 고속 mr 영상 복원 알고리듬 개발
KR101659578B1 (ko) * 2015-09-01 2016-09-23 삼성전자주식회사 자기 공명 영상 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문, DEEP CONVOLUTIONAL FRAMELETS: A GENERAL DEEP LEARNING FRAMEWORK FOR INVERSE PROBLEMS, SIAM JOURNAL ON IMAGING SCIENCES *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075826A (ko) * 2019-12-13 2021-06-23 한양대학교 산학협력단 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법
WO2021162176A1 (ko) * 2020-02-13 2021-08-19 주식회사 에어스 메디컬 자기 공명 영상 처리 장치 및 그 방법
KR102384083B1 (ko) 2020-10-07 2022-04-07 단국대학교 산학협력단 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법
WO2022124473A1 (ko) * 2020-12-10 2022-06-16 주식회사 에어스 메디컬 K-space 도메인에 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법
WO2022145557A1 (ko) * 2020-12-30 2022-07-07 이마고웍스 주식회사 딥러닝을 이용한 ct 영상의 악안면골 자동 분할 방법
KR20220118692A (ko) * 2021-02-19 2022-08-26 한국과학기술원 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치
WO2022203119A1 (ko) * 2021-03-25 2022-09-29 주식회사 에어스 메디컬 의료 영상 복원 및 전송 시스템 및 그 방법
KR102429284B1 (ko) * 2021-08-04 2022-08-04 주식회사 에어스메디컬 컴바인이 적용되는 자기 공명 영상 처리 장치 및 그 방법
WO2023017963A1 (ko) * 2021-08-12 2023-02-16 주식회사 에어스 메디컬 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법

Also Published As

Publication number Publication date
KR102215702B1 (ko) 2021-02-16
US20190369190A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
KR102215702B1 (ko) 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
Schlemper et al. A deep cascade of convolutional neural networks for dynamic MR image reconstruction
Han et al. ${k} $-space deep learning for accelerated MRI
Tezcan et al. MR image reconstruction using deep density priors
US10393842B1 (en) Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering
Ongie et al. A fast algorithm for convolutional structured low-rank matrix recovery
Gu et al. Convolutional sparse coding for image super-resolution
US10740931B2 (en) Method for performing magnetic resonance imaging reconstruction with unsupervised deep learning
US8014616B2 (en) System and method for fixed point continuation for total variation based compressed sensing imaging
KR102089151B1 (ko) 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치
CN108765511B (zh) 基于深度学习的超声图像超分辨率重建方法
Lee et al. Deep artifact learning for compressed sensing and parallel MRI
Aelterman et al. Augmented Lagrangian based reconstruction of non-uniformly sub-Nyquist sampled MRI data
KR102210457B1 (ko) 학습을 이용한 자기공명영상 복원을 위한 언더샘플링 장치 및 방법과 학습을 이용한 자기공명영상 복원 장치 및 방법, 그리고 이에 대한 기록 매체
KR20190135616A (ko) 뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치
KR102061967B1 (ko) 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
Hammernik et al. Machine learning for image reconstruction
Hyun et al. Deep learning-based solvability of underdetermined inverse problems in medical imaging
KR102131505B1 (ko) 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치
CN112419437A (zh) 用于重建磁共振图像的系统和方法
Aghabiglou et al. Projection-Based cascaded U-Net model for MR image reconstruction
Ongie et al. A fast algorithm for structured low-rank matrix recovery with applications to undersampled MRI reconstruction
CN110246200B (zh) 磁共振心脏电影成像方法、装置及磁共振扫描仪
CN106296583B (zh) 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法
Xiao et al. SR-Net: a sequence offset fusion net and refine net for undersampled multislice MR image reconstruction

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant