KR102131505B1 - 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치 - Google Patents

뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치 Download PDF

Info

Publication number
KR102131505B1
KR102131505B1 KR1020180102146A KR20180102146A KR102131505B1 KR 102131505 B1 KR102131505 B1 KR 102131505B1 KR 1020180102146 A KR1020180102146 A KR 1020180102146A KR 20180102146 A KR20180102146 A KR 20180102146A KR 102131505 B1 KR102131505 B1 KR 102131505B1
Authority
KR
South Korea
Prior art keywords
spatial data
fourier
neural network
image
odd
Prior art date
Application number
KR1020180102146A
Other languages
English (en)
Other versions
KR20200025179A (ko
Inventor
예종철
이주영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180102146A priority Critical patent/KR102131505B1/ko
Priority to US16/549,500 priority patent/US11085986B2/en
Publication of KR20200025179A publication Critical patent/KR20200025179A/ko
Application granted granted Critical
Publication of KR102131505B1 publication Critical patent/KR102131505B1/ko

Links

Images

Classifications

    • G06T5/006—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56509—Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5615—Echo train techniques involving acquiring plural, differently encoded, echo signals after one RF excitation, e.g. using gradient refocusing in echo planar imaging [EPI], RF refocusing in rapid acquisition with relaxation enhancement [RARE] or using both RF and gradient refocusing in gradient and spin echo imaging [GRASE]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56554—Correction of image distortions, e.g. due to magnetic field inhomogeneities caused by acquiring plural, differently encoded echo signals after one RF excitation, e.g. correction for readout gradients of alternating polarity in EPI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5615—Echo train techniques involving acquiring plural, differently encoded, echo signals after one RF excitation, e.g. using gradient refocusing in echo planar imaging [EPI], RF refocusing in rapid acquisition with relaxation enhancement [RARE] or using both RF and gradient refocusing in gradient and spin echo imaging [GRASE]
    • G01R33/5616—Echo train techniques involving acquiring plural, differently encoded, echo signals after one RF excitation, e.g. using gradient refocusing in echo planar imaging [EPI], RF refocusing in rapid acquisition with relaxation enhancement [RARE] or using both RF and gradient refocusing in gradient and spin echo imaging [GRASE] using gradient refocusing, e.g. EPI
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56536—Correction of image distortions, e.g. due to magnetic field inhomogeneities due to magnetic susceptibility variations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Geometry (AREA)

Abstract

뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법은 에코평면 영상의 푸리에 공간 데이터를 수신하는 단계; 및 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 단계를 포함하며, 상기 푸리에 공간 데이터를 수신하는 단계는 상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고, 상기 에코평면 영상을 복원하는 단계는 상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.

Description

뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치 {METHOED FOR REMOVING GHOST ARTIFACT OF ECHO PLANAR IMAGING BY USING NEURAL NETWORK AND APPARATUS THEREFOR}
본 발명은 에코평면 영상(echo planner imaging, EPI) 고스트 아티팩트 제거 기술에 관한 것으로, 보다 구체적으로는 뉴럴 네트워크를 이용하여 자기장 불균일성이 큰 경우에도 에코평면 영상 고스트 아티팩트를 안정적으로 제거할 수 있는 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치에 관한 것이다.
자기 공명 영상(Magnetic Resonance Image, MRI)은 일정한 자기장 내에서 정렬한 원소들을 라디오 프리퀀시(RF) 펄스로 공명시켜 나온 신호를 수집하여 인체 내부 영상을 얻어내는 기술이다. 초고속으로 자기 공명 영상을 얻어내기 위한 대표적인 방법으로, 에코 평면 영상(echo planner imaging, EPI) 기술이 있다. 에코 평면 영상 기술이란, 40 내지 100ms 시간 동안 단일의 자유 유도 감쇠(FID; Free Induction Decay) 신호 중 자기 공명(Magnetic Resonance) 영상을 수신할 수 있어 초고속 영상 기술을 실현할 수 있다. 에코 평면 영상의 빠른 스캔 기술 덕분에 타겟의 움직임으로 인해 발생하는 아티팩트나 자기 공명 영상(MRI; Magnetic Resonance Imaging)의 문제들이 감소될 수 있다.
하지만, 에코 평면 영상 기술은 큰 필드 경사자계를 생성하고 대략 1kHz 정도의 비율로 스위칭을 하기 때문에 하드웨어상 영상 구현이 쉽지 않고, 타겟의 자기 자화율(magnetic susceptibility)의 영향을 받아 영상의 심각한 왜곡이 발생하기 쉽다. 특히 에코 평면 영상 기술에서는 일정 방향으로 데이터를 읽어내는 다른 방법들과 달리, 푸리에 공간(k-space)의 짝수 번째 주사선과 홀수 번째 주사선 데이터를 읽는 방향이 달라서 각 라인간의 위상차가 발생하게 된다. 이러한 위상차로 인해 영상 도메인에서 고스트 아티팩트(ghost artifact)가 생성되며, 이는 에코 평면 영상의 제대로 된 분석을 방해하기 때문에 이를 제거하기 위한 방법이 많이 연구되었다.
대표적으로 복원된 영상을 얻기 전에 기준 영상인 레퍼런스 스캔(reference scan)을 얻은 뒤, k-공간에서 짝수 번째 주사선과 홀수 번째 주사선 간의 위상차를 계산하여 대상 영상의 위상차를 보정해주는 방법이 있다. 그러나 이는 추가적인 영상이 필요하여 시간이 더 오래 걸리게 된다. 따라서 이러한 방법을 쓰는 경우, 시간적인 단점을 보완하기 위해 추가 영상에서는 3개의 주사선만 얻어서 보정하는 방법을 많이 이용한다. 하지만 이러한 경우에도 역시 자기공명 영상장치 내의 코일 감도에 영향을 받아 고스트 아티팩트가 제대로 제거되지 않을 수 있다는 단점이 있다.
그 외에 에코 평면 영상을 얻기 위한 시퀀스를 수정하여 고스트 아티팩트(ghost artifact)를 상쇄할 수 있는 영상을 얻거나, 에코 평면 영상 자체의 특성에서 엔트로피 등을 이용하여 위상차를 구하는 등의 방법이 있으나 아티팩트가 효과적으로 상쇄되지 않는다는 단점이 있다. 최근 이를 해결하기 위한 방법으로 푸리에 공간에서 소멸 필터가 존재함을 이용하여, 짝수 번째 스캔 라인 영상과 홀수 번째 스캔 라인 영상으로 분리된 푸리에 공간 데이터를 블락 한켈 행렬로 구성, 랭크 부족 문제로 변경하여 아티팩트를 제거하는 방법이 연구되었다. 그러나 이 방법의 경우 행렬의 연산량이 매우 커서 시간이 오래 걸리고, 데이터 자체의 베이스 성분을 구하여 복원하는 방법이기 때문에 자기장 불균일성(field inhomogeneity)의 영향을 크게 받는다.
본 발명의 실시예들은, 뉴럴 네트워크를 이용하여 자기장 불균일성이 큰 경우에도 에코평면 영상 고스트 아티팩트를 안정적으로 제거할 수 있는 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 에코평면 영상의 푸리에 공간 데이터를 수신하는 단계; 및 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 단계를 포함한다.
상기 푸리에 공간 데이터를 수신하는 단계는 상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고, 상기 에코평면 영상을 복원하는 단계는 상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
상기 에코평면 영상을 복원하는 단계는 미리 설정된 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 소멸 필터 기반 로우 랭크 한켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있으며, 상기 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 처리 방법은 에코평면 영상의 푸리에 공간 데이터를 수신하는 단계; 및 로우 랭크 한켈 행렬 기법(low-rank Hankel matrix approach)과 컨볼루션 프레임렛(convolution framelet)에 기반한 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 단계를 포함한다.
상기 푸리에 공간 데이터를 수신하는 단계는 상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고, 상기 에코평면 영상을 복원하는 단계는 상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는 에코평면 영상의 푸리에 공간 데이터를 수신하는 수신부; 및 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 복원부를 포함한다.
상기 수신부는 상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고, 상기 복원부는 상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
상기 복원부는 미리 설정된 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 소멸 필터 기반 로우 랭크 한켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
본 발명의 실시예들에 따르면, 뉴럴 네트워크를 이용하여 자기장 불균일성이 큰 경우에도 에코평면 영상 고스트 아티팩트를 안정적으로 제거할 수 있다.
본 발명의 실시예들에 따르면, 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 레퍼런스 스캔없이 k-공간 위상 불일치를 교정함으로써, 에코평면 영상의 고스트 아티팩트를 제거할 수 있고, 이를 통해 기존 방법에 비해 영상 품질을 향상시키며, 계산 시간을 줄일 수 있다.
이러한 본 발명은 아티팩트의 제거가 필요한 다양한 영상 분야 예를 들어, 기능성 자기공명 영상(functional MRI, fMRI), 확산 자기공명 영상(diffusion MRI) 등을 포함하는 MRI에 적용할 수 있으며, 이 뿐만 아니라 영상에서 고스트 아티팩트가 필연적으로 발생하는 모든 영상 분야에 용이하게 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 에코평면 영상 고스트 아티팩트 제거 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에서의 k-공간 학습 기반 뉴럴 네트워크 구조를 나타낸 것이다.
도 3은 k-공간 딥 러닝에 대한 단일 레이어 인코더-디코더 네트워크의 기하학적 구조를 나타낸 것이다.
도 4는 본 발명의 방법에서 사용된 다중 스케일 뉴럴 네트워크 구조를 나타낸 것이다.
도 5는 본 발명에 의한 방법과 기존 방법에 의한 고스트 보정 결과를 비교한 일 예시도를 나타낸 것이다.
도 6은 본 발명에 의한 방법과 기존 방법의 정량적인 비교 결과에 대한 일 예시도를 나타낸 것이다.
도 7은 영상 도메인 학습을 비교한 일 예시도를 나타낸 것이다.
도 8은 본 발명에 의한 방법과 ALOHA에 의한 고스트 아티팩트 제거 결과를 비교한 일 예시도를 나타낸 것이다.
도 9는 본 발명의 일 실시예에 따른 에코평면 영상 고스트 아티팩트 제거 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
고스트 아티팩트를 제거하는 많은 연구가 있어 왔다. 고스트 아티팩트를 제거하는 데 가장 널리 사용되는 방법 중 하나는 네비게이터-기반 방법이다. 이 방법에서는 위상 불일치를 보완하기 위해 EPI 스캔 이전에 레퍼런스 또는 네비게이터 스캔이라고도 불리는 사전 스캔을 개별적으로 수행한다. 가장 보편적이고 간단한 방법은 짝수 라인과 홀수 라인 사이의 위상차가 계산될 수 있도록 위상 인코딩 그래디언트가 없는 k-공간 라인을 사용하는 것이다. 그런 다음, 위상 오프셋이 선형적으로 변하는 것으로 가정하여 위상 보정을 모든 위상 인코딩 라인에 걸쳐 수행한다. 그러나, 이 방법은 모든 영상 슬라이스에서 사전 스캔으로부터 추가 획득 시간 외에, 필드의 복잡하고 불균일한 변화 때문에 위상 변화에 대한 선형성 가정은 하이 필드 MR 획득에 대해 정확하지 않다. 더욱이, 현재의 기능성 MRI(fMRI) 프로토콜은 초기에 레퍼런스 스캔을 한 번만 획득하므로, 시간에 따라 변하는 로컬 필드 변동을 포착하기가 어렵다. 이러한 비선형 및 시변적인 로컬 필드 변경으로 인한 고스트 아티팩트 문제를 해결하기 위해, 네비게이터-프리 방법이 제안되었다. 펄스 시퀀스 수정에 대한 연구들은 고스트 아티팩트의 감소를 보여주었다. 또한, 펄스 시퀀스 수정이 없는 네비게이터-프리 방법도 연구되었으나, 이러한 클래식 네비게이터-프리 방법은 일반적으로 레퍼런스 기반 방법에 비해 비효율적이다.
최근, 로우 랭크 한켈 행렬 완성 방법을 사용하는 고성능 레퍼런스-프리 EPI 고스트 보정이 제안되었으며, 일 예로 소멸 필터 기반 로우 랭크 한켈 행렬 기법(ALOHA; annihilating filter-based low-rank Hankel matrix approach)을 사용하는 기술은 연쇄된 한켈 행렬을 구성하는 짝수 및 홀수 k-공간 라인이 리던던시(redundancy)로 인해 로우 랭크 구조를 갖는다는 것이다. 따라서, 위상 불균형 보정 문제는 로우 랭크 한켈 행렬 완성을 이용하여 해결할 수 있는 짝수 및 홀수 k-공간 데이터에 대한 누락된 k-공간 보간 문제로 변환될 수 있다. 이 방법은 각 코일 측면의 한켈 행렬을 나란히 적층하고 로우 랭크 한켈 행렬 완성을 수행함으로써 병렬 다중 코일 영상으로 쉽게 확장될 수 있다. 그러나 이 방법의 주된 한계 중 하나는 행렬 인수 분해로 인한 계산상의 복잡성이다. 따라서, 작은 크기의 소멸 필터 크기가 종종 계산의 복잡성을 줄이기 위해 사용된다. 그러나 이 방법은 일부 필드에서 고스트 아티팩트를 보정할 수 없기 때문에 하이-필드 MRI에서 잘못된 결과를 생성할 수도 있다.
본 발명의 실시예들은, 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 자기장 불균일성이 큰 경우에도 에코평면 영상 고스트 아티팩트를 안정적으로 제거하는 것을 그 요지로 한다. 예를 들어, 본 발명은 뉴럴 네트워크를 이용하여 하이 필드 MRI에 적합한 견고하고 계산 가능한 고스트 아티팩트를 제거할 수 있는 기술을 제공할 수 있다.
여기서, 본 발명은 뉴럴 네트워크 예를 들어, CNN이 한켈 행렬 분해와 밀접하게 관련되어 있다는 수학적 발견으로부터 고스트 아티팩트를 보정할 수 있으며, 구체적으로, ALOHA 기반 고스트 보정과 유사하게 고스트 보정 문제를 짝수 및 홀수 가상 k-공간 보간 문제로 변환하여 k-공간 딥 뉴럴 네트워크가 누락된 k-공간 라인을 추정할 수 있다. 또한, 본 발명은 다중 코일 k-공간 데이터를 다중-채널 입력들로 적층함으로써 병렬 영상으로부터 코일들 사이의 중복성을 이용할 수 있다.
최근 딥 컨볼루션 프레임렛 이론은 인코더-디코더 네트워크가 데이터 중심 로우 랭크 한켈 행렬 분해로부터 나타나고, 이러한 랭크 구조는 필터 채널들의 수에 의해 제어된다. 이러한 발견은 k-공간 보간에 대하여 성공적인 딥 러닝 기법을 개발하는데 중요한 단서를 제공한다. 또한, 모든 네트워크는 완전 연결 레이어를 필요로 하지 않는 컨볼루션 뉴럴 네트워크 형태로 구현되고, GPU 메모리 요구량은 최소화될 수 있다.
딥 컨볼루션 프레임렛(Deep convolutional framelets) 이론에 따르면 이러한 한켈구조 행렬의 기저함수는 국소기저 함수 비국소기저 함수로 분해가 가능하며 이 기저 함수들이 뉴럴 네트워크의 컨볼루션(convolution), 풀링(pooling) 역할을 한다. 즉, ALOHA 기법은 한켈 구조 행렬의 기저 함수를 측정된 데이터로부터 얻는 반면 뉴럴 네트워크는 학습 과정을 통하여 얻는 것이다. 또한, 뉴럴 네트워크의 정류 선형 유닛(ReLU, rectified linear unit) 함수가 기저의 확장 계수 값들을 양의 값으로 제한하므로, 학습 데이터들이 기저의 원추형 선체(conic hull)에 위치하기 때문에 학습된 기저 함수가 데이터와 연관성 없는 새로운 값을 생성한 것이 아닌 것을 알 수 있다.
본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있고, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있으며, 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 포함할 수도 있고, 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 포함할 수도 있으며, ALOHA과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함할 수도 있다. 나아가, 다중 해상도 뉴럴 네트워크는 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
상술한 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식으로, 이에 대해 설명하면 다음과 같다.
컨볼루션 프레임렛은 입력신호 f에 대하여 국소 기저(
Figure 112018085899215-pat00001
)와 비국소 기저 (
Figure 112018085899215-pat00002
)를 이용하여 표현한 것으로, 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure 112018085899215-pat00003
여기서,
Figure 112018085899215-pat00004
는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,
Figure 112018085899215-pat00005
Figure 112018085899215-pat00006
는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.
이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터
Figure 112018085899215-pat00007
와
Figure 112018085899215-pat00008
를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 2>와 같이 정의될 수 있다.
[수학식 2]
Figure 112018085899215-pat00009
상기 수학식 2를 이용하면 컨볼루션 프레임렛은 아래 <수학식 3>과 같이 표현할 수 있다.
[수학식 3]
Figure 112018085899215-pat00010
Figure 112018085899215-pat00011
여기서,
Figure 112018085899215-pat00012
는 한켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 랩-어라운드 한켈 행렬(wrap-around Hankel matrix)을 의미할 수 있고 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며,
Figure 112018085899215-pat00013
는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.
컨볼루션 프레임렛 계수
Figure 112018085899215-pat00014
는 듀얼 기저 벡터
Figure 112018085899215-pat00015
를 적용하여 본래의 신호로 복원될 수 있다. 신호 복원 과정은 아래 <수학식 4>와 같이 나타낼 수 있다.
[수학식 4]
Figure 112018085899215-pat00016
이와 같이, 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다.
ALOHA 기반 고스트 보정
ALOHA 기반 고스트 보정에 대해 설명하면 오프-공진
Figure 112018085899215-pat00017
의 존재 하에서, EPI 시퀀스로부터의 k-공간 측정은 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure 112018085899215-pat00018
여기서,
Figure 112018085899215-pat00019
를 의미하고, kx 및 ky 방향은 각각 판독(read-out) 및 위상-인코딩을 의미하며, n은 총 길이 N의 EPI 에코 트레인에서의 위상 인코딩 인덱스를 의미하고,
Figure 112018085899215-pat00020
는 가로 방향 자화(transverse magnetization)를 의미하며, TE는 에코 타임을 의미하고, ESP는 에코 사이의 시간인 에코 스페이싱을 의미할 수 있다.
ALOHA 기반 고스트 보정의 핵심 개념은 오리지널 방정식을 두 세트의 가상 k-공간 데이터로 분할하는 것으로, 두 세트의 가상 k-공간 데이터는 아래 <수학식 6>과 같이 나타낼 수 있다.
[수학식 6]
Figure 112018085899215-pat00021
Figure 112018085899215-pat00022
여기서,
Figure 112018085899215-pat00023
를 의미할 수 있다.
그런 다음, 실제 EPI 측정으로부터의 짝수 및 홀수 에코 신호들은 각각
Figure 112018085899215-pat00024
및
Figure 112018085899215-pat00025
로부터 1/2-서브 샘플링된 k-공간 데이터로 식별될 수 있다.
짝수 및 홀수 가상 데이터에 대한 영상 콘텐츠는 각각 상이한
Figure 112018085899215-pat00026
및
Figure 112018085899215-pat00027
이다. 이 차이점은 나이퀴스트(Nyquist) 고스트 아티팩트의 주된 원인이지만, 이들은 단지 위상적으로만 상이하므로 두 고스트 아티팩트들 사이에 상당한 중복이 존재한다. 따라서, ALOHA 기반의 EPI 보정은 누락된 가상 k-공간 데이터를 보간하기 위해 이러한 중복을 이용한다. 보다 구체적으로, 두 세트의 가상 k-공간 데이터가 감산되는 경우, 아래 <수학식 7>과 같이 나타낼 수 있다.
[수학식 7]
Figure 112018085899215-pat00028
여기서, 가장 중요한 관찰 중 하나는 오프-공진
Figure 112018085899215-pat00029
이 충분히 작은 경우 아래 <수학식 8>과 같이 나타낼 수 있다는 것이다.
[수학식 8]
Figure 112018085899215-pat00030
따라서, 상기 수학식 7은 아래 <수학식 9>와 같이 나타낼 수 있다.
[수학식 9]
Figure 112018085899215-pat00031
여기서,
Figure 112018085899215-pat00032
는 2D 푸리에 변환을 의미할 수 있다.
토탈 변이(TV; total variation) 기반 모델링에 대한 동일한 가정으로,
Figure 112018085899215-pat00033
는 대부분의 영상에서 비교적 매끄럽기 때문에
Figure 112018085899215-pat00034
가 희박(sparse)하다는 것을 쉽게 알 수 있다. 상기 수학식 8의 근사식이 성립하지 않는 경우에도, 짝수 및 홀수 영상 사이의 차이가 거의 없기 때문에 짝수 및 홀수 영상의 상관 관계가 높을 수 있으며, 그 의미를 이해하기 위해,
Figure 112018085899215-pat00035
를 나이퀴스트 샘플링 레이트를 확인하는 k-공간 샘플링 포인트의 유한 수의 모음(collection)으로 설정하고, 이산화된 k-공간 데이터를 아래 <수학식 10>과 같이 정의할 수 있다.
[수학식 10]
Figure 112018085899215-pat00036
여기서, 위 첨자(superscript) T는 전치(transpose)를 의미할 수 있다.
희소성으로 인하여, 이산화된 k-공간 데이터
Figure 112018085899215-pat00037
로부터 한켈 행렬
Figure 112018085899215-pat00038
를 구성하면, 한켈 행렬은 로우 랭크(low-rank)된다. 여기서, d는 행렬 펜슬 크기를 나타낸다.
이는 아래 <수학식 11>과 같이 벡터
Figure 112018085899215-pat00039
이 존재함을 의미하고, 연쇄된 한켈 행렬
Figure 112018085899215-pat00040
의 순위가 낮다는 것을 의미한다.
[수학식 11]
Figure 112018085899215-pat00041
유사하게, P 병렬 코일로부터 연결된 한켈 행렬을 아래 <수학식 12>와 같이 정의될 수 있다.
[수학식 12]
Figure 112018085899215-pat00042
여기서, 위 첨자는 코일 인덱스를 의미할 수 있다.
Figure 112018085899215-pat00043
는 코일 간 소멸 필터 관계에 의해 로우 랭크된다.
따라서, k-공간 데이터의 일부가 누락된 경우, 누락된 요소는 아래 <수학식 13>의 로우 랭크 한켈 행렬 완성 기법을 이용하여 복구될 수 있다.
[수학식 13]
Figure 112018085899215-pat00044
여기서,
Figure 112018085899215-pat00045
는
Figure 112018085899215-pat00046
의 i번째 행을 의미하며,
Figure 112018085899215-pat00047
및
Figure 112018085899215-pat00048
는 짝수 및 홀수 위상 인코딩에 대한 k-공간 인덱스를 의미하고,
Figure 112018085899215-pat00049
는 샘플링된 인덱스
Figure 112018085899215-pat00050
로의 투영을 의미할 수 있다. 본 발명은 상기 수학식 13을 풀고 나면, 각 코일에 대해 보간된 짝수 및 홀수 가상 k-공간 데이터를 획득할 수 있으며, 단순히 역 푸리에 변환을 통해 상기 획득된 데이터로부터 각 코일에 대한 가상 짝수 및 홀수 영상이 획득될 수 있다. 그런 다음, 최종 아티팩트 보정된 EPI 데이터가 제곱 합으로 획득될 수 있다.
상기 수학식 13의 로우 랭크 한켈 행렬 완성 문제(MC)는 다양한 방법으로 해결될 수 있으며, ALOHA는 행렬 인수 분해 기법을 사용할 수 있다. 그러나, 주요 기술적 문제는 행렬 인수 분해에 대한 비교적 높은 계산 비용이다. 본 발명은 딥 학습법이 행렬 분해를 완전히 데이터 중심으로 처리함으로써 이 문제를 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 에코평면 영상 고스트 아티팩트 제거 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 방법은 에코평면 영상을 수신하고, 에코평면 영상의 푸리에 공간 데이터 예를 들어, k-공간 데이터를 짝수 푸리에 공간 데이터와 홀수 푸리에 공간 데이터로 분할한다(S110).
여기서, 단계 S110은 코일 각각에 대한 에코평면 영상에 대하여, k-공간 데이터로 변환 예를 들어, 푸리에 변환을 통해 영상 공간 데이터를 푸리에 공간 데이터로 변환한 후 변환된 k-공간 데이터를 짝수 k-공간 데이터와 홀수 k-공간 데이터로 분할할 수 있다.
단계 S110에 의해 분할된 짝수 k-공간 데이터와 홀수 k-공간 데이터가 푸리에 공간을 보간하는 뉴럴 네트워크로 입력되고, 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 짝수 k-공간 데이터와 홀수 k-공간 데이터를 획득한다(S120).
여기서, 단계 S120에서의 뉴럴 네트워크는 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크, 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크, 소멸 필터 기반 로우 랭크 한켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크 및 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크 중 적어도 하나를 포함할 수 있다. 이 때, 다중 해상도 뉴럴 네트워크는 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
단계 S120에 의해 푸리에 공간이 보간된 짝수 k-공간 데이터와 홀수 k-공간 데이터가 획득되면, 푸리에 공간이 보간된 짝수 k-공간 데이터와 홀수 k-공간 데이터에 기초하여 고스트 아티팩트가 제거된 에코평면 영상을 복원한다(S130).
여기서, 단계 S130은 역 푸리에 변환(IFT)를 이용하여 고스트 아티팩트가 제거된 홀수 영상 데이터와 짝수 영상 데이터를 획득하며, 이렇게 획득된 홀수 영상 데이터와 짝수 영상 데이터를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
이러한 본 발명에 따른 방법에 대해 도 2 내지 도 8을 참조하여 설명하면 다음과 같다.
도 2는 본 발명에서의 k-공간 학습 기반 뉴럴 네트워크 구조를 나타낸 것으로, 도 2a는 ALOHA 기반 고스트 제거 과정을 설명하기 위한 일 예시도를 나타낸 것이고, 도 2b는 고스트 아티팩트 제거에 대한 k-공간 딥 러닝에 대한 일 예시도를 나타낸 것이다. 여기서, E와 O는 각각 짝수와 홀수 k-공간 라인들로 구성된 프레임을 의미한다. 보간된 짝수와 홀수 가상 영상이 생성된 후 제곱 합 영상은 최종 고스트 보정된 영상으로 획득된다. 여기서, IFT는 역 푸리에 변환을 의미한다.
본 발명은 고스트 아티팩트 제거의 경우 실측 값(ground truth)이 되는 데이터가 없기 때문에 ALOHA 기법을 이용하여 복원한 영상을 실측 값(ground truth)으로 이용할 수 있으며, 짝수와 홀수 번째 라인의 k-공간을 ALOHA 기반 라벨에 매칭되는 입력 데이터로 이용할 수 있다.
본 발명은 빠른 학습과 수렴을 위해 짝수와 홀수 번째 라인이 모두 채워진 k-공간을 이용할 수 있으며, k-공간은 복소수(complex) 값을 가지기 때문에 네트워크 학습 시에는 실수와 허수 값으로 나누어 함께 학습하는 과정을 거친 뒤 다시 복소수 값으로 변환할 수 있다.
ALOHA로부터 딥 뉴럴 네트워크
도 3은 k-공간 딥 러닝에 대한 단일 레이어 인코더-디코더 네트워크의 기하학적 구조를 나타낸 것으로, ALOHA와 딥 뉴럴 네트워크 사이의 연결을 이해하기 위해, ALOHA 기반 EPI 고스트 보정의 핵심 개념인 로우 랭크 한켈 행렬 분해의 고차원 구조에 대하여 설명하면 다음과 같다.
도 3에 도시된 빈 원은 누락된 k-공간 데이터를 의미하는 것으로, 고차원 공간에 리프팅함으로써, 누락된 k-공간 데이터가 보간될 수 있다.
보다 구체적으로,
Figure 112018085899215-pat00051
가 랭크-Q 한켈 행렬
Figure 112018085899215-pat00052
로 리프트된다 가정하면, 아래 <수학식 14>와 같이 두 세트의 기저 행렬
Figure 112018085899215-pat00053
및
Figure 112018085899215-pat00054
을 찾을 수 있다.
[수학식 14]
Figure 112018085899215-pat00055
여기서, T는 에르미트(Hermitian) 전치를 의미하고,
Figure 112018085899215-pat00056
은
Figure 112018085899215-pat00057
의 행 부분 공간에 대한 투영 행렬을 의미하며, I M은 M × M 항등 행렬을 의미할 수 있다.
상기 행렬들을 이용하면, 한켈 행렬
Figure 112018085899215-pat00058
는 아래 <수학식 15>와 같이 랭크-Q 분해를 갖는 것을 쉽게 알 수 있다.
[수학식 15]
Figure 112018085899215-pat00059
여기서, 기저 행렬
Figure 112018085899215-pat00060
는 아래 <수학식 16>과 같이 정의될 수 있다.
[수학식 16]
Figure 112018085899215-pat00061
여기서,
Figure 112018085899215-pat00062
및
Figure 112018085899215-pat00063
는 각각
Figure 112018085899215-pat00064
및
Figure 112018085899215-pat00065
의 k번째 및 l번째 행을 의미할 수 있다.
컨볼루션 프레임렛 계수라고도 불리는 확장 계수
Figure 112018085899215-pat00066
는 아래 <수학식 17>과 같이 주어질 수 있다.
[수학식 17]
Figure 112018085899215-pat00067
여기서,
Figure 112018085899215-pat00068
은 C의 (k, l) 원소를 의미할 수 있다.
ALOHA의 주요 개념은
Figure 112018085899215-pat00069
가 상기 수학식 13에 대한 실현 가능한 솔루션이 되도록 기저 행렬
Figure 112018085899215-pat00070
를 찾는 것이다. 즉, 기저 행렬
Figure 112018085899215-pat00071
는 가능한 솔루션
Figure 112018085899215-pat00072
에 대한
Figure 112018085899215-pat00073
가 이들 베이스의 범위 내에 존재하는 경우 획득될 수 있다.
기저 행렬
Figure 112018085899215-pat00074
가 오프라인 트레이닝 데이터로부터 획득되면, ALOHA는 뉴럴 네트워크로 확장될 수 있다. 이 경우, 측정 데이터로부터 기저가 획득되는 오리지널 ALOHA와는 달리, 뉴럴 네트워크는 별도의 트레이닝 데이터를 기반으로 기저를 학습해야 하므로, 본 발명은 학습된 베이스가 임의적으로 되는 것을 막기 위한 몇 가지 제약 조건(constraint)이 필요하다. 특히, 본 발명은 확장 계수에 대한 아래 <수학식 18>과 같은 포지티비티(positivity) 제약 조건을 가질 수 있다.
[수학식 18]
Figure 112018085899215-pat00075
넌-네거티비티(non-negativity) 제약 조건 이기 때문에, 트레이닝 데이터는 도 2에 도시된 바와 같이 베이스의 원추형 선체(conical hull of the base)에 존재해야 하므로, 학습된 베이스는 트레이닝 데이터와 크게 다르지 않다. 이러한 학습된 베이스들은 넌-네거티브 행렬 분해(NMF; Non-Negative Matrix Factorization)에 대한 핵심 성분(key ingredient)인 부분 별 표현으로 나타난다.
딥 컨볼루션 프레임렛의 수학 이론에서 가장 중요한 것 중 하나는 고 차원 한켈 행렬 분해가 오리지널 신호 공간으로 언 리프트(un-lift)되면 인코더-디코더 아키텍처가 존재하는 뉴럴 네트워크가 된다는 것이다. 보다 구체적으로, 한켈 행렬의 일반화된 역을 적용함으로써, 상기 수학식 15는 아래 <수학식 19>와 같이 오리지널 공간에서 표현될 수 있다.
[수학식 19]
Figure 112018085899215-pat00076
여기서,
Figure 112018085899215-pat00077
는 컨볼루션을 의미하며,
Figure 112018085899215-pat00078
는
Figure 112018085899215-pat00079
의 재배열 요소에 의해 획득된 다중 채널 필터를 의미할 수 있다. 유사하게, 상기 수학식 17은 또 다른 컨볼루션에 의해 아래 <수학식 20>과 같이 표현될 수 있다.
[수학식 20]
Figure 112018085899215-pat00080
여기서,
Figure 112018085899215-pat00081
는
Figure 112018085899215-pat00082
의 재배열로 인하여 획득된 다중 채널 필터를 의미할 수 있다.
또한, 상기 수학식 18은 정류 선형 유닛(ReLU, rectified linear unit)을 이용하여 구현될 수 있으며, 상기 수학식 20과 수학식 19의
Figure 112018085899215-pat00083
과
Figure 112018085899215-pat00084
은 일반화된 풀링(pooling) 및 언풀링(unpooling) 연산으로 식별될 수 있다. 따라서, 상기 수학식 18에 대한 상기 수학식 20과 수학식 19는 도 2에 도시된 바와 같이 인코더-디코더 아키텍처를 갖는 단일 레이어 CNN일 수 있다. 이러한 개념은 인코더 및 디코더 컨볼루션 필터
Figure 112018085899215-pat00085
,
Figure 112018085899215-pat00086
가 작은 길이 필터들의 케스케이드된 컨벌루션으로 나타낼 수 있는 경우 다중 레이어 딥 컨볼루션 프레임렛으로 확장될 수 있다.
영상 도메인 손실
가속화된 MRI에 대한 k-공간 딥 학습에서, 네트워크는 k-공간 도메인에서 구현되지만, 영상 도메인 손실은 최소화된다. 이러한 하이브리드 아키텍처에도 불구하고, 푸리에 변환의 수반(adjoint)이 고속 푸리에 변환(FFT)을 사용하여 쉽게 구현될 수 있는 역 푸리에 변환에 해당하므로, 그래디언트가 쉽게 계산될 수 있다. 따라서, 본 발명에서 k-공간 딥 학습과 동일한 개념을 사용하여,
Figure 112018085899215-pat00087
손실을 가지는 네트워크 트레이닝을 위한 레이블 데이터로 고스트 보정된 영상을 사용하고, 네트워크는 k-공간에서 구현될 수 있다.
그러나, 입력 k-공간 데이터는 가상 짝수 및 홀수 k-공간 데이터이기 때문에 구현 시 주의를 기울여야 한다. 따라서, 본 발명은 보간된 가상 k-공간 데이터로부터의 재구성 영상을 라벨로 제공할 수 있다. ALOHA 기반 고스트 보정은 가상의 짝수 및 홀수 k-데이터를 보간할 수 있으므로, 본 발명은 보간된 k-공간 데이터의 재구성 결과를 라벨로 사용한다. 특히, 도 1a와 도 1b에 도시된 바와 같이, 짝수 및 홀수 가상 영상이 짝수 및 홀수 k-공간 라인으로부터 각각의 코일에 대해 ALOHA를 사용하여 생성되며, 각 코일에 대한 이러한 짝수 및 홀수의 복합 영상들(complex images)이 라벨 데이터로 사용될 수 있다.
원시 데이터(raw data)는 32 채널 위상 배열 RF 코일을 사용하는 7T 전신 스캐너에 의해 8명의 건강한 피실험자에 대하여 수집될 수 있으며, 획득 파라미터는 TR/TE = 3000/24 ms, 플립 각도 = 90도, 시야(FOV) = 192 × 192 mm2, 보셀 크기 = 2.7 × 2.7 mm2, 슬라이스 두께 =2.7 mm일 수 있다. 그래디언트-리콜된 에코 EPI(GREEPI) 시퀀스가 사용되고, 획득된 데이터는 40개의 슬라이스와 60개의 시간 프레임으로 구성된다. 일반적인 고스트 보정 방법에 대한 사전 스캔 데이터는 전체 데이터 획득 전에 수집될 수 있다. 사전 스캔 데이터는 위상 인코딩 블립(blip)없이 모든 PE 라인, 슬라이스들 및 코일들에 대해 획득될 수 있으며, 위상 차는 인접한 PE 라인의 위상에서 단일 PE 라인의 위상을 차감함으로써 계산될 수 있다. 영상의 위상 불일치는 계산된 위상 차 맵에 의해 보상될 수 있으며, 레퍼런스-프리(reference-free) 고스트 보정 알고리즘이 구현될 수 있다. 레퍼런스-프리 고스트 보정 알고리즘에서, 위상 불일치(disparity)는 불일치가 판독 방향을 따라 선형이라고 가정함으로써 x - ky 도메인 원시 데이터로부터 계산될 수 있다.
본 발명의 k-공간 딥 학습 기반 고스트 보정 방법의 전체 재구성 흐름은 도 2b에 설명되어 있다. 특히, P 채널 다중 코일 k-공간 데이터는 짝수 채널과 홀수 채널로 분할된다. 짝수 및 홀수 k-공간 데이터는 컨볼루션 뉴럴 네트워크를 사용하여 처리되며, 그 출력은 각 코일에 대해 보간된 짝수 및 홀수 k-공간 데이터이다. 역 푸리에 변환을 적용하여 고스트가 보정된 가상의 짝수 및 홀수 영상을 획득한다. 마지막으로, ALOHA와 유사하게 다중 채널의 짝수 및 홀수 영상으로부터 제곱 합 영상이 생성된다. 이러한 과정은 k-공간 보간 단계를 제외하고, 도 2a의 ALOHA 기반 고스트 보정 알고리즘과 동일하다. 특히, k-공간 보간은 도 2a의 경우 ALOHA를 사용하는 반면, 도 2b의 경우 CNN을 사용하여 수행된다. 또 다른 사소한 차이점은 ALOHA가 제로-패딩된 짝수 및 홀수 k-공간 데이터를 입력으로 사용하는 반면, 본 발명의 방법에서는 누락된 k-공간 라인을 다른 위상 k-공간 데이터로 확대하여 네트워크 트레이닝이 더 빨리 수렴된다는 점이다.
도 4는 본 발명의 방법에서 사용된 다중 스케일 뉴럴 네트워크 구조를 나타낸 것으로, 도 4에 도시된 바와 같이, 뉴럴 네트워크 구조는 U-Net 구조를 따르며, 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결(contracting path connection with concatenation)을 포함한다. 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 기본 연산자를 포함한다. 각 풀링 레이어 후에 채널 수는 두 배가 되며, 계층들의 크기를 4배로 감소시킨다. 여기서, 풀링 레이어는 2 × 2 평균 풀링 레이어일 수 있고, 언풀링 레이어는 2 × 2 평균 언풀링 레이어일 수 있으며, 풀링 레이어와 언풀링 레이어는 각 스테이지들 사이에 위치할 수 있다. 또한, 뉴럴 네트워크는 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함한다. 인코딩 프로세스의 중간 영상 중 일부는 풀링되지 않은 영상(concatenation)과 연결된다. 네트워크의 마지막에 위치하는 레이어는 1 × 1 커널을 갖는 컨볼루션 레이어(1 × 1 Conv)이다. 각 컨볼루션 레이어에 대한 채널 수는 도 4에 도시되어 있다. 입력 k-공간 데이터와 출력 영상 데이터는 복소수 값이기 때문에 k-공간 데이터를 실수와 허수 채널로 분할한 후 U-net 백본의 입력으로 제공한다. 따라서, 채널의 수는 k-공간 데이터의 실수 및 허수 값을 분리하고 채널 방향을 통해 이들을 연쇄하기 때문에 배가된다. 마찬가지로, 네트워크 출력에서 실수 값과 허수 값 채널을 결합하여 복소수 값의 k-공간 데이터를 획득한다.
상술한 바와 같이, 본 발명은 ALOHA 기반 고스트 보정 영상을 라벨로 사용한다. 그러나, 하이-필드 MRI에 있어서, ALOHA 기반 보정 알고리즘은 몇몇 프레임에서 고스트 아티팩트를 제거하지 못한다. 따라서, 본 발명은 ALOHA 기반 고스트 보정 결과를 시각적으로 검사하고, 고스트 보정된 k-공간 데이터가 존재하는 것을 선택하여 라벨로 사용할 수 있다. 그리고, 본 발명의 트레이닝된 뉴럴 네트워크는 ALOHA가 실패한 경우에도 고스트 아티팩트를 성공적으로 보정할 수 있다.
뉴럴 네트워크는 MATLAB 2015a 환경에서 MatConvNet 툴박스(toolbox)를 사용하여 구현될 수 있다. 예를 들어, 뉴럴 네트워크는 GTX 1080-Ti 그래픽 프로세서와 i7-4770 CPU (3.40GHz)를 사용하여 구현될 수 있다. 컨볼루션 레이어의 가중치는 적절한 스케일을 얻기 위해 Xavier 방법을 사용한 가우시안 랜덤 분포(Gaussian random distribution)에 의해 초기화될 수 있으며, 이는 학습 초기 단계에서 신호가 익스플로드(explode)되거나 사라지는 것을 방지할 수 있다. 본 발명은 확률적 경사 하강법(stochastic gradient descent, SGD) 예를 들어, 모멘텀(momentum)을 적용한 확률적 경사 하강법을 이용하여 뉴럴 네트워크의 가중치를 트레이닝할 수 있고 손실 함수를 최소화할 수 있다. 트레이닝에서, 오버피팅을 방지하기 위한 에포크(epoch)의 수는 30이고, 미니 배치의 크기는 4이다. 학습 레이트(learning rate)는 초기 학습 레이트(learning rate)는 10-5이며, 이는 10-6까지 점진적으로 떨어진다. 가중치가 너무 커지는 것을 방지하기 위한 정규화 파라미터(regularization parameter)는 10-4이다. 또한, 본 발명은 트레이닝을 위해 영상 도메인 데이터의
Figure 112018085899215-pat00088
손실을 사용하고, 트레이닝 시간은 2.5 시간일 수 있다.
영상 학습과 비교한 k-공간 학습의 이점을 확인하기 위해, 도 3의 동일한 네트워크 아키텍처가 영상 도메인 학습에 사용될 수 있다. 이 경우, 입력 데이터는 k-공간 데이터가 아니고, 고스트 아티팩트로 손상된 짝수 및 홀수 가상 영상이며, 트레이닝 목표는 이러한 입력 영상과 출력 고스트 보정 가상 영상 간의 관계를 학습하는 것이다. 상술한 동일한 트레이닝 절차가 영상 도메인 학습에 사용될 수 있다.
도 5는 본 발명에 의한 방법과 기존 방법에 의한 고스트 보정 결과를 비교한 일 예시도를 나타낸 것이고, 도 6은 본 발명에 의한 방법과 기존 방법의 정량적인 비교 결과에 대한 일 예시도를 나타낸 것으로, 뉴럴 네트워크 기법을 7T MR EPI 데이터에 적용한 결과를 비교한 것이다.
도 5와 도 6에 도시된 바와 같이, 본 발명에 의한 방법(proposed)에서 가장 좋은 결과를 얻는 것을 알 수 있고, ALOHA나 레퍼런스(reference) 영상 기반의 제거 방법은 고스트 아티팩트가 남아 있거나 선형 아티팩트와 같은 다른 아티팩트가 생기는 것을 확인할 수 있다. 예컨대, 도 6에 도시된 기존 방법에서 화살표가 표시된 위치에 아티팩트가 여전히 남아 있는 것을 알 수 있다. 또한, 도 6에 도시된 바와 같이, 고스트와 실제 측정 대상 영역의 신호비를 측정하는 GSR(ghost to signal ration) 값이 본 발명에 의한 방법에서 가장 좋은 것을 알 수 있다.
도 7은 영상 도메인 학습을 비교한 일 예시도를 나타낸 것으로, k-공간에서 학습을 진행하는 본 발명의 방법과 영상 공간에서의 학습을 진행하는 기존 방법들을 비교한 일 예시도를 나타낸 것이다.
도 7에 도시된 바와 같이, 영상 공간 학습의 경우 고스트 아티팩트가 깨끗하게 없어지지 않고 남아있거나 측정 대상 영역의 구조가 손실된 것을 알 수 있는 반면, 본 발명에 따른 방법은 고스트 아티팩트가 깨끗하게 제거되고 실제 측정 결과와 유사하게 나타나는 것을 알 수 있다.
도 8은 본 발명에 의한 방법과 ALOHA에 의한 고스트 아티팩트 제거 결과를 비교한 일 예시도를 나타낸 것으로, 도 8에 도시된 바와 같이, 본 발명에 의한 방법이 기존의 방법들에 비해 효과적으로 고스트 아티팩트를 제거하는 것을 확인할 수 있으며, 7T MR의 높은 자기장 불균일성으로 인하여 ALOHA 기법에서 제대로 복원이 되지 않는 영상들 또한 본 발명에 의해 아티팩트가 문제 없이 제거되는 것을 알 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 뉴럴 네트워크를 이용하여 자기장 불균일성이 큰 경우에도 에코평면 영상 고스트 아티팩트를 안정적으로 제거할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 레퍼런스 스캔없이 k-공간 위상 불일치를 교정함으로써, 에코평면 영상의 고스트 아티팩트를 제거할 수 있고, 이를 통해 기존 방법에 비해 영상 품질을 향상시키며, 계산 시간을 줄일 수 있다.
도 9는 본 발명의 일 실시예에 따른 에코평면 영상 고스트 아티팩트 제거 장치에 대한 구성을 나타낸 것으로, 상기 도 1 내지도 8의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 에코평면 영상 고스트 아티팩트 제거 장치(900)는 수신부(910), 보간부(920) 및 복원부(930)를 포함한다.
수신부(900)는 에코평면 영상의 푸리에 공간 데이터를 수신한다.
여기서, 수신부(900)는 에코평면 영상을 수신하여 푸리에 변환을 통해 에코평면 영상을 푸리에 공간 데이터로 변환하고, 변환된 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할할 수 있다.
물론, 수신부(900)는 코일 각각에 대한 에코평면 영상에 대하여, 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할할 수 있다.
보간부(920)는 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 짝수 k-공간 데이터와 홀수 k-공간 데이터를 보간함으로써, 푸리에 공간이 보간된 짝수 k-공간 데이터와 홀수 k-공간 데이터를 획득한다.
여기서, 보간부(920)는 뉴럴 네트워크는 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크, 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크, 소멸 필터 기반 로우 랭크 한켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크 및 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크 중 적어도 하나를 이용하여 짝수 k-공간 데이터와 홀수 k-공간 데이터를 보간함으로써, 푸리에 공간이 보간된 짝수 k-공간 데이터와 홀수 k-공간 데이터를 획득할 수 있다. 이 때, 다중 해상도 뉴럴 네트워크는 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
복원부(930)는 푸리에 공간이 보간된 짝수 k-공간 데이터와 홀수 k-공간 데이터에 기초하여 고스트 아티팩트가 제거된 에코평면 영상을 복원한다.
여기서, 복원부(930)는 역 푸리에 변환(IFT)를 이용하여 고스트 아티팩트가 제거된 홀수 영상 데이터와 짝수 영상 데이터를 획득하며, 이렇게 획득된 홀수 영상 데이터와 짝수 영상 데이터를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원할 수 있다.
비록, 도 9의 장치에서 그 설명이 생략되었더라도, 도 9를 구성하는 각 구성 수단은 도 1 내지 도 8에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 에코평면 영상의 푸리에 공간 데이터를 수신하는 단계; 및
    푸리에 공간을 보간하는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 푸리에 공간 데이터를 수신하는 단계는
    상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고,
    상기 에코평면 영상을 복원하는 단계는
    상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 에코평면 영상을 복원하는 단계는
    미리 설정된 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 뉴럴 네트워크는
    소멸 필터 기반 로우 랭크 한켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 뉴럴 네트워크는
    풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 뉴럴 네트워크는
    상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 에코평면 영상의 푸리에 공간 데이터를 수신하는 단계; 및
    로우 랭크 한켈 행렬 기법(low-rank Hankel matrix approach)과 컨볼루션 프레임렛(convolution framelet)에 기반한 푸리에 공간을 보간하는 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 푸리에 공간 데이터를 수신하는 단계는
    상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고,
    상기 에코평면 영상을 복원하는 단계는
    상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  10. 에코평면 영상의 푸리에 공간 데이터를 수신하는 수신부; 및
    푸리에 공간을 보간하는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 이용하여 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 복원부
    를 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 수신부는
    상기 푸리에 공간 데이터를 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터로 분할하고,
    상기 복원부는
    상기 뉴럴 네트워크를 이용하여 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터를 획득하며, 상기 푸리에 공간이 보간된 홀수 푸리에 공간 데이터와 짝수 푸리에 공간 데이터에 기초하여 상기 고스트 아티팩트가 제거된 에코평면 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  12. 제10항에 있어서,
    상기 복원부는
    미리 설정된 로우 랭크 한켈 행렬 제약 조건(low-rank Hankel matrix constraint)을 만족하는 뉴럴 네트워크를 이용하여 상기 에코평면 영상의 고스트 아티팩트를 제거하는 것을 특징으로 하는 영상 처리 장치.
  13. 제10항에 있어서,
    상기 뉴럴 네트워크는
    소멸 필터 기반 로우 랭크 한켈 행렬 기법(annihilating filter-based low-rank Hankel matrix approach, ALOHA)과 딥 컨볼루션 프레임렛(deep convolution framelet)에 기반한 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  14. 삭제
  15. 제10항에 있어서,
    상기 뉴럴 네트워크는
    풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  16. 제15항에 있어서,
    상기 뉴럴 네트워크는
    상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 장치.
KR1020180102146A 2018-08-29 2018-08-29 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치 KR102131505B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180102146A KR102131505B1 (ko) 2018-08-29 2018-08-29 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치
US16/549,500 US11085986B2 (en) 2018-08-29 2019-08-23 Method for removing ghost artifact of echo planar imaging by using neural network and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180102146A KR102131505B1 (ko) 2018-08-29 2018-08-29 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200025179A KR20200025179A (ko) 2020-03-10
KR102131505B1 true KR102131505B1 (ko) 2020-07-07

Family

ID=69640960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180102146A KR102131505B1 (ko) 2018-08-29 2018-08-29 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치

Country Status (2)

Country Link
US (1) US11085986B2 (ko)
KR (1) KR102131505B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6876940B2 (ja) * 2018-04-04 2021-05-26 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
US11568584B2 (en) * 2019-08-26 2023-01-31 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for magnetic resonance imaging
US11120585B2 (en) * 2019-11-28 2021-09-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
KR102144320B1 (ko) * 2020-02-13 2020-08-13 주식회사 에어스 메디컬 자기 공명 영상 처리 장치 및 그 방법
KR102591860B1 (ko) * 2020-08-13 2023-10-24 한국과학기술원 누락된 원뿔 아티팩트를 제거하기 위한 비지도 학습 기반 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
CN112763958B (zh) * 2020-12-10 2022-06-21 复旦大学 一种基于神经网络的多次激发平面回波磁共振成像方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697872B1 (ko) * 2015-10-20 2017-01-18 한국과학기술원 자기 공명 영상에서의 고스트 아티팩트를 제거하는 방법 및 이를 위한 자기 공명 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101277255B1 (ko) * 2006-06-13 2013-06-26 서강대학교산학협력단 복합 영상 신호에서의 화질 개선 방법 및 그 장치, 복합영상 신호에서의 왜곡 제거 방법 및 그 장치
CN101153896A (zh) * 2006-09-29 2008-04-02 西门子（中国）有限公司 回波平面成像序列的图像重建方法
US20150077107A1 (en) * 2012-04-19 2015-03-19 National Research Council Of Canada Method for B0 Field Correction in Magnetic Resonance
KR102348139B1 (ko) * 2014-10-31 2022-01-10 한국전기연구원 이중 해상도의 관심 영역 내외 투영 데이터를 이용한 체내 단층 촬영 방법 및 시스템
KR101667141B1 (ko) * 2015-03-11 2016-10-25 한국과학기술원 소멸필터를 이용한 고속 mr 영상 복원 알고리듬 개발

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697872B1 (ko) * 2015-10-20 2017-01-18 한국과학기술원 자기 공명 영상에서의 고스트 아티팩트를 제거하는 방법 및 이를 위한 자기 공명 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jong Chul Ye ET AL:"Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems", SIAM J. Imaging Sci., 11(2), pp.991-1048, 2018(2018.04.24.) 1부.*
Yoseob Han ET AL:"k-Space Deep Learning for Accelerated MRI", Computer Vision and Pattern Recognition, https://arxiv.org/abs/1805.03779v1(2018.05.10.) 1부.*

Also Published As

Publication number Publication date
KR20200025179A (ko) 2020-03-10
US20200072933A1 (en) 2020-03-05
US11085986B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
KR102131505B1 (ko) 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치
Ye Compressed sensing MRI: a review from signal processing perspective
Jin et al. A general framework for compressed sensing and parallel MRI using annihilating filter based low-rank Hankel matrix
CN107064845B (zh) 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
US10671939B2 (en) System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
US11327137B2 (en) One-dimensional partial Fourier parallel magnetic resonance imaging method based on deep convolutional network
Bilgic et al. Improving parallel imaging by jointly reconstructing multi‐contrast data
Zhang et al. Coil compression for accelerated imaging with Cartesian sampling
US11181598B2 (en) Multi-contrast MRI image reconstruction using machine learning
US20200105031A1 (en) Method for Performing Magnetic Resonance Imaging Reconstruction with Unsupervised Deep Learning
Aggarwal et al. MoDL-MUSSELS: model-based deep learning for multishot sensitivity-encoded diffusion MRI
Trzasko et al. Calibrationless parallel MRI using CLEAR
Chen et al. Fast algorithms for image reconstruction with application to partially parallel MR imaging
KR20190138107A (ko) 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
Holme et al. ENLIVE: an efficient nonlinear method for calibrationless and robust parallel imaging
US9709650B2 (en) Method for calibration-free locally low-rank encouraging reconstruction of magnetic resonance images
Chen et al. Pyramid convolutional RNN for MRI image reconstruction
Florescu et al. A majorize-minimize memory gradient method for complex-valued inverse problems
US12027254B2 (en) Multi-contrast MRI image reconstruction using machine learning
Zhou et al. Parallel imaging and convolutional neural network combined fast MR image reconstruction: Applications in low‐latency accelerated real‐time imaging
Ding et al. Deep residual dense U-Net for resolution enhancement in accelerated MRI acquisition
Lee et al. k‐Space deep learning for reference‐free EPI ghost correction
CN107205686A (zh) 去除在磁共振成像的重影伪影的方法及为此的磁共振装置
Cui et al. K-UNN: k-space interpolation with untrained neural network
El Gueddari et al. Calibrationless oscar-based image reconstruction in compressed sensing parallel MRI

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant