KR102472546B1 - 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 - Google Patents
노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102472546B1 KR102472546B1 KR1020210106677A KR20210106677A KR102472546B1 KR 102472546 B1 KR102472546 B1 KR 102472546B1 KR 1020210106677 A KR1020210106677 A KR 1020210106677A KR 20210106677 A KR20210106677 A KR 20210106677A KR 102472546 B1 KR102472546 B1 KR 102472546B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- magnetic resonance
- neural network
- artificial neural
- network model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 73
- 238000003672 processing method Methods 0.000 claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000002595 magnetic resonance imaging Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 208000004547 Hallucinations Diseases 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010009244 Claustrophobia Diseases 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- High Energy & Nuclear Physics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
Abstract
본 발명의 일 실시예에 따른, 노이즈 투 노이즈(Noise to Noise) 기법이 적용된 자기 공명 영상 처리 방법에 있어서, 대상체를 적어도 1회 이상 스캔하여 이미지를 획득하는 단계; 및 상기 대상체를 2회 이상 스캔하여 이미지를 획득한 경우, 상기 이미지 중 어느 하나를 제1 인공 신경망 모델에 인풋으로 입력하고, 상기 이미지 중 다른 하나를 상기 제1 인공 신경망 모델에 라벨로 입력하여, 상기 제1 인공 신경망 모델을 학습시키는 단계를 포함하는, 자기 공명 영상 처리 방법을 제공하고자 한다.
Description
본 발명은 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법에 관한 것으로서, 구체적으로 자기 공명 영상 처리에 노이즈 투 노이즈 기법을 적용하여 자기 공명 영상 획득 시간을 단축하고, 자기 공명 영상의 신호 대 잡음비를 향상시키는 자기 공명 영상 처리 장치 및 그 방법에 관한 것이다.
일반적으로 의료용 영상 장치는 환자의 신체 정보를 획득하여 영상을 제공하는 장치이다. 의료용 영상 장치는 X선 촬영 장치, 초음파 진단 장치, 컴퓨터 단층 촬영 장치, 자기 공명 영상(Magnetic Resonance Imaging, MRI) 촬영 장치 등이 있다.
자기 공명 영상은 인체에 해가 없는 자장과 비전리 방사선을 이용하여 체내의 수소 원자핵에 핵자기 공명 현상을 일으켜 원자핵의 밀도 및 물리/화학적 특성을 영상화한 것이다. 자기 공명 영상 촬영 장치는 영상 촬영 조건이 상대적으로 자유롭고, 연부 조직에서의 다양한 진단 정보를 포함하고 우수한 대조도를 가지는 영상을 제공해주기 때문에 의료용 영상을 이용한 진단 분야에서 중요한 위치를 차지하고 있다.
한편, 자기 공명 영상 촬영 장치에 의한 촬영은 촬영 부위와 MR 영상의 종류 등에 따라 짧게는 20여분에서 길게는 1시간 이상이 소요될 수 있다. 즉, 자기 공명 영상 촬영 장치의 촬영 시간은 다른 의료용 영상 촬영 장치에 비해 상대적으로 길다는 단점이 있다. 이러한 단점은 환자에게 촬영 부담을 줄 수 있으며, 특히 폐쇄공포증이 있는 환자에게는 시행 자체를 곤란하게 한다. 따라서, 촬영 시간을 단축하려는 기술들이 최근까지 개발되고 있으며, 더불어 영상의 질적인 면에서도 개선이 요구되고 있는 실정이다.
본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법은 동일한 대상체를 스캔하여 획득한 복수개의 이미지 중 어느 하나를 인풋으로 입력하고, 다른 하나를 라벨로 입력하여 학습된 인공 신경망 모델을 이용하여 아웃풋 이미지를 출력하므로, 이미지 획득 시간이 줄어들고, 노이즈가 감소된 자기 공명 영상을 획득하도록 하고자 한다.
또한, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법은 동일한 대상체를 스캔하여 획득한 풀 샘플링 데이터를 2개의 서브 샘플링 데이터로 나누어 획득한 복수개의 이미지 중 어느 하나를 인풋으로 입력하고, 다른 하나를 라벨로 입력하여 학습된 인공 신경망 모델을 이용하여 아웃풋 이미지를 출력하므로, 이미지 획득 시간이 줄어들고, 노이즈가 감소된 자기 공명 영상을 획득하도록 하고자 한다.
본 발명의 일 실시예에 따른, 노이즈 투 노이즈(Noise to Noise) 기법이 적용된 자기 공명 영상 처리 방법에 있어서, 대상체를 적어도 1회 이상 스캔하여 이미지를 획득하는 단계; 및 상기 대상체를 2회 이상 스캔하여 이미지를 획득한 경우, 상기 이미지 중 어느 하나를 제1 인공 신경망 모델에 인풋으로 입력하고, 상기 이미지 중 다른 하나를 상기 제1 인공 신경망 모델에 라벨로 입력하여, 상기 제1 인공 신경망 모델을 학습시키는 단계를 포함하는, 자기 공명 영상 처리 방법을 제공하고자 한다.
본 실시예에 있어서, 상기 학습된 제1 인공 신경망 모델을 이용하여 아웃풋 이미지를 생성하는 경우, 풀 샘플링된 자기 공명 신호로부터 생성된 아웃풋 이미지 및 서브 샘플링된 자기 공명 신호로부터 병렬 영상 기법을 이용하여 생성된 아웃풋 이미지 중 적어도 어느 하나의 이미지 보다 노이즈가 감소된 이미지가 출력되는, 자기 공명 영상 처리 방법을 제공하고자 한다.
본 발명의 다른 실시예에 있어서, 상기 대상체를 1회 스캔하여 이미지를 획득한 경우, 상기 이미지를 페이즈 인코딩 방향을 기준으로 나열된 짝수번째 라인에 형성된 자기 공명 신호에 대한 제1 이미지와 홀수번째 라인에 형성된 자기 공명 신호에 대한 제2 이미지로 분리하여 복수개의 이미지를 획득하는 단계; 및 상기 제1이미지 또는 제2이미지 중 어느 하나의 이미지를 제2 인공 신경망 모델에 인풋으로 입력하고, 상기 제1이미지 또는 제2이미지 중 다른 하나의 이미지를 상기 제2 인공 신경망 모델에 라벨로 입력하여, 상기 제2 인공 신경망 모델을 학습시키는 단계를 포함하는, 자기 공명 영상 처리 방법을 제공하고자 한다.
본 실시예에 있어서, 상기 학습된 제2 인공 신경망 모델을 이용하여 아웃풋 이미지를 생성하는 경우, 풀 샘플링된 자기 공명 신호로부터 생성된 아웃풋 이미지 및 서브 샘플링된 자기 공명 신호로부터 병렬 영상 기법을 이용하여 생성된 아웃풋 이미지 중 적어도 어느 하나의 이미지 보다 노이즈가 감소된 이미지가 출력되는, 자기 공명 영상 처리 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법은 동일한 대상체를 스캔하여 획득한 복수개의 이미지 중 어느 하나를 인풋으로 입력하고, 다른 하나를 라벨로 입력하여 학습된 인공 신경망 모델을 이용하여 아웃풋 이미지를 출력하므로, 이미지 획득 시간이 줄어들고, 노이즈가 감소된 자기 공명 영상을 획득할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법은 동일한 대상체를 스캔하여 획득한 풀 샘플링 데이터를 2개의 서브 샘플링 데이터로 나누어 획득한 복수개의 이미지 중 어느 하나를 인풋으로 입력하고, 다른 하나를 라벨로 입력하여 학습된 인공 신경망 모델을 이용하여 아웃풋 이미지를 출력하므로, 이미지 획득 시간이 줄어들고, 노이즈가 감소된 자기 공명 영상을 획득할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치의 구성을 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치에서 수행되는 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법의 순서를 보여주는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 인공 신경망 모델을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 자기 공명 신호의 서브 샘플링과 풀 샘플링의 차이점을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 앨리어싱, 깁스 링잉, 화이트 닷 아티팩트를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스무딩, 텍스쳐, 할루시네이션 아티팩트를 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치에서 수행되는 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법의 순서를 보여주는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 풀 샘플링한 자기 공명 신호로 생성한 아웃풋 이미지를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 제1 인공 신경망 모델 또는 제2 인공 신경망 모델을 이용하여 생성한 아웃풋 이미지를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치에서 수행되는 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법의 순서를 보여주는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 인공 신경망 모델을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 자기 공명 신호의 서브 샘플링과 풀 샘플링의 차이점을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 앨리어싱, 깁스 링잉, 화이트 닷 아티팩트를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스무딩, 텍스쳐, 할루시네이션 아티팩트를 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치에서 수행되는 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법의 순서를 보여주는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 풀 샘플링한 자기 공명 신호로 생성한 아웃풋 이미지를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 제1 인공 신경망 모델 또는 제2 인공 신경망 모델을 이용하여 생성한 아웃풋 이미지를 보여주는 도면이다.
아래에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서, '서버' 와 '시스템'은 하나 이상의 메모리들(미도시), 하나 이상의 컴퓨터 프로세서들(one or more Computor processors)(미도시), 및 하나 이상의 프로그램들(one or more programs)(미 도시)을 포함하도록 구성된 컴퓨터를 의미하며, 여기서, 하나 이상의 프로그램들(이하, '전 처리용 프로그램들')은 메모리에 저장되어 하나 이상의 프로세서들에 의해 실행되도록(executed) 구성되며, 하나 이상의 메모리, 하나 이상의 컴퓨터 프로세서들, 하나 이상의 프로그램들은 물리적으로 동일한 장치에 위치되어 직접 연결되거나 또는 통신망에 의해 연결되어 있을 수 있다.
본 명세서에서 '영상'은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 자기 공명 영상 촬영 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다. 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미하는 것으로, 신체와 유사한 성질을 갖는 구형(sphere)의 팬텀을 포함할 수 있다.
자기 공명 영상(Magnetic Resonance Image, MRI) 시스템은 특정 세기의 자기장에서 발생하는 RF(Radio Frequency) 신호에 대한 자기 공명(Magnetic Resonance, MR) 신호의 세기를 명암 대비로 표현하여 대상체의 단층 부위에 대한 이미지를 획득하는 시스템이다.
MRI 시스템은 주자석이 정자장(static magnetic field)을 형성하도록 하고, 정자장 속에 위치한 대상체의 특정 원자핵의 자기 쌍극자 모멘트 방향을 정자장 방향으로 정렬시킨다. 경사자장 코일은 정자장에 경사 신호를 인가하여, 경사자장을 형성시켜, 대상체의 부위 별로 공명 주파수를 다르게 유도할 수 있다. RF 코일은 영상 획득을 원하는 부위의 공명 주파수에 맞추어 자기 공명 신호를 조사할 수 있다. 또한, RF 코일은 경사자장이 형성됨에 따라, 대상체의 여러 부위로부터 방사되는 서로 다른 공명 주파수의 자기 공명 신호들을 수신할 수 있다. MRI 시스템은 이러한 단계를 통해 수신된 자기 공명 신호들에 영상 복원 기법을 적용하여 영상을 획득한다. 또한, MRI 시스템은 다채널 RF 코일에 의해 수신되는 복수의 자기 공명 신호에 대하여 직렬적 또는 병렬적 신호 처리를 수행하여 복수의 자기 공명 신호를 영상 데이터로 재구성할 수도 있다.
이하에서는, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100)에 대하여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치의 구성을 설명하기 위한 구성도이다.
도 1을 참조하면, 자기 공명 영상 처리 장치는 자체적으로 자기 공명 신호를 감지하여 자기 공명 영상을 획득할 수 있는 MRI 시스템뿐만 아니라, 외부에서 획득된 영상을 처리하는 영상 처리 장치, 자기 공명 영상에 대한 프로세싱 기능을 구비한 스마트폰, 태블릿 PC, PC, 스마트 TV, 마이크로 서버, 클라우드 서버, 기타 가전 기기 및 기타 모바일 또는 비 모바일 컴퓨팅 장치일 수 있으나 이에 제한되지 않는다. 또한, 자기 공명 영상 처리 장치는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다.
또한, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100)는 의료기관에서 이용하는 의료 영상 저장 전송 시스템(PACS: Picture Archiving and Communication System) 또는 자기 공명 영상 처리 장치와 통신하여 의료 영상 데이터를 송수신하고, 인공신공망 모델을 활용하여 자기 공명 영상 데이터를 복원하는 자기 공명 영상 처리 장치에 관한 것일 수 있다.
그리고, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100)는 클라우드 컴퓨팅 시스템(Cloud Computing System)의 형태로 구현될 수 있다. 클라우드 컴퓨팅은 인터넷상의 서버를 통하여 데이터 저장, 네트워크, 콘텐츠 사용 등 IT 관련 서비스를 종합적으로 사용할 수 있는 컴퓨팅 환경이다. 이와 다르게, 자기 공명 영상 처리 장치는 서버 컴퓨팅, 엣지 컴퓨팅, 서버리스 컴퓨팅 등의 자기 공명 영상 처리 방법을 수행할 수 있는 다양한 형태의 컴퓨팅 시스템으로 구현될 수도 있다.
구체적으로, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100)는 각각 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함할 수 있다.
통신 모듈(110)은 통신망과 연동하여 자기 공명 영상 처리 장치(100)에 통신 인터페이스를 제공하는데, 자기 공명 영상 처리 장치(100)는 통신 모듈(110)을 이용하여 후술할 클라이언트 단말, PACS 단말 및 PACS 서버와 데이터를 송수신할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
예를 들어, 통신 모듈(110)은 랜(LAN), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), WiBro(Wireless Broadband Internet), 5세대 이동통신(5G), 초광역대 무선 통신(Ultra Wide-Band), 지그비(ZigBee), RF(Radio Frequency)통신, 무선랜(Wireless LAN), 와이파이(Wireless Fidelity), NFC(Near Field Communication), 블루투스, 적외선 통신 등을 통해 통신할 수 있다. 다만, 이는 예시적인 것으로서, 본 발명이 적용되는 실시예에 따라 당해 기술분야에서 적용 가능한 다양한 유무선 통신 기술이 이용될 수 있다.
한편, 본 발명에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한 ‘단말’은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드, 및 반지 등의 웨어러블 기기일 수도 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다.
의료기관에는 일반적으로 의료 영상 촬영 기기와 연동되어 촬영 기기를 제어하거나 의료 영상 데이터 전송을 관리하는 클라이언트 단말과 의료진이 의료 영상 데이터를 보거나 가공 및 관리할 수 있는 PACS 프로그램이 설치된 PACS 단말이 배치될 수 있다. 클라이언트 단말은 사용자 로그인, 워크리스트 및 영상 처리 내역을 출력하기 위한 사용자 인터페이스(UI)를 제공하는 프로그램이 설치된 단말일 수 있다. PACS 단말은 PACS 서버에 저장된 의료 영상 데이터, 개인 정보 데이터를 자기 공명 영상 처리 장치(100)로 전송하고, 인공신경망 모델을 통해 복원된 의료 영상 데이터를 수신하여 PACS서버에 저장하거나, 디스플레이에 출력하기 위한 사용자 인터페이스를 제공하는 프로그램이 설치된 단말일 수 있다.
메모리(120)는 자기 공명 영상 처리 장치(100)에서 수행되는 프로그램이 기록된 저장 매체일 수 있다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 자기 공명 영상 처리 장치(100)에서 수행되는 프로그램의 전체 과정을 제어할 수 있다. 여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로서, 마이크로프로세서(microprocessor), 중앙처리장치(CPU: central processing unit), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array), 그래픽 처리 장치(GPU: graphics processing unit)등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 자기 공명 영상 처리 장치(100)가 프로그램을 실행하기 위해 필요한 각종 데이터가 저장된 것일 수 있다. 예를 들어, 데이터베이스(140)는 사용자 리스트, 워크리스트 및 영상 처리 정보와 프로토콜 규칙, 의료 영상 데이터, 인공신경망 모델 및 학습 데이터가 저장된 것일 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100)에서 수행되는, 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법에 대하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치에서 수행되는 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법의 순서를 보여주는 순서도이다.
도 2를 참조하면, 먼저 대상체를 적어도 1회 이상 스캔한 이미지를 획득하는 단계가 수행될 수 있다. 예를 들어 대상체를 2회 이상 스캔한 이미지들을 획득하는 단계(S210)가 수행될 수 있다.
자기 공명 영상 촬영은 하나의 대상체에 대하여 높은 신호 대 잡음비(SNR)를 가지는 이미지를 얻기 위해 복수회 스캔이 진행될 수 있다. 그리고 자기 공명 영상 처리 장치(100)는 여러 번 스캔한 이미지들을 가공하여 단일 이미지가 획득되도록 할 수 있다. 여기서 이미지들을 가공하는 것은 복수개의 이미지들의 로우 데이터를 합하고 이미지화한 후 노이즈를 제거하여 이미지를 획득하는 방법, 복수개의 이미지들의 로우 데이터의 평균 데이터를 이미지화하여 이미지를 획득하는 방법 등으로 수행될 수 있다.
자기 공명 영상 촬영 장치로부터 획득된 자기 공명 신호로부터 획득한 데이터를 로우 데이터 또는 k-space 데이터라고 명명할 수 있다. 이미지화한다는 것은 로우 데이터 또는 k-space 데이터로부터 역 퓨리에(IFFT) 연산 또는 인공 신경망 모델을 이용하여 이미지를 획득하는 것을 의미할 수 있다.
도 3은 본 발명의 일 실시예에 따른 인공 신경망 모델을 설명하기 위한 도면이다.
인공 신경망 모델은 통계적 기계 학습 결과를 이용하여, 적어도 하나의 인풋 자기 공명 영상과 적어도 하나의 라벨 자기 공명 영상 간의 상관 관계를 학습하는 알고리즘의 집합일 수 있다. 인공 신경망 모델은 적어도 하나의 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)과 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
그 다음으로, 대상체를 2회 이상 스캔한 이미지를 획득한 경우 이미지 중 어느 하나를 제1 인공 신경망 모델에 인풋으로 입력하고, 이미지 중 다른 하나를 제1 인공 신경망 모델에 라벨로 입력하여, 제1 인공지능 모델을 학습시키는 단계(S220)가 수행될 수 있다.
그 다음으로, 학습된 제1 인공지능 모델을 이용하여 아웃풋 이미지를 생성하는 경우(S230), 풀 샘플링된 자기 공명 신호로부터 생성된 아웃풋 이미지 및/또는 서브 샘플링된 자기 공명 신호로부터 병렬 영상 기법을 이용하여 생성된 아웃풋 이미지보다 노이즈가 감소된 이미지가 출력될 수 있다.
예를 들어, 임의의 대상체의 뇌를 여러 번 촬영하여 획득한 이미지들 중 어느 하나는 제1 인공 신경망 모델에 인풋 이미지로 입력하고, 다른 하나는 제1 인공 신경망 모델에 라벨 이미지로 입력하여 제1 인공 신경망 모델을 학습시킨다. 그 다음으로 다른 임의의 대상체의 뇌를 촬영하여 획득한 이미지를 제1 인공 신경망 모델에 인풋 이미지로 입력하여 출력되는 아웃풋 이미지를 생성한다. 제1 인공 신경망 모델을 통해 획득한 아웃풋 이미지는 일반적인 자기 공명 영상 처리 장치를 이용하여 획득한 아웃풋 이미지보다 노이즈가 감소된 것이 출력될 수 있다.
일반적인 자기 공명 영상 처리 장치는 풀 샘플링된 자기 공명 신호를 역 퓨리에 변환하여 이미지화하여 아웃풋 이미지를 생성하는 것일 수 있다. 또한 일반적인 자기 공명 영상 처리 장치는 가속화 촬영으로 획득된 서브 샘플링된 자기 공명 신호를 병렬 영상 기법을 이용하여 아웃풋 이미지의 해상도를 향상시켜 출력하는 것일 수 있다.
여기서, 병렬 영상 기법은 서브 샘플링된 자기 공명 신호 및/또는 k-space 데이터로부터 풀 샘플링된 k-space 데이터 및/또는 자기 공명 영상과 같이 정확도 높은 k-space 데이터 및/또는 자기 공명 영상을 획득하기 위한 일종의 영상 복원 기법이다. 병렬 영상 기법에 따른 영상 복원의 수행에 있어, 공지 기술인 SPACE RIP(Sensitivity Profiles From an Array of Coils for Encoding and Reconstruction in Parallel), SMASH(Simultaneous acquisition of spatial harmonics), PILS(Partially Parallel Imaging With Localized Sensitivitie), GRAPPA(Generalized Autocalibrating Partially Parallel Acquisitions) SPIRiT(iterative Self-consistent Parallel Imaging Reconstruction)등의 병렬 영상 기법에 적용될 수 있는 것이라면 제한 없이 적용이 가능하다.
도 4는 본 발명의 일 실시예에 따른 서브 샘플링과 풀 샘플링의 차이점을 설명하기 위한 개략도이다.
도 4를 참조하면, 서브 샘플링된 자기 공명 신호는 나이키스트 샘플링 레이트보다 낮은 샘플링 레이트로 샘플링된 자기 공명 신호일 수 있다. 또한, 서브 샘플링된 자기 공명 영상은 나이키스트 샘플링 레이트보다 낮은 샘플링 레이트로 자기 공명 신호를 샘플링하여 획득된 영상이다. 한편, 풀 샘플링된 자기 공명 영상은 나이키스트 샘플링 레이트 이상의 샘플링 레이트로 k-space 데이터를 샘플링하여 획득된 영상일 수 있다.
예를 들어, 풀 샘플링된 자기 공명 신호의 라인(line) 수가 n개이고 서브 샘플링된 자기 공명 신호의 라인(line) 수가 n/2개일 수 있다. 여기서 샘플링 라인의 감소된 정도가 1/2 배수이면 자기 공명 영상 촬영의 가속화 지수가 2라고 할 수 있다. 샘플링 라인의 감소된 정도가 1/3 배수, 1/4 배수이면 가속화 지수는 각각 3, 4라고 할 수 있다.
그리고, 서브 샘플링 방법은 균일 서브 샘플링과 비균일 서브 샘플링으로 나뉠 수 있다. 균일 서브 샘플링은 샘플링되는 라인의 간격을 일정하게 유지하여 샘플링을 수행하는 것일 수 있다. 반면, 비균일 서브 샘플링은 일반적으로 샘플링 데이터의 중앙 부분으로 갈수록 샘플링되는 라인의 간격을 좁혀 샘플링을 많이 하고, 중앙 부분에서 멀어질수록 샘플링되는 라인의 간격을 넓히면서 샘플링을 적게하는 것을 의미할 수 있다.
도 4를 참조하면, 페이즈 인코딩 방향(Ky)이란 자기 공명 신호를 샘플링하는 과정에서 샘플링된 라인이 스택(stack)되는 방향과 평행하게 연장된 방향일 수 있다. 그리고 리드아웃 방향(Kx)이란 샘플링된 라인이 연장된 방향일 수 있다.
도 5는 본 발명의 일 실시예에 따른 앨리어싱, 깁스 링잉, 화이트 닷 아티팩트를 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 스무딩, 텍스쳐, 할루시네이션 아티팩트를 설명하기 위한 도면이다.
도 5 및 도 6을 참조하면, 노이즈란 스캔하는 대상체로부터 발생하는 유의미한 신호가 아닌, 전기적이거나 기계적인 이유로 발생하는 불필요한 신호를 의미한다. 이미지의 각 픽셀별로 임의의 노이즈 값이 더해지거나 빼질 수 있다. 동일한 대상체를 여러 번 촬영하여 여러 이미지를 얻을 경우, 여러 이미지 사이의 노이즈는 서로 독립일 수 있다. 노이즈란 아티팩트를 포함할 수 있다. 아티팩트는 엘리어싱 아티팩트(aliasing artifact), 깁스 링잉 아티팩트(gibbs-ringing artfact), 화이트 닷 아티팩트(white-dot artifact), 스무딩 아티팩트(smoothing artifact), 텍스쳐 아티팩트(texture artifact) 및 할루시네이션 아티팩트(hallucination artifact) 중 적어도 어느 하나를 포함하는, 자기 공명 영상 처리 방법을 제공할 수 있다.
여기서, 엘리어싱 아티팩트는 타겟 영상(도 5의 (a) 참조)과 비교했을 때 여러 개의 타겟 영상이 겹쳐 보이는 듯한 아티팩트(도 5의 (b) 참조)로서 인공 신경망을 이용한 이미지 복원에서 데이터 손실이 심한 경우 및/또는 FoV(Field of View)가 이미지화 되는 대상체보다 작은 경우 발생할 수 있다. 여기서, 타겟 영상은 풀 샘플링된 자기 공명 신호를 기초로 복원한 자기 공명 영상이다.
깁스 링잉 아티팩트는 타겟 영상과 비교했을 때 타겟 영상이 경계면에서 요동치는 것처럼 보이는 아티팩트(도 5의 (c) 참조)로서 인공 신경망을 이용하여 복원된 k-space 데이터가 k-space 영역에서 이미지 영역으로 데이터 변환 및 이동하는 것에 의해 발생할 수 있다.
화이트 닷 아티팩트는 타겟 영상과 비교했을 때 타겟 영상의 일부분에 하얀 점이 생기는 아티팩트(도 5의 (d) 참조)이며, 인공 신경망을 이용한 이미지 복원에서 불필요한 바이어스(bias) 성분이 생성되는 경우에 발생할 수 있다. 일반적으로 인공 신경망은 예측 성능을 높이기 위해 인공 신경망을 형성하는 뉴런에 바이어스가 생기거나 활성화 함수(activation function)가 포함되는데, 이러한 인공 신경망의 구조 때문에 출력되는 자기 공명 영상 자체에 바이어스가 형성될 수 있는 것이다.
스무딩 아티팩트는 이미지의 텍스쳐와 디테일이 사라져 보이는 아티팩트(도 6의 (a) 참조)이다. 자기 공명 영상 복원에 인공신경망을 이용하는 경우 및/또는 비선형 데이터 최적화를 사용하는 경우에 입력 데이터의 정보량이 충분치 않거나, 인공신경망의 경우 학습데이터의 학습이 미완료되거나 실패한 경우에 발생할 수 있다.
텍스쳐 아티팩트는 이미지의 텍스쳐가 변질되어 보이는 아티팩트(도 6의 (b) 참조)이다. 예를 들어 도 6의 (b)에서 실제로 존재하지 않는 지그재그 모양의 텍스쳐가 형성된 것을 볼 수 있다. 텍스쳐 아티팩트가 생기는 이유는 첫째로 신호 대 잡음비(SNR: Signal to Noise Ratio)가 낮은 데이터에서 인공신경망을 이용해 이미지를 복원하는 경우, 엘리어싱 때문에 수평적으로 이미지가 반복되는 것처럼 보이는데, 이 수평적 패턴이 복원된 이미지에서 없어지지 않고 남아있는 경우가 있다. 둘째로 CNN의 경우 각 컨볼루셔널 레이어(Convolutional Layer)에서 보조맵을 학습하는데, 이들의 학습이 잘못되면 이미지를 복원할 때 잘못된 텍스쳐를 사용하게 되어 텍스쳐 아티팩트가 생기게 된다.
할루시네이션 아티팩트는 실제로 존재하지 않는 구조가 존재하는 것처럼 보이는 아티팩트(도 6의 (c) 참조)이다. 도 6의 (c)를 보면 확대된 부분 중간에 동그랗게 생긴 구조는 뇌 이미지 오른쪽 아래의 혈관 형태와 비슷하게 생겼는데, 실제로는 존재하지 않는 구조이며 인공신경망으로 인해 생성된 형상이다. 할루시네이션 아티팩트가 생기는 이유는 여러가지가 있을 수 있는데, 인공신경망 모델이 서브샘플링된 k-space 데이터 입력에 대해 실제로는 존재하지 않는 대상체에서 얻은 데이터라고 판단하여 이미지를 복원하는 경우 발생할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치에서 수행되는 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법의 순서를 보여주는 순서도이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법으로서 대상체를 1회 스캔한 이미지를 획득하는 단계(S710)가 수행될 수 있다.
그 다음으로, 획득한 이미지를 페이즈 인코딩 방향(Ky)을 기준으로 나열된 짝수번째 샘플링 라인에 형성된 부분에 대한 제1 이미지와 홀수번째 샘플링 라인에 형성된 부분에 대한 제2 이미지로 분리하여 복수개의 이미지를 획득하는 단계(S720)가 수행될 수 있다.
그 다음으로, 제1이미지 또는 제2이미지 중 어느 하나의 이미지를 제2 인공 신경망 모델에 인풋으로 입력하고, 상기 제1이미지 또는 제2이미지 중 다른 하나의 이미지를 상기 제2 인공 신경망 모델에 라벨로 입력하여, 상기 제2 인공 신경망 모델을 학습시키는 단계(S730)가 수행될 수 있다.
그리고, 학습된 제2 인공 신경망 모델을 이용하여 아웃풋 이미지를 생성하는 경우(S740), 풀 샘플링된 자기 공명 신호로부터 생성된 아웃풋 이미지 및/또는 서브 샘플링된 자기 공명 신호로부터 병렬 영상 기법을 이용하여 생성된 아웃풋 이미지보다 보다 노이즈가 감소된 이미지가 출력될 수 있다.
그리고, 제2 인공 신경망 모델을 이용하는 경우 하나의 이미지만을 인풋으로 하여 아웃풋 이미지를 생성할 수 있으며, 그 아웃풋 이미지의 신호 대 잡음비는 복수개의 이미지를 인풋으로 하여 출력된 아웃풋 이미지의 신호 대 잡음비와 유사하거나 향상될 수 있다. 특히, 제2 인공 신경망 모델을 통한 자기 공명 영상 획득 기술은 대상체를 스캔한 이미지가 한 장만 있는 경우에 적용될 수 있는 유용한 기술이다.
도 8은 본 발명의 일 실시예에 따른 풀 샘플링한 자기 공명 신호로 생성한 아웃풋 이미지를 보여주는 도면이다. 도 9는 본 발명의 일 실시예에 따른 제1 인공 신경망 모델 또는 제2 인공 신경망 모델을 이용하여 생성한 아웃풋 이미지를 보여주는 도면이다.
도 8 및 도 9를 참조하면, 본 발명의 일 실시예에 따른 제1 인공 신경망 모델 또는 다른 실시예에 따른 제2 인공 신경망 모델을 이용하여 생성한 아웃풋 이미지(도 9 참조)가 풀 샘플링한 자기 공명 신호로 생성한 아웃풋 이미지(도 8 참조)보다 노이즈가 감소된 것을 확인할 수 있다.
이상으로 설명한, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100) 및 그 방법은 동일한 대상체를 스캔하여 획득한 복수개의 이미지 중 어느 하나를 인풋으로 입력하고, 다른 하나를 라벨로 입력하여 학습된 인공 신경망 모델을 이용하여 아웃풋 이미지를 출력하므로, 이미지 획득 시간이 줄어들고, 노이즈가 감소된 자기 공명 영상을 획득할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치(100) 및 그 방법은 동일한 대상체를 스캔하여 획득한 풀 샘플링 데이터를 2개의 서브 샘플링 데이터로 나누어 획득한 복수개의 이미지 중 어느 하나를 인풋으로 입력하고, 다른 하나를 라벨로 입력하여 학습된 인공 신경망 모델을 이용하여 아웃풋 이미지를 출력하므로, 이미지 획득 시간이 줄어들고, 노이즈가 감소된 자기 공명 영상을 획득할 수 있는 효과가 있다.
한편, 본 발명의 일 실시예에 따른 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스
Claims (7)
- 자기 공명 영상 처리 장치에 의해 수행되는 노이즈 투 노이즈(Noise to Noise) 기법이 적용된 자기 공명 영상 처리 방법에 있어서,
대상체를 1회 스캔한 이미지를 획득하는 단계;
상기 이미지를 분리하여 제1 이미지 및 제2 이미지를 생성하는 단계; 및
제1 인공 신경망 모델에 대한 학습 데이터로써, 상기 제1 이미지를 상기 제1 인공 신경망 모델에 제1 인풋 이미지로 입력하고, 상기 제2 이미지를 상기 제1 인공 신경망 모델에 제1 라벨 이미지로 입력하여, 상기 제1 인공 신경망 모델을 학습시키는 단계를 포함하는, 자기 공명 영상 처리 방법. - 제1항에 있어서,
상기 학습된 제1 인공 신경망 모델을 이용하여 아웃풋 이미지를 생성하는 경우, 풀 샘플링된 자기 공명 신호로부터 생성된 아웃풋 이미지 및 서브 샘플링된 자기 공명 신호로부터 병렬 영상 기법을 이용하여 생성된 아웃풋 이미지 중 적어도 어느 하나의 이미지 보다 노이즈가 감소된 이미지가 출력되는, 자기 공명 영상 처리 방법. - 제1항에 있어서,
상기 생성하는 단계는,
상기 이미지를 페이즈 인코딩 방향을 기준으로 나열된 짝수번째 라인에 형성된 자기 공명 신호에 대한 상기 제1 이미지와 홀수번째 라인에 형성된 자기 공명 신호에 대한 상기 제2 이미지를 생성하는 단계를 포함하는, 자기 공명 영상 처리 방법. - 제1항에 있어서,
상기 생성하는 단계는,
상기 이미지를 페이즈 인코딩 방향을 기준으로 나열된 홀수번째 라인에 형성된 자기 공명 신호에 대한 상기 제1 이미지와 짝수번째 라인에 형성된 자기 공명 신호에 대한 상기 제2 이미지를 생성하는 단계를 포함하는, 자기 공명 영상 처리 방법. - 제1항에 있어서,
상기 대상체를 2회 이상 스캔하여 복수의 이미지들을 획득한 경우, 상기 복수의 이미지들 중 어느 하나를 제2 인공 신경망 모델에 제2 인풋 이미지로 입력하고,
상기 복수의 이미지들 중 다른 하나를 상기 제2 인공 신경망 모델에 제2 라벨 이미지로 입력하여, 상기 제2 인공 신경망 모델을 학습시키는 단계를 더 포함하는, 자기 공명 영상 처리 방법. - 제5항에 있어서,
상기 학습된 제2 인공 신경망 모델을 이용하여 아웃풋 이미지를 생성하는 경우, 풀 샘플링된 자기 공명 신호로부터 생성된 아웃풋 이미지 및 서브 샘플링된 자기 공명 신호로부터 병렬 영상 기법을 이용하여 생성된 아웃풋 이미지 중 적어도 어느 하나의 이미지 보다 노이즈가 감소된 이미지가 출력되는, 자기 공명 영상 처리 방법. - 노이즈 투 노이즈(Noise to Noise) 기법이 적용된 자기 공명 영상 처리 장치에 있어서,
대상체를 1회 스캔한 이미지를 획득하고,
상기 이미지를 분리하여 제1 이미지 및 제2 이미지를 생성하고,
제1 인공 신경망 모델에 대한 학습 데이터로써, 상기 제1 이미지를 상기 제1 인공 신경망 모델에 인풋 이미지로 입력하고, 상기 제2 이미지를 상기 제1 인공 신경망 모델에 라벨 이미지로 입력하여, 상기 제1 인공 신경망 모델을 학습시키는, 자기 공명 영상 처리 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210106677A KR102472546B1 (ko) | 2021-08-12 | 2021-08-12 | 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 |
| PCT/KR2022/006373 WO2023017963A1 (ko) | 2021-08-12 | 2022-05-03 | 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 |
| US17/790,840 US20240127499A1 (en) | 2021-08-12 | 2022-05-03 | Magnetic resonance image processing apparatus and method to which noise-to-noise technique is applied |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210106677A KR102472546B1 (ko) | 2021-08-12 | 2021-08-12 | 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102472546B1 true KR102472546B1 (ko) | 2022-11-30 |
Family
ID=84234511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210106677A KR102472546B1 (ko) | 2021-08-12 | 2021-08-12 | 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240127499A1 (ko) |
| KR (1) | KR102472546B1 (ko) |
| WO (1) | WO2023017963A1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101697872B1 (ko) * | 2015-10-20 | 2017-01-18 | 한국과학기술원 | 자기 공명 영상에서의 고스트 아티팩트를 제거하는 방법 및 이를 위한 자기 공명 장치 |
| KR101923184B1 (ko) * | 2017-08-25 | 2018-11-28 | 삼성전자주식회사 | 뉴럴 네트워크를 이용한 영상 복원 방법 및 그 자기 공명 영상 장치 |
| KR20190124994A (ko) * | 2018-04-27 | 2019-11-06 | 연세대학교 산학협력단 | 자기 공명 영상 재구성 장치 및 방법 |
| KR102186632B1 (ko) | 2019-01-07 | 2020-12-02 | 재단법인대구경북과학기술원 | 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9841483B2 (en) * | 2014-11-26 | 2017-12-12 | Toshiba Medical Systems Corporation | Magnetic resonance imaging method and magnetic resonance imaging apparatus |
| KR102215702B1 (ko) * | 2018-06-04 | 2021-02-16 | 한국과학기술원 | 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치 |
| US11672498B2 (en) * | 2020-07-29 | 2023-06-13 | Canon Medical Systems Corporation | Information processing method, medical image diagnostic apparatus, and information processing system |
-
2021
- 2021-08-12 KR KR1020210106677A patent/KR102472546B1/ko active IP Right Grant
-
2022
- 2022-05-03 WO PCT/KR2022/006373 patent/WO2023017963A1/ko active Application Filing
- 2022-05-03 US US17/790,840 patent/US20240127499A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101697872B1 (ko) * | 2015-10-20 | 2017-01-18 | 한국과학기술원 | 자기 공명 영상에서의 고스트 아티팩트를 제거하는 방법 및 이를 위한 자기 공명 장치 |
| KR101923184B1 (ko) * | 2017-08-25 | 2018-11-28 | 삼성전자주식회사 | 뉴럴 네트워크를 이용한 영상 복원 방법 및 그 자기 공명 영상 장치 |
| KR20190124994A (ko) * | 2018-04-27 | 2019-11-06 | 연세대학교 산학협력단 | 자기 공명 영상 재구성 장치 및 방법 |
| KR102186632B1 (ko) | 2019-01-07 | 2020-12-02 | 재단법인대구경북과학기술원 | 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Lehtinen J, etc., Noise2Noise: Learning Image Restoration without Clean Data. cs.CV. pp.1~12 (2018.10.29.)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240127499A1 (en) | 2024-04-18 |
| WO2023017963A1 (ko) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11341616B2 (en) | Methods and system for selective removal of streak artifacts and noise from images using deep neural networks | |
| KR102588863B1 (ko) | 자기 공명 영상 처리 장치 및 그 방법 | |
| US20200202586A1 (en) | Systems and methods for magnetic resonance imaging | |
| US9396562B2 (en) | MRI reconstruction with incoherent sampling and redundant haar wavelets | |
| US20210035337A1 (en) | Scan-specific recurrent neural network for image reconstruction | |
| KR102584166B1 (ko) | 리스케일링과 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 | |
| KR102428725B1 (ko) | 영상 개선 방법 및 이를 수행하는 컴퓨터 프로그램 | |
| CN112272535B (zh) | 磁共振弥散成像的方法和系统 | |
| US11828824B2 (en) | System and method for deep learning-based accelerated magnetic resonance imaging with extended field of view coil sensitivity calibration | |
| EP4318488A1 (en) | Magnetic resonance image processing apparatus to which slice resolution enhancement is applied, and method therefor | |
| US20240036138A1 (en) | Multichannel deep learning reconstruction of multiple repetitions | |
| KR102472546B1 (ko) | 노이즈 투 노이즈 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 | |
| KR102513218B1 (ko) | 학습 데이터 생성 방법, 컴퓨터 프로그램 및 장치 | |
| KR102467249B1 (ko) | 멀티 시퀀스 복원 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 | |
| KR102475390B1 (ko) | 3d 마스크 자동 생성 기법이 적용되는 자기 공명 영상 처리 장치 및 그 방법 | |
| WO2022124473A1 (ko) | K-space 도메인에 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 | |
| CN115201731A (zh) | 磁共振成像方法及磁共振成像系统 | |
| KR102572311B1 (ko) | 보조맵과 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 | |
| US20240127498A1 (en) | Magnetic resonance image processing method and apparatus using scan parameters | |
| KR102429284B1 (ko) | 컴바인이 적용되는 자기 공명 영상 처리 장치 및 그 방법 | |
| KR102467290B1 (ko) | 페이즈 레졸루션 향상이 적용된 자기 공명 영상 처리 장치 및 그 방법 | |
| US12125175B2 (en) | Methods and system for selective removal of streak artifacts and noise from images using deep neural networks | |
| US11935211B2 (en) | Systems and methods for image processing | |
| US20240362835A1 (en) | Quasi-newton mri deep learning reconstruction | |
| CN118015437A (zh) | 医学图像处理方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |