KR102215902B1 - Method of correcting an image and apparatuses performing the same - Google Patents
Method of correcting an image and apparatuses performing the same Download PDFInfo
- Publication number
- KR102215902B1 KR102215902B1 KR1020190113687A KR20190113687A KR102215902B1 KR 102215902 B1 KR102215902 B1 KR 102215902B1 KR 1020190113687 A KR1020190113687 A KR 1020190113687A KR 20190113687 A KR20190113687 A KR 20190113687A KR 102215902 B1 KR102215902 B1 KR 102215902B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resonant frequency
- correction
- generating
- distortion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003702 image correction Methods 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims description 51
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 239000002184 metal Substances 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
아래 실시예들은 영상 보정 방법 및 이를 수행하는 장치들에 관한 것이다.The following embodiments relate to an image correction method and apparatuses for performing the same.
자기 공명 영상 장치는 사람의 해부학적 단층 영상, 해부학적 구조 및 생리학적인 기능 등 다양한 정보를 획득할 수 있다. 예를 들어, 자기 공명 영상 장치는 사람에 대한 자기 공명 영상을 촬영할 수 있다.The magnetic resonance imaging apparatus may acquire various information such as an anatomical tomography image of a person, an anatomical structure, and a physiological function. For example, the magnetic resonance imaging apparatus may capture a magnetic resonance image of a person.
자기 공명 영상 장치는 뇌, 근골격계 및 장기 기관 등 다양한 부분의 병변을 진단하기 위해 널리 이용될 수 있다.The magnetic resonance imaging apparatus can be widely used to diagnose lesions in various parts of the brain, musculoskeletal system, and organ organs.
다만, 자기 공명 영상 장치가 촬영한 자기 공명 영상은 비공명 주파수(off-resonance frequencies)에 의해 영상에 왜곡(또는 아티팩트(artifacts))이 발생할(또는 포함될) 수 있다.However, in the MR image captured by the MR imaging apparatus, distortion (or artifacts) may occur (or be included) in the image due to off-resonance frequencies.
비공명 주파수는 자장불균질(field inhomogeneities, 또는 마그넷의 비균질성), 조직 간의 자화율 차이, 금속(또는 금속 성분)과 같은 큰 자화율 값을 가지는 외부 물질의 유무 등에 의해 유발될 수 있다.The non-resonant frequency may be caused by field inhomogeneities (or magnet inhomogeneity), a difference in susceptibility between tissues, and the presence or absence of foreign substances having a large susceptibility value such as a metal (or metal component).
금속 성분에 대한 자기 공명 영상은 자기 공명 영상의 위치 정보가 왜곡되어 신호의 void 혹은 pile-up, voxel의 크기 변화 등의 형태로 최종 획득 영상에 왜곡(또는 아티팩트)이 발생할(또는 포함될) 수 있다.In the MR image of a metal component, the position information of the MR image is distorted, and distortion (or artifacts) may occur (or include) in the final acquired image in the form of void or pile-up of a signal, or a change in the size of a voxel. .
자기 공명 영상에 포함된 왜곡은 정확한 진단을 방해할 뿐만 아니라, 외과적 시술의 후속 조치의 어려움을 유발할 수 있다.Distortion included in the magnetic resonance image not only interferes with accurate diagnosis, but also may cause difficulty in follow-up of a surgical procedure.
실시예들은 비공명 주파수로 인한 왜곡이 포함된 자기 공명 영상쌍을 이용하여 자기 공명 영상쌍에 포함된 왜곡이 보정된 하나의 보정 영상을 생성하는 기술을 제공할 수 있다.Embodiments may provide a technique for generating a single corrected image in which distortion included in a magnetic resonance image pair is corrected by using a magnetic resonance image pair including distortion due to a non-resonant frequency.
일 실시예에 따른 영상 보정 방법은 객체로부터 획득된 왜곡 영상들에 기초하여 상기 왜곡 영상들에 대한 비공명 주파수 맵들을 생성하는 단계와, 상기 왜곡 영상들 및 상기 비공명 주파수 맵들에 기초하여 상기 왜곡 영상들에 포함된 왜곡이 보정된 보정 영상을 생성하는 단계를 포함한다.An image correction method according to an embodiment includes generating non-resonant frequency maps for the distorted images based on distorted images acquired from an object, and the distortion based on the distorted images and the non-resonant frequency maps. And generating a corrected image in which distortion included in the images is corrected.
상기 왜곡 영상들은 비공명 주파수에 의한 왜곡이 포함된 자기 공명 영상 쌍일 수 있다.The distortion images may be pairs of magnetic resonance images including distortion due to non-resonant frequencies.
상기 자기 공명 영상 쌍은 극성이 서로 다른 자기장에 의해 상기 객체로부터 획득된 제1 자기 공명 영상 및 제2 자기 공명 영상을 포함할 수 있다.The MR image pair may include a first MR image and a second MR image obtained from the object by magnetic fields having different polarities.
상기 비공명 주파수 맵들을 생성하는 단계는 인공 신경망을 이용하여 상기 왜곡 영상들에 포함된 왜곡을 나타내는 상기 비공명 주파수 맵들을 생성하는 단계를 포함할 수 있다.The generating of the non-resonant frequency maps may include generating the non-resonant frequency maps representing distortion included in the distorted images using an artificial neural network.
상기 비공명 주파수 맵들은 상기 왜곡 영상들 중에서 어느 하나의 왜곡 영상을 기준으로 상기 왜곡 영상들에 포함된 왜곡을 나타낼 수 있다.The non-resonant frequency maps may represent distortion included in the distorted images based on any one of the distorted images.
상기 비공명 주파수 맵들은 제1 비공명 주파수 맵과, 제2 비공명 주파수 맵을 포함하고, 상기 제1 비공명 주파수 맵은 상기 제1 자기 공명 영상을 기준으로 상기 제2 자기 공명 영상에 포함된 왜곡을 나타내고, 상기 제2 비공명 주파수 맵은 상기 제2 자기 공명 영상을 기준으로 상기 제1 자기 공명 영상에 포함된 왜곡을 나타낼 수 있다.The non-resonant frequency maps include a first non-resonant frequency map and a second non-resonant frequency map, and the first non-resonant frequency map is included in the second MR image based on the first MR image. It represents distortion, and the second non-resonance frequency map may represent distortion included in the first MR image based on the second MR image.
상기 보정 영상을 생성하는 단계는 상기 제1 자기 공명 영상 및 상기 제1 비공명 주파수 맵에 기초하여 제1 보정 영상을 생성하는 단계와, 상기 제2 자기 공명 영상 및 상기 제2 비공명 주파수 맵에 기초하여 제2 보정 영상을 생성하는 단계와, 상기 제1 보정 영상 및 상기 제2 보정 영상에 기초하여 상기 보정 영상을 생성하는 단계를 포함할 수 있다.The generating of the correction image includes generating a first correction image based on the first MR image and the first non-resonance frequency map, and the second MR image and the second non-resonance frequency map. It may include generating a second corrected image based on the first corrected image and generating the corrected image based on the first and second corrected images.
상기 제1 보정 영상을 생성하는 단계는 상기 제1 비공명 주파수 맵의 절반 값에 기초하여 상기 제1 보정 영상을 생성하는 단계를 포함할 수 있다.Generating the first corrected image may include generating the first corrected image based on a half value of the first non-resonant frequency map.
상기 제2 보정 영상을 생성하는 단계는 상기 제2 비공명 주파수 맵의 절반 값에 기초하여 상기 제2 보정 영상을 생성하는 단계를 포함할 수 있다.Generating the second correction image may include generating the second correction image based on a half value of the second non-resonance frequency map.
상기 제1 보정 영상 및 상기 제2 보정 영상에 기초하여 상기 보정 영상을 생성하는 단계는 상기 제1 보정 영상 및 상기 제2 보정 영상을 평균하여 상기 보정 영상을 생성하는 단계를 포함할 수 있다.Generating the correction image based on the first correction image and the second correction image may include generating the correction image by averaging the first correction image and the second correction image.
일 실시예에 따른 영상 보정 장치는 통신 모듈과, 상기 통신 모듈을 통해 객체로부터 획득된 왜곡 영상들에 기초하여 상기 왜곡 영상들에 대한 비공명 주파수 맵들을 생성하고, 상기 왜곡 영상들 및 상기 비공명 주파수 맵들에 기초하여 상기 왜곡 영상들에 포함된 왜곡이 보정된 보정 영상을 생성하는 프로세서를 포함한다.An image correction apparatus according to an embodiment generates non-resonant frequency maps for the distorted images based on a communication module and distorted images obtained from an object through the communication module, and the distorted images and the non-resonant And a processor that generates a corrected image in which distortion included in the distortion images is corrected based on frequency maps.
상기 왜곡 영상들은 비공명 주파수에 의한 왜곡이 포함된 자기 공명 영상 쌍일 수 있다.The distortion images may be pairs of magnetic resonance images including distortion due to non-resonant frequencies.
상기 자기 공명 영상 쌍은 극성이 서로 다른 자기장에 의해 상기 객체로부터 획득된 제1 자기 공명 영상 및 제2 자기 공명 영상을 포함할 수 있다.The MR image pair may include a first MR image and a second MR image obtained from the object by magnetic fields having different polarities.
상기 프로세서는 인공 신경망을 이용하여 상기 왜곡 영상들에 포함된 왜곡을 나타내는 상기 비공명 주파수 맵들을 생성하는 제1 생성기를 포함할 수 있다.The processor may include a first generator that generates the non-resonant frequency maps representing distortions included in the distorted images using an artificial neural network.
상기 비공명 주파수 맵들은 상기 왜곡 영상들 중에서 어느 하나의 왜곡 영상을 기준으로 상기 왜곡 영상들에 포함된 왜곡을 나타낼 수 있다.The non-resonant frequency maps may represent distortion included in the distorted images based on any one of the distorted images.
상기 비공명 주파수 맵들은 제1 비공명 주파수 맵과, 제2 비공명 주파수 맵을 포함하고, 상기 제1 비공명 주파수 맵은 상기 제1 자기 공명 영상을 기준으로 상기 제2 자기 공명 영상에 포함된 왜곡을 나타내고, 상기 제2 비공명 주파수 맵은 상기 제2 자기 공명 영상을 기준으로 상기 제1 자기 공명 영상에 포함된 왜곡을 나타낼 수 있다.The non-resonant frequency maps include a first non-resonant frequency map and a second non-resonant frequency map, and the first non-resonant frequency map is included in the second MR image based on the first MR image. It represents distortion, and the second non-resonance frequency map may represent distortion included in the first MR image based on the second MR image.
상기 프로세서는 상기 제1 자기 공명 영상 및 상기 제1 비공명 주파수 맵에 기초하여 제1 보정 영상을 생성하고, 상기 제2 자기 공명 영상 및 상기 제2 비공명 주파수 맵에 기초하여 제2 보정 영상을 생성하고, 상기 제1 보정 영상 및 상기 제2 보정 영상에 기초하여 상기 보정 영상을 생성하는 제2 생성기를 포함할 수 있다.The processor generates a first correction image based on the first MR image and the first non-resonance frequency map, and generates a second correction image based on the second MR image and the second non-resonance frequency map. And a second generator configured to generate the corrected image based on the first corrected image and the second corrected image.
상기 제2 생성기는 상기 제1 비공명 주파수 맵의 절반 값에 기초하여 상기 제1 보정 영상을 생성할 수 있다.The second generator may generate the first correction image based on a half value of the first non-resonant frequency map.
상기 제2 생성기는 상기 제2 비공명 주파수 맵의 절반 값에 기초하여 상기 제2 보정 영상을 생성할 수 있다.The second generator may generate the second correction image based on a half value of the second non-resonant frequency map.
상기 제2 생성기는 상기 제1 보정 영상 및 상기 제2 보정 영상을 평균하여 상기 보정 영상을 생성할 수 있다.The second generator may generate the correction image by averaging the first correction image and the second correction image.
도 1은 일 실시예에 따른 영상 보정 시스템을 나타내는 도면이다.
도 2는 도 1에 도시된 영상 보정 장치의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 프로세서의 개략적인 블록도를 나타낸다.
도 4는 일 실시예에 따른 영상 보정 동작을 설명하기 위한 일 예를 나타낸다.
도 5는 일 실시예에 따른 비지도 학습 동작 및 영상 보정 동작을 설명하기 위한 일 예를 나타낸다.
도 6은 일 실시예에 따른 인공 신경망을 설명하기 위한 일 예를 나타낸다.
도 7은 일 실시예에 따른 다양한 학습 방법으로 학습된 인공 신경망을 통한 보정 결과를 설명하기 위한 일 예를 나타낸다.
도 8은 일 실시예에 따른 다양한 학습 방법으로 학습된 인공 신경망을 통한 보정 결과를 설명하기 위한 다른 예를 나타낸다.
도 9는 도 1에 도시된 영상 보정 장치의 동작을 설명하기 위한 순서도를 나타낸다.1 is a diagram illustrating an image correction system according to an exemplary embodiment.
FIG. 2 shows a schematic block diagram of the image correction apparatus shown in FIG. 1.
FIG. 3 shows a schematic block diagram of the processor shown in FIG. 2.
4 shows an example for describing an image correction operation according to an embodiment.
5 shows an example for explaining an unsupervised learning operation and an image correction operation according to an embodiment.
6 shows an example for describing an artificial neural network according to an embodiment.
7 shows an example for explaining a correction result through an artificial neural network learned by various learning methods according to an embodiment.
8 shows another example for explaining a correction result through an artificial neural network learned by various learning methods according to an embodiment.
9 is a flowchart illustrating an operation of the image correction apparatus shown in FIG. 1.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the rights of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the embodiment, the first component may be named as the second component, and similarly The second component may also be referred to as a first component.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.
도 1은 일 실시예에 따른 영상 보정 시스템을 나타내는 도면이다.1 is a diagram illustrating an image correction system according to an exemplary embodiment.
영상 보정 시스템(10)은 영상 생성 장치(100) 및 영상 보정 장치(300)를 포함한다.The
영상 생성 장치(100)는 객체에 대한 자기 공명 영상(magnetic resonance imaging; MRI)을 방법을 수행하여 자기 공명 영상을 생성할 수 있다. 예를 들어, 영상 생성 장치(100)는 MRI 장치(또는 MRI 촬영 장치)일 수 있다. 이때, 객체는 비공명 주파수를 발생(또는 유발)시키는 인물, 동물 및 사물 등 다양한 객체일 수 있다. 자기 공명 영상은 비공명 주파수에 의한 왜곡이 포함된 자기 공명 영상쌍일 수 있다.The
영상 생성 장치(100)는 핵 자기 공명 원리를 이용하여 자기장(또는 경사 자기장)을 통해 금속 성분을 포함한 객체(또는 피사체)를 촬영하여 왜곡이 포함된 자기 공명 영상쌍을 획득(또는 생성)할 수 있다.The
먼저, 영상 생성 장치(100)는 자기장의 변화를 통해 객체의 위치 정보를 인코딩할 수 있다. 객체에 대한 위치 인코딩은 객체에 대한 위상 인코딩 및 주파수 인코딩일 수 있다. 예를 들어, 영상 생성 장치(100)는 경사 자기장의 극성을 양의 값(또는 양극성) 및 음의 값(또는 음극성)으로 변환하여 객체에 대한 위치를 인코딩할 수 있다.First, the
이후에, 영상 생성 장치(100)는 인코딩 결과에 기초하여 왜곡이 포함된 자기 공명 영상쌍을 획득할 수 있다. 자기 공명 영상쌍은 주파수 인코딩 방향 및 위상 인코딩 방향 중에서 적어도 하나로 발생한 왜곡을 포함한 왜곡 영상들일 수 있다.Thereafter, the
자기 공명 영상쌍은 제1 자기 공명 영상 및 제2 자기 공명 영상을 포함할 수 있다. 예를 들어, 제1 자기 공명 영상은 경사 자기장의 양의 값에 의한 왜곡 영상(또는 왜곡이 포함된 자기 공명 영상)일 수 있다. 제2 자기 공명 영상은 경사 자기장의 음의 값에 의한 왜곡 영상일 수 있다.The magnetic resonance image pair may include a first magnetic resonance image and a second magnetic resonance image. For example, the first magnetic resonance image may be a distortion image (or a magnetic resonance image including distortion) based on a positive value of a gradient magnetic field. The second magnetic resonance image may be a distortion image due to a negative value of the gradient magnetic field.
제1 자기 공명 영상은 수학식 1로 나타낼 수 있다. 제2 자기 공명 영상은 수학식 2로 나타낼 수 있다. 이때, 수학식 1 및 2는 주파수 인코딩 방향으로만 발생한 왜곡이 포함될 수 있다.The first magnetic resonance image can be represented by
여기서, 는 제1 자기 공명 영상이고, 는 왜곡이 없는 자기 공영 영상이고, x는 제1 자기 공명 영상에 대한 주파수 인코딩 방향으로의 좌표값이고, y는 제1 자기 공명 영상에 대한 위상 인코딩 방향으로의 좌표값이고, BW는 제1 자기 공명 영상에 대한 위치 인코딩의 대역폭이고, f는 BW에 따라 해당 픽셀에 대한 비공명 주파수일 수 있다.here, Is the first magnetic resonance image, Is a distortion-free magnetic resonance image, x is a coordinate value in the frequency encoding direction of the first magnetic resonance image, y is a coordinate value in the phase encoding direction of the first magnetic resonance image, and BW is the first magnetic resonance image. It is a bandwidth of position encoding for a resonance image, and f may be a non-resonant frequency for a corresponding pixel according to the BW.
여기서, 는 제2 자기 공명 영상이고, 는 왜곡이 없는 자기 공영 영상이고, x는 제2 자기 공명 영상에 대한 주파수 인코딩 방향으로의 좌표값이고, y는 제2 자기 공명 영상에 대한 위상 인코딩 방향으로의 좌표값이고, BW는 제2 자기 공명 영상에 대한 위치 인코딩의 대역폭이고, f는 BW에 따라 해당 픽셀에 대한 비공명 주파수일 수 있다.here, Is the second magnetic resonance image, Is a distortion-free magnetic resonance image, x is a coordinate value in the frequency encoding direction of the second magnetic resonance image, y is a coordinate value in the phase encoding direction of the second magnetic resonance image, and BW is the second magnetic resonance image. It is a bandwidth of position encoding for a resonance image, and f may be a non-resonant frequency for a corresponding pixel according to the BW.
영상 생성 장치(100)는 객체에 대한 자기 공명 영상쌍인 제1 및 제2 자기 공명 영상을 영상 보정 장치(300)에 전송(또는 제공)할 수 있다.The
상술한 바와 같이, 영상 생성 장치(100)가 MRI 장치이지만, 이에 한정하는 것은 아니다. 예를 들어, 영상 생성 장치(100)는 비공명 주파수를 발생시키는 다양한 객체에 대한 자기 공명 영상쌍을 보유한 전자 장치일 수 있다. 전자 장치는 자기 공명 영상쌍을 저장한 데이터 베이스를 포함할 수 있다.As described above, although the
예를 들어, 전자 장치는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.For example, the electronic device may be various devices such as a personal computer (PC), a data server, or a portable electronic device. Portable electronic devices include a laptop computer, a mobile phone, a smart phone, a tablet PC, a mobile internet device (MID), a personal digital assistant (PDA), an enterprise digital assistant (EDA). ), digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book (e-book), can be implemented as a smart device (smart device). In this case, the smart device may be implemented as a smart watch or a smart band.
영상 보정 장치(300)는 비공명 주파수로 인한 왜곡이 포함된 자기 공명 영상쌍을 이용하여 자기 공명 영상쌍에 포함된 왜곡이 보정된 보정 영상을 생성할 수 있다.The
이에, 영상 보정 장치(300)는 왜곡이 없는 영상인 레이블 데이터가 없는 환경에서 왜곡이 포함된 영상 만으로 레이블 데이터 없이 왜곡이 보정된 영상을 생성하여 영상의 질을 향상시킬 수 있다.Accordingly, the
또한, 영상 보정 장치(300)는 불완전한 shimming, chemical shift, 원샷 영상법에서의 왜곡 등 다양한 비공명 주파수에 의해 발생하는 왜곡을 보정 및 제거하기 위한 왜곡 보정(또는 왜곡 제거) 방법에 확장 적용 가능할 수 있다.In addition, the
도 2는 도 1에 도시된 영상 보정 장치의 개략적인 블록도를 나타내고, 도 3은 도 2에 도시된 프로세서의 개략적인 블록도를 나타내고, 도 4는 일 실시예에 따른 영상 보정 동작을 설명하기 위한 일 예를 나타낸다.FIG. 2 is a schematic block diagram of the image correction apparatus illustrated in FIG. 1, FIG. 3 is a schematic block diagram of the processor illustrated in FIG. 2, and FIG. 4 illustrates an image correction operation according to an exemplary embodiment. Here is an example for this.
영상 보정 장치(300)는 통신 모듈(310), 메모리(330) 및 프로세서(350)를 포함한다.The
통신 모듈(310)은 영상 생성 장치(100)로부터 전송된 자기 공명 영상쌍을 컨트롤러(350)에 전송할 수 있다.The
메모리(330)는 프로세서(350)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(350)의 동작 및/또는 프로세서(350)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.The
프로세서(350)는 메모리(330)에 저장된 데이터를 처리할 수 있다. 프로세서(350)는 메모리(330)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(350)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.The
프로세서(350)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.The
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.For example, a data processing device implemented in hardware is a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , Application-Specific Integrated Circuit (ASIC), and Field Programmable Gate Array (FPGA).
프로세서(350)는 영상 보정 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(350)는 영상 보정 장치(300)의 각 구성(310 및 330)의 동작을 제어할 수 있다.The
프로세서(350)는 왜곡 영상들에 기초하여 왜곡 영상들에 대한 비공명 주파수 맵들을 생성하고, 왜곡 영상들 및 비공명 주파수 맵들에 기초하여 왜곡 영상들에 포함된 왜곡이 보정된 보정 영상을 생성할 수 있다. 비공명 주파수 맵들은 왜곡 영상들 중에서 어느 하나의 왜곡 영상을 기준으로 왜곡 영상들에 포함된 왜곡을 나타내는 파라미터이고, 왜곡 영상들은 제1 자기 공명 영상 및 제2 자기 공명 영상을 포함할 수 있다.The
프로세서(350)는 제1 생성기(351) 및 제2 생성기(353)를 포함한다. 제1 생성기(351)는 인공 신경망(370)을 포함한다. 인공 신경망(370)은 프로세서(350)로부터 비지도 학습 방법(unsupervised learning)을 통해 학습될 수 있다. 비지도 학습 방법은 도 5에서 상세하게 설명하도록 한다.The
제1 생성기(351)는 인공 신경망(370)을 이용하여 제1 자기 공명 영상 및 제2 자기 공명 영상에 포함된 왜곡을 나타내는 비공명 주파수 맵들을 생성할 수 있다.The
예를 들어, 제1 생성기(351)는 제1 자기 공명 영상 및 제2 자기 공명 영상을 인공 신경망(370)에 입력할 수 있다. 이후에, 제1 생성기(351)는 제1 자기 공명 영상 및 제2 자기 공명 영상이 입력된 인공 신경망(370)을 이용하여 비공명 주파수 맵들을 생성(또는 추정)할 수 있다. 비공명 주파수 맵들은 인공 신경망(370)으로부터 출력될 수 있다.For example, the
비공명 주파수 맵들은 제1 비공명 주파수 맵 및 제2 비공명 주파수 맵을 포함할 수 있다. 예를 들어, 제1 비공명 주파수 맵은 제1 자기 공명 영상을 기준으로 제1 자기 공명 영상에 포함된 왜곡과 제2 자기 공명 영상에 포함된 왜곡을 나타낼 수 있다. 제2 비공명 주파수 맵은 제2 자기 공명 영상을 기준으로 제1 자기 공명 영상에 포함된 왜곡과 제2 자기 공명 영상에 포함된 왜곡을 나타낼 수 있다.The non-resonant frequency maps may include a first non-resonant frequency map and a second non-resonant frequency map. For example, the first non-resonant frequency map may represent distortion included in the first MR image and distortion included in the second MR image based on the first MR image. The second non-resonant frequency map may represent distortion included in the first MR image and distortion included in the second MR image based on the second MR image.
비공명 주파수 맵은 기준이 되는 영상으로부터 다른 영상의 왜곡 정도를 pixel 단위로 표현한 registration parameter일 수 있다. 예를 들어, 비공명 주파수 맵은 metal로 인한 왜곡이 non-linear translation(또는 찌그러지는 모양)일 경우, 에 있는 한 pixel을 기준으로 에는 에 상응하는(또는 대응하는) pixel이 어디에 존재하는 지를 나타내는 값일 수 있다.The non-resonant frequency map may be a registration parameter in which a degree of distortion of another image from a reference image is expressed in pixels. For example, the non-resonant frequency map is a non-linear translation (or distorted shape) due to metal distortion. Based on one pixel in In It may be a value indicating where the pixel corresponding to (or corresponding to) exists.
제1 비공명 주파수 맵은 수학식 3으로 나타낼 수 있다. 제2 비공명 주파수 맵은 수학식 4로 나타낼 수 있다.The first non-resonant frequency map can be represented by Equation 3. The second non-resonant frequency map can be represented by Equation 4.
여기서, 는 제1 비공명 주파수 맵이고, G는 자기 공명 영상 생성의 함수를 나타낸다.here, Is a first non-resonant frequency map, and G is a function of generating an MR image.
여기서, 는 제2 비공명 주파수 맵을 나타낸다.here, Represents a second non-resonant frequency map.
수학식 3 및 4의 arg min의 수학적 의미는 뒤에 나오는 수식을 최소로하는 f 값이 또는 이라는 의미일 수 있다.The mathematical meaning of arg min in Equations 3 and 4 is that the value of f that minimizes the following equation is or It can mean that.
제1 생성기(351)는 제1 비공명 주파수 맵 및 제2 비공명 주파수 맵을 제2 생성기(353)에 전송할 수 있다.The
제2 생성기(353)는 왜곡 영상들과 비공명 주파수 맵들에 기초하여 보정 영상을 생성할 수 있다.The
예를 들어, 제2 생성기(353)는 제1 자기 공명 영상 및 제1 비공명 주파수 맵에 기초하여 제1 보정 영상을 생성할 수 있다. 이때, 제2 생성기(353)는 제1 비공명 주파수 맵의 절반 값에 기초하여 제1 보정 영상을 생성할 수 있다. 제1 보정 영상은 제1 자기 공명 영상에 포함된 왜곡이 보정된 보정 영상(또는 보정된 자기 공명 영상)일 수 있다.For example, the
제2 생성기(353)는 제2 자기 공명 영상 및 제2 비공명 주파수 맵에 기초하여 제2 보정 영상을 생성할 수 있다. 이때, 제2 생성기(353)는 제2 비공명 주파수 맵의 절반 값에 기초하여 제2 보정 영상을 생성할 수 있다. 제2 보정 영상은 제2 자기 공명 영상에 포함된 왜곡이 보정된 보정 영상(또는 보정된 자기 공명 영상)일 수 있다.The
제2 생성기(353)는 제1 보정 영상 및 제2 보정 영상에 기초하여 보정 영상을 생성할 수 있다. 예를 들어, 제2 생성기(353)는 제1 보정 영상 및 제2 보정 영상을 평균하여 왜곡이 없는 자기 공명 영상인 최종 보정 영상을 생성할 수 있다. 최종 보정 영상은 제1 자기 공명 영상에 포함된 왜곡 및 제2 자기 공명 영상에 포함된 왜곡이 보정된 자기 공명 영상일 수 있다.The
최종 보정 영상은 수학식 5로 나타낼 수 있다.The final corrected image can be represented by
여기서, 는 최종 보정 영상을 나타낸다.here, Represents the final corrected image.
도 5는 일 실시예에 따른 비지도 학습 동작 및 영상 보정 동작을 설명하기 위한 일 예를 나타낸다.5 shows an example for explaining an unsupervised learning operation and an image correction operation according to an embodiment.
인공 신경망(370)을 학습하기 위한 기존 방법은 모델링 기반의 학습 방법 및 지도 학습(supervised learning) 기반의 학습 방법이 있다.Existing methods for learning the artificial
기존 방법인 모델링 기반의 학습 방법은 사전 지식을 활용한 학습 방법으로 학습 데이터를 활용한 딥러닝 이전의 방법들일 수 있다. 예를 들어, 모델링 기반의 학습 방법은 analytic 방법 및 반복 연산을 통한 numerical 방법일 수 있다. 모델링 기반의 학습 방법은 각 응용 분야에 따라 수많은 방법들이 있고, 사전 지식을 활용한 모델링을 통해 영상의 왜곡을 제거할 수 있다.The modeling-based learning method, which is an existing method, is a learning method using prior knowledge, and may be methods prior to deep learning using learning data. For example, the modeling-based learning method may be an analytic method and a numerical method through an iterative operation. Modeling-based learning methods have numerous methods depending on each application field, and distortion of an image can be removed through modeling using prior knowledge.
하지만, 모델링 기반의 학습 방법은 사전 지식의 추상화에서 오는 오류 및 반복 연산에서 발생하는 복원 시간 증가 및 한정된 성능 등의 단점이 있다.However, the modeling-based learning method has disadvantages such as an error due to abstraction of prior knowledge, an increase in recovery time and limited performance occurring in repetitive operations.
기존 방법인 지도 학습 기반의 학습 방법은 학습 데이터를 활용한 학습 방법으로 딥러닝 이후의 방법들일 수 있다. 지도 학습 기반의 학습 방법은 딥러닝의 성공 이후, 많은 데이터를 활용한 지도 학습을 통해 다양한 응용 분야에서 괄목할 만한 성능을 보였다. 지도 학습에 기반한 학습 방법은 의료 영상에서 여러 원인에 의해 발생하는 왜곡을 제거하기 위해서 사용되었다. 예를 들어, 지도 학습에 기반한 학습 방법은 왜곡이 포함된 영상과 왜곡이 포함되지 않은 영상 간의 상관 관계를 학습하여 영상에 포함된 왜곡을 제거할 수 있다.A learning method based on supervised learning, which is an existing method, is a learning method using learning data and may be methods after deep learning. After the success of deep learning, the supervised learning-based learning method showed remarkable performance in various application fields through supervised learning using a lot of data. A learning method based on supervised learning was used to remove distortion caused by various causes in medical images. For example, a learning method based on supervised learning may remove distortion included in an image by learning a correlation between an image with distortion and an image without distortion.
지도 학습에 기반한 학습 방법은 기존 모델링 기반의 방법들보다 우수한 성능을 보였고, 오랜 학습 시간이 걸리지만 실제 적용시 짧은 복원 시간으로 왜곡을 제거할 수 있다.The learning method based on supervised learning showed better performance than the existing modeling-based methods, and it takes a long learning time, but when applied in practice, distortion can be removed with a short restoration time.
하지만, 지도 학습에 기반한 학습 방법은 인공 신경망(370)을 학습하기 위해 학습 데이터인 왜곡 없는 영상과 왜곡이 포함된 영상의 쌍이 필요하다는 단점이 있다.However, the learning method based on supervised learning has a disadvantage in that a pair of a distortion-free image and an image containing distortion, which are training data, are required to learn the artificial
상술한 단점 외에도 기존 학습 방법은 인공 신경망(370)을 학습하기 위한 학습 데이터를 획득하는데 어려움이 있으며 특히, 의료 영상에서 환자의 데이터를 모으는 것이 어렵다. 또한, 기존 학습 방법은 label로 이용될 ground truth를 얻기 위해서 3D-PE와 같은 방법을 이용해야 한다. 3D-PE와 같은 방법을 이용하는 경우에는 너무 긴 영상 획득 시간이 요구되는 단점이 있다.In addition to the above-described disadvantages, the existing learning method has difficulty in acquiring training data for training the artificial
비지도 학습 방법은 상술한 기존 학습 방법의 단점을 극복하기 위해서 비공명 자기장(f)에 의한 왜곡이 포함된 자기 공명 영상쌍인 입력 영상쌍으로부터 왜곡이 보정된 영상인 출력 영상을 얻을 수 있는 학습 방법일 수 있다.The unsupervised learning method is a learning that can obtain an output image, an image whose distortion is corrected, from an input image pair, which is a magnetic resonance image pair including distortion by a non-resonant magnetic field (f), in order to overcome the disadvantages of the existing learning method described above. It could be the way.
인공 신경망(370)은 입력 영상쌍인 제1 및 제2 자기 공명 영상이 서로 각각 반대의 영상으로 출력 되게 학습될 수 있다. 예를 들어, 인공 신경망(370)은 제2 생성기(353)가 제1 자기 공명 영상()으로부터 제2 자기 공명 영상과 유사한 영상()을 생성하고, 제2 자기 공명 영상()으로부터 제1 자기 공명 영상과 유사한 영상()을 생성하게 하는 비공명 주파수 맵들을 출력할 수 있다. 이때, 인공 신경망(370)은 손실 함수()를 반영할 수 있다.The artificial
제2 생성기(353)는 입력 영상쌍 및 비공명 주파수 맵들의 전체 값을 이용하여 입력 영상과 상이한 출력 영상쌍을 생성하거나 입력 영상쌍 및 비공명 주파수 맵들의 절반 값을 이용하여 입력 영상에 포함된 왜곡이 보정된 보정 영상을 생성할 수 있다.The
예를 들어, 제2 생성기(353)는 임의의 비공명 주파수 맵(f)의 전체 값을 이용하여 임의의 입력 영상()을 왜곡시켜 입력 영상과 상이한 출력 영상()을 생성할 수 있다.For example, the
출력 영상은 수학식 6으로 나타낼 수 있다.The output image can be represented by Equation 6.
여기서, K는 주파수 및 위상 인코딩의 정보를 반영하는 파라미터(parameter)를 나타낸다.Here, K denotes a parameter reflecting information of frequency and phase encoding.
수학식 6은 자기 공명 영상 생성 원리에 기초하여 비공명 주파수가 발생한 경우의 푸리에 변환 및 역 푸리에 변환으로 구성된 수학식일 수 있다. 수학식 6은 수식의 단순화를 위해 주파수 인코딩 방향(x)으로만 표현된 수학식일 수 있다.Equation 6 may be an equation composed of a Fourier transform and an inverse Fourier transform when a non-resonant frequency occurs based on the principle of generating a magnetic resonance image. Equation 6 may be an equation expressed only in the frequency encoding direction (x) for simplification of the equation.
도 6은 일 실시예에 따른 인공 신경망을 설명하기 위한 일 예를 나타낸다.6 shows an example for describing an artificial neural network according to an embodiment.
인공 신경망(370)은 비공명 주파수의 지역적인 연관성을 이용하기 위해 컨볼루션 기반의 다양한 인공 신경망(또는 인공 신경망 모델)일 수 있다.The artificial
금속과 같이 비공명 주파수의 심한 변화를 나타내는 경우, 인공 신경망(370)은 좀 더 효율적인 학습을 위해서 U-net 구조가 활용되어 도 6과 같이 인공 신경망(370)의 수용 부분(receptive field)이 크게 구성될 수 있다.In the case of a severe change in non-resonant frequency such as metal, the artificial
학습의 안정화를 위해는 “비공명 주파수 맵은 smooth하다”와 같은 사전 지식을 이용한 일반화(regularize)가 도모될 수 있다.For stabilization of learning, regularization using prior knowledge such as "non-resonant frequency map is smooth" can be promoted.
도 6과 같이 인공 신경망(370)의 블락들은 각 layer를 통과한 후의 feature map(matrix)들일 수 있다. 화살표는 각 layer를 의미하고, 오른쪽 아래에 표시한 색깔에 따라 각 layer의 역할이 다를 수 있다. 빨간색 선은 convolution layer - batch normalization - relu function을 하나로 연결해 놓은 layer일 수 있다.As shown in FIG. 6, blocks of the artificial
도 7은 일 실시예에 따른 다양한 학습 방법으로 학습된 인공 신경망을 통한 보정 결과를 설명하기 위한 일 예를 나타낸다.7 shows an example for explaining a correction result through an artificial neural network learned by various learning methods according to an embodiment.
지도 학습을 통한 보정 영상 및 비지도 학습을 통한 보정 영상은 금속에 의한 비공명 주파수 아티팩트가 제거된 자기 공명 영상일 수 있다. 이때, 학습을 위한 합성 데이터는 학습을 위해서 컴퓨터 시뮬레이션을 통한 합성 데이터일 수 있다.The corrected image through supervised learning and the corrected image through unsupervised learning may be a magnetic resonance image from which non-resonant frequency artifacts caused by metal are removed. At this time, the synthetic data for learning may be synthetic data through computer simulation for learning.
기존의 금속 아티팩트 제거 방법인 MAVRIC은 붉은 화살표에서 보듯이 비공명 주파수에 의한 남아있는 아티팩트들이 있다.MAVRIC, the existing method of removing metal artifacts, has artifacts remaining due to non-resonant frequencies as shown by the red arrow.
비지도 학습 방법에서는 남아있는 아티팩트가 효과적으로 제거될 수 있다.In the unsupervised learning method, the remaining artifacts can be effectively removed.
비지도 학습 방법과 지도 학습 방법을 비교하는 경우, 노이즈가 없는 경우에는 비지도 학습 방법의 성능이 다소 떨어질 수 있다. 다만, 비지도 학습 방법은 노이즈가 많아질 수록 지도 학습 방법에 비해 좋은 성능을 보인다.When comparing the unsupervised learning method and the supervised learning method, when there is no noise, the performance of the unsupervised learning method may be slightly degraded. However, the unsupervised learning method shows better performance than the supervised learning method as the noise increases.
즉, 비지도 학습 방법은 unseen 데이터에서 다른 학습 방법 보다 좋은 성능을 보임을 나타낸다.That is, the unsupervised learning method shows better performance than other learning methods in unseen data.
도 8은 일 실시예에 따른 다양한 학습 방법으로 학습된 인공 신경망을 통한 보정 결과를 설명하기 위한 다른 예를 나타낸다.8 shows another example for explaining a correction result through an artificial neural network learned by various learning methods according to an embodiment.
도 8의 보정 영상들은 실제로 자기 공명 영상 장치를 통해 획득된 인공물에 대한 보정 영상일 수 있다. 이때, 보정 영상들은 MAVRIC, model-based, 지도 학습(supervised learning) 및 비지도 학습(unsupervised learning)을 통해 학습된 인공 신경망(370)을 이용하여 획득된 보정 영상일 수 있다.The corrected images of FIG. 8 may actually be corrected images for an artifact acquired through a magnetic resonance imaging apparatus. In this case, the corrected images may be corrected images acquired using the artificial
보정 영상은 3T system에서 fast spin echo를 기반으로 실험을 통해 획득되었다. 자기 공명 영상에 대한 파라미터는 matrix size = 160 (readout)x512 (phase encoding)x20 (slice), resolution = 1x1x5mm^3, readout bandwidth = 390hz/px, Gaussian RF with 2.25kHz full-width0half-maximum일 수 있다.The corrected image was acquired through an experiment based on fast spin echo in a 3T system. The parameters for the MR image may be matrix size = 160 (readout)x512 (phase encoding)x20 (slice), resolution = 1x1x5mm^3, readout bandwidth = 390hz/px, Gaussian RF with 2.25kHz full-width0half-maximum. .
기존의 금속 아트팩트 제거 방법인 MAVRIC은 붉은 화살표 지점에서 비공명 주파수가 큰 부분에서 크게 남아있는 아티팩트들이 있다.MAVRIC, the existing method of removing metal artifacts, has artifacts that remain large in areas where the non-resonant frequency is large at the point of the red arrow.
model-based 방법은 하늘색 화살표 지점에서 ripple이 다소 남아있다.The model-based method has some ripple left at the point of the sky blue arrow.
비지도 방법은 남아있는 아티팩트가 많이 제거되지만, 지도 학습 방법은 아티팩트가 제거되지만 노란색 화살표 지점에서 overfitting에 의한 추가적인 아티팩트가 종종 유발되었다.The unsupervised method removes a lot of remaining artifacts, but the supervised learning method removes the artifacts, but additional artifacts were often caused by overfitting at the point of the yellow arrow.
도 9는 도 1에 도시된 영상 보정 장치의 동작을 설명하기 위한 순서도를 나타낸다.9 is a flowchart illustrating an operation of the image correction apparatus shown in FIG. 1.
제1 생성기(351)는 왜곡 영상쌍을 인공 신경망(370)에 입력하여(1010) 왜곡 영상쌍에 포함된 왜곡을 나타내는 비공명 주파수 맵들을 생성할 수 있다(1030).The
제2 생성기(353)는 왜곡 영상쌍 및 비공명 주파수 맵들의 절반 값에 기초하여 보정 영상들을 생성할 수 있다(1050).The
제2 생성기(353)는 보정 영상들을 평균하여 최종 보정 영상을 생성할 수 있다(1070).The
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and claims and equivalents fall within the scope of the following claims.
Claims (20)
상기 왜곡 영상들 및 상기 비공명 주파수 맵들에 기초하여 상기 왜곡 영상들에 포함된 왜곡이 보정된 보정 영상을 생성하는 단계
를 포함하는 영상 보정 방법.
Generating non-resonant frequency maps for the distorted images based on the distorted images obtained from the object; And
Generating a corrected image in which distortion included in the distortion images is corrected based on the distortion images and the non-resonant frequency maps
Image correction method comprising a.
상기 왜곡 영상들은 비공명 주파수에 의한 왜곡이 포함된 자기 공명 영상 쌍인 영상 보정 방법.
The method of claim 1,
The image correction method wherein the distortion images are magnetic resonance image pairs including distortion due to a non-resonant frequency.
상기 자기 공명 영상 쌍은 극성이 서로 다른 자기장에 의해 상기 객체로부터 획득된 제1 자기 공명 영상 및 제2 자기 공명 영상을 포함하는 영상 보정 방법.
The method of claim 2,
The MR image pair includes a first MR image and a second MR image obtained from the object by magnetic fields having different polarities.
상기 비공명 주파수 맵들을 생성하는 단계는,
인공 신경망을 이용하여 상기 왜곡 영상들에 포함된 왜곡을 나타내는 상기 비공명 주파수 맵들을 생성하는 단계
를 포함하는 영상 보정 방법.
The method of claim 1,
Generating the non-resonant frequency maps,
Generating the non-resonant frequency maps representing distortions included in the distorted images using an artificial neural network
Image correction method comprising a.
상기 비공명 주파수 맵들은 상기 왜곡 영상들 중에서 어느 하나의 왜곡 영상을 기준으로 상기 왜곡 영상들에 포함된 왜곡을 나타내는 영상 보정 방법.
The method of claim 4,
The non-resonant frequency maps indicate distortion included in the distorted images based on any one of the distorted images.
상기 비공명 주파수 맵들은,
제1 비공명 주파수 맵; 및
제2 비공명 주파수 맵
을 포함하고,
상기 제1 비공명 주파수 맵은 상기 제1 자기 공명 영상을 기준으로 상기 제2 자기 공명 영상에 포함된 왜곡을 나타내고,
상기 제2 비공명 주파수 맵은 상기 제2 자기 공명 영상을 기준으로 상기 제1 자기 공명 영상에 포함된 왜곡을 나타내는 영상 보정 방법.
The method of claim 3,
The non-resonant frequency maps,
A first non-resonant frequency map; And
Second non-resonant frequency map
Including,
The first non-resonant frequency map represents distortion included in the second MR image based on the first MR image,
The second non-resonant frequency map is an image correction method indicating distortion included in the first MR image based on the second MR image.
상기 보정 영상을 생성하는 단계는,
상기 제1 자기 공명 영상 및 상기 제1 비공명 주파수 맵에 기초하여 제1 보정 영상을 생성하는 단계;
상기 제2 자기 공명 영상 및 상기 제2 비공명 주파수 맵에 기초하여 제2 보정 영상을 생성하는 단계; 및
상기 제1 보정 영상 및 상기 제2 보정 영상에 기초하여 상기 보정 영상을 생성하는 단계
를 포함하는 영상 보정 방법.
The method of claim 6,
The step of generating the correction image,
Generating a first correction image based on the first magnetic resonance image and the first non-resonant frequency map;
Generating a second correction image based on the second magnetic resonance image and the second non-resonant frequency map; And
Generating the corrected image based on the first corrected image and the second corrected image
Image correction method comprising a.
상기 제1 보정 영상을 생성하는 단계는,
상기 제1 비공명 주파수 맵의 절반 값에 기초하여 상기 제1 보정 영상을 생성하는 단계
를 포함하는 영상 보정 방법.
The method of claim 7,
Generating the first correction image,
Generating the first correction image based on the half value of the first non-resonant frequency map
Image correction method comprising a.
상기 제2 보정 영상을 생성하는 단계는,
상기 제2 비공명 주파수 맵의 절반 값에 기초하여 상기 제2 보정 영상을 생성하는 단계
를 포함하는 영상 보정 방법.
The method of claim 7,
Generating the second correction image,
Generating the second correction image based on the half value of the second non-resonant frequency map
Image correction method comprising a.
상기 제1 보정 영상 및 상기 제2 보정 영상에 기초하여 상기 보정 영상을 생성하는 단계는,
상기 제1 보정 영상 및 상기 제2 보정 영상을 평균하여 상기 보정 영상을 생성하는 단계
를 포함하는 영상 보정 방법.
The method of claim 9,
Generating the correction image based on the first correction image and the second correction image,
Generating the corrected image by averaging the first corrected image and the second corrected image
Image correction method comprising a.
상기 통신 모듈을 통해 객체로부터 획득된 왜곡 영상들에 기초하여 상기 왜곡 영상들에 대한 비공명 주파수 맵들을 생성하고, 상기 왜곡 영상들 및 상기 비공명 주파수 맵들에 기초하여 상기 왜곡 영상들에 포함된 왜곡이 보정된 보정 영상을 생성하는 프로세서
를 포함하는 영상 보정 장치.
Communication module; And
Generate non-resonant frequency maps for the distorted images based on distorted images obtained from an object through the communication module, and distortion included in the distorted images based on the distorted images and the non-resonant frequency maps A processor that generates this corrected correction image
Image correction device comprising a.
상기 왜곡 영상들은 비공명 주파수에 의한 왜곡이 포함된 자기 공명 영상 쌍인 영상 보정 장치.
The method of claim 11,
The distorted images are magnetic resonance image pairs including distortion due to a non-resonant frequency.
상기 자기 공명 영상 쌍은 극성이 서로 다른 자기장에 의해 상기 객체로부터 획득된 제1 자기 공명 영상 및 제2 자기 공명 영상을 포함하는 영상 보정 장치.
The method of claim 12,
The magnetic resonance image pair includes a first magnetic resonance image and a second magnetic resonance image obtained from the object by magnetic fields having different polarities.
상기 프로세서는,
인공 신경망을 이용하여 상기 왜곡 영상들에 포함된 왜곡을 나타내는 상기 비공명 주파수 맵들을 생성하는 제1 생성기
를 포함하는 영상 보정 장치.
The method of claim 11,
The processor,
A first generator that generates the non-resonant frequency maps representing distortions included in the distorted images using an artificial neural network
Image correction device comprising a.
상기 비공명 주파수 맵들은 상기 왜곡 영상들 중에서 어느 하나의 왜곡 영상을 기준으로 상기 왜곡 영상들에 포함된 왜곡을 나타내는 영상 보정 장치.
The method of claim 14,
The non-resonant frequency maps display distortion included in the distorted images based on any one of the distorted images.
상기 비공명 주파수 맵들은,
제1 비공명 주파수 맵; 및
제2 비공명 주파수 맵
을 포함하고,
상기 제1 비공명 주파수 맵은 상기 제1 자기 공명 영상을 기준으로 상기 제2 자기 공명 영상에 포함된 왜곡을 나타내고,
상기 제2 비공명 주파수 맵은 상기 제2 자기 공명 영상을 기준으로 상기 제1 자기 공명 영상에 포함된 왜곡을 나타내는 영상 보정 장치.
The method of claim 13,
The non-resonant frequency maps,
A first non-resonant frequency map; And
Second non-resonant frequency map
Including,
The first non-resonant frequency map represents distortion included in the second MR image based on the first MR image,
The second non-resonant frequency map is an image correction apparatus indicating distortion included in the first MR image based on the second MR image.
상기 프로세서는,
상기 제1 자기 공명 영상 및 상기 제1 비공명 주파수 맵에 기초하여 제1 보정 영상을 생성하고, 상기 제2 자기 공명 영상 및 상기 제2 비공명 주파수 맵에 기초하여 제2 보정 영상을 생성하고, 상기 제1 보정 영상 및 상기 제2 보정 영상에 기초하여 상기 보정 영상을 생성하는 제2 생성기
를 포함하는 영상 보정 장치.
The method of claim 16,
The processor,
Generating a first corrected image based on the first MR image and the first non-resonant frequency map, and generating a second corrected image based on the second MR image and the second non-resonant frequency map, A second generator that generates the corrected image based on the first corrected image and the second corrected image
Image correction device comprising a.
상기 제2 생성기는,
상기 제1 비공명 주파수 맵의 절반 값에 기초하여 상기 제1 보정 영상을 생성하는 영상 보정 장치.
The method of claim 17,
The second generator,
An image correction device that generates the first correction image based on a half value of the first non-resonance frequency map.
상기 제2 생성기는,
상기 제2 비공명 주파수 맵의 절반 값에 기초하여 상기 제2 보정 영상을 생성하는 영상 보정 장치.
The method of claim 17,
The second generator,
An image correction apparatus for generating the second correction image based on a half value of the second non-resonance frequency map.
상기 제2 생성기는,
상기 제1 보정 영상 및 상기 제2 보정 영상을 평균하여 상기 보정 영상을 생성하는 영상 보정 장치.The method of claim 19,
The second generator,
An image correction apparatus for generating the correction image by averaging the first correction image and the second correction image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190113687A KR102215902B1 (en) | 2019-09-16 | 2019-09-16 | Method of correcting an image and apparatuses performing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190113687A KR102215902B1 (en) | 2019-09-16 | 2019-09-16 | Method of correcting an image and apparatuses performing the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102215902B1 true KR102215902B1 (en) | 2021-02-17 |
Family
ID=74731407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190113687A KR102215902B1 (en) | 2019-09-16 | 2019-09-16 | Method of correcting an image and apparatuses performing the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102215902B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100010481A (en) * | 2008-07-22 | 2010-02-01 | 가천의과학대학교 산학협력단 | Method for correcting distortions in an epi image produced by an ultra high field mri system |
KR20130046517A (en) * | 2011-10-28 | 2013-05-08 | 가천의과학대학교 산학협력단 | Method and mri device for correcting distortion in an epi image |
KR20190081656A (en) * | 2017-12-29 | 2019-07-09 | 한국과학기술원 | Method and apparatus for correction of a distortion in MR image |
-
2019
- 2019-09-16 KR KR1020190113687A patent/KR102215902B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100010481A (en) * | 2008-07-22 | 2010-02-01 | 가천의과학대학교 산학협력단 | Method for correcting distortions in an epi image produced by an ultra high field mri system |
KR20130046517A (en) * | 2011-10-28 | 2013-05-08 | 가천의과학대학교 산학협력단 | Method and mri device for correcting distortion in an epi image |
KR20190081656A (en) * | 2017-12-29 | 2019-07-09 | 한국과학기술원 | Method and apparatus for correction of a distortion in MR image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Johnson et al. | Conditional generative adversarial network for 3D rigid‐body motion correction in MRI | |
Hammernik et al. | Learning a variational network for reconstruction of accelerated MRI data | |
Eo et al. | KIKI‐net: cross‐domain convolutional neural networks for reconstructing undersampled magnetic resonance images | |
US10915990B2 (en) | Systems and methods for denoising medical images with deep learning network | |
Van Reeth et al. | Super‐resolution in magnetic resonance imaging: a review | |
US10726555B2 (en) | Joint registration and segmentation of images using deep learning | |
Muckley et al. | Training a neural network for Gibbs and noise removal in diffusion MRI | |
Shi et al. | Parallel imaging and compressed sensing combined framework for accelerating high‐resolution diffusion tensor imaging using inter‐image correlation | |
Lee et al. | Deep learning in MR image processing | |
de Leeuw Den Bouter et al. | Deep learning-based single image super-resolution for low-field MR brain images | |
WO2020114329A1 (en) | Fast magnetic resonance parametric imaging and device | |
US20220058798A1 (en) | System and method for providing stroke lesion segmentation using conditional generative adversarial networks | |
Pawar et al. | MoCoNet: Motion correction in 3D MPRAGE images using a convolutional neural network approach | |
KR102428725B1 (en) | Method and program for imaging quality improving | |
CN116503507A (en) | Magnetic particle image reconstruction method based on pre-training model | |
Sedghi et al. | Semi-supervised deep metrics for image registration | |
Wang et al. | High‐field mr diffusion‐weighted image denoising using a joint denoising convolutional neural network | |
Lee et al. | MC2‐Net: motion correction network for multi‐contrast brain MRI | |
Hossbach et al. | Deep learning‐based motion quantification from k‐space for fast model‐based magnetic resonance imaging motion correction | |
CN114663537A (en) | Deep learning system and method for removing truncation artifacts in magnetic resonance images | |
Esteban et al. | Surface-driven registration method for the structure-informed segmentation of diffusion MR images | |
Lv et al. | Reconstruction of undersampled radial free‐breathing 3D abdominal MRI using stacked convolutional auto‐encoders | |
KR102215902B1 (en) | Method of correcting an image and apparatuses performing the same | |
US20220292673A1 (en) | On-Site training of a machine-learning algorithm for generating synthetic imaging data | |
Zhang et al. | Multi-scale network with the deeper and wider residual block for MRI motion artifact correction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |