KR102481027B1 - Method and device for correcting medical image using phantom - Google Patents

Method and device for correcting medical image using phantom Download PDF

Info

Publication number
KR102481027B1
KR102481027B1 KR1020210008478A KR20210008478A KR102481027B1 KR 102481027 B1 KR102481027 B1 KR 102481027B1 KR 1020210008478 A KR1020210008478 A KR 1020210008478A KR 20210008478 A KR20210008478 A KR 20210008478A KR 102481027 B1 KR102481027 B1 KR 102481027B1
Authority
KR
South Korea
Prior art keywords
magnetic resonance
image
phantom
resonance image
patient
Prior art date
Application number
KR1020210008478A
Other languages
Korean (ko)
Other versions
KR20220106247A (en
Inventor
황도식
전요한
김태성
이양호
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210008478A priority Critical patent/KR102481027B1/en
Publication of KR20220106247A publication Critical patent/KR20220106247A/en
Application granted granted Critical
Publication of KR102481027B1 publication Critical patent/KR102481027B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/58—Calibration of imaging systems, e.g. using test probes, Phantoms; Calibration objects or fiducial markers such as active or passive RF coils surrounding an MR active material
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

개시된 기술은 팬텀을 이용한 의료 영상 보정 방법 및 장치에 관한 것으로, 의료영상 처리장치가 환자의 자기 공명 영상(Magnetic Resonance Image, MRI)을 입력받는 단계; 상기 의료영상 처리장치가 생성 모델의 인코딩 레이어를 통해 상기 자기 공명 영상의 특징을 추출하는 단계; 및 상기 의료영상 처리장치가 상기 생성 모델의 디코딩 레이어를 통해 상기 자기 공명 영상에 대한 보정된 영상을 출력하되, 상기 생성 모델은 사전 학습 과정에서 제공된 레퍼런스 자기 공명 영상에서 팬텀의 영역을 분할하고 상기 팬텀의 영역을 기준으로 손실함수를 구축하는 단계;를 포함한다.The disclosed technology relates to a method and apparatus for correcting a medical image using a phantom, comprising: receiving, by a medical image processing apparatus, a magnetic resonance image (MRI) of a patient; extracting, by the medical image processing apparatus, features of the magnetic resonance image through an encoding layer of a generation model; and the medical image processing apparatus outputs a corrected image for the magnetic resonance image through a decoding layer of the generation model, wherein the generation model divides a region of a phantom from a reference magnetic resonance image provided in a pre-learning process, and the phantom Constructing a loss function based on the area of ; includes.

Description

팬텀을 이용한 의료 영상 보정 방법 및 장치 {METHOD AND DEVICE FOR CORRECTING MEDICAL IMAGE USING PHANTOM} Medical image correction method and apparatus using phantom {METHOD AND DEVICE FOR CORRECTING MEDICAL IMAGE USING PHANTOM}

개시된 기술은 팬텀을 기준으로 의료 영상을 보정하는 생성 모델을 이용하는 방법 및 장치에 관한 것이다.The disclosed technology relates to a method and apparatus using a generation model for correcting a medical image based on a phantom.

심근 영역에 대한 T1 맵은 비 정량적인 데이터를 나타내는 다른 MRI 이미지와는 다르게 정량적인 데이터를 나타낸다. 특히 심근의 경우에는 T1 맵을 환자의 진단에 이용하고 있다. 따라서 심근 영역에 대한 있는 그대로의(native) T1 맵을 획득하기 위해서 다양한 시퀀스가 사용되고 있다. 가장 대표적으로는 MOLLI(Modified Look Locker Inversion Recovery) 시퀀스가 이용되고 있다.The T1 map of the myocardial region represents quantitative data, unlike other MRI images that represent non-quantitative data. In particular, in the case of myocardium, the T1 map is used for patient diagnosis. Therefore, various sequences are used to obtain a native T1 map for the myocardial region. Most representatively, a Modified Look Locker Inversion Recovery (MOLLI) sequence is used.

한편, 이와 같은 시퀀스에 따라 획득된 T1 맵은 정상과 비정상을 구분하기 위한 임상 임계값으로 사용된다. 그러나 MOLLI 시퀀스의 특성으로 인하여 앞서 획득된 T1 맵과 이후에 획득된 T1 맵 간에 차이가 발생할 수 있다. 특히 T1 밸류가 증가함에 따라 차이가 더 크게 발생할 수 있다. 또한 MRI 시스템에서 발생하는 불확실성과 영상 매개 변수로 인해 심근 영역에 대한 T1 맵은 실제 임상 환경에서 동일한 환자와 동일한 장치를 이용하더라도 촬영할 때마다 매번 다른 결과값이 나타나게 되어 정량적 데이터에 대한 신뢰도가 떨어지고 T1 맵을 표준화하지 못하는 문제점이 있었다.Meanwhile, the T1 map obtained according to such a sequence is used as a clinical threshold for distinguishing normal from abnormal. However, due to the characteristics of the MOLLI sequence, a difference may occur between the previously obtained T1 map and the later acquired T1 map. In particular, as the T1 value increases, a larger difference may occur. In addition, due to the uncertainty and image parameters generated by the MRI system, the T1 map for the myocardial region shows different results every time it is taken even if the same patient and the same device are used in a real clinical environment, reducing reliability of the quantitative data and reducing the reliability of the T1 map. There was a problem with not standardizing the map.

최근에는 이러한 문제점을 해결하기 위해서 딥러닝 알고리즘을 이용하고 있으며 MRI와 같은 의료 영상에 적용하여 영상을 재구성하거나 병변 영역의 분할, 조영 변환 등의 다양한 분야에서 우수한 성능을 나타내고 있다.Recently, deep learning algorithms are being used to solve these problems, and they show excellent performance in various fields such as image reconstruction, segmentation of lesion areas, and contrast conversion when applied to medical images such as MRI.

한국 공개특허 제10-2020-0027660호Korean Patent Publication No. 10-2020-0027660

개시된 기술은 팬텀을 기준으로 의료 영상을 보정하는 생성 모델을 이용하는 방법 및 장치를 제공하는데 있다.The disclosed technology provides a method and apparatus using a generation model for correcting a medical image based on a phantom.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 의료영상 처리장치가 환자의 자기 공명 영상(Magnetic Resonance Image, MRI)을 입력받는 단계, 상기 의료영상 처리장치가 생성 모델의 인코딩 레이어를 통해 상기 자기 공명 영상의 특징을 추출하는 단계 및 상기 의료영상 처리장치가 상기 생성 모델의 디코딩 레이어를 통해 상기 자기 공명 영상에 대한 보정된 영상을 출력하되, 상기 생성 모델은 사전 학습 과정에서 제공된 레퍼런스 자기 공명 영상에서 팬텀의 영역을 분할하고 상기 팬텀의 영역을 기준으로 손실함수를 구축하는 단계를 포함하는 팬텀을 이용한 의료 영상 보정 방법을 제공하는데 있다.A first aspect of the technology disclosed to achieve the above technical problem is the step of receiving a magnetic resonance image (MRI) of a patient by a medical image processing device, and the medical image processing device through an encoding layer of a generation model. The step of extracting features of the magnetic resonance image and the medical image processing apparatus outputting a corrected image of the magnetic resonance image through the decoding layer of the generating model, wherein the generating model is a reference magnetic resonance image provided in a pre-learning process. A method of correcting a medical image using a phantom is provided, which includes dividing a region of a phantom in and constructing a loss function based on the region of the phantom.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 환자의 자기 공명 영상을 입력받는 입력장치, 상기 자기 공명 영상을 보정하기 위해 학습된 생성 모델을 저장하는 저장장치 및 상기 생성 모델을 이용하여 상기 자기 공명 영상의 특징을 추출하고 상기 자기 공명 영상에 대한 보정된 영상을 출력하되, 사전에 레퍼런스 자기 공명 영상에서 팬텀의 영역을 분할하고 상기 팬텀의 영역을 기준으로 손실함수를 구축하고 상기 손실함수에 따라 상기 생성 모델을 학습하는 연산장치를 포함하는 팬텀을 이용한 의료 영상 보정 장치를 제공하는데 있다.A second aspect of the technology disclosed in order to achieve the above technical problem is to use an input device for receiving a patient's magnetic resonance image, a storage device for storing a generated model learned to correct the magnetic resonance image, and the generated model. The features of the magnetic resonance image are extracted and a corrected image for the magnetic resonance image is output, but a phantom region is previously segmented from the reference magnetic resonance image, a loss function is built based on the phantom region, and a loss function Accordingly, an apparatus for correcting a medical image using a phantom including an arithmetic unit for learning the generation model is provided.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, this does not mean that the embodiments of the disclosed technology must include all of them, so the scope of rights of the disclosed technology should not be understood as being limited thereby.

개시된 기술의 일 실시예에 따르면 팬텀을 이용한 의료 영상 보정 방법 및 장치는 원샷 러닝 방식으로 입력된 의료 영상을 보정하는 손실함수를 정의하여 의료 영상의 정량적 데이터에 대한 정확도를 높이는 효과가 있다.According to an embodiment of the disclosed technology, a method and apparatus for correcting a medical image using a phantom define a loss function for correcting an input medical image in a one-shot running method, thereby increasing accuracy of quantitative data of the medical image.

또한, 팬텀을 기준으로 영상을 보정하여 영상을 촬영하는 환경이나 장비에 영향을 받지 않는 장점이 있다.In addition, there is an advantage in that the image is not affected by the environment or equipment for capturing the image by correcting the image based on the phantom.

또한, MRI나 CT 장비를 이용하여 획득하는 영상의 정량적 데이터를 표준화하는 효과가 있다.In addition, there is an effect of standardizing quantitative data of images acquired using MRI or CT equipment.

도 1은 개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 장치에 대한 블록도이다.
도 4는 자기 공명 영상에서 분할된 팬텀의 영역과 심근 영역을 나타낸 도면이다.
도 5는 개시된 기술의 일 실시예에 따라 생성 모델을 통해 보정된 영상을 나타낸 도면이다.1 is a diagram illustrating a process of correcting a medical image using a phantom according to an embodiment of the disclosed technology.
2 is a flowchart of a method of correcting a medical image using a phantom according to an embodiment of the disclosed technology.
3 is a block diagram of a medical image calibration device using a phantom according to an embodiment of the disclosed technology.
FIG. 4 is a diagram illustrating a segmented region of a phantom and myocardial region in a magnetic resonance image.
5 is a diagram illustrating an image corrected through a generative model according to an embodiment of the disclosed technology.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, and are only used for the purpose of distinguishing one component from another. used only as For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In the terms used herein, singular expressions should be understood to include plural expressions unless the context clearly dictates otherwise. And the term "includes" means that the described feature, number, step, operation, component, part, or combination thereof exists, but one or more other features or number, step, operation component, or part. or the possibility of the presence or addition of combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Prior to a detailed description of the drawings, it is to be clarified that the classification of components in the present specification is merely a classification for each main function in charge of each component. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.In addition, each component to be described below may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component may be performed by other components. Of course, it may be dedicated and performed by . Therefore, the existence or nonexistence of each component described through this specification should be interpreted functionally.

도 1은 개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 과정을 나타낸 도면이다. 도 1을 참조하면 의료영상 처리장치는 환자에 대한 자기 공명 영상(Magnetic Resonance Image, MRI)을 입력받아서 보정된 자기 공명 영상을 출력한다. 자기 공명 영상은 상기 환자의 생체 내 조직이나 기관 등을 촬영한 영상을 이용할 수 있다. 이하에는 환자의 심근 영역을 촬영한 자기 공명 영상을 이용하는 것을 예시로 설명한다. 환자의 자기 공명 영상에는 팬텀이 포함될 수 있다. 자기 공명 영상을 종래보다 효과적으로 보정하기 위해서 의료영상 처리장치는 사전에 학습된 딥러닝 모델을 이용할 수 있다. 1 is a diagram illustrating a process of correcting a medical image using a phantom according to an embodiment of the disclosed technology. Referring to FIG. 1 , a medical image processing apparatus receives a magnetic resonance image (MRI) of a patient and outputs a corrected magnetic resonance image. The magnetic resonance image may use an image obtained by photographing tissues or organs in the patient's body. Hereinafter, the use of a magnetic resonance image of a patient's myocardial region will be described as an example. A phantom may be included in a magnetic resonance image of a patient. In order to correct the magnetic resonance image more effectively than before, the medical image processing apparatus may use a deep learning model trained in advance.

의료영상 처리장치는 여러 가지 종류의 딥러닝 모델 중에서도 의료 영상의 보정에 가장 범용적으로 사용되는 유넷(U-net)구조의 생성 모델을 사용할 수 있다. 생성 모델은 복수개의 인코딩 레이어 및 복수개의 디코딩 레이어를 포함한다. 영상의 특징은 컨볼루션 레이어를 통해 추출되며 최대 풀링을 통해 이미지의 크기를 줄이면서 다양한 수준에서 특징 추출을 수행할 수 있다. 즉, 복수의 레이어를 통해 저차원과 고차원 정보를 모두 사용하여 이미지의 특징을 추출할 수 있다. 그리고 추출된 특징을 토대로 영상을 복원할 수 있다. 생성 모델의 디코더는 인코딩 과정에서 추출된 특징을 이용하여 컨볼루션 레이어와 업샘플링 레이어를 통해 원본 자기 공명 영상을 복원할 수 있다. 이 과정에서 영상의 구조 정보를 학습할 수 있으며 영상에 포함된 노이즈와 같은 아티팩트를 줄일 수 있다. 자기 공명 영상의 특징을 추출하고 추출된 특징을 이용하여 상기 자기 공명 영상을 재구성한다는 점에서 생성 모델을 오토인코더로 이용할 수도 있다.The medical image processing apparatus may use a generation model of a U-net structure, which is most commonly used for correction of medical images, among various types of deep learning models. The generation model includes a plurality of encoding layers and a plurality of decoding layers. The feature of the image is extracted through the convolutional layer, and feature extraction can be performed at various levels while reducing the size of the image through max pooling. That is, features of an image can be extracted using both low-dimensional and high-dimensional information through a plurality of layers. The image may be restored based on the extracted features. The decoder of the generative model may reconstruct the original MRI image through a convolution layer and an upsampling layer using features extracted in the encoding process. In this process, structural information of the image can be learned and artifacts such as noise included in the image can be reduced. A generative model may be used as an autoencoder in that features of the magnetic resonance image are extracted and the magnetic resonance image is reconstructed using the extracted features.

한편, 의료영상 처리장치에 탑재된 생성 모델은 자기 공명 영상을 보정하기 위해서 학습된다. 이때, 생성 모델을 학습 방향을 결정하는 손실함수는 자기 공명 영상 전체를 이용하는 것이 아니라 생체 영역에 포함된 팬텀 영역만을 이용하여 구축될 수 있다. 여기에서 팬텀은 사용자가 자기 공명 영상을 촬영할 때 실제 환자의 생체 영역과 구분하기 위해서 착용하거나 부착하는 의료용 기구 내지는 장치로, 인체의 특정 영역이나 조직의 물리적 성질을 모사한 모델을 의미한다. 팬텀은 폴리프로필렌 코폴리머(PPCO) 재질로 형성된 복수개의 투명한 튜브로 구성된다. 복수개의 튜브 각각에는 서로 다른 농도의 염화니켈(NiCL2) 용액이 삽입되어 있어서 MRI와 같은 의료 영상을 촬영할 때 피검위치에 대한 정량적 데이터를 추출하기 위한 기준으로 이용할 수 있다.Meanwhile, a generation model loaded in the medical image processing apparatus is learned to correct the magnetic resonance image. In this case, the loss function for determining the learning direction of the generative model may be constructed using only the phantom area included in the living body area rather than using the entire magnetic resonance image. Here, the phantom is a medical instrument or device that is worn or attached to a user to distinguish it from an actual patient's biological region when taking a magnetic resonance image, and refers to a model that simulates the physical properties of a specific region or tissue of the human body. The phantom is composed of a plurality of transparent tubes made of polypropylene copolymer (PPCO). Nickel chloride (NiCL2) solutions of different concentrations are inserted into each of the plurality of tubes, so that they can be used as a standard for extracting quantitative data about the subject location when taking medical images such as MRI.

한편, 자기 공명 영상을 촬영하는 환자는 상술한 팬텀을 몸에 부착한 상태에서 영상을 촬영할 수 있다. 당연하게도 검사하고자 하는 위치에 팬텀을 부착하여 검사 위치와 팬텀이 함께 자기 공명 영상에 포함되도록 촬영할 수 있다. 도 1에서는 환자의 심근 영역을 촬영한 영상을 예시로 들었다. 물론 다른 장기나 조직에 대한 영상도 팬텀과 함께 촬영하여 자기 공명 영상으로 이용할 수 있다. 이와 같이 촬영된 자기 공명 영상에는 환자가 검사하고자 하는 신체 특정 기관이나 조직의 영역과 팬텀의 영역이 포함된다. 의료영상 처리장치는 촬영된 자기 공명 영상을 입력받는다. 일 실시예로, MRI 촬영장치로부터 자기 공명 영상을 수신할 수 있다. 의료영상 처리장치와 MRI 촬영장치는 사전에 연결된 상태일 수 있으며 자기 공명 영상의 촬영이 완료되면 자동으로 의료영상 처리장치로 전송될 수도 있다. 또는, 의료진이 육안으로 검수한 이후에 수기로 의료영상 처리장치에 입력할 수도 있다.Meanwhile, a patient taking a magnetic resonance image may take an image while attaching the above-described phantom to the body. Naturally, a phantom may be attached to a location to be examined, and a photograph may be taken so that the examination location and the phantom are included in the magnetic resonance image. In FIG. 1 , an image of a patient's myocardial region was taken as an example. Of course, images of other organs or tissues can also be taken together with the phantom and used as magnetic resonance images. The magnetic resonance image captured in this way includes a region of a specific body organ or tissue to be examined by the patient and a region of the phantom. The medical image processing device receives the captured magnetic resonance image as an input. In one embodiment, a magnetic resonance image may be received from an MRI imaging device. The medical image processing device and the MRI imaging device may be in a pre-connected state, and may be automatically transmitted to the medical image processing device when capturing of the magnetic resonance image is completed. Alternatively, after visually inspecting by a medical staff, input may be manually input into the medical image processing device.

한편, 의료영상 처리장치는 입력된 환자의 자기 공명 영상을 보정하기 위해서 생성 모델에 자기 공명 영상을 입력한다. 여기에서 자기 공명 영상을 보정하는 것은 자기 공명 영상에 포함된 정량적 데이터가 촬영 시마다 달라지는 것을 고려하여 이전에 촬영된 자기 공명 영상과 최근에 촬영된 자기 공명 영상 간의 정량적 데이터 차이를 줄이기 위해서 수행된다. 가령, 촬영 시 신체의 방향이 이전과 달라졌거나 촬영하는 장비가 다른 장비인 경우 동일한 환자의 동일한 조직을 촬영하였더라도 영상 간에 차이가 발생할 수 있다. 영상에 차이가 발생하게 되면 영상에 포함된 정량적 데이터인 T1 맵이 서로 달라지게 된다. 즉, 데이터의 신뢰도가 저하되는 문제가 발생한다. 따라서, 의료영상 처리장치는 이를 보정하여 영상 간 정량적 데이터의 차이가 적어지도록 처리할 수 있다.Meanwhile, the medical image processing apparatus inputs the magnetic resonance image to the generation model in order to correct the input patient's magnetic resonance image. Here, the correction of the MRI is performed in order to reduce a difference in quantitative data between a previously acquired MRI and a recently acquired MRI, considering that quantitative data included in the MRI is different each time it is captured. For example, if the orientation of the body during imaging is different from before or the imaging equipment is different, a difference may occur between images even if the same tissue of the same patient is captured. If a difference occurs in the image, the T1 map, which is quantitative data included in the image, becomes different. That is, a problem in which reliability of data is lowered occurs. Accordingly, the medical image processing apparatus may correct the image to reduce the difference in quantitative data between images.

자기 공명 영상을 보정하기 위해서 의료영상 처리장치는 사전에 생성 모델을 학습할 수 있다. 이때 생성 모델의 학습 방향을 결정하는 손실함수는 자기 공명 영상 전체를 대상으로 구축되는 것이 아니라 자기 공명 영상에 포함된 팬텀의 영역에 한해서 구축된다. 즉, 영상을 보정하는 기준으로 팬텀을 이용할 수 있다. 일 실시예로, 레퍼런스 자기 공명 영상에서 팬텀의 영역을 분할하고, 분할된 팬텀의 영역을 기준으로 손실함수를 구축하여 학습을 수행할 수 있다. In order to correct the magnetic resonance image, the medical image processing apparatus may learn a generation model in advance. At this time, the loss function that determines the learning direction of the generative model is not built for the entire MRI image, but only for the region of the phantom included in the MRI. That is, the phantom may be used as a criterion for correcting an image. In one embodiment, learning may be performed by dividing a region of a phantom in a reference magnetic resonance image and building a loss function based on the region of the divided phantom.

생성 모델은 팬텀을 기준으로 레퍼런스 자기 공명 영상의 T1 맵과 환자의 자기 공명 영상의 T1 맵을 비교할 수 있다. 예컨대, 환자의 자기 공명 영상에 포함된 심근 영역의 이미지를 생성 모델이 사전에 학습한 대로 보정할 수 있다. 여기에서 T1 맵은 종래 MRI 촬영에서 이용하는 생체 내 성분을 부각시키는 스핀-에코(Spin-echo) 기법 중 하나로 예컨대, 물이나 석회 등은 검은색으로 표시되고 지방이나 백색질 등은 흰색으로 표시될 수 있다. T1 맵은 일반적으로 생체의 해부학적 구조를 파악하기 위해서 사용된다. 병변의 신호는 대부분 낮은 신호강도로 나타나며 일부 높은 신호강도는 급성 출혈이나, 석회화, 지방 등의 병변을 나타낼 수 있다. The generation model may compare the T1 map of the reference magnetic resonance image with the T1 map of the patient's magnetic resonance image based on the phantom. For example, an image of a myocardial region included in a magnetic resonance image of a patient may be corrected according to a pre-trained generation model. Here, the T1 map is one of the spin-echo techniques used in conventional MRI imaging to highlight in vivo components. For example, water or lime may be displayed in black and fat or white matter may be displayed in white. . The T1 map is generally used to understand the anatomical structure of a living body. Most of the signals of the lesions appear as low signal intensities, and some high signal intensities may indicate lesions such as acute hemorrhage, calcification, or fat.

한편, 의료영상 처리장치는 레퍼런스 자기 공명 영상의 T1 맵을 획득하기 위해서 핵자기 공명(Nuclear Magnetic Resonance, NMR) 방식으로 레퍼런스 자기 공명 영상의 팬텀의 영역을 측정할 수 있다. 핵자기 공명을 이용하여 측정된 값은 일반적으로 MRI 시스템에서 영상의 정량적 데이터를 보정하기 위한 기준 값으로 이용할 수 있다. 앞서 언급한 바와 같이 팬텀은 복수개의 튜브에 각각 서로 다른 농도의 염화니켈 용액이 수용되어 있고 사전에 팬텀에 수용된 용액의 농도에 대해서 알고 있으므로 이를 기준으로 레퍼런스 자기 공명 영상에 포함된 팬텀의 영역에 대한 T1 맵을 획득하는 것이 가능하다. 물론 레퍼런스 자기 공명 영상의 T1 맵에 대한 신뢰도를 높이기 위해서 레퍼런스 자기 공명 영상을 복수회 촬영하고 각각의 T1 맵에 대한 평균을 취하여 이용하는 것도 가능하다.Meanwhile, the medical image processing apparatus may measure the area of the phantom of the reference magnetic resonance image using a nuclear magnetic resonance (NMR) method in order to obtain a T1 map of the reference magnetic resonance image. A value measured using nuclear magnetic resonance can be generally used as a reference value for correcting quantitative data of an image in an MRI system. As mentioned above, since the phantom contains nickel chloride solutions of different concentrations in a plurality of tubes, and the concentration of the solution contained in the phantom is known in advance, based on this, the phantom area included in the reference magnetic resonance image It is possible to obtain a T1 map. Of course, in order to increase the reliability of the T1 map of the reference magnetic resonance image, it is also possible to photograph the reference magnetic resonance image multiple times and take an average of each T1 map.

한편, 이와 같이 레퍼런스 자기 공명 영상의 T1 맵을 획득한 다음 환자의 자기 공명 영상이 입력되면 사전에 획득한 레퍼런스 자기 공명 영상의 팬텀의 영역의 T1 맵과 환자의 자기 공명 영상에 포함된 팬텀의 영역에서 측정한 T1 맵을 비교함으로써 환자의 심근 영역에 대한 이미지를 보정할 수 있다. Meanwhile, when the patient's MRI is input after the T1 map of the reference magnetic resonance image is obtained, the T1 map of the phantom area of the previously acquired reference magnetic resonance image and the phantom area included in the patient's magnetic resonance image By comparing the T1 map measured at , the image of the myocardial region of the patient can be corrected.

한편, 학습 과정에서 생성 모델에 입력되는 레퍼런스 자기 공명 영상에는 팬텀이 반드시 포함되어야 하나 학습이 충분히 수행되고 난 뒤 영상을 보정하는 과정에서 입력되는 환자의 자기 공명 영상에는 팬텀이 반드시 포함되지 않아도 보정을 처리할 수 있다. 자기 공명 영상의 관심 영역(Region of Interest, ROI)은 영상에 촬영된 환자의 생체 조직 내지는 기관이고 팬텀은 이러한 조직이나 기관에 대한 상태를 정량적으로 나타내는 방사선량을 판단하기 위한 기준으로 이용되는 것이므로 보정 과정에서는 팬텀이 포함되지 않은 자기 공명 영상이 입력되더라도 사전에 학습한 대로 영상을 보정할 수 있다. 물론 보정 과정에서 입력되는 영상에 팬텀이 포함되어 있더라도 동일하게 영상을 보정할 수 있다.Meanwhile, the phantom must be included in the reference magnetic resonance image input to the generative model in the learning process, but the correction is performed even if the phantom is not necessarily included in the patient's magnetic resonance image input in the process of correcting the image after learning is sufficiently performed. can be dealt with The region of interest (ROI) of the magnetic resonance image is a living tissue or organ of the patient captured on the image, and the phantom is used as a criterion for determining the radiation dose that quantitatively represents the state of these tissues or organs. In the process, even if a magnetic resonance image without a phantom is input, the image can be corrected as learned in advance. Of course, even if a phantom is included in the input image in the correction process, the image can be corrected in the same way.

생성 모델은 학습을 수행하는 과정에서 영상 보정 기준이 되는 레퍼런스 자기 공명 영상의 T1 맵의 좌표평면에서의 벡터의 크기(L2 NORM)를 측정한 결과와 촬영된 자기 공명 영상에서 분할된 팬텀의 영역의 T1 맵이 주어진다. 이를 통해 기준 T1 맵과 촬영된 자기 공명 영상의 T1 맵 간의 차이를 학습할 수 있다. 상술한 바와 같이 자기 공명 영상은 환자의 심근 영역에 대한 영상이므로 생성 모델은 팬텀을 기준으로 자기 공명 영상에 촬영된 심근 영역의 이미지를 보정할 수 있다.The generative model is the result of measuring the vector size (L2 NORM) on the coordinate plane of the T1 map of the reference magnetic resonance image, which is the image correction standard in the process of learning, and the phantom region segmented from the captured magnetic resonance image. A T1 map is given. Through this, it is possible to learn the difference between the reference T1 map and the T1 map of the photographed magnetic resonance image. As described above, since the magnetic resonance image is an image of the patient's myocardial region, the generating model can correct the image of the myocardial region captured in the magnetic resonance image based on the phantom.

한편, 일반적으로 딥러닝 모델의 학습 정확도를 향상시키기 위해서는 다수의 학습데이터를 이용하여 딥러닝 모델을 충분히 학습시키는 방식이 이용되고 있다. 그러나 본 발명에서는 다수의 데이터를 요구하지 않고 생성 모델을 학습시킬 수 있다. 즉, 다수의 자기 공명 영상을 이용하지 않아도 팬텀을 기준으로 자기 공명 영상의 T1 맵의 값을 보정하기 때문에 원샷 러닝(One-shot Learning) 방식으로 생성 모델을 학습시킬 수 있다. 의료영상 처리장치는 이와 같이 학습된 생성 모델을 이용하여 환자의 자기 공명 영상을 보정할 수 있다.On the other hand, in general, in order to improve the learning accuracy of the deep learning model, a method of sufficiently learning the deep learning model using a plurality of training data is used. However, in the present invention, a generative model can be trained without requiring a large amount of data. That is, since the value of the T1 map of the magnetic resonance image is corrected based on the phantom without using a plurality of magnetic resonance images, the generation model can be trained using a one-shot learning method. The medical image processing apparatus may correct the magnetic resonance image of the patient using the generated model learned in this way.

도 2는 개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 방법에 대한 순서도이다. 도 2를 참조하면 의료 영상 보정 방법(200)은 자기 공명 영상을 수신하는 단계(210), 특징을 추출하는 단계(220) 및 보정된 자기 공명 영상을 출력하는 단계(230)를 포함한다. 의료 영상 보정 방법은 의료영상 처리장치를 통해서 수행되며 각 단계는 순차적으로 수행될 수 있다.2 is a flowchart of a method of correcting a medical image using a phantom according to an embodiment of the disclosed technology. Referring to FIG. 2 , a medical image correction method 200 includes receiving a magnetic resonance image (210), extracting features (220), and outputting a corrected magnetic resonance image (230). The medical image correction method is performed through a medical image processing device, and each step may be sequentially performed.

210 단계에서 의료영상 처리장치는 환자의 자기 공명 영상을 입력받는다. 자기 공명 영상은 환자의 심근 영역을 촬영한 영상일 수 있으며 환자는 심장 위치에 팬텀을 부착한 상태에서 MRI 영상을 촬영할 수 있다. 의료영상 처리장치는 이와 같이 촬영된 MRI 영상을 자기 공명 영상으로 입력받을 수 있다.In step 210, the medical image processing apparatus receives the magnetic resonance image of the patient. The magnetic resonance image may be an image of a patient's myocardial region, and the patient may take an MRI image with the phantom attached to the heart. The medical image processing apparatus may receive an MRI image captured as such as a magnetic resonance image.

220 단계에서 의료영상 처리장치는 자기 공명 영상을 생성 모델의 인코딩 레이어에 입력하여 특징을 추출한다. 생성 모델의 인코딩 레이어는 컨볼루션 레이어와 풀링 레이어를 통해 다양한 수준에서의 특징을 추출할 수 있다. In step 220, the medical image processing apparatus extracts features by inputting the magnetic resonance image to the encoding layer of the generating model. The encoding layer of the generative model can extract features at various levels through a convolutional layer and a pooling layer.

230 단계에서 의료영상 처리장치는 생성 모델의 디코딩 레이어를 통해 자기 공명 영상에 대한 보정된 영상을 출력한다. 이때, 보정된 영상을 출력하는 생성 모델은 사전에 레퍼런스 자기 공명 영상에서 분할된 팬텀의 영역을 토대로 구축된 손실함수를 이용하여 학습된다. 생성 모델은 팬텀을 기준으로 영상을 보정하여 영상에 포함된 정량적 데이터의 변화량을 줄이도록 학습될 수 있다. 그리고 학습 과정에서 다수의 자기 공명 영상을 이용하는 것이 아니라 하나의 영상만을 이용하여 원샷 러닝 방식으로 학습될 수 있다.In step 230, the medical image processing apparatus outputs a corrected image of the magnetic resonance image through the decoding layer of the generation model. At this time, a generation model outputting a corrected image is learned using a loss function built based on a region of a phantom segmented from a reference magnetic resonance image in advance. The generation model may be trained to reduce the amount of variation of quantitative data included in the image by correcting the image based on the phantom. Also, in the learning process, learning may be performed in a one-shot learning method using only one image instead of using a plurality of magnetic resonance images.

종래의 경우 다항식 보정 방식의 피팅 방법을 이용하여 영상을 보정하였다. 이는 기준이 되는 물질, 예컨대 팬텀과 같은 물질의 영역의 대푯값을 이용하여 보정을 위한 다항식을 피팅하여 찾은 뒤 전체 영상에 적용하는 방식이다. 그러나 이러한 방식은 픽셀 단위로 영상을 보정하기 때문에, 보정 전 원본상태의 자기 공명 영상에 반영되어 있는 아티팩트나 노이즈와 같은 영상의 특성을 반영하지 못하는 문제가 있었다. 이러한 노이즈로 인해 피팅이 불안정할 경우 영상 보정을 위한 함수를 정확하게 구축하지 못하여 보정 정확도가 떨어지므로 정량적 데이터에 대한 신뢰도에 문제가 발생하게 된다. 따라서, 본 발명에서는 자기 공명 영상의 깊은 특징을 추출하는 인코더 및 영상을 재구성하는 디코더를 포함하는 생성 모델을 이용하여 영상을 보정하여 영상에 포함된 정량적 데이터에 대한 신뢰도를 높일 수 있다.In the conventional case, the image was corrected using a polynomial correction method of fitting. This is a method of finding a polynomial for correction by fitting using a representative value of a material region, such as a reference material, for example, a phantom, and then applying the polynomial to the entire image. However, since this method corrects the image in pixel units, there is a problem in that characteristics of the image such as artifacts or noise reflected in the original magnetic resonance image before correction cannot be reflected. If the fitting is unstable due to such noise, a function for image correction cannot be accurately constructed, resulting in a decrease in correction accuracy, resulting in a problem in the reliability of quantitative data. Therefore, in the present invention, reliability of quantitative data included in an image can be increased by correcting an image using a generative model including an encoder for extracting deep features of a magnetic resonance image and a decoder for reconstructing the image.

도 3은 개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 장치에 대한 블록도이다. 도 3을 참조하면 의료 영상 보정 장치(300)는 입력장치(310), 저장장치(320) 및 연산장치(330)를 포함한다.3 is a block diagram of a medical image calibration device using a phantom according to an embodiment of the disclosed technology. Referring to FIG. 3 , the medical image calibration device 300 includes an input device 310 , a storage device 320 and an arithmetic device 330 .

입력장치(310)는 팬텀을 포함한 환자의 자기 공명 영상을 입력받는다. 입력장치(310)는 의료 영상 보정 장치의 키보드나 마우스와 같은 인터페이스로 구현될 수 있다. 의료진은 환자가 검사하고자 하는 위치에 팬텀을 부착시킨 뒤 MRI 영상을 촬영할 수 있다. 그리고 촬영된 MRI 영상을 입력장치를 통해 의료 영상 보정 장치로 입력할 수 있다.The input device 310 receives the magnetic resonance image of the patient including the phantom. The input device 310 may be implemented as an interface such as a keyboard or mouse of a medical image calibration device. A medical staff may attach the phantom to a location to be examined by a patient and then capture an MRI image. In addition, the captured MRI image may be input to the medical image correction device through the input device.

저장장치(320)는 자기 공명 영상을 보정하기 위해 학습된 생성 모델을 저장한다. 저장장치(320)는 의료 영상 보정 장치의 메모리로 구현될 수 있다. 생성 모델은 다수의 인코딩 레이어 및 디코딩 레이어를 포함하는 오토인코더를 이용할 수 있다. 생성 모델은 사전에 자기 공명 영상에서 추출된 팬텀의 영역을 기준으로 구축된 손실함수를 이용하여 학습 방향이 결정된다.The storage device 320 stores the learned generation model to correct the magnetic resonance image. The storage device 320 may be implemented as a memory of a medical image calibration device. A generative model may use an autoencoder including multiple encoding and decoding layers. The learning direction of the generative model is determined using a loss function built on the basis of the region of the phantom extracted from the magnetic resonance image in advance.

연산장치(330)는 생성 모델을 이용하여 자기 공명 영상의 특징을 추출하고 자기 공명 영상에 대한 보정된 영상을 출력한다. 연산장치(330)는 의료 영상 보정 장치의 프로세서로 구현될 수 있다. 영상을 제대로 보정하도록 생성 모델을 학습시키기 위해서 연산장치는 사전에 레퍼런스 자기 공명 영상에 포함된 팬텀의 영역을 분할한다. 그리고 분할된 팬텀의 영역을 기준으로 생성 모델의 손실함수를 구축한다. 생성 모델은 손실함수에 따라 사전에 학습되어 입력된 자기 공명 영상을 보정할 수 있다.The arithmetic unit 330 extracts features of the magnetic resonance image using the generation model and outputs a corrected image of the magnetic resonance image. The arithmetic device 330 may be implemented as a processor of a medical image calibration device. In order to train the generation model to properly correct the image, the arithmetic unit divides the phantom region included in the reference magnetic resonance image in advance. Then, the loss function of the generative model is built based on the divided phantom area. The generation model may be trained in advance according to the loss function and correct the input magnetic resonance image.

한편, 상술한 바와 같은 의료 영상 보정 장치는 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.Meanwhile, the medical image correction device as described above may be implemented as a program (or application) including an executable algorithm that may be executed on a computer. The program may be stored and provided in a temporary or non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device. Specifically, the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM) Alternatively, it may be stored and provided in a non-transitory readable medium such as EEPROM (Electrically EPROM) or flash memory.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.Temporary readable media include static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), and enhanced SDRAM (Enhanced SDRAM). SDRAM, ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM) and Direct Rambus RAM (DRRAM).

도 4는 자기 공명 영상에서 분할된 팬텀의 영역과 심근 영역을 나타낸 도면이다. 도 4를 참조하면 401은 팬텀을 부착한 상태로 촬영된 자기 공명 영상이고 402는 영상 보정의 기준으로 사용되는 팬텀의 영역이고 403은 팬텀을 기준으로 보정된 영상의 관심 영역(Region of Interest, ROI)을 나타낸다. 여기에서 관심영역은 환자의 심장 중심부를 나타내는 심근 영역(Myocardium area)일 수 있다. 자기 공명 영상을 촬영할 때 환자의 심근 영역과 팬텀의 정렬이 중요한 요소가 될 수 있다. 이를 위해서 사전에 환자의 심장이 위치할 것으로 예측되는 위치에 팬텀을 부착하고 반복적으로 자기 공명 영상을 촬영하여 심장의 위치와 방향을 파악할 수 있다. 환자의 심장 중심부의 단면에 대한 영상과 팬텀의 방향이 제대로 촬영되면 자기 공명 영상의 촬영을 종료할 수 있으며 둘 중 어느 하나라도 단면의 이미지가 제대로 촬영되지 않은 경우에는 팬텀의 위치를 조절하면서 자기 공명 영상을 정확하게 촬영할 수 있다.FIG. 4 is a diagram illustrating a segmented region of a phantom and myocardial region in a magnetic resonance image. Referring to FIG. 4 , 401 is a magnetic resonance image captured with the phantom attached, 402 is a region of the phantom used as a criterion for image correction, and 403 is a region of interest (ROI) of an image corrected based on the phantom. ). Here, the region of interest may be a myocardium area representing the center of the patient's heart. Alignment of the patient's myocardial region and the phantom can be an important factor when taking magnetic resonance images. To this end, the position and direction of the heart may be grasped by attaching the phantom to a position where the patient's heart is predicted to be located in advance and repeatedly taking magnetic resonance images. If the image of the cross-section of the patient's heart center and the direction of the phantom are correctly captured, the magnetic resonance image can be taken. You can record images accurately.

도 5는 개시된 기술의 일 실시예에 따라 생성 모델을 통해 보정된 영상을 나타낸 도면이다. 도 5를 참조하면 본 발명에서 영상 보정을 위해 사용하는 생성 모델은 복수의 인코딩 레이어를 통해 특징을 추출하고 복수의 디코딩 레이어를 통해 영상을 재구성할 수 있다. 생성 모델은 유넷 구조일 수 있으며 사전에 MRI 스캐닝에 사용된 팬텀의 영역의 기준값을 이용하여 구축된 손실함수를 토대로 학습을 수행하여 영상을 보정할 수 있다. 생성 모델은 사전 학습 과정에서 영상의 구조적 정보를 습득하기 때문에 종래의 다항식 보정 방식이 갖는 단점을 보완할 수 있다.5 is a diagram illustrating an image corrected through a generative model according to an embodiment of the disclosed technology. Referring to FIG. 5 , the generation model used for image correction in the present invention can extract features through a plurality of encoding layers and reconstruct an image through a plurality of decoding layers. The generation model may have a unitet structure, and the image may be corrected by performing learning based on a loss function built using a reference value of a region of a phantom previously used for MRI scanning. Since the generation model acquires structural information of an image in a pre-learning process, it can compensate for the disadvantages of the conventional polynomial correction method.

개시된 기술의 일 실시예에 따른 팬텀을 이용한 의료 영상 보정 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.A method and apparatus for correcting a medical image using a phantom according to an embodiment of the disclosed technology have been described with reference to the embodiments shown in the drawings for better understanding, but this is only exemplary, and those skilled in the art From this, it will be understood that various modifications and equivalent other embodiments are possible. Therefore, the true technical scope of protection of the disclosed technology should be defined by the appended claims.

Claims (12)

의료영상 처리장치가 환자의 자기공명 영상(Magnetic Resonance Image, MRI)을 입력받는 단계;
상기 의료영상 처리장치가 생성 모델의 인코딩 레이어를 통해 상기 자기 공명 영상의 특징을 추출하는 단계; 및
상기 의료영상 처리장치가 상기 추출한 특징을 상기 생성모델의 디코딩 레이어에 입력하여 상기 자기 공명 영상에 대한 보정된 영상을 출력하는 단계;를 포함하되
상기 환자의 자기공명 영상은 상기 환자의 신체를 촬영한 자기공명영상 T1맵에 대한 영상이고,
상기 생성 모델이 학습하는 과정에서 학습데이터는 환자의 신체 일 영역에 팬텀을 부착한 상태에서 촬영한 자기공명영상 T1맵이고,
상기 생성 모델은 상기 학습데이터의 자기공명 영상 T1맵의 팬텀영역과 보정기준이 되는 레퍼런스 자기공명영상의 팬텀영역의 차이가 줄어들도록 설정된 손실함수를 이용하여 학습되는 모델인
팬텀을 이용한 의료영상 보정방법receiving, by a medical image processing apparatus, a magnetic resonance image (MRI) of a patient;
extracting, by the medical image processing apparatus, features of the magnetic resonance image through an encoding layer of a generation model; and
Including; outputting a corrected image for the magnetic resonance image by inputting the extracted feature to a decoding layer of the generation model by the medical image processing device;
The magnetic resonance image of the patient is an image of a magnetic resonance image T1 map of the patient's body,
In the process of learning the generation model, the learning data is a magnetic resonance image T1 map taken with the phantom attached to one area of the patient's body,
The generation model is a model that is learned using a loss function set to reduce the difference between the phantom region of the magnetic resonance image T1 map of the training data and the phantom region of the reference magnetic resonance image as a correction standard.
Medical image correction method using phantom 제 1 항에 있어서,
상기 생성 모델은 복수개의 인코딩 레이어 및 복수개의 디코딩 레이어를 포함하는 유넷(U-net)구조인 팬텀을 이용한 의료 영상 보정 방법.According to claim 1,
The generation model is a medical image correction method using a phantom having a U-net structure including a plurality of encoding layers and a plurality of decoding layers. 제 1 항에 있어서,
상기 생성 모델은 상기 환자의 자기 공명 영상의 특징을 추출하고 상기 추출된 특징을 이용하여 상기 환자의 자기 공명 영상을 재구성하는 오토인코더인 팬텀을 이용한 의료 영상 보정 방법.According to claim 1,
The generating model is a medical image correction method using a phantom, which is an autoencoder that extracts features of the magnetic resonance image of the patient and reconstructs the magnetic resonance image of the patient using the extracted features. 삭제delete 삭제delete 제 1 항에 있어서,
상기 팬텀은 폴리프로필렌 코폴리머(PPCO) 재질로 형성된 복수개의 투명한 튜브이고, 상기 복수개의 튜브에는 서로 다른 농도의 염화니켈 용액이 삽입되는 팬텀을 이용한 의료 영상 보정 방법.According to claim 1,
The phantom is a plurality of transparent tubes made of a polypropylene copolymer (PPCO) material, and nickel chloride solutions having different concentrations are inserted into the plurality of tubes. 환자의 자기 공명 영상을 입력받는 입력장치;
상기 자기 공명 영상을 보정하기 위해 학습된 생성모델을 저장하는 저장장치; 및
상기 생성모델의 인코딩 레이어를 통해 상기 자기 공명 영상의 특징을 추출하고, 상기 추출된 특징을 상기 생성모델의 디코딩 레이어에 입력하여 상기 자기공명영상에 대한 보정된 영상을 출력하는 연산장치;를 포함하되
상기 환자의 자기공명 영상은 상기 환자의 신체를 촬영한 자기공명영상 T1맵에 대한 영상이고,
상기 생성 모델이 학습하는 과정에서 학습데이터는 환자의 신체 일 영역에 팬텀을 부착한 상태에서 촬영한 자기공명영상 T1맵이고,
상기 생성 모델은 상기 학습데이터의 자기공명 영상 T1맵의 팬텀영역과 보정기준이 되는 레퍼런스 자기공명영상의 팬텀영역의 차이가 줄어들도록 설정된 손실함수를 이용하여 학습되는 모델인
팬텀을 이용한 의료영상 보정장치an input device that receives a magnetic resonance image of the patient;
a storage device for storing a generated model learned to correct the magnetic resonance image; and
An arithmetic device that extracts features of the magnetic resonance image through an encoding layer of the generative model, inputs the extracted features to a decoding layer of the generative model, and outputs a corrected image of the magnetic resonance image;
The magnetic resonance image of the patient is an image of a magnetic resonance image T1 map of the patient's body,
In the process of learning the generation model, the learning data is a magnetic resonance image T1 map taken with the phantom attached to one area of the patient's body,
The generation model is a model that is learned using a loss function set to reduce the difference between the phantom region of the magnetic resonance image T1 map of the training data and the phantom region of the reference magnetic resonance image as a correction standard.
Medical image correction device using phantom 제 7 항에 있어서,
상기 생성 모델은 복수개의 인코딩 레이어 및 복수개의 디코딩 레이어를 포함하는 유넷(U-net)구조인 팬텀을 이용한 의료 영상 보정 장치.According to claim 7,
The generation model is a medical image correction device using a phantom having a U-net structure including a plurality of encoding layers and a plurality of decoding layers. 제 7 항에 있어서,
상기 생성 모델은 상기 자기 공명 영상의 특징을 추출하고 상기 추출된 특징을 이용하여 상기 자기 공명 영상을 재구성하는 오토인코더인 팬텀을 이용한 의료 영상 보정 장치.According to claim 7,
The generating model is an autoencoder that extracts features of the magnetic resonance image and reconstructs the magnetic resonance image using the extracted features. 삭제delete 삭제delete 제 7 항에 있어서,
상기 팬텀은 폴리프로필렌 코폴리머(PPCO) 재질로 형성된 복수개의 투명한 튜브이고, 상기 복수개의 튜브에는 서로 다른 농도의 염화니켈 용액이 삽입되는 팬텀을 이용한 의료 영상 보정 장치.According to claim 7,
The phantom is a plurality of transparent tubes made of a polypropylene copolymer (PPCO) material, and nickel chloride solutions having different concentrations are inserted into the plurality of tubes.
KR1020210008478A 2021-01-21 2021-01-21 Method and device for correcting medical image using phantom KR102481027B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210008478A KR102481027B1 (en) 2021-01-21 2021-01-21 Method and device for correcting medical image using phantom

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210008478A KR102481027B1 (en) 2021-01-21 2021-01-21 Method and device for correcting medical image using phantom

Publications (2)

Publication Number Publication Date
KR20220106247A KR20220106247A (en) 2022-07-29
KR102481027B1 true KR102481027B1 (en) 2022-12-23

Family

ID=82606784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210008478A KR102481027B1 (en) 2021-01-21 2021-01-21 Method and device for correcting medical image using phantom

Country Status (1)

Country Link
KR (1) KR102481027B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019130310A (en) 2018-01-30 2019-08-08 キヤノンメディカルシステムズ株式会社 Magnetic resonance imaging apparatus and image processing apparatus
WO2019180464A1 (en) * 2018-03-23 2019-09-26 Gold Standard Phantoms Limited A phantom for multi-parametric calibration in magnetic resonance imaging
US20200008701A1 (en) 2018-07-06 2020-01-09 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143940B1 (en) * 2018-04-03 2020-08-13 고려대학교 산학협력단 Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems
KR102250164B1 (en) 2018-09-05 2021-05-10 에이아이메딕(주) Method and system for automatic segmentation of vessels in medical images using machine learning and image processing algorithm
KR20200064591A (en) * 2018-11-29 2020-06-08 (주)아이디어 콘서트 Webtoons color customizing programs and applications of deep learning
KR102235880B1 (en) * 2019-03-05 2021-04-05 한국표준과학연구원 Medical Image Correction Apparatus and Method using Patch Type Phantom

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019130310A (en) 2018-01-30 2019-08-08 キヤノンメディカルシステムズ株式会社 Magnetic resonance imaging apparatus and image processing apparatus
WO2019180464A1 (en) * 2018-03-23 2019-09-26 Gold Standard Phantoms Limited A phantom for multi-parametric calibration in magnetic resonance imaging
US20200008701A1 (en) 2018-07-06 2020-01-09 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging

Also Published As

Publication number Publication date
KR20220106247A (en) 2022-07-29

Similar Documents

Publication Publication Date Title
Küstner et al. Retrospective correction of motion‐affected MR images using deep learning frameworks
US10839567B2 (en) Systems and methods for correcting mismatch induced by respiratory motion in positron emission tomography image reconstruction
JP2022544229A (en) 3D Object Segmentation of Localized Medical Images Using Object Detection
US8290568B2 (en) Method for determining a property map of an object, particularly of a living being, based on at least a first image, particularly a magnetic resonance image
BR112016006097B1 (en) Method of evaluating a condition of at least a portion of an animal or human tissue, method of diagnosing a pathological condition of at least a portion of an animal or human tissue, and related device
WO2016033458A1 (en) Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr)
US8831323B2 (en) Method and apparatus for measuring activity of a tracer
Manzke et al. Automatic segmentation of rotational X-ray images for anatomic intra-procedural surface generation in atrial fibrillation ablation procedures
US20230222709A1 (en) Systems and methods for correcting mismatch induced by respiratory motion in positron emission tomography image reconstruction
JP2013223620A (en) Apparatus, method, and program for registration processing of medical image
CN111091539A (en) Network model training method, medical image processing method, device, medium and equipment
Jafari et al. LMISA: A lightweight multi-modality image segmentation network via domain adaptation using gradient magnitude and shape constraint
KR102481027B1 (en) Method and device for correcting medical image using phantom
CN110852993B (en) Imaging method and device under action of contrast agent
CN110327066B (en) Cardiac motion signal acquisition method, cardiac motion signal acquisition apparatus, computer device, and storage medium
CN111612867B (en) Motion artifact correction method, motion artifact correction device, computer equipment and readable storage medium
Gao et al. A dual adversarial calibration framework for automatic fetal brain biometry
Thireou et al. Feasibility study of the use of similarity maps in the evaluation of oncological dynamic positron emission tomography images
Cui et al. A general framework in single and multi-modality registration for lung imaging analysis using statistical prior shapes
Yang et al. Tissue classification for PET/MRI attenuation correction using conditional random field and image fusion
KR102508451B1 (en) Method and device generating fat suppression magnetic resonance image using generative adversarial neural network based on the bloch equation
US11967072B2 (en) Three-dimensional object segmentation of medical images localized with object detection
Kumar et al. CNN-Based Cross-Modal Residual Network for Image Synthesis
TWI548401B (en) Method for reconstruction of blood vessels 3d structure
CN110853738B (en) Imaging method and device under action of contrast agent

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant