KR102210474B1 - 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 - Google Patents
양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 Download PDFInfo
- Publication number
- KR102210474B1 KR102210474B1 KR1020190021241A KR20190021241A KR102210474B1 KR 102210474 B1 KR102210474 B1 KR 102210474B1 KR 1020190021241 A KR1020190021241 A KR 1020190021241A KR 20190021241 A KR20190021241 A KR 20190021241A KR 102210474 B1 KR102210474 B1 KR 102210474B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- positron emission
- emission tomography
- attenuated
- attenuation
- Prior art date
Links
- 238000002600 positron emission tomography Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002238 attenuated effect Effects 0.000 claims abstract description 117
- 238000013135 deep learning Methods 0.000 claims abstract description 98
- 230000008569 process Effects 0.000 claims description 22
- 238000003325 tomography Methods 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010061728 Bone lesion Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229940121896 radiopharmaceutical Drugs 0.000 description 2
- 239000012217 radiopharmaceutical Substances 0.000 description 2
- 230000002799 radiopharmaceutical effect Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000009870 specific binding Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 210000002637 putamen Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/29—Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
- G01T1/2914—Measurement of spatial distribution of radiation
- G01T1/2985—In depth localisation, e.g. using positron emitters; Tomographic imaging (longitudinal and transverse section imaging; apparatus for radiation diagnosis sequentially in different planes, steroscopic radiation diagnosis)
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/428—Real-time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine (AREA)
- Image Processing (AREA)
Abstract
본 발명은 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법에 관한 것으로, 양전자방출 단층촬영 시스템은 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 수집부, 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 영상 생성부, 그리고 영상 생성부에서 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 입력 영상으로 선택하고, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 제어부를 포함한다.
Description
양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법이 제공된다.
양전자방출 단층촬영(positron emission tomography, PET)은 양전자를 방출하는 방사선 의약품을 이용하여 인체에 대한 생리/화학적, 기능적 영상을 3차원으로 나타낼 수 있는 핵의학 검사 방법이다.
현재, 양전자방출 단층 촬영은 각종 암을 진단하는데 주로 활용되며, 암에 대한 감별 진단, 병기 설정, 재발 평가, 치료 효과 판정 등에 유용한 검사로 평가된다.
일반적으로 양전자방출 단층 촬영 기기는 양전자에서 방출되는 2개의 소멸 방사선(감마선)을 검출하여 원 데이터(RAW DATA)를 제공함으로, 해당 원 데이터로부터 신체 어떤 부위에서 방사성 의약품이 얼마나 모여있는 가를 확인하기 위해서는 영상을 보정하여 재구성하는 과정을 거쳐야 한다.
최근에는 x선을 이용하여 영상을 얻는 컴퓨터 단층촬영(Computed Tomography, CT) 또는 자기장 내에서 고주파를 전사하여 영상을 얻는 자기공명영상법(magnetic resonance imaging, MRI)의 추가 촬영을 통해 얻은 해부학적 정보를 이용하여 양전자방출 단층 촬영 영상을 재구성한다.
도 1A는 기존의 양전자방출 단층촬영 영상을 재구성하는 과정을 나타낸 예시도이다.
도 1A에 도시한 바와 같이, 양전자방출 단층 촬영영상을 재구성 알고리즘(ordered subset expectation maximization, OSEM)을 통해 감쇠 보정된 방출 영상(λ-CT)으로 재구성하는 과정에서 x선의 컴퓨터 단층촬영을 통해 얻은 감쇠 영상(μ-CT)을 이용한다.
이와 같이, 추가 촬영으로 얻은 감쇠 영상을 이용하여 영상을 재구성하면, 보다 정확하게 보정이 가능하며 화질이 우수하지만, 추가 촬영을 통해 환자가 받는 방사선량의 양이 늘어난다.
이에, 양전자방출 단층촬영만으로 영상을 재구성할 수 있도록 감쇠 영상(μ-MLAA)과 방출 영상(λ-MLAA)을 동시에 얻을 수 있는 동시 재구성 알고리즘(Maximum Likelihood reconstruction of Attenuation and Activity with Time-Of-Flight, MLAA with TOF)이 연구되고 있다.
도 1B는 양전자방출 단층영상에서 기존의 동시 재구성 알고리즘을 이용하여 감쇠 영상과 방출 영상을 생성하는 과정을 나타낸 예시도이다.
도 1B와 같이, 동시 재구성 알고리즘을 통해 추가 촬영 없이도, 감쇠 영상(μ-MLAA)과 방출 영상(λ-MLAA)을 동시에 얻을 수 있지만, 기존의 추가 촬영을 통해 얻은 감쇠 영상(μ-CT)과는 영상 전체에서 큰 오차를 가진다.
특히, 방출 영상에서 활동성이 높게 나타나는 영역이 감쇠 영상에서 나타나 왜곡시키는 형상(crosstalk artifact)이 발생하기 때문에, 동시 재구성 알고리즘을 이용하여 획득한 감쇠 영상과 방출 영상을 이용하기에는 어려움이 많다.
이에, 감쇠 영상을 얻기 위한 별도의 자기공명영상법(MRI) 또는 컴퓨터 단층촬영(CT)의 촬영 없이도 양전자방출 단층촬영만으로 고품질의 감쇠 영상과 방출 영상을 동시에 획득할 수 있는 기술이 요구된다.
본 발명의 하나의 실시예는 딥러닝 알고리즘을 이용하여 양전자방출 단층촬영 영상만으로 고품질의 감쇠 영상 및 방출 영상을 얻기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템은 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 수집부, 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 생성부, 그리고 생성부에서 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 입력 영상으로 선택하고, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 제어부를 포함한다.
양전자방출 단층촬영 사이노그램에 기초하여 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 양전자방출 단층촬영 사이노그램으로부터 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상과 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시키는 학습부를 더 포함할 수 있다.
학습부는, 딥러닝 알고리즘을 통해 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성하는 영상 생성부, 제2 감쇠 영상과 획득된 감쇠 영상간의 오차를 산출하는 오차 산출부, 그리고 오차 값이 임계치 이하의 값이 되는 최종 감쇠 영상이 생성되도록 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 가중치 조정부를 포함할 수 있다.
영상 생성부는, 딥러닝 알고리즘의 필터를 이용하여 입력 영상으로부터 복수 개의 특징 지도를 생성하고 생성된 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성하며, 다운사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 샘플의 사이즈가 미리 설정된 기준 사이즈에 도달할 때까지 반복하고, 샘플이 미리 설정된 기준 사이즈에 도달하면, 샘플을 미리 설정된 비율로 업사이징하고, 업사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 반복하여 업사이징된 샘플의 사이즈가 최초의 사이즈와 일치하면, 제2 감쇠 영상을 생성할 수 있다.
영상 생성부는, 샘플을 업사이징을 하고 복수개의 특징 지도를 생성할 때 업사이징된 샘플의 사이즈와 동일한 특징 지도를 수집하여 샘플과 합치고, 합쳐진 샘플에서 복수개의 특징 지도를 생성할 수 있다.
제어부는, 영상 생성부에서 생성된 제1 감쇠 영상을 입력 영상으로 선택하거나 제1 감쇠 영상 및 제1 방출 영상을 입력영상으로 선택하여 학습된 딥러닝 알고리즘을 통해 최종 감쇠 영상을 생성할 수 있다.
제어부는, 제1 감쇠 영상 또는 제1 방출 영상에서 일부 복셀 데이터 그룹을 선택하고, 선택한 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 제1 감쇠 영상 또는 제1 방출 영상 전체에 학습된 딥러닝 알고리즘을 적용하여 3D 형태로 최종 감쇠 영상을 생성할 수 있다.
제어부는, 제1 방출 영상과 최종 감쇠 영상을 이용하여 최종 감쇠 영상이 보정된 최종 방출 영상을 생성하여 제공할 수 있다.
본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법은 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 단계, 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 단계, 생성된 제1 감쇠 영상을 입력 영상으로 선택하는 단계, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고 제1 방출 영상과 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계를 포함한다.
본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 사이노그램(PET sinogram)을 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집하는 단계, 생성된 제1 감쇠 영상을 입력 영상으로 선택하는 단계, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고 제1 방출 영상과 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계를 포함한다.
본 발명의 하나의 실시예에 따르면, 추가적인 CT 또는 MRI 촬영 없이 양전자방출 단층 촬영 영상만으로 감쇠 영상을 얻을 수 있어, 환자가 받는 방사선량을 최소화할 수 있다.
본 발명의 하나의 실시예에 따르면, 동시 재구성 기법을 통해 고품질의 감쇠 영상을 얻을 수 있어 양전자방출 단층 촬영 영상을 재구성하는 데 요구되는 비용 및 시간을 절감할 수 있다.
본 발명의 하나의 실시예에 따르면, 동시 재구성 기법으로 인해 발생하는 영상의 잡음과 왜곡 현상(crosstalk artifact)으로 인한 정량적인 오차를 해결하여 고품질의 감쇠 영상을 제공할 수 있다.
도 1A는 기존의 양전자방출 단층촬영 영상을 재구성하는 과정을 나타낸 예시도이다.
도 1B는 양전자방출 단층영상에서 기존의 동시 재구성 알고리즘을 이용하여 감쇠 영상과 방출 영상을 생성하는 과정을 나타낸 예시도이다.
도 2는 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 포함하는 통신 네트워크를 나타낸 예시도이다.
도 3은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 나타낸 구성도이다.
도 4는 본 발명의 하나의 실시예에 따른 학습부를 나타낸 구성도이다.
도 5는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 학습하는 과정을 나타낸 순서도이다.
도 6A, 6B 그리고 6C는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘의 입력 영상을 설명하기 위한 예시도이다.
도 7은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 설명하기 위한 예시도이다.
도 8은 본 발명의 하나의 실시예에 따른 Unet 딥러닝 알고리즘을 통해 학습되는 결과를 비교하기 위한 예시도이다.
도 9A와 9B는 본 발명의 하나의 실시예에 따른 복수의 딥러닝 알고리즘을 통해 생성된 영상을 비교하기 위한 예시도이다.
도 10은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법을 나타낸 순서도이다.
도 11은 본 발명의 하나의 실시예에 따른 3D 패치를 입력 영상 및 출력 영상으로 학습하는 딥러닝 알고리즘을 나타낸 예시도이다,
도 12은 본 발명의 하나의 실시예에 따라 딥러닝 알고리즘을 통해 3D 패치를 이용하여 재구성된 감쇠 영상을 나타낸 예시도이다.
도 13은 본 발명의 하나의 실시예에 따라 3D 패치를 이용하여 재구성된 방출 영상에 대해서 측정한 SUV 오류를 나타낸 예시도이다.
도 14는 본 발명의 하나의 실시예에 따라 재구성된 영상과 CT 기반의 영상에 대해서 ROI 기반의 SUV를 비교한 예시도이다.
도 1B는 양전자방출 단층영상에서 기존의 동시 재구성 알고리즘을 이용하여 감쇠 영상과 방출 영상을 생성하는 과정을 나타낸 예시도이다.
도 2는 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 포함하는 통신 네트워크를 나타낸 예시도이다.
도 3은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 나타낸 구성도이다.
도 4는 본 발명의 하나의 실시예에 따른 학습부를 나타낸 구성도이다.
도 5는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 학습하는 과정을 나타낸 순서도이다.
도 6A, 6B 그리고 6C는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘의 입력 영상을 설명하기 위한 예시도이다.
도 7은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 설명하기 위한 예시도이다.
도 8은 본 발명의 하나의 실시예에 따른 Unet 딥러닝 알고리즘을 통해 학습되는 결과를 비교하기 위한 예시도이다.
도 9A와 9B는 본 발명의 하나의 실시예에 따른 복수의 딥러닝 알고리즘을 통해 생성된 영상을 비교하기 위한 예시도이다.
도 10은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법을 나타낸 순서도이다.
도 11은 본 발명의 하나의 실시예에 따른 3D 패치를 입력 영상 및 출력 영상으로 학습하는 딥러닝 알고리즘을 나타낸 예시도이다,
도 12은 본 발명의 하나의 실시예에 따라 딥러닝 알고리즘을 통해 3D 패치를 이용하여 재구성된 감쇠 영상을 나타낸 예시도이다.
도 13은 본 발명의 하나의 실시예에 따라 3D 패치를 이용하여 재구성된 방출 영상에 대해서 측정한 SUV 오류를 나타낸 예시도이다.
도 14는 본 발명의 하나의 실시예에 따라 재구성된 영상과 CT 기반의 영상에 대해서 ROI 기반의 SUV를 비교한 예시도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 포함하는 통신 네트워크를 나타낸 예시도이다.
도 2에 도시한 바와 같이, 양전자방출 단층 촬영 기기(100), 양전자방출 단층촬영 시스템(200) 그리고 사용자 단말(300)은 서로 네트워크로 연결되어 데이터를 송수신한다.
여기서 네트워크는 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.
먼저, 양전자방출 단층촬영 기기(100)는 양전자 단층촬영(PET) 스캐너로, 원통형으로 형성되어 동시에 방출되는 2개의 소멸 방사선을 검출할 수 있다.
이때, 양전자방출 단층촬영 기기(100)는 컴퓨터 단층촬영(CT) 또는 자기공명영상법(magnetic resonance imaging, MRI)과 결합된 형태가 아닌, 단독으로 구성된다.
다음으로 양전자방출 단층촬영 시스템(200)은 양전자방출 단층촬영 기기(100)와 직접적으로 연결되거나 또는 저장 장치(미도시함)을 통해서 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집한다.
양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘을 통해 수집한 양전자방출 단층촬영 사이노그램에서 제1 방출 영상과 제1 감쇠 영상을 생성한다. 그리고 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 제공한다.
학습된 딥러닝 알고리즘은 다른 영상 기기로부터 생성된 감쇠 영상과 임계치 이하의 오차값을 가지는 최종 감쇠 영상이 생성되도록 하는 인공 신경망을 나타낸다.
이때, 양전자방출 단층촬영 시스템(200)은 최종 감쇠 영상을 생성하기 위해 제1 감쇠 영상과 다른 영상 기기로부터 생성된 감쇠 영상을 이용하여 딥러닝 알고리즘을 반복 학습시켜 학습된 딥러닝 알고리즘을 구축할 수 있다.
한편, 도 2에서는 양전자방출 단층촬영 기기(100)와 양전자방출 단층촬영 시스템(200)을 별도의 기기로 도시하였지만, 추후 관리자에 의해 양전자방출 단층촬영 기기(100)에 양전자방출 단층촬영 시스템(200)이 장착될 수 있다.
다음으로 사용자 단말(300)은 의료 기기 관리자 또는 양전자방출 단층촬영 영상을 분석하는 의료진의 단말을 나타내며, 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
사용자 단말(300)은 양전자방출 단층촬영 기기(100) 또는 양전자방출 단층촬영 시스템(200)과 연동되어 양전자방출 단층촬영 사이노그램 및 최종 감쇠 영상을 디스플레이 하거나 저장하여 관리할 수 있다.
이하에서는 도 3 및 도 4를 이용하여 학습된 딥러닝 알고리즘을 통해 양전자방출 단층 영상을 재구성하는 양전자방출 단층촬영 시스템(200)에 대해서 상세하게 설명한다.
도 3은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 나타낸 구성도이고, 도 4는 본 발명의 하나의 실시예에 따른 학습부를 나타낸 구성도이다.
도 3에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 수집부(210), 생성부(220), 제어부(230), 그리고 학습부(240)를 포함한다.
먼저, 수집부(210)는 양전자방출 단층촬영 사이노그램을 수집한다. 양전자방출 단층촬영 사이노그램은 양전자방출 단층촬영 기기(100)로부터 생성된 원데이터(Raw data)를 나타낸다.
다음으로 생성부(220)는 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상 및 제1 감쇠 영상을 생성한다.
여기서, 동시 재구성 알고리즘은 MLAA (A. Rezaei, et al. (2012), Simultaneous reconstruction of activity and attenuation in time-of-flight PET, Trans Med Imaging), MLAA-GMM (A. Mehranina and H. Zaidi (2015), Trans Med Imaging), SMLGA-MLAA (S.C. Cade, et al. (2013), Use of measured scatter data for the attenuation correction of single photon emission tomography without transmission scanning, Med Phys), MLACF(M. Defrise, et al. (2014) Transmission-less attenuation correction in time-of-flight PET: analysis of a discrete iterative algorithm, Phys Med Biol) 등을 포함할 수 있으나 이에 한정하는 것은 아니다.
제어부(230)는 생성부(220)에서 생성된 영상을 입력영상으로 선택하고, 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공한다.
제어부(230)는 입력영상으로 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 선택할 수 있다. 예를 들어, 제어부(230)는 제1 감쇠 영상만을 선택하거나 제1 방출 영상과 제1 감쇠 영상을 선택할 수 있다.
또한 제어부(230)는 입력영상으로 제1 감쇠 영상 중에서 복셀 데이터 그룹을 선택하거나 제1 방출 영상과 제1 감쇠 영상에서 각각 복셀 데이터 그룹을 선택할 수 있다. 여기서 복셀 데이터 그룹은 미리 설정된 매트릭스 사이즈로 2D 슬라이스(2D slice), 3D 패치(3D patch), 3D 영상 전체를 포함할 수 있으나, 이에 한정하는 것은 아니다.
그리고 학습부(240)는 최종 감쇠 영상을 생성하는 딥러닝 알고리즘을 반복 학습시켜 학습된 딥러닝 알고리즘을 구축한다.
학습부(240)는 양전자방출 단층촬영 사이노그램에 기초하여 동일인에 대한 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 입력 영상과 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시킨다.
여기서, 획득된 감쇠 영상은 양전자방출 단층촬영 기기(100)와는 상이한 의료 기기를 통해 촬영하여 획득된 감쇠 영상을 나타낸다. 예를 들어, 컴퓨터 단층촬영(CT) 또는 자기공명영상법(magnetic resonance imaging, MRI)와 같은 의료 기기를 통해 획득된 감쇠 영상을 포함할 수 있다.
도 4에 도시한 바와 같이, 학습부(240)는 영상 생성부(241), 오차 산출부(242) 그리고 가중치 조정부(243)을 포함한다.
먼저, 영상 생성부(241)는 딥러닝 알고리즘을 통해 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성한다.
여기서, 딥러닝 알고리즘은 영상 처리에 특화되었다고 알려진 콘볼루션 신경망(CNN, convolutional neural network)이나 생성적 적대 신경망(GAN, generative adversarial network (I. Goodfellow, et al. (2014), Generative Adversarial Network, NIPS)등을 포함하지만, 이에 한정하는 것은 아니다.
콘볼루션 신경망(CNN)의 예로는 VGGNet (K. Simonyan, A. Zisserman, (2015), Very Deep Convolutional Networks for Large-Scale Image Recognition, ICLR), ResNet (K. He, et al. (2016), Deep Residual Learning for Image Recognition, CVPR), DnCNN (K. Zhang, etl al. (2016), Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising, Trans Image Processing), DenseNet (G. Huang, et al. (2017), Densely Connected Convolutional Networks, CVPR) 등을 들 수 있다.
그리고 생성적 적대 신경망(Generative Adversarial Network: GAN)은 원본 데이터 분포와 유사한 이미지를 생성하기 위한 머신 러닝으로, 진짜 같은 가짜를 쉽고 빠르게 만들 수 있는 기술로 활용되고 있다. 생성적 적대 신경망(GAN)은 생성자(Generator: G)와 판별자(Discriminator: D)의 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 생성해낸다. 생성자(G)는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별자(D)는 생성자(G)가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.
다음으로 오차 산출부(242)는 제2 감쇠 영상과 획득된 감쇠 영상간의 오차 값을 산출한다.
오차 산출부(242)는 다이스 계수(Dice coefficient), 퍼센트 오차, Bias-RMSE(Bias and root-mean square error), 비용 함수 등을 이용하여 오차 값을 산출할 수 있으며, 이에 한정하는 것은 아니다.
그리고 가중치 조정부(243)는 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시킨다. 그리고 가중치 조정부(243)는 오차 산출부(242)에서 산출된 오차 값이 임계치 이하의 값이 되면, 학습을 종료하도록 제어할 수 있다.
이와 같이 학습부(240)는 양전자방출 단층촬영 사이노그램에서 생성된 제1 감쇠 영상이 획득된 감쇠 영상과 일치하는 방향으로 학습된 딥러닝 알고리즘을 구축할 수 있다.
한편, 양전자방출 단층촬영 시스템(200)은 서버, 단말, 또는 이들이 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이하에서는 도 5 내지 도 9B를 이용하여 양전자방출 단층촬영 시스템(200)의 딥러닝 알고리즘을 학습하는 방법 및 결과에 대해서 상세하게 설명한다.
도 5는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 학습하는 과정을 나타낸 순서도이고, 도 6A, 6B 그리고 6C는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘의 입력 영상을 설명하기 위한 예시도이다.
도 7은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 설명하기 위한 예시도이고, 도 8은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 통해 학습되는 결과를 비교하기 위한 예시도이다.
도 5에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 양전자방출 단층촬영 사이노그램과 대응하여 추가 촬영을 통해 획득된 감쇠 영상을 수집한다(S510).
양전자방출 단층촬영 시스템(200)은 동일인의 양전자방출 단층촬영 사이노그램과 CT 의료 기기의 촬영으로 획득된 감쇠 영상을 수집한다.
이때, 양전자방출 단층촬영 시스템(200)은 실시간으로 각각의 의료 기기에 연동되어 촬영 영상을 수집할 수 있고 별도의 데이터베이스(미도시함)에 접속하여 영상을 수집할 수 있다.
다음으로 양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성한다(S520). 그리고 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘에 적용할 입력 영상을 선택한다(S530).
예를 들어, 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상을 입력 영상으로 선택하거나 제1 방출 영상과 제1 감쇠 영상을 입력 영상으로 선택할 수 있다.
도 6A는 양전자방출 단층촬영 시스템(200)이 입력 영상으로 제1 감쇠 영상(μ-MLAA)를 선택하여 딥러닝 알고리즘(CNN)에 적용하여 최종 감쇠 영상(μ-CNN)을 생성하는 과정을 나타낸다. 그리고 도 6B는 양전자방출 단층촬영 시스템(200)이 입력 영상으로 제1 방출 영상(λ-MLAA)와 제1 감쇠 영상(μ-MLAA)를 선택하여 딥러닝 알고리즘(CNN)에 적용하여 최종 감쇠 영상(μ-CNN)을 생성하는 과정을 나타낸다.
한편, 6C에서 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)이 입력 영상으로 2차원의 슬라이스 형태를 선택하여 딥러닝 알고리즘을 통해 2차원의 슬라이스로 최종 감쇠 영상을 생성할 수 있다.
이처럼 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상 또는 제1 방출 영상과 제1 감쇠 영상을 복수개의 복셀 데이터 그룹으로 3차원 패치 형태로 선택할 수 있다.
다시 말해, 양전자방출 단층촬영 시스템(200)은 학습 알고리즘에 입력되는 영상의 종류를 선택할 수 있고, 선택된 영상에 대해 2D 슬라이스, 3D 패치 또는 3D 영상 전체와 같은 형태를 선택할 수 있다.
다음으로 양전자방출 단층촬영 시스템(200)은 선택된 입력 영상을 딥러닝 알고리즘에 적용하여 제2 감쇠 영상을 생성한다(S540).
도 7에 도시한 바와 같이 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘에 입력 영상을 적용하여 좌측에서 우측 방향으로 학습시킨다.
도 7은 입력 영상으로 제1 감쇠 영상(Attenuation)과 제1 방출 영상(Activity)을 2D 슬라이스 형태로 선택한 것으로, CAE, Unet, Hybird 등의 다양한 딥러닝 알고리즘 중에서 UNet 딥러닝 알고리즘을 통해 학습하는 과정을 예시한다.
그리고 도 7에서 각각의 상자형태는 다중 채널 기능 맵을 나타내며, 각 다중 채널 기능 맵에 연계되는 개수 및 크기는 하나의 예시로 추후에 관리자에 의해 용이하게 설계 및 변경 가능하다.
먼저, 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘의 필터를 이용하여 입력 영상으로부터 복수 개의 특징 지도를 생성한다.
도 7에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상(Attenuation)과 제1 방출 영상(Activity)의 사이즈(200*200)에서 필터를 이용한 회선을 통해 여러 장의 특징 지도(feature map)을 생성한다. 여기서 특징 지도는 2개로 각각 20장으로 도시하였지만, 이에 한정하는 것은 아니며, 추후에 관리자에 의해 변경 및 설계 가능하다.
다음으로 양전자방출 단층촬영 시스템(200)은 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성한다(Max pooling 20, 100*100). 이러한 과정을 풀링(Pooling)이라고 하며, 도 7에서는 최대값을 이용하는 맥스 풀링(Max pooling)을 이용하였지만 이에 한정하는 것은 아니다.
그리고 양전자방출 단층촬영 시스템(200)은 다운사이징한 샘플(100*100)에서 필터를 이용한 회선을 통해 여러 장의 특징 지도 (feature map)을 생성한다.
다시 양전자방출 단층촬영 시스템(200)은 복수개의 특징 지도들을 이용하여 미리 설정된 비율로 다운사이징된 샘플을 생성한다(Max pooling 40, 50*50). 그리고 양전자방출 단층촬영 시스템(200)은 다운사이징한 샘플(50*50)에서 필터를 이용한 회선을 통해 여러 장의 특징 지도 (feature map)을 생성한다.
다시 말해, 양전자방출 단층촬영 시스템(200)은 다운사이징된 샘플의 사이즈가 미리 설정된 기준 사이즈에 도달할 때까지 반복하여 특징지도를 생성하고 다운사이징을 수행한다.
그리고 다운사이징된 샘플의 사이즈(Max pooling 80, 25*25)가 미리 설정된 기준 사이즈에 도달하면, 양전자방출 단층촬영 시스템(200)은 해당 복수개의 특징 지도들을 이용하여 미리 설정된 비율로 업사이징하고(Deconv 80, 50*50), 업사이징된 샘플의 사이즈와 동일한 사이즈의 다운사이징된 특징 지도(50*50)를 수집한다.
양전자방출 단층촬영 시스템(200)은 필터를 걸쳐 생성되는 특징 지도가 다듬어지는(smoothing) 경향을 보완하기 위해 다운사이징 전의 샘플(Copy & Concat)을 수집하여 업사이징된 샘플과 합친다.
도 7의 73과 같이, 샘플을 업사이징되는 단계부터 동일한 사이즈의 특징지도를 수집하여 합치고, 합쳐진 샘플에서 특징지도를 생성한다. 그리고 복수개의 특징 지도들을 이용하여 미리 설정된 비율로 업사이징하고(Deconv 40, 100*100), 동일한 사이즈의 특징 지도를 수집하여 합치고(72), 합쳐진 샘플에서 특징지도를 생성한다.
양전자방출 단층촬영 시스템(200)은 최초의 입력 영상의 사이즈와 동일해질 때까지 해당 과정을 반복하여 특징지도를 생성한다. 그리고 양전자방출 단층촬영 시스템(200)은 초의 입력 영상의 사이즈와 동일한 제2 감쇠 영상을 생성할 수 있다.
한편, 양전자방출 단층촬영 시스템(200)은 Hybrid 딥러닝 알고리즘과 같이, 업사이징된 샘플의 사이즈가 최초 영상 입력 사이즈와 동일하면, 동일한 사이즈의 특징 지도를 수집하지 않을 수 있다. 다시 말해 최초 생성된 특징 지도에 노이즈가 많이 포함될 가능성에 따라서 처음 생성된 특징 지도를 수집하여 업사이징된 샘플과 합하는 단계(도 7의 71)를 제외할 수 있다.
다음으로 양전자방출 단층촬영 시스템(200)은 제2 감쇠 영상과 획득된 감쇠 영상간의 오차를 산출한다(S550).
양전자방출 단층촬영 시스템(200)은 다이스 계수(Dice coefficient), 퍼센트 오차, Bias-RMSE(Bias and root-mean square error), 비용 함수등을 이용하여 오차 값을 산출할 수 있다.
예를 들어, 양전자방출 단층촬영 시스템(200)은 수학식 1을 통해 딥러닝 알고리즘을 통해 생성된 제2 감쇠 영상과 획득된 감쇠 영상간의 다이스 계수(Dice coefficient)를 산출하여 두 영상간 유사성을 비교할 수 있다.
다시 말해, 각 영상에서의 뼈와 공기 영역의 중첩을 측정한 다이스 계수를 이용하여 유사성을 비교할 수 있다,
[수학식 1]
다이스 계수(Dice coefficient) 값은 0에서 1의 값을 가지며, 0에 가까울수록 유사도가 낮고 1에 가까울수록 유사도가 높게 나타난다.
이때, 양전자방출 단층촬영 시스템(200)은 다이스 계수를 이용하여 유사성을 산출하면, 산출된 유사성에 기초하여 오차를 추정할 수 있다.
한편, 양전자방출 단층촬영 시스템(200)은 영상에 관심 영역을 설정하고 제2 감쇠 영상과 획득된 감쇠 영상에서의 퍼센트 오차를 계산하여 오차를 산출할 수 있다.
이외에도 양전자방출 단층촬영 시스템(200)은 제2 감쇠 영상과 획득된 감쇠 영상간의 오차 또는 유사도를 측정 가능한 다양한 방법들을 포함할 수 있다.
그리고 양전자방출 단층촬영 시스템(200)은 산출된 오차값과 미리 설정된 임계치와 비교한다(S560).
이때, 양전자방출 단층촬영 시스템(200)은 오차 값이 미리 설정된 임계치보다 크면 딥러닝 알고리즘에 포함된 필터의 가중치를 재조정한다(S770).
한편, 딥러닝 알고리즘을 최초 학습하는 과정에서는 복수의 필터에 적용되는 가중치는 무작위로 초기화되었으며, 학습을 통해 생성된 제2 감쇠 영상이 획득된 감쇠 영상에 가까워지도록 각각의 가중치들을 재조정한다.
그리고 양전자방출 단층촬영 시스템(200)은 재조정된 필터의 가중치를 포함하는 딥러닝 알고리즘으로 다시 S540 단계로 회귀한다. 이처럼 양전자방출 단층촬영 시스템(200)은 S540단계에서 S570단계를 반복하면서 생성된 제2 감쇠 영상과 획득된 감쇠 영상(μ-CT )의 일치도를 향상시킬 수 있다.
한편, S560 단계에서 오차 값이 미리 설정된 임계치보다 작으면 양전자방출 단층촬영 시스템(200)은 필터의 가중치가 적용된 학습된 딥러닝 알고리즘을 생성한다(S580). 이처럼 양전자방출 단층촬영 시스템(200)은 학습된 딥러닝 알고리즘을 구축하고, 학습된 알고리즘을 저장하여 관리할 수 있다.
이때, 양전자방출 단층촬영 시스템(200)은 복수 개의 딥러닝 알고리즘을 학습시키고 기준이 되는 획득된 감쇠 영상(Grount Truth, μ-CT)과의 오차가 가장 작은 딥러닝 알고리즘을 선택하여 구축할 수 있다.
도 8은 딥러닝 알고리즘의 입력영상 (Inputs, λ-MLAA,μ-MLAA)과 최종 감쇠 영상(μ-Unet), 획득된 감쇠 영상(Grount Truth, μ-CT)을 나타낸 예시도이다.
도 8에 도시한 바와 같이, 뇌의 관상면(Coronal), 시상면(Sagittal), 그리고 수평면(transaxial)에 있어서, 동시 재구성 알고리즘을 통해 생성된 제1 방출영상(λ-MLAA) 및 제1 감쇠영상(μ-MLAA)은 영상 자체에 노이즈가 많을 뿐 아니라 제1 방출영상(λ-MLAA)에서 활동성이 높게 나타난 부분(붉은 계열 색상)이 제1 감쇠영상(μ-MLAA)에 나타나는 것을 알 수 있다.
상세하게 도 8에 도시한 복수 개의 화살표는 MLAA 알고리즘을 통해 잘 추정되지 않아 CT와 큰 차이를 나타내는 영역으로, 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상(μ-Unet)에서 크게 개선된 영역을 나타낸다.
먼저, 노란색 화살표는 방출 영상에서 활동성이 높게 나타나는 영역이 감쇠 영상에서 나타나 왜곡시키는 형상(crosstalk artifact)을 가리킨다. μ-MLAA와 μ-CT을 비교하면, μ-MLAA에서 노란색 화살표가 가리키는 부분이 낮게 추정되어 상대적으로 어둡게 표시된 것을 알 수 있다. 반면, μ-Unet에서는 이러한 현상이 개선된 것을 확인할 수 있다.
다음으로 주황색 화살표는 두개골 영역을 가리키는데, μ-MLAA에서 두개골 앞쪽 부분은 μ-CT보다 두껍게 추정되고, 뒤쪽 부분은 μ-CT보다 얇게 추정되는 경향을 알 수 있다. 반면 μ-Unet에서는 μ-CT와 거의 비슷한 두께로 개선된 것을 확인할 수 있다.이처럼 Unet 딥러닝 알고리즘을 통해 최종 감쇠 영상(μ-Unet)은 제1 감쇠영상(μ-MLAA)에 비해 화질이 뚜렷하며, 앞서 말한 노이즈와 artifact로 인해 정량적인 오차를 최소화된 것을 알 수 있다. 더불어 CT 촬영으로 획득된 감쇠 영상(μ-CT)과 매우 유사한 것을 알 수 있다. 아래의 표 1은 양전자방출 단층촬영 시스템(200)은 다이스 계수를 이용하여 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상과 획득된 감쇠 영상간의 유사도를 산출한 결과이다.
[표 1]
표 1를 보면, 전체 머리(Whole Head)와 두개골 영역(Cranial Region)에서 측정한 감쇠 영상을 기초하여 비교한 것으로, 전체 머리를 나타내는 감쇠 영상에 비해 두개골 영역을 나타내는 감쇠 영상에서 전체적으로 다이스 계수가 높은 것을 알 수 있다.
그리고 CNN(Hybrid), CNN(U-net), CNN(CAE)에서 생성된 최종 감쇠 영상이 MLAA에서 생성된 제1 감쇠 영상에 비해 획득된 감쇠 영상과 유사도가 높은 것을 확인할 수 있다.
이하에서는 도 9를 이용하여 동시 재구성 알고리즘을 통해 생성된 제1 감쇠 영상, 다양한 딥러닝 알고리즘을 이용하여 생성된 최종 감쇠 영상들과 CT를 통해 획득된 감쇠 영상을 비교한다.
도 9A와 9B는 본 발명의 하나의 실시예에 따른 복수의 딥러닝 알고리즘을 통해 생성된 영상을 비교하기 위한 예시도이다.
먼저, 도 9A의 (A)에 도시한 바와 같이, 시상면(Sagittal)의 영상에 대해 RMSE 오차값을 생성하여 나타낸 그래프를 보면, 제일 높은 오차를 갖는 영상은 가장 우측에 있는 제1 감쇠영상(μ-MLAA)이며, 다음으로 CAE, Unet, Hybrid임을 알 수 있다.
특히, MLAA와 Hybrid 의 감쇠 영상을 비교하면, MLAA의 감쇠 영상에서 나타나는 오류를 Hybrid로 생성된 감쇠 영상에서 50% 이하로 감소 시킨 것을 확인할 수 있다.
도 9A의 (B)에서 ①, ②, ③는 도 9A의 (A)에서 ①, ②, ③의 각 위치와 대응되는 결과로, 뇌의 수평면에 대한 제1 감쇠영상(μ-MLAA), CAE, Unet, Hybrid 그리고 CT 영상으로 획득된 감쇠 영상을 감쇠 영상을 나타낸다. 도 9A의 (B)를 살펴보면, Hybrid 딥러닝 알고리즘으로 생성된 제2 감쇠 영상이 획득된 감쇠 영상(CT)와 가장 유사함을 확인할 수 있다.
도 9B의 (A)는 제1 감쇠영상(μ-MLAA), 딥러닝 알고리즘을 통한 감쇠 영상(CAE, Unet, Hybrid)에 대해 계산된 퍼센트 오차를 나타낸 그래프이다. 그리고 도 9B의 (B)는 제1 감쇠영상(μ-MLAA), 딥러닝 알고리즘을 통한 감쇠 영상(CAE, Unet, Hybrid)에 대해 특이적 결합비(Binding ratio)를 측정하고, 계산된 퍼센트 오차를 나타낸 그래프이다.
도 9B의 (A)에는, 소뇌(cerebellum), 후두엽 피질(Occipital cortex), 후단머리(Caudate head), 그리고 피질하 영역인 조가비핵(Putamen) 인 네 부위의 영역에 대해서 관심영역을 설정하고, 각 영역에 대해 획득된 감쇠 영상(CT)과의 퍼센트 오차를 산출한 값을 나타낸다.
도 9B의 (A)에서 각각의 산출된 퍼센트 오차값에서 긴 세로상자는 표준 편차를 나타내고, 해당 긴 세로 상자 안의 수평 막대는 중앙 값을 나타낸다.
도 9B의 (A)에서 중앙값을 기준을 기준으로 비교해보면, MLAA의 감쇠 영상과 CAE에 의한 감쇠 영상은 가장 오차가 큰 것으로 보이고, Unet및 Hybrid의 딥러닝 알고리즘을 통한 감쇠 영상은 퍼센트 오차 값이 작은 것을 알 수 있다.
다음으로 도 9B의 (B)는 도 9B의 (A)에서 선정한 관심영역과 동일한 영역에 대해서 특이적 결합비를 측정하고, 각 영역에 대해 획득된 감쇠 영상(CT)과의 퍼센트 오차를 산출한 값을 나타낸다.
도 9B의 (B)에서 각각의 산출된 퍼센트 오차값에서 긴 세로상자는 표준 편차를 나타내고, 해당 긴 세로 상자 안의 수평 막대는 중앙 값을 나타낸다.
도 9B의 (B)에서 중앙값을 기준을 기준으로 비교해보면, MLAA의 제1 감쇠 영상은 10% 이상의 오차를 보이기도 하는 반면, 딥러닝 알고리즘을 통한 감쇠 영상들(CAE, Unet, Hybrid)는 모두 5% 내외의 매우 적은 오차를 가지는 것을 확인할 수 있다.
이처럼 본 발명에서 제안하는 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상은 획득된 감쇠 영상(CT)과 매우 높은 유사도를 가지며, MLAA의 제1 감쇠 영상에 비해 노이즈 및 오차가 크게 감소된 것을 확인할 수 있다.
이하에서는 학습된 딥러닝 알고리즘을 이용하여 실시간으로 수집된 양전자방출 단층촬영 사이노그램을 이용하여 최종 감쇠 영상 및 최종 방출 영상을 생성하는 과정에 대해서 상세하게 설명한다.
도 10은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법을 나타낸 순서도이다.
양전자방출 단층촬영 시스템(200)은 양전자단층 촬영 사이노그램을 수집한다(S1010). 그리고 양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성한다(S1020).
이때, 양전자방출 단층촬영 시스템(200)은 양전자 단층 촬영 사이노그램을 수집하지 않고, 양전자 단층 촬영 사이노그램에서 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집할 수 있다.
다시 말해, 양전자방출 단층촬영 시스템(200)은 S1010과 S1020 단계를 거치지 않고, 연동되는 외부 장치 또는 데이터베이스에서 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집하는 단계가 대체될 수 있다.
다음으로 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘에 적용할 입력 영상을 선택한다(S1030).
양전자방출 단층촬영 시스템(200)은 학습 알고리즘에 입력되는 영상의 종류를 선택할 수 있고, 선택된 영상에 대해 2D 슬라이스, 3D 패치 또는 3D 영상 전체와 같은 형태를 선택할 수 있다.
이하에서는 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상에서 복셀 데이터 그룹을 선택하는 경우(CNN1)와 제1 방출 영상과 제1 감쇠 영상에서 각각 복셀 데이터 그룹을 선택하는 경우(CNN2)로 가정하고 설명한다.
다음으로 양전자방출 단층촬영 시스템(200)은 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공한다(S1040).
양전자방출 단층촬영 시스템(200)은 선택된 입력 영상의 종류 및 형태에 기초하여 대응되는 학습된 딥러닝 알고리즘을 선택할 수 있다.
도 11은 본 발명의 하나의 실시예에 따른 3D 패치를 입력 영상 및 출력 영상으로 학습하는 딥러닝 알고리즘을 나타낸 예시도이다,
도 11에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘을 통해 생성된 제1 방출 영상과 제1 감쇠 영상에서 각각 복셀 데이터 그룹을 선택할 수 있다.
여기서, 딥러닝 알고리즘의 입력 영상으로 제1 감쇠 영상에서 3D 패치를 선택하는 경우(CNN1)과 제1 방출 영상과 제1 감쇠 영상에서 각각 3D 패치를 선택하는 경우(CNN2)로 구분될 수 있다.
또한, 모든 입력 및 레이블은 32*32*32의 매트릭스 크기로 사용될 수 있으며, 이러한 매트릭스 크기는 하나의 예시로 정육면체의 형태에 국한되지 않으며, 추후에 용이하게 변경 및 설계 가능하다.
양전자방출 단층촬영 시스템(200)은 도 5를 통해 설명한 딥러닝 알고리즘 학습 방법과 동일하게, 입력 영상에서 특징 지도를 산출하고, 사이즈를 조정하면서, CT영상으로부터 획득한 감쇠 영상에 가까워지도록 딥러닝 알고리즘 필터의 가중치를 조정한다.
양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘을 통해 산출한 3D 패치 형태의 제2 감쇠 영상과 CT영상으로부터 획득한 감쇠 영상간의 비용 함수를 이용하여 오차값을 산출할 수 있으며, 비용 함수를 최소화하는 방향으로 딥러닝 알고리즘의 필터 가중치를 재조정하며 학습을 반복한다.
이와 같이, 양전자방출 단층촬영 시스템(200)은 학습된 딥러닝 알고리즘을 통해 3D 패치 형식의 입력 영상을 통해 3D 패치 형식의 최종 감쇠 영상을 생성할 수 있다.
이때, 양전자방출 단층촬영 시스템(200)은 입력의 형태가 2D 슬라이스나 3D 패치 형태 여부에 상관없이 최종 감쇠 영상이 3D 영상의 형태로 도출한다. 예를 들어 입력 형태가 2D 슬라이스이면 양전자방출 단층촬영 시스템(200)은 복수개의 2D 슬라이스를 조합하여 최종 감쇠 영상으로 3D 영상을 생성할 수 있다. 도 12은 본 발명의 하나의 실시예에 따라 딥러닝 알고리즘을 통해 3D 패치를 이용하여 재구성된 감쇠 영상을 나타낸 예시도이다.
도 12에 도시한 바와 같이, 동시 재구성 알고리즘을 통해 생성된 제1 방출영상(MLAA act(λ)) 및 제1 감쇠영상(MLAA atn(μ))은 노이즈 및 왜곡 현상(crosstalk artifact)이 심하게 나타나는 것을 알 수 있다.
또한, 제1 감쇠 영상에서 3D 패치를 선택하는 경우(CNN1)과 제1 방출 영상과 제1 감쇠 영상에서 각각 3D 패치를 선택하는 경우(CNN2)를 CT영상으로부터 획득한 감쇠 영상(CT-based)와 비교해보면, CNN1보다 CNN2에서 CT-based 영상과 높은 유사도를 갖는 것을 확인할 수 있다.
자세하게는 CNN1보다 CNN2에서 노이즈가 대폭 감소되었고 향상된 골격 식별을 확인할 수 있다. 이에 제1 방출 영상과 제1 감쇠 영상을 모두 이용하여 학습된 딥러닝 알고리즘에 적용하는 방안(CNN2)이 해부학적 세부 사항 측면에서 보다 나은 결과를 가지는 것을 알 수 있다.
한편, MLAA, CNN1, CNN2과 CT 영상으로부터 획득한 감쇠 영상을 아래 수학식 2를 통해 다이스 계수를 산출하면 다음 표 2와 같다.
[수학식 2]
[표 2]
다이스 계수의 값이 1에 가까울수록 유사도가 높은 것을 의미하기 때문에, 표 1을 통해 CNN2로 생성된 최종 감쇠 영상은 가장 높은 유사도를 가지는 것을 확인할 수 있다,
이처럼, 2D 슬라이스뿐 아니라 3D 패치 형식을 이용하여 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상도 획득된 감쇠 영상(CT)과 매우 높은 유사도를 가지며, MLAA의 제1 감쇠 영상에 비해 노이즈 및 오차가 크게 감소된 것을 확인할 수 있다.
다음으로 양전자방출 단층촬영 시스템(200)은 제1 방출 영상과 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공한다(S1050).
양전자방출 단층촬영 시스템(200)은 재구성 알고리즘(OSEM)을 이용하여 감쇠 보정된 최종 방출 영상을 재구성할 수 있다,
도 13은 본 발명의 하나의 실시예에 따라 3D 패치를 이용하여 재구성된 방출 영상에 대해서 측정한 SUV 오류를 나타낸 예시도이다.
도 13은 수학식 3을 이용하여 재구성된 방출 영상에서 SUV 오류를 측정하고 MLAA 및 CNN 결과를 사용하여 감쇠 보정의 정확도를 비교한 도면이다.
[수학식 3]
여기서, λ*에는 MLAA, CNN1 또는 CNN2 중에서 하나의 방출 영상을 나타낸다.
도 13에 도시한 바와 같이, CNN1과 CNN2는 모두 CT 기반 감쇠 보정에 비해 오류를 현저하게 줄였으며, CNN2는 절대 오류(Absolute difference) 및 퍼센트 오류(Percent difference)가 가장 적게 나타나는 것을 알 수 있다.
다음으로, 도 14는 본 발명의 하나의 실시예에 따라 재구성된 영상과 CT 기반의 영상에 대해서 ROI 기반의 SUV를 비교한 예시도이다.
도 14에서는 뼈 병변이 있는 관심영역(ROI)을 기반으로 SUV를 비교한 결과를 나타낸다. 상세하게는 뼈 병변이 있는 관심영역(ROI)에 대한 각각의 MLAA, CNN1 또는 CNN2 영상과 CT 기반의 영상간의 상관관계를 나타낸 그래프들로, 기준선 Y=X에 근접할수록 상관관계가 높게 나타난다.
CNN1과 CNN2는 MLAA에 비해 기준선 Y=X에 대해 더 나은 일관성을 가지는 것을 알 수 있다. 특히 CNN2의 상관관계의 값이 더 높은 것을 확인할 수 있다.
이와 같이 본 발명에 따르면, 별도의 CT 또는 MRI와 같은 의료 기기의 촬영 과정 없이도 동시 재구성 기법으로 인해 발생하는 영상의 잡음과 왜곡 현상(crosstalk artifact)으로 인한 정량적인 오차를 해결하여 고품질의 감쇠 영상을 제공할 수 있다.
본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 양전자방출 단층촬영 기기 200: 양전자방출 단층촬영 시스템
210: 수집부 220: 생성부
230: 제어부 240: 학습부
241: 영상 생성부 242: 오차 산출부
243: 가중치 조정부 300: 사용자 단말
210: 수집부 220: 생성부
230: 제어부 240: 학습부
241: 영상 생성부 242: 오차 산출부
243: 가중치 조정부 300: 사용자 단말
Claims (15)
- 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 수집부,
상기 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 생성부, 그리고
상기 생성부에서 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 입력 영상으로 선택하고, 상기 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 제어부
를 포함하는 양전자방출 단층촬영 시스템.
- 제1항에서,
상기 양전자방출 단층촬영 사이노그램에 기초하여 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 상기 양전자방출 단층촬영 사이노그램으로부터 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상과 상기 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시키는 학습부를 더 포함하는 양전자방출 단층촬영 시스템.
- 제2항에서,
상기 학습부는,
상기 딥러닝 알고리즘을 통해 상기 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성하는 영상 생성부,
상기 제2 감쇠 영상과 상기 획득된 감쇠 영상간의 오차를 산출하는 오차 산출부, 그리고
상기 오차 값이 임계치 이하의 값이 되는 최종 감쇠 영상이 생성되도록 상기 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 가중치 조정부를 포함하는 양전자방출 단층촬영 시스템.
- 제3항에서,
상기 영상 생성부는,
상기 딥러닝 알고리즘의 필터를 이용하여 상기 입력 영상으로부터 복수 개의 특징 지도를 생성하고 생성된 상기 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성하며, 상기 다운사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 상기 샘플의 사이즈가 미리 설정된 기준 사이즈에 도달할 때까지 반복하고,
상기 샘플이 미리 설정된 기준 사이즈에 도달하면, 상기 샘플을 미리 설정된 비율로 업사이징하고, 업사이징된 상기 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 반복하여 업사이징된 상기 샘플의 사이즈가 최초의 사이즈와 일치하면, 제2 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템.
- 제4항에서,
상기 영상 생성부는,
상기 샘플을 업사이징을 하고 복수개의 특징 지도를 생성할 때 업사이징된 상기 샘플의 사이즈와 동일한 특징 지도를 수집하여 상기 샘플과 합치고, 합쳐진 샘플에서 복수개의 특징 지도를 생성하는 양전자방출 단층촬영 시스템.
- 제1항에서,
상기 제어부는,
상기 생성부에서 생성된 제1 감쇠 영상을 입력 영상으로 선택하거나 상기 제1 감쇠 영상 및 제1 방출 영상을 입력영상으로 선택하여 상기 학습된 딥러닝 알고리즘을 통해 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템.
- 제1항에서,
상기 제어부는,
상기 제1 감쇠 영상 또는 제1 방출 영상에서 일부 복셀 데이터 그룹을 선택하고, 선택한 상기 복셀 데이터 그룹을 상기 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 상기 제1 감쇠 영상 또는 제1 방출 영상 전체에 상기 학습된 딥러닝 알고리즘을 적용하여 3D 형태로 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템.
- 제1항에서,
상기 제어부는,
상기 제1 방출 영상과 상기 최종 감쇠 영상을 이용하여 상기 최종 감쇠 영상이 보정된 최종 방출 영상을 생성하여 제공하는 양전자방출 단층촬영 시스템.
- 수집부는 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 단계,
생성부는 상기 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 단계,
제어부는 생성된 상기 제1 감쇠 영상을 입력 영상으로 선택하는 단계,
상기 제어부는 상기 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고
상기 제어부는 상기 제1 방출 영상과 상기 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계
를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
- 수집부는 양전자방출 단층촬영 사이노그램(PET sinogram)을 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집하는 단계,
제어부는 생성된 상기 제1 감쇠 영상을 입력 영상으로 선택하는 단계,
상기 제어부는 상기 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고
상기 제어부는 상기 제1 방출 영상과 상기 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계
를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
- 제9항 또는 제10항에서,
학습부는 상기 양전자방출 단층촬영 사이노그램과 대응되는 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 상기 입력 영상과 상기 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시키는 단계를 더 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
- 제11항에서,
상기 딥러닝 알고리즘을 학습시키는 단계는,
상기 딥러닝 알고리즘을 통해 상기 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성하는 단계,
상기 제2 감쇠 영상과 상기 획득된 감쇠 영상간의 오차를 산출하는 단계, 그리고
상기 오차 값이 임계치 이하의 값이 되는 최종 감쇠 영상을 생성하도록 상기 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 단계를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
- 제12항에서,
상기 제2 감쇠 영상을 생성하는 단계는,
상기 딥러닝 알고리즘의 필터를 이용하여 상기 입력 영상으로부터 복수 개의 특징 지도를 생성하는 단계,
생성된 상기 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성하며, 상기 다운사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 단계,
상기 샘플이 미리 설정된 기준 사이즈에 도달하면, 상기 샘플을 미리 설정된 비율로 업사이징하고, 업사이징된 상기 샘플과 동일한 사이즈의 다운사이징된 특징 지도를 수집하는 단계,
상기 업사이징된 상기 샘플과 수집된 특징 지도에서 필터를 이용하여 복수개의 특징 지도를 생성하는 단계, 그리고
업사이징된 상기 샘플의 사이즈가 최초의 사이즈와 일치하면, 제2 감쇠 영상을 생성하는 단계를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
- 제9항 또는 제10항에서,
상기 입력영상으로 상기 제1 감쇠 영상과 제1 방출 영상이 선택되면,
최종 감쇠 영상을 생성하여 제공하는 단계는,
상기 제1 감쇠 영상 및 제1 방출 영상을 상기 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
- 제9항 또는 제10항에서,
상기 입력영상으로 상기 제1 감쇠 영상 또는 제1 방출 영상에서 일부 복셀 데이터 그룹이 선택되면,
상기 최종 감쇠 영상을 생성하여 제공하는 단계는,
선택한 상기 복셀 데이터 그룹을 상기 학습된 딥러닝 알고리즘에 적용하여 3D 형태로 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180021902 | 2018-02-23 | ||
KR20180021902 | 2018-02-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190101905A KR20190101905A (ko) | 2019-09-02 |
KR102210474B1 true KR102210474B1 (ko) | 2021-02-01 |
Family
ID=67684629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190021241A KR102210474B1 (ko) | 2018-02-23 | 2019-02-22 | 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10943349B2 (ko) |
KR (1) | KR102210474B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023063715A1 (ko) * | 2021-10-15 | 2023-04-20 | 가천대학교 산학협력단 | 투영기반의 의료영상 재구성 시스템 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016197127A1 (en) * | 2015-06-04 | 2016-12-08 | Rensselaer Polytechnic Institute | Attenuation map reconstruction from tof pet data |
US11756241B2 (en) * | 2018-02-23 | 2023-09-12 | Seoul National University R&Db Foundation | Positron emission tomography system and image reconstruction method using the same |
KR102210474B1 (ko) * | 2018-02-23 | 2021-02-01 | 서울대학교산학협력단 | 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 |
WO2019183584A1 (en) * | 2018-03-23 | 2019-09-26 | Memorial Sloan Kettering Cancer Center | Deep encoder-decoder models for reconstructing biomedical images |
US11238197B1 (en) * | 2018-04-03 | 2022-02-01 | David Byron Douglas | Generating a 3D dataset containing a simulated surgical device |
US10956635B1 (en) * | 2019-12-04 | 2021-03-23 | David Byron Douglas | Radiologist-assisted machine learning with interactive, volume subtending 3D cursor |
US10825149B2 (en) * | 2018-08-23 | 2020-11-03 | Siemens Healthcare Gmbh | Defective pixel correction using adversarial networks |
US11481934B2 (en) * | 2018-10-10 | 2022-10-25 | New York University | System, method, and computer-accessible medium for generating magnetic resonance imaging-based anatomically guided positron emission tomography reconstruction images with a convolutional neural network |
CN110809782B (zh) * | 2018-10-22 | 2023-09-12 | 上海联影医疗科技股份有限公司 | 衰减校正系统和方法 |
US11100684B2 (en) * | 2019-07-11 | 2021-08-24 | Canon Medical Systems Corporation | Apparatus and method for artifact detection and correction using deep learning |
KR102331104B1 (ko) * | 2019-09-02 | 2021-11-24 | 가천대학교 산학협력단 | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 |
CN110648334A (zh) * | 2019-09-18 | 2020-01-03 | 中国人民解放军火箭军工程大学 | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 |
US11475535B2 (en) * | 2019-09-25 | 2022-10-18 | Siemens Medical Solutions Usa, Inc. | PET-CT registration for medical imaging |
CN110689080B (zh) * | 2019-09-30 | 2023-04-18 | 天津工业大学 | 一种血管结构影像的平面图谱构建方法 |
CN111627082B (zh) * | 2020-05-21 | 2022-06-21 | 浙江大学 | 基于滤波反投影算法和神经网络的pet图像重建方法 |
US11874411B2 (en) * | 2020-09-23 | 2024-01-16 | Siemens Medical Solutions Usa, Inc. | Estimation of partially missing attenuation in time-of-flight positron emission tomography |
CN112419173B (zh) * | 2020-11-04 | 2024-07-09 | 深圳先进技术研究院 | 一种由pet图像生成ct图像的深度学习框架和方法 |
CN112508823B (zh) * | 2021-02-02 | 2021-09-07 | 数坤(北京)网络科技股份有限公司 | 一种影像降噪方法、装置以及计算机可读存储介质 |
CN114358285A (zh) * | 2022-01-11 | 2022-04-15 | 浙江大学 | 一种基于流模型的pet系统衰减校正方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101331504B1 (ko) | 2012-05-22 | 2013-11-26 | 서울대학교산학협력단 | 핵의학 방출 영상 시스템 및 단일 투과 영상을 이용한 감쇠보정 방법 |
US20140056500A1 (en) | 2010-11-04 | 2014-02-27 | Siemens Medical Solutions Usa, Inc. | Generating Attenuation Correction Maps for Combined Modality Imaging Studies and Improving Generated Attenuation Correction Maps Using MLAA and DCC Algorithms |
US20180197317A1 (en) | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006033383A1 (de) * | 2006-07-12 | 2008-01-17 | Eberhard-Karls-Universität Tübingen Universitätsklinikum | Verfahren zum Bestimmen einer Eigenschaftskarte für einen Gegenstand, insbesondere für ein Lebewesen, basierend auf zumindest einem ersten Bild, insbesondere Kernspinresonanzbild |
US10078889B2 (en) * | 2015-08-25 | 2018-09-18 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image calibration |
KR101928984B1 (ko) * | 2016-09-12 | 2018-12-13 | 주식회사 뷰노 | 골밀도 추정 방법 및 장치 |
KR102210474B1 (ko) * | 2018-02-23 | 2021-02-01 | 서울대학교산학협력단 | 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 |
US11638569B2 (en) * | 2018-06-08 | 2023-05-02 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound |
CN109697741B (zh) * | 2018-12-28 | 2023-06-16 | 上海联影智能医疗科技有限公司 | 一种pet图像重建方法、装置、设备及介质 |
-
2019
- 2019-02-22 KR KR1020190021241A patent/KR102210474B1/ko active IP Right Grant
- 2019-02-22 US US16/282,513 patent/US10943349B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140056500A1 (en) | 2010-11-04 | 2014-02-27 | Siemens Medical Solutions Usa, Inc. | Generating Attenuation Correction Maps for Combined Modality Imaging Studies and Improving Generated Attenuation Correction Maps Using MLAA and DCC Algorithms |
KR101331504B1 (ko) | 2012-05-22 | 2013-11-26 | 서울대학교산학협력단 | 핵의학 방출 영상 시스템 및 단일 투과 영상을 이용한 감쇠보정 방법 |
US20180197317A1 (en) | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023063715A1 (ko) * | 2021-10-15 | 2023-04-20 | 가천대학교 산학협력단 | 투영기반의 의료영상 재구성 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20190101905A (ko) | 2019-09-02 |
US10943349B2 (en) | 2021-03-09 |
US20190266728A1 (en) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102210474B1 (ko) | 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 | |
US11756160B2 (en) | ML-based methods for pseudo-CT and HR MR image estimation | |
Emami et al. | Generating synthetic CTs from magnetic resonance images using generative adversarial networks | |
CN109805950B (zh) | 医用图像处理装置以及医用图像处理系统 | |
Ramon et al. | Improving diagnostic accuracy in low-dose SPECT myocardial perfusion imaging with convolutional denoising networks | |
Wang et al. | Deep learning-based image quality improvement for low-dose computed tomography simulation in radiation therapy | |
US20200210767A1 (en) | Method and systems for analyzing medical image data using machine learning | |
CN105559813B (zh) | 医用图像诊断装置以及医用图像处理装置 | |
Onofrey et al. | Generalizable multi-site training and testing of deep neural networks using image normalization | |
Leuschner et al. | The lodopab-ct dataset: A benchmark dataset for low-dose ct reconstruction methods | |
CN105027163A (zh) | 扫描区域确定装置 | |
CN105556507A (zh) | 使用二次似然函数进行数据统计建模的方法和系统 | |
CN112154342A (zh) | 医学图像转换 | |
US20210398329A1 (en) | Artificial intelligence (ai)-based standardized uptake vaule (suv) correction and variation assessment for positron emission tomography (pet) | |
Li et al. | Multienergy cone-beam computed tomography reconstruction with a spatial spectral nonlocal means algorithm | |
Gupta et al. | Study on anatomical and functional medical image registration methods | |
Hsiao et al. | Joint-MAP Bayesian tomographic reconstruction with a gamma-mixture prior | |
CN113205567A (zh) | 基于深度学习的mri影像合成ct影像的方法 | |
JP2021099794A (ja) | ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法 | |
US11756241B2 (en) | Positron emission tomography system and image reconstruction method using the same | |
US20200118307A1 (en) | System, method, and computer-accessible medium for generating magnetic resonance imaging-based anatomically guided positron emission tomography reconstruction images with a convolutional neural network | |
Lei et al. | Estimating standard-dose PET from low-dose PET with deep learning | |
Li et al. | Low-dose sinogram restoration enabled by conditional GAN with cross-domain regularization in SPECT imaging | |
Caldeira et al. | Maximum a Posteriori Reconstruction using PRESTO and PET/MR data acquired Simultaneously with the 3TMR-BrainPET | |
Deep Learning Based CT Image Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |